探索探索性数据分析!

资料来源:统计机构 在过去六个月的空闲时间里,我一直在追求数据科学,并且一直在思考我作为初学者应该首先写哪个主题(或说博客)。 没有比我在数据科学领域的第一个项目更合适的项目了,该项目正在对Haberman数据集执行探索性数据分析(EDA)。 什么是EDA? 用通俗易懂的话来说,探索性数据分析就是试图在没有使用绘图工具和线性代数的数据集的先验知识的情况下尝试探索数据。 类似的类比可以是软件的黑盒测试。 在这里,我们手头的数据集不够清晰(就像我们不知道软件是什么一样),并尝试使用统计绘图来找出一些见解。 在我们可以试用众多ML算法并研究其在数据上的性能之前,EDA是要在任何数据集中执行的首要步骤之一。 关于数据集: 在进入分析部分之前,这里是有关执行EDA的数据集的简要概述。在我的分析中,我使用了HABERMAN数据集。 数据集包含1958年至1970年在芝加哥大学比林斯医院进行的一项研究,该研究涉及接受乳腺癌手术的患者的生存情况。数据集可在此处获得(感谢Kaggle帮助吸取ML / AI工程师拥有如此出色的数据存储库)。 在我们的目标中,我们尝试从数据中使用“患者年龄”,“运营年限”,“辅助节点”(可以称为自变量)等功能来查看“生存状态”(也是患者的因变量)我们的分析)。 现在我们已经学习了有关数据的基础知识,让我们着手处理数据。 加载库和数据: 加载所需的库 我已使用Jupyter…

有关约会,电视节目,民粹主义和学校安全的新DataViz — DataViz每周

数据可视化是表示数据以进行直观,有洞察力的探索的绝佳方式。 我们发现的以下新dataviz作品实际上是证明这一点的好例子。 今天在数据可视化周刊上: 按年龄约会池; 电视节目中的IMDb用户评分; 欧洲民粹主义政党的兴起; 美国学校周围道路上的安全。 https://flowingdata.com/projects/2018/dating-pool/ 根据Wikipedia关于性关系上年龄差异的文章,““ 永不约会年龄在您一半以下的年龄加上7岁的人 ”规则是一种经验法则,有时会用来判断年龄差异是否为社会所接受。” Webcomic xkcd称其为“统计和数据可视化专家Nathan Yau绘制了一个约会对象池根据该规则如何随年龄变化的图表,并增加了美国人口普查局的人口统计数据,以便更加实用。 根据您在性别,就业状况和种族方面寻找的伴侣,找出您的约会池(在美国)达到最高年龄的年龄。 https://www.economist.com/graphic-detail/2018/11/24/tvs-golden-age-is-real 经济学家调查了美国电视是否真的处于一个新的黄金时代。 本周发布的交互式可视化图表显示了1990年以来在美国播出的所有电视剧的平均IMDb用户收视率。在文章的下半部分,您会发现三个静态图表,显示了2004年美国电影/电视剧收视率的分布情况1990年代,2000年代和2010年代。…

使用社交网络图可视化图书馆和拨款数据

编者注:在过去的几年中,IMLS通过国家数字平台(NDP)资助框架资助了大量数字图书馆赠款项目。 在2014年至2017年期间,该机构通过国家图书馆领导力补助金和劳拉·布什21世纪图书馆员计划,向111项补助金投资了超过3,300万美元。 图书馆的数字化工作可能涉及开发和维持共享的基础架构,并确保这些工具,服务和系统体现图书馆的原则和价值。 IMLS为数字图书馆基础设施提供的资金与该机构的战略计划目标直接相关,以实现“图书馆和档案馆专业人员的能力建设”,以“增加公众对”数字内容,馆藏和服务的访问。 截至2018年,IMLS已修订了NDP筹资框架。 我们汲取了教训,并创建了后来的赠款项目类别,称为“国家数字基础设施和计划(NDII)”,该类别使我们在全国范围内对数字图书馆项目的资助得以持续。 在本文中,图书馆服务办公室的一名前任学生戴安娜·利森比(Diana Lisenbee)分享了对以前命名的NDP计划(现称为NDII)的分析。 我实习的核心是帮助IMLS绘制国家数字平台(NDP)奖项的影响。 NDP是IMLS资助领域,旨在提高图书馆和博物馆的数字能力。 在过去的一年中,我深入研究了NDP赠款数据,并使用该信息创建了一个社交网络图。 产生的可视化结果显示了每个赠款上合作的伙伴机构,并显示了项目,伙伴和地理位置之间的关系。 由国家发展计划资助的工作范围包括扩大数字基础设施,为视障人士提供资源,以及增加城市和农村地区的数字包容性。 但是尽管项目多种多样,但大多数项目还是紧密相连的。 可视化描绘了文化遗产机构为支持共享工具和服务而建立的庞大网络的复杂性。 我为此项目使用了社交网络地图绘制软件Kumu.io。 Kumu帮助编码能力有限的用户开发复杂但易于理解的网络系统。 它可以用来映射利益相关者,系统和社区资产。…