数据科学 – 第17页小小书 XXshu

为什么科学家需要开始更好地管理数据

Nebulab （一家为科学家建立数据管理平台的本地技术公司）首席执行官Guillermo Vela向得克萨斯大学圣安东尼奥分校健康科学中心的研究生和博士后致辞，谈到实施数据管理计划的重要性。 “你们当中有多少人非常自信，他们可以相对轻松地找到，理解十年，五年甚至三年前的数据？” Vela问学员。 Vela解释说，科学家今天需要开始满足数据管理需求的一个紧迫原因是因为科学正在经历数据泛滥。在过去的二十年中，许多实验室仪器已经变得更加复杂和价格可承受，结果，越来越多的实验室正在以前所未有的速度生成数据。 Vela解释说，即使是资金最雄厚的机构，也将无法发展其IT基础架构来满足现代研究需求。 “我们正在生成大量数据，以至于我们甚至都不知道如何存储或共享……例如，到2025年，仅基因组学领域预计每年将产生多达40艾字节的数据，或大约比Twitter和YouTube的总和多出20倍。”他说。一种数据管理如此重要的另一个原因是实验的可重复性。随着现代科学变得越来越复杂，正确跟踪所有实验细节至关重要。 “在科学上，单独访问文件是没有意义的。我们还需要访问所有必要的上下文，以便能够理解，验证并潜在地复制我们正在查看的内容。” Vela说。 Vela解释说，随着制药公司开始在学术研究中寻找商业化机会，临床前研究中不可重复性的真正程度得以揭晓。他们认为这是削减内部R＆D支出的一种方法，但是不幸的是，制药公司在尝试验证来自学术机构的有希望的研究方面面临巨大的挫折。目前，估计有50％至90％的临床前研究是不可再现的。…

Kaggle机器学习和数据科学调查2018中的探索性数据分析

卡洛斯·穆萨（Carlos Muza）在Unsplash上拍摄的照片介绍：这项探索性数据分析基于Kaggle在2018年进行的有关机器学习和数据科学的调查数据。这是Kaggle进行的第二次年度机器学习和数据科学调查。已在Kaggle上发布的数据集包含来自147个国家和地区的23859条回复。我要感谢Kaggle进行的这种类型的调查对于了解全球的数据科学/机器学习社区/行业非常有用。有关数据的更多信息可从此处了解。此处显示的所有结果均为该数据集的输出。有关数据的一些重要细节：数据集包含23859行和395列。调查共询问了50个问题。参与调查的受访者的平均响应时间为15至20分钟。让我们开始对基于“ 21世纪最勤奋的工作” （哈佛商业评论）的数据集进行分析。首先导入所需的库。然后加载数据集。我使用Jupyter笔记本在这里执行所有分析。…

“数据库基础知识”的创建者Lorraine Li的专访

以下是Next Tech的数据科学家和数据库基础课程的创建者Lorraine Li的访谈！所以我知道我们彼此已经很熟了，但是介意告诉别人一些关于你自己的事吗？当然！我叫洛林。我出生于香港，但在澳大利亚长大，然后才去美国求学。毕业并开始担任数据分析师后，我来到了旧金山地区。当我对这一领域有了更多的了解时，我意识到我真的很喜欢处理数据，因此我决定更加认真地进行研究。这就是为什么我加入Next Tech的原因，而我现在是那里的数据科学家。是的，我很想念澳洲太阳是的，我们这里阳光充沛，但没有像澳大利亚这样的地方。无论如何，请告诉我您的课程！…

数据科学与大数据与数据分析

数据无处不在。实际上，现有的数字数据量正在快速增长，每两年翻一番，并改变着我们的生活方式。根据IBM的数据，2012年每天产生25亿千兆字节（GB）的数据。福布斯》（Forbes）发表的一篇文章指出，数据以前所未有的速度增长，到2020年，地球上每一个人每秒将创建约1.7 MB的新信息。至少了解该领域的基础知识非常重要。毕竟，这是我们未来的所在。在本文中，我们将根据数据科学，大数据和数据分析的用途，用途，成为该领域专业人士所需的技能以及每个领域的薪资前景来区分数据科学，大数据和数据分析。数据科学：在处理非结构化和结构化数据时，数据科学是一个包含与数据清理，准备和分析有关的所有内容的领域。数据科学是统计，数学，编程，解决问题，以巧妙的方式捕获数据，以不同方式看待事物的能力以及清理，准备和整理数据的活动的结合。简而言之，它是尝试从数据中提取见解和信息时使用的技术的总括。大数据：大数据是指无法使用现有的传统应用程序有效处理的大量数据。大数据的处理始于未聚合的原始数据，通常是不可能将其存储在单台计算机的内存中的。用来描述庞大的数据量（无论是非结构化还是结构化数据）的流行语每天都会淹没企业。大数据可以用来分析洞察力，从而可以做出更好的决策和战略业务转移。 Gartner对大数据的定义是：“大数据是高容量，高速和/或多变的信息资产，需要经济高效的创新信息处理方式，以增强洞察力，决策能力，和过程自动化”。数据分析：数据分析是检查原始数据的科学，目的是得出有关该信息的结论。…

对于没有数学/统计背景的人，如何成为#Data #Scientist。

这适用于所有未经正式培训的开发人员。在#Data #Science中，但想进入这个令人兴奋的领域。 1.数据科学的许多领域都要求您精通数学和统计学。 2.需要多年的耐心和毅力才能获得足够的知识以使用它们并在您的数据科学事业中成长。 3.所以要现实。在线学习3个月的课程将无法成为数据科学家。 4.作为开发人员，您会使用数据库吗？从那里开始。掌握SQL，尝试学习和理解No SQL数据库。 5.学习Python。这是必须的。一旦您精通语言基础，就可以学习NumPy，Pandas和Seaborn（例如）。 6.这样，您就有资格获得数据分析/可视化职位。学习Tableau也不会受到伤害。即使这样，您也需要基本的统计知识。但是您可以免费领取并在短时间内完成。…

什么引起了读者的共鸣？ 3种在参与时间中寻找价值的方法

哪种指标最能体现读者的共鸣？没有一个正确的答案。各个组织之间的差异取决于战略目标，通常涉及多种指标。但是对于某些组织，尤其是当那些目标与读者收入，用户体验和内容策略相关时，答案就是总投入时间。 “当我们选择总的参与时间时，作为一家公司，我们就决定要一个能够帮助强调忠实观众的驾驶指标，” Slate总编辑朱莉娅·特纳（Julia Turner）说。无论目标是将受众忠诚度与订阅联系起来，还是了解受众响应的内容，参与时间都可以作为宝贵的基准。以下是Slate，The Intercept和The Star可以使用参与时间作为基准回答的三个问题的示例。 Slate：哪些内容会引起忠实读者的共鸣？受众忠诚度转化为Slate的会员数量不断增长，从而使互动时间成为了合适的“北极星”指标。 2014年，该组织启动了Slate Plus会员计划。三年后，Slate Plus成为35,000名会员。特纳说：“我们确实一直在尝试使用数据作为一种工具，以帮助我们了解受众对如何以及如何利用它做出更多反应并加深这种联系的反应。”…

数据以及如何对世界一无所知

汉斯·罗斯林（Hans Rosling），不太可能讲故事的人，赋予数据以灵魂和使命杰奎琳·科赫（Jacqueline Koch）助推！伙伴想了解气候趋势，海洋酸化，艾滋病毒和全球疾病负担，经济或大流行吗？几乎没有一天没有提及大数据及其所带来的希望。即使对于那些对我们感到畏缩的人（数量，复杂的统计公式和迷宫式电子表格），也可以理解数据在揭示我们所生活的世界的奥秘方面所起的重要作用。因此，汉斯·罗斯林（Hans Rosling）的逝世是如此之大。巨大的损失。凭借统计数据和数据，汉斯·罗斯林（Hans Rosling）描绘了更广阔的世界观。 @Gapminder基金会董事兼Karolinska Institutet全球健康教授Hans Rosling是将统计和数据转换成彩色的，在整个屏幕上无缝编排的跳舞气泡的最有名的人，他是先驱和出乎意料的讲故事大师。 Rosling在精简数字和汇总统计数据的同时，还熟练地利用了新的彩色彩色数据显示技术，从而获得了一份礼物。然后他将其部署到一个奇妙的故事中，并以引人入胜的叙事弧来解释全球性问题，例如儿童死亡率，贫困，疫苗和收入差距。他对“基于事实的世界观”的热爱与另类的幽默感相得益彰。古怪的说法令人信服，他让我们所有人都对数据和统计数据，他的泡沫以及罗斯林本人深爱。…

书评：数学毁灭性武器-大数据如何增加不平等并威胁民主

根据同事的推荐（这是我还没有见面的人）挑选了这本书。到目前为止，互动一直是虚拟的 IT行业的佼佼者，无论是股票市场上的数亿美元宠儿还是新兴的新兴企业，都可以听到鹰派他们的大数据（ mal ）软件的声音。它几乎是当今IT世界中的“蛇油” 。这是解决所有现实问题的“ 银弹 ”。一枚“ 银弹 ”。是的，大数据的潜力绝对是有道理的，但是它已经远远超出了理解范围。在过去的几年中，我有机会与跨领域的客户一起工作，他们一直非常谨慎地将其婴儿步伐带入BigData的世界。他们中的绝大多数人敬畏地看着大数据平台。他们想加入潮流，为未来的BigData计划创建一个“数据湖” 。听说过这些吗？…

如何在Python第1部分中使用机器学习进行交易

机器学习具有许多优势。现在是热门话题。对于交易员或基金经理来说，相关的问题是“我如何应用这个新工具来产生更多的阿尔法？”。我将在一系列博客中探索一个可以回答这个问题的模型。该博客分为以下几个部分：获取数据并使其可用。创建超参数。将数据分为测试集和训练集。获取最适合的参数以创建新功能。进行预测并检查性能。最后，值得深思。您可以添加一行以安装软件包“ pip install numpy pandas…”。您可以使用以下代码在Anaconda Prompt中安装必要的软件包。…

学习如何用植物检验假设

在这篇文章中，我们将研究假设检验。我们会：看看什么是假设检验。对R’CO2’数据集执行假设检验。对同一数据集执行更好的假设检验。分析我们的假设检验的结果以了解其含义。这篇文章将针对初学者（或寻求评论的初学者），我将在此处互换使用某些词汇来使概念更易于理解。什么是假设检验？假设检验是我们可以用来回答问题的工具。这是我们的问题：我们想知道冷却设备是否影响（增加或减少）其CO2吸收。在假设检验中，我们将两种可能的结果（对我们问题的答案）表述为“假设”。假设检验如下：假设1：低温植物不会影响其CO2吸收。假设2：低温植物确实会影响其二氧化碳吸收。…