大数据小小书 XXshu

科学家利用大数据发现6条基本的情感故事弧

从根本上说，人类被驱使去寻找并讲故事。他们具有分享信息和定义我们的存在的能力，这说明了我们对讲故事的天生痴迷。计算能力，语言处理和文本数字化的进步现在使使用“大数据”通过其文本研究文化成为可能。正如美国作家库尔特·冯内古特（Kurt Vonnegut）所说：“没有理由不能将故事的简单形状输入到计算机中，它们是美丽的形状。” JK罗琳（JK Rowling）创作的《哈利·波特与死亡圣器》的情感弧线。整个七本书系列可以归类为复杂的“杀死怪物”情节。（来源：Hedonometer / Andy Reagan / Kirsch）伯灵顿佛蒙特大学计算故事实验室的安德鲁·里根（Andrew Reagan）及其团队使用情感分析来绘制1300多个故事的情感弧线，然后使用数据挖掘技术揭示最常见的弧线。他们发现了六个核心故事弧，它们构成了复杂叙事的基石。这项研究之所以令人着迷，是因为它首次为基本故事弧的存在提供了经验证据，从而阐明了讲故事的性质及其对人类的吸引力。…

机器学习理论与实践的平衡

理论和实践是数据职业的互补方面，尤其是机器学习的从业人员。人们通常会根据自己的自然兴趣和学习方式而掉入理论实践围栏的一侧。但是要在这个领域变得出色，就需要您积极地在我们阅读的概念和我们面临的现实场景之间取得平衡。那么如何平衡呢？建立您所阅读的内容！您需要构建东西；很多事情。您需要构建一个神经网络，并查看其如何像文档或日记一样执行任何操作。您需要尝试Kaggle比赛，看看自己尴尬的低排名盯着您。您需要一起破解一个javascript应用程序，该应用程序试图在后端运行ML算法，只是由于未知原因而停止运行。许多人因为不舒服而回避建筑。不断地跟踪错误，无休止地遍历堆栈溢出，试图将如此多的交互部件整合到一个系统中。另一方面，阅读很有趣且容易，因为材料像一个完美的小故事一样流动。所有概念都已经摆放到位，我们正在使用的叙述是我们所有人都希望事情能够成功的方式。但是，如果您不感到不适，就不会学习。理论上和实践上当然都是这样，但我认为阅读起来容易些。当我们翻阅期刊并理解概念时，我们会感到很好，但仅阅读其他方面的成就，您就不会在自己的领域有所作为。如果您建立了自己的阅读内容，并且失败了（并且将会失败），您将获得无法通过阅读吸收的理解。…

这项“ 20/80大数据规则”对物联网技术具有重大影响

图片来源：theartofphoto —图库照片©adobe.com 迈克·弗拉基米尔（Mike Vladimer）现代产品设计师在从大数据中提取价值时面临着被忽视的挑战。业务中的经典启发式方法之一是80/20规则（即帕累托原理），该规则假定20％的投入导致80％的产出。我认为在涉及大数据时，帕累托原理是相反的。本质上，大数据有20/80规则，这意味着80％的分析只能捕获20％的价值。图片来源：橙色硅谷帕累托原理 80/20规则背后的想法是，世界是不平衡的，因此从战略上集中精力进行努力可以使您更有效。维尔弗雷多·帕累托（Vilfredo Pareto）首先指出了这一点，他指出自己花园中80％的豌豆仅来自20％的豌豆荚。对于帕累托而言，这意味着他应该将在花园中的前20％时间（投入）集中在收获最胖的豌豆上，而豌豆则拥有80％的豌豆（产出）。此后，帕累托停止工作，因为这样做只会带来很少的收益：工作增加了80％，豌豆只增加了20％。图片来源：橙色硅谷 80/20规则很有价值，因为它适用范围很广。在业务中，公司经常发现80％的收入仅来自20％的客户。…

机器学习历险记

我忽略了这个博客；自十一月以来我什么都没写。我不会找借口亲爱的读者，我为自己写的东西比为你写的要多。写作可以帮助我整理思想，整理信念。我浪费了机会。在过去的6个月中，我一直在学习如何处理大型数据集（约1亿条记录）和建立分布式处理管道。我本可以记下我学到的所有东西，但我根本没有记下。我今天要改变这一点。今天是2017年4月1日，我参加了30天写作挑战赛。我不会每天出版，但我会每天写作。这个挑战恰好与我开始新工作相吻合。在定居之前，我不会谈论具体细节，但是我会说，我正在为英国伯明翰的一家初创企业组建机器学习团队。我在机器学习方面的经验很少，因此我的新雇主和我都在相信我将能够解决这一问题。我们在面试中相处得很好，并且双方都认为我们可以有效地合作。我完全是自学成才的，而且我一直都是解决问题的人，因此没有必要的技能来成功就开始工作并不困难。但是，我要学习的东西比自学校以来要快得多，并且我想记录下来。大约两周后，这将是我新工作的第一天。…

写作技巧：如果数字没有加起来，请使用单词和比较

我们大多数人无法想象大量数字。图表帮助。话也一样。除非您是硅谷的自恋型亿万富翁，否则他说，当他的储蓄从超过10亿美元降至9.86亿美元，并且不在“三个逗号俱乐部”之列时，他“很可能会破产”。而十亿美元可能对您来说并没有太大的负担。克里斯·迪亚曼托普洛斯（Chris Diamantopoulos）饰演Russ Hanneman 您可能并不在乎95吨混凝土与100吨混凝土之间的差异； 500马力或600；或3,500英亩或22,000。这是称为整数认知极限的现象。（好吧，我用“整数认知限制”这个词来形容，但听起来像是一种真正的心理现象，也许您会开始使用它。）有几种方法可以克服“整数认知限制”：从您的写作中删除数字使用图表找到一个有助于读者/听众理解两个量之间差异的比较第一种选择可能无法使用，因为如果您使用数字，我们只会假设您必须使用它们。第二个选择可能很棒。我工作的公司专门研究复杂的数据和经济政策，并通过图表进行解释。…

工作真的感觉如何？利用大数据捕捉人类经验

我们的社会沉迷于更努力，更聪明，更快，更好的工作。互联网，书籍和专家充满了关于如何工作以提高生产力，创造力，协作性的建议……这个清单还在继续。研究人员致力于整个领域，以弄清楚如何使员工在组织内最有效地工作。但是随着最近努力创造更有意义和影响力的职业的努力，我们很快意识到我们已经忘记关注一个重要方面：工作实际上是什么样的？我们如何改善这种体验？幸运的是，有了新技术和无穷的大数据源，检查起来比以往任何时候都更加容易工人看到，感受，体验人类。 Howard Weiss和Deborah Rupp在其2011年的文章“体验工作：以人为中心的工作心理学论文”中指出，工作心理学和人类分析传统上都侧重于组织感兴趣的结果，例如保留率或生产率。但是，在此过程中，作为复杂个体的工人被忽略了。一路上的某个地方，我们已经忘记了这样一个事实：人类是活跃的个体，他们通过各自的工作经验生活。尽管研究人员和企业对诸如员工的工作满意度水平之类的变量感兴趣，但这种兴趣通常只对企业的底线结果重要。员工被视为具有属性的对象，并且这些属性与组织兴趣的结果相关。如果员工满意，他们会留下来吗？如果员工不满意，他们会减少工作吗？但是，在当今的商业环境中，仅将工人视为满足组织目的的特征和特性的工具已不再足够。…

称重选项作为产品经理

如何改善您的决策图片来源：http://uisayar.atspace.co.uk/ 作为产品经理，您知道有几个因素会影响销量和销售收入，例如客户体验，促销活动和分销商。为了最大化销售量和销售收入，您需要权衡不同的选择，以确定如何有效地使用资源。为了权衡您的选择，您将需要进行数据分析以提供公正的评估。为了进行数据分析，您需要数据。在哪里可以找到有关客户体验，促销活动和分销商的数据？您可以在Facebook，Twitter，Yelp和分销商网站（例如Amazon和Walmart）上找到此数据。图片来源：http://www.smartdatacollective.com 因此，您知道数据在哪里，但是如何使用它呢？好的，您可以委托IT部门的项目，亲自阅读评论，或者寻找满足您需求的预制数据可视化工具。让我们检查事实。 1）在IT部门中调试项目需要时间，而且成本很高。…

更快而不是更聪明：咖啡因真的能提高您的生产率吗？

咖啡因每年消耗超过4000亿杯咖啡，是迄今为止世界上消费最广泛的精神药物。对我们许多人来说，一杯热咖啡被证明是一种有力而有力的刺激物，这是开始新一天的必要。但是，咖啡因的作用因人而异，其对生产率的实际作用仍不清楚。除轶事证据外，大量研究表明，小剂量咖啡因可增加能量和机敏性，同时改善反应时间和认知能力。但是咖啡真的能使您提高生产力吗？研究怎么说？咖啡因对生产力的影响一直是学术界相当关注的话题-约翰·霍普金斯大学的研究人员最近发现，摄入少量咖啡因可以对长期记忆产生积极影响。在一项双盲试验中，给参与者服用200毫克咖啡因片剂或安慰剂，并要求他们研究一系列图像。第二天，两个组都显示了一组新图像，包括视觉上与以前相似的图像-咖啡因组能够更好地将这些新图像识别为“相似”，而不是将它们称为“相同”。在《自然神经科学》上发表的一篇论文中，研究人员写道，这种识别相似但不相同的项目之间差异的能力（称为“模式分离”）表明，咖啡因组受益于更大的记忆保持力。但是，其他研究表明，咖啡因的许多益处可以被安慰剂复制。在东伦敦大学的另一项双盲研究中，随机向参与者提供含咖啡因或无咖啡因的咖啡-一半被告知为普通咖啡，一半被告知为无咖啡因，也是随机的。有趣的是，被告知接受咖啡因的参与者在测量反应时间，自我控制和奖励动机的测试中表现更好。研究人员得出结论，咖啡因摄入量，情绪和表现之间的关系取决于许多个人的心理变量-奇怪的是，所有研究参与者都报告了喝咖啡后抑郁的感觉有所增加，尽管接受咖啡因的人群中咖啡因的摄入量有所降低。研究还表明，咖啡因对创造力也有复杂的影响。玛丽亚·康尼科娃（Maria Konnikova）在《纽约客》中观察到：“当我们停止处理特定问题并让我们的思维转向无关紧要的事物时，往往会产生创造性的见解和富于想象力的解决方案。”作为证据，她指出，2012年的一项研究中，参与者在创造性思维方面表现更好练习（例如，为报纸之类的日常物品设计新颖和创造性的用途）之后，他们便可以通过在“强度高”，低强度的任务之间切换来使自己的思想“徘徊”。这表明咖啡因可以在非常简单，重复的任务（例如检查电子邮件或填写表格）中提供更多帮助，而在需要高水平洞察力和创造性思维的工作中提供的帮助较少。…

BUILD VS BUY –启动示例

构建整个堆栈的稀有创业公司在构建产品时，通常会遇到构建与购买的两难境地。如今，有了许多可用于构建产品的工具和模块，没有人会责怪工程师购买用于构建产品的模块。但是，这家初创公司IQLECT似乎走的路很少。我最近在一个PR News网站上发现了他们的新闻，这些新闻被称为最实惠的实时分析提供商。在他们的网站上稍作挖掘后，我发现他们是自己构建了整个平台。如今，分析平台供应商一毛钱，其中大多数使用某种开源堆栈。那么，为什么这个小团队（每个LinkedIn少于50个人）却自己构建整个堆栈呢？答案可能是性能。他们博客上的一些基准测试报告似乎表明，在各种情况下，IQLECT的核心BangDB在读写速度方面都优于其他NoSQL数据库。看起来他们想将此性能扩展到他们的用户和社区。当涉及到社区和行业时，诸如人工智能和机器学习之类的新技术正处于繁荣时期。但是，我的理解是，这些技术将在很大程度上取决于数据处理的速度和信息传递的速度。这使得实时数据收集和处理成为小时的需要。 IQLECT谈到了实时分析和大数据分析。这可能是未来技术所依赖的一种平台吗？我们还不知道。…

Microsoft Excel：数据透视表— 3个节省时间的生产率提示

图片提供： http : //www.jsums.edu/instructionaltech/microsoft-excel/microsoft-excel-syllabus/ 数据透视表是Excel的基本工具之一，当您像我们许多人一样花费时间分析信息时，可以使生活变得更轻松。但是，尽管有用，但我们通常会容忍一些烦恼（或者说实话，甚至没有意识到有更简单的方法……）。以下方面曾经是我的“痛点”：经典格式，而不是2007/2010默认布局。很多时候，最好是并排布局，而不是在下面缩进。当基础数据发生更改时，不会发生数据透视表刷新 –在处理数据透视表时，如果基础数据发生更改，则数据透视表不会自动刷新。当您使用多个数据透视表进行大型分析时，这变得很乏味。源数据发生更改，数据透视表数据“源”需要手动更新以包括其他数据行。下面分别讨论这些问题：经典格式，而不是2007/2010默认布局。要切换布局，只需右键单击（在PT中），然后选择“数据透视表选项”：最后，确保关闭“小计”，并且PT现在显示经典版式格式。基础数据更改时不会发生数据透视表刷新…