数据科学小小书 XXshu

机器学习理论与实践的平衡

理论和实践是数据职业的互补方面，尤其是机器学习的从业人员。人们通常会根据自己的自然兴趣和学习方式而掉入理论实践围栏的一侧。但是要在这个领域变得出色，就需要您积极地在我们阅读的概念和我们面临的现实场景之间取得平衡。那么如何平衡呢？建立您所阅读的内容！您需要构建东西；很多事情。您需要构建一个神经网络，并查看其如何像文档或日记一样执行任何操作。您需要尝试Kaggle比赛，看看自己尴尬的低排名盯着您。您需要一起破解一个javascript应用程序，该应用程序试图在后端运行ML算法，只是由于未知原因而停止运行。许多人因为不舒服而回避建筑。不断地跟踪错误，无休止地遍历堆栈溢出，试图将如此多的交互部件整合到一个系统中。另一方面，阅读很有趣且容易，因为材料像一个完美的小故事一样流动。所有概念都已经摆放到位，我们正在使用的叙述是我们所有人都希望事情能够成功的方式。但是，如果您不感到不适，就不会学习。理论上和实践上当然都是这样，但我认为阅读起来容易些。当我们翻阅期刊并理解概念时，我们会感到很好，但仅阅读其他方面的成就，您就不会在自己的领域有所作为。如果您建立了自己的阅读内容，并且失败了（并且将会失败），您将获得无法通过阅读吸收的理解。…

在数据中寻找摇钱树客户

这是我30天写作挑战赛的第五天。在接下来的几周中，我将执行一项任务，以尽可能多地学习机器学习。我将在本月晚些时候开始一份新工作，在那里我将建立一个机器学习团队，所以我想开始一个良好的开端。到目前为止，我们主要集中在有监督的学习上。也就是说，需要我们通过输入数据并告诉结果结果来训练模型的算法。我们探索了tf-idf来查找文档中的重要单词，然后使用贝叶斯分类基于文档中包含的单词对文档进行分类。昨天，我们在尝试将机器学习应用于不需要的问题时遇到了麻烦。今天，让我们看看无监督学习。即，在原始数据中找到模式和相关性的算法。我想改变方向，远离寻找文本的见解。想象我们经营一个移动网络，我们所有的客户每月都支付打个电话的费用。可以肯定地说，我们的某些客户将比其他客户更有价值。有些客户每个月都会使用他们的全部通话时间，而有些客户只会偶尔使用他们的电话。我们希望将每个客户分配给三个组之一。我们的摇钱树（花很多钱但不消耗很多资源的人），我们的狗（花很少钱但是却消耗很多资源的人）以及介于两者之间的那些人。我们可以为支付最多但使用分钟数最少的客户提供折扣。我们可以为支付最少但使用最多时间的客户提供不同的计划。…

玫瑰是红色，紫罗兰是蓝色，电脑写诗是我们不应该做的。

有时在Kaleida结束时，虽然用Python处理各种数据以及自然语言解析（NLP）实验使肘部弯曲，但您需要稍作休息，所以我认为如果计算机向我发送简短的诗作就可以了。搜索新闻。最初，我被俗气的圣诞贺卡诗所吸引，但后来想到，我应该以情人节为目标。它给了我几个月值得搜索的结果，还有什么比从计算机上及时基于新闻的爱情诗更好的呢？或者，也许不是！我决定继续前进，这一切并没有吓到，整个过程的第一步是在新闻中找到句子，最后一个单词用蓝色押韵，为此我们需要一个蓝色押韵列表。我从http://www.rhymer.com/RhymingDictionary/blue.html的228个1、2、3和4个音节单词开始。现在，在喜剧中，某些词本来就是有趣的，当为草图加上喜剧名称时，坚持使用姓氏作为名词通常是个不错的选择。 David Chin，Dennis Plow，Rosemary Rediscovery Fiddle，Paloma Dent，Seymour Cliff，Edward Tent，Jessica Brick，Terry Horses和Nathan Cake。…

数据科学与软件开发的凝聚力

大多数组织专注于基于产品的业务，将大多数数据科学计划定向到改进其产品上。这种组织中的数据科学家必须与软件开发人员并肩工作。众所周知，它们之间的强大凝聚力是这些组织成功的关键因素。有效编织尽管数据科学家和开发人员在技能上有一些重叠，但对于数据科学家来说仍然存在一些技能盲点。通过提高这些技能，不仅可以提高数据科学的生产率，而且还可以帮助提高团队绩效并增强团队之间的凝聚力。开发团队中的数据科学与数据科学相比，软件工程是核心且相对完善的部门。开发团队在更加标准化的环境中工作，这些环境在组织之间也或多或少相似。他们会说并理解常见的词典来交流他们的问题和解决方案。与通常在程序设计和数学方面都优秀的这些人作为数据科学家一起工作可能会带来机遇和挑战。对于数据科学家而言，它有助于共享概念和想法以进行审查和反馈，但也带来了一些挑战，下面将对此进行讨论。三大挑战问题的性质数据科学家和软件开发人员通常会解决不同类型的问题。例如，软件开发人员经常面临具有明确要求和目标的确定性问题。他们使用团队中共享的多个代码存储库进行协作开发和多个数据存储系统。…

撰写有关数据分析的文章

我们面临的许多重大问题都以某种方式与数据和数据分析相关。不是全部，而是很多。最近几周，我们已经看到其中一些浮出水面。我们所做的很少，组织的实践也很少受到数据的影响。数据分析现在可以深入到我们所居住的结构中。令我震惊的是，在这种数据密集型环境中，权力的增强掌握在那些能够调解和操纵数据流通的人的手中。这些新型知识需要进行严格的审查。关键数据研究中的许多工作都积极地做到了这一点，但是在我看来，这是一个机会，可以将更多的注意力集中在那些调节我们数据流通的人身上。从这一观察开始，在过去的几年中，我一直在写一本有关数据分析的书。最近完成的一本书《数据凝视：资本主义，权力和感知》试图开放数据分析，以了解数据主导的方法如何在整个社会世界中传播。就像我们复杂的媒体环境的许多方面一样，事实证明，要掌握它是一件棘手的事情。标签“数据分析”是一个笼统的术语，它包含了许多不同类型的公司和实践。问题是从哪里开始以及如何构建这些强大的调解人的形象。为此，这本书着眼于如何设想数据，以及这些愿景如何与数据基础架构和实践联系起来。我想尝试了解有关数据以及特定细节的广泛变化。首先，我只是简单地想象如果我是一个寻求扩大数据使用范围的组织的一部分，我会怎么做。使用一些搜索词，我创建了一个不同类型的数据分析提供程序的样本。我开始建立有关该行业的信息档案，然后发现一个新的查询线索。…

如何变得幸福：追踪情绪和精力的实验

去年，Pebble引入了内置活动跟踪作为我们新Health应用程序的基础。但是，健康不仅仅是步伐和睡眠。在过去的几个月中，我们一直在就Pebble Health的未来进行集思广益。我想与您分享我们第一个内部实验的结果：幸福应用程序。该项目背后的动机是了解我们的情绪和能量水平在一整天如何波动。是否有自然规律或每周的节奏？我们可以根据这些波动形象化我们的个性吗？我们还想知道不同的环境，互动和活动如何影响我们的感受。我们和朋友，同事或家人最快乐吗？在日常通勤期间，我们是否感到疲惫不堪？喝咖啡，水或酒精对我们的情绪稳定有明显影响吗？为了回答这些问题，我们构建了一个Pebble应用程序，该应用程序会全天弹出并询问您几个问题。首先，您要评估自己的精力水平和情绪。然后，您告诉应用程序您在哪里，与谁在一起以及在过去一个小时内完成了哪些活动。这些活动包括饮食，运动，通勤，冥想，会议，社交和工作。您还可以通过麦克风添加语音输入以添加自定义响应，以获得更详细的反馈。（附带说明：如果您想加入乐趣，可以立即在Pebble…

Mac上用于数据科学的无痛Python IDE

在本指南中，我想向您展示我的Python设置，我在使用所有类型的IDE（PyCharm，Spyder，Rodeo…）玩过之后才弄清楚了我来自iOS开发，那里有很棒的Xcode。我对数据科学的第一次尝试是在R中，R也有相当不错的RStudio。至于R是一种用于数据科学的好语言，我决定改用Python，因为它更通用，更适合机器学习并且拥有更大的社区。我通常会看到人们使用PyCharm，Spider或Jupyter Notebook，但在我看来，这些东西很难看。因此，在测试了所有解决方案之后，最好的解决方案是…… 21世纪可入侵的文本编辑器： Atom带有一些插件，它将使该文本编辑器成为出色的IDE。看起来不错它是开源的它支持git 它有很多软件包，因此您可以根据需要进行定制因此，让我们开始吧！我建议将Anaconda用作Python发行版，因为它仅可与Tensorflow配合使用（稍后感谢我）。下载并安装Atom。了解您所需的唯一快捷方式： Cmd…

WTF中级统计！！

因此，我很高兴今天收到以下电子邮件：我在前10％！我在Medium的读者和作家中排名前10％！太疯狂了！！！！自加入以来，我写了2篇文章并发表过评论。我偶尔在这里（有时每周4次！）阅读文章，我不得不查看数据。我的分析师方面喜欢，喜欢，喜欢数据和统计数据。那么，我要获得什么样的数字才能获得这一壮举！？天哪，我的文章传播了病毒！？让我们翻译以上统计信息：很棒的文章-使用Surface Pro 3 （阅读3分钟） 1.1M：3 = 366K次读取/观看 Microsoft和Tasks的旅程…

水平衡和纸张书写有什么共同点？

本周的学术研究充满了发人深思的活动和对话，我迫不及待想与您分享。最好的部分是，这是一个有趣的星期，对学术研究人员来说不是很典型。我的论文导师建议，我们将一天的论文评论严肃性留给自然散步。我们不知道计划是什么，我们唯一被指示要做的就是随身带一个水壶。我的同事很着急。和往常一样，我很兴奋。活动是我们需要尽可能多地装满一碗水，然后用碗在山上走来走去。指示很明确：我们需要随身行走，避免洒水。这似乎很容易，但是我的第一个问题是“这与研究有什么关系？”这是一场比赛吗？什么也没说，我们被告知要开始。在爬山时，一只手拿着一碗水，我开始思考水的物理性质。我以为，无论我多么努力地平衡碗中的水，仍然有些水最终会从碗中溢出。因此，我认为我的计划很简单。我会走上山坡，不注意水和碗，只是欣赏风景。那正是我所做的。…

人生火—如何在文本中找到重要的单词

这是我30天写作挑战赛的第二天，即将开始建立机器学习团队的新工作。我将拥有大量的口头和书面文件。今天，让我们看一下如何减少单词数量而不减少含义。许多英语是多余的。它充满了微妙之处，可以帮助散文流在一起而无需提供更多细节。随着我们开始使用我们的数据来构建机器学习模型，这些多余的词将会被阻碍。考虑一句“男人成功地生了火”。相同的含义可以用“人在生火”来表达。如果您真的这样说话，您听起来会像个尼安德特人，但是我们并没有因为只挑出重要的单词而迷失了要旨。在最高级别上，我们希望找到特定文档中所有未出现在所有其他文档中的单词。这意味着我们将立即打折“ the”，“ and”和“ I”之类的词。我们也不太重视出现在每个文档中的常用词，即在我们的领域中常用的词。我还没有发明这项技术。我什至没有通过自己的研究发现这种技术。…