关于 大数据 的优秀文章 – 第3页

您如何知道卓越的数据库功能？

自从它们在Excel 2007中引入以来，数据库功能一直被忽视和利用不足。 这是一系列文章的简介，其目的是揭开这些数据库功能的神秘面纱。 数据库功能包括； DSUM，DAVERAGE，DCOUNT，DCOUNTA，DMAX，DMIN，DGET，DPRODUCT，DSTDEV，DSTDEVP，DVAR，DVAR 所有这些函数基本上都以相同的方式工作，并且具有相同的语法，即对记录满足指定条件的指定字段执行特定的计算 。 注意：您可以使用其他任何数据库功能替换下面的DSUM。 语法= DSUM（数据库，字段，条件） 数据库 ►所有记录均包含标题行。 数据的结构方式应为“每行是一条记录，每列是一个字段”和“最上面的行包含标识字段的标题” 字段 ►包含一个特定数据项的列，例如订单日期或订单ID 条件 ►工作表中的一部分（数据库除外），其中包含条件。 笔记：…

为什么学习大数据和Hadoop很重要？

当今网络世界中最重要的方面之一肯定是大数据，因为它不仅影响我们使用网络的方式，而且还改变了软件测试以及测试软件产品的能力，更不用说方式了我们在网络世界中共享东西。 这是一件非常苛刻的事情，可以在所有地方带来惊人的价值，这是最重要的。 您需要学习大数据和Hadoop，主要是因为与支持大数据的任何其他平台相比，这显示出更高的增长率。 其背后的主要原因是，Hadoop在廉价的硬件的帮助下提供了存储和处理海量数据的能力。 由于技术时代变得越来越重要和机敏，因此确保您非常快速地处理各种数据确实是必不可少的，并且它确实可以带来惊人的结果。 这里的一个好主意是，一旦您学习了大数据和Hadoop，您将能够非常快速地访问所有这些结果，并且我可能还会添加一个令人惊讶的结果。 它提供的整体基础架构使Hadoop可以非常轻松地专注于处理大数据量，并且结果非常准确且真正专业。 管理大数据也确实很有趣并且非常容易，这无疑有助于整体体验并将其带入一个新的水平。 使用大数据和Hadoop可以完成多少工作，这是令人惊讶的，因此您应该完全确保尽快学习大数据和Hadoop，因为这项技能确实可以腾飞并为您带来丰厚的收入。 让我们面对现实吧，由于需要处理越来越多的数据，因此有比以往更多的工作需要您以最佳方式处理数据。 确保您学习大数据，并且Hadoop确实可以为您提供一种惊人的方式来获得出色的结果，最终这可以带来更高的价值和更好的结果。 您可以是系统管理员，DBA，ETL数据架构师，甚至是BI分析师和数据分析师，但是所有这些工作都需要您学习大数据和Hadoop，因此必须确保您已完成整个过程。 当然，学习此技能可能并不容易，但是正如我们之前所说，这些工作现在的需求量非常大，您可以期望未来的需求会进一步增长，这全都取决于您的准备工作以及解决整个情况的方式，但最终结果将是值得的。 当前的大数据浪潮是​​我们之前见过的最大浪潮，随之而来的是惊人的机遇，您需要立即采取行动。 随着现在管理大数据的工具将成为主流，并且从长远来看，它将提供一些非凡而令人兴奋的机会，整个大数据洪流肯定会在未来持续。 如果您真的想投资于自己的技能和职业，那么您需要学习大数据和Hadoop。 这很复杂，确实如此，但现实是，有了它，您可以真正提高自己的技能和职业，将他们提升到一个新的水平，并为自己的未来投资。 由于我们的社会充满了技术工作，并且这些工作将在未来增长，因此从长远来看，获得这样的工作可以真正获得回报，因为它可以带来出色的结果和非常好的好处。…

#bigdata 1e-什么是大数据？

大数据吸引了人们的好奇心。 它代表了几年前无法想象的大量数据，一天可以由计算机以低成本存储和处理。 （信用分数） 该术语的出现是指使用不同格式的大量数据的计算机应用程序，这些数据经过分组，读取，转换，使用统计，数学和计算技术进行分析，从而产生了一种称为“数据洞察”的新型知识，这是结论性的，从来没有想过关于原始数据。 从数据中产生见解可以同时导致这两种情况。 做出突然改变业务方向的决定或一项称为“数据驱动产品”的新产品创新的决定，可能会彻底改变公司及其市场。 世界上使用该技术的公司被称为“数据驱动公司”。那些帮助创建这个新领域的公司价值数十亿美元。 仅举几个例子，我们有Google，Yahoo，Uber，Tesla，Netflix，Amazon，LinkedIn，Facebook等。 许多公司正在寻求适应大数据，数据分析和数据驱动决策的新世界。 对于某些人来说，生存取决于这一知识。 这么多数据来自哪里？ 它们是如何产生的？ 如何使用它们？ 哪些专业人士在大数据领域工作？ 有哪些关键技术？ 大数据的应用类型是什么？ 它们如何影响企业和个人？ 这些和其他问题将在这本电子书“主管和市场专业人员的大数据”中得到解答。…

大数据工作流程管理：气流指南（第2部分）

在许多行业中，数据分析在业务的各个阶段的决策过程中一直发挥着关键作用。 在当今的大数据时代，采用水平只会越来越高。 看到每周出现的所有大数据技术都能满足大数据解决方案实施的各个阶段，真是令人难以置信。 随着各种来源（使业务流程自动化的应用程序）以极快的速度生成数据，实施了针对用例的解决方案，例如“从各种来源实时摄取数据”，“以不同数据摄取水平处理数据”以及“准备用于分析的最终数据”变得充满挑战。 尤其是，对数据平台进行稳定，可靠的编排，调度，管理和监视管道是一项非常关键的任务。 而且，由于数据源的动态特性，数据流入率，数据模式，处理需求等，工作流程管理（管道生成/维护/监控）变得更具挑战性。 这是一个由三个部分组成的系列，其中“概述和气流的一些建筑细节”作为第一部分的第（1）部分进行了介绍。 本部分介绍生产中气流的部署选项。 第2部分：部署视图：提供更好的画面 根据需要，可能需要进行简单的设置或对Airflow进行复杂的设置。 可以使用不同的方式来部署气流（尤其是从执行者的角度来看）。 以下是部署选项以及每个选项的描述。 独立部署模式 描述：如上一节所述，开始的典型Airflow安装如下所示。 配置文件（airflow.cfg） ：包含以下详细信息：从何处选择DAG，要运行的执行程序，调度程序应多久轮询DAGs文件夹以获取新定义，在哪个端口上启动Web服务器等。 元数据存储库 ：通常，Mysql或postgres数据库用于此目的。…

为什么GetInData举办大数据技术华沙会议？ 个人回答。

在这篇文章中，我将写几句话为什么我们的公司GetInData举办大数据技术华沙会议。 这些话会很个人化。 在2010年的纽约市，我参加了Twitter（Kevin Weil）关于他们首次使用Hadoop的演讲，并且受到了很大的启发，因此我决定也成为一名大数据工程师。 2013年在阿姆斯特丹，我参加了LinkedIn（Allen Wittenauer）的演讲，了解了他们如何操作Hadoop集群，后来我利用这些知识在Spotify上运行了最大的欧洲Hadoop集群。 2014年，在圣何塞，我参加了Netflix（库尔特·布朗）的演讲，了解了众所周知的公有云的公认优势。 这三个特定的会议和其他一些事件激发了我们在华沙创建自己的会议的机会，该会议充满了有用的和启发性的技术内容。 而我们做到了！ 在2015年的华沙会议上，我了解到有一颗新星诞生了，名为Flink （Stephan Ewen），后来我们为客户成功地在实时流媒体项目中使用了Flink。 2016年，在华沙，我了解到Spotify（Anders Arpteg）正在使用这种称为深度学习的魔术技术，因此我对AI产生了兴趣。 2017年，在华沙，我了解了如何在基因组学中使用大数据（Marek Wiewiorka），以及我的生活和孩子的生活如何因此而改变。 在2018年的华沙，我了解到（Krzysztof Adamski）两家非常相似的公司采用了完全不同的方式-Spotify完全进入了云计算，而Criteo留在了总部，所以我开始研究他们的不同动机。…

讲故事可以帮助我们理解大数据，但这不是万能药

可视化：艺术与技术融合为何重要

当我们谈到数据管理或商业智能领域的可视化时，几乎不会想到视觉艺术。 信息可视化或数据可视化是一回事，而视觉艺术则是另一回事。 但是，在一定程度上这两个点是相交的，在这篇文章中，我将展示与无聊的图形，表格或报表相比，视觉上吸引人的数据或信息显示有何不同。 在两种基本环境下，任何视觉显示都可能存在：时间和空间。 对于视觉艺术而言，空间就是环境。 当我们希望在绘画上描绘一个物理对象或一组对象或雕塑时，艺术就变成了“无双关” *，这也是视觉的，尽管是有形的。 这听起来像是一个悖论，但是空灵的视觉艺术要比实际出现的更加扎实，因为如果没有必须渲染到视觉中的有形3D对象，它们就不存在。 这幅有力的绘画描绘了现实世界中发生的一件戏剧性事件，人们在残酷的海浪中努力挽救生命。 正如暖色所暗示的，天空似乎比海洋更仁慈。 第九波Ivan Aivazovsky 这幅画所唤起的情感在我们的思想和心灵中留下了一定的足迹。 就像，即使在最困难的时期，希望始终存在。 画家使用艺术传达这一信息。 可视化与绘画有何不同？ 可视化处理抽象概念，而不处理物理对象。 具有讽刺意味的是，干式技术报告应该将非有形的概念转变为有形的概念，这与绘画的作用恰恰相反！…

开发人员生产力的目标是什么？

根据美国劳工统计局的数据，从2016年到2026年，所有职业的预计就业变化平均为7％。 软件开发人员的预期增长率为26％。 考虑到过去几十年来软件开发对我们世界的变化，人们只能想象该行业的未来。 幸运的是，我们可以通过分析有关开发人员输出的过去数据来为今天的未来做好准备。 “衡量的内容得到管理。” —彼得·德鲁克（Peter Drucker）。 当有人说出“大数据”这个词时，通常会有两个反应：对隐私的恐慌和恐惧，或者对无尽可能性的兴奋。 以最简单的形式，人类因数据而进化了—我们收到来自世界的投入，并据此做出反应。 如果是这样的话。 听起来有点熟？ 自然，我们意识到可以开始跟踪和分析我们收集的数据。 如此之多，以至于现在有太多的职位专注于对任何可以想象的事物的分析。 重点是什么？ 关键是我们已经为数据投入了大量精力。 收集，研究，检验我们的理论并重复该过程。 数据极大地提高了我们在这个星球上开展工作的效率。 我们已经证明，变化是指数级的-数据才是真正使之成为现实的东西。…

数据科学| 统计 ＃1 —不同类型的数据分类

由于“数据”实际上是“数据科学”中的第一个词，因此了解数据的不同分类方式是有意义的，对吗？ 是的，有几种方法… 分类数据与数值数据 这是最简单的一种，也是我们大多数人都熟悉的分类类型。 分类数据是与组或类别相关的数据。 例如，“笔记本电脑品牌”是一个类别，其值类似于Apple，Microsoft和Dell。 它还包括“是/否”数据。 例如，问题“你结婚了吗？” 会以“是”或“否”的形式引出受访者的数据点。诸如Tableau之类的商业智能（BI）工具通常将分类数据称为“ 维度” 。 数字数据是指数字形式的数据。 例如，每100名受访者的身高（厘米）。 它可以进一步分类为： 离散数据—这是数值有限的数字数据。 例如，对象的数量，例如篮子里的苹果数量。 连续数据  …

通过3个P领导您自己的数据科学项目

关于学习数据科学技术方面的文献很多：统计，机器学习，数据处理，大数据。 在开始或带头工作时，该材料将为您提供良好的服务。 但是，当您准备展开自己的翅膀并亲自领导一个项目或独立进行一个项目时，该怎么办呢？ 在这里，您需要一种不同的讲故事的方式-可以传达您从事项目工作的原因，价值所在以及已完成工作的类型。 没有这些技能，您将冒着漫无目的地寻找解决方案的风险，而无需为此付出太多努力。 您最后想要做的就是当有人问您工作的商业价值时，成为大鹿。 将大数据的3个V与模型开发的3个P配对，以提高项目的成功率。 继续阅读以了解如何在任何数据科学项目中详细说明问题，过程和进度。 问题 在现实世界中，问题通常没有得到很好的定义。 由医生来定义问题。 将此与许多教室设置和入门级职位进行比较，详细介绍工作的每一个细节。 这等效于按数字着色的涂色本。 您将得到问题和方法。 您的工作严格执行。 这对于学习主题可能是一种有效的方法，但对于解决问题更开放的实际问题却并非如此。 按数字颜色很容易！ 在您的绘画生涯中的某个时候，您将从详细的说明中毕业，然后转向没有数字的着色书。…