云计算 – 第3页小小书 XXshu

为流集创建自定义原点

流集数据收集器： StreamSets Data Collector是一个轻量级且功能强大的引擎，可实时传输数据。它使您可以构建连续的数据管道，每个管道都从一个来源使用面向记录的数据，可以选择在一个或多个处理器中对这些记录进行操作，并将数据写入一个或多个目标。流集原始阶段：要定义Data Collector的数据流，请配置管道。管道由代表管道起点和终点以及您要执行的任何其他处理的阶段组成。原始阶段代表管道的源。例如，此管道基于SDC出租车数据教程https://streamsets.com/documentation/datacollector/latest/help/#Tutorial/Overview.html，其中使用了目录原点，四个处理器和Hadoop File System目标： Stremsets捆绑有许多Origin阶段组件，可与几乎所有常用数据源连接，如果您找不到源系统的数据源，请不要担心Streamsets API可以帮助您为系统创建自定义的Origin阶段。该博客介绍了如何开始编写自己的自定义Streamsets…

Botmetric为云工程师带来轻松的乐趣

即使在旅途中也永远不会错过Botmetric通知！今天，Slack（实时消息传递应用程序）是各个团队之间强大的通信平台之一。从NASA到NGO的各种规模和规模的团队如今都在使用Slack作为沟通和协作的必备工具。由于Slack的人们在此基础上构建了所有有趣且有用的集成，因此Slack可以做很多非常酷的事情。最重要的是，它有助于工程师的工作乐趣和更加协作。紧紧遵循我们的宗旨，使一天中的云工程师的生活更加轻松，我们很高兴将Botmetric和Slack集成在一起。通过这种集成，云工程师可以在所需的Slack通道上快速了解特定的Botmetric警报以及各种云事件的详细信息。无论是由Botmetric的成本与治理，安全与合规性或运维与自动化生成的警报，云工程师在使用Slack时都不会错过任何警报或通知。松弛的集成-使工作更轻松 Botmetric了解到，IT基础结构中的大多数警报和通知管理都是通过电子邮件形式发送的。但是随着警报的泛滥，它变得很烦人。电子邮件当然是企业界最重要的沟通形式之一。对于与外部利益相关者的沟通，已证明是成功的。但是，对于内部通信而言，这比较耗时。另外，企业内部使用时也有多种用法，例如文件共享，集成，私有组等。 Slack使工程师的工作变得有趣且更具协作性。作为一名工程师，您是否想过每天要收到大量电子邮件。聊天是一种事实证明，它更加协作和富有成效。…

降低风险并提高生产力的5种Cloud ERP注意事项

随着云的发展，企业资源计划（ERP）在各个行业中都得到了发展，因为它支撑着每个业务活动。从财务，会计和采购管理到生产管理，仓库管理和供应链管理，每项活动都可以使用ERP解决方案进行有效管理。但是，将内部部署ERP模式更改为云的想法可能会引起决策者的焦虑。毕竟，将如此重要的业务支柱转移到云上需要谨慎。当您有多张卡片要选择时，很难选择任何一张。云ERP也是如此。选项很多，决策者很难决定最好的选项。在继续使用任何云ERP之前，您需要了解建议的解决方案。准备好收集有关使用单租户环境还是多租户环境的想法。还需要事先考虑在公共云和私有云ERP解决方案之间进行选择，因此在最终选择时毫无疑问。单租户与多租户环境在单租户环境模式下，每个使用云ERP解决方案的企业都会获得一个单独的环境，该解决方案将在该环境中运行。云中的独立计算环境可为各个业务提供功能的可伸缩性，而不会让性能受到其他业务需求的影响。但是，在多租户环境下，不同的企业共同共享相同的云应用程序软件。对于那些更喜欢具有较少自定义项的具有成本效益的ERP解决方案的公司，则首选后者。公有云平台与私有云平台在公共云平台中，使用通用架构来支持ERP系统以及计算机硬件，操作系统，存储设备和其他软件。您拥有Microsoft，Google和Amazon作为公共云平台，它们与ERP系统一起部署了不同类型的商业软件。…

AWS启动伦敦地区

经过漫长的等待，新的AWS平台终于在星期三凌晨启动。我收到了一封电子邮件通知，尽管我尚未设法认真使用它，但由于它仍在控制台的某些部分被禁用，很明显，AWS已将其定位得很好，尤其是考虑到即将退出英国来自欧盟。伦敦云数据中心已经投入使用了两年。确实，在我访问伦敦的AWS UK时，我和一位同事当时对伦敦地区的信息非常敏感。我们将在2015年中推出新的VPC附加组件和EFS预览版，并为我们提供了我们可能不应该拥有的更多信息🙂

19/1/28：什么是多线程异步，这有什么关系？

本周，我将深入探讨我遇到的多线程问题。在进入有关Ellie Calendar的每周更新之前，让我们回顾一下计算机的基础知识。一台计算机实质上相当于一个大型计算器，在早期，它一次只能进行一次计算。这很快就成为一个问题，因为在具有系列计算的世界中，无法在检查新电子邮件的同时移动鼠标。很难想像，但对我来说却是光秃秃的。计算的下一步是创建一种同时执行多项操作的方法，该方法从线程化开始。这允许进程将微型任务排队，以便计算机并行完成并实质上共享计算能力。这些微型任务生活在线程中，我正在描述的过程令人惊讶地称为多线程处理。因此，现在您可以看到软件给多线程处理带来了难以置信的优势，这也是手机和计算机中的应用程序能够响应的核心原因之一。不利的一面是，它会使构建软件更加复杂，尤其是在数据存储方面。这是我在Ellie Calendar中遇到的问题的抽象版本。玛丽和吉米帮助约翰找出空闲时间的快速图表。见约翰。 John被分配来管理您的日历。他要求他的朋友玛丽和吉米离开，并在接下来的两天为您找到空闲时间。玛丽拿了您的日历并返回计算结果，然后吉米几乎做了同样的事情。…

高速文件传输软件

高速文件传输是一个广泛而复杂的主题。并非所有文件传输软件程序都相同。从根本上说，所有文件传输程序都有助于系统之间的信息传输。特定的框架或方法擅长高速文件传输。 Binfer利用“直接设备到设备”技术实现很高的传输速度。许多变量会影响文件的传递时间：Internet速度，计算机规格，数据包丢失和距离是其中一些变量，它们会影响传输数据的总时间。如今，文件传输软件中最明显的瓶颈不一定是网络问题，而是设计问题。大多数文件传输应用程序都依赖中央服务器来促进传输。文件被复制到中央服务器。长时间上传后，接收方便将其下载。中间步骤是在接收方进行传输之前保存文件，平均占总传输时间的50％。云与Binfer 通过结合与文件传输相关的单独的上载和下载步骤，Binfer能够重新定义“高速文件传输”。结合上载和下载步骤，简单的拖放和自动恢复功能使Binfer成为当今最容易，最可靠的文件传输软件之一。它是其他文件传输解决方案（例如Dropbox和Google云端硬盘以及电子邮件）的理想替代品。在基于云存储的文件传输示例中，上传和下载步骤是单独的任务，可能导致文件共享时间延长两倍。在电子邮件解决方案中，不仅上载和下载困境再次出现，而且文件附件的大小通常也受到限制。避免最大文件大小限制的较流行方法之一是将文件分割成许多小文件。…

AWS —身份访问管理

我已经在AWS上玩了大约几周了。我可以说，这是一项很棒的服务。我要说其他球员正在追赶。亚马逊之所以领先，是因为它们起步较早。我要说的一件事是，Acloud Guru在解释很多概念方面做得很好。撰写此博客的原因更多是为了我的教育和开始对话。身份访问管理包含一些关键部分：用户-试图访问平台或服务的人。默认情况下，新创建的用户没有访问服务的任何权限。组-一群试图访问平台或服务的用户例如，您所在的组织要创建一个名为“研究与开发”的组。登录到AWS控制台后，应该会看到类似以下的屏幕： AWS IAM 转到选项组，然后按照下列步骤操作。创建组后，可以将适当的用户添加到该组。这很棒。…

大数据工作流程管理：气流指南（第2部分）

在许多行业中，数据分析在业务的各个阶段的决策过程中一直发挥着关键作用。在当今的大数据时代，采用水平只会越来越高。看到每周出现的所有大数据技术都能满足大数据解决方案实施的各个阶段，真是令人难以置信。随着各种来源（使业务流程自动化的应用程序）以极快的速度生成数据，实施了针对用例的解决方案，例如“从各种来源实时摄取数据”，“以不同数据摄取水平处理数据”以及“准备用于分析的最终数据”变得充满挑战。尤其是，对数据平台进行稳定，可靠的编排，调度，管理和监视管道是一项非常关键的任务。而且，由于数据源的动态特性，数据流入率，数据模式，处理需求等，工作流程管理（管道生成/维护/监控）变得更具挑战性。这是一个由三个部分组成的系列，其中“概述和气流的一些建筑细节”作为第一部分的第（1）部分进行了介绍。本部分介绍生产中气流的部署选项。第2部分：部署视图：提供更好的画面根据需要，可能需要进行简单的设置或对Airflow进行复杂的设置。可以使用不同的方式来部署气流（尤其是从执行者的角度来看）。以下是部署选项以及每个选项的描述。独立部署模式描述：如上一节所述，开始的典型Airflow安装如下所示。配置文件（airflow.cfg）：包含以下详细信息：从何处选择DAG，要运行的执行程序，调度程序应多久轮询DAGs文件夹以获取新定义，在哪个端口上启动Web服务器等。元数据存储库：通常，Mysql或postgres数据库用于此目的。…

项目管理的流动性

在当今的商业环境中，移动性已不仅仅是一个时髦的词。对于任何公司来说，它都有深远的意义。从本质上讲，PM（项目管理）移动应用程序使团队成员无论何时何地均可继续有效地进行协作。这就是为什么大多数成功的PM平台都具有可从大多数流行设备访问的移动版本的原因。如今，用于移动设备的项目管理应用程序可以包含大量的各种功能，以至于它们使某些本地软件看起来很弱。但是，这些功能强大的工具似乎永远无法赶上公众并逐渐消失。那么，什么使移动PM应用程序有效呢？好吧，简而言之，它具有访问所有重要数据，执行有限的任务管理，保持速度并建立通信的能力。资料存取理想情况下，PM应用程序应允许您查看一些简单的文本和可视文档，并轻松共享它们。幸运的是，对于云SaaS型PM系统，这不再是主要问题。任务管理我们提到有限的任务管理的原因是，您不想使移动应用程序过于注重功能。它应该完成所有要素，并且快速直观。您不想在总线上花费不必要的时间来浏览大量页面并滚动UI来更新每个细节。只需单击几下即可完成所有操作。移动版需要向您显示任务和截止日期，并使您能够轻松创建一个ASAP 。…

云同步和备份

通过Dropbox，GoogleDrive或任何基于文件的云服务可以轻松同步。只需将存储空间放入本地文件夹即可进行同步。您还可以在“首选项”中包括现有存储。 Preferences -> Storages -> Add Storage 。在台式机和手机之间同步数据你们可以在桌面与移动应用程序之间同步数据。介绍文章在这里。 https://medium.com/boostnote/boostnote-mobile-how-to-synchronize-with-dropbox-95d845581eea 享受Boostnote😆 我们正在等待您的 Pull请求！