
几个月前,我正在与一家大型银行的CTO谈论机器学习。 有一次他狠狠地摇了摇头,说道: “ Dinesh,我只花了3个星期就开发了一个模型。 已经11个月了,我们还没有部署它。”
这只是机器学习遇到现实世界时遇到的危险的一个示例。 一件事变得很清楚:机器学习数据和模型不是静态的。 他们永远不会。
我们需要接受这样一个事实,即机器学习只有在流畅的情况下才能长期运行。 在这种情况下,保持流畅就意味着要在五个重要的支柱上构建您的机器学习系统,如图1所示:

1.托管。
为了使机器学习为组织做真正持久的工作,您需要周到,持久,透明的基础架构。 首先要确定数据流水线,并纠正围绕不良数据或丢失数据可能会影响模型准确性的任何问题。 它还意味着对模型的集成管理和版本控制。 确保每个模型的版本(可能同时使用数千个模型)清楚地表明其输入; 监管者会想知道。
2.弹性。
流畅意味着从一开始就接受您的模型将不同步。 这种“漂移”可能会迅速发生,也可能会缓慢发生,这取决于现实世界中发生的变化。 您需要一种等效于回归测试的数据科学方法,并且需要经常进行这种测试而又不会浪费您的时间。
这意味着配置一个系统,该系统可让您设置准确性阈值和自动警报,以使您知道需要注意的模型。 您是否需要在旧数据上重新训练模型,获取新数据或从头开始重新设计功能? 答案取决于数据和模型,但是第一步是要知道存在问题。
观看:我在2月的O’Reilly Strata数据会议的主题演讲中介绍了Fluid ML的概念。
3.表演者。
大多数机器学习都是计算密集型的-在培训期间,尤其是在部署模型时。 大多数企业需要能够在几毫秒而不是数分钟内对交易进行评分的模型,以识别和防止欺诈或利用短暂的机会。 您需要在两个领域都具有出色的性能。 理想情况下,您可以在GPU上训练模型,然后将其部署在高性能CPU和足够的内存上以进行实时评分。
当然,无论部署在何处,您都希望一切都快速且无错误地运行:本地,云或多云。 在这里,Fluid ML等同于运行时环境的灵活性,而丝毫不妥协。
4.可衡量的。
如今,各行各业的组织都在为机器学习项目提供大量预算,但如果数据科学团队无法提供具体结果,这些预算将枯竭。 您需要能够量化和可视化随时间变化的变化:数据访问和数据量的改进,模型准确性的改进以及最终的底线改进。
开始就要考虑如何结束。 不仅考虑您现在需要衡量的内容,还考虑随着数据科学工作的成熟而将来需要衡量的内容。 系统是否足够灵活以跟踪那些长期目标?
5.连续。
我首先指出机器学习数据和模型不是静态的,也不会是静态的。 Fluid ML的第五个也是最后一个支柱是随着世界的变化而不断学习。 确保您的系统允许您使用Jupyter和Zeppelin笔记本之类的工具,可以插入用于计划评估和重新训练模型的流程。
同时,随着您吸收各种算法,语言,数据集和工具的优点和局限性,期望您自己的学习会不断发展和发展。 流体机器学习不仅需要数据和系统的持续改进,还需要您和您的团队的持续改进。
前三个支柱与“永远在线”有关,后两个支柱与持续学习有关。 无论您处于数据科学之旅中的何处,Fluid ML的支柱都可以将重点放在每一刻和对未来的清晰了解上。 这是一个光明的未来,仔细考虑机器学习可以使我们到达那里。 立即在datascience.ibm.com上尝试。
本文最初出现在 https://dineshnirmal.com/上 。