Google Cloud今天宣布推出Kubeflow Pipelines,以促进企业内部协作,并进一步推动AI的民主化。Kubeflow Pipelines现已供免费使用并且已经开源。
Google Cloud产品经理高级总监Rajen Sheth表示,世界上只有几千名机器学习工程师能够实现将深度学习从概念变为生产,但是数据科学家有数百万人,以及拥有千万名的开发人员。
Kubeflow Pipelines旨在解决这一差距,为更多的数据科学家和开发人员提供支持,并帮助企业克服实现AI First战略的公司障碍。
“我们当前所遇到的一个最大问题是企业正在尝试建立数据科学家团队,但是这是一种稀缺资源,除非得到了很好的利用,不然就会造成浪费,”Sheth说道:“我们发现,超过60%的案例中的模型当前并未实现从部署到生产,因此我们现在正在构建一些希望能够帮助解决这一问题的事情。”
Sheth说道,Pipelines层是可组的,因此机器学习中的不同部分和乐高积木一样,都能够拼到一起。
这一方法允许一个团队中的不同成员执行标记数据、将数据变成功能、以及验证数据等。如果发现了更好的方法,也可用于测试各种迭代并替代模型或者原有的方法。
“它们都会被迁移到新的模型中,并让剩下的Pipeline保持在原来的位置,这会带来一个问题:‘这个新的模型是否能够极大推动这一结果?’从而能够通过一种更好的方式来实现快速试验。”他说道:“我们现在正在使用Pipelines,并且开始需要开发人员、企业分析师和终端用户的参与,因此他们都能够成为团队的一部分,从而能够构建Pipeline。”
Kubeflow是谷歌今年早期发布的一个开源项目,针对的是机器学习和Kubernetes容器。使用Kubernetes将能够让企业变得灵活,避免完全使用云中的内部数据和框架或培训模型来训练AI模型。
Kubeflow Pipelines的部分是基于TensorFlow Extended(TFX),并且也使用了TensorFlow Extended中的库,谷歌内部也通过TFX来构建机器学习组件,然后允许不同内部团队的开发人员使用这一成果,并将其投入生产。
谷歌今天还发布了AI Hub,这是基于机器学习模块TensorFlow Hub构建的,并且在今年早期也已供使用。AI Hub旨在为有兴趣训练或部署AI模型的人提供一站式服务。
除了提供训练,AI Hub也将从谷歌获得大量的资源,如受欢迎的TensorFlow Embeddings,以及来自Kaggle的内容(Kaggle是一个社区,拥有超过200万名的数据科学家)。
随着时间的推移,谷歌希望大型生态系统所生成的受欢迎模型都来自于AI Hub。
“我们最终希望第三方能够在AI Hub中共享信息,并将其变成一个交易市场,”Sheth说道:“我们发现,这一社区确实能解决很多用户的问题。”
AI Hub最初将向大约100个企业合作伙伴开放。
和Kubeflow Pipelines一样,AI Hub旨在为员工提供培训,消除公司中团队之间的障碍,因此他们能够让开发人员、数据科学家和机器学习工程师的工作变得更加有价值。
“AI认知素养”是上个月在VB峰会上同谷歌和Google Cloud的高级管理人员讨论的一个概念。
Sheth说:“我认为最大的挑战在于,为了实现AI First战略,每个人都需要有AI认知素养,从思考这一问题的产品经理,到开发人员,到数据科学家,再到生产团队。一旦你有了认知素养,那么你就能将AI融合到几乎每一个企业业务中,这也是我们现在所处的情境。”
“几乎每一个谷歌产品都通过了有趣的方式来使用AI,我们意识到它能帮助我们解决更多的问题,我们也希望这能够帮助培养其他公司的文化。”
原文作者:KHARI JOHNSON