本文来自微信公众号“开源云中文社区”。
机器学习不再是试验。大多数行业领先的企业在机器学习(ML)方面的投资已经取得了巨大成功,企业高管几乎普遍认为,建立数据科学能力对于保持和扩大其竞争优势至关重要。
美国劳工统计局(U.S.Bureau of Labor Statistics)关于数据科学职业领域增长的预测表明,乐观的前景显而易见:从2021年到2031年,数据科学家的就业预计将增长36%,远高于所有职业的平均增速。
现在的目标是使这些成功超越最初出现的业务的特定部分。公司正在寻求扩展其数据科学能力,以支持其整个业务目标套件,并在公司开展业务的任何地方嵌入基于ML的流程和解决方案。
制药、金融、保险、航空航天等以数据为中心的行业的先锋正在进行大量投资。他们正在组建具有不同背景和专业知识的强大数据科学家团队,以开发ML模型,并将其置于尽可能多的业务流程的核心。
通常情况下,他们一头扎进了在每个组织中都存在的区域、组织和技术部门执行数据科学项目的挑战中。如果没有使用数据的工具和基础设施,数据就毫无价值,而且数据在不同地区和业务部门以及云和内部环境中都是分散的。
即使分析师和数据科学家克服了访问业务其他部分数据的障碍,他们也很快发现缺乏有效的工具和硬件来利用数据。好的情况是,这会导致低生产率、数周的延迟,并且由于硬件不理想、数据存储昂贵和不必要的数据传输而导致成本显著增加。坏的情况是,它会导致项目失败,或者无法启动项目。
成功的企业正在学习通过采用混合云策略来克服这些挑战。混合云——内部部署和云环境的集成使用——还包括多云,即使用多个云提供商的云产品。混合云方法使公司能够充分利用世界上最好的东西。
他们可以利用云环境的灵活性、内部基础设施的成本效益,以及从任何云供应商和机器学习操作工具中选择最佳工具和服务的能力。对于数据科学来说,更重要的是,混合云使团队能够利用端到端的工具和基础设施,在数据所在的任何地方释放数据驱动的价值。
它允许他们套利不同环境的固有优势,同时保留数据主权,并提供随着业务和组织条件变化而发展的灵活性。
使用混合云将机器学习融入业务的每一部分
尽管许多组织试图应对分布在不同内部部署和云环境中的断开连接的平台,但如今最成功的组织都明白,他们的数据科学运维必须是设计的混合云。也就是说,实现端到端ML平台,这些平台原生支持混合云,并提供跨环境无缝一致工作的集成功能。
在Forrester最近对人工智能基础设施决策者的一项调查中,71%的IT决策者表示,人工智能平台对混合云的支持对执行人工智慧战略很重要,29%的人表示很关键。此外,91%的人表示他们将在两年内投资于混合云,66%的人表示已经投资于人工智能工作负载的混合支持。
除了数据科学混合云战略的首要优势——能够在业务中的任何地方执行数据科学项目和实施ML解决方案,还有三个关键驱动因素正在加速这一趋势:
——数据主权:GDPR等监管要求迫使公司在当地处理数据,世界上越来越多的地方面临着巨额罚款的威胁。《欧盟人工智能法案》将人工智能应用分为三个风险类别,并呼吁彻底禁止被认为风险最高的应用,该法案将比罚款更进一步。Gartner预测,全球65%的人口将很快被类似的法规所覆盖。
——成本优化:由于用例数量的增加、数据量的增加以及计算密集型深度学习模型的使用,ML工作负载的规模随着公司扩展数据科学而增长。混合云平台使公司能够将工作负载引导到最具成本效益的基础设施;例如,优化内部部署GPU集群的利用率,并减轻不断上升的云成本。
——灵活性:采用混合云方法可以经得起未来考验,以应对业务运营和IT战略中不可避免的变化,例如涉及不同技术堆栈的公司的合并或收购,扩展到默认云供应商不运营的新地理位置,甚至云供应商成为重要竞争对手。
机器学习混合云策略的三个关键要素
为ML实现混合云策略说起来容易做起来难。例如,没有一家公共云供应商为内部工作负载提供的支持超过了令牌,更不用说对竞争对手的云的支持了,随着数据科学名册的增加和ML项目的开展,你的数据科学团队所需的工具和基础设施的范围也在扩大。以下是每个企业必须提供混合云支持的三个基本功能,以便在整个组织中扩展数据科学:
——全数据科学生命周期覆盖:从模型开发到部署再到监控,企业需要数据科学工具和操作来大规模管理数据科学的各个方面。
——对数据科学工具的不可知支持:考虑到ML和AI项目的多样性,以及分布式企业中数据科学家的不同技能和背景,你的策略需要为主要的开源数据科学语言和框架提供混合云支持,可能还有一些专有工具,更不用说支持不断开发的大量新工具和方法的可扩展性了。
——可扩展的计算基础设施:更多的数据、更多的用例和更先进的方法需要通过分布式计算和GPU支持进行扩展和扩展的能力,但这也需要支持多个分布式计算框架的能力,因为没有一个框架对所有工作负载都是最优的。Spark可能非常适合数据工程,但应该预料到,你需要像Ray或Dask(甚至OpenMPI)这样以数据科学为重点的框架来进行大规模的ML模型训练。
在核心业务功能中嵌入ML模型是基于人工智能的数字化转型的核心。组织必须采用混合云或等效的多云战略,以超越最初的成功,并在各地部署有影响力的ML解决方案。
数据科学团队需要端到端、可扩展和可缩放的混合云ML平台来访问他们在整个业务中开发和部署ML解决方案所需的工具、基础设施和数据。组织需要这些平台来实现其提供的法规、成本和灵活性优势。
Forrester的调查指出,采用混合云方法进行人工智能开发的组织已经在整个AI/ML生命周期中看到了好处,在部署和扩展其模型方面遇到的挑战比依赖单一云策略的公司少48%。所有证据都表明,已经投资于数据科学团队和平台的先锋公司正在使用混合云进一步取得进展。