本文来自微信公众号“数据驱动智能”,作者/晓晓。
趋势#1:数据产品
像对待有价值的产品一样对待数据
数据产品思维对于任何想要在复杂的数据驱动世界中发展的组织来说都是必不可少的。通过数据消费者的视角来看待数据是实现这一目标的唯一途径。
数据不仅仅是一些信息——它有可能为整个组织的数据消费者提供有形的价值。现在是时候通过采用数据产品思维方式来相应地处理它,以满足企业的整体业务战略。
通过采用数据产品的思维方式,可以将注意力从简单地将数据视为孤立的实体转移到考虑用户的需求并以有助于他们成功的方式打包数据。这涉及创建一个结合数据的有凝聚力的产品,以及用户有效利用它所需的工具和资源。打包数据产品以提高其可用性的示例包括:
1.确定与谁联系以解决有关数据的问题。
2.有关如何使用它的适合受众的文档,例如字段定义、示例报告、仪表板或查询。
3.有关数据本身的信息——例如新鲜度和来源。
目标是改善每个人的数据消费者体验,并减少遗留解决方案中经常存在的复杂依赖性和所有权问题。数据产品可以单独使用,也可以与其他产品结合使用,以回答组织内日益复杂的问题。
要采用数据产品思维方式,首先要确定数据消费者对特定数据产品的需求,并寻找他们成功使用该产品所需的共性。这可以帮助创建满足多个团队需求的数据产品。一旦拥有许多数据产品,数据网格就会变得有价值。
最终用户体验应该始终是任何数据产品的核心。数据产品确保了这种情况——使其成为数据驱动型组织的必要条件。
趋势#2:数据网格
使用数据网格清理数据混乱
实施数据网格需要承诺将数据视为一种产品,并采用去中心化的自助服务模型进行数据管理。虽然这种方法可以释放数据的全部潜力并将其转化为为您的组织带来价值的强大资产,但重要的是要确保您的团队在投入之前已准备好迎接变革。
您是否觉得您的数据团队的行动速度永远不够快,总是落后于需求曲线,并且花钱却没有产生可衡量的影响?也许更糟——您是否注意到,当出现初步进展迹象时,您的团队似乎放慢了脚步,无法跟上步伐以保持最初获得的竞争优势?
数据网格是一种分散的方法,使团队能够创建自己的数据产品并与他人共享。它强调人与技术之间的互动,以改善协作和共享数据所有权——从而加快决策速度、提高敏捷性和竞争力,以及持续改进和创新。
要确定数据网格是否适合您的组织,请评估您当前的数据处理方法是否满足业务需求。如果您已达到纯集中式方法无法解决的复杂程度,那么数据网格可能是一个可行的解决方案。
要成功实施数据网格策略,需要:
1.通过授权面向领域的团队创建自己的数据产品,优先创建能够满足消费者最紧迫需求的数据产品。
2.提供一个框架,使团队可以轻松地创建、查找并与他人共享高质量且一致的数据产品。
3.确保有明确的期望和机制来应用数据产品的必要法律、合规性和安全要求。
数据网格策略并不适合所有企业,尤其是当数据团队分散得太细或没有适当的数据治理时。如果没有适当的策略,您会发现自己陷入比开始时更大的混乱之中。
趋势#3:事件驱动架构
编排解耦工具的终极方法
事件驱动的架构可帮助您的企业快速适应变化并做出反应。它使您的系统更灵活、更易于扩展,同时减少供应商锁定。
如今,组织在其现代数据架构中使用了许多不同的基于云的工具和服务。随着添加到架构中的工具越多,创建的意外事件就越多,使得他们的工作协调更难管理。
管理工具集成的最简单方法是安排以特定时间间隔运行的作业——但这也可能是最难维护的。通常,最好的编排方法是创建由事件驱动的工作流。
事件驱动的架构就像管弦乐队的指挥——它帮助所有不同的乐器和谐地协同工作。它使用事件消息在解耦的服务之间触发和通信任务,确保一切顺利高效地运行。事件驱动架构有很多好处,包括:
1.一旦数据可用,就可以对其进行处理。隔夜批量加载的滞后时间消失了。这是流式工作负载的基础,它还支持实时和接近实时的分析。代码和数据之间的依赖性降低了,更容易在不中断的情况下推出和维护。
2.云的成本和功能得到优化,因为按需任务仅在需要时运行。费用服务全天候运行只是等待事情发生的日子已经一去不复返了。
3.数据可观察性增加且更直观。当一项任务未能达到其预期目的时,工程师可以快速查明失败的后续事件,诊断是哪个组件导致的,并在其他事件并行继续进行时修复它。
事件驱动架构不是全有或全无的追求。在开发任何新的工作负载之前,先问问自己它是否可以是事件驱动的架构。如果您希望重构现有工作负载,请解决维护起来最麻烦的工作负载。
人生苦短,无法不断管理损坏的数据管道和工作流程。实施事件驱动方法的次数越多,就越需要花更多的时间来寻找方法,以便在节省资金的同时为组织的利益使用数据。
趋势4:机器学习操作(MLOps)
最大化您的扩展潜力
MLOps允许组织通过自动化和扩展他们的预测模型和流程,将他们的数据转化为竞争优势。通过利用机器学习和数据科学的力量,组织可以提高效率、准确性和速度,并做出更好、更明智的决策。MLOps对于任何希望推动创新并在瞬息万变的世界中保持领先地位的组织来说都是必不可少的。
机器学习(ML)并不新鲜,尤其是对于具有高级分析成熟度的组织而言。它已经出现了一段时间,根据麦肯锡全球调查,人工智能工具的采用率持续增长,而且收益仍然很大。投资ML和AI技术的组织正在扩大其竞争优势并在整个组织中释放额外价值。
然而,问题在于大规模重新部署ML模型并重新训练它们以使其保持相关性的能力。
进入机器学习操作(MLOps)——如果您准备好将数据科学视为不是一次性试点项目,而是现有数据分析环境的一个集成部分,那么应该注意这一趋势。这是构建机器学习管道(而不仅仅是模型)的实践,以确保可以自动化和优化ML工作流程。
如果您正在使用现代数据堆栈,使用云原生AI工具,并且需要扩展ML用例——需要将MLOps视为数据策略的一部分。
从确定初始用例开始,评估技术、流程或内部技能组合中的任何差距或障碍。然后寻找机会在所有业务领域加速机器学习工作的开发和部署。对于每个用例,您将改进模型训练并微调流程以获得宝贵的见解和经验,并最终通过机器学习取得长期成功。
趋势5:数据素养
赋予您的团队数据技能
为了在当今数据驱动的世界中保持竞争力,组织必须投资于数据素养,以便业务用户能够有效地理解和使用数据。这可以带来更好的业务成果、更好的决策制定以及将数据用作创新和增长的战略资产的能力。
企业已经在最新技术上投入了时间、金钱和资源。您已经制定了数据战略路线图,实施了成功的数据仓库,甚至探索了分析数据的新方法——但用户仍未完全启用。
如果您的业务用户仍在努力理解何时使用数据以及如何解释数据——您的组织缺乏数据素养。
你不是一个人。根据Gartner年度首席数据官调查,数据素养是数据驱动组织取得成功的第二大内部障碍——到2023年,它将成为推动业务价值的关键。
那么怎么知道是否有数据素养问题呢?寻找一些常见的迹象,包括用户对数据和分析产品的采用率低、整个组织的效率明显低下、缺乏有用的见解或数据使用不成熟等。仅凭这些原因并不意味着你有数据素养问题,但如果所有基础部分已经到位,但组织仍未实现业务目标,是时候进行更深入的挖掘了。
数据素养无法通过技术实现——这是您需要采用的一种做法。但是在某些事情到位后,您可以开始为您的业务用户提供以下信息:
1.何时在业务流程中插入数据和分析
2.如何阅读/解释图表和可视化
3.如何处理发现的见解
4.如何利用现有的报告和数据分析计划
5.如何负责任、准确地使用数据
如果准备投资提高数据素养,请首先评估业务用户的具体需求并评估他们的分析成熟度。这将有助于确定需要额外培训和支持的领域。围绕提高数据素养制定的任何计划都必须考虑在内,并整合到您的数据策略中。
请记住,数据素养的目标是让业务用户了解他们在数据方面看到的、所做的和共享的内容。