本文来自谈数据,作者:用友平台与数据智能事业部。
“数据中台”无疑是当前IT界最大的热点。关于中台的讨论和解读,互联网上有着很多不同的声音,有人认为数据中台是企业数字化转型过程中无所不能的“良药”,也有人认为数据中台是难以驾驭、存满风险的“深坑”。
在笔者看来,这两种观点都有些极端,数据中台只不过是企业信息化、数字化发展过程中的一个产物,就如同当年的面向对象的编程和面向服务的SOA架构,而数据中台正是组织经过多年信息化发展,都普遍沉淀了大量的数据,如何管理好、应用好这些数据,从而让企业获得收益的时代性的产物。
—01—
数据中台核心是赋能业务
数据中台是围绕数据从生产、存储、增强、使用、传输、共享、冷存储到毁灭的全生命周期,是满足IT研发者、数据科学专家、产品经理、分析师、决策管理者等不同角色对数据的应用需求,具有海量多源异构数据整合、实时数据计算与发布、统一通道数据调用与分析能力,具备高可复用、高可靠、高效的开放型数据治理能力的数据处理平台。
首先我们要充分意识到数据中台是一个企业加工生产数据的业务系统,它不是一个传统意义的技术平台而是一个生产系统,它的生产资料是数据,它的产品是对业务产生洞察和价值的服务。这跟企业的业务目标、行业领域、文化结构、流程体系等因素紧密相关,所以数据中台一定不是一个可以一次性购买部署的套装软件,它是一个为企业的业务目标服务量身定制的系统。
其次它紧密绑定,跟随着企业的业务战略,所以它是一个演进式架构,在不同的阶段、不同的领域,会采用不同的技术选型。
所以用友认为,企业的数据系统,正从原来的数据仓库这样的封闭架构走向开放架构,企业的数据中台是开放平台,一个建立在演进式架构之上的开放平台。
数据中台是将数据资源与数据生产系统松耦合,为业务前台创新多变的业务场景提供数据能力的支撑。数据中台是企业级的数据加工厂,它不是一个单纯的技术平台,而是一套以业务服务为目标,以业务需要为导向,包含建设方法、基础设施、运营体系在内的综合解决方案,往往伴随着企业组织的变革和业务流程的创新。
企业级数据中台的建设不是抛弃企业原有的IT系统彻底重建,而是在继承企业历史信息化投资的基础上,通过中台架构的引入,借助业务中台、数据中台的理念,实现“数据赋能业务”。
—02—
数据中台的能力组成
数据中台的核心就是数据能力的复用,功能组件化,治理公共化。数据中台是以赋能企业数智化转型为目标,利用先进的数据处理技术,规范一套业务模式和组织形式,持续的为企业提供数据服务的机制。
我们可以将数据中台大致分为三个部分,如下图:
业务数据化。业务数据化是一个动词,但这里我们是指企业多年信息化建设和使用过程所沉淀下来的信息系统,这些信息系统是数据中台重要的数据来源。除了图中所示的各个信息系统以外,数据中台所汇集融合的数据还包括来自互联网各大电商平台、社交平台的数据,如:企业竞品数据、会员动态等数据;另外还有一部分数据来自生产工厂的工业边缘数据,如:设备的实施数据等。这些数据都是企业宝贵的数据资产,将为企业的数字化转型起到重要的支撑作用。
数据中台能力中枢。主要提供各项数据采集、处理、管理、存储和应用的能力。数据资产管理,提供元数据管理、数据主题管理、数据质量管理、数据探索、数据安全等功能,实现企业数据资产的全生命周期管理。数据湖提供了大数据存储技术的核心引擎,满足各种类型数据的存储和处理。数据移动服务提供了数据采集、转换、清洗、加载的能力,支持全量/增量,非实时/实时、结构化/非结构化/半结构化的数据采集与处理。智能分析服务,提供了可视化数据建模、各种可视化图表、报表、满足企业主题分析、大屏分析、业务人员自助分析等数据分析应用场景。统一数据共享/开放体系,数据中台以标准的API对外开放数据,支持数据的合规、安全使用,为未来企业的数字化转型提供支撑。
数据业务化。企业实现数据驱动业务、数据驱动管理的实现数字化转型的重要举措,这些项目包括措施包括现有业务主题各业务指标的分析,数据报表的展现,数据大屏的应用,以及基于数据中台业务人员也能够快速上手,基于中台的数据进行相关探索和分析,为业务处理和业务创新提供必要的支撑。
以上是数据中台的典型架构,笔者认为企业建设数据中台本质上是在“构建其对数据管理和应用的核心能力”!而这一特点,也说明了没有哪两家企业的数据中台是一样的,也就是说,数据中台的建设必须依据企业需求现状和未来发展要求进行一步步搭建,不可盲目照搬。
—03—
数据中台建设需要做好顶层规划
在做数据项目之前,企业首先要找到一套符合本企业特性的建设方法论,才能不走弯路,不掉入中台项目实施的“陷阱”,用友集合了多年信息化发展经验,总结了一套适合大中型企业的中台项目顶层规划方法论:
图:数据中台顶层规划方法论
结合数据中台项目规划的核心内容,制定合理的建设方案:
1、数据资产管理,盘点数据资源、规划数据资源、获取数据资源,并将所有资源进行完整呈现,企业可根据数据资源规划报告指导后续数据治理和数据资产管理平台的建设,最终服务于企业数据应用场景。
2、数据管理分析平台搭建,按照数据资产梳理结果,落地搭建企业级的大数据平台,获取相关的数据,并搭建相应的技术平台。
3、数据指标体系建立,对用户、产品、客商、营销等各主题域进行标签提取,将其特征数字化,为后续进行精准营销和客户画像提供必要条件。搭建企业标签体系,着重分析当前需要但是无法获取到的指标,描述使用不便的指标,分析问题原因,绘制数据供应链条。
4、数据治理,从基础数据、业务数据、大数据视角综合分析当前的数据质量问题,建立相应的组织、设定相应的流程对数据资产进行管理。
5、数据应用及可视化,基于当前外部数据、IOT数据、非结构和半结构化数据进行大数据应用的规划,并论证实现过程和进行成本评估。一旦评估通过可以帮助企业进行大数据应用的完整开发和落地。数据可视化应用,讲述数据背后的价值。在最短的时间内用最具冲击力的视觉语言,将企业最重要的数据/信息传递给最重要的人。
—04—
数据中台建设需要治好数据
近年来,数据仓库、大数据、数据湖、数据中台等概念层出不穷,也让整个IT界很多企业的信息化管理者们变得“困惑”。从近年来企业的大数据实践来看,很多企业都陷入了一个误区:很多企业都热衷于大数据技术,热衷于通过数据分析、数据挖掘、数据可视化、数据大屏这些大数据的高阶应用。
然而,大数据的这些高阶应用形成金字塔的“黄金塔尖”的基础是建立在良好的数据管理基础之上的,缺乏适宜的数据治理体系,缺乏良好的数据管理手段,再高级的数据应用都只不过是“空中楼阁”罢了。
因此,数据中台更需要数据治理!
万事万物都有一个发展的过程,数据中台也一样,我们根据在数据治理领域相关管理方法论和实践,参考国外数据治理管理机构、相关论坛、大数据管理机构的相关观点,并结合数据中台相关产品和服务供应商的发展和市场情况,我们总结“数据中台”发展大致会经历基础建设阶段、中阶应用阶段和高级应用阶段三个阶段。
基础建设时期,以某一个领域为的数据融合化应用或数据智能化应用为场景,结合大数据技术,实现某一领域的数据价值管理。这个阶段主要任务是各种数据管理和应用能力的建设。数据治理的各种工具,为数据中台提供了基础的数据管理和应用能力,包括:集成工具、算法工具、分析工具、展示工具,通过API应用的方式提供给业务场景。数据治理的人员业务人员是主要的参与角色而非执行角色,IT/数据工程师/数据科学家是具体执行数据执行的人员。数据治理的具体活动是代码化的程序清洗、处理和计算逻辑。数据治理的需求、管理流程、制度基本都在线下执行。这个时期的数据中台会被形象的理解为”数据湖””数据生产线”、或初步的”数据工厂”。
在中级阶段,以实现对企业内部数据的全部的数据质量提升为目的,“数字孪生”等概念开始提出,在这个阶段企业聚焦建设数据中台产品/项目,主要以引入各种大数据技术,将这些技术整合,形成数据采集、数据湖管理、数据清洗、和数据BI展示的能力,再结合大屏或移动应用,以满足领导驾驶舱、业务部门报表统计等未为主要的方法和趋势,这种数据中台的建设强调的是如何把数据用起来。除银行、电信这样的行业外,其他行业的数据中台建设大多应该未到达这个阶段。这个时期开展数据治理是以数据管理体系理论建设基于”数据业务化”功能相对完整的数据管理平台,AI作为数据加工的工具之一。数据管理的人员和组织要求从IT和数据工程师,开始转移至业务部门,数据工作和业务工作成为了业务人员的重要工作职责和内容。比如采购部门的供应商管理专员,除基于SRM系统开展的重点业务的同时,还需要基于管理往来企业的数据工作,例如,包括可能向数据管理部门提申请访问公司内部或链接外部的”企业信息资源库”,来在线检查报名投标的潜在供应商信息资料的准确性;也包括申请访问公司的”客户数据资产库”来核查是否会存在关联交易的情况;并根据检查的结果提交更新“内部企业信息库”、“供应商数据库”、“客户数据库”的申请。这些将仅数据中台业务中的极小点。这个时期的数据中台会被形象的理解为”完整的数据工厂”除了数据的”生产线”还包括了”生产线”与其他”工厂部门”的协作。此阶段中台的理念:数据复用将会被极大的体现。
在高级阶段,企业可能建立起认知:企业意识到要想彻底实现企业数字化转型,就必须实现全面的数据管理,企业会意识到”数字治理”是企业数字化转型发展的必由之路。开展数据治理的是基于更友好、更快、更高质量、和更有价值数据来源的数据共享平台,AI成为了数据管理的目的,数据采购、数据生产、数据库存、数据销售等成为数据治理的完整工作需求,对数据安全、数据隐私保护、数据确权成为这个时期最为关键的技术问题。数据中台是一个完完全全的被业务化的一个系统。业务人员无需关注大数据的技术能力,不满足业务的技术需求会通过内部问题系统或者Dataops系统提交给数据管理部门或IT部门。数据治理的组织和人员会延伸到企业的每一个人。会有专门的数据开发的业务部门,包括数据采购和数据市场、数据研发和销售部门。如何结合企业内部数据和外部数据实现数据价值的存量价值和流量价值是企业核心的价值业务之一。这个时期,可以理解数据中台“数据公司”也需要解决“数据产供销一体化的等问题”,此阶段中台的理念:价值创新,产业转型将会被极大的体现,甚至转向数据公司。
—05—
企业数据中台建设普适性蓝图
以上通过总结,我们可以看到,数据发展的一个趋势路线和数据中台建设的一个通用普适性的蓝图。数据治理理论是数据中台产品发展的理论基础,而数据中台的发展是数据治理理论实现的IT平台保障。利用数据、销售数据、产业转型这些是企业数据管理最终目的,但什么企业选择什么路线需要企业的董事会、CEO、CDO制定方向、战略、和总体需求。数据治理是实现企业战略和布局的必要的手段;实施数据中台是实现数据治理和数据管理目标的最佳途径之一,实现目标的IT基础设施,未来可能会提到新基建的高度。
如果说蓝图离我们可能有一些远,那么按照当前大多数的概念和知识领域来看,数据治理和数据中台的关系包括以下几点:
数据利用是数据治理和数据中台共同的最终目的。这些利用包括数据服务、数据应用、数据创新赋能等。
数据治理是数据管理体系化的活动,或者说是具体化的工作,涵盖方法论、组织、制度、流程、技术、工具的等全方面,先建体系再开展具体活动,并在活动中优化体系是笔者提倡的方式。数据中台是IT工具,数据中台项目建设在方法、组织、制度、流程、技术等方面有较大的重叠。
数据中台是提供数据利用能力的手段,需要对企业全域数据进行采集、处理、清理、融合、计算、应用的服务能力,而提供这些数据能力的前提是具备良好的数据质量。
数据资产是通过数据治理活动和数据中台等手段进行不断增值的结果。即使最简单的采集和分发也被包含在这个过程中。
—06—
推进中台战略,实施数据治理
为快速推进数据中台的建设,部分意识领先的企业已规划了企业的数据战略,设置了CIO、CTO、CDO等高管职务,分别负责企业总体的信息化战略制定及实施,企业信息技术或平台的选型,企业数据管理的战略制定和实施。
关于数据治理和运营,由企业的CDO负责,包括企业数据管理组织的建设,数据管理价值、目标、制度与管理体系建设,数据管理平台(中台)的搭建,数据价值商业变现及价值评估等。
而数据治理的具体实践活动为数据管理需求确定及优先级管理,制定数据标准,解决数据来源问题;解决海量、异构、杂乱的数据便捷高效的提取、存储、融合及提取的问题;解决如何实现自动化或智能化数据治理及清洗问题;解决如何管理数据质量管理及安全问题;解决如何提供高效、稳定、便捷数据服务及数据应用问题;解决如何实现数据的价值进化和产生附加值的问题;解决如何确保数据管理、流通、使用过程中满足各方法律和制度,遵循数据管理道德、数据隐私保护政策等等。
注:本文摘自用友官方出品的《数字化中台》,电子工业出版社