本文来自twt企业IT社区,作者/郑金辉。
2019年数据中台的概念被行业客户普遍接受,数据域的建设也如火如荼的大规模展开。2020年算是数据治理的元年,很多有数据资源积累和开展了数据域建设的客户,纷纷把目光投向数据治理,其实这也符合一乱一治的历史规律。
数据治理是广义IT治理的一部分,即制定与数据有关的标准规范、管理优化、数据保护、数据变现的政策。简单来说,数据治理就是让数据更有序、更合规、质量更好。
随着数字化转型认知的加深,数据资产化已经成为数据中台建设的重要目标和原则,数据治理成为企业绕不过去的一个重要环节,同时数据治理在落地层面也在发生这一些变化。
一、为什么要做数据治理?
数据治理是对数据资产行使权力和控制的活动集合。其最终目的是挖掘数据价值,推动赋能业务。数据治理是以元数据为基础,实现数据的产生、存储、迁移、使用、归档、销毁等环节的数据生命周期管理。实现数据从源侧到存储侧再到端侧的全过程管理,为用户提供了准确便捷的企业资产信息。
我们都知道,数据本身并不能发挥价值,真正发挥价值的是数据赋能。所谓数据赋能,简单来说就是将正确的数据在正确的时间交到正确的资源手上,这里的资源可以是人也可以是机器,可以是内部或外部的,也可以是移动或固定的。从数据赋能的角度说,数据治理过程应涵盖数据信任、数据及时性,以及数据可用性,还有数据保护,但是保护总有个限度,要考虑灵活性,数据保护不能扼杀创新,否则创新将聚焦于如何绕过数据治理。
数据治理是组织实施的一整套涉及数据的行为规范,在维护、控制和保护数据的同时,将正确的数据交付到正确的资源、此外,数据治理通过人员、流程、策略、架构和技术的管控,以保证数据的可用性、一致性、完整性以及合规和安全性,以达成与公司战略匹配的目的。数据治理实施得当,会提升的完整性和可用度,确保在整个数据生命周期中,实现较高数据质量的目的,这会极大助力数字化转型。企业需要的不只是一个数据治理的管理系统,而是一整套规则体系。
二、数据治理的发展趋势
1、数字化转型速度加快,数据治理的价值进一步提升
随着企业数字化转型的加快,企业数据量和价值密度呈现高增长态势,不但有管理数据,生产、研发和工艺等环节的数据也越来越多,数据维度越来越多,颗粒度也越来越细。对数据采集、存储、分析、处理的工具、计算能力、建模应用能力的要求越来越高。传统分析技术捉襟见肘,需要能力更为强大的内存多维数据库技术和更强的算力作为支撑。数据治理的必要性大大增加。
2、数据治理和数据平台架构互相促进互相成就
数据平台架构的核心是数据中台建设,数据中台建设将与业务中台紧密结合,不断推动业务运转过程中的数据采集、存储处理、分析、应用的全生命周期管理,不断提升数据治理效率,巩固数据治理效果。与此同时,数据治理也不断验证优化数据中台架构的合理性、有效性,推动企业建立适应数字时代、市场快速变化条件下的新一代IT架构,完成从业务、财务和技术等全方位的数字化转型进程。
3、人工智能将大幅提高数据治理的效率和效果
企业的组织、业务、系统、流程变得越来越复杂,数据量越来越大、数据结构越来越复杂,需要投入大量的数据专业人力资源,依靠传统人工管理监控变得非常困难。数据治理将更多依靠深度学习、自然语言识别、模式识别等人工智能技术,运用到包括元数据和数据架构、主数据和参考数据、数据服务与数据安全等识别和管理工作。在人工智能技术加持下,数据管理自动化水平得到大幅提升,减少了大量重复劳动,不断提升数据的准确性。
4、从单一的数据质量管理,向数据服务开放演进
传统的数据治理更强调数据质量管理,核心目的是提高数据质量,支撑决策水平提升。在数字化转型的大背景下,除了最基础的数据治理管理以外,更强调数据服务的建立和开放,要求服务更具开放性和灵活性,以适应需求场景的不确定性。在这种形势下,数据治理就被要求实现数据的可见、可管、可用、可运营,同时支撑数据管理部门从单一的成本中心向价值中心转型。
5、数据确权成为数据治理的核心和关键
数据治理的核心和关键任务就是梳理并确认数据的责任和权属。从数据运营的角度来说,数据由谁负责的问题是根本性问题,对于这个问题的回答,各方也是莫衷一是,有人指向IT部门,也有人说数据管理人人有责,但人人有责等于没人管。其实从数据治理的角度来说,数据的所有权应该是整个组织,但是需要有人来代替组织行驶管理权,同时数据的源头和生产部门应该负担起数据的维护任务。总之,数据的属主确认是一个严肃而又麻烦的问题,涉及到部门墙等管理问题。