本案例通过建设民航空管数据云平台,打通数据供应链,从数据的采集开始,到数据的存储、治理、交换、挖掘、开发,最后把数据供应给需求相关方,完成数据的价值利用,在数据流通过程中完成数据的资产化、服务化、价值化,让数据资产发挥更大的应用价值;通过数据云平台提供统一的数据服务,减少现有系统点到点互联存在的问题,有效提升华东空管局的数据共享水平及应用集成效益。通过构建有效的数据云平台,固化数据治理管理体系和已有成果并支撑后续数字化建设工作,有效提升交通运输行业的航运服务能力。
一、实施背景
为满足空管业务快速发展的需求,民航空管信息系统建设全面铺开。但从信息管理的角度分析,目前系统建设多采用“烟囱式”的纵向架构,信息孤岛较多,系统间数据壁垒严重,尚未打通从数据采集,到数据存储、数据治理、数据交换、数据挖掘、数据开发、数据价值利用的管道,尚未建立完善的数据供应链体系,尚未对数据的全生命周期进行统一管理,数据价值挖掘不充分,智能化应用不足。
此外,数据治理作为数字化转型的基础性工程,是数字化转型工作的核心任务之一。华东空管局将数据视为一项战略性资产,启动了数据治理项目。希望通过数据治理,构建规范化的数据治理管理制度和流程,明确数据治理各方职责分工,指导、监督并考核各项目群的建设与实施工作;梳理构建企业级数据资产目录;形成统一的数据架构和数据标准;搭建数据质量管理、数据安全管理体系和数据服务应用;建立数据全生命周期管理体系,从而支撑生产与职能管理,促进信息系统应用集成。
因此,有必要建设数据云平台,打通数据供应链,从数据的采集开始,到数据的存储、治理、交换、挖掘、开发,最后把数据供应给需求相关方,完成数据的价值利用,在数据流通过程中完成数据的资产化、服务化、价值化,让数据资产发挥更大的应用价值;通过数据云平台提供统一的数据服务,减少现有系统点到点互联存在的问题,有效提升华东空管局的数据共享水平及应用集成效益。通过构建有效的数据云平台,固化数据治理管理体系和已有成果,并支撑后续数字化建设工作。
二、实施目标
华东空管局管制了全国1/4的航班运行和30%的客流量,覆盖了最忙碌、拥挤、繁杂的地区,拥有东海、台海、南海等与国外接壤最多的区域,每天产生业务数据约3亿条,苛刻场景需要毫秒级实时数据处理能力,且所有系统包括数据云平台必须支持高可用、零故障。
空中交通业务包括空中交通管制、通信导航监视、航空气象、航行情报四部分,其中需要引接的系统包括飞行管理类、综合管理类、机场管理类等共计21套核心业务系统。为了更好的把民航大数据管起来、用起来、活起来、打通上述业务系统,建成集数据接入、存储、计算、分析、共享交换以及数据开发、数据服务一体的综合平台,面临着可靠性、灵活性、实时性等众多挑战。
由于空管行业的特殊性质,任何业务故障都可能带来巨大的损失,因此华东空管设施都采用了双路设计以确保高可用性,同时对数据云平台产品也具有较高的高可用性要求。此外,华东空管业务系统众多,数据来源多样,仅依靠数据云平台产品本身难以满足其业务需求,业务复杂度极高。另外,华东空管业务对数据实时性要求极高,数据延迟仅能以毫秒计,一旦数据丢失则无法追溯。
因此,必须建设一套具有全部组件航空级高可用保障,灵活低代码数据开发任务可控可审批,亿级生产业务数据实时处理分析的数据云平台,来满足其数据资产治理过程中的可靠性、灵活性、实时性、安全性需求。
三、建设内容
(一)11个系统历史数据的有效复用
将原有的空管自动化系统、两场场监系统、塔台电子进程单系统、CDM系统、飞行计划集中处理系统、NAIP环境数据库、情报CNMS系统、ADS-B系统、气象数据、内话系统、转报系统等11个系统的相关历史数据,引接到数据云平台,实现历史数据的有效复用。
(二)10个业务系统数据的引接及全生命周期管理
引接和集成流量系统、OMSS、运维平台、ATC防护系统、JM融合系统、人力资源系统等10个业务系统数据,实现业务数据的统一存储、治理、共享、挖掘、开发等。华东空管局管制了全国1/4的航班运行和30%的客流量,覆盖了最忙碌、拥挤、繁杂的地区,拥有东海、台海、南海等与国外接壤最多的区域。目前,累计引接存量数据169T;日增量数据218G,约3亿条,平均1.5万条/秒。
(三)6个主题域的建设及数据融合创新
通过湖仓一体架构的大数据存储与计算底座,实现实时数据、离线数据引接后的统一存储。从局方(空管局)标准、国外标准、局内部(华东空管局)标准、引接数据特征等多个维度梳理数据目录,建立数据模型,借助实时计算、离线计算等多种数据计算引擎,完成数据的汇总、分析,建立贴源层、规范层、整合层和主题分析层等数据资源。利用数据云平台的实时、离线数据治理能力,实现包括航班、流量管理、航空情报、人员等在内的6个主题域的建设。围绕安管系统业务场景、运管平台业务场景、数据交互及服务场景、数据统计分析(离线、实时)场景等所需要的数据,完成主题分析层建设。
(四)面向空管场景的数据服务及数据共享交换
建设航班信息、流量信息、情报信息、航行监视信息、人员信息等数据服务,实现数据云平台对于实时、离线、指标等数据的共享交换,实现重要数据服务的注册、管理和发布。与分局站数据平台集成,实现数据资源共享及数据资产目录、数据标准、数据质量规则等数据的统一管理。
(五)空管业务数据的跟踪检测及分析决策
以领导驾驶舱决策以及数据大屏等方式,从数据资产、数据标准、数据质量、数据模型、数据共享及数据管理等流程多个维度进行数据资产信息的展示。依据数据仓库输出数据,进行离线关键指标的分析及大屏展示。依据实时流数据,进行数据统计、关联分析,建设实时监控大屏展示,以满足对航班架次、运行品质、超容提醒、气象信息等指标的跟踪监测。
综合语音、航迹、气象、飞行计划等数据,构建空管运行智能复盘分析系统。从航空器、机场、空管事件等多维度展示运行实况,并支持历史空管事件复盘分析;下钻每个业务维度,实时掌握各级运行动态;融合历史与当前数据,预测未来发展趋势,为航空管理提供决策辅助。作为“数据要素×交通运输”场景的重要实践,借助数据云的能力,从历史空管事件复盘、实时运行实况监控、未来发展趋势预测等多个角度,实现航运路线规划的优化,航运服务能力的提升。
(六)数据云平台的系统可靠性保障
由于空管业务一旦出现故障将造成难以估量的损失,因此空管所有设施都采用双路方式部署,各业务系统也需要保证高可用、零故障运行。基于此需求,数据云平台通过数据备份恢复、故障自动切换、负载均衡、故障快速恢复等措施,在兼顾实时高效处理业务数据的同时,保证平台的安全可靠运行。
(七)数据分类分级的安全保障
通过数据分类分级的方式,实现数据的安全管控。通过对数据加密、脱敏等规则策略的管理,结合数据资产的分级情况,对数据资产查询结果进行安全处理,若为敏感字段则根据规则自动脱敏,从而保障数据资产在安全、规范的环境下有效使用。
四、实施效果
(一)通过自动化方式,降低数据采集、报表制作等过程中的人力成本
通过对各业务系统间数据的自动采集、整合、分析和共享交换,避免了人工操作,降低了人力成本。以往报表制作从数据的手工汇总、分析到制作需要花费大量时间成本和人力成本,现在借助于自动化报表生成等功能,整个过程完全由平台自动完成,极大地释放了劳动力。
(二)通过数据全生命周期的统一管理,降低数据存储成本及维护成本
通过统一的数据采集、存储和管理,可以减少数据存储冗余和浪费,降低存储、维护成本,简化各业务系统间的数据交互和共享交换的流程。以往各部门及业务系统间想要实现数据的高效交互与共享,几乎是无法做到的,现在通过数据全生命周期的统一管理,极大程度破除了部门间、系统间数据交互、共享的障碍,提高了数据的利用效率。
(三)以数据共享、数据分析、风险预测等方式,提高公共安全保障能力
依托数据云平台能力,可以实现各业务系统间的数据共享交换,提高公共安全保障能力。同时,通过数据分析和挖掘等功能,可以及时发现和预测空管领域的安全隐患和风险,提出更加有效的应对措施,进一步保障公共安全。