一、项目背景
2023年12月29日，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。某省级农信为提升整体服务质量和自身竞争力，满足基层行社精细化管理、产品创新、风险防控、客户营销、经营决策等方面需求，拓宽各类业务渠道，增强客户粘度及业务流量，积极推进数字化转型，赋能金融模式，构筑良好的生态运营环境，助力乡村振兴、服务实体经济、防范化解风险，推动某省级农信实现高质量发展，合理规划科技建设，高效促进数据要素流通及利用。
二、实施目标
为提升某省级农信服务质量和自身竞争力，满足基层行社精细化管理、产品创新、风险防控、客户营销、经营决策等方面需求，拓宽各类业务渠道，增强客户粘度及业务流量，积极推进数字化转型，赋能金融模式，构筑良好的生态运营环境，助力乡村振兴、服务实体经济、防范化解风险，推动某省级农信实现高质量发展。
本项目主要基于HADOOP+MPP混合技术体系建设大数据平台，依托大数据技术实现数据存储、数据管理、数据分析、数据展现等数据应用，通过工程化的“数据采集、数据存储、数据加工、数据应用”等能力体系建设，提升大数据分析和数据洞见能力，为实现管理决策、量化经营、风险管控、精准营销、客户体验、产品创新等核心能力的跨越提升提供坚实的数据引擎和平台支撑。其工作范围主要包括数据采集交换系统、数据仓库、历史数据平台、实时计算系统、数据服务系统、数据开发平台等基础平台及系统的建设。除大数据平台相关系统建设工作外，还需完成数据迁移、配合数据治理项目相关工作、配合数据应用系统建设、配合监管数据集市建设、配合应用数据集市建设、配合外部数据管理平台建设、配合指标管理系统建设、配合日志管理系统建设等相关工作。
三、建设内容
基于数据中台理念进行项目建设，通过引入大数据技术对某省级农信数据架构进行重建，搭建大数据基础平台，以数据开发平台为基础，支撑数据采集系统、数据仓库、数据集市、历史数据平台、实时数据平台等系统平台建设，实现全行金融数据模型的落地，配合数据管控平台落实数据治理相关工作，为某省级农信数字化转型战略做好支撑。利用大数据的海量数据处理和并行计算优势，结合监管报送及数据应用的实际需要，搭建监管和应用两集市，通过数据服务平台对外提供数据服务，为全行数据应用、分析、挖掘等打下坚实基础。
通过以上总体架构规划为指导，以下亮点工程版本为基石，打造某省级农信数据要素高效协同工程。
亮点一：
构建基于hadoop+mpp大数据基础平台+数据仓库的湖仓一体生态体系，大数据平台支持私有云部署，支撑全行级数据采集、存储、计算、分析、挖掘等数据应用的开发工作，满足实时计算、离线计算的开发要求，具有统一的、可扩展的、高性能的系统架构。数据仓库则配合数据治理完成数据标准落标工作，做好数据标准、数据质量、数据安全、数据管控等管理工作，替换招标人现有操作型数据存储系统（ODS），完成历史数据迁入，支持数据应用系统的数据加工、统计、分析、应用等工作，用以支持领导决策、业务分析、监管审计、精准营销等多种业务场景对数据的需求。
亮点二：
建设全行统一数据采集交换系统，实现数据采集、传输、交换的统一管理。通过数据交换系统统一维护招标人各个系统之间的数据接口，统一协调数据资源，统一为各个系统提供数据交换共享。实现数据的分发管理，实现管理控制、抽数落数、数据处理、监控管理等功能，实现企业级数据交换，包含作业调度工具、批量文件传输工具、ETL工具等数据交换工具。
亮点三：
以Hadoop大数据平台为基础，建设能够对结构化、半结构化、非结构化数据进行存储的历史数据平台，支持招标人所有数据的接入与应用，并针对数据查询进行适度表结构优化，提高查询效率。结合数据仓库，实现历史数据的统一存储，为各数据提供存储服务，为数据挖掘分析提供数据和计算支持，按需弹性扩容、数据共享。根据数据治理制定数据生命周期管理策略，完成历史数据的统一归档、统一访问、统一运维，支持对数据的加工、计算、分析、挖掘、学习、对外服务等工作。
亮点四：
实时计算平台的搭建，满足某省级农信对实时指标数据的查询需求，其是依托大数据实时计算基础组件为基础，构建对实时数据进行计算、统计、分析、应用的系统。支持实时数据查询和实时数据分析等应用场景需要。满足快贷业务、经营分析报表系统、管理驾驶舱等实时数据应用的需要，完成数据模型的实时数据加载、清洗、转换、计算、存储等工作，配合数据服务系统做好数据服务工作。
亮点五：
数据服务系统建设，将全行数据服务归集统一。基于大数据平台的数据资源，为应用端提供自主、灵活、快速的数据资产发布和共享服务，实现数据与应用之间松耦合关系，提升数据服务集中化、体系化管理，基于数据中台理念建立数据服务化、总线化、标准化的数据中台战略，实现数据即服务（DaaS）构想。
亮点六：
以湖仓一体建设为指导，通过企业级数据开发平台建设，将全行的开发规范进行统一，打通数据壁垒，实现数据开发的统一标准、统一规范、统一逻辑、统一调度，对数据需求统一管理，能够敏捷快速、高质保量的完成数据开发、测试、部署、运行工作，具备统一的集成开发环境工具，支持模块化开发，具备数据一体化开发功能，能够支持大数据应用研究分析工作的平台。全面支持大数据平台组成系统的各类程序的开发工作，用于实现数据采集与交换、数据统计与分析、数据共享与服务、数据运行与维护等工作，具有数据开发运维一体化能力。
四、实施效果
该项目是依托于大数据技术平台架构，运用神州信息六合上甲一体化数据开发平台实现数仓建设和大数据开发，对接该行上游系统有50个、下游系统30+个，实现原ods系统表7千多张的迁移需求，对接并响应监管集市、应用集市，支撑多个数据应用平台，大大提高了该行的创新能力和服务效率。