爱可生国产分布式数据库云树Shard助力某全国性股份制商业银行完成数据库集中式架构向分布式架构的成功转型,解决了该行线上业务快速发展的弹性扩展需求与传统集中式架构扩展受限的矛盾;提升行内数据库自主掌握的能力。云树Shard的推广应用,帮助该行摆脱了对包括Oracle等外国数据库的依赖,在核心技术上实现了安全可控,满足了国家信创政策要求。
一、实施背景
作为全国12家大型股份制商业银行之一,拥有多年的客户基础、综合独特的创新能力和强大的市场竞争力。近年来,随着银行线下业务向线上转移趋势的日益显著,数据量迎来了爆发性增长,同时也对数据处理能力提出了更高要求。叠加,国家金融信创政策的影响,银行对于数据库安全、自主可控的要求也大幅上升。而该银行以Oracle、DB2为主的集中式数据库体系,由于敏捷开发能力不足、弹性扩展能力受限、运维成本较高以及安全可控性较差等问题,逐渐难以适用。传统集中式数据库主要面临一下问题:
1.高并发下处理能力受限。集中式架构数据库体系,支持垂直扩展,弹性拓展能力受限,因此在面对互联网业务所带来的高并发、海量的数据应用场景时,普遍缺乏足够的数据处理能力,难以对业务形成有效支撑。
2.运行风险高。集中式数据库体系下,整体系统风险较为集中,当单点硬件发生故障,或软件需要升级时,往往需要对整体业务系统进行停机处理,难以满足用户在线上业务场景中,需要银行提供7x24小时服务能力的要求。
3.维护成本高。集中式商业数据库产品原厂服务成本高,license费用高,加上IT硬件设备等成本,互联网、创新类金融服务业务成本代价大。
4.安全可控性差。集中式商业数据库的核心技术掌握在国外厂商中,存在核心技术卡脖子风险,安全可控性较差。
二、实施目标
通过数据库及整体IT架构的转型,提升数据高并发场景下处理能力、提高数据库系统安全可控性、降低数据库运维成本、降低系统运行风险。
三、建设内容
图为该行分布式数据库改造过程
图为该行分布式数据库系统架构
虽然面临诸多困难,但是早在2017年,该行就开始探索分布式技术,积极推动由集中式向分布式架构转型,寻找安全可控的数据库替代产品。首先对分行中间业务等业务场景进行了大量的方案调研,并持续关注着行业内数据库和生态的发展;然后,该行对业内很多的分布式数据库产品进行了研究和摸底的测试,综合考虑了产品成熟度、国产化程度、同业案例、应用开发适配复杂度、数据库采购成本、运维成本、行内数据库运维支撑能力、数据库服务生态等因素,最终确定采用爱可生的云树分布式数据库软件云树Shard(简称“云树Shard”)。爱可生为该行提供了从架构设计、产品测试、业务适配测试、投产测试到投产的端到端服务,全面支持了该行的数据库转型。
部署前,爱可生辅助该行进行了详细的系统改造规划,制定了将云树Shard分布式数据库先上线内部管理系统,在技术方案及产品稳定性得到验证后,再逐渐上线分行类业务,以及互联网渠道支付类业务稳步推进的全面数据库改造计划。有效保障了改造过程的顺利进行,同时更好的满足了各业务部门对分布式数据库的个性化需求。
部署中,以分行中间业务为例,为满足40多家分行业务同时在线,采用分布式垂直拆分模式,建设了同城双活的云树Shard分布式架构,数据库层采用的是1主3备的方式,本地机房1备,另外中心机房2备份,确保一个节点的ack返回,主库提交,这样最大的保障数据一致性并兼顾性能问题,最大限度保证数据的安全。针对原有集中式数据库存在问题,爱可生云树Shard分布式数据库基于高可用、高性能、弹性扩展、自研且开源等核心优势进行全面补足。
部署后,为更好的帮助该银行进行系统分布式改造,一方面,爱可生还为其提供了持续性的后期维保服务,支持7x24小时的故障处理以及数据库性能优化,保障了该银行分布式数据库的正常使用;另一方面,爱可生结合该行开发、运维团队技术的实际情况,制定了不同的培训方案,分别对行内开发和运维人员进行技术培训,帮助行内技术人员更快掌握数据库核心技术,形成开发、运维规范体系,进一步减少后期数据库开发运维成本。
四、实施效果
经过3年的探索,爱可生云树产品系列为该行行内50多个业务系统的稳定运行提供了强有力的支撑。其中,在中间业务类业务、账务管理类业务、支付类业务、渠道类业务等10多个业务系统成功实现分布式改造;并在智能服务类业务、信息管理类业务、办公系统类业务、大数据系统类业务、认证类业务、风控类业务、备份类业务等40多个业务系统实现国产集中式数据库替换。同时达到如下项目效果:
金融级数据可靠能力提升,通过部署云树Shard分布式数据库,依托数据库故障自动切换,自动数据库补偿等核心能力,使该银行数据可靠能力大幅提升,有效满足数据零丢失的业务需求。
数据库弹性扩展能力增强,云树Shard支持灵活弹性扩展,支撑海量数据存储:计算层为应用提供透明的智能路由访问服务,实现整体集群的横向扩展能力,可满足海量数据存储和数据库高性能的应用需求,同时降低应用研发复杂度。
数据库运维能力提升,云树Shard分布式数据库全面部署,基于自动化、可视化、统一化、标准化数据库运维等优势能力,显著提升该银行数据库运维效率,降低了数据库运维运营成本。
数据安全保障水平提高,通过部署云树Shard分布式数据库,有效帮助该银行进行同城双中心双活建设,同时满足同中心RPO=0,RTO秒级,跨数据中心RTO<10s的业务高可用要求。
自主可控能力增强,通过部署云树Shard分布式数据库,该银行顺利完成了集中式向分布式转型,有效提升行内数据库运维、研发的自主可控政策实施落地。未来随着合作的进一步加深,云树Shard分布式数据库还将会渗透到该行更重要、更核心的业务系统中去,助力该银行实现全面的数据库安全可控。
云树Shard解决了分布式架构下数据库系统选型的行业痛点,有助于改变“核心技术受制于人”的不利局面,是金融行业应用先进技术支撑金融服务创新的成功实践。转型过程中累积的技术方案和实践经验可作为金融行业分布式转型的重要参考,形成示范案例,推动金融同业加速转型。同时,分布式数据库金融应用模式的创新和推广,将极大地促进国内数据库产业的蓬勃发展,有助于推动国家关键技术自主可控战略落地。