【摘要】本文首先回顾了过去十年数据存储市场发生的翻天覆地的变化,重点以作者所就职的金融保险公司为例,细数中心架构的足迹和业务与计算存储近十年的发展历程。始于当下,放眼未来,随着基础资源架构的数字化转型以及云化建设的深入,存储架构的发展将呈现三个趋势……
【作者】Jerry,80 后一枚,初以存储备份容灾白手起家,昼伏夜出,奔赴在项目救火一线;随后转入基础运维序列,混迹于运营商、金融行间;现尘埃暂定,落叶于某保险公司,负责数据中心相关管理工作,多与服务器存储打交道,和虚拟化、超融合和云相聚一堂,在基础资源架构设计与优化、业务运维方面略有心得。
数据存储市场十年风云变幻
回顾过去的十年,数据存储市场发生了翻天覆地的变化,新市场的开辟、新技术的涌现、新玩家的加入,数据存储作为信息技术的基石,也迎来了一场新角逐:
2010 年前后,主流厂商争相角逐, EMC 收购 Isilon 、惠普收购 3Par 迅速扩充了产品线,打造拳头产品。西部数据收购日立 GST ,以 48 亿美元的收购价震惊四座,进一步稳定企业存储的第一梯队的位置。
2012 年, VMware 前瞻性的提出 SDDC (软件定义数据中心)和 SDS (软件定义存储),并推出了 Virtual SAN 的预览版,拉开了数据存储新格局的帷幕。在 2012-2015 年前后,各厂商掀起了一轮收购浪潮巩固自家发展, Avago 以 66 亿美元收购 LSI ,剑指存储芯片的版图。闪迪 11 亿美元收购 Fusion-io ,发展固态硬盘领导者的地位。戴尔则战略性的完成对 EMC 的收购, 630 亿美元,演绎了服务器与存储的跨界合作。西部数据收购闪迪,瞄准了存储市场头部大哥大的位置。IBM 收购对象存储 Cleversafe ,构筑了云对象存储的能力。
2016 年,迎来了超融合元年, Nutanix 、 Dell EMC 、 VMware 、华为、思科等跻身 HCI 主赛道的核心玩家。在云计算的加持下, HCI 被视为最具潜力的数据中心基础架构之一,其技术重心也从最初替代传统的集中式存储转向集成云、容器等技术、提供多样服务的开放性基础架构。2016 年以后,伴随云计算市场竞争日益加剧,微软、 AWS 、谷歌、 IBM 等相继展开了云数据存储的抢购,延长了云数据存储产品线,强化云数据存储的产品能力。
2019 年, IBM 引领了对 RedHat 的收购,收购高达 340 亿美元,再次引爆科技圈,一路占领各大新闻头条。IBM 这次可谓是来了一次分布式存储、混合云布局的豪赌。
结合过去十年里主流存储厂商的动态,不难发现 2012 年和 2016 年是两道明显的分界线:2012 年以前各大厂商在传统存储市场稳扎稳打,加强产品线的建设,夯实产品技术能力。随着闪存的技术实践以及成本趋于成熟,传统存储的性能有了长足的进步,中高端存储的在金融业务的应用上更加得心应手。如果说 2012 年以前是传统存储的强势竞争时期,那么 2012 年存储市场的风向标就逐步转向新型存储架构的争霸了, SDX (软件定义 X )的概念被提出,分布式技术和云在转向里迎来了成长增速的黄金时期,弯道超车,这一举动直接奠定新型存储与传统存储叫板的技术基础。2016 年迈入超融合元年, Nutanix 上市无不透露出资本对超融合市场的看好,前景一片光明。在接下来的几年里,超融合市场年年增速,高达(平均) 20% 的年复合增长在短短数年间直接将整个市场营收抬向了 80 亿美元的规模。同时主流厂商纷纷加注,增加了对云数据存储的投入,迅速打通计算存储网络的技术壁垒,发力云存储服务,打造全栈场景的存储解决方案。
金融行业业务与计算存储的发展历程
保险企业的发展离不开信息技术的角逐与追赶,在过去的十年里,企业数据架构也随之更新迭代、日新月异,但万变不离其中,存储仍是支撑整个信息风云变幻的基石。计算资源与计算能力是企业发展的重要标志,存储资源和存储能力则是业务能力的直接体现,计算与存储密不可分也相辅相成,在科技的发展中可见一斑。以笔者就职金融保险公司为例,细数中心架构的足迹,看看业务与计算存储的发展历程:
在数据中心建设初期,筹备组充分考虑了保险业务起步时缓慢的发展期以及业务成型后战线迅速扩张的业务特征,对数据中心基础架构作了明确规划:
【计算】业务负载最大的核心业务系统采用小型机部署,满足核心系统的高可用性及未来发展的可靠性;边际支撑系统(如打印、影像系统、银行渠道前置系统)采用主流 x86 服务器部署,满足系统的定制化部署需求;其他业务系统通过虚拟化平台支撑,利用虚拟化的快速部署的特性匹配保险业初期大量新系统建设的发展。
【存储】结合核心系统的可持续发展特性以及对性能的高要求,采用全闪存阵列作为核心系统的主存储,进行双活配置来满足初期数据冗余保护的基本需求;对于边际支撑系统,则通过部署高端存储进行数据能力支撑,数据完整性及可靠性保障通过统一备份恢复解决方案实现;虚拟化作为业务系统的底层支撑,为了保障其高效稳定的运行,采用高端存储作为数据存储;系统间的文件共享需求,通过多台中高端 NAS 设备实现。
经过几年的发展,凭借保险行业迅速增长的红利,公司业务也进入到高速成长中。随着各类险种产品业务的增长,核心系统规模持续扩展,二级分支日益增多,对计算和存储的性能提出了更高的要求。边际支撑系统承载的业务量已按照预期大幅增长,各系统集群节点数量也呈现同步增加的明显趋势,物理化部署采购流程太长,对业务上线时间造成严重影响。考虑到虚拟化平台的单一化部署,避免基础资源的捆绑及单一产品造成的全线故障,也着手计划增加其他平台承载部分业务。于是针对当前的业务规模及发展趋势,对基础架构进行了调整:
【计算】核心业务系统的二级分支,按照业务量进行评定部署方式, IO 敏感型采用物理化部署,其他则按照虚拟化部署;边际支撑系统进行虚拟化部署上线,并尝试对物理化部署业务向虚拟化转移;其他业务系统则按照集群节点拆分模式,分别部署在服务器虚拟化及超融合两套平台上,形成多平台保护。
【存储】引入超融合平台作为新基础资源架构,承担部分业务的虚拟化部署。引入分布式 NAS 作为第二 NAS 存储,分担原 NAS 存储压力;扩容原全闪阵列、中高端存储。
当然,我们对超融合和分布式存储的定位及规划也不仅如此。在超融合平台落地后便着手对数据中心基础架构统一管控进行了调研。引入超融合技术,作为中间过渡来融合计算存储资源,借助云及容器的能力纳管基础资源池,同时推进网络架构向 SDN 模式的演进路线,实现计算、存储、网络三大组件齐头并进才是我们的最终目标。
经过长达两年的调研与测试工作,我们对当前数据中心基础架构的转型做了详尽的规划。为了消除计算、存储、网络的相对孤立,统一运维管理工作,提升应用运维及管理的协调性,引入私有云架构并将当前传统虚拟化向云升级、迁移。同时,新建全新的 SDN 万兆网络架构 , 超融合及其他系统均接入万兆,由私有云统一接管。原集中式存储作为物理化部署的核心存储利旧, NAS 作为文件共享主存储使用,后续新增系统由私有云提供存储服务。同时,我们也想在当前的超融合架构上来点小小的挑战,尝试进行虚拟化与原生容器的双架构部署,在支撑传统模式业务的同时,适时引入开源架构技术来满足典型业务动态平衡的需求……
我们的基础架构转型之路也行至于此,在这接近十年的演进里也不难发现,金融保险企业的数据中心架构的演进与数据存储市场的革新并不同步。不同于数据存储市场的技术为先的理念,企业的目标是稳中谋进,进中图新,业务稳定是第一要素。数据存储助力业务的发展,业务的瓶颈又反推数据存储的改革,互相追赶也息息相关。
金融行业存储架构将去往何方?
始于当下,放眼未来。金融行业的高速列车已奔驰而至,存储市场在接下来的一轮技术风云里会有怎样的未来呢?
在数据存储架构上, AI 赋能与容器等特性存储持续发力。2020 年, AI 赋能的存储将是数据存储市场重点发展的对象。随着信息化转型步伐的加快,金融行业对数据的产生、存储、消费有了更多的期许,对海量数据进行实时分析的需求更加强烈,数据存储如何通过更低延迟、更高性能、横向扩展架构来实现即时、自主、智能决策的技术支撑成为行业关注的重点。AI 芯片技术日臻成熟, AI 训练模型也在不断的构建测试中逐步优化,为各类结构化、非结构化数据经过 AI 优化的实现提供了殷实的技术基础。目前, AI 技术已完成初步的市场技术积累,并在部分存储产品上得以实装,接受市场检验。
容器作为热门架构,借助云原生的先天优势,以其极简部署方式、快速上线的便捷在企业内迅速普及。随着容器的深入使用,容器所承载的业务数据量也初具规模,数据的持久化与灵活分离归档等便成为了容器存储不得不面临的挑战,针对容器使用场景的定向优化成为容器存储发展的首要任务。不仅是容器存储,潜在的区块链、流存储等也同样等待着市场的打磨与完善。
面对金融行业迅猛的发展,对象存储地位将得到显着提升。在业务增速前进的过程中,企业对“数据资产”的理念越来越重视,战略决策也更依赖基于各类系统数据的消费、分析以及演算。在这些系统数据中非结构化数据占据了相当的比重,在传统存储架构实践中无法实现非结构化数据的高效存、转、用,而对象存储完美的解决了这些问题。借助云服务的方式,对象存储对非结构化数据的在线持久、热冷分离、归档分类需求上也比传统存储更进一步。借助闪存技术的优势,全闪存架构或分层闪存架构的对象存储正成为企业的首选,分阶段替代数据中心内传统存储架构。
在存储市场玩家的角逐上,核心玩家或将发生变化,国产厂商杀入一搏。随着中美局势的紧张,芯片战争已经打响,核心技术的进出口也面临着外国势力的全面封锁,“国产化”已不是一句口号而是一个更待实践的现实。眼下针对数据存储国产化的讨论津津乐道,以目前市场表现来看,国产存储龙头企业长江存储业已推出了基于 Xtacking 架构的“致钛 ZHITAI ”消费级产品,性能表现上也能与同级别主流中端固态存储比肩,形势一片大好。然而看到成绩的同时,我们也应该看到未来的重担,消费级与企业级设计之间的差距,更高工艺设计及技术的积累,生产技术迭代与良品率的平衡,国产存储仍任重道远。
纵观数据存储市场的发展与机遇,企业数据中心存储架构的规划也有迹可循。在保险金融企业里,随着基础资源架构的数字化转型以及云化建设的深入,笔者认为存储架构的发展将呈现以下趋势:
1, 传统存储进一步下移,新型存储产品齐上阵
金融保险企业的数据中心架构已完成了数字化转型的首轮革新,云网互联的步伐已经迈入架构转型的版图里,随着私有云混合云、超融合架构等落地,传统存储的空间会进一步减少,甚至退缩到核心及周边业务的重点支持,保障重要系统的高可靠性及稳定性。对于全新超融合架构的支持,则更偏向分布式存储。企业由边缘向核心云化的进展逐渐平稳,数据存储服务化、自动化的需求也会呈现更加强烈的态势,各类数据存储产品的布局也会相应增加,当然更多的是向云存储和分布式存储等倾斜。抛开企业自身发展带来的转型变化,外部因素的影响同样也值得留意。央行重点推进数字货币体系( DCEP )的运营,已在深圳、苏州、雄安新区、成都等四地先行试点,日前向公众开放了其央行数字货币钱包的注册渠道。区块链技术的运用已经和大众息息相关,金融行业尤以关注。区块链技术的落地,也势必对企业数据存储的建设产生质的影响,区块链存储也将提上日程。与此类似的还有物联网技术催生的流存储,都可能成为企业数据存储实践的一个重要选择。
2, 存储逐渐向服务化及自动化发展
2020 年不少金融企业加快了对云建设的投入,作为目前唯一实现消弭基础资源架构孤立、实现资源统一管控的解决方案,云架构有着得天独厚的优势。其作为基础资源统一化的底层,伴随着转型的深入,云架构逐渐成熟,体系也逐步完善,最终都向着服务化、自动化集成靠拢。云数据存储最终也将通过更多的服务形式呈现,连接到各个系统上。结合云平台对多种资源架构的统一纳、管、控,软件定义技术深度融合,在下一个十年里,数据存储服务化与自动化的趋势更加凸显,而这种趋势也将在一定程度上推进存储厂商向全面云就绪进发。
3, 存储数据保护统一解决方案正成为企业的重点考量
在金融企业的数字化转型中,引入了超融合、容器以及云等平台,加之传统资源架构,存储的数据保护独自为阵,均通过各自的手段进行,已经形成了“信息孤岛”的局面,严重消耗了企业的运营维护成本。因为各式各样的原因,金融企业都存在着不少历史包袱问题,数据中心基础资源架构将在很长一段时间处于新旧转变的过程中。也就是在这样一段复杂的时期,数据保护的统一化才显得尤为重要。数据即是资产,数据即是决策优势,数据保护的重要性已深入企业心中。随着云对其他架构的统一化管控,数据保护统一解决方案正成为企业的重点考量。打破各架构差异带来的数据保护手段撕裂感,消除数据保护管理平台的独立,融合存储数据保护方式,通过自动化服务统一数据保护手段,形成全方位保护。