本文来自微信公众号“twt企业IT社区(talkwithtrend.com)”,【作者】谢茜茜,某城商行系统管理岗资深运维工程师。
随着大数据和云计算的普及,信创硬件设备配置和性能不断提高,越来越多银行采用虚拟化和云计算的技术来构建IT系统,单位物理机上将有更高密度的业务系统运行,这也为后端存储系统带来了严峻的挑战。存储系统需要适应云时代多样业务需求,承载更多的业务IO,支撑海量数据存储,满足更高的数据可靠性要求,提供更好的性能扩展性,保证关键业务服务级别水平,同时构建成本也需要兼具性价比。本文将详细分析信创云存储建设的各类场景,从而为银行业信创云存储选型提供参考。
一、银行业信创云存储的应用场景分析
不管云内还是云外,不同的业务场景衍生多样化存储需求,从而匹配相应的存储方案。云技术只是一种新型IT基础设施的组织形式,而决定数据存储选择的还是业务需求和应用需求。根据业务系统重要性等级及节点类型划分,银行业信创云存储的应用场景主要有以下几个:
1.重要交易/分析型数据库场景
此类应用场景主要为核心生产和重要交易类系统数据库,此类资源池主要为裸金属资源池+FC SAN块存储的部署方式,存储产品多为块存储,或者分布式存储与集中式企业存储相结合云硬盘。云硬盘的分布式存储块服务集群也可用于虚拟机部署、大部分系统的Web和APP部署等。具体如下图所示:
图1 数据库场景存储资源池
由于该类业务重要程度比较高,计算单元主机一般采用标准服务器(2U/4U),采用全分区或虚拟化分区的方式进行部署,大多为资源独占,架构简单,虚拟化云平台也可实现计算资源按需供应。服务器配置HBA光纤卡通过专用的光纤交换机同磁盘阵列连接,由于需要高效IO读取,存储系统则采用专用的光纤磁盘整列进行集中数据存储。
2.交换平台和内容管理场景
此类应用场景适用于海量小文件和非结构化数据,以实现性能型和多生态文件共享。可用于Web服务器场景,主要包括OA应用,为网站、在线发行、存档等各种应用存储数据及提供信息等;软件开发场景,主要包括使用云上资源承载完整的软件开发流程,如代码编辑、代码检查、编译构建、集成测试、版本构建、代码归档等业务。
这类场景存储的大多是平衡文件和目录元数据,涉及多级目录,可达到几百TB—PB级规模,存储产品多为弹性文件存储。具体如下图所示:
图2 交换平台和内容管理场景存储资源池
该类业务重要程度较高,主要有一般数据库、中小型分布式数据库、中小型私有云等,计算单元主机一般采用标准服务器(2U/4U)组建的裸金属资源池或虚拟化资源池,存储系统采用服务器自带磁盘直通模式,或企业级NAS。此类场景存储可用性高,性能好,易于做容量规划。
3.大规模数据存储场景
此类适用于大数据、备份归档、备份上云、影像存储、云原生等场景。该类存储场景已经不需要目录层级,采用分布式存储池或对象存储,达到几十PB—几百PB级规模,存储产品多为分布式对象存储。具体如下图所示:
图3 大规模数据场景存储资源池
该类业务由于需要处理海量数据,计算单元一般采用服务器虚拟化池,每台服务器配置存储网卡通过以太网交换机同分布式存储池相连接,采用专用的存储服务器实现集中数据存储。这种存储场景扩展能力强,网络要求相对高,维护起来也相对复杂。
综上所述,块存储与云硬盘主要应用于重要交易/分析型数据库上云场景,弹性文件存储用于交换平台和内容管理场景,分布式对象存储用于大规模数据存储场景。
二、信创云存储的产品需求
基于以上应用场景分析,信创云存储的产品需求主要包括块存储和云硬盘、弹性文件存储和分布式/对象存储。
1.块存储和云硬盘
块存储能够提供灵活的服务等级,丰富信创云的特性,重新定义企业级云上存储。而分布式存储与集中式存储相结合的云硬盘是一种虚拟块存储服务,主要给计算单元提供块存储空间,像使用传统服务器硬盘一样,可以对挂载到云服务器上的云硬盘做格式化、创建文件系统等操作,并对数据做持久化存储。
银行业用户对此类存储的基本需求有三个,分别是高性能、高可靠、高安全。增值性的需求一般有支持共享卷、一致性快照组、云硬盘备份、云硬盘加密、存储容灾、在线扩容、专属存储、变更磁盘类型、回收站等。
在产业侧,此类产品种类比较丰富,主要为各大品牌的集中式存储,技术水平发展时间最长水平较高,市场相对饱和。
2.弹性文件存储
弹性文件服务是一种共享文件存储服务,为云服务器提供一个按需扩展、弹性伸缩的高性能共享文件系统,符合标准文件协议(NFS和CIFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。
银行业用户对此类存储的产品需求主要为:
1)弹性需求:容量按需分配弹性伸缩,根据配置文件系统初始存储容量,文件系统会随着业务的增长而扩容,此过程不影响业务应用;
2)高性能需求:支持多个VM并发访问视频、图片;
3)特性需求:支持CIFS共享协议,支持NFSv4.1协议;
4)效率需求:支持NFS、CIFS、DPC多协议互通,免数据拷贝,提升应用间数据传递效率。在产业侧,弹性文件存储发展迅速,产品种类丰富,目前已广泛应用于各类高性能计算、大数据分析、云计算等场景,成为一种高效、可靠的存储解决方案。
3.分布式对象存储
分布式对象存储服务是一个基于对象的海量存储服务,可提供海量、安全、高可靠、低成本的数据存储能力,包括创建、删除,上传、下载、删除对象等。分布式对象存储适合存储任意类型的文件,适合普通用户、网站、企业和开发者使用。
银行业用户对此类存储的产品需求主要为:
1)备份归档:要求高持久性、高扩展性和安全性,可结合备份软件来备份和归档关键数据;
2)企业网盘:可对接第三方网盘应用,为企业网盘提供存储空间;
3)镜像存储:可为镜像服务提供存储空间,存放虚拟机镜像;
4)高扩展高性能:单节点小对象写性能可达3000tps,单节点大对象读性能可达1GB/s,集群性能随节点数线性增加;
5)高可靠:支持节点级和机柜级高可用。同时可提供ACL控制、多版本控制、服务端加密、防盗链等多重防护;
6)易用性:支持REST API和SDK,兼容Amazon S3 API。可通过HTTP或HTTPS轻松使用对象存储服务。
在产业侧,分布式对象存储经历了从早期分布式系统,到现代的云存储服务和区块链技术的结合,分布式对象存储技术不断进步,存储系统也更加稳定可靠。
三、信创云的差距与挑战
目前基于X86环境的云计算产品和平台已经相对成熟,无论是私有云还是公有云都有很多厂商和众多不同规模的成功案例。当前信创云的发展正处在快速迭代的过程,信创云周边的生态也在不断的完善。伴随着CPU的版本升级,信创云的功能和性能也在不断的向X86架构的产品接近。目前,笔者认为信创云和基于X86环境的云计算产品存在以下差距和挑战:
1.信创云尚处于摸索成型阶段
信创云建设起步比较晚,相对于国外差距至少有5年,目前尚处于摸索成型阶段。在商用化方面,国外的云计算平台商用化时间较早,大约在2006年亚马逊的云平台已经实现了商用化。国内商用化较早的就是新浪和阿里云了,也都是2009年之后才逐步走向平台化和商用化的道路。
较之于国外广泛、深入、成熟的云计算应用,国内的云计算应用尚处于探索阶段,大规模的商用云计算时机尚未成熟。主要是因为大多数国产云计算产品和平台都是基于开源社区产品进行的深度优化而成,信创产品并没有在开源社区形成独立的分支,目前基于信创的云产品都是各家厂商各自为阵,仅在自己擅长的领域进行适配和改造,这就造成了信创云生态体系建设的进度缓慢。
2.产品适配支持能力的挑战
信创环境和X86环境本质的区别,是信创基础硬件采用国产化CPU。由于CPU架构不同造成基于CPU的指令集不同,这就需要原X86环境成熟的云计算产品和平台需要对信创环境进行适配改造。信创范围内的CPU的指令集,比起X86架构的指令集无论在数量上还是在质量上都有待大幅的开发和优化,这就造成了基于X86的云产品不能顺利的适配成功,有些功能需要等待指令集的进一步完成后才能形成完整的版本。
3.信创云运营服务的挑战
与传统的信息化建设和运维不同,云平台的建设是边建设边运维边运营,云平台的能力是面向资源和面向服务的,这些运行方式和管理模式的改变给运维团队提出了新的要求和挑战。
目前信创云均更多集中于SaaS,提供基本的“软件即服务”,而国外对云计算的应用则更加高阶,出现了“以知识为服务”的模式。同时,国外云计算企业级应用更加具有针对性,云计算服务体系更加细化,针对不同客户提供定制化的增值服务,云平台的运营服务也做得更加细致。而信创云要做到优质运营,需要与上下游生态不断磨合和沉淀,彼此助力共同成长。
尽管信创云在服务层次上与国外相比还有一段距离,但是我国的云计算发展已经处于“井喷”前最关键的时期,无论是云计算平台的稳定性还是用户的使用需求都在不断的提升,银行业要牢牢把握住云计算在国内发展的关键时期,促进信创云在行业内蓬勃发展。