信创云环境下,各类典型存储应用场景的产品需求和挑战

当下的“信创云”技术,其实质是在信创背景下,以国产化中央处理器、国产化操作系统为基础自主研发的云平台,对下承接芯片、操作系统等软硬件基础设施,向上则支撑大数据、人工智能、物联网等新一代的企业级应用,作为信息技术业界的新型基础设施建设,其扮演着承上启下的关键角色。

本文来自微信公众号“twt企业IT社区”。

相较于传统基础设施,云计算以应用为中心,采用软件定义一切的方式提供服务,这给研发和运维人员都带来思维和习惯的挑战。本议题将围绕企业级存储技术的发展趋势、应用场景和特点等展开详细讨论,以期为信创背景下的云存储建设提供一种思考和解决问题的新思路、新视野。

【栏目主编】Bryan某国有大型银行资深架构师:本议题由某大型保险央企省级分公司信息技术科主管张晓斌、江西银行系统架构师谢茜茜发表针对议题下关键点的主张,几位专家的主张在某金融行业公司技术经理陈橙、某金融公司架构师刘艳春及我本人等多位专家的复议后,形成了一定的共识,希望可以对同行有一定的参考。

张晓斌 某大型保险央企省级分公司信息技术科主管:

当下的“信创云”技术,其实质是在信创背景下,以国产化中央处理器、国产化操作系统为基础自主研发的云平台,对下承接芯片、操作系统等软硬件基础设施,向上则支撑大数据、人工智能、物联网等新一代的企业级应用,作为信息技术业界的新型基础设施建设,其扮演着承上启下的关键角色。

随着信息产业技术的快速发展,信息技术创新变得愈发重要,发展信创应用是眼下国内经济发展的新的动力,信创软件将渐渐成为经济发展转型、产业链发展的关键。信创软件应用将逐步渗透到各行各业,尤其是党政机关等安全性要求较高的领域,而作为唯二的保险央企同样不能置身事外。自2021年起,集团服务器、电脑及网络设备等大宗采购结果表明,且可以从结果直观地感受到,国产芯片的机器正扮演越来越重要的角色。

当下的“信创云”技术,其实质是在信创背景下,以国产化中央处理器、国产化操作系统为基础自主研发的云平台,对下承接芯片、操作系统等软硬件基础设施,向上则支撑大数据、人工智能、物联网等新一代的企业级应用,作为信息技术业界的新型基础设施建设,其扮演着承上启下的关键角色。信创云眼下正是朝气蓬勃的发展时期,其建设的核心基础关键技术正在不断优化升级,同时芯片、操作系统、数据库等核心构件的适配能力也在不断提升,为最终的落地应用提供了底层技术保障。从需求方面看,国家于去年年初出台“2+8+N”相关政策引导,以城市云、电子政务云为重要热点,逐步延伸至更多行业或领域。

一、信创云应用场景梳理(转型的背后及其需求)

1.转型的背后

作为保险业唯二央企之一,集团在信创方面的改革不遗余力。在2021年底,在信创项目中已将协同办公平台、邮件处理、乃至各业务部门的核心系统进行迁移,目的在信创平台上试运行,从全国范围内看,其效果也较为理想。2022年,集团不断扩大信创集群规模,将更多的诸如不动产系统、反洗钱系统、印章管理系统、HR智慧系统甚至财务的智慧费控系统都迁移至信创平台。

集团现有的IT基础架构包括传统的三层虚拟化架构、传统物理服务器架构,以及公有云私有部署的专属云等架构。信创平台的构建,一方面,需引入信创服务器替换原有的Windows、Intel、Linux服务器,甚至具体至Linux其下的Centos或Ubuntu等系统,引入国产虚拟化替换VMware虚拟化,打造集团全国化的业务支撑平台;另一方面,也希望针对原有传统三层架构进行分布式转型,实现IT基础设施的分布式云化转型升级。

2.技术路线和落地方案选择

信创云的技术路线选择和落地方案选择可能会受到多个因素的影响,包括企业的业务需求、技术栈、现有的基础设施和资源等,可从以下六点因素进行分析:

(1)云原生技术:选择云原生技术可以实现敏捷开发、弹性扩展和高可用性。可以使用容器化技术将应用程序与其依赖项打包为独立的容器,然后使用管理工具(如Kubernetes)进行部署、调度和管理;

(2)微服务架构:采用微服务架构可以将复杂的应用拆分为多个自治的服务,各个服务之间通过API进行通信。这样可以提高开发效率、降低耦合度,并能够灵活部署和升级;

(3)大数据和人工智能:如果有对大数据处理和人工智能的需求,可以选择相应的技术和平台,如Hadoop、Spark、TensorFlow等,来处理和分析海量数据、构建智能推荐系统或者进行自然语言处理等任务;

(4)数据安全和隐私保护:在选择技术路线和落地方案时,要特别关注数据安全和隐私保护。可以考虑采用加密技术、访问控制机制、数据备份和灾备方案等来保护数据的安全性和可用性;

(5)可扩展性和弹性:为了满足业务发展的需求,选择具有良好可扩展性和弹性的技术和方案非常重要。可以选择使用云服务提供商的自动扩展和负载均衡功能,或者使用容器化技术实现水平扩展;

(6)整体架构设计:在选择技术路线和落地方案时,需要考虑整体架构设计。这包括系统的高层设计、模块划分、数据流程等。可以采用面向服务的设计思想,通过合理的模块化和接口设计来实现系统的可维护性和可扩展性。

当前形势下,保险信创的战略意义凸现。保险业的信创改革,推动着国产软硬件从“能用”到“好用”,解决信创建设的最后一公里,也成为保险行业需解决的核心问题。作为保险行业,主要倾向于选择两类架构:鲲鹏和海光。选择鲲鹏的理由是鲲鹏基于ARM架构研发,芯片自研;海光则采用主流x86指令集,具备天然软件生态优势。对于保险业界而言,不再局限于多云多芯的搭配选择,只需一套软件可纳管所有软硬件资源,大大降低信创建设成本,同时解决信创适配难题。

因此,最合适的技术路线和落地方案需要根据具体的业务需求和技术条件进行综合评估和选择。在选择之前,集团是经过充分的需求调研、需求分析和技术评估的,从而选择适合发展和长远规划的方案。

集团虽然有使用基于公有云的专属云,但是以此作为技术路线进行信创转型则会有着规模大、投入风险高且必须依赖原厂运维等的问题,转型风险较大。此基础上,集团关注到虚拟化和分布式存储融合部署的超融合架构,其具备轻量、可基于多品牌信创服务器软件部署和统一部署与管理等优势。

集团构建企业级云数据中心的底层资源池,包括高性能分布计算资源池、高性能数据库性能资源池、存储资源池、网络安全资源池等,并向上完成了与麒麟操作系统、南大通用数据库,以及东方通基础类中间件的适配,构建了完整的信创云基础设施环境。根据内部业务类型,共构建了三个集群,均可承载前述的邮件、协同办公管理、采购平台、电子印章、核心业务系统等多种系统。

集团计划分三个阶段完成信创转型任务:一是完成邮件等办公系统的改造;再者完成一般业务系统(电子印章、采购平台等)的改造;最后完成难度最高的关键业务系统(核心系统、费控系统)的改造。在实际改造过程中,主要面临的挑战是:保险行业全国产信创云缺乏前人经验,兼容性问题亟待完善,一切从零开始;基于国产芯片,云基础设施软硬件适配、操作系统适配、中间件和数据库适配以及应用系统国产化改造。因此,需要一切较为成熟的主流的国产操作系统(麒麟、统信)、数据库(TDSQL、TiDB等)、中间件(宝蓝德、东方通)的适配并且互认证。以构建集团完整的信创云基础设施环境。

二、详细分析各类场景的功能和非功能性需求,理顺信创+云原生背景下的产品需求

1.信创云的功能和非功能性需求

信创云是一个基于云计算和大数据技术的综合性场景,用于支持信创产业的发展,旨在提供数据存储、计算、分析、应用调度等功能,以满足信创行业在处理海量数据、快速实施决策、深度挖掘价值等方面的需求。信创云场景的功能和非功能性需求的有如下几点:

(1)数据集成和存储:支持多源数据的采集、清洗、整合和存储,包括结构化数据、非结构化数据和半结构化数据;

(2)数据处理和计算功能:提供高性能的计算能力,支持数据的批处理和流式处理,以应对实时性要求不同的场景;

(3)数据分析和可视化功能:提供数据分析和挖掘工具,支持多种统计分析、数据挖掘和机器学习算法。支持报表生成和数据可视化,以便用户可以将分析结果以可视化的方式展示出来;

(4)应用调度和资源管理功能:支持任务的调度和作业的管理,确保任务能够按时完成并充分利用资源。提供资源的监控和性能调优能力,以及故障自动恢复和负载均衡等功能;

(5)安全和隐私需求:提供数据的安全保护机制,如加密、访问控制、权限管理等,确保数据的机密性和完整性。提供用户身份认证和访问控制功能,确保只有授权用户能够访问和操作数据;

(6)可靠性和可用性需求:提供高可靠性的系统设计,确保系统的稳定性和可恢复性,减少因故障而导致的停机时间。通过冗余设计和故障切换机制,保证系统在故障发生时能够继续可靠地提供服务。

在信创+云原生背景下,产品需求应该基于云原生架构理念,采用容器化和微服务架构,以实现更高的可扩展性、灵活性和敏捷性。同时,还应考虑与其他信创相关产品的集成,以满足本行业整体的布局。

我们还是以集团的核心业务系统的影像为例,核心业务系统作为理赔的核心平台载体,我们更多地将关注重点放在影像数据传输。采用云原生超级引擎,让更多的刚扫描进去的影像能让全国各机构有权限的用户秒级显示和查阅,且不限用户并发量。在云端全栈实现信创,确保平台长期可靠、安全与稳定。自主创新的硬核技术,运营商级的应用安全保障,是保险业未来数年理赔服务的主旋律。“信创替换从桌面应用转向更广泛业务系统,而业务系统往往部署在云平台之上,因此信创的建设就不得不考虑云平台的信创替换。”尤其在数字化转型背景下,云原生已经成为新一代企业数字化业务的云操作系统底座。

2.金融保险行业科技建设压力大,信创助力科技发展

信创云操作系统一开始就是一个系统层面的改造而非单纯的国产化替代,整个系统的改造是由系统平台建设开始。金融保险行业有着错综复杂的业务形态,信创云操作系统通过把信创的硬件集群资源进行资源池化,解决了单个硬件资源性能不足问题;在主机故障时,不影响上层业务应用的稳定运行,能更好地适应和推动业务的快速发展。

当前信创基础设施领域,多种技术路线并行发展,这些基础设施软硬件各有所长。为此,集团在选择信创基础设施时,不断地在考虑各种风险因素和应对措施,同时选择多种基础设施软硬件进行试点。通过云原生技术,让集团可以轻松应对国产基础设施领域的技术多样性。

三、分析当前主流信创产品和现有成熟商业产品的对比及其差距

当前主流的信创产品分为硬件设施,基础软件,应用软件、信息安全等几大部分,涉及范围广,主流信创产品与现有成熟商业产品之间的对比和差距主要表现在以下几个方面:1.技术方面:主流信创产品可以通过不断地优化和提升性能,而现有成熟商业产品由于应用深入,很难再进行加强或改进;2.应用场景:主流信创产品应用广泛,现有成熟商业产品则更多集中在传统应用领域;3.可扩展性和灵活性:主流信创产品具有较高的可扩展性,可根据不同的需求进行定制和扩展。而现有成熟商业产品可能缺乏相应的可定制性,无法满足特定场景需求。

有如常见的:OpenStack(下简称:OS)。公认的云计算IaaS平台,OS管理的核心目标对象是机器,也可以是存储和网络。近些年容器技术迅速升温,OS也开始通过各种方式增加对容器的支持,目前OS还未被作为容器管理的主流平台。而Kubernetes(下简称:K8S):则适合搭建PaaS平台,容器是K8S管理的核心目标对象。在部署上因为OS和K8s架构上存在一定差异,个人认为K8S相对OpenStack容易,搭建K8S的难点在于复杂的网络问题。因此云计算还需要根据不同的应用场景设计不同的网络方案。

总而言之,主流信创产品在技术、应用场景和可扩展性等方面相较于现有成熟商业产品有明显的优势,同样有不足之处。随着信创技术的发展和应用的推广,主流信创产品的影响力和价值将进一步提升,并对传统商业产品产生深远的影响。

谢茜茜 江西银行系统架构师:

存储系统需要适应云时代多样业务需求,承载更多的业务IO,支撑海量数据存储,满足更高的数据可靠性要求,提供更好的性能扩展性,保证关键业务服务级别水平,同时构建成本也需要兼具性价比。

随着大数据和云计算的普及,信创硬件设备配置和性能不断提高,越来越多银行采用虚拟化和云计算的技术来构建IT系统,单位物理机上将有更高密度的业务系统运行,这也为后端存储系统带来了严峻的挑战。存储系统需要适应云时代多样业务需求,承载更多的业务IO,支撑海量数据存储,满足更高的数据可靠性要求,提供更好的性能扩展性,保证关键业务服务级别水平,同时构建成本也需要兼具性价比。本文将详细分析信创云存储建设的各类场景,从而为银行业信创云存储选型提供参考。

一、银行业信创云存储的应用场景分析

不管云内还是云外,不同的业务场景衍生多样化存储需求,从而匹配相应的存储方案。云技术只是一种新型IT基础设施的组织形式,而决定数据存储选择的还是业务需求和应用需求。根据业务系统重要性等级及节点类型划分,银行业信创云存储的应用场景主要有以下几个:

1.重要交易/分析型数据库场景

此类应用场景主要为核心生产和重要交易类系统数据库,此类资源池主要为裸金属资源池+FC SAN块存储的部署方式,存储产品多为块存储,或者分布式存储与集中式企业存储相结合云硬盘。云硬盘的分布式存储块服务集群也可用于虚拟机部署、大部分系统的Web和APP部署等。具体如下图所示:

640 (1).png

图1数据库场景存储资源池

由于该类业务重要程度比较高,计算单元主机一般采用标准服务器(2U/4U),采用全分区或虚拟化分区的方式进行部署,大多为资源独占,架构简单,虚拟化云平台也可实现计算资源按需供应。服务器配置HBA光纤卡通过专用的光纤交换机同磁盘阵列连接,由于需要高效IO读取,存储系统则采用专用的光纤磁盘整列进行集中数据存储。

2.交换平台和内容管理场景

此类应用场景适用于海量小文件和非结构化数据,以实现性能型和多生态文件共享。可用于Web服务器场景,主要包括OA应用,为网站、在线发行、存档等各种应用存储数据及提供信息等;软件开发场景,主要包括使用云上资源承载完整的软件开发流程,如代码编辑、代码检查、编译构建、集成测试、版本构建、代码归档等业务。

这类场景存储的大多是平衡文件和目录元数据,涉及多级目录,可达到几百TB—PB级规模,存储产品多为弹性文件存储。具体如下图所示:

640 (1).png

图2交换平台和内容管理场景存储资源池

该类业务重要程度较高,主要有一般数据库、中小型分布式数据库、中小型私有云等,计算单元主机一般采用标准服务器(2U/4U)组建的裸金属资源池或虚拟化资源池,存储系统采用服务器自带磁盘直通模式,或企业级NAS。此类场景存储可用性高,性能好,易于做容量规划。

3.大规模数据存储场景

此类适用于大数据、备份归档、备份上云、影像存储、云原生等场景。该类存储场景已经不需要目录层级,采用分布式存储池或对象存储,达到几十PB—几百PB级规模,存储产品多为分布式对象存储。具体如下图所示:

640 (1).png

图3大规模数据场景存储资源池

该类业务由于需要处理海量数据,计算单元一般采用服务器虚拟化池,每台服务器配置存储网卡通过以太网交换机同分布式存储池相连接,采用专用的存储服务器实现集中数据存储。这种存储场景扩展能力强,网络要求相对高,维护起来也相对复杂。

综上所述,块存储与云硬盘主要应用于重要交易/分析型数据库上云场景,弹性文件存储用于交换平台和内容管理场景,分布式对象存储用于大规模数据存储场景。

二、信创云存储的产品需求

基于以上应用场景分析,信创云存储的产品需求主要包括块存储和云硬盘、弹性文件存储和分布式/对象存储。

1.块存储和云硬盘

块存储能够提供灵活的服务等级,丰富信创云的特性,重新定义企业级云上存储。而分布式存储与集中式存储相结合的云硬盘是一种虚拟块存储服务,主要给计算单元提供块存储空间,像使用传统服务器硬盘一样,可以对挂载到云服务器上的云硬盘做格式化、创建文件系统等操作,并对数据做持久化存储。

银行业用户对此类存储的基本需求有三个,分别是高性能、高可靠、高安全。增值性的需求一般有支持共享卷、一致性快照组、云硬盘备份、云硬盘加密、存储容灾、在线扩容、专属存储、变更磁盘类型、回收站等。

在产业侧,此类产品种类比较丰富,主要为各大品牌的集中式存储,技术水平发展时间最长水平较高,市场相对饱和。

2.弹性文件存储

弹性文件服务是一种共享文件存储服务,为云服务器提供一个按需扩展、弹性伸缩的高性能共享文件系统,符合标准文件协议(NFS和CIFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。

银行业用户对此类存储的产品需求主要为:

1)弹性需求:容量按需分配弹性伸缩,根据配置文件系统初始存储容量,文件系统会随着业务的增长而扩容,此过程不影响业务应用;

2)高性能需求:支持多个VM并发访问视频、图片;

3)特性需求:支持CIFS共享协议,支持NFSv4.1协议;

4)效率需求:支持NFS、CIFS、DPC多协议互通,免数据拷贝,提升应用间数据传递效率。在产业侧,弹性文件存储发展迅速,产品种类丰富,目前已广泛应用于各类高性能计算、大数据分析、云计算等场景,成为一种高效、可靠的存储解决方案。

3.分布式对象存储

分布式对象存储服务是一个基于对象的海量存储服务,可提供海量、安全、高可靠、低成本的数据存储能力,包括创建、删除,上传、下载、删除对象等。分布式对象存储适合存储任意类型的文件,适合普通用户、网站、企业和开发者使用。

银行业用户对此类存储的产品需求主要为:

1)备份归档:要求高持久性、高扩展性和安全性,可结合备份软件来备份和归档关键数据;

2)企业网盘:可对接第三方网盘应用,为企业网盘提供存储空间;

3)镜像存储:可为镜像服务提供存储空间,存放虚拟机镜像;

4)高扩展高性能:单节点小对象写性能可达3000tps,单节点大对象读性能可达1GB/s,集群性能随节点数线性增加;

5)高可靠:支持节点级和机柜级高可用。同时可提供ACL控制、多版本控制、服务端加密、防盗链等多重防护;

6)易用性:支持REST API和SDK,兼容Amazon S3 API。可通过HTTP或HTTPS轻松使用对象存储服务。

在产业侧,分布式对象存储经历了从早期分布式系统,到现代的云存储服务和区块链技术的结合,分布式对象存储技术不断进步,存储系统也更加稳定可靠。

三、信创云的差距与挑战

目前基于X86环境的云计算产品和平台已经相对成熟,无论是私有云还是公有云都有很多厂商和众多不同规模的成功案例。当前信创云的发展正处在快速迭代的过程,信创云周边的生态也在不断的完善。伴随着CPU的版本升级,信创云的功能和性能也在不断的向X86架构的产品接近。目前,笔者认为信创云和基于X86环境的云计算产品存在以下差距和挑战:

1.信创云尚处于摸索成型阶段

信创云建设起步比较晚,相对于国外差距至少有5年,目前尚处于摸索成型阶段。在商用化方面,国外的云计算平台商用化时间较早,大约在2006年亚马逊的云平台已经实现了商用化。国内商用化较早的就是新浪和阿里云了,也都是2009年之后才逐步走向平台化和商用化的道路。

较之于国外广泛、深入、成熟的云计算应用,国内的云计算应用尚处于探索阶段,大规模的商用云计算时机尚未成熟。主要是因为大多数国产云计算产品和平台都是基于开源社区产品进行的深度优化而成,信创产品并没有在开源社区形成独立的分支,目前基于信创的云产品都是各家厂商各自为阵,仅在自己擅长的领域进行适配和改造,这就造成了信创云生态体系建设的进度缓慢。

2.产品适配支持能力的挑战

信创环境和X86环境本质的区别,是信创基础硬件采用国产化CPU。由于CPU架构不同造成基于CPU的指令集不同,这就需要原X86环境成熟的云计算产品和平台需要对信创环境进行适配改造。信创范围内的CPU的指令集,比起X86架构的指令集无论在数量上还是在质量上都有待大幅的开发和优化,这就造成了基于X86的云产品不能顺利的适配成功,有些功能需要等待指令集的进一步完成后才能形成完整的版本。

3.信创云运营服务的挑战

与传统的信息化建设和运维不同,云平台的建设是边建设边运维边运营,云平台的能力是面向资源和面向服务的,这些运行方式和管理模式的改变给运维团队提出了新的要求和挑战。

目前信创云均更多集中于SaaS,提供基本的“软件即服务”,而国外对云计算的应用则更加高阶,出现了“以知识为服务”的模式。同时,国外云计算企业级应用更加具有针对性,云计算服务体系更加细化,针对不同客户提供定制化的增值服务,云平台的运营服务也做得更加细致。而信创云要做到优质运营,需要与上下游生态不断磨合和沉淀,彼此助力共同成长。

尽管信创云在服务层次上与国外相比还有一段距离,但是我国的云计算发展已经处于“井喷”前最关键的时期,无论是云计算平台的稳定性还是用户的使用需求都在不断的提升,银行业要牢牢把握住云计算在国内发展的关键时期,促进信创云在行业内蓬勃发展。

结束语

面对云计算的发展需求,每个行业、每个企业都面临产品选型、方案落地等一些共同问题的思考,也面临一些本行业、本企业的个性化场景和需求。在本议题中,来自不同行业和企业的专家介绍了结合自身特点,分别介绍了云计算、云存储和数据存储应用的相关分析和建设经验等,为关注该领域建设的企业提供了一种视角、解读和方案思路。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论