本文来自微信公众号“twt企业IT社区”。
【栏目主编】赵海某金融系统高级主管：本议题由我本人、某城商银行运维工程师贾超发表议题下关键点的主张，几位专家的主张在宁夏银行技术经理陈明福、某城商行存储运维工程师梁龙等多位专家的复议后，形成了一定的共识，希望可以对同行有一定的参考。
赵海某金融系统高级主管：
无论是存算分离还是融合架构，软件定义都会为固有存储的信创替换和云化转型带来更大的收益，而构建完整的评估体系，深入了解国内主流厂商的技术来源、交付形态等差异，则更有利于机构选择适合自己的技术路线和供应商，降低转型风险，满足更多业务需求。
一、企业存储架构的发展历史
随着信息技术的发展，数据已经成为企业的战略资源，如何存储数据以及如何利用数据也已成为企业科技部门研究的热点话题，尤其是伴随着近些年的互联网革命，数据存储世界也发生了翻天覆地的变化，出现了很多新的名词、新的产品、新的趋势等。存储架构纵向的发展脉络主要分为以下几个阶段：
1)DAS架构的原始发展阶段。
2)SAN&NAS架构共存的发展阶段。
3)以SAN&NAS为基础，存储软件技术不断升级扩展的阶段。
4)以虚拟化、分布式等相关技术为基础的云化发展阶段。
二、中小银行存储架构现有状况梳理
从二十世纪到今天，应该是数据存储技术发展最快并且最开放的20年，一方面既有的以SAN存储架构为主流的核心存储架构不断发展演变，另外一方面以SDS为指导思想的软件定义存储技术不断涌现出新的技术产品。总而言之，数据存储无论是从技术架构上还是从数据管理上都经历了快速的发展，这一点尤其是在中小银行业的IT环境当中体现的淋漓尽致。
2.1技术上的混合并存模式
从中小银行现有IT环境的业务角度去看其存储架构的现状，至少目前为止还是以SAN存储为主，NAS和DSS技术为辅的混合模式。变化最快的或者说变革程度最剧烈的应该是从NAS→DSS→CS的过程，目前来看大部分中小银行的IT环境当中，大家都在向DSS或者CS来进行过渡转换。目前来看，集中式存储架构为核心的IT环境当中，近些年来随着硬件技术和软件技术的不断迭代发展，其实是经历了以下几个方面的变化：
（一）存储处理能力的不断升级
最初的SAN存储基本属于双控制架构，两个控制器的工作模式由最初的AS模式发展为AA模式，为整个存储系统提供数据的读写控制服务，后续逐渐发展为网状架构多控的负载均衡集群模式。2010年HP公司完成对3PAR公司的收购，标志着HP存储系统从原来的双控四控EVA存储架构转化为网状架构的8控、16控高端SAN存储架构。2011年，EMC公司将其Symmetrix VMAX产品定位为主推产品，意味着其SAN存储产品由原来的双控VNX产品系列转化为网状多控集群架构。这个变化导致了SAN存储在吞吐量、性能、高可用、容量等方面都得到了质的飞跃。
（二）存储卷的管理技术向资源池化方向发展
虚拟存储卷的映射单元粒度变小，数据分散度提高，存储虚拟卷逐渐发展为多层映射并且最小的物理存储单元粒度越来越小。以EMC的VMAX为例，其存储卷到物理磁盘之间除了有DiskGroup的概念，还有Physical Device、Virtual Device、Storage Pool、Thin Pool等多个对象，正是这些对象的多层映射使得提供存储服务的虚拟存储卷所对应的实际物理存储空间映射到了成百上千块物理磁盘的小粒度存储单元空间上。这种技术的改变一方面逐渐消除热点数据集中在局部物理存储空间的可能性，提高了数据读写的整体性能。另外一方面，数据在物理存储磁盘上的分散程度提高，可能面临的物理磁盘故障对数据安全性影响变小，提高故障数据的恢复速度以及降低数据恢复过程对存储系统的性能影响。
（三）存储管理软件功能越来越完善，越来越强大
随着高端SAN存储的不断发展，尤其是2015年之后的发展阶段，高端SAN存储上逐渐增加了数据空间利用率管理、数据保护管理、数据性能管理等方面的各种软件功能。数据消重功能其本质上是以Block为单位进行数据对比，仅在物理存储空间保存一份，而在虚拟存储卷到物理空间的映射上增加指针的软件技术。数据压缩就是在存储端将读写访问频度较低的数据，基于压缩算法进行数据压缩，提高物理空间的利用率。克隆技术是指在存储设备上，基于存储卷的Block存储单元而进行完全复制形成的完全相同的存储卷，用来做数据备份恢复。快照技术是指基于某个存储卷的Block存储单元而进行指针映射而形成一个虚拟的存储卷，同样用来进行数据备份恢复。瘦存储卷技术是分配卷时并不分配真实容量的物理空间，而是在存储卷需要存储数据的时候才会逐渐分配物理空间。同样也是基于企业TCO的考虑。通俗理解数据分层技术就是把正确性能要求的数据放在正确性能的存储载体上。存储磁盘有快有慢，成本与性能成正比，为了平衡TCO与性能要求的不可预见性，通过软件算法自动将不同性能要求的数据放在不同读写速度的物理磁盘上。
（四）虚拟化技术融入存储架构，使其成为企业容灾框架的关键技术
最初的虚拟化技术主要的是实现存储卷的集成功能，更多的是企业存储立旧的目的。例如IBM的V系列存储最初的存储卷虚拟化功能就是要实现对IBM系列老旧存储的集成。但是随着IBMSVC产品以及EMC VPLEX等产品的出现，存储虚拟化技术主要用来做1:1镜像存储卷实现数据在不同区域的高可用保护或者是容灾保护。另外一方面，存储控制器的虚拟化发展模式更加促进了容灾技术的逐步完善。操作系统虚拟化及容器的概念不仅仅改变了服务器的使用习惯，而且部分引入到了存储操作系统的管理当中，存储控制器由物理节点为虚拟节点，可以对控制器的网络、存储卷、缓存、CPU等资源动态重组并实现在物理硬件上的平滑迁移，最终提高容灾系统的RPO。
2.2管理上的云化发展模式
存储管理上逐渐走向云化发展模式，其实是经历了技术的变革和管理上的整合之后才显现出来。
NAS存储逐渐被各类分布式存储逐渐替代或整合。当然这个过程是个探索前进的过程，有的企业以业务分析为基本决策维度，将部分承载非结构化、半结构化的存储替换为NoSQL、NewSQL，有的企业则是以数据分析为基本决策维度，索性将NAS部分替换为Ceph之类的分布式存储，有的企业则是经历了一系列的整合变革，例如硬件上通过高性能小容量磁盘介质与低性能大容量磁盘介质走向整合，软件上基于分层管理技术（FAST）针对业务运行的时间窗口及性能要求等多个不同维度进行动态整合。
存储的数据管理走向统一化。最初，存储虚拟化技术广泛应用于中小银行的IT环境当中之后，越来越多高端存储产品具备对不同类型甚至不同品牌的存储产品进行管理上的整合能力。这也就使得不同物理存储在管理上集中化管理成为可能。以EMC的VPLEX为例，其不仅仅可以兼容EMC自己的存储产品系列，而且可以兼容很多其他品牌的存储产品，然后在其之上形成一层虚拟化存储抽象层，从而实现存储管理工作的统一化和便捷化。后来，中小银行的计算资源管理上最先突破传统限制，走向云化发展的路子。那么如何将存储资源管理统一整合到云平台上就成为了目前以及未来大家探索的焦点。
三、中小银行存储架构的信创发展思路
今天的金融行业，几乎每个企业都在信创的大背景下谋求自己的IT变革之路。那么在存储架构的发展思路上，究竟如何发展才是信创的本来意义？是不是将所有的设备换成国产就是信创？是不是将所有的软件技术换成国产技术就是信创？
个人认为知识产权的可控可主才是信创的本来意义。2021年11月15日，工业和信息化部印发《十四五软件和信息技术服务业发展规划》，对软件定义给出了非常高的评价。在该规划的发展形势中写道：“软件定义”赋能实体经济新变革。软件定义是新一轮科技革命和产业变革的新特征和新标志，已成为驱动未来发展的重要力量。
表1：SDS存储框架图
如表1所示，在这里其实我们并不是想说什么是软件定义存储。而是想说如何在软件定义的框架当中如何去整合现有资源，以及如何确定未来的存储资源架构融合设计思路。无论是单纯的替换既有存储产品，还是单纯的存储云化国产发展，其实都没有梳理清楚企业存储架构发展的信创需求。在这个过程当中其实我们要把握以下几点：
（一）开放性始终是软件定义框架的核心要求
软件定义技术本身是要实现硬件和软件的分离，去掉软硬件之间的强耦合性。这也是我们完成信创发展之路的第一步，因为我们之所以对过去国外的集中式SAN存储依赖程度那么高，其中一个很重要原因就是软硬件模块的强耦合性。但是去掉这个耦合性之后，软件本身的开放性就是我们中小银行业最核心的信创需求，这个软件框架应该是具备很强的兼容性、很强的可塑性、很强的安全性。
（二）首先实现存储管理的自主可控
对于非专业的软件开发企业来讲，完全实现软件定义框架的自主可控似乎不太可能。就算软件框架本身提供了很多很友好的API接口，中小银行企业也没有人力物力能完全实现对所有接口的底层开发逻辑的理解消化和再开发。因此，向信创迈进的第一步则是对存储资源管理层的可控性开发。打破通用产品固有的强制逻辑，按照企业自身的IT资源管理需求，开发适合自己的存储管理逻辑。
（三）资源适应框架的原则
SDS并不是某一款具体的存储产品，而是一个技术框架，一种技术理念。从下往上，共有四个层次：存储设备层是最底层的数据存储物理载体，在这种框架下，对物理存储载体的要求空前放宽，任何性能、任何形态、任何容量、任何连接都可以接受。只要他们具备一个条件即可，那就是可以被上层操作系统识别为可用存储介质，可以定义为上层操作系统的可用设备。我们在选择数据存储的物理载体的时候，必须把握将SDS框架适应兼容性作为必选条件。
四、结语
通过以上分析可以看出，无论是存算分离还是融合架构，软件定义都会为固有存储的信创替换和云化转型带来更大的收益，而构建完整的评估体系，深入了解国内主流厂商的技术来源、交付形态等差异，则更有利于机构选择适合自己的技术路线和供应商，降低转型风险，满足更多业务需求。
贾超某城商银行运维工程师：
现阶段一方面传统集中式SAN/NAS还在广泛使用，另一方面各类分布式存储产品已纷纷在新兴的海量数据场景中占据市场，此外，企业又面临着信息技术应用创新的要求，如何选择适合企业内部的存储架构，未来存储架构将如何发展？
一、引言
数字技术的发展深刻影响了社会化大生产，众多行业的生态、格局以及模式发生了翻天覆地的变化。面临数字技术浪潮，传统金融业选择了顺潮而上。数字化转型已成为金融业焕发新生的重要驱动力。在数字化转型过程中，存储是一个永恒的话题，随着金融行业业务服务范围越来越广，产品创新不断增加，数据量不断增长，对存储的要求也越来越多。近年来，为保护信息安全，建立自主可控的信息网络，我国又提出了信息技术应用创新的国家战略，存储作为IT基础架构的核心，在技术不断发展的同时也面临着新的挑战。
现阶段一方面传统集中式SAN/NAS还在广泛使用，另一方面各类分布式存储产品已纷纷在新兴的海量数据场景中占据市场，此外，企业又面临着信息技术应用创新的要求，如何选择适合企业内部的存储架构，未来存储架构将如何发展？接下来将依次介绍现阶段主流存储架构，信创存储现状，不同存储架构的选型，并展望未来存储架构的发展趋势。
二、主流存储架构
目前市场上主流的存储架构一般分为集中式和分布式。
1、传统集中式存储
集中式存储即在业务处理中，将数据存储在某一固定的服务器或者区域中，比如本地磁盘上、NAS存储上、SAN存储上等。传统SAN/NAS存储的硬件架构采用“控制器+硬盘柜”的方式，支持多个控制器，以保障高可用并提高性能。多控制器为紧耦合，通过PCIE总线或Infiniband网络互连，共享磁盘阵列，共享缓存。传统存储的架构具有I/O路径短，访问延迟小的优势。
传统集中式存储起步早，技术成熟，架构简单，商业的集中式存储表现出足够的稳定性，对高IOPS、低延时、和数据强一致性有很好支持。以上特性非常适合作为金融等核心业务系统的数据库存储。大多数金融业典型的“标配”解决方案为两台高端小型机（或X86服务器）做OracleRAC数据库服务器，搭建高可用双机环境，后端连接两台FC交换机和集中式存储设备。小型机或服务器通过FC HBA接入存储网络，分配对应SAN存储的存储资源，Oracle数据库将数据和归档文件存放在存储资源里。
2、分布式存储
随着技术不断发展，虚拟化、云计算、AI、高性能计算、大数据等新技术催生大量新兴应用，数据开始呈现爆发式增长。在海量数据的应用场景下，传统的集中式存储开始面临着巨大的挑战。传统的NAS、SAN存储已经有30多年的历史，在其设计之初并非针对如此庞大数据量场景，因此会出现诸如文件索引缓存、服务器机头等技术设计上的先天瓶颈。传统的集中式存储在互联网金融应用压力下，热点资源，空间分配等冲突严重，另外，海量非结构化数据的快速增长，都对存储提出了满足广泛的性能、持久性、可用性、扩展性和多站点的要求。
分布式IT架构伴随着虚拟化、云计算等技术的出现快速发展，对应分布式存储也应运而生，相对于集中式存储，分布式存储更加聚焦横向扩展能力。分布式存储作为重要的数据基础设施，是海量数据应用的最佳底座。
分布式存储基于分布式架构，由多个软硬协同的存储节点组成并通过网络互联提供存储服务，相对于集中式存储，分布式存储将数据分散在多个相对独立的存储节点上，通过增加节点实现性能和容量的横向扩展，利用多节点数据冗余数据可靠性，可提供EB级以上的存储空间，适用于海量数据的存储场景。
与分布式存储相似的概念有软件定义存储SDS、云存储等，相关概念经常被混为一谈，三者有一定交集，但并不完全等同。分布式存储重点在于存储架构采用分布式架构。软件定义存储重点在于定义一种具备服务管理接口的存储资源池，强调存储池的控制面与数据面分离，存储池可以是分布式存储，也可以是集中式存储。云存储更多的是一种云服务，并不定义存储自身架构，云服务商提供的云存储大多是分布式存储，但是不代表云存储就是分布式存储。
三、存储架构选型
企业在做存储架构选型时，无论采用何种架构，必须从实际业务需求出发，业务稳定、连续性是重要指标，从功能、性能、可靠性、稳定性、信创要求等多个维度考虑。
就集中式存储与分布式存储而言，两者各有利弊。
目前来看，在金融行业的核心系统中，传统集中式存储还是会长期存在。核心系统结构化数据容量规模不大，可靠性、性能方面都要求非常高，而传统集中式存储经过多年的发展，大多采用自研硬件+软件深度结合的方式开发，在可靠性、性能方面的能力都达到了一个很高的水平。其他比如图片、音视频等非结构化数据，例如影像平台、数据备份等数据量大且增长迅速，并发量要求高而对延迟不敏感，更适合采用扩展灵活的软件定义分布式存储。
目前市场上分布式存储的产品形态，大多基于商业软件、开源软件、专用硬件、通用硬件进行不同的组合。例如NetApp FAS、华为OceanStor Pacific属于商业软件+专用硬件，新华三UniStorCX、XSKY Xscaler等属于商业软件+通用硬件；开源软件包括Ceph、GPFS等。目前金融行业基于稳定性、可靠性，使用商业软件+专用硬件的案例相对更多。
如果企业使用的是私有云或超融合商业产品，计算节点建议直接使用其产品自带的存储技术，无需区分集中式与分布式，管理和性能上都有保障。涉及到具体的数据存储上可以根据业务需求，选择对应的集中式或者分布式存储。如果是使用OpenStack之类开源软件自建私有云,可直接引入基于Ceph架构的软件定义存储产品，该架构成熟度较高,属于主流的开源云计算存储方案。
就信创而言，市场上既有满足信创要求的集中式存储，也有满足信创要求的分布式存储。信创的要求不影响存储集中式与分布式架构的选择。
企业在选择信创存储过程中，需要注意几个易混淆的点。第一，“国产存储”并不一定意味着“信创存储”。国内IT厂商具备了自主研发中端存储的实力，但之前大多基于X86平台，并非符合信创要求的产品。基于海光、鲲鹏、飞腾等国产CPU的硬件，则需要全新的信创设计。第二，集中式存储阵营，虽然能实现信创要求，但是受限于SAN交换机的芯片问题，无法实现“全栈信创”方案。SAN存储的转型，不仅涉及存储本身，还涉及光纤交换机，目前业内还没有很好的替代，大多以IP SAN模式为主，配合高速的以太网并引入NVMe-oF技术来实现。
信创存储选型过程中，信创存储方案在生产环境的运行案例是重要的评估因素。鉴于大多产品的发布时间普遍不长，参考效果有限，供应商原有的非信创存储产品是否已经具备大量的生产业务承载案例，也是降低选型风险的一个重要参考因素。其次，供应商在从前期规划到后期运维的专业服务能力同样是企业存储选型评估重点。部分企业在选型过程中还涉及到非信创存储和信创存储通过存储复制平滑迁移的场景，目前大多是同品牌或者同系列的存储之间才能建立复制关系，平滑迁移则需要通过上层存储软件或者应用侧协同进行迁移。
四、存储发展
在传统存储面临诸多挑战情况下，个人浅见未来存储架构将朝着融合架构的方向发展。现代社会海量的新兴应用和业务流不断产生，业务负载I/O模型多样，例如大文件大I/O、大文件小I/O及小文件大I/O等等，存储需求的“不确定性”大大增加，融合架构的设计是未来的关键发展方向。
通过融合架构设计，实现一池多芯，同一存储资源池底层硬件设备可通过多种CPU服务器架构，满足信创要求，实现软件灵活适配，降低硬件成本，降低硬件供应风险；实现全协议支持，支持S3、NFS、HDFS、CIFS、FTP、RBD、iSCSI、FC等标准协议和访问接口，应对各种新业态、新的数字经济的应用，如大数据、容器、虚拟化等；实现全业务场景支持，适配大数据、容器、两地三中心、私有云、数据备份、数据归档等各种应用场景。
参考资料：
[1]分布式存储发展白皮书（2022年）,分布式存储产业方阵。
[2]下一代数据存储技术研究报告（2021年）,中国信通院。
结束语
通过若干从事或者接触过银行IT业的从业者观点分析，对于存储架构的信创项目推进方式，基本上有两个方向，一个是就技术方向实现既有架构和信创架构的整合，另外一个方向则是保持既有技术架构的前提条件下，从管理方向实现多资源的整合。
