本文来自微信公众号“twt企业IT社区”。
近些年伴随着互联网、大数据、5G等技术的发展，数据存储也发生着翻天覆地的变化，随之出现了很多新的产品、新的技术和新的趋势，面对这些新事物，我们如何从这些事物中抓住其本质，寻找出符合企业自身发展的主流技术，以及对这些主流技术发展趋势进行预测，帮助企业进行存储发展和转型，做好未来的规划，是本议题想要探讨的话题。
社区专家主张
苏海涛某集团公司首席数据官：本议题由某国有银行高级工程师姜旭、某股份制银行系统架构师老谷以及嘉兴银行信息安全负责人高鹤发表针对议题下关键点的主张，几位专家的主张在江西农信运维技术经理邓毓、某农信社资深技术经理雷智以及我本人等多位专家的复议后，形成了一定的共识供同行参考。
姜旭某国有银行高级工程师：
分布式存储和集中式存储根据其自身优势，在未来可预期范围内，两种存储架构将会长期并存。用户需要根据不同实际业务场景，选择不同的存储系统和技术。
一、引言
随着云计算、大数据、人工智能、5G等新技术的推广使用，我国产生的数据量进入爆发性增长阶段。作为信息化系统的核心部分和底层基座，存储技术发展日新月异，固态硬盘SSD及相应的接口、协议、标准正逐渐成为数据中心存储主流。数据中心的存储系统平台，依据存储节点不同的拓扑组织形式，一般分为分布式和集中式两种，凭借新兴软件定义存储技术（SDS）的推动，分布式存储在数据中心快速崛起，随着NVMe Over Fabric标准的成熟，传统集中式存储在以Scale-out架构为主的现代数据中心里重放光彩。如何根据业务需求选择合适的存储技术？以及新型存储技术未来发展趋势如何？本文将详细展开。
二、当前最受关注的存储技术介绍
1.分布式存储方面（软件定义存储技术）
软件定义存储，采用标准化通用服务器作为载体，基于软件实现企业级存储功能和服务，从而实现存储硬软件分离。凭借着与云计算的天然结合优势，基于软件定义存储技术的分布式存储系统为云计算提供按需分配的高效存储资源池。
当前软件定义存储产品技术主要分为开源系统和商业系统两种模式。开源系统中根据存储接口类型分类，主要代表有统一存储Ceph，块存储Sheepdog，对象存储Swift和文件存储Glusterfs等；商业系统中根据市场占有情况，国内主要代表FusionStorage、XSKY等。开源模式降低了存储研发的门槛，基于成熟的开源存储技术可以快速构建起具有一定竞争力的存储产品体系，实现市场布局和自主可控国产化；商业模式具备完整的开发、测试和验收流程，并拥有健全的运维支持能力。目前国内存储厂商尤其是初创公司较多使用开源模式，而大型金融公司更多采用商业模式。
2.集中式存储方面（NVMe over RoCE）
金融业传统高性能存储系统主要采用基于FC-SAN的集中式存储系统，但由于FC交换网络协议相对封闭，缺乏“即插即用”的能力，难以适应新型数据中心灵活弹性的需求。同时FC-SAN的主要技术控制在美国厂商手中，在当前国家科技自立自强重大战略背景下，融合高性能RDMA技术与以太网技术的NVMe over RoCE应运而生，在具备接近InfiniBand高性能的同时兼有以太网的互操作性。
NVMe over RoCE是NVMe-oF的三种形式之一，目前技术演进路线最为成熟。开放数据中心委员会（ODCC）于2020年11月发布了《NVMe over RoCE网络控制优化技术要求与测试规范》，在存储设备即插即用和链路可靠性两个方面提供端到端NVMe over RoCE增强方案，进一步释放存储性能潜力，同时提升企业级存储系统的易用性和可靠性。
三、新型存储技术面临的问题
1.软件定义存储
开源模式方面，由于系统本身复杂性高，完全吃透并且掌握难度大，通常都是跟随社区主导者的步伐发展，这对商业用户后续的维护来说难度较大。通常遇到BUG时，需要将问题先提交至社区，经过社区问题讨论、合并、测试、验证后才能彻底解决，时间跨度大，效率较低，对用户来说非常不友好。商业模式方面，多数系统为黑盒产品，且与厂商强绑定关系，存在单一来源风险。同时运维人员无法深刻理解底层原理，遇到问题时过度依赖厂商，对用户的技能提升也存在限制。
此外，由于软件定义存储集群间的通信依赖于节点间的以太网，且集群内要求多副本数据一致性，时延相对于本地存储、集中式存储等较高，因而多数产品目前仅支持在同园区部署，无法满足城市级高可用，限制了产品的使用场景。
2.NVMe over RoCE
当前NVMe over RoCE涉及的技术标准和规范建设存在两个主要问题，一是技术标准的体系性不够。从软硬件设备来看，存储设备、网络设备到服务器、操作系统以及数据库等NVMeover RoCE的产业生态链尚不完善，无法形成全链路的兼容适配与联动；从金融行业使用情况来看，当前仅有少数国有大行和部分股份制银行开展相关研究并落地，生态环境还有待进一步完善。二是需要推动相关技术规范从团体标准向行业（或国家）标准演进，以更利于产业生态建设。
此外，虽然NVMe over RoCE技术在金融行业已有试点落地案例，但仅限于传统环境。目前该技术与云环境的完全适配还存在一定的距离，主要包括云环境对存储设备和网络设备纳管、安全认证等。目前兼容NVMe over RoCE的云环境建设还任重而道远。
四、新型存储技术未来发展趋势及使用场景
1.软件定义存储未来应保持和云环境的技术架构一致，易紧密集成的优势，支持部署在裸金属、私有云、公有云及混合云上。随着存储的高速协议接口（如NVMe，SPDK等）以及高速网络技术（如RDMA）快速发展，节点间的数据访问时延也进一步得到优化，后续软件定义存储系统将使用场景从本地扩展至同城，提升集群高可用能力。同时，由于时延的降低，软件定义存储系统将不仅仅局限在作为云内虚拟机的存储资源，可考虑应用部分IO时延敏感场景。
2.NVMe over RoCE凭借高性能、高稳定性优势，结合“信创”东风，未来可全面实现主机下平台任务。基于NVMe over RoCE的存储体系，相较于传统的FC-SAN环境，在批量和联机场景性能提升较为明显，时延约为传统环境的30%-50%。随着生态的逐步完善，待新型存储体系与云环境进行深度融合后，未来将更多应用于云内裸金属节点，并与国产化数据库等应用相结合，实现集中式存储全链路国产化。
五、结语
分布式存储和集中式存储根据其自身优势，在未来可预期范围内，两种存储架构将会长期并存。用户需要根据不同实际业务场景，选择不同的存储系统和技术。这两者并不是一种对立的关系，因而我们需要用辩证的角度来看待。我相信未来两种架构会相互促进，良性发展，共同支持业务系统平稳运行。
老谷某股份制银行系统架构师：
存储技术的发展，从90年DAS架构，到SAN架构和NAS架构混合架构，再到如今软件定义存储的分布式架构，这几十年架构的演进都伴随着应用的转型，所以存储未来发展的趋势同样由应用环境和客户需求决定。
一、引言
当前，随着信息化技术的飞速发展，数据已经成为各个金融单位的重要资源，如何进行数据存储，如何更好的利用数据，成为了各单位科技部门研究探讨的热门话题，尤其是近些年伴随着互联网、大数据、5G等技术的发展，对于数据存储也发生着翻天覆地的变化，随之出现了很多新的产品、新的技术、新的趋势，面对这些新事物，我们如何从这些事物中抓住其本质，寻找出符合企业自身发展的主流技术，帮助企业进行存储发展和转型，是本文想要探讨的内容。
二、存储技术的发展
对于信息化来说，IT资源的三大基石是计算、存储、网络。存储主要负责的是数据存取。从计算机发展的初期到现在云计算、大数据时代，存储设备的发展主要分为四个阶段：服务器硬盘阶段、外置扩展柜阶段、集中式存储阶段、分布式存储阶段。
三、存储技术详解
结合金融行业的应用系统而言，当前金融场景使用比较多的存储设备是集中式存储和分布式存储。
集中式存储是各银行常见的存储设备，在银行应用中，主要有SAN及NAS存储、融合存储、混闪、全闪等几种存储形态，磁盘的发展经历了机械盘、SSD固态硬盘、NVMe接口全闪存储等磁盘类型；随着磁盘及存储性能的稳步提升，延时和高可用性都得到了进一步的提升。银行的主要应用场景也集中在核心业务、稳态系统、数据库、虚拟化等。集中式存储功能完善，稳定性好，运维简单，监控、运维体系健全，技术成熟，可选择的范围也很广，从中低端到高端产品齐全。不足是：在新兴的海量数据存储场景中容量和扩展性能力不足，用户需要考虑集中式存储的适用场景。
随着近些年银行数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术，其特点非常敏捷，资源可弹性部署、按需获取，支撑新兴业务快速上线；面对数据中心结构化、非结构化等复杂的数据类型，能提供丰富的访问接入支持；可快速海量扩展性能与容量，扩展方式非常简单，提供极致性能，满足并行数据处理需求。
下面根据银行不同业务场景和技术对存储技术进行描述：
比如在金融传统核心业务场景，主流技术方案是通过集中式存储部署双活数据中心或者两地三中心，通过该方案能够达到高级别的容灾能力，保障核心业务系统数据的连续性和系统可靠性。基于存储容灾技术实现数据的两地三中心保护。该方案在生产中心、同城灾备中心和异地灾备中心分别部署存储设备，通过双活技术，实现数据在生产中心和同城灾备中心的双写，再通过远程复制技术将数据同步到异地灾备中心，实现数据的保护。若生产中心发生灾难，可在同城灾备中心实现业务切换，并保持与异地灾备中心的容灾关系；若生产中心和同城灾备中心均发生灾难，可在异地灾备中心实现业务切换。
容器技术在金融行业的应用场景已经非常广泛，为金融IT和业务转型带来了近乎颠覆性的思路，在部署便利性、轻量化、弹性等方面具有巨大优势，那么如何进行容器平台的存储选型，需要结合业务场景，根据容器对存储的使用要求来定。对于需要数据共享的稳态业务场景，对文件存储性能和稳定性要求非常高，以往使用的是高性能的分布式文件存储，但随着高性能NAS存储的发展，近些年越来越多的客户开始使用NAS存储。对于大数据场景，通常使用HDFS接口的分布式存储。容器平台本身就是一个分布式架构，如果用集中式存储去支撑这样的架构，当容器平台横向扩展到一定程度，对于大数据、票据影像等非结构化的大文件、低带宽等场景，集中式存储读写虽然面对上层的并发压力，通过Scale-out的方式扩展，避免出现瓶颈，但集中式存储的性价比问题就显得有些突兀。所以在部分容器场景中，分布式存储也是容器的很好选择，容器云平台环境下，分布式存储采用节点的Scale-out扩展架构，可实现超大集群规模的部署，从3节点存储集群起步，可实现灵活的扩展至数千节点，尤其适用于大文件、低带宽场景。存储容量可实现一个集群EB级数据空间。同时由于分布式架构，每一个存储节点都可以提供独立的性能支撑，在高并发的数据处理中，可以实现更高的存储性能，更高的带宽吞吐和IOPS。有效的解决海量数据高扩展和高性能的存储需求，更容易满足容器云平台的建设和发展。
四、存储发展趋势
回顾过去，存储技术的发展，从90年DAS架构，到SAN架构和NAS架构混合架构，再到如今软件定义存储的分布式架构，经历了几十年的发展演进，这几十年架构的演进都伴随着应用的转型，所以存储未来发展的趋势同样由应用环境和客户需求决定。
1.存储架构由传统集中式为主发展为集中式+分布式双模式架构
在金融科技创新发展过程中，业务越来越多样化，数据规模也呈爆发式增长，因此对海量数据的有效管理、业务敏捷上线、低成本运营等一系列的要求促使金融企业选择上云发展。
同时为确保关键应用的稳定可靠，传统技术架构或核心系统还会在一定时间内保持原有架构不变，而新架构和新核心更多地支撑原生云技术和云服务的新型业务及应用（如互联网金融业务），两者会在一定时间段内并存，这就是业界熟知的“双模IT架构”。就其中的数据存储架构来说，如果采用分布式存储架构，可以有效应对除“核心应用”以外的业务场景需求，为敏态IT提供数据承载底座。而且传统存储与分布式存储的关系，必然是分久必合的状态，从分布式的多节点可以看出，其技术模式与双控存储架构的原理基本一致，不论是国外的AWS、DellEMC，还是国内的华为，都开始尝试退出双管理节点的分布式存储，尝试通过单机的部件冗余，来达到金融行业对存储的高可靠的要求，而模块化的架构，业促进了分布式存储的易维护性。
集中式存储从架构来说，可以分为AP架构和AA架构，以双控为例，AP架构一个控制器的端口处于主动状态，另一个控制器的目标端口处于被动状态，对于一个数据或者任务来说，任何时候只有一个控制器在工作。AA架构，及集中式存储的分布式架构，所有控制器都是“活”的，硬盘不归属于某一个控制器，可以通过负载均衡保证性能，两个控制器同时工作，当其中一个控制器出现故障时，对存储没有影响，依旧能够提供服务。
同样，分布式存储的双控架构，是解决可靠性的关键技术，分布式存储随着规格和单硬件服务器存储容量的扩大，其可靠性会越来越低，通过两个控制器，每个节点连接所有硬盘，在控制器故障情况下，可以相互接管，大大提高分布式存储的可靠性。
所以无论是集中式存储还是分布式存储，分布式+双控架构才是未来企业选择存储的重要关键。
2.存储访问协议由SAS/FC向NVMe演进
在存储系统当中，HDD和SSD早期的传输协议都是AHCI单队列模式，也就是说服务器和硬盘之间的数据传输为单队列模式。早期数据存储的性能主要受限于HDD硬盘本身，因此AHCI的性能瓶颈也就不是主要矛盾了。但是随着SSD介质技术的不断应用，AHCI的单队列模式已经严重制约SSD介质的并发访问性能的发挥了。因此NVMe协议应运而生，它旨在降低时延的同时提高IOPS，可以达到16Gbps的吞吐量，部分基于NVMe的驱动器可以达到200万甚至1000万的IOPS。未来十年的存储技术发展，伴随着NVMe本身技术发展，它一定会主宰未来存储协议。
3.存储运维向智能化演进
运维人员在复杂的IT环境下管理和升级存储系统，带来了成本的激增。正所谓“大道至简”，存储系统需要能够自动适应软硬件环境变化并进行自动智能控制调节，提供出众的简化性、可用性和性能表现，这也是存储智能化的一个重要诉求。目前存储产品正积极引入智能、自动化、应用感知等特性，正在从多个维度引领存储智能化的发展潮流。
4.存储硬件技术会向绿色节能方向不断演进
未来降低能耗将成为数据中心建设的首要目标，通过使用可代替可再生能源将成为数据中心主要的电力能源。新一代绿色数据中心需要新型绿色节能技术的支持。同样存储设备作为数据中心所有IT设备当中最耗能源的设备，也必须与这个整体目标相符发展。从存储产品的硬件层面来实现节能无非需要从架构设计、芯片使用以及硬盘介质等几个方面来推进。从目前的技术参数对比来看，从时延、功耗、返还率等重要技术参数对比来看，固态硬盘都要远远优于传统机械硬盘，未来随着TCO不断降低，固态硬盘会取代机械硬盘的霸主地位；更节能高效的非易失性内存技术填补了从硬盘到DRAM之间的性能、成本、能耗等方面的不平衡性。也定会成为未来新型存储产品必不可少的关键技术。
高鹤 嘉兴银行信息安全负责人：
实施存储只需安装几个磁盘驱动器的日子已经一去不复返了，当今的数据密集型工作负载需要各种存储解决方案来处理数量空前的异构数据。
一、当前最受关注的存储技术
当前最受关注的五项存储技术：软件定义存储、智能存储、计算存储和存储级内存，代表了数据存储的重要趋势，并且正在成为越来越多的基础设施存在。
1.软件定义存储
尽管传统的存储配置仍然发挥着至关重要的作用，但它们并不能满足当今大量动态、分布式和异构数据的需求。一些IT团队正在通过转向软件定义存储(SDS)来应对这些挑战，SDS是一种基于软件的解决方案，在应用程序和存储设备之间提供了一个抽象层，实际上将存储软件与底层硬件分开。
理想情况下，SDS解决方案将在商用服务器上运行并支持各种存储设备，从而消除对专有硬件或其软件的任何依赖。SDS解决方案控制来自应用程序的存储请求，同时管理存储资源本身。以这种方式将数据平面与控制平面分开可以提高操作敏捷性并控制数据的存储位置和存储方式。
尽管供应商对SDS采用不同的方法，但解决方案通常使用虚拟化将物理存储设备整合到逻辑资源池中，这些资源池可以动态控制并分配给需要它们的应用程序。SDS解决方案公开了用于配置和管理资源的基于标准的API，从而更容易实现操作自动化，支持基础设施即代码(Infrastructure as Code)等开发工作，并与Kubernetes等容器编排工具集成。
SDS的最大优势之一是灵活性。IT团队不仅有更多的硬件选择，而且应用程序也会受益，因为可以按需分配和扩展存储资源。此外，SDS解决方案可以更好地利用物理资源，从而降低成本，尤其是当消除专有存储系统和随之而来的供应商锁定时。SDS有时甚至可以通过使用并行性、数据分层和数据缓存来提高性能。
然而，SDS并非没有挑战。对于初学者来说，实施和维护SDS解决方案可能是一项复杂的工作，尤其是在使用来自不同供应商的多个存储产品时。这些不同的供应商方案还可能使获得供应商支持甚至识别特定问题的根源变得更加困难（进一步加剧了支持问题）。此外，SDS解决方案可能不像有时建议的那样与硬件无关，并且某些SDS产品可能不包括专用专有系统可用的所有功能，尽管这种情况一直在稳步改进。
2.智能存储
不断增长的异构数据量带来了各种各样的性能、维护和安全问题。为了帮助解决这些问题，供应商一直在逐步将智能整合到他们的存储解决方案中。智能存储利用人工智能(AI)和其他先进技术来主动管理系统、优化性能并在潜在问题发生之前解决它们。
智能系统不断地从其环境中学习并相应地自动调整其行为。该系统从参与的存储系统收集遥测数据，聚合和分析数据，然后使用它所学到的知识来维护和优化这些系统。如果有效实施，智能存储解决方案可以提供更高的可靠性、安全性、资源利用率和应用程序性能。
智能存储系统依赖于复杂的分析引擎，该引擎利用机器学习和深度学习等人工智能技术，以及包括预测分析在内的其他先进技术。该引擎识别数据中的模式和异常，以预测问题、预测趋势、识别性能问题并解决其他潜在问题。同时，引擎不断从收集的数据中学习，从而实现更准确的预测，进而提高存储系统的效率。
智能存储解决方案可以自动预测结果并在问题发生之前预防问题，同时采取措施优化工作负载性能并确保数据保持安全和合规。该解决方案可能会提醒隐私问题、解决安全威胁、帮助规划容量、在存储空间不足时通知告警、将资源分配给虚拟化工作负载或执行各种其他操作。
3.计算存储
在传统的计算/存储架构中，数据在存储设备和计算机的内存之间传输，可以响应应用程序请求进行处理。在正常操作下，数据在两者之间自由移动，很少遇到延迟问题和瓶颈。但是，现代工作负载（例如AI或大数据分析）可能会遇到性能问题，因为位于存储和内存之间的I/O端口带宽有限，无法满足需求，从而导致响应时间变慢的瓶颈。
为了解决这个问题，一些供应商现在提供计算存储解决方案，将至少部分处理转移到存储平台本身，这种方法有时被称为近数据处理。计算存储在存储层中使存储和计算资源更紧密地结合在一起，可以代表服务器对数据进行预处理。这不仅缩短了数据访问路径并减少了流量以及随之而来的延迟，而且计算组件还可以利用存储解决方案中固有的并行处理能力，从而获得更快的性能。
计算存储可以潜在地使处理大量数据的任何对延迟敏感的应用程序受益。它还可能使计算资源通常受大小限制的边缘计算和物联网(IoT)场景受益。例如，可以就地聚合大量数据集，然后仅将聚合结果发送到服务器的内存以进行额外处理。通过这种方式，可以减少必须通过I/O端口的数据量，同时最大限度地减少对计算资源的影响，从而释放它们用于其他工作负载。
尽管现在有几家供应商提供计算存储系统，但该技术还处于发展阶段。由于实现的差异，遇到集成问题并不少见。幸运的是，存储网络行业协会(SNIA)已经开始努力定义用于部署、配置、管理和保护计算存储设备的接口标准。
4.存储级内存
另一种现在引起广泛关注的现代技术是存储级内存(SCM)，这种存储器几乎与动态随机存取存储器(DRAM)一样快，且与NAND闪存一样是非易失性的（也就是说，它可以保留即使从电源拔下数据）。SCM的每字节成本也低于DRAM，而性能却大大优于NAND。它甚至可能比NAND提供更大的耐用性。
与计算存储一样，SCM仍然是一项年轻的技术，但背后有很大的发展势头。SCM也称为持久内存、PMEM或P-MEM。一些消息来源根据技术的实现方式来区分SCM和持久内存，但这种不一致在像SCM这样的新兴行业中很常见，毫无疑问，该行业最终会采用一个通用的命名法。
围绕SCM的讨论通常围绕内存/存储层次结构中的新层的想法展开，SCM模块位于DRAM和NAND闪存之间。与DRAM一样，SCM设备是字节可寻址的，并且可以直接连接到服务器的内存空间，从而提供了一种有效的方式来支持需要比DRAM实际提供的更多内存的延迟敏感型应用程序。
通过弥合传统内存和存储之间的差距，SCM使应用程序可以通过系统内存空间访问大型数据集，从而显著加快读写操作。
二、存储技术的未来发展趋势
1.NAND闪存越来越普及
NAND闪存的采用在数据中心市场占有重要份额，提供比硬盘驱动器(HDD)在物理上能够实现的性能和耐用性要好得多。随着NAND的普及和密度的增加，价格稳步下降，使其成为比以往任何时候都更可行的存储选择。
2.存储类内存适用场景
在过去的几年里，存储类内存(SCM)引起了许多头条新闻，尤其是IBM最近发布了第一款Optane DC持久内存模块(PMM)。这些模块插入标准的双列直插式内存模块(DIMM)插槽，允许PMM直接连接到服务器的内存空间。Optane DC模块代表着向位于传统动态RAM(DRAM)和NAND闪存存储之间的新存储层的愿景迈出了一大步，以支持苛刻的企业工作负载。
3.未来充满想象
5D存储、赛道存储器，DNA存储......
三、结语
随着移动设备的爆炸式增长，以及随之而来的物联网(IoT)的涌入，人们、应用程序和机器生成的数据比以往任何时候都多。从所有数据中获取意义的唯一方法是开发创新的高性能、大容量存储解决方案。
结束语
通过三位银行同行的观点和分析，企业用户需要根据不同实际业务场景，选择不同的存储系统和技术，切勿病急乱投医，或是没有实际调研就盲目跟风。
