本文源自twt企业IT社区，作者|徐子晨（某商业银行存储工程师）。
一、引言
近年来，在国务院《“十四五”数字经济发展规划》、央行《金融科技发展规划(2022-2025年)》、银保监会《关于银行业保险业数字化转型的指导意见》等一系列政策的推动下，银行业的数字化转型正在进入“加速跑”的新阶段，并更加注重数据管理和信息技术应用创新。
其中，数据作为数字经济时代最重要的生产要素，也是支撑金融机构数字化转型的关键要素，银行在数字化转型中，充分释放数据要素的价值潜能至关重要。而要开展数据挖掘、数据分析，让数据赋能业务发展，就必须要建立稳定高效的数据基础设施。
二、银行传统环境的存储现状
为了应对银行业OLAP业务和关系型数据库大量上线应用，批处理普遍存在处理时间窗口紧张的问题，以FC-SAN网络和集中式全闪存储设备作为IT系统基础架构成为保障业务系统高性能、高可靠性、低延时的通用底座。采用冗余配置的光纤交换机具有可靠的稳定性和安全性，服务器和存储设备通过冗余光纤通道分别连接到互为冗余的SAN光纤交换机上，FC-SAN提供了一套高性能、高可靠和高可使用的解决方案。
三、传统环境存储运维面临的问题
SAN光纤交换因专利垄断等原因，由美国100%掌控供应，这对于我国金融行业未来全面自主可控将带来巨大的风险，光纤交换机成为我国新基础设施建设中最大的短板与绊脚石。为我国金融行业在全面自主可控的道路上攻克光纤交换机这一美国技术堡垒，特别需要探索一种在保证IT技术设施层包括计算、存储、网络的全面自主可控的同时，可以达成比使用FC交换机更好性能的解决方案。
四、信创环境下存储网络替换实施
面对银行业数字化转型的新需求，从数据基础设施入手无疑是夯实基础的关键。近年来GPU和SSD的广泛应用，使得数据中心的计算和存储性能提升迅速，但网络协议逐渐成为数据中心的性能瓶颈，迫切需要打造一条新的“高速路”。
最初，NVMe作为一种硬盘接口协议，可以充分发挥SSD介质颗粒的性能，释放存储系统的巨大潜力。如今，NVMe SSD已经逐渐被对性能有极高要求的云服务商广泛采用。来自Gartner的预测显示，2022年NVMe SSD在存储中占比将达到52%，超越半壁江山，成为真正的主流，NVMe与SAS协议IO路径对比如图1所示。
图1 NVMe与SAS协议IO路径对比
RDMA（Remote Direct Memory Access，远程直接内存访问功能）是一种远端直接内存访问技术，利用相关的硬件和网络技术，将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。最终达到高带宽、低时延和低资源消耗率的效果。RDMA专用的InfiniBand网络架构封闭，无法兼容现网，使用成本较高，随着在网络融合大趋势下出现的RoCE，这使高速、超低延时、极低CPU使用率的RDMA得以部署在目前使用最广泛的以太网上。
RoCE是使用以太网承载RDMA的网络协议，性能与IB网络相当，需要以太网支持DCB特性，保证网络无丢包。RoCEv2是一种网络层协议，引入IP解决扩展性问题，可以跨二层组网，实现路由功能。RDMA协议栈如图2所示。
图2 RDMA协议栈
NVMe over RoCE是NVMe over RDMA的一种，如图3所示，利用RDMA的高性能远程访问实现远程访问NVMe设备。NVMe over RDMA直接在RDMA多队列上实现了NVMe多IO队列，RDMA的SQ/CQ和NVMe SQ/CQ一一对应，实现端到端多队列，无需定义新的报文格式，NVMe协议报文直接作为RDMA数据传输。
图3 NVMe over RoCE队列映射
NVMe over RoCE组网和iSCSI组网类似，都是基于IP网络，NVMe over RoCE要求交换支持DCB无损网络配置。全闪存存储系统需要支持NVMe over RoCE的接口卡为RoCE接口卡，通常可以支持25GE、100GE速率。
面对标准NVMe over RoCE组网（如图4）
相较于FC组网在自动管理和易用性上的短板，国内大部分厂商通过推出网络管理增强插件实现主机自动快速建立连接，快速识别故障的能力，更好的支撑企业核心业务应用的需求。为了发挥全闪存存储NVMe SSD的最大性能，同时能够扩展NVMe在数据中心中的应用，NVMe over Fabric应运而生，我国IT基础设施厂商选择的NVMe overRoCE（NoF+），不仅确保了信息技术应用创新需求，也具有更高的综合性能和成本效益。通过服务器，交换机，存储配合，安装SNSD（存储网络智能发现）插件（图5），注册NVMe-oF服务信息，实现服务变化广播，服务器通过接受服务变化广播通知，实现对NVMe-oF Target访问控制。
图5 SNSD增强插件
全闪存存储系统可以支持存储设备自动发现；主机增强驱动自动发现网络中的存储设备，自动建立连接，无需手动建议连接；链路故障自动快速切换IO路径；主机增强驱动根据收到的相关端口变化信息自动将存储断开，并将业务切换至备用连接，如图6所示。
图6 NVMe-oF快速故障切换
五、结语
从改造结果上来看，在去除FC-SAN之后端到端的NVMe环境能够得到相较于FC更高的性能表现。从自主可控的角度出发，当前NVMe overRoCE组网替换FC-SAN交换机组网称得上是我国IT基础设施全面自主可控的最佳解决方案。具体对比情况总结如表1所示：
表1 FC-SAN交换机组网与NVMe over RoCE增强组网对比表
