任何技术的迭代都是因为其在解决用户新应用新需求的时候出现瓶颈。
早期企业用户的IT系统主要是服务企业内部,烟囱式IT存储架构满足了当时企业的业务需求。随着移动互联、大数据、云计算的发展,企业用户应用场景发生了很大的变化,IT系统既要服务企业内部,又要与外面有广泛的连接。
以银行为例,业务模式由传统的营业网点为主、网银为辅,转变为以网银为主、营业网点为辅。
那么基于烟囱式IT存储架构就不能满足新时代的银行业务需求。就像今天绝大部分用户都有移动支付,当手机银行用户数亿人,产生的海量的应用和海量的数据如果采购专用存储服务器来升级数据中心,不仅带来巨大的成本开销,也让运维复杂度居高不下。
这就让企业用户面临一个既需要高可靠、高性能、高安全的存储架构需求,又需求具备弹性伸缩能力、强大的扩展性(性能和容量)和更加简化的管理方式。基于此,业界推出了软件定义存储(Software Defined Storage,SDS)。SDS将传统存储服务器的核心功能剥离出来,并以软件的形式进行编排,从而具备高弹性、安全可靠以及易于部署等特点。
软件定义存储必要条件是硬件要给力
今天企业如何有效管控和利用海量数据已成为业界关注的焦点。从技术角度要满足数据存储需求,存储系统需要满足性能、安全可靠、可扩展和成本这四个基本核心要素。同时从应用角度看,不同的行业用户对存储系统有着不同的需求。例如在财务、生产等联机事务处理(Online Transaction Processing,OLTP)场景下,用户追求的是高 IOPS,而在策略配置、智能应用等OLAP场景下,则对高吞吐,大容量有着较高要求。
那么如何通过软件定义的方式来实现存储系统既要保证高性能、低延迟,又要满足海量数据下灵活弹性扩展的需求?
我们来看看云计算行业耕耘多年的老牌劲旅青云QingCloud旗下分布式块存储系统QingStor NeonSAN(以下简称“NeonSAN”)的创新解决方案。青云QingCloud的选择是和英特尔合作为企业数据中心打造强劲的核心业务存储引擎。
青云QingCloud在借助英特尔傲腾固态盘、英特尔高速缓存加速软件 (Intel CacheAcceleration Software , iCAS,iCAS是英特尔针对傲腾优化过的高速缓存加速软件,旨在帮助客户利用最新的傲腾技术提升存储性能,适用于普通Linux、QEMU虚拟机和SPDK场景) 等多项新产品与新技术,推出基于SDS理念的新一代分布式超大容量块存储系统NeonSAN。
作为企业核心存储平台,NeonSAN于2017年7月正式发布,目前已经全面升级至2.0版本。在功能、性能、可靠性和易用性等方面,满足Oracle RAC等企业核心数据库 OLTP/OLAP、虚拟化、物理主机高可用架构、大数据分析计算、高可用容器集群等应用的存储需求。
同时在调研机构最新发布的《中国软件定义存储及超融合市场跟踪研究报告,2018Q4》中QingStor NeonSAN分布式块存储登陆SDS核心厂商榜单。
QingStor NeonSAN产品无论是市场还是在实际部署中,都取得了骄人的战绩。它不仅能以非常高的IOPS性能和很低的I/O响应时间,来满足企业关键应用负载提出的苛刻性能需求,而且在保障业务连续性、运行稳定性以及降低扩容周期等方面也同样令人满意。
在业务实践中,NeonSAN 快速获得金融、制造、零售快消、交通等多个行业客户中进行了部署,在帮助企业核心业务实现云端创新转型的过程中,起到了关键作用,可以说是云时代核心业务存储平台的专业之选。
QingStor NeonSAN如何做到大容量和高性能的平衡?
QingStor NeonSAN有别于传统企业数据中心SAN架构,NeonSAN基于 x86架构标准硬件构建,采用了全分布式的架构设计,系统容量和性能均可进行在线水平扩展。针对企业数据中心不同的应用场景,青云QingCloud利用不同的技术架构和硬件组合,为NeonSAN设计了不同的部署模式。在目前的私有云部署方案中,NeonSAN能够支持3至1024个节点,并可在不中断业务的情况下,实现以单节点为单位的平滑扩容。
首先,针对高性能、大容量存储的应用场景,青云QingCloud提出了基于 TCP/IP 网络,SAS/SATA HDD硬盘+固态盘缓存的部署方案,以分层存储(Tiered Storage)的方式,通过单节点挂载12块4TB容量的 SAS/SATA HDD 硬盘的方式,来自青云QingCloud的测试数据表明,其单盘(卷)容量可扩展到100TB之巨,完全可满足大数据场景下的数据存储需求。
其次,支持分级存储的分布式存储系统要具备高性能,就必须高效地对缓存进行读写。为此,青云QingCloud引入了英特尔傲腾技术和iCAS技术来提升缓存的性能,以及系统管理缓存的能力。
英特尔傲腾固态盘DC P4800X基于英特尔傲腾介质以及英特尔先进的系统内存控制器、接口硬件和软件进行构建,其在低延迟和稳定性方面的性能表现,远远优于传统NAND介质固态盘,作为缓存(Cache)在QingStor NeonSAN上发挥出了惊人的性能表现。
尤其适用于电商、金融、保险等多用户、高并发的OLTP场景,而且NeonSAN目前采用的DC P4800X 375GB 版本的每天写入次数(Drive Writes PerDay,DWPD)高达30,有力地保证了用户系统的有效生命周期。
英特尔CAS 技术加速原理图示
青云QingCloud还引入了英特尔针对缓存性能优化开发的另一项专有技术:iCAS。如上图所示,当应用第一次读取数据时,QingStor NeonSAN会从后端SAS/SATA存储中读出相应数据并返回给应用,同时数据也会被iCAS复制到由数据中心级英特尔傲腾固态盘构建的高速缓存中。在后续的读取中,应用直接从缓存里高速读取。而在数据写入时,所有数据都会同步写入到后端存储和高速缓存中。
当高速缓存空间写满后,iCAS具备的专有移出算法,会自动将新的活动数据取代高速缓存中的陈旧数据。因此,通过iCAS,应用服务器可始终用最快的速度读到最“热”的数据,这对于冷、热数据比例越来越悬殊的企业数据中心而言,有着非常现实的意义。
基于英特尔CAS对比测试说明基于iCAS的随机读写性能远远超过了没有采用iCAS模式下的随机读写性能。
随机读写下的FIO 测试对比
通过在QingStor NeonSAN上进行的4K随机读写测试中,iCAS+英特尔傲腾固态盘组合,无论是在WB(Write Back,即回写)模式,还是在WT(Write Through,即直写)模式, IOPS性能都远超未加组合的对比测试组。在回写模式下,iCAS与英特尔傲腾固态盘的随机写性能甚至达到了对比测试组的23倍之多。
在提升存储性能上QingStor NeonSAN还可以通过全闪存+SPDK来提供超高性能、低延迟的解决方案。英特尔推出的面向固态盘存储产品的英特尔存储性能开发套件(Intel Storage Performance Development Kit,英特尔SPDK)以各种创新技术提升存储软件的性能。
配置基于Intel DC SSD P4510的全闪存和英特尔SPDK 技术融入 NeonSAN 之后,为其带来了显着的性能提升。来自青云QingCloud 的测试数据表明,无论是单副本还是多副本配置,随机写的时延都能降低10微秒左右,而多副本下随机读时延可以降低20微秒。混合读写场景下(读写比:70/30),在 3 节点配置的NeonSAN 集群中,两副本卷的读写性能都提升了近 20%。
青云QingCloud助力某零售巨头核心ERP系统向云计算架构演进
在与某零售巨头的合作中,青云QingCloud帮助其在生产区部署了 6 节点的QingStor NeonSAN集群。对于该企业原有业务环境中的Oracle RAC数据库而言,通过添加NeonSAN作为共享盘,就可进行业务数据的迁移,实现了良好的扩展性。
青云QingCloud与英特尔一起,针对Oracle RAC进行了大量的测试和优化。在一项通过模拟Oracle数据库+NeonSAN节点进行的评估中,整体存储系统的每分钟事务处理量(Transactions Per Minute,TPM)性能超过165万,平均每秒事务处理量(Transactions PerSecond,TPS)性能接近3万,且完成每个事务处理的平均时延为15毫秒左右,这一性能能够支撑绝大多数的企业关键应用负载。
某零售企业存储系统架构,后端部署6节点NeonSAN存储集群
可以看到,QingStor NeonSAN的部署有效推进了其核心ERP系统向云计算架构的演进,实现了私有云环境下的一体化运营与管理,在保障业务连续性的同时,大幅降低了采购和运营成本。同时,基于NeonSAN的灵活扩展,该企业的存储系统的建设和扩容周期从几个月缩短至一周,满足了在业务数据量激增下的扩容需求。
而对另一大型金融企业客户而言,通过把各项业务与青云QingCloud云平台实现在线无缝对接,NeonSAN已成为其各项核心业务,尤其是OLTP 业务场景的存储引擎。该企业的实测数据表明,基于NeonSAN的复杂视图查询时间缩短了90%左右,而复杂SQL语句的执行效率则从分钟级变成了秒级。
最后,通过技术解读和案例分享我们看到,青云QingCloud与英特尔携手打造的QingStor NeonSAN已充分获得市场与用户的认可。未来,双方还将继续深入合作,以先进的产品与技术为企业数据中心的性能提升贡献力量。
目前,青云QingCloud正逐步将NeonSAN系统的处理器更换为新一代的英特尔至强可扩展处理器,并计划进一步挖掘该处理器所蕴含的性能潜力,特别是利用英特尔高级矢量扩展512(英特尔 AVX-512)、英特尔Virtual RAID on CPU(英特尔VROC)、英特尔可信执行技术(Intel Trusted Execution Technology,英特尔TxT)的功能,来满足企业存储系统未来不断增长的算力需求,打造高效且差异化的云存储服务。