本文来自微信公众号“twt企业IT社区”。
信创云环境下,一般类应用服务器的应用场景就是绝大多数应用的部署场景。信创云环境就是要整合对象存储和NAS存储的优点,实现更高效的数据存储和管理。对象存储在大规模数据存储和备份方面具有优势,而NAS则更适合小规模数据的共享和访问,因此可以根据实际需求进行选择和部署。
【栏目主编】张鹏某金融科技公司高级技术主管:本议题由招商证券平台架构师张锞斌、江苏农信存储架构师康建国发表针对议题下关键点的主张,几位专家的主张在某金融行业公司技术经理陈橙、某金融公司架构师刘艳春及我本人等多位专家的复议后,形成了一定的共识,希望可以对同行有一定的参考。
张锞斌 招商证券平台架构师:
企业对数据中心的依赖度不断提高,对数据可用性的需求也随之增加。因此,在未来,NAS和对象存储对于数据的高可用性和容错性将会越来越重要,可以提供高可用性的存储服务。
随着中国基础设施能力的快速崛起,使用全信创的技术栈支持生产系统已经从尝试走向正式落地。在落地的过程中,存储作为IT基础设施的三大件(服务器/存储/数据库),是最重要也是技术最复杂的一个基础能力,存储的好坏,不仅影响系统的并发和性能,还极大地影响了系统的可用性和可靠性。
一、NAS和对象存储技术对比
NAS和对象存储虽然都是存储分离方案,一般都是采用分布式架构,但是在功能和非功能上存在较大的差异。针对不同的应用场景对比如表1:
表:NAS和对象存储技术对比
可以看出NAS和对象存储有着各自的侧重,在实际应用中,可以结合NAS和对象存储能力,从具体的业务需求、数据访问模式、数据容量和增长速率等多个因角度行评估,选择合适的存储方案。
NAS存储文件级别的存储和控制,可进行多种协议访问,通过操作系统层接入,对于应用的侵入性低。可以通过操作系统自带的工具(SMB等)进行访问,易于管理和维护。使用文件接口访问方式,入门门槛低。适合用于应用存储需要随机访问的热数据,不建议用于存储大规模的数据。
对象存储采用一种无文件系统的存储方式,可以避免传统NAS存储中出现的文件系统碎片等问题。同时通过数据拆分,提供更高的并发能力。对象存储灵活性高,可轻松扩展;能够处理大规模数据存储,适用于需要高可靠性的应用程序;提供数据备份和冗余;能够在任何地方较快地存储和检索数据。对象存储适合大规模、高可靠性的分布式数据存储场景,如云存储、大数据存储、长期存储等。
二、部署方案
1.一体机方案
一体机方案采用专用的存储硬件架构设计,提供开箱即用的部署便利。一体机的方式是传统存储设备的延伸,类似于传统的集中式存储部署方案。
适用场景:
-适用于数据规模不大,对响应性能要求高,运维能力受限的场景。比如中小企业,大型企业分支机构,边缘节点的存储等场景。数据量不大、可靠性要求很高的核心交易系统存储需求,也可以考虑一体机方案。
特点:
-存储设备单元化,易于管理和维护。
-部署相对简单,不需要太多专业知识和技能。
优点:
-集成度高,构造简单,易于维护。
-设备型号标准化,采购方便,容易部署。
-专用存储架构,存储利用率更高
缺点:
-存储容量有限,难以扩容,不适合大量数据应用场景。
-存储性能存在上限,难以满足高并发业务需求。
-存储单点故障风险高,对业务运行的稳定性有影响。
-专用设备,厂商锁定。
2.分布式方案
分布式存储是基于通用服务器的存储方案,通过软件能力实现高可用的存储方案。分布式方案是和云计算紧密相关联的。AWS的第一个云服务就是对象存储S3服务。
适用场景:
-适用于大数据或高访问量的应用场景,比如中大型企业的云NAS和对象服务,大数据和AI训练等场景。
特点:
-分布式存储系统可以无限水平扩展,适合大数据或高访问量的应用场景。
-可以实现数据备份、容错、负载均衡等功能,提高系统的可用性和稳定性。
-支持多种协议和接口,可以满足不同类型的应用需求。
优点:
-存储容量、性能扩展方便,灵活性高。
-分布式可靠性,可支持同城的数据多副本和容错。
-数据分散存储,不易发生单点故障。
缺点:
-系统部署和维护需要较高的技能和经验。
-系统复杂度较高,把握系统整体性能需要较多资源和精力。
-系统通信延迟存在,会对性能产生影响。
三、部署实践
对象存储作为归档存储服务,同时也作为镜像仓库,支持业务的异地部署和恢复,承载了企业数据的最后一道防线的职责。对象存储的高可用方案对于整个业务系统的可用性起到决定作用。对象存储是云服务的一种,可以采用云服务的部署方式,将距离相近,而且具备一定隔离能力的机房作为独立的可用区(Available Zone),将对象存储集群的部署在不同的可用区,确保在一个甚至是两个独立可用区出现问题时,对象存储可以对外提供服务。异地灾备采用异步复制的方式,根据RPO/RTO和带宽能力,设置合适的同步策略。
分布式NAS可以参考对象存储的部署方式。对于一体机的NAS可以选择采用两地三中心的高可用方案。本地进行实时同步备份,异地采用异步备份。
对于比较成熟的应用框架,可以考虑单中心部署,由应用负责数据的同步复制,这个方案的好处是应用可以只复制少量的重要数据,大大降低了数据传输的要求。
四、技术展望
近年来,云存储一直在不断发展,其中NAS和对象存储也不例外。以下是它们的一些发展趋势:
1.数据安全性:数据安全一直是云存储的热点话题,NAS和对象存储也不例外。未来,资料的安全性将成为更加关注的焦点,云存储方案需要加强安全措施,保证资料的机密性和完整性。
2.高速度和低延迟:随着云计算的不断普及,越来越多的用户希望能够快速地存取、管理和分析存储在云上的数据。因此,包括NAS和对象存储在内的云存储,都通过底层技术的革新,如存储介质的更新换代,NOF(NVMeover Fabrc)等新的协议,提供高速度和低延迟的存储服务,以满足用户的需求。
3.高可用性:随着企业对数据中心的依赖度不断提高,对数据可用性的需求也随之增加。因此,在未来,NAS和对象存储对于数据的高可用性和容错性将会越来越重要,可以提供高可用性的存储服务。
4.人工智能技术:随着人工智能技术的发展,NAS和对象存储的应用场景也在不断扩展。未来,云存储提供商可以利用人工智能技术,提供更加智能化的存储服务,包括数据分析、自动化管理、数据分类和识别等功能。
5.大数据处理:随着大数据时代的到来,处理海量数据的需求也在不断增长。未来,NAS和对象存储需要进一步提高对海量数据的处理能力,提供更加高效的数据处理和管理服务。
康建国 江苏农信存储架构师:
对于云环境上需要文件共享服务,同时有高并发低时延要求的应用系统,可以选择从双活NAS存储上分配资源使用。当然,由于集中式NAS资源和处理能力有限,需要对分配使用的应用数量做一定控制。
近年来,随着电子商务、云原生、微服务、分布式应用、DevOps等现代应用架构的流行,用户开始将越来越多的传统应用进行改造和重构,迁移到云环境。同时,当下国产化进程推进迅速。在这样的背景下,在云环境下针对非结构化数据如何规划和部署NAS和对象存储值得仔细考量。
一、云环境下NAS和对象存储的使用场景
1.NAS的使用场景
NAS存储使用标准的文件系统和协议(如CIFS、NFS),主要操作对象是文件和文件夹,主机端通过文件夹路径直接访问存储的文件,适用于小型和中型的文件应用,例如普通的文档、图片、视频等数据。NAS存储适合用于多主机共享数据,它提供了高效的文件访问和管理,支持多用户并发访问。
相对于对象存储,NAS存储在集成和应用上更具备广泛性和兼容性,应用无需改造,开箱即用,适合小规模应用集群快速部署。
集中式NAS和分布式NAS的使用场景有所不同,前者凭着自身的高性能优点适用于高并发低时延的小文件应用场景,后者适用大文件顺序写场景,比如票据影像的备份归档等。
2.对象存储的使用场景
对象存储接近无限扩展能力使其可以真正意义上实现非结构化数据的海量存储。其扁平化的存入和读取数据对象方式,使其使用方式简单,应用经过标准API接口进行调用,十分契合互联网大数据的存储。对象存储适合存储包括多媒体、音乐、图片、视频监控文件、软件、镜像、扫描件等种类在内的海量文件。
第一类场景是使用与应用系统保存业务所需要存储的各类文件、视频、音频、图片等对象,比如金融行业的票据影像与双录等。第二类场景是可以作为云上数据的长期备份和归档使用。对于需要透明保存但很少被访问的温冷数据,可以从在线高性能存储迁移备份至对象存储做长期保存,兼顾了成本效益与数据可用性。
图1 NAS与对象存储对比图
二、云环境下的NAS和对象存储的部署
在明确了NAS和对象存储的各自特点和各自适用场景之后,我们可以考虑以下基础设施如何部署了。当然不管是NAS存储还是对象存储,首先需要满足信创基础环境的兼容性要求,包括芯片、操作系统、网络等等。
(1)集中式NAS
在云环境之外单独部署一套双活架构的集中式NAS存储,配置闪存盘和足够前端万兆接口卡,连接两台万兆交换机,组建一套完整的高性能双活NAS架构,为云上需要使用集中式NAS的应用系统提供文件共享服务。
对于云环境上需要文件共享服务,同时有高并发低时延要求的应用系统,可以选择从双活NAS存储上分配资源使用。当然,由于集中式NAS资源和处理能力有限,需要对分配使用的应用数量做一定控制。
(2)分布式NAS
分布式NAS使用和对象存储一套分布式存储上提供的文件存储服务。可以使用对象存储的应用一律使用对象存储,只有那些应用程序无法改造适配对象存储,而对时延要求不高的应用系统,才推荐使用分布式NAS。
(3)对象存储
对象存储的部署一般有两种方案,一个是软硬一体的方案,即超大规模分布式存储平台,另一个是软硬分离,采用“软件定义和通用服务器”。用户可以根据自己的部署、运维能力选择采用。
另外,建议搭建对象存储的跨站点高可用架构,采用跨站点多活或者远程复制技术实现容灾,提升对象存储的高可用能力。
三、NAS部署方案实践
在信创云环境中确实需要使用集中式NAS的系统,可以在云环境之外独立部署集中式NAS,如今随着业务连续性要求越来越高,行业已经默认采用双活NAS架构。典型的双活集中式NAS物理部署结构参考图2、图3。
图2 NAS双活物理架构
图3 NAS双活容灾方案组网拓扑图
结束语
信创云环境下,对象存储和NAS存储的部署需要考虑服务器的负载情况、网络架构、安全措施、资源利用率和性能优化、高可用性、可扩展性和灵活性。针对不同应用场景选择适合的存储方式。如高负载应用采用分布式存储架构,频繁读写采用NAS存储,大量存储非结构化数据采用对象存储。同时部署时需要选择完善的高可用和灾备解决方案,并经过测试和验证,确保存储系统的稳定性、可用性和数据安全性。