云存储在信创云中的应用

存储,顾名思义就是存储数据的地方,而称之为云存储,其实就是意味着一种服务的提供出去。信创云采用全托管的模式,用户可以通过简单易用的控制台使用各种云服务,自主的实现在云上的各种业务目标。

本文来自微信公众号“twt企业IT社区”,作者/朱琦,目前担任某国内著名餐饮连锁企业运维负责人,涉猎领域广泛,特别对运维和数据和数据库运维有自己独特的理解和认识。

前言

存储,顾名思义就是存储数据的地方,而称之为云存储,其实就是意味着一种服务的提供出去。信创云采用全托管的模式,用户可以通过简单易用的控制台使用各种云服务,自主的实现在云上的各种业务目标。

所以,存储要和信创云结合,必须聚焦在自主上,即把复杂的存储选择逻辑以直白的方式提供给用户,把专业性很强的性能指标以用户可以理解的方式感知到。

众说周知,亚马逊是公有云的鼻祖,其技术的领先不容置疑,让要让一个普通用户去用亚马逊云,用好亚马逊云。需要有较高的技术学习成本。为此,亚马逊公司还建立的较为复杂的培训系统和认证体系,对于云存储也不例外,比如对于磁盘也有很多规格种类,代表不同的存储方式和性能。

化繁为简,让只有一般云知识的用户在先不学习或少学习的基础上,在信创云上自主,畅快、低成本的使用云存储,让用户真正的聚焦在业务上,而不是成为“存储专家”,是信创云的云存储能否成功的关键。

1.存储的设备

1.1硬盘/固态硬盘

公有云一般大量使用企业级的SAS/SATA硬盘和SSD作为基础存储介质,选用性能稳定和高可靠性的硬盘,在不同节点上的硬盘存储可以构成分布式存储。

1.2存储阵列

公有云会使用高端的存储阵列设备,如NetApp、Dell EMC等知名品牌,通过RAID和虚拟化技术提供存储,这是集中式存储,通常比较昂贵。

1.3全闪存存储

如果存储阵列中使用的时SSD,或最顶级的Nvme SSD磁盘,就构成了全闪存存储,部分公有云已经开始使用全闪存存储阵列提供高性能存储。

1.4磁带库

部分公有云会配置磁带库用于冷数据备份和归档。但使用频率不高。目前,由于磁带的寿命短等缺点,很少有真实的磁带库了,取而代之的是虚拟带库。虚拟带库是由一些廉价的SAS甚至SATA盘构成的盘库构成,盘库与阵列有明显的区别是前者不带有驱动器。

1.5冷/热数据分离存储

这我感觉应该是信创云存储提供的创新部分。目前在IDC机房中都是有分层存储的,而在公有云上,不同厂商也提供了不同的同一存储类型的分布式存储,可以将不常访问数据迁移到低成本存储中。但并不能混合使用。

1.6存储网关

用于连接内部存储网络与外部客户的桥接设备。

2.云存储的种类

2.1块存储

块存储可以说是大家在平时接触的最常见的存储了,在物理机上装块磁盘,windows或linux系统挂载的都是块存储。但在云存储中,就要多考虑一些东西了。

不同的用户在不同的项目,需要的块存储是不同的。大多数的用户需要的普通的块存储。但大多数目前的公有云提供商都是用集中式存储提供块存储的。这样做的好处很明显,方便而且性能完全可以满足要求,但缺点就是成本挺高的。如果容量小还感觉不到,超过500GB的价格就不一样了。所以信创云可以考虑提供分布式存储,推荐使用开源的ceph,或商业的xsky,因为分布式存储的是通过多台服务器的本地盘组成的,所以价格较低。

分布式存储的问题是读性能优秀,延迟尚可,但写的性能较差。但有些应用计算在内存、写磁盘的需求并不多,针对这些应用提供分布式存储所提供的块存储,可以有效的降低使用成本。

除此之外,分布式存储有巨大魅力的一点就是,可以通过调节副本的数量来控制写的性能,这点可以通过适当的封装暴露给用户,又提高了用户选择的多样性。

2.2对象存储

以对象的形式进行存储,每个对象包含数据和元数据,通过RESTful API进行访问,具有高可靠、高可用、高扩展性等特点,可以轻松应对海量数据的存储。它还实现了跨区域复制机制,可以在不同地域存储对象副本,防止区域性故障导致的数据丢失。它的计费模式也比较特殊,实行按用量付费的计费模式,用户只需要为实际使用的存储量和流量付费,节省成本。一般公有云的对象存储都提供Policy和ACL的访问控制机制,用于管理对存储空间和对象访问的权限。而为了访问上的快速和控制,一般会集成CDN服务,通过边缘节点实现更快速的资源分发。

在使用中,感到不太便捷的,就是它的访问控制机制了。比如在AWS中,要访问对象存储S3中的桶(bucket),我可以通过三种方式,一设定AKSK,也就是访问密钥和加密密钥,通过IAM设置不同的访问bucket的权限;二设置policy,policy的设定必须参考文档有格式的要求,而且对白名单,黑名单,账号,操作都有不同的设置要求,不同的policy组合起来还有注意优先级,十分搞脑子;三打开public的阻止选项,这属于无脑操作,对外界访问不加任何限制,存在安全问题。

所以,信创云应该从访问控制入手,提供不同的场景让用户去选择,而不是让用户自己去学习去组织不同的policy和IAM权限设置。这些设置对于一个有经验的云管理人员算不上什么,但是对于用户就可能会有较高的学习成本。

对象存储必定会有大量的web服务接口和restful API接口,将来对于信创云来说,必定会有云桌面,如aws的workspace,阿里云的无影;让对象存储无缝对接云桌面这也是必须的。再又可以进一步考虑优雅方便的对接用户自己的IT环境,使得信创云的对象存储成为企业的“百度网盘”,我感到也可以扩大信创云的用户群体。

2.3文件存储

文件存储提供了标准的NFS和SMB网络文件系统,让用户可以将云硬盘挂载为文件系统共享来存放数据。文件存储也建立在分布式文件系统之上,可以按需扩展容量和增强性能。用户可以通过标准文件访问协议进行数据存取,很方便地使用文件存储服务。

这种存储通常用于传统企业应用系统迁移到云时继续使用文件共享的场景,也是广泛被大家所理解的存储。更重要的是它可以作为也就是价格适中,性能一般的“中庸”的共享存储,对于容器环境而言,可以作为一种“缺省存储选择”。因为有些时候,用户对于共享存储的性能要求真的不是特别高。

比如:对于Kafka,传统概念上,都认为它对存储的性能要求非常高,但在开发环境或功能测试环境中,我们只要有这个kafka组件就可以了。所以信创云可以结合中国的实际情况,提供一种低成本的开发测试环境的存储,文件存储也许是个不错的选择。

3.信创云云存储之思考

3.1云存储数据的冷热数据分层存储

前面我谈到很多IDC机房是有分层存储的,而且这种存储还可以自动进行迁移,比如热数据放置在Nvme SSD的存储上,当这热数据稍冷后,可以迁移到普通的SSD磁盘上,再冷却后,可以迁移到普通的SAS盘上。为什么能这么做呢?是因为存储厂商生产的磁盘阵列中放置了三种类型的磁盘。

公有云比IDC更有优势的是虚拟化技术,可以把不同的存储方式,容纳到分层存储中。于是,在云存储中,我们可以加入更多的存储类型,而不是只能是磁盘。比如,我们可以把分布层存储,对象存储也容纳进去。这样能对数据的访问有更好的掌控,并且可以给客户省下更多的钱。

3.2云存储在容器环境的使用

曾经开发过一类ALL-in-Kubernetes的产品,类似于现在的青云信创云。我们把Redis-cluster,kafka,基于vitness的mysql,TiDB,elasticsearch全部搬入了kubernetes容器云,并水用基于ceph分布式存储的xsky作为整个容器云的存储供应,当然TiDB使用本地磁盘并没有用xsky。这个容器云集群虽然是在IDC机房部署的,但目前看起来在信创云上也是可以的。

它的好处是操作傻瓜式,用户想要部署redis cluster或elasticsearch的PAAS组件时,只需要点鼠标选择不同的配置,特别在存储选择时,也只需要选择不同的存储类型(比较简陋,只有两个选择xsky,localdisk两种),后端就可以拼接出一个yaml语句,然后在kubernetes集群上部署。而用户不需要了解任何yaml的语法。我感觉,这是信创云一个可以完善的方向,再进一步完善可以开发出收费组建,监控组建,在适当的隔离存储组件,应用组件和计算组件。

3.3云存储的数据迁移

曾经我在的一家公司想做数据库的完整灾备数据库,数据量也不大,也就30T左右。我们听说华为云比较便宜,就把华为云的团队叫了过来,一切都谈的很好。但在数据迁移的环节出了问题。

也许现在华为云有了好的解决方案,但在当时,华为云让我们自己一点点的把数据传到云上去。这且不论其他成本,就这个时间成本也是难以承受的。AWS提供了一种“移动存储“的数据迁移服务。我感觉我们的信创云要想做大做强,这种服务器也是需要有的,就是准备大型的高可靠高容量的”移动硬盘“,到用户的IDC机房把数据copy出来,迁移到云机房去。这无论对建立云上云下的混合云,还是迁移数据上云,都是有莫大好处的。

3.4云存储的安全性

用户数据上云的一个巨大阻力就是安全。前天我问了我的太太,她是一家物流公司的财务总。她的公司会不会把数据上云?当场给出了否定的回答,为什么呢?她说,经常听到有公司的客户数据在云上丢失,所以,业界都不敢用了。所以,如果让用户对云存储的安全性有足够的信心,是信创云存储能否在企业中成功的重要挑战!

当今,虽然亚马逊云是公有云的老大。其上有众多数据库,性能不一定比Oracle差,每年有不少企业把在IDC机房的Oracle数据库迁移到亚马逊云上,但速度非常缓慢,从10年前超过40%的市场份额,到2023年7月Oracle公司还是有34.8%的市场份额。Oracle的许可证如此之贵,企业在担心什么呢?为什么不迁移呢?其中重要的原因就是安全性。

这有人说这是数据库的安全性,和存储的安全性是有区别的。但近几年来,随着大数据的普及,数据不仅仅存放在了数据库中,还直接以文件形式存放在存储里磁盘上,更有甚者,大数据直接存储在对象存储上。

问题焦点更进一步从数据库安全性转移到了存储安全性。云存储必须在存储加密上有新的突破,不仅让用户用的方便,还必须用的放心。

4.结束语

数据是新的石油,是企业的重要资产,国家已经做出了“党管数据”的重要指示,这足以说明数据的重要性。云存储做为云上数据的载体,在信创云中起着举足轻重的地位。

要做好云存储,必须在降本增效、适用容器、便捷迁移、提供安全性四个方面下功夫,做出和现有公有云不一样的服务或更进一步的服务出来。让信创云的云存储真正意义上无愧于“创”!

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论