“数字化转型时代有一个非常明显的特征就是'数据爆炸'。”IDC中国企业研究部助理副总裁周震刚告诉记者,根据IDC的研究报告,预计从2023年起,企业、机器、工业、消费、科学等领域每年产生的数据量将高达103ZB,而大量的数据让数据管理的难度大幅度增加,这时如何存储数据就成了一个关键问题。
IDC中国企业研究部助理副总裁 周震刚
“存储系统的转型是管理数据爆炸、支持数字化转型的有利工具。”周震刚强调。
ZB时代三大存储趋势
从现状来看,ZB时代的存储呈现出了三个重要的趋势:
首先多云间数据流动,要满足多云环境,因为数据中心将转型为基于多云的全IT能力,数据存储正在从终端向云迁移;多云环境中的数据流动将成为常态;而且数据在多云环境中的完整性和可靠性变得尤为重要。
第二是分层存储,不同的存储介质要面向不同的应用场景;根据数据的冷热度不同要进行分层存储;还要考虑到应用和工作负载的特性,像核心计费、高频交易这样需要快捷响应的数据适合使用全闪存,而像石油勘探、视频监控、媒体娱乐这类的数据适合用大容量硬盘。
第三是智能化,在成本、管理和安全方面应用人工智能可以:通过消除存储管理员的角色降低存储管理成本;随着业务增长而自动规划存储容量,实现容量灵活性,减少前期投入过剩的容量;通过自动化管理复杂的文件结构,降低复杂性;自动化管理各物理节点数据,支持多云;全方位自动感知存储变化;自动化故障分析功能,并提出系统趋势预测;实现主动防御。
分区存储成“未来之光”
对此,西部数据公司产品市场部副总裁朱海翔表示,大数据已经让存储架构悄然发生了变化,通用性存储必须分配未使用的容量和/或DRAM来管理所有的工作负载。传统数据中心面临着工作负载差异化导致延迟、容量和成本考量难以兼顾的困境。
西部数据公司产品市场部副总裁 朱海翔
“所以,架构重构,势在必行。”朱海翔指出,要针对应用,优化负载,实现高效存储,结合数据流串行化应用实践,完美呈现设定的存储效率和效能。“而分区存储就是未来之光。”
为了设计出高效的存储层,帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本,实现更大的规模效益,西部数据公司于近日推出了分区存储技术。
朱海翔表示:“由于越来越多的数据具有顺序写入的特性,例如视频、物联网/边缘数据、监控,以及可以分组或'分区化'成更大数据块(如大型人工智能/机器学习数据集)的数据,这使我们可以加速推广分区存储设备,对工作负载进行合理优化,从而提高性能和效率,更早的实现总体拥有成本的降低。”
SMR和ZNS为分区存储奠定基础
分区存储架构赋能应用层、主机和存储互相协调数据存放位置,以充分利用在SMR HDD上可以实现的最大存储容量,以及在融入新兴分区命名空间 (ZNS) 标准的NVMe SSD上可以实现的更好的耐久性和可预测的低延迟和QoS(服务质量)性能。
ZNS是NVMe标准规划内的新特性,也是对SMR技术的补充,它让开发人员在共同的软件堆栈下可以不分存储介质类型有效的调用SMR和ZNS。预计到2023年,西部数据公司将在SMR上提供50%的HDD 容量,而客户可以利用其SMR应用开发成果涵盖高容量ZNS SSD。SMR和ZNS也将通过提供智能化应用架构成为当前和未来ZB级数据时代的关键基石。
如今,越来越多的云服务提供商正在投入资源管理高容量SMR HDD的主机软件,以便协助大体量客户实现更好的总体拥有成本。SMR和ZNS正在从根本上重塑云和企业数据中心,以确保在未来能够长期节约总体拥有成本。
西部数据还宣布针对早期分区存储工作而推出ZNS开发SSD。与传统的NVMe SSD相比,ZNS NVMe SSD具有多种优势。这些ZNS SSD符合NVM Express公司定义并管理的ZNS功能集规范,旨在减少写放大,增加可用容量,并提供更高的吞吐量和更低的时延。ZNS SSD通过将“区域”与SSD的内部物理属性进行匹配而实现这些改进,有效的减少数据存放低效能的现象。
此外,西部数据特别推出了全新的开发者网站ZonedStorage.io。该网站与开源社区、客户和行业参与者通力合作,目的是在开发人员社区内启动应用开发计划,帮助数据中心基础架构工程师更好的利用分区存储技术。该网站提供了软件开发库、工具、ZNS信息、SMR资源和参考架构等,为管理定制化ZNS SSD和容量优化的SMR HDD提供了统一的框架。通过这一举措,开发人员将对社区、行业参与者及支持者构成的蓬勃发展生态系统充满信心,其中生态系统的成员已经包括ATTO Technology、Broadcom、Mellanox和SUSE。
西部数据公司高级副总裁兼中国区总经理Steven Craig指出:分区存储架构是一项开源计划,它利用关键存储技术ZNS和SMR的标准化,为未来的数据中心提供更高效的ZB规模架构。 “它使我们的客户能够利用西部数据 Ultrastar SMR HDD和新款Ultrastar ZNS NVMe SSD的区域块管理,利用专用存储设备构建未来的云数据中心,为现在和未来的总拥有成本和更高的容量扩展将带来好处。”
西部数据公司高级副总裁兼中国区总经理 Steven Craig
据透露,目前西部数据Ultrastar DC HC620 SMR15TB硬盘已经批量出货,20TB SMR HDD硬盘预计将于2020年出货。
20TB SMR HDD硬盘