DPU如何帮助计算?

biztechmagazine
通过利用 DPU,IT 领导者可以优化其基础设施、提高性能并减轻 CPU 工作负载,使其成为现代数据中心和云环境中的关键组件。

本文来自微信公众号“半导体产业纵横”,编译自biztechmagazine。

DPU允许企业从CPU和GPU上卸载网络功能,从而提高其他处理器的效率。

近年来,图形处理单元变得越来越突出,因为它们能够对现代人工智能应用所依赖的大型数据集执行复杂的计算。

尽管GPU确实正处于发展的鼎盛时期,但它们并不是企业处理能力工具箱中唯一重要的组件。

除了GPU和中央处理器之外,还有数据处理单元(DPU)。NVIDIA首席执行官黄仁勋表示:“CPU用于通用计算,GPU用于加速计算,而DPU负责在数据中心移动数据并进行数据处理。”

通过利用DPU,IT领导者可以优化其基础设施、提高性能并减轻CPU工作负载,使其成为现代数据中心和云环境中的关键组件。

什么是DPU(数据处理单元)?它如何工作?

TIRIAS Research首席分析师Jim McGregor表示,思考DPU的最佳方式是将其视为“内部或间接工作负载加速器”。

他说,它的“设计目的是处理CPU通常需要处理的任务,例如安全性、网络处理或压缩”,并补充说网络处理通常仅指数据传输。

McGregor表示,虽然DPU可以是完全可编程的单元,例如现场可编程门阵列,但大多数DPU本质上是“片上系统”(SoC),其核心模块针对特定功能进行了优化。

重要的是,他说,“它们都是独一无二的,不能互换。一家供应商的DPU可能具有与另一家供应商的DPU不同的功能和特性。”

IDC支持技术团队网络和通信基础设施主管分析师Brandon Hoff表示,DPU主要用于数据中心(特别是数据中心服务器)。DPU通常被超大规模云提供商广泛部署,例如Amazon Web Services、Microsoft Azure和Google Cloud。

Hoff指出,DPU对于想要构建和使用“AI工厂”的企业至关重要,“AI工厂”是用于大规模开发、部署和管理AI应用程序的标准化环境。“AI工厂需要一种调度结构,以便GPU之间相互通信,而DPU可以做到这一点,”他说。“这就是许多超大规模企业开始使用DPU来构建调度工厂的原因。”

DPU有哪些功能?

McGregor表示,安全、网络、存储和人工智能分析是DPU最常见的功能。

DPU的一个关键功能是将GPU联网,使它们能够更高效地传输数据。Hoff指出,GPU的硅片上只能容纳有限的晶体管数量。

“因此,你将它们连接到一个扩展网络和扩展网络中,而DPUS正在使用扩展网络,”他说。Hoff指出,GPU将处理信息,然后停止并共享该信息,而用于该网络和数据传输的时间可能占总计算时间的50%,这意味着它们的运行效率只有其应有的一半。

DPU可从GPU上卸载该功能,从而使GPU更加高效。“这就是联网如此重要的原因,拥有一个可以保证交付和吞吐量的调度结构也很重要,”Hoff说道。

Hoff说,将DPU与以太网上的标准交换机配对,使企业能够创建“几乎无损的高性能结构”,这意味着网络可以在几乎没有数据包丢失的情况下传输数据。

DPU与GPU、CPU:有什么区别?

“DPU与CPU和GPU完全不同,因为它们也被称为片上系统、专用集成电路,专为一组特定的功能而设计,”McGregor说。

McGregor表示,CPU的设计遵循一套特定的指令集,可完全编程以实现各种功能。它们是现代计算的支柱,可处理操作系统和应用程序的各种计算任务。

McGregor说:“GPU是为图形和多媒体处理而设计的,但越来越多地具有特定于AI的核心,因为它们的大规模并行化使它们非常适合AI处理。”

Hoff指出,GPU能够高效地执行生成式AI大型语言模型中推理所需的计算,从而节省组织的时间和能源成本。

Hoff说:“DPU位于基础设施方面,我可以在那里加速网络”,以实现预定的结构、安全性、加密和存储连接。

DPU有哪些好处?

DPU可卸载CPU的网络和存储功能,从而让其能够运行更多应用程序。“它们可以更无缝地运行应用程序,而不必担心在发送数据时出现问题,”Hoff说道。

DPU的主要优势在于可用于基础设施。具体来说,可用于数据中心服务器。Hoff表示,DPU还可以简化数据中心架构。

“对于混合云,它让我的应用程序可以在服务器上以裸机或接近裸机的速度运行,”他说。“所以我不必再担心虚拟机管理程序了,我已经卸载了很多虚拟机管理程序服务。”

“现在,我可以开始真正改善我的混合云部署,无论是在云端,还是在我的数据中心内,或者任何我想要放置这些工作负载的地方,”Hoff补充道。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论