本文来自微信公众号“半导体行业观察”。
据Tomshardware引述TF International Securities分析师Ming-Chi Kuo的报道,因为市场对Nvidia尖端Blackwell双芯片设计的需求正在超过Nvidia的低端单芯片设计所以这家市值万亿美元的GPU制造巨头已经更新了其Blackwell架构路线图,优先考虑采用CoWoS-L封装的双芯片设计。
图注:英伟达此前公布的路线图(详情参考文章《英伟达GPU和互联路线图》)
报道进一步指出,从今年第一季度开始,Nvidia将专注于其200系列Blackwell GPU。但值得注意的是,这仅包括200系列的多芯片版本,例如GB200 NVL72—200系列的单芯片版本,例如B200A,已经停产。
同样,Nvidia显然计划优先考虑利用多芯片的B300系列型号,尤其是GB300 NVL72。由于对多芯片变体的需求较高,仅使用单个芯片的B300 GPU变体在制造中将处于低优先级。Nvidia的高优先级Blackwell GPU型号使用台积电更先进的CoWoS-L技术。已停产的B200A和单芯片B300 GPU都使用CoWoS-S。
Ming-Chi Kuo表示,由于这些变化,某些供应商将受到“特别严重的打击”。
英伟达路线图,变了哪些?
按照此前的介绍,英伟达有采用双芯片设计200系列,该系列包括GB200 NVL72和HGX B200等系统产品,使用CoWoS-L制造。
Nvidia表示,新款B200 GPU拥有2080亿个晶体管,可提供高达20 petaflops的FP4马力。此外,它表示,将两个GPU与单个Grace CPU相结合的GB200可以为LLM推理工作负载提供30倍的性能,同时还可能显著提高效率。据透露,与H100相比,它“将成本和能耗降低了25倍。
但Ming-Chi Kuo指出,200系列不包括此前使用CoWoS-S工艺的单芯片版本B200A,因此它们不需要CoWoS-S。
分析机构SemiAnalysis此曾表示,Nvidia计划推出一款名为B200A的新型Blackwell GPU,它将是已推迟发布的B200 GPU的低端替代品。他们在一份报告中表示,B200A将包含高达144GB的HBM3E内存,并消耗高达1000瓦的功率,能满足对低端和中端AI系统的需求。按照最初规划,B200A GPU将用于MGX GB200A NVL36等服务器,该服务器最多支持36个GPU。这可能会吸引那些希望构建较小AI模型的超大规模客户。
值得一提的是,B200A将基于名为B102的die,“该die也将用于中国版Blackwell的B20”。
但现在,如Ming-Chi Kuo所说,英伟达的策略变了。他进一步指出,从2025年1季度开始,Nvidia将重点转向200系列,同时减少H系列的供应。这将进一步减少他们对CoWoS-S的需求。
在Ming-Chi Kuo的分析报告中,还对英伟达未来的B300进行了分析。他表示,该系列原来规划了双芯片(CoWoS-L)和单芯片(CoWoS-S)设计,包括GB300 NVL72(双芯片)和HGX B300 NVL16(单芯片)等系统。
同样是SemiAnalysis的消息显示,Nvidia的B300系列处理器采用了经过大幅调整的设计,仍将采用台积电的4NP制造工艺(针对Nvidia进行优化的4nm级节点,性能增强),但报告称,它们的计算性能将比B200系列处理器高出50%。性能提升的代价是高达1,400W的TDP,仅比GB200高200W。SemiAnalysis称,B300将在B200上市大约半年后上市。
Nvidia B300系列的第二项重大改进是使用12-Hi HBM3E内存堆栈,可提供288 GB内存和8 TB/s带宽。增强的内存容量和更高的计算吞吐量将实现更快的训练和推理,推理成本最多可降低三倍,因为B300可以处理更大的批量大小并支持扩展的序列长度,同时解决用户交互中的延迟问题。
除了更高的计算性能和更大的内存外,Nvidia的第二代Blackwell机器还可能采用该公司的800G ConnectX-8 NIC。该NIC的带宽是当前400G ConnectX-7的两倍,并且有48个PCIe通道,而其前代产品只有32个。这将为新服务器提供显着的横向扩展带宽改进,这对大型集群来说是一个胜利。
据介绍,B300和GB300的另一个重大改进是,与B200和GB200相比,Nvidia据称将重新设计整个供应链。该公司将不再试图销售整个参考主板或整个服务器机箱。相反,Nvidia将只销售搭载SXM Puck模块、Grace CPU和Axiado主机管理控制器(HMC)的B300。因此,将允许更多公司参与Blackwell供应链,这有望使基于Blackwell的机器更容易获得。
借助B300和GB300,Nvidia将为其超大规模和OEM合作伙伴提供更多设计Blackwell机器的自由,这将影响它们的定价甚至性能。
不过,Ming-Chi Kuo指出,虽然基于B300的系统计划于2026年大规模出货,但Nvidia和CSP目前更青睐使用CoWoS-L封装的GB300 NVL72。虽然也使用单芯片、CoWoS-S封装B300系统,但GB300 NVL72将优先考虑。
因此,对CoWoS-L的需求比对CoWoS-S的需求更为迫切。
为此,Ming-Chi Kuo指出,产品路线图的这些转变将在不同程度上影响Nvidia及其供应链合作伙伴的表现。某些供应商将受到特别严重的打击,导致其股价近期出现大幅回调。不过,从Nvidia的角度来看,CoWoS-S扩张的放缓/减少主要是由产品路线图的变化而不是需求下滑所致。这一变化也与台积电将其CoWoS-L技术推广为主流解决方案的战略计划相得益彰。
CoWoS-L和CoWoS-S,有何不同?
在上面的介绍中,我们看到了关于CoWoS-L和CoWoS-S的描述。这其实是英伟达CoWoS平台的两个版本。
据介绍,CoWoS是Chip-on-wafer-on-substrate的简写。作为一种先进的封装技术,CoWoS具有封装尺寸更大和I/O连接更多等优势。它允许2.5D和3D组件堆叠,以实现同质和异构集成。以前的系统面临内存限制,而当代数据中心则使用高带宽内存(HBM)来增强内存容量和带宽。CoWoS技术允许在同一IC平台上异构集成逻辑SoC和HBM。
传统上,按照摩尔定律对晶体管进行规模化有助于满足提高性能的需求。然而,事实证明,这对于高性能计算(HPC)、人工智能甚至图形处理单元(GPU)等现代应用而言是不够的。CoWoS允许在同一基板上堆叠芯片,从而减少同质或异构逻辑SoC之间以及HBM之间的互连延迟。
与此同时,硅中介层和有机中介层的使用大大增强了堆叠集成电路的热管理能力。这直接提高了整个系统的可靠性和使用寿命,同时最大限度地降低了热节流的风险。
此外,中介层中的电源/接地网络使用RDL,并结合深槽电容器(DTC),不会损害高速应用和内存密集型应用的电源完整性。
正因为CoWoS技术有助于在同一中介层和基板上安装多个逻辑SoC和HBM。这与传统封装技术形成鲜明对比,传统封装技术过去需要将多个逻辑SoC安装在印刷电路板(PCB)上,并在封装中进行必要的连接。这导致封装尺寸更大,并增加了材料成本和制造费用。CoWoS封装总体上更小,更具成本效益。
随着AI的火热,CoWoS需求大增,这就推动台积电大幅扩充CoWoS。据经济日报在今年年初报道,台积电正积极提高CoWoS先进封装产能,预估2025年产能接近翻倍,达到每月7.5万片晶圆,而且因市场需求强劲,会在2026年继续提高产能。
具体而言,如下图所示,CoWoS有以下三个版本,当中就包括了CoWoS-L和CoWoS-S。
台积电介绍说,CoWoS-S(Chip on Wafer on Substrate with silicon interposer)平台为超高性能计算应用(如人工智能(AI)和超级计算)提供一流的封装技术。该晶圆级系统集成平台在大型硅中介层区域上提供高密度互连和深沟槽电容器,以容纳各种功能性顶部芯片/芯片,包括逻辑芯片,其上堆叠有高带宽内存(HBM)立方体。目前,高达3.3X光罩尺寸(或~2700mm²)的中介层已准备好投入生产。
CoWoS-R(Chip on Wafer on Substrate with silicon interposer with fan-out RDL interposer)是CoWoS先进封装系列的成员之一,该系列利用再分布层(RDL)中介层作为片上系统(SoC)和/或高带宽内存(HBM)之间的互连,以实现异构集成。RDL中介层由聚合物和铜线组成,相对灵活。这增强了C4接头的完整性,并允许封装扩展其尺寸以满足非常复杂的功能需求。
CoWoS-L则是CoWoS(晶圆上芯片)平台上的芯片最后封装之一。它结合了CoWoS-S和InFO(集成扇出)技术的优点,使用中介层和局部硅片互连(LSI)芯片实现芯片间互连,并使用RDL层实现电源和信号传输,从而提供最灵活的集成。
CoWoS-L的主要特点包括:
1、LSI芯片用于通过多层亚微米铜线实现高布线密度芯片间互连。LSI芯片可以在每个产品中采用各种连接架构,例如片上系统(SoC)到SoC、SoC到芯片组、SoC到高带宽内存,并且可以在多种产品中重复使用。相应的金属类型、层数和间距与CoWoS-S的产品一致。
2、基于成型的中介层在正面、背面和传输信号和电源的InFO通孔(TIV)上具有较宽的RDL层间距,可在高速传输过程中降低高频信号的损耗。
3、能够在SoC芯片下方集成独立嵌入式深沟槽电容器等附加元素,以改善电源管理。
写在最后
日前,台媒就有消息指出,有大客户砍掉台积电的CoWoS订单,郭明淇的消息,让这个新闻有了另一维度的解析。
郭明淇表示,虽然CoWoS-S扩张速度正在放缓,但CoWoS-R产能正在增加。他同时提到,对于台积电来说,从B200到B300的过渡涉及相同的FEoL流程。BEoL变更可以通过ECO进行管理。
因此台积电将它们视为相同的产品,产品过渡的时间对台积电来说并不重要。
参考链接
https://medium.com/mingchikuo/a-look-at-nvidias-blackwell-product-line-update-the-rumored-slowdown-in-cowos-s-capacity-98c74fabf32c