本文来自微信公众号“全球半导体观察”，作者/竹子。
如果说2016年击败李世石的使用强化学习模型的AlphaGO（阿尔法围棋）没有给你留下深刻影响，那么基于大语言模型技术的ChatGPT应足以让你感慨，AI的脚步越来越贴近我们的生活，我们对于AI所带来的变动感知越来越清晰。
从广义上讲，只要能够运行人工智能算法的芯片都叫作AI芯片。而从AI运算过程看，其贯穿了云-边-端，因此又可分为云端芯片、边端芯片、终端芯片，外加一个适配海量数据的存储芯片。具体到技术架构层面，AI芯片主要分为图形处理器（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、中央处理器（CPU）等类脑芯片四大类。
当下正值国内外大模型爆发期，算力缺口出现，GPU芯片引起市场关注。
01
GPU：每家都需要，每家都在抢
当下大部分的现象级AI产品如Chat GPT背后的算力支撑主要来自GPU或CPU+FPGA。其中GPU的火热远超CPU。“GPU专为加速计算和生成式AI而设计，未来你需要更少的CPU，GPU的连接将会更加普遍。”英伟达CEO黄仁勋表示。
大模型对于GPU的性能和数量要求都很高，据前人工智能NLP企业首席科学家、千芯科技董事长陈巍测算，国内如果想要直接训练出一个GPT-3级别的大模型，最少需要3000到5000枚A100级别的AI芯片。以保守情况估计，目前国内A100级别的AI芯片缺口在30万枚左右。
AI大火以后，英伟达旗下A100、H100、A800和H800等高性能GPU芯片应声涨价，一度被调侃为新一代理财产品。国内外消息显示，其旗舰级芯片H1004月中旬在海外电商平台就已炒到超4万美元，甚至有卖家标价6.5万美元。英伟达的中国特供版A800和H800芯片也不例外，近日一位经销商表示，目前其手中NVIDIA A800的售价已较一周上涨约30%，服务器现货则由120多万元一台涨至接近140万元。
那个爱穿皮衣的男人最先尝到了AI红利。在上市14年之后，英伟达成功跻身万亿美元市值俱乐部，而实现这一目标，硅谷巨头们诸如苹果用了37年、微软用了33年、亚马逊用了21年，特斯拉跑得最快，只用了11年。
不过，在GPU爆火大潮下，也难以逃脱如2020年车规芯片短缺的境遇。GPU的供应短缺到了何种程度呢？当下即使如OpenAI，也无法获得足够的GPU，马斯克表示，这严重阻碍了其近期路线图。
业界消息显示，GPU缺口还在加速扩大。此前已有媒体报道今年拥有云端相关业务的企业，大多都向英伟达采购了大量GPU，目前该公司订单已排至2024年。
02
产能跟不上，先进封装是关键
GPU芯片供应短缺的背后，与先进封装产能供应不足息息相关。从从供应链角度看，先进封装一定程度上影响着AI芯片的放量速度。
行业消息显示，目前NVIDIA A100、H100 GPU完全由台积电代工生产，搭载第三代HBM（高带宽内存），并使用台积电CoWoS先进封装技术，此外博通、AMD等芯片公司也在争抢台积电CoWoS产能，导致台积电产能压力大增。
面对先进封装CoWoS产能爆满，近日在2023年第二季度线上法说会上，台积电表示,到2024年CoWos产能将扩充2倍以上。台积电总裁魏哲家表示，与AI芯片相关的一些高级封装可能在2024年底之前仍然供应紧张。因此，需求可能在相当长的时间内持续超过供应，因为AMD和英伟达将无法扩大生产至某个点，尽管某些4nm和5nm的产能是可用的。
近期，媒体报道为满足市场需求，台积电已向Disco、Apic Yamada及台厂辛耘、弘塑等先进封装设备供应商启动第三波追单。
03
响应需求，HBM加速开发
由于目前几乎所有的HBM系统都封装在CoWos上，HBM存储本质上也属于先进封装的一部分。
根据TrendForce集邦咨询调查显示，2023年HBM（High Bandwidth Memory）市场主流为HBM2e，包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时，为顺应AI加速器芯片需求演进，各原厂计划于2024年推出新产品HBM3e，预期HBM3与HBM3e将成为明年市场主流。
TrendForce集邦咨询特别表示，目前市场所称的HBM3实际需细分为两种速度讨论，其一，5.6~6.4Gbps的HBM3；其二，8Gbps的HBM3e，别名HBM3P、HBM3A、HBM3+、HBM3 Gen2皆属此类。
目前三大原厂HBM发展进度如下，两大韩厂SK海力士（SK hynix）、三星（Samsung）先从HBM3开发，代表产品为NVIDIA H100/H800以及AMD的MI300系列，两大韩厂预计于2024年第一季送样HBM3e；美系原厂美光（Micron）则选择跳过HBM3，直接开发HBM3e。
HBM3e将由24Gb mono die堆栈，在8层（8Hi）的基础下，单颗HBM3e容量将一口气提升至24GB，此将导入在2025年NVIDIA推出的GB100上，故三大原厂预计要在2024年第一季推出HBM3e样品，以期在明年下半年进入量产。
