本文来自微信公众号“电子发烧友网”，【作者】黄晶晶。
电子发烧友网报道（文/黄晶晶）近几年，生成式AI引领行业变革，AI训练率先崛起，带动高带宽内存HBM一飞冲天。但我们知道AI推理的广泛应用才能推动AI普惠大众。在AI推理方面，业内巨头、初创公司等都看到了其前景并提前布局。AI推理也使得存储HBM不再是唯一热门，更多存储芯片与AI推理芯片结合，拥有了市场机会。
已经有不少AI推理芯片、存算一体芯片将SRAM替代DRAM，从而获得更快的访问速度、更低的刷新延迟等。
静态随机存取存储器（Static Random-Access Memory，SRAM）是随机存取存储器的一种。这种存储器只要保持通电，里面储存的数据就可以恒常保持。相对之下，动态随机存取存储器（DRAM）里面所储存的数据就需要周期性地更新。但当电力供应停止时，SRAM储存的数据还是会消失，这与在断电后还能储存资料的ROM或闪存不同。
SRAM具有较高的性能，但SRAM的集成度较低，功耗较DRAM大，SRAM需要很大的面积。同样面积的硅片可以做出更大容量的DRAM，因此SRAM显得更贵。SRAM可作为置于CPU与主存间的高速缓存，不需要定期刷新，响应速度非常快，可用于CPU的一级缓冲、二级缓冲。
Groq LPU近存计算
在AI推理大潮下，Groq公司开发的语言处理单元（Language Processing Unit，即LPU），以其独特的架构，带来了极高的推理性能的表现。
Groq的芯片采用14nm制程，搭载了230MB SRAM以保证内存带宽，片上内存带宽达80TB/s。
SRAM的访问速度比DRAM快得多，这使得它在某些计算密集型应用中表现得非常出色。Groq LPU芯片采用大容量SRAM内存有助于提高机器学习和人工智能等计算密集型工作负载的效率。
Groq成立于2016年，总部位于美国加利福尼亚州山景城，是一家AI推理芯片厂商。该公司核心团队来源于谷歌最初的张量处理单元（TPU）工程团队。Groq创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。
2024年8月，Groq在最新一轮融资中筹集了6.4亿美元，由BlackRock Inc.基金领投，并得到了思科和三星投资部门的支持。
2024年12月Groq在沙特阿拉伯达曼构建了中东地区最大的推理集群，该集群包括了19000个Groq LPU，并在8天内上线。
今年2月，Groq成功从沙特阿拉伯筹集15亿美元融资，用于扩展其位于沙特阿拉伯的AI基础设施。
Axelera AIPU芯片：内存计算+RISC-V架构
Axelera公司介绍，内存计算是一种完全不同的数据处理方法，在这种方法中，存储器设备的横杆阵列可以用来存储矩阵，并在没有中间数据移动的情况下“就地”执行矩阵向量乘法。专有的数字内存计算(D-IMC)技术是实现高能效和卓越性能的关键。基于SRAM(静态随机访问存储器)和数字计算相结合，每个存储单元有效地成为一个计算单元。这从根本上增加了每个计算机周期的操作数(每个存储单元每个周期一次乘法和一次累加)，而不受噪音或较低精度等问题的影响。
Axelera的AIPU芯片采用了创新的内存计算技术。与传统的磁盘存储相比，内存计算将数据存储在主内存（RAM）中，从而加快了数据处理速度。这一技术使得Axelera的芯片在提供高计算性能的同时，能以更低的成本和能耗来进行边缘AI计算。该芯片还采用了开源的RISC-V指令集架构（ISA）。RISC-V作为一种低成本、高效且灵活的ISA，允许根据特定的应用需求进行定制。它为Axelera提供了极大的设计自由度和创新空间。
去年，Axelera获得了来自三星电子风险投资部门三星Catalyst的大力支持，成功筹集了6800万美元，至此Axelera的总融资额已达到1.2亿美元。新投资者包括三星基金、欧洲创新委员会基金、创新产业战略伙伴关系基金和Invest-NL。
EnCharge AI：模拟存内计算
AI芯片初创公司EnCharge AI表示，已开发出一种用于AI推理的新型内存计算架构，EnCharge AI的核心技术是基于模拟存内计算的AI芯片。这种创新的芯片设计采用"基于电荷的存储器"，通过读取存储平面上的电流而非单个比特单元来处理数据，使用更精确的电容器替代了传统的半导体。
与GPU等数字加速器相比，每瓦性能提高了20倍。EnCharge AI的推理芯片仅需一瓦的功率就能以8位元精度提供150 TOPS的AI运算。
EnCharge AI源自普林斯顿大学，该公司创始人兼CEO Naveen Verma的相关研究项目涉及到内存计算。用于机器学习计算的内存计算采用在RAM中运行计算的方式，以减少存储设备带来的延迟。
今年初，EnCharge AI完成超额认购的1亿美元b轮融资。此轮超额认购融资使EnCharge AI的总融资额超过1.44亿美元，将推动其首款以客户端运算为主的AI加速器产品，并在2025年实现商业化。
d-Matrix：数字内存计算DIMC架构
d-Matrix采用数字内存计算（DIMC）的引擎架构将计算移动到RAM（内存）附近，该数字存算一体技术将存储器与计算单元中的乘法累加器（MAC）进行了合并，获得了更大的计算带宽和效率，降低延迟，减少能耗。首批采用d-Matrix的DIMC架构的产品Jayhawk II处理器，包含约165亿晶体管的Chiplet。每个Jayhawk II Chiplet都包含一个RISC-V核心对Chiplet进行管理，每个核心有八个并行操作的DIMC单元。
去年底d-Matrix首款人工智能芯片Corsair开始出货。每张Corsair卡由多个DIMC计算核心驱动，具有2400 TFLOP的8位峰值计算能力、2GB SRAM和高达256GB的LPDDR6。
d-Matrix公司是一家位于加利福尼亚州圣克拉拉市的初创公司，专注于人工智能芯片的研发。该公司的主要产品是针对数据中心和云计算中的AI服务器设计的芯片，旨在优化人工智能推理工作负载。d-Matrix公司已经获得了多家知名投资机构的支持，包括微软风险投资部门、新加坡投资公司淡马锡、Palo Alto Networks等，D-Matrix曾在2022年4月获得了4400万美元融资，由M12和韩国半导体制造商SK海力士公司领投。累计融资超过1.6亿美元。
虽然说SRAM的拥有成本比较高，但其在AI推理运算中能够减少数据来回传输的延迟，避免拖慢整个AI处理的速度。在AI推理的浪潮下，SRAM将发挥更大的作用。还有哪些存储芯片因AI推理而赢得机会，我们将持续关注报道。
