本文来自半导体行业观察。
在国内AI芯片低调发展之际，西方芯片公司正在高调融资，他们也都无一例外以边缘端为目标，挑战英伟达。
首先是一家总部位于硅谷、生产嵌入式机器学习(ML)片上系统(SoC)平台的初创公司SiMa.ai日前宣布，已筹集7000万美元的延期融资，计划推出第二代芯片组、专为多模式生成人工智能处理而构建，并推向市场。
据Gartner预测，到2027年，全球支持AI的芯片市场预计将比2023年增长一倍以上，达到1194亿美元。然而，只有少数厂商开始生产用于AI应用的专用半导体。大多数著名的竞争者最初都专注于支持云中的人工智能。尽管如此，各种报告预测边缘人工智能市场将显着增长，这意味着处理人工智能计算的硬件比集中式云更接近数据收集源。SiMa.ai以“seema”（印地语中“边界”的意思）命名，致力于通过向工业制造、零售、航空航天、国防、农业和医疗保健领域的组织提供其边缘AI SoC来利用这一转变。
这家总部位于圣何塞的初创公司瞄准了5W至25W能源使用市场，推出了首款ML SoC，通过集成的软件硬件组合引入AI和ML。这包括其专有芯片组和称为Palette的无代码软件。SiMa.ai创始人兼首席执行官Krishna Rangasayee告诉TechCrunch，该组合已被全球50多家公司使用。
该初创公司宣称，其当前一代的ML SoC在MLPerf Inference 4.0封闭、边缘和功率划分类别的MLPerf基准测试中提供了最高的FPS/W结果。然而，第一代芯片组专注于经典计算机视觉。
随着对GenAI的需求不断增长，SiMa.ai计划于2025年第一季度推出第二代ML SoC，重点为客户提供多模态GenAI功能。Rangasayee表示，新的SoC将是对其前身的“革命性改变”，并对现有的ML芯片组进行“一些架构调整”。他补充说，基本概念将保持不变。
新的GenAI SoC将适应任何框架、网络、模型和传感器——类似于该公司现有的机器学习平台——并且还将与任何模式兼容，包括音频、语音、文本和图像。该初创公司表示，它将作为跨计算机视觉、变压器和多模式GenAI的所有人工智能的单边缘平台。
“你无法预测未来，但你可以选择向量并说，嘿，这就是我想押注的向量。我想继续围绕我的向量发展。这就是我们在架构上采取的方法。”Rangasayee说道。“但从根本上来说，我们确实没有放弃或必须彻底改变我们的架构。这也是我们采用以软件为中心的架构的好处，它可以提供更大的灵活性和敏捷性。”
SiMa.ai的第一代和第二代AI芯片组由台湾台积电(TSMC)作为制造合作伙伴，而Arm Holdings作为其计算子系统的供应商。第二代芯片组将基于台积电的6nm工艺技术，并包括Synopsys EV74嵌入式视觉处理器，用于计算机视觉应用中的预处理和后处理。
该初创公司将恩智浦、德州仪器、意法半导体、Renaissance、Microchip Technology、Nvidia等现有企业以及Hailo等人工智能芯片初创公司视为竞争对手。然而，它认为英伟达是主要竞争对手——就像其他人工智能芯片初创公司一样。
Rangasayee告诉TechCrunch，虽然Nvidia“在云领域表现出色”，但它尚未构建边缘平台。他认为英伟达缺乏足够的能效和边缘人工智能软件。同样，他断言其他构建人工智能芯片组的初创公司并不能解决系统问题，而只是提供机器学习加速。
“在我们所有的同行中，Hailo做得非常好。并不是我们比他们更好。但从我们的角度来看，我们的价值主张完全不同，”他说。
创始人继续表示，SiMa.ai比Hailo提供更高的性能和更好的能效。他还表示，SiMa.ai的系统软件与GenAI有很大不同，而且非常有效。
“只要我们能够解决客户问题，并且我们比其他任何人都更擅长这方面的工作，我们就处于有利位置，”他说。
SiMa.ai最新的全股权融资由Maverick Capital领投，Point72和Jericho参与，扩大了该初创公司最初于2022年5月宣布的3000万美元B轮融资。现有投资者包括Amplify Partners、Dell Technologies Capital、Fidelity Management和Lip-Bu Tan也参与了追加投资。通过此次融资，这家成立五年的初创公司总共筹集了2.7亿美元。
该公司目前拥有160名员工，其中65名员工在位于印度班加罗尔的研发中心。SiMa.ai计划通过增加新职位和扩展研发能力来增加员工数量。它还希望为印度客户建立一支进入市场的团队。此外，该初创公司计划从韩国和日本以及欧洲和美国开始，在全球范围内扩大其面向客户的团队
“生成式人工智能的计算强度引发了数据中心架构的范式转变。这一演变的下一阶段将是人工智能在边缘的广泛采用。正如数据中心发生了彻底变革一样，边缘计算格局也即将发生彻底转变。SiMa.ai拥有一流的团队、尖端的技术和前进的动力这三大要素，使其成为客户经历这一结构性转变的关键参与者。我们很高兴能与SiMa.ai联手抓住这个千载难逢的机会，”Maverick Capital高级董事总经理Andrew Homan在一份声明中表示。
Hailo融资1.2亿美元，并推出首款边缘生成人工智能芯片
几乎同时，一家专门为边缘人工智能工作负载制造计算机芯片的初创公司Hailo Technologies Ltd宣布，已经筹集了另一轮巨额融资。
该公司刚刚完成了1.2亿美元的C轮延期，由Zisapel家族、Gil Agmon、Delek Motors、Alfred Akirov、DCLBA、Vasuki、OurCrowd、Talcar、Comasco、Automotive Equipment和Poalim Equity等现有和新投资者领投。最新一轮融资使其迄今为止筹集的总金额超过3.4亿美元。
在本轮融资的同时，这家初创公司还宣布了其芯片阵容的最新成员，推出了Hailo-10高性能生成式AI加速器，据称该加速器将迎来新一代低延迟AI模型，该模型可以在边缘本地运行，无需连接到基于云的服务器。
Hailo成立于2017年，并于2019年首次成为头条新闻，当时它推出了一款用于在网络边缘运行深度学习工作负载的定制处理器。该芯片名为Hailo-8深度学习芯片，旨在为智能自动驾驶汽车、智能相机、无人机以及增强现实和虚拟现实平台提供动力。它使他们能够在本地运行人工智能，这意味着他们可以比必须连接到远程基于云的服务器更快地处理数据和交付结果。
该初创公司还为开发人员提供软件工具，以构建在其硬件上运行的定制应用程序。此后，该公司在最初的产品基础上，针对不同的人工智能工作负载推出了一系列更强大、更专注的芯片。其最新成员之一是于2023年3月推出的Hailo-15处理器系列。Hailo-15芯片专为视觉AI而设计，特别是可以分析本地记录的镜头的智能相机。
最近，它宣布了升级的Hailo-8芯片系列，包括新的高端Hailo Century PCIe型号，该型号添加了外围组件互连Express卡以支持更先进的边缘型号，以及名为Hailo-8L的低端产品，适合入门级使用。
Hailo芯片系列的最新成员Hailo-10是该公司首款专为在网络边缘运行的生成式AI工作负载而设计的芯片组。它提供了持续访问生成式人工智能服务的优势，消除了影响许多现有大型语言模型的低延迟问题，同时还通过消除将数据发送到云端的需要来促进更大的隐私。该公司表示，它还有助于保持个性化信息的匿名性，同时通过更高效的机载处理能力增强可持续性。
该初创公司表示，在智能汽车、个人电脑、智能手机和机器人等边缘设备上解锁生成式人工智能，将使用户真正“拥有自己的生成式人工智能体验”，并使它们成为他们生活中不可或缺的一部分。
Hailo联合创始人兼首席执行官Orr Danon表示，Hailo-10架构旨在以最小的功耗提供最大的性能。“随着边缘人工智能变得身临其境，焦点转向以尽可能小的功率范围（基本上小于五瓦）处理LLM，”他说。
该初创公司表示，Hailo-10可以使用不到5瓦的功率运行开源Llama2 7B模型，每秒最多可处理10个代币。此外，当使用具有相同功率包络的Stability AI Ltd.流行的Stable Diffusion 2.1图像生成模型时，每张图像的额定速度不到五秒。
据Hailo介绍，Hailo-10每秒最多可提供40 tera运算，这代表了基于边缘的AI加速器的新标准。根据已发布的基准测试，它比集成神经处理单元更快、更节能，其性能至少是英特尔公司Core Ultra NPU的两倍。
该初创公司表示，它预计Hailo-10生成式人工智能加速器将部署在个人电脑和汽车信息娱乐系统中，取代此类系统中广泛使用的现有中央处理单元。这些CPU无法支持聊天机器人、个人助理、副驾驶和类似的人工智能应用程序，这意味着这些类型的应用程序始终必须连接到云，从而导致较低的延迟和较低的性能。该初创公司表示，Hailo-10有望改变这一现状，其高性能可提供几乎即时的响应。
该公司将于第二季度开始运送Hailo-10生成式人工智能加速器的样品，因此我们预计将在今年年底看到它们出现在现实世界中。
“无论用户使用生成式人工智能来自动化实时翻译或摘要服务、生成软件代码，还是根据文本提示生成图像和视频，Hailo-10都可以让他们直接在PC或其他边缘系统上完成这些操作，而不会增加CPU压力或耗尽资源电池，”Danon说。
Danon表示，新筹集的资金将帮助该初创公司利用其管道中的众多机会，并为其长期增长奠定基础。其使命是加速边缘的经典和生成人工智能服务，将技术扩展到更多用户。
