本文来自钛媒体(www.tmtpost.com),作者 | 极智GeeTech。
80%的数据+20%的模型=更好的AI。
这是人工智能领域权威学者、斯坦福大学计算机科学教授吴恩达(Andrew Ng)在他45岁生日当天提出的人工智能“二八定律”。他表示,“如果我们80%的工作是数据准备,那么确保数据质量是人工智能团队的重要工作。”
由此延伸至端到端智能驾驶领域,智驾这盘菜看起来诱人,但车企想要吃到嘴里并没有那么容易,这既要有数据作为原料食材,也要有算力燃料把火烧得旺,还要配合算法的烹调。优质的数据和充足的算力是一切技术迭代升级的先决条件,没有好的食材和火候,再先进的算法也无法发挥出最大效用。
当智驾迎来最为关键的中场战事,行业的重心不再是招募更多顶级的工程人才,而切换到模型设计、工具链开发以及模型的测试验证上。一个非常明显的现象是,业界曾经以团队规模作为描述先进性的一项指标,而到了2024下半年,行业比拼的关键指标变成了云端算力和数据质量。
从2023年的开城大战,到2024年的“车位到车位”大战,这其中如何形成数据闭环成?如何建好算力“蓄水池”?如何最大化利用数据和算力资源并实现最优算法?都是车企决胜智驾下半场必须要解决的问题。
“冰山之下”的数据闭环能力
端到端下的智能驾驶技术,是数据和算力的合谋。
随着智驾系统中感知定位、决策规划和控制模块的实现方式由基于规则的代码向AI模型转变,智驾系统开发范式也从规则驱动逐渐过渡到了数据驱动,当系统越来越依赖数据驱动,意味着数据闭环对智驾系统越来越关键了。
所谓数据闭环,是从数据采集、存储、挖掘、标注到模型训练、仿真验证、集成部署的整个开发工作流。数据闭环完成的是对数据价值的提取工作,其本质是将隐藏在一个又一个驾驶数据片段中的人类驾驶知识慢慢地迁移到智驾系统模型的参数文件里,从而使智驾系统的表现更加趋向拟人化,大幅提升驾驶体验的自然性和舒适性。
从数据闭环发展阶段看,在第一阶段,智能驾驶技术主要采取硬件驱动的方式进行研发,数据闭环概念初现。进入第二阶段,算法和软件的重要性不断提升,智能驾驶开始尝试采用小模型、基于规则驱动的方法来解决智能驾驶问题。随着智驾技术的提升,智驾系统对于数据的需求剧增,其优化对数据闭环的要求越来越高,因此数据闭环已逐渐进入由数据驱动的第三阶段。
对于端到端智驾系统所需要的数据,特斯拉曾给出过一些判断标准:一个端到端自动驾驶训练至少需要100万个、分布多样、高质量的视频片段才能正常工作。如果片段达到1000万个,系统能力会变得难以置信。
理想表示,最晚今年年初,会推出大概超过1000万个片段训练出来的端到端+VLM。前段时间小鹏智驾负责人也公开表示,小鹏端到端模型的训练数据量已达到2000万个片段。
当前,车企和智驾企业获取数据主要有两种方式:
一是从量产车上挖掘。比如针对车企卖出的几十万台车,工程师会写下专门规则,如果用户的驾驶行为符合条件,特定数据(经过脱敏处理)会被上传。车企用户也可以主动上传一些特别案例。
二是在存量数据中挖掘数据。在早期智驾还不成熟的阶段,车企和智驾企业往往积累大量数据,很多都是无效数据,工程师只能通过一些算法规则来挖取。
高质量数据作为养料,会决定智驾系统迭代的质量,也持续考验着车企的智驾自动化闭环能力。
最近几年,随着量产车的规模化落地,很多车企都开始转向采用量产车的影子模式采集数据,但这种模式依然面临艰巨的挑战。
首先,是采集策略问题,即如何平衡数据的长尾问题(有效性)和数据的规模问题(成本)。如果采集策略比较宽松,往往采集回来的数据大部分是垃圾数据,根本没有使用价值;如果采集策略过于严格,又担心丢失大量有价值的数据。
其次,是数据质量问题,如何定义数据质量是个艰巨的产品问题,“坏数据”(不熟练的驾驶、糟糕的驾驶习惯、违反交通规则等)会向下拖曳大模型的训练效果。因此,如何精准地挑选出高质量的数据又是一个复杂的技术问题。
第三,是数据分布问题,如何从海量的视频片段中提取有效的特征、如何统计数据的分布、应该考虑哪些维度,都需要大量的工作。
对于大部分车企和智驾企业,还会面临严重的数据泛化问题,因为不同的车型传感器配置差异巨大,采集的数据往往难以复用,而国内车企普遍车型众多,最后很可能是采了一堆数据放在那没法使用,看起来是数据资产,其实都是存储成本。毫不夸张地说,数据会占据端到端智驾系统开发中80%以上的研发成本。
因此,越早形成数据闭环能力,就越有助于车企构筑既宽且深的技术与产品护城河,也就越有机会将竞争者拒之门外。
“算力军备竞赛”愈演愈烈
由AI大模型催生的抢购算力潮,从去年开始陡然迁移到了汽车行业。以理想、华为和小鹏汽车为首的新势力车企和智驾企业尤为激进。
和AI大模型技术趋同,端到端的智驾技术,同样有数十亿参数,也在向百亿级进发。对算力资源的拼抢成为智驾领域继数据之后又一个新的制胜法则。
实际上,智驾的算力军备竞赛早已愈演愈烈。一方面,随着智驾系统的迭代升级,智能汽车所搭载的传感器数量与类型进一步增多,智驾系统需要实时采集海量传感器数据并进行融合处理,做出合理决策与路径规划,将决策实时传送到执行部件。在海量数据处理以及超低时延的需求之下,智驾系统计算量激增,算力需求呈现指数级增长。
一般认为,自动驾驶等级每增加一级,所需要的芯片算力就会呈现十倍的上升。根据Intel的推算,L5级别的全自动驾驶时代,每秒需要芯片处理的数据大约为4000G。
另一方面,智能座舱与智能车联的发展也对算力提出了新的要求。座舱交互体验的升级与第三生活空间趋势之下,“显示屏”逐渐替代车内其它显示方式,车载娱乐与服务进一步丰富,多模态交互成为趋势。这些都对整车算力提出了更高的要求。
去年7月,理想汽车云端算力为2.4 EFLOPS,截至11月算力已达6.83 EFLOPS。小鹏汽车计划到2025年,云端算力将从目前的2.51 EFLOPS增加到10 EFLOPS。华为智驾也在两个月内迅速将云端算力规模从5 EFLOPS扩张到7.5 EFLOPS。
当前汽车算力主要来源仍是车载计算平台,车载算力上限决定了未来汽车能够承载的软件服务升级上限,进而决定汽车全生命周期价值。因此,在软件技术仍处于持续升级迭代的当下,主机厂通过硬件堆砌,预埋足够大的算力,以期在未来能更大程度地获取软件服务收入。
但在摩尔定律之下,车载计算平台的算力终有上限,而汽车的商品属性也无法承受不计成本的硬件堆砌。对数据的实时分析处理吞噬着飞速上涨的算力数值,这一场算力军备竞赛也逐渐演变为比拼算力数值大小的盲目竞争,引发主机厂的算力焦虑。
为了缓解算力供给紧张,云端大模型成为可行的方案。
从目前行业主流的三种端到端技术发展路线看,一种是通过大量规则和小模型堆叠而成的“大模型”,其需要大量的优秀规则工程师;一种是“车端大模型”,即直接将端到端模型部署于车辆上,虽然见效快,但受限于车端算力,且随着后期训练数据量的增加,容易陷入瓶颈;第三种便是云端大模型(Foundation Model),其参数量是车端模型的几十倍甚至数百倍,这是单纯的车端大模型所不可企及的。
但训练一个云端大模型,也对大规模高性能算力以及数据存储和处理提出了非常高的要求。
第一,是提高并行训练性能和利用率的要求,这对云基础设施包括网络互联、带宽,以及系统软件优化等带来了挑战。
第二,是对模型训练持久稳定性的要求,比如模型训练中断,训练出现问题后能否快速拉起任务,缩短故障时间。
第三,大规模多模态数据的存储与处理能力,实现并行训练的高性能、高吞吐,满足模型训练不断提升的数据量增长需求。
第四,海量数据的存储成本要求,在满足数据处理性能要求的前提下,通过支持数据分层存储,实现最优的成本。
从整车角度上,当车端架构和云端架构进一步统一后,接下来的竞争是数据挖掘、数据的有效利用以及整个技术栈对数据的理解,以及如何在大规模的基础设施上平衡整个计算效率。
换句话说,就是需要获得高质量、大规模的数据,再配合高算力,来训练和迭代算法能力,建立“冰山之下”车端和云端之间的数据闭环能力,来让这“三大件”的能力更有效率和更低成本地运转起来。
如何为智驾“降本增效”?
智能网联汽车的底色,是汽车的AI化。无论是智能驾驶、智能座舱,又或者是车路云一体化,都在向着人工智能的方向进化。深度学习、大模型等技术,亦深度嵌入功能开发过程中。
对于智能汽车而言,智驾水平的高低体现在对环境的实时感知和对数据的分析处理能力方面,而这又需要庞大且优质的数据集和充足的算力作支撑。在资源有限的情况下,集通信、感知、计算于一体的车路云网络有望为智驾的降本增效提供新途径。
通过车路云网络,可以建立一个横跨车端、路侧和云端的体系化闭环,路侧收集的数据上传到云端,在云端汇集并对这些数据进行标注处理和用于算法训练。完成后,云端再把训练好的算法模型数据发到车端,进行OTA部署及更新。
同时,路侧数据可以弥补车端的天然局限(视线盲区、超视距感知能力不足、极端天气感知精度下降等),丰富车端的全局数据,从而进一步提升智驾能力和安全性。三端数据进行协同互补,推动完成了智驾技术的迭代与进化。
交通行业是个复杂系统,人工智能在其中目前只呈现碎片化应用,比如识别信号灯、识别违章等,想要真正解决问题,需要用大模型这根线把车流、道路、交通信号等所有的散点串联起来,形成更高维度的全局智能,通过对车、路、云等交通关键节点开展智能协同,形成对交通态势的全面、及时、精准的感知、控制与决策。
引入多模态大模型后,车路云网络可以提升视觉分析的精准度、泛化能力和场景适应性,小模型算法面临的问题可以通过多模态大模型进行优化。同时,考虑成本及带宽等问题,多模态大模型应用也需要有前端小模型来做相应支撑,大小模型协同应用其实是多级协同计算,多级协同计算可能是未来发展的主要应用点。
前端小模型进行实时检测,快速分析,后端大模型进行深度推理、二次判断,减少误报,最后通过人类反馈强化学习的方法实现整个算法模型的优化提升,这其中,结合了小模型计算快、成本低优势的同时,运用了大模型预测准确、方法能力强的优点。
车路云一体化场景中,云计算聚焦非实时、长周期数据的大数据分析,能够为业务决策支撑提供依据,实现新应用服务开发的快速、灵活部署,并为整车OTA数据进行存储、计算和分析,管理和简化车端电子设备与软件的复杂性。
边缘计算则聚焦实时、短周期数据的分析,能更好地支撑车端实时智能化处理与执行。车路云网络可以在路侧运用边缘小模型进行快速感知,在边缘云端运用大模型推理进行二次预警,在中心云端运用行业大模型进行优化,整体利用多级协同计算来实现事件感知的准确。
在交通流预测方面,业界基本使用时序数据进行预测,包括实时监测、短时预测、长期预测等。但交通流预测是一个复杂任务:交通流组成复杂、交通流参数之间并非简单的线性关系,会受到外部因素比如天气、特殊事件等因素的干扰,交通系统存在动态性和不确定性;同时也需要考虑交通数据的质量和可用性问题。将数据预测结合交通环境的实时数字孪生,可以为路网管控决策提供量化支撑。
在车路云网络下,车、道路、交通路口可能都是智能体,智能体发展最重要的是要进行人机协同,也就是说由人来设置目标,智能体再将目标拆分成不同步骤,让智能体来决定每个步骤使用大模型还是小模型,最后形成完整的闭环链条,保障智能体的运行。
此前交通事件处置有很多预案,大部分很难定量和定性,比如无法准确知道拥堵成因和程度,也就是说以前的预案相当于知识库,在每个步骤上不同的人的理解不同,处理方式也就不一样。通过智能体的应用将预案知识库转向智能体模式,可以更加灵活的完成步骤分发和调度,从而形成对交通事件的准确分析和理解,便于交通管理部门实现更精细化的交通管理。
智驾技术的演进,好似从冷兵器时代到热兵器时代,不同技术阶段具有明显的代际差异。过去的辅助驾驶依靠有限的规则、单一的功能依然有获胜的希望,但到了端到端智驾时代,需要的是更大算力和更多数据,以及让算力和数据流转起来的机制和工程能力,任何一环的缺失都会给这场竞赛带来变数。
到目前为止,坚持单车智能路线的车企还是占大多数,但车路云一体化的潜力已不可忽视。究竟是各自发展,还是最终走向融合,目前仍没有统一的答案。然而,大家都无法回避的是,智驾对降本增效的需求越来越高,数据和算力供给不仅要多,也更要精,期望靠堆卡、堆数据就能做好智驾的日子已经一去不复返。