本文来自微信公众号“天翼智库”，作者/李春辉、张媛玥。
大模型可增强自动驾驶感知系统感知精度、提升决策控制系统的记忆和理解能力，拓展并丰富复杂道路Corner-Case(长尾问题)场景，提高单车融合定位精度，降低对成本高、鲜度要求高和法律门槛高的高精度地图的依赖，促进车辆在复杂城市道路场景落地高等级自动驾驶。同时大模型可提高数据标注精度和仿真训练的效率，目前多家企业正积极部署适用于自动驾驶系统的大模型，如毫末智行Drive GPT”雪湖.海若“。另一方面，4月18日上海车展，商汤发布“日日新Sense nova”大模型，并展示“商量Sense Chat”以及”如影Sense Avtar“等与车辆座舱的结合，大模型将赋予智能座舱多种生成式AI能力。
引入大模型后新一代智能车的技术趋势
大模型将推动端到端的自动驾驶技术路线落地，为车辆提供更加丰富的图片与语义信息给车辆决策，使车辆更加接近高等级自动驾驶。同时大模型有望为智能座舱注入更加丰富的情感功能，使传统人与座舱被动交互变为人与座舱主动交互，如图1-1，大模型有望使智能网联车更加“智能”。
图1-1大模型将赋能新一代智能网联车
大模型将使自动驾驶系统更加“拟人”，引入语言大模型的端到端的自动驾驶技术将是未来趋势。大模型的接入将取代用于感知、预测和规划相关功能模块，使自动驾驶系统直接通过输入感知数据，然后输出控制操作，更接近于人类的驾驶。未来语言类大模型或许将与纯计算机视觉模型加强关联，为纯视觉模型对障碍物监测和识别注入了丰富的语义推理信息，提升自动驾驶系统决策可解释性的能力。如特斯拉于今年5月发布的最新自动驾驶技术首次采用自研纯视觉端到端自动驾驶技术路线，但面对复杂道路环境场景仍出现系统识别和控制故障导致人工切换驾驶，如图1-2。
图1-2演示视频中的一次自动驾驶系统故障导致人工切换操作
拥有海量数据的语言模型可在复杂的道路场景下提高自动驾驶系统识别与推理的精度和可解释性。自动驾驶系统在预测和规划的过程中，除对道路轨迹进行预测和规划外，还需要对其他周边物体的状态和轨迹进行并行预测和规划，在相对复杂的道路环境场景下采用传统的方法（如分析多维度的运动状态表征等）进行物体的轨迹预测时往往容易出现实时性差、组合爆炸等问题。引入大语言模型可以对周边物体的运动行为进行驾驶目标分解和对应的推理假设，提高物体轨迹预测精度，升级自动驾驶系统的推理上限。
目前行业内已有类似的大语言模型出现，近日上海OpenDriveLab携手合作伙伴发布语言+自动驾驶全栈开源数据集DriveLM，语义标注覆盖感知、预测和规划等模块，梳理从环境障碍物识别、物体运动状态、到轨迹判断和自车运动规划步骤的逻辑链，增强决策过程中的合理性和可解释性，如图1-3。
图1-3 DriveLM将提升自动驾驶系统的推理能力
大模型降低自动驾驶训练数据标注成本并优化仿真效果。一是大模型可以显著降低人工标注成本。毫末智行发布了自动驾驶界首个生成式预训练大模型——DriveGPT雪湖.海若，据了解，DriveGPT标注一张图片大约需要0.5元人民币，而普通的方案标注一张图片却需要约5元人民币，降低了近10倍成本。二是大模型可提高仿真环境与真实环境的相似度，提高主机厂自动驾驶算法的迭代效率。华为盘古大模型通过自研的NeRF算法重建高精准3D空间，生成新的Corner-Case，降低原始数据采集难度。盘古大模型对场景重建可按需编辑，仿真场景重建实现厘米级精度。
大模型将助力自动驾驶系统“脱高精度地图”。高精度地图当下应用过程中存在更新周期长，法规风险高，成本高等三大问题，BEV+Transformer提供了技术上“脱图”的可能性。理想发布了大模型MindGPT，建立全自动闭环的训练平台，推出“无图城市”NOA，通过建立NPN特征与TIN网络增强BEV大模型，降低对高精度地图的依赖。
智能座舱进入“拥抱”大模型阶段，大模型有望赋予智能座舱包括情绪感知、智能助手、基于感情的对话、创意内容生成、个性化交互等一系列功能，场景覆盖办公、购物、游戏、旅行等。如蔚来的人车交互系统NOMI具有较强的学习功能和语音指令识别功能，可与车主进行简单的对话；华为计划在AITO问界M9新车上部署大模型，其语音助手“小艺”可提供通勤道路异常提醒，自动识别驾驶员疲劳程度开启座位按摩，根据驾驶状态推荐驾驶模式，自动停车找位等功能，升级与用户的交互体验。
大模型将促进“车云”深度融合。一方面，目前车端芯片算力最多在1,000 TOPS,无法满足自动驾驶大模型未来万亿TOPS算力需求，同时大模型在车端的部署还需要通过严格的车规级相关标准，车端部署大模型还需要较为漫长的过程，因此将大模型部署在不受能耗和算力限制的云端，成为当下相对可行的解决方案。另一方面，高等级智能网联车将产生海量且复杂的数据与云端交互，云端需要对车端的数据进行存储，监控，运维和分析，分布式混合云将成为刚需，同时保障低延时的边缘云也需纳入进来。未来车辆软件架构也许会变成Kubernetes这样一主多从或多主多从的架构，进而实现“云随车动”，改善整体系统的运维环境，使智能网联车更好的与云原生态结合。
端到端自动驾驶需要更高可靠的通信技术。在复杂的道路环境现有的5G通信网络难以满足车辆进行端到端的低延时高可靠通信，特别是涉及到自动驾驶相关感知和推理功能的应用。目前由信通院牵头华为参与的星闪（Near Link）短距通信技术，具备强干扰、大带宽以及更低的时延（＜10ms），有望更好结合5G网络，也许使端到端自动驾驶应用在复杂道路特定路段的通信迎来转机，解决多径复杂道路环境下车辆与云端通信可靠性的问题。
运营商的发展建议
1.继续做大做强通信网络，探索新通信技术业务可能性
一是进一步加强5G网络和边缘云建设，在较为复杂的城市道路场景实现5G、5.5G冗余建设、并加强边缘云的建设应用。二是多关注和运用新一代的通信技术，探索最新通信技术在智能网联车业务应用可能性，如目前由华为主导的星闪Release 2.0标准正在推进中，Release 2.0将加入高精定位、感知、覆盖增强（sub-1GHz）、超高速率（毫米波）等接入层特性。
2.扩建智算中心和提供大模型产品服务，探索新一代智能网联车架构
一是抓住机遇拓展IAAS层相关能力，积极与车企、自动驾驶供应商合作，探索联合建设符合智能网联车功能安全标准的智算中心。二是根据主机厂及客户相关的需求建设支持自动驾驶和智能座舱功能的大模型产品，为车企或自动驾驶供应商提供标注，仿真，推理，语言助手，娱乐等出行服务。三是联合主机厂与系统集成商探索新一代的智能网联车软件架构可行性，强化端到端的运维能力。
3.重视单车自动驾驶技术路线中的重要能力提升
一是升级高精度地图产品相关能力。目前主流车企无图化算法方案仍不成熟，同时未来生成式AI可以快速标注并迭代高精地图，降低成本。腾讯智慧交通团队已建立了端到端的主动学习AI系统，使高精地图迭代速度提升10倍以上，短期内高精度地图仍不可替代。
二是强化基于GNSS的增强定位能力。GNSS增强定位既可作为实时矫正高精地图精度真值系统，也可实时对智能网联车进行精准定位。目前千寻、时空道宇等各大厂家纷纷建设和部署了符合自动驾驶单车应用的精密单点定位系统服务网络。
