本文来自上海科技。
近日,上海市科学技术委员会发布关于印发《上海市“元宇宙”关键技术攻关行动方案(2023—2025年)》的通知。
《行动方案》提出,针对“元宇宙”沉浸式、开放式、永续实时、以人为中心等跨界复合的技术特性,围绕“元宇宙”内容、存算、传输和终端等技术层面,结合国内外产业发展情况和本市研发基础,聚焦沉浸式技术、Web3技术两大主攻方向,在沉浸影音、沉浸计算、新型显示、感知交互与区块链等关键技术领域打造新高地。
此外,关于开展沉浸影音技术布局,《行动方案》指出,面向“元宇宙”海量沉浸影音内容生产的需求,基于AI赋能虚实融合的技术路线,重点布局人工智能生成内容(AIGC)、跨尺度采集重建、数字人生成与驱动、虚拟空间三维引擎等关键技术研发,实现超写实“元宇宙”沉浸影音内容的自动化、低成本生产,支撑“元宇宙”内容创作生态建设。
上海市“元宇宙”关键技术攻关行动方案(2023-2025年)
“元宇宙”是未来虚拟世界与现实社会相交互的重要平台。为贯彻落实《上海市建设具有全球影响力的科技创新中心“十四五”规划》和《上海市培育“元宇宙”新赛道行动方案(2022-2025年)》,加快推动“元宇宙”领域关键技术攻关突破,特制定本行动方案。
一、总体思路和目标
以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大精神,落实市委、市政府有关“元宇宙”的决策部署,坚持使命导向、策源驱动、重点突破、赋能发展,以沉浸式技术与Web3技术为两大主攻方向,以自主创新和开放协同为推进路径,着力提升“元宇宙”领域科技自立自强能力。到2025年,前沿优势领域相关科学问题研究取得重要突破,原始性创新成果持续涌现;聚焦技术优势和必争领域掌握一批关键技术,底层技术支撑能力持续提升;以重点场景需求为牵引,加快“元宇宙”技术体系化突破;科技成果转化和产业化水平不断提高,形成具有国际竞争力的“元宇宙”创新集群,保障创新链、产业链、供应链安全和韧性,为加快建设具有全球影响力的科技创新中心提供有力支撑。
——原创性引领性科技攻关取得重要进展。人工智能生成内容(AIGC)、空间计算、智能编码、高性能低功耗微显示、多模传感、Web3网络操作系统、跨尺度采集重建、脑机接口等战略前沿与关键技术不断取得新突破,围绕智能终端、内容制作、云平台等形成30项以上具有重要影响力的核心技术与产品,推进“元宇宙”创新链、产业链、价值链向高端迈进。
——先进应用技术体系加快构建。形成一批技术创新和服务平台,有效推进协同创新和成果转化。面向城市经济、生活、治理的数字化转型等重要应用需求,打造高水平关键技术试验验证场景,形成全链条技术供给能力,构建具有全球竞争力的“元宇宙”技术体系。
——“元宇宙”创新生态不断完善。高质量孵化器、投融资服务、高水平研发机构、科技型骨干企业、创新团队等要素集聚,“元宇宙”监管技术和治理水准不断提升,开放包容、充满活力、健康有序的创新生态加速形成。
二、主攻方向
针对“元宇宙”沉浸式、开放式、永续实时、以人为中心等跨界复合的技术特性,围绕“元宇宙”内容、存算、传输和终端等技术层面,结合国内外产业发展情况和本市研发基础,聚焦沉浸式技术、Web3技术两大主攻方向,在沉浸影音、沉浸计算、新型显示、感知交互与区块链等关键技术领域打造新高地。
主攻方向一:沉浸式技术
围绕沉浸影音和沉浸计算领域,重点布局人工智能生成内容(AIGC)、跨尺度采集重建、空间计算、智能编码等关键技术攻关,降低场景构建成本、提升“元宇宙”内容制作灵活度,并在引擎技术等方面取得新进展。围绕新型显示和感知交互领域,重点布局近眼显示、多模传感等技术和终端设备研发,带动本市芯片、零部件与算法技术研发应用,深化内容与硬件联动,抢占“元宇宙”关键入口。
主攻方向二:Web3技术
面向“元宇宙”去中心化/多中心化的组织规则,围绕区块链领域,重点布局Web3网络操作系统等技术研发,构建高性能、可扩展和安全可控的新型区块链体系架构,为“元宇宙”应用提供中立、可信的信息处理平台。
三、开展沉浸影音技术布局
面向“元宇宙”海量沉浸影音内容生产的需求,基于AI赋能虚实融合的技术路线,重点布局人工智能生成内容(AIGC)、跨尺度采集重建、数字人生成与驱动、虚拟空间三维引擎等关键技术研发,实现超写实“元宇宙”沉浸影音内容的自动化、低成本生产,支撑“元宇宙”内容创作生态建设。
(一)人工智能生成内容(AIGC)技术
研究人工智能通用生成模型、多模态协同生成、内容可控生成等技术,构建低成本、高效率的沉浸影音内容生成体系,实现敏感生成信息可控和可识别。到2025年,实现文本、图像、音乐、视频和三维模型等多模态内容间的关联对齐与互生成,实现多模态沉浸影音内容的高逼真、高效率和可控生成,实现内容智能生成过程中的敏感信息规避能力。
(二)跨尺度采集重建技术
研究跨尺度多传感器融合采集、大尺度和高动态的神经辐射场建模生成等技术,形成自主可控的跨尺度采集重建技术体系。到2025年,构建包括激光雷达、光场阵列、梯度光阵列等多模态协同采集系统;形成城市(大)、室内(中)、静态物体(小)等多尺度场景的高精度、分钟级建模能力,生成新视角的图像分辨率、渲染速度和图像精度等核心指标达到国际领先水平。
(三)数字人生成与驱动技术
研究人脸、表情与动作的高逼真重构、自动绑定、实时驱动等技术,建设光学动作捕捉相机系统,集表情、动作、语音一体化的数字人智能生成系统。到2025年,形成人体和刚体运动的高精度定位与智能分析系统,定位追踪精度达到国际领先水平;实现虚拟人高精度建模与绑定,重建精度达到亚毫米级,支持智能绑定,表情基数量与面部4D数据采集速度均达到国际领先水平;形成人工智能驱动能力,支持基于文字、音频、视频等多模态的表情和动作驱动。
(四)虚拟空间三维引擎技术
研究跨平台、端云协同架构,突破多线程同异步加载均衡、多线程粒子计算、多核CPU资源调度等技术,实现低成本、低带宽设备上的高频数据渲染。到2025年,渲染效率和功耗等指标位于国内先进水平。
四、加快沉浸计算技术研发突破
围绕“元宇宙”虚实融合的沉浸体验技术要求,基于端云协同的沉浸式计算技术路线,重点布局空间计算、智能编码、分布式渲染分发等关键技术研发,提升“元宇宙”内容计算和分发效率。
(一)空间计算技术
研究毫米级视觉定位服务、高性能同步定位与地图创建(SLAM)、多场景大规模用户实时交互等技术,推动“元宇宙”数字交互信息与现实环境的无缝实时嵌入,提升虚实融合数字空间运营服务能力。到2025年,实现各类室内外场景下的高精度定位,百平米级小场景定位精度达到毫米级,十万平米级大场景定位精度达到厘米级。
(二)智能编码技术
研究高效结构表达三维空间不规则网格数据、多源媒体同步关联和网元协同处理、存算网一体处理芯片等技术,形成6自由度(6DoF)数据高效压缩编码方法、跨网同步封装协议和全新媒体处理器结构。研究基于人工智能辅助的视觉视频特征编码和沉浸式视频压缩编码技术,构建虚实融合的新型编解码模型。到2025年,在重建几何质量峰值信噪比(PSNR)70dB、属性质量40dB条件下,密集6DoF点云达到250倍压缩率,实现跨网分发精准同步。
(三)分布式渲染分发技术
研究面向云原生的渲染优化技术、云端渲染内容的音视频数据高实时高质量调度算法。到2025年,算力基础设施满足“元宇宙”沉浸式应用需求,实现可弹性扩展、支持混合渲染的云原生系统,4K高清媒体流推送时延和交互时延进一步降低;提供多层级服务,显著提升异构业务下的服务可靠性和资源利用率。
五、开展新型显示关键技术布局
面向“元宇宙”内容呈现方面的高清晰、深度沉浸等发展趋势和需求,重点布局高性能低功耗微显示器件、高亮度轻量化光学模组、全息和光场显示等关键技术攻关,抢占“元宇宙”关键入口高地,推动近眼显示、裸眼全息等新型显示产业高质量发展。
(一)高性能低功耗微显示技术
研究数字驱动和注视点渲染、感显算一体化集成系统架构、像素结构设计等技术。到2025年,硅基OLED显示模组及自主驱动芯片、硅基Micro-LED显示模组和自主驱动芯片、Fast-LCD显示器件达到国际先进水平,高亮度、广色域、低功耗的微显示单目分辨率达到4K以上。
(二)高亮度轻量化光学模组
研究面向近眼显示的几何光波导技术,突破针对消费级光学玻璃的分子键合工艺,研发二维扩瞳几何光波导镜片及其显示模组,推进消费级几何光波导镜片及其显示模组的量产化。到2025年,视场角、镜目距、眼动范围、入眼亮度、透光率、光学畸变等指标达到国际领先水平,支撑小型化轻量级产品实现量产。
(三)全息和光场显示技术
研究大角度高信息量全息3D光波调制、超精密微纳制造、光场实时渲染、全息图大数据实时生成算法等技术,研制全息3D波前调制器件、3D视频处理芯片和光场裸眼3D显示模组,实现高沉浸感全息显示和大视角多视点光场显示。到2025年,光场裸眼3D光学器件贴合精度达到亚微米级,视场角、视觉分辨率、显示帧率、全息图像的空间带宽积和散斑噪声对比度、光场显示的视点数等指标达到国际先进水平。
六、加强感知交互技术突破
面向“元宇宙”自然交互中长时间、高响应与多样性的需求,重点布局低功耗交互算法、多模传感、手势与眼动追踪、脑机接口等关键软硬件技术研发,实现自然环境下的视觉、听觉、触觉、体态等多模态信息感知交互。
(一)多模传感技术
研究微型距离传感、深度视觉传感、低功耗压电声学/柔性纤维/织物皮肤/高精度微机电惯性等状态传感和轻量级交互算法等技术,助推国产芯片、国产零部件在终端应用。到2025年,微距计算、注视点渲染、多模式无盲区人机交互、传感密度、压强分辨率、零偏精度等关键技术指标达到国际先进水平,支撑距离、视觉、声音、压力和惯性等高性能低功耗传感器量产。
(二)手势与眼动追踪技术
研究高性能、低功耗、高鲁棒性的手势与眼动追踪等技术,助推“元宇宙”人机交互向自然化、情景化与智能化方向演进。到2025年,识别类型数量、追踪延时、手指追踪精度与眼动追踪精度等关键技术指标达到国际先进水平,实现高精度、多种类、低延迟的手势识别和眼动追踪。
(三)脑机接口技术
开展多学科交叉的理论和技术研究,构建面向“元宇宙”的虚实融合脑机接口体系,研究脑机接口神经界面、神经融合芯片、柔性电极、神经信号编码与解码技术等前沿技术,研发面向“元宇宙”的新型超低功耗脑机交互硬件系统和原型产品。
七、开展区块链技术研发布局
面向“元宇宙”去中心化/多中心化的组织规则,基于异构多链融合技术路线,重点布局Web3网络操作系统、区块链数字身份、分布式可信存储、可信计算芯片等支撑技术和数字监管技术研发,构建高性能、可扩展和安全可控的新型区块链体系架构,形成承载大规模“元宇宙”创新应用的基础设施。
(一)Web3网络操作系统
研究区块链系统抽象、资源管理与调度模型,突破底层区块链系统的适配与封装、链上数据资源解析与定位、跨链互操作等技术,完善区块链数据标准、系统应用接口标准和跨链互操作标准,形成跨区块链系统的Web3网络操作系统。研发适配多种异构底层区块链系统(包括主流公有链和联盟链)的应用开发中间件和工具链,支持通过统一接口实现底层异构区块链系统访问、数字身份内容管理、跨链应用数据迁移等功能。
(二)数字身份管理技术
研究自主可控低成本区块链数字身份SIM卡芯片、身份认证和权限管理、虚实身份映射绑定等技术,开发安全便捷的区块链数字身份管理终端,支持国密算法(SM系列)等主流密码算法、新型的抗量子/门限/可聚合数字签名算法、BIP32/44等账户派生协议,以硬件安全技术保护私钥生成、存储、数字签名的安全性。支持区块链账户的实名认证,构建“元宇宙”数字身份与现实世界身份绑定的数字身份体系。
研究区块链动态数据分片存储等技术,支持通过智能合约访问数据、链上高效验证数据有效性,单链系统存储空间可随共识节点数量线性扩展。
(四)可信计算芯片技术
突破可信执行环境、密码学算法(零知识证明、同态加密等)加速芯片等软硬件关键技术,开发自主可控的可信计算芯片,计算性能和效率达到国际先进水平。
八、加快创新平台和场景建设
围绕“元宇宙”技术创新、试验验证和生态构建,建设一批技术创新和服务平台,打造关键技术试验验证场景,加快国产技术创新和应用,促进“元宇宙”企业培育和集聚发展。
(一)技术创新支撑平台
依托第三方机构、行业龙头企业、高校科研院所,打造“元宇宙”关键技术创新平台和创新公共服务平台,持续优化“元宇宙”技术突破、应用创新和产业发展支撑环境。建设“元宇宙”可信技术监管支撑平台,支撑相关监管政策研究和治理体系建设。
(二)技术试验验证场景
依托本市资源优势及特色,面向城市经济、生活、治理的数字化转型等重要应用需求,鼓励本市“元宇宙”技术创新企业与行业应用需求方协同发展,打造文化旅游、工业制造等高水平技术试验验证场景,支持技术实验验证与优化迭代,推动形成一批具有竞争力的解决方案,加快提升城市治理能力现代化水平。
九、保障措施
(一)加强组织领导
组建“元宇宙”关键技术攻关工作小组,加强顶层设计和统筹协调,市区联动,确保重点任务落实。建立专家组,持续深入跟踪国内外动态,组织开展技术交流,分析研判战略趋势,有效支撑战略决策。
(二)实施有组织科研攻关
面向重大前沿科学问题,探索政府长周期科研支持方式,鼓励社会力量投入,进一步激发基础研究活力。面向重大场景应用需求,强化企业创新主体地位,打造创新联合体,开展重大关键技术、重大战略产品、重大试验验证研究。探索“揭榜挂帅”、里程碑管理、赛马制等机制,加快创新成果的应用。
(三)完善创业孵化和金融服务
鼓励园区、高质量孵化器为“元宇宙”企业提供高水平技术筛选、知识产权运营、创新链及产业链资源链接等服务,畅通“发现-转化-孵化-产业化”链条。加强投孵联动,撬动和引导“耐心资本”流向“元宇宙”高质量科技成果、种子期、初创期以及高成长科技企业。加大科技金融产品供给,引导银行、保险、担保等金融机构加大与高质量孵化器的合作力度,围绕“元宇宙”“早、小、硬”企业创新金融产品和服务,促进一批创新企业登陆科创板。
(四)强化人才引育
立足全球视野,用好本市人才支持措施,引聚一批“元宇宙”人才。引导高校、科研院所、企业等加大青年“元宇宙”人才培养力度,支持青年人才挑大梁、当主角。支持符合条件的本市高校聚焦重点产业领域自主设置相关二级学科或交叉学科,构建行业企业与高校共同参与、覆盖专业硕士与专业博士的人才培养模式,培养紧缺急需人才。