随着5G、移动端视频、云游戏、云桌面、VR/AR等行业的高速扩张以及物联网智能化需求的出现,视觉感知及视频处理成为一种至关重要的融合技术,市场对视频处理芯片的需求呈现爆发式增长。
涌现科技专注于视频编解码算法及芯片设计和研发,将人工智能与视频编解码算法深度融合,成功研发出基于AI的高密度视频编解码专用芯片,打造了以“芯片—视频加速卡—视频加速服务器”为核心的产品矩阵,打造产业级视频处理算力池Stream Force,全面打通“算法-芯片-应用场景”。
一、实施背景
随着5G和AI技术的发展,视频应用不再局限于娱乐场景,而是向工业制造、安防领域、生产办公等场景拓展,视频服务占到网络服务的70%,传统视频编码框架无法满足爆发式增长需求:超高清视频和新一代信息技术深度融合,使得视频的视觉效果和技术指标倍数攀升,井喷的数据量使得视频传输、存储压力陡增;虚拟现实、全景视频、数字孪生等具有沉浸式、交互性等特点,对内容制作、压缩及高效实时传输有非常高的要求;未来以机器视觉为主的数据传输将占据全球数据传输的50%,以人眼视觉为基础的编码框架不适用于机器视觉中智能任务的分析处理;AI赋能视频编码带来效率和质量的提升,但传统视频编码框架限制了AI应用范围,使AI的价值没有得到完全释放。
随着网络视频/直播、云游戏、云桌面、VR/AR等行业的高速扩张,市场对人眼视觉/机器视觉融合编码的、高性能、高算力、低功耗和低成本的智能视频处理芯片的需求呈现爆发式增长。据艾瑞咨询测算,2021年中国智能视频编码整体市场规模为237亿元,较2020年增长64.5%,预计2025年智能视频编码市场规模有望超600亿元,基于智能视频编码及软硬件整体解决方案衍生的泛视频产业整体市场规模已突破万亿级别。
涌现科技是一家聚焦基于人工智能的人眼视觉与机器视觉融合编解码技术的国家高新技术企业,拥有业界领先的芯片全流程设计能力,在14nm、10nm、8nm等先进制程上有成熟的流片经验。公司核心团队来自全球顶尖院校和软件、半导体公司,平均15年以上的行业经验,核心成员主导过数十款高端SOC芯片设计和量产销售经验,单品芯片销售超过千万颗,团队拥有从算法、软件、硬件、芯片设计、到应用解决方案的全面资源。截至目前,涌现科技在智能视频编码研究及基于异构计算的高性能多媒体处理器设计方面产出多项创新成果,累计授权及在申请自主知识产权超百项。
二、实施目标
(一)高密度、高性能、市场化的视频转码硬件产品研发。涌现科技专注智能视频编码领域前沿研究,进行AI的高密度视频编解码专用芯片的持续开发,不断提高芯片的性能和稳定性,以芯片为核心开发出一系列高性能硬件转码产品,提供比通用处理器更高的性能和效率,实现真正的高密度、高压缩、低延时的智能视频编码,成为AIoT全场景下的视频图像人机高效处理的重要动力引擎。
(二)提升视频产业智能化水平,加速产业升级。随着互联网的普及和视频应用的广泛应用,视频产业已经成为了一个非常重要的产业。而AI的高密度视频编解码专用芯片可以提高视频传输的效率和质量,人工智能技术的加持则能够满足视频处理中更广泛的智能化需求,促进泛视频领域的效率提升,推动视频产业向更高水平发展。
(三)加强产业链建设,提升国产化芯片竞争力。AI的高密度视频编解码专用芯片研发和产业应用涉及芯片设计、制造、封装测试、系统集成等多个环节,不仅需要多个产业链协同合作,还要深入挖掘市场需求,与应用侧企业进行深度合作。
(四)探索下一代视频编码技术的发展方向。人工智能和通信网络技术的突破性变革的为视频编码技术带来了前所未有的挑战,我们应该从传输、网络、AI、基础理论以及应用等多角度重新思考视频编码,以满足不断增长的视频应用需求,在国际市场竞争中取得先行优势。
三、建设内容
(一)智能视频编码创新前沿技术研究
作为一家技术驱动型企业,涌现科技在业界首先提出了建立“人眼视觉/机器视觉融合编码”的基础算力平台,融合传统经典视频编码技术、基于AI的智能编码技术、面向机器视觉的融合编码技术等,建立未来融合场景下的数据编码体系。涌现科技在智能视频编码研究及基于异构计算的高性能多媒体处理器设计方面产出多项创新成果,累计授权及在申请自主知识产权超百项。
涌现科技还积极拓展与学术界的跨界合作,布局前沿技术方向的研究,于2021年与中国科学技术大学合作共同成立了中科大先研院-涌现科技智能媒体计算联合实验室,围绕视频编解码算法、机器视觉技术、超高清技术、人工智能及画质评价关键技术、极大规模芯片设计技术等领域持续开展攻关,积极参与基础研究、推进标准编订、加速前沿技术成果转化等,将技术势能转化为产业动能。
(二)Seirios视频编解码专用加速芯片及视频加速方案
涌现科技整合不同架构的优势,采用专用异构算力平台,将底层AI算法写入专用硬件加速单元,着力于硬件-软件跨层次协调设计、将算法与芯片设计深度融合,开发出具有自主知识产权的视频编解码加速芯片,并基于芯片方案推出Seirios高效视频编码加速卡,全面打通“算法-芯片-应用场景”。此外,涌现科技可提供国产化全套方案,在安全、稳定的基础上兼顾高性能与搞性价比,帮助客户快速、有效处理视频流,提升效率的同时,降低硬件、服务器成本投入,释放通用算力,节约运营成本。
(三)打造产业级视频处理算力池Stream Force
Stream Force视频处理算力池是一个集合多个处理节点的开放智能视频计算平台,通过将多个处理节点汇集到该平台上,可以充分利用计算资源,提高视频处理效率和速度,同时还可以实现任务的负载均衡和容错能力,该平台可提供行业通用接口,可开放给行业友商。旨在为行业提供高性能、高效率的视频处理服务,为各种应用场景提供强大的算力支持。如网络直播、在线游戏、云视频等,都可以利用视频处理算力池的优势,提高视频处理的效率和速度,降本增效,同时提供更好的用户体验。
四、实施效果
Seirios主要面向中心侧&边缘侧视频处理需求,具有高密度、高性能、低功耗的特点,将Seirios安装在执行编码和转码的视频处理服务器上,就能够在不改变服务器硬件配置的情况下(支持BIOS PCIe拆分)大幅提升处理性能,减轻数据中心处理负担,降低综合成本。
Seirios有着强劲的处理性能和广泛的适用性:单芯片最高支持2路4K 60fps或16路1080P 30fps编解码,支持H.264/H.265/VP9等多种格式,编码效率比传统软件方案提升50%以上。同时兼容主流x86和ARM架构,原生支持FFmpeg和GStreamer框架,并可提供API集成,实现软件到硬件方案的无缝升级。
在云桌面场景下,在同等画质基线下,Seirios P4单卡可同时处理64路1080P 30fps的虚拟桌面编码,相较传统编码方案对CPU的占用率平均降低36%以上;在文字办公、网页浏览、视频播放等超过26个测试用例中,使用Seirios进行视频编码,在固定画质的基准前提下,相较于传统编码方案,最大码流节省70%,平均有效降低带宽40%以上,单帧编码耗时降低约30%,在保障画质的同时释放服务器算力,能够有效提升服务器荷载云终端数量,在保障终端用户体验的同时大幅提升运营效率。
相比目前通用的软编方案,Seirios可完美解决软编编解码速度慢、计算资源消耗大、难以支持多任务处理、及功耗高能耗大等问题,为企业提供更智能、更高效、更节约的视频编码方案。