本文来自微信公众号“电子发烧友网”。
(电子发烧友网综合报道)ISP是Image Signal Processor的简称,即图像信号处理器。它主要负责处理图像传感器(如CMOS或CCD)输出的原始图像数据,通过一系列算法进行图像质量的优化和提升。
ISP内部包含多种关键算法,如自动曝光控制(AEC)、自动增益控制(AGC)、自动白平衡(AWB)、色彩校正、镜头阴影校正(Lens Shading Correction)、伽马校正(Gamma Correction)、去噪(Denoise)等。这些算法共同作用于原始图像数据,以改善图像的亮度、对比度、色彩还原度和清晰度等。
AI ISP的核心在于将人工智能算法与ISP技术深度融合。通过集成深度学习、机器学习等AI算法,AI ISP能够实现对图像内容的智能分析和处理,如物体识别、人脸检测、场景分类等。
AI ISP的核心技术
相比于传统ISP,AI ISP优势明显。如,成像质量显著提升,通过AI算法优化,AI ISP能够在各种复杂环境下实现更清晰的图像捕捉,提升色彩还原度和细节表现力。
实时全彩成像,夜间全彩成像技术使得AI ISP在夜间也能捕捉到丰富的色彩信息,提升目标识别速度和准确性。高效节能,通过算法优化和硬件设计,AI ISP能够在保证高性能的同时降低功耗,提升设备续航能力。
具体来看,AI ISP能够利用AI算法对图像进行智能优化。例如,在低光环境下,AI ISP可以通过分析图像内容,自动调整曝光、增益等参数,以改善图像的亮度和清晰度;在复杂场景下,AI ISP能够识别并去除图像中的噪声和干扰,提升图像的整体质量。
AI ISP支持多帧合成技术,即通过将多张图像进行叠加和融合,以提升图像的动态范围和清晰度。这种技术在夜景拍摄、高速运动场景等方面具有显著优势。
AI ISP支持HDR技术,能够在同一场景中同时捕捉亮部和暗部的细节,使图像更加接近人眼的视觉体验。
AI ISP通过智能降噪算法,能够在保留图像细节的同时,有效去除图像中的噪声和干扰,提升图像的清晰度和纯净度。
AI ISP通常搭载高性能的处理器,如ARM Cortex-A系列处理器,以支持复杂的图像处理和AI算法运算。为了提升处理速度和效率,AI ISP还可能包含专用的硬件加速单元,如NPU(神经网络处理器)、DSP(数字信号处理器)等,以加速特定类型的图像处理和AI算法运算。
AI ISP支持多种高效能接口,如CSI(Camera Serial Interface)、HDMI(高清多媒体接口)、USB(通用串行总线)等,以便与不同类型的图像传感器和显示设备连接。
AI ISP市场需求呈现爆发式增长
AI ISP芯片的市场需求呈现爆发式增长。据市场研究机构预测,全球ISP芯片市场销售额将从2023年的6.65亿美元增长至2030年的10.2亿美元,年复合增长率达到6.4%。
目前,市场上有多家厂商在AI ISP领域有所布局,如华为通过自研的NPU(神经网络处理器)与ISP的结合,实现了独具特色的AI拍照功能,为用户提供了更加出色的拍照体验。
OPPO在2021年12月发布了自研的ISP芯片马里亚纳MariSilicon X,该芯片集成了AI处理单元,能够大幅提升拍照和视频录制的质量,特别是在暗光环境下的表现尤为出色。
小米也于2021年发布了自研的ISP芯片澎湃C1,这款芯片在图像处理、色彩还原等方面有着显著的提升,为小米手机的拍照功能提供了强大的支持。
Vivo 2021年也发布了V1 ISP芯片,该芯片在夜景拍摄、视频录制等方面带来了显著的改善,提升了用户的使用体验。
全志科技在最新的财报中表示,在视觉类应用的低光场景下,为解决低光拍摄和录制问题,研发了全新一代AI-ISP降噪算法,配合深度优化的软件,实现AI降噪功能的高效运行,并在相同信噪比情况下,实现2~4倍感光度提升,同时搭配了人脸检测、人形侦测、人脸识别、人形追踪等检测类和识别算法应用,在客户的产品上实现了量产落地。
全志科技的AI ISP技术已经应用于其多款芯片产品中,如高集成视觉SoC、智慧视觉处理器等。这些产品广泛应用于智能电视、智能安防、智能车载等多个领域,为用户提供高质量的图像处理体验。
爱芯元智此前也公布了其AI-ISP技术,并将其命名为“爱芯智眸”。该公司通过迭代AI模型来提升性能,快速实现芯片产品画质的升级换代,并在智慧城市、智能消费、智慧交通等领域进行了落地实践。
写在最后
AI ISP和传统ISP在处理方式、算法处理能力、灵活性和可升级性、实时性能、能耗和成本以及应用场景等方面存在显著差异。随着人工智能技术的不断发展,AI ISP将在更多领域得到广泛应用,并推动图像处理技术的不断进步。