在一个完备的数字孪生系统中，对运行环境和数字孪生组成部件自身状态的感知是基础，也是数字孪生系统中的重要环节。感知系统的实现主要依赖不同类型的传感器及其融合技术。按照感知位置划分，数字孪生系统的传感器可分为内部传感器和外部传感器两大类，其中内部传感器用于检测设备或装备的内部参数，如加速度传感器、速度传感器、位移传感器、位置传感器等；外部传感器用于检测设备或装备以外的外部参数，分为接触式和非接触式两类，接触式包括触觉传感器、力觉传感器，非接触式传感器包括视觉传感器、嗅觉传感器、听觉传感器、接近觉传感器等。基于图像方法的非接触式测量是一种重要的环境感知方法，能够为后续的控制与决策提供底层信息。本文结合自主移动机器人双目立体视觉障碍物探测感知的实际研发案例，深度讲解图像感知技术。
一、应用背景
机器人道路环境的理解，除了检测和识别道路导航标识外，还需准确探测出道路环境中的障碍物，以提高道路环境理解的准确性和完整性。机器人障碍物检测常采用两种途径：雷达测距法，CCD视觉法。本文研究的是后者。
典型的自主车障碍物视觉检测系统如图1所示。
（a）完全依靠立体视觉感知的自主车Prowler（b）自主车Navlab的障碍物检测系统
图1典型自主车立体视觉障碍物检测系统
在DARPAUrban Challenge中，Princeton车队的自主车Prowler只用了3个立体视觉摄像机Bumblebee就完成了看路及障碍物检测。据报道，其立体视觉系统能探测60米远，一套障碍物检测算法即可通用。
双目视觉在智能机器人中也是一项核心技术。要实现机器人的深度人工智能，让机器人能够看得更准、更快、更智能是最基本的条件之一。机器人视觉的研究当前还面临着大量难点问题，其中基于立体视觉的快速鲁棒环境感知与理解就是一大技术难点。
图2双目移动机器人
二、一般方法
具有代表性的立体视觉障碍物检测方法可总结为以下几种。
1．按像素点匹配法
对机器人获取的行进道路图像中需要判定的每一个像素点进行立体视觉计算，根据图像坐标、摄像机坐标及世界坐标系之间的关系，计算出像素点的高度值，该值与地面高度值的差值超过设定的阈值则划分为障碍点，否则为可通行区域。典型应用是火星探测车“勇气号”和“机遇号”，做法是：先对图像中的每一像点进行左右视点匹配及高峰、小点过滤，再根据其像点的高度、斜坡度判断是否为障碍物，同时建立障碍物的远近层次图，当前只考虑较近层次的障碍物。该方法的缺点是对图像中的每一个像素点都要进行立体视觉重建，计算量大，不能满足机器人的实时性要求。
2．映射变换矩阵法
定义一个实时映射变换矩阵，使地面点与图像平面中像点一一对应。在双目视觉移动机器人中，分别通过实时匹配算法计算得到映射变换矩阵，结合后可得到左右图像上像点的关系。如果点（X,Y）位于机器人行走的可通行区域上，则通过映射计算的像点坐标与通过匹配算法验证的对应点坐标重合，否则，意味着该点高于或低于地面，判定为障碍物。
缺点：道路不平坦时，摄像机成像平面与地面相对几何位置不断变化，摄像机的图像坐标系与地面坐标系之间映射关系也随之变化，这就需要对摄像机能够实时进行标定，否则检测精度受到影响。
3．基于图像分割的方法
一种常见的做法是：采用彩色图像视觉系统，先利用颜色特征将场景中的每个像素归类到可通行区域和可疑障碍物区域两个集合中，即初步检测障碍物；然后进行立体视觉计算，计算时只在可疑障碍物区域搜索，消除图像分割时“伪障碍物”（如阴影、树叶）的影响，更加精确可靠的检测出障碍物。为增强对环境变化的适应性，研究者提出了自适应图像分割方法。事先训练在不同光照条件下可行区域的颜色值，通过计算当前光照条件下路面的参考色调、饱和度值及阈值，对机器人场景图像达到自适应分割。有的研究利用颜色加纹理特征进行道路图像分割及初步障碍物检测，这种做法增加了检测的准确性，但同时增加了计算量。
尽管人们对基于视觉的障碍物检测方法已开展了大量研究，但迄今为止该领域的一些关键技术问题仍未得到很好的解决，总的来看，目前车载视觉平台障碍物检测的难点可总结为以下几点：
（1）特征相似障碍物的区分。有些障碍物与可通行区域的特征提取结果非常相似，例如颜色、纹理特征一致，此时障碍物的准确辨识比较困难，可以尝试采用多特征融合方法加以解决。
（2）伪障碍物的检测及障碍物界定。有些伪障碍物按照系统障碍物的定义被判断为障碍物，例如路面上高度、体积不大的石块、砖块等，空中突然闯入的飞鸟、纸屑、树叶等，还有扬尘尘团、污染物团等，如果频繁的把这些伪障碍物作为障碍物处理，显然会影响车辆行进速度。
（3）运动振动造成的障碍物信息测量失真。典型的情况如无人平台在野外复杂凹凸地形环境下行进时，行进过程中的振动使得传感器检测和传输的数据不连续，从而造成所描述的地形信息不准确，障碍虚报、误报率增大，影响平台行驶速度。
在结构化、半结构化道路环境中，障碍物主要是车辆和行人，非结构化道路环境中的障碍物主要是石块、树干等凸形路障和凹形坑洞。单目图像分割、特征提取算法一般不能排除与可通行区域同色调的小障碍等伪障碍物对检测结果的影响，但单目特征提取再结合模式识别、目标跟踪等算法可快速探测到障碍物，并实现对其跟踪。立体视觉可以让机器人进一步理解障碍物的距离、高度信息，有效排除伪障碍物，从而提高其对环境理解的精准度[77-79]。本章采用彩色双目立体视觉技术、结合局部不变性特征检测技术和视觉显著性理论，提出两种基于车载机器视觉的障碍物检测算法，一种是融合深度信息的多特征融合障碍物检测算法；一种是基于低层视觉显著性特征匹配的动态车辆障碍物检测算法。由于采用的是已标定好的双目摄像机，故没有对摄像机标定展开深入研究，将研究重点放在双目匹配及深度信息获取环节。
三、双目立体感知步骤
基于双目视觉（Binocularvision）的立体感知步骤如图3所示。
图3双目立体视觉感知步骤
立体视觉计算包括两个主要处理模块，数据处理流程如图4所示：
图4立体视觉数据处理流程
视差是立体视觉中的关键概念。视差的定义为：空间中同一点在左右目图像中坐标上的差值。其含义解释如图5。
图5视差的含义
图5中，点A的视差定义为：，点B的视差定义为：，其中，为A在左图像中的x坐标，为A在右图像中的x坐标。B可类推。计算后会发现：，这表明场景中点B比点A近。
四、立体匹配
立体匹配是所有步骤中的难点，也是一直以来立体视觉研究的热点。近年来，基于图割的、基于图像局部特征的、基于多尺度空间的，以及基于综合型算子如Contourlet-SIFT的立体匹配算法得到了广泛研究。根据自主车在不同道路环境下的视觉导航需求，需采取恰当的图像预处理方法及立体匹配算法，研究开发适用于实际应用系统特点的实时立体匹配算法才具有实用价值。
现有的匹配算法可以分为两种类型：一种是基于特征的匹配，另一种是基于像素的匹配。基于特征的匹配需要先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征。基于像素的匹配假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点。匹配计算实质上是一个优化问题，优化方法又分为局部优化和全局优化方法两类。局部优化方法通常只能保证视差是某个区域内的最优解，不能在整个图像范围内对视差进行优化。全局优化可得到全局最优的视差分布，但如何定义目标函数及开发行之有效的寻优算法有难度。基于局部优化的典型匹配方法有：基于区域的匹配法、基于小波域相位的匹配法、基于三角剖分的匹配法、基于秩变化和Census变换的变换匹配法、基于特征和区域混合的混合匹配法。基于全局优化的典型匹配方法有：基于动态规划的匹配法、最大流-最小割法、协同迭代法等。常用的优化方法有：神经网络、模拟退火、遗传算法、粒子滤波、动态规划、最大流-最小割法等，但这些算法在面临图像高维数据据时，都或多或少存在着难以控制收敛、效率低问题。
求解匹配关系最优化一般使用如下能量函数形式：
式中，
为数据项，表示对应像素匹配的一致性程度；
为惩罚项，记录误匹配；
为平滑项，用于约束邻接像素，使其具有一致性视差。
为减少误匹配，通常采用增加约束的手段。立体匹配的约束条件有：唯一性约束、相似性约束、外极线约束、平滑性约束、单调性约束、顺序约束、遮挡约束。
在自主车、机器人导航的应用环境下，所采用的立体视觉算法还应该满足如下的要求：
（1）实时性。应能满足实时响应控制系统、导航决策系统需求的能力，在规定时限内为其提供必要的数据。
（2）可靠性。算法在不同条件下可准确辨识出障碍物，且一旦出现异常问题，算法具有自动修复、自动容错能力。
（3）环境自适应性。根据车辆运行环境的变化，算法应能自动调整其采集到的环境特征，并自主学习其特征参数，最终通过机器学习算法实现对环境的自适应。
典型的立体匹配算法是基于像素“绝对误差累计”的块匹配算法。步骤为：
（1）对图像A中的某一个像素，以该像素为中心，确定一个像素的正方形模板；
（2）沿水平极线（同一行），将（1）中模板与图像B中的相同大小模板遍历比较；
（3）依据比较结果，选择最佳匹配；
（4）重复步骤（1），直至所有点匹配完成。
模板比较时采用的公式为：
五、深度信息获取及三维重建
本文采用的双目视觉系统如图6所示，左右摄像机的两幅图像是行对准的，光轴严格平行，两摄像机间的极线距离为T，焦距相同，为左图像的原点，为右图像的原点。则利用三角测量原理，可由视差d计算出深度Z。
图6理想假设下深度与视差的三角测量关系
利用相似三角形，可推导出：
（3）通过公式4，可确定可获得的最小深度范围的精度。
（4）其中，是允许的最小视差增量。
已知像素的视差d和坐标，通过公式5就可计算出该像素的三维坐标。
摄像机坐标系下，其视差分别为d1，d2，d3，显然，。
图7远近不同点的视差关系
由公式分析可知，当视差很小时，微小的视差变化会引起很大的深度变化；当视差较大时，微小的视差变化几乎不会引起深度太大的变化。结合图7进一步分析可知，物距越远，视差变化引起的测距深度变化越不明显，即越不利于深度的精确测量。于是可得到如下结论：立体视觉对距离摄像机较近的物体有较高的深度测量精度，超过一定物距范围将不能保证精度。
对工业机器人抓取工件、三维建模等需要精确知道三维世界坐标的应用场合，需要真正的三维重建。但对于机器人立体视觉导航应用，由于对实时性的强烈要求，并不需要做完整的三维重建。移动机器人视觉导航实质上是对视频图像（图像序列）的处理、分析及理解问题。在利用静态图像基础理论的基础上，还应更多关注图像运动信息的分析问题，例如利用帧到帧的匹配来重建运动轨迹。
