基于线移的双目视觉基本原理
2.1  双目视觉的硬件系统组成
为了从二维图像中获得物体特征点的三维坐标，双目视觉系统至少从不同位置获取包含物体特征点的两幅图像。它的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。双目视觉系统在很多领域中都有应用，根据不同的使用对象，视觉系统的软硬件都会有所不同。通常的双目视觉系统主要由七个部分组成，主要是：摄像机和光学部件、灯光、部件传感器、图像采集卡、PC平台、检测软件以及数字I/O和网络连接。其中，摄像机和光学部件主要用于拍摄目标物体；灯光用于照亮部件，从摄像机拍摄到更好的图像；部件传感器在被检测物体靠近时给出一个触发信号，告诉视觉系统去采集图像；图像采集卡将摄像机与PC连接起来。它从摄像头中获得数据(模拟信号或数字信号)，然后转换成PC能处理的信息；PC平台为检测软件以及数字I/O和网络连接提供硬件支持，完成图像数据处理和传输，以及获得目标物体的三维信息[16]。
本课题的主要任务是用双目视觉系统模拟人眼功能，从获取的图像中得到目标物体的三维信息。设计同时使用两个摄像头，在不同位置对同一物体进行摄像，根据两张图之间物体成像视差原理获取物体的空间信息，为机器人实现抓取等动作提供诸如空间位置、物体重心等有用信息。为完成这一任务，实验中构建的双目视觉系统主要由摄像机和光学部件、灯光、摄像机架、图像采集卡、PC平台、检测软件等六部分组成。系统构成如图2-1所示：
                                                                                                         图2-1  双目视觉系统构成
2.2  双目视觉原理
双目立体视觉是基于视差原理，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面（或单摄像机在不同位置的图像平面）和被测物体之间构成一个三角形。已知两摄像机之间的位置关系，便可以获取两摄像机公共视觉场内的三维尺寸空间物体特征点的三维坐标。立体视觉是通过多幅图像获取物体二维几何信息的方法，对生物视觉系统，人们旱就注意到，几乎所有具有视觉的生物都有两个眼睛，用两个眼睛同时观察一个物体时，会有深度或远或近的感觉[17]。双目立体视觉就是仿照这个原理，利用两台摄像机从不同角度同时获取同一景物的两幅图像，通过计算空间点在两幅图像中的视差来获取景物的二维坐标值。其视差测距原理如图2-2所示，设分别为左、右两个相机的光学中心位置(透镜中心)， 与 之间的距离b，相机焦距 。设物体上的点P在左、右相机图像平面上的投影点分别为 ， 与  连线间的距离为d，过 ， 分别向图像面(即视平面)作垂线，垂足分别为 ， ，过P向图像面作垂线，垂足为B。令 ， ， 。
p

 　　　　　　 　　　a　B
  　　　    　            d
                        F
 　　 b           Cr
图2-2  视差测距原理图
由三角原理得
                                                         (2-1)
                                                    (2-2)
由（2-1）式和（2-2）得（2-3）
                                                          (2-3)
代入（2-1）得
                                                     (2-4)
由此可见距离d与b、f和 有关， 称为点P在左右两个图像面上的视差。两个图像相对应的对应点只在水平方向存在视差，而Y方向的坐标值是相等的。对于固定的成像系统模型而言，参数b、f取值己经确定，仅需要对立体图像对求取对应像素视差即可获得景物的深度信息。
2.2.1  线性摄像机成像原理
在线性摄像机成像模型中，需要定义的坐标系上要有：图像坐标系、摄像机坐标系与世界坐标系[18]。
摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字图像，并输入计算机。每幅数字图像在计算机内为M N数组，M行N列的图像中的每一个元素(称为像索，pixel)的数值即是图像点的亮度(或称灰度。若为彩色图像，则图像上像素的亮度由红、绿、蓝二种颜色的亮度表示)。图像上定义直角坐标系 ，每一像素的坐标 分别是该像素在数组中的列数与行数， 是以像索为单位的图像坐标系的坐标。就计算机图像而言，原点 多选作该幅图像的左上角顶点。由于 只表示像素位于数组中的列数与行数，井没有用物理单位表示出该所需在图像中的位置。因此，需建立以物理单位(如毫米)表示的图像坐标系。图像坐标系以图像内某一点 为原点，x轴与y轴分别与u轴，v轴平行。在x，y坐标系中，原点 定义为摄像机光轴与图像平面的交点，该点一般位于图像中心处，但由于摄像机制作的原因，也会一些偏离。若 在 坐标系中的坐标为( )，每一个像素在x轴与y轴方向上的物理尺寸为 ， ，则图像中任意一个像素在两个坐标系下的坐标如式(2-5)所示关系：
 
                                                      (2-5)
若采用齐次方程，则上式可用矩阵形式表示为：
                                              (2-6)
其逆关系表达示为：
                                           (2-7)
在明确了图像坐标系的意义后，我们可以再定义摄像机坐标系 ，其成像几何模型关系可由下图表示。其中 点被称为摄像机的光心，即线性小孔摄像机的成像中心， 轴和 轴分别与图像的x轴和y轴平行， 轴为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点就是图像坐标系的原点O。 的长度即为摄像机的焦距 。
                                                     
                                     Y                
                                     O               
                             X
图2-3  成像几何模型
由于摄像机可以被安放在环境中的任意位置，我们在环境中还有必要选作一个基准坐标系来描述环境中的任何位置信息[19]。这一基准坐标系即称为世界坐标系 。摄像机坐标系与世界坐标系之间的关系可由用旋转矩阵尺与平移量t来描述。因此，若空间中的一点P在世界坐标系与摄像机坐标系卜的坐标分别为( )和( )，则它们的齐次坐标 和 存在如下矩阵表达的关系：
                                          (2-8)
其中，R为3 3的正交单位矩阵：t为二维平移向量： ， 为４ ４矩阵。如图2-4即形象地描述了这二种坐标系之间的关系：
 
图2-4  摄像机标定过程中三个坐标系之间的关系
空间任何一点P在图像上的成像位置可以用针孔模型近似表示，即任何点P在图像上的投影位置P为光心O与P点的连线OP与图像平面的交点。这种关系被称为中心投影和透视投影，具有如下关系：
                                                         (2-9)
其中， 为P点的图像坐标；( )为空间点P在摄像机坐标系h的坐标。用齐次坐标与矩阵表示上述透视投影关系为：
                                           (2-10)
将式(2-8），（2-9)代入式(2-10)中可得到世界坐标系表示的P点坐标与其投影点P的坐标 的关系，如式(2-11)所示：
                            （2-11）
其中， ；M为3 4矩阵，该矩阵称为投影矩阵；M完全由  决定。由于这些参数只与摄像机内部结构有关，称这些参数为摄像机内部参数。M完全由摄像机相对于世界坐标系的方位而定，因此被称为摄像机的外部参数。所谓的摄像机标定就是确定摄像机的内部和外部参数。
显然，如果己知摄像机的内部和外部参数，就能够知道摄像机的投影矩阵M。对任一空间点P，如果己知它的坐标 ，就可以求出它在图像上的投影点p的位置 [20]。反过来，若已知空间某点P在图像上的坐标值p ，即使已经知道摄像机的全部内外参数，也不能确定该点的空间位置。这是由于式(2-11)中，M是一个3 4的不可逆矩阵，所以，当未知数的个数为3时，我们却只能得到两个线性方程。从上面的图中可以很直观地看出这点。空间中的一点P在图像上的投影点为p，而对于图像上的p点，连线 上的任何一点都可能是被摄物体，所以该点不能被唯一确定。
2.2.2  双目视觉对极几何
本设计采用的匹配方式是外极线匹配约束。
在交向摆放姿态的立体双目视觉模型中，空间物体点与左右像平面之间构成一个重要的几何关系：对极几何[21]。
如图2-5所示， 、 分别为左右摄像机的透视中心。 、 和空间物点P构成一个平面，称为外极平面。外极平面与左右像平面的交线 、 分别称为投影点 、 在左右像面上的外极线。 与左右像平面的交点 、 叫做左右像平面的极点。同一像平面上的所有外极线都应相交于 点,称为该像面的外极中心。
                               P

                                         
                                           
 
图2-5  交向姿态双目视觉模型的对极集合关系
对极几何为双目视觉立体匹配提供了一个局部约束条件。与左像面上投影点 所对应的右像面投影点 必在右外极线 上，反之与右象平面上投影点 所对应的左像平面投影点 必在左外极线 上。所以极线 、 在左右像平面上是相互对应的。设左右摄像机的坐标系分别为 和 ，其中：  、 为左右摄像机的透视中心，设左右摄像机坐标系之间有如下变换关系：
                                           （2-12）
                                      （2-13）
如果左像平面上一条斜率为 并通过左外极中心 的直线与右像面上一条斜率为 并通过右外极中心 直线相匹配,则这两条直线分别为同一外极平面与左右像平面的交线。 与 有如下对应关系：
                                  （2-14）
              （2-15）
给定左像面上一点，计算过该点的左极线斜率以及与之相对应的右极线斜率，就可以在右图像中沿着右极线搜索相匹配的右像点。外极线斜率约束为方体匹配提供了横向上的约束，与空间二进制编码相接合，就可以实现高精度、高密度的匹配了，经过插值处理可以达到亚像素级水平的匹配。
2.3  线移结构光基本原理
根据光学投射器的光束模式不同，结构光模式可分为点结构光模式、线结构光模式、和多线结构光模式以及网格结构光模式等。
下面介绍线结构光模式和多线结构光模式：
线结构光又称光带模式。如图2-6所示，激光器投射的光束通过一柱面镜在空间形成一窄的激光平面，当与物体表面相交时便在物体表面产生一亮的光条。该光条由于物体表面深度的变化以及可能的间隙而受到调制，表现在图像中则是光条产生了畸变和不连续，畸变的程度与深度成正比，不连续则显示出了物体表面间的物理空隙。线结构光视觉的任务就是从畸变的光条图像信息中获取物体表面的三维信息。