CN101619962A - 基于全彩色全景led光源的主动三维立体全景视觉传感器 - Google Patents

Abstract

一种基于全彩色全景LED光源的主动三维立体全景视觉传感器，包括全方位视觉传感器、全景彩色结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器与所述全景彩色结构光发生器配置在同一根轴心线上；所述全方位视觉传感器包括摄像单元和双曲面折反射单元；所述全景彩色结构光发生器包括LED彩色结构光发生单元和双曲面折射单元，所述的双曲面折反射镜面和所述的双曲面折射镜面具有相同成像参数；所述微处理器包括：LED光源控制单元、视频图像读取模块、空间信息计算模块和三维图像重构模块。本发明能够减少计算、快速完成测量、实时性好、实用性强。

Description

基于全彩色全景LED光源的主动三维立体全景视觉传感器

技术领域

本发明涉及LED光源、光学技术以及计算机视觉技术在立体视觉测量方面的应用，尤其是一种主动三维立体全景视觉传感器。

背景技术

基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。

立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差、即视差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。

立体视觉测量中的关键是要实现同一被测物体在不同角度观测的立体匹配，所谓的立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素的图像进行无歧义的匹配，显然是十分困难的，至今这个问题还没有得到很好的解决。立体匹配的有效性有赖于三个问题的解决，即：选择正确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选择特征的稳定算法。

立体视觉测量是模仿人类利用双目线索感知距离的方法，实现对三维信息的感知，在实现上采用三角测量的方法，运用两个摄像机对同一物点从不同位置成像，并进而从视差中计算出距离。但是目前立体视觉的技术还无法达到全方位的实时感知，在摄像机标定、特征提取和立体图像匹配方面还没有得到很好的解决。

目前双目立体视觉测量系统的一个局限性是焦距固定，由于一个固定的焦距只能在一定景深范围内清晰拍摄图像，因而限制了测试区域；标定技术还没有很好解决，立体视觉测量系统在各种运动中变化参数是不可避免的，比如运输过程中的震动、工作冲击等的影响，而实际中又不可能总是放几张棋盘在“眼前”进行标定，因而限制了许多应用；双目立体视觉测量系统还没有实现小型化、微型化，使得在机器人、航模等领域的应用受到限制；计算量大，难以进行实时处理，因而限制了实时目标辨识等应用；双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。

近年发展起来的全方位视觉传感器ODVS(OmniDirectionalVisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时也为构建双目全方位视觉传感器的立体视觉测量系统提供了一个基本要素。

中国发明专利申请号为200510045648.1公开了一种全向立体视觉成像方法及装置，该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是：1)由于一幅图像包括了的特征点“两幅”全向图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半；2)上下两个反射镜面会出现遮挡，影响立体视觉范围；3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同，上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上；4)由于透视相机镜头存在的对焦问题，只能满足两个反射镜面中的某一个反射镜面为最佳焦距，因而必然会影响成像质量；5)两个反射镜面的焦点距离就是该系统的基线距，因而造成基线距过短，影响测量精度。

中国发明专利申请号为200810062128.5公开了一种基于双目全方位视觉传感器的立体视觉测量装置，该专利中组成立体视觉测量装置的两个ODVS采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配，从而达到立体视觉测量的目的。但是从完成点对点匹配到立体测量仍需要较大的计算资源，要实现实时在线的立体测量以及三维立体重构仍然存在着一些“病态”计算问题。

上述所介绍的三维立体视觉测量技术中最大难题是被动式的立体摄像测量中普遍存在的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高。通常解决该问题的一种有效的方法是采用结构光主动视觉技术，如点结构光、线结构光扫描法以及编码结构光法等。然而这些方法必须使用精密标定装置事先标定有关参数，而且它们只能适用于特定的场合，要做到在线实时标定或不标定重构三维场景，难度很大，有时甚至不可能。同时针对全方位视觉需要有一种全景的彩色光编码技术来支持。

LED光源的出现为实现全景的彩色光编码技术提供了技术基础，使用超高亮度功率型红、绿、蓝三基色LED，可制成结构紧凑发光效率比传统白炽灯光源高的多的数字式调色调光光源，配合计算机控制技术，可得到极其丰富多彩的发光效果。

LED，发光二极管又叫光发射二极管，英文名为Light Emitting Diode，是一种可将电能变为光能的一种半导体器件，属于固态光源。LED光源具有以下几个优点：(1)光色纯：LED是分立的光谱，谱线狭窄，色彩丰富，鲜艳，可以有多样化的色调选择和配光；(2)光束集中：LED发光大部分集中会聚于中心，发散角小，发射光角在10°～100°，发光均匀性好，可以减少眩光，减化全景的彩色光编码器的结构；(3)小型化：LED是用环氧树脂封装固态光源，其结构既不像白炽灯有玻璃泡、灯丝等易损坏部件，也不像荧光灯有体积大的灯管和附件，它是一种全固体结构，因此能经得起震动、冲击而不至损坏，而且体积也相对减小，重量也轻，应用灵活，可在狭小空间投光，利于集成在全方位视觉传感器内；每个单元LED小片是3-5mm的正方形，所以可以制备成符合全景彩色结构光器形状的器件；(4)响应速度快：LED灯响应时间短，可瞬间启动，反复开关，可灵活控制，加上时序控制电路可实现多种动、闪、跳的灯光变幻。LED发光的响应时间为纳秒级，荧光灯一般为毫秒级：(5)效能高：消耗能量比同光效的白炽灯减少80％，可以省去散热部分的设计；(6)颜色丰富：改变电流可以变色，发光二极管方便地通过化学修饰方法，调整材料的能带结构和带隙，实现红黄绿兰橙多色发光；通过设计可以覆盖整个可见光和红外光；(7)超长寿命：LED元件的寿命非常长，理论上可达到50000小时之久，是投影灯泡的十倍，如果每天使用5小时计算，LED光源可以使用10年以上，而且频繁的开关，也不会影响到使用寿命；(8)亮度衰减小：LED的发光指向性非常强，亮度衰减比传统光源低很多，在使用2000小时之后，其衰退率不超过5％。因此，利用LED器件的这些优点来实现一种全景的彩色光编码器，为主动三维立体全景视觉传感器提供一种主动全景结构光源。

发明内容

为了克服已有的立体视觉测量装置的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高等不足，本发明提供一种能够减少计算机资源消耗、快速完成测量、实时性好、实用性强、鲁棒性高的主动三维立体全景视觉传感器。

本发明解决其技术问题所采用的技术方案是：

一种基于全彩色全景LED光源的主动三维立体全景视觉传感器，包括全方位视觉传感器、全景彩色结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器与所述全景彩色结构光发生器配置在同一根轴心线上；

所述全方位视觉传感器包括第一双曲面镜、第一上盖、第一透明半圆形外罩、第一下固定座、第一摄像单元固定座、摄像单元、第一连接单元和上罩；所述的第一双曲面镜固定在所述的第一上盖上，所述的第一连接单元将所述的第一下固定座和第一透明半圆形外罩连接成一体，所述的第一透明半圆形外罩与所述的第一上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的第一摄像单元固定座上，所述的第一摄像单元固定座固定在所述的第一下固定座上，所述全方位视觉传感器中的摄像单元的输出与所述微处理器连接；

所述全景彩色结构光发生器包括第二双曲面镜、第二上盖、第二透明半圆形外罩、第二下固定座、第二连接单元和LED光源；所述的第二双曲面镜固定在所述的第二上盖上，所述的第二连接单元将所述的第二下固定座和第二透明半圆形外罩连接成一体，所述的第二透明半圆形外罩与所述的第二上盖通过螺钉固定在一起，所述的LED光源固定在所述的第二连接单元上；

所述第二双曲面镜和第一双曲面镜具有相同的成像参数；

所述微处理器包括：

LED光源控制单元、视频图像读取单元、空间信息计算单元、三维图像重构单元和存储设备；

LED光源控制单元，用于控制全景彩色光编码发生器发出全彩色全景结构光，在LED光源控制单元使LED光源的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在LED光源控制单元使LED光源的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际LED光源的供电电源开关控制采用电子开关来实现；

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在LED光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在LED光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光调制单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(Φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm         (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对LED光源的供电电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当LED光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当LED光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像。

作为优选的一种方案：所述的LED光源是由多组不同中心波长的LED所组成，每个LED的发散角选择在10°，所述的LED光源的基板是一个圆形平板，每个LED均固定在该圆形平板上；不同中心波长的LED是以中心波长小到大从所述的圆形平板的内径到外径进行排列，同一中心波长的LED配置在所述的圆形平板的同一直径上；每个LED都正对着所述的第二双曲面镜。

进一步，对全彩色全景LED光源采用分时控制技术，通过电子开关来控制全景彩色结构光发生器的发光或者不发光，在LED光源控制单元使LED光源的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在LED光源控制单元使LED光源的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息。

更进一步，所述的第一双曲面镜和第二双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1    当Z＞0时      (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ      (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角x，y表示在成像平面上的一个点。

作为优选的再一种方案：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用背靠背型连接，所述全方位视觉传感器的第一上盖与所述全景彩色结构光发生器的第二上盖连接；将两个具有同一参数的双曲面镜面的凹面对着凹面。

或者是：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用面对面连接，将所述全景彩色结构光发生器的第二连接单元和所述全方位视觉传感器的第一连接单元通过螺钉进行连接。

又或者是：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用面对背连接方式，将所述全景彩色结构光发生器的第二上盖与所述全方位视觉传感器的第一连接单元连接；将两个具有同一参数的双曲面镜面的凸面对着凹面，其中凸面是全方位视觉传感器的第一双曲面镜，凹面是全景彩色结构光发生器的第二双曲面镜。

再或者是：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用背对面连接方式，将所述全方位视觉传感器的第一上盖与所述全景彩色结构光发生器的第二连接单元连接；将两个具有同一参数的双曲面镜面的凹面对着凸面，其中凹面是全方位视觉传感器的第一双曲面镜，凸面是全景彩色结构光发生器的第二双曲面镜。

进一步，所述的空间信息计算模块包括折射角α_p计算单元、入射角α_o计算单元和距离计算单元；其中，

折射角α_p计算单元，用于利用全景彩色结构光发生器的折射角α_p与LED器件所发射出的光波长之间具有一定的函数关系来计算的，当LED光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与折射角α_p存在一一对应关系，利用该关系来得到折射角α_p；

入射角α_o计算模块，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o    (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光发送单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{m}A}=\frac{\cos \left({\mathrm{\α}}_o\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}---\left(13\right)$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为折射角，R1为物点A与全方位视觉传感器的实焦点O_m的距离，R2为物点A与全景彩色结构光发生器的实焦点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

再进一步，在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一折射角α_p之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角α_o之间存在的映射关系，折射角α_p、入射角α_o计算采用查表方式实现；首先按全方位视觉传感器的成像平面的点坐标顺序读取某一个点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角α_o，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的折射角α_p；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息。

本发明的技术构思为：要实现上述发明内容，必须要解决两个核心问题：(1)实现一种全景的彩色光编码器，能为主动三维立体全景视觉传感器提供一种主动全景结构光源；(2)实现一种能获得与实际物体一一对应的景物深度和色彩对应图的全景视觉传感器。

实现一种全景的彩色光编码器主要是要通过一种能产生全景的彩色光编码技术来实现的，使得在一个二维的全景视频图像的每一个像素点本身都带有景物的深度信息，通过该技术能提高图像空间的信号源质量从而解决立体视觉测量中的快速匹配问题；要实现主动三维立体全景视觉传感，需要开发出一种能获得与实际物体一一对应的景物深度和色彩对应图的全景视觉传感器，通过集成全景彩色结构光发生器和全方位视觉传感器来构建一种主动立体全景视觉传感器，实现在全景视觉传感器的成像平面上的任何像素单元都具有景物深度、方位和色彩信息，最终实现用一幅全景图像来直接感知、表达与重构三维全景场景。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图7中的2-1-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点，即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)。

图7中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1            当Z＞0时       (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                         (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ               (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点；

为了获得比较大的立体视觉范围，在所述的双曲面镜面2设计时需要尽可能加大双曲面镜面的仰角，采用减小双曲面镜的实轴a和虚轴b的比来加大双曲面镜面的仰角，设计时需根据立体视觉的范围、双曲面镜的直径大小来选择一个适当的实轴a和虚轴b的比，最大仰角极限是双曲线的渐进线与X轴的夹角；

全景彩色结构光发生器的工作原理是：LED光源9的基板是一个圆形平板，每个LED均固定在该圆形平板上，如附图5所示；不同中心波长的LED是以中心波长小到大从所述的圆形平板的内径到外径进行排列，同一中心波长的LED配置在所述的圆形平板的同一直径上，每个LED的发散角选择在10°左右，每个LED都正对着所述第二双曲面镜面2-2；在LED光源的供电电源处于ON状态时，每个LED都发射出各自中心波长的光，这些特定波长的光经过第二双曲面镜面2-2折反射，由于双曲面镜面具有单视点的功能，所有折反射光的光线均经过双曲面镜面的实焦点O_m向外折反射，这样就在整个半球面上产生了一圈圈的彩色结构光，且每种波长的光都对应着第二双曲面镜面2-2上的某个折射角α_p；

基于全彩色全景LED光源的主动三维立体全景视觉传感器的工作原理是：从安置在全景彩色结构光发生器的第二双曲面镜面2-2正对面处的LED光源9，在LED光源的供电电源处于ON状态时，LED光源9发射出从园中心到园外径的一圈圈的峰值波长依次增长的彩色光，这些一圈圈彩色光投射到全景彩色结构光发生器的第二双曲面镜面2-2上后，以第二双曲面镜面2-2的实焦点为中心向外四周折射，在水平方向360°形成了呈双曲线函数关系变化的一圈圈的峰值波长的折反射光，空间上的一个点A(X，Y，Z)接受到一定波长的光，该光点继续向全方位视觉传感器的双曲面镜2-1反射，光线朝向全方位视觉传感器的双曲面镜2-1的实焦点，根据双曲面的镜面特性向着全方位视觉传感器的虚焦点14折反射，图7所示；反映实物图像的各具有一定波长的光点经全方位视觉传感器的双曲面镜2-1反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)，光路图如图6中的粗实线所示；实际上通过两个同一的双曲面镜面以及LED光源9的共同作用使得在原有立体摄像测量中的特征选取、图像匹配步骤进行简化，通过两个同一参数的双曲面镜面以及LED光源9的共同作用确定了空间上的一个点A(X，Y，Z)在成像平面上点P(x，y)的入射角和方位角，即称为确定空间上的点A(X，Y，Z)的约束条件；这是因为由于全景彩色结构光发生器与全方位视觉传感器具有两个相同参数的双曲面镜，且两个相同参数的双曲面镜在同一个轴心线上，因此确定点A(X，Y，Z)的方位角是非常容易的，关于发射角可以通过LED光源9所确定的光线波长来确定，关于入射角可以通过成像平面上点P(x，y)来确定，这样就确定了点A(X，Y，Z)与观察点的空间位置关系；

本发明中采用“中央眼”视觉方式来描述空间上某一物点A的信息(R，φ，β，r，g，b，t)，所谓的中央眼是立体视觉基线距的中点，是通过全方位视觉传感器和全景彩色结构光发送器的视点之间的连线中心点来算得到，这里将中央眼的坐标作为高斯球面坐标的原点O，如图8所示；空间上某一物点A的信息(R，φ，β，r，g，b，t)中的R用公式(13)的计算结果设置，φ用公式(14)的计算结果设置，β用公式(3)的计算结果设置，r，g，b分别用当LED光源的供电电源处于OFF状态时全方位视觉传感器的成像平面上该像素点的实际色彩分量值设置，t用微处理器的时钟进行设置；这样空间上的任何点的信息都能用(R，φ，β，r，g，b，t)7个分量值进行表达，如附图9所示。

本发明的有益效果主要表现在：

1)、获取实时的全景立体视频图像，跟踪的监控物体不会出现丢失，采用大仰角的双曲面镜的全景立体视频设计，解决了大空间内的快速移动目标对象的实时跟踪提供了完整的理论体系和模型；

2)、提供了一种全新的立体视觉获取方法，通过主动的全景彩色结构光发生、基于双曲面镜的彩色光发射的技术和基于双曲面镜折反射的全方位成像技术，实现了快速的全景立体摄像测量；

3)、不再需要繁琐的摄像机标定工作、特征提取、立体图像匹配等步骤，为快速全景立体摄像测量提供了一种新的手段；

4)、通过全景彩色结构光发生器所生成的全景立体图像本身具有立体感和距离感；

5)、充分利用了LED光色纯和光束集中的优点，构成全景彩色结构光发生器的每个LED都具有分立的光谱，谱线狭窄，色彩丰富，鲜艳，LED发光大部分集中会聚于中心，发散角小，为准确立体摄像测量提供了一种高分辨率的、高清晰的彩色投影装置；

6)、充分利用了LED的响应速度快和效能高的特点，通过对LED供电电源的控制，在一个成像芯片不但能获得全景范围内空间物点的深度距离信息，而且也能获得空间物点的色彩信息，同时发光效率高不需要任何散热装置；

7)、作为主动光源，LED具有小型化、轻量化、超长寿命和亮度衰减小等优点，在便携、可靠、使用寿命、维护成本等性能指标上具有明显的优势；

8)、采用同一极球面坐标处理手段，可利用数字几何的计算方法能容易实现三维图像重构和三维物体测量。可广泛的应用于各种工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、人体测量、动画电影、游戏等许多应用领域。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为一种全景彩色结构光发生器的结构图；

图3为一种面对面型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的原理图；

图4为一种面对面型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的立体测量范围示意图；

图5为全景彩色结构光发生器的发光原理示意图；

图6为背靠背型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的处理结构框图；

图7为全方位视觉传感器的成像原理图；

图8为高斯球面坐标与三维直角坐标之间的关系示意图；

图9为双目视觉中的中央眼的概念图；

图10为面对背型主动三维立体全景视觉传感器的双曲面镜的配置图；

图11为面对面型主动三维立体全景视觉传感器的双曲面镜的配置图；

图12为背靠背型主动三维立体全景视觉传感器的双曲面镜的配置图；

图13为背对面型主动三维立体全景视觉传感器的双曲面镜的配置图；

图14为一种面对面型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的立体摄像测量的原理图；

图15为全方位视觉传感器和全景彩色结构光发生器具有相同极平面的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～5，图7～9、图11、图14～15，一种基于全彩色全景LED光源的主动三维立体全景视觉传感器，包括全方位视觉传感器、全景彩色结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器与所述全景彩色结构光发生器配置在同一根轴心线上；所述全方位视觉传感器包括第一双曲面镜面2-1、第一上盖1-1、第一透明半圆形外罩3-1、第一下固定座4-1、摄像单元固定座5-1、摄像单元6、第一连接单元7-1、上罩8，如附图1所示；所述的第一双曲面镜面2-1固定在所述的第一上盖1-1上，所述的第一连接单元7-1将所述的第一下固定座4-1和第一透明半圆形外罩3-1连接成一体，所述的第一透明半圆形外罩3-1与所述的第一上盖1-1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5-1上，所述的摄像单元固定座5-1用螺钉固定在所述的第一下固定座4-1上，所述全方位视觉传感器中的所述的摄像单元6的输出与所述微处理器连接；所述全景彩色结构光发生器包括第二双曲面镜面2-2、第二上盖1-2、第二透明半圆形外罩3-2、第二下固定座4-2、第二连接单元7-2、LED光源9，如附图2所示；所述的第二双曲面镜面2-2固定在所述的第二上盖1-2上，所述的第二连接单元7-2将所述的第二下固定座4-2和第二透明半圆形外罩3-2连接成一体，所述的第二透明半圆形外罩3-2与所述的第二上盖1-2通过螺钉固定在一起，所述的LED光源9固定在所述的第二连接单元7-2上；所述第二双曲面镜面2-2和第一双曲面镜面2-1具有相同的成像参数；所述全景彩色结构光发生器和所述全方位视觉传感器通过螺钉进行连接，如附图3所示；

所述的LED光源9是由几组不同中心波长的LED所组成，每个LED的发散角选择在10°左右，LED光源9的基板是一个圆形平板，每个LED均固定在该圆形平板上，如附图5所示；不同中心波长的LED是以中心波长小到大从所述的圆形平板的内径到外径进行排列，同一中心波长的LED配置在所述的圆形平板的同一直径上；每个LED都正对着所述第二双曲面镜面2-2，这样每个LED所发出的特定波长的光经过第二双曲面镜面2-2折反射，由于双曲面镜面具有单视点的功能，所有折反射光的光线均经过双曲面镜面的实焦点O_m向外折反射，这样就在整个半球面上产生了一圈圈的彩色结构光，这就是全景彩色结构光发生器的发光原理；所形成的彩色结构光与所述全景彩色结构光发生器的折射角αp之间具有一定的函数关系，因此只要得到某一个光的波长就可以估算出全景彩色结构光发生器的折射角αp；附图5中是经第二双曲面镜面2-2折反射后在整个半球面上产生的一圈圈的彩色结构光示意图，从第二双曲面镜面2-2的实焦点O_m来讲，所产生的一圈圈的彩色结构光是以较短的波长到较长的波长从折射角αp的俯角到折射角αp的仰角连续变化的；

所述的双曲面镜面，双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1           当Z＞0时         (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                          (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ                (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点。

进一步，所述全方位视觉传感器与所述全景彩色结构光发生器之间采用面对面型连接，如附图3、附图4和附图11所示，所述全景彩色结构光发生器的第二连接单元7-2和所述全方位视觉传感器的第一连接单元7-1通过螺钉进行连接；

根据全景彩色结构光发生器的发光原理，这时某一波长光的波长与折射角αp成一一对应关系，换句话说，该波长光的波长确定了从全景彩色结构光发生器的视点Op的极线方向，由于本发明中全方位视觉传感器的镜面与全景彩色结构光发生器的镜面采用相同的参数，并将两个镜面的轴线配置在同一轴心线上，如附图15所示，这种结构方式能保证某一波长光的波长在全景彩色结构光发生器镜面上的折射与在全方位视觉传感器镜面上的折反射必定在同一极平面上，即具有相同的方位角，因此通过这种结构简化了双目立体视觉中的极线匹配难题。

具有某一特定波长的点将在全方位视觉传感器的成像平面上有一个对应点，即P(x，y)，根据双曲面镜的折反射成像原理可通过公式(6)计算出该点的折反射光线与Z轴的夹角γo；有了折反射角γo，就可以通过公式(7)计算得到具有某一特定波长的点的入射角αo，

${\mathrm{\γ}}_0={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(6\right)$

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o            (7)

某一波长光的波长的折射角αp与入射角αo均在同一极平面上，有了这两个数据就能方便地得到空间点与观察点的位置深度和角度信息，即在全方位视觉传感器成像平面上的某一个像素点的位置代表入射角αo的信息，该像素点的色彩代表折射角αp的信息。

为了获得成像点的实际色彩信息，在设计的基于全彩色全景LED光源的主动三维立体全景视觉传感器中采用分时控制技术，即通过控制全景彩色结构光发生器的发光，即控制LED光源的供电，当给LED光源的供电时获得空间某物点的深度和方位角度信息；当让LED光源的供电电源切断时，由于LED光源的响应速度快，这样通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定；因此，如图9所示的任何空间物点A(R，φ，β，r，g，b，t)的深度、角度、色彩和时间等信息都可以在高斯球面坐标系中进行表达。实现了在主动立体全景视觉传感器中所获得的立体视频信息具备与实际物体成一一对应的景物深度和色彩对应图。

所述的微处理器中包括：LED光源控制单元、视频图像读取模块、空间信息计算模块、三维图像重构模块和存储设备；

所述的LED光源控制单元，用于控制全景彩色结构光发生器发出全彩色全景结构光，在LED光源控制单元使LED光源的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在LED光源控制单元使LED光源的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际LED光源的供电电源开关控制采用电子开关来实现；

所述的视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在LED光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在LED光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；如附图13所示；

所述的空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光发生器的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

所述的三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(Φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm             (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对LED光源的供电电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当LED光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当LED光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像；

作为优选的再一种方案：所述的空间信息计算单元包括折射角αp计算单元、入射角αo计算单元和距离计算单元；

折射角α_p计算单元，用于利用全景彩色结构光发生器的折射角α_p与LED器件所发射出的光波长之间具有一定的函数关系来计算的，当LED光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与折射角α_p存在一一对应关系，利用该关系来得到折射角α_p；

入射角α_o计算单元，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o               (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光发送单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{m}A}=\frac{\cos \left({\mathrm{\α}}_o\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}---\left(13\right)$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为折射角，R1为物点A与全方位视觉传感器的实焦点O_m的距离，R2为物点A与全景彩色结构光发生器的实焦点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

再进一步，在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一折射角α_p之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角α_o之间存在的映射关系，折射角α_p、入射角α_o计算采用查表方式实现；首先在LED光源的供电电源处于ON状态时按全方位视觉传感器的成像平面的点坐标顺序读取某一个像素点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角α_o，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的折射角α_p；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息；附图14(a)是当LED光源的供电电源处于ON状态时全方位视觉传感器的成像平面上某个像素点P(i，j)所具有的信息示意图，其中i，j的位置可以用于确定入射角α_o，，P(i，j)的色彩可以用于确定折射角α_p；附图14(b)是当LED光源的供电电源处于OFF状态时全方位视觉传感器的成像平面上某个像素点P(i，j)所具有的信息示意图，其中i，j的位置可以用于确定入射角α_o，，P(i，j)的色彩确定空间物点的实际色彩；

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图7中的2-1-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点，即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)。

图7中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1      当Z＞0时      (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                  (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ        (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点；

为了获得比较大的立体视觉范围，在所述的双曲面镜面2设计时需要尽可能加大双曲面镜面的仰角，采用减小双曲面镜的实轴a和虚轴b的比来加大双曲面镜面的仰角，设计时需根据立体视觉的范围、双曲面镜的直径大小来选择一个适当的实轴a和虚轴b的比，最大仰角极限是双曲线的渐进线与X轴的夹角；

全景彩色结构光发生器的工作原理是：LED光源9的基板是一个圆形平板，每个LED均固定在该圆形平板上，如附图5所示；不同中心波长的LED是以中心波长小到大从所述的圆形平板的内径到外径进行排列，同一中心波长的LED配置在所述的圆形平板的同一直径上，在附图5中在不同的直径上共排列了12中不同中心波长的LED，其中心波长是以425nm到623nm均匀分布在不同的直径上，每个LED的发散角选择在10°左右，每个LED都正对着所述第二双曲面镜面2-2；在LED光源的供电电源处于ON状态时，每个LED都发射出各自中心波长的光，这些特定波长的光经过第二双曲面镜面2-2折反射，由于双曲面镜面具有单视点的功能，所有折反射光的光线均经过双曲面镜面的实焦点O_m向外折反射，这样就在整个半球面上产生了一圈圈的彩色结构光，根据双曲面镜的特点该彩色结构光在半球范围内形成了以中心波长是以425nm到623nm从最小俯角到最大仰角的排列，如附图5所示，这样每种波长的光都对应着第二双曲面镜面2-2上的某个折射角α_p；

基于全彩色全景LED光源的主动三维立体全景视觉传感器的工作原理是：从安置在全景彩色结构光发生器的第二双曲面镜面2-2正对面处的LED光源9，在LED光源的供电电源处于ON状态时，LED光源9发射出从园中心到园外径的一圈圈的峰值波长依次增长的彩色光，这些一圈圈彩色光投射到全景彩色结构光发生器的第二双曲面镜面2-2上后，以第二双曲面镜面2-2的实焦点为中心向外四周折射，在水平方向360°形成了呈双曲线函数关系变化的一圈圈的峰值波长的折反射光，空间上的一个点A(X，Y，Z)接受到一定波长的光，该光点继续向全方位视觉传感器的双曲面镜2-1反射，光线朝向全方位视觉传感器的双曲面镜2-1的实焦点，根据双曲面的镜面特性向着全方位视觉传感器的虚焦点14折反射，图7所示；反映实物图像的各具有一定波长的光点经全方位视觉传感器的双曲面镜2-1反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)，光路图如图6中的粗实线所示；实际上通过两个同一的双曲面镜面以及LED光源9的共同作用使得在原有立体摄像测量中的特征选取、图像匹配步骤进行简化，通过两个同一参数的双曲面镜面以及LED光源9的共同作用确定了空间上的一个点A(X，Y，Z)在成像平面上点P(x，y)的入射角和方位角，即称为确定空间上的点A(X，Y，Z)的约束条件；这是因为由于全景彩色结构光发生器与全方位视觉传感器具有两个相同参数的双曲面镜，且两个相同参数的双曲面镜在同一个轴心线上，因此确定点A(X，Y，Z)的方位角是非常容易的，关于发射角可以通过LED光源9所确定的光线波长来确定，关于入射角可以通过成像平面上点P(x，y)来确定，这样就确定了点A(X，Y，Z)与观察点的空间位置关系；

本发明中采用“中央眼”视觉方式来描述空间上某一物点A的信息(R，φ，β，r，g，b，t)，所谓的中央眼是立体视觉基线距的中点，是通过全方位视觉传感器和全景彩色结构光发送器的视点之间的连线中心点来算得到，这里将中央眼的坐标作为高斯球面坐标的原点O，如图8所示；空间上某一物点A的信息(R，φ，β，r，g，b，t)中的R用公式(13)的计算结果设置，φ用公式(14)的计算结果设置，β用公式(3)的计算结果设置，r，g，b分别用当LED光源的供电电源处于OFF状态时全方位视觉传感器的成像平面上该像素点的实际色彩分量值设置，t用微处理器的时钟进行设置；这样空间上的任何点的信息都能用(R，φ，β，r，g，b，t)7个分量值进行表达，如附图9所示。

实施例2

参照图6、图12、图13～14，本实施例在全景彩色结构光发生器与全方位视觉传感器的连接方式上采用背靠背型连接，如附图附图6、附图12所示，所述全方位视觉传感器的第一上盖1-1与所述全景彩色结构光发生器的第二上盖1-2连接；这种连接方式将两个具有同一参数的双曲面镜面的凹面对着凹面，且要保证两个第一双曲面镜面2-1、2-2的轴心线重合，如图6所示；从图6中可知，背靠背型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的基线距B最短，立体视觉测量范围最小，但是其结构最紧凑。

本实施例的其他结构与工作过程与实施例1相同。

实施例3

参照图10、图14～图15，本实施例在全景彩色结构光发生器与全方位视觉传感器的连接方式上采用面对背连接方式，如附图10所示，将全景彩色结构光发生器的第二上盖1-2与所述全方位视觉传感器的第一连接单元7-1连接；这种连接方式将两个具有同一参数的双曲面镜面的凸面对着凹面，其中凸面是全方位视觉传感器的第一双曲面镜面2-1，凹面是全景彩色结构光发生器的第二双曲面镜面2-2，同时要保证两个第一双曲面镜面2-1、2-2的轴心线重合；这种面对背型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的基线距B和立体测量范围处于图11和图12所示的基于全彩色全景LED光源的主动三维立体全景视觉传感器的中间状态。

本实施例的其他结构与工作过程与实施例1相同。

实施例4

参照图13～15，本实施例在全景彩色结构光发生器与全方位视觉传感器的连接方式上采用背对面连接方式，如附图13所示，将全方位视觉传感器的第一上盖1-1与所述全景彩色结构光发生器的第二连接单元7-2连接；这种连接方式将两个具有同一参数的双曲面镜面的凹面对着凸面，其中凹面是全方位视觉传感器的第一双曲面镜面2-1，凸面是全景彩色结构光发生器的第二双曲面镜面2-2，同时要保证两个第一双曲面镜面2-1、2-2的轴心线重合；这种背对面型的基于全彩色全景LED光源的主动三维立体全景视觉传感器的基线距B和立体测量范围处于图11和图12所示的基于全彩色全景LED光源的主动三维立体全景视觉传感器的中间状态。，

本实施例的其他结构与工作过程与实施例1相同。

实施例5

参照图1～图15，本实施例的LED光源的光谱范围的选择方面，在一些特殊场合，如需要全景彩色结构光发生器发出的是红外光谱，因此将LED器件的光谱范围选择在700nm～2000nm。

本实施例的其他结构和工作过程与实施例1相同。

Claims (10)

1、一种基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述主动三维立体全景视觉传感器包括全方位视觉传感器、全景彩色结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器与所述全景彩色结构光发生器配置在同一根轴心线上；

所述全方位视觉传感器包括第一双曲面镜、第一上盖、第一透明半圆形外罩、第一下固定座、第一摄像单元固定座、摄像单元、第一连接单元和上罩；所述的第一双曲面镜固定在所述的第一上盖上，所述的第一连接单元将所述的第一下固定座和第一透明半圆形外罩连接成一体，所述的第一透明半圆形外罩与所述的第一上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的第一摄像单元固定座上，所述的第一摄像单元固定座固定在所述的第一下固定座上，所述全方位视觉传感器中的摄像单元的输出与所述微处理器连接；

所述全景彩色结构光发生器包括第二双曲面镜、第二上盖、第二透明半圆形外罩、第二下固定座、第二连接单元和LED光源；所述的第二双曲面镜固定在所述的第二上盖上，所述的第二连接单元将所述的第二下固定座和第二透明半圆形外罩连接成一体，所述的第二透明半圆形外罩与所述的第二上盖通过螺钉固定在一起，

所述的LED光源固定在所述的第二连接单元上；

所述第二双曲面镜和第一双曲面镜具有相同的成像参数；

所述微处理器包括：

LED光源控制单元、视频图像读取单元、空间信息计算单元、三维图像重构单元和存储设备；

LED光源控制单元，用于控制全景彩色光编码发生器发出全彩色全景结构光，在LED光源控制单元使LED光源的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在LED光源控制单元使LED光源的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际LED光源的供电电源开关控制采用电子开关来实现；

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在LED光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在LED光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光调制单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中1为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(Φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm    (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对LED光源的供电电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当LED光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当LED光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像。

2、如权利要求1所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述的LED光源是由多组不同中心波长的LED所组成，每个LED的发散角选择在10°，所述的LED光源的基板是一个圆形平板，每个LED均固定在该圆形平板上；不同中心波长的LED是以中心波长小到大从所述的圆形平板的内径到外径进行排列，同一中心波长的LED配置在所述的圆形平板的同一直径上；每个LED都正对着所述的第二双曲面镜。

3、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：对全彩色全景LED光源采用分时控制技术，通过电子开关来控制全景彩色结构光发生器的发光或者不发光，在LED光源控制单元使LED光源的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在LED光源控制单元使LED光源的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息。

4、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述的第一双曲面镜和第二双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时  (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)  (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ  (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点。

5、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用背靠背型连接，所述全方位视觉传感器的第一上盖与所述全景彩色结构光发生器的第二上盖连接；将两个具有同一参数的双曲面镜面的凹面对着凹面。

6、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用面对面连接，将所述全景彩色结构光发生器的第二连接单元和所述全方位视觉传感器的第一连接单元通过螺钉进行连接。

7、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用面对背连接方式，将所述全景彩色结构光发生器的第二上盖与所述全方位视觉传感器的第一连接单元连接；将两个具有同一参数的双曲面镜面的凸面对着凹面，其中凸面是全方位视觉传感器的第一双曲面镜，凹面是全景彩色结构光发生器的第二双曲面镜。

8、如权利要求1或2所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述全方位视觉传感器与所述全景彩色结构光发生器之间采用背对面连接方式，将所述全方位视觉传感器的第一上盖与所述全景彩色结构光发生器的第二连接单元连接；将两个具有同一参数的双曲面镜面的凹面对着凸面，其中凹面是全方位视觉传感器的第一双曲面镜，凸面是全景彩色结构光发生器的第二双曲面镜。

9、如权利要求1所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：所述的空间信息计算模块包括折射角α_p计算单元、入射角α_o计算单元和距离计算单元；其中，

折射角α_p计算单元，用于利用全景彩色结构光发生器的折射角α_p与LED器件所发射出的光波长之间具有一定的函数关系来计算的，当LED光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与折射角α_p存在一一对应关系，利用该关系来得到折射角α_p；

入射角α_o计算模块，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o  (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光发送单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{m}A}=\frac{\cos \left({\mathrm{\α}}_0\right)}{\sin ({\mathrm{\α}}_0+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}---\left(13\right)$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为折射角，R1为物点A与全方位视觉传感器的实焦点O_m的距离，R2为物点A与全景彩色结构光发生器的实焦点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

10、如权利要求9所述的基于全彩色全景LED光源的主动三维立体全景视觉传感器，其特征在于：在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一折射角α_p之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角α_o之间存在的映射关系，折射角α_p、入射角α_o计算采用查表方式实现；

首先按全方位视觉传感器的成像平面的点坐标顺序读取某一个点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角α_o，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的折射角α_p；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息。

Images