CN1982934A - 图像拍摄设备、图像处理方法、及图像处理程序 - Google Patents

Abstract

一种包括多个成像单元的图像拍摄设备，其中每个成像单元包括具有可变焦距的镜头和图像感应器件。所述多个成像单元被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，从而使得能够通过连接由成像单元获得的多个图像而获得广角图像。每个成像单元包括映射表的集合，每个映射表表现在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的针对具体焦距的对应关系。每个成像单元还包括：控制器，适配为选择与焦距对应的映射表；以及映射单元，适配为按照所选择的映射表而把图像映射至该具体坐标系统。

Description

图像拍摄设备、图像处理方法、及图像处理程序

技术领域

本发明涉及一种图像拍摄设备、图像处理方法、及可在计算机上执行以实施图像处理方法的计算机程序，用于把通过由布置为视点(焦点)相互一致的多个成像单元所拍摄的多个图像连接成单个图像。

背景技术

已知布置多个成像光学系统(成像装置)使得其图像区域彼此部分重叠，从而使得能够拍摄全景运动图像(或广角图像)。然而，在图像光学系统之间存在大视差，这使得难以精确地经由重叠区域连接多个图像区域。

日本专利No.2974500公开了一种多镜头图像拍摄设备，其被构成为根据变焦(zoom)和/或聚焦检测在从成像系统输出的邻接图像之间的重叠区域中的拼接(registration)误差，并且调节邻接成像系统之间的会聚角，使得拼接误差最小化。

发明内容

然而，在日本专利No.2974500公开的方法中，当重叠区域包括在不同距离的对象时，难以对于所有对象精确地校正拼接误差。

如果图像拍摄设备被构造为使用具有小的或没有视差的多个成像光学系统，则可以精确地经由重叠区域连接多个图像。

然而，当焦点(focus)改变时，在焦距(focal distance)中的相应改变导致在由邻接成像光学系统所拍摄的图像之间的重叠区域中的拼接误差，其不能够在不导致图像质量劣化的情况下而被校正。

因此，希望提供一种技术，以精确地连接由多个成像系统拍摄的、在邻接图像之间的重叠区域中具有小拼接误差的图像，而不管各个成像系统的焦点值。

考虑到以上所述，本发明提供一种包括多个成像装置的图像拍摄设备，其中每个成像装置包括具有可变焦距的镜头和图像感应器件，所述多个成像装置被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，从而使得能够通过连接由各个成像装置获得的多个图像而获得广角图像，每个成像装置包括：为焦距的各个值而准备的多个映射表的集合，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；控制器，适配为选择与用于由图像感应器件拍摄图像的焦距对应的映射表；以及映射单元，适配为按照在由所述控制器选择的映射表中描述的对应关系，而把每个图像映射至所述具体坐标系统。

在以上述方式配置的此图像拍摄设备中，按照焦距的改变而动态切换映射表，由此使得由从多个成像系统输出的所映射的图像数据所表现的图像能够经由重叠区域而精确地彼此连接，而不管焦距如何。

本发明还提供一种图像处理方法，用于通过连接由多个成像装置拍摄的图像而获得广角图像，其中每个成像装置包括具有可变焦距的镜头和图像感应器件，所述多个成像装置被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，所述图像处理方法包括下述步骤：从针对用于图像拍摄操作的焦距的各个值而准备的多个映射表的集合中选择映射表，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；以及按照在所选择的映射表中描述的对应关系，而把由每个图像感应器件所拍摄的每个图像映射至所述具体坐标系统，从而按照所选择的映射表而映射至所述具体坐标系统的图像和由邻接成像装置映射至所述具体坐标系统的图像在重叠区域中彼此重叠，所述重叠区域保持固定而不管焦距如何。

在此图像处理方法中，按照焦距的改变而动态切换映射表，从而使得由从多个成像系统输出的所映射的图像数据所表现的图像能够经由重叠区域而精确地彼此连接，而不管焦距如何。

如上所述，本发明提供了巨大的优势，即由多个成像系统所拍摄的图像经由在邻接图像之间的重叠区域而精确地彼此连接，而不管各个成像系统的焦点值(焦距)如何。

附图说明

图1是按照本发明实施例的包括两个成像系统的图像拍摄设备的框图；

图2是示出镜头失真校正的例子的示意图；

图3是示出把图像映射至圆柱表面的例子的示意图；

图4是示出按照本发明实施例映射至圆柱表面的两个邻接图像的示意图；

图5是示出按照本发明实施例通过把两个输出图像展开至平面而获得的图像的示意图；

图6是按照本发明实施例的包括三个成像系统的图像拍摄设备的框图；以及

图7是示出按照本发明实施例通过把三个输出图像展开至平面而获得的图像的示意图。

具体实施方式

下面参照图1～7描述本发明的具体实施例。在下面描述的实施例中，作为举例假定图像拍摄设备是用作监视器摄像机等的视频摄像机。

图1示出了按照本发明实施例的包括两个成像系统的图像拍摄设备。如图1所示，图像拍摄设备包括：第一和第二成像系统(成像装置)，它们被布置为使得两个成像系统的视点(焦点)彼此一致并且使得邻接成像系统(在此情况下为该第一和第二成像系统)的图像区域彼此部分地重叠。这种类型的图像拍摄设备称为“共视点多光学系统摄像机”。在这种类型的图像拍摄设备中，因为成像系统被布置为其视点彼此一致，因此在由多个成像系统所形成的图像之间不存在视差。因此，可以通过适当地设置投影中心并把输入图像投影到单个平图像平面(或非平面图像表面)来无缝地连接多个图像。连接多个图像的各种方法是已知的。例如，在日本未审查专利申请公开No.2004-184862中公开的方法。

第一成像系统包括：成像光学系统，包括镜头1和4、光圈2、及用作图像感应器件的CCD(电荷耦合器件)；CCD图像处理单元7；后向映射单元8；可重写存储器9(存储单元)；重叠区域评估单元10；重叠区域处理单元11；控制器12；映射表13的集合；以及输出单元14。该存储器9可以是非易失型或易失型。

光圈控制单元3是驱动单元，被适配为按照从控制器12提供的控制信号来控制光圈2的光圈值。

焦点控制单元5是驱动单元，被适配为按照从控制器12提供的控制信号来通过沿光轴移动镜头4而控制聚焦(焦距)。

当经由镜头1和4捕获图像时，焦点值和光圈2被调节以使得图像聚焦在CCD6。CCD图像处理单元7对CCD6的输出执行各种处理，诸如模拟-数字转换、RGB转换等。CCD图像处理单元7还按照从控制器12提供的控制信号，对从CCD6输出的图像信号执行图像质量调节，诸如色彩校正。虽然在本实施例中CCD用作图像感应器件，但是也可以使用其它类型的图像感应器件，诸如CMOS(互补金属氧化物半导体)图像感应器件。

后向映射单元(映射单元)8执行处理，以精确地把由第一成像系统所获得的图像与由第二成像系统所获得的图像相重叠。在这一级，由每个成像系统的CCD图像处理单元7经由图像处理所获得的图像数据包括因每个成像系统的镜头失真所造成的失真、在光学系统之间的相对定位误差、以及三维空间中图像向CCD6的二维平面的投影，所述失真使得难以获得两个图像之间的完美边界。为了校正因这些因素造成的失真，在CCD图像处理单元7后的级中布置的后向映射单元8执行后向映射处理(下面，简称为映射)，以使得实现在由两个成像系统所获得的图像之间的精确重叠。

映射表13的集合包括多个映射表，其中每个表现在具体坐标系统和其中表现由CCD(图像感应器件)6所拍摄的图像的坐标系统之间具体焦点值(焦距)的对应关系。注意，在映射表13的集合中的多个映射表为各个不同焦点值而准备，使得每个映射表表现对各个不同焦点值之一的对应关系。例如，针对一个映射表中各个不同焦距的每个而描述把CCD6所拍摄的图像映射至三维坐标系统中非平面图像或者进一步至二维平面图像的对应关系。允许用户选择将图像映射至非平面图像还是二维平面图像。

映射信息可以在图像拍摄设备的制作过程中被存储在专用映射表存储器中，或者也可以存储在存储器9等中，使得当图像拍摄设备的电源接通时映射信息被从存储器9中读取。

映射中所使用的映射表13根据焦点值而适当地切换。更具体地说，负责控制焦点的控制器12选择与用于拍摄图像的焦点值对应的适当映射表。按照在所选择映射表中描述的映射信息，后向映射单元8执行映射，使得输出图像数据的重叠部分被映射至布置在后向映射单元8之后的级中的存储器9的具体区域。

重叠区域评估单元10从存储器9读取在邻接成像系统所输出的图像数据之间的重叠区域，并且评估其图像质量。评估的结果被发送至控制器12。

控制器12是操作/处理控制单元，诸如CPU(中央处理单元)，按照诸如存储在ROM(只读存储器)中的用于控制整个图像拍摄设备的程序和图像处理程序等的计算机程序，控制使用RAM(随机存取存储器)作为工作区域的各种操作和处理。当控制器12接收由与第一成像系统邻接的第二成像系统的重叠区域评估单元110所进行的评估的结果时，控制器12精确地确定与从第二成像系统中获得的色彩的差异。控制器12经由光圈控制单元3调节光圈2的光圈值，和/或经由CCD图像处理单元7调节图像质量，从而最小化色彩差异。

控制器12从镜头4获取与拍摄图像时所用的焦点值相关联的信息，或者从操作单元获取与拍摄图像时由用户执行的手动聚焦操作相关联的信息，并且所述控制器12存储所获取的信息。

重叠区域处理单元11把带有重叠区域大小的图像数据(像素数据)发送至与第一成像系统相邻接的第二成像系统的重叠区域处理单元111，并且从第二成像系统的重叠区域处理单元111获取带有重叠区域大小的图像数据。如果重叠区域处理单元11从与第一成像系统相邻接的第二成像系统接收带有重叠区域大小的图像数据，则重叠区域处理单元11执行诸如阿尔法(alpha)混合处理的混合处理或诸如重叠区域对待处理(overlapping area treatment process)的纹理混合处理。

经过混合处理的结果图像数据经由输出单元14输出至外部器件。该外部器件被允许简单通过并排放置从各个图像拍摄设备输出的图像而获得带有希望视角的图像或带有高图像质量的全景图像。对于从输出单元14输出的图像数据所输入至的外部器件，可以使用，例如，诸如LCD(液晶显示器)器件的显示器件或诸如HDD(硬盘驱动器)记录器/播放器的记录/回放设备。

第二成像系统包括：成像光学系统包括镜头101和104、光圈102、以及用作图像感应器件的CCD(电荷耦合器件)106；CCD图像处理单元107；后向映射单元108；可重写非易失性存储器109；重叠区域评估单元110；重叠区域处理单元111；控制器112；映射表集合113；以及数据单元114。这些部件类似于上述第一成像系统的部件，并且因此其重复解释在此省略。

下面描述产生映射表13的集合的方法。在其中表现由图像感应器件(CCD6)拍摄的图像的坐标系统和其中以最终形式表现图像的坐标系统之间的对应关系能够按照已知方法确定，并且映射表能够按照所确定的对应关系产生。映射表113的集合能够以类似的方式产生，并且因此在下面的说明中，仅仅针对映射表13的集合解释产生映射表的方法。

如上所述，每个映射表13被描述为表现镜头失真校正、光学系统的相对位置误差的校正、与把平面图像映射至三维空间中的图像的投影变换的复合函数。镜头失真校正可以通过例如已知为Tsai摄像机模型的方法而进行。

图2示出镜头失真校正的例子。在图2中，未经校正状态下的图像21和经校正状态下的图像22的每个中的点O表示每个图像的中心，(Xc，Yc)表示每个图像的点O的坐标。注意，图像中心被定义为一个成像系统的光轴和图像平面的交叉点，所述图像平面即未经校正的图像21或经校正的图像22。如果假定作为失真校正的结果，未经校正的图像21的任意点Pd(Xd，Yd)被转换到经校正的图像22的点Pi(Xi，Yi)，则失真校正的转换能够在数学上如下表示：

$\mathrm{Xi}=\mathrm{Xd}(1+{k1r}^2+{k2r}^4)$

$\mathrm{Yi}=\mathrm{Yd}(1+{k1r}^2+{k2r}^4)---\left(1\right)$

$r=\sqrt{{\mathrm{Xd}}^2+{\mathrm{Yd}}^2}$

其中k1和k2为除0以外的任意值。

成像系统的相对定位误差校正和投影变换能够在总体上按照如下所示的针孔摄像机模型来表示。

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}f& 0& \mathrm{Cx}\\ 0& f& \mathrm{Cy}\\ 0& 0& 1\end{array}\right]\left[R\right]\begin{array}{c}\\ \end{array}\left[\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ \mathrm{Zw}\end{array}\right]$

其中左侧表示摄像机坐标系统，右侧第一项表示TV矩阵，第二项表示旋转矩阵，第三项表示世界坐标系统，f表示焦距，以及Cx和Cy表示在x和y方向距离图像中心的成像系统偏差。在此公式中，如下所示来表示旋转角度R。

$R=\left[\begin{array}{ccc}\cos Y& \sin Y& 0\\ -\sin Y& \cos Y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos R& \sin R\\ 0& -\sin R& \cos R\end{array}\right]\left[\begin{array}{ccc}\cos P& 0& -\sin P\\ 0& 1& 0\\ \sin P& 0& \cos P\end{array}\right]$

其中，Y、R、和P分别表示成像系统的偏转(yaw)、转动(roll)和俯仰(pitch)。

如上所述，图像拍摄坐标系统(摄像机坐标系统)(x，y，z)中表现的图像上的点通过世界坐标系统(Xw，Yw，Zw)中的坐标、旋转矩阵R和TV矩阵的积给出。注意，TV矩阵表示从世界坐标系统向图像拍摄坐标系统(摄像机坐标系统)的投影变换。

因为Cx和Cy分别表示在x方向和y方向上距离光轴中心(图像中心)的成像系统(摄像机)的偏差，R(转动)、P(俯仰)和Y(偏转)表示成像系统(摄像机)的姿态，因此能够通过成像系统(摄像机)的校准来确定这些参数。

在进行了失真校正之后，对于经过失真校正的图像22进行位置误差校正和投影变换。更具体地说，在投影到圆柱表面的情况下，如图3所示投影到圆柱表面24的图像23的极坐标被确定，并且代入公式(2)。然后按照代入的结果产生映射表。如果对于公式(2)中的焦距f的各个值产生映射表，则获得与焦距f的各个值对应的后向映射表的集合。

参照图4，下面解释针对多个成像系统的每个的映射处理的图像的区域。图4示出在第一和第二成像系统中经过至圆柱表面的映射的两个输出图像。在图4中，参考标号25和27表示通过对由相应的第一和第二成像系统拍摄的图像进行失真校正而获得的图像。如果把经过失真校正的图像25和27投影至圆柱表面24，则获得图像26和28。即，相应的图像(A)和(B)的映射数据由图像26和28给出。

在如图4所示经由连接线29彼此接合的图像(A)和(B)被输出至外部器件的情况下，准备映射表，从而包含具有在显示器上测量的标准图像大小的图像(A)和其中图像(A)重叠图像(B)的重叠区域31在内的图像区域被覆盖为图像(A)，包含具有在显示器上测量的标准图像大小的图像(B)和其中图像(B)重叠图像(A)的重叠区域30在内的图像区域被覆盖为图像(B)，并且执行后向映射。其中，图像(A)和(B)是从相应成像系统输出的、具有在显示器上测量的标准图像大小的图像。具有在显示器上测量的标准图像大小的图像是形成广角图像的单位图像。即，广角图像或全景图像是通过把具有在显示器上测量的标准图像大小的多个图像相结合而形成的。

为了上述目的，邻接成像系统的图像感应器件的每个拍摄包含图像(A)或(B)和重叠区域31或30在内的图像，其中所述图像(A)或(B)具有在显示器上测量的标准图像大小，在所述重叠区域31或30中，具有在显示器上测量的标准图像大小的图像(A)或(B)与由邻接成像系统拍摄的图像(B)或(A)重叠。通过根据焦距适当地执行映射，重叠区域31和30在大小上固定，而不论焦距如何。

在图像拍摄设备用作如本实施例中的监视器摄像机的情况下，变焦率总体上固定在具体值。然而，在某些情况下，希望在监视器摄像机中改变变焦率。为了满足这样的要求，可以针对焦距的各个值和针对变焦率的各个值来准备映射表集合。这使得可以通过选择与焦距相对应的和与变焦率相对应的正确映射表来适当地执行映射。因此，可以经由不管变焦率如何均大小固定的重叠区域精确地连接由成像系统拍摄的多个图像。

下面将更详细描述由第一和第二成像系统拍摄的图像的映射。

当成像系统的电源接通时，针对每个焦距的、表示在其中表现由CCD6拍摄的图像的坐标系统和具体坐标系统之间的对应关系的映射表13的集合被读入存储单元(未示出)。

在第一成像系统中，控制器12从映射表13选择与用于图像拍摄操作的焦距对应的映射表。按照所选择的映射表中所描述的对应关系，后向映射单元8把经由CCD6拍摄的图像映射至具体坐标系统中的图像，例如，映射至圆柱表面24上的非平面图像。把作为结果的所映射的图像存储在存储器9中。

类似地，在第二成像系统中，按照与用于图像拍摄操作的焦距对应的映射表把经由CCD106拍摄的图像映射至该具体坐标系统，并且把作为结果的所映射的图像存储在存储器109中。

如图4所示，第一成像系统的存储器9中存储的图像与第二成像系统的存储器109中存储的图像表现映射至圆柱表面24的图像26和28。这两个图像26和28经由重叠区域30和31彼此精确地连接，而不论焦距如何。

图5示出了通过把如图4所示的在圆柱表面24上的图像26和28在平面上展开而获得的图像。由第一成像系统的后向映射单元8所映射的图像(A)的映射数据26包括具有在显示器上测量的标准图像大小的图像(A)和其中该图像与具有第二成像系统的显示器上所测量的标准图像大小的邻接图像(B)重叠的重叠区域31的图像。类似地，由第二成像系统的后向映射单元108所映射的图像(B)的映射数据28包括具有在显示器上测量的标准图像大小的图像(B)和其中该图像与具有第二成像系统的显示器上所测量的标准图像大小的邻接图像(B)重叠的重叠区域30的图像。

在彼此邻接的第一和第二成像系统中，由第一成像系统拍摄的图像超越连接边界29而达到其中该图像与由第二成像系统拍摄的具有显示器上的所测量的标准图像大小的图像(B)重叠的重叠区域31，而由第二成像系统拍摄的图像超越连接边界29而达到其中该图像与由第一成像系统拍摄的具有显示器上的所测量的标准图像大小的图像(A)重叠的重叠区域30。注意重叠区域30的大小被设置为等于重叠区域31的大小。

因为两个图像关于重叠区域30和31中的每个而非常精确地对齐，所以可以按照重叠区域中图像的评估结果而控制光圈2(或102)和CCD图像处理单元7(或107)，，从而邻接成像系统之间的色彩差异被最小化，其中在所述重叠区域中该图像与由邻接成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像重叠。

更具体地说，第一成像系统具有重叠区域评估单元10(图1)来评估在由第一成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像(A)和由第二成像系统所拍摄的图像28之间的重叠部分30中的图像的图像质量。类似地，第二成像系统具有重叠区域评估单元110来评估在由第二成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像(B)和由第一成像系统所拍摄的图像26之间的重叠部分31中的图像的图像质量。

如图1所示，指示由第一成像系统的重叠区域评估单元10所进行的评估的结果的数据被输入到第一成像系统的控制器12，并且也被输入到第二成像系统的控制器112，指示由第二成像系统的重叠区域评估单元110所进行的评估的结果的数据被输入第二成像系统的控制器112，并且也被输入第一成像系统的控制器12。按照评估结果，第一第二成像系统的控制器12和112调节图像质量，从而重叠区域中色彩的差异被最小化。

在上述实施例中，重叠区域中的图像数据由彼此邻接的成像系统二者评估。替代地，图像数据之一的图像质量可以被固定作为基准。例如，在第一成像系统中获得的图像的图像质量可以被固定，并且可以参照在第一成像系统中获得的图像的图像质量而调节在第二成像系统中获得的图像的图像质量。

每个成像系统具有重叠区域处理单元来对在由当前成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像和由邻接成像系统所拍摄的图像之间的重叠部分执行具体处理。

更具体地说，第一成像系统具有重叠区域处理单元11，该重叠区域处理单元11被适配来对在具有第一成像系统的显示器上的所测量的标准图像大小的图像(A)和由第二成像系统所拍摄的图像28之间的重叠部分30执行混合处理。类似地，第二成像系统具有重叠区域处理单元111，该重叠区域处理单元111被适配来对在由第二成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像(B)和由第一成像系统所拍摄的图像26之间的重叠部分31执行混合处理。第一和第二成像系统的重叠区域处理单元11和111的每个向另一重叠区域处理单元提供重叠区域的RGB像素数据(图1)。重叠区域处理单元11和111的每个就邻接成像系统的重叠区域的大小和图像质量分析所接收的像素数据，并且按照分析结果适当地对重叠区域执行处理。

更具体地说，第一成像系统的重叠区域处理单元11按照从与第一成像系统邻接的第二成像系统提供的像素数据来对图5所示的重叠区域30的图像数据执行混合处理。在完成混合处理后，重叠区域30的结果图像数据被发送至输出单元14。

在此处理中，可以把仅重叠区域30的图像数据发送至输出单元14，或者可以把包括重叠区域30的图像数据的、具有在显示器上所测量的标准图像大小的图像(A)的图像数据经由重叠区域处理单元11发送至输出单元14。在把仅重叠区域30的图像数据提供至重叠区域处理单元11的情况下，输出单元14从存储器9获取其余图像数据，并且把所获取的图像数据添加到重叠区域30的图像数据，以获得具有显示器上所测量的标准图像大小的整体图像数据(A)。具有显示器上所测量的标准图像大小的结果图像数据(A)从输出单元14输出至外部器件。

类似地，在第二成像系统中，按照来自与第二成像系统邻接的第一成像系统的像素数据，重叠区域处理单元111对图5所示的重叠区域31的图像数据执行混合处理。重叠区域31的结果图像数据被发送至输出单元114。输出单元114向外部器件输出包括经过混合处理的重叠区域31的图像在内的、具有显示器上所测量的标准图像大小的图像(B)。

如上所述，从输出单元14输出的图像(A)包括已经经过重叠处理的重叠区域30，从输出单元114输出的图像(B)包括已经经过重叠处理的重叠区域31。这使得外部器件能够简单通过并排对齐图像(A)和图像(B)而获得广角图像。

或者，可以不执行重叠区域对待处理，可以把包括重叠部分的图像(A)和图像(B)的映射数据提供至外部器件，并且可以在外部器件中执行重叠区域对待处理。在此情况下，因为在外部器件中执行重叠区域对待处理，因此降低了图像拍摄设备上的处理负担。另外在此情况下，重叠区域映射至特定区域，并且因此允许外部设备在不需要与重叠区域的图像数据相关联的任何信息的情况下执行重叠区域对待处理。即，如果预先定义重叠大小，则外部器件能够按照预先定义的重叠大小来执行重叠区域对待处理，并且因此不需要向外部器件发送除图像数据之外的任何信息。

或者，在图像拍摄设备不执行重叠区域对待处理的情况下，每次图像数据输出至外部器件时，指示重叠大小的数据可以与图像数据一起提供。再或者，重叠大小可以预先定义为待输出的图像的总图像大小的函数，或者重叠大小可以不管总图像大小任何而固定为具体值。

下面参照图6和7描述本发明的其它实施例。在图6和7中，与图1或5中的部分类似的部分由类似的参考标号表示，并且在此将不对它们进行进一步的详细解释。

图6示出了包括三个成像系统的图像拍摄设备，该三个成像系统的每个与图1中所示的两个成像系统类似。第三成像系统包括：成像光学系统，包括镜头201和204、光圈202、及用作图像感应器件的CCD 206；CCD图像处理单元207；后向映射单元208；可重写非易失性存储器209；重叠区域评估单元210；重叠区域处理单元211；控制器212；映射表集合213；以及输出单元214。这些部件类似于上述的第一或第二成像系统的部件，因此在此省略其重复的说明。

在本例中，图像拍摄设备被构造为数据传输不仅允许在第一和第二成像系统之间进行，而且允许在第二和第三成像系统之间传输各种类型的数据。即，如图6所示，指示由第二成像系统的重叠区域评估单元110进行的评估的结果的数据被输入至第二成像系统的控制器112，也被输入至第三成像系统的控制器212，指示由第三成像系统的重叠区域评估单元210进行的评估的结果的数据被输入至第三成像系统的控制器212，也被输入至第二成像系统的控制器112。按照评估结果，第二和第三成像系统的控制器112和212调节图像质量，从而重叠区域中的色彩差异被最小化。

第二和第三成像系统的重叠区域处理单元111和211的每个向另一重叠区域处理单元提供重叠区域的RGB像素数据。重叠区域处理单元111和211的每个就邻接成像系统的重叠区域的大小和图像质量来分析所接收的像素数据，并且按照分析结果对重叠区域适当地执行处理。

图7示出了通过把圆柱表面上的三个图像在平面上展开而获得的图像。注意，所展开的图像类似于图5所示，除了它包括由第三成像系统所获得的附加图像(C)。在第三成像系统中，以类似于图像(A)或(B)的映射数据26或28的方式，通过按照与在图像拍摄操作中所应用的焦距对应的映射表而把由第三成像系统的CCD206所拍摄的图像映射至具体坐标系统，而获得图像(C)的映射数据36。

由第二成像系统的后向映射单元108所映射的图像(B)的映射数据28包括具有显示器上所测量的标准图像大小的图像(B)和重叠区域35的图像，其中该图像与具有第三成像系统的显示器上所测量的标准图像大小的邻接图像(C)重叠。类似地，由第三成像系统的后向映射单元208所映射的图像(C)的映射数据36包括具有显示器上所测量的标准图像大小的图像(C)和重叠区域34的图像，其中该图像与具有第二成像系统的显示器上所测量的标准图像大小的邻接图像(B)重叠。

如同第一和第二成像系统的图像，由第二成像系统拍摄的图像超越连接边界33达到重叠区域35，在重叠区域35中，该图像与由第三成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像(C)重叠，而由第三成像系统拍摄的图像超越连接边界33达到重叠区域34，在重叠区域34中，该图像与由第二成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像(B)重叠，其中，重叠区域34的大小被设置为等于重叠区域35的大小。

此外，如同第一和第二成像系统的图像，该两个图像关于重叠区域34和35中的每个而非常精确地对齐，并且按照在重叠区域中的图像的评估结果来控制光圈102(或202)和CCD图像处理单元107(或207)，从而最小化在第二和第三成像系统之间的彩色差异，在重叠区域中，该图像与由邻接成像系统所拍摄的具有显示器上的所测量的标准图像大小的图像重叠。

此外，如同第一和第二成像系统的图像，第二和第三成像系统的重叠区域处理单元111和211的每个向另一重叠区域处理单元提供重叠区域的RGB像素数据(图6)。重叠区域处理单元111和211的每个就邻接的成像系统的重叠区域的大小和图像质量来分析所接收的像素数据，并且按照分析结果来对重叠区域适当地执行处理。

因此，可以精确地连接由第一至第三成像系统所拍摄的三个图像。类似地，也可以经由固定大小的重叠区域精确地连接由具有四个或更多成像系统的图像拍摄设备所拍摄的四个或更多的图像。

如上所述，在诸如被适配赖通过连接从多个成像系统输出的图像来获取广角图像的诸如多镜头摄像机或全方位摄像机的图像拍摄设备中，特别是在其中成像系统被布置为由成像系统拍摄的图像部分地彼此重叠的图像拍摄设备中，覆盖包括具有显示器上所测量的标准图像大小的图像的区域和重叠区域、并且可切换或可重写的后向映射表的集合被存储在每个CCD之后级上布置的单元中，并且根据焦点(焦距)而切换映射表，从而由邻接成像系统所拍摄的输出图像能够经由重叠区域而精确地彼此连接，而不论焦点值如何。即，后向映射表根据焦点值的改变而动态地切换，从而图像数据的重叠区域被精确地映射至具体区域，而不论焦点值如何。

每个图像的重叠区域被非常精确地映射至特定区域，并且在此区域中的数据关于邻接图像而被评估。按照评估结果，控制CCD图像处理单元和光圈，从而从邻接成像系统的CCD图像处理单元输出的数据之间的彩色差异被精确地校正。

用于按照从邻接成像系统提供的重叠数据来执行诸如混合处理的边界对待处理的块(重叠区域处理单元)被布置在用于按照所选择的后向映射表执行映射的后向映射单元之后的级上，由此由每个成像系统的重叠区域处理单元对图像数据执行边界对待处理，并且结果图像数据输出至外部器件。因此，使得外部器件能够简单通过并排放置图像来获得具有所希望的视角的图像。

因此，在被适配来通过连接从多个成像系统输出的图像来获取广角图像的诸如多镜头摄像机或全方位摄像机的图像拍摄设备中，可以获得在邻接成像系统之间的边界区域上不模糊的高质量图像，而不管焦点设置如何。

通过交换后向映射表的数据，可以容易地获得镜像反转图像、垂直翻转图像、或其它反转图像。在本发明中，对于图像拍摄设备的成像系统的相对位置没有具体限制。即，不在水平线上安排成像系统，而是可以垂直地安排它们。对于成像系统的数目也不存在具体限制，因为经过映射处理的图像被单独地从每个成像系统输出。即，可以按照获得所希望的视角所需要的数目而在图像拍摄设备中安排与该数目一样多的成像系统。

虽然，在上述实施例中，假定本发明应用于如日本专利No.2974500中所公开的共视点多光学系统摄像机，但是本发明也可以应用于其中多个摄像机(成像系统)简单并行布置的图像拍摄设备，因为当将被拍摄的主体处于足够距离的位置时，在这样的图像拍摄设备中的多个成像系统的视点能够视为彼此一致。

本发明也可以通过向系统或设备提供其上存储了实施上述任何实施例的功能的软件程序的存储介质来实现，由此系统或设备中的计算机(或CPU或类似控制器件)读取并执行在存储介质上存储的程序代码。

能够用于本发明以提供程序代码的存储介质的具体例子包括软盘、硬盘、光盘、磁光盘、CD-ROM盘、CD-R盘、磁带、非易失性存储卡、以及ROM。

当按照根据本发明的上述实施例之一或其混合的一个或多个功能通过在计算机上执行程序代码而实现时，在计算机上运行的操作系统(OS)可以按照程序代码执行所有或部分处理。注意，以这样的方式的实现也落入本发明的范围。

本领域技术人员应当理解，根据设计要求和其它因素，各种修改、组合、子组合和替代也是可以的，只要它们在所附权利要求或其等同内容的范围内。

有关申请的交叉引用

本申请包含2005年12月14日在日本专利局提交的日本专利申请JP2005-360811的有关主题，其整体内容通过引用包含于此。

Claims (11)

1.一种包括多个成像装置的图像拍摄设备，其中每个成像装置包括具有可变焦距的镜头和图像感应器件，所述多个成像装置被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，从而能够通过连接由各个成像装置获得的多个图像而获得广角图像，

每个成像装置包括：

针对焦距的各个值而准备的多个映射表的集合，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；

控制器，适配为选择与用于由图像感应器件拍摄图像的焦距对应的映射表；以及

映射单元，适配为按照由所述控制器选择的映射表中描述的对应关系，而把每个图像映射至所述具体坐标系统。

2.按照权利要求1所述的图像拍摄设备，其中，在映射表集合中的映射表是针对焦距的各个不同值而准备，针对各个不同的焦距之一，每个映射表表现从每个图像感应器件拍摄的图像向三维坐标系统中的非平面图像或进一步向二维平面图像的映射中的对应关系。

3.按照权利要求1所述的图像拍摄设备，其中，由每个图像感应器件拍摄的图像包括作为由多个单位组成的广角图像的单位的、具有在显示器上所测量的标准图像大小的图像，还包括重叠区域中的图像，在重叠区域中该图像与由邻接成像装置拍摄的具有在显示器上的所测量的标准图像大小的图像重叠，重叠区域中图像的显示器上的所测量的大小保持为固定，而不论焦距如何。

4.按照权利要求1所述的图像拍摄设备，其中，在彼此邻接的第一和第二成像装置中，

由第一成像装置拍摄的图像超越与由第二成像装置所拍摄的具有显示器上的所测量的标准图像大小的图像的连接边界，达到其中由第一成像装置拍摄的图像重叠由第二成像装置拍摄的图像的第一重叠区域，以及

由第二成像装置拍摄的图像超越与由第一成像装置所拍摄的具有显示器上的所测量的标准图像大小的图像的连接边界，达到其中由第二成像装置拍摄的图像重叠由第一成像装置拍摄的图像的第二重叠区域，所述第一重叠区域具有与所述第二重叠区域的大小相同的大小。

5.按照权利要求3所述的图像拍摄设备，其中，每个成像装置从邻接成像装置获取在由当前成像装置所拍摄的显示器上的所测量的标准图像大小的图像和由邻接成像装置所拍摄的图像之间的重叠部分的评估结果，并且根据所获取的评估结果针对由邻接成像装置所拍摄的图像的色彩而校正重叠部分的色彩差异。

6.按照权利要求5所述的图像拍摄设备，其中，每个成像装置还包括：

光圈；以及

重叠区域评估单元，被适配来评估在由当前成像装置所拍摄的具有显示器上的所测量的标准图像大小的图像和由邻接成像装置所拍摄的图像之间的重叠部分；

并且其中，每个成像装置的控制器按照从邻接成像装置的重叠区域评估单元提供的评估结果而调节成像装置的光圈值和/或由图像感应器件所拍摄的图像的图像质量，从而最小化色彩差异。

7.按照权利要求3所述的图像拍摄设备，其中，每个成像装置向其它成像装置发送在重叠区域中的图像的像素数据，在该重叠区域中由成像装置拍摄的具有显示器上的所测量的标准图像大小的图像重叠由邻接成像装置拍摄的图像，以及每个成像装置接收从其它成像装置发送的像素数据，并且每个成像装置按照所接收的像素数据对重叠区域中的图像执行混合处理。

8.按照权利要求7所述的图像拍摄设备，其中，

每个成像装置还包括重叠区域处理单元，被适配以对在由成像装置所拍摄的具有显示器上的所测量的标准图像大小的图像和由邻接成像装置所拍摄的图像之间的重叠部分执行混合处理，以及

所述重叠区域处理单元从邻接成像装置获取像素数据，对重叠部分执行混合处理，并且输出包括经过混合处理的重叠部分的、具有在显示器上的所测量的标准图像大小的图像。

9.一种图像处理方法，用于通过连接由多个成像装置拍摄的图像而获得广角图像，其中每个成像装置包括具有可变焦距的镜头和图像感应器件，所述多个成像装置被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，所述图像处理方法包括步骤：

从针对用于图像拍摄操作的焦距的各个值而准备的多个映射表的集合中选择映射表，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；以及

按照在所选择的映射表中描述的对应关系，而把由每个图像感应器件所拍摄的每个图像映射至所述具体坐标系统，从而按照所选择的映射表而映射至所述具体坐标系统的图像和由邻接成像装置映射至所述具体坐标系统的图像在重叠区域中彼此重叠，所述重叠区域保持固定而不管焦距如何。

10.一种计算机程序，用于通过连接由多个成像装置拍摄的图像而获得广角图像，其中每个成像装置包括具有可变焦距的镜头和图像感应器件，所述多个成像装置被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，所述计算机程序在计算机上可执行以实施包括下列的功能：

功能，从针对用于图像拍摄操作的焦距的各个值而准备的多个映射表的集合中选择映射表，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；以及

功能，按照在所选择的映射表中描述的对应关系，而把由每个图像感应器件所拍摄的每个图像映射至所述具体坐标系统，从而按照所选择的映射表而映射至所述具体坐标系统的图像在重叠区域中与由邻接成像装置拍摄、并映射至所述具体坐标系统的图像重叠，所述重叠区域保持固定而不管焦距如何。

11.一种包括多个成像单元的图像拍摄设备，其中每个成像单元包括具有可变焦距的镜头和图像感应器件，所述多个成像单元被布置为使得它们的视点基本上彼此一致并且图像区域部分地彼此重叠，从而能够通过连接由各个成像装置获得的多个图像而获得广角图像，

每个成像单元包括：

针对焦距的各个值而准备的多个映射表的集合，每个映射表表现针对各个焦距值之一的在具体坐标系统和其中表现由每个图像感应器件拍摄的图像的坐标系统之间的对应关系；

控制器，适配为选择与用于由图像感应器件拍摄图像的焦距对应的映射表；以及

映射单元，适配为按照由所述控制器选择的映射表中描述的对应关系，而把每个图像映射至所述具体坐标系统。

Images