CN110012197B - 一种基于调焦位置补偿的空域图像配准融合方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于调焦位置补偿的空域图像配准融合方法，该方法采用调焦位置组件和位置值、温度值采样方法实现红外与可见光平行光路系统空域图像配准，通过采集调焦镜位置和不同的温度值，调取不同目标距离上的配准参数，对CMOS图像进行平移和缩放，并将经过平移和缩放后的CMOS图像与红外图像实时进行图像的配准融合。

Description

一种基于调焦位置补偿的空域图像配准融合方法

技术领域

本发明公开了一种基于调焦位置补偿的空域图像配准融合方法，属于图像处理技术领域。

背景技术

传统图像融合系统中，红外与可见光CCD融合是一个重要方向，由于可见光CCD主要在白天使用，光照较好，光圈设计较小，可以采用共窗口的方式解决空域图像配准问题。

传统的红外与可见光CCD融合采用共窗口的方式解决空域图像配准问题，红外与低照度CMOS融合手持系统采用平行光路工作方式，在不同的目标距离点会出现图像错位现象。传统技术中，红外与低照度CMOS融合中为了满足0.001lux和0.0001lux的低照度使用要求，低照度CMOS光圈设计F数为1.2，存在光圈较大的问题，如果采用共窗口设计，红外能量将会损失很严重、产品体积和重量偏大。

发明内容

本发明针对平行光路红外与低照度CMOS融合手持系统存在空域图像配准的问题，提出一种基于调焦位置补偿的空域图像配准融合方法，它是一种红外与低照度CMOS融合的空域配准解决方案，针对红外与低照度CMOS的融合，解决空域图像配准问题，使产品在不同距离上配准精度都能达到一个像素以内，适合应用于小型化手持系统融合方案。

为了实现上述目的，本发明采用如下技术方案。

一种基于调焦位置补偿的空域图像配准融合方法，该方法采用调焦位置组件和位置值、温度值采样方法实现红外与可见光平行光路系统空域图像配准，通过采集调焦镜位置和不同的温度值，调取不同目标距离上的配准参数，对CMOS图像进行平移和缩放，并将经过平移和缩放后的CMOS图像与红外图像实时进行图像的配准融合。

进一步地，所述的一种基于调焦位置补偿的空域图像配准融合方法包括如下步骤：步骤一：确定可见光光学系统和红外系统的设计方案；步骤二：采集输入源红外视频与CMOS视频，并对采集到的视频图像进行预处理；步骤三：对经过预处理后的视频信息流时域图像进行配准；步骤四：将经过所述步骤三配准后的红外视频与CMOS视频进行第一次融合；步骤五：选取经过第一次融合后的视频图像的视场区域作为固定观测目标；步骤六：根据使用者观测距离变换观测目标区域，并使该观测目标区域成像清晰，得到对应的配准平移参数和缩放参数，根据所述平移参数和缩放参数实时实现CMOS图像的平移和缩放；步骤七：通过图像融合算法将红外视频与经过所述步骤六平移和缩放后的CMOS视频进行第二次融合。

进一步地，所述步骤一中，可见光光学系统采用定焦光学系统，红外系统采用可调焦系统。

进一步地，所述步骤二中，对输入源红外视频与CMOS模拟视频进行AD采集，将模拟信号转换为数字信号送入FPGA。

进一步地，所述AD采集芯片为ADV7180，采用的FPGA芯片为Xilinx Spartan6。

进一步地，所述步骤三中，所述预处理是图像增强处理，以突出图像细节特征。

进一步地，所述图像增强处理方法为Laplace增强方法。

进一步地，所述步骤四中对经过步骤三预处理后的视频信息流时域图像配准方法为：对所述视频信息流进行外同步处理，外同步处理以可见光数字视频为基准，将可见光数字视频中的行场同步信号分别送给红外视频的FPGA，控制红外图像的输出速率，在整个处理过程中，以CMOS视频的像素时钟信号作为整个系统的主时钟，使CMOS视频与红外视频同步。

进一步地，所述步骤五中，选取经过第一次融合后的视频图像中心1/4视场区域作为固定观测目标。

进一步地，所述红外视频与CMOS视频的融合采用加权融合方法，第一次融合公式为Fij(Y1)＝0.5*Tij(Y1)+0.5*Rij(Y1)，其中，Fij代表第一次融合后的图像灰度信息，Tij代表红外光灰度信息，Rij代表可见光灰度信息，i×j为所述步骤二中对输入源红外视频与低照度CMOS模拟视频进行AD采集后，将模拟信号转换为的数字信号的矩阵大小；第二次融合公式为FFij(Y1)＝0.5*Tij(Y1)+0.5*Rij(C1)，其中，FFij代表第二次融合后的图像灰度信息，Tij代表红外光灰度信息，Rij代表可见光灰度信息。

本发明提出的一种基于调焦位置补偿的空域图像配准融合方法，为了解决不同目标距离点的实时配准，采用的主要技术是红外物镜调焦系统配合位置、温度采样电路，根据不同的温度，不同的调焦位置采样值，通过采集调焦镜位置和不同的温度值，调取不同目标距离上的配准参数，实时实现图像的配准融合。

该方法针对红外与可见光平行光路系统，采用调焦位置组件和位置值、温度值采样方法双光路的配准，所述红外与可见光平行光路系统包括红外光学系统和可见光光学系统，其中红外光学系统中含有调焦组件，所述调焦组件包括调焦电机，通过控制调焦电机，并带动调焦镜移动使成像清晰，实时获取配准需要的放大与缩放参数，进行空域图像配准。

本发明中，选取经过第一次融合后的视频图像中心1/4视场区域作为固定观测目标。通过调焦，在该区域成像清晰时获取位置AD采样值L1和温度值AD采样值T1，根据此时的L1和T1，实时调取配准平移参数和缩放参数，根据所述平移参数和缩放参数实时实现CMOS图像的平移和缩放。根据观察者所观察的实际距离，实现空域配准，例如观察者看100米，调焦清晰，将实时得到配准参数，变换到不同的距离，调焦清晰，将得到另外一组配准参数。通过控制调焦镜的移动，使观察者观察区域成像清晰，根据此时采集到的温度采样值和位置采样值，实时调用配准参数，实时实现图像配准。

目前，融合系统主要针对红外和可见光CCD系统，针对小型化可见光光学系统能通过共光路方法进行空域配准，但是为了满足低照度使用要求，CMOS光学系统体积和重量较大，共光路空域配准方法实现CMOS融合系统将会进一步增大体积和重量。与现有技术相比，本发明方法设计平行光路系统方案，并且红外具有调焦位置补偿功能，通过调焦位置补偿，根据不同的温度，不同的调焦位置采样值，实时调用融合配准参数，实现不同距离的空域图像配准，可有效减小CMOS光学系统的体积和重量，进而减小CMOS融合系统的体积和重量。另外，本方法可以根据外成像组件和CMOS成像组件窗口中心间距的大小和观测目标的远近进行调整配准参数，适用性更宽泛。

附图说明

图1是本发明的基于调焦位置补偿的空域图像配准融合方法流程示意图。

图2是本发明的实施例1中所述光学系统方案示意图。

图3是本发明中对红外视频与CMOS视频AD采集示意图。

图4是红外物镜系统调焦组件示意图。

图5是实施例2中图像中心1/4区域示意图。

其中图中标记为，1-调焦电机；2-红外探测器；3-红外第三物镜；4-红外调焦镜；5-红外第一物镜；6-位置传感器。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

实施例1

本发明的基于调焦位置补偿的空域图像配准融合方法流程如图1所示，首先对红外视频和CMOS视频进行AD采集，接着对采集到的视频图像进行预处理，通常为图像增强处理，以突出图像细节特征。之后，对预处理之后的视频信息流时域图像进行配准，再对经过时域配准后的红外视频和CMOS视频进行第一次融合。

然后，对经过第一次融合的视频图像中CMOS图像进行平移和缩放，方法为首先选取经过第一次融合的视频图像中心1/4视场区域作为固定观测目标，之后，根据使用者观测距离变换距离选取观测目标区域使其成像清晰，并实时采集该清晰点处的位置值Ln及温度值Tn，根据此时的Ln和Tn，实时调取配准平移参数和缩放参数，根据所述平移参数和缩放参数实时实现CMOS图像的平移和缩放。

最后，通过图像融合算法将红外视频与经过所述步骤六平移和缩放后的CMOS视频进行第二次融合。

不同的光学设计方案后期将得到不同的配准参数，本发明方法中CMOS光学系统采用定焦光学系统，红外系统为可调焦系统。光学系统方案如图2所示，其中(a)为红外光学系统，红外光学系统包括3片镜片，第一和第三透镜为定焦镜片，第二透镜为调焦透镜，与电机位置采样模块组成调焦组件；(b)为可见光系统，可见光系统包括4片定焦镜片。

在对红外与CMOS视频采集时，将输入源红外与CMOS视频进行AD采集，将模拟信号转换为数字信号送入FPGA。这里采用的AD采集芯片为ADV7180，采用的FPGA芯片为XilinxSpartan6。具体处理过程如图3所示，先分别对红外模拟视频和CMOS模拟视频进行AD采集，使模拟信号转换为数字信号，然后将数字信号一同送入FPGA。

在对红外光学系统进行调焦时，采用如图4所示的红外物镜系统调焦组件，包括调焦电机1、红外探测器2、红外第三物镜3、红外调焦镜4、红外第一物镜5、位置传感器6。其中调焦电机1为控制系统，主要实现调焦镜的前后移动，红外探测器2是红外成像器件，主要是接收红外能量，转换为可见视频图像，红外第三物镜3和红外第一物镜5均为红外光学汇聚能量物镜，红外调焦镜4是红外系统调焦位置补偿镜，通过控制系统移动实现不同距离的清晰成像。

该红外光学系统通过控制调焦电机1，并带动红外调焦镜4移动使成像清晰，实时获取配准需要的放大与缩放参数，进行空域图像配准。具体方法为，首先调焦使中心图像1/4目标区域成像清晰，每当变换不同距离的观测目标时，调焦清晰并实时采集当前清晰点处位置传感器的数值Ln及温度传感器数据Tn，根据此时的Ln和Tn，实时调取配准参数，包括平移参数An和缩放参数Bn。最终，根据An、Bn实时实现CMOS图像的平移和缩放。

实施例2

本实施例结合光学系统和视频源进行说明，第一步，确定光学系统的红外成像组件和CMOS成像组件窗口中心间距为70mm，标定的30米距离配准参数A1＝2，B1＝2，100米距离配准参数A2＝2，B2＝1。假设红外视频输入图像为T1，CMOS视频输入图像为R1。

第二步，对图像T1和R1进行AD采集，将模拟信号转换为数字信号，并将数字信号送入FPGA。假设该数字信号为3×3的矩阵大小，采集后将会有数字信号灰度信息，和该数字信号灰度信息对应的像素坐标位置。T1和R1的数字信号灰度信息分别如下。

T1的数字信号灰度信息

T11(Y)	T12(Y)	T13(Y)
			T21(Y)	T22(Y)	T23(Y)
T31(Y)	T32(Y)	T33(Y)

R1的数字信号灰度信息

R11(Y)	R12(Y)	R13(Y)
			R21(Y)	R22(Y)	R23(Y)
R31(Y)	R32(Y)	R33(Y)

同时，T1的数字信号灰度信息和R1的数字信号灰度信息对应的像素坐标位置信息分别如下。

T1像素坐标位置信息

X(T11)	X(T12)	X(T13)
			X(T21)	X(T22)	X(T23)
X(T31)	X(T32)	X(T33)

R1像素坐标位置信息

接着，对采集到的视频图像做增强处理。图像预处理主要是对送入FPGA里面的数字信号进行图像增强处理，以突出图像细节特征，采用经典的Laplace增强方法，增强后的图像灰度信息如下。

T1增强后的数字信号灰度信息

T11(Y1)	T12(Y1)	T13(Y1)
			T21(Y1)	T22(Y1)	T23(Y1)
T31(Y1)	T32(Y1)	T33(Y1)

R1增强后的数字信号灰度信息

R11(Y1)	R12(Y1)	R13(Y1)
			R21(Y1)	R22(Y1)	R23(Y1)
R31(Y1)	R32(Y1)	R33(Y1)

第三步，对经过第二步处理后的视频信息流时域图像精准配准，方法为：首先对视频信息流进行外同步处理。外同步处理以CMOS数字视频为基准，将CMOS数字视频中的行场同步信号分别送给红外视频的FPGA，控制红外图像的输出速率，在整个处理过程中，以CMOS视频的像素时钟信号作为整个系统的主时钟，使CMOS视频与红外视频时域同步。

第四步，进行红外视频与CMOS视频的第一次融合，采用加权融合方法进行说明，融合公式如下：

融合后的数字灰度信息如下。

第一次融合后的数字信号灰度信息

融合后T1和R1的数字信号像素坐标位置信息保持不变，依旧分别如下。

T1像素坐标位置信息

X(T11)	X(T12)	X(T13)
			X(T21)	X(T22)	X(T23)
X(T31)	X(T32)	X(T33)

R1像素坐标位置信息

X(R11)	X(R12)	X(R13)
			X(R21)	X(R22)	X(R23)
X(R31)	X(R32)	X(R33)

第五步，选取经过第一次融合的视频图像的中心1/4视场区域作为固定观测目标，如图5所示，并采集该目标区域的位置值和温度值。

方法为使用红外物镜系统，控制红外系统调焦组件，调焦使第一次融合的视频图像的中心1/4视场区域成像清晰，采集此时位置AD采样值L1和温度值AD采样值T1，根据此时的L1和T1，实时调取配准参数，其中平移参数A1＝2，缩放参数B1＝2。

根据A1，B1实时实现CMOS图像的平移和缩放，A1＝2代表将CMOS图像向右平移2个像素，B1＝2代表将CMOS图像放大2倍。

将CMOS视频平移后坐标位置信息记为RA1，它是X1～X6位平移后产生的新像素坐标；将CMOS视频放大2倍后坐标位置信息记为RB1。它们的像素坐标位置信息如下。

平移后RA1像素坐标位置信息

X1	X2	X(R11)+A1	X(R12)+A1	X(R13)+A1
					X3	X4	X(R21)+A1	X(R22)+A1	X(R23)+A1
X5	X6	X(R31)+A1	X(R32)+A1	X(R33)+A1

放大后RB 1像素坐标位置信息

X(RB11)	X(RB12)	X(RB13)	X(RB14)	X(RB15)	X(RB16)
						X(RB21)	X(RB22)	X(RB23)	X(RB24)	X(RB25)	X(RB26)
X(RB31)	X(RB32)	X(RB33)	X(RB34)	X(RB35)	X(RB36)
						X(RB41)	X(RB42)	X(RB43)	X(RB44)	X(RB45)	X(RB46)
X(RB51)	X(RB52)	X(RB53)	X(RB54)	X(RB55)	X(RB56)
						X(RB61)	X(RB62)	X(RB63)	X(RB64)	X(RB65)	X(RB66)

第六步，变换不同距离的观测目标区域使其成像清晰，采集到该清晰点处的位置值L2及温度值T2，根据此时的L2和T2，实时调取配准平移参数A2＝3，缩放参数B2＝2,则将CMOS视频图像向右平移3个像素，放大2倍。

CMOS视频向右平移3个像素之后增强后的灰度信息如下。

R1平移后的数字灰度信息

R11(Z1)	R12(Z1)	R11(Y1)	R12(Y1)	R13(Y1)
					R21(Z1)	R22(Z1)	R21(Y1)	R22(Y1)	R23(Y1)
R31(Z1)	R32(Z1)	R31(Y1)	R32(Y1)	R33(Y1)

其中R11(Z1)～R33(Z1)平移之后新的灰度信息，平移之后中心3×3的灰度信息如下。

R12(Z1)	R11(Y1)	R12(Y1)
			R22(Z1)	R21(Y1)	R22(Y1)
R32(Z1)	R31(Y1)	R32(Y1)

平移之后中心3×3放大2倍CMOS视频灰度信息变为：

放大2倍CMOS视频中心3×3灰度信息如下。

R23(C1)	R24(C1)
		R33(C1)	R34(C1)
R73(C1)	R74(C1)

其中R73(C1)、R74(C1)分别为R43(C1)和R53(C1)、R44(C1)和R54(C1)的平均。

第七步，通过CMOS视频平移缩放之后，与红外图像进行了配准，此时第二次融合。

最后得到第二次融合后的灰度信息为：

FF11(Y1)	FF12(Y1)	FF13(Y1)
			FF21(Y1)	FF22(Y1)	FF23(Y1)
FF31(Y1)	FF32(Y1)	FF33(Y1)

最后将第二次融合视频进行显示则可。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，仍然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (8)

1.一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，该方法采用调焦位置组件和位置值、温度值采样方法实现红外与可见光平行光路系统空域图像配准，通过采集调焦镜位置和不同的温度值，调取不同目标距离上的配准参数，对CMOS图像进行平移和缩放，并将经过平移和缩放后的CMOS图像与红外图像实时进行图像的配准融合；具体包括如下步骤：

步骤一：确定可见光光学系统和红外系统的设计方案；

步骤二：采集输入源红外视频与CMOS视频，并对采集到的视频图像进行预处理；

步骤三：对经过预处理后的视频信息流时域图像进行配准；

步骤四：将经过所述步骤三配准后的红外视频与CMOS视频进行第一次融合，包括：

对所述视频信息流进行外同步处理，外同步处理以可见光数字视频为基准，将可见光数字视频中的行场同步信号分别送给红外视频的FPGA，控制红外图像的输出速率，在整个处理过程中，以CMOS视频的像素时钟信号作为整个系统的主时钟，使CMOS视频与红外视频同步；

步骤五：选取经过第一次融合后的视频图像的视场区域作为固定观测目标；

步骤六：根据使用者观测距离变换观测目标区域，并使该观测目标区域成像清晰，得到对应的配准平移参数和缩放参数，根据所述平移参数和缩放参数实时实现CMOS图像的平移和缩放；

步骤七：通过图像融合算法将红外视频与经过所述步骤六平移和缩放后的CMOS视频进行第二次融合。

2.根据权利要求1所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述步骤一中，可见光光学系统采用定焦光学系统，红外系统采用可调焦系统。

3.根据权利要求1所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述步骤二中，对输入源红外视频与CMOS模拟视频进行AD采集，将模拟信号转换为数字信号送入FPGA。

4.根据权利要求3所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述AD采集芯片为ADV7180，采用的FPGA芯片为Xilinx Spartan6。

5.根据权利要求1所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述步骤三中，所述预处理是图像增强处理，以突出图像细节特征。

6.根据权利要求5所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述图像增强处理方法为Laplace增强方法。

7.根据权利要求1所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述步骤四中对经过步骤三预处理后的视频信息流时域图像配准方法为：对所述视频信息流进行外同步处理，外同步处理以可见光数字视频为基准，将可见光数字视频中的行场同步信号分别送给红外视频的FPGA，控制红外图像的输出速率，在整个处理过程中，以CMOS视频的像素时钟信号作为整个系统的主时钟，使CMOS视频与红外视频同步。

8.根据权利要求1所述的一种基于调焦位置补偿的空域图像配准融合方法，其特征在于，所述红外视频与CMOS视频的融合采用加权融合方法，第一次融合公式为Fij(Y1)＝0.5*Tij(Y1)+0.5*Rij(Y1)，其中，Fij代表第一次融合后的图像灰度信息，Tij代表红外光灰度信息，Rij代表可见光灰度信息，i×j为所述步骤二中对输入源红外视频与低照度CMOS模拟视频进行AD采集后，将模拟信号转换为的数字信号的矩阵大小；第二次融合公式为FFij(Y1)＝0.5*Tij(Y1)+0.5*Rij(C1)，其中，FFij代表第二次融合后的图像灰度信息，Tij代表红外光灰度信息，Rij代表可见光灰度信息。

Images