CN101673473A - 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法 - Google Patents

Abstract

本发明公开了一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，该装置采用广角镜头的视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、DDR2内存，闪存和DDR2内存分别与DSP处理器连接，所述视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、DSP处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。本发明的优点是能够实时提供给驾驶员泊车所需要的汽车全景图像，从而消除了车四周的视觉盲区，来帮助驾驶员更加精确的泊车。

Description

基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法

技术领域

本发明涉及一种视觉泊车辅助装置，属于图像处理和计算机视觉领域。

背景技术

当人类社会发展到以汽车作为主要交通运输工具时，对行车安全性与舒适性有了更高的标准要求。其中倒车雷达最早出现。早期的倒车雷达多以音频作为主要的辅助手段，由安装于车辆的后保险杠上的传感器来探测车辆的后部物体，通过不同节奏的音频来提醒驾驶者车辆后面的状况。倒车雷达是依靠回音探测距离并以通过不同频率的声音进行提示的，但光凭声音提示显然没有视觉来得直观，而且对声音的判断也必然会存在误差；而后出现了视频实时倒车系统，即倒车影像监视系统。该系统让倒车时车后的状况更加直观可视，对于倒车安全来说是非常实用的配置之一。当挂倒车挡时，该系统会自动接通位于车尾的高清摄像头，将车后状况清晰的显示于液晶显示屏上，并在显示器上通过电脑合成当前方向盘的转动角度所对应的车辆行车路线，从而准确而直观地把握车后的状况。显然，倒车影像监视系统比起倒车雷达更加直观和实用。但只在汽车车尾安装倒车摄像头，只能覆盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐患，不仅让驾驶难以了解是否有障碍物存在，也提高乘客及行人的危险性。

发明内容

本发明的目的是提供了一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，可对采集于车四周场景的视频图像进行实时处理，生成虚拟全景图像。

为实现本发明目的，本发明所采取的技术方案是：该基于DSP的全景视觉泊车辅助装置主要包括采用广角镜头的视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、DDR2内存，闪存和DDR2内存分别与DSP处理器连接，所述视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、DSP处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。

进一步地，本发明所述图像同步处理器包括视频解码器和帧缓冲存储器，所述视频采集器、帧缓冲存储器和逻辑控制器分别与视频解码器连接，所述逻辑控制器和DSP处理器分别与帧缓冲存储器连接。

使用本发明的全景视觉泊车辅助装置生成虚拟全景图像的方法主要包括以下步骤：

(1)视频采集器采集一帧图像，经图像同步处理器处理后，DSP处理器将图像储存到DDR2内存中；

(2)DSP处理器将预存在闪存中的虚拟全景图像查找列表读入到DSP处理器内；

(3)DSP处理器根据查找列表中的参数，依次从DDR2内存中取出对应的像素点后，将所述像素点发送到输出帧缓存；

(4)当步骤(3)中DSP处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤(1)开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。

进一步地，本发明所述虚拟全景图像查找列表的获得包括以下步骤：

1)获取分别安装在车身的前、后、左、右外表面上的每个视频采集器所用的广角镜头的内部参数K和失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]，其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数；

2)将汽车停放于平坦地面上，在相邻的视频采集器视角的重叠区域内放置格状标记物，由所述各视频采集器对平坦地面进行拍摄，得到一组原始图像；

3)将步骤2)得到的原始图像中的车身部分去除仅保留平坦地面部分，根据以下关系式得到所述原始图像去失真后的每个像素坐标点的位置参数，从而得到矫正后的图像；

x′＝x+(x-x₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/x+2x)

y′＝y+(y-y₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/y+2y)

$r=\sqrt{x^2+y^2}$

其中，(x′，y′，1)为像素点去失真后坐标；(x，y，1)为原始图像像素点坐标；(x₀，y₀，1)镜头投影中心坐标；

4)设定汽车车顶上方的虚拟视点，将矫正后的各图像分别乘以该虚拟视点相对于各视频采集器位置的的单应性矩阵，相应得到以该虚拟视点为坐标原点的矫正后的各图像的俯视图；

5)通过平移所述各俯视图，对所述相邻的视频采集器针对同一个格状标记物所采集到的图像的线条进行拼接得到完整的格状标记物图像，由此得到虚拟全景图像，记录此时虚拟全景图像中每个像素点所隶属的原始图像；

6)对于所述虚拟全景图像的每个像素点，依据步骤5)中得到的虚拟全景图像中每个像素点所隶属的原始图像，依次按步骤4)、3)进行逆运算，得到此时的虚拟视觉全景图像的各个像素点与视频采集器所采集图像像素点的对应关系。

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，能够实时提供给驾驶员泊车所需要的汽车全景图像，从而消除了车四周的视觉盲区，来帮助驾驶员更加精确的泊车；本发明的基于DSP的全景视觉泊车辅助装置包括视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器；生成虚拟全景图像的过程主要通过DSP处理器根据预先存放在闪存中的虚拟全景图像查找列表的参数进行寻址得到，所以计算复杂度低，能够满足实时性要求。

附图说明

图1为本发明装置的结构示意框图。

图2为本发明视频采集器的安装位置及拍摄区域示意图。

图3为本发明图像同步处理器内部关系图。

图4为本发明格状标记物的放置位置示意图。

图5为本发明中图像矫正效果示意图。

图6为本装置生成全景视觉图像流程图。

图7为本发明装置一种实施方式的硬件连接示意图。

具体实施方式

作为本发明的一种实施方式，本发明装置以TI(Texas instrumentsincorporated)公司的TMS320DM643处理器为核心，TMS320DM643是TI公司发布的新一代专门面向多媒体应用的DSP处理器，由于其高速的实时运算能力和专门的视频口以及丰富的扩展接口在多媒体领域获得了广泛的应用。

图1为本发明装置的结构示意框图。如图1所示，它包括视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器。视频采集器分别固定安装在车身的前、后、左、右外表面上；视频采集器的镜头采用广角镜头，分别采集车身前、后、左、右四个区域内的实时画面，并且能够使两两相邻的视频采集器的视角存在一定的重叠区域。视频采集器可以安装在前散热格栅上部、后车盖上端和左右侧外后视镜下端，如图2所示 ，其中C1～C4为视频采集器，P点为虚拟视点，以及相邻的视频采集器视角的四个重叠区域1。视频采集器采集到的图像信号可以是模拟视频信号，也可以是数字图像信号，视频采集器将采集到的图像信号传送到图像同步处理器中。当采集的信号为模拟视频信号时，视频采集器所连接的图像同步处理器包含视频解码器和帧缓冲存储器(FIFO)，连接如图3所示；此时视频解码器将模拟视频信号转变为DSP处理器可以处理的数字信号，存放在帧缓冲存储器(FIFO)中。当采集的信号为数字信号时，则视频采集器直接与帧缓冲存储器(FIFO)连接。图像同步处理器与DSP处理器连接，DSP处理器在逻辑控制器CPLD的控制下从图像同步处理器的帧缓冲存储器读入图像，并将获得的图像存放在存储模块的DDR2内存中。DSP处理器所连接的存储模块包括闪存、DDR2内存，其中闪存用来存放DSP处理器的程序代码，以供上电时载入片内的程序空间；另外在闪存中还存放有虚拟全景图像查找列表和汽车本体俯视图像，以供生成虚拟全景图像使用；DDR2内存主要用来存放从图像同步处理器接收到的数字信号。DSP处理器还与输出帧缓存连接。输出帧缓存的主要功能是接收并暂存由DSP处理器传输来的虚拟全景图像。输出帧缓存与视频编码器连接，它们在逻辑控制器CPLD的控制下，将数字图像信号转变模拟视频信号，由图像显示器显示虚拟全景图像。

其中存放在闪存中的虚拟全景图像查找列表可由以下步骤得到：

1)获取分别安装在车身的前、后、左、右外表面上的每个视频采集器所用的广角镜头的内部参数K和失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]，其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数；

ZHANG，Z.Y：A flexible new technique for camera calibration.IEEETransaction on Pattern Analysis and Machine Intelligence22(11)，1330-1334(2000)公开了一种镜头参数的标定方法，利用这种方法可以获取镜头的内部参数K和失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]。本发明也可以使用该标定方法获取分别安装在车身的前、后、左、右外表面上的每个视频采集器所用的广角镜头的内部参数K和失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]。

2)将汽车停放于平坦地面上，在如图2所示的各相邻的视频采集器视角的四个重叠区域1内分别放置格状标记物2；如图4所示，该格状标记物2有如棋盘状的方格，由所述各视频采集器对平坦地面进行拍摄，得到一组原始图像I_i(i＝1，2，3，4)；

3)将步骤2)得到的原始图像I_i中的车身部分去除仅保留平坦地面部分，根据以下关系式得到所述原始图像I_i去失真后的每个像素坐标点的位置参数，从而得到矫正后的图像U_i(i＝1，2，3，4)，矫正效果如图5所示；

x′＝x+(x-x₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/x+2x)

y′＝y+(y-y₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/y+2y)

$r=\sqrt{x^2+y^2}$

其中，(x′，y′，1)为像素点去失真后坐标；(x，y，1)为原始图像像素点坐标；(x₀，y₀，1)镜头投影中心坐标；

4)设定汽车车顶上方的虚拟视点，将矫正后的各图像U_i分别乘以该虚拟视点相对于各视频采集器位置的单应性矩阵H_i(i＝1，2，3，4)，相应得到以该虚拟视点为坐标原点的矫正后的各图像U_i的俯视图F_i(i＝1，2，3，4)；

5)通过平移所述俯视图F_i，对所述相邻的视频采集器针对同一个格状标记物所采集到的图像的线条进行拼接得到完整的格状标记物图像，由此得到虚拟全景图像，并根据拼接接缝位置，记录虚拟全景图像中每个像素点所隶属的原始图像序号i；

6)对于所述虚拟全景图像的每个像素点，依次按步骤4)、3)进行逆运算，即对于虚拟全景图像每个像素点(x₀″，y₀″，1)，结合步骤5)所得的虚拟全景图像每个像素点所隶属的原始图像序号i，乘以H_i ^-1矩阵，(H_i ^-1为H_i的逆矩阵)将得到的结果(x₀″′，y₀″′，1)带入到步骤3)所述关系式，令(x′，y′，1)＝(x₀″′，y₀″′，1)，计算得到(x，y，1)的值，由此得到虚拟视觉全景图像的各个像素点与视频采集器所采集的原始图像像素点的对应关系。

由于在步骤3)中去除了车体部分，使步骤5)中得到的虚拟全景图像中存在空白区域，可以使用虚拟的汽车车体俯视图像作为填充，虚拟的汽车车体俯视图像可以预先存放在存储模块中，如闪存。以上处理过程中，虚拟全景图像的非虚拟车体部分的像素点，均是由视频采集器所采集的原始图像I_i中的某个像素点经过一系列空间变换得到的，而与该像素的内容即其亮度或色彩信息无关，并且对于位置固定的镜头，其内部参数和失真系数以及对于某一位置的单应性矩阵是恒量。所以我们记录这种原始图像到虚拟全景图像的点对应关系，保存为列表格式，当视频采集器所采集的场景发生变化时，仍以上述得到的原始图像与虚拟全景图像的点对应关系进行处理，来生成虚拟全景图像。将该列表存放在闪存中。该列表格式每个像素点参数可以表示为(n，x，y)，其中n＝1，2，3，4，5；1代表I₁，2代表I₂，3代表I₃，4代表I₄，5代表虚拟的汽车本体俯视图像，x和y代表该点在各所在对应原始图像的横坐标与纵坐标。例如第一个像素点参数为(1，4，5)，即表示虚拟全景图像第一行第一列的像素点对应于原始图像I₁的横坐标为4纵坐标为5的像素点。

虚拟全景图像查找列以虚拟全景图像的左上角为起始像素点(存放在列表第一个位置)，进行由左到右、由上到下进行排放。例如虚拟全景图像第3行第4列像素点的参数，记录在列表的(2×总列数+4)的位置上。

本发明装置的工作流程图如图6所示，生成虚拟全景图像的方法包括以下步骤：

(1)视频采集器采集一帧图像，(当视频采集器采集的图像为模拟视频信号图像时，还需经图像同步处理器中的视频解码器进行A/D转换，转换成数字图像信号)存入到帧缓冲存储器，当各帧缓冲存储器存满一帧图像后，由逻辑控制器开启帧缓冲存储器输出使能端，由DSP处理器同步的读入数字图像信号，然后DSP处理器将图像储存到DDR2内存中；

(2)DSP处理器将预存在闪存中的虚拟全景图像查找列表读入到DSP处理器内；

(3)DSP处理器根据查找列表中的参数，依次从DDR2内存中取出对应的像素点后，将所述像素点发送到输出帧缓存；

(4)当步骤(3)中DSP处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤(1)开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。

具体地，以视频采集器采集模拟视频信号为例，在某一时刻启动视频采集器，4个视频采集器开始采集图像并将采集到的模拟视频信号传送到图像同步处理器。图像同步处理器中的视频解码芯片可选用Philips公司的9位视频解码器SAA7115。SAA7115通过逻辑控制器(CPLD)对其I2C总线进行编程。SAA7115能连接所有主要合成视频标准，例如NTSC、PAL和SECAM，这些标准都可通过解码器的内部寄存器编程设置。由于本装置对实时性要求较高，因此SAA7115配置为：采用4:2:2YUV信号机制，只取Y(亮度)信号。帧缓冲存储器和输出帧缓存可以采用AVERLOGIC公司的AL4V8M440芯片，储存空间为8M大小(1024k x8-bit)，拥有互相独立的输入输出端口，可以接受不同的I/O读写速率；最大读写速度达到80MHz。SAA7115的8位并行输出口Y[9:2]与帧缓存储存器AL4V8M440的数据输入端口DI[7:0]相连。

SAA7115输出的行场同步信号首先传输到逻辑控制器(CPLD)，作为帧同步逻辑控制信号。当图像开始采集时，4个不同步的场同步信号输入到CPLD中，再通过CPLD连接到其对应连接的帧缓冲存储器AL4V8M440的WE口(写使能端口)，将一帧信号输入。4个AL4V8M440数据输出端口DO[7:0]分别连接到DSP的VP1与VP2的各自的两个Channel中。当4个AL4V8M440均储存完一帧图像后，CPLD同时将4个AL4V8M440的读使能信号RE置为允许读出，允许DSP处理器的VP端口从AL4V8M440中读取一帧图像。图像数据首先写入DSP内大小为5120个字节的先入先出寄存器中，当DSP应用在双通道模式下，先入先出寄存器自动分裂成两个大小为2560字节的通道，每个通道可各设置一个增强型直接内存存取(即EDMA)进行搬移。EDMA将4个视频采集器采集到的图像存放在DDR2内存中。

当4个视频采集器采集的各一帧图像储存到DDR2内存后，DSP处理器从闪存Flash中读入虚拟全景图像查找列表，DSP处理器根据查找列表中的参数，从DDR2内存中取出对应的像素点，之后将该像素点发送到输出帧缓存；当DSP处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，由CPLD产生输出帧缓存的时序信号和视频编码芯片的行场同步信号，将输出帧缓存中所储存的内容传输到视频编码器(如NXP公司的视频编码芯片SAA7105)中，转换成视频信号，由视频线传输到LCD屏幕显示出虚拟全景图像，同时视频采集器开始采集新的一帧图像。本例中硬件连接示意图如图7所示。

由于本装置生成虚拟全景图像的过程主要通过DSP寻址实现，所以计算复杂度低，能够满足实时性要求。

Claims (4)

1.一种基于DSP的全景视觉泊车辅助装置，其特征在于：它包括采用广角镜头的视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、DDR2内存，闪存和DDR2内存分别与DSP处理器连接，所述视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、DSP处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。

2.根据权利要求1所述的基于DSP的全景视觉泊车辅助装置，其特征在于：所述图像同步处理器包括视频解码器和帧缓冲存储器，所述视频采集器、帧缓冲存储器和逻辑控制器分别与视频解码器连接，所述逻辑控制器和DSP处理器分别与帧缓冲存储器连接。

3.一种使用权利要求1的全景视觉泊车辅助装置生成虚拟全景图像的方法，其特征是包括以下步骤：

(1)视频采集器采集一帧图像，经图像同步处理器处理后，DSP处理器将图像储存到DDR2内存中；

(2)DSP处理器将预存在闪存中的虚拟全景图像查找列表读入到DSP处理器内；

(3)DSP处理器根据查找列表中的参数，依次从DDR2内存中取出对应的像素点后，将所述像素点发送到输出帧缓存；

(4)当步骤(3)中DSP处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤(1)开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。

4.根据权利要求3所述的全景视觉泊车辅助装置生成全景视觉图像的方法，其特征是所述虚拟全景图像查找列表的获得包括以下步骤：

1)获取分别安装在车身的前、后、左、右外表面上的每个视频采集器所用的广角镜头的内部参数K和失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]，其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数；

2)将汽车停放于平坦地面上，在相邻的视频采集器视角的重叠区域内放置格状标记物，由所述各视频采集器对平坦地面进行拍摄，得到一组原始图像；

3)将步骤2)得到的原始图像中的车身部分去除仅保留平坦地面部分，根据以下关系式得到所述原始图像去失真后的每个像素坐标点的位置参数，从而得到矫正后的图像；

x′＝x+(x-x₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/x+2x)

y′＝y+(y-y₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/y+2y)

$r=\sqrt{x^2+y^2}$

其中，(x′，y′，1)为像素点去失真后坐标；(x，y，1)为原始图像像素点坐标；(x₀，y₀，1)镜头投影中心坐标；

4)设定汽车车顶上方的虚拟视点，将矫正后的各图像分别乘以该虚拟视点相对于各视频采集器位置的的单应性矩阵，相应得到以该虚拟视点为坐标原点的矫正后的各图像的俯视图；

5)通过平移所述各俯视图，对所述相邻的视频采集器针对同一个格状标记物所采集到的图像的线条进行拼接得到完整的格状标记物图像，由此得到虚拟全景图像，记录此时虚拟全景图像中每个像素点所隶属的原始图像；

6)对于所述虚拟全景图像的每个像素点，依据步骤5)中得到的虚拟全景图像中每个像素点所隶属的原始图像，依次按步骤4)、3)进行逆运算，得到此时的虚拟视觉全景图像的各个像素点与视频采集器所采集图像像素点的对应关系。

Images