JP2006178652A - 車両周辺認識システム及び画像処理装置 - Google Patents

Abstract

【課題】 車両の走行状態に応じて必要な範囲の画像領域を特定して車両周辺を認識することができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供する。
【解決手段】 画像処理部２６は、画像メモリ２３から１フレーム単位の撮像画像を読み出し、フレームレートと同期して、記憶部２４から車速ｖ、操舵角α、傾斜角βを読み出す。画像処理部２６は、読み出した車速ｖ、操舵角α、傾斜角βに基づいて、ＬＵＴ２６１を参照して、部分画像を特定するためのパラメータを取得し、特定した部分画像をフレームメモリ２６２へ一旦記憶する。歩行者認識処理部２６３は、フレームメモリ２６２に記憶された部分画像を読み出し、読み出した部分画像と、標準パターン部２４１から読み出した標準パターンＨ１、Ｈ２、…との類似度を判定する。
【選択図】 図３

Description

本発明は、画角が広角又は標準のレンズ部を有する撮像装置で撮像して得られた撮像画像から、車両の走行状態に応じて、必要な範囲の画像領域を特定し、該画像領域を画像処理装置で処理して車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。

車両（例えば、自動車）の前部にビデオカメラを搭載し、車両前方の歩行者などを撮像し、撮像した映像をヘッドアップディスプレイなどの表示装置で表示して、運転者に注意を促す前方監視システムが提案されている。

このようなシステムで使用されるビデオカメラは、車両が高速で走行した場合であっても、車両前方の遠方（例えば、３０〜１５０ｍ）の歩行者をディスプレイ上で所要の大きさで認識できるように、視野角が１０〜１５°程度の狭角レンズ（望遠レンズ）を備えている。しかし、狭角レンズを用いたビデオカメラでは、車両がカーブなどを曲がる場合に、車両の曲がる方向に存在する歩行者を十分に認識できないときがあるため、車両の操舵角に応じて、ビデオカメラを左右に駆動するシステムがある（特許文献１参照）。

また、狭角レンズを用いたビデオカメラでは、車両が低速で走行した場合には、車両の前方左右方向の視野が十分に確保できず、車両周辺の歩行者を十分に認識できない場合があるため、ズームレンズ及びズーム機構を有するビデオカメラを車両のフロントグリル周辺に配置し、車両の速度に応じて、ズームレンズを駆動して画角を変更するシステムも提案されている（特許文献２参照）。
特開２００２−３１２８９８号公報 特開平７−１０５４８１号公報

しかしながら、特許文献１のシステムにあっては、狭角レンズは大口径となるため、ビデオカメラの形状は大きくならざるを得ない。このため、ビデオカメラを操舵角に応じて左右に駆動するための駆動装置は大型化し、フロントグリルなどの車両前部の限られた収納箇所にビデオカメラと駆動装置とを取り付けることが困難な場合があり、また、車両のデザインにも悪影響を及ぼす場合があった。

また、特許文献２のシステムにあっては、ステッピングモータによりズームレンズを駆動させるための可動部分を有する。このような可動部分は、車両走行時に加わる振動、外気の温度変化、外気からの粉塵、雨などの車両特有の外的要因に対しては、車両の信頼性を損なう原因になり得る場合があった。このため、ズーム機構を車両に用いることは敬遠される傾向にあり、車両用画像認識装置の信頼性を向上するためにズーム機構に代わる機構が望まれていた。

さらに、ビデオカメラのレンズの光軸は、車両前方の所定方向に固定してあるため、車両が悪路を走行した場合に、車両が前後に傾斜したときは、レンズの光軸も上下に変動するため、車両前方の歩行者などを認識できない虞があった。

本発明は、斯かる事情に鑑みてなされたものであり、車両の走行状態に基づいて、撮像して得られた撮像画像の一部を部分画像として特定する特定手段を備え、該特定手段が特定した部分画像に基づいて車両周辺を認識するようにしてあることにより、ビデオカメラを駆動する駆動装置、又はズーム機構を用いることなく、車両の走行状態に応じて車両周辺を認識することができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。

また、本発明の他の目的は、車両の速度に応じて、撮像画像における部分画像の大きさを変更するようにしてあることにより、車両の速度が変化した場合であっても、車両周辺を認識することができる車両周辺認識システムを提供することにある。

また、本発明の他の目的は、操舵角に応じて、撮像画像における部分画像の位置を左右に変更するようにしてあることにより、車両がカーブを曲がる場合であっても、車両周辺を認識することができる車両周辺認識システムを提供することにある。

また、本発明の他の目的は、車両の前後の傾斜角に応じて、撮像画像における部分画像の位置を上下に変更するようにしてあることにより、車両が悪路を走行した場合であっても、車両周辺を認識することができる車両周辺認識システムを提供することにある。

第１発明に係る車両周辺認識システムは、車両の周辺を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記撮像装置は、画角が広角又は標準のレンズ部を有し、前記画像処理装置は、車両の走行状態に関連する情報を取得する取得手段と、該取得手段が取得した情報に基づいて、前記撮像画像の一部を部分画像として特定する特定手段とを備え、該特定手段が特定した部分画像に基づいて、車両周辺を認識するようにしてあることを特徴とする。

第２発明に係る車両周辺認識システムは、第１発明において、前記取得手段は、車両速度を取得するようにしてあり、前記特定手段は、前記部分画像の大きさを変更する変更手段を有し、該変更手段は、取得した車両速度に高低に応じて、前記撮像画像における部分画像の大小を変更するようにしてあることを特徴とする。

第３発明に係る車両周辺認識システムは、第１発明において、前記取得手段は、操舵角を取得するようにしてあり、前記特定手段は、前記撮像画像における部分画像の位置を変更する変更手段を有し、該変更手段は、取得した操舵角の大小に応じて、前記撮像画像における部分画像の位置を左右に変更するようにしてあることを特徴とする。

第４発明に係る車両周辺認識システムは、第１発明において、前記取得手段は、車両の前後の傾斜角を取得するようにしてあり、前記特定手段は、前記撮像画像における部分画像の位置を変更する変更手段を有し、該変更手段は、取得した傾斜角の大小に応じて、前記撮像画像における部分画像の位置を上下に変更するようにしてあることを特徴とする。

第５発明に係る画像処理装置は、取り込んだ撮像画像を処理して車両周辺を認識する画像処理装置において、車両の走行状態に関連する情報を取得する取得手段と、該取得手段が取得した情報に基づいて、前記撮像画像の一部を部分画像として特定する特定手段とを備え、該特定手段が特定した部分画像に基づいて、車両周辺を認識するようにしてあることを特徴とする。

第１発明及び第５発明にあっては、画角が広角又は標準のレンズ部を有する撮像装置で車両の周辺を撮像する。画像処理装置の取得手段は、車両の走行状態に関連する情報を取得する。特定手段は、前記取得手段が取得した情報に基づいて、前記撮像装置で撮像して得られた撮像画像の一部を部分画像として特定する。これにより、前記画像処理装置は、車両の走行状態に応じて、所要の撮像領域を有する部分画像を処理して車両周辺を認識する。

第２発明にあっては、前記取得手段は、車両速度を取得する。変更手段は、車両速度の高低に応じて、前記撮像画像における部分画像の大小を変更する。例えば、車両速度が高速になるに応じて、部分画像を小さくし、前記レンズ部の見掛け上の画角を小さくする。また、車両速度が低速になるに応じて、部分画像を大きくし、前記レンズ部の見掛け上の画角を大きくする。

第３発明にあっては、前記取得手段は、操舵角を取得する。変更手段は、操舵角の大小に応じて、前記撮像画像における部分画像の位置を左右に変更する。例えば、車両が右カーブを曲がる場合には、前記撮像画像における部分画像の位置を右方向へ変える。また、車両が左カーブを曲がる場合には、前記撮像画像における部分画像の位置を左方向へ変える。

第４発明にあっては、前記取得手段は、車両の前後の傾斜角を取得する。変更手段は、傾斜角の大小に応じて、前記撮像画像における部分画像の位置を上下に変更する。例えば、車両が前方上方向に傾斜した場合には、前記撮像画像における部分画像の位置を下方向へ変える。また、車両が前方下方向に傾斜した場合には、前記撮像画像における部分画像の位置を上方向へ変える。

第１発明及び第５発明にあっては、車両の走行状態に応じて、撮像装置で撮像して得られた撮像画像の一部を部分画像として特定し、前記部分画像を用いて車両周辺を認識するようにしてあることにより、ビデオカメラ駆動装置、又はズーム機構を用いることなく、車両の走行状態に応じて、所要の撮像領域における歩行者、障害物などを認識することができる。また、撮像画像の一部の範囲を処理するため、すべての撮像画像を処理する場合に比べて処理時間の短縮、処理能力の低減を図ることができる。

第２発明にあっては、車両の速度の高低に応じて部分画像の大小を変更することにより、例えば、車両が高速走行時の場合には、部分画像を小さくし、見掛け上の画角を小さくして、車両の前方遠距離の視認性を高めることができる。また、車両が低速走行時の場合には、部分画像を大きくし、見掛け上の画角を大きくして、車両の前方左右周辺の視認性を高めることができる。

第３発明にあっては、操舵角に応じて、撮像画像における部分画像の位置を左右に変更することにより、例えば、車両が右カーブを曲がる場合には、部分画像の位置を右方向に変更して、車両の曲がる方向の視認性を高めることができる。また、車両が左カーブを曲がる場合には、部分画像の位置を左方向に変更して、車両の曲がる方向の視認性を高めることができる。

第４発明にあっては、車両の前後の傾斜角に応じて、撮像画像における部分画像の位置を上下に変更することにより、例えば、車両が悪路を走行して、車両前方上方向に傾斜した場合には、部分画像の位置を下方向に変更して、車両前方の視認性を高めることができる。また、車両が車両前方下方向に傾斜した場合には、部分画像の位置を上方向に変更して、車両前方の視認性を高めることができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、１は車両に搭載され、歩行者などを撮像するビデオカメラである。ビデオカメラ１は、フロントグリルに設置され、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ用の通信線７を介して画像処理装置２に接続してある。

画像処理装置２には、通信線７を介して操作部及び警報部を有する表示装置３、操舵輪の操舵角を検出する操舵角センサ４、車体の下面であって、車両の前部及び後部夫々に取り付けられ、地面（路面）との距離を検出する距離センサ５ａ、５ｂ、車両の速度を検出する速度センサ６を接続してある。車両の傾きを示す傾斜角は、距離センサ５ａ、５ｂが検出した地面からの距離の差と、距離センサ５ａ、５ｂの離隔寸法により算出される。

図２は、ビデオカメラ１の構成を示すブロック図である。１１は撮像部である。撮像部１１は、画角が標準（例えば、３０°〜５０°）のガラス製のレンズ１１１、１１２と、レンズ１１１、１１２の光軸が撮像面の中心に位置するように配置したＣＣＤなどの撮像素子１１３とを有する。撮像素子１１３で撮像される撮像画像のサイズは、例えば、１２８０ｘ９６０画素を有する。レンズ１１１、１１２を透過した光は、撮像素子１１３に入力される。撮像素子１１３は、入力された光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１２へ出力する。

信号処理部１２は、撮像素子１１３から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画素毎に有する撮像画像を一旦画像メモリ１４へ記憶する。

インタフェース部１３は、画像処理装置２から送信される指令に従って、画像メモリ１４に記憶された撮像画像を画像処理装置２へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、撮像画像が有する画像データからパケットデータの作成などを行う。また、インタフェース部１３は、制御部１５の制御に従って、画像メモリ１４に記憶された撮像画像を画像処理装置２へ出力する。

制御部１５は、バス１６を介して、撮像部１１、信号処理部１２、インタフェース部１３の処理を制御する。例えば、画像処理装置２からの指令を解釈して、撮像部１１が撮像した撮像画像を画像メモリ１４に記憶する。また、記憶された撮像画像を読み出し、インタフェース部１３を介して画像処理装置２へ出力する。

図３は、画像処理装置２の構成を示すブロック図である。図において、２１はインタフェース部であり、ビデオカメラ１に対する指令の転送、ビデオカメラ１からの撮像画像が有する画像データの転送を行う。

入力部２２は、操舵角センサ４で検出された操舵角α、速度センサ６で検出された車速ｖなどのデータを受信し、受信したデータを後述する記憶部２４に記憶する。また、入力部２２は、距離センサ５ａ、５ｂで検出された距離データを受信し、受信した距離データに基づいて車両の傾きを示す傾斜角βを算出し、算出した傾斜角βを記憶部２４に記憶する。

記憶部２４は、歩行者を認識するための標準パターンＨ１、Ｈ２、…を記憶する標準パターン部２４１と、入力部２２を介して入力された車速ｖ、操舵角α、車両の傾斜角βを記憶する車両情報部２４２とを有する。標準パターンＨ１、Ｈ２、…は人間の輝度分布に対応した輝度分布を有し、人間の体形、子供と大人の区別、服装、姿勢などに応じて複数のパターンを有する。

制御部２７は、インタフェース部２１を介してビデオカメラ１から入力された撮像画像を、ビデオカメラ１のフレームレートと同期して、１フレーム単位で画像メモリ２３に記憶する。また、制御部２７は、画像メモリ２３に記憶された撮像画像をフレーム単位で画像処理部２６へ出力する。また、制御部２７は、タイマ（図示せず）を内蔵し、ビデオカメラ１のフレームレートと同期して記憶部２４に記憶された車両の車速ｖ、操舵角α、傾斜角βを読み出し、後述する画像処理部２６へ出力する。

画像処理部２６は、車両の走行状態に関連する情報（車速ｖ、操舵角α、傾斜角β）に対応して、後述する部分画像を特定するためのパラメータを記憶するＬＵＴ（Look Up Table）２６１と、画像メモリ２３から１フレーム単位で読み出した撮像画像の一部の範囲を特定した部分画像を記憶するフレームメモリ２６２と、フレームメモリ２６２に記憶された部分画像に基づいて歩行者の認識処理を行う歩行者認識処理部２６３とを有する。

画像処理部２６は、画像メモリ２３から１フレーム単位の撮像画像を読み出し、フレームレートと同期して、記憶部２４から車速ｖ、操舵角α、傾斜角βを読み出す。画像処理部２６は、読み出した車速ｖ、操舵角α、傾斜角βに基づいて、ＬＵＴ２６１を参照して、部分画像を特定するためのパラメータを取得し、特定した部分画像をフレームメモリ２６２へ一旦記憶する。

歩行者認識処理部２６３は、フレームメモリ２６２に記憶された部分画像を読み出し、読み出した部分画像と、標準パターン部２４１から読み出した標準パターンＨ１、Ｈ２、…との類似度を判定する。すなわち、歩行者認識処理部２６３は、部分画像と標準パターンＨ１、Ｈ２、…との所定の相関値を算出し、算出した相関値が、予め歩行者認識処理部２６３に記憶してある閾値ＴＨより大きい場合には、歩行者が存在するとして、認識された歩行者を強調表示すべく、歩行者を囲む矩形状の枠を付ける処理をして、処理後の画像データを出力部２５へ出力する。

画像処理部２６は、上述の処理を１フレーム単位で行い、１フレーム分の撮像画像に対して処理が終了すると、次のフレームに対して同様の処理を続け、処理後の画像データを出力部２５へ出力する。

出力部２５は、入力された画像データを表示装置３へ出力する。

表示装置３は、画像処理装置２から出力された画像データに基づき、外界の状況とともに、認識した歩行者の存在をディスプレイに表示する。また、歩行者が認識された場合には、歩行者の位置、距離などに応じて警告音を発する。

図４はＬＵＴ２６１の構成を示すレコードレイアウトである。ＬＵＴ２６１は、車速ｖ、操舵角α、車両の傾斜角β夫々に応じて、ビデオカメラ１で撮像した撮像画像の一部の範囲を示す部分画像の大きさ、位置を定めたものである。図に示すように、ＬＵＴ２６１は、車速ｖ、撮像画像における部分画像の始点画素（左上の画素）のｘ、ｙ座標（撮像画像の左上の画素を原点としてｘ方向、ｙ方向の画素数に相当）、部分画像の横方向の画素数、縦方向の画素数の各パラメータから構成してあり、操舵角α、及び傾斜角βについても同様である。なお、車両を左方向に操舵した場合の操舵角を正、右方向に操舵した場合の操舵角を負とし、車両が前方上方向に傾斜した場合の傾斜角を正、前方下方向に傾斜した場合の傾斜角を負としてある。

例えば、車速がｖ１の場合は、始点画素のｘ、ｙ座標は、夫々ｘ１、ｙ１であり、部分画像の横方向及び縦方向の画素数は、夫々ａ１、ｂ１である。また、車速がｖ２（ｖ２＞ｖ１）の場合は、始点画素のｘ、ｙ座標は、夫々ｘ２（ｘ２＞ｘ１）、ｙ２（ｙ２＞ｙ１）であり、部分画像の横方向及び縦方向の画素数は、夫々ａ２（ａ２＜ａ１）、ｂ２（ｂ２＜ｂ１）である。これにより、車速ｖが大きくなるに応じて、部分画像は小さくなるようにしてある。

ビデオカメラ１の画角を４０°ｘ３０°（横ｘ縦）、撮像画像のサイズ（１２８０ｘ９６０画素数）に対する部分画像のサイズは、例えば、車速が３０ｋｍ／ｈでは、９４０ｘ７０５画素数、車速が５０ｋｍ／ｈでは、７５０ｘ５６２画素数、車速が８０ｋｍ／ｈでは、４６０ｘ３４５画素数のように設定することができる。これにより、ビデオカメラ１の見掛け上の画角が、夫々３０°ｘ２３°（横ｘ縦）、２４°ｘ１８°、１５°ｘ１１°となり、低速走行時には、車両前方の左右の広い範囲を認識することができるとともに、高速走行時には、車両前方の遠方に存在する歩行者などを十分な大きさで撮像することができる。

また、操舵角がα１の場合は、始点画素のｘ、ｙ座標は、夫々ｘ３１、ｙ３であり、部分画像の横方向及び縦方向の画素数は、夫々ａ３、ｂ３である。また、操舵角が０の場合は、始点画素のｘ、ｙ座標は、夫々ｘ３２（ｘ３２＞ｘ３１）、ｙ３であり、部分画像の横方向及び縦方向の画素数は、夫々ａ３、ｂ３である。また、操舵角が−α１の場合は、始点画素のｘ、ｙ座標は、夫々ｘ３３（ｘ３３＞ｘ３２）、ｙ３であり、部分画像の横方向及び縦方向の画素数は、夫々ａ３、ｂ３である。これにより、車両が左カーブを曲がる場合は、部分画像の位置は、撮像画像において左方向に移動し、車両が右カーブを曲がる場合は、部分画像の位置は、撮像画像において右方向に移動し、車両が直進する場合は、部分画像の位置は、撮像画像の中心を通る縦線に対して左右対称になるようにしてある。なお、車速ｖと操舵角αとを同時に検出して、部分画像を特定する場合は、部分画像の横方向及び縦方向の画素数は、車速ｖに応じて定めることができる。

また、傾斜角がβ１の場合は、始点画素のｘ、ｙ座標は、夫々ｘ４、ｙ４１であり、部分画像の横方向及び縦方向の画素数は、夫々ａ４、ｂ４である。また、傾斜角が０の場合は、始点画素のｘ、ｙ座標は、夫々ｘ４、ｙ４２（ｙ４２＜ｙ４１）であり、部分画像の横方向及び縦方向の画素数は、夫々ａ４、ｂ４である。また、操舵角が−β１の場合は、始点画素のｘ、ｙ座標は、夫々ｘ４、ｙ４３（ｙ４３＜ｙ４２）であり、部分画像の横方向及び縦方向の画素数は、夫々ａ４、ｂ４である。これにより、車両が前方上方向に傾斜する場合は、部分画像の位置は、撮像画像において下方向に移動し、車両が前方下方向に傾斜する場合は、部分画像の位置は、撮像画像において上方向に移動し、車両が傾斜していない場合は、部分画像の位置は、撮像画像の中心を通る横線に対して上下対称になるようにしてある。なお、車速ｖと傾斜角βとを同時に検出して、部分画像を特定する場合は、部分画像の横方向及び縦方向の画素数は、車速ｖに応じて定めることができる。

次に本発明に係る車両周辺認識システムの動作について説明する。運転者が、表示装置３に備えられた操作部を操作してビデオカメラ１の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置２は、インタフェース部２１を介して、初期コマンドをビデオカメラ１へ送出する。

初期コマンドを受信したビデオカメラ１は、撮像部１１から車両の周辺の撮像を開始する。信号処理部１２は、撮像して得られた撮像画像を一旦画像メモリ１４に記録した後に、ビデオカメラ１のフレームレートと同期して１フレーム分の撮像画像を、インタフェース部１３を介して、画像処理装置２へ送出する。

画像処理装置２は、１フレーム分の撮像画像を一旦画像メモリ２３に記憶する。画像処理部２６は、画像メモリ２３に記憶された撮像画像を読み出すとともに、フレームレートに同期して記憶部２４から車速ｖ、操舵角α、傾斜角βを読み出す。

画像処理部２６は、読み出した車速ｖ、操舵角α、傾斜角βに基づいてＬＵＴ２６１から部分画像の範囲を特定するパラメータを読み出し、画像メモリ２３から読み出した撮像画像から部分画像の範囲を特定し、特定した部分画像をフレームメモリ２６２に記憶する。この場合、画像処理部２６は、１フレーム分の撮像画像の左上の画素から右下の画素まで順次走査し、読み出したパラメータに応じて部分画像を構成する角画素を抽出する。

歩行者認識処理部２６３は、フレームメモリ２６２に記憶された部分画像を読み出し、読み出した部分画像と、標準パターン部２４１から読み出した標準パターンＨ１、Ｈ２、…との類似度を判定し、歩行者が存在する場合は、認識された歩行者を強調表示すべく、歩行者を囲む矩形状の枠を付ける処理をして、処理後の画像データを出力部２５へ出力する。

表示装置３は、出力部２５を介して出力された画像データに基づき、外界の状況とともに、認識した歩行者の存在をディスプレイに表示する。また、歩行者が認識された場合には、歩行者の位置、距離などに応じて警告音を発する。

図５乃至図７は撮像画像における部分画像の位置関係を示す説明図である。図に示すように、車速がｖ１からｖ２（ｖ２＞ｖ１）に高速になった場合、撮像画像１００において、部分画像５０のサイズは部分画像５１のサイズへと小さくなる。なお、部分画像５１の画素数は、部分画像５０の画素数よりも少ないため、所定のサイズの表示装置で画像を表示させた場合、部分画像５１内で認識された歩行者は、大きく表示される。

また、車両を左方向に操舵した場合は、部分画像５２の位置は、撮像画像５０において左方向に移動し、車両を直進させた場合は、部分画像５３の位置は、撮像画像５０の中心を通る縦線に対して左右対称になり、車両を右方向に操舵した場合は、部分画像５４の位置は、撮像画像５０において右方向に移動する。

また、車両が前方上方向に傾斜した場合は、部分画像５５の位置は、撮像画像５０において下方向に移動し、車両が傾斜していない場合は、部分画像５６の位置は、撮像画像５０の中心を通る横線に対して上下対称になり、車両が前方下方向に傾斜した場合は、部分画像５７の位置は、撮像画像５０において上方向に移動する。

以上説明したように、本発明にあっては、画角が標準のレンズを有するビデオカメラで撮像した高解像度の撮像画像から、車速ｖ、操舵角α、傾斜角βに応じて撮像画像の一部である部分画像を特定し、部分画像のサイズ、撮像画像における部分画像の位置を変更することにより、車両の走行状態が変化した場合であっても、ビデオカメラの駆動装置又はズーム機構を用いることなく、歩行者の認識に必要な撮像領域を切り出すことができ、歩行者の認識をすることができる。

上述の実施の形態においては、ビデオカメラは、ＣＣＤを有するものであったが、これに限らず、ＣＭＯＳを有するものであってもよい。また、ビデオカメラは可視光用のビデオカメラに限定されるものではなく、ボロメータ型、サーモパイル型、焦電型、ＳＯＩダイオードなどの遠赤外線撮像素子を用いた遠赤外線光用ビデオカメラであってもよく、また、中赤外光用のビデオカメラ又は近赤外光用のビデオカメラを用いる構成であってもよい。この場合、広角レンズは、ゲルマニウム製、硫化亜鉛製などのものを使用することができる。

上述の実施の形態においては、部分画像のパラメータをＬＵＴに記憶してある構成であったが、これに限定されるものではなく、フレームレートと同期して検出した車速ｖ、操舵角α、傾斜角βに基づいて、前記パラメータを演算する構成であってもよい。

上述の実施の形態において、撮像素子のサイズ（画素数）、部分画像のサイズは一例であって、これに限定されるものでない。

上述の実施の形態においては、車両周辺を認識するものとして歩行者を認識する場合について説明したが、これは一例であって、これに限定されるものではない。すなわち、歩行者の他に、道路上の障害物、近接車両、路面表示、道路標識など、車両周辺の対象物を認識することができる。

上述の実施の形態においては、部分画像のパラメータとして、始点画素のｘ、ｙ座標、横方向及び縦方向の画素数を用いる構成であったが、これに限定されるものではなく、撮像画像における部分画像の大きさ、位置を特定することができるパラメータであれば、いずれパラメータを用いてもよい。

上述の実施の形態においては、画角が標準のレンズを用いる構成であったが、画角が広角（５０°以上）のレンズを用いる構成であってもよい。

上述の実施の形態においては、ＬＵＴ２６１から読み出したパラメータに基づいて特定した特定画像をフレームメモリ２６２に記憶する構成であったが、特定画像の特定は、これに限定されるものではなく、部分画像を特定する境界上の各画素の座標を記憶し、記憶した各画素の座標に基づいて、各画素で囲まれる領域において歩行者認識処理を行う構成であってもよい。

本発明に係る車両周辺認識システムの概要を示す模式図である。 ビデオカメラの構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 ＬＵＴの構成を示すレコードレイアウトである。 撮像画像における部分画像の位置関係を示す説明図である。 撮像画像における部分画像の位置関係を示す説明図である。 撮像画像における部分画像の位置関係を示す説明図である。

符号の説明

１ ビデオカメラ
２ 画像処理装置
３ 表示装置
４ 操舵角センサ
５ａ、５ｂ 距離センサ
６ 速度センサ
１１ 撮像部
１１０ 透過窓
１１１、１１２ 広角レンズ
１１３ 撮像素子
１２ 信号処理部
１３ インタフェース部
１４ 画像メモリ
１５ 制御部
２１ インタフェース部
２２ 入力部
２３ 画像メモリ
２４ 記憶部
２５ 出力部
２６ 画像処理部
２４２ 車両情報部
２６１ ＬＵＴ
２６２ フレームメモリ
２６３ 歩行者認識処理部

Claims (5)

1. 車両の周辺を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、
   前記撮像装置は、
   画角が広角又は標準のレンズ部を有し、
   前記画像処理装置は、
   車両の走行状態に関連する情報を取得する取得手段と、
   該取得手段が取得した情報に基づいて、前記撮像画像の一部を部分画像として特定する特定手段と
   を備え、
   該特定手段が特定した部分画像に基づいて、車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。
2. 前記取得手段は、
   車両速度を取得するようにしてあり、
   前記特定手段は、
   前記部分画像の大きさを変更する変更手段を有し、
   該変更手段は、
   取得した車両速度に高低に応じて、前記撮像画像における部分画像の大小を変更するようにしてあることを特徴とする請求項１に記載の車両周辺認識システム。
3. 前記取得手段は、
   操舵角を取得するようにしてあり、
   前記特定手段は、
   前記撮像画像における部分画像の位置を変更する変更手段を有し、
   該変更手段は、
   取得した操舵角の大小に応じて、前記撮像画像における部分画像の位置を左右に変更するようにしてあることを特徴とする請求項１に記載の車両周辺認識システム。
4. 前記取得手段は、
   車両の前後の傾斜角を取得するようにしてあり、
   前記特定手段は、
   前記撮像画像における部分画像の位置を変更する変更手段を有し、
   該変更手段は、
   取得した傾斜角の大小に応じて、前記撮像画像における部分画像の位置を上下に変更するようにしてあることを特徴とする請求項１に記載の車両周辺認識システム。
5. 取り込んだ撮像画像を処理して車両周辺を認識する画像処理装置において、
   車両の走行状態に関連する情報を取得する取得手段と、
   該取得手段が取得した情報に基づいて、前記撮像画像の一部を部分画像として特定する特定手段と
   を備え、
   該特定手段が特定した部分画像に基づいて、車両周辺を認識するようにしてあることを特徴とする画像処理装置。
   
   
   

Images