JP4637408B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周囲を撮影してモニタ等に表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像と相対位置関係が分かりに難いという問題がある。
【０００３】
また、前記問題点を改善する技術として、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この従来技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、この技術は、単に車両を後退させる際の表示技術であるので、車両が前進している場合には対応できない。
【０００５】
例えば、上述した技術では、車両の後方のみを撮影しているので、当然ながら、車両が前進する際に、例えば車両が（白線等の）レーンマークを逸脱しているかどうかは分からない。
これに対して、車両の前進時の技術として、車両の前部に取り付けられた車載カメラによって、車両の前方の道路を撮影し、車両が車線から逸脱するような場合には警報を発する技術が開示されている（例えば特開平６−１４２３０号公報参照）。
【０００６】
しかしながら、この技術の場合には、単に車両が車線を逸脱した場合に警報を発生する装置に過ぎないので、通常の前進の走行時に、車両の走行位置（即ちレーンマークとの位置関係）が分からないという問題があった。
本発明は、前記課題を解決するためになされたものであり、車両の前進の走行時等に、道路等における車両の位置を容易に認識できる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両後方の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影した車両後方の画像を、（撮影手段を視点として投影した地上面座標系のデータに変換して）後方鳥瞰図画像を作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい後方鳥瞰図画像となる。
【０００９】
そして、シフト位置が前進の場合には、後方鳥瞰図画像を作成するとともに、この後方鳥瞰図画像を用い、例えば（モニタ画面上にて）後方鳥瞰図画像を車両の前方に移動させるようにして、後方鳥瞰図画像と車両の位置との位置関係をずらし、車両の側方や前方を推定して示す推定鳥瞰図画像を作成する。
つまり、本発明では、車両の後方を示す後方鳥瞰図画像を作成するのであるが、この後方鳥瞰図画像に含まれるレーンマーク等は、車両の側方や前方にも同様に伸びているとみなして、後方鳥瞰図画像を用いて車両の側方や前方を示す推定鳥瞰図画像を作成する。
【００１０】
よって、特に車両の前進時に、この推定鳥瞰図画像を車両の位置を示す画像とともにモニタ等に表示することにより、車線に対する車両の位置を容易に把握することができる。
また、本発明では、車両の前方を撮影するカメラ等がなくとも、車両の後方を撮影するカメラ等があれば、車両の側方や前方の画像を推定して描くことができるので、低コストにて、車両が前進する場合等に道路などにおける車両の走行位置（特に左右位置）を把握することができる。
【００１１】
尚、前記推定鳥瞰図画像には、通常、車両の位置を示す画像を加入するが、車両の位置を示す画像は、モニタ等に表示できれば良いので、両画像を合成するタイミング等には特に限定はない。
（２）請求項２の発明では、推定鳥瞰図画像作成手段は、後方鳥瞰図画像が、車両の側方及び／又は前方にも伸びているとみなして、推定鳥瞰図画像を作成する。
これにより、推定鳥瞰図画像を作成することができる。
（３）請求項３の発明では、推定鳥瞰図画像に車両の位置を示す画像を加えた合成画像を、表示手段に表示する。
【００１２】
本発明は、車両が前進する場合などにおいて、モニタ等に表示する画像を例示したものである。
本発明では、推定鳥瞰図画像に車両の位置を示す画像を加えた合成画像を作成するので、上述した様に、例えば車両とレーンマークとの位置関係を明瞭に把握できる。
【００１３】
よって、車両の前進時に、車両が車線を逸脱する前に、例えば車両が車線から逸脱しそうな状況にあることを報知することなどが可能である。
（４）請求項４の発明では、車両の位置に対応させて、後方鳥瞰図画像を、表示手段にて車両の側方や前方を表示するように移動させて、推定鳥瞰図画像を作成する。
【００１４】
本発明は、推定鳥瞰図画像を作成する手法を例示したものである。
後方鳥瞰図画像は、例えばモニタ上にて、車両に対してその後方に表示されるが、本発明では、後方鳥瞰図画像を車両の前方にずらす様に移動させる。これを、例えばモニタに表示した場合には、車両の側方や前方に後方鳥瞰図画像が位置した画像、即ち推定鳥瞰図画像となる。
【００１５】
（５）請求項５の発明では、後方鳥瞰図画像にてレーンマークを示す画像を抽出し、そのレーンマークを示す画像を、車両の側方や前方に延長することにより、推定鳥瞰図画像を作成する。
本発明は、推定鳥瞰図画像を作成する手法を例示したものである。
【００１６】
本発明では、レーンマークのみを車両の前方に向けて延長する。これにより、例えばモニタ上にて、レーンマークを車両の側方や前方に描くことができる。
【００１７】
本発明では、レーンマークのみを抽出して延長すればよいので、描画のための演算処理を軽減できるという利点がある。
（６）請求項６の発明では、表示手段に合成画像を表示する場合には、自身の車両を示す画像の位置を、車両の後方の画像を表示する場合に比べて、車両の前方の画像を表示できるように変更する。
【００１８】
例えばモニタ上にて、車両の後方の画像を表示する場合には、車両の位置をモニタの端部（例えばモニタ画面の上端）に設定すると、後方の画像を描く面積が多く効果的であるが、それでは、車両の前方の画像を表示できない。
そこで、本発明では、車両の前方などの画像を表示する場合には、車両位置を示す画像を、車両の後方の画像を表示する場合とは異なるようにする。
【００１９】
例えば、車両位置を示す画像を、モニタ等の中央付近に配置すれば、車両の前後左右を表示できるので好適である。
つまり、車両の前進時には、車両の後方ではなく車両の前方や側方を表示したいという要求があるので、その場合には、車両の前方や側方を表示できる様に、モニタ等の表示画面における車両位置を示す画像の位置を、適宜設定するのである。
【００２０】
（７）請求項７の発明は、コンピュータに請求項１〜６のいずれか１項に記載の車両周辺画像処理装置が行う処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
つまり、上述した車両周辺画像処理装置が行う処理を実行させることができるプログラムを記憶した記録媒体である。
【００２１】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク（登録商標）、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００２２】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例１）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００２３】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されて車両の後方を撮影するカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、画像処理を行う画像処理ユニット５とを備えている。
【００２４】
前記画像処理ユニット５は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、機能的に、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像（後方鳥瞰図画像）を作成する後方鳥瞰図画像作成部１１と、後方鳥瞰図画像を車両前方に移動させた画像である推定鳥瞰図画像を形成する推定鳥瞰図画像作成部１３と、推定鳥瞰図画像と車両の画像とを合成して合成画像を作成する合成画像作成部１５と、モニタ３に表示する合成画像を描画する描画部１７とを備えている。
【００２５】
尚、画像処理ユニット５は、カメラ１と一体の構造となっていてもよく、画像処理ユニット５内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図５に基づいて説明する。
【００２６】
<1>最初に、カメラ１から入力された画像を、後方鳥瞰図画像作成部１１にて上空から見た鳥瞰図画像に変換する手法を説明する。
(i)図３（ａ）に、カメラ１から出力される原画像（出力画像）を示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、車両後方を撮影した画像であるので、本来平行である車線の区分を示すレーンマーク（白線）２１が歪んでいる。
【００２７】
よって、後に(ii)にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様に、歪みのない鳥瞰図画像（後方鳥瞰図画像）を作成し、モニタ３に表示する。従って、この場合は、モニタ３の表示画面上では、レーンマーク２１は平行となる。
【００２８】
尚、図３（ｂ）は、後進の場合のモニタ３の表示画面であるので、車両は表示画面の上部に表示されている。
(ii)次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００２９】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００３０】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００３１】
【数１】

【００３２】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
<2>次に、上述した手法にて作成した鳥瞰図画像（後方鳥瞰図画像）を用いて、推定鳥瞰図画像を作成する手法について説明する。
【００３３】
図５（ａ）に、（車両後方を示す）後方鳥瞰図画像をモニタ３に表示した画面を示すが、これだけでは、車両とレーンマーク２１の位置関係（特に車両の側方や前方におけるレーンマーク２１との位置関係）が明瞭ではない。
そこで、本実施例では、図５（ｂ）に示す様に、後方鳥瞰図画像を、車両の前方（同図では上方）に、車両に対して所定の移動量だけずらして、推定鳥瞰図画像を作成する。それとともに、この推定鳥瞰図画像に対して、前記移動量に対応する位置に車両の画像を書き込んで合成画像を作成し、この合成画像をモニタ３に表示する。
【００３４】
例えば、後方鳥瞰図画像を実際の１０ｍに対応する量だけ前方にずらした場合には、車両の位置は、後方鳥瞰図画像の前方（モニタ画面では上方）の先端から実際の１０ｍに対応した量だけ後方となるので、つまり、車両の位置は、後方鳥瞰図画像をずらした分だけ、後方鳥瞰図画像の内側に入ることになるので、モニタ３の表示画面上では、車両の側方や前方にまでレーンマーク２１が表示されることになる。
【００３５】
また、図５（ｂ）に示す様に、車両はモニタ３の表示画面の中央に表示する。これにより、車両の後方、側方、前方において、車両とレーンマーク２１との位置関係が明瞭になる。
尚、ここでは、「後方鳥瞰図画像を車両の前方にずらす」と表現したが、車両の位置と後方鳥瞰図画像の位置とは、（モニタ３の表示画面上では）相対的なものであるので、車両を後方にずらすとみなしてもよい。
【００３６】
また、後方鳥瞰図画像をずらす移動量とは、車両とレーンマーク２１との位置関係が明瞭となる量であり、例えば車両の先端よりレーンマーク２１が十分に前方に位置するように、適宜設定すればよい。
ｃ）次に、前記画像処理ユニット５等にて行われる処理を、図６のフローチャートに基づいて説明する。
【００３７】
図６に示す様に、まず、ステップ１００にて、シフト位置が前進であるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ１５０に進む。
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
【００３８】
ステップ１５０では、シフト位置が前進ではないので、シフト位置に応じて、例えばシフト位置が後進の場合には、カメラ１の現在の画像（後方鳥瞰図画像）を表示する等の他の画像処理を行って、一旦本処理を終了する。
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、後方鳥瞰図画像を得る。
【００３９】
続くステップ１２０では、後方鳥瞰図画像を所定の移動量、車両の前方に移動させる処理を行って、推定鳥瞰図画像を作成する。
続くステップ１３０では、推定鳥瞰図画像を移動させた分だけ、車両の位置をずらすようにして、推定鳥瞰図画像と車両の表示とを合成させた合成画像を作成する。
【００４０】
続くステップ１４０では、前記合成画像を、車両が表示画面上で中央となるようにして、モニタ３に表示し、一旦本処理を終了する。尚、必要に応じて、視野角を示すＶ字状の線の描画を行う。
ｄ）この様に、本実施例では、カメラ１で撮影した車両後方の（レーンマーク２１を含む）画像を後方鳥瞰図画像に変換し、車両の前進時には、その後方鳥瞰図画像を車両の前方にずらして推定鳥瞰図画像を作成するとともに、推定鳥瞰図画像に車両の画像を合成して合成画像を作成し、この合成画像をモニタ３に表示している。
【００４１】
従って、モニタ３に表示された合成画像においては、車両の側方や前方にレーンマーク２１が表示されるので、車両とレーンマーク２１との位置関係が明瞭となり、運転操作に好適である。
また、車両とレーンマーク２１との位置関係が分かるので、例えば車両がレーンマーク２１に近づきすぎている場合などは、実際の車線からの逸脱が生ずる前に、その状態の発生を運転者などに警告でき、安全性の上でも好ましい。
【００４２】
更に、上述した効果を得るためには、車両の前方を撮影するカメラを用いることなく、単に車両の後方を撮影するカメラ１の画像だけ済むので、低コスト化を図ることができる。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００４３】
本実施例は、後方鳥瞰図画像全体をずらすのではなく、後方鳥瞰図画像に含まれるレーンマークのみを車両の前方に延長するものである。
以下、本実施例の車両周辺画像処理装置における処理を、図７及び図８に基づいて説明する。
【００４４】
図７のフローチャートに示す様に、まず、ステップ２００にて、シフト位置が前進であるか否かを判定する。ここで肯定判断されるとステップ２１０に進み、一方否定判断されるとステップ２６０に進む。
ステップ２６０では、シフト位置が前進ではないので、シフト位置に応じて、カメラ１の現在の画像（後方鳥瞰図画像）を表示する等の他の画像処理を行って、一旦本処理を終了する。
【００４５】
一方、ステップ２１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、図８（ａ）に示す様な後方鳥瞰図画像を作成する。
続くステップ２２０では、後方鳥瞰図画像から、周知の画像処理により、（道路表面とは色が異なる）レーンマーク２１を抽出する処理を行う。
【００４６】
続くステップ２３０では、抽出したレーンマーク２１を、車両の前方に延長するようにして、推定鳥瞰図画像を作成する。
続くステップ２４０では、レーンマーク２１を延長した推定鳥瞰図画像に対して、車両の画像を書き込んで、推定鳥瞰図画像と車両を示す画像とを合成させた合成画像を作成する。
【００４７】
続くステップ２５０では、図８（ｂ）に示す様に、前記合成画像を、車両がモニタ３の表示画面上で上部となるようにして、モニタ３に表示し、一旦本処理を終了する。
本実施例においても、前記実施例１と同様な効果を奏するとともに、ここでは、後方鳥瞰図画像全体を移動するのではなく、レーンマーク２１のみを延長するので、画像処理の演算の負担が軽減されるという利点がある。
【００４８】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば前記実施例１、２では、車両周辺画像処理装置について述べたが、この装置による処理を実行させるプログラムを記憶している記録媒体も、本発明の範囲である。
【００４９】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク（登録商標）、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【図面の簡単な説明】
【図１】 実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例１の車両周辺画像処理装置による処理の手順を示す説明図である。
【図４】 実施例１の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】 実施例１の車両周辺画像処理装置による処理の手順を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図７】 実施例２の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】 実施例２の車両周辺画像処理装置による処理の手順を示す説明図である。
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…画像処理ユニット
１１…後方鳥瞰図画像作成部
１３…推定鳥瞰図画像作成部
１５…合成画像作成部
１７…描画部

Claims (7)

1. 車両後方の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
   前記撮影手段により撮影された車両後方の画像に基づいて、前記車両後方を示す後方鳥瞰図画像を作成する後方鳥瞰図画像作成手段と、
   前記後方鳥瞰図画像作成手段により作成された後方鳥瞰図画像と前記車両の位置との位置関係をずらして、前記後方鳥瞰図画像に基づいて、前記車両の側方及び／又は前方を推定して示す推定鳥瞰図画像を作成する推定鳥瞰図画像作成手段と、
   を備え、
   シフト位置が前進の場合には、前記後方鳥瞰図画像作成手段によって前記後方鳥瞰図画像を作成するとともに、前記推定鳥瞰図画像作成手段によって前記推定鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。
2. 前記推定鳥瞰図画像作成手段は、前記後方鳥瞰図画像が、前記車両の側方及び／又は前方にも伸びているとみなして、前記推定鳥瞰図画像を作成することを特徴とする前記請求項１に記載の車両周辺画像処理装置。
3. 前記推定鳥瞰図画像に前記車両の位置を示す画像を加えた合成画像を、前記表示手段に表示することを特徴とする前記請求項１又は２に記載の車両周辺画像処理装置。
4. 前記車両の位置に対応させて、前記後方鳥瞰図画像を、前記表示手段にて前記車両の側方及び／又は前方を表示するように移動させて、前記推定鳥瞰図画像を作成することを特徴とする前記請求項１〜３のいずれか１項に記載の車両周辺画像処理装置。
5. 前記後方鳥瞰図画像にてレーンマークを示す画像を抽出し、そのレーンマークを示す画像を、前記車両の側方及び／又は前方に延長することにより、前記推定鳥瞰図画像を作成することを特徴とする前記請求項１〜３のいずれか１項に記載の車両周辺画像処理装置。
6. 前記表示手段に前記合成画像を表示する場合には、自身の車両を示す画像の位置を、車両の後方の画像を表示する場合に比べて、車両の前方の画像を表示できるように変更することを特徴とする前記請求項３〜５のいずれか１項に記載の車両周辺画像処理装置。
7. コンピュータに前記請求項１〜６のいずれか１項に記載の車両周辺画像処理装置が行う処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images