JP4526868B2

JP4526868B2 - トップビュー画像生成装置及びトップビュー画像表示方法

Info

Publication number: JP4526868B2
Application number: JP2004142461A
Authority: JP
Inventors: 孝之荻野
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-05-12
Filing date: 2004-05-12
Publication date: 2010-08-18
Anticipated expiration: 2024-05-12
Also published as: JP2005324593A

Description

本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置及びトップビュー画像表示方法に関し、特に、自車両及び自車両の周辺を表示するトップビュー画像生成装置及びトップビュー画像表示方法に関する。

従来、自車両に複数台のカメラを設置し、複数台のカメラにより自車両の周囲の画像を撮影して、撮影した画像を自車両内に設置したディスプレイ等の表示装置に表示する技術が提案されている。

自車両の運転者は、表示装置に表示された画像を確認することで、自車両と障害物との距離を把握し、自車両と障害物との衝突や追突等の交通事故を防ぐように運転を行う。

また、自車両に複数台のカメラを設置し、複数台のカメラにより撮影された画像をもとに、自車両の上方の仮想視点から見たトップビュー画像を生成し、このトップビュー画像をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が提案されている（例えば特許文献１など）。
国際公開第００／６４１７５号パンフレット

図１４は、特許文献１に記載の画像処理装置により生成されるトップビュー画像１００の例を示す図である。図１４において、１００はトップビュー画像であり、ディスプレイ等の表示装置に必要に応じて表示される。１０１は自車両であり、画像処理装置の画像記憶部に記憶された自車両画像データに基づいて、トップビュー画像１００の略中央に上方の仮想視点から見た状態で表示される。１０２は障害物であり、自車両１０１に設置された複数台のカメラにより撮影された画像に基づいて障害物と認識されたものである。ここで、障害物１０２は、例えば塀や建物の壁、トラックなどのある程度の高さを持つ障害物であり、自車両１０１の進行方向（例えば前方）に対して略平行に所定の範囲に渡って存在している。１０３は遮蔽部であり、車の左をカメラにより撮影した場合に、障害物１０２により遮られる無画像の部分である。従って、トップビュー画像１００では、遮蔽部１０３の画像を表示することができない。

１０４は背景部であり、自車両１０１に設置された複数台のカメラにより撮影された画像に基づいて生成される背景画像である。この背景画像は、自車両１０１が走行した場合に、トップビュー画像１００の略中央に自車両１０１を固定した状態で下方にスクロール表示される。このとき、障害物１０２も下方にスクロール表示される。

しかしながら、特許文献１に記載の技術によれば、トップビュー画像１００において、自車両１０１の表示位置が略中央に固定されてしまう。そのため、障害物１０２の左側に存在する遮蔽部１０３は、詳しい画像が得られていないにも関わらず、トップビュー画像１００のかなりの部分を占めて表示されてしまい、自車両１０１の運転者にとって無駄な情報になってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、トップビュー画像における無駄な情報の表示を削減して、運転者にとって有効な情報を多く表示できるようにすることを目的とする。

上記した課題を解決するために、本発明では、画像撮影部により撮影された画像から生成される合成画像のうち、自車両から自車両の周辺の障害物までの距離及び方向を示す障害物情報に応じて決まる所定の範囲がトップビュー画像として表示されるようにしている。具体的に、自車両から自車両のある一方向に存在する障害物までの距離が、合成画像の中央に自車両を配置したときの当該自車両から当該合成画像の端までの長さよりも短い場合に、その障害物がトップビュー画像の一辺として表示されるように表示範囲を可変としている。また、画像撮影部の撮影可能範囲または障害物検知部により障害物を検知可能な範囲内で、且つ、自車両の両側に障害物が存在する場合に、自車両の両側の障害物をそれぞれ左辺および右辺としたトップビュー予備画像を切り出し、切り出したトップビュー予備画像の左右の辺がトップビュー画像の表示領域内に入り、自車両の画像がトップビュー画像に納まる範囲内で、トップビュー予備画像の左右の辺とトップビュー画像の表示領域の左右の辺との間隔が最小となるようにトップビュー予備画像の縮尺を変更することによってトップビュー画像の表示範囲を可変としている。

上記のように構成した本発明によれば、自車両の周辺に存在する障害物によって遮られる遮蔽部ができるだけ少なく表示され、遮蔽部ではない有効な画像ができるだけ多く表示されることとなる。これにより、トップビュー画像の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像を生成することができる。従って、運転者は、自車両の周辺の障害物を容易に把握することができる。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態によるトップビュー画像生成装置１の構成例を示すブロック図である。図１において、２は画像撮影部であり、自車両の周辺を撮影するための第１のカメラ２ａ、第２のカメラ２ｂ、第３のカメラ２ｃ、第４のカメラ２ｄにより構成されている。また、３はレーダー（特許請求の範囲の障害物検知部に該当する）であり、自車両の周辺の障害物を検知する。

図２は、第１の実施形態のトップビュー画像生成装置１による第１のカメラ２ａ〜第４のカメラ２ｄ及びレーダー３の配置の例を示す図である。図２において、第１のカメラ２ａは自車両１２の前方に配置され、前方Ａの範囲の画像を撮影する。第２のカメラ２ｂは自車両１２の左側方に配置され、左方Ｂの範囲の画像を撮影する。第３のカメラ２ｃは自車両１２の後方に配置され、後方Ｃの範囲の画像を撮影する。第４のカメラ２ｄは自車両１２の右側方に配置され、右方Ｄの範囲の画像を撮影する。

レーダー３は、自車両１２の上部中央に設置されており、３６０°の指向性を持つ赤外線レーダーや超音波レーダーにより構成されている。ここで、赤外線レーダーや超音波レーダーを複数使用して３６０°の指向性を実現しても良い。また、レーダー３は、自車両１２から障害物までの距離、自車両１２から障害物の方向、障害物の大きさを検出し、障害物情報として出力する。

４は画像生成部であり、画像処理部５、マッピングテーブル６、画像記憶部７により構成されている。画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、自車両１２の周辺を上方から見たときの背景画像を生成する。この状態では、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像に基づいて背景画像を生成しているので、背景画像に表示されているのは、実際の背景及び背景に含まれる障害物のみとなり、自車両１２の画像は表示されない。また、障害物は、背景画像の一部として表示されているので、障害物として認識されていない。

そこで、画像処理部５は、レーダー３から入力される障害物情報に基づいて、背景画像中の障害物の画像を特定する。具体的には、背景画像中における自車両１２の位置、自車両１２から障害物までの距離、自車両１２から障害物の方向により背景画像中の障害物を特定する。また、画像処理部５は、自車両１２から所定の距離内に障害物が存在するか否かを判断する。ここで、所定の距離とは、例えば自車両１２に搭載した画像撮影部２の撮影可能範囲やレーダー３により障害物を検知可能な範囲、予め定めた範囲等である。そして、画像処理部５は、自車両１２から障害物までの距離が所定の長さより短いか否かを判断する。所定の長さは、例えばトップビュー画像の中央に自車両１２を配置したときの自車両１２からトップビュー画像の端までの長さを実際の距離に換算したものである。

また、画像処理部５は、特定された障害物が所定の大きさ以上であるか否かを判断する。障害物が所定の大きさ以上であると、障害物より先の画像を画像撮影部２にて撮影し難くなる。ここで、所定の大きさ以上の障害物とは、例えば、第２のカメラ２ｂにより撮影された左側方の画像における障害物の画像の占める割合が所定の値以上の障害物であり、塀や建物の壁等の障害物を指すものである。

また、画像処理部５は、自車両１２を上方から見た画像を示す自車両画像データを画像記憶部７から読み出し、背景画像の所定の位置（例えば背景画像における自車両１２が存在する位置）に合成する。

マッピングテーブル６は、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影される画像の画素データと自車両１２の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。画像記憶部７は、自車両１２を上方から見た画像を示す自車両画像データを記憶しており、必要に応じて画像処理部５により読み出される。

図３は、第1の実施形態のトップビュー画像生成装置１による合成画像１６の例を示す図である。合成画像１６は、前述した背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の左側に形成している。ここで、自車両１２と障害物１３との距離は所定の長さより短くなっている。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。

画像処理部５では、自車両１２の周辺に存在する障害物１３と自車両１２との距離が所定の長さより短いか否かを判断すると共に、障害物１３が所定の大きさ以上であるか否かを判断する。そして、障害物１３と自車両１２との距離が所定の長さより短く、障害物１３が所定の大きさ以上であると判断したときに、自車両１２から見た障害物１３の方向に応じて、その障害物１３をトップビュー画像１１の一辺として、前述した合成画像１６からトップビュー画像１１を切り出して出力する。例えば、自車両１２から見た障害物１３の方向が左側であるときには、障害物１３が左端となるようにトップビュー画像１１を切り出し、自車両１２から見た障害物１３の方向が右側であるときには、障害物１３が右端となるようにトップビュー画像１１を切り出す。

８は表示装置であり、画像処理部５により生成されたトップビュー画像１１を表示する。図４は、第１の実施形態のトップビュー画像生成装置１によるトップビュー画像１１の例を示す図であり、このトップビュー画像１１では、自車両１２に近接して存在する障害物１３が左端に表示されているので、自車両１２が左側に偏って、自車両１２の右側のスペースが広く表示されている。ここで、合成画像１６からトップビュー画像１１を切り出す範囲については、トップビュー画像１１を表示する表示装置８のアスペクト比と解像度とに応じて決められるが、合成画像１６からトップビュー画像１１を切り出す範囲を所定の解像度に固定して、表示装置８の解像度に合わせて画像を拡大又は縮小するようにしても良い。

次に、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図５は、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図５において、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、常に自車両１２の周辺を撮影している。同様に、自車両１２に設置されたレーダー３は、常に自車両１２の周辺の障害物１３を検知している。

ここで、画像処理部５では、レーダー３からの障害物情報に基づいて、自車両１２から所定の距離内に障害物１３が存在するか否かを調べる（ステップＳ１）。画像処理部５にて、自車両１２から所定の距離内に障害物１３がないと判断された場合には（ステップＳ１にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して背景画像に合成することによって合成画像１６を生成し、その合成画像１６から自車両１２を中央に配置したトップビュー画像１１を切り出す（ステップＳ２）。

一方、画像処理部５にて、自車両１２から所定の距離内に障害物１３があると判断された場合には（ステップＳ１にてＹＥＳ）、画像処理部５では、自車両１２と自車両１２の周辺に存在する障害物１３との距離が所定の長さよりも短く、且つ、障害物１３が所定の大きさ以上であるか否かを調べる（ステップＳ３）。

自車両１２と障害物１３との距離が所定の長さ以上であると画像処理部５にて判断された場合、又は、障害物１３が所定の大きさ以上ではないと画像処理部５にて判断された場合には（ステップＳ３にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２を背景画像に合成した合成画像１６を生成し、自車両１２を中央に配置したトップビュー画像１１を合成画像１６から切り出す（ステップＳ２）。

一方、自車両１２と障害物１３との距離が所定の長さより短く、且つ、障害物１３が所定の大きさ以上であると画像処理部５にて判断された場合には（ステップＳ３にてＹＥＳ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２との距離が所定の長さよりも短い障害物１３を背景画像中で特定すると共に、自車両１２から見た障害物１３の方向に応じて、特定された障害物１３を一辺とするトップビュー画像１１を合成画像１６から切り出す（ステップＳ４）。

ここで、特定された障害物１３が自車両１２の左側にあるときには、特定された障害物１３がトップビュー画像１１の左端になるようにトップビュー画像１１を切り出し、特定された障害物１３が自車両１２の右側にあるときには、特定された障害物１３がトップビュー画像１１の右端になるようにトップビュー画像１１を切り出す。例えば、図３に示すような合成画像１６では、特定された障害物１３が自車両１２の左側にあるため、特定された障害物１３が左端になるようにトップビュー画像１１が切り出される。

ステップＳ２又はステップＳ４の処理によりトップビュー画像１１が生成されると、画像処理部５では、切り出されたトップビュー画像１１を表示装置８に表示する（ステップＳ６）。そして、画像処理部５では、運転者等が図示しない操作部によりトップビュー画像１１の表示を解除したか否かを調べる（ステップＳ６）。トップビュー画像１１の表示が解除されなかった場合には（ステップＳ６にてＮＯ）、ステップＳ１の処理に戻る。一方、トップビュー画像１１の表示が解除された場合には（ステップＳ６にてＹＥＳ）、処理を終了する。

以上詳しく説明したように、第１の実施形態では、自車両１２及び自車両１２の周辺を上方の仮想視点から見たトップビュー画像１１を生成する際に、自車両１２と自車両１２の片側に存在する障害物１３との距離が所定の長さより短く、且つ、障害物１３が所定の大きさ以上である場合には、その障害物１３がトップビュー画像１１の一辺となるように合成画像１６からトップビュー画像１１を切り出している。これにより、障害物１３によって遮られる遮蔽部１５がトップビュー画像１１中に表示されなくなり、遮蔽部１５が存在しない側の画像を広く表示することができるので、トップビュー画像１１の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像１１を表示することができる。

（第２の実施形態）
以下、本発明の第２の実施形態を図面に基づいて説明する。なお、第２の実施形態によるトップビュー画像生成装置１の構成については、図１と同様であるから説明を省略する。ただし、表示装置８に表示されるトップビュー画像１１は図７、図９、及び図１１に示すような画像であり、画像処理部５は後述する処理を行う点で第１の実施形態と相違する。

画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、自車両１２の周辺を上方の仮想視点から見たときの背景画像を生成する。また、画像処理部５では、レーダー３から入力される障害物情報に基づいて、背景画像中の障害物１３の画像を特定する。具体的には、背景画像中における自車両１２の位置、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向により背景画像中の障害物１３を特定する。

そして、画像処理部５は、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在するか否かを判断する。ここで、所定の距離とは、例えば自車両１２に搭載した画像撮影部２の撮影可能範囲やレーダー３により障害物１３を検知可能な範囲、予め定めた範囲等である。

また、画像処理部５は、特定された障害物１３が所定の大きさ以上であるか否かを判断する。障害物１３が所定の大きさ以上であると、障害物１３より先の画像を画像撮影部２にて撮影し難くなる。また、画像処理部５は、自車両１２を上方から見た画像を示す自車両画像データを画像記憶部７から読み出し、背景画像の所定の位置（例えば背景画像における自車両１２が存在する位置）に合成する。

また、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。所定の長さは、例えば縮尺を変更していないトップビュー画像１１の中央に自車両１２を配置したときの自車両１２からトップビュー画像１１の端までの長さを実際の距離に換算したものである。ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合（例えば図６及び図８）と、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合（図１０）とがある。

図６は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合の合成画像１６の例を示す図である。また、図６に示す合成画像１６は、自車両１２から自車両１２の両側に存在する障害物１３までの距離が何れも所定の長さより短い場合の画像である。また、図７は、第２の実施形態のトップビュー画像生成装置１によって図６に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。

図６において、合成画像１６は、背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の両側に形成している。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。

画像処理部５では、自車両１２から所定の距離内に、且つ、自車両１２の両側に障害物１３が存在するか否かを判断すると共に、その障害物１３が所定の大きさ以上であるか否かを調べる。そして、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると判断したときには、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。

ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。しかしながら、図６のように、自車両１２の両側に存在する障害物１３の距離が近付きすぎると、自車両１２の画像がトップビュー予備画像１１ａに納まらなくなってしまうので、自車両１２がトップビュー予備画像１１ａに納まるように縦方向の長さを伸ばしてトップビュー予備画像１１ａを切り出す。

そして、画像処理部５は、トップビュー予備画像１１ａをトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このとき、画像処理部５は、図７に示すように、トップビュー予備画像１１ａの左辺とトップビュー画像１１の表示領域の左辺との間、及び、トップビュー予備画像１１ａの右辺とトップビュー画像１１の表示領域の右辺との間に存在する余白部１７が最も少なくなり、且つ、自車両１２の画像がトップビュー画像１１に納まるように、トップビュー予備画像１１ａを拡大している。ここで、余白部１７が最も少なくなることとは、換言すると、トップビュー予備画像１１ａの左右の辺とトップビュー画像１１の表示領域の左右の辺との間隔が最も小さくなることを指す。ここで、図７の例では、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離とトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離とが等距離となるようにトップビュー予備画像１１ａを貼り付けているが、必ずしも等距離とする必要はない。

なお、図６の例において、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、合成画像１６からトップビュー予備画像１１ａを切り出しているが、これに限定されない。例えば、自車両１２の画像がトップビュー画像１１に納まり、余白部１７が最小となるように、表示装置８と同じアスペクト比でトップビュー画像１１を直接切り出すようにしても良い。

また、トップビュー画像１１の表示領域に自車両１２の画像が納まれば、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー画像１１を生成しても良く、その場合、余白部１７は存在しない。また、トップビュー画像１１に自車両１２の画像が納まるという条件については、例えば自車両１２の画像の前方や後方にある程度のスペースを確保するようにしても良いし、自車両１２の前方や後方に全くスペースを設けないようにしても良い。

図８は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の他の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合の合成画像１６の例を示す図である。また、図８に示す合成画像１６は、自車両１２から自車両１２の右側に存在する障害物１３までの距離が所定の長さよりも長い場合の画像である。また、図９は、第２の実施形態のトップビュー画像生成装置１によって図８に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。

ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。図８の例では、自車両１２の画像がトップビュー予備画像１１ａに納まるので、トップビュー予備画像１１ａを表示装置８のアスペクト比に合わせて切り出す。

そして、画像処理部５は、トップビュー予備画像１１ａを拡大してトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このように、表示装置８のアスペクト比に合わせてトップビュー画像１１よりも小さいトップビュー予備画像１１ａを切り出しているので、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー予備画像１１ａを拡大することができる。

また、図１０は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の更に他の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合の合成画像１６の例である。図１１は、第２の実施形態のトップビュー画像生成装置１によって図１０に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。

図１０において、合成画像１６は、背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の両側に形成している。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。

ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。図１０の例では、自車両１２の画像がトップビュー予備画像１１ａに納まるので、トップビュー予備画像１１ａを表示装置８のアスペクト比に合わせて切り出す。

そして、画像処理部５は、トップビュー予備画像１１ａを縮小してトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このとき、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長いので、トップビュー予備画像１１ａは、自車両１２の両側に存在する障害物１３がトップビュー画像１１の両端となるまで縮小されてトップビュー画像１１の表示領域に貼り付けられる。この場合は、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離は０となり、余白部１７は存在しなくなる。

このように、表示装置８のアスペクト比に合わせてトップビュー画像１１よりも大きいトップビュー予備画像１１ａを切り出しているので、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー予備画像１１ａを縮小することができる。

次に、第２の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図１２は、第２の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図１２において、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、常に自車両１２の周辺を撮影している。同様に、自車両１２に設置されたレーダー３は、常に自車両１２の周辺の障害物１３を検知している。

ここで、画像処理部５では、レーダー３からの障害物情報に基づいて、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在するか否かを調べる（ステップＳ１１）。自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在しないと画像処理部５にて判断された場合には（ステップＳ１１にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して背景画像に合成することによって合成画像１６を生成し、その合成画像１６から自車両１２を中央に配置したトップビュー画像１１を切り出す（ステップＳ１２）。

一方、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると画像処理部５にて判断された場合には（ステップＳ１１にてＹＥＳ）、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いが否かを調べる（ステップＳ１３）。

自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には（ステップＳ１３にてＹＥＳ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２の画像を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２の両側に存在する障害物１３を背景画像中で特定する。そして、自車両１２の両側にある障害物１３を左右の辺として合成画像１６からトップビュー予備画像１１ａを切り出し、トップビュー画像１１の表示領域で余白部１７が最も少なくなり、自車両１２がトップビュー画像１１に納まるように、トップビュー予備画像１１ａを拡大してトップビュー画像１１を生成する（ステップＳ１４）。

一方、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合には（ステップＳ１３にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２の画像を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２の両側に存在する障害物１３を背景画像中で特定する。そして、自車両１２の両側にある障害物１３を左右の辺として合成画像１６からトップビュー予備画像１１ａを切り出し、トップビュー予備画像１１ａがトップビュー画像１１の表示領域にちょうど納まるように、トップビュー予備画像１１ａを縮小してトップビュー画像１１を生成する（ステップＳ１５）。

ステップＳ１２、ステップＳ１４、ステップＳ１５の処理によりトップビュー画像１１が生成されると、画像処理部５では、切り出されたトップビュー画像１１を表示装置８に表示する（ステップＳ１６）。そして、画像処理部５では、運転者等が図示しない操作部によりトップビュー画像１１の表示を解除したか否かを調べる（ステップＳ１７）。トップビュー画像１１の表示が解除されなかった場合には（ステップＳ１７にてＮＯ）、ステップＳ１の処理に戻る。一方、トップビュー画像１１の表示が解除された場合には（ステップＳ１７にてＹＥＳ）、処理を終了する。

以上詳しく説明したように、第２の実施形態では、自車両１２及び自車両１２の周辺を上方の仮想視点から見たトップビュー画像１１を生成する際に、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在する場合には、自車両１２の両側にある障害物１３を左右の辺としてトップビュー予備画像１１ａを合成画像１６から切り出す。そして、切り出したトップビュー予備画像１１ａの左右の辺からトップビュー画像１１の表示領域の左右の辺までの余白部１７が最小となり、自車両１２の画像がトップビュー画像１１に納まるように、トップビュー予備画像１１ａの縮尺を変更してトップビュー画像１１を生成している。これにより、障害物１３によって遮られる遮蔽部１５がトップビュー画像１１中にほとんど表示されなくなり、自車両１２の背景部１４の画像を詳細に表示することができるので、トップビュー画像１１の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像１１を表示することができる。

なお、第１の実施形態及び第２の実施形態では、レーダー３を用いて、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向、障害物１３の大きさを検出し、障害物情報を生成しているが、これに限定されない。例えば、図１３に示すように、画像撮影部２を第１のステレオカメラ２２ａ、第２のステレオカメラ２２ｂ、第３のステレオカメラ２２ｃ、第４のステレオカメラ２２ｄにより構成することで、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向、障害物１３の大きさを検出し、障害物情報を生成しても良い。これにより、レーダー３が不要となる。

また、トップビュー画像表示装置１をカーナビゲーション装置に搭載した場合に、画像処理部５は、自車両１２の正確な位置情報及び地図データに含まれる障害物１３の位置情報をカーナビゲーション装置から取得して、合成画像１６を生成するようにしても良い。

また、第１の実施形態及び第２の実施形態では、画像撮影部２を４台のカメラにより構成しているが、これに限定されない。自車両１２の左右を撮影する２台のカメラを使用しても良いし、それ以上の台数のカメラを使用しても良い。

また、第１の実施形態では、自車両１２の左側に存在する障害物１３又は右側に存在する障害物１３を対象としてトップビュー画像１１を合成画像１６から切り出しているが、これに限定されない。例えば、自車両１２の前方の障害物１３又は自車両１２の後方の障害物１３を対象としてトップビュー画像１１を合成画像１６から切り出しても良い。

また、第２の実施形態では、自車両１２の左右に存在する障害物１３を対象としてトップビュー予備画像１１ａを合成画像１６から切り出しているが、これに限定されない。例えば、自車両１２の前後又は前後左右の障害物１３を対象としてトップビュー予備画像１１ａを合成画像１６から切り出しても良い。

また、第１の実施形態及び第２の実施形態では、自車両１２の左右に存在する障害物１３が所定の大きさ以上であるか否かを判断して、トップビュー画像１１又はトップビュー予備画像１１ａを切り出すようにしているが、これに限定されない。例えば、自車両１２の左右に存在する障害物１３が所定の幅以上（トップビュー画像１１における縦方向の長さが所定の長さ以上）であるか否かを判断してトップビュー画像１１又はトップビュー予備画像１１ａを切り出すようにしても良い。このような障害物１３としては、例えばガードレールや低い塀、自動車等がある。

また、第１の実施形態及び第２の実施形態では、トップビュー画像１１において、障害物１３の画像を表示するようにしているが、これに限定されない。例えば、障害物１３の画像がトップビュー画像１１の端に配置される場合、障害物１３の画像の内側（自車両１２側）を合成画像１６から切り出すようにすることで障害物１３の画像を非表示としても良い。

また、第２の実施形態では、障害物１３が自車両１２から所定の距離内に、且つ、自車両１２の両側に存在しないと画像処理部５にて判断された場合に、自車両１２を中央に配置したトップビュー画像１１を切り出しているが、これに限定されない。例えば、障害物１３が自車両１２から所定の距離内に、且つ、自車両１２の片側に存在する場合に、第１の実施形態を利用してトップビュー画像１１を生成するようにしても良い。

その他、上記第１の実施形態及び第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置に有用である。

第１の実施形態によるトップビュー画像生成装置の構成例を示すブロック図である。第１の実施形態のトップビュー画像生成装置によるカメラ及びレーダーの配置の例を示す図である。第１の実施形態のトップビュー画像生成装置により生成される合成画像の例を示す図である。第１の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。第１の実施形態によるトップビュー画像生成装置の動作及びトップビュー画像表示方法を示すフローチャートである。第２の実施形態のトップビュー画像生成装置により生成される合成画像の例を示す図である。第２の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。第２の実施形態のトップビュー画像生成装置により生成される合成画像の他の例を示す図である。第２の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の他の例を示す図である。第２の実施形態のトップビュー画像生成装置により生成される合成画像の更に他の例を示す図である。第２の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の更に他の例を示す図である。第２の実施形態によるトップビュー画像生成装置の動作及びトップビュー画像表示方法を示すフローチャートである。第１の実施形態のトップビュー画像生成装置の変形例を示すブロック図である。従来の画像処理装置により生成されるトップビュー画像の例を示す図である。

符号の説明

１トップビュー画像生成装置
２画像撮影部
２ａ〜２ｄカメラ
３レーダー
４画像生成部
５画像処理部
６マッピングテーブル
７画像記憶部
８表示装置
１１トップビュー画像
１１ａトップビュー予備画像
１２自車両
１３障害物
１４背景部
１５遮蔽部
１６合成画像
１７余白部

Claims

自車両の周辺の画像を撮影する画像撮影部と、
前記自車両からその周辺の障害物までの距離及び方向を検知して障害物情報を生成する障害物検知部と、
前記画像撮影部により撮影された画像を入力し、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成すると共に、前記自車両から前記自車両のある一方向に存在する前記障害物までの距離が、前記合成画像の中央に前記自車両を配置したときの当該自車両から当該合成画像の端までの長さより短い場合に、前記合成画像のうち前記障害物情報により特定される前記障害物の画像を前記トップビュー画像の一辺とした範囲の画像を前記合成画像から切り出すことでトップビュー画像を生成する画像処理部とを備えたことを特徴とするトップビュー画像生成装置。
自車両の周辺の画像を撮影する画像撮影部と、
前記自車両からその周辺の障害物までの距離及び方向を検知して障害物情報を生成する障害物検知部と、
前記画像撮影部により撮影された画像を入力し、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成すると共に、前記自車両の両側、かつ、前記画像撮影部の撮影可能範囲または前記障害物検知部により障害物を検知可能な範囲内に前記障害物が存在する場合に、前記合成画像のうち前記自車両の左側および右側にある前記障害物の画像をそれぞれ左辺および右辺とした範囲の画像を前記合成画像から切り出すことでトップビュー予備画像を生成し、前記トップビュー予備画像の左右の辺が前記トップビュー画像の表示領域内に入り、前記自車両の画像が前記トップビュー画像に納まる範囲内で、前記トップビュー予備画像の左右の辺と前記トップビュー画像の表示領域の左右の辺との間隔が最小となるように前記トップビュー予備画像の縮尺を変更することによって前記トップビュー画像を生成する画像処理部とを備えたことを特徴とするトップビュー画像生成装置。
前記画像処理部は、前記自車両から前記自車両の両側に存在する前記障害物までの距離合計が、縮尺を変更していない前記合成画像の中央に前記自車両を配置したときの当該自車両から当該合成画像の端までの長さより短い場合には、前記トップビュー予備画像を拡大し、前記自車両から前記自車両の両側に存在する前記障害物までの距離合計が前記長さより長い場合には、前記トップビュー予備画像を縮小することを特徴とする請求項２に記載のトップビュー画像生成装置。
前記画像処理部は、前記障害物の画像を非表示とすることを特徴とする請求項１乃至請求項３の何れか一項に記載のトップビュー画像生成装置。
画像撮影部により撮影された自車両の周辺の画像を入力すると共に、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成する第１のステップと、
障害物検知部により前記自車両の周辺の障害物を検知することによって、前記自車両から前記障害物までの距離及び方向を示す障害物情報を生成する第２のステップと、
前記第２のステップにて生成された障害物情報により、前記自車両から前記自車両のある一方向に存在する前記障害物までの距離が、前記合成画像の中央に前記自車両を配置したときの当該自車両から当該合成画像の端までの長さより短いと判断された場合に、前記合成画像のうち前記障害物情報により特定される前記障害物の画像を前記トップビュー画像の一辺とした範囲を決める第３のステップと、
前記第３のステップにて決められた範囲の画像を前記第１のステップにて生成された合成画像から切り出してトップビュー画像を生成する第４のステップと、
前記第４のステップにて生成されたトップビュー画像を表示する第５のステップとを備えたトップビュー画像表示方法。
画像撮影部により撮影された自車両の周辺の画像を入力すると共に、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成する第１のステップと、
障害物検知部により前記自車両の周辺の障害物を検知することによって、前記自車両から前記障害物までの距離及び方向を示す障害物情報を生成する第２のステップと、
前記第２のステップにて生成された障害物情報により、前記自車両の両側、かつ、前記画像撮影部の撮影可能範囲または前記障害物検知部により障害物を検知可能な範囲内に前記障害物が存在すると判断された場合に、前記合成画像のうち前記自車両の左側および右側にある前記障害物の画像をそれぞれ左辺および右辺とした範囲の画像を切り出すことでトップビュー予備画像を生成する第３のステップと、
前記第３のステップにて生成した前記トップビュー予備画像の左右の辺が前記トップビュー画像の表示領域内に入り、前記自車両の画像が前記トップビュー画像に納まる範囲内で、前記トップビュー予備画像の左右の辺と前記トップビュー画像の表示領域の左右の辺との間隔が最小となるように前記トップビュー予備画像の縮尺を変更することによって前記トップビュー画像を生成する第４のステップと、
前記第４のステップにて生成されたトップビュー画像を表示する第５のステップとを備えたトップビュー画像表示方法。