JPH07186833A - 車両用周囲状況表示装置 - Google Patents
車両用周囲状況表示装置Info
- Publication number
- JPH07186833A JPH07186833A JP5355345A JP35534593A JPH07186833A JP H07186833 A JPH07186833 A JP H07186833A JP 5355345 A JP5355345 A JP 5355345A JP 35534593 A JP35534593 A JP 35534593A JP H07186833 A JPH07186833 A JP H07186833A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road surface
- surface area
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 先行車両や障害物等の高さのある物体画像も
歪みなく表示し,運転者に対して運転時における判断を
的確に行えるように周囲状況をより正確に知らせる。 【構成】 画像入力部101により車両周囲の撮像画像
を入力し,該入力画像を路面検出部104により路面領
域と非路面領域とに分離し,路面領域のみ座標変換部1
06により座標変換し,非路面領域に対しては座標変換
を行わず画像切り出し部105により平行移動や拡大/
縮小を行い,これら2つの処理画像を合成部107によ
り合成させて表示部103に表示することにより,障害
物や先行車両などの非路面領域の入力画像を自然な状態
で認識させる。
歪みなく表示し,運転者に対して運転時における判断を
的確に行えるように周囲状況をより正確に知らせる。 【構成】 画像入力部101により車両周囲の撮像画像
を入力し,該入力画像を路面検出部104により路面領
域と非路面領域とに分離し,路面領域のみ座標変換部1
06により座標変換し,非路面領域に対しては座標変換
を行わず画像切り出し部105により平行移動や拡大/
縮小を行い,これら2つの処理画像を合成部107によ
り合成させて表示部103に表示することにより,障害
物や先行車両などの非路面領域の入力画像を自然な状態
で認識させる。
Description
【0001】
【産業上の利用分野】この発明は,先行車両や障害物等
の高さのある物体画像も歪みなく表示可能として車両の
周囲状況を的確に検出し,該周囲状況を運転者に対して
より正確に表示する車両用周囲状況表示装置に関する。
の高さのある物体画像も歪みなく表示可能として車両の
周囲状況を的確に検出し,該周囲状況を運転者に対して
より正確に表示する車両用周囲状況表示装置に関する。
【0002】
【従来の技術】従来における車両用周囲状況表示装置と
して,例えば,特開平3−99952号公報に開示され
ている「車両用周囲状況モニタ」がある。これは,車両
に設置された複数台のカメラ画像を,逆射影変換によっ
てあたかも真上からみた画像に変換し,複数画像を合成
しながら表示し,自車両と周囲環境との位置関係を運転
者に対して充分認識できるようにしたものである。
して,例えば,特開平3−99952号公報に開示され
ている「車両用周囲状況モニタ」がある。これは,車両
に設置された複数台のカメラ画像を,逆射影変換によっ
てあたかも真上からみた画像に変換し,複数画像を合成
しながら表示し,自車両と周囲環境との位置関係を運転
者に対して充分認識できるようにしたものである。
【0003】
【発明が解決しようとする課題】しかしながら,上記に
示されるような従来における「車両用周囲状況モニタ」
にあっては,画像中の物体がすべて道路面上にあるもの
と仮定して座標変換を行うため,真に道路面上の物体,
例えば,白線や路面に描かれた矢印や横断歩道等の表示
については,前方距離が線形となるように変換されるの
で,距離の把握については容易となるが,先行車両や障
害物等の高さのある物体に対しては画像が大きく歪んで
表示されるため,表示画像上の物体と実際の物体とを対
応させることが容易ではないという問題点があった。
示されるような従来における「車両用周囲状況モニタ」
にあっては,画像中の物体がすべて道路面上にあるもの
と仮定して座標変換を行うため,真に道路面上の物体,
例えば,白線や路面に描かれた矢印や横断歩道等の表示
については,前方距離が線形となるように変換されるの
で,距離の把握については容易となるが,先行車両や障
害物等の高さのある物体に対しては画像が大きく歪んで
表示されるため,表示画像上の物体と実際の物体とを対
応させることが容易ではないという問題点があった。
【0004】この発明は,上記に鑑みてなされたもので
あって,先行車両や障害物等の高さのある物体画像も歪
みなく表示し,運転者に対して運転時における判断を的
確に行えるように周囲状況をより正確に知らせることを
目的とする。
あって,先行車両や障害物等の高さのある物体画像も歪
みなく表示し,運転者に対して運転時における判断を的
確に行えるように周囲状況をより正確に知らせることを
目的とする。
【0005】
【課題を解決するための手段】この発明は,上記の目的
を達成するために,車両周囲の状況を撮像し,入力する
画像入力手段と,前記画像入力手段からの入力画像を路
面領域と非路面領域とに分離する路面領域検出手段と,
前記画像入力手段からの入力画像を座標変換する座標変
換手段と,前記路面領域検出手段により分離された非路
面領域の画像を切り出す非路面領域抽出手段と,前記座
標変換手段により座標変換された画像と前記非路面領域
抽出手段により切り出された画像とを合成する画像合成
手段と,前記画像合成手段による合成画像を表示する画
像表示手段とを具備する車両用周囲状況表示装置を提供
するものである。
を達成するために,車両周囲の状況を撮像し,入力する
画像入力手段と,前記画像入力手段からの入力画像を路
面領域と非路面領域とに分離する路面領域検出手段と,
前記画像入力手段からの入力画像を座標変換する座標変
換手段と,前記路面領域検出手段により分離された非路
面領域の画像を切り出す非路面領域抽出手段と,前記座
標変換手段により座標変換された画像と前記非路面領域
抽出手段により切り出された画像とを合成する画像合成
手段と,前記画像合成手段による合成画像を表示する画
像表示手段とを具備する車両用周囲状況表示装置を提供
するものである。
【0006】
【作用】この発明に係る車両用周囲状況表示装置は,画
像入力手段により車両周囲の撮像画像を入力し,該入力
画像を路面領域検出手段により路面領域と非路面領域と
に分離し,路面領域のみ座標変換し,非路面領域に対し
ては座標変換を行わず平行移動や拡大/縮小を行い,こ
れら2つの処理画像を画像合成手段により合成させて画
像表示手段に表示することにより,障害物や先行車両な
どの非路面領域の入力画像を自然な状態で認識させる。
像入力手段により車両周囲の撮像画像を入力し,該入力
画像を路面領域検出手段により路面領域と非路面領域と
に分離し,路面領域のみ座標変換し,非路面領域に対し
ては座標変換を行わず平行移動や拡大/縮小を行い,こ
れら2つの処理画像を画像合成手段により合成させて画
像表示手段に表示することにより,障害物や先行車両な
どの非路面領域の入力画像を自然な状態で認識させる。
【0007】
【実施例】以下,この発明に係る車両用周囲状況表示装
置の一実施例を添付図面に基づいて説明する。図1は,
この発明に係る車両用周囲状況表示装置の概略構成を示
すブロック図であり,車両の周囲を撮像した画像を入力
する画像入力部101と,該入力画像に対して所定の画
像処理(検出,領域特定,座標変換,合成)を実行する
画像処理部102と,該画像処理された周囲状況の画像
情報を表示する表示部103とから大きく構成されてい
る。
置の一実施例を添付図面に基づいて説明する。図1は,
この発明に係る車両用周囲状況表示装置の概略構成を示
すブロック図であり,車両の周囲を撮像した画像を入力
する画像入力部101と,該入力画像に対して所定の画
像処理(検出,領域特定,座標変換,合成)を実行する
画像処理部102と,該画像処理された周囲状況の画像
情報を表示する表示部103とから大きく構成されてい
る。
【0008】具体的には,画像入力部101として,車
体前方に設置するカメラを用い,表示部103として,
運転席近傍に設置するTVモニタのような2次元ディス
プレイを用いる。
体前方に設置するカメラを用い,表示部103として,
運転席近傍に設置するTVモニタのような2次元ディス
プレイを用いる。
【0009】また,画像処理部102は,以下の機能ブ
ロックにより構成されている。すなわち,画像処理部1
02は,画像入力部101を介して入力された画像を路
面領域と非路面領域とに分離する路面検出部104と,
該路面検出部104により分離された非路面領域におけ
る入力画像を切り出す画像切り出し部105と,入力画
像を座標変換する座標変換部106と,上記画像切り出
し部105からの切り出し画像と,上記座標変換部10
6による座標変換処理後の画像とを合成する合成部10
7とから構成されている。
ロックにより構成されている。すなわち,画像処理部1
02は,画像入力部101を介して入力された画像を路
面領域と非路面領域とに分離する路面検出部104と,
該路面検出部104により分離された非路面領域におけ
る入力画像を切り出す画像切り出し部105と,入力画
像を座標変換する座標変換部106と,上記画像切り出
し部105からの切り出し画像と,上記座標変換部10
6による座標変換処理後の画像とを合成する合成部10
7とから構成されている。
【0010】次に,動作について説明する。まず,画像
入力部101(カメラ)により車両周囲の画像が撮像さ
れ,画像処理部102に入力される。該画像情報入力
後,路面検出部104により路面領域と非路面領域とに
分割される。また,座標変換部106により入力画像が
逆射影変換されるが,この場合,非路面領域については
そのままの状態で表示処理を行う。なお,これらの処理
は画像切り出し部105および合成部107により実行
される。
入力部101(カメラ)により車両周囲の画像が撮像さ
れ,画像処理部102に入力される。該画像情報入力
後,路面検出部104により路面領域と非路面領域とに
分割される。また,座標変換部106により入力画像が
逆射影変換されるが,この場合,非路面領域については
そのままの状態で表示処理を行う。なお,これらの処理
は画像切り出し部105および合成部107により実行
される。
【0011】図2は,図1に示した車両用周囲状況表示
装置による入力画像および表示画像の例を示す説明図で
あり,図2(a)は入力画像,図2(b)は表示画像を
それぞれ示している。上記図2(b)において,画像下
部の左右三角形のハッチング部分は入力画像の存在しな
い部分であり,また,先行車両の上部ハッチング部分
は,先行車両によってその前方の画像が隠されているた
めに表示できない部分を示している。
装置による入力画像および表示画像の例を示す説明図で
あり,図2(a)は入力画像,図2(b)は表示画像を
それぞれ示している。上記図2(b)において,画像下
部の左右三角形のハッチング部分は入力画像の存在しな
い部分であり,また,先行車両の上部ハッチング部分
は,先行車両によってその前方の画像が隠されているた
めに表示できない部分を示している。
【0012】図3は,図1に示した画像処理部102に
よる画像処理動作を示すフローチャートであり,図4
は,上記図3の各処理に対応する表示画面である。な
お,ここでは,車両前方の画像を例にとって説明してい
るが,側方や後方あるいは後側方や前側方等の表示処理
についても全く同様である。
よる画像処理動作を示すフローチャートであり,図4
は,上記図3の各処理に対応する表示画面である。な
お,ここでは,車両前方の画像を例にとって説明してい
るが,側方や後方あるいは後側方や前側方等の表示処理
についても全く同様である。
【0013】まず,全体的な処理の流れについて説明す
る。処理が開始されると,図4(a)に示すように,画
像入力部101を介してカラー画像の入力が実行され
(S301),該入力画像情報が座標変換部106によ
り座標変換され,俯瞰図画像となる(S302)。さら
に,画面下端部で色の認識を行い(S303),図4
(b)に示すように画面全体で同一色を抽出する(S3
04)。その後,図4(c)に示すように膨張および収
縮処理(後述)を実行し(S305),非路面領域に対
してラベリング処理を行い(S306),各領域毎に境
界を検出する(S307)。
る。処理が開始されると,図4(a)に示すように,画
像入力部101を介してカラー画像の入力が実行され
(S301),該入力画像情報が座標変換部106によ
り座標変換され,俯瞰図画像となる(S302)。さら
に,画面下端部で色の認識を行い(S303),図4
(b)に示すように画面全体で同一色を抽出する(S3
04)。その後,図4(c)に示すように膨張および収
縮処理(後述)を実行し(S305),非路面領域に対
してラベリング処理を行い(S306),各領域毎に境
界を検出する(S307)。
【0014】次に,図4(d)に示すように各領域毎に
直線検出を実行し(S308),図4(e)に示すよう
に,画面上の障害物領域を消去する(S309)。その
後,上記入力画像から画像の切り出し処理および拡大あ
るいは縮小処理を実行し(S310),合成部107に
より俯瞰図画像へ合成する(S311)。続いて,図4
(f)に示すように,適正車間距離マーカの描画処理を
実行し(S312),表示部103において,上記一連
の処理を経た画像情報を表示する(S313)。
直線検出を実行し(S308),図4(e)に示すよう
に,画面上の障害物領域を消去する(S309)。その
後,上記入力画像から画像の切り出し処理および拡大あ
るいは縮小処理を実行し(S310),合成部107に
より俯瞰図画像へ合成する(S311)。続いて,図4
(f)に示すように,適正車間距離マーカの描画処理を
実行し(S312),表示部103において,上記一連
の処理を経た画像情報を表示する(S313)。
【0015】さらに,上記処理について詳述する。ま
ず,座標変換部106の処理動作について説明する。入
力画像をA(x,y)とし,座標変換によってB(i,
j)を得るものとして説明する。なお,理解を容易にす
るため,カメラ(画像入力部101)は路面に対して水
平方向に設置されているものとする。路面からのカメラ
の高さがH,レンズの焦点距離をFとすると,前方Zで
カメラの横手方向Xにある路面(水平と仮定)上の点
は,カメラ上では, x=F・X/Z y=F・H/Z ・・・(1) として撮像される。
ず,座標変換部106の処理動作について説明する。入
力画像をA(x,y)とし,座標変換によってB(i,
j)を得るものとして説明する。なお,理解を容易にす
るため,カメラ(画像入力部101)は路面に対して水
平方向に設置されているものとする。路面からのカメラ
の高さがH,レンズの焦点距離をFとすると,前方Zで
カメラの横手方向Xにある路面(水平と仮定)上の点
は,カメラ上では, x=F・X/Z y=F・H/Z ・・・(1) として撮像される。
【0016】このとき,路面上の前方方向の座標Zと横
手方向の座標Xと,表示画像の座標i,jとをそれぞれ
対応させ, i=L・X j=M・Z ・・・(2) となるように表示するものとする。ただし,LとMとは
適切な比例定数である。また,前方や後方の表示では,
L>Mの関係であることが望ましい。これは,前方につ
いては100m位まで表示する必要があるのに対し,横
方向には数十m程度表示すればよいためである。
手方向の座標Xと,表示画像の座標i,jとをそれぞれ
対応させ, i=L・X j=M・Z ・・・(2) となるように表示するものとする。ただし,LとMとは
適切な比例定数である。また,前方や後方の表示では,
L>Mの関係であることが望ましい。これは,前方につ
いては100m位まで表示する必要があるのに対し,横
方向には数十m程度表示すればよいためである。
【0017】上記(1)式と(2)式により, x=F・M・i/(L・j) y=F・H・M/j ・・・(3) となる変換を実行する。すなわち, B(i,j)=A(F・M・i/(L・j),F・H・
M/j) となる座標変換を実行することにより,入力画像に撮像
されている物体がすべて路面上の点であれば,真上から
見たような画像B(i,j)を得ることができるもので
ある。
M/j) となる座標変換を実行することにより,入力画像に撮像
されている物体がすべて路面上の点であれば,真上から
見たような画像B(i,j)を得ることができるもので
ある。
【0018】次に,路面検出部104の処理動作につい
て説明する。なお,本実施例における路面領域と非路面
領域との分離はカラー画像で行うものとする。また,こ
の部分は,例えば,特願平3−90043号公報に開示
されている障害物検出の方法を用いてもよい。カラー画
像を用いることによって,より正確な非路面領域の検出
が可能となる。
て説明する。なお,本実施例における路面領域と非路面
領域との分離はカラー画像で行うものとする。また,こ
の部分は,例えば,特願平3−90043号公報に開示
されている障害物検出の方法を用いてもよい。カラー画
像を用いることによって,より正確な非路面領域の検出
が可能となる。
【0019】まず,カラー画像の入力後,画面の下端部
分で色を認識する。該画面の下端部分は車両の直前に相
当するため,路面である確率が非常に高い。次に,画面
全体で画面下端部と同様な色の部分を抽出する。該同様
の色をもつ部分が路面領域であり,その他の部分を非路
面領域として認識する。
分で色を認識する。該画面の下端部分は車両の直前に相
当するため,路面である確率が非常に高い。次に,画面
全体で画面下端部と同様な色の部分を抽出する。該同様
の色をもつ部分が路面領域であり,その他の部分を非路
面領域として認識する。
【0020】具体的には,カラー画像がR(赤),G
(緑),B(青)の3原色で表されているものとする
と,例えば, V1=R/(R+G+B) V2=G/(R+G+B) V3=B/(R+G+B) と変換した後,上記V1,V2,V3をベクトルとみな
して,類似度(内積)を計算すればよい。
(緑),B(青)の3原色で表されているものとする
と,例えば, V1=R/(R+G+B) V2=G/(R+G+B) V3=B/(R+G+B) と変換した後,上記V1,V2,V3をベクトルとみな
して,類似度(内積)を計算すればよい。
【0021】すなわち,画面下端部分で基準となるV
1,V2,V3を求める。次に,画面の各画素で同様に
V1,V2,V3を求め,基準となるV1,V2,V3
との内積を計算し,ある閾値により2値化処理を実行
し,該閾値以上の画素を路面領域とする。また,上記の
他に,輝度,色相,彩度に分離されているカラー情報を
用いるには,色相と彩度とをベクトルの要素と考えて,
上記と同様の処理を行ってもよい。
1,V2,V3を求める。次に,画面の各画素で同様に
V1,V2,V3を求め,基準となるV1,V2,V3
との内積を計算し,ある閾値により2値化処理を実行
し,該閾値以上の画素を路面領域とする。また,上記の
他に,輝度,色相,彩度に分離されているカラー情報を
用いるには,色相と彩度とをベクトルの要素と考えて,
上記と同様の処理を行ってもよい。
【0022】また,路面領域の検出は,入力画像に対し
て行ってもよいが,上記画像(B(i,j))に対して
行ってもよい。画像B(i,j)に対して行った方が効
果的であるため,以下においては,画像B(i,j)に
対して路面領域の検出を実行するものとして説明する。
て行ってもよいが,上記画像(B(i,j))に対して
行ってもよい。画像B(i,j)に対して行った方が効
果的であるため,以下においては,画像B(i,j)に
対して路面領域の検出を実行するものとして説明する。
【0023】上記処理においては,白線等の路面上に描
かれた路面色以外のものも非路面領域として認識される
ため,路面領域を2値画像処理により膨張処理すること
によって,白線部分を一旦路面領域に変換し,さらに,
収縮処理を実行する。この膨張および収縮の2つの処理
によって,白線等の細い線やノイズ成分は路面領域に吸
収される。先行車両等の障害物は,ある程度の大きさを
もっているため,膨張・収縮処理を行っても元の大きさ
が保持される。
かれた路面色以外のものも非路面領域として認識される
ため,路面領域を2値画像処理により膨張処理すること
によって,白線部分を一旦路面領域に変換し,さらに,
収縮処理を実行する。この膨張および収縮の2つの処理
によって,白線等の細い線やノイズ成分は路面領域に吸
収される。先行車両等の障害物は,ある程度の大きさを
もっているため,膨張・収縮処理を行っても元の大きさ
が保持される。
【0024】なお,入力画像では遠方の障害物は小さく
撮像されているため,膨張・収縮処理により路面領域に
変換されている可能性があるが,座標変換後における画
像を用いることにより,遠方でも大きな物体として変換
されているため,路面領域に吸収されることがなくな
る。
撮像されているため,膨張・収縮処理により路面領域に
変換されている可能性があるが,座標変換後における画
像を用いることにより,遠方でも大きな物体として変換
されているため,路面領域に吸収されることがなくな
る。
【0025】また,上記の場合,遠方の物体は画面上方
に映り,座標変換により画面上方になるほど拡大するよ
うな変換を行う。したがって,画面上部の領域は,自然
と大きく判断されるため,入力画像に小さく映った物体
を,遠方に位置するために小さいのか,物体そのものが
小さいのかの判断は特に不要となる。
に映り,座標変換により画面上方になるほど拡大するよ
うな変換を行う。したがって,画面上部の領域は,自然
と大きく判断されるため,入力画像に小さく映った物体
を,遠方に位置するために小さいのか,物体そのものが
小さいのかの判断は特に不要となる。
【0026】さらに,上記膨張・収縮処理について詳細
に説明する。図5は,この膨張・収縮処理を示す説明図
である。まず,膨張処理は,図5(b)に示す如く,2
値画像において,ある注目画素の近傍8画素のうち,1
つでも“1”であれば,“1”として処理する。すなわ
ち,図5(a)におけるa〜iのOR論理をとる。な
お,3画素以内の“0”領域は消滅する。
に説明する。図5は,この膨張・収縮処理を示す説明図
である。まず,膨張処理は,図5(b)に示す如く,2
値画像において,ある注目画素の近傍8画素のうち,1
つでも“1”であれば,“1”として処理する。すなわ
ち,図5(a)におけるa〜iのOR論理をとる。な
お,3画素以内の“0”領域は消滅する。
【0027】また,収縮処理は,図5(c)に示すよう
に,注目画素と近傍8画素の計9画素が,すべて“1”
のときにのみ“1”として処理し,他の場合は“0”と
して処理する。膨張回数だけ収縮すれば,消滅しなかっ
た領域は,ほぼ元の大きさになる。
に,注目画素と近傍8画素の計9画素が,すべて“1”
のときにのみ“1”として処理し,他の場合は“0”と
して処理する。膨張回数だけ収縮すれば,消滅しなかっ
た領域は,ほぼ元の大きさになる。
【0028】なお,路面領域を“1”,非路面領域を
“0”として処理する場合は膨張・収縮となり,逆の場
合は,収縮→膨張の順に処理を実行することにより全く
同様の結果を得ることができる。
“0”として処理する場合は膨張・収縮となり,逆の場
合は,収縮→膨張の順に処理を実行することにより全く
同様の結果を得ることができる。
【0029】また,障害物には,例えば,先行車両のよ
うに垂直や水平のエッジ成分をもつ物体が多く,特に,
路面領域との境界部分は垂直や水平の直線となる場合が
多い。したがって,まず,非路面領域をラベリング処理
により領域分離を行う。その後,各非路面領域におい
て,路面領域との境界部分をエッジとして検出する。次
に,該境界部分に直線を適合させ,障害物領域を確定す
る。また,この場合における直線適合は,一つの領域に
対して3本の直線を当てはめることにより実行される。
うに垂直や水平のエッジ成分をもつ物体が多く,特に,
路面領域との境界部分は垂直や水平の直線となる場合が
多い。したがって,まず,非路面領域をラベリング処理
により領域分離を行う。その後,各非路面領域におい
て,路面領域との境界部分をエッジとして検出する。次
に,該境界部分に直線を適合させ,障害物領域を確定す
る。また,この場合における直線適合は,一つの領域に
対して3本の直線を当てはめることにより実行される。
【0030】第1の直線適合は,水平方向の傾きをもつ
直線を検出する。非路面領域と路面領域の境界において
水平な直線部分をもつのは,先行車両など障害物の下端
である場合が多い。したがって,検出された直線を直線
1とすると,直線1は, j=b により表すことができる。
直線を検出する。非路面領域と路面領域の境界において
水平な直線部分をもつのは,先行車両など障害物の下端
である場合が多い。したがって,検出された直線を直線
1とすると,直線1は, j=b により表すことができる。
【0031】また,第2と第3の直線適合は,障害物の
右端と左端を認識するためのものである。入力画像(A
(x,y))においては,障害物の右端と左端は共に垂
直な直線成分をもつが,画像B(i,j)では視点(原
点)から放射状に延びる直線に変換される。すなわち, i=a・j 上の境界点(エッジ点)の個数をカウントする。aをあ
る範囲内において変化させ,エッジ点のカウント数が閾
値を越える最も左側の直線の傾きをaL とし,最も右側
の直線の傾きをaR として,共に直線検出結果とする。
右端と左端を認識するためのものである。入力画像(A
(x,y))においては,障害物の右端と左端は共に垂
直な直線成分をもつが,画像B(i,j)では視点(原
点)から放射状に延びる直線に変換される。すなわち, i=a・j 上の境界点(エッジ点)の個数をカウントする。aをあ
る範囲内において変化させ,エッジ点のカウント数が閾
値を越える最も左側の直線の傾きをaL とし,最も右側
の直線の傾きをaR として,共に直線検出結果とする。
【0032】このように直線を各非路面領域を用いて検
出する。なお,前方や後方の画像においては,先行車両
や後続車両の下端部分は,画面上水平な直線である可能
性が高い。側方の表示においては,カメラの設置角度に
よっては,側方車が画像上水平に撮像されるとは限らな
いため,直線1は水平な直線の検出ではなく,ある定め
られた角度をもつ直線の検出を行えばよいことになる。
出する。なお,前方や後方の画像においては,先行車両
や後続車両の下端部分は,画面上水平な直線である可能
性が高い。側方の表示においては,カメラの設置角度に
よっては,側方車が画像上水平に撮像されるとは限らな
いため,直線1は水平な直線の検出ではなく,ある定め
られた角度をもつ直線の検出を行えばよいことになる。
【0033】次に,非路面領域の切り出し処理について
説明する。まず,切り出し処理の前に画像B(i,j)
における非路面領域を消去しておく。これは,先行車両
等の高さのある物体より遠方の路面上の点は,先行車両
等によって隠されるため,画像化できないためである。
したがって,見やすさの向上を図るために,上記隠され
た部分については,固定の色によって消去(塗りつぶ
し)する。画面下端部において検出した路面色を用いて
塗りつぶすことにより,見やすい画像を得ることができ
る。
説明する。まず,切り出し処理の前に画像B(i,j)
における非路面領域を消去しておく。これは,先行車両
等の高さのある物体より遠方の路面上の点は,先行車両
等によって隠されるため,画像化できないためである。
したがって,見やすさの向上を図るために,上記隠され
た部分については,固定の色によって消去(塗りつぶ
し)する。画面下端部において検出した路面色を用いて
塗りつぶすことにより,見やすい画像を得ることができ
る。
【0034】また,上記における消去は,各領域におい
て検出された3本の直線の内部について実行する。すな
わち,消去は,j>bにおいて, aL ・j<i<aR ・j となる範囲を対象として塗りつぶし処理を実行する。
て検出された3本の直線の内部について実行する。すな
わち,消去は,j>bにおいて, aL ・j<i<aR ・j となる範囲を対象として塗りつぶし処理を実行する。
【0035】次に,非路面領域において,入力画像を切
り出す。上記(3)式から, yD =F・H・M/b が切り出す画像A(x,y)の最下端である。また,左
端は, xL =F・M・aL /L となり,一方,右端は, xR =F・M・aR /L となる。
り出す。上記(3)式から, yD =F・H・M/b が切り出す画像A(x,y)の最下端である。また,左
端は, xL =F・M・aL /L となり,一方,右端は, xR =F・M・aR /L となる。
【0036】なお,上端は適切な固定値とする。例え
ば,xL −xR の何倍かを切り出す領域のy方向の幅
(高さ)としてもよい。このように,画像A(x,y)
から四角形の領域を切り出す。
ば,xL −xR の何倍かを切り出す領域のy方向の幅
(高さ)としてもよい。このように,画像A(x,y)
から四角形の領域を切り出す。
【0037】次に,合成部107の処理動作について詳
述する。上記のようにして切り出した四角形の領域を,
画像B(i,j)内の塗りつぶしを行った領域に拡大縮
小を実行し,転送する。これは,画像A(x,y)で
は,遠方の障害物は小さく撮像されるが,画像B(i,
j)では同じ大きさになるためである。直線適合結果か
ら,j=bとした場合, iL =aL ・b iR =aR ・b が画像B(i,j)における障害物領域の下端であるか
ら,iR −iL とxR −xL とが同じ大きさになるよう
に拡大あるいは縮小すればよい。こうして,点(xR ,
yD )と点(iR ,b)が一致するように切り出した画
像を,画像B(i,j)にはめ込む処理を実行する。
述する。上記のようにして切り出した四角形の領域を,
画像B(i,j)内の塗りつぶしを行った領域に拡大縮
小を実行し,転送する。これは,画像A(x,y)で
は,遠方の障害物は小さく撮像されるが,画像B(i,
j)では同じ大きさになるためである。直線適合結果か
ら,j=bとした場合, iL =aL ・b iR =aR ・b が画像B(i,j)における障害物領域の下端であるか
ら,iR −iL とxR −xL とが同じ大きさになるよう
に拡大あるいは縮小すればよい。こうして,点(xR ,
yD )と点(iR ,b)が一致するように切り出した画
像を,画像B(i,j)にはめ込む処理を実行する。
【0038】そして,画像B(i,j)を表示すること
により,周囲状況が表示される。さらに,画像B(i,
j)に,水平線を1本追記することにより,適正車間距
離を表示することも可能である。画像B(i,j)のj
軸は,車両前方方向の距離に対応する。車速から適正車
間距離を求め,その距離に対応するjに水平線を描けば
よい。水平線の位置と先行車両との画像上における位置
から,容易に先行車両までの距離を把握することが可能
となる。
により,周囲状況が表示される。さらに,画像B(i,
j)に,水平線を1本追記することにより,適正車間距
離を表示することも可能である。画像B(i,j)のj
軸は,車両前方方向の距離に対応する。車速から適正車
間距離を求め,その距離に対応するjに水平線を描けば
よい。水平線の位置と先行車両との画像上における位置
から,容易に先行車両までの距離を把握することが可能
となる。
【0039】このように,本実施例では,入力画像を真
上から見た画像に射影変換する際,非路面領域について
はカメラからみた画像をそのままの状態で表示できるよ
うにすることによって,画面を見て障害物が容易に認識
することができるため,ブレーキングや操縦等の運転判
断が的確に実行でき,例えば,スムーズな車庫入れ運転
等が可能となる。
上から見た画像に射影変換する際,非路面領域について
はカメラからみた画像をそのままの状態で表示できるよ
うにすることによって,画面を見て障害物が容易に認識
することができるため,ブレーキングや操縦等の運転判
断が的確に実行でき,例えば,スムーズな車庫入れ運転
等が可能となる。
【0040】
【発明の効果】以上説明したように,この発明に係る車
両用周囲状況表示装置によれば,入力画像を路面領域と
非路面領域とに分離し,路面領域のみ座標変換し,非路
面領域に対しては座標変換を行わず平行移動や拡大/縮
小を行い,これら2つの処理画像を合成させることによ
り,先行車両や障害物等の高さのある物体画像も歪みな
く表示可能としたため,先行車両や障害物等の高さのあ
る物体画像も歪みなく表示し,運転者に対して運転時に
おける判断を的確に行えるように周囲状況をより正確に
知らせることができる。
両用周囲状況表示装置によれば,入力画像を路面領域と
非路面領域とに分離し,路面領域のみ座標変換し,非路
面領域に対しては座標変換を行わず平行移動や拡大/縮
小を行い,これら2つの処理画像を合成させることによ
り,先行車両や障害物等の高さのある物体画像も歪みな
く表示可能としたため,先行車両や障害物等の高さのあ
る物体画像も歪みなく表示し,運転者に対して運転時に
おける判断を的確に行えるように周囲状況をより正確に
知らせることができる。
【図1】この発明に係る車両用周囲状況表示装置の概略
構成を示すブロック図である。
構成を示すブロック図である。
【図2】図1に示した車両用周囲状況表示装置の入力画
像および表示画像の例を示す説明図である。
像および表示画像の例を示す説明図である。
【図3】図1に示した車両用周囲状況表示装置の画像処
理動作を示すフローチャートである。
理動作を示すフローチャートである。
【図4】図3に示したフローチャートの各処理動作に対
応する表示画面を示す説明図である。
応する表示画面を示す説明図である。
【図5】図1に示した車両用周囲状況表示装置の膨張・
収縮処理を示す説明図である。
収縮処理を示す説明図である。
101 画像入力部 102 画像処理部 103 表示部 104 路面検出部 105 画像切り出し部 106 座標変換部 107 合成部
Claims (1)
- 【請求項1】 車両周囲の状況を撮像し,入力する画像
入力手段と,前記画像入力手段からの入力画像を路面領
域と非路面領域とに分離する路面領域検出手段と,前記
画像入力手段からの入力画像を座標変換する座標変換手
段と,前記路面領域検出手段により分離された非路面領
域の画像を切り出す非路面領域抽出手段と,前記座標変
換手段により座標変換された画像と前記非路面領域抽出
手段により切り出された画像とを合成する画像合成手段
と,前記画像合成手段による合成画像を表示する画像表
示手段とを具備することを特徴とする車両用周囲状況表
示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35534593A JP3381351B2 (ja) | 1993-12-24 | 1993-12-24 | 車両用周囲状況表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35534593A JP3381351B2 (ja) | 1993-12-24 | 1993-12-24 | 車両用周囲状況表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07186833A true JPH07186833A (ja) | 1995-07-25 |
| JP3381351B2 JP3381351B2 (ja) | 2003-02-24 |
Family
ID=18443403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35534593A Expired - Fee Related JP3381351B2 (ja) | 1993-12-24 | 1993-12-24 | 車両用周囲状況表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3381351B2 (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001024527A1 (fr) * | 1999-09-30 | 2001-04-05 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Dispositif de conversion d'image pour dispositif de surveillance arriere de vehicule |
| JP2002335524A (ja) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2004213489A (ja) * | 2003-01-07 | 2004-07-29 | Nissan Motor Co Ltd | 車両用運転支援装置 |
| JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
| US7277123B1 (en) | 1998-10-08 | 2007-10-02 | Matsushita Electric Industrial Co., Ltd. | Driving-operation assist and recording medium |
| WO2007111377A1 (ja) * | 2006-03-27 | 2007-10-04 | Sanyo Electric Co., Ltd. | 運転支援装置 |
| JP2008177856A (ja) * | 2007-01-18 | 2008-07-31 | Sanyo Electric Co Ltd | 俯瞰画像提供装置、車両、および俯瞰画像提供方法 |
| JP2008205914A (ja) * | 2007-02-21 | 2008-09-04 | Alpine Electronics Inc | 画像処理装置 |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| EP2193957A2 (en) | 2008-11-28 | 2010-06-09 | Aisin Seiki Kabushiki Kaisha | Bird's-eye image generating apparatus |
| EP2259220A2 (en) | 1998-07-31 | 2010-12-08 | Panasonic Corporation | Method and apparatus for displaying image |
| JP2012004693A (ja) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | 運転支援装置 |
| JP2012019552A (ja) * | 2001-03-28 | 2012-01-26 | Panasonic Corp | 運転支援装置 |
| JP2014126990A (ja) * | 2012-12-26 | 2014-07-07 | Yamaha Motor Co Ltd | 障害物検出装置及びそれを用いた車両 |
| JP2015221662A (ja) * | 2014-05-22 | 2015-12-10 | ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフトDr. Ing. h.c.F. Porsche Aktiengesellschaft | 車両環境を表示装置上に提示するための方法、表示装置、複数の撮像ユニットと表示装置とを備えるシステム;コンピュータプログラム |
| CN107914714A (zh) * | 2017-11-16 | 2018-04-17 | 北京经纬恒润科技有限公司 | 一种车辆行驶状态的显示方法及装置 |
| CN108136954A (zh) * | 2015-09-14 | 2018-06-08 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| JPWO2018110377A1 (ja) * | 2016-12-15 | 2019-10-24 | 株式会社日立国際電気 | 映像監視装置 |
| CN111310663A (zh) * | 2020-02-17 | 2020-06-19 | 北京三快在线科技有限公司 | 道路栅栏检测方法、装置、设备及存储介质 |
-
1993
- 1993-12-24 JP JP35534593A patent/JP3381351B2/ja not_active Expired - Fee Related
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2259220A2 (en) | 1998-07-31 | 2010-12-08 | Panasonic Corporation | Method and apparatus for displaying image |
| EP2309453A2 (en) | 1998-07-31 | 2011-04-13 | Panasonic Corporation | Image displaying apparatus and image displaying method |
| EP2267656A2 (en) | 1998-07-31 | 2010-12-29 | Panasonic Corporation | Image displaying apparatus und image displaying method |
| US8077202B2 (en) | 1998-10-08 | 2011-12-13 | Panasonic Corporation | Driving-operation assist and recording medium |
| US8111287B2 (en) | 1998-10-08 | 2012-02-07 | Panasonic Corporation | Driving-operation assist and recording medium |
| US9272731B2 (en) | 1998-10-08 | 2016-03-01 | Panasonic Intellectual Property Corporation Of America | Driving-operation assist and recording medium |
| US7277123B1 (en) | 1998-10-08 | 2007-10-02 | Matsushita Electric Industrial Co., Ltd. | Driving-operation assist and recording medium |
| JP2002335524A (ja) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| US6993159B1 (en) | 1999-09-20 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Driving support system |
| GB2361376A (en) * | 1999-09-30 | 2001-10-17 | Toyoda Automatic Loom Works | Image conversion device for vehicle rearward-monitoring device |
| GB2361376B (en) * | 1999-09-30 | 2004-07-28 | Toyoda Automatic Loom Works | Image conversion device for vehicle rearward-monitoring device |
| US6985171B1 (en) | 1999-09-30 | 2006-01-10 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Image conversion device for vehicle rearward-monitoring device |
| WO2001024527A1 (fr) * | 1999-09-30 | 2001-04-05 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Dispositif de conversion d'image pour dispositif de surveillance arriere de vehicule |
| JP2012019552A (ja) * | 2001-03-28 | 2012-01-26 | Panasonic Corp | 運転支援装置 |
| DE10296593B4 (de) * | 2001-03-28 | 2017-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Fahrunterstützungsvorrichtung |
| US7218758B2 (en) | 2001-03-28 | 2007-05-15 | Matsushita Electric Industrial Co., Ltd. | Drive supporting device |
| JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2004213489A (ja) * | 2003-01-07 | 2004-07-29 | Nissan Motor Co Ltd | 車両用運転支援装置 |
| US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| US7693303B2 (en) | 2004-06-15 | 2010-04-06 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| EP2182730A2 (en) | 2004-06-15 | 2010-05-05 | Panasonic Corporation | Monitor and vehicle peripheriy monitor |
| US7916899B2 (en) | 2004-06-15 | 2011-03-29 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
| JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
| WO2007111377A1 (ja) * | 2006-03-27 | 2007-10-04 | Sanyo Electric Co., Ltd. | 運転支援装置 |
| US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
| JP2008177856A (ja) * | 2007-01-18 | 2008-07-31 | Sanyo Electric Co Ltd | 俯瞰画像提供装置、車両、および俯瞰画像提供方法 |
| US8330816B2 (en) | 2007-02-21 | 2012-12-11 | Alpine Electronics, Inc. | Image processing device |
| JP2008205914A (ja) * | 2007-02-21 | 2008-09-04 | Alpine Electronics Inc | 画像処理装置 |
| EP2193957A2 (en) | 2008-11-28 | 2010-06-09 | Aisin Seiki Kabushiki Kaisha | Bird's-eye image generating apparatus |
| JP2012004693A (ja) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | 運転支援装置 |
| JP2014126990A (ja) * | 2012-12-26 | 2014-07-07 | Yamaha Motor Co Ltd | 障害物検出装置及びそれを用いた車両 |
| JP2015221662A (ja) * | 2014-05-22 | 2015-12-10 | ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフトDr. Ing. h.c.F. Porsche Aktiengesellschaft | 車両環境を表示装置上に提示するための方法、表示装置、複数の撮像ユニットと表示装置とを備えるシステム;コンピュータプログラム |
| CN108136954A (zh) * | 2015-09-14 | 2018-06-08 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| CN108136954B (zh) * | 2015-09-14 | 2021-06-11 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| JPWO2018110377A1 (ja) * | 2016-12-15 | 2019-10-24 | 株式会社日立国際電気 | 映像監視装置 |
| CN107914714A (zh) * | 2017-11-16 | 2018-04-17 | 北京经纬恒润科技有限公司 | 一种车辆行驶状态的显示方法及装置 |
| CN111310663A (zh) * | 2020-02-17 | 2020-06-19 | 北京三快在线科技有限公司 | 道路栅栏检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3381351B2 (ja) | 2003-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3381351B2 (ja) | 車両用周囲状況表示装置 | |
| KR102404149B1 (ko) | 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법 | |
| US8305431B2 (en) | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images | |
| JP4309920B2 (ja) | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 | |
| CN104272345B (zh) | 车辆用显示装置和车辆用显示方法 | |
| CN102985945B (zh) | 物体检测装置、物体检测方法 | |
| CN120065228B (zh) | 一种基于视觉及雷达融合的矿用车辆安全行驶检测系统 | |
| JP2008158958A (ja) | 路面判別方法および路面判別装置。 | |
| CN116246247A (zh) | 一种基于机器视觉的车位线角点及边缘点检测方法及系统 | |
| JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
| US20240078815A1 (en) | Device and method for recognizing obstacles for a vehicle | |
| JP2010136207A (ja) | 歩行者検出表示システム | |
| JP2002321579A (ja) | 警告情報生成方法及び車両側方映像生成装置 | |
| JP3437671B2 (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
| JP4574157B2 (ja) | 情報表示装置および情報表示方法 | |
| JP2611326B2 (ja) | 車両用道路認識装置 | |
| US12573213B2 (en) | Image processing device, image processing method, and recording medium | |
| JPH06348991A (ja) | 移動車の走行環境認識装置 | |
| JP2003085535A (ja) | 道路案内標識の位置認識方法 | |
| JP2007140828A (ja) | 標識認識方法 | |
| CN116923420A (zh) | 用于方便用户上下车的车辆控制系统及方法 | |
| JPH0676065A (ja) | 道路環境認識方法及び装置 | |
| JP2611325B2 (ja) | 車両用道路認識装置 | |
| EP4506905A1 (en) | Image processing method and apparatus, and model training method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101220 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |