JP4977923B2 - アクティブ型車両視界補助装置及び車両視界補助方法 - Google Patents

アクティブ型車両視界補助装置及び車両視界補助方法 Download PDF

Info

Publication number
JP4977923B2
JP4977923B2 JP2010046429A JP2010046429A JP4977923B2 JP 4977923 B2 JP4977923 B2 JP 4977923B2 JP 2010046429 A JP2010046429 A JP 2010046429A JP 2010046429 A JP2010046429 A JP 2010046429A JP 4977923 B2 JP4977923 B2 JP 4977923B2
Authority
JP
Japan
Prior art keywords
pixel
pixel value
wavelength
reference area
identification target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010046429A
Other languages
English (en)
Other versions
JP2011182300A (ja
Inventor
勉 石
祐巳子 吉川
竜士 船山
進也 川真田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Toyota Motor Corp
Original Assignee
NEC Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Toyota Motor Corp filed Critical NEC Corp
Priority to JP2010046429A priority Critical patent/JP4977923B2/ja
Priority to US13/038,567 priority patent/US8854464B2/en
Priority to CN201110053242.3A priority patent/CN102194103B/zh
Priority to DE102011005056A priority patent/DE102011005056A1/de
Publication of JP2011182300A publication Critical patent/JP2011182300A/ja
Application granted granted Critical
Publication of JP4977923B2 publication Critical patent/JP4977923B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Mechanical Engineering (AREA)

Description

本発明は、車両の走行中において運転者が視認すべき物体の識別性を向上するために用いられる、アクティブ型車両視界補助装置及び方法に関する。
車両を走行させている際、その車両の運転者は、他の車両や路上の人物、路面の標示線、路側の構造物などを対象として、視覚によりそれらの対象を確認し識別し、対象の識別結果に応じて当該車両を運転する必要がある。例えば、運転者は、運転中に進行方向前方やや左側に細長い対象物体が垂直に立っているのを見つけた場合、それが、電柱なのか歩行者なのかを識別し、歩行者などである場合には、徐行するなどの処置をとらなければならない。しかしながら、特に雨天や夜間といった悪条件下においては、視界の中から車両前方にある物体を見つけることが難しく、ましてやその物体が何であるかを識別ことはさらに難しくなる。
そこで、運転者の視界の中にあるであろう物体の識別を容易にするために、近赤外光などで車両の前方を照らし出して車両から進路方向を見た画像を取得し、その画像中の物体がそれぞれ何であるかを運転者が識別しやすくするようにしたアクティブ型車両視界補助装置を車両に搭載することが検討されている。物体の識別のためには、物体の種類ごとに反射スペクトルが異なることが予想されるので、マルチバンドカメラなどを用い波長域が異なる複数の画像を取得して対象物を識別することが考えられている。
特許文献1(特開2005−115631号公報)に記載されるように、マルチバンドカメラとは、三原色(すなわち3つの波長バンド)のそれぞれに対応したフィルタを用いる通常のカラーカメラと比較して、個々の波長バンドの帯域が狭く、しかもそのような波長バンドを多数(数個から十数個)備えて個々の波長バンドごとに画像を取得できるようにしたカメラのことである。波長バンド数が多いことから、マルチバンドカメラを用いることにより、粗い精度ではあるが、対象物上の各点からの光のスペクトルを再現することができる。特許文献1には、マルチバンドカメラで取得したいずれかの画像上でユーザが範囲を指定することにより、その範囲のスペクトルをグラフ表示したり、あるいは、特定の波長が指定されたときにその波長での画像を計算して表示したりする画像表示装置が開示されている。
特許文献2(特開2001−099710号公報)は、単一の撮像素子(例えばCCDセンサ)を有するマルチバンドカメラにおいて複数の波長バンドの画像を撮像するために、例えば、透過波長帯域を制御できる液晶チューナブルフィルタを用い透過波長を切り替えて撮像することを示している。また特許文献2には、チューナブルフィルタにおける分光透過特性の設定値からのずれを補償するとともに、複数の波長バンドでの画像から、細かい波長分解能で対象物のスペクトルを推定する技術も示されている。
特許文献3(特開平11−096333号公報)には、特許文献2に示すものと同様に、マルチバンドカメラで撮像された複数の波長バンドでの画像から、細かい波長分解能で対象物のスペクトルを推定する技術も示されている。また特許文献3は、単一の撮像素子が設けられる場合に撮像するバンドを切り替えるために、回転フィルタを用いることを開示している。
対象物に対して光を照射し、対象物からの反射光を撮影して画像とする場合には、照射光の光源として、狭帯域の発光分光特性を有する複数の発光ダイオードを使用して、照射光の波長を変えながら撮像することにより、複数の波長バンドでの画像を取得することもできる。
またマルチバンドカメラあるいはそれよりも波長バンド数が多いハイパースペクトルセンサなどにより多数の波長バンドでの画像が得られたとして、これら多数の画像から対象物を識別する例として、特許文献4(特開2008−152709号公報)には、多数のハイパースペクトル画像から、地表がどのようなもので覆われているか(例えば、道路なのか、水面なのか、あるいは植物なのか、植物であればどのような植生であるのか)の分布を調べる方法が開示されている。特許文献4の方法では、抽出対象の領域を自動的に選択できるようにするために、道路とか森林といった分類クラスごとに領域を分類するのに適した複数の波長バンドの組み合わせをあらかじめ設定している。分類クラスの設定には、例えば、教師データを用いた学習を用いている。その上で、抽出しようとする分類クラスに対応する複数の波長バンドの画像のみをあらかじめ選択して、それらの選択された画像から対象領域の識別を行うようにしている。
特開2005−115631号公報 特開2001−099710号公報 特開平11−096333号公報 特開2008−152709号公報
マルチバンドカメラなどを用いて複数の波長バンドで画像を撮像し、対象物の反射スペクトルなどを推定する技術自体は確立している。しかしながら、複数の波長バンドでの画像が与えられるとして、いかなる状況下においても対象物をどのように精度良く識別するか、という点に関しては、十分に有効な手法がないのが現状である。上述した特許文献4に示す技術の場合は、どの種類の対象物を検出するかに応じてどの波長バンドの組み合わせを使用するかをあらかじめ分類クラスとして設定しておく必要がある。したがって特許文献4に示すものであっても、車両走行中のように時々刻々と変化する状況下で画像が撮像され、しかも対象物自体がどのようなものであるかの情報がない状況においては、対象物を有効に検出して識別するには不十分である。また、分類クラスの設定のために教師データを用いる学習が必要になるなど、処理自体も複雑である。
車両に搭載されて運転者の運転操作を支援するという観点からは、路上や路側にある対象物を確実に検出し、まず、そのような対象物が存在することをリアルタイムで運転者に提示でき、その上で、その対象物が何であるかの識別を行うことができるのであれば、識別結果をリアルタイムで運転者に提示できるようにすることが必要である。
本発明の目的は、車両搭載用などに適し、路上や路側などにある対象物を精度よく検出でき、運転者がその物体が何であるかの識別を容易に行えるように支援する、簡単な構成のアクティブ型車両視界補助装置を提供することにある。
本発明の別の目的は、車両上などから路上や路側などにある対象物を精度よく検出でき、運転者がその物体が何であるかの識別を容易に行えるように支援する、車両視界補助装置を提供することにある。
本発明のアクティブ型車両視界補助装置は、対象物に向けてピーク波長が異なる複数の波長帯域の光を切り替えて照射する光源部と、対象物からの反射光を受けて、複数の波長帯域ごとの画像を表す信号を生成する受光部と、少なくとも1つの画像において画素間の信号強度を比較し、同等の信号強度を有する画素のうち占有面積が最大となる画素の集合を基準エリアと設定し、基準エリア以外の画素を識別対象画素として各識別対象画素ごとに、波長帯域ごとの画像での当該画素の値と基準エリアでの画素値とを比較することによって対象物の検出に有効な少なくとも2つの波長帯域を選択する波長選択部と、識別対象画素ごとに波長選択部によって選択された複数の波長帯域の組み合わせに基づいて、識別対象画素をグループ化し、グループ化した結果に基づいて、対象物を区別して表示した画像を表示する表示部と、を有する。
本発明の車両視界補助方法は、対象物に向けてピーク波長が異なる複数の波長帯域の光を切り替えて照射する段階と、対象物からの反射光を受けて、複数の波長帯域ごとの画像を表す信号を生成する段階と、少なくとも1つの画像において画素間の信号強度を比較し、同等の信号強度を有する画素のうち占有面積が最大となる画素の集合を基準エリアと設定する段階と、基準エリア以外の画素を識別対象画素として各識別対象画素ごとに、波長帯域ごとの画像での当該画素の値と基準エリアでの画素値とを比較することによって対象物の検出に有効な少なくとも2つの波長帯域を選択する段階と、識別対象画素ごとに波長選択部によって選択された複数の波長帯域の組み合わせに基づいて、識別対象画素をグループ化する段階と、グループ化した結果に基づいて、対象物を区別して表示した画像を表示する段階と、を有する。
本発明では、対象物からの反射光によって波長帯域ごとの複数の画像を生成し、少なくとも1つの波長帯域の画像において同等の信号強度を有する画素のうち占有面積が最大となる画素の集合を基準エリアと設定し、基準エリア以外の画素を識別対象画素として各識別対象画素ごとに、波長帯域ごとの画像での当該画素の値と基準エリアでの画素値とを比較することによって対象物の検出に有効な少なくとも2つの波長帯域を選択する。識別対象画素ごとにこのように選択された波長帯域の組み合わせに基づいて、識別対象画素をグループ化し、グループ化した結果に基づいて対象物を区別する。このような本発明では、リアルタイムに抽出される基準エリアに基づいて対象物を抽出するので、時々刻々と環境が変化する状況においても、画像において確実に対象物を区別することが可能になる。また、細かなスペクトル計算を行うわけではなく、複数の光源を切り替えることで対応できる程度のいくらか限られた数の波長帯域を用い、識別対象画素ごとにその識別対象画素を代表する波長帯域の組み合わせを求めることにより、対象物を区別しようとするので、計算処理を簡素なものとすることができ、装置の規模も小さくすることができる。
本発明の実施の一形態のアクティブ型車両視界補助装置の構成を示すブロック図である。 波長選択部での処理を示すフローチャートである。 波長選択部での処理を説明する図である。 本発明の別の実施形態のアクティブ型車両視界補助装置の構成を示すブロック図である。
次に、本発明の実施の形態について、図面を参照して説明する。
図1に示す本発明の実施の一形態のアクティブ型車両視界補助装置は、車両に搭載され、運転者の視界に入るであろう物体を検出し、その物体の存在を運転者に通知し、これにより運転者がその物体を識別するのを支援するものである。このアクティブ型車両視界補助装置は、少なくとも2つの対象物を分離して検出できるようにするために、波長帯域の異なる少なくとも2種類の光を対象物に向けて照射し、対象物がそれらの光を反射することにより得られる反射強度信号から、識別に有効な少なくとも2種類の波長帯域を選択し、選択された波長帯域に基づいて画像上において2つの対象物を区別して示せるようにしている。
このアクティブ型車両視界補助装置では、車両の車両の前方に存在するであろう対象物(測定物体20)に対し例えば近赤外線などで異なる波長帯域の光を照射するために、放射スペクトル(発光スペクトル)が既知であり放射スペクトルにおけるピーク波長が異なる2つ以上の光源S1〜Snを備える光源部11と、光源部11から測定物体20への照射光21の光強度が変調されるように光源部11を駆動する変調部12と、を備えている。変調部12は、ここの個々の光源の放射強度をそれぞれ個別に変調できる。ここでいう変調には、光源のオン及びオフのみからなる変調も含まれる。光源1(S1)、光源2(S2)、…、光源n(Sn)は、それぞれ、波長帯1、波長帯2、…、波長帯nの光であるとする。また、説明の都合上、波長帯1、波長帯2、…、波長帯nは、この順でピーク波長が大きくなっているものとする。
また対象物からの反射光22を受光し画像上で2以上の対象物を区別して表示できるようにするために、アクティブ型車両視界補助装置は、CCDセンサなどからなって対象物からの反射光22を受光し、その反射強度による画像を示す電気信号に変換する受光部13と、受光部13で得られた信号について、差分や除算などの画像演算処理を行うための演算部14と、演算部14から出力される反射強度信号に関して波長ごとの画像として比較を行い、対象物を区別するのに有効な少なくとも2つの波長帯域を選択する波長選択部15と、波長選択部15において選択された波長帯域の組に基づいて、2以上の対象物を区別して表示する表示部16と、を備えている。演算部14は、光を照射しているときの画像と照射していないときの画像との差画像を求めることにより、余分な背景光成分の影響を軽減する構成としてもよい。さらに演算部14は、光源部11内の各光源の放射強度分布や、受光部13内の受光素子の分光感度に基づいて反射強度信号を補正し、より正確な反射率を算出する構成としてもよい。
次に、波長選択部15について説明する。
この実施形態の構成では、光源部11内にピーク波長が異なる複数の光源が設けられており、変調部12によってこれらの光源を切り替えながら発光させてその照射光21によって測定対象20に投光し、受光部13で測定対象20からの反射光22を受光することにより、それぞれ波長帯域が異なる複数の画像が取得されることになる。例えば、ピーク波長が異なる光源が6個あるとすれば、波長帯域が異なる6枚の画像(波長帯1〜波長帯6にそれぞれ対応する画像)が得られることになる。これら複数枚の画像には、同一視野内にある複数の対象物が表されているはずであるが、対象物ごとに反射スペクトルが異なることにより、対象物Aと対象物Bとがあるとして、ある画像では対象物Aが対象物Bよりも明るく表示され、別の画像では対象物Aが対象物Bよりも暗く表示され、また別の画像では、対象物Aと対象物Bとがほとんど区別できない、ということが起こり得る。そのような例が、図1においては、「光源3による画像」、「光源6による画像」として示されている。運転支援という観点で言えば、複数枚の画像を運転者に提示することは好ましくなく、1枚の画像において対象物Aと対象物Bとが明確に区別されて表示されていることが好ましい。
そこで波長選択部15は、波長帯域の異なる例えば6枚の画像に基づいて、画素ごとに、複数の対象物(例えば対象物Aと対象物B)とを区別して表示するのに適した2以上の波長帯域を選択する。このように選択された波長帯域は、後述するように、表示部16において、対象物を明確に区別して表示するのに用いられる。選択の方法としては、対象物間での反射強度信号レベルの大小関係が反転するような複数の波長帯域の組を選択してもよいし、あるは対象物間で反射強度信号レベルの差に一定以上の差がある複数の波長帯域の組を選択してもよい。
図1に示すグラフ31は、波長帯域の選択を説明するものであり、このグラフにおいて、波長帯が1〜6までの数字で表されており、一方の対象物に対応する画素からの波長帯ごとの信号強度が点線で示され、他の対象物に対応する画素からの波長帯ごとの信号強度が実線で示されている。
波長帯域の組を選択する際には、画像において対象物の候補となる領域を抽出する必要がある。ここで車載用であることに着目すると、受光部13の視野角などにも依存するが、画像において比較的広い面積を占めるのは、アスファルト(あるいはコンクリートなど)舗装による路面部分であると考えられる。そこで、波長選択部15は、舗装による路面部分をまず基準エリアとして検出し、基準エリアを比較対象の基準として基準エリアに属さない画素の信号強度比較を行って、その結果により、対象物を基準エリアから識別できる波長帯域の組を選択するようにする。
基準エリアが設定されたとして、識別対象画素(基準エリア以外の画素)に対する、対象物を基準エリアから識別できる波長帯域の組の選択方法としては、選択されるべき波長帯域の組は2つの波長帯域からなるとすると、例えば、全ての波長帯域において識別対象画素の画素値が基準エリアの画素値以上である第1の場合には、識別対象画素の画素値から基準エリアの画素値を引いた値が最大となる波長帯域と最小となる波長帯域を選択し、全ての波長帯域において識別対象画素の画素値が基準エリアの画素値以下である第2の場合には、基準エリアの画素値から識別対象画素の画素値を引いた値が最大となる波長帯域と最小となる波長帯域を選択し、ある波長帯域では識別対象画素の画素値が基準エリアの画素値より大きく、別の波長帯域では識別対象画素の画素値が基準エリアの画素値よりも小さい第3の場合には、基準エリアの画素値を基準として、識別対象画素の画素値が正の方向に最大となる波長帯域と負の方向に最大となる波長帯域とを選択する方法がある。
図2は、波長選択部15の動作の一例を示すフローチャートであり、図3はこのときに画像に対してどのような処理が行われるかを示す図である。
まず、ステップ101において、任意の波長帯域の画像における画素間の信号強度を比較し、同等の信号強度を有する画素のうち、占有面積が最大となる画素の集合を基準エリアに設定する。精度よく基準エリアを設定するためには、複数の波長帯域の画像に対してこの処理を繰り返せばよいが、必ずしもすべての波長帯域に対してこの処理を行う必要はない。例えば、波長帯1の画像において、画素間の信号強度を比較し、同等の信号強度を有する画素のうち、占有面積が最大となる画素の集合を基準エリアに設定し、以下、波長帯2、波長帯3、…の画像でこの処理を繰り返す。その結果、最終的に、図3の(a)においてハッチングが付された画素が基準エリアに設定される。
次に、ステップ102において、識別対象画素と基準エリアの画素とに関して任意の波長帯の画像において信号強度を比較する。識別対象画素は、その比較結果に基づいて、ステップ103において、識別に適する少なくとも2つの波長帯域からなる組を選択する。図3の(b)においては、波長帯が1〜6までの数字で表されており、識別対象画素は図示白ぬきの画素として示されている。基準エリアの各画素は上述したように例えば路面に対応するものであって、いずれも同じような反射スペクトルを有している。そこで基準エリアの各画素はすべて同じ反射スペクトルであるとして、基準エリアの各波長帯ごとの信号強度すなわちスペクトルが図3の(b)において実線Bで表されている。また、識別対象画素のち、最上段の左から2つ目の画素でのスペクトルが図示点線Aで示されている。この画素に対しては、反射レベルの大小関係が反転するとという基準から波長帯2及び波長帯6が選択される。同様に、下から2段目の左から3つ目の画素でのスペクトルが図示一点鎖線Cで示され、この画素に対しては、波長帯2及び波長帯5が選択される。
次に、ステップ104において、全ての波長帯について識別対象画素と基準エリア画素との比較を行ったかどうかを判断し、そうでない場合には次の波長帯での比較を行うためにステップ102に戻り、全ての波長帯で比較を行った場合には、ステップ105に移行する。ステップ105では、識別に適する波長帯の組が同じである画素をグループ化し、これにより波長選択部14での処理は終了する。識別に適する波長帯の組が同じである画素のことを、同一プロパティを有する画素と呼ぶことにする。
ここで示した例では、グループ化により、図3の(c)に示されるように、最上段の全画素と最上段から1段下の全画素が、いずれも波長帯2と波長帯6とからなる組が選択された画素(波長帯2と波長帯6からなる組というプロパティを有する画素)であるので、これらを1つのグループとする。このグループの画素は、図3の(b)における点線Aで示したようなスペクトルを有する画素であり、Aで表されるスペクトルを有する物質に対応するものである。同様に、下から2段目の左から2番目と3番目の画素は、いずれも波長帯2と波長帯5とからなる組が選択された画素(波長帯2と波長帯5からなる組というプロパティを有する画素)であるので、これらも1つのグループとする。こちらのグループは、図3の(b)での一点鎖線Cで示したようなスペクトルを有する画素であり、Cで表されるスペクトルを有する物質に対応するものである。
表示部16は、出力画像23を表示するものであるが、出力画像23においては、基準エリアの画素と、各プロパティの画素とがそれぞれ区別して表示される。すなわち表示部16は、ヘッドアップディスプレイなどの画面上に、同じプロパティを有する画素群を識別しやすいように表示する。これにより、運転者に対し、進行方向前方に存在する他の車両や歩行者などについての注意を喚起することが可能になる。図3の(d)は、表示例を示している。実際には、カラー表示などとしてもよいが、図3の(d)では、説明のために、基準エリアに属する画素に対しては中程度のハッチングが施され、波長帯2と波長帯6との組をプロパティとする画素(Aのスペクトルを有する物質に対応する画素)は淡い網点で示され、波長帯2と波長帯5との組をプロパティとする画素(Cのスペクトルを有する物質に対応する画素)には濃いハッチングが示されている。
運転者は、このような出力画像23から、例えば車両の進行方向前方における歩行者や他の車両、障害物の存在を容易に知ることができ、また、その形状などから、どのような物体が存在するかを推測することができる。
図4は、本発明の別の実施形態のアクティブ型車両視界補助装置の構成を示すブロック図である。図4に示すアクティブ型車両視界補助装置は、図1に示すアクティブ型車両視界補助装置に対し、さらに、対象物の種類ごとに当該対象物のスペクトルデータを保持するデータベースを格納するデータベース部17を追加したものである。図4においてグラフ32に示されたものは、データベース部17における格納データの一例を示すものである。ここでは、対象物Aについてのスぺクトルデータと対象物Bのスペクトルデータが格納されている。
この構成において表示部16は、グループ化された各画素群に関し、その画素群のプロパティに基づいてデータベースを検索し、その画素群がどのような対象物(例えば、電柱なのか歩行者なのか)であるのかを識別する。そして表示部16は、運転者に提示するために表示する出力画像23において、対象物を区別して表示するとともに、文字表記を行ったり強調表示を行ったりすることで、各対象物がどのようなものであるかも表示する。
これにより運転者は、例えば車両の進行方向前方における歩行者や他の車両、障害物の存在を容易に知ることができるとともに、それがどういうものであるかという識別結果を容易に知ることができるようになる。
11 光源部
12 変調部
13 受光部
14 演算部
15 波長選択部
16 表示部
17 データベース部
20 測定対象
21 照射光
22 反射光
23 出力画像

Claims (10)

  1. 対象物に向けてピーク波長が異なる複数の波長帯域の光を切り替えて照射する光源部と、
    前記対象物からの反射光を受けて、前記複数の波長帯域ごとの画像を表す信号を生成する受光部と、
    少なくとも1つの前記画像において画素間の信号強度を比較し、同等の信号強度を有する画素のうち占有面積が最大となる画素の集合を基準エリアと設定し、前記基準エリア以外の画素を識別対象画素として各識別対象画素ごとに、波長帯域ごとの画像での当該画素の値と前記基準エリアでの画素値とを比較することによって対象物の検出に有効な少なくとも2つの波長帯域を選択する波長選択部と、
    前記識別対象画素ごとに前記波長選択部によって選択された複数の波長帯域の組み合わせに基づいて、前記識別対象画素をグループ化し、グループ化した結果に基づいて、前記対象物を区別して表示した画像を表示する表示部と、
    を有する、アクティブ型車両視界補助装置。
  2. 前記光源部から前記光を照射していないときに前記受光部で得られた信号に基づいて、前記複数の波長帯域ごとの画像を表す信号を補正する演算部を有する、請求項1に記載のアクティブ型車両視界補助装置。
  3. 複数の波長帯域の画像を用いて前記基準エリアを設定する、請求項1または2に記載のアクティブ型車両視界補助装置。
  4. 前記波長選択部は、各識別対象画素ごとに、全ての波長帯域において当該識別対象画素の画素値が基準エリアの画素値以上である第1の場合には、当該識別対象画素の画素値から前記基準エリアの画素値を引いた値が最大となる波長帯域と最小となる波長帯域とを選択し、全ての波長帯域において当該識別対象画素の画素値が前記基準エリアの画素値以下である第2の場合には、前記基準エリアの画素値から当該識別対象画素の画素値を引いた値が最大となる波長帯域と最小となる波長帯域とを選択し、前記第1及び第2の場合以外の場合である第3の場合には、前記基準エリアの画素値を基準として、当該識別対象画素の画素値が正の方向に最大となる波長帯域と負の方向に最大となる波長帯域とを選択することにより、2つの波長帯域を選択する、請求項1乃至3のいずれか1項に記載のアクティブ型車両視界補助装置。
  5. 対象物の種類ごとに当該対象物のスペクトルデータを保持するデータベースを備え、
    前記表示部は、前記データベースを検索して前記対象物を識別し、識別結果を表示する、請求項1乃至4のいずれか1項に記載のアクティブ型車両視界補助装置。
  6. 対象物に向けてピーク波長が異なる複数の波長帯域の光を切り替えて照射する段階と、
    前記対象物からの反射光を受けて、前記複数の波長帯域ごとの画像を表す信号を生成する段階と、
    少なくとも1つの前記画像において画素間の信号強度を比較し、同等の信号強度を有する画素のうち占有面積が最大となる画素の集合を基準エリアと設定する段階と、
    前記基準エリア以外の画素を識別対象画素として各識別対象画素ごとに、波長帯域ごとの画像での当該画素の値と前記基準エリアでの画素値とを比較することによって対象物の検出に有効な少なくとも2つの波長帯域を選択する段階と、
    前記識別対象画素ごとに前記波長選択部によって選択された複数の波長帯域の組み合わせに基づいて、前記識別対象画素をグループ化する段階と、
    グループ化した結果に基づいて、前記対象物を区別して表示した画像を表示する段階と、
    を有する、車両視界補助方法。
  7. 前記対象物に光を照射していないときに得られる信号に基づいて、前記複数の波長帯域ごとの画像を表す信号を補正する段階を有する、請求項6に記載の車両視界補助方法。
  8. 複数の波長帯域の画像を用いて前記基準エリアを設定する、請求項6または7に記載の車両視界補助方法。
  9. 各識別対象画素ごとに、全ての波長帯域において当該識別対象画素の画素値が基準エリアの画素値以上である第1の場合には、当該識別対象画素の画素値から前記基準エリアの画素値を引いた値が最大となる波長帯域と最小となる波長帯域とを選択し、全ての波長帯域において当該識別対象画素の画素値が前記基準エリアの画素値以下である第2の場合には、前記基準エリアの画素値から当該識別対象画素の画素値を引いた値が最大となる波長帯域と最小となる波長帯域とを選択し、前記第1及び第2の場合以外の場合である第3の場合には、前記基準エリアの画素値を基準として、当該識別対象画素の画素値が正の方向に最大となる波長帯域と負の方向に最大となる波長帯域とを選択することにより、2つの波長帯域を選択する、請求項6乃至8のいずれか1項に記載の車両視界補助方法。
  10. 対象物の種類ごとに当該対象物のスペクトルデータを保持するデータベースを検索して前記対象物を識別し、識別結果を表示する、請求項6乃至9のいずれか1項に記載の車両視界補助方法。
JP2010046429A 2010-03-03 2010-03-03 アクティブ型車両視界補助装置及び車両視界補助方法 Expired - Fee Related JP4977923B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010046429A JP4977923B2 (ja) 2010-03-03 2010-03-03 アクティブ型車両視界補助装置及び車両視界補助方法
US13/038,567 US8854464B2 (en) 2010-03-03 2011-03-02 Active visibility support apparatus and method for vehicle
CN201110053242.3A CN102194103B (zh) 2010-03-03 2011-03-03 用于车辆的主动可视性支持设备和方法
DE102011005056A DE102011005056A1 (de) 2010-03-03 2011-03-03 Aktives Sichthilfegerät und -verfahren für Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010046429A JP4977923B2 (ja) 2010-03-03 2010-03-03 アクティブ型車両視界補助装置及び車両視界補助方法

Publications (2)

Publication Number Publication Date
JP2011182300A JP2011182300A (ja) 2011-09-15
JP4977923B2 true JP4977923B2 (ja) 2012-07-18

Family

ID=44531014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010046429A Expired - Fee Related JP4977923B2 (ja) 2010-03-03 2010-03-03 アクティブ型車両視界補助装置及び車両視界補助方法

Country Status (4)

Country Link
US (1) US8854464B2 (ja)
JP (1) JP4977923B2 (ja)
CN (1) CN102194103B (ja)
DE (1) DE102011005056A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810658B2 (en) * 2012-02-02 2014-08-19 Xerox Corporation Estimating a visible vector representation for pixels in an infrared image
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
KR102041633B1 (ko) * 2013-05-14 2019-11-06 현대모비스 주식회사 물체 인식 시스템
KR102129588B1 (ko) * 2013-06-26 2020-07-02 현대모비스(주) 물체 인식 시스템
US20150185017A1 (en) * 2013-12-28 2015-07-02 Gregory L. Kreider Image-based geo-hunt
DE102014204002A1 (de) 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
US10576948B2 (en) * 2015-12-08 2020-03-03 Airbus Group India Private Limited Aircraft braking based on real time runway condition
US10336465B2 (en) 2016-01-08 2019-07-02 The Regents Of The University Of Michigan Ice crystals and volcanic ash detection system
CN113232647A (zh) * 2016-12-07 2021-08-10 厦门大学 一种车前物体识别方法及其识别装置
US10621865B2 (en) 2018-03-29 2020-04-14 The Regents Of The University Of Michigan Road condition monitoring system
US10508952B1 (en) 2018-10-31 2019-12-17 The Regents Of The University Of Michigan Optimum spectral bands for active vision systems
GB2609914A (en) * 2021-08-12 2023-02-22 Continental Automotive Gmbh A monitoring system and method for identifying objects

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196333A (ja) 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
US6072889A (en) * 1997-12-03 2000-06-06 The Raytheon Company Method and system for imaging target detection
JP3897206B2 (ja) * 1998-04-27 2007-03-22 ホーチキ株式会社 異常監視装置
JP3819187B2 (ja) 1999-09-28 2006-09-06 富士写真フイルム株式会社 マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム
JP3612565B2 (ja) * 2002-02-20 2005-01-19 国土交通省国土技術政策総合研究所長 路面状況判定方法
DE10303044A1 (de) * 2003-01-24 2004-08-12 Daimlerchrysler Ag Vorrichtung und Verfahren zur Verbesserung der Sicht in Kraftfahrzeugen
DE10343479A1 (de) * 2003-09-19 2005-04-28 Bosch Gmbh Robert Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
JP2005115631A (ja) 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
JP4143521B2 (ja) * 2003-11-12 2008-09-03 三菱電機株式会社 車載用カメラ
JP4323991B2 (ja) * 2004-03-19 2009-09-02 大日本スクリーン製造株式会社 分光反射率測定装置、膜厚測定装置および分光反射率測定方法
JP2005318408A (ja) * 2004-04-30 2005-11-10 Nissan Motor Co Ltd 車両周囲監視装置および方法
CN101263445A (zh) 2005-08-03 2008-09-10 格瑞德网络传输私人有限公司 信息输出装置、媒体及信息输入/输出装置
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP2007208413A (ja) * 2006-01-31 2007-08-16 Olympus Corp 色補正装置および色補正方法ならびに色補正プログラム
JP4940791B2 (ja) 2006-07-04 2012-05-30 富士通株式会社 テスト支援プログラム、テスト支援装置、およびテスト支援方法
US7693331B2 (en) * 2006-08-30 2010-04-06 Mitsubishi Electric Research Laboratories, Inc. Object segmentation using visible and infrared images
JP2008152709A (ja) 2006-12-20 2008-07-03 Hitachi Software Eng Co Ltd 地理画像処理装置、及びプログラム
US8160382B2 (en) * 2007-10-15 2012-04-17 Lockheed Martin Corporation Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
JP5080934B2 (ja) * 2007-10-22 2012-11-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2009253857A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 車両用周辺監視装置
JP4943392B2 (ja) 2008-08-25 2012-05-30 京楽産業.株式会社 遊技機
US8081797B2 (en) * 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
JP4918732B2 (ja) 2010-03-05 2012-04-18 日本電気株式会社 光測定装置及び方法
JP5519381B2 (ja) 2010-04-09 2014-06-11 トヨタ自動車株式会社 スペクトル測定装置
JP5060580B2 (ja) 2010-04-09 2012-10-31 トヨタ自動車株式会社 スペクトル測定装置

Also Published As

Publication number Publication date
US8854464B2 (en) 2014-10-07
JP2011182300A (ja) 2011-09-15
US20110216196A1 (en) 2011-09-08
CN102194103B (zh) 2016-03-23
DE102011005056A1 (de) 2011-12-01
CN102194103A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
JP4977923B2 (ja) アクティブ型車両視界補助装置及び車両視界補助方法
KR101417571B1 (ko) 물체 식별 장치
CN104512411B (zh) 车辆控制系统及图像传感器
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
EP3367084B1 (en) Road surface state determination device and method
CN113383280A (zh) 用于经由雾的图像增强的弹道光调制
CN110431562B (zh) 图像识别装置
KR20130086066A (ko) 화상 입력 장치 및 화상 처리 장치
CN114514565B (zh) 物体识别装置和存储介质
JP2016196233A (ja) 車両用道路標識認識装置
CN101281914A (zh) 成像器半导体器件、摄像机系统和用于建立图像的方法
KR20120007734A (ko) 거리 측정 모듈 및 이를 포함하는 디스플레이 장치, 디스플레이 장치의 거리 측정 방법
JP5839253B2 (ja) 物体検出装置及びこれを備えた車載機器制御装置
EP2747027A1 (en) Method for determining the visibility of objects in a field of view of a driver of a vehicle, taking into account a contrast sensitivity function, driver assistance system, and motor vehicle
US9898676B2 (en) Method for determining the level of degradation of a road marking
JP2020121615A (ja) 車両用道路標識認識支援装置
JP4732985B2 (ja) 画像処理装置
JP4064556B2 (ja) 降雨雪状況検出方法およびその装置
JP2020193957A (ja) 測距異常を補正する距離画像生成装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5746116B2 (ja) 車両用監視装置
KR101405327B1 (ko) 차량용 감지장치
JP5904825B2 (ja) 画像処理装置
JP4710437B2 (ja) 対象物探索装置
JP4882592B2 (ja) 光抽出装置、光抽出方法及び距離計測システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4977923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees