JP6701253B2 - 車外環境認識装置 - Google Patents

車外環境認識装置 Download PDF

Info

Publication number
JP6701253B2
JP6701253B2 JP2018054906A JP2018054906A JP6701253B2 JP 6701253 B2 JP6701253 B2 JP 6701253B2 JP 2018054906 A JP2018054906 A JP 2018054906A JP 2018054906 A JP2018054906 A JP 2018054906A JP 6701253 B2 JP6701253 B2 JP 6701253B2
Authority
JP
Japan
Prior art keywords
distance
image
block
brightness
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018054906A
Other languages
English (en)
Other versions
JP2019168821A (ja
Inventor
淑実 大久保
淑実 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018054906A priority Critical patent/JP6701253B2/ja
Priority to US16/241,804 priority patent/US10839236B2/en
Priority to DE102019101482.4A priority patent/DE102019101482A1/de
Priority to CN201910084471.8A priority patent/CN110298793B/zh
Publication of JP2019168821A publication Critical patent/JP2019168821A/ja
Application granted granted Critical
Publication of JP6701253B2 publication Critical patent/JP6701253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。
従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。
特許第３３４９０６０号公報
上記のような衝突回避制御やクルーズコントロールを実現するためには、車両前方の車外環境を、露光を調整することで適切に取得し、自車両の進行方向に存在する立体物が先行車両等の特定物であるか否か特定しなければならない。しかし、いくら露光を調整したとしても、撮像装置で取得された画像においては、日向が白飛びしたり、日陰が黒つぶれしたりして、一部の画像が適切に特定できない場合がある。
このように明るい画像と暗い画像のどちらの階調も有効に取得するため、より広いダイナミックレンジを表現可能なＨＤＲ（High Dynamic Range）合成を採用することができる。しかし、撮像装置が一つ（単眼）の場合には、ＨＤＲ合成が有効に機能するが、複数の撮像装置（複眼）を要するステレオマッチングにおいて、複数の撮像装置それぞれで独立してＨＤＲ合成を実行すると、却ってミスマッチ率が高くなる場合がある。
例えば、ダイナミックレンジを一旦広げて（例えば２５６→１０２４）、圧縮する（例えば、１０２４→２５６）際に、ノイズ特性に基づきそれぞれの画像で個別に階調を調整してしまうと、左右の画像の同期がとれず、同一の立体物の部位同士がマッチングしなくなってしまう。
本発明は、このような課題に鑑み、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能な車外環境認識装置を提供することを目的としている。
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、第１距離画像の任意のブロック、および、任意のブロックに対応する第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、として機能し、ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、距離の信頼度が高い。
上記課題を解決するために、本発明の他の車外環境認識装置は、コンピュータが、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、第１距離画像の任意のブロック、および、任意のブロックに対応する第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、として機能し、ブロックの輝度差累積が所定値以上である場合、ブロックの輝度差累積が所定値未満である場合と比べ、距離の信頼度が高い。
上記課題を解決するために、本発明の他の車外環境認識装置は、コンピュータが、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、第１距離画像の任意のブロック、および、任意のブロックに対応する第２距離画像のブロックのうち、ブロックの輝度差累積が高いブロックを抽出して合成画像を生成する合成画像生成部、として機能する。
合成画像生成部は、ブロックの輝度差累積が同値の場合、第２距離画像のブロックを抽出するとしてもよい。
本発明によれば、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能となる。
車外環境認識システムの接続関係を示したブロック図である。 露光時間と画像との関係を示した説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 第１輝度画像を示した説明図である。 第２輝度画像を示した説明図である。 第１距離画像の生成態様を示した説明図である。 第２距離画像の生成態様を示した説明図である。 合成画像の生成態様を示した説明図である。 距離有無判定処理の流れを示したフローチャートである。 信頼度が高いブロックを抽出する条件を示した説明図である。 輝度差累積判定処理の流れを示したフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。
また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を有する距離画像を生成する。かかるパターンマッチングおよび距離画像については、後程、詳述する。
また、車外環境認識装置１２０は、輝度画像に基づく輝度値（カラー値）、および、距離画像に基づいて算出された、自車両１との相対距離を含む実空間における三次元空間の位置情報を用いて、まず路面を特定し、特定した路面上に位置し、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１の前方の検出領域における立体物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。
また、車外環境認識装置１２０は、このように特定物を特定すると、特定物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。このように、二次元の視差情報から三次元の位置情報を得る手法をステレオマッチングということもある。
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。
上述したように、車外環境認識システム１００では、２つの撮像装置１１０それぞれから輝度画像に基づき、ステレオマッチングを行うことで先行車両等の立体物の三次元位置を特定している。しかし、撮像装置１１０で撮像された画像によっては、日向が白飛びしたり、日陰が黒つぶれしたりして、一部の画像を取得できず、そこに位置するはずの立体物を適切に特定できない場合がある。
図２は、露光時間と画像との関係を示した説明図である。例えば、走行中、トンネルに入った場合、露光時間を長く設定することで、図２（ａ）のように、トンネル内の領域２００における道路や立体物を適切に取得できる。しかし、トンネルの出口より先の領域２０２では日光が強く白飛びしている。そうすると、図２（ａ）の領域２０２の情報を得ることができない。
ここで、図２（ａ）の領域２０２の情報を得るべく、露光時間を短く設定すると、図２（ｂ）のように、トンネルの出口より先の領域２０２における道路や立体物を適切に取得できる。一方で、図２（ａ）では取得できていたトンネル内の領域２００が黒つぶれして情報を得ることができなくなる。
このように明るい画像と暗い画像のどちらの階調も有効に取得するため、より広いダイナミックレンジを表現可能なＨＤＲ合成を採用することができる。しかし、複数の撮像装置１１０を要するステレオマッチングにおいて、複数の撮像装置１１０それぞれで独立してＨＤＲ合成を実行すると、却ってミスマッチ率が高くなる場合がある。そこで、本実施形態では、撮像態様を改良し、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定する。
（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、第１輝度画像取得部１６０、第２輝度画像取得部１６２、第１距離画像生成部１６４、第２距離画像生成部１６６、合成画像生成部１６８、立体物特定部１７０としても機能する。以下、本実施形態に特徴的な、距離画像（合成画像）の生成処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。
（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、第１輝度画像取得部１６０により、２つの撮像装置１１０において所定の第１露光時間で撮像した２つの第１輝度画像を取得する第１輝度画像取得処理（Ｓ２００）が実行され、第２輝度画像取得部１６２により、２つの撮像装置１１０において第１露光時間より短い第２露光時間で撮像した２つの第２輝度画像を取得する第２輝度画像取得処理（Ｓ２０２）が実行される。
次に、第１距離画像生成部１６４により、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成処理（Ｓ２０４）が実行され、第２距離画像生成部１６６により、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成処理（Ｓ２０６）が実行される。
続いて、合成画像生成部１６８により、第１距離画像の任意のブロック、および、この任意のブロックに対応する第２距離画像のブロックの２つのブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成処理（Ｓ２０８）が実行される。そして、立体物特定部１７０により、合成画像に基づいて立体物を特定する立体物特定処理（Ｓ２１０）が実行される。以下、各処理を詳述する。
（第１輝度画像取得処理Ｓ２００）
第１輝度画像取得部１６０は、２つの撮像装置１１０それぞれの露光時間（撮像素子がレンズを通して光に晒される時間）を、車外環境の比較的暗い部分（例えば、日陰）が黒つぶれすることなく、そのエッジを取得することができる所定の第１露光時間（長露光時間）に設定し、撮像された２つの第１輝度画像を取得する。
図５は、第１輝度画像を示した説明図である。図５（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第１輝度画像２１０であり、図５（ｂ）は、右側に配置された撮像装置１１０で取得された第１輝度画像２１２である。ここでは、比較的長い露光時間で撮像しているので、トンネルの出口より先の領域２０２では日光が強く白飛びしているものの、トンネル内の領域２００の画像は適切に取得されている。
（第２輝度画像取得処理Ｓ２０２）
第２輝度画像取得部１６２は、２つの撮像装置１１０それぞれの露光時間を、車外環境の比較的明るい部分（例えば、日向）が白飛びすることなく、そのエッジを取得することができる所定の第２露光時間（短露光時間）に設定し、撮像された複数の第２輝度画像を取得する。かかる第２露光時間は、露出を抑えるため、第１露光時間より短い。また、第１輝度画像取得部１６０と第２輝度画像取得部１６２との撮像間隔は、画像間の同時性を担保するため、極短時間であることが望ましい。
図６は、第２輝度画像を示した説明図である。図６（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第２輝度画像２２０であり、図６（ｂ）は、右側に配置された撮像装置１１０で取得された第２輝度画像２２２である。ここでは、比較的短い露光時間で撮像しているので、トンネル内の領域２００が黒つぶれしているものの、トンネルの出口より先の領域２０２の画像は適切に取得される。
（第１距離画像生成処理Ｓ２０４）
第１距離画像生成部１６４は、第１輝度画像取得部１６０が取得した２つの第１輝度画像２１０、２１２を用い、パターンマッチングによって視差情報を有する１の第１距離画像を生成する。
図７は、第１距離画像の生成態様を示した説明図である。第１距離画像生成部１６４は、例えば、図７（ａ）に示された第１輝度画像２１０と、図７（ｂ）に示された第１輝度画像２１２とのパターンマッチングを行う。
具体的に、２つの第１輝度画像２１０、２１２のうち、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索し（パターンマッチング）、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画像横方向を示し、垂直は、撮像した画像の画像縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。
車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。こうして、図７（ｃ）のような第１距離画像２１４が生成される。
ここでは、図７（ａ）、図７（ｂ）に示した第１輝度画像２１０、２１２においてトンネル内の領域２００の画像が適切に取得されているので、図７（ｃ）の第１距離画像２１４においても、トンネル内の領域２００の視差情報が適切に導出される。ただし、第１輝度画像２１０、２１２においてトンネルの出口より先の領域２０２の画像は白飛びしているので、その領域２０２のパターンマッチングでは距離の信頼度が低くなる。
（第２距離画像生成処理Ｓ２０６）
第２距離画像生成部１６６は、第２輝度画像取得部１６２が取得した２つの第２輝度画像を用い、パターンマッチングによって視差情報を有する１の第２距離画像を生成する。
図８は、第２距離画像の生成態様を示した説明図である。第２距離画像生成部１６６は、例えば、図８（ａ）に示された第２輝度画像２２０と、図８（ｂ）に示された第２輝度画像２２２のパターンマッチングを行う。そうすると、図８（ｃ）のような第２距離画像２２４が生成される。
ここでは、図８（ａ）、図８（ｂ）に示した第２輝度画像２２０、２２２においてトンネルの出口より先の領域２０２の画像が適切に取得されているので、図８（ｃ）の第２距離画像２２４においても、トンネル内の領域２００の視差情報が適切に導出される。なお、第２輝度画像２２０、２２２においてトンネル内の領域２００の画像は黒つぶれしているので、その領域２００のパターンマッチングでは距離の信頼度が低くなる。
（合成画像生成処理Ｓ２０８）
合成画像生成部１６８は、第１距離画像２１４および第２距離画像２２４を用い、第１距離画像２１４の任意のブロック、および、この任意のブロックに対応する第２距離画像２２４のブロックの２つのブロックのうち、距離の信頼度が高いブロックを抽出して１の合成画像を生成する。
図９は、合成画像の生成態様を示した説明図であり、図１０は、距離有無判定処理の流れを示したフローチャートであり、図１１は、信頼度が高いブロックを抽出する条件を示した説明図であり、図１２は、輝度差累積判定処理の流れを示したフローチャートである。
合成画像生成部１６８は、例えば、図９（ａ）に示された第１距離画像２１４から任意のブロック２３０を抽出する。次に、合成画像生成部１６８は、図９（ｂ）に示された第２距離画像２２４から、第１距離画像２１４の任意のブロック２３０に対応する（画像中で同一の位置にある）ブロック２３２を抽出する。かかる２つのブロック２３０、２３２それぞれについて、以下の３つのパラメータの信頼度を判定し、全てのパラメータについて信頼度が高いと判定されれば、そのブロックを「距離有り」と特定する。なお、パラメータの信頼度の条件を１つでも満たしていなければ、「距離無し」と判定する。
ここでは、まず、ブロックが視差を有する場合、ブロックに視差が無い場合と比べ、距離の信頼度が高いと判定する。したがって、図１０に示すように、合成画像生成部１６８は、抽出した２つのブロック２３０、２３２の一方に対し、ブロックが視差を有するか否か判定する（Ｓ３００）。その結果、合成画像生成部１６８は、抽出したブロックが視差を有する場合（Ｓ３００におけるＹＥＳ）、次のパラメータを判定し、視差が無い場合（Ｓ３００におけるＮＯ）、次のパラメータを判定することなく、「距離無し」と判定する（Ｓ３０２）。
次に、ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、距離の信頼度が高いと判定する。したがって、合成画像生成部１６８は、まず、ブロックと、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚが所定の距離閾値以下であるブロック同士をグループ化する（Ｓ３０４）。そして、合成画像生成部１６８は、グループ化したブロック群のブロック数（面積）が所定数以上であるか否か判定する（Ｓ３０６）。その結果、合成画像生成部１６８は、ブロック数が所定数以上であれば（Ｓ３０６におけるＹＥＳ）、次のパラメータを判定し、ブロック数が所定数未満であれば（Ｓ３０６におけるＮＯ）、次のパラメータを判定することなく、「距離無し」と判定する（Ｓ３０２）。
続いて、ブロックの輝度差累積（ＤＣＤＸ）が所定値以上である場合、ブロックの輝度差累積が所定値未満である場合と比べ、距離の信頼度が高いと判定する。したがって、合成画像生成部１６８は、まず、ブロックの輝度差累積を計算する（Ｓ３０８）。かかる輝度差累積は、水平方向（ｘ方向）の輝度差を累積したものであり、以下のようにして求めることができる。例えば、ブロックが、水平４画素×垂直４画素の１６画素であるとする。まず、輝度差累積は０に設定される。そして、１６画素全てについて、左右いずれか一方の画素（例えば、右の画素）との輝度の差分を求め、その値が、所定の輝度閾値以上であれば、輝度差累積に１ポイントを加える。したがって、輝度差累積の値は、ブロックの画素数が上限となり、０〜１６ポイントで表される。そして、ポイントが高ければ高いほど、輝度差が大きい、すなわち、エッジが強いと判断される。
次に、合成画像生成部１６８は、輝度差累積が所定値（例えば１）以上であるか否か判定する（Ｓ３１０）。その結果、合成画像生成部１６８は、抽出したブロックの輝度差累積が所定値以上であれば（Ｓ３１０におけるＹＥＳ）、「距離有り」と判定し（Ｓ３１２）、輝度差累積が所定値未満であれば（Ｓ３１０におけるＮＯ）、「距離無し」と判定する（Ｓ３０２）。
続いて、合成画像生成部１６８は、このような距離有無判定処理を、抽出した２つのブロック２３０、２３２のいずれに対しても行ったか否か判定する（Ｓ３１４）。その結果、距離有無判定処理をいずれに対しても行っていれば（Ｓ３１４におけるＹＥＳ）、合成画像生成部１６８は、距離有無判定を終了し、まだ、一方に対して行っていなければ（Ｓ３１４におけるＮＯ）、合成画像生成部１６８は、他方のブロックに対し、ステップＳ３００から処理を繰り返す。
このように、抽出した２つのブロック２３０、２３２について距離有無判定が終了すると、合成画像生成部１６８は、図１１のマトリクスに従って、抽出した２つのブロック２３０、２３２のうち、信頼度が高い一方のブロックを抽出する。
具体的に、合成画像生成部１６８は、図１１（ｂ）、図１１（ｃ）に示すように、２つのブロック２３０、２３２について、一方のブロックが「距離有り」の判定であり、他方のブロックが「距離無し」であれば、「距離有り」のブロックの方が、「距離無し」のブロックより距離の信頼度が高いとして、「距離有り」の判定を受けたブロックを抽出する。また、合成画像生成部１６８は、図１１（ｄ）に示すように、いずれのブロックも「距離無し」の判定であれば、いずれのブロックも抽出せず、そのブロックを距離情報なしと設定する。
また、合成画像生成部１６８は、図１１（ａ）に示すように、いずれのブロックも「距離有り」の判定であれば、輝度差累積に基づき、図１２に示す輝度差累積判定処理を行う。まず、合成画像生成部１６８は、「距離有り」と判定された２つのブロックの輝度差累積を参照し、輝度差累積の値が同値であるか否か判定し（Ｓ３５０）、輝度差累積の値が同値でなければ（Ｓ３５０におけるＮＯ）、輝度差累積が高いブロックの方が、輝度差累積が低いブロックより距離の信頼度が高いとして、輝度差累積の値が大きいブロックを抽出する（Ｓ３５２）。
また、輝度差累積の値が同値であれば（Ｓ３５０におけるＹＥＳ）、露光時間が短い第２距離画像２２４のブロックを優先して抽出する（Ｓ３５４）。ここで、輝度差累積が同値である場合に、第２距離画像２２４を強制的に抽出する理由は、露光時間は長ければ長いほど、不要な光が拡散したり、ノイズとして取得されるとともに、長時間の車両の移動により、画像がぶれやすいからである。
なお、ここでは、輝度差累積の値が同値であれば、第２距離画像２２４のブロックを抽出する例を挙げて説明したが、かかる場合に限らず、２つのブロックが「距離有り」と判定されれば、輝度差累積の値に限らず、第２距離画像２２４のブロックを抽出するとしてもよい。
このようにして、合成画像生成部１６８は、例えば、図９（ａ）の第１距離画像２１４のブロック２３０と、図９（ｂ）の第２距離画像２２４のブロック２３２とを比較し、一方のブロック（例えば、ここではブロック２３０）を抽出する。こうして、図９（ｃ）の合成画像２３４が生成される。
次に、合成画像生成部１６８は、合成画像２３４における検出領域内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。
ここで、視差情報が、合成画像２３４における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。
（立体物特定処理Ｓ２１０）
立体物特定部１７０は、合成画像生成部１６８が生成した合成画像２３４に基づいて立体物を特定する。具体的に、立体物特定部１７０は、まず、合成画像２３４中の視差情報に基づき、水平距離ｘ、高さｙおよび相対距離ｚが所定の距離閾値以下である場合に、そのブロック同士をグループ化して立体物とする。そして、グループ化した立体物がいずれの特定物に対応するか特定する。例えば、立体物特定部１７０は、立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源が確認された場合、その立体物を先行車両と特定する。
以上、説明したように、本実施形態では、露光時間を異にして複数（ここでは２）の距離画像の組み合わせを撮像し、露光時間毎にパターンマッチングを行って距離画像を生成し、その後、距離の信頼度に基づいて、複数の距離画像を合成し、１の合成画像を生成している。したがって、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能となる。
また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、第１露光時間と第２露光時間の２つの異なる露光時間で撮像する例を挙げて説明したが、かかる場合に限らず、３つ以上の露光時間それぞれに対して２つの輝度画像を生成し、それらをパターンマッチングして３つ以上の距離画像を生成し、その後、距離の信頼度に応じて、複数の距離画像を合成するとしてもよい。かかる構成により、露光時間を細分化することができ、より精度の高い距離画像（合成画像）を実現することが可能となる。
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。
１ 自車両
１１０ 撮像装置
１２０ 車外環境認識装置
１６０ 第１輝度画像取得部
１６２ 第２輝度画像取得部
１６４ 第１距離画像生成部
１６６ 第２距離画像生成部
１６８ 合成画像生成部
１７０ 立体物特定部
２１４ 第１距離画像
２２４ 第２距離画像
２３４ 合成画像

Claims (4)

  1. コンピュータが、
    位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、
    前記複数の撮像装置において前記第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、
    前記複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、
    前記複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、
    前記第１距離画像の任意のブロック、および、前記任意のブロックに対応する前記第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、
    として機能し、
    前記ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、前記ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、前記距離の信頼度が高い車外環境認識装置。
  2. コンピュータが、
    位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、
    前記複数の撮像装置において前記第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、
    前記複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、
    前記複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、
    前記第１距離画像の任意のブロック、および、前記任意のブロックに対応する前記第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、
    として機能し、
    前記ブロックの輝度差累積が所定値以上である場合、前記ブロックの輝度差累積が所定値未満である場合と比べ、前記距離の信頼度が高い車外環境認識装置。
  3. コンピュータが、
    位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、
    前記複数の撮像装置において前記第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、
    前記複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、
    前記複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、
    前記第１距離画像の任意のブロック、および、前記任意のブロックに対応する前記第２距離画像のブロックのうち、前記ブロックの輝度差累積が高いブロックを抽出して合成画像を生成する合成画像生成部、
    として機能する車外環境認識装置。
  4. 前記合成画像生成部は、前記ブロックの輝度差累積が同値の場合、前記第２距離画像のブロックを抽出する請求項３に記載の車外環境認識装置。
JP2018054906A 2018-03-22 2018-03-22 車外環境認識装置 Active JP6701253B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018054906A JP6701253B2 (ja) 2018-03-22 2018-03-22 車外環境認識装置
US16/241,804 US10839236B2 (en) 2018-03-22 2019-01-07 Vehicle exterior environment recognition apparatus
DE102019101482.4A DE102019101482A1 (de) 2018-03-22 2019-01-22 Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
CN201910084471.8A CN110298793B (zh) 2018-03-22 2019-01-29 车外环境识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018054906A JP6701253B2 (ja) 2018-03-22 2018-03-22 車外環境認識装置

Publications (2)

Publication Number Publication Date
JP2019168821A JP2019168821A (ja) 2019-10-03
JP6701253B2 true JP6701253B2 (ja) 2020-05-27

Family

ID=67848413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018054906A Active JP6701253B2 (ja) 2018-03-22 2018-03-22 車外環境認識装置

Country Status (4)

Country Link
US (1) US10839236B2 (ja)
JP (1) JP6701253B2 (ja)
CN (1) CN110298793B (ja)
DE (1) DE102019101482A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021156579A (ja) * 2018-06-29 2021-10-07 ソニーグループ株式会社 画像処理装置、画像処理方法、移動機器、並びにプログラム
US11100623B2 (en) * 2019-05-02 2021-08-24 International Business Machines Corporation Real time estimation of indoor lighting conditions
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
JP7356319B2 (ja) * 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
CN112766026B (zh) * 2019-11-05 2024-02-02 大富科技(安徽)股份有限公司 交通灯的检测方法、计算机存储介质、车载终端和车辆
US11055835B2 (en) * 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
JP7661977B2 (ja) * 2020-11-18 2025-04-15 株式会社ソシオネクスト 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP7543367B2 (ja) * 2022-10-26 2024-09-02 キヤノン株式会社 情報処理装置、移動体制御システムおよび情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP2012109900A (ja) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP2012160852A (ja) * 2011-01-31 2012-08-23 Olympus Corp 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム
JP5499011B2 (ja) 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
JP5798011B2 (ja) * 2011-11-18 2015-10-21 富士重工業株式会社 車外環境認識装置
JP5863536B2 (ja) * 2012-03-29 2016-02-16 富士重工業株式会社 車外監視装置
JP2015073185A (ja) * 2013-10-02 2015-04-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104113733B (zh) * 2014-07-25 2017-10-27 北京机械设备研究所 一种低慢小目标电视搜索探测方法
JP6420650B2 (ja) * 2014-12-10 2018-11-07 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP2018054906A (ja) 2016-09-29 2018-04-05 シャープ株式会社 サーバ装置、情報処理端末、システム、および方法
CN106264444A (zh) * 2016-10-20 2017-01-04 鹄誉医疗科技（上海）有限公司 一种高鲁棒性的人眼屈光度检测方法
CN106791470B (zh) * 2016-12-28 2019-08-16 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置

Also Published As

Publication number Publication date
US10839236B2 (en) 2020-11-17
CN110298793A (zh) 2019-10-01
JP2019168821A (ja) 2019-10-03
US20190294899A1 (en) 2019-09-26
DE102019101482A1 (de) 2019-09-26
CN110298793B (zh) 2024-11-15

Similar Documents

Publication Publication Date Title
JP6701253B2 (ja) 車外環境認識装置
US8908924B2 (en) Exterior environment recognition device and exterior environment recognition method
JP6132412B2 (ja) 車外環境認識装置
JP5886809B2 (ja) 車外環境認識装置
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US10037473B2 (en) Vehicle exterior environment recognition apparatus
US10148938B2 (en) Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas
JP2015069381A (ja) 車外環境認識装置
JP6420650B2 (ja) 車外環境認識装置
CN106295493A (zh) 车外环境识别装置
CN112758086B (zh) 车外环境识别装置
JP7261006B2 (ja) 車外環境認識装置
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6591188B2 (ja) 車外環境認識装置
JP6329438B2 (ja) 車外環境認識装置
JP6259335B2 (ja) 車外環境認識装置
JP7229032B2 (ja) 車外物体検出装置
JP2019204988A (ja) 画像処理装置及び画像処理方法
WO2022130780A1 (ja) 画像処理装置
JP6523694B2 (ja) 車外環境認識装置
JP6313667B2 (ja) 車外環境認識装置
WO2021084915A1 (ja) 画像認識装置
JP2015046087A (ja) 物体検出用カメラシステム及び物体検出装置及びこれに用いるプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R150 Certificate of patent or registration of utility model

Ref document number: 6701253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250