JP6942637B2 - 車両用画像取得装置、および車両用画像取得装置を備えた車両 - Google Patents

Description

本開示は、車両用画像取得装置、および車両用画像取得装置を備えた車両に関する。

特許文献１には、自車両前方にパルス光を投光する投光部として近赤外線ＬＥＤを用い、パルス光に応じた撮像タイミングで反射光を撮像することで距離画像データを生成する車両用画像取得装置が開示されている。

日本国特開２００９−２５７９８３号公報

特許文献１に記載のような近赤外線ＬＥＤを用いた距離画像データ生成装置ではカラー画像を得ることはできない。そのため、距離情報とカラー画像の両方を得るためには、距離画像データ生成装置と通常のカメラとを併用したり、ミリ波センサと通常のカメラを併用したりする必要があった。

本開示の目的は、安価な構成で、距離情報とともにカラー画像を得ることができ、コスト削減が可能な車両用画像取得装置およびそれを備えた車両を提供することにある。

上記目的を達成するため、本開示の車両用画像取得装置は、
赤色光を発光する赤色光源、緑色光を発光する緑色光源および青色光を発光する青色光源を備え、所定方向に所定の発光周期で各色光を出射するＲＧＢ光源部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記各色光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
前記各色光によりそれぞれ取得された撮像画像を合成してカラー画像を生成する画像処理部と、
を備えている。

上記構成によれば、安価な構成の車両用画像取得装置で、距離情報とともにカラー画像を得ることができ、コスト削減が可能である。また、異なる複数の波長の光を出射可能なＲＧＢ光源を用いることで距離検出の精度を向上させることができる。

前記タイミング制御部は、前記各色光の発光周期を時間的に切り替えて、前記各色光の発光周期に応じて前記撮像タイミングを制御することが好ましい。

上記構成によれば、画像処理アルゴリズムを簡易化することができる。

前記画像処理部は、前記各色光の反射光から取得される各ターゲット距離領域の撮像画像から距離情報を演算することで、前記各色光に対する対象物の反射率を補正し、距離情報を取得することが好ましい。

上記構成によれば、より精度の高い距離検出を行うことができる。

上記目的を達成するため、本開示の車両は、
上記に記載の車両用画像取得装置を備えている。

上記構成によれば、距離情報とカラー画像の両方を取得可能な車両用画像取得装置を自動運転等の技術に応用可能である。

本開示によれば、安価な構成で、距離情報とともにカラー画像を得ることができ、コスト削減が可能な車両用画像取得装置およびそれを備えた車両を提供することができる。

本実施形態の障害物検出装置の構成を示すブロック図である。 各ターゲット距離領域を撮像する際の、発光部の動作（発光動作）とゲートの動作（カメラゲート動作）との時間的な関係を示す図である。 自車両前方の異なる位置に４つの異なる物体が存在している状況を示す図である。 撮像領域の一部がオーバーラップする状態を示す図である。 各物体に対応する画素の時間的な輝度変化を示す模式図である。 本実施例に係るカメラ動作タイミングを説明するための図である。

以下、本実施形態の一例について、図面を参照して詳細に説明する。

図１は、車両用画像取得装置を適用した本実施形態に係る障害物検出装置の構成を示すブロック図である。図２は、各ターゲット距離領域を撮像する際の、発光部の動作（発光動作）とゲートの動作（カメラゲート動作）との時間的な関係を示す模式図である。

図１に示されるように、車両Ｖ（自車両）に設けられる障害物検出装置１は、画像取得装置２と、物体認識処理部３と、判断部４とを備えている。

画像取得装置２は、ＲＧＢ光源部（発光部）５と、対物レンズ６と、光増倍部７と、高速度カメラ（画像取得部）８と、タイミングコントローラ（タイミング制御部）９と、画像処理部１０とを備えている。

ＲＧＢ光源部５は、例えば、車両Ｖの前端部（例えば左右ヘッドランプ内）に配置された光源であり、赤色光を発光する赤色光源（Ｒ光源）、緑色光を発光する緑色光源（Ｇ光源）、および青色光を発光する青色光源（Ｂ光源）を備えている。ＲＧＢ光源部５は、特に赤色発光レーザダイオードからなるＲ光源、緑色発光レーザダイオードからなるＧ光源、および青色発光レーザダイオードからなるＢ光源を備えたレーザ光源から構成されることが好ましい。なお、ＲＧＢ光源部５は、ＲＧＢの各色を発光可能なＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等から構成されても良い。

図２に示されるように、ＲＧＢ光源部５は、タイミングコントローラ９から出力されるパルス信号に応じて、所定の発光時間ｔＬ（例えば、５ｎｓ）の間、所定方向（例えば、車両Ｖの前方）に赤色パルス光、緑色パルス光、および青色パルス光をそれぞれ出射する。ＲＧＢ光源部５から照射される各色パルス光の発光周期ｔＰは、例えば、１０μｓ以下の間隔とする。

対物レンズ６は、例えば、車両Ｖ前方の所定範囲を撮像できる画角とするように設定された光学系であって、物体からの反射光を受光する。対物レンズ６は、ＲＧＢ光源部５と近接して配置されていても良く、離隔して配置されていても良い。

光増倍部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。本実施形態では、ゲート７ａの開放時間（ゲート時間）ｔＧを、発光時間ｔＬと同じ５ｎｓとしている。ゲート時間ｔＧは、領域１から領域ｎまでの全撮像領域における各領域（ターゲット距離領域）の撮像対象長さ（撮像対象深さ）に比例する。ゲート時間ｔＧを長くするほど各領域の撮像対象長さは長くなる。撮像対象長さは、光速度×ゲート時間ｔＧから求められ、本実施形態では、ゲート時間ｔＧ＝５ｎｓとしているため、撮像対象長さは、「光速度（約３×１０^８ｍ／ｓ）×ゲート時間（５ｎｓ）」より、１．５ｍとなる。
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るためのデバイスである。イメージインテンシファイア７ｂにより増幅された光は高速度カメラ８のイメージセンサに導かれる。

高速度カメラ８としては、ＲＧＢフィルタのない単眼カメラを用いることが好ましい。高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光増倍部７から発せられた像を撮像し、取得した撮像画像を画像処理部１０へ出力する。本実施形態では、解像度６４０×４８０（横：縦）、輝度値１〜２５５(２５６段階)、１００ｆｐｓ以上のカメラが用いられている。

タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像領域であるターゲット距離領域から帰ってくる反射光のタイミングとなるように、ＲＧＢ光源部５からの各色パルス光の発光開始時点からゲート７ａを開くまでの時間であるディレイ時間ｔＤ（図２では、ｔＤ_ｎ，ｔＤ_ｎ＋１）を設定し、ディレイ時間ｔＤに応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間ｔＤは、車両Ｖからターゲット距離領域までの距離（撮像対象距離）を決める値である。ディレイ時間ｔＤと撮像対象距離との関係は、以下の式（１）から求められる。
撮像対象距離＝光速度（約３×１０^８ｍ／ｓ）×ディレイ時間ｔＤ／２ ・・・式（１）

タイミングコントローラ９は、ターゲット距離領域が車両Ｖの前方（遠方）へと連続的に離れるように、ディレイ時間ｔＤを所定間隔（例えば、１０ｎｓ）ずつ長くすることで、高速度カメラ８の撮像範囲を車両Ｖの前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。

タイミングコントローラ９は、設定された所定のターゲット距離領域（領域１、領域２、…、領域ｎの各領域）毎に複数回の発光および露光を行うよう発光部５、ゲート７ａおよび高速度カメラ８を制御する。高速度カメラ８が受光した光は電荷に変換され、複数回の発光および露光を繰り返すことで蓄積される。所定の電荷蓄積時間ごとに得られる１枚の撮像画像をフレームと呼ぶ。なお、高速度カメラ８は、ターゲット距離領域ごとに１枚（１フレーム）ずつ撮像画像を取得しても良く、あるいは各ターゲット距離領域において複数の撮像画像（数フレーム）を取得しても良い。このようにして、高速度カメラ８は、ターゲット距離領域の異なる複数の撮像画像を取得し、取得した複数の撮像画像を画像処理部１０へ出力する。

画像処理部１０は、距離画像データ生成部１０ａとカラー画像データ生成部１０ｂとを備えている。
距離画像データ生成部１０ａは、高速度カメラ８により撮像された全撮像領域の撮像画像における同一画素の輝度に基づいて、画素毎の物体（対象物）までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。
また、カラー画像データ生成部１０ｂは、ＲＧＢ光源部５からの各色光の反射光を高速度カメラ８により撮像することで得られた色別の撮像画像を合成することによりカラー画像データを生成する。そして、カラー画像データ生成部１０ｂは、生成したカラー画像データを物体認識処理部３へ出力する。

物体認識処理部３は、距離画像データおよびカラー画像データから撮像領域内の物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。

判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両（車両Ｖ）との関係（距離、方向等）を判断する。

次に、本実施形態に係る画像取得の作用を説明する。
［画像取得作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、所定のターゲット距離領域から帰ってくる反射光のタイミングとなるように、ディレイ時間ｔＤを設定し、高速度カメラ８の撮像タイミングを制御する。ターゲット距離領域に物体が存在している場合、ＲＧＢ光源部５から出射された光がターゲット距離領域から戻ってくる時間は、車両Ｖとターゲット距離領域との間の距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間ｔＤは、撮像対象距離と光速度から求めることができる。

上記方法で得られた高速度カメラ８の撮像画像において、ターゲット距離領域に物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、ターゲット距離領域に存在する物体との距離を求めることができる。

図３は、車両Ｖの前方の異なる位置に４つの物体Ａ〜Ｄが存在している状況を示している。物体Ａは傘をさした人物であり、物体Ｂは対向車線側のバイクであり、物体Ｃは歩道側の樹木であり、物体Ｄは対向車線側の車両（対向車）である。車両Ｖと各物体との距離の関係は、Ａ＜Ｂ＜Ｃ＜Ｄとする。
このとき、本実施形態では、１つの物体からの反射光が連続する複数の撮像領域における撮像画像の画素に反映されるように、撮像領域の一部をオーバーラップさせている。すなわち、図４に示すように、撮像対象距離をＢ１→Ｂ２→Ｂ３→…と連続的に変化させながら撮像する際、撮像領域の撮像対象長さＡよりも撮像対象距離の増加量（Ｂ２−Ｂ１）を短くすることで、撮像領域の一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。

図５は、各物体に対応する画素の時間的な輝度変化を示している。
撮像領域の一部をオーバーラップさせることで、図５に示されるように、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、各物体Ａ〜Ｄの位置でピークとなった後は徐々に小さくなる三角波状の特性を示す。このように、１つの物体からの反射光が複数の撮像画像に含まれるようにすることで、画素の時間的な輝度変化が三角波状となるため、当該三角波状のピークと対応する撮像領域を当該画素における車両Ｖから各物体（被写体）Ａ〜Ｄまでの距離とすることで、検出精度を高めることができる。

図６は、本実施形態に係るカメラ動作タイミングを説明するための図である。
本実施例においては、図６（ａ）に示されるように、タイミングコントローラ９は、各ターゲット距離領域（例えば、領域１）ごとに各色光の発光周期を時間的に切り替えるように発光部５を制御する。すなわち、領域１を撮像する際には、タイミングコントローラ９は、まず赤色光源から赤色パルス光を所定の発光周期で発光させ、当該赤色パルス光の発光周期に応じた撮像タイミングで露光（ゲート開閉動作）を行う。すなわち、赤色パルス光の複数回の発光および露光を行い、赤色パルス光による領域１の撮像画像（１フレームあるいは数フレーム）を取得する。その後、一定の読出し期間が設けられ、タイミングコントローラ９は当該読出し期間内に、画像処理部１０（距離画像データ生成部１０ａおよびカラー画像データ生成部１０ｂ）に対し、赤色パルス光による領域１の撮像画像の画像処理指令信号を出力する。次いで、タイミングコントローラ９は、緑色光源から緑色パルス光を所定の発光周期で発光させ、当該緑色光の発光周期に応じた撮像タイミングで露光を行う。その後、一定の読出し期間が設けられ、タイミングコントローラ９は当該読出し期間内に、画像処理部１０に対し、緑色パルス光による領域１の撮像画像（１フレームあるいは数フレーム）の画像処理指令信号を出力する。次いで、タイミングコントローラ９は、青色光源から青色パルス光を所定の発光周期で発光させ、当該青色光の発光周期に応じた撮像タイミングで露光を行う。その後、一定の読出し期間が設けられ、タイミングコントローラ９は当該読出し期間内に、画像処理部１０に対し、青色パルス光による領域１の撮像画像（１フレームあるいは数フレーム）の画像処理指令信号を出力する。

このように、各色光の複数回の発光および露光を時間的に切り替えて行うことで、領域１に対して各色光の反射光を撮像した撮像画像がそれぞれ取得される。各ＲＧＢ光について１枚（１フレーム）ずつ撮像画像が取得されても良く、あるいは各光について複数の撮像画像（数フレーム）が取得されても良い。その後、領域２〜領域ｎまでの各ターゲット距離領域において各色光の発光周期を時間的に切り替えて撮像を行うことで、各領域に対して各色光に基づく撮像画像がそれぞれ取得される。

物体によって分光反射率が異なるため、ＲＧＢ光のうち反射光の強度が小さい光によって撮像された撮像画像は、Ｓ/Ｎ比が悪くなり、測距精度も低下する。そこで本実施形態においては、物体によって分光反射率が異なることを利用し、画像処理部１０は、ＲＧＢの各色光による撮像画像から得られる距離情報に対して演算処理を行い、ＲＧＢ光のうち物体からの反射光強度が高い色の光の反射率により各色光に対する対象物の分光反射率を補正する。これにより、距離検出精度をより高めることができる。

また、カラー画像データ生成部１０ｂは、赤色パルス光の出射および露光により得られた赤色画像と、緑色パルス光の出射および露光により得られた緑色画像と、青色パルス光の出射および露光により得られた青色画像とを合成してカラー画像データを生成する。距離画像データ生成部１０ａにより生成された距離画像データとカラー画像データ生成部１０ｂにより生成されたカラー画像データとはそれぞれ別個に物体認識処理部３へ出力されても良く、これらが画像処理部１０にて合成された合成画像データが物体認識処理部３へ出力されても良い。

なお、ターゲット距離領域について各色光の反射光を撮像した撮像画像を取得した後に、当該撮像画像に含まれる物体までの距離を算出するために、本実施形態においては電荷振り分け方式を用いている。この方式においては、物体からの反射光の露光により得られた電荷を位相の異なる信号電荷として高速度カメラ８に備わる所定の蓄積領域に振り分ける。振り分けられた信号電荷は、対応する各信号電荷蓄積領域にそれぞれ蓄積される。各信号電荷蓄積領域に蓄積された信号電荷は、蓄積された電荷量に対応した出力として読み出され、これらの出力の比率に基づいて、対象物までの距離が算出される。例えば、図６（ｂ）に示すように、タイミングコントローラ９は、パルス光の１回の発光に対する物体からの反射光を、ある周期の露光期間１と、当該露光期間１とは位相周期の異なる露光期間２との両方で露光するように露光制御を行う。露光期間１で蓄積された電荷量と露光期間２で蓄積された電荷量との比率を用いて車両Ｖから物体までの距離を算出することができる。

以上説明した本実施例の画像取得装置２によれば、以下に列挙する効果を奏する。

（１）赤色光を発光する赤色光源、緑色光を発光する緑色光源および青色光を発光する青色光源を備えたＲＧＢ光源部５から各色光を発光し、各色光の反射光を例えば単眼カメラである高速度カメラ８により撮像してターゲット距離領域の異なる複数の撮像画像を取得するとともに、画像処理部１０（カラー画像データ生成部１０ｂ）において各色光によりそれぞれ取得された撮像画像を合成してカラー画像データを生成する。この構成によれば、本実施形態の車両用画像取得装置２は、ＲＧＢフィルタのない安価な単眼カメラで、距離情報を有する撮像画像に加えて合成されたカラー画像を得ることができる。そのため、従来のようにミリ波レーダとステレオカメラとを併用するミリ波レーダー・ステレオカメラフュージョンセンサ等で実現されていた運転支援システムの大幅なコスト削減が可能である。また、パルス光を出射する発光部として異なる複数の波長の光を出射可能なＲＧＢ光源部を用いることで、距離検出の精度（測距精度）を向上させることができる。

なお、上記実施形態に係る画像取得装置２を備えた障害物検出装置１を、いわゆるＡＨＢ（オートマチック・ハイビーム）システムやＡＤＢ（アダプティブ・ドライビング・ビーム）システムの配光制御に用いることが好適である。例えば、画像取得装置２にて得られたターゲット距離領域の異なる複数の撮像画像から距離情報を取得するとともに、合成されたカラー画像から対象物情報を取得して、物体が車両であるか否かを判別することができる。このように、ミリ波レーダとカメラを併用して得ていた距離情報と対象物情報とを画像取得装置２のみで得ることができ、ＡＨＢシステムやＡＤＢシステムの配光制御をより安価に行うことができる。

（２）タイミングコントローラ９は、各色光の発光周期を時間的に切り替えて、各色光の発光周期に応じて撮像タイミングを制御する。この構成によれば、画像処理アルゴリズムを簡易化することができる。

（３）画像処理部１０は、各ターゲット距離領域の撮像画像を演算処理することで各色光に対する対象物（物体）の反射率を補正し、距離情報を取得することが好ましい。この構成によれば、対象物の分光反射率を補正することで、より精度の高い距離画像を得ることができる。

以上、本開示を実施するための形態を、実施例に基づき説明したが、本開示の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。

例えば、撮像対象長さ、撮像対象距離の変化量、ターゲット距離領域ごとのフレーム数などは、高速度カメラ８や画像処理部１０の性能に応じて適宜設定することができる。

上記実施の形態では、図１に示されるように、高速度カメラ８が画像取得部として機能する構成としているが、この例に限られない。例えば、画像取得部としての機能を画像処理部１０が有していても良く、あるいは高速度カメラ８と画像処理部１０との間に画像取得部として撮像画像を格納する別個のメモリが設けられても良い。

上記実施の形態では、図１に示されるように、対物レンズ６と高速度カメラ８との間に光増倍部７（ゲート７ａ、イメージインテンシファイア７ｂ）が設けられた構成としているが、この例に限られない。例えば、光増倍部７を設けず、高速度カメラ８内で所定の撮像タイミングでゲーティングを行って複数の撮像画像を取得することも可能である。

上記実施の形態では、画像処理部１０により距離画像データを生成することで物体認識を行う構成としているが、高速度カメラ８で撮像された個々のターゲット距離の撮像画像から物体認識を行っても良い。

本出願は、２０１５年１２月２１日出願の日本特許出願・出願番号２０１５−２４８８２５に基づくものであり、その内容はここに参照として取り込まれる。

Claims (5)

1. 車両に搭載された車両用画像取得装置であって、
   赤色光を発光する赤色光源、緑色光を発光する緑色光源および青色光を発光する青色光源を備え、所定方向に所定の発光周期で各色光を出射するＲＧＢ光源部と、
   ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
   前記各色光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
   前記複数の撮像画像から距離情報を取得するとともにカラー画像を生成する画像処理部と、を備え、
   前記ＲＧＢ光源部は、前記赤色光源からの前記赤色光の発光タイミングと、前記緑色光源からの前記緑色光の発光タイミングと、前記青色光源からの前記青色光の発光タイミングと、を互いに異ならせるようにして前記各色光を前記車両の外部に出射し、
   前記画像処理部は、異なるタイミングで出射された前記各色光の反射光を撮像することによりそれぞれ取得された前記複数の撮像画像を合成して前記カラー画像を生成する、車両用画像取得装置。
2. 前記タイミング制御部は、前記各色光の発光周期を時間的に切り替えて、前記各色光の発光周期に応じて前記撮像タイミングを制御する、請求項１に記載の車両用画像取得装置。
3. 前記画像処理部は、前記各色光の反射光から取得される各ターゲット距離領域の撮像画像を演算処理することで、前記各色光に対する対象物の分光反射率を補正し、前記距離情報を取得する、請求項１または２に記載の車両用画像取得装置。
4. 前記画像処理部は、前記各色光のうち前記対象物からの反射光強度が高い色の光の反射率により前記分光反射率を補正する、請求項３に記載の車両用画像取得装置。
5. 請求項１から４のいずれか一項に記載の車両用画像取得装置を備えている、車両。

Images