JP2017204699A - 撮像装置、および撮像方法 - Google Patents

Abstract

【課題】広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができるようにする。【解決手段】本開示の撮像装置は、第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、第１の撮像部によって撮影された複数枚の画像を合成する信号処理部と、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部との露光量を制御する露光量制御部とを備える。【選択図】図１

Description

本開示は、複数の画像の撮影を行う撮像装置、および撮像方法に関する。

視差を有し、かつ露光量の異なる複数枚の画像に基づいて、広ダイナミックレンジの画像の生成と被写体の測距とを同時に行うことができる撮像装置の技術が提案されている。

特開２０１１−２５４１７０号公報

しかしながら、広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことは困難である。

広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができるようにした撮像装置、および撮像方法を提供することが望ましい。

本開示の一実施の形態に係る撮像装置は、第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、第１の撮像部によって撮影された複数枚の画像を合成する信号処理部と、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部との露光量を制御する露光量制御部とを備えたものである。

本開示の一実施の形態に係る撮像方法は、第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、第１の撮像部によって撮影された複数枚の画像を合成することと、第１の画像と第２の画像とに基づいて、被写体の特徴量を算出することと、第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部とを制御することとを含むようにしたものである。

本開示の一実施の形態に係る撮像装置、または撮像方法では、第１の画像を含む複数枚の画像が第１の撮像部によって順次、撮影されると共に、第２の画像を含む少なくとも１枚の画像が第２の撮像部によって撮影される。第１の画像の露光量と第２の画像の露光量との差を減少させるように第１の撮像部と第２の撮像部とが制御される。

本開示の一実施の形態に係る撮像装置、または撮像方法によれば、被写体の特徴量の算出に用いられる第１の画像と第２の画像との露光量の差を減少させるようにしたので、広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の第１の実施の形態に係る撮像装置の一構成例を示すブロック図である。 図１に示した撮像装置における第１の信号処理部の一構成例を示すブロック図である。 図１に示した撮像装置における第２の信号処理部の一構成例を示すブロック図である。 図１に示した撮像装置における特徴量算出部の一構成例を示すブロック図である。 図１に示した撮像装置における露光量制御部による露光量制御の一例を示す流れ図である。 図１に示した撮像装置における露光量制御部による第１の露光量制御処理の一例を示す流れ図である。 図１に示した撮像装置における露光量制御部による第２の露光量制御処理の一例を示す流れ図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの説明図である。 輝度値の算出に用いる検波枠の一例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第１の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第２の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第３の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第４の例を示す説明図である。 第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第５の例を示す説明図である。 第２の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第３の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第４の実施の形態に係る撮像装置の一構成例を示すブロック図である。 第５の実施の形態に係る撮像装置を用いた解析システムの一構成例を示すブロック図である。 図１８に示した解析システムにおける解析部の処理の一例を示す流れ図である。 図１８に示した解析システムにおけるＬＥＤフリッカ検出処理の手順の一例を示す流れ図である。 車両への各種センサの搭載例を示す構成図である。 ＬＥＤフリッカ対策を行う場合の第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第１の例を示す説明図である。 ＬＥＤフリッカ対策を行う場合の第１の撮像部と第２の撮像部とのそれぞれにおける露光量と露光タイミングとの第２の例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことを可能にする撮像装置）
１．１ 構成（図１〜図４）
１．２ 動作（図５〜図１４）
１．３ 効果
２．第２の実施の形態（図１５）
３．第３の実施の形態（図１６）
４．第４の実施の形態（図１７）
５．第５の実施の形態（撮像装置を用いた解析システム）（図１８〜図２３）
６．その他の実施の形態

＜１．第１の実施の形態＞
視差を有し、かつ露光量の異なる複数枚の画像に基づいて、広ダイナミックレンジの画像の生成と被写体の測距とを同時に行うことができる撮像装置の技術が提案されている。この技術では、広ダイナミックレンジの画像を得るために、異なる露光量の２枚の画像を用いて、測距を行う際に、露光量の少ない画像に対してゲインをかけて明るさを同じにしてから測距を行う。このため、ゲインをかけることによって増幅されるノイズによる測距精度の低下が生じる。また、露光量が異なる場合や、パラメータが異なる非線形処理を含む画像処理後の画像を使用した場合も、高い精度で測距を行うことは困難である。一方で、測距精度を良くするために露光量の同じ２枚の画像を用いると、広ダイナミックレンジの画像を得ることが困難となる。
そこで、本実施の形態では、広ダイナミックレンジの画像を作成しつつ、高い精度で測距を行うことが可能な撮像装置の技術を提供する。

［１．１ 構成］
図１は、本開示の第１の実施の形態に係る撮像装置の一構成例を示している。

本実施の形態に係る撮像装置は、第１の撮像部１１と、第２の撮像部１２と、第１のＡＤ（アナログデジタル）回路２１と、第２のＡＤ回路２２と、第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０と、露光量制御部５０とを備えている。

第１の撮像部１１は、第１の撮像素子１１Ａを有している。第２の撮像部１２は、第２の撮像素子１２Ａを有している。第１の撮像素子１１Ａと第２の撮像素子１２Ａは、互いに異なる位置に配置されている。これにより、第１の撮像素子１１Ａで撮影される画像と第２の撮像素子１２Ａで撮影される画像は、互いに視差を有した状態となる。

第１の信号処理部３１は、図２に示したように、複数の画像選択部７１，７２，７３と、複数の画像バッファ７４，７５，７６と、広ダイナミックレンジ画像生成部７７とを有している。

第２の信号処理部３２は、図３に示したように、複数の画像選択部８１，８２，８３と、複数の画像バッファ８４，８５，８６と、広ダイナミックレンジ画像生成部８７とを有している。

特徴量算出部４０は、図４に示したように、画像選択部４１と、複数の画像バッファ４２，４３と、距離情報算出部４４とを有している。

［１．２ 動作］
第１の撮像部１１は、複数枚の画像を順次、撮影する。第１の撮像部１１で撮影された複数枚の画像は、第１のＡＤ回路２１でそれぞれデジタル信号に変換されて第１の信号処理部３１に入力される。第１の信号処理部３１は、複数枚の画像を合成してダイナミックレンジの拡大された第１の合成画像を出力する。

同様に、第２の撮像部１２は、複数枚の画像を順次、撮影する。第２の撮像部１２で撮影された複数枚の画像は、第２のＡＤ回路２２でそれぞれデジタル信号に変換されて第２の信号処理部３２に入力される。第２の信号処理部３２は、複数枚の画像を合成してダイナミックレンジの拡大された第２の合成画像を出力する。

また、第１の撮像部１１で撮影された複数枚の画像のうちの１枚の画像（第１の画像）と第２の撮像部１２で撮影された複数枚の画像のうちの１枚の画像（第２の画像）とに基づいて、特徴量算出部４０で特徴量情報として距離情報が計算される。

露光量制御部５０は、第１の撮像部１１と第２の撮像部１２とに対して露光量や露光タイミングの制御を行う。また、露光量制御部５０は、第１の信号処理部３１と第２の信号処理部３２と特徴量算出部４０とに対して画像選択の制御を実施する。

第１の信号処理部３１には、第１のＡＤ回路２１を介して第１の撮像部１１から、図２に示したように、例えばそれぞれ露光量ａ１，ａ２，ａ３で撮影された３枚の画像ｐ１，ｐ２，ｐ３が入力される。第１の信号処理部３１では、露光量制御部５０より通知される画像選択情報を元に広ダイナミックレンジ合成に使用する画像を選択する。本実施の形態では、例えば３枚の画像ｐ１，ｐ２，ｐ３を使用して広ダイナミックレンジ合成を行い、第１の合成画像として出力する。

第２の信号処理部３２には、第２のＡＤ回路２２を介して第２の撮像部１２から、図３に示したように、例えばそれぞれ露光量ｂ１，ｂ２，ｂ３で撮影された３枚の画像ｑ１，ｑ２，ｑ３が入力される。第２の信号処理部３２では、露光量制御部５０より通知される画像選択情報を元に広ダイナミックレンジ合成に使用する画像を選択する。本実施の形態では、例えば３枚の画像ｑ１，ｑ２，ｑ３を使用して広ダイナミックレンジ合成を行い、第２の合成画像を出力する。

特徴量算出部４０では、露光量制御部５０より通知される画像選択情報を元に被写体の特徴量の算出に使用する画像を選択する。本実施の形態では、露光量制御部５０によって例えば画像ｐ１の露光量ａ１と画像ｑ１の露光量ｂ１とが略同じになるように制御される。特徴量算出部４０は、例えば第１の撮像部１１で撮影された３枚の画像ｐ１，ｐ２，ｐ３と第２の撮像部１２で撮影された３枚の画像ｑ１，ｑ２，ｑ３とのうち、露光量が略同じにされた２枚の画像ｐ１，ｑ１に基づいて、被写体の特徴量情報として距離情報を算出する。

露光量制御部５０は、露光量ａ１，ａ２，ａ３と露光量ｂ１，ｂ２，ｂ３とを決める制御部になる。

図５は、露光量制御部５０による露光量制御の一例を示している。図６は、露光量制御部５０による第１の露光量制御処理の一例を示している。図７は、露光量制御部５０による第２の露光量制御処理の一例を示している。

露光量制御部５０は、第１の露光量制御処理（ステップＳ１０１）と第２の露光量制御処理（ステップＳ１０２）とを行う。第１の露光量制御処理は、特徴量算出部４０による特徴量の算出に用いられる画像の露光量の制御に関する。露光量制御部５０は、第１の露光量制御処理によって、例えば、画像ｐ１の露光量ａ１と画像ｑ１の露光量ｂ１とを決める。第２の露光量制御処理は、残りの画像の露光量の制御に関する。露光量制御部５０は、第２の露光量制御処理によって、例えば、画像ｐ２，ｐ３の露光量ａ２，ａ３と画像ｑ２，ｑ３の露光量ｂ２，ｂ３とを決める。なお、第１の露光量制御処理（ステップＳ１０１）と第２の露光量制御処理（ステップＳ１０２）は同時に行ってもよいし、処理の順番を逆にしてもよい。

露光量制御部５０は、例えば、第１の露光量制御処理として、まず、画像ｐ１の検波値と画像ｑ１の検波値とから合成輝度値を求める処理を行う（ステップＳ１１１）。次に、露光量制御部５０は、合成輝度値が目標値となるように露光量ａ１，ｂ１を求める（ステップＳ１１２）。

露光量制御部５０は、例えば、第２の露光量制御処理として、まず、画像ｐ２，ｐ３と画像ｑ２，ｑ３とのそれぞれの輝度値を計算する（ステップＳ１２１）。次に、露光量制御部５０は、それぞれの画像の輝度値が目標値となるように露光量ａ２，ａ３と露光量ｂ２，ｂ３とを求める（ステップＳ１２２）。

図８は、第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの一例を示している。図８には、第１の撮像部１１と第２の撮像部１２とのそれぞれにおけるシャッタタイミングと画像の読み出しタイミング（リードタイミング）とを示す。露光量制御部５０は、露光量ａ１，ａ２，ａ３のいずれかが、露光量ｂ１，ｂ２，ｂ３のいずれかと略同じになるように決める機能を有する。特に、ａ１＝ｂ１となるように、つまり、第１の撮像部１１と第２の撮像部１２とで露光量の略同じ画像を最初に露光するように露光タイミングも合わせることが望ましい。これにより、正確な特徴量のデータを得ることできる。ただし、露光量制御部５０は、必ずしも完全に露光量ａ１と露光量ｂ１とを同じに制御する必要はなく、精度の高い特徴量の算出が可能となる程度に、露光量ａ１と露光量ｂ１との差を減少させるように制御を行えばよい。同様に、露光量制御部５０は、必ずしも完全に画像ｐ１の露光タイミングと画像ｑ１の露光タイミングとを同じに制御する必要はなく、精度の高い特徴量の算出が可能となる程度に、画像ｐ１，ｑ１の露光タイミングの差を減少させるように制御を行えばよい。

また、露光量制御部５０において、露光量ａ１と露光量ｂ１とを決める際、後述するように目標値の差が一番小さくなるｉとｊの組を選択すると広ダイナミックレンジ合成される画像に対する影響が最小になる。露光量制御部５０は、露光時間の長いものから撮像しなければいけないなど、第１の撮像部１１と第２の撮像部１２とにデバイスとしての制約があり、ａ１＝ｂ１にできない場合は、デバイスの制約の範囲内で、ａ１＝ｂ２，ａ２＝ｂ３などとなるように露光量を求める機能を有する。露光量を求める手順としては、輝度値が目標値になるように露光量を制御する。

以上で述べた露光量制御部５０による露光量の制御の概略を実行順に記載すると下記のようになる。
（１）目標値の差が最小となる組を求める。
露光量制御部５０は、目標値｜Ｅvref＿ａｉ−Ｅvref＿ｂｊ｜が最小となるｉとｊの組を求める。ここで、Ｅvref＿ａｉは、ａｉ（ｉ＝１〜３）の露光量を決めるための目標値を表し、Ｅvref＿ｂｉは、ｂｉ（ｉ＝１〜３）の露光量を決めるための目標値を表す。

（２）目標値の差が最小となる組が最初の露光になるようにＥvref値を組み替える。
露光量制御部５０は、求められた目標値の差が最小になるＥvref値をそれぞれ、Ｅvref＿ａ１，Ｅvref＿ｂ１と置き換える。ただし、デバイスの制約等によって、露光量がａ１＞ａ２＞ａ３とならなければいけないなどのため、組み換えができない場合は、組み換えを実施しない。
Ｅvref＿ａ１←Ｅvref＿ａｉ（（１）で求められた値Ｅvref＿ａｉをＥvref＿ａ１とする）
Ｅvref＿ａｉ←Ｅvref＿ａ１（Ｅvref＿ａｉはＥvref＿ａ１になったので、元々のＥvref＿ａ１をＥvref＿ａｉとする）
Ｅvref＿ｂ１←Ｅvref＿ｂｊ（（１）で求められた値Ｅvref＿ｂｊをＥvref＿ｂ１とする）
Ｅvref＿ｂｊ←Ｅvref＿ｂ１（Ｅvref＿ｂｊはＥvref＿ｂ１になったので、元々のＥvref＿ｂ１をＥvref＿ｂｊとする）

（３）合成目標値を決める。
露光量制御部５０は、Ｅvref＿ａ１，Ｅvref＿ｂ１から合成目標値Ｅvref＿ｃｏｍを決める。決め方は、２つの平均を用いる方法や、どちらか一方を合成目標値とする方法がある。

露光量制御部５０は、ａ１＝ｂ１というように露光量を合わせたい場合は、画像ｐ１と画像ｑ１との検波値を用いて下記ｇ（ｘ，ｙ）を計算することで合成された輝度値を求め、これが合成目標値Ｅvref＿ｃｏｍとなるように露光量を計算する。露光量制御部５０は、求められた露光量をａ１とｂ１とに適用することより、ａ１とｂ１とが略同一の露光量になるようにする。

一方、ａ２，ａ３およびｂ２，ｂ３は、各々独立に下記ｆ（ｘ）のように検波値の平均から輝度値を計算して、これが目標値になるようにそれぞれ独立して露光量を計算する。

図９は、輝度値の算出に用いる検波枠の一例を示している。図９に示すように、例えば画像ｐ１の各画素をＮ個（ｓ行、ｔ列）の複数の領域に分割したときに、領域（検波枠）ｉに含まれる輝度値の合計をｘ_p1、_jとする。また、領域ｉに含まれる画素数をｙ_p1、_jとする。

画像ｐ１の平均輝度値ｆ（ｐ１）は下記の式（１）で求められる。

画像ｐ１の検波値と画像ｑ１の検波値とから、合成輝度値ｇ（ｐ１，ｑ１）は下記の（Ａ）〜（Ｅ）ように求められる。

（Ａ）画像ｐ１の輝度値と画像ｑ１の輝度値との平均を合成輝度値とする場合

（Ｂ）画像ｐ１の輝度値と画像ｑ１の輝度値とをそれぞれ求めて、大きい方を合成輝度値とする場合

（Ｃ）検波枠毎に、画像ｐ１の輝度値と画像ｑ１の輝度値との平均の大きい方を加算し、その合計を合成輝度値とする場合

（Ｄ）画像ｐ１の輝度値と画像ｑ１の輝度値とをそれぞれ求めて、小さい方を合成輝度値とする場合

（Ｅ）検波枠毎に、画像ｐ１の輝度値と画像ｑ１の輝度値との平均の小さい方を加算し、その合計を合成輝度値とする場合

以上のように求めた露光量に基づいてシャッタ速度およびゲインを求めて第１の撮像部１１と第２の撮像部１２とで撮影を行う。露光量からシャッタ速度およびゲインへの換算方法は従来から良く用いられているテーブルから決める方法でも良いし、他の方法でも良い。

（露光量と露光タイミングの制御のバリエーション）
図１０ないし図１４は、第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第１ないし第５の例を示している。

露光量制御部５０は、図１０に示したように、例えば第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３および露光タイミングと、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３および露光タイミングとを略同一となるように制御してもよい。また、露光量制御部５０は、ダイナミックレンジの拡大された第１の合成画像を生成するために、露光量ａ１，ａ２，ａ３が互いに異なるように制御してもよい。この場合、露光量制御部５０は、露光量がａ１＜ａ２＜ａ３となるように制御してもよい。同様に、露光量制御部５０は、ダイナミックレンジの拡大された第２の合成画像を生成するために、露光量ｂ１，ｂ２，ｂ３が互いに異なるように制御してもよい。この場合、露光量制御部５０は、露光量がｂ１＜ｂ２＜ｂ３となるように制御してもよい。

露光量制御部５０は、図１１に示したように、例えば第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３および露光タイミングと、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３および露光タイミングとを、互いに異なるように制御してもよい。ただし、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば露光量ａ１と露光量ｂ１との差を減少させることが望ましい。

露光量制御部５０は、図１２に示したように、第１の撮像部１１で撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３がａ１＜ａ２＜ａ３となるように制御してもよい。すなわち、露光量が順次、増加するように制御してもよい。一方、第２の撮像部１２で撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３がｂ１＞ｂ２＞ｂ３となるように制御してもよい。すなわち、露光量が順次、減少するように制御してもよい。この場合、互いの１番目の露光量ａ１と露光量ｂ１とが一番露光量の差が大きくなってしまい、特徴量の算出には適さなくなる。このため、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば第１の撮像部１１における１番目の露光量ａ１と第２の撮像部１２における２番目の露光量ｂ２との差を減少させるように制御してもよい。また、露光量制御部５０は、特徴量の算出が可能となる程度に、例えば第１の撮像部１１における第２の撮像部１２における２番目の露光量ａ２と３番目の露光量ｂ３との差を減少させるように制御してもよい。

以上の説明では、第１の撮像部１１によって３枚の画像ｐ１，ｐ２，ｐ３を順次、撮影すると共に、第２の撮像部１２によって３枚の画像ｑ１，ｑ２，ｑ３を順次、撮影する場合を例にしたが、各撮像部で撮影する画像の枚数はこの例に限らない。また、第１の撮像部１１と第２の撮像部１２とで異なる枚数の画像を撮影してもよい。

例えば、図１３に示したように、第１の撮像部１１では３枚の画像ｐ１，ｐ２，ｐ３を撮影し、第２の撮像部１２では２枚の画像ｑ１，ｑ２を撮影するようにしてもよい。

また、例えば図１４に示したように、第１の撮像部１１では３枚の画像ｐ１，ｐ２，ｐ３を撮影し、第２の撮像部１２では１枚の画像ｑ１を撮影するようにしてもよい。ただし、この場合、第２の撮像部１２による撮影画像からは広ダイナミックレンジの画像を得ることはできない。

［１．３ 効果］
以上のように、本実施の形態によれば、第１の撮像部１１で撮影された例えば画像ｐ１の露光量ａ１と、第２の撮像部１２で撮影された画像ｑ１の露光量ｂ１との差を減少させるようにしたので、広ダイナミックレンジの画像を作成しつつ、高い精度で被写体の特徴量を算出することができる。

本実施の形態によれば、第１の撮像部１１と第２の撮像部１２とで異なる露出設定を行っている場合においても、同時刻のフレームの画像を用いて、広ダイナミックレンジの画像を作成でき、測距も正確に実施することができる。従来技術では、ゲインによるノイズや非線形処理の影響で精度が落ちることが考えられるが、本技術では精度の低下は抑制される。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図１５は、第２の実施の形態に係る撮像装置の一構成例を示している。
本実施の形態に係る撮像装置は、上記図１の撮像装置の構成例における第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０とを、１つの信号処理部３０で構成している。

本実施の形態では、信号処理部３０が、第１の合成画像と第２の合成画像とに基づいて特徴量を算出してもよい。この場合、露光量制御部５０は、例えば図１０に示したように、第１の撮像部１１によって撮影された複数枚の画像の露光量および露光タイミングと、第２の撮像部１２によって撮影された複数枚の画像の露光量および露光タイミングとを互いに同期させることが望ましい。

その他の構成および動作、ならびに効果は、上記第１の実施の形態に係る撮像装置と略同様であってもよい。

＜３．第３の実施の形態＞
次に、本開示の第３の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１または第２の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図１６は、第３の実施の形態に係る撮像装置の一構成例を示している。
本実施の形態に係る撮像装置は、上記図１の撮像装置の構成例における第１の信号処理部３１と、第２の信号処理部３２と、特徴量算出部４０と、露光量制御部５０とを、１つの信号処理部３０Ａで構成している。

その他の構成および動作、ならびに効果は、上記第１または第２の実施の形態に係る撮像装置と略同様であってもよい。

＜４．第４の実施の形態＞
次に、本開示の第４の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１、第２または第３の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図１７は、第４の実施の形態に係る撮像装置の一構成例を示している。
本実施の形態に係る撮像装置は、上記図１６の撮像装置の構成例における第１および第２の撮像部１１，１２と、第１および第２のＡＤ回路２１，２２とをＮ（＝３以上の整数）個にまで拡張した構成例となっている。

本実施の形態に係る撮像装置は、第Ｎの撮像素子１ＮＡを含む第Ｎの撮像部１Ｎと、第ＮのＡＤ回路２Ｎとをさらに備えている。信号処理部３０Ａは、Ｎ個の合成画像を出力する。

その他の構成および動作、ならびに効果は、上記第１、第２または第３の実施の形態に係る撮像装置と略同様であってもよい。

＜５．第５の実施の形態＞
次に、本開示の第５の実施の形態について説明する。なお、以下では、上記第１ないし第４の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図１８は、第５の実施の形態に係る撮像装置を用いた解析システムの一構成例を示している。

本実施の形態に係る解析システムは、上記図１の撮像装置に対し、解析部６０と、各種センサとをさらに備えている。解析部６０には、撮像装置からの第１の合成画像、第２の合成画像、および特徴量情報と、各種センサからのセンサ情報とが入力される。

本実施の形態に係る解析システムは、撮影モードとして、広ダイナミックレンジ（ＷＤ）合成を行うための撮影モード（ＷＤモード）と、ＬＥＤ（light emitting diode:）フリッカ対策のための撮影モード（ＬＥＤフリッカモード）とを有している。解析部６０は、撮影モードに応じて露光量制御部５０による露光量制御を行う。

各種センサは、例えば、ＧＰＳ（Global Positioning System）６１と、ミリ波レーダ６２と、超音波センサ６３と、照度センサ６４と、加速度センサ６５とを含んでいる。図２１には、車両への各種センサの搭載例を示すが、各種センサの搭載位置や搭載する数は図示した例に限定されるものではない。

図１９は、図１８に示した解析システムにおける解析部６０の処理の一例を示している。解析部６０では、まず、ＬＥＤフリッカの有無を検出する（ステップＳ２０１）。ＬＥＤフリッカが検出された場合（ステップＳ２０１：Ｙ）には、解析部６０は、ＬＥＤフリッカモードへ遷移する（ステップＳ２０２）。ＬＥＤフリッカが検出されなかった場合（ステップＳ２０１：Ｎ）には、解析部６０は、ＷＤモードへ遷移する（ステップＳ２０３）。解析部６０では、撮影モードに応じて露光量制御部５０による露光量制御を行う（ステップＳ２０４）。

図２２は、ＬＥＤフリッカ対策を行う場合の第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第１の例を示している。ＬＥＤフリッカモードでは、ＬＥＤフリッカ現象を抑制するために第１の撮像部１１によって撮影された画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３をそれぞれ略同一にすることが望ましい。同様に、ＬＥＤフリッカモードでは、ＬＥＤフリッカ現象を抑制するために第２の撮像部１２によって撮影された画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３をそれぞれ略同一にすることが望ましい。第１の信号処理部３１は、略同じ露光量の複数枚の画像ｐ１，ｐ２，ｐ３を合成してフリッカ現象の抑制された第１の合成画像を生成することができる。同様に、第２の信号処理部３２は、略同じ露光量の複数枚の画像ｑ１，ｑ２，ｑ３を合成してフリッカ現象の抑制された第２の合成画像を生成することができる。

図２３は、ＬＥＤフリッカ対策を行う場合の第１の撮像部１１と第２の撮像部１２とのそれぞれにおける露光量と露光タイミングとの第２の例を示している。図２２では、第１の撮像部１１と第２の撮像部１２との双方をＬＥＤフリッカモードにする例を示したが、露光量制御部５０は、解析部６０の解析結果に基づいて、いずれか一方をＬＥＤフリッカモードとし、他方をＷＤモードにするような露光量制御を行うようにしてもよい。例えば、露光量制御部５０は、第１の撮像部１１をＬＥＤフリッカモードとし、第２の撮像部１２をＷＤモードにするような露光量制御を行うようにしてもよい。この場合、例えば図２３に示したように、ＬＥＤフリッカ現象を抑制するために第１の撮像部１１によって撮影される画像ｐ１，ｐ２，ｐ３の露光量ａ１，ａ２，ａ３をそれぞれ略同一にしてもよい。一方、ダイナミックレンジの拡大された第２の合成画像を生成するために、第２の撮像部１２によって撮影される画像ｑ１，ｑ２，ｑ３の露光量ｂ１，ｂ２，ｂ３を互いに異ならせてもよい。また、この場合、露光量制御部５０は、特徴量の算出が可能となる程度に、露光量ａ１，ａ２，ａ３のいずれかが、露光量ｂ１，ｂ２，ｂ３のいずれかと略同じになるように露光量制御を行うことが望ましい。図２３の例では、露光量ａ１と露光量ｂ１とを略同じにした例を示している。

図２０は、図１８に示した解析システムにおけるＬＥＤフリッカ検出処理の手順の一例を示している。

解析部６０は、まず、第１の合成画像と第２の合成画像と特徴量情報とを用いて物体認識を実施する（ステップＳ２１１）。次に、解析部６０は、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１２）。解析部６０は、物体認識を実施した物体の中に、ＬＥＤフリッカ対策を実施したい対象物（例えば信号機、標識、および車のテールランプ等）があればＬＥＤフリッカ対象物があると判断する。解析部６０は、物体認識の結果、ＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１２：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。

解析部６０は、物体認識の結果、ＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１２：Ｎ）には、次に、物体認識の結果と加速度センサ６５とＧＰＳ６０との情報を用いて自己位置推定を実施し（ステップＳ２１３）、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１４）。解析部６０は、自己位置推定の実施結果と予め保持しておいた地図情報とを比較して現在の場所にＬＥＤフリッカ対策を実施したい対象物（信号機や標識等）があるか否かを確認し、あれば、ＬＥＤフリッカ対象物ありとみなす。解析部６０は、自己位置推定の実施結果に基づいてＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１４：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。

解析部６０は、自己位置推定の実施結果に基づいてＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１４：Ｎ）には、次に、ミリ波レーダ６２と超音波センサ６３とを用いて周辺環境推定を実施し（ステップＳ２１５）、ＬＥＤフリッカ対象物があるか否かを判断する（ステップＳ２１６）。解析部６０は、周辺環境推定に基づいて、付近にＬＥＤフリッカ対策を実施したい対象物（車のテールランプ等）があるか否かを判断し、これに照度センサ６４の情報も加味して、特定の照度以下でかつ対象物がある場合、ＬＥＤフリッカ対象物ありとみなす。解析部６０は、周辺環境推定に基づいてＬＥＤフリッカ対象物があると判断した場合（ステップＳ２１６：Ｙ）には、ＬＥＤフリッカを検出したとみなす（ステップＳ２１８）。解析部６０は、周辺環境推定に基づいてＬＥＤフリッカ対象物がないと判断した場合（ステップＳ２１６：Ｎ）には、ＬＥＤフリッカ未検出とする（ステップＳ２１７）。

本実施の形態のように、特徴量算出部４０で算出された特徴量情報は、物体認識（車検出、白線認識、歩行者検出、および信号機検出等）に応用可能である。この場合の物体認識は、第１の撮像部１１および第２の撮像部１２のうちの１つで撮影された画像に基づく特徴量情報であってもよい。また、１つの撮像部で撮影された画像に基づく特徴量情報は、物体追尾などに使用することもできる。また、２つ以上の撮像部で撮影された複数の画像に基づく特徴量情報は、測距や自己位置推定（ＳＬＡＭ）などに用いることができる。

＜６．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることができる。
（１）
第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、
第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、
前記第１の撮像部によって撮影された前記複数枚の画像を合成する信号処理部と、
前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、
前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部との露光量を制御する露光量制御部と
を備えた撮像装置。
（２）
前記露光量制御部は、前記第１の画像の露光タイミングと前記第２の画像の露光タイミングとの差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御する
上記（１）に記載の撮像装置。
（３）
前記第１の画像は、前記複数枚の画像のうち１枚目に撮影された画像である
上記（１）または（２）に記載の撮像装置。
（４）
前記露光量制御部は、前記複数枚の画像の露光量が互いに異なるように前記第１の撮像部を制御し、
前記信号処理部は、前記複数枚の画像を合成してダイナミックレンジの拡大された合成画像を生成する
上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
前記露光量制御部は、前記複数枚の画像の露光量が互いに同一となるように前記第１の撮像部を制御し、
前記信号処理部は、前記複数枚の画像を合成してフリッカ現象の抑制された合成画像を生成する
上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（６）
前記露光量制御部は、フリッカの検出結果に基づいて、前記複数枚の画像の露光量が互いに同一、または互いに異なるように前記第１の撮像部を制御する
上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（７）
前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
前記信号処理部は、前記第１の撮像部によって撮影された前記複数枚の画像を合成して第１の合成画像を生成すると共に、前記第２の撮像部によって撮影された前記複数枚の画像を合成して第２の合成画像を生成する
上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（８）
前記特徴量算出部は、前記第１の合成画像と前記第２の合成画像とに基づいて、前記被写体の特徴量を算出する
上記（７）に記載の撮像装置。
（９）
前記露光量制御部は、前記第１の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングと、前記第２の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングとを互いに同期させる
上記（８）に記載の撮像装置。
（１０）
前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
前記第１の画像は、前記第１の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像であり、
前記第２の画像は、前記第２の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像である
上記（１）ないし（９）のいずれか１つに記載の撮像装置。
（１１）
前記第１の画像と前記第２の画像は互いに視差のある画像であり、
前記特徴量算出部は、前記第１の画像と前記第２の画像との間の視差に基づいて、被写体の距離を算出する、
上記（１）ないし（１０）のいずれか１つに記載の撮像装置。
（１２）
前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とから算出された合成輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１３）
前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか一方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１４）
前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか大きい方または小さい方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
上記（１３）に記載の撮像装置。
（１５）
前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値との平均輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１６）
前記露光量制御部は、前記第１の画像と前記第２の画像とをそれぞれ複数の領域に分割し、前記第１の画像における前記分割された領域ごとの平均輝度値と前記第２の画像における前記分割された領域ごとの平均輝度値とを算出した結果に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１７）
第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、
第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、
前記第１の撮像部によって撮影された前記複数枚の画像を合成することと、
前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出することと、
前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御することと
を含む撮像方法。

１１…第１の撮像部、１１Ａ…第１の撮像素子、１２…第２の撮像部、１２Ａ…第２の撮像素子、１Ｎ…第Ｎの撮像部、１ＮＡ…第Ｎの撮像素子、２１…第１のＡＤ回路、２２…第２のＡＤ回路、２Ｎ…第ＮのＡＤ回路、３０，３０Ａ…信号処理部、３１…第１の信号処理部、３２…第２の信号処理部、４０…特徴量算出部、４１…画像選択部、４２…画像バッファ、４３…画像バッファ、４４…距離情報算出部、５０…露光量制御部、６０…解析部、６１…ＧＰＳ、６２…ミリ波レーダ、６３…超音波センサ、６４…照度センサ、６５…加速度センサ、７１…画像選択部、７２…画像選択部、７３…画像選択部、７４…画像バッファ、７５…画像バッファ、７６…画像バッファ、７７…広ダイナミックレンジ画像生成部、８１…画像選択部、８２…画像選択部、８３…画像選択部、８４…画像バッファ、８５…画像バッファ、８６…画像バッファ、８７…広ダイナミックレンジ画像生成部、ｐ１，ｐ２，ｐ３…画像、ｑ１，ｑ２，ｑ３…画像。

Claims (17)

1. 第１の画像を含む複数枚の画像を順次、撮影する第１の撮像部と、
   第２の画像を含む少なくとも１枚の画像を撮影する第２の撮像部と、
   前記第１の撮像部によって撮影された前記複数枚の画像を合成する信号処理部と、
   前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出する特徴量算出部と、
   前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部との露光量を制御する露光量制御部と
   を備えた撮像装置。
2. 前記露光量制御部は、前記第１の画像の露光タイミングと前記第２の画像の露光タイミングとの差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御する
   請求項１に記載の撮像装置。
3. 前記第１の画像は、前記複数枚の画像のうち１枚目に撮影された画像である
   請求項１に記載の撮像装置。
4. 前記露光量制御部は、前記複数枚の画像の露光量が互いに異なるように前記第１の撮像部を制御し、
   前記信号処理部は、前記複数枚の画像を合成してダイナミックレンジの拡大された合成画像を生成する
   請求項１に記載の撮像装置。
5. 前記露光量制御部は、前記複数枚の画像の露光量が互いに同一となるように前記第１の撮像部を制御し、
   前記信号処理部は、前記複数枚の画像を合成してフリッカ現象の抑制された合成画像を生成する
   請求項１に記載の撮像装置。
6. 前記露光量制御部は、フリッカの検出結果に基づいて、前記複数枚の画像の露光量が互いに同一、または互いに異なるように前記第１の撮像部を制御する
   請求項１に記載の撮像装置。
7. 前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
   前記信号処理部は、前記第１の撮像部によって撮影された前記複数枚の画像を合成して第１の合成画像を生成すると共に、前記第２の撮像部によって撮影された前記複数枚の画像を合成して第２の合成画像を生成する
   請求項１に記載の撮像装置。
8. 前記特徴量算出部は、前記第１の合成画像と前記第２の合成画像とに基づいて、前記被写体の特徴量を算出する
   請求項７に記載の撮像装置。
9. 前記露光量制御部は、前記第１の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングと、前記第２の撮像部によって撮影された前記複数枚の画像の露光量および露光タイミングとを互いに同期させる
   請求項８に記載の撮像装置。
10. 前記第２の撮像部は、前記第２の画像を含む複数枚の画像を順次、撮影し、
    前記第１の画像は、前記第１の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像であり、
    前記第２の画像は、前記第２の撮像部で撮影された前記複数枚の画像のうち１枚目に撮影された画像である
    請求項１に記載の撮像装置。
11. 前記第１の画像と前記第２の画像は互いに視差のある画像であり、
    前記特徴量算出部は、前記第１の画像と前記第２の画像との間の視差に基づいて、被写体の距離を算出する、
    請求項１に記載の撮像装置。
12. 前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とから算出された合成輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    請求項１に記載の撮像装置。
13. 前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか一方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    請求項１に記載の撮像装置。
14. 前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値とのいずれか大きい方または小さい方の輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    請求項１３に記載の撮像装置。
15. 前記露光量制御部は、前記第１の画像の輝度値と前記第２の画像の輝度値との平均輝度値に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    請求項１に記載の撮像装置。
16. 前記露光量制御部は、前記第１の画像と前記第２の画像とをそれぞれ複数の領域に分割し、前記第１の画像における前記分割された領域ごとの平均輝度値と前記第２の画像における前記分割された領域ごとの平均輝度値とを算出した結果に基づいて、前記第１の撮像部と前記第２の撮像部との露光量を制御する
    請求項１に記載の撮像装置。
17. 第１の画像を含む複数枚の画像を第１の撮像部によって順次、撮影することと、
    第２の画像を含む少なくとも１枚の画像を第２の撮像部によって撮影することと、
    前記第１の撮像部によって撮影された前記複数枚の画像を合成することと、
    前記第１の画像と前記第２の画像とに基づいて、被写体の特徴量を算出することと、
    前記第１の画像の露光量と前記第２の画像の露光量との差を減少させるように前記第１の撮像部と前記第２の撮像部とを制御することと
    を含む撮像方法。

Images