JP7147562B2 - 測光装置、測光方法、プログラムおよび撮像装置 - Google Patents

Description

この技術は、測光装置、測光方法、プログラムおよび撮像装置に関し、所望の被写体領域の測光値を精度よく取得できるようにする。

従来、撮像装置では、複数の焦点検出領域のそれぞれで算出されたデフォーカス量に基づき、焦点検出領域に対応する位置の測光センサで得られた測光値に対する重み付けを行い、重み付け後の測光値に基づいて露出制御が行われている。例えば、特許文献１では、焦点検出エリアに対応する位置に配置された第１の測光エリアおよび所定範囲内にある第２の測光エリアの重み付け係数を、対応する焦点検出エリアのデフォーカス量に応じて決定する。また、第１および第２の測光エリア以外の第３の測光エリアの重み付け係数を、第１および第２の測光エリアの重み付け係数以下の値に決定し、重み付け係数と測光値とで重み付け演算を行って得られた測光値を用いて、露出制御を行うことが記載されている。

特開２０１１－０５３３７８号公報

ところで、特許文献１のように、焦点検出エリアのデフォーカス量に応じて重み付けを行う場合、合焦位置によっては最適な露出制御を行うことができないおそれがある。例えば、逆光などの状態で所望の被写体を撮像した場合、焦点検出としてコントラスト法が用いられて所望の被写体と背景との境界に焦点が合った状態となると、所望の被写体と背景の測光値の重みが高くされて、所望の被写体に応じた最適な露出制御を行うことができない。

そこで、この技術では所望の被写体領域の測光値を精度よく取得できる測光装置と測光方法とプログラムおよび撮像装置を提供することを目的とする。

この技術の第１の側面は、
測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と
を備える測光装置にある。

この技術において、被写体領域判別部は、測距領域毎の測距情報または所望の被写体を含む撮像画の被写体認識結果に基づき所望の被写体領域例えば所望の１または複数の被写体を示す被写体領域を判別する。例えば、被写体領域判別部は、測距情報に基づき判別した合焦状態の１または複数の領域を所望の被写体領域と判別する。

被写体測光領域設定部は、画像信号処理によって所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を被写体測光領域に設定する。例えば被写体領域のクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで所望の被写体領域を包括する。または、画像信号処理では、被写体領域でない非被写体領域において、周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする。または、画像信号処理では、所定方向における被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域とする。

測光値算出部は、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値を算出する。また、測光値算出部は、被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けや、周辺の測光領域が全て被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする重み付けを行ってもよい。また、測光値算出部は、合焦状態とする測距領域が指定されている場合に指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付け、所望の被写体を含む撮像画の被写体認識結果に基づき、被写体測光領域の測光値に対して、所望の被写体の特徴部分の重みを高くする重み付け、例えば顔領域を判別して顔の特徴部分の重みを高くする重み付け等を行ってもよい。測光値算出部は、重み付け後の測光値を用いて所望の被写体領域の測光値を算出する。

この技術の第２の側面は、
測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出すること
を含む測光方法にある。

この技術の第３の側面は、
測光値の算出をコンピュータで実行させるプログラムであって、
測距情報に基づき所望の被写体領域を判別する手順と、
前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する手順と、
設定された前記被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する手順と
を前記コンピュータで実行させるプログラム。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
測光領域毎に測光結果を示す測光情報を生成する測光部と、
測距領域毎に測距結果を示す測距情報を生成する測距部と、
前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部と
を備える撮像装置。

この技術によれば、測距情報に基づき所望の被写体領域が被写体領域判別部で判別されて、判別した所望の被写体領域の画像信号処理を行い、被写体測光領域が被写体測光領域設定部で設定される。また、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値が測光値算出部で算出される。したがって、所望の被写体領域の測光値を精度よく取得できるようになり、測光値算出部で算出され測光値を用いて所望の被写体に応じた最適な露出制御を行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

測光装置の構成を例示した図である。 測光領域と測距領域を例示した図である。 領域判定画像を示す図である。 クラスタリング処理を説明するための図である。 被写体領域非対応画素から被写体領域対応画素への置換処理を説明するための図である。 被写体領域非対応画素から被写体領域対応画素への他の置換処理を説明するための図である。 全測光領域に対する重みを例示した図である。 測距領域が指定された場合の重みを例示した図である。 測光装置の動作を示すフローチャートである。 測光装置の他の動作を示すフローチャートである。 撮像装置の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 撮像装置の他の構成を例示した図である。 撮像装置の他の動作を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．測光装置の構成
２．測光装置の動作
３．撮像装置の構成
４．撮像装置の動作
５．撮像装置の他の構成と動作
６．応用例
６－１．移動体制御システムへの応用例
６－２．内視鏡手術システムへの応用例

＜１．測光装置の構成＞
図１は、本技術の測光装置の構成を例示している。測光装置１０は、被写体領域判別部１１と被写体測光領域設定部１２および測光値算出部１３を有している。

被写体領域判別部１１は、測距領域毎の測距情報に基づき所望の被写体領域を判別する。被写体領域判別部１１は、測距センサで測距を行うことにより得られた測距領域毎の測距情報に基づき、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別して、判別結果を被写体測光領域設定部１２へ出力する。

被写体測光領域設定部１２は、被写体領域の判別結果を用いて画像信号処理を行い、所望の被写体領域を包括して、包括後の被写体領域に応じて被写体測光領域を設定する。被写体測光領域設定部１２は、画像信号処理例えばクラスタリング処理によって、全測距領域を所望の被写体領域と判別された測距領域の集合とその他の測距領域の集合に分割する。また、被写体測光領域設定部１２は、全画面において輝度を示す測光情報が得られる複数の測光領域（例えばスルー画から測光値を検出する複数の領域）を、クラスタリング処理によって、所望の被写体領域と判別された測距領域に対応する測光領域の集合とその他の測光領域の集合に分割してもよい。被写体測光領域設定部１２は、所望の被写体領域と判別された測距領域の集合に対応する測光領域の集合、または所望の被写体領域と判別された測距領域に対応する測光領域の集合を、所望の被写体に対応する測光領域である被写体測光領域に設定する。すなわち、被写体測光領域設定部１２は、画像信号処理で所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とする。被写体測光領域設定部１２は、被写体測光領域の設定結果を測光値算出部１３へ出力する。

測光値算出部１３は、全測光領域の測光情報（測光値）が入力されており、被写体測光領域設定部１２で設定された被写体測光領域の測光情報（測光値）を用いて所望の被写体領域の測光値、例えば合焦状態である被写体の被写体測光値を算出する。

＜２．測光装置の動作＞
図２は測光領域と測距領域を例示している。測光領域は、図２の（ａ）に示すように、全画面を複数領域に分割して、分割後の領域が個々に測光領域とされている。測距領域は、図２の（ｂ）に示すように、斜線のハッチングで示す測距領域が分散して複数設けられている。なお、説明を簡単とするため、測距領域は測光領域と等しいサイズで、何れかの測光領域と位置が一致しているとする。

被写体領域判別部１１は、測距センサで生成された測距領域毎の測距情報に基づき、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別する。

被写体測光領域設定部１２は、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域を設定する。なお、クラスタリング処理の動作の理解を容易とするため、例えば図３に示すように各測光領域を画素とした領域判定画像を用いて説明を行う。また、図３において、黒色画素は、被写体領域と判別されている領域に対応する画素（以下「被写体領域対応画素」という）であることを示している。

図４はクラスタリング処理を説明するための図である。被写体測光領域設定部１２は、クラスタリング処理として被写体領域のクロージング処理を行う。具体的には膨張処理と収縮処理を同じ回数繰り返して、膨張処理を行った後に縮小処理を行うことで、被写体領域を示す画素の集合とその他の画素の集合に分割する。図４の（ａ）はクラスタリング処理前の領域判定画像を示している。図４の（ｂ）は領域判定画像に対して膨張処理が行われた画像を示しており、図４の（ｃ）は膨張処理後の領域判定画像に対して収縮処理が行われた画像を示している。被写体測光領域設定部１２は、このようにクロージング処理を行うことで被写体領域対応画素が連続した領域を生成して、被写体領域対応画素が連続した領域に対応する測光領域を被写体測光領域として設定する。すなわち、被写体測光領域設定部１２は、図４の（ｃ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。

また、被写体測光領域設定部１２は、クロージング処理と異なる画像信号処理によって、被写体測光領域を設定してもよい。例えば被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域とする。なお、領域判定画像において、被写体領域対応画素でない画素を被写体領域非対応画素とする。

図５は、被写体領域非対応画素から被写体領域対応画素への置換処理を説明するための図である。被写体測光領域設定部１２は、被写体領域非対応画素の周囲に位置している被写体領域対応画素の数を「Ｎ」として、「Ｎ」が閾値Ｔｈａ以上である場合に、被写体領域非対応画素を被写体領域対応画素に置換する。すなわち、被写体測光領域設定部１２は、被写体領域非対応画素の周囲に被写体領域対応画素がどの程度配置されているかに応じて、被写体領域非対応画素を被写体領域対応画素に置換して被写体領域対応画素を連続させる。

図５の（ａ）はクラスタリング処理前の領域判定画像を示している。図５の（ｂ）は「Ｔｈａ＝２」としたクラスタリング処理後の領域判定画像を示している。このようなクラスタリング処理を行うことで被写体領域対応画素が連続した領域を生成できる。また、図５の（ｃ）は「Ｔｈａ＝３」としたクラスタリング処理後の領域判定画像を示している。この場合、４辺に被写体領域対応画素が隣接している被写体領域非対応画素が残っていることから、「Ｔｈａ＝３」としたクラスタリング処理を繰り返す。このように、クラスタリング処理を繰り返すことで、図５の（ｄ）に示すように、４辺に被写体領域対応画素が隣接している被写体領域非対応画素のない領域判定画像を生成できる。被写体測光領域設定部１２は、被写体領域対応画素が連続している領域に対応する測光領域、すなわち図５の（ｂ）や図５の（ｄ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。

さらに、被写体測光領域設定部１２は、所定方向における被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域としてもよい。

図６は、被写体領域非対応画素から被写体領域対応画素への他の置換処理を説明するための図である。被写体測光領域設定部１２は、例えば水平方向および垂直方向のそれぞれについて被写体領域対応画素間に位置する被写体領域非対応画素が閾値Ｔｈｂ以下であるとき、被写体領域非対応画素を被写体領域対応画素に置換する。すなわち、被写体測光領域設定部１２は、被写体領域対応画素に位置する被写体領域非対応画素が所定数以下である場合は被写体領域に含まれると見なして、この被写体領域非対応画素を被写体領域対応画素に置換する。図６の（ａ）はクラスタリング処理前の領域判定画像を示している。図６の（ｂ）は、「Ｔｈｂ＝１」として、被写体領域対応画素で挟まれた被写体領域非対応画素を被写体領域対応画素へ切り替えた場合を示している。また、図６の（ｃ）は、図６の（ｂ）に示す領域判定画像に対して、被写体領域対応画素で挟まれた被写体領域非対応画素を被写体領域対応画素へ切り替えた場合を示しており、被写体領域対応画素で挟まれた被写体領域非対応画素が全て被写体領域対応画素へ切り替えられている。このようなクラスタリング処理を行うことで被写体領域対応画素が連続した領域を生成できる。被写体測光領域設定部１２は、被写体領域対応画素が連続した領域に対応する測光領域、すなわち図６の（ｃ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。

なお、上述のクラスタリング処理の説明では、動作の理解を容易とするために領域判定画像を用いて説明したが、被写体測光領域設定部１２は領域判定画像を用いることなく被写体領域の位置関係に基づき同様な処理を行い、被写体測光領域を設定してもよい。また、上述のように各測光領域を画素として画像ベースでクラスタリング処理を行うようにしてもよい。また、所望の被写体領域を包括して被写体測光領域の設定を行う際に、クロージング処理に限らずオープニング処理を行っても良い。オープニング処理では縮小処理を行った後に膨張処理を行うことから、例えば被写体領域と非被写体領域の境界部分で測距情報の精度が低下している場合や誤りが多く発生する場合、縮小処理を行った後に膨張処理を行うことで、境界部分の誤り等の影響を少なくして被写体測光領域を設定できる。

測光値算出部１３は、被写体測光領域設定部１２で設定された被写体測光領域内の測光領域毎の測光値を用いて所望の被写体の被写体測光値を算出する。被写体測光領域設定部１２は、例えば被写体測光領域内の測光領域毎に算出されている測光値の平均値を所望の被写体の被写体測光値とする。また、被写体測光領域設定部１２は、例えば被写体測光領域内における位置に応じて測光領域の測光値に対して重み付けを行い、重み付け後の測光値の平均値または加算値を所望の被写体の被写体測光値としてもよい。

図７は、全測光領域に対する重みを例示している。測光値算出部１３は、被写体測光領域内における位置に応じて測光領域の測光値に対する重みの設定を行い、周辺の領域が全て被写体測光領域である被写体測光領域は、被写体測光領域でない測光領域に接している被写体測光領域よりも重みを高くする。測光値算出部１３は、例えば、被写体測光領域でない測光領域に対する重みを「０」として、被写体測光領域でない測光領域に接している被写体測光領域に対する重みを「ＷＡ（＞０）」とする。また、測光値算出部１３は、周辺の領域が全て被写体測光領域である被写体測光領域に対する重みを「ＷＢ（＞ＷＡ）」とする。測光値算出部１３は、例えば測光領域毎に測光値と重みを乗算して乗算結果の加算値を重みの合計値で除算することで、所望の被写体の被写体測光値とする。

また、測光領域に対する重み付けは、被写体測光領域内における位置に応じて行う場合に限らず、フォーカス位置の指定操作に応じて行うようにしてもよい。例えば、測距領域が指定されて、指定された測距領域の被写体にフォーカスを合わせる場合、合焦状態とする測距領域（以下「指定測距領域」）に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行ってもよい。

図８は、測距領域が指定された場合の重みを例示している。測光値算出部１３は、被写体測光領域であって、指定測距領域に対応する測光領域を基準とした所定領域範囲の測光値を、他の測光領域の測光値よりも重みを高くする。測光値算出部１３は、例えば、被写体測光領域でない測光領域に対する重みを「０」とする。また、被写体測光領域に対する重みを「ＷＡ（＞０）」とする。さらに、測光値算出部１３は、例えば指定測距領域に対応する測光領域と辺または角が接する測光領域の重みＷＢを「ＷＢ（＞ＷＡ）」とする。このように、指定測距領域に対応する測光領域を基準として重み付けを行えば、測距領域が指定されたことによりフォーカスが合わせられる被写体についての測光値を精度よく算出できるようになる。

さらに、測光領域に対する重み付けは、被写体測光領域内における位置やフォーカス位置の指定操作に応じて行う場合に限らず、所望の被写体を含む撮像画の被写体認識結果に基づき所望の被写体の特徴部分の重みを高くする重み付けを行うようにしてもよい。例えば、撮像画の被写体認識によって検出された人物の顔領域の位置に対応する測距領域について、測光値の重みを高くする重み付けを行うようにすれば、人物の顔に対する測光値を精度よく算出できるようになる。

なお、測距装置は、測距情報を利用したクラスタリング処理によって被写体測光領域を設定できればよく、図２に示すように測光領域よりも測距領域の数が少ない場合に限られない。例えば測光領域と測距領域の数が等しくても、測光領域よりも測距領域の数が多い場合であってもよい。また、測光領域と測距領域のサイズが等しい場合に限らず、サイズが異なっていてもよい。

図９は、測光装置の動作を示すフローチャートである。ステップＳＴ１で測光装置は測距情報と測光情報を取得する。測光装置１０は、測距センサから測距情報および測光センサから測光情報を取得してステップＳＴ２に進む。

ステップＳＴ２で測光装置は測距情報に基づき被写体領域を判別する。測光装置１０は、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別してステップＳＴ３に進む。

ステップＳＴ３で測光装置は被写体測光領域を設定する。測光装置１０は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定してステップＳＴ４に進む。

ステップＳＴ４で測光装置は被写体測光値を算出する。測光装置１０は、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出する。

図１０は、測光装置の他の動作を示すフローチャートであり、測光領域の測光値に対して重み付けを行う場合を示している。

ステップＳＴ１１で測光装置は測距情報と測光情報を取得する。測光装置１０は、測距センサから測距情報および測光センサから測光情報を取得してステップＳＴ１２に進む。

ステップＳＴ１２で測光装置は測距情報に基づき被写体領域を判別する。測光装置１０は、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別してステップＳＴ１３に進む。

ステップＳＴ１３で測光装置は被写体測光領域を設定する。測光装置１０は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定してステップＳＴ１４に進む。

ステップＳＴ１４で測光装置は重み付け処理を行う。測光装置１０は、被写体測光領域内における位置やフォーカス位置、所望の被写体の特徴部分の位置等を基準として、測光領域に重み付けを行いステップＳＴ１５に進む。

ステップＳＴ１５で測光装置は被写体測光値を算出する。測光装置１０は、被写体測光領域の測光値と設定された重みを用いて所望の被写体の被写体測光値を算出する。

このように、本技術の測光装置では、測距情報に基づき判別した被写体領域のクラスタリング処理によって、所望の被写体に対応する測光領域である被写体測光領域が設定されて、被写体測光領域の測光値から所望の被写体の被写体測光値が算出される。したがって、所望の被写体がコントラストの少ない被写体である場合や測距情報が得にくい被写体である場合でも、所望の被写体領域の測光値を算出できるようになる。このため、所望の被写体領域の測光値として被写体と背景の境界領域での測光値が算出されてしまうことがなく、所望の被写体領域に対して露出を正しく合わせることができるようになる。

＜３．撮像装置の構成＞
次に、本技術の測光装置を用いた撮像装置について説明する。図１１は、撮像装置の構成を例示している。撮像装置２０は、撮像光学系２１、撮像部２２、測光部２３、測距部２４、制御部３０、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４を有している。

撮像光学系２１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２１は、制御部３０からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、所望のサイズで被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系２１は、フォーカスレンズやズームレンズ等を通った光束を測光部２３に入力する。さらに、撮像光学系２１には、アイリス（絞り）機構等が設けられて、制御部３０からの制御信号に基づきアイリス機構等を駆動する構成であってもよい。

撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２２は、光電変換を行い被写体光学像に応じた画像信号を生成してカメラ信号処理部４１へ出力する。また、画像信号に基づいて測光を行う構成である場合、撮像部２２は、生成した画像信号を測光部２３へ出力する。さらに、撮像部２２は、制御部３０からの制御信号に基づき露光時間を設定する。

測光部２３は被写体の輝度を検出する。測光部２３は、全画面を複数の測光領域に区分して、測光領域毎の輝度を検出して測光情報を生成する。例えば測光部２３で用いられる測光素子は、撮像部２２による撮像範囲内に複数の測光領域が設定されており、測光部２３は各測光領域で独立して被写体の輝度を検出して、検出結果を示す測光情報（測光値）を生成する。また、測光部２３は撮像部２２で生成された画像信号を用いて測光を行う場合、測光部２３は撮像部２２による撮像範囲内に複数の測光領域を設定して、各測光領域の画像信号に基づき測距領域毎に被写体の輝度を検出して、検出結果を示す測光情報を生成する。測光部２３は生成した測光情報を制御部３０へ出力する。

測距部２４は被写体までの距離を検出する。測距部２４は、全画面内に複数の測距領域を設けて、測距領域の被写体までの距離を検出して、距離検出結果を示す測距情報を生成する。例えば、撮像部２２において、撮像用画素と焦点検出用画素が設けられている像面位相差ＡＦ（オートフォーカス）方式の撮像素子が用いられている場合、焦点検出用画素間で生じた位相差に基づき距離を検出して測距情報を生成する。なお、測距部２４は、ステレオカメラやＴＯＦ（Time Of Flight）カメラ等を用いて被写体までの距離を検出して測距情報をしてもよい。測距部２４は生成した測距情報を制御部３０へ出力する。

制御部３０は、被写体領域判別部３１、被写体測光領域設定部３２、測光値算出部３３、全画面測光値算出部３４、露出制御部３５を有している。

被写体領域判別部３１は、測距部２４で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する。被写体領域判別部３１は、測距領域毎の測距情報に基づき測距値が所望の距離に対して所定範囲内である合焦状態の測距領域を所望の被写体領域と判別して、判別結果を被写体測光領域設定部３２へ出力する。

被写体測光領域設定部３２は、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域を設定する。被写体測光領域設定部３２は、クラスタリング処理によって、例えば測光情報が得られる全測光領域を、所望の被写体領域と判別された測距領域に対応する測光領域の集合とその他の測光領域の集合に分割する。また、被写体測光領域設定部３２は、所望の被写体に対応する測光領域の集合を被写体測光領域に設定して、被写体測光領域の設定結果を測光値算出部３３へ出力する。

測光値算出部３３は、測光部２３で生成された測光情報と被写体測光領域設定部３２における被写体測光領域の設定に基づき、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出する。また、測光値算出部３３は、測光部２３で生成された測光情報と被写体測光領域設定部３２における被写体測光領域の設定結果に基づき、被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出してもよい。さらに、測光値算出部３３は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出してもよい。測光値算出部３３は、算出した被写体測光値を露出制御部３５とカメラ信号処理部４１へ出力する。

全画面測光値算出部３４は、測光部２３で生成された測光情報に基づき、各測光領域の測光値を用いて撮像部２２による撮像範囲全体についての測光値（以下「全画面測光値」という）を算出して露出制御部３５へ出力する。

露出制御部３５は、測光値算出部３３で算出された被写体測光値と全画面測光値算出部３４で算出された全画面測光値に基づき、最適な露出の撮像画を生成できるように制御信号を生成して、撮像光学系２１や撮像部２２，カメラ信号処理部４１等へ出力する。また、露出制御部３５は、ユーザインタフェース部４４からの操作信号に基づき、制御信号を測光モード等に応じて生成する。

カメラ信号処理部４１は、撮像部２２で生成された画像信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正等を行う。また、撮像部２２でカラーモザイクフィルタが用いられている場合にデモザイク処理を行い、１画素が１つの色成分を示す画像信号から１画素が各色成分を示す画像信号、例えば三原色の画像信号を生成する。また、カメラ信号処理部４１は、収差補正や色補正、画像信号を所定の色空間の画像信号例えば三原色信号を輝度信号と色差信号に変換する色空間変換等を行う。さらに、カメラ信号処理部４１は、画像信号を表示部４２に対応する表示解像度や記録部４３に記録する解像度の画像信号に変換する解像度変換等を行い、カメラ信号処理後の画像信号を表示部４２や記録部４３へ出力する。また、カメラ信号処理部４１は、記録部４３に記録する画像信号の符号化処理や記録部４３に記録されている符号化信号の復号化処理を行うようにしてもよい。また、カメラ信号処理部４１は、被写体測光値を用いてカメラ信号処理を行うようにしてもよい。例えば、カメラ信号処理部４１は、所望の被写体を示す画像が、より良く階調を示した画像となるように情報量を増やす等の処理を行う。

表示部４２は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部４２は、撮像部２２で取得した撮像画や記録部４３に記録されている撮像画を表示する。また、図示せずも、撮像装置２０の機能や動作などの各種設定画面や各種情報等を表示する表示信号を制御部３０で生成して表示部４２へ出力する。

記録部４３には記録媒体が固定してまたは着脱可能に設けられている。記録部４３は、カメラ信号処理部４１から出力された画像信号や符号化データを記録媒体に記録する。

ユーザＩ／Ｆ部４４は、操作スイッチや操作ボタン、操作ダイヤル、タッチパネル等で構成されており、ユーザ操作に応じた操作信号を生成して制御部３０へ出力する。

＜４．撮像装置の動作＞
次に、撮像装置の動作を説明する。図１２は、撮像装置の動作を示すフローチャートである。ステップＳＴ２１で撮像装置はオートフォーカスであるか判別して、オートフォーカス動作がユーザによって選択されている場合はステップＳＴ２２に進み、マニュアルフォーカス動作が選択されている場合はステップＳＴ２３に進む。

ステップＳＴ２２で撮像装置はオートフォーカス制御を行う。撮像装置２０の制御部３０は、測距部２４で生成された測距情報に基づき、所定の測距領域またはユーザが選択した測距領域の被写体にフォーカスがあるように撮像光学系２１のフォーカスレンズを駆動制御してステップＳＴ２３に進む。

ステップＳＴ２３で撮像装置は、測光情報と測距情報を生成する。撮像装置２０の測光部２３は測光情報を生成して制御部３０へ出力して、測距部２４は測距情報を生成して制御部３０へ出力してステップＳＴ２４に進む。

ステップＳＴ２４で撮像装置は画面全体の測光処理を行う。制御部３０の全画面測光値算出部３４は、測光領域毎の測光値を用いて撮像範囲全体についての測光値である全画面測光値を算出する。

ステップＳＴ２５で撮像装置は所望の被写体の測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。さらに、測光値算出部３３は、被写体測光領域の測光値または重み付け後の測光値を用いて所望の被写体の被写体測光値を算出する。

ステップＳＴ２６で撮像装置は露出の目標値を決定する。制御部３０の露出制御部３５は、ステップＳＴ２４で算出した全画面測光値とステップＳＴ２５で算出した被写体測光値に基づき露出の目標値を決定してステップＳＴ２７に進む。なお、撮像装置の動作は、ステップＳＴ２４とステップＳＴ２５の順序が逆であってもよい。

露出制御部３５は、全画面測光値と被写体測光値の何れをどの程度優先するかによって、得たい露出結果を調整できるようにする。露出制御部３５は、被写体測光値を優先した露出制御を行えば、背景の変化に引かれにくいような自動露出を行うことができる。また、露出制御部３５は、全画面測光値と被写体測光値に基づき撮像状態を判別して、例えば全画面測光値が被写体測光値よりも大きく逆光状態であるときは、所望の被写体が暗くなりすぎないように、全画面測光値と被写体測光値に基づき露出の目標値を決定してもよい。また、露出制御部３５は、ユーザが選択した測光モードに応じて露出の目標値を決定する。例えば、各測光領域の測光値に基づき露出制御を行う測光モードである場合、全画面測光値に基づき露出の目標値を決定する。また、所望の被写体を重視して露出制御を行う測光モードである場合、被写体測光値に基づき露出の目標値を決定する。さらに、露出制御部３５は、ユーザが選択した撮像モードや自動で判別した撮像シーンに応じて、全画面測光値や被写体測光値に基づき露出の目標値を決定してもよい。例えば、撮像時に照明光を発光させる撮像モードや撮像シーンである場合、所望の被写体には照明光が多く当たる。このため、露出制御部３５は、被写体測光値の優先度を下げることで、所望の被写体と背景の両方ともそれぞれ適正な明るさである撮像画を得られるようにしてもよい。

ステップＳＴ２７で制御装置は露出駆動処理を行う。制御部３０の露出制御部３５は、露出がステップＳＴ２５で決定した目標値となるように制御信号を生成して、撮像光学系２１の絞り機構や撮像部２２の露光時間、カメラ信号処理部４１に対するＩＳＯ感度の調整等を行う。

このように、本技術の撮像装置では、測距部で生成された測距情報に基づき判別した被写体領域のクラスタリング処理によって、所望の被写体に対応する測光領域である被写体測光領域が設定される。また、撮像装置では、測光部で生成された測光領域毎の測光値における被写体測光領域の測光値に基づき所望の被写体の被写体測光値が算出される。したがって、所望の被写体の被写体測光値や全画面測光値に基づき、測光モードや撮像モード，撮像シーン等に応じた露出制御を精度よく行うことができるようになる。例えば、所望の被写体が逆光などで暗くなってしまい、所望の被写体の外周部分でしか合焦しないような状況でも、被写体領域を正しく抽出して、所望の被写体が適切な明るさの撮像画を得られるように自動露出制御を行える。

＜５．撮像装置の他の構成と動作＞
次に、撮像装置の他の構成と動作について説明する。図１３は、撮像装置の他の構成を例示している。撮像装置２０ａは、撮像光学系２１、撮像部２２、測光部２３、測距部２４、制御部３０ａ、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４を有している。さらに、撮像装置２０ａは、被写体認識部２５を有している。なお、撮像光学系２１、撮像部２２、測光部２３、測距部２４、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４は、図１１に示す撮像装置２０と同様に構成されている。

撮像光学系２１は、制御部３０からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、所望のサイズの被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系２１は、フォーカスレンズやズームレンズ等を通った光束を測光部２３に入力する。さらに、撮像光学系２１には、制御部３０からの制御信号に基づきアイリス機構等を駆動する。

撮像部２２は、被写体光学像に応じた画像信号を生成してカメラ信号処理部４１へ出力する。また、画像信号に基づいて測光を行う場合、撮像部２２は生成した画像信号を測光部２３へ出力する。さらに、撮像部２２は、制御部３０からの制御信号に基づき露光時間を設定してもよい。

測光部２３は、測光領域毎の輝度を検出して測光情報を生成して制御部３０ａへ出力する。測距部２４は測距領域の被写体までの距離を測距領域毎に検出して測距情報を生成して制御部３０へ出力する。

被写体認識部２５は、撮像部２２で生成された画像信号またはカメラ信号処理部４１でカメラ信号処理を行い生成された画像信号を用いて被写体認識を行い、所望の被写体の特徴部分例えば人体の顔部分等を検出する。また、被写体認識部２５は、被写体認識を行い認識した被写体毎に領域分割を行ってもよい。被写体認識部２５は、所望の被写体の特徴部分の検出結果や領域分割結果を示す被写体認識結果を制御部３０ａへ出力する。

制御部３０ａは、被写体領域判別部３１、被写体測光領域設定部３２ａ、測光値算出部３３ａ、全画面測光値算出部３４、露出制御部３５を有している。

被写体領域判別部３１は、測距部２４で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別して、判別結果を被写体測光領域設定部３２ａへ出力する。なお、被写体領域判別部３１は、測距情報と被写体認識結果に基づき被写体領域を判別してもよい。

被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域の設定を行う。また、被写体測光領域設定部３２ａは、被写体認識部２５の被写体認識結果を用いて被写体測光領域を設定してもよい。例えば、被写体認識結果で示された分割領域において、クラスタリング処理後の被写体領域を含む分割領域に対応する測光領域を被写体測光領域に設定する。被写体測光領域設定部３２ａは、被写体測光領域の設定結果を測光値算出部３３ａへ出力する。

測光値算出部３３ａは、測光部２３で生成された測光情報と被写体測光領域設定部３２ａにおける被写体測光領域の設定結果に基づき被写体測光値を算出する。また、測光値算出部３３ａは、被写体測光領域の測光値に対して被写体測光領域内における位置や合焦状態とする測距領域の指定に応じた重み付けを行ってもよい。また、測光値算出部３３ａは、被写体認識部２５の被写体認識結果に基づき所望の被写体の特徴部分の重みを高くする重み付けを行ってもよい。測光値算出部３３ａは、少なくとも何れかの重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出する。測光値算出部３３ａは、算出した被写体測光値を露出制御部３５とカメラ信号処理部４１へ出力する。

全画面測光値算出部３４は、測光部２３で生成された測光情報に基づき、各測光領域の測光値を用いて全画面測光値を算出して露出制御部３５へ出力する。

露出制御部３５は、測光値算出部３３ａで算出された被写体測光値と全画面測光値算出部３４で算出された全画面測光値に基づき、最適な露出の撮像画を生成できるように制御信号を生成して、撮像光学系２１や撮像部２２，カメラ信号処理部４１等へ出力する。また、露出制御部３５は、ユーザインタフェース部４４からの操作信号に基づき、制御信号を測光モード等に応じて生成する。

カメラ信号処理部４１は、撮像部２２で生成された画像信号に対して上述のように種々の処理を行い、カメラ信号処理後の画像信号を表示部４２や記録部４３へ出力する。表示部４２は、撮像部２２で取得した撮像画や記録部４３に記録されている撮像画を表示する。また、撮像装置２０の機能や動作などの各種設定画面や各種情報等を表示する。記録部４３は、カメラ信号処理部４１から出力された画像信号等を記録媒体に記録する。ユーザＩ／Ｆ部４４は、ユーザ操作に応じた操作信号を生成して制御部３０ａへ出力する。

図１４は、撮像装置の他の動作を示すフローチャートである。ステップＳＴ３１で撮像装置は、測光情報と測距情報を生成する。撮像装置２０の測光部２３は測光情報を生成して制御部３０へ出力して、測距部２４は測距情報を生成して制御部３０ａへ出力する。

ステップＳＴ３２で撮像装置は被写体認識を行う。撮像装置２０の被写体認識部２５は被写体認識を行い、被写体毎の領域分割結果や所望の被写体の特徴部分検出結果を示す被写体認識結果を制御部３０ａへ出力する。

ステップＳＴ３３で撮像装置は画面全体の測光処理を行う。制御部３０ａの全画面測光値算出部３４は、測光領域毎の測光値を用いて撮像範囲全体についての測光値である全画面測光値を算出する。

ステップＳＴ３４で撮像装置は所望の被写体が検出されたか判別する。制御部３０ａは、被写体認識部２５の被写体認識結果によって所望の被写体が検出されている場合はステップＳＴ３５に進み、検出されていない場合はステップＳＴ３６に進む。

ステップＳＴ３５で撮像装置は被写体認識結果を用いた測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。また、被写体測光領域設定部３２ａは、被写体認識結果で示された領域分割結果を用いて被写体測光領域の設定を行ってもよい。測光値算出部３３ａは、被写体測光領域の測光値に対して、例えば被写体測光領域内における位置や合焦状態とする測距領域の指定に応じた重み付け、被写体認識結果に基づいた重み付けの少なくとも何れかを行ってもよい。さらに、測光値算出部３３ａは、重み付け後の測光値を用いて所望の被写体の被写体測光値を算出してステップＳＴ３７に進む。

ステップＳＴ３６で撮像装置は被写体認識結果を用いることなく測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。さらに、測光値算出部３３は、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出してステップＳＴ３７に進む。

ステップＳＴ３７で撮像装置は露出の目標値を決定する。制御部３０の露出制御部３５は、ステップＳＴ３３で算出した全画面測光値とステップＳＴ３５またはステップＳＴ３６で算出した被写体測光値に基づき露出の目標値を決定してステップＳＴ３８へ進む。

ステップＳＴ３８で制御装置は露出駆動処理を行う。制御部３０の露出制御部３５は、露出がステップＳＴ３７で決定した目標値となるように制御信号を生成して、撮像光学系２１の絞り機構や撮像部２２の露光時間、カメラ信号処理部４１に対するＩＳＯ感度の設定等を行う。

なお、撮像装置の他の動作は、図１４に示す動作に限られず、図１２に示すオートフォーカスに関するステップＳＴ２１の処理やステップＳＴ２２の処理が含まれていてもよい。また、画面全体の測光処理は、ステップＳＴ３２の前に行ってもよく、ステップＳＴ３５やステップＳＴ３６の後に行ってもよい。

このように、本技術の撮像装置では、被写体認識結果を用いて測光値の算出が行われることから、被写体認識結果を用いていない場合に比べて、所望の被写体の被写体測光値をより確実に精度よく算出することが可能となる。

＜６．応用例＞
＜６－１．移動体制御システムへの応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１５を用いて説明した本実施形態に係る情報処理装置１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、本技術は、図１５に示す撮像部７４１０や図１６に示す撮像部７９１０，７９１２，７９１４，７９１６，７９１８に適用することができる。このように、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８に本技術を適用すれば、車外の被写体の測光値を精度よく取得して、被写体に応じた最適な露出制御を行うことができるので、例えば車外の被写体の視認が容易となりドライバの疲労等を軽減できる。また、自動運転等に必要な情報を高精度で取得することが可能となる。

＜６－２．内視鏡手術システムへの応用例＞
本開示に係る技術は、例えば内視鏡手術システムに適用されてもよい。

図１７は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１７では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１８は、図１７に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上説明した内視鏡手術システム１１０００において、本技術は、図１７に示す内視鏡１１１００や図１８に示す撮像部１１４０２に適用することができる。このように、内視鏡１１１００や撮像部１１４０２に本技術を適用すれば、術部等の測光値を精度よく取得して、術部等に応じた最適な露出制御を行うことができるので、例えば術者による術部等の確認を容易に行えるようになる。なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の測光装置は以下のような構成も取ることができる。
（１） 測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と
を備える測光装置。
（２） 前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とする（１）に記載の測光装置。
（３） 前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する（２）に記載の測光装置。
（４） 前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする（２）に記載の測光装置。
（５） 前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする（２）に記載の測光装置。
（６） 前記被写体測光領域設定部は、前記所望の被写体を含む撮像画の被写体認識結果と前記被写体領域の判別結果に基づき前記被写体測光領域を設定する（１）乃至（５）の何れかに記載の測光装置。
（７） 前記測光値算出部は、前記被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する（１）乃至（６）の何れかに記載の測光装置。
（８） 前記被写体測光領域設定部は、前記所望の被写体領域を包括した被写体領域に対応する測光領域を前記被写体測光領域として、
前記測光値算出部は、前記重み付けとして、周辺の測光領域が全て前記被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする（７）に記載の測光装置。
（９） 前記測光値算出部は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する（１）乃至（８）のいずれかに記載の測光装置。
（１０） 前記測光値算出部は、前記所望の被写体を含む撮像画の被写体認識結果に基づき、前記被写体測光領域の測光値に対して、前記所望の被写体の特徴部分の重みを高くする重み付けを行い重み付け後の測光値を用いて前記所望の被写体の測光値を算出する（１）乃至（９）のいずれかに記載の測光装置。
請求項１記載の測光装置。
（１１） 前記被写体領域判別部は、前記測距情報に基づき合焦状態の領域を前記被写体領域と判別する（１）乃至（１０）のいずれかに記載の測光装置。
（１２） 前記被写体領域判別部は、前記所望の被写体領域として顔領域を判別する（１）乃至（１１）のいずれかに記載の測光装置。

この技術の測光装置、測光方法、プログラムおよび撮像装置では、測距情報に基づき所望の被写体領域が被写体領域判別部で判別されて、判別された所望の被写体領域の画像信号処理によって、被写体測光領域が被写体測光領域設定部で設定される。また、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値が測光値算出部で算出される。このため、所望の被写体領域について測光値を精度よく取得できるようになり、測光値算出部で算出され測光値を用いて所望の被写体領域に最適な露出制御を行えるようになる。したがって、撮像機能が設けられた機器、例えばデジタルカメラやビデオカメラ、スマートフォン等の携帯端末装置、監視カメラ、車載カメラ等に適用できる。

１０・・・測光装置
１１，３１・・・被写体領域判別部
１２，３２，３２ａ・・・被写体測光領域設定部
１３，３３，３３ａ・・・測光値算出部
２０，２０ａ・・・撮像装置
２１・・・撮像光学系
２２・・・撮像部
２３・・・測光部
２４・・・測距部
２５・・・被写体認識部
３０，３０ａ・・・制御部
３４・・・全画面測光値算出部
３５・・・露出制御部
４１・・・カメラ信号処理部
４２・・・表示部
４３・・・記録部
４４・・・ユーザインタフェース（Ｉ／Ｆ）部

Claims (19)

1. 測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
   前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
   前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部とを備え、
   前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
   前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する
   測光装置。
2. 測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
   前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
   前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部とを備え、
   前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
   前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
   測光装置。
3. 測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
   前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
   前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部とを備え、
   前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
   前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
   測光装置。
4. 前記被写体測光領域設定部は、前記所望の被写体を含む撮像画の被写体認識結果と前記被写体領域の判別結果に基づき前記被写体測光領域を設定する
   請求項１から３のいずれかに記載の測光装置。
5. 前記測光値算出部は、前記被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
   請求項１から３のいずれかに記載の測光装置。
6. 前記被写体測光領域設定部は、前記所望の被写体領域を包括した被写体領域に対応する測光領域を前記被写体測光領域として、
   前記測光値算出部は、前記重み付けとして、周辺の測光領域が全て前記被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする
   請求項５に記載の測光装置。
7. 前記測光値算出部は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
   請求項１から３のいずれかに記載の測光装置。
8. 前記測光値算出部は、前記所望の被写体領域を含む撮像画の被写体認識結果に基づき、前記被写体測光領域の測光値に対して、前記所望の被写体領域の特徴部分の重みを高くする重み付けを行い重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
   請求項１から３のいずれかに記載の測光装置。
9. 前記被写体領域判別部は、前記測距情報に基づき合焦状態の領域を前記被写体領域と判別する
   請求項１から３のいずれかに記載の測光装置。
10. 前記被写体領域判別部は、前記所望の被写体領域として顔領域を判別する
    請求項１から３のいずれかに記載の測光装置。
11. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出することを含み、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する
    測光方法。
12. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出することを含み、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    測光方法。
13. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出することを含み、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    測光方法。
14. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別する手順と、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定する手順と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出する手順を有し、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する
    測光方法をコンピュータに実行させるためのプログラム。
15. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別する手順と、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定する手順と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出する手順を有し、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    測光方法をコンピュータに実行させるためのプログラム。
16. 測距情報に基づき所望の被写体領域を被写体領域判別部で判別する手順と、
    判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定する手順と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出する手順を有し、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    測光方法をコンピュータに実行させるためのプログラム。
17. 測光領域毎に測光結果を示す測光情報を生成する測光部と、
    測距領域毎に測距結果を示す測距情報を生成する測距部と、
    前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
    前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
    前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
    前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部とを備え、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する
    撮像装置。
18. 測光領域毎に測光結果を示す測光情報を生成する測光部と、
    測距領域毎に測距結果を示す測距情報を生成する測距部と、
    前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
    前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
    前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
    前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部とを備え、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    撮像装置。
19. 測光領域毎に測光結果を示す測光情報を生成する測光部と、
    測距領域毎に測距結果を示す測距情報を生成する測距部と、
    前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
    前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
    前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
    前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
    前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部とを備え、
    前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とし、
    前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    撮像装置。

Images