JP7070423B2 - 画像処理装置と画像処理方法および撮像装置 - Google Patents

Description

この技術は、画像処理装置と画像処理方法および撮像装置に関し、精度の良好な偏光情報を取得できるようにする。

従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光フィルタを配置して、この偏光フィルタを回して撮影することで複数の偏光方向の偏光画像を取得する方法が開示されている。また、画素が複数の偏光方向の何れかの方向とされている偏光フィルタを用いることで、１回の撮像によって偏光方向毎の偏光成分を画素単位で示した偏光画像を取得する方法が開示されている。

また、偏光方向毎の偏光成分が画素単位で示されている偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向毎の偏光成分をモデル式にあてはめることによって法線情報を算出することが行われている。

国際公開第２００８／０９９５８９号

Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006

ところで、無偏光の光を偏光フィルタに通すと、特定の偏光方向例えば垂直に振動する光を遮断して、水平光のみを取得することができるが、垂直に振動する光が遮断されることから光量が低下する。このため、光量の低下によって偏光画像におけるノイズが多くなると偏光画像から偏光情報を精度良く取得することができない。

そこで、この技術では、偏光情報を精度良く取得できる画像処理装置と画像処理方法および撮像装置を提供する。

この技術の第１の側面は、
無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
を備える画像処理装置にある。

この技術において、デモザイク処理部は、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像の生成を行う。偏光成分画像の生成では、例えば注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、偏光方向毎に同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する注目画素の画素位置における偏光画素の画素値を算出して偏光方向毎の偏光成分画像を生成する。

また、無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出することで、注目画素の画素位置における偏光画素のノイズ除去を行うノイズ除去部を設けて、デモザイク処理部は、ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する。

偏光情報生成部は、例えば注目画素位置の偏光特性を示す偏光モデル式の偏光パラメータを、偏光方向と注目画素位置における無偏光画素と偏光方向毎の偏光画素に基づいて算出することで、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する。また、偏光情報生成部は、偏光画素と等しい感度とした無偏光画素の画素値を偏光パラメータとして用いる。

さらに、偏光情報生成部で生成された偏光情報に基づいて被写体の法線情報を生成する法線情報生成部を設ける。

この技術の第２の側面は、
無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像をデモザイク処理部で生成することと、
前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を偏光情報生成部で生成することを含む画像処理方法にある。

この技術の第３の側面は、
無偏光画素と偏光画素を配置して、
前記偏光画素は少なくとも二つの偏光方向毎に設けた撮像装置にある。

この技術においては、無偏光画素と偏光画素を配置して、偏光画素は少なくとも二つの偏光方向を矩形状の画素の辺に対して対称な角度として偏光方向毎に設ける。また、無偏光画素と偏光画素は、例えば２×２画素領域における対角の画素位置に無偏光画素を設けて残りの画素を偏光画素とした配置とする。さらに、偏光方向毎の偏光画素は同一色として、無偏光画素は所定の色成分毎の画素とする。

また、無偏光画素と偏光画素の感度を一致させる制御を行う画素制御部を設けて、例えば無偏光画素または偏光画素の露光期間を制御して無偏光画素と偏光画素の感度を一致させる。また、画素処理部を設けて例えば無偏光画素を用いた補間処理または同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い、無偏光画像または無偏光画像と偏光画像を生成する。また、画素処理部は同一色の画素の統合処理を行う。

この技術によれば、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像がデモザイク処理部で生成されて、無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報が生成される。このように、偏光成分画像だけでなく光量の低下を生じていない無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の実施の形態の構成を示す図である。 撮像部の第１の実施の形態の構成を例示した図である。 撮像部の第１の実施の形態におけるイメージセンサの構成を例示した図である。 撮像部の第１の実施の形態における偏光フィルタの構成を例示した図である。 撮像部の第２の実施の形態におけるイメージセンサの構成を例示した図である。 撮像部の第２の実施の形態におけるイメージセンサの動作を説明するための図である。 撮像部の第３の実施の形態における偏光フィルタの構成を例示した図である。 偏光方向と矩形状の画素の位置関係を説明するための図である。 複数偏光方向の偏光画素を隣接して配置する場合の例を示す図である。 画像処理部の第１の実施の形態を説明するための図である。 画像処理部の第２の実施の形態を説明するための図である。 ノイズ除去部の実施の形態の構成を例示した図である。 ノイズ除去部の動作を説明するための図である。 ノイズ除去部の他の動作を説明するための図である。 デモザイク処理部の第１の実施の形態を例示した図である。 デモザイク処理部の第２の実施の形態を例示した図である。 デモザイク処理部の第２の実施の形態の動作を説明するための図である。 被写体の形状と偏光画像の関係を説明するための図である。 輝度と偏光角との関係を例示した図である。 二つの偏光方向毎の偏光成分画像と無偏光画像から偏光モデル式のパラメータを算出する場合を説明するための図である。 四つの偏光方向毎の偏光成分画像と無偏光画像から偏光モデル式のパラメータを算出する場合を説明するための図である。 画像処理装置の実施の形態の処理を示すフローチャートである。 カラー画像を生成する撮像部の構成を例示した図である。 カラーモザイクフィルタと偏光フィルタ（２偏光方向）の関係を例示した図である。 カラーモザイクフィルタと偏光フィルタ（４偏光方向）の関係を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の実施の形態の構成と動作
１－１．撮像部について
１－１－１．撮像部の第１の実施の形態
１－１－２．撮像部の第２の実施の形態
１－１－３．撮像部の第３の実施の形態
１－２．画素処理部について
１－２－１．画素処理部の第１の実施の形態
１－２－２．画素処理部の第２の実施の形態
１－３．ノイズ除去部について
１－４．デモザイク処理部について
１－４－１．デモザイク処理部の第１の実施の形態
１－４－２．デモザイク処理部の第２の実施の形態
１－５．偏光情報生成部について
１－５－１．偏光情報生成部の第１の動作
１－５－２．偏光情報生成部の第２の動作
１－６．法線情報生成部について
２．他の実施の形態
３．適用例

＜１．画像処理装置の実施の形態の構成と動作＞
図１は、画像処理装置の実施の形態の構成を例示している。画像処理装置１０は、撮像部２０、デモザイク処理部５０、偏光情報生成部６０、法線情報生成部７０を有している。また、画像処理装置１０は、撮像部２０の構成に応じて画素処理部３０を設けた構成としてもよく、ノイズによる悪影響を少なくするためノイズ除去部４０を設けた構成としてもよい。なお、撮像部２０や法線情報生成部７０等は、画像処理装置１０から分離した構成であってもよい。

＜１－１．撮像部について＞
撮像部２０は、無偏光画素と少なくとも二つの偏光方向毎に設けた偏光画素が配置されており、撮像画像の画像信号を生成して画素処理部３０、またはノイズ除去部４０あるいはデモザイク処理部５０へ出力する。

＜１－１－１．撮像部の第１の実施の形態＞
撮像部の第１の実施の形態では、撮像部によって、無偏光の画素と少なくとも二つの偏光成分毎の画素から撮像画像の画像信号を生成する。図２は、撮像部の第１の実施の形態の構成を例示している。撮像部２０-1は、イメージセンサ２１-1の入射面に、偏光フィルタ２２-1を配置した構成とされている。

図３は、撮像部の第１の実施の形態におけるイメージセンサの構成を例示している。イメージセンサ２１-1は、複数個の画素がアレイ状例えば二次元マトリクス状に配列された画素アレイ部２１１と、画素アレイ部２１１の駆動制御等を行う垂直走査回路２１２および水平走査回路２１３を有している。なお、説明を簡単とするため、画素アレイ部２１１では、行方向および列方向の一部の画素のみを示している。

画素アレイ部２１１の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット線と選択線を介して垂直走査回路２１２と接続されており、信号線を介して水平走査回路２１３と接続されている。

垂直走査回路２１２は、リセット線を介してリセット信号を画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。その後、垂直走査回路２１２は、選択線を介して読出信号を偏光画素および無偏光画素の電荷転送用のトランジスタへ出力して、リセット信号が出力されてから読出信号が出力されるまでの露光期間中に蓄積された電荷を信号電流として信号線に出力させる。水平走査回路２１３は、各画素から読み出された信号電流をデジタルの画素信号に変換する処理や画素信号の利得調整処理等を行い、処理後の画素信号を水平方向の画素順に画素処理部３０、またはノイズ除去部４０あるいはデモザイク処理部５０へ出力する。また、垂直走査回路２１２と水平走査回路２１３は、上述の処理をライン毎に行う。

図４は、撮像部の第１の実施の形態における偏光フィルタの構成を例示している。偏光フィルタ２２-1は、無偏光画素と少なくとも二つの複数偏光方向の偏光画素で構成されている。偏光画素ではフォトニック液晶またはワイヤグリッド等を用いて、偏光方向が少なくとも二つの偏光方向とされている。図４の（ａ）では、偏光方向が二つの偏光方向例えば二つの偏光方向の偏光角αが「α0＝０°，α1＝４５°」の場合を示している。図４の（ｂ）では、偏光方向が四つの偏光方向例えば四つの偏光方向の偏光角αが「α0＝０°，α1＝４５°，α2＝９０°，α3＝１３５°」の場合を示している。また、図４に示すように、偏光フィルタ２２-1は、２×２画素領域における二つの画素位置（例えば対角位置）が無偏光画素で残りの画素が偏光画素となるように構成されている。

このように構成された撮像部では、順次画素信号を読み出すことで、偏光画素と無偏光画素から構成された撮像画像の画像信号を生成してデモザイク処理部５０、または画素処理部３０やノイズ除去部４０を介してデモザイク処理部５０へ出力する。

＜１－１－２．撮像部の第２の実施の形態＞
次に撮像部の第２の実施の形態について説明する。撮像部の第２の実施の形態では、イメージセンサが第１の実施の形態と異なり、偏光画素と無偏光画素の感度を一致させる制御を画素制御部で行って撮像画像の画像信号を生成する。

図５は、撮像部の第２の実施の形態におけるイメージセンサの構成を例示している。イメージセンサ２１-2は、複数個の画素が二次元マトリクス状に配列された画素アレイ部２１１と垂直走査回路２１２-2および水平走査回路２１３を有している。イメージセンサ２１-2は、偏光画素と無偏光画素の露光期間を制御して偏光画素と無偏光画素の感度を一致させる。なお、説明を簡単とするため、画素アレイ部２１１では、行方向および列方向の一部の画素のみを示している。

画素アレイ部２１１の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。偏光画素は、偏光画素リセット線と選択線を介して垂直走査回路２１２-2と接続されており、信号線を介して水平走査回路２１３と接続されている。また、無偏光画素は、無偏光画素リセット線と選択線を介して垂直走査回路２１２-2と接続されており、信号線を介して水平走査回路２１３と接続されている。なお、図５では、偏光画素における偏光方向を矢印で示している。

垂直走査回路２１２-2は、偏光画素のリセット線を介してリセット信号を偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。また、垂直走査回路２１２-2は、無偏光画素のリセット線を介してリセット信号を無偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。その後、垂直走査回路２１２は、選択線を介して読出信号を偏光画素および無偏光画素の電荷転送用のトランジスタへ出力して、リセット信号が出力されてから読出信号が出力されるまでの露光期間中に蓄積された電荷を信号電流として信号線に出力させる。水平走査回路２１３は、各画素から読み出された信号電流をデジタルの画素信号に変換する処理や画素信号の利得調整処理等を行い、処理後の画素信号を水平方向の画素順にデモザイク処理部５０へ出力する。また、垂直走査回路２１２と水平走査回路２１３は、上述の処理をライン毎に行う。さらに、垂直走査回路２１２は、偏光画素または無偏光画素の露光期間を制御して偏光画素と無偏光画素の感度を一致させる。例えば、垂直走査回路２１２は画素制御部としての動作を行い、無偏光画素のリセット信号のタイミングを制御して、無偏光画素が偏光画素の感度と等しくなるように無偏光画素の露光期間を制御して、偏光画素と無偏光画素の感度を一致させる。

図６は、撮像部の第２の実施の形態におけるイメージセンサの動作を説明するための図である。撮像部２０-2では、偏光画素リセット信号と無偏光画素リセット信号の出力を独立に制御することで、例えば無偏光の被写体を撮像した場合に、偏光画素と無偏光画素の信号レベルが等しくなるように無偏光画素の露光期間を調整する。

図６の（ａ）は偏光画素と無偏光画素から蓄積電荷に応じた信号を読み出すための読み出し信号ＳＣaを示している。図６の（ｂ）は、偏光画素に対するリセット信号ＳＣbpを示しており、図６の（ｃ）は偏光画素における蓄積電荷量を示している。偏光画素は、リセット信号ＳＣbpによって蓄積電荷が排出されたのち、リセット信号ＳＣbpが終了した時点ｔ１から偏光画素において入射光に応じて電荷の蓄積が行われる。

図６の（ｄ）は、無偏光画素に対するリセット信号ＳＣbn、図６の（ｅ）は、無偏光画素における蓄積電荷量を示している。無偏光画素は、リセット信号ＳＣbnによって蓄積電荷が排出されたのち、リセット信号ＳＣbnが終了した時点ｔ２から無偏光画素において、入射光に応じて電荷の蓄積が行われる。

偏光画素と無偏光画素は、読み出し信号ＳＣaによって時点ｔ３で蓄積された電荷の読み出しが行われる。すなわち偏光画素では時点ｔ１～ｔ３の期間が露光時間Ｔepとなり、無偏光画素では時点ｔ２～ｔ３の期間が露光時間Ｔenとなる。したがって、偏光画素に対する無偏光画素の感度に応じて露光時間Ｔepに対して露光時間Ｔenを短くすることで、偏光画素と無偏光画素で感度差を有していても、偏光画素の信号レベルＳＬpと無偏光画素の信号レベルＳＬnが等しい画像信号を生成できる。

なお、撮像部は、水平走査回路２１３で画素制御部の動作を行い、偏光画素と無偏光画素の感度が一致するように画素信号の利得調整を行うようにしてもよい。

このような撮像部の第２の実施の形態によれば、偏光画素と無偏光画素で感度差を生じていない撮像画像の画像信号を撮像部２０-2で生成できるようになる。

＜１－１－３．撮像部の第３の実施の形態＞
次に、撮像部の第３の実施の形態について説明する。撮像部の第１の実施の形態で示したように複数偏光方向の偏光画素を設ける場合、微細な画素に偏光子を形成する難しさ等によって感度のばらつきを生じるおそれがある。このため、撮像部で感度ばらつきを生じると、例えば輝度が均一である無偏光の被写体を撮像しても偏光画素で生成される画素信号は信号レベルのばらつきを生じてしまう。そこで、撮像部の第３の実施の形態では、第１および第２の実施の形態の偏光フィルタとは異なる構成の偏光フィルタを用いて、偏光方向の違いによる感度ばらつきを少なくする。

撮像部の第３の実施の形態で用いる偏光フィルタ２２-3は、イメージセンサの矩形状の画素の辺に対して各偏光方向が対称な角度となるように構成する。図７は撮像部の第３の実施の形態における偏光フィルタの構成を例示しており、例えば図７の（ａ）に示す偏光フィルタの偏光方向は「α0＝２２．５°，α1＝６７．５°」とする。また、図７の（ａ）に示す偏光フィルタの偏光方向は「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」とする。

図８は、偏光方向と矩形状の画素の位置関係を説明するための図である。図８に示すように、「α0＝２２．５°」である偏光画素を上下方向または左右方向に反転すると偏光方向は「α3＝１５７．５°」となる。また、基準とする辺の切り替えすなわち「α0＝２２．５°」である偏光画素を９０°回転すると、偏光方向は「α2＝１１２．５°」となり、さらに上下方向または左右方向に反転すると偏光方向は「α1＝６７．５°」となる。このように、イメージセンサの矩形状の画素の辺に対して各偏光方向が対称な角度となるように偏光フィルタ２２-3を構成すると、微細な画素に偏光フィルタを形成する難しさ等は偏光方向に係らず等しくなり、偏光方向の違いによる偏光画素の感度ばらつきを、偏光方向が対称でない角度とされている例えば図４に示す偏光フィルタを用いた場合に比べて少なくできる。また、偏光方向を「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」とすれば、偏光方向の角度差を等しい角度（４５°）とすることができる。なお、偏光方向は、上述の角度に限らず例えば「１０°，８０，１００°，１７０°」としてもイメージセンサの矩形状の画素の辺に対して偏光方向が対称な角度となる。この場合、偏光方向の角度差は異なる角度（２０°または７０°）となる。また、偏光方向は、上述の角度に対して許容可能な誤差ＥＡを含めた範囲例えば「２２．５°±ＥＡ，６７．５°±ＥＡ，・・・」としてもよい。

さらに、複数偏光方向の偏光画素を隣接して配置する場合、隣接する画素間でのクロストークが発生することから、隣接画素間の角度差が大きい画素を離して配置する。例えば図９に示すように、角度差が９０°の偏光画素は斜めの位置に配置する。

このような撮像部の第３の実施の形態によれば、イメージセンサの画素に対する偏光方向の位置関係が、複数の偏光方向で等しくなるため、微細な画素に偏光フィルタを形成する難しさ等が各偏光方向で同等となり偏光方向の違いによる感度のばらつきを少なくできる。

＜１－２．画素処理部について＞
画素処理部３０は、撮像部２０で生成された撮像画像の画像信号に基づき、無偏光画素で構成された無偏光画像の画像信号、または複数偏光方向の偏光画素で構成された偏光画像の画像信号と無偏光画像の画像信号を生成してノイズ除去部４０またはデモザイク処理部５０へ出力する。

また、画素処理部３０は、撮像部２０における画素配置が、図４の（ａ）に示すように、２×２画素領域における二つの画素位置が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されており、ノイズ除去部４０でノイズ除去を行う場合、画素処理部３０は第１の形態の処理を行う。また、撮像部２０における画素配置が、図４の（ｂ）に示すように、２×２画素領域における二つの画素位置が無偏光画素で残りの画素が同じ偏光方向の偏光画素で構成されている場合、画素処理部３０は第２の形態の処理を行う。

＜１－２－１．画素処理部の第１の実施の形態＞
画像処理部の第１の実施の形態では無偏光画像を生成する場合について説明する。図１０は、画像処理部の第１の実施の形態を説明するための図である。

画素処理部３０は、図１０の（ａ）に示すように無偏光画素補間部３１を有している。無偏光画素補間部３１は、無偏光画素の画素値が得られていない偏光画素の画素位置の画素値を、周辺の無偏光画素の画素値を用いた補間処理によって算出する。例えば、図１０の（ｂ）に示すように、二重枠で示す位置（ｘ、ｙ）における無偏光の画素値Ｑ（ｘ，ｙ）を算出する場合、周辺に位置する無偏光画素の画素値Ｑ（x,y-1)，Ｑ（x-1,y)，Ｑ（x+1,y)，Ｑ（x+1,y+1)を用いて式（１）に示す演算を行い、画素値Ｑ(x,y)を算出する。
Ｑ(x,y)＝(Ｑ（x,y-1)＋Ｑ（x-1,y)＋Ｑ（x+1,y)＋Ｑ（x+1,y+1))／４
・・・（１）

画素処理部３０は、偏光画素の画素位置毎に周辺の無偏光画素を用いて補間処理を行い、図１０の（ａ）に示すように、撮像部２０で生成された撮像画像すなわち偏光画素と無偏光画素で構成されている撮像画像から無偏光画像を生成する。

＜１－２－２．画素処理部の第２の実施の形態＞
画素処理部３０の第２の実施の形態では、同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い無偏光画像と偏光画像を生成する場合について説明する。図１１は、画像処理部の第２の実施の形態を説明するための図である。

画素処理部３０は、図１１の（ａ）に示すように画素値演算部３２を有している。画素値演算部３２は、同一偏光方向の画素と無偏光画素を含むように単位領域を設定して、単位領域内における同一偏光方向の偏光画素と無偏光画素のそれぞれについて、画素加算または画素平均化を行う。画素値演算部３２は、撮像部２０の画素配置が例えば図４の（ｂ）に示す構成である場合、図１１の（ｂ）に示すように、同一偏光方向の画素と無偏光画素を含む２×２画素領域を単位領域として設定する。また、画素値演算部３２は、白色矢印で示すように単位領域に含まれる同一偏光方向の２画素の画素加算値または画素平均値を偏光画像の画素値として、単位領域に含まれる無偏光の２画素の画素加算値または画素平均値を無偏光画像の画素値とする。なお、画素値演算部３２で生成される複数偏光方向の偏光画素からなる偏光画像と無偏光画像は、２×２画素領域を単位領域としていることから画像の解像度は１／２となる。

＜１－３．ノイズ除去部について＞
ノイズ除去部４０は、撮像部２０で生成された撮像画像または画素処理部３０で生成された偏光画像のノイズ除去を、無偏光画像を用いて行う。ノイズ除去部４０は、ノイズを除去する画素である注目画素の画素位置の無偏光画素と、注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと注目画素および注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、注目画素の画素位置における偏光画素の画素値を算出する。ノイズ除去部４０は、ノイズを除去する注目画素に近い部分ほど重みを大きくして平滑化フィルタ処理を行うことで、撮像画像の偏光画素や偏光画像のノイズの除去を行う。以下、ノイズ除去部の実施の形態では、平滑化フィルタとしてジョイントバイラテラルフィルタを用いた場合について説明する。

図１２は、ノイズ除去部の実施の形態の構成を例示している。ノイズ除去部４０は、重み算出部４１と乗算部４２，４４、積算部４３，４５を有している。重み算出部４１は、無偏光画像から注目画素と注目画素の周辺に位置する周辺画素を用いて、注目画素と周辺画素との輝度差分および画素間の距離情報を使用して、注目画素および周辺画素の重みを算出して乗算部４２，４４へ出力する。

乗算部４２は、偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算して、乗算結果を積算部４３へ出力する。乗算部４４は、無偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算して、乗算結果を積算部４５へ出力する。

積算部４３は、乗算部４２の乗算結果を積算して、注目画素（二重枠で示す画素）のノイズ除去後の偏光画像の画素値とする。積算部４５は、乗算部４４の乗算結果を積算して、注目画素（二重枠で示す画素）のノイズ除去後の無偏光画像の画素値とする。

ノイズ除去部４０は無偏光画素の各画素を順次注目画素として、上述のように重みを算出して注目画素および周辺画素と乗算して乗算結果を積算することで、偏光画像と無偏光画像からノイズを除去して、ノイズ除去後の偏光画像をデモザイク処理部５０へ出力する。

図１３は、ノイズ除去部の動作を説明するための図であり、図１３の（ａ）は撮像部２０で生成された撮像画像、図１３の（ｂ）は画素処理部３０の無偏光画素補間部３１で生成された無偏光画像を示している。

ノイズ除去部４０の重み算出部４１は、偏光方向が注目画素位置「ｘ，ｙ」の偏光画素と等しい周辺画素の位置を周辺画素位置とする。したがって、図に示す画素位置「x-2,y-2」「x,y-2」「x+2,y-2」「x-2,y」「x+2,y」「x-2,y＋2」「x,y＋2」「x+2,y+2」が周辺画素位置となる。

ここで、偏光画像における注目画素の画素値を「Ｐ(x,y)」、周辺画素位置の画素値を「Ｐ(x-2,y-2)」「Ｐ(x,y-2)」「Ｐ(x+2,y-2)」「Ｐ(x-2,y)」「Ｐ(x+2,y)」「Ｐ(x-2,y+2)」「Ｐ(x,y+2)」「Ｐ(x+2,y+2)」とする。また、無偏光画像における注目画素の画素値を「Ｑ(x,y)」、周辺画素位置の画素値を「Ｑ(x-2,y-2)」「Ｑ(x,y-2)」「Ｑ(x+2,y-2)」「Ｑ(x-2,y)」「Ｑ(x+2,y)」「Ｑ(x-2,y+2)」「Ｑ(x,y+2)」「Ｑ(x+2,y+2)」とする。

重み算出部４１は、式（２）に基づき注目画素からの距離に応じた重みＳ(i,j)を算出する。また、重み算出部４１は、式（３）に基づき注目画素と周辺画素の輝度差に応じた重みＴ(i,j)を算出する。なお、式（２）におけるσsと式（３）におけるσtは標準偏差である。また、図１３の場合「ｉ＝－２，０，２、ｊ＝－２，０，２」である。

乗算部４２は、偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算する。積算部４３は、乗算部４２の乗算結果を積算して、注目画素のノイズ除去後の偏光画像の画素値とする。すなわち、乗算部４２と積算部４３によって式（４）の演算を行い、注目画素のノイズ除去後の偏光画素値Ｐnr(x,y)が算出される。なお、図１３の場合、偏光方向が等しい周辺画素は１画素おきであることから、式（４）に示すように１画素おきに重みや画素値を用いる。

乗算部４４は、無偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算する。積算部４５は、乗算部４４の乗算結果を積算して、注目画素のノイズ除去後の無偏光画像の画素値とする。また、無偏光画素のノイズ除去では、偏光方向が等しい周辺画素位置だけでなく偏光方向が異なる周辺画素位置の無偏光画素も用いて重みを算出してノイズ除去を行う。すなわち、乗算部４４と積算部４５によって式（５）の演算を行い、注目画素のノイズ除去後の無偏光画素値Ｑnr(x,y)が算出される。

また、画素処理部３０では、画素値演算部３２によって、複数偏光方向の偏光画素からなる偏光画像と無偏光画像が生成された場合、同様に処理することで偏光画像と無偏光画像のそれぞれからノイズを除去できる。図１４は、ノイズ除去部の他の動作を説明するための図であり、図１４の（ａ）は画素値演算部３２で生成された偏光画像、図１４の（ｂ）は画素値演算部３２で生成された無偏光画像を例示している。なお、画素値演算部３２では、２×２画素領域を単位領域としていることから図１３における２画素が図１４における１画素に相当する。図１４では、同一偏光方向の画素が１画素おきの位置となっていることから、上述の場合と同様に重みを算出して、算出した重みと、同一偏光方向の周辺画素の画素値を用いて、注目画素のノイズ除去後の画素値を算出できる。

このように、ノイズ除去部４０は、偏光画像または偏光画像と無偏光画像からノイズを除去して、ノイズ除去後の画像をデモザイク処理部５０へ出力する。また、ノイズ除去部４０は、感度の高い無偏光画像を用いて平滑化フィルタ処理に用いる重みを算出することで、偏光画素のノイズ除去を高精度に行うことができる。なお、平滑フィルタはジョイントバイラテラルフィルタに限らず、他の平滑フィルタ例えばガウシアンフィルタ等を用いて無偏光画像から重みを算出しても良い。

＜１－４．デモザイク処理部について＞
デモザイク処理部は、撮像部における偏光画素と無偏光画素の画素配置に応じたデモザイク処理を行い、偏光方向毎の偏光成分画像または偏光成分画像と無偏光画像を生成する。

＜１－４－１．デモザイク処理部の第１の実施の形態＞
デモザイク処理部の第１の実施の形態では、偏光画素と無偏光画素がベイヤー配列に相当する画素配置である場合について説明する。

図１５は、デモザイク処理部の第１の実施の形態を例示している。デモザイク処理部は、ベイヤー相当処理部５１を有している。例えば、撮像部２０における画素配置が、図４の（ａ）に示すように、２×２画素領域における二つの対角位置の画素が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されている場合、画素配列はベイヤー配列に相当する。すなわち、無偏光画素はベイヤー配列における緑色画素、偏光方向が「α0＝０°」である偏光画素はベイヤー配列における赤色画素（または青色画素）、偏光方向が「α1＝４５°」である偏光画素はベイヤー配列における青色画素（または赤色画素）に相当する。したがって、ベイヤー相当処理部５１は、ベイヤー配列の赤色画素と青色画素と緑色画素から色毎の画像信号を生成する処理、例えば文献「B.Gunturk, J. Glotzbach, Y. Altunbasak, R.schafer, and R. Mersereau, “Demosaicing: Color filter array interpolation,”.in IEEE Signal Processing Magazine, vol. 22, no. 1, Jan 2005.」で開示された処理と同様な処理を行う。ベイヤー相当処理部５１は、このような処理を行い、撮像部２０から供給された画像信号、または画素処理部３０やノイズ除去部４０を介して撮像部２０から供給された画像信号に基づき偏光方向毎の偏光成分画像と無偏光画像の画像信号を生成する。なお、無偏光画像は、画素処理部３０で生成された無偏光画像を用いてもよい。

＜１－４－２．デモザイク処理部の第２の実施の形態＞
デモザイク処理部の第２の実施の形態では、偏光画素と無偏光画素の配置がベイヤー配列と異なる場合について説明する。デモザイク処理部は、画素処理部３０から供給された画像信号、またはノイズ除去部４０を介して画素処理部３０から供給された画像信号を用いてデモザイク処理を行う。また、デモザイク処理部の第２の実施の形態では、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、この偏光画素と等しい画素位置および注目画素の画素位置の無偏光画素を用いて、偏光方向毎に注目画素の画素位置における偏光画素の画素値を算出する。

偏光画素よりも感度の高い無偏光画素の画素間隔が同一偏光方向の画素間隔以下である場合、無偏光画素から生成した無偏光画像は、同一偏光方向の画素から生成される偏光成分画像以上の解像度である。したがって、デモザイク処理部は、無偏光画素と偏光画素で正の相関があると見なして、偏光成分画像で失われている高域成分を、無偏光画像から補うことで高解像度の偏光成分画像を生成する。例えば、デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する注目画素の画素位置における偏光画素の画素値を算出する。なお、デモザイク処理部の第２の実施の形態では偏光方向が４方向である場合について説明する。

図１６は、デモザイク処理部の第２の実施の形態を例示している。デモザイク処理部は、偏光画素平均化処理部５２と無偏光画素平均化処理部５３と中心画素取得部５４および相関処理部５５を有している。

偏光画素平均化処理部５２は、注目画素と注目画素の周辺に位置する周辺画素を用いて、偏光方向毎に注目画素に対する画素平均値を算出して相関処理部５５へ出力する。

無偏光画素平均化処理部５３は、注目画素と注目画素の周辺に位置する周辺画素を用いて、偏光画素平均化処理部５２で偏光方向毎の画素平均値を算出する場合と等しい画素位置の画素から画素平均値を算出して相関処理部５５へ出力する。

中心画素取得部５４は注目画素の画像値を無偏光画像から抽出して相関処理部５５へ出力する。

相関処理部５５は、偏光画素平均化処理部５２で算出した偏光方向毎の画素平均値と、偏光方向毎の画素平均値に対応して無偏光画素平均化処理部５３で算出した画素平均値と、中心画素取得部５４で抽出した注目画素の画素値から、注目画素の偏光方向毎の画素値を算出する。

図１７を用いて、デモザイク処理部の第２の実施の形態の動作について説明する。図１７の（ａ）は偏光画像、図１７の（ｂ）は無偏光画像を示している。デモザイク処理部の偏光画素平均化処理部５２は、偏光画像における注目画素位置「ｘ，ｙ」と周辺画素位置「x-1,y-1」「x,y-1」「x+1,y-1」「x-1,y」「x+1,y」「x-1,y＋1」「x,y＋1」「x+1,y+1」の画素を用いて、偏光方向毎の画素平均値を算出する。ここで、偏光画像における注目画素位置の画素値を「Ｐ(x,y)」、周辺画素位置の画素値を「Ｐ(x-1,y-1)」「Ｐ(x,y-1)」「Ｐ(x+1,y-1)」「Ｐ(x-1,y)」「Ｐ(x+1,y)」「Ｐ(x-1,y+1)」「Ｐ(x,y+1)」「Ｐ(x+1,y+1)」とする。また、無偏光画像における注目画素位置の画素値を「Ｑ(x,y)」、周辺画素位置の画素値を「Ｑ(x-1,y-1)」「Ｑ(x,y-1)」「Ｑ(x+1,y-1)」「Ｑ(x-1,y)」「Ｑ(x+1,y)」「Ｑ(x-1,y+1)」「Ｑ(x,y+1)」「Ｑ(x+1,y+1)」とする。

偏光画素平均化処理部５２は、例えば式（６）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α0＝０°」の画素平均値ｍＰ0(x,y)を算出する。同様に、偏光画素平均化処理部５２は、式（７）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α1＝４５°」の画素平均値ｍＰ1(x,y)を算出する。また、偏光画素平均化処理部５２は、式（８）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α2＝９０°」の画素平均値ｍＰ2(x,y)を算出する。さらに、偏光画素平均化処理部５２は、式（９）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α3＝１３５°」の画素平均値ｍＰ3(x,y)を算出する。
ｍＰ0(x,y)＝Ｐ(x,y) ・・・（６）
ｍＰ1(x,y)＝（Ｐ(x-1,y)＋Ｐ(x+1,y)）／２ ・・・（７）
ｍＰ2(x,y)＝（Ｐ(x-1,y-1)＋Ｐ(x+1,y-1)＋Ｐ(x-1,y+1)＋Ｐ(x+1,y+1)）／４
・・・（８）
ｍＰ3(x,y)＝（Ｐ(x,y-1)＋Ｐ(x,y+1)）／２ ・・・（９）

無偏光画素平均化処理部５３は、無偏光画像における注目画素と注目画素の周辺画素を用いて、偏光方向毎の画素平均値を算出する場合と等しい画素位置の画素値から画素平均値を算出する。例えば、無偏光画素平均化処理部５３は、注目画素位置「ｘ，ｙ」において、式（１０）に基づき、偏光方向が「α0＝０°」の画素平均値に対する画素平均値ｍＱ0(x,y)を算出する。同様に、無偏光画素平均化処理部５３は、式（１１）に基づき、偏光方向が「α1＝４５°」の画素平均値に対する画素平均値ｍＱ1(x,y)を算出する。また、無偏光画素平均化処理部５３は、式（１２）に基づき、偏光方向が「α2＝９０°」の画素平均値に対する画素平均値ｍＱ2(x,y)を算出する。さらに、無偏光画素平均化処理部５３は、式（１３）に基づき、偏光方向が「α3＝１３５°」の画素平均値に対する画素平均値ｍＱ3(x,y)を算出する。
ｍＱ0(x,y)＝Ｑ(x,y) ・・・（１０）
ｍＱ1(x,y)＝（Ｑ(x-1,y)＋Ｑ(x+1,y)）／２ ・・・（１１）
ｍＱ2(x,y)＝（Ｑ(x-1,y-1)＋Ｑ(x+1,y-1)＋Ｑ(x-1,y+1)＋Ｑ(x+1,y+1)）／４
・・・（１２）
ｍＱ3(x,y)＝（Ｑ(x,y-1)＋Ｑ(x,y+1)）／２ ・・・（１３）

相関処理部５５は、偏光画素と無偏光画素との間に正の相関があるとして、偏光画像から算出した画素平均値と無偏光画像から算出した画素平均値と無偏光画像における注目画素の画素値から、注目画素位置の偏光方向毎の画素値を算出する。

例えば、相関処理部５５は、式（１４）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α0＝０°」の偏光画素の画素値Ｐ0(x,y)を算出する。同様に、相関処理部５５は、式（１５）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α1＝４５°」の偏光画素の画素値Ｐ1(x,y)を算出する。また、相関処理部５５は、式（１６）に基づきい、注目画素位置「ｘ，ｙ」における偏光方向が「α2＝９０°」の偏光画素の画素値Ｐ2(x,y)を算出する。さらに、相関処理部５５は、式（１７）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α3＝１３５°」の偏光画素の画素値Ｐ3(x,y)を算出する。なお、相関処理部５５は、無偏光画像の注目画素の画素値として画素値Ｑ(x,y)を出力する。
Ｐ0(x,y)＝ｍＰ0(x,y)・Ｑ(x,y)／ｍＱ0(x,y) ・・・（１４）
Ｐ1(x,y)＝ｍＰ1(x,y)・Ｑ(x,y)／ｍＱ1(x,y) ・・・（１５）
Ｐ2(x,y)＝ｍＰ2(x,y)・Ｑ(x,y)／ｍＱ2(x,y) ・・・（１６）
Ｐ3(x,y)＝ｍＰ3(x,y)・Ｑ(x,y)／ｍＱ3(x,y) ・・・（１７）

デモザイク処理部は偏光画像の各画素を注目画素として上述の処理を行うことで、偏光方向毎の偏光成分画像を生成する。また、デモザイク処理部の第２の実施の形態では、無偏光画素の信号成分が画素平均値で正規化されて偏光画素に重畳されることになるので、例えば偏光画素の周波数限界によって生じる折り返し等の問題を改善することが可能となり、無偏光画像と同等の解像度を有した偏光成分画像を、偏光方向毎に生成できるようになる。なお、画素処理部３０が設けられていない場合、デモザイク処理部５０は、画素処理部３０の処理を行い、偏光画素と無偏光画素がベイヤー配列に相当する画素配置である画像または無偏光画像の生成を行う。

＜１－５．偏光情報生成部について＞
偏光情報生成部６０は、デモザイク処理部５０で生成された偏光成分画像と無偏光画像を用いて偏光情報を生成する。

ここで、被写体と偏光画像の関係について図１８を用いて説明する。例えば図１８に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。

偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φ（観測光の偏光位相）とする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１８）のように表すことができる。また、式（１８）は式（１９）として表すこともできる。なお、式（１９）において、偏光パラメータＷａは式（２０）、偏光パラメータＷｂは式（２１）、偏光パラメータＷｃは式（２２）を用いて算出された値である。

図１９は、輝度と偏光角との関係を例示している。また、この例は拡散反射の偏光モデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。輝度と偏光角の関係を示す偏光モデル式である式（１８）または式（１９）は、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、式（１８）または式（１９）に示す偏光モデル式へのフィッティングを行うことにより、フィッティング後の偏光モデル式に基づき、最大輝度となる偏光角である方位角φを判別することができる。

＜１－５－１．偏光情報生成部の第１の動作＞
偏光情報生成部の第１の動作では、二つの偏光方向毎の偏光成分画像と無偏光画像から式（１９）の偏光モデル式のパラメータを算出する場合について図２０を用いて説明する。

偏光方向が偏光角α0である偏光成分画像における注目画素を輝度（画素値）Ｉ0とする。また、偏光方向が偏光角α1である偏光成分画像における注目画素を輝度（画素値）Ｉ1とする。

偏光情報生成部６０は、式（２３）に基づき無偏光画素の輝度（画素値）Ｉcを用いて偏光パラメータＷｃを算出する。式（２３）における係数Ｋは、偏光画素と無偏光画素の感度差を吸収する係数であり、輝度Ｉcは無偏光画素の画素値である。係数Ｋは、撮像部２０の第１の実施の形態の場合、予め所定の被写体を撮像したときに無偏光画素の画素値を偏光画素の画素値と等しくする係数である。また、係数Ｋは、撮像部２０が第２の実施の形態である場合、画素制御部の動作をさらに含めた係数であり、画素制御部で偏光画素と無偏光画素の感度を一致させる制御が行われている場合、係数Ｋは「Ｋ＝１」とする。したがって、撮像部２０の第２の実施の形態のように偏光画素と無偏光画素の感度が等しくされている場合、偏光画素と等しい感度とした無偏光画素の輝度（画素値）は、偏光パラメータＷｃに相当する。
Ｗｃ＝Ｋ・Ｉc ・・・（２３）

偏光情報生成部６０は、式（１９）の偏光モデル式における偏光パラメータＷａ，Ｗｂを、二つの偏光方向の偏光画素と無偏光画素に基づき例えば最小二乗法を用いて算出する。ここで、偏光パラメータｘを式（２４）のように定義する。また、偏光モデルＡを式（２５）のように定義する。さらに、輝度ｙを式（２６）のように定義する。このように偏光パラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、最小二乗法によって式（２７）に基づき偏光パラメータｘを算出する。

ここで、図４の（ａ）に示すように偏光方向が「α0＝０°，α1＝４５°」である場合、偏光パラメータＷａは式（２８）、偏光パラメータＷｂは式（２９）を用いて算出された値となる。また、偏光パラメータＷｃは式（２３）を用いて算出された値である。
Ｗａ＝Ｉ1－Ｋ・Ｉc ・・・（２８）
Ｗｂ＝Ｉ0－Ｋ・Ｉc ・・・（２９）

また、撮像部の第３の実施の形態のように偏光方向が「α0＝２２．５°，α1＝６７．５°」である場合、偏光パラメータＷａは式（３０）、偏光パラメータＷｂは式（３１）を用いて算出された値となる。なお、偏光パラメータＷｃは式（２３）を用いて算出された値である。

偏光情報生成部６０は、偏光パラメータＷａ，Ｗｂ，Ｗｃを算出することにより偏光モデル式を取得して、取得した偏光モデル式を示す偏光情報を生成する。

＜１－５－２．偏光情報生成部の第２の動作＞
偏光情報生成部の第２の動作では、四つの偏光方向毎の偏光成分画像と無偏光画像から式（１９）の偏光モデル式のパラメータを算出する場合について図２１を用いて説明する。

偏光情報生成部６０は、式（１９）の偏光モデル式における偏光パラメータＷａ，Ｗｂ，Ｗｃを、例えば最小二乗法を用いて算出する。なお、偏光方向が「α0＝０°」である偏光成分画像における注目画素を輝度（画素値）Ｉ0とする。また、偏光方向が「α1＝４５°，α2＝９０°，α3＝１３５°」である偏光成分画像における注目画素を輝度（画素値）Ｉ1，Ｉ2，Ｉ3とする。

偏光情報生成部６０は、偏光パラメータｘを式（２４）のように定義する。また、偏光モデルＡを式（３２）のように定義する。さらに、輝度ｙを式（３３）のように定義する。このように偏光パラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、第１の動作と同様に最小二乗法によって式（２７）に基づき偏光パラメータｘを算出する。

ここで、偏光方向が「α0＝０°，α1＝４５°，α2＝９０°，α3＝１３５°」である場合、偏光パラメータＷａは式（３４）、偏光パラメータＷｂは式（３５）、偏光パラメータＷｃは式（２３）を用いて算出された値となる。
Ｗａ＝（Ｉ1－Ｉ3）／２ ・・・（３４）
Ｗｂ＝（Ｉ0－Ｉ2）／２ ・・・（３５）

また、撮像部の第３の実施の形態のように偏光方向が「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」である場合、偏光パラメータＷａは式（３６）、偏光パラメータＷｂは式（３７）を用いて算出された値となる。また、偏光パラメータＷｃは式（２３）を用いて算出された値である。

なお、偏光パラメータＷｃは、偏光成分画像のみを用いる場合、式（３８）を用いて算出してもよい。
Ｗｃ＝（Ｉ0＋Ｉ1＋Ｉ2＋Ｉ3）／４ ・・・（３８）

このように偏光情報生成部６０は、偏光パラメータＷａ，Ｗｂ，Ｗｃを算出することにより偏光モデル式を取得して、取得した偏光モデル式を示す偏光情報を生成する。

また、撮像部の偏光画素が二つの偏光方向の画素で構成されている場合、何れか一方の偏光画素で画素値が飽和してしまうと、正しい偏光情報を生成できない。しかし撮像部の偏光画素を四つの偏光方向の画素で構成した場合、四つの偏光方向の画素の何れか一つの画素で画素値が飽和しても他の三つの偏光画素を用いて三つの偏光パラメータを算出できる。したがって、撮像部の偏光画素が二つの偏光方向である場合に比べて、飽和等による画素値の欠損に対してロバストとすることができる。

＜１－６．法線情報生成部について＞
法線情報生成部７０は、偏光情報生成部６０で生成された偏光情報に基づき法線情報、例えば方位角や天頂角を示す法線情報を生成する。

法線情報生成部７０は、例えば式（３９）に基づいて方位角φを算出する。また、法線情報生成部７０は、式（４０）に基づいて天頂角θを算出する。なお、式（４０）におけるパラメータＡ，Ｂ，Ｃ，Ｄは、式（４１）～（４４）で算出される値であり、式（４０），（４１）に示す偏光度ρは、式（４５）に基づいて算出する。また、式（４１）（４３）（４４）では、被写体ＯＢの屈折率ｎを用いてパラメータＡ，Ｃ，Ｄを算出する。

図２２は、画像処理装置の実施の形態の処理を示すフローチャートである。ステップＳＴ１で画像処理装置は撮像画像を取得する。画像処理装置は、偏光画素と無偏光画素で構成された撮像部を用いて撮像画像を生成してステップＳＴ２に進む。

ステップＳＴ２で画像処理装置は、偏光方向毎の偏光成分画像と無偏光画像を生成する。画像処理装置１０は、撮像画像を用いてデモザイク処理を行い、偏光方向毎の偏光画像である偏光成分画像と無偏光画像を生成する。また、画像処理装置１０は、無偏光画像を用いて高画質の偏光成分画像を生成する。さらに、画像処理装置１０では、無偏光画像を用いて撮像画像における偏光画素のノイズを除去してデモザイク処理を行うようにしてもよい。画像処理装置１０は、偏光成分画像と無偏光画像を生成して、ステップＳＴ３に進む。

ステップＳＴ３で画像処理装置は偏光情報を生成する。画像処理装置１０は、注目画素における偏光方向毎の画素値と無偏光の画素値に基づき、偏光モデル式へのフィッティングを行い、フィッティング後の偏光モデル式を示す偏光情報を生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理装置は法線情報を生成する。画像処理装置１０は、ステップＳＴ３で生成された偏光情報に基づき、注目画素における方位角や天頂角を算出して、算出した方位角や天頂角を示す法線情報を生成する。

以上のように、画像処理装置は、無偏光画素と少なくとも二つの偏光方向毎の偏光画素を配置した撮像部２０で生成された撮像画像から、無偏光画像と偏光方向毎の偏光成分画像をデモザイク処理部５０で生成する。また、画像処理装置は、デモザイク処理部５０で生成した無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報を偏光情報生成部６０で生成する。このように、偏光成分画像だけでなく高感度の無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。また、デモザイク処理部５０は、無偏光画像を用いて偏光方向毎の高解像の偏光成分画像を生成できる。また、ノイズ除去部は、感度の高い無偏光画像を用いることで、偏光画像や偏光画素のノイズ除去を高精度に行うことができる。

＜２．他の実施の形態＞
ところで、上述の画像処理装置では、撮像部で生成される撮像画像が白黒画像である場合について説明したが、撮像画像はカラー画像であってもよい。図２３は、カラー画像を生成する撮像部の構成を例示している。撮像部２０でカラー画像を生成する場合、イメージセンサ２１の入射面に、カラーモザイクフィルタ２３を設ける。なお、カラーモザイクフィルタ２３は、イメージセンサ２１と偏光フィルタ２２との間に設ける場合に限らず、偏光フィルタ２２の入射面に設けてもよい。

偏光フィルタ２２とカラーモザイクフィルタ２３は、異なる偏光方向の偏光画素間で色の違いによる影響を受けることがないように、同じ色で各偏光方向の画素を設けた構成する。また、偏光フィルタ２２とカラーモザイクフィルタ２３は、各色で無偏光画素の画素値を得られるように構成する。

図２４は、カラーモザイクフィルタと偏光フィルタ（２偏光方向）の関係を例示している。図２４の（ａ）において、偏光フィルタ２２は、２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成とする。また、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、二つの偏光方向毎の偏光画素の画素値と赤色または緑色または青色の何れかの色の無偏光画素の画素値が生成される。

図２４の（ｂ）において、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成とする。また、偏光フィルタ２２は、緑色の２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、緑色における二つの偏光方向の偏光画素の画素値が生成される。

図２４の（ｃ）において、偏光フィルタ２２は、２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成とする。また、カラーモザイクフィルタ２３は、２×２画素領域を三つの緑色（Ｇ）の画素と一つの赤色（Ｒ）または青色（Ｂ）の画素とした構成として、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、緑色画素と赤色画素または緑色画素と青色画素である無偏光画素の画素値と、緑色における二つの偏光方向毎の偏光画素の画素値が生成される。

図２４の（ｄ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と赤色（Ｒ）または緑色（Ｇ）または青色（Ｂ）の何れの色の二つの画素とした構成とする。また、４×４画素領域は、赤色画素を含む２×２画素領域と青色画素を含む２×２画素領域と緑色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、緑色画素を含む２×２画素領域の白色画素を偏光方向が等しい偏光画素として、４×４画素領域では、二つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、緑色画素を含む２×２画素領域において二つの偏光方向における何れかの偏光方向の偏光画素の画素値が生成される。

図２４の（ｅ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と緑色（Ｇ）と赤色（Ｒ）、または二つの白色画素と緑色（Ｇ）と青色（Ｂ）の画素とした構成とする。また、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域における一つの白色画素を偏光画素として、４×４画素領域は、二つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、二つの偏光方向における何れかの偏光方向の偏光画素の画素値が生成される。

また、図２４において、撮像部２０では、４×４画素領域毎に各色の無偏光画素の画素値と偏光方向毎の偏光画素の画素値が生成される。

図２５は、カラーモザイクフィルタと偏光フィルタ（４偏光方向）の関係を例示している。図２５の（ａ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と赤色（Ｒ）または緑色（Ｇ）または青色（Ｂ）の何れの色の二つの画素とした構成とする。また、４×４画素領域は、赤色画素を含む２×２画素領域と青色画素を含む２×２画素領域と緑色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域の白色画素を何れかの偏光方向の偏光画素として、４×４画素領域では、四つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、四つの偏光方向における何れかの偏光方向である偏光画素の画素値が生成される。

図２５の（ｂ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と緑色（Ｇ）と赤色（Ｒ）または二つの白色画素と緑色（Ｇ）と青色（Ｂ）の画素とした構成とする。また、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域の二つの白色画素を偏光方向が異なる偏光画素として、４×４画素領域では、四つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、二つの偏光方向の偏光画素の画素値が生成される。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、四つの偏光方向における何れか二つの偏光方向の偏光画素の画素値が生成される。

図２５の（ｃ）において、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。また、偏光フィルタ２２は、緑色の２×２画素領域に偏光方向が互いに異なる四つの偏光画素を設けた構成とする。この場合、撮像部２０では、赤色または青色の２×２画素領域では無偏光画素の画素値が生成されて、緑色の２×２画素領域では、各偏光方向の偏光画素の画素値が生成される。

また、図２５の（ａ）（ｂ）において、撮像部２０では、４×４画素領域毎に各色の無偏光画素の画素値と偏光方向毎の偏光画素の画素値が生成される。

撮像部２０でカラー撮像画像が生成された場合、デモザイク処理部５０では、カラー撮像画像から色成分毎に無偏光画像を生成する。また、デモザイク処理部５０は、偏光方向毎の偏光成分画像を生成する。偏光情報生成部６０は、デモザイク処理部５０で生成された偏光成分画像や無偏光画像を用いて偏光情報を生成する。偏光画素は、上述のように白色または同一色の画素とされていることから、偏光画素間では色の違いによる影響がない。したがって、カラー撮像画像を用いても偏光情報を正しく生成することができる。なお、図２５の（ｃ）では緑色画素が偏光画素とされているため、緑色画素は無偏光画素である赤色画素や青色画素に比べて感度が低下する。したがって、緑色画素の画素値に対して、偏光画素の感度低下に応じた補正を行えば、従来のベイヤー配列のデモザイク処理を行うことで、各色成分の画素が無偏光画素である場合と同様な色成分画像を生成できる。

このように、撮像部でカラー撮像画像を生成すれば、色を利用して精度の良い偏光情報を生成できるようになる。また、撮像部でカラー撮像画像を生成する場合、画素処理部３０は同一色の画素を用いて統合処理を行うことで、色毎に無偏光画像を生成できる。

また、画像処理装置の構成は図１に示す構成に限られない。例えば画素処理部３０は、上述したように撮像部２０の画素構成に対応して構成されることから、撮像部２０と画素処理部３０を一体に構成してもよい。また、偏光画素の感度が低いことによる影響を生じない撮像環境等でのみ撮像部２０が使用される場合、ノイズ除去部４０を省いた構成としてもよい。

＜３．適用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの一つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも一つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、精度良く偏光情報や法線情報を取得することが可能となる。また、無偏光画像を取得することもできる。このため、車外情報検出部で取得された偏光情報や法線情報および無偏光画像を用いて、障害物の検出等を精度良く行うことができるようになり、より安全な走行を可能とする車両制御システムを構築できる。

また、上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
を備える画像処理装置。
（２） 前記デモザイク処理部は、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、前記偏光方向毎に前記注目画素の画素位置における偏光画素の画素値の算出する（１）に記載の画像処理装置。
（３） 前記デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する前記注目画素の画素位置における偏光画素の画素値を算出する（２）に記載の画像処理装置。
（４） 無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、
注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出するノイズ除去部をさらに有し、
前記デモザイク処理部は、前記ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記偏光情報生成部は、注目画素位置の前記偏光特性を示す偏光モデル式の偏光パラメータを、前記偏光方向と前記注目画素位置における無偏光画素と前記偏光方向毎の偏光画素に基づいて算出する（１）乃至（４）の何れかに記載の画像処理装置。
（６） 前記偏光情報生成部は、前記偏光画素と等しい感度とした前記無偏光画素の画素値を前記偏光パラメータとして用いる（５）に記載の画像処理装置。
（７） 前記偏光情報生成部で生成された偏光情報に基づいて前記被写体の法線情報を生成する法線情報生成部をさらに有する（１）乃至（６）の何れかに記載の画像処理装置。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 無偏光画素と偏光画素を配置して、
前記偏光画素は少なくとも二つの偏光方向毎に設けた撮像装置。
（２） 前記無偏光画素と前記偏光画素の感度を一致させる制御を行う画素制御部をさらに有する（１）に記載の撮像装置。
（３） 前記画素制御部は、前記無偏光画素または前記偏光画素の露光期間を制御して前記無偏光画素と前記偏光画素の感度を一致させる（２）に記載の撮像装置。
（４） 前記少なくとも二つの偏光方向を矩形状の画素の辺に対して対称な角度とする（１）乃至（３）の何れかに記載の撮像装置。
（５） ２×２画素領域における対角の画素位置に前記無偏光画素を設けて残りの画素を偏光画素とした（１）乃至（４）の何れかに記載の撮像装置。
（６） 前記偏光方向毎の偏光画素を同一色として、前記無偏光画素を所定の色成分毎の画素とした（１）乃至（５）の何れかに記載の撮像装置。
（７） 無偏光画素を用いた補間処理または同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い、無偏光画像または無偏光画像と偏光画像を生成する画素処理部をさらに有する（１）乃至（６）の何れかに記載の撮像装置。
（８） 同一色の画素の統合処理を行う（７）に記載の撮像装置。

この技術の画像処理装置と画像処理方法および撮像装置では、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像がデモザイク処理部で生成されて、無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報が生成される。このため、偏光成分画像だけでなく光量の低下を生じていない無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。したがって、偏光情報を利用して制御等を行うことができる機器、例えば車両制御システム等に適している。

１０・・・画像処理装置
２０，２０-1，２０-2・・・撮像部
２１，２１-1，２１-2・・・イメージセンサ
２２，２２-1，２２-3・・・偏光フィルタ
２３・・・カラーモザイクフィルタ
３０・・・画素処理部
３１・・・無偏光画素補間部
３２・・・画素値演算部
４０・・・ノイズ除去部
４１・・・重み算出部
４２，４４・・・乗算部
４３，４５・・・積算部
５０・・・デモザイク処理部
５１・・・ベイヤー相当処理部
５２・・・偏光画素平均化処理部
５３・・・無偏光画素平均化処理部
５４・・・中心画素取得部
５５・・・相関処理部
６０・・・偏光情報生成部
７０・・・法線情報生成部
２１１・・・画素アレイ部
２１２，２１２-2・・・垂直走査回路
２１３・・・水平走査回路

Claims (8)

1. 無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
   前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
   を備える画像処理装置。
2. 前記デモザイク処理部は、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、前記偏光方向毎に前記注目画素の画素位置における偏光画素の画素値の算出する
   請求項１に記載の画像処理装置。
3. 前記デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する前記注目画素の画素位置における偏光画素の画素値を算出する
   請求項２に記載の画像処理装置。
4. 無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、
   注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出するノイズ除去部をさらに有し、
   前記デモザイク処理部は、前記ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する
   請求項１に記載の画像処理装置。
5. 前記偏光情報生成部は、注目画素位置の前記偏光特性を示す偏光モデル式の偏光パラメータを、前記偏光方向と前記注目画素位置における無偏光画素と前記偏光方向毎の偏光画素に基づいて算出する
   請求項１に記載の画像処理装置。
6. 前記偏光情報生成部は、前記偏光画素と等しい感度とした前記無偏光画素の画素値を前記偏光パラメータとして用いる
   請求項５に記載の画像処理装置。
7. 前記偏光情報生成部で生成された偏光情報に基づいて前記被写体の法線情報を生成する法線情報生成部をさらに有する
   請求項１に記載の画像処理装置。
8. 無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像をデモザイク処理部で生成することと、
   前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を偏光情報生成部で生成すること
   を含む画像処理方法。

Images