WO2021060118A1

WO2021060118A1 - 撮像装置

Info

Publication number: WO2021060118A1
Application number: PCT/JP2020/035144
Authority: WO
Inventors: 泰史佐藤
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-09-26
Filing date: 2020-09-16
Publication date: 2021-04-01
Anticipated expiration: 2022-03-26
Also published as: TW202129313A; TWI842952B; JPWO2021060118A1; US20220368867A1; KR20220068996A; EP4036617A4; CN114270798A; JP7566761B2; CN114270798B; EP4036617A1

Abstract

カラーフィルタを用いて撮像された画像の品質を向上可能な撮像装置（１）を提供する。画素アレイ（１１０）は、それぞれ６個×６個の画素を含む複数の画素ブロック（１３０）を有し、画素ブロックは、それぞれ第１、第２、第３および第４の波長領域の光を透過させる第１、第２、第３および第４の光学フィルタがそれぞれ設けられた第１、第２、第３および第４の画素を含む。配列の、行方向および列方向のそれぞれに対して第１の画素が１つおきに配置され、配列の各行および各列は、それぞれ、第２、第３および第４の画素が１つずつ配置され、画素ブロックは、さらに、第２、第３および第４の画素を、配列の、画素ブロックの対角と平行な方向である第１の斜め方向に少なくとも１つずつ含む並びと、画素ブロックの対角と平行な方向であり第１の斜め方向と異なる第２の斜め方向に少なくとも１つずつ含む並びと、を含む。

Description

撮像装置

　本開示は、撮像装置に関する。

　Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）の各色のカラーフィルタと、可視光領域の略全域の光を透過させるフィルタ（Ｗ色（白色）のカラーフィルタと呼ぶ）と、を用いた２次元イメージセンサが知られている。

　この２次元イメージセンサにおいては、例えば、４画素×４画素の画素ブロックを単位として、Ｗ色のカラーフィルタが設けられた８個の画素が、ブロックの垂直および水平方向にそれぞれ１つおきに配置される。また、Ｒ色のカラーフィルタが設けられた２つの画素と、Ｂ色のカラーフィルタが設けられた２つの画素と、Ｇ色のカラーフィルタが設けられた４つの画素とが、同色のカラーフィルタが設けられた画素同士が斜め方向に接しないように配置される。

　このような、Ｒ、Ｇ、Ｂ各色のカラーフィルタと、Ｗ色のカラーフィルタとを用いた２次元イメージセンサは、Ｒ、Ｇ、Ｂ各色のカラーフィルタを透過した光に基づきフルカラーの画像を得ることができると共に、Ｗ色のカラーフィルタを透過した光に基づき高い感度を得ることができる。また、このような２次元イメージセンサは、信号処理による可視画像とＩＲ(Infrared)画像との分離が可能となるなど、監視カメラや車載カメラとしての利用が期待される。

国際公開第１３／１４５４８７号特許第６５３０７５１号公報

　上述した、Ｒ、Ｇ、Ｂ、Ｗ各色のカラーフィルタがそれぞれ設けられ、４画素×４画素の配列で各画素が配置された、既存技術による２次元イメージセンサでは、カラーアーティフィクト（偽色）が発生し易く、高品質の画像を得ることが困難であった。

　本開示は、カラーフィルタを用いて撮像された画像の品質を向上可能な撮像装置を提供することを目的とする。

　本開示に係る撮像装置は、行列状の配列で配置される画素を含む画素アレイを備え、画素アレイは、それぞれ６個×６個の画素を含む複数の画素ブロックを有し、画素ブロックは、第１の波長領域の光を透過させる第１の光学フィルタが設けられた第１の画素と、第２の波長領域の光を透過させる第２の光学フィルタが設けられた第２の画素と、第３の波長領域の光を透過させる第３の光学フィルタが設けられた第３の画素と、第４の波長領域の光を透過させる第４の光学フィルタが設けられた第４の画素と、を含み、配列の、行方向および列方向のそれぞれに対して第１の画素が１つおきに配置され、配列の各行および各列は、それぞれ、第２の画素、第３の画素および第４の画素が１つずつ配置され、画素ブロックは、さらに、第２の画素、第３の画素および第４の画素を、配列の、画素ブロックの対角と平行な方向である第１の斜め方向に少なくとも１つずつ含む並びと、画素ブロックの対角と平行な方向であり第１の斜め方向と異なる第２の斜め方向に少なくとも１つずつ含む並びと、を含む。

第１の実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。各実施形態に適用可能な撮像部の一例の構成を示すブロック図である。第１の実施形態に適用可能な撮像装置のハードウェア構成の例を示すブロック図である。既存技術による、Ｒ、Ｇ、Ｂ、Ｗ各色のカラーフィルタを用いた画素配列の例を示す模式図である。画素アレイが既存技術による画素配列を有する撮像装置を用いて、ＣＺＰを撮像した撮像画像の例を示す図である。第１の実施形態に適用可能な画素配列の例を示す模式図である。第１の実施形態に適用可能な画素配列の例を示す模式図である。第１の実施形態に係る、同時化処理を実行するための２つの系列を説明するための模式図である。第１の実施形態に係る、同時化処理を実行するための２つの系列を説明するための模式図である。Ａ系列の画素グループを抜き出して示す模式図である。Ｄ系列の画素グループを抜き出して示す模式図である。第１の実施形態に適用可能な画像処理部の機能を説明するための一例の機能ブロック図である。第１の実施形態に係る画素配列および信号処理の効果について説明するための模式図である。本開示に適用可能な画素配列の別の例を示す模式図である。本開示に適用可能な画素配列の別の例を示す模式図である。本開示に適用可能な画素配列の別の例を示す模式図である。第２の実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能なデュアルパスフィルタの透過特性の例を示す図である。第２の実施形態に適用可能な画像処理部の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能なＩＲ分離処理部の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能な赤外光成分生成部の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能な可視光成分生成部の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能な飽和画素検出部の機能を説明するための一例の機能ブロック図である。第２の実施形態に適用可能な、信号レベル毎の係数αの値の設定例を示す模式図である。第２の実施形態に適用可能な、画素Ｒ、Ｇ、ＢおよびＷそれぞれの感度特性の一例を示す模式図である。第２の実施形態に係る赤外成分分離後の感度特性の一例を示す模式図である。本開示に係る撮像装置の使用例を示す図である。本開示に係る撮像装置を搭載可能な車両のシステム構成例を示すブロック図である。車両システムのフロントセンシングカメラに係る一例の構成を示すブロック図である。本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。撮像部の設置位置の例を示す図である。

　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

　以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の第１の実施形態
　１－１．第１の実施形態に適用可能な構成
　１－２．既存技術の説明
　１－３．第１の実施形態の説明
　１－４．第１の実施形態の第１の変形例
　１－５．第１の実施形態の第２の変形例
２．第２の実施形態
　２－１．第２の実施形態に適用可能な構成
　２－２．第２の実施形態に適用可能なＩＲ分離処理
３．第３の実施形態
　３－０．移動体への応用例

［１．本開示の第１の実施形態］
　以下、本開示の第１の実施形態について説明する。第１の実施形態は、各画素に対して例えばＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色のカラーフィルタを設ける場合において、各カラーフィルタの配列および各画素から読み出した画素信号に対する信号処理を工夫することで、偽色の発生を抑制するものである。

　ここで、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色のカラーフィルタは、それぞれ、赤色の波長領域、緑色の波長領域、青色の波長領域の光をそれぞれ選択的に透過させる光学フィルタである。また、Ｗ（白）色のカラーフィルタは、例えば可視光の略全域の波長領域の光を所定の透過率以上で透過させる光学フィルタである。

　なお、ある波長領域の光を選択的に透過させる、とは、当該波長領域の光を所定の透過率以上で透過させ、当該波長領域以外の波長領域を、当該所定の透過率未満の透過率とすることをいうものとする。

（１－１．第１の実施形態に適用可能な構成）
　先ず、本開示の第１の実施形態に適用可能な技術について説明する。図１は、第１の実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。図１において、撮像装置１は、撮像部１０と、光学部１１と、画像処理部１２と、出力処理部１３と、制御部１４と、を含む。

　撮像部１０は、それぞれ１以上の受光素子を含む複数の画素が行列状に配列された画素アレイを有する。画素アレイにおいて、各画素に対して、それぞれ所定の波長領域の光を選択的に透過させる光学フィルタ（カラーフィルタ）が１対１に設けられる。また、光学部１１は、レンズや絞り機構、フォーカス機構などを含み、被写体からの光を画素アレイの受光面に導く。

　撮像部１０は、指定された露出時間で露出された各画素から画素信号を読み出して、読み出した画素信号に対してノイズ除去やゲイン調整といった信号処理を施すと共にデジタル方式の画素データに変換する。撮像部１０は、この画素信号に基づく画素データを出力する。この、撮像部１０による、露出および露出された画素から画素信号を読み出して画素データとして出力する一連の動作を、撮像と呼ぶ。

　画像処理部１２は、撮像部１０から出力された画素データに対して所定の信号処理を施して出力する。画像処理部１２が画素データに対して施す信号処理は、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の各色のカラーフィルタが１対１に設けられた各画素の画素データに対してＲ、Ｇ、Ｂの各色の情報を持たせる、同時化処理を含む。画像処理部１２は、信号処理を施された各画素データを出力する。

　出力処理部１３は、画像処理部１２から出力された画像データを、例えばフレーム単位の画像データとして出力する。このとき、出力処理部１３は、出力する画像データを、撮像装置１から出力するために適した形式に変換する。出力処理部１３から出力された出力画像データは、例えば、図示されないディスプレイに供給され、画像として表示される。これに限らず、出力画像データが他の装置、例えば出力画像データに対して認識処理を行う装置や、出力画像データに基づき制御を行う制御装置に供給されてもよい。

　制御部１４は、この撮像装置１の全体の動作を制御する。制御部１４は、例えばＣＰＵ(Central　Processing　Unit)と、撮像装置１の各部と通信を行うためのインタフェース回路とを含み、ＣＰＵが所定のプログラムに従い動作することで各種の制御信号を生成し、生成した制御信号により撮像装置１の各部を制御する。

　なお、上述した画像処理部１２および出力処理部１３は、例えば、所定のプログラムに従い動作するＤＳＰ(Digital　Signal　Processor)やＩＳＰ(Image　Signal　Processor)により構成することができる。これに限らず、画像処理部１２および出力処理部１３のうち一方または両方を、制御部１４と共にＣＰＵ上で動作するプログラムにより実現してもよい。これらのプログラムは、撮像装置１が有する不揮発性のメモリに予め記憶されていてもよいし、外部から撮像装置１に供給して当該メモリに書き込んでもよい。

　図２は、各実施形態に適用可能な撮像部１０の一例の構成を示すブロック図である。図２において、撮像部１０は、画素アレイ部１１０と、垂直走査部２０と、水平走査部２１と、制御部２２と、を含む。

　画素アレイ部１１０は、それぞれ受光した光に応じた電圧を生成する受光素子を有する複数の画素１００を含む。受光素子としては、フォトダイオードを用いることができる。画素アレイ部１１０において、複数の画素１００は、水平方向（行方向）および垂直方向（列方向）に行列状に配列される。画素アレイ部１１０において、画素１００の行方向の並びをラインと呼ぶ。この画素アレイ部１１０において所定数のラインから読み出された画素信号に基づき、１フレームの画像（画像データ）が形成される。例えば、３０００画素×２０００ラインで１フレームの画像が形成される場合、画素アレイ部１１０は、少なくとも３０００個の画素１００が含まれるラインを、少なくとも２０００ライン、含む。

　また、画素アレイ部１１０には、各画素１００の行および列に対し、行毎に画素信号線ＨＣＴＬが接続され、列毎に垂直信号線ＶＳＬが接続される。

　画素信号線ＨＣＴＬの画素アレイ部１１０と接続されない端部は、垂直走査部２０に接続される。垂直走査部２０は、例えば制御部１４から供給される制御信号に従い、画素１００から画素信号を読み出す際の駆動パルスなどの複数の制御信号を、画素信号線ＨＣＴＬを介して画素アレイ部１１０へ伝送する。垂直信号線ＶＳＬの画素アレイ部１１０と接続されない端部は、水平走査部２１に接続される。

　水平走査部２１は、ＡＤ(Analog　to　Digital)変換部と、出力部と、信号処理部と、を含む。画素１００から読み出された画素信号は、垂直信号線ＶＳＬを介して水平走査部２１のＡＤ変換部に伝送される。

　画素１００からの画素信号の読み出し制御について、概略的に説明する。画素１００からの画素信号の読み出しは、露出により受光素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating　Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。

　より具体的には、画素１００において、露出中は、受光素子と浮遊拡散層との間をオフ（開）状態として、受光素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線ＨＣＴＬを介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線ＨＣＴＬを介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ｐとする）が出力される。その後、画素信号線ＨＣＴＬを介して供給される転送パルスにより受光素子と浮遊拡散層との間をオン（閉）状態として、受光素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｑとする）が出力される。

　水平走査部２１において、ＡＤ変換部は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器を含み、垂直信号線ＶＳＬを介して画素１００から供給された画素信号は、ＡＤ変換器によりＡＤ変換処理が施され、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のための２つのディジタル値（電圧Ｐおよび電圧Ｑにそれぞれ対応する値）が生成される。

　ＡＤ変換器により生成された２つのディジタル値は、信号処理部によりＣＤＳ処理が施され、ディジタル信号による画素信号（画素データ）が生成される。生成された画素データは、撮像部１０から出力される。

　水平走査部２１は、制御部２２の制御の下、垂直信号線ＶＳＬ毎のＡＤ変換器を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器が一時的に保持している各ディジタル値を信号処理部へ順次出力させる。水平走査部２１は、例えばシフトレジスタやアドレスデコーダなどを含む構成により、この動作を実現する。

　制御部２２は、垂直走査部２０、水平走査部２１などの駆動制御を行う。制御部２２は、垂直走査部２０および水平走査部２１の動作の基準となる各種の駆動信号を生成する。制御部２２は、外部（例えば制御部１４）から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部２０が画素信号線ＨＣＴＬを介して各画素１００に供給するための制御信号を生成する。制御部２２は、生成した制御信号を垂直走査部２０に供給する。

　垂直走査部２０は、制御部２２から供給される制御信号に基づき、画素アレイ部１１０の選択された画素行の画素信号線ＨＣＴＬに駆動パルスを含む各種信号を、ライン毎に各画素１００に供給し、各画素１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部２０は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

　このように構成された撮像部１０は、ＡＤ変換器が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。

　図３は、第１の実施形態に適用可能な撮像装置１のハードウェア構成の例を示すブロック図である。図３において、撮像装置１は、それぞれバス２０２０により接続される、ＣＰＵ２０００と、ＲＯＭ(Read　Only　Memory)２００１と、ＲＡＭ(Random　Access　Memory)２００２と、撮像部２００３と、ストレージ２００４と、データＩ／Ｆ２００５と、操作部２００６と、表示制御部２００７と、を含む。また、撮像装置１は、それぞれバス２０２０により接続される、画像処理部２０１０と、出力Ｉ／Ｆ２０１２と、を含む。

　ＣＰＵ２０００は、ＲＯＭ２００１に予め記憶されたプログラムに従い、ＲＡＭ２００２をワークメモリとして用いて、この撮像装置１の全体の動作を制御する。

　撮像部２００３は、図１の撮像部１０に対応し、撮像を行い画素データを出力する。撮像部２００３から出力された画素データは、画像処理部２０１０に供給される。画像処理部２０１０は、図１の画像処理部１２に対応すると共に、出力処理部１３の機能の一部を含む。画像処理部２０１０は、撮像部１０から供給された画素データに対して所定の信号処理を施し、フレームメモリ２０１１に順次に書き込む。フレームメモリ２０１１に書き込まれた１フレーム分の画素データは、フレーム単位の画像データとして、画像処理部２０１０から出力される。

　出力Ｉ／Ｆ２０１２は、画像処理部２０１０から出力された画像データを外部に出力するためのインタフェースである。出力Ｉ／Ｆ２０１２は、例えば図１の出力処理部１３の一部の機能を含み、画像処理部２０１０から供給された画像データを、所定の形式の画像データに変換して出力することができる。

　ストレージ２００４は、例えばフラッシュメモリであって、画像処理部２０１０から出力された画像データを記憶、蓄積することができる。また、ストレージ２００４は、ＣＰＵ２０００を動作させるためのプログラムを記憶させることもできる。さらには、ストレージ２００４は、撮像装置１に内蔵される構成に限らず、撮像装置１に対して着脱可能な構成としてもよい。

　データＩ／Ｆ２００５は、撮像装置１が外部機器とデータの送受信を行うためのインタフェースである。データＩ／Ｆ２００５としては、例えばＵＳＢ(Universal　Serial　Bus)を適用することができる。また、データＩ／Ｆ２００５として、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信を行うインタフェースを適用することもできる。

　操作部２００６は、撮像装置１に対するユーザ操作を受け付ける。操作部２００６は、ユーザ入力を受け付ける入力デバイスとして、ダイヤルやボタンなどの操作子を含む。操作部２００６は、入力デバイスとして、接触した位置に応じた信号を出力するタッチパネルを含んでもよい。

　表示制御部２００７は、ＣＰＵ２０００により渡された表示制御信号に基づき、ディスプレイ２００８が表示可能な表示信号を生成する。ディスプレイ２００８は、例えばＬＣＤ(Liquid　Crystal　Display)を表示デバイスとして用い、表示制御部２００７により生成された表示信号に従った画面を表示させる。なお、撮像装置１の用途によっては、表示制御部２００７およびディスプレイ２００８を省略することができる。

（１－２．既存技術の説明）
　ここで、第１の実施形態の詳細な説明に先立って、理解を容易とするために、本開示に関連する既存技術について説明する。図４は、既存技術による、Ｒ、Ｇ、Ｂ、Ｗ各色のカラーフィルタを用いた画素配列の例を示す模式図である。図４の例では、４画素×４画素の画素ブロック１２０を単位として、Ｗ色のカラーフィルタが設けられた８個の画素が、モザイク状、すなわち、画素ブロック１２０の垂直および水平方向にそれぞれ１つおきに配置される。また、Ｒ色のカラーフィルタが設けられた２つの画素と、Ｂ色のカラーフィルタが設けられた２つの画素と、Ｇ色のカラーフィルタが設けられた４つの画素とが、同色のカラーフィルタが設けられた画素同士が斜め方向に接しないように配置される。

　なお、以下では、Ｒ色のカラーフィルタが設けられた画素を画素Ｒと呼ぶ。Ｇ、ＢおよびＷ各色のカラーフィルタが設けられた画素についても、同様である。

　より具体的には、図４の例では、画素が４画素×４画素の行列上の配列で配置された画素ブロック１２０に対して、上端の行である第１行に、左端側から画素Ｒ、画素Ｗ、画素Ｂ、画素Ｗの順で各画素が配置され、第２行に、左端側から画素Ｗ、画素Ｇ、画素Ｗ、画素Ｗ、画素Ｇの順で各画素が配置される。第３行目および第４行目は、第１行目および第２行目の繰り返しである。

　このような画素配列において、画素Ｒ、画素Ｇおよび画素Ｂに対して同時化処理を施し、当該画素Ｒ、画素Ｇおよび画素Ｂそれぞれの位置の画素に、Ｒ、ＧおよびＢ各色の成分を持たせる。同時化処理は、例えば、注目画素（画素Ｒとする）において、Ｒ色の成分は、当該注目画素の画素値を用いる。また、画素Ｒ以外の色（例えばＧ色）の成分は、注目画素の近傍の画素Ｇの画素値から推測する。Ｂ色の成分についても同様に、注目画素の近傍の画素Ｂの画素値から推測する。各色の成分の推測は、例えばローパスフィルタを用いて行うことができる。

　以上の処理を、画素アレイに含まれる全ての画素Ｒ、画素Ｇおよび画素Ｂに適用することで、画素Ｒ、画素Ｇおよび画素Ｂそれぞれに対して、Ｒ色、Ｇ色およびＢ色の成分を持たせることが可能となる。画素Ｗについても、同様の手法が適用可能である。また、図４の画素配列では、画素Ｗをモザイク状に配置することで、高い感度を得ることが可能である。

　図５は、図４に示した、画素アレイが既存技術による画素配列を有する撮像装置を用いて、ＣＺＰ(Circular　Zone　Plate)を撮像した撮像画像の例を示す図である。図５では、ＣＺＰを撮像した撮像画像のうち、垂直方向の中心線Ｈｃｎｔと、水平方向の中心線Ｖｃｎｔとを含む、全体の略１／４の領域が示されている。なお、図５において、値ｆｓは、サンプリング周波数を示し、画素アレイにおける画素ピッチに対応する。以下、値ｆｓを、周波数ｆｓとして説明を行う。

　図５によれば、垂直方向の中心線Ｈｃｎｔにおける周波数ｆｓ／２に対応する位置１２１と、水平方向の中心線Ｖｃｎｔにおける周波数ｆｓ／２に対応する位置１２２と、に偽色が発生していることが分かる。また、中心位置と垂直および水平方向の周波数ｆｓ／４に対応する、斜め方向の位置１２３にも、偽色が発生していることが分かる。すなわち、垂直および水平方向に対しては、周波数ｆｓ／２に対応する周波数帯域に強い偽色が発生する。また、斜め方向に対しては、周波数ｆｓ／４に対応する周波数帯域に強い偽色が発生する。

　ここで、図４の画素配列を参照すると、例えば画素Ｒ、ＧおよびＢのうち画素Ｇのみを含む行および列が１行および１列おきに出現する。その他の行および列では、画素Ｒ、ＧおよびＢのうち画素ＲおよびＢを含み、画素Ｇを含まない。また、斜め方向の並びについては、画素Ｒ、ＧおよびＢのうち画素ＲおよびＧを含み、画素Ｂを含まない並びと、画素Ｒ、ＧおよびＢのうち画素ＧおよびＢを含み、画素Ｒを含まない並びとなる。

　このように、既存の画素配列では、行方向、列方向および斜め方向に特定の色の画素を含まない並びが存在する。そのため、同時化処理において偏りが生じ、例えば垂直および水平方向において周波数ｆｓ／２に対応する周波数帯域と、斜め方向において周波数ｆｓ／４に対応する周波数帯域と、に対して強い偽色が発生する。また、既存技術の画素配列により発生する偽色を信号処理により対応することを考えた場合、複雑な回路が必要になり、さらに、有彩色の被写体が無彩色化するなどの副作用が発生するおそれがある。

（１－３．第１の実施形態の説明）
　次に、第１の実施形態について説明する。第１の実施形態では、画素Ｒ、Ｇ、Ｂと画素Ｗとを用いた画素配列において、行方向、列方向および斜め方向のそれぞれについて、画素Ｒ、ＧおよびＢが全て含まれる画素配列を提案する。さらに、画素Ｒ、ＧおよびＢから読み出された画素信号に対する簡易な信号処理により、偽色の発生を抑制する。

　図６Ａおよび図６Ｂは、第１の実施形態に適用可能な画素配列の例を示す模式図である。第１の実施形態では、図６Ａに示すように、６画素×６画素の画素ブロック１３０を単位とする。図６Ａにおいて、画素ブロック１３０は、第１の波長領域の光を透過させる第１の光学フィルタと、第２の波長領域の光を選択的に透過させる第２の光学フィルタと、第３の波長領域の光を選択的に透過させる第３の光学フィルタと、第４の波長領域の光を選択的に透過させる第４の光学フィルタと、を含む。

　第１の光学フィルタは、例えば可視光領域の略全域の光を透過させるカラーフィルタであって、上述したＷ色のカラーフィルタを適用できる。第２の光学フィルタは、例えば赤色の波長領域の光を選択的に透過させるＲ色のカラーフィルタである。第３の光学フィルタは、例えば緑色の波長領域の光を選択的に透過させるＧ色のカラーフィルタである。同様に、第４の光学フィルタは、例えば青色の波長領域の光を選択的に透過させるＢ色のカラーフィルタである。

　図６Ａの例では、Ｗ色のカラーフィルタが設けられた画素Ｗが画素ブロック１３０に対してモザイク状、すなわち行方向および列方向にそれぞれ１つおきに配置される。Ｒ色のカラーフィルタが設けられた画素Ｒ、Ｇ色のカラーフィルタが設けられた画素Ｇ、および、Ｂ色のカラーフィルタが設けられた画素Ｂは、画素ブロック１３０において、各行および各列に対して、画素Ｒ、ＧおよびＢがそれぞれ１つずつ含まれるように、配置される。

　ここで、図６Ａの例では、画素ブロック１３０の各行は、画素Ｒ、Ｇ、およびＢによる順列を全て含む。すなわち、画素Ｒ、ＧおよびＢを１つずつ選択して並べる場合の順列の数は３！＝６であり、画素ブロック１３０に含まれる６行は、画素Ｒ、ＧおよびＢの順序が互いに異ならされる。具体的には、画素ブロック１３０の上端を第１行とし、画素Ｒ、ＧおよびＢをそれぞれＲ、Ｇ、Ｂと表すと、図６Ａの例では、左端側から、第１行目は（Ｒ，Ｇ，Ｂ）の順、第２行目は（Ｇ，Ｒ，Ｂ）の順、第３行目は（Ｂ，Ｒ，Ｇ）の順、第４行目は（Ｒ，Ｂ，Ｇ）の順、第５行目は（Ｇ，Ｂ，Ｒ）の順、第６行目は（Ｂ，Ｇ，Ｒ）の順、となっている。

　また、斜め方向については、画素ブロック１３０は、画素ブロック１３０の対角と平行な方向である第１の斜め方向に画素Ｒ、ＧおよびＢを少なくとも１つずつ含む並びと、画素ブロック１３０の対角と平行な方向であって当該第１の斜め方向と異なる第２の斜め方向に画素Ｒ、ＧおよびＢを少なくとも１つずつ含む並びと、を含む。

　図６Ｂは、図６Ａに示した画素ブロック１３０を繰り返し配置した例を示す模式図である。ここで、図６Ｂに示される、複数の画素ブロック１３０が配置された例において、全体の中から任意に６画素×６画素の画素ブロックを指定した場合であっても、指定された画素ブロックにおいて、上述した、「各行および各列に対して、画素Ｒ、ＧおよびＢがそれぞれ１つずつ含まれる」条件が満たされることが分かる。また、任意に指定された画素ブロックの各行は、画素Ｒ、Ｇ、およびＢによる順列を全て含む。

　この図６Ａおよび図６Ｂに示す画素配列において、２つの系列を抽出し、同時化処理は、この２つの系列についてそれぞれ独立して実行する。図７Ａおよび図７Ｂは、第１の実施形態に係る、同時化処理を実行するための２つの系列を説明するための模式図である。図７Ａは、同時化処理を実行するための２つの系列のうち第１の系列を説明するための図、図７Ｂは、当該２つの系列のうち第２の系列を説明するための図である。

　図７Ａにおいて、第１の系列として抽出される画素は、画素Ｒ、ＧおよびＢを示す「Ｒ」、「Ｇ」および「Ｂ」に「（Ａ）」を付して示している。図７Ａに「Ｒ（Ａ）」、「Ｇ（Ａ）」および「Ｂ（Ａ）」としてそれぞれ示されるように、画素ブロック１３０の２行目、４行目および６行目に含まれる画素Ｒ、ＧおよびＢが、第１の系列に含まれる画素として抽出されている。以下、第１の系列として抽出される画素Ｒ、ＧおよびＢによる画素グループを、Ａ系列の画素グループと呼ぶ。

　一方、図７Ｂにおいて、第２の系列として抽出される画素は、画素Ｒ、ＧおよびＢを示す「Ｒ」、「Ｇ」および「Ｂ」に「（Ｄ）」を付して示している。図７Ｂに「Ｒ（Ｄ）」、「Ｇ（Ｄ）」および「Ｂ（Ｄ）」としてそれぞれ示されるように、図７Ａにおいて第１の系列として抽出されない、画素ブロック１３０の第１行目、第３行目および第５行目に含まれる画素Ｒ、ＧおよびＢが、第２の系列として抽出されている。以下、第２の系列として抽出される画素Ｒ、ＧおよびＢによる画素グループを、Ｄ系列の画素グループと呼ぶ。

　ここで、図７Ａに示すＡ系列の画素グループでは、矢印ａで示す、画素ブロック１３０の左上から右下に向けた斜め方向に、画素Ｒ、ＧおよびＢが所定の順序で繰り返し配置される。同様に、図７Ｂに示すＤ系列の画素グループでは、矢印ｄで示す、画素ブロック１３０の右上から左下に向けた斜め方向に、画素Ｒ、ＧおよびＢが所定の順序で繰り返し配置される。

　図８Ａおよび図８Ｂは、図７Ａおよび図７Ｂから、Ａ系列の画素グループおよびＤ系列の画素グループをそれぞれ抜き出して示す模式図である。図８Ａに示されるように、Ａ系列の画素グループでは、矢印ａで示される斜め方向のそれぞれの並びについて、画素Ｒ、ＧおよびＢが、同じ色の画素が続かない所定の順序で繰り返し配置される。同様に、Ｄ系列の画素グループでは、図８Ｂに示されるように、矢印ｄで示される斜め方向のそれぞれの並びについて、画素Ｒ、ＧおよびＢが、同じ色の画素が続かない所定の順序で繰り返し配置される。

　なお、例えば図８Ａにおいて、矢印ａの方向と直行する方向の矢印ａ’で示される斜め方向のそれぞれの並びでは、同じ色の画素が続けて配置されている。同様に、図８Ｂにおいて、矢印ｄの方向と直行する方向の矢印ｄ’で示される斜め方向のそれぞれの並びでは、同じ色の画素が続けて配置されている。

　このように、Ａ系列の画素グループおよびＤ系列の画素グループは、それぞれ各行および各列において画素Ｒ、ＧおよびＢを略均等に含む。また、斜め方向については、それぞれ特定の方向について画素Ｒ、ＧおよびＢを略均等に含む。そのため、Ａ系列の画素グループおよびＤ系列の画素グループのそれぞれに対して独立して同時化処理を実行し、その結果に基づき各画素のＲ、ＧおよびＢ各色の値を決めることで、偽色を抑制した画像を得ることが可能となる。

　図９は、第１の実施形態に適用可能な画像処理部１２の機能を説明するための一例の機能ブロック図である。図９において、画像処理部１２は、ホワイトバランスゲイン（ＷＢＧ）部１２００と、低周波成分同時化部１２０１と、高周波成分抽出部１２０２と、偽色抑制処理部１２０３と、高周波成分復元部１２０４と、を含む。

　撮像部１０から出力されたＲ、Ｇ、ＢおよびＷ各色の画素データは、ＷＢＧ部１２００に入力される。ＷＢＧ部１２００は、必要に応じて、Ｒ、ＧおよびＢ各色の画素データに対してホワイトバランス処理を行う。例えば、ＷＢＧ部１２００は、設定された色温度に応じたゲインにより、画素Ｒ、画素Ｇおよび画素Ｂの各画素データのゲインのバランスを調整する。ＷＢＧ部１２００でホワイトバランスゲインを調整された各画素Ｒ、Ｇ、ＢおよびＷの画素データは、低周波成分同時化部１２０１と、高周波成分抽出部１２０２にそれぞれ入力される。

　高周波成分抽出部１２０２は、例えばハイパスフィルタを用いて、入力された画素Ｗの画素データの高周波成分を抽出する。高周波成分抽出部１２０２は、抽出した高周波成分の値を高周波成分復元部１２０４に供給する。

　低周波成分同時化部１２０１は、入力された画素Ｒ、ＧおよびＢそれぞれの画素データに対して、例えばローパスフィルタを用いて同時化処理を実行する。このとき、低周波成分同時化部１２０１は、入力された画素Ｒ、ＧおよびＢそれぞれの画素データを、図７Ａおよび図７Ｂ、ならびに、図８Ａおよび図８Ｂを用いて説明した、Ａ系列の画素グループに含まれる画素データ（以下、Ａ系列の画素データと呼ぶ）と、Ｄ系列の画素グループに含まれる画素データ（以下、Ｄ系列の画素データと呼ぶ）と、に分ける。低周波成分同時化部１２０１は、Ａ系列の画素データに基づく同時化処理と、Ｄ系列の画素データに基づく同時化処理と、をそれぞれ独立して実行する。

　より具体的には、低周波成分同時化部１２０１は、Ａ系列の画素データに基づく同時化処理により対象画素について生成したＲ、ＧおよびＢ各色の成分の値を示すデータＲａ、ＧａおよびＢａを出力する。同様に、低周波成分同時化部１２０１は、Ｄ系列の画素データに基づく同時化処理により対象画素について生成したＲ、ＧおよびＢ各色の成分の値を示すデータＲｄ、ＧｄおよびＢｄを出力する。

　さらに、低周波成分同時化部１２０１は、対象画素に対して、Ａ系列の画素データとＤ系列の画素データとを用いた同時化処理も実行する。例えば、低周波成分同時化部１２０１は、上述のデータａ、ＧａおよびＢａと、データＲｄ、ＧｄおよびＢｄと、について、各色毎に成分の値の平均値を算出する。Ｒ、ＧおよびＢ各色の成分の平均のデータＲａｖｅ、ＧａｖｅおよびＢａｖｅは、例えば、それぞれＲａｖｅ＝(Ｒａ－Ｒｄ)／２、Ｇａｖｅ＝(Ｇａ－Ｇｄ)／２、Ｂａｖｅ＝(Ｂａ－Ｂｄ)／２により算出される。

　低周波成分同時化部１２０１から出力された、対象画素に対するデータＲａ、ＧａおよびＢａと、データＲｄ、ＧｄおよびＢｄと、データＲａｖｅ、ＧａｖｅおよびＢａｖｅと、が偽色抑制処理部１２０３に入力される。

　偽色抑制処理部１２０３は、色差最小アルゴリズムを用いて、データＲａ、ＧａおよびＢａの組（Ａ系列の組と呼ぶ）と、データＲｄ、ＧｄおよびＢｄの組（Ｄ系列の組と呼ぶ）と、データＲａｖｅ、ＧａｖｅおよびＢａｖｅの組（平均値の組と呼ぶ）と、のうち、何れの組を低周波成分同時化部１２０１の出力として採用するかを決定する。

　より具体的には、偽色抑制処理部１２０３は、Ａ系列の組、Ｄ系列の組および平均値の組それぞれにおいて、次式（１）、（２）および（３）に示すように、色差の自乗和を算出する。
Ｃｄａ＝(Ｒａ－Ｇａ)²＋(Ｂａ－Ｇａ)²　　…（１）
Ｃｄｄ＝(Ｒｄ－Ｇｄ)²＋(Ｂｄ－Ｇｄ)²　　…（２）
Ｃｄａｖｅ＝(Ｒａｖｅ－Ｇａｖｅ)²＋(Ｂａｖｅ－Ｇａｖｅ)²　　…（３）

　偽色抑制処理部１２０３は、式（１）～（３）により算出された値Ｃｄａ、ＣｄｄおよびＣｄａｖｅのうち、最も値が小さいものを選択し、選択された値を算出した組のＲ、ＧおよびＢ各色の値を、対象画素のＲ、ＧおよびＢ各色の成分の値を示すデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔとして決定する。偽色抑制処理部１２０３は、このデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔを出力する。

　偽色抑制処理部１２０３から出力されたデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔは、高周波成分復元部１２０４に入力される。高周波成分復元部１２０４は、高周波成分抽出部１２０２から入力された高周波成分の値を用いて、既知の手法により、偽色抑制処理部１２０３から入力されたデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔの高周波成分を復元する。高周波成分復元部１２０４は、データＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔの高周波成分を復元したデータＲ、ＧおよびＢを、対象画素の画素データにおけるＲ、ＧおよびＢ各色の成分の値を示すデータとして出力する。

　図１０は、第１の実施形態に係る画素配列および信号処理の効果について説明するための模式図である。図１０のセクション（ａ）は、上述した図５に対応する図であって、既存技術による、画素アレイが４画素×４画素の画素ブロック１２０（図４参照）による画素配列を有する撮像装置を用いてＣＺＰを撮像した撮像画像の例を示す図である。また、図１０のセクション（ｂ）およびセクション（ｃ）は、それぞれ、第１の実施形態に係る、画素アレイが図６Ａに示す６画素×６画素の画素ブロック１３０による画素配列を有する撮像装置１を用いてＣＺＰを撮像した撮像画像の例を示す図である。

　図１０のセクション（ｂ）は、偽色抑制処理部１２０３において、上述した式（３）による、平均値の組のＲ、ＧおよびＢ各色の成分のデータを、対象画素のＲ色成分、Ｇ色成分およびＢ色成分の値をそれぞれ示すデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔとして選択した場合の例を示す図である。このセクション（ｂ）の図の例では、位置１２１ａおよび１２２ａに示されるように、セクション（ａ）の例において発生していた、垂直および水平方向それぞれの周波数ｆｓ／２に対応する偽色が略消滅していることが分かる。また、セクション（ｂ）の例では、位置１２３ａに示すように、垂直および水平方向の周波数ｆｓ／４に対応して、４つに分岐した偽色が発生している。

　図１０のセクション（ｃ）は、偽色抑制処理部１２０３において、上述した色差最小アルゴリズムを用いて対象画素のＲ色成分、Ｇ色成分およびＢ色成分のデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔを求めた場合の例を示す図である。このセクション（ｃ）の例では、位置１２１ｂおよび１２２ｂに示されるように、セクション（ａ）の例において発生していた、垂直および水平方向それぞれの周波数ｆｓ／２に対応する偽色が、セクション（ａ）の例と比較して抑制されていることが分かる。また、セクション（ｃ）の例では、位置１２３ａに示すように、垂直および水平方向の周波数ｆｓ／４に対応する偽色が、セクション（ａ）および（ｂ）の例と比較して抑制されていることが分かる。

　このように、第１の実施形態に係る画素配列を適用することで、簡易な信号処理により、画素アレイに対してＲ、Ｇ、Ｂ各色のカラーフィルタに加え、Ｗ色のカラーフィルタを用いた場合の撮像画像における偽色の発生を抑制することができる。

（１－４．第１の実施形態の第１の変形例）
　次に、第１の実施形態の第１の変形例について説明する。第１の実施形態の変形例では、本開示に適用可能な画素配列の別の例について説明する。図１１Ａ、図１１Ｂおよび図１１Ｃは、本開示に適用可能な画素配列の別の例を示す模式図である。

　図１１Ａに示す画素ブロック１３１は、図６Ａを用いて説明した第１の実施形態に係る画素ブロック１３０における画素Ｗを、黄色領域の光を選択的に透過させる、Ｙｅ（黄）色のカラーフィルタに置き換えた例である。画素Ｗの代わりに画素Ｙｅを用いた画素ブロック１３１の画素配列は、レンズ収差の影響を受け難い特性を有する。この図１１Ａに示す画素配列の画素ブロック１３１が適用された撮像部１０に対して、図９を用いて説明した信号処理を適用することができる。

　図１１Ｂに示す画素ブロック１３２は、図６Ａを用いて説明した第１の実施形態に係る画素ブロック１３０における画素Ｗを、赤外領域の光を選択的に透過させるＩＲフィルタに置き換えて、赤外光を検出可能とした例である。この図１１Ｂに示す画素配列の画素ブロック１３２を撮像部１０に適用した場合、例えば図９における高周波成分抽出部１２０２および高周波成分復元部１２０４による処理を省略することができる。

　図１１Ｃは、同一色のカラーフィルタが設けられた２画素×２画素が格子状に配列された小画素ブロックを単位とした画素配列の例である。この図１１Ｃによる画素ブロック１３３は、小画素ブロックを１つの画素と見做し、各色の小画素ブロックＲ、Ｇ、ＢおよびＷが、それぞれ画素Ｒ、Ｇ、ＢおよびＷとして、図６の画素ブロック１３０と同様の配列で配置されている。この画素ブロック１３３によれば、小画素ブロックに含まれる４つの画素の画素データを加算して１つの画素の画素データとして用いることで、より高い感度を実現できる。この図１１Ｃに示す画素配列の画素ブロック１３３が適用された撮像部１０に対して、図９を用いて説明した信号処理を、小画素ブロックを１つの画素と見做して適用することができる。

　本開示は、上述の図１１Ａ～図１１Ｃの例に限定されず、４色のカラーフィルタを用い、６画素×６画素を画素ブロックを単位とする画素配列であれば、他の画素配列にも適用可能である。

（１－５．第１の実施形態の第２の変形例）
　次に、第１の実施形態の第２の変形例について説明する。上述した第１の実施形態では、偽色抑制処理部１２０３において簡易な偽色抑制処理を用いているために、図１０のセクション（ｃ）の位置１２１ｂおよび１２２ｂに示したように、垂直および水平方向の周波数ｆｓ／２に対応する偽色が発生している。一方、図１０のセクション（ｂ）に示す例は、図１０のセクション（ｃ）に示す例に対して、垂直および水平方向の周波数ｆｓ／２に対応する偽色が効果的に抑制されていることが分かる。

　このように、垂直および水平方向それぞれの周波数ｆｓ／２に対応する偽色は、平均値の組のＲ、ＧおよびＢ各色の値を用いることで、効果的に抑制することができる。そこで、第１の実施形態の第２の変形例では、入力された画素データに応じて、偽色抑制に用いる処理を決定する。

　例えば、偽色抑制処理部１２０３は、高周波成分抽出部１２０２において、入力された画素データから所定以上のレベルの周波数ｆｓ／２の成分が抽出された場合、当該画素データに対して、上述した式（３）による平均値を用いた偽色抑制処理を実行する。

　これに限らず、偽色抑制処理部１２０３は、上述した式（１）～（３）の計算において、式（３）の算出結果に対してオフセットを設け、平均値を用いた偽色抑制処理を実行する割合を増やすようにしてもよい。

　この第１の実施形態の第２の変形例では、式（３）の平均値を用いた偽色抑制処理を優先して実行するようにしているため、垂直および水平方向それぞれの周波数ｆｓ／２に対応する偽色を、より効果的に抑制することができる。

［２．第２の実施形態］
　次に、本開示の第２の実施形態について説明する。第２の実施形態は、画素配列として図９Ａに示した６画素×６画素の画素ブロック１３０による画素配列を適用し、偽色抑制処理を施したＲ、ＧおよびＢ各色の画素データからＩＲ成分を除去するようにした例である。

（２－１．第２の実施形態に適用可能な構成）
　先ず、第２の実施形態に適用可能な構成について説明する。図１２は、第２の実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。図１２において、撮像装置１’は、図１を用いて説明した第１の実施形態に係る撮像装置１に対して、撮像部１０と光学部１１との間にデュアルパスフィルタ（ＤＰＦ）３０が追加されると共に、画像処理部１２’の機能が撮像装置１の画像処理部１２とは異なっている。

　図１３は、第２の実施形態に適用可能なデュアルパスフィルタ３０の透過特性の例を示す図である。図１３において、縦軸は、デュアルパスフィルタ３０の分光透過率を示し、横軸は、光の波長を示す。図１３に例示するように、デュアルパスフィルタ３０は、例えば、３８０～６５０［ｎｍ］の波長域の可視光と、それより波長の長い赤外光とを透過する。撮像部１０には、このデュアルパスフィルタ３０を透過した光が入射される。

　図１４は、第２の実施形態に適用可能な画像処理部１２’の機能を説明するための一例の機能ブロック図である。図１４において、画像処理部１２’は、ホワイトバランスゲイン（ＷＢＧ）部１２００と、低周波成分同時化部１２０１’と、高周波成分抽出部１２０２と、偽色抑制処理部１２０３’と、ＩＲ分離処理部３００と、高周波成分復元部１２０４と、を含む。

　撮像部１０から出力されたＲ、Ｇ、ＢおよびＷ各色の画素データは、ＷＢＧ部１２００により必要に応じてホワイトバランス処理を施され、低周波成分同時化部１２０１’と、高周波成分抽出部１２０２にそれぞれ入力される。高周波成分抽出部１２０２は、入力された画素Ｗの画素データの高周波成分を抽出し、抽出した高周波成分の値を高周波成分復元部１２０４に供給する。

　低周波成分同時化部１２０１’は、図９に示した低周波成分同時化部１２０１と同様にして、入力された画素Ｒ、ＧおよびＢそれぞれの画素データに対して同時化処理を実行する。上述と同様に、低周波成分同時化部１２０１は、入力された画素Ｒ、ＧおよびＢそれぞれの画素データを、Ａ系列の画素データと、Ｄ系列の画素データと、に分け、Ａ系列の画素データに基づく同時化処理と、Ｄ系列の画素データに基づく同時化処理と、をそれぞれ独立して実行する。

　すなわち、低周波成分同時化部１２０１’は、図９に示した低周波成分同時化部１２０１と同様にして、Ａ系列の画素データに基づく同時化処理により対象画素について生成したＲ、ＧおよびＢ各色の成分の値を示すデータＲａ、ＧａおよびＢａを出力する。同様に、低周波成分同時化部１２０１は、Ｄ系列の画素データに基づく同時化処理により対象画素について生成したＲ、ＧおよびＢ各色の成分の値を示すデータＲｄ、ＧｄおよびＢｄを出力する。また、低周波成分同時化部１２０１’は、上述のデータＲａ、ＧａおよびＢａと、データＲｄ、ＧｄおよびＢｄと、について、各色毎に平均のデータＲａｖｅ、ＧａｖｅおよびＢａｖｅを算出し、出力する。

　さらに、低周波成分同時化部１２０１’は、Ｗ色の画素データに対して例えばローパスフィルタ処理を施し、Ｗ色の画素データの平均値によるデータＷａｖｅを生成する。このデータＷａｖｅは、例えば対象画素の周辺の画素Ｗの画素値（対象画素が画素Ｗである場合には、当該対象画素の画素値も含む）の平均を算出して出力する。

　低周波成分同時化部１２０１’から出力された、対象画素に対するデータＲａ、ＧａおよびＢａと、データＲｄ、ＧｄおよびＢｄと、データＲａｖｅ、ＧａｖｅおよびＢａｖｅと、データＷａｖｅと、が偽色抑制処理部１２０３’に入力される。偽色抑制処理部１２０３’は、第１の実施形態と同様にして、例えば色差最小アルゴリズムを用いて、データＲａ、ＧａおよびＢａの組（Ａ系列の組）と、データＲｄ、ＧｄおよびＢｄの組（Ｄ系列の組）と、データＲａｖｅ、ＧａｖｅおよびＢａｖｅの組（平均値の組）と、のうち、何れの組を低周波成分同時化部１２０１の出力として採用するかを決定する。偽色抑制処理部１２０３’は、採用が決定された組のＲ、ＧおよびＢ各色の成分を示す値を、対象画素のデータＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔとして出力する。

　一方、偽色抑制処理部１２０３’は、入力されたデータＷａｖｅに対しては、例えば何も処理を適用せずに、データＷｏｕｔとして出力する。

　偽色抑制処理部１２０３’から出力されたデータＲｏｕｔ、Ｇｏｕｔ、ＢｏｕｔおよびＷｏｕｔがＩＲ分離処理部３００に入力される。ＩＲ分離処理部３００は、入力されたデータＲｏｕｔ、Ｇｏｕｔ、ＢｏｕｔおよびＷｏｕｔと、に基づき、データＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔから赤外領域の成分を分離する。赤外領域の成分が分離された（除去された）データＲｏｕｔ’、Ｇｏｕｔ’およびＢｏｕｔ’は、偽色抑制処理部１２０３’から出力される。

　また、ＩＲ分離処理部３００は、データＲｏｕｔ、ＧｏｕｔおよびＢｏｕｔから分離した赤外領域成分の値を示すデータＩＲを、例えば画像処理部１２’の外部に出力することができる。

　ＩＲ分離処理部３００から出力されたデータＲｏｕｔ’、Ｇｏｕｔ’およびＢｏｕｔ’は、高周波成分復元部１２０４に入力される。高周波成分復元部１２０４は、高周波成分抽出部１２０２から入力された高周波成分の値を用いて、既知の手法により、偽色抑制処理部１２０３’から入力されたデータＲｏｕｔ’、Ｇｏｕｔ’およびＢｏｕｔ’の高周波成分を復元する。高周波成分復元部１２０４は、データＲｏｕｔ’、Ｇｏｕｔ’およびＢｏｕｔ’の高周波成分を復元したデータＲ、ＧおよびＢを、対象画素の画素データにおけるＲ、ＧおよびＢ各色のデータとして出力する。

（２－２．第２の実施形態に適用可能なＩＲ分離処理）
　第２の実施形態に適用可能なＩＲ分離処理部３００の処理について、より詳細に説明する。第２の実施形態では、ＩＲ分離処理部３００における処理に、特許文献２に記載の技術を適用することができる。

　図１５は、第２の実施形態に適用可能なＩＲ分離処理部３００の機能を説明するための一例の機能ブロック図である。図１５において、ＩＲ分離処理部３００は、赤外光成分生成部３１０、可視光成分生成部３２０および飽和画素検出部３５０を備える。なお、以下において、ＩＲ分離処理部３００に入力されるデータＲｏｕｔ、Ｇｏｕｔ、ＢｏｕｔおよびＷｏｕｔは、それぞれ赤外領域の成分を含むものとして、データＲ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRのように記述する。

　赤外光成分生成部３１０は、赤外領域の成分を示す値であるデータＩＲを生成するものである。この赤外光成分生成部３１０は、各データＲ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRを互いに異なる係数Ｋ₁₁、Ｋ₁₂、Ｋ₁₃およびＫ₁₄により重み付け加算した値をデータＩＲとして生成する。例えば、次式（４）により重み付け加算が行われる。
ＩＲ＝Ｋ₄₁×Ｒ_+IR＋Ｋ₄₂×Ｇ_+IR＋Ｋ₄₃×Ｂ_+IR＋Ｋ₄₄×Ｗ_+IR　…（４）

　ここで、Ｋ₄₁、Ｋ₄₂、Ｋ₄₃およびＫ₄₄には、画素Ｒ、Ｇ、ＢおよびＷのそれぞれの可視光に対する感度をそれらの係数で重み付け加算した加算値が許容値以下になる値が設定される。ただし、Ｋ₄₁、Ｋ₄₂およびＫ₄₃の符号は同一であり、Ｋ₄₄の符号は、Ｋ₄₁、Ｋ₄₂およびＫ₄₃と異なるものとする。この許容値には、Ｋ₄₁、Ｋ₄₂、Ｋ₄₃およびＫ₄₄をそれぞれ０．５、０．５、０．５および－０．５とした場合の加算値未満の値が設定される。

　なお、これらの係数には、画素Ｒ、Ｇ、ＢおよびＷのそれぞれの感度を重み付け加算した値と、画素の赤外光に対する所定の目標感度との間の誤差が、所定の設定値以下になる値が設定されることがより望ましい。この設定値には、Ｋ₄₁、Ｋ₄₂、Ｋ₄₃およびＫ₄₄をそれぞれ０．５、０．５、０．５および－０．５とした場合の誤差未満の値が設定される。また、Ｋ₄₁、Ｋ₄₂、Ｋ₄₃およびＫ₄₄には、前述の誤差が最小となる値が設定されることがさらに望ましい。

　可視光成分生成部３２０は、Ｒ、ＧおよびＢ各色の可視光成分によるデータＲ、ＧおよびＢを生成する。この可視光成分生成部３２０は、各データＲ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRを互いに異なる係数Ｋ₁₁、Ｋ₁₂、Ｋ₁₃およびＫ₁₄により重み付け加算した値をＲ色の成分の値を示すデータＲとして生成する。また、可視光成分生成部３２０は、それらの各データを互いに異なる係数Ｋ₂₁、Ｋ₂₂、Ｋ₂₃およびＫ₂₄により重み付け加算した値をＧ色の成分の値を示すデータＧとして生する。また、可視光成分生成部３２０は、各画素データを互いに異なる係数Ｋ₃₁、Ｋ₃₂、Ｋ₃₃およびＫ₃₄により重み付け加算した値をＢ色の成分の値を示すデータＢとして生成する。例えば、次の式（５）～（７）により重み付け加算が行われる。

Ｒ＝Ｋ₁₁×Ｒ_+IR＋Ｋ₁₂×Ｇ_+IR＋Ｋ₁₃×Ｂ_+IR＋Ｋ₁₄×Ｗ_+IR　　…（５）
Ｇ＝Ｋ₂₁×Ｒ_+IR＋Ｋ₂₂×Ｇ_+IR＋Ｋ₂₃×Ｂ_+IR＋Ｋ₂₄×Ｗ_+IR　　…（６）
Ｂ＝Ｋ₃₁×Ｒ_+IR＋Ｋ₃₂×Ｇ_+IR＋Ｋ₃₃×Ｂ_+IR＋Ｋ₃₄×Ｗ_+IR　　…（７）

　ここで、Ｋ₁₁～Ｋ₁₄には、画素Ｒ、画素Ｇ、画素Ｂおよび画素Ｗのそれぞれの感度を、それらの係数により重み付け加算した値と画素Ｒの可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ₁₁、Ｋ₁₂、Ｋ₁₃およびＫ₁₄をそれぞれ０．５、－０．５、－０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ₁₁～Ｋ₁₄に設定されることがより望ましい。

　また、Ｋ₂₁～Ｋ₂₄には、画素Ｒ、画素Ｇ、画素Ｂおよび画素Ｗのそれぞれの感度を、それらの係数により重み付け加算した値とＧ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ₂₁、Ｋ₂₂、Ｋ₂₃およびＫ₂₄をそれぞれ－０．５、０．５、－０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ₂₁～Ｋ₂₄に設定されることがより望ましい。

　また、Ｋ₃₁～Ｋ₃₄には、画素Ｒ、画素Ｇ、画素Ｂおよび画素Ｗのそれぞれの感度を、それらの係数により重み付け加算した値とＢ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ₃₁、Ｋ₃₂、Ｋ₃₃およびＫ₃₄をそれぞれ－０．５、－０．５、０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ₃₁～Ｋ₃₄に設定されることがより望ましい。

　可視光成分生成部３２０は、生成したＲ、ＧおよびＢ各色の成分の値を示す各データＲ、ＧおよびＢを飽和画素検出部３５０に供給する。

　飽和画素検出部３５０は、Ｒ、ＧおよびＢ各色の成分の値を示す成分の信号レベルが所定の閾値Ｔｈ２より高いか否かを検出する。この飽和画素検出部３５０は、信号レベルが所定の閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」～「１」の値を係数αに設定し、信号レベルが閾値Ｔｈ２以下の場合に「１」を係数αに設定する。そして、飽和画素検出部３５０は、次式（８）～（１１）を使用して赤外光成分によるデータＩＲと、可視光成分によるデータＲ、ＧおよびＢと、データＲ_+IR、Ｇ_+IRおよびＢ_+IRとを処理する。
Ｒ＝α×Ｒ＋（１－α）×Ｒ_+IR　　…（８）
Ｇ＝α×Ｇ＋（１－α）×Ｇ_+IR　　…（９）
Ｂ＝α×Ｂ＋（１－α）×Ｂ_+IR　　…（１０）
ＩＲ＝α×ＩＲ　　…（１１）

　この処理により、信号レベルが閾値Ｔｈ２を超える飽和画素が検出された場合であっても、正確な可視光成分および赤外光成分が求められる。飽和画素検出部３５０は、処理後の可視光成分による各データＲ、ＧおよびＢをＩＲ分離処理部３００から出力する。また、飽和画素検出部３５０は、処理後の赤外光成分によるデータＩＲを画像処理部１２’の外部に出力する。

　図１６は、第２の実施形態に適用可能な赤外光成分生成部３１０の機能を説明するための一例の機能ブロック図である。赤外光成分生成部３１０は、乗算器３１１、３１５、３１６および３１７と加算器３１２、３１３および３１４とを備える。

　乗算器３１１は、データＲ_+IRに係数Ｋ₄₁を乗算して乗算結果を加算器３１２に供給するものである。乗算器３１５は、データＧ_+IRに係数Ｋ₄₂を乗算して乗算結果を加算器３１２に供給する。乗算器３１６は、データＢ_+IRに係数Ｋ₄₃を乗算して乗算結果を加算器３１３に供給するものである。乗算器３１７は、データＷ_+IRに係数Ｋ₄₄を乗算して乗算結果を加算器３１４に供給する。

　加算器３１２は、乗算器３１１および３１５のそれぞれからの乗算結果を加算して加算結果を加算器３１３に供給する。加算器３１３は、乗算器３１６からの乗算結果と加算器３１２からの加算結果とを加算して加算結果を加算器３１４に供給する。加算器３１４は、乗算器３１７からの乗算結果と加算器３１３からの加算結果とを加算して加算結果を赤外光成分ＩＲとして飽和画素検出部３５０に供給する。

　図１７は、第２の実施形態に適用可能な可視光成分生成部３２０の機能を説明するための一例の機能ブロック図である。可視光成分生成部３２０は、乗算器３２１、３２５、３２６、３２７、３３１、３３５、３３６、３３７、３４１、３４５、３４６および３４７と、加算器３２２、３２３、３２４、３３２、３３３、３３４、３４２、３４３および３４４とを備える。

　乗算器３２１、３２５、３２６および３２７は、それぞれ、Ｒ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRと係数Ｋ₁₁、Ｋ₁₂、Ｋ₁₃およびＫ₁₄とを乗算するものである。加算器３２２、３２３および３２４は、乗算器３２１、３２５、３２６および３２７のそれぞれの乗算結果を加算して、加算値をＲ色の成分の値を示すデータＲとして飽和画素検出部３５０に供給するものである。

　乗算器３３１、３３５、３３６および３３７は、それぞれ、Ｒ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRと係数Ｋ₂₁、Ｋ₂₂、Ｋ₂₃およびＫ₂₄とを乗算するものである。加算器３３２、３３３および３３４は、乗算器３３１、３３５、３３６および３３７のそれぞれの乗算結果を加算して、加算値をＧ色の成分の値を示すデータＧとして飽和画素検出部３５０に供給するものである。

　乗算器３４１、３４５、３４６および３４７は、それぞれ、Ｒ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRと係数Ｋ₃₁、Ｋ₃₂、Ｋ₃₃およびＫ₃₄とを乗算するものである。加算器３４２、３４３および３４４は、乗算器３４１、３４５、３４６および３４７のそれぞれの乗算結果を加算して、加算値をＢ色の成分の値を示すデータＢとして飽和画素検出部３５０に供給するものである。

　第２の実施形態におけるＩＲ分離処理部３００で用いられる計算式の一例を、次式（１２）および（１３）に示す。

　式（１２）は、上述した式（４）～（７）を行列を用いて表した式である。データＲ_+IR、Ｇ_+IR、Ｂ_+IRおよびＷ_+IRからなるベクトルと、４行×４列の行列との積により、Ｒ、ＧおよびＢ各色の成分の値を示す各データＲ、ＧおよびＢと、赤外領域の成分の値を示すデータＩＲとからなるベクトルが算出される。なお、式（１３）は、式（１２）おけるＫ₁₁～Ｋ₄₄のそれぞれに設定される係数の一例を示している。

　図１８Ａは、第２の実施形態に適用可能な飽和画素検出部３５０の機能を説明するための一例の機能ブロック図である。飽和画素検出部３５０は、乗算器３５１、３５３、３５４、３５６、３５７、３５９および３６０と、加算器３５２、３５５および３５８と、α値制御部３６１とを備える。

　α値制御部３６１は、係数αの値を制御するものである。このα値制御部３６１は、画素データの信号レベルが所定の閾値Ｔｈ２より高いか否かを画素ごとに検出する。そして、α値制御部３６１は、信号レベルが閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」以上「１」未満の値を係数αに設定し、そうでない場合に「１」を係数αに設定する。そして、α値制御部３６１は、設定した係数αを乗算器３５１、３５４、３５７および３６０に供給し、係数（１－α）を乗算器３５３、３５６および３５９に供給する。

　乗算器３５１は、Ｒ色の成分の値を示すデータＲに係数αを乗算して加算器３５２に供給するものである。乗算器３５３は、画素データＲ_+IRに係数（１－α）を乗算して加算器３５２に供給する。加算器３５２は、乗算器３５１および３５３のそれぞれの乗算結果を加算して、データＲとしてＩＲ分離処理部３００から出力する。

　乗算器３５４は、Ｇ色の成分の値を示すデータＧに係数αを乗算して加算器３５５に供給するものである。乗算器３５６は、画素データＧ_+IRに係数（１－α）を乗算して加算器３５５に供給する。加算器３５５は、乗算器３５４および３５６のそれぞれの乗算結果を加算して、データＧとしてＩＲ分離処理部３００から出力する。

　乗算器３５７は、Ｂ色の成分の値を示すデータＢに係数αを乗算して加算器３５８に供給するものである。乗算器３５９は、データＢ_+IRに係数（１－α）を乗算して加算器３５８に供給する。加算器３５８は、乗算器３５７および３５９のそれぞれの乗算結果を加算して、データＢとしてＩＲ分離処理部３００から出力する。

　乗算器３６０は、赤外領域の成分の値を示すデータＩＲに係数αを乗算してＩＲ分離処理部３００から出力する。

　図１８Ｂは、第２の実施形態に適用可能な、信号レベル毎の係数αの値の設定例を示す模式図である。同図における横軸は、偽色抑制処理部１２０３’から供給される画素データの信号レベルを示す。縦軸は、係数αを示す。信号レベルが閾値Ｔｈ２以下である場合には、例えば、係数αに「１」の値が設定され、信号レベルが閾値Ｔｈ２を超える場合には、信号レベルが大きいほど小さな値が係数αに設定される。

　図１９は、第２の実施形態に適用可能な、画素Ｒ、Ｇ、ＢおよびＷそれぞれの感度特性の一例を示す模式図である。図１９において、横軸は光の波長を示し、縦軸はその波長の光に対する画素の感度を示す。また、実線は、画素Ｗの感度特性を示し、細かい点線は、画素Ｒの感度特性を示す。また、一点鎖線は、画素Ｇの感度特性を示し、粗い点線は、画素Ｂの感度特性を示す。

　画素Ｗの感度は、白（Ｗ）の可視光に対してピークを示す。また、画素Ｒ、ＧおよびＢのそれぞれの感度は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のそれぞれの可視光に対してピークを示す。画素Ｒ、Ｇ、ＢおよびＷの赤外光に対する感度は同程度である。

　赤、緑および青を加法混色すると白となる。このため、画素Ｒ、ＧおよびＢの感度の合計は、画素Ｗの感度に近い値となる。ただし、図１９に例示するように、それらの合計は、画素Ｗの感度と一致するとは限らない。また、赤外光に対する各画素の感度も同程度ではあるものの、厳密には一致していない。

　このため、仮にデータＲ_+IR、Ｇ_+IRおよびＢ_+IRのそれぞれを同一の係数「０．５」で重み付け加算した値と、画素データＷ_+IRを係数「０．５」で重み付けした値と、の差を求める演算を行うと、赤外領域の成分が正確に分離されなくなってしまう。

　図２０は、第２の実施形態に係る赤外成分分離後の感度特性の一例を示す模式図である。図２０に示すように、重み付け加算により生成された赤外領域の成分（ＩＲ）は、可視光領域において「０」に近づき、図１９に例示した比較例に対して誤差が少なくなる。

　このように、第２の実施形態によれば、可視光に対する画素Ｒ、ＧおよびＢの感度を重み付け加算した値と、画素Ｗの感度を重み付けした値と、の差が小さくなる係数で各色の成分の値を示すデータを重み付け加算するため、赤外光成分を正確に分離することができる。これにより、第２の実施形態に係る撮像装置１’は、可視光の色の再現性を向上させ、画像の画質を向上させることができる。また、これにより、ＩＲ挿抜機構を必要としないデイナイト(Day-Night)カメラが実現可能となる。

［３．第３の実施形態］
　次に、本開示に係る技術を適用した撮像装置の使用例について説明する。図２１は、上述した本開示に係る撮像装置１または撮像装置１’の使用例を示す図である。以下、説明のため、撮像装置１および撮像装置１’を、撮像装置１で代表させて説明を行う。

　上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。

・デジタルカメラや、撮影機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。

（３－０．移動体への応用例）
　本開示に係る技術（本技術）は、上述のように様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

（本開示の撮像装置を車両に搭載する場合のより具体的な例）
　本開示に係る撮像装置１の応用例として、当該撮像装置１を車両に搭載して使用する場合のより具体的な例について説明する。

（第１の搭載例）
　先ず、本開示に係る撮像装置１の第１の搭載例について説明する。図２２は、本開示に係る撮像装置１を搭載可能な車両のシステム構成例を示すブロック図である。図２２において、車両システム１３２００は、車両１３０００に対して設けられるＣＡＮ(Controller　Area　Network)に対して接続される各ユニットを含む。

　フロントセンシングカメラ(Front　Sensing　camera)１３００１は、車両進行方向の前方を撮像するカメラである。一般的には、画像表示用には用いられず、センシングに特化したカメラである。フロントセンシングカメラ１３００１は、例えばウィンドシールドの内側のルームミラー近傍に配置される。

　フロントカメラＥＣＵ(Front　camera　ECU)１３００２は、フロントセンシングカメラ１３００１で撮像された画像データを受信し、画質の向上や、物体検知などの画像認識処理を含む画像信号処理を実行する。フロントカメラＥＣＵによる画像認識結果は、ＣＡＮ通信に送られる。

　なお、ＥＣＵは、「Electronic　Control　Unit」の略である。

　セルフドライビングＥＣＵ(Self-driving　ECU)１３００３は、自動運転を司るＥＣＵであり、例えばＣＰＵ、ＩＳＰ、ＧＰＵ(Graphics　Processing　Unit)などで構成される。ＧＰＵで画像認識した結果をサーバへ送り、サーバは、ディープニューラルネットなどのディープラーニングを実行して学習した結果を当該セルフドライビングＥＣＵ１３００３に戻す。

　ＧＰＳ(Global　Positioning　System)１３００４は、ＧＰＳによる電波を受信して現在位置を求める位置情報取得部である。ＧＰＳ１３００４で取得された位置情報は、ＣＡＮ通信に送られる。

　ディスプレイ(Display)１３００５は、車両１３０００内に配置される表示装置である。ディスプレイ１３００５は、車両１３０００におけるインストルメントパネルの中央部や、ルームミラー内部などに配置される。ディスプレイ１３００５は、車両１３０００が搭載するカーナビゲーション装置と一体的に構成されていてもよい。

　コミュニケーションユニット(Communication　Unit)１３００６は、車車間通信、歩車間通信、路車間通信において、データの送受信を担う。コミュニケーションユニット１３００６は、サーバとの送受信も行う。コミュニケーションユニット１３００６は、種々の無線通信を適用可能である。

　インテグレーテッドＥＣＵ(Integrated　ECU)１３００７は、種々のＥＣＵが集められた統合ＥＣＵである。この例では、インテグレーテッドＥＣＵ１３００７は、ＡＤＡＳ　ＥＣＵ１３００８と、セルフドライビングＥＣＵ１３００３と、バッテリＥＣＵ(Battery　ECU)１３０１０を含んでいる。バッテリＥＣＵ１３０１０は、バッテリ（２００Ｖバッテリ１３０２３、１２Ｖバッテリ１３０２４など）を制御する。インテグレーテッドＥＣＵ１３００７は、例えば車両１３０００の中央部に配置される。

　ターンシグナル(Turn　Signal)１３００９は、方向指示器であって、インテグレーテッドＥＣＵ１３００７により点灯を制御される。

　ＡＤＡＳ(Advanced　Driver　Assistance　System)１３００８は、ドライバ操作や画像認識結果などに応じて、車両システム１３２００のコンポーネントを制御するための制御信号を生成する。ＡＤＡＳ　ＥＣＵ１３００８は、ＣＡＮ通信を通じて各部と信号の送受信を行う。

　車両システム１３２００において、駆動源（エンジン、モータ）の制御は、図示しないパワートレインＥＣＵ(Power　Train　ECU)により行われる。パワートレインＥＣＵはｍクルーズコントロールの際は、画像認識結果に応じて駆動源を制御する。

　ステアリング(Steering)１３０１１は、画像認識により白線から逸脱しそうになったら、ＡＤＡＳ　ＥＣＵ１３００８により生成された制御信号に応じて電子パワーステアリングモータを駆動する。

　スピードセンサ(Speed　sensor)１３０１２は、車両１３０００の走行速度を検出する。スピードセンサ１３０１２は、走行速度から、加速度や加速度の微分（ジャーク）を算出する。加速度情報は、物体との衝突までの推定時間の算出に用いられる。ジャークは乗員の乗り心地に影響を与える指数である。

　レーダ(Radar)１３０１３は、ミリ波などの長めの波長の電磁波を用いて測距を行うセンサである。ライダー(Lidar)１３０１４は、光を用いて測距を行うセンサである。

　ヘッドランプ(Head　lamp)１３０１５は、ランプとランプの駆動回路とを含み、画像認識により検知した対向車のヘッドライトの有無に応じて、ハイビームとロービームの切り替えを行う。または、ヘッドランプ１３０１５は、対向車を避けるようなハイビームを照射する。

　サイドビューカメラ(Side　View　camera)１３０１６は、サイドミラーの筐体内またはサイドミラー近傍に配置されるカメラである。サイドビューカメラ１３０１６から出力される画像データはｍ画像表示用に用いられる。サイドビューカメラ１３０１６は、例えば運転者の死角領域を撮像する。また、サイドビューカメラ１３０１６は、アラウンドビューモニタの左右領域に用いられる画像を撮像する。

　サイドビューカメラＥＣＵ(Side　View　camera　ECU)１３０１７は、サイドビューカメラ１３０１６で撮像された画像の信号処理を行う。サイドビューカメラＥＣＵ１３０１７は、ホワイトバランスなどの画質を向上させる。サイドビューカメラＥＣＵ１３０１７で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。

　フロントビューカメラ(Front　View　camera)１３０１８は、フロントグリル近傍に配置されるカメラである。フロントビューカメラ１３０１８で撮像された画像データは、画像表示用に用いられる。フロントビューカメラ１３０１８は、車両前方の死角領域を撮像する。また、フロントビューカメラ１３０１８は、アラウンドビューモニタの上方領域に用いられる画像を撮像する。フロントビューカメラ１３０１８は、上述したフロントセンシングカメラ１３００１とは枠割が異なる。

　フロントビューカメラＥＣＵ(Front　View　camera　ECU)１３０１９は、フロントビューカメラ１３０１８で撮像された画像の信号処理を行う。フロントビューカメラＥＣＵ１３０１９は、ホワイトバランスなどの画質を向上させる。フロントビューカメラＥＣＵ１３０１９で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。

　車両システム１３２００は、エンジン(ENG)１３０２０、発電機(GEN)１３０２１および駆動用モータ(MOT)１３０２２を含む。エンジン１３０２０、発電機１３０２１および駆動用モータ１３０２２は、図示されないパワートレインＥＣＵにより制御される。

　２００Ｖバッテリ(200V　Battery)１３０２３は、駆動用およびエアコン用の電源である。１２Ｖバッテリ(12V　Battery)１３０２４は、駆動用とエアコン用以外の電源である。１２Ｖバッテリ１３０２４は、車両１３０００に搭載される各カメラや各ＥＣＵの電源を供給する。

　リアビューカメラ(Rear　View　camera)１３０２５は、例えばテールゲートのナンバープレート近傍に配置されるカメラである。リアビューカメラ１３０２５で撮像された画像データは、画像表示用に用いられる。リアビューカメラ１３０２５は、後方の死角領域を撮像する。また、リアビューカメラ１３０２５は、アラウンドビューモニタの下方領域に用いられる画像を撮像する。リアビューカメラ１３０２５は、例えばシフトレバーを「Ｒ（後退）」に入れることで起動する。

　リアビューカメラＥＣＵ(Rear　View　camera　ECU)１３０２６は、リアビューカメラ１３０２５で撮像された画像の信号処理を行う。リアビューカメラＥＣＵ１３０２６は、ホワイトバランスなどの画質を向上させる。リアビューカメラＥＣＵ１３０２６で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。

　図２３は、車両システム１３２００のフロントセンシングカメラ１３００１に係る一例の構成を示すブロック図である。

　フロントカメラモジュール(Front　Camera　Module)１３１００は、レンズ(Lens)１３１０１と、イメージャ(Imager)１３１０２と、フロントカメラＥＣＵ１３００２と、ＭＣＵ(Micro　Controller　Unit)１３１０３と、を含む。レンズ１３１０１およびイメージャ１３１０２により、上述したフロントセンシングカメラ１３００１が構成される。フロントカメラモジュール１３１００は、例えばウィンドシールドの内側のルームミラー近傍に配置される。

　イメージャ１３１０２は、本開示による撮像部１０を適用することができ、画素に含まれる受光素子により前方画像を撮像し、画素データを出力する。画素のカラーフィルタ配列は、例えば図６Ａを用いて説明した、６画素×６画素の画素ブロックを単位とした配列が用いられる。フロントカメラＥＣＵ１３００２は、例えば本開示による画像処理部１２、出力処理部１３および制御部１４を含む。すなわち、イメージャ１３１０２とフロントカメラＥＣＵ１３００２とを含んで、本開示に係る撮像装置１が構成される。

　なお、イメージャ１３１０２と、フロントカメラＥＣＵ１３００２との間のデータ伝送は、シリアル伝送およびパラレル伝送の何れを適用してもよい。また、イメージャ１３１０２は、イメージャ１３１０２自身の故障を検知する機能を有すると、好ましい。

　ＭＣＵ１３１０３は、ＣＡＮバス(CAN　Bus)１３１０４とのインタフェースの機能を有する。ＣＡＮバス１３１０４に対して、図２２示した各部（セルフドライビングＥＣＵ１３００３、コミュニケーションユニット１３００６、ＡＤＡＳ　ＥＣＵ１３００８、ステアリング１３０１１、ヘッドランプ１３０１５、エンジン１３０２０、駆動用モータ１３０２２、…）が接続される。また、ＣＡＮバス１３０４０に対して、ブレーキシステム(Brake)１３０３０も接続される。

　フロントカメラモジュール１３１００は、図６Ａを用いて説明した、６画素×６画素の画素ブロックを単位とした画素配列の撮像部１０が用いられる。そして、フロントカメラモジュール１３１００は、画像処理部１２において、当該画素配列におけるＡ系列およびＤ系列それぞれに対して独立して同時化処理を実行する。さらに、フロントカメラモジュール１３１００は、画像処理部１２において、Ａ系列に対する同時化処理の結果と、Ｄ系列に対する同時化処理の結果と、Ａ系列およびＤ系列を共に用いた同時化処理の結果と、に基づき偽色抑制処理を実行している。

　そのため、フロントカメラモジュール１３１００は、垂直および水平方向それぞれの周波数ｆｓ／２、ならびに、垂直および水平方向の周波数ｆｓ／４における偽色が抑制された、より高画質の撮像画像を出力することができる。

　なお、上述では、本開示に係る撮像装置１がフロントセンシングカメラ１３００１に適用されるものとして説明したが、これはこの例に限定されない。例えば、本開示に係る撮像装置１を、フロントビューカメラ１３０１８やサイドビューカメラ１３０１６、リアビューカメラ１３０２５に適用してもよい。

（第２の搭載例）
　次に、本開示に係る撮像装置１の第２の搭載例について説明する。図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図２５は、撮像部１２０３１の設置位置の例を示す図である。

　図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、本開示の第１および第２の実施形態、ならびに、それらの各変形例の何れかに係る撮像装置１を、撮像部１２０３１に適用できる。すなわち、撮像部１２０３１は、例えば図６Ａを用いて説明した、６画素×６画素の画素ブロックを単位とした画素配列の画素アレイと、例えば本開示による画像処理部１２、出力処理部１３および制御部１４と、を含む。

　撮像部１２０３１は、画像処理部１２において、当該画素配列におけるＡ系列およびＤ系列それぞれに対して独立して同時化処理を実行する。さらに、撮像部１２０３１は、画像処理部１２において、Ａ系列に対する同時化処理の結果と、Ｄ系列に対する同時化処理の結果と、Ａ系列およびＤ系列を共に用いた同時化処理の結果と、に基づき偽色抑制処理を実行している。

　そのため、撮像部１２０３１は、垂直および水平方向それぞれの周波数ｆｓ／２、ならびに、垂直および水平方向の周波数ｆｓ／４における偽色が抑制された、より高画質の撮像画像を出力することができる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　行列状の配列で配置される画素を含む画素アレイを備え、
　前記画素アレイは、
　それぞれ６個×６個の画素を含む複数の画素ブロックを有し、
　前記画素ブロックは、
　第１の波長領域の光を透過させる第１の光学フィルタが設けられた第１の画素と、
　第２の波長領域の光を透過させる第２の光学フィルタが設けられた第２の画素と、
　第３の波長領域の光を透過させる第３の光学フィルタが設けられた第３の画素と、
　第４の波長領域の光を透過させる第４の光学フィルタが設けられた第４の画素と、
を含み、
　前記配列の、行方向および列方向のそれぞれに対して前記第１の画素が１つおきに配置され、
　前記配列の各行および各列は、それぞれ、前記第２の画素、前記第３の画素および前記第４の画素が１つずつ配置され、
　前記画素ブロックは、さらに、
　前記第２の画素、前記第３の画素および前記第４の画素を、前記配列の、該画素ブロックの対角と平行な方向である第１の斜め方向に少なくとも１つずつ含む並びと、該画素ブロックの対角と平行な方向であり該第１の斜め方向と異なる第２の斜め方向に少なくとも１つずつ含む並びと、を含む、
撮像装置。
（２）
　前記画素アレイに含まれる画素のそれぞれから読み出された画素信号に対して信号処理を実行する信号処理部をさらに備え、
　前記信号処理部は、
　前記画素ブロックに含まれる前記第２の画素、前記第３の画素および前記第４の画素のうち、
　前記配列から１つおきに選択した行および列に含まれる前記第２の画素、前記第３の画素および前記第４の画素による第１の画素群から読み出された前記画素信号と、
　該第１の画素群と異なる前記第２の画素、前記第３の画素および前記第４の画素による第２の画素群から読み出された前記画素信号と、
に対してそれぞれ独立して前記信号処理を実行する、
前記（１）に記載の撮像装置。
（３）
　前記信号処理部は、
　前記第１の画素群に含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき第１の同時化処理を実行し、
　前記第２の画素群に含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき、第１の同時化処理とは独立に第２の同時化処理を実行する、
前記（２）に記載の撮像装置。
（４）
　前記信号処理部は、
　前記第１の画素群および前記第２の画素群それぞれに含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき第３の同時化処理をさらに実行し、
　前記第１の同時化処理の処理結果と、前記第２の同時化処理の処理結果と、前記第３の同時化処理の処理結果と、のうち何れの処理結果を後段に出力するかを決定する、
前記（３）に記載の撮像装置。
（５）
　前記信号処理部は、
　前記第３の同時化処理として、前記第１の同時化処理の処理結果と、前記第２の同時化処理の処理結果と、の平均値を求める処理を実行する、
前記（４）に記載の撮像装置。
（６）
　前記信号処理部は、
　前記第１の同時化処理の処理結果に基づく色差と、前記第２の同時化処理の処理結果に基づく色差と、前記第３の同時化処理の処理結果に基づく色差と、のうち最も小さい色差に対応する処理結果を、後段に出力する処理結果として選択する、
前記（４）または（５）に記載の撮像装置。
（７）
　前記第１の波長帯域は、可視光領域の全域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
前記（１）乃至（６）の何れかに記載の撮像装置。
（８）
　前記第１の波長領域は、黄色領域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
前記（１）乃至（６）の何れかに記載の撮像装置。
（９）
　前記第１の波長領域は、赤外領域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
前記（１）乃至（６）の何れかに記載の撮像装置。
（１０）
　前記第１の波長帯域は、可視光領域の全域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域であり、
　前記信号処理部は、
　前記選択された前記処理結果と、前記第１の画素から読み出された画素信号と、に基づき、該処理結果から赤外領域に対応する成分を除去する、
前記（４）乃至（６）の何れかに記載の撮像装置。

１，１’　撮像装置
１０　撮像部
１２，１２’　画像処理部
１３　出力処理部
３０　デュアルパスフィルタ
１２０，１３０，１３１，１３２，１３３　画素ブロック
３００　ＩＲ分離処理部
３１０　赤外光成分生成部
３２０　可視光成分生成部
３５０　飽和画素検出部
１２０１　低周波成分同時化部
１２０２　高周波成分抽出部
１２０３，１２０３’　偽色抑制処理部
１２０４　高周波成分復元部

Claims

　行列状の配列で配置される画素を含む画素アレイを備え、
　前記画素アレイは、
　それぞれ６個×６個の画素を含む複数の画素ブロックを有し、
　前記画素ブロックは、
　第１の波長領域の光を透過させる第１の光学フィルタが設けられた第１の画素と、
　第２の波長領域の光を透過させる第２の光学フィルタが設けられた第２の画素と、
　第３の波長領域の光を透過させる第３の光学フィルタが設けられた第３の画素と、
　第４の波長領域の光を透過させる第４の光学フィルタが設けられた第４の画素と、
を含み、
　前記配列の、行方向および列方向のそれぞれに対して前記第１の画素が１つおきに配置され、
　前記配列の各行および各列は、それぞれ、前記第２の画素、前記第３の画素および前記第４の画素が１つずつ配置され、
　前記画素ブロックは、さらに、
　前記第２の画素、前記第３の画素および前記第４の画素を、前記配列の、該画素ブロックの対角と平行な方向である第１の斜め方向に少なくとも１つずつ含む並びと、該画素ブロックの対角と平行な方向であり該第１の斜め方向と異なる第２の斜め方向に少なくとも１つずつ含む並びと、を含む、
撮像装置。
　前記画素アレイに含まれる画素のそれぞれから読み出された画素信号に対して信号処理を実行する信号処理部をさらに備え、
　前記信号処理部は、
　前記画素ブロックに含まれる前記第２の画素、前記第３の画素および前記第４の画素のうち、
　前記配列から１つおきに選択した行および列に含まれる前記第２の画素、前記第３の画素および前記第４の画素による第１の画素群から読み出された前記画素信号と、
　該第１の画素群と異なる前記第２の画素、前記第３の画素および前記第４の画素による第２の画素群から読み出された前記画素信号と、
に対してそれぞれ独立して前記信号処理を実行する、
請求項１に記載の撮像装置。
　前記信号処理部は、
　前記第１の画素群に含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき第１の同時化処理を実行し、
　前記第２の画素群に含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき、第１の同時化処理とは独立に第２の同時化処理を実行する、
請求項２に記載の撮像装置。
　前記信号処理部は、
　前記第１の画素群および前記第２の画素群それぞれに含まれる前記第２の画素、前記第３の画素および前記第４の画素から読み出された前記画素信号に基づき第３の同時化処理をさらに実行し、
　前記第１の同時化処理の処理結果と、前記第２の同時化処理の処理結果と、前記第３の同時化処理の処理結果と、のうち何れの処理結果を後段に出力するかを決定する、
請求項３に記載の撮像装置。
　前記信号処理部は、
　前記第３の同時化処理として、前記第１の同時化処理の処理結果と、前記第２の同時化処理の処理結果と、の平均値を求める処理を実行する、
請求項４に記載の撮像装置。
　前記信号処理部は、
　前記第１の同時化処理の処理結果に基づく色差と、前記第２の同時化処理の処理結果に基づく色差と、前記第３の同時化処理の処理結果に基づく色差と、のうち最も小さい色差に対応する処理結果を、後段に出力する処理結果として選択する、
請求項４に記載の撮像装置。
　前記第１の波長領域は、可視光領域の全域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
請求項１に記載の撮像装置。
　前記第１の波長領域は、黄色領域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
請求項１に記載の撮像装置。
　前記第１の波長領域は、赤外領域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域である、
請求項１に記載の撮像装置。
　前記第１の波長領域は、可視光領域の全域に対応する波長領域であり、
　前記第２の波長領域、前記第３の波長領域および前記第４の波長領域は、それぞれ赤色光領域、緑色光領域および青色光領域に対応する波長領域であり、
　前記信号処理部は、
　前記選択された前記処理結果と、前記第１の画素から読み出された画素信号と、に基づき、該処理結果から赤外領域に対応する成分を除去する、
請求項４に記載の撮像装置。