JP2009194604A - 撮像装置及び撮像装置の駆動方法 - Google Patents

Abstract

【課題】イメージセンサの各色要素の光に対する分光感度特性に基づきライン単位に各画素の露光時間を設定することが可能な撮像装置及び撮像装置の駆動方法を提供する。
【解決手段】 撮像装置１００を、受光した光から所定のＲ，Ｇ，Ｂのうち１種類の色要素に対応する波長の光を分離して該分離した光を各画素に入射するカラーフィルタ１３と、センサセルアレイを有し、電子シャッタ方式によって露光時間を制御するイメージセンサ部１４と、イメージセンサ部１４から出力された画素信号データに基づき撮像画像データを生成する信号処理部１５とを含んだ構成とし、イメージセンサ部１４において、信号処理部１５から入力される、各画素の分光感度特性に基づき決定された露光時間の情報を含むシャッタ・コントロール信号に基づき、ライン単位に各画素の露光時間を設定する。
【選択図】図１

Description

本発明は、入射光から所定の色空間における各画素に対して予め設定された所定の１種類の色要素に対応する波長の光を分離して各画素に入射する色分離手段を備えた撮像装置に係り、特に、各画素の分光感度特性に基づきライン単位に各画素の露光時間を設定することが可能な撮像装置及び撮像装置の駆動方法に関する。

従来、固体撮像素子として、例えば、各画素を構成する光電変換素子において光電変換された電気信号をＣＣＤ（電荷結合素子）により転送し、転送した電気信号を後段で増幅するＣＣＤ型のイメージセンサ（以下、ＣＣＤセンサと称す）がある。また、例えば、各画素が光電変換素子に加えて増幅器（ＭＯＳ型トランジスタで構成）を含み、光電変換された電気信号を各画素で増幅してから転送するＣＭＯＳ型のイメージセンサ（以下、ＣＭＯＳセンサと称す）がある。

一般に、カラー撮影用の固体撮像素子は、各画素に対して所定の色空間に対応する色要素のうち１つの色要素に対応する波長の光が入射するように、カラーフィルタやＩＲフィルタなどを透過させて不要な波長の光成分を除去している。しかし、固体撮像素子を構成する各画素は受光する光の波長に応じて分光感度が異なる。つまり、色要素毎に分光感度が異なるため、同じ撮像条件下において、色要素毎に画素の蓄積電荷量が異なる状況が発生する。このような蓄積電荷量の違いはその画素信号によって形成される画像の色バランスを崩す恐れがある。

このような、分光感度の違いを吸収するためには、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）などの色要素毎に利得を調整する必要がある。
例えば、可視光の波長領域（３５０[ｎｍ]〜６５０[ｎｍ]）に対して、図１３（ａ）に示すような分光感度特性を有する撮像素子があるとする。図１３（ａ）において、縦軸は撮像素子の信号出力のレベル（以下、単に出力レベルという）、横軸は入射光の波長である。この撮像素子に対して、図１３（ｂ）に示す透過率を有したカラーフィルタと、図１３（ｃ）に示す透過率を有したＩＲカットフィルタとを搭載する。図１３（ｂ）及び（ｃ）において、縦軸はフィルタの透過率、横軸は入射光の波長である。このような特性のフィルタを搭載することで、図１３（ｄ）に示すように、撮像素子のＲ、Ｇ、Ｂの各色要素に対する分光感度特性を求めることができる。図１３（ｄ）において、縦軸は撮像素子の出力レベル、横軸は入射光の波長である。

図１３（ｄ）の例では、Ｒの分光感度がＧ、Ｂの分光感度の１／２となっている。
このような場合に、出力レベルの利得の調整方法としては、図１４（ａ）に示すように、Ｇ、Ｂの画素に対する透過率を半分にして、Ｇ、Ｂの分光感度をＲの分光感度に合わせるという第１の調整方法がある。
また、第１の調整方法とは逆に、図１４（ｂ）に示すように、Ｒの利得を２倍にして、Ｒの分光感度をＧ、Ｂの分光感度に合わせるという第２の調整方法がある。

上記第１の調整方法では、全体の感度が落ちてしまい撮像素子の特性を活かすことができないという問題があった。一方、上記第２の調整方法では、Ｒの信号に含まれるノイズのレベルまで増幅してしまうため、画質が劣化するという問題があった。
これらの問題を解決する技術として、例えば、特許文献１に記載の固体撮像素子の駆動方法及び撮像装置がある。

この駆動方法は、画素からの電荷の読み出しを、該画素の色に応じて別個に制御することができ、かつ、電子シャッタ動作を行うことができるカラー撮影用のＣＣＤ型固体撮像素子によって１フレームの画像を撮影するにあたって、前記電子シャッタ動作を間歇的に複数回行うと共に、１回の電子シャッタ動作と該電子シャッタ動作の次に行われる電子シャッタ動作との間の期間内に画素の色に応じて選択的に電荷の読出しを行うというものである。

つまり、１フレームの期間において、分光感度の低い色に対応する画素からの電荷の読み出し回数を、これよりも分光感度の高い色の画素よりも多くするように構成することで、分光感度の低い色に対応する画素に対して実質的な露光時間を延ばし、分光感度が低い分の不足した蓄積電荷量を補っている。
特開２００３−２９９１１０号公報

しかしながら、上記特許文献１の従来技術は、１フレームの期間において、同じ画素から画素信号を複数回読み出すにあたって、１フレームの期間に電子シャッタ動作を間歇的に複数回行うなどＣＣＤ型の固体撮像素子を前提とした駆動方法であり、画素から非破壊で画素信号を読み出すことができ且つライン単位に各画素の露光時間を制御できるＣＭＯＳ型の固体撮像素子に適した駆動方法であるとはいえなかった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、イメージセンサの各色要素の光に対する分光感度特性に基づきライン単位に各画素の露光時間を設定することが可能な撮像装置及び撮像装置の駆動方法を提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、受光した光を電荷に変換して蓄積する光電変換素子を含む複数の画素が２次元配列された構成のイメージセンサ部と、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうち各前記画素に対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を前記各画素に入射する色分離手段とを備えた撮像素子を有する撮像装置であって、各前記色要素に対応する波長の光に対する前記画素の分光感度特性に基づき、所定方向に配列された複数の前記画素が形成するライン単位に前記各画素の露光時間を設定する露光時間設定手段と、前記露光時間設定手段で設定された露光時間に基づき、前記イメージセンサ部を構成する各画素を前記ライン単位にリセットするタイミングと、前記ライン単位に前記リセット後の前記設定された露光時間で露光された前記各画素から画素信号を読み出すタイミングとを設定するタイミング設定手段と、前記タイミング設定手段で設定された前記リセットのタイミングに基づき、前記ライン単位に前記イメージセンサ部を構成する各画素をリセットするリセット処理手段と、前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記ライン単位に前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、を備える。

このような構成であれば、露光時間設定手段によって、各画素の分光感度特性に基づき、ライン単位に各画素の露光時間が設定される。露光時間が設定されると、タイミング設定手段によって、前記設定された露光時間に基づき、ライン単位に、各画素のリセットを行うタイミングと、リセット後の前記設定された露光時間で露光された各画素から画素信号を読み出すタイミングとが設定される。リセットのタイミングが設定されると、リセット処理手段によって、前記設定されたタイミングでリセットが行われる。リセットされた画素は、リセットのタイミングを露光開始タイミングとして露光を開始する。具体的に、分離手段によって各画素に入射された所定の１種類の色要素に対応する波長の光が各画素の光電変換素子において光電変換され、該変換によって得られた電荷が蓄積される。一方、読み出しタイミングが設定されると、画素信号読出手段によって、前記設定されたタイミングに基づき各画素から蓄積電荷量に応じた画素信号が読み出される。つまり、設定された露光時間で露光された画素から画素信号が読み出される。

従って、各色要素に対応する画素の分光感度特性に基づき、ライン単位に各画素の露光時間を設定することができるので、例えば、分光感度の比較的低い色要素の画素を含むラインの露光時間を、分光感度の比較的高い色要素の画素を含むラインよりも長い時間に設定することで、分光感度が比較的低い画素の比較的高い画素に対する蓄積電荷量の不足分を補うことができるという効果が得られる。

また、ライン単位に適切な露光時間を設定する構成としたので、例えば、従来のローリングシャッタ方式の電子シャッタ機能を有するＣＭＯＳ型の撮像装置に対して、本形態の撮像装置を低コストで適用することができるという効果も得られる。
ここで、所定の色空間は、Ｒ、Ｇ、Ｂの３つの軸から構成されるＲＧＢ色空間、Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（ＢＬＡＣＫ）の４つの軸から構成されるＣＭＹＫ色空間、Ｃ、Ｍ、Ｙの３つの軸から構成されるＣＭＹ色空間、Ｍ、Ｇ、Ｃ、Ｙの４つの軸から構成されるＭＧＣＹ色空間などが該当する。以下の撮像装置に関する形態、撮像装置の駆動方法に関する形態において同じである。

また、分光感度特性とは、画素は光の波長に応じて電荷の蓄積量（感度）が異なることから、この特性を分光感度という指標で示したものである。例えば、図１３（ａ）又は（ｄ）に示すように、横軸が波長、縦軸が各波長の光に対する画素信号の出力レベル（蓄積電荷量）となる。また、縦軸は出力レベルの相対値で表される場合もある。以下の撮像装置の駆動方法に関する形態において同じである。
また、リセットとは、画素に蓄積された電荷を空にする処理のことである。以下の撮像装置の駆動方法に関する形態において同じである。

〔形態２〕 更に、形態２の撮像装置は、形態１に記載の撮像装置において、前記露光時間設定手段は、前記分光感度の最も高い色要素に対応する画素から読み出される画素信号のレベルと、該色要素とは異なる種類の色要素に対応する画素から読み出される画素信号のレベルとに基づき、比較的分光感度の低い画素の露光時間が、前記分光感度の最も高い画素の露光時間よりも長くなるように前記各画素の露光時間を設定する。

このような構成であれば、例えば、同じ撮像条件下における、分光感度の最も高い色要素に対応する画素の画素信号のレベルと、該最も高い色要素と異なる種類の色要素にそれぞれ対応する画素の画素信号のレベルとの差分に基づき、比較的分光感度の低い画素の露光時間が、前記分光感度の最も高い画素の露光時間よりも長くなるように各画素の露光時間を設定することができる。例えば、前記異なる画素を含むラインの露光時間を、該露光時間に前記差分の示す蓄積電荷量を追加で蓄積できる時間を加算した時間に設定することで、前記異なる画素について、前記最も高い画素に対する蓄積電荷量の分光感度の違いによる不足分を補うことができるという効果が得られる。

ここで、同じ撮像条件下とは、例えば、すべての波長の可視光線を対等的且つ均質的に含んだ光（無彩色光）から所定の１種類の色要素の光を分離して各画素に入射し且つ各画素を同じ露光時間で露光して撮像を行うといったように、各種類の色要素に対応する波長の光に対してそれらの間に無視できないほどの大きな差異が生じないような条件である。以下の撮像装置に関する形態において同じである。

〔形態３〕 更に、形態３の撮像装置は、形態２に記載の撮像装置において、前記露光時間設定手段は、前記分光感度の最も高い色要素に対応する画素から読み出される画素信号に基づくレベル値Ａ１と該色要素とは異なる種類の色要素に対応する画素から読み出される画素信号に基づくレベル値Ａ２との比である「Ａ１／Ａ２」で前記分光感度の最も高い画素に対して設定される露光時間を乗算して得られる乗算結果に基づき、前記異なる種類の色要素に対応する画素の露光時間を設定する。

このような構成であれば、例えば、同じ撮像条件下における、分光感度の最も高い色要素に対応する画素の画素信号のレベルの平均値または最大値などのレベル値Ａ１と、該最も高い色要素と異なる色要素にそれぞれ対応する画素の画素信号のレベルの平均値または最大値などのレベル値Ａ２との比である「Ａ１／Ａ２」をその都度算出するか、あるいは予め用意する。そして、「Ａ１／Ａ２」を分光感度の最も高い画素の露光時間を乗算することで、該乗算結果から前記異なる画素の前記最も高い画素に対する分光感度の違いによる蓄積電荷量の不足分を補うのに適した露光時間を設定することができるという効果が得られる。

ここで、レベル値Ａ１及びＡ２は、例えば、分光感度特性を求める際に各色要素の光の波長範囲に対して測定される画素信号のレベルの平均値または最大値などの値である。更に、これらの値の複数の画素に対する平均値または最大値なども該当する。

〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、同じ種類の色要素に対応する画素をそれぞれ含む連続する複数のラインに対して、隣接するラインで種類の異なる２種類の露光時間Ｔ１及びＴ２（Ｔ１＜Ｔ２）が設定されたときに、前記露光時間Ｔ１及びＴ２に基づき、これら露光時間の違いによって隣接するラインの前記同じ種類の色要素に対応する画素に生じる画素信号のレベル差を補正するレベル補正手段を更に備える。

このような構成であれば、レベル補正手段によって、同じ種類の色要素の光を受光する画素を含む連続する複数のラインに設定された２種類の露光時間Ｔ１及びＴ２（Ｔ１よりＴ２の方が長い）に基づき、同じ種類の色要素の光を受光する画素について露光時間の違いから生じる蓄積電荷量のレベル差を補正することができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態４に記載の撮像装置において、前記レベル補正手段は、前記露光時間Ｔ１の設定されたラインを構成する前記同じ種類の色要素に対応する画素から読み出される画素信号のレベルＬ１を、前記露光時間Ｔ１と前記露光時間Ｔ２との比である「Ｔ１／Ｔ２」を前記レベルＬ１に乗算して得られるレベルＬ２に補正する。

このような構成であれば、画素から露光時間Ｔ１で露光された画素信号が読み出されると、該読み出された画素信号のレベルＬ１が、該レベルＬ１を「Ｔ１／Ｔ２」で乗算して得られるレベルＬ２へと補正される。これにより、露光時間の違いによって同じ種類の色要素に対応する画素の間に生じるレベル差を適切に補正することができるという効果が得られる。

〔形態６〕 更に、形態６の撮像装置は、形態４に記載の撮像装置において、前記レベル補正手段は、前記露光時間Ｔ１の設定されたラインを構成する前記同じ種類の色要素に対応する画素から読み出される画素信号のレベルＬ１を、前記露光時間Ｔ１と前記露光時間Ｔ２との比である「Ｔ１／Ｔ２」を前記レベルＬ１に乗算して得られるレベルＬ２と、前記レベルＬ１に対応する画素の周辺の前記露光時間Ｔ２で露光された画素から読み出される画素信号のレベルＬ３との平均レベルである「（Ｌ２＋Ｌ３）／２」に補正する。

このような構成であれば、画素から露光時間Ｔ１で露光された画素信号が読み出されると、該読み出された画素信号のレベルＬ１が、該レベルＬ１を「Ｔ１／Ｔ２」で乗算して得られるレベルＬ２と、露光時間Ｔ１に対応する画素の周辺の露光時間Ｔ２で露光された画素から読み出した画素信号のレベルＬ３との平均レベル「（Ｌ２＋Ｌ３）／２」へと補正される。これにより、露光時間の違いによって同じ種類の色要素に対応する画素の間に生じるレベル差を適切に補正することができると共にレベルのバラツキを低減できるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態４に記載の撮像装置において、前記レベル補正手段は、前記露光時間Ｔ１で露光された画素から読み出される画素信号のレベルＬ１が少なくともノイズレベル以下となる前記入射光の光量の範囲内にあるときに、前記レベルＬ１を、該レベルＬ１に対応する画素の周辺の前記露光時間Ｔ２で露光された画素から読み出される画素信号のレベルＬ２に補正する。

このような構成であれば、露光時間Ｔ１で露光された画素から画素信号が読み出され、該画素の周辺の露光時間Ｔ２で露光された画素から画素信号が読み出されると、レベル補正手段によって、入射光の光量の範囲が、露光時間Ｔ１の画素信号のレベルＬ１がノイズレベル以下の範囲であるときは、前記レベルＬ１が、該レベルＬ１に対応する画素の周辺の露光時間Ｔ２の画素から読み出された画素信号のレベルＬ２へと補正される。
なお、入射光量の範囲が、前記レベルＬ１がノイズレベルより大きくなる範囲のときは、例えば、補正を行わないでレベルＬ１をそのまま用いる。

〔形態８〕 更に、形態８の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、前記色分離手段は、前記画素の単位に、前記入射光から前記複数種類の色要素のうち前記各ラインに対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を該当する前記画素に入射する構成を有する。

このような構成であれば、例えば、所定の色空間がＲＧＢ色空間であれば、Ｒに対応する画素のみから構成されるラインＲＬと、Ｇに対応する画素のみから構成されるラインＧＬと、Ｂに対応する画素のみから構成されるラインＢＬとが配列されたイメージセンサ部を構成することができる。ＲＧＢ色空間の場合は、例えば、ＲＬ、ＧＬ、ＢＬがこの順番に繰り返し配列される構成が望ましい。
また、このような構成であれば、各ラインは１つの色要素の画素から構成されるので、各色要素に対応する画素に対して適切な露光時間を設定することができるという効果が得られる。

〔形態９〕 更に、形態９の撮像装置は、形態４乃至７のいずれか１に記載の撮像装置において、前記色分離手段は、前記複数種類の色要素に対応する画素がベイヤ型に配列されるように、前記画素の単位に前記入射光から前記所定の１種類の色要素に対応する波長の光を分離して該当する前記画素に入射する構成を有する。

このような構成であれば、例えば、所定の色空間がＲＧＢ色空間であれば、例えば、ＲとＧが互い違いに水平方向に並ぶフィルタラインＲＧＦＬと、ＧとＢとが互い違いに水平方向に並ぶフィルタラインＧＢＦＬとがＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→・・・の順で垂直方向に配列（これを、ベイヤ型の配列という）された構成のイメージセンサ部を構成することができる。

この構成の場合は、Ｇの画素が全てのラインに含まれるため、ＲとＢの画素を含むラインに対して異なる露光時間が設定された場合に、Ｇの画素については異なる２種類の露光時間が設定されることになる。従って、レベル補正手段によって、分光感度がＲとＢに対して同じ感度となる方の露光時間に合わせてレベル補正を行う。基本的に、最も短い露光時間が分光感度の最も高い画素に対して設定されるので、最も短い露光時間に合わせてレベルの補正を行うことになる。

〔形態１０〕 更に、形態１０の撮像装置は、形態１乃至９のいずれか１に記載の撮像装置において、前記タイミング設定手段は、前記読み出すタイミングを、前記ラインの並び順に１ラインずつ一定の時間間隔で前記読み出しを行うタイミングに設定し、前記リセットのタイミングを、前記ラインの並び順に対して前記各ラインに設定された露光時間で前記読み出しが行われる順に前記リセットを行うタイミングに設定する。

このような構成であれば、画素信号読出手段は、ライン単位に一定の時間間隔で各ラインの各画素からその並び順に１ラインずつ画素信号を読み出し、リセット処理手段は、露光時間設定手段で設定された露光時間で各画素から読み出しができるタイミングで、ライン単位に各ラインの各画素をリセットする。つまり、リセットは、ラインの並び順ではなく設定された露光時間に合わせた順番で行われる。
これにより、露光時間設定手段で設定された露光時間で各ラインを露光して、該設定された露光時間で露光された各ラインの画素からその蓄積電荷量に応じた画素信号を読み出すことができる。

〔形態１１〕 更に、形態１１の撮像装置は、形態１乃至９のいずれか１に記載の撮像装置において、前記タイミング設定手段は、前記リセットのタイミングを、前記ラインの並び順に１ラインずつ一定の時間間隔で前記リセットを行うタイミングに設定し、前記読み出すタイミングを、前記ラインの並び順に対して前記各ラインに設定された露光時間で前記読み出しを行うタイミングに設定する。

このような構成であれば、リセット処理手段は、ライン単位に一定の時間間隔で各ラインの各画素をその並び順に１ラインずつリセットし、画素信号読出手段は、露光時間設定手段で設定された露光時間に合わせて、ライン単位に各ラインの各画素から設定された露光時間において画素信号を読み出す。つまり、読み出しは、ラインの並び順ではなく設定された露光時間に合わせた順番で行われる。
これにより、露光時間設定手段で設定された露光時間で各ラインを露光して、該設定された露光時間で露光された各ラインの画素からその蓄積電荷量に応じた画素信号を読み出すことができる。

〔形態１２〕 一方、上記目的を達成するために、形態１２の撮像装置の駆動方法は、受光した光を電荷に変換して蓄積する光電変換素子を含む複数の画素が２次元配列された構成のイメージセンサ部と、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうち各前記画素に対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を前記各画素に入射する色分離手段とを備えた撮像素子を有する撮像装置の駆動方法であって、各前記色要素に対応する波長の光に対する前記画素の分光感度特性に基づき、所定方向に配列された複数の前記画素が形成するライン単位に前記各画素の露光時間を設定する露光時間設定ステップと、前記露光時間設定ステップで設定された露光時間に基づき、前記イメージセンサ部を構成する各画素を前記ライン単位にリセットするタイミングと、前記ライン単位に前記リセット後の前記設定された露光時間で露光された前記各画素から画素信号を読み出すタイミングとを設定するタイミング設定ステップと、前記タイミング設定ステップで設定された前記リセットのタイミングに基づき、前記ライン単位に前記イメージセンサ部を構成する各画素をリセットするリセット処理ステップと、前記タイミング設定ステップで設定された前記読み出しのタイミングに基づき、前記ライン単位に前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出ステップと、を含む。
このような構成であれば、形態１に記載の撮像装置と同様の作用及び効果が得られる。

〔第１の実施の形態〕
以下、本発明に係る撮像装置及び撮像装置の駆動方法の第１の実施の形態を図面に基づき説明する。図１〜図６は、本発明に係る撮像装置及び撮像装置の駆動方法の第１の実施の形態を示す図である。
まず、本発明に係る撮像装置１００の概略構成を図１に基づき説明する。図１は、本発明に係る撮像装置１００の概略構成を示すブロック図である。

撮像装置１００は、図１に示すように、被写体からの反射光を集光するレンズ１０と、レンズ１０を透過した光に含まれる赤外線成分をカットするＩＲカットフィルタ１１と、ＩＲカットフィルタ１１を透過した光を各画素に集光するマイクロレンズ１２と、マイクロレンズ１２を透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を各画素に入射するカラーフィルタ１３と、各画素がフォトダイオード及びＣＭＯＳ素子から構成されるセンサセルアレイを有し、電子シャッタ方式によって露光時間を制御するイメージセンサ部１４と、イメージセンサ部１４から出力された画素信号データに基づき撮像画像データを生成し、該生成した撮像画像データを外部機器に出力する信号処理部１５とを含んで構成される。

レンズ１０は、目的の被写体の大きさ、撮像装置からの距離、明るさ、解像度およびセンサセルアレイのサイズなどに応じて、被写体の撮像に十分な光量の光を集光する機能を有したレンズである。例えば、被写体の大きさ、距離、明るさが一定の場合は単焦点レンズで構成し、被写体の距離や大きさが変化する場合はズーム・レンズで構成する。また、被写体の明るさが変化する場合は、撮像装置のビデオ信号幅が一定となるように絞りを動作させて入射光量を自動調整するオート・アイリス・レンズで構成しても良い。

ＩＲカットフィルタ１１は、図１３に示すフィルタ特性を有するフィルタであり、可視光領域（３５０[ｎｍ]〜６５０[ｎｍ]）の光を透過させ、赤外領域（６５０[ｎｍ]〜）の光を遮断（減衰）する。なお、ＩＲカットフィルタ１１に、可視光領域の分光透過率を均等に減少させるＮＤフィルタ、色温度を上昇又は下降させる色温度変換フィルタ、水面やガラスなどの表面から反射する有害な光を減少させる偏光フィルタなどを搭載して多機能の光学フィルタとして構成してもよい。

マイクロレンズ１２は、ＩＲカットフィルタ１１を透過した光を、センサセルアレイの各センサセル（画素）を構成するフォトダイオードの受光部（開口部）へとそれぞれ導くものである。

次に、図２に基づき、カラーフィルタ１３の構成を説明する。
ここで、図２は、カラーフィルタ１３の構成を示す図である。
図２において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）の波長の光を選択的に透過するフィルタ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ₀₁であれば、行番号１の第１列目の画素に対応するＲの光を透過するフィルタ部となる。なお、本実施の形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置１００は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。

本実施の形態において、カラーフィルタ１３は、マイクロレンズ１２を介して入射された光から、赤色（Ｒ）に対応する波長の光（以下、Ｒ光と称す）、緑色（Ｇ）に対応する波長の光（以下、Ｇ光と称す）及び青色（Ｂ）に対応する波長の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のフィルタ部から構成されている。

具体的に、カラーフィルタ１３は、図２に示すように、入射光からＲ光を分離して画素に入射する複数のＲ光透過フィルタ部が水平方向に連続した構成のフィルタラインＲＦＬと、入射光からＧ光を分離して、該分離したＧ光を画素に入射する複数のＧ光透過フィルタ部が水平方向に連続した構成のフィルタラインＧＦＬと、入射光からＢ光を分離して、該分離したＢ光を画素に入射する複数のＢ光透過フィルタ部が水平方向に連続した構成のフィルタラインＢＦＬとを複数備えている。これら複数の、フィルタラインＲＦＬと、フィルタラインＧＦＬと、フィルタラインＢＦＬとは、図２に示すように、ＲＦＬ→ＧＦＬ→ＢＦＬ→ＲＦＬ→ＧＦＬ→ＢＦＬ→・・・の順で垂直方向に連続して配列されている。

次に、図３に基づき、イメージセンサ部１４の内部構成を説明する。
ここで、図３は、イメージセンサ部１４の内部構成を示すブロック図である。
イメージセンサ部１４は、図３に示すように、制御回路５０と、駆動回路５１と、センサセルアレイ５２と、画素信号読出回路５３とを含んで構成される。
制御回路５０は、信号処理部１５から入力される同期信号及びシャッタ・コントロール信号に基づき各種制御信号を生成する。そして、この生成した制御信号を駆動回路５１及び画素信号読出回路５３にそれぞれ出力する。

具体的に、信号処理部１５からの同期信号に基づき基準タイミング信号を生成し、該生成した基準タイミング信号とそのカウント信号に基づき、垂直同期信号、水平同期信号及びピクセルクロックを生成する。更に、これら生成した信号と、基準タイミング信号のカウント信号と、信号処理部１５からのシャッタ・コントロール信号とに基づき、読み出しライン選択信号などの画素信号の読み出しに係る制御信号、リセットライン選択信号などの蓄積電荷のリセット（画素に蓄積された電荷を空にする動作）に係る制御信号、これら読み出しライン及びリセットラインを有効にするタイミングを制御するタイミングパルス信号、読み出し有効期間を示すData_Enable信号などを生成し、これら生成した制御信号を駆動回路５１及び画素信号読出回路５３に適宜選別して出力する。

本実施の形態においては、Ｒ、Ｇ、Ｂの各色要素の光に対応する画素の露光時間（シャッタ・コントロール信号により通知）に基づき、水平方向に配列された複数の画素から形成されるライン単位に露光時間を設定する。そして、設定された露光時間に基づき、制御回路５０の動作を制御して、リセットのタイミング（露光開始のタイミング）及び画素信号の読み出しのタイミングを設定する。なお、詳細は後述する。

駆動回路５１は、制御回路５０からの読み出しライン選択信号やリセットライン選択信号などの制御信号に基づき、イメージセンサ部１４における、読み出しライン選択信号又はリセットライン選択信号が示すアドレス値に対応したライン位置のセンサセル（画素）を有効（アクティブ）にする駆動パルス信号を生成し、該生成した駆動パルス信号及びリセットや読み出しなどの駆動内容に対応する駆動パルス信号（リセット線、読出線を有効にする信号）をセンサセルアレイ５２に出力する。

センサセルアレイ５２は、フォトダイオード及びＣＭＯＳ素子を用いて構成された複数のセンサセルを水平方向及び垂直方向に２次元マトリクス状に配列し、各水平方向のライン毎のセンサセルに対して、アドレス線、リセット線及び読出線が共通に接続され、前記３つの制御線を介して各種駆動パルス信号が各ラインを構成するセンサセルに送信される。そして、アドレス線及び読出線が有効になると、該読出線を介して蓄積電荷を画素信号読出回路５３に転送する構成となっている。一方、アドレス線及びリセット線が有効になると、リセット線を介して選択ラインの各画素に蓄積された電荷を空に（リセット）する。

画素信号読出回路５３は、不図示の、水平転送部と、ＡＧＣ（Auto Gain Control）回路と、Ａ／Ｄコンバータ（Analog-Digitalコンバータ）とを含んで構成され、水平転送部において、センサセルアレイの選択ラインの各画素から読み出される画素信号データをラインメモリ（不図示）に記憶する。次いで、ＡＧＣ回路において画素信号データのレベル調整を行ない、Ａ／Ｄコンバータにおいて、レベル調整後の画素信号データ（アナログデータ）をデジタルのデータ（以下、画素データと称す）に変換し、該変換して得られた画素データを信号処理部１５に出力する。

更に、本実施の形態において、画素信号読出回路５３は、制御回路５０によって、ライン単位にリセット直後の画素信号を読み出すように制御される。そして、リセット直後に読み出した画素信号のデータを専用のラインメモリに記憶し、設定された露光時間で同じラインから画素信号が読み出されると、該読み出された画素信号とリセット直後の画素信号との差分をとり、この差分の画素信号データをＡＧＣ回路に出力する。つまり、リセット直後の信号成分を除去することで、画素信号から固定パターンノイズ成分を除去する。

図１に戻って、信号処理部１５は、内部のクロック発振器（不図示）によって同期信号（同期クロック）を発生し、センサセルアレイ５２を構成する各画素のＲ光、Ｇ光、Ｂ光に対する分光感度特性に基づきシャッタ・コントロール信号を生成し、発生した同期信号及び生成したシャッタ・コントロール信号をイメージセンサ部１４に出力する。
更に、信号処理部１５は、ＤＳＰ（Digital Signal Processor）を含んで構成され、イメージセンサ部１４から入力される画素データからピクセルデータを生成し、外部機器への出力用の撮像画像データ（ビデオデータ）を生成し、該生成した撮像画像データを外部機器に向けて出力する。なお、信号処理部１５は、撮像画像データを生成するために、イメージセンサ部１４から入力される画素データを記憶するフレームメモリ（不図示）を有している。

信号処理部１５は、具体的に、カラーフィルタ１３の構成と、センサセルアレイ５２を構成する画素のＲ光、Ｇ光、Ｂ光に対する分光感度の比（以下、分光感度比と称す）の情報とから露光時間を決定し、該決定した露光時間の情報を含むシャッタ・コントロール信号を生成する。
ここで、分光感度比は、例えば、可視光領域の波長領域に対する各画素のＲ光、Ｇ光、Ｂ光に対する画素信号の出力レベルから求める。具体的に、Ｒ光、Ｇ光、Ｂ光の各光の波長領域に対する各画素の複数種類の波長に対する出力レベルのうちの各色要素の最大値の比として求めることができる。また、この出力レベルの複数種類の波長に対する平均値のうちの各色要素の最大値の比として求めることができる。また、この複数種類の波長に対する平均値の全画素に対する各色要素の平均値の比として求めることができる。

例えば、上記いずれかの方法で求められた分光感度比が、Ｒ：Ｇ：Ｂ＝４：２：１であれば、まずＲ光に対応する画素に対して露光時間Ｔ１を決定する。しかる後に、分光感度比から、Ｇ光に対応する画素に対しては、Ｔ１を２倍にした露光時間Ｔ２（２×Ｔ１）を決定する。更に、Ｂ光に対応する画素に対しては、Ｔ１を４倍にした露光時間Ｔ３（４×Ｔ１）を決定する。そして、これら決定した露光時間Ｔ１、Ｔ２、Ｔ３の情報を含むシャッタ・コントロール信号を生成する。

つまり、分光感度が最も高い画素の露光時間Ｔ１を基準にして、これよりも低い画素の露光時間Ｔ２、Ｔ３を決定する。各画素のＧ光、Ｂ光に対する分光感度は、それぞれＲ光に対する分光感度の１／２、１／４であるため、Ｒ光の分光感度に合わせて、露光時間Ｔ１を２倍してＴ２を、４倍してＴ３を決定する。従って、露光時間Ｔ１、Ｔ２、Ｔ３は、「Ｔ１＜Ｔ２＜Ｔ３」の関係となる。

次に、図４に基づき、画素のＲ光に対する分光感度がＧ光、Ｂ光よりも低く且つＧ光、Ｂ光に対する分光感度が同じ感度であるときのリセットタイミング及び読み出しタイミングの設定方法について説明する。
ここで、図４（ａ）は、従来のリセット及び読み出しタイミングの設定方法の一例を示す図であり、（ｂ）は、本発明のリセット及び読み出しタイミングの設定方法の一例を示す図である。なお、図４（ａ）及び（ｂ）に示す例では、説明の便宜上、ライン数を８ラインとしているが、これに限定されるものではない。実際のデジタルスチルカメラやビデオカメラなどの撮像装置のセンサセルアレイはもっと多数のラインで構成される。

図２に示すフィルタ構成のカラーフィルタ１３で色分離される撮像素子に対して、従来の各ラインの露光開始タイミング（リセットタイミング）と、画素信号の読み出しタイミングは、図４（ａ）に示すようになる。ここで、図４中の番号１〜８はライン番号であり、Ｒ、Ｇ、Ｂは各ラインに対応するフィルタラインの種類を示し、Ｒが上記ＲＦＬ、Ｇが上記ＧＦＬ、Ｂが上記ＢＦＬにそれぞれ対応する。

従来は、色要素の種類に関係なく各ラインに対して共通の露光時間が設定されるため、ライン番号１〜８の順に１ラインずつ一定の時間間隔（タイミング）でリセット処理が行われ、これと並列して、設定された露光時間に合わせて、ライン番号１〜８の順に１ラインずつ一定のタイミングで画素信号が読み出される。
一方、本実施の形態のイメージセンサ部１４においては、Ｒ光、Ｇ光、Ｂ光を受光する各ラインに対して分光感度比に応じた露光時間がそれぞれ設定される。

図４（ｂ）の例では、Ｒ光に対応するラインの画素に対してのみ、Ｇ光、Ｂ光に対応するラインの画素よりも長い露光時間が設定される。ここでは、画素信号を読み出すタイミングを、従来と同様に、ラインの並び順（ライン番号１から８の順）に１ラインずつ一定の時間間隔で読み出すタイミングとしている。そのため、リセット処理の順番及びタイミング（露光開始タイミング）を、ライン番号１〜８の順に一定のタイミングではなく、Ｒ光のラインに設定された露光時間に応じて、リセットする順番及びタイミングの双方をずらしている。

具体的に、図４（ｂ）の例では、ライン番号１→ライン番号２、４（同時にリセット）→ライン番号３→ライン番号５、７（同時にリセット）→ライン番号６→ライン番号８の順番でリセット処理を行っている。また、各ライン間のリセット処理を行う時間間隔も設定された露光時間に合わせて可変させている。

なお、リセット処理及び読み出し処理のいずれも、最終ラインに到達すると先頭ラインへと戻る。図４（ｂ）の例では、リセット処理及び読み出し処理のいずれも最終ラインはライン番号８に、先頭ラインはライン番号１になる。

このリセット処理及び読み出し処理は、イメージセンサ部１４において、信号処理部１５から入力される同期信号及びシャッタ・コントロール信号に基づき行われる。
つまり、シャッタ・コントロール信号に含まれる各色要素（本実施の形態ではＲ、Ｇ、Ｂ）に対応するラインの露光時間の情報に基づき、制御回路５０を構成する不図示のカウンタ回路等の各回路を制御し、上記の順番でリセット処理を行うラインのアドレス値を示す信号を出力させると共に、該アドレス値のラインを選択するリセットライン選択信号を生成し、これをリセット処理の時間間隔に応じたタイミングで駆動回路５１に出力する。そして、駆動回路５１において、センサセルアレイ５２における、リセットライン選択信号の示すアドレス値のラインを有効にし、図４（ｂ）に示す例のように、設定された露光時間に応じた順番及びタイミングでリセット処理を行わせる。

これと並列に、制御回路５０を構成する不図示のカウンタ回路等の各回路を制御し、上記の順番で読み出し処理を行うラインのアドレス値を示す信号を出力させると共に、該アドレス値のラインを選択する読み出しライン選択信号を生成し、これを一定のタイミングで駆動回路５１に出力する。これにより、画素信号読出回路５３においては、１ラインずつ一定のタイミングでライン番号１〜８のラインの画素から画素信号が読み出される。これにより、設定された露光時間で各画素から画素信号を読み出すことができる。

次に、図５に基づき、信号処理部１５におけるピクセルデータの生成処理及び各画素の形状について説明する。図５（Ａ）〜（Ｊ）は、ピクセルデータの生成方法及び画素形状の例を示す図である。なお、図５は、説明の便宜上、センサセルアレイの一部分（左上の縦３画素×横３画素の９画素）を示した。
本実施の形態の撮像装置１００を構成するカラーフィルタ１３は、図２に示すように、フィルタラインＲＦＬと、フィルタラインＧＦＬと、フィルタラインＢＦＬとが、ＲＦＬ→ＧＦＬ→ＢＦＬ→ＲＦＬ→ＧＦＬ→ＢＦＬ→・・・の順で垂直方向に連続して配列されている。従って、各画素から読み出される画素データには、Ｒ，Ｇ，Ｂのうちいずれか１種類の色要素のデータしか含まれていないことになる。

そのため、イメージセンサ部１４から出力される画素データから、実際に表示用の撮像画像データを生成するためには、Ｒ，Ｇ，Ｂの３種類の色要素にそれぞれ対応する複数の画素データから撮像画像を構成する各ピクセルのピクセルデータを生成する必要がある。本実施の形態においては、センサセルアレイを構成する各画素をサブピクセルとし、Ｒ，Ｇ，Ｂの色要素にそれぞれ対応するサブピクセルから読み出された複数の画素データを用いて、撮像画像を構成する各ピクセルのピクセルデータを生成する。

図５（Ａ）は、縦（垂直方向）に３つ並んだ正方形状のサブピクセルの画素データを用いて各ピクセルデータを生成する場合を示している。例えば、図５（Ａ）中の太枠で示すように、（Ｒ₀₁，Ｇ₁₁，Ｂ₂₁）のサブピクセルから読み出された画素データを用いて、各ピクセルのピクセルデータを生成する。この場合は、Ｒ，Ｇ、Ｂの画素データをそのまま用いても良いし、何らかの色補正処理を施すようにしても良い。なお、画素の形状は、正方形状に限定されず、正多角形状、円形状など他の形状で構成される場合もある。

また、図５（Ｂ）は、同図（Ａ）と同様の方法でピクセルデータを生成するが、同図（Ａ）のような正方形の画素では１ピクセルが縦長になりそのままでは縦長の画像が構成されてしまうので、画素の形状を横方向（水平方向）に長く形成する場合を示している。この構成であれば、画像の縦横の解像度を合わせることができる。
また、図５（Ｃ）は、同図（Ｂ）と同様の方法でピクセルデータを生成し、且つ同図（Ｂ）のように横長の画素を形成するが、フォトダイオードは横長に形成せずに通常の形状のままにして画素内にスペースを設ける場合を示している。これにより空いたスペースを、制御信号線、読み出し信号線等を這わすスペースに使用したり、画素内の制御・読み出し回路を形成するスペースに使用したりすることができる。

また、図５（Ｄ）、（Ｅ）は、斜めに並んだ３つのサブピクセルの画素データを用いて各ピクセルデータを生成する場合を示している。例えば、図５（Ｄ）、（Ｅ）中の太枠で示すように、（Ｒ₀₀，Ｇ₁₁，Ｂ₂₂）又は（Ｒ₀₂，Ｇ₁₁，Ｂ₂₀）の３つのサブピクセルから読み出された画素データを用いて、各ピクセルのピクセルデータを生成する。このようにサブピクセルを斜めにとることで縦横の解像度のズレを軽減することができる。

また、図５（Ｆ）、（Ｇ）、（Ｈ）は、Ｒ、Ｂの各１つのピクセルと、Ｇに対応するサブピクセル２つとを用いてピクセルデータを生成する場合を示している。例えば、図５（Ｆ）、（Ｇ）、（Ｈ）中の太枠で示すように、（Ｒ₀₁，Ｇ₁₀，Ｇ₁₂，Ｂ₂₁）、（Ｒ₀₁，Ｇ₁₀，Ｇ₁₁，Ｂ₂₁）又は（Ｒ₀₁，Ｇ₁₁，Ｇ₁₂，Ｂ₂₁）の４つのサブピクセルから読み出された画素データを用いて、各ピクセルのピクセルデータを生成する。

一般的な画素構成では、人間の視感度特性に近い（輝度レベルに使用しやすい）Ｇを２画素（多画素）とり、平均化することで画素バラツキを軽減する処理を行うことが多い。
また、図５（Ｆ）、（Ｇ）、（Ｈ）では、グリーンを２画素使用した例を示したが、図５（Ｉ）では、Ｇに対応するサブピクセルを３つ使用する場合を示している。例えば、図５（Ｉ）中に太枠で示すように、（Ｒ₀₁，Ｇ₁₀，Ｇ₁₁，Ｇ₁₂，Ｂ₂₁）の５つのサブピクセルから読み出された画素データを用いて、各ピクセルのピクセルデータを生成する。この場合、Ｇ₁₀，Ｇ₁₁，Ｇ₁₂の３つのピクセルから読み出された画素データの平均値をＧの画素データとして採用してもよいし、Ｇ₁₀，Ｇ₁₁，Ｇ₁₂の３つの画素データに重み付けをした重み付け平均をＧの画素データとしてもよい。重み付け平均を採用する場合は、Ｇ₁₀，Ｇ₁₁，Ｇ₁₂の３つの中心である、Ｇ₁₁の重みを大きくしてもよい。

また、図５（Ｊ）は、図中の太枠で示すように、（Ｒ₀₀，Ｒ₀₁，Ｒ₀₂，Ｇ₁₀，Ｇ₁₁，Ｇ₁₂，Ｂ₂₀，Ｂ₂₁，Ｂ₂₂）の９つのサブピクセルの画素データを用いて各ピクセルデータを生成する場合を示している。この場合は、各色要素の３つのサブピクセルの平均値を各色要素の画素データとしてピクセルデータを生成する。
これにより、撮像画像の縦横の解像度を合わせると共に、各色要素のサブピクセルの画素データのバラツキを軽減させることができる。また、重み付け平均を用いて、各色要素の３つのサブピクセルの中心のピクセルの画素データの重みを大きくしてもよい。
本実施の形態の撮像装置１００は、画素の形状が図５（Ａ）に示す形状であり、信号処理部１５は、上記図５（Ａ）並びに図５（Ｄ）〜（Ｊ）のいずれかのピクセルデータの生成方法を指定して撮像画像データを生成することが可能である。

次に、図６に基づき、本実施の形態の撮像装置１００の実際の動作を説明する。
ここで、図６（ａ）は、各フィルタラインに対応するラインの露光時間の倍率の一例を示す図であり、（ｂ）は、各画素のＲ光，Ｇ光，Ｂ光に対する分光感度特性の一例を示す図である。

ここでは、図６（ｂ）に示すように、露光時間１倍における、各画素のＲ光に対する分光感度が、Ｇ光及びＢ光に対する分光感度の１／２となっている。つまり、同じ露光時間において、分光感度比がＲ：Ｇ：Ｂ＝１：２：２となっている。なお、この情報は、内部で測定して得たり、外部から取得したりするようにしても良いが、ここでは予め信号処理部１５が有していることとする。

撮像装置１００は、まず、分光感度比の情報に基づき、Ｒ光、Ｇ光、Ｂ光にそれぞれ対応する各ラインの露光時間を決定する。ここでは、分光感度比がＲ：Ｇ：Ｂ＝１：２：２となっているので、図６（ａ）に示すように、Ｒ光に対応するラインの露光時間Ｔ１を、Ｇ光又はＢ光に対応するラインの露光時間Ｔ２又はＴ３（Ｔ２＝Ｔ３）の２倍の露光時間に決定する。そして、この決定した露光時間の情報を含むシャッタ・コントロール信号と、内部クロック発生器で生成した同期信号とをイメージセンサ部１４に出力する。

一方、イメージセンサ部１４は、制御回路５０において、信号処理部１５から供給された同期信号に基づき、基準タイミング信号を生成し、該生成した基準タイミング信号を内部カウンタ回路でカウントして、該カウント信号に基づき、水平同期信号、垂直同期信号及びピクセルクロックを生成する。更に、これら生成した信号と、カウント信号と、シャッタ・コントロール信号とに基づき、リセットライン選択信号、読み出しライン選択信号、Data_Enable信号などの各種制御信号を生成し、これら生成したリセットライン選択信号、読み出しライン選択信号などを含む制御信号を駆動回路５１に出力し、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。

このとき、上記図４（ｂ）に示す例のように、Ｒ光に対応するラインの露光時間のみが長くなる（Ｇ光及びＢ光の２倍となる）ように、リセットの順番及びタイミングを制御する。具体的に、制御回路５０は、各色要素に対して設定された露光時間に基づき、リセットの順番及びタイミングを設定する。そして、設定した順番及びタイミングでリセットが行われるように、カウンタ回路を制御してリセットライン選択信号を生成し、該生成したリセットライン選択信号を駆動回路５１に出力する。

一方、制御回路５０は、一定のタイミングで各ラインの画素から読み出し処理が行われるように、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。
駆動回路５１は、制御回路５０からリセットライン選択信号を含む各種制御信号が入力されると、リセットライン選択信号の示すアドレスのライン（アドレス線）を有効にする駆動パルス及びリセット線を有効にする駆動パルスを生成して、これらをセンサセルアレイ５２に出力する。

センサセルアレイ５２は、駆動回路５１から入力されたリセット処理に係る駆動パルスに基づき、その指定するアドレス線及びリセット線を有効にし、該有効にしたアドレス線のラインを構成する各画素をリセットする。このリセット処理は、制御回路５０からの制御信号に基づき上記の順番及びタイミングで順次行われる。
更に、駆動回路５１は、制御回路５０から読み出しライン選択信号を含む各種制御信号が入力されると、読み出しライン選択信号の示すアドレスのアドレス線を有効にする駆動パルス及び該アドレスのラインの読出線を有効にする駆動パルスを生成して、これらをセンサセルアレイ５２に出力する。

センサセルアレイ５２は、駆動回路５１から入力された読み出し処理に係る駆動パルスに基づき、その指定するアドレス線及び読出線を有効にする。
一方、画素信号読出回路５３は、アドレス線及び読出線が有効にされると、水平転送部において、制御回路５０からの各種制御信号に基づき、一定のタイミングで、有効となった読出線を介して有効になったアドレス線のラインを構成する各画素から画素信号をラインメモリに読み出す。具体的には、Data_Enable信号が有効になる期間において読み出しを行う。

本実施の形態では、同じラインからリセット直後の画素信号と設定された露光時間に対応する画素信号とをそれぞれ読み出すようになっている。
設定された露光時間の画素信号の読み出しについては、例えば、ライン番号１のラインであれば、このラインはＲ光を受光するラインであるので、露光時間Ｔ１（Ｔ２及びＴ３の２倍の露光時間）で露光された画素から画素信号が読み出される。また、ライン番号２、３のラインであれば、Ｇ光、Ｂ光を受光するラインであるので、それぞれ露光時間Ｔ２、Ｔ３（１倍の露光時間）で露光された画素から画素信号が読み出される。

露光時間Ｔ１は、Ｔ２及びＴ３の２倍の長さとしたので、Ｒ光に対応するラインを構成する各画素の蓄積電荷量が１倍のとき（Ｔ２、Ｔ３のとき）よりも増加する。つまり、被写体に急激な輝度変化がなければ蓄積電荷の増加量は一定となるので最終的に蓄積電荷量は２倍となる（飽和する場合もある）。これにより、Ｒ光に対応するラインを構成する各画素の分光感度の違いによる蓄積電荷量の不足分が補われ、図６（ｂ）に示すように、Ｒ光の分光感度は、実質的にＧ光及びＢ光の分光感度と同じになる。

そして、画素信号読出回路５３は、ＡＧＣ回路において、読み出した画素信号データ（差分の画素データ）の出力レベルを調整し、Ａ／Ｄコンバータにおいて、レベル調整後のアナログの画素信号データをデジタルの画素データへと変換する。そして、該変換して得られた画素データを、信号処理部１５に出力する。
信号処理部１５は、イメージセンサ部１４から入力される画素データを、画素の並び順にフレームメモリに記憶し、該記憶した画素データから、上記図５（Ａ）並びに（Ｄ）〜（Ｊ）のいずれかの生成方法を用いてピクセルデータを生成する。そして、該生成したピクセルデータから構成される撮像画像データを、外部機器に出力する。

以上、本実施の形態の撮像装置１００は、イメージセンサ部１４を構成するセンサセルアレイ５２の各画素の分光感度特性（分光感度比）に基づき、ライン単位に且つカラーフィルタ１３で分離される色要素毎に、比較的分光感度の低い色要素に対応する画素の露光時間を、最も分光感度の高い画素の露光時間よりも長い時間に設定することが可能である。

つまり、各色要素の光に対して画素の分光感度が異なる場合に、分光感度の比較的低い画素については露光時間を長くすることができるので、分光感度が異なることによって不足する蓄積電荷量を補うことができる。これにより、各画素の受光する光の色要素（波長）に対する分光感度の違いによる出力レベルのバラツキを低減することができる。
上記第１の実施の形態において、レンズ１０、ＩＲカットフィルタ１１、マイクロレンズ１２、カラーフィルタ１３及びイメージセンサ部１４は、形態１又は１２に記載の撮像素子に対応し、制御回路５０による信号処理部１５からの信号に基づき露光時間を設定する処理は、形態１、２及び３のいずれか１に記載の露光時間設定手段又は形態１２に記載の露光時間設定ステップに対応し、制御回路５０によるリセット処理の順番及びタイミングと、読み出し処理の順番及びタイミングを設定する処理は、形態１又は１０に記載のタイミング設定手段又は形態１２に記載のタイミング設定ステップに対応し、駆動回路５１及びセンサセルアレイ５２による駆動パルス信号によってアドレス線及びリセット線を有効にしてセンサセルアレイ５２の各画素をライン単位にリセットする処理は、形態１又は１０に記載のリセット処理手段又は形態１２に記載のリセット処理ステップに対応し、駆動回路５１、センサセルアレイ５２及び画素信号読出回路５３による駆動パルス信号によってアドレス線及び読出線を有効にしてセンサセルアレイ５２の各画素からライン単位に画素信号を読み出す処理は、形態１又は１０に記載の画素信号読出手段又は形態１２に記載の画素信号読出ステップに対応する。

〔第２の実施の形態〕
次に、本発明に係る撮像装置及び撮像装置の駆動方法の第２の実施の形態を説明する。図７〜図１０は、本発明に係る撮像装置及び撮像装置の駆動方法の第２の実施の形態を示す図である。

本実施の形態の撮像装置１００は、上記第１の実施の形態における撮像装置１００のカラーフィルタ１３の構成が、図７に示すベイヤ型の配列構成のカラーフィルタ１６となり、それ以外のハードウェア構成は、上記第１の実施の形態における撮像装置１００と同様となる。
但し、本実施の形態の撮像装置１００は、カラーフィルタ１６のフィルタ構成により、イメージセンサ部１４及び信号処理部１５の動作内容が上記第１の実施の形態と異なるため、内部のハードウェア構成は一部異なる場合がある。

以下、上記第１の実施の形態と異なる部分を詳細に説明する。
ここで、図７は、カラーフィルタ１６の構成を示す図である。
カラーフィルタ１６は、図７に示すように、複数のＲ光透過フィルタ部と複数のＧ光透過フィルタ部とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルタラインＲＧＦＬと、複数のＧ光透過フィルタ部と複数のＢ光透過フィルタ部とがＧ→Ｂ→Ｇ→Ｂ→Ｇ→Ｂ→・・・の順で水平方向に連続した構成のフィルタラインＧＢＦＬとを複数備えている。これら複数の、フィルタラインＲＧＦＬと、フィルタラインＧＢＦＬとは、図７に示すように、ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＲ光透過フィルタ部と、複数のＧ光透過フィルタ部と、複数のＢ光透過フィルタ部とがベイヤ型に配列された構成となっている。

次に、図８に基づき、各画素に対するＲ光の分光感度がＧ光、Ｂ光よりも低く且つＧ光、Ｂ光の分光感度が同じ感度であるときのリセットタイミング及び読み出しタイミングの設定方法について説明する。
ここで、図８（ａ）は、従来のリセット及び読み出しタイミングの設定方法の一例を示す図であり、（ｂ）は、本発明のリセット及び読み出しタイミングの設定方法の一例を示す図である。なお、図８（ａ）及び（ｂ）に示す例では、説明の便宜上、ライン数を８ラインとしているが、これに限定されるものではない。

図７に示すフィルタ構成のカラーフィルタ１６で色分離される撮像素子に対して、従来の各ラインの露光開始タイミング（リセットタイミング）と、画素信号の読み出しタイミングは、図８（ａ）に示すように、上記図４（ａ）に示すタイミングと同じとなる。ここで、図８中の番号１〜８はライン番号であり、ＲＧ、ＧＢは各ラインに対応するフィルタラインの種類を示し、ＲＧが上記ＲＧＦＬ、ＧＢが上記ＧＢＦＬにそれぞれ対応する。

本実施の形態のイメージセンサ部１４においては、Ｒ光及びＧ光を受光する各ライン（ＲＧＦＬに対応）と、Ｇ光及びＢ光を受光する各ライン（ＧＢＦＬに対応）とに対して、各色要素の分光感度比に応じた露光時間がそれぞれ設定される。
図８（ｂ）の例では、各画素のＲ光に対する分光感度が、Ｇ光、Ｂ光に対する分光感度よりも低くなっているため、ＲＧＦＬに対応するラインの画素に対して、ＧＢＦＬに対応するラインの画素よりも長い露光時間が設定される。ここでは、画素信号を読み出すタイミングを、従来と同様に、ラインの並び順（ライン番号１から８の順）に１ラインずつ一定の時間間隔で読み出すタイミングとしている。そのため、リセット処理の順番及びタイミング（露光開始タイミング）を、ライン番号１〜８の順に一定のタイミングではなく、ＲＧＦＬのラインに設定された露光時間に応じてずらしている。

具体的に、図８（ｂ）の例では、ライン番号１→ライン番号３→ライン番号２→ライン番号５→ライン番号４→ライン番号７→ライン番号６→ライン番号８の順番でリセット処理を行っている。また、各ライン間のリセット処理を行う時間間隔も設定された露光時間に合わせて可変させている。

なお、リセット処理及び読み出し処理のいずれも、最終ラインに到達すると先頭ラインへと戻る。図８（ｂ）の例では、リセット処理及び読み出し処理のいずれも最終ラインはライン番号８に、先頭ラインはライン番号１になる。

このリセット処理及び読み出し処理は、イメージセンサ部１４において、信号処理部１５から入力される同期信号及びシャッタ・コントロール信号に基づき行われる。
つまり、シャッタ・コントロール信号に含まれる各フィルタライン（本実施の形態ではＲＧＦＬ、ＧＢＦＬ）に対応するラインの露光時間の情報に基づき、上記第１の実施の形態と同様に、制御回路５０のカウンタ回路を制御し、リセット処理を行うラインのアドレス値を示すカウント信号を出力させると共に、該アドレス値のラインを選択するリセットライン選択信号を生成し、これをリセット処理の時間間隔に応じたタイミングで駆動回路５１に出力する。そして、駆動回路５１において、センサセルアレイ５２における、リセットライン選択信号の示すアドレス値のラインを有効にし、図８（ｂ）に示す例のように、設定された露光時間に応じた順番及びタイミングでリセット処理を行わせる。
画素信号の読み出し処理については、上記第１の実施の形態と同様の順番及びタイミングとなる。

次に、図９に基づき、信号処理部１５におけるピクセルデータの生成処理について説明する。図９（ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。なお、図９は、説明の便宜上、センサセルアレイの一部分（左上の縦３画素×横３画素の９画素及び左上の縦３画素×横４画素の１２画素）を示した。

カラーフィルタ１６のようにベイヤ型の配列構成を有したフィルタを用いた場合に、ピクセルデータの生成方法として、例えば、以下の２つの方法がある。
（１）センサセルアレイ５２の各画素をサブピクセルとして、複数のサブピクセルから１つのピクセルデータを生成する方法。
（２）注目する画素に対して足りない色成分のデータを周辺画素の画素データを用いて補間してピクセルデータを生成する方法。

まず、上記（１）の方法では、図９（ａ）に示すように、縦横に隣接する４つのサブピクセルを１ピクセルとして、これら４つのサブピクセルの画素データを用いて、ピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。具体的に、図９（ａ）に示す例であれば、太枠で囲んだ４つのサブピクセルの画素データを用いて、Ｒ＝Ｒ₀₀、Ｇ＝（Ｇ₀₁＋Ｇ₁₀）／２、Ｂ＝Ｂ₁₁の３つの式を用いてピクセルデータを生成する。各４つのサブピクセルの組に対して、同様の計算式を用いて各ピクセルデータを生成する。

次に、上記（２）の方法では、図９（ｂ）に示すように、Ｇ光に対応する画素を１ピクセルとして、その画素データと、その上下左右に隣接する４つの画素の画素データとを用いて色補間を行ない、ピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。具体的に、図９（ｂ）に示す例であれば、太枠で囲んだ５つの画素の画素データを用いて、Ｒ＝（Ｒ₀₂＋Ｒ₂₂）／２、Ｇ＝Ｇ₁₂、Ｂ＝（Ｂ₁₁＋Ｂ₁₃）／２の３つの式を用いてピクセルデータを生成する。各Ｇ光に対応する画素に対して、同様の計算式を用いて各ピクセルデータを生成する。

更に、本実施の形態においては、カラーフィルタ１６のフィルタ構成から各ラインに必ずＧ光を受光する画素が含まれるため、ライン単位に露光時間を設定すると、同じ色要素について通常の露光時間で露光される画素と、これより長い露光時間で露光される画素との２種類の露光時間に対応する画素が発生する。このように、同じ色要素の画素に対して２種類の露光時間が設定された場合に、本実施の形態の信号処理部１５は、これら２種類の露光時間の画素の画素データの少なくとも一方を補正して、該補正値を用いてピクセルデータを生成するようになっている。

例えば、分光感度の比較的低い画素を含むラインに対して、該画素を含まないラインに設定される露光時間Ｔ１をＮ倍にした露光時間Ｔ２を設定した場合に、Ｇ光に対応する画素については、Ｔ１とＴ２の両方の露光時間に対応する画素信号が読み出されることになる。
ここで、図９（ａ）に示す例において、奇数ラインをＴ２で露光し、偶数ラインをＴ１で露光したとすると、１ライン目のＧ₀₁、３ライン目のＧ₂₁の画素はそれぞれ露光時間Ｔ２（Ｎ×Ｔ１）で露光され、２ライン目のＧ₁₀、Ｇ₁₂の画素は露光時間Ｔ１で露光されることになる。つまり、Ｔ１で露光された画素の画素データと比較して、Ｔ２で露光された画素の画素データは、その出力レベルがＮ倍のレベルとなる。

この条件で、上記（１）の生成方法を用いる場合に、本実施の形態の信号処理部１５は、Ｔ２に対応するＧ₀₁の画素データのレベルを、これを「１／Ｎ」にしたレベルへと補正し、ピクセルデータ（Ｒ，Ｇ，Ｂ）を求める式を、Ｒ＝Ｒ₀₀、Ｇ＝（Ｇ₀₁／Ｎ＋Ｇ₁₀）／２、Ｂ＝Ｂ₁₁として、この式を用いてピクセルデータを生成する。
一方、図９（ｂ）の例において、奇数ラインをＴ１で露光し、偶数ラインをＴ２（Ｎ×Ｔ１）で露光したとすると、１ライン目のＧ₀₁、Ｇ₀₃、３ライン目のＧ₂₁、Ｇ₂₃の画素はそれぞれ露光時間Ｔ１で露光され、２ライン目のＧ₁₀、Ｇ₁₂の画素は露光時間Ｔ２で露光されることになる。

この条件で、上記（２）の生成方法を用いる場合に、本実施の形態の信号処理部１５は、Ｔ２に対応するＧ₀₁の画素データのレベルを、これを「１／Ｎ」にしたレベルへと補正し、ピクセルデータ（Ｒ，Ｇ，Ｂ）を求める式を、Ｒ＝（Ｒ₀₂＋Ｒ₂₂）／２、Ｇ＝Ｇ₁₂／Ｎ、Ｂ＝（Ｂ₁₁＋Ｂ₁₃）／２として、この式を用いてピクセルデータを生成する。
また、他の補正方法として、Ｔ１に対応するＧ₁₂の画素データのレベルを「１／Ｎ」にし、このレベルと、周辺のＴ２で露光されたＧ光に対応する画素の画素データのレベルとの平均レベルを求め、Ｇ₁₂の画素データのレベルをこの平均レベルへと補正する。そして、ピクセルデータ（Ｒ，Ｇ，Ｂ）を求める式を、例えば、Ｒ＝（Ｒ₀₂＋Ｒ₂₂）／２、Ｇ＝（Ｇ₁₂／Ｎ＋Ｇ₀₁）／２、Ｂ＝（Ｂ₁₁＋Ｂ₁₃）／２として、この式を用いてピクセルデータを生成する。なお、周辺の画素として、Ｇ₀₁の代わりに、Ｇ₀₃、Ｇ₂₁、Ｇ₂₃のいずれかを用いてもよい。

本実施の形態の信号処理部１５は、上記（１）及び（２）のピクセルデータの生成方法並びに上記補正方法のいずれにも対応しており、ユーザの指定により、上記いずれかの方法でピクセルデータを生成する。
次に、図１０に基づき、本実施の形態の撮像装置１００の実際の動作を説明する。
ここで、図１０（ａ）は、各フィルタラインに対応するラインの露光時間の倍率の一例を示す図であり、（ｂ）は、各画素のＲ光，Ｇ光，Ｂ光に対する分光感度特性の一例を示す図である。

ここでは、図１０（ｂ）に示すように、各画素のＲ光に対する分光感度が、Ｇ光及びＢ光に対する分光感度の１／２となっている。つまり、分光感度比がＲ：Ｇ：Ｂ＝１：２：２となっている。
撮像装置１００は、まず、分光感度比の情報に基づき、ＲＧＦＬに対応する各ライン、ＧＢＦＬに対応する各ラインの露光時間を決定する。ここでは、分光感度比がＲ：Ｇ：Ｂ＝１：２：２となっているので、図１０（ａ）に示すように、Ｒ光に対応する画素を含むＲＧＦＬに対応するラインの露光時間Ｔ１を、Ｇ光及びＢ光に対応する画素のみを含むＧＢＦＬに対応するラインの露光時間Ｔ２の２倍の露光時間に決定する。そして、この決定した露光時間の情報を含むシャッタ・コントロール信号と、内部クロック発生器で生成した同期信号とをイメージセンサ部１４に出力する。

一方、イメージセンサ部１４は、制御回路５０において、信号処理部１５から供給された同期信号及びシャッタ・コントロール信号に基づき、水平同期信号、垂直同期信号、ピクセルクロック、リセットライン選択信号、読み出しライン選択信号、Data_Enable信号などの各種制御信号を生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号などを含む制御信号を駆動回路５１に出力し、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。

このとき、上記図８（ｂ）に示す例のように、ＲＧＦＬに対応するラインの露光時間のみがＧＢＦＬに対応するラインの２倍となるように、リセットの順番及びタイミングを制御する。具体的に、制御回路５０は、各ラインに対して設定された露光時間に基づき、リセットの順番及びタイミングを設定する。そして、設定した順番及びタイミングでリセットが行われるように、カウンタ回路を制御してリセットライン選択信号を生成し、該生成したリセットライン選択信号を駆動回路５１に出力する。

一方、制御回路５０は、一定のタイミングで各ラインの画素から読み出し処理が行われるように、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。
これにより、画素信号読出回路５３は、センサセルアレイ５２においてアドレス線及び読出線が有効にされると、水平転送部において、制御回路５０からの各種制御信号に基づき、一定のタイミングで、有効となった読出線を介して有効となったアドレス線のラインを構成する各画素から画素信号をラインメモリに読み出す。

また、本実施の形態においても、上記第１の実施の形態と同様に、固定パターンノイズを除去するために、同じラインからリセット直後の画素信号と設定された露光時間に対応する画素信号とをそれぞれ読み出すようになっている。
設定された露光時間の画素信号の読み出しについては、例えば、ライン番号１のラインであれば、このラインはＲＧＦＬに対応するラインであるので、露光時間Ｔ１で露光された画素から画素信号が読み出される。また、ライン番号２のラインであれば、このラインはＧＢＦＬに対応するラインであるので、露光時間Ｔ２で露光された画素から画素信号が読み出される。つまり、奇数ラインがＴ１で露光され、偶数ラインがＴ２で露光される。

露光時間Ｔ１は、Ｔ２の２倍の長さにしたので、奇数ラインを構成するＲ光及びＧ光に対応する各画素の蓄積電荷量が１倍のとき（Ｔ２のとき）よりも増加する。つまり、被写体に急激な輝度変化がなければ蓄積電荷の増加量は一定となるので最終的に蓄積電荷量は２倍となる（飽和する場合もある）。これにより、Ｒ光に対応する各画素の分光感度の違いによる蓄積電荷量の不足分が補われ、図１０（ｂ）に示すように、Ｒ光の分光感度は、実質的に偶数ラインのＧ光及びＢ光に対応する画素の分光感度と同じになる。

なお、図１０（ｂ）に示すように、奇数ラインのＧ光に対しては、分光感度が偶数ラインのＧ光及びＢ光に対応する画素の分光感度の２倍となる。
そして、画素信号読出回路５３は、ＡＧＣ回路において、読み出した画素信号データ（差分の画素データ）の出力レベルを調整し、Ａ／Ｄコンバータにおいて、レベル調整後のアナログの画素信号データをデジタルの画素データへと変換する。そして、該変換して得られた画素データを、信号処理部１５に出力する。

信号処理部１５は、イメージセンサ部１４から入力される画素データを、画素の並び順にフレームメモリに記憶し、該記憶した画素データから、上記図９（ａ）及び（ｂ）のいずれかに示す生成方法を用いてピクセルデータを生成する。
このとき、Ｇ光に対応する画素データについては、上記した図９（ａ）に示すピクセルデータの生成方法を用いるときは、Ｔ１で露光されたＧ光の画素から読み出された画素データの値（輝度値）を１／２にして用いる。

また、上記した図９（ｂ）に示すピクセルデータの生成方法を用いるときは、Ｔ１で露光されたＧ光の画素から読み出された画素データの値を１／２にして用いるか、又は１／２にした値を更にその画素の周辺のＴ２で露光されたＧ光の画素の画素データの値との平均値を用いる。
そして、このようにして生成したピクセルデータから構成される撮像画像データを、外部機器に出力する。

以上、本実施の形態の撮像装置１００は、イメージセンサ部１４を構成するセンサセルアレイ５２の各画素の分光感度特性（分光感度比）に基づき、ベイヤ型の配列を有するカラーフィルタ１６のフィルタライン単位に、比較的分光感度の低い色要素に対応する画素を含むラインの露光時間を、最も分光感度の高い画素の露光時間よりも長い時間に設定することが可能である。

つまり、各色要素の光に対して画素の分光感度が異なる場合に、分光感度の比較的低い画素を含むラインについては露光時間を長くすることができるので、該当する画素に対して分光感度が異なることによって不足する蓄積電荷量を補うことができる。これにより、各画素の受光する光の色要素（波長）に対する分光感度の違いによる出力レベルのバラツキを低減することができる。

更に、同じ色要素に対応する画素について、２種類の露光時間が設定されたときに、これら２種類の露光時間で露光された画素から読み出された画素信号のレベルを補正することが可能である。例えば、露光時間Ｔ１とＴ１のＮ倍の露光時間Ｔ２が設定された場合は、露光時間Ｔ２に該当する画素の画素データのレベルを、これを１／Ｎにしたレベルに補正したり、１／Ｎにすることに加え、このレベルと、周辺画素の画素データのレベルとの平均レベルに補正したりする。
これにより、同じ色要素に対応する画素に対して露光時間が異なっていても、これらの画素の画素信号のレベルを均一にすることができる。

上記第２の実施の形態において、レンズ１０、ＩＲカットフィルタ１１、マイクロレンズ１２、カラーフィルタ１３及びイメージセンサ部１４は、形態１又は１２に記載の撮像素子に対応し、制御回路５０による信号処理部１５からの信号に基づき露光時間を設定する処理は、形態１、２及び３のいずれか１に記載の露光時間設定手段又は形態１２に記載の露光時間設定ステップに対応し、制御回路５０によるリセット処理の順番及びタイミングと、読み出し処理の順番及びタイミングを設定する処理は、形態１又は１０に記載のタイミング設定手段又は形態１２に記載のタイミング設定ステップに対応し、駆動回路５１及びセンサセルアレイ５２による駆動パルス信号によってアドレス線及びリセット線を有効にしてセンサセルアレイ５２の各画素をライン単位にリセットする処理は、形態１又は１０に記載のリセット処理手段又は形態１２に記載のリセット処理ステップに対応し、駆動回路５１、センサセルアレイ５２及び画素信号読出回路５３による駆動パルス信号によってアドレス線及び読出線を有効にしてセンサセルアレイ５２の各画素からライン単位に画素信号を読み出す処理は、形態１又は１０に記載の画素信号読出手段又は形態１２に記載の画素信号読出ステップに対応する。

また、上記第２の実施の形態において、信号処理部１５による同じ色要素の光を受光する画素に対して、異なる２種類の露光時間を設定した場合に、これらの画素から読みだされた画素信号のデータのレベルを補正する処理は、形態４、５及び６のいずれか１に記載のレベル補正手段に対応する。
なお、上記第１及び第２の実施の形態において、センサセルアレイ５２を構成する各画素のＲ光に対する分光感度が、Ｇ光、Ｂ光に対する分光感度よりも低い場合（例えば、分光感度比がＲ：Ｇ：Ｂ＝１：２：２）を例に挙げて説明したが、これに限らず、例えば、分光感度比が、Ｒ：Ｇ：Ｂ＝２：２：１、Ｒ：Ｇ：Ｂ＝２：１：１、Ｒ：Ｇ：Ｂ＝２：１：２、Ｒ：Ｇ：Ｂ＝４：２：１など、本発明は、他の様々な分光感度比となる状況に対しても適用することが可能である。

また、上記第２の実施の形態においては、ＲＧＦＬに対応するラインの画素に対して、ＧＢＦＬに対応するラインの画素よりも長い露光時間を設定する例を説明したが、これに限らず、ＧＢＦＬに対応するラインの画素に対して、ＲＧＦＬに対応するラインの画素よりも長い露光時間を設定してもよい。また、各画素のＧ光に対する分光感度が、Ｒ光、Ｂ光に対する分光感度よりも低い場合は、ＲＧＦＬ及びＧＢＦＬの双方に対応するラインの画素に対して、例えば、最も分光感度の高い画素に対して設定される露光時間（例えば、標準露光時間）よりも長い露光時間を設定する。

また、上記第２の実施の形態においては、ピクセルデータを生成する際に、演算処理によって、同じ色要素で露光時間の異なる画素の画素信号のレベルを処理する例を説明したが、これに限らず、露光時間の倍率Ｎに合わせて、Ｎ倍になる方の画素に入射される光の量を１／Ｎにする（透過率が１／Ｎの）透過フィルタ部を用いてカラーフィルタを構成しても良い。この場合においても、周辺の画素との平均をとるなどの演算処理を組み合わせてもよい。

また、上記第２の実施の形態において、同じ色要素の光を受光する複数の画素について、異なる２種類の露光時間が設定された場合に、信号処理部１５において、Ｎ倍された方の画素データのレベルを１／Ｎに補正したり、１／Ｎにして更に周辺画素のレベルとの平均レベルへと補正したりする例を説明したが、これに限らず、例えば、入射光量の大きさに応じて、２種類の画素のいずれか一方の画素の画素データを、そのまま用いたり、同じ色要素で露光時間の異なる周辺画素の画素データのレベルへと補正したりする方法もある。

具体的に、図１１に示すように、Ｇ光を受光する画素について、露光時間Ｔ１と、該Ｔ１の２倍の長さの露光時間Ｔ２が設定された場合に、入射光量が図１１中のａの範囲内であるときは、露光時間Ｔ１の画素Ｇ１から読み出された画素データを、周辺の露光時間Ｔ２の画素Ｇ２から読み出された画素データに補正する。
一方、入射光量が図１１中のａの範囲を超えている場合は、画素Ｇ１の画素データについてはそのまま用い、画素Ｇ２の画素データについては、その画素データのレベルを１／Ｎに補正したり、１／Ｎにして更に周辺画素のレベルとの平均レベルへと補正したりする。なお、入射光量は、撮像装置１００に分光度計などを搭載して測定する。

図１１に示すように、画素Ｇ２はＧ１の２倍の露光時間で露光されるため、Ｇ１よりも急峻に立ち上がり、Ｇ１よりも早く出力が飽和する。センサセル（画素）自体は同じ特性のものを使用しているため、飽和出力レベルは同じである。
つまり、画素Ｇ１から読み出される画素データのレベルがノイズレベルに埋もれてしまうようなレベルの入射光量の範囲においては、その周辺の画素Ｇ２から読み出された画素データを用いることで、センサ出力のリニアリティを確保する。これにより、黒方向のダイナミックレンジを広げることができる。

この構成において、信号処理部１５における画素データのレベルの補正処理は、形態７に記載のレベル補正手段に対応する。
また、上記第１及び第２の実施の形態においては、図２に示すカラーフィルタ１３及び図７に示すカラーフィルタ１６など光の３原色のいずれかに分離する構成のカラーフィルタについて説明したが、カラーフィルタの構成はこれらに限らず、例えば、図１２に示すように、Ｍｇ（マゼンタ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の補色系の光に分離するフィルタ構成など他の構成としてもよい。

本発明に係る撮像装置１００の概略構成を示すブロック図である。 カラーフィルタ１３の構成を示す図である。 イメージセンサ部１４の内部構成を示すブロック図である。 （ａ）は、従来のリセット及び読み出しタイミングの設定方法の一例を示す図であり、（ｂ）は、本発明のリセット及び読み出しタイミングの設定方法の一例を示す図である。 （Ａ）〜（Ｊ）は、ピクセルデータの生成方法及び画素形状の例を示す図である。 （ａ）は、各フィルタラインに対応するラインの露光時間の倍率の一例を示す図であり、（ｂ）は、各画素のＲ光，Ｇ光，Ｂ光に対する分光感度特性の一例を示す図である。 カラーフィルタ１６の構成を示す図である。 （ａ）は、従来のリセット及び読み出しタイミングの設定方法の一例を示す図であり、（ｂ）は、本発明のリセット及び読み出しタイミングの設定方法の一例を示す図である。 （ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。 （ａ）は、各フィルタラインに対応するラインの露光時間の倍率の一例を示す図であり、（ｂ）は、各画素のＲ光，Ｇ光，Ｂ光に対する分光感度特性の一例を示す図である。 異なる２種類の露光時間の設定されたＧ光を受光する画素の入射光量と出力レベルとの関係を示す図である。 補色系のカラーフィルタの一例を示す図である。 （ａ）は、撮像素子の分光感度特性を示す図であり、（ｂ）は、ＲＧＢカラーフィルタの透過率を示す図であり、（ｃ）は、ＩＲカットフィルタの特性の一例を示す図であり、（ｄ）は、Ｒ，Ｇ，Ｂの各光に対する分光感度特性の一例を示す図である。 （ａ）は、透過率を下げて分光感度を合わせた一例を示す図であり、（ｂ）は、利得を上げて分光感度を合わせた一例を示す図である。

符号の説明

１００…撮像装置、１０…レンズ、１１…ＩＲカットフィルタ、１２…マイクロレンズ、１３，１６…カラーフィルタ、１４…イメージセンサ部、１５…信号処理部、５０…制御回路、５１…駆動回路、５２…センサセルアレイ、５３…画素信号読出回路

Claims (12)

1. 受光した光を電荷に変換して蓄積する光電変換素子を含む複数の画素が２次元配列された構成のイメージセンサ部と、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうち各前記画素に対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を前記各画素に入射する色分離手段とを備えた撮像素子を有する撮像装置であって、
   各前記色要素に対応する波長の光に対する前記画素の分光感度特性に基づき、所定方向に配列された複数の前記画素が形成するライン単位に前記各画素の露光時間を設定する露光時間設定手段と、
   前記露光時間設定手段で設定された露光時間に基づき、前記イメージセンサ部を構成する各画素を前記ライン単位にリセットするタイミングと、前記ライン単位に前記リセット後の前記設定された露光時間で露光された前記各画素から画素信号を読み出すタイミングとを設定するタイミング設定手段と、
   前記タイミング設定手段で設定された前記リセットのタイミングに基づき、前記ライン単位に前記イメージセンサ部を構成する各画素をリセットするリセット処理手段と、
   前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記ライン単位に前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、を備えることを特徴とする撮像装置。
2. 前記露光時間設定手段は、前記分光感度の最も高い色要素に対応する画素から読み出される画素信号のレベルと、該色要素とは異なる種類の色要素に対応する画素から読み出される画素信号のレベルとに基づき、比較的分光感度の低い画素の露光時間が、前記分光感度の最も高い画素の露光時間よりも長くなるように前記各画素の露光時間を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記露光時間設定手段は、前記分光感度の最も高い色要素に対応する画素から読み出される画素信号に基づくレベル値Ａ１と該色要素とは異なる種類の色要素に対応する画素から読み出される画素信号に基づくレベル値Ａ２との比である「Ａ１／Ａ２」で前記分光感度の最も高い画素に対して設定される露光時間を乗算して得られる乗算結果に基づき、前記異なる種類の色要素に対応する画素の露光時間を設定することを特徴とする請求項１に記載の撮像装置。
4. 同じ種類の色要素に対応する画素をそれぞれ含む連続する複数のラインに対して、隣接するラインで種類の異なる２種類の露光時間Ｔ１及びＴ２（Ｔ１＜Ｔ２）が設定されたときに、前記露光時間Ｔ１及びＴ２に基づき、これら露光時間の違いによって隣接するラインの前記同じ種類の色要素に対応する画素に生じる画素信号のレベル差を補正するレベル補正手段を更に備えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記レベル補正手段は、前記露光時間Ｔ１の設定されたラインを構成する前記同じ種類の色要素に対応する画素から読み出される画素信号のレベルＬ１を、前記露光時間Ｔ１と前記露光時間Ｔ２との比である「Ｔ１／Ｔ２」を前記レベルＬ１に乗算して得られるレベルＬ２に補正することを特徴とする請求項４に記載の撮像装置。
6. 前記レベル補正手段は、前記露光時間Ｔ１の設定されたラインを構成する前記同じ種類の色要素に対応する画素から読み出される画素信号のレベルＬ１を、前記露光時間Ｔ１と前記露光時間Ｔ２との比である「Ｔ１／Ｔ２」を前記レベルＬ１に乗算して得られるレベルＬ２と、前記レベルＬ１に対応する画素の周辺の前記露光時間Ｔ２で露光された画素から読み出される画素信号のレベルＬ３との平均レベルである「（Ｌ２＋Ｌ３）／２」に補正することを特徴とする請求項４に記載の撮像装置。
7. 前記レベル補正手段は、前記露光時間Ｔ１で露光された画素から読み出される画素信号のレベルＬ１が、少なくともノイズレベル以下となる前記入射光の光量の範囲内にあるときに、前記レベルＬ１を、該レベルＬ１に対応する画素の周辺の前記露光時間Ｔ２で露光された画素から読み出される画素信号のレベルＬ２に補正することを特徴とする請求項４に記載の撮像装置。
8. 前記色分離手段は、前記画素の単位に、前記入射光から前記複数種類の色要素のうち前記各ラインに対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を該当する前記画素に入射する構成を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
9. 前記色分離手段は、前記複数種類の色要素に対応する画素がベイヤ型に配列されるように、前記画素の単位に前記入射光から前記所定の１種類の色要素に対応する波長の光を分離して該当する前記画素に入射する構成を有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
10. 前記タイミング設定手段は、前記読み出すタイミングを、前記ラインの並び順に１ラインずつ一定の時間間隔で前記読み出しを行うタイミングに設定し、前記リセットのタイミングを、前記ラインの並び順に対して前記各ラインに設定された露光時間で前記読み出しが行われる順に前記リセットを行うタイミングに設定することを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
11. 前記タイミング設定手段は、前記リセットのタイミングを、前記ラインの並び順に１ラインずつ一定の時間間隔で前記リセットを行うタイミングに設定し、前記読み出すタイミングを、前記ラインの並び順に対して前記各ラインに設定された露光時間で前記読み出しを行うタイミングに設定することを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
12. 受光した光を電荷に変換して蓄積する光電変換素子を含む複数の画素が２次元配列された構成のイメージセンサ部と、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうち各前記画素に対して予め設定された所定の１種類の色要素に対応する波長の光を分離して該分離した光を前記各画素に入射する色分離手段とを備えた撮像素子を有する撮像装置の駆動方法であって、
    各前記色要素に対応する波長の光に対する前記画素の分光感度特性に基づき、所定方向に配列された複数の前記画素が形成するライン単位に前記各画素の露光時間を設定する露光時間設定ステップと、
    前記露光時間設定ステップで設定された露光時間に基づき、前記イメージセンサ部を構成する各画素を前記ライン単位にリセットするタイミングと、前記ライン単位に前記リセット後の前記設定された露光時間で露光された前記各画素から画素信号を読み出すタイミングとを設定するタイミング設定ステップと、
    前記タイミング設定ステップで設定された前記リセットのタイミングに基づき、前記ライン単位に前記イメージセンサ部を構成する各画素をリセットするリセット処理ステップと、
    前記タイミング設定ステップで設定された前記読み出しのタイミングに基づき、前記ライン単位に前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出ステップと、を含むことを特徴とする撮像装置の駆動方法。

Images