JP2009246745A - 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ - Google Patents

Abstract

【課題】解像度の向上と画像処理の簡易化を図り、画素数の少ないイメージセンサでも高精細動画を得られるようにする。
【解決手段】入射した光を光電変換した画素信号を出力する複数の画素（22）と、互いに隣り合った行の画素（22）からの画素信号を画素混合して出力する画素混合部（25,26,27,28）とを設ける。そして、画素混合部（25,26,27,28）によって、同一の列内の画素同士の画素信号を混合する第１の混合動作と、同一の行内の画素同士の画素信号を混合する第２の混合動作とを行う。
【選択図】図６

Description

本発明は、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール、電子スチルカメラ、及び電子ムービーカメラに関するものである。

多数個の画素ずらしされた画素からなる撮像装置において、撮像装置からの画素信号読み出しの速度の向上、或いは、感度向上の手段として、画素を混合して読み出す技術がある（例えば特許文献１、又は特許文献２を参照）。

この特許文献１には、緑色画素とマゼンタ色画素とを交互に繰り返し配置した画素行と、シアン色画素と黄色画素とを交互に繰り返し配置した画素行とを、交互に繰り返し形成し、緑色画素とシアン色画素または黄色画素とを対象に画素加算を行うと共に、マゼンタ色画素と黄色画素またはシアン色画素とを対象に画素加算を行う方法が開示されている。

特許文献２の撮像装置は、原色ベイヤー配列を４５度回転させたカラー配列を持つイメージセンサにおいて、着目画素を含む近隣の同色画素４画素分を混合の形状が正方形になるように混合させ、さらに、画素を混合した結果の画素重心が画素ずらし状になるような組み合わせで画素混合を行っている。
特開２００３−９１６６号公報 特開２００６−２１１６３０号公報

しかしながら、上述の特許文献１のような画素混合では、画素混合の形状が斜め方向になっているため、必然的に垂直方向、及び水平方向に対してもＬＰＦがかかり、解像感の劣化をまねいている。また、画素混合の形状が斜め方向に対し異方性を持っているため、画像処理により異方性の解消を行うことが望ましく、この処理を加えることでさらに解像感の劣化が顕著になる。

また、上述の特許文献２に示されているような画素混合では、画素混合後の画素重心が画素ずらしの関係にあるので解像度の劣化は低減させることができるが、画素自体にカラーフィルタによる変調成分を有しているため、実際の解像感は大幅に向上することができない。さらに、画素を２次元状に多数混合するため、高精細動画を出力するためには実際の画素数が多数必要になり、カメラシステムの大型化か、イメージセンサの画素サイズ小型化による画質劣化の原因となってしまう。

本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画素ずらし配列されて画素を混合して読み出す撮像装置において、解像度の向上と画像処理の簡易化を図り、画素数の少ないイメージセンサでも高精細動画を得ることである。

上記の課題を解決するため、第１の発明は、
行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
前記画素混合部は、同一の列内の画素同士の画素信号を混合する第１の混合動作と、同一の行内の画素同士の画素信号を混合する第２の混合動作とを行うことを特徴とする。

これにより、列方向のみの画素混合と、行方向のみの画素混合を行った画素信号を読み出すことが可能になり、画素信号の読み出し速度、或いは、感度の向上、及び、解像感の向上を行うことが可能になる。

また、第２の発明は、
第１の発明の撮像装置において、
前記画素混合部は、第１及び第２のそれぞれの混合動作において、互いに隣接した画素同士の画素信号を混合するように構成されていることを特徴とする。

これにより、隣接した画素により画素混合を実現するので、イメージセンサの構造、駆動方法を簡略化でき、さらに、画素混合によるＬＰＦによる解像感劣化も抑制することが可能になる。

また、第３の発明は、
第１の発明の撮像装置において、
前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心と一致し、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心と一致するように画素信号を混合することを特徴とする。

これにより、画素を混合して読み出した画素の重心が、画素ずらし状ではなく正方状に出力され、従来から正方配列のイメージセンサ用に使用していた画像処理の設計資産流用が可能になる。

また、第４の発明は、
第１の発明の撮像装置において、
前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心に対し所定画素数分列方向にずれ、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心と一致するように画素信号を混合することを特徴とする。

これにより、列方向に画素を混合して読み出した画素の重心が画素ずらし状になり、行方向に画素を混合して読み出した画素の重心が正方状に出力される。そして、画像処理において、両方の信号の特性を活用して画像処理を行うことで解像感を向上することが可能になる。

また、第５の発明は、
第１の発明の撮像装置において、
前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心と一致し、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心に対し所定画素数分行方向にずれるように画素信号を混合することを特徴とする。

これにより、列方向に画素を混合して読み出した画素の重心が正方状になり、行方向に画素を混合して読み出した画素の重心が画素ずらし状に出力さる。そして、画像処理において、両方の信号の特性を活用して画像処理を行うことで解像感を向上することが可能になる。

また、第６の発明は、
第１の発明の撮像装置において、
前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心に対し所定画素数分列方向にずれ、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心に対し所定画素数分行方向にずれるように画素信号を混合することを特徴とする。

これにより、画素を混合して読み出した画素の重心が、正方状ではなく画素ずらし状に出力され、従来から画素ずらし配列のイメージセンサ用に使用していた画像処理の設計資産流用が可能になる。

また、第７の発明は、
第４の発明の撮像装置において、
前記列方向のずれは、前記第１の画素混合動作により形成されて列方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする。

これにより、列方向に画素を混合して読み出した画素の重心が画素ずらし状になり、行方向に画素を混合して読み出した画素の重心が正方状に出力され、画素ずらしによる画素重心の関係が均等な間隔になる。そして、画像処理において、両方の信号の特性を活用して画像処理を行うことで解像感を向上することが可能になる。

また、第８の発明は、
第５の発明の撮像装置において、
前記行方向のずれは、前記第２の画素混合動作により形成されて行方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする。

これにより、列方向に画素を混合して読み出した画素の重心が正方状になり、行方向に画素を混合して読み出した画素の重心が画素ずらし状に出力され、画素ずらしによる画素重心の関係が均等な間隔になる。そして、画像処理において、両方の信号の特性を活用して画像処理を行うことで解像感を向上することが可能になる。

また、第９の発明は、
第６の発明の撮像装置において、
前記列方向のずれは、前記第１の画素混合動作により形成されて列方向に並んだ２つの画素混合後の重心間の距離よりも小さく、
前記行方向のずれは、前記第２の画素混合動作により形成されて行方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする。

これにより、画素を混合して読み出した画素の重心が、正方状ではなく画素ずらし状に出力され、画素ずらしによる画素重心の関係が均等な間隔になる。そして、従来から画素ずらし配列のイメージセンサ用に使用していた画像処理の設計資産流用が可能になる。

また、第１０の発明は、
第１の発明から第９の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、同一であることを特徴とする。

これにより、画素毎の信号レベルの飽和制御が容易になり、画像処理の構成を簡易化することが可能になる。

また、第１１の発明は、
第１の発明から第９の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、互いに異なることを特徴とする。

これにより、画素毎の信号レベルの飽和制御は煩雑になるが、解像度を延ばしたい方向の画素混合の数を低減させ、解像度が不要である方向の画素混合の数を増加させることで、解像度劣化の低減と感度向上を両立することが可能になる。

また、第１２の発明は、
第１の発明から第９の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、それぞれ２であることを特徴とする。

これにより、画素信号の読み出し時間を半分にし、さらに、解像度の大幅な劣化を抑制した撮像信号を得ることが可能になる。

また、第１３の発明は、
第１の発明から第１２の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作により読み出される画素の垂直方向の画素重心は、所定の垂直帰線期間毎に異なることを特徴とする。

これにより、インタレース読み出しを実現することができ、さらに、複数フレームの画像を利用することで高解像度の撮像信号を得ることが可能になる。

また、第１４の発明は、
第１の発明から第１２の発明のうちの何れか１つの撮像装置において、
前記第２の画素混合動作により読み出される画素の水平方向の画素重心は、所定の垂直帰線期間毎に異なることを特徴とする。

これにより、複数フレームの画像を利用することで高解像度の撮像信号を得ることが可能になる。

また、第１５の発明は、
第１の発明から第１４の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作、又は前記第２の画素混合動作において、所定の行、所定の列、又は所定に画素アドレスの画素の信号の読出しが間引かれることを特徴とする。

これにより、画素信号を混合することで読み出し速度を向上した上に、さらに読み出し速度を向上することが可能になる。

また、第１６の発明は、
第１の発明から第１５の発明のうちの何れか１つの撮像装置において、
各画素には、カラーフィルタが配置されていることを特徴とする。

これにより、撮像信号を画像処理することにより、カラー情報を得ることが可能になる。

また、第１７の発明は、
第１６の発明の撮像装置において、
前記カラーフィルタは、赤、緑、及び青からなる原色フィルタで構成されていることを特徴とする。

これにより、色信号のＳ／Ｎで有利な撮像信号を得ることが可能になる。

また、第１８の発明は、
第１６の発明の撮像装置において、
前記カラーフィルタは、マゼンダ、グリーン、シアン、及びイエローのうちの少なくとも３種類以上からなる補色フィルタで構成されていることを特徴とする。

これにより、感度、及び、解像度で有利な撮像信号を得ることが可能になる。

また、第１９の発明は、
第１６の発明から第１８の発明のうちの何れか１つの撮像装置において、
第２ｎ列目（ｎは０又は正の整数）のカラーフィルタと第２ｎ＋１列目のカラーフィルタで、同一の色のカラーフィルタが配置されている画素において、第２ｎ列目と第２ｎ＋１列目の何れかの前記同一の色の変調成分は、他方と比べ低いこと、又は、
第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差が異なること、又は、
第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率が異なること、又は、
第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅と、第２ｎ＋１列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅が異なることを特徴とする。

これにより、画素を混合して読み出す場合と、混合せずに読み出す場合において、変調成分の低いカラーフィルタの配置されている画素で色情報を取得しつつ、エッジ成分を精度良く検出することができる。そして、精度良く検出されたエッジ成分を用いた画像処理により解像度改善を図ることが可能になる。

また、第２０の発明は、
第１６の発明から第１９の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、グレー色、又は輝度に対する視感度特性を有することを特徴とする。

これにより、画素を混合して読み出す場合と、混合せずに読み出す場合において、変調成分の低いカラーフィルタの配置されている画素でエッジ成分を精度良く検出することができる。そして、精度良く検出されたエッジ成分を用いた画像処理により解像度改善を図ることが可能になる。

また、第２１の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、４画素の単位配列の繰り返しからなり、
前記単位配列の第２ｎライン目（ｎは０又は正の整数）の基準画素は第１の色のカラーフィルタ、
前記単位配列の第２ｎライン目において、前記基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第２ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
前記単位配列の第２ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする。

これにより、イメージセンサのカラーフィルタの構造が単純になり、製造のコストを低減することができ、さらに、列方向の偽色を抑制することが可能になる。

また、第２２の発明は、
第１６の発明６から第２０の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、８画素の単位配列の繰り返しからなり、
前記単位配列の第４ｎライン目（ｎは０又は正の整数）の基準画素は第１の色のカラーフィルタ、
前記単位配列の第４ｎ＋２ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第４ｎライン目において、前記単位配列の基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第４ｎ＋２ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第４ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
前記単位配列の第４ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
前記単位配列の第４ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第２の色のカラーフィルタ、
前記単位配列の第４ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする。

これにより、イメージセンサのカラーフィルタの構造が単純になり、製造のコストを低減することができ、さらに、行方向の偽色を抑制することが可能になる。

また、第２３の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、１６画素の単位配列の繰り返しからなり、
前記単位配列の第８ｎ列目（ｎは０以上の整数）の基準画素は、第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋２列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋４列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋６列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ列目の基準画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋２列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋４列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋６列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋１列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
前記単位配列の第８ｎ＋３列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
前記単位配列の第８ｎ＋５列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第４の色のカラーフィルタ、
前記単位配列の第８ｎ＋７列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第５の色のカラーフィルタ、
前記単位配列の８ｎ＋１列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第４の色のカラーフィルタ、
前記単位配列の８ｎ＋３列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第５の色のカラーフィルタ、
前記単位配列の８ｎ＋５列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第２の色のカラーフィルタ、
前記単位配列の８ｎ＋７列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする。

また、第２４の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、１６画素の単位配列の繰り返しからなり、
前記単位配列の第８ｎライン目（ｎは０以上の整数）の基準画素は、第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋２ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋４ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋６ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎライン目において、前記基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋２ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋４ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋６ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
前記単位配列の第８ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
前記単位配列の第８ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
前記単位配列の第８ｎ＋５ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第４の色のカラーフィルタ、
前記単位配列の第８ｎ＋７ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第５の色のカラーフィルタ、
前記単位配列の第８ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第４の色のカラーフィルタ、
前記単位配列の第８ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第５の色のカラーフィルタ、
前記単位配列の第８ｎ＋５ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第２の色のカラーフィルタ、
前記単位配列の第８ｎ＋７ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする。

これらにより、画像処理により、カラー画像を生成することが可能になる。

また、第２５の発明は、
第２１の発明から第２２の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、第１の色がグリーン、第２の色がシアン、第３の色がイエローであることを特徴とする。

これにより、補色信号、或いは、補色信号を混合した形式の撮像信号が読み出すことができ、マゼンダをカラーフィルタに含まないことから感度向上をはかることが可能になる。

また、第２６の発明は、
第２１の発明から第２２の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、第１の色が緑、第２の色が青、第３の色が赤であることを特徴とする。

これにより、原色信号、或いは、原色信号を混合した形式の撮像信号が読み出すことができ、色Ｓ／Ｎが有利な高速読み出しを行える撮像システムが可能になる。

また、第２７の発明は、
第２３の発明から第２４の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、第１の色がグリーン、第２の色がグリーン、第３の色がイエロー、第４の色がマゼンダ、第５の色がシアンであることを特徴とする。

また、第２８の発明は、
第２３の発明から第２４の発明のうちの何れか１つの撮像装置において、
前記カラーフィルタは、第１の色が緑、第２の色が緑、第３の色が赤、第４の色が緑、第５の色が青であることを特徴とする。

これらにより、画素を混合しないで読み出す場合において、擬似的な２板方式カメラとして処理が可能になり、画質の向上が図れる。そして、画素を混合して読み出す場合に、グリーンのみの信号を混合した画素信号が生成され、解像度の向上を図ることが可能になる。

また、第２９の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第１の読み出し画素信号の画素に上下何れかの方向で隣接する画素から読出した第２の読み出し画素信号とを加算したカラーフィルタの色成分は、マゼンンダとシアンとグリーンとイエローが１：１：１：１の割合であることを特徴とする。

また、第３０の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第２の画素混合動作によって読み出された第２の読み出し画素信号とを加算したカラーフィルタの色成分は、緑と赤と青が１：２：１の割合であることを特徴とする。

また、第３１の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第２の画素混合動作によって読み出された第２の読み出し画素信号とを加算したカラーフィルタの色の割合は、全ての前記第１の画素混合動作によって読み出される信号において同じであることを特徴とする。

これらにより、前記第１の読み出し画素信号と前記第２の読み出し画素信号を加算した結果を、近隣の異なるアドレスで比較した場合、それぞれの加算結果が概ね輝度信号として近似できるため、色の変調成分がキャンセルされた状態で効率的にエッジ成分を精度良く検出することができる。そして、精度良く検出されたエッジ成分を用いた画像処理により解像度改善を図ることが可能になる。

また、第３２の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色成分は、マゼンンダとシアンとグリーンとイエローが１：１：１：１の割合であることを特徴とする。

また、第３３の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色成分は、緑と赤と青が１：２：１の割合であることを特徴とする。

これらにより、前記第３の読み出し画素信号と前記第４の読み出し画素信号を加算した結果を、近隣の異なるアドレスで比較した場合、それぞれの加算結果が概ね輝度信号として近似できるため、色の変調成分がキャンセルされた状態で効率的にエッジ成分を精度良く検出することができる。そして、精度良く検出されたエッジ成分を用いた画像処理により解像度改善を図ることが可能になる。

また、第３４の発明は、
第１６の発明から第２０の発明のうちの何れか１つの撮像装置において、
前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色の割合が、全ての前記第２の画素混合動作によって読み出される信号において同じであることを特徴とする。

これにより、前記第３の読み出し画素信号と前記第４の読み出し画素信号を加算した結果を、近隣の異なるアドレスで比較した場合、色の変調成分がキャンセルされ効率的にエッジ成分を精度良く検出することができる。そして、精度良く検出されたエッジ成分を用いた画像処理により解像度改善を図ることが可能になる。

また、第３５の発明は、
第１の発明から第３４の発明のうちの何れか１つの撮像装置において、
各画素は、ＣＣＤ、ＣＭＯＳ、又はＮＭＯＳの何れかにより構成されていることを特徴とする。

これにより、ＣＣＤ、ＣＭＯＳ、又はＮＭＯＳの何れかにより構成された画素によって、画素信号が出力される。

また、第３６の発明は、
第１の発明から第３５の発明のうちの何れか１つの撮像装置において、
各画素から読み出された画素信号のレベルを検知するレベル検出部をさらに備え、
前記画素混合部は、前記レベル検出部が検出した画素信号のレベルの大きさに応じて画素の混合数を切り替えることを特徴とする。

これにより、被写体の明るさに応じて画素の混合数を適切に変化させることが可能になり、解像度と感度の両立を図ることが可能になる。

また、第３７の発明は、
第１の発明から第３５の発明のうちの何れか１つの撮像装置において、
前記画素混合部は、画素混合する画素数を外部から変更できるように構成されていることを特徴とする。

これにより、読み出し速度と感度の優先度を外部から変更することが可能になり、より柔軟な撮像システムを構成することが可能になる。

本発明によれば、画素ずらし配列されて画素を混合して読み出す撮像装置において、解像度の向上と画像処理の簡易化が可能になる。その結果、画素数の少ないイメージセンサでも高精細動画を得ることができる。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。

《発明の実施形態１》
本発明の実施形態１における撮像システムについて説明する。図１は、本実施形態における撮像システムの機能構成を示すブロック図である。本実施形態における撮像システムは、デジタルビデオカメラ１（電子ムービーカメラ）として構成されており、撮像モジュール２、ＤＳＰ５、ＣＰＵ６、ＳＤＲＡＭ８を備えている。

（撮像モジュール２の構成）
撮像モジュール２は、レンズ３、イメージセンサ４を備えている。また、図示はしていないが、この撮像モジュール２は、イメージセンサ４を駆動するのに必要な制御信号を生成するＴＧ（タイミングジェネレータ）も備えている。

（ＤＳＰ及びＳＤＲＡＭ）
ＤＳＰ５は、メモリコントローラ７、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２を備え、イメージセンサ４からの出力を処理する。

メモリコントローラ７は、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２においてそれぞれの機能ブロックにおける処理に必要な画素数分の画素信号が揃うまでＳＤＲＡＭ８に画素信号を書き込むことで保持する。そして、適宜必要に応じてＳＤＲＡＭ８から画素信号を読み出し、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２の機能ブロックに出力する。また、メモリコントローラ７、及びＳＤＲＡＭ８は、画素信号だけでなく、ＹＣ処理されることで得られる輝度信号や色信号、圧縮処理することで得られる符号データ等も書き込み及び読み出しを行う。

次に、レベル検出部９について説明する。レベル検出部９は、イメージセンサ４から出力される画素信号の画面全体、或いは、画面の一部分の平均値等から、画素信号のレベルを算出し、その算出結果をＣＰＵ６に通知する。

次に、ＹＣ処理部１０について説明する。ＹＣ処理部１０は、イメージセンサ４から出力される画素信号に対して、同時化、及び、フィルタリング処理、周波数補正等を行うことで、輝度信号と色差信号を生成する。

次に、圧縮処理部１１について説明する。圧縮処理部１１は、イメージセンサ４から出力される画素信号に対して、ＲＡＷデータのレベルで圧縮を行う。さらに、ＹＣ処理部１０によって生成された輝度信号と色差信号に対して、静止画であればＪＰＥＧ、動画であればＨ．２６４のフォーマットに従い、静止画、及び、動画の圧縮を行って符号を生成する。

次に、デジタル信号処理部１２について説明する。デジタル信号処理部１２は、外部に接続されている記録媒体であるＳＤカード１３に対して、データの読み込み、データの書き出しを行う。さらに、表示媒体であるＬＣＤ１４に対してプレビュー等の画像を表示する。さらに、画角サイズの調整のためのズームによる拡大縮小処理等を行う。

（ＣＰＵ６の構成）
次に、ＣＰＵ６について説明する。

ＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。なお、外部入力１５は、レリーズボタンやデジタルビデオカメラ１の動作を設定するための外部からの入力である。

（イメージセンサ４の構成）
次に、イメージセンサ４について説明する。図２はイメージセンサ４の構成を示すブロック図である。同図に示すように、イメージセンサ４は、画素アレイ２１、行制御部２３、第１の列制御部２５、第２の列制御部２６、第１の列信号処理部２７、及び第２の列信号処理部２８を備えている。これらのうち、第１の列制御部２５、第２の列制御部２６、第１の列信号処理部２７、及び第２の列信号処理部２８が画素混合部を構成している。

画素アレイ２１は、行列状に配置された複数の画素２２を含んでいる。詳しくは、この画素アレイ２１では、２ｎ＋１ライン目の画素２２を２ｎライン目の画素２２に対して１／２画素分重心をずらして配置している。

行制御部２３は、画素アレイ２１の各画素２２に対して露光及び行方向の読み出し制御を行う。

第１の列信号処理部２７は、２ｍ列目（ｍは、０以上の整数）の画素２２によって撮像された撮像信号を処理する。また、第２の列信号処理部２８は、２ｍ＋１列目の画素２２によって撮像された撮像信号を処理する。列信号処理部２７，２８は、図３に示すように、Ａ／Ｄ変換部３１とフリップフロップ３２を備えている（図中ではそれぞれＡ／Ｄ、ＦＦと略記）。これにより、第１の列信号処理部２７では、２ｎ＋１行目の画素２２から読み出されたアナログの撮像信号をＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。また、第２の列信号処理部２８では、２ｎ行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

第１の列信号処理部２７と第２の列信号処理部２８には、それぞれ、第１の列制御部２５と第２の列制御部２６が接続されている。第１の列制御部２５と第２の列制御部２６においては、列方向の読み出し制御を行って、撮像された信号としてイメージセンサ４より出力する。

第１の列制御部２５は、例えば図４のように構成することができる。この例では第１の列制御部２５は、セレクタ４１、加算器４２、セレクタ４３、フリップフロップ（図中ではＦＦと略記）、セレクタ４５、及びフリップフロップ４６を、接続された各第１の列信号処理部２７に対応して備えている。同様に、第２の列制御部２６は、例えば図５のように構成できる。この例では第２の列制御部２６は、フリップフロップ５１（図中ではＦＦと略記）、加算器５２、セレクタ５３、セレクタ５４、フリップフロップ５５（図中ではＦＦと略記）を接続された各第２の列信号処理部２８に対応して備えている。

（イメージセンサ４のカラーフィルタ）
次に、本実施形態のイメージセンサ４の画素２２に配置されているカラーフィルタについて説明する。

図７は、本実施形態のイメージセンサ４の画素２２に配置されているカラーフィルタを説明する図である。このカラーフィルタは、単位配列７１の繰り返しパターンで構成されている。

上述の、画素信号を混合しないで読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光され、画素２２において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号として読み出されることになる。

一方で、上述の、画素信号を混合して読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光され、画素２２において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号となる。

２ｎ行目が全てＧｒの場合は、第１の列制御部２５において、列方向にＭｇとＧｒ、ＹｅとＣｙが加算され、第２の列制御部２６において、行方向にＧｒとＧｒが加算され、それぞれ、Ｍｇ＋Ｇｒ、Ｙｅ＋Ｃｙ、Ｇｒ＋Ｇｒのように混合された画素信号が読み出される。

２ｎ＋１行目が全てＧｒの場合は、第１の列制御部２５において、列方向にＧｒとＧｒが加算され、第２の列制御部２６において、行方向にＧｒとＹｅ、ＭｇとＣｙが加算され、それぞれ、Ｇｒ＋Ｇｒ、Ｇｒ＋Ｙｅ、Ｍｇ＋Ｃｙのように混合された画素信号が読み出される。

《デジタルビデオカメラ１（撮像システム）の動作》
（全体の動作）
デジタルビデオカメラ１により撮影を行うと、被写体はレンズ３を通してイメージセンサ４に入光し、イメージセンサ４上の画素において光電変換され、撮像信号としてＤＳＰ５へ出力される。

この撮像信号は、メモリコントローラ７を介して、ＳＤＲＡＭ８に対して読み出しと書き込みが行われ、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２、記録媒体であるＳＤカード１３、表示媒体であるＬＣＤ１４に対して、信号の入出力が実現される。

レベル検出部９は、撮像信号のレベルを検出し、撮像信号のレベルをＣＰＵ６に通知する。

ＹＣ処理部１０は、撮像信号に対して、フィルタリングや同時化等を行い、撮像信号をＹＣ信号に変換する。

圧縮処理部１１は、撮像信号、又はＹＣ信号を、例えば静止画ならばＪＰＥＧ、動画ならばＨ．２６４等のフォーマットに従いデータ量の圧縮を行う。

デジタル信号処理部１２は、ズーム処理、傷補正、照明光色温度検出等のビデオカメラとしての動作に必要な信号処理を行う。

一方で、ＣＰＵ６は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を、イメージセンサ４、ＤＳＰ５の各機能ブロックに対して出力する。

（イメージセンサ４の駆動と列制御部（25,26）の動作）
イメージセンサ４が映像信号を上記のように出力する際の該イメージセンサ４の駆動方法について説明する。既述の通り、このイメージセンサ４には、画素信号を混合しない読出し動作と、画素信号を混合して読み出す動作の２種類の動作がある。

−画素信号を混合しないで読み出し動作−
まず、画素信号を混合しないで読み出す場合について説明する。

画素２２において所定の露光時間分の露光が完了すると、行制御部２３から２ｎ＋１行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。これにより、行選択信号により、２ｎ＋１行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。さらに、第１の列制御部２５が列選択信号を出力することで、２ｎ＋１行目の画素２２の撮像信号が第１の列信号処理部２７に出力される。

第１の列信号処理部２７では、２ｎ＋１行目の画素２２から読み出されたアナログの撮像信号をＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ＋１行目の画素２２から読み出されてデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、第１の列制御部２５において転送される。

その際、セレクタ４１の出力が常に０の値を選択するように選択制御信号が入力されることで、加算器４２の入力の片方が常に０になる。これにより、着目している列以外との画素信号との加算が行われなくなり、４ｍ列目の画素信号のみがセレクタ４３、４ｍ＋２列目の画素信号のみがセレクタ４５に入力されるようになる。

水平帰線期間毎に、加算器４２の出力と４ｍ＋２列目からの出力が、それぞれセレクタ４３とセレクタ４５の出力になるように、セレクタ４３とセレクタ４５の選択制御信号を所定の期間制御することで、４ｍ列目の画素信号と４ｍ＋２列目の画素信号が、フリップフロップとフリップフロップ４６に入力される。

その後、セレクタ４３とセレクタ４５の出力がフリップフロップ４６とフリップフロップの出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、２ｍ列の画素信号を読み出すことができる。

この動作と並行して、行制御部２３から２ｎ行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

さらに、第２の列制御部２６が列選択信号を出力することで、２ｎ行目の画素２２の撮像信号が第２の列信号処理部２８に出力される。第２の列信号処理部２８では、２ｎ行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ行目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、図５に示される第２の列制御部２６において転送される。その際、セレクタ５３の出力が常に０の値を選択する選択制御信号が入力されることで、加算器５２の入力の片方が常に０になり、着目している画素信号以外との加算が行われなくなり、２ｍ＋１列目の画素信号がセレクタ５４に入力されるようになる。

水平帰線期間毎に、加算器５２の出力が、セレクタ５４の出力になるように、セレクタ５４の選択制御信号を所定の期間制御することで、２ｍ＋１列目の画素信号が、フリップフロップ５５に入力される。

その後、セレクタ５４の出力がフリップフロップ５５の出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行い、２ｍ＋１列の画素信号を読み出すことができる。

行制御部２３から行選択信号が出力され、デジタル化された画素２２の撮像信号がフリップフロップ３２でラッチされるまでの動作を、水平帰線期間毎ｎをインクリメントしながらに繰り返すことで、各行の撮像信号が第１の列制御部２５と第２の列制御部２６に読み出され、第１の列制御部２５と第２の列制御部２６に上述の制御信号を印加することで、各行の撮像信号がイメージセンサ４から出力される。垂直帰線期間毎にｎをリセットすることで、画素アレイ２１上の撮像信号読み出しが実現される。

−混合読出し動作−
次に、画素信号を混合して読み出す場合について説明する。

画素２２において所定の露光時間分の露光が完了すると、行制御部２３から２ｎ＋１行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ＋１行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

さらに、第１の列制御部２５が列選択信号を出力することで、２ｎ＋１行目の画素２２の撮像信号が第１の列信号処理部２７に出力される。第１の列信号処理部２７では、２ｎ＋１行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ＋１行目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、図４に示される第１の列制御部２５において転送される。その際、セレクタ４１の出力が常に４ｍ＋２列目の値を選択する選択制御信号が入力されることで、加算器４２の入力の片方が常に４ｍ＋２列目の画素信号になり、着目している４ｍ列目と４ｍ＋２列目の画素信号の加算が行われ、画素信号の加算結果がセレクタ４３に入力されるようになる。

水平帰線期間毎に、加算器４２の出力が、それぞれセレクタ４３の出力になるように、セレクタ４３の選択制御信号を所定の期間制御することで、４ｍ列目の画素信号と４ｍ＋２列目の画素信号の加算結果が、フリップフロップに入力される。

その後、セレクタ４３とセレクタ４５の出力がセレクタ４５とフリップフロップの出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、加算された画素信号を読み出すことができる。

上記の駆動を行うことで、図６の画素混合形状６１に示されるような形状の画素の混合を行うことが可能になる。図６において、重心を太線で結んで記載されている画素同士が画素混合される画素である。

この動作と並行して、行制御部２３から２ｎ行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

さらに、第２の列制御部２６が列選択信号を出力することで、２ｎ行目の画素２２の撮像信号が第２の列信号処理部２８に出力される。第２の列信号処理部２８では、２ｎ行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ行目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、図５に示される第２の列制御部２６において転送される。その際、セレクタ５３の出力が常に２ｎ＋２行目の画素信号に相当するフリップフロップ３２の出力を選択する選択制御信号が入力されることで、加算器５２の入力の片方が常にフリップフロップ３２の出力信号になり、着目している２ｎ行目と２ｎ＋２行目の画素信号の加算が行われ、画素信号の加算結果がセレクタ５４に入力されるようになる。

水平帰線期間毎に、加算器５２の出力が、それぞれセレクタ５４の出力になるように、セレクタ５４の選択制御信号を所定の期間制御することで、２ｎ行目の画素信号と２ｎ＋２行目の画素信号の加算結果が、フリップフロップ５５に入力される。

その後、セレクタ４３の出力がフリップフロップ５５の出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、加算された画素信号を読み出すことができる。

上記の駆動を行うことで、図６の画素混合形状６２に示されるような形状の画素の混合を行うことが可能になり、行選択信号が選択するｎの値を水平帰線期間毎にインクリメントし、垂直帰線期間毎にｎをリセットすることで、画素アレイ２１上の撮像信号読み出しが実現される。

以上のように、本実施形態によれば、水平方向の画素同士が画素混合された画素信号（行方向混合）と、垂直方向の画素同士が画素混合された画素信号（列方向混合）を得ることができる。このように混合によって得た画素信号は、列方向の混合では垂直方向のＬＰＦの効果、行方向の混合では水平方向のＬＰＦ効果を加えたことと同じになり、それぞれの方向の解像度が低下することになる。しかしながら、本実施形態では、垂直方向にのみＬＰＦ効果が加えられた画素信号と、水平方向にのみＬＰＦ効果が加えられた画素信号の２種類の画素信号によって画素混合のパターンが構成されているので、水平方向又は垂直方向の何れかの画素信号によって、他方の欠落したエッジ情報を常に補完しあうことができる。これにより、このイメージセンサ４では、解像度の劣化を低減することが可能になる。従来は、ＬＰＦ効果により欠落してしまった情報を復元するためには複雑な画像処理よりがその情報を補完していたが、本実施形態では上記の通り、エッジの情報を水平方向又は垂直方向の何れかの画素信号によって補完できるため、画像処理がよりの簡易化が可能になる。その結果、画素数の少ないイメージセンサでも高精細動画を得ることができる。

《実施形態１の変形例１》
上記においては、画素２２に配置されているカラーフィルタの２ｎ＋１行目が全てＧｒであって、第２の列制御部２６において、行方向にＧｒとＹｅ、ＭｇとＣｙが加算されるようにしたが、Ｙｅ＋Ｍｇ、Ｇｒ＋Ｃｙのように混合される形態であってもよい。

《実施形態１の変形例２》
上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図８のような単位配列８１をもつカラーフィルタ配列としてもよい。単位配列８１に示されているＧｒはグリーンで、Ｃｙはシアンで、Ｙｅはイエローである。

このようにすれば、画素を混合して読み出す場合、列方向に加算する行をＧｒのみで構成されている行を選択し、その他の行を行方向で加算することで、Ｇｒ＋Ｇｒ、Ｙｅ＋Ｙｅ、Ｃｙ＋Ｃｙとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇｒ、Ｃｙ、Ｙｅとして画素信号が出力される。

《実施形態１の変形例３》
上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図９のような単位配列９１をもつカラーフィルタ配列としてもよい。単位配列８１に示されているＧｒはグリーンで、Ｃｙはシアンで、Ｙｅはイエローである。

このようにすれば、画素を混合して読み出す場合、行方向に加算する行をＧｒのみで構成されている行を選択し、その他の行を列方向で加算することで、Ｇｒ＋Ｇｒ、Ｙｅ＋Ｙｅ、Ｃｙ＋Ｃｙとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇｒ、Ｃｙ、Ｙｅとして画素信号が出力される。

《実施形態１の変形例４》
上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図１０のような単位配列１０１をもつカラーフィルタ配列としてもよい。単位配列１０１に示されているＧは緑で、Ｂは青で、Ｒは赤である。

このようにすれば、画素を混合して読み出す場合、列方向に加算する行をＧのみで構成されている行を選択し、その他の行を行方向で加算することで、Ｇ＋Ｇ、Ｇ＋Ｒ、Ｇ＋Ｂとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇ、Ｂ、Ｒとして画素信号が出力される。

さらに、画素を混合して読み出す場合、行方向に加算する行をＧのみで構成されている行を選択し、その他の行を列方向で加算することで、Ｇ＋Ｇ、Ｇ＋Ｒ、Ｇ＋Ｂとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇ、Ｂ、Ｒとして画素信号が出力される。

《実施形態１の変形例５》
上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図１１のような単位配列１１１をもつカラーフィルタ配列としてもよい。単位配列１１１に示されているＧは緑で、Ｂは青で、Ｒは赤である。

このようにすれば、画素を混合して読み出す場合、列方向に加算する行をＧのみで構成されている行を選択し、その他の行を行方向で加算することで、Ｇ＋Ｇ、Ｒ＋Ｒ、Ｂ＋Ｂとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇ、Ｂ、Ｒとして画素信号が出力される。

《実施形態１の変形例６》
上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図１２のような単位配列１２１をもつカラーフィルタ配列としてもよい。単位配列１２１に示されているＧは緑で、Ｂは青で、Ｒは赤である。

このようにすれば、画素を混合して読み出す場合、行方向に加算する行をＧのみで構成されている行を選択し、その他の行を列方向で加算することで、Ｇ＋Ｇ、Ｒ＋Ｒ、Ｂ＋Ｂとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇ、Ｂ、Ｒとして画素信号が出力される。

《実施形態１の変形例７》
上記においては、イメージセンサ４上の画素２２の画素信号を読み出す際に、連続的に全ての画素を読み出すように行選択信号、及び列選択信号を制御し、全ての列、及び全ての行の画素に対して混合を行った後に読み出しを行ったが、不連続的に画素を読み出すように行選択信号、或いは列選択信号を制御することで、画素アレイ２１上の所定のアドレスの画素を読み出さない形態としてもよいし、所定の行や所定の列画素であってもよい。

《実施形態１の変形例８》
上記においては、イメージセンサ４上の画素２２の画素信号を読み出す際の露光時間と読み出しを行うフレームレートについて指定を行わなかったが、列方向に画素を混合して読み出す画素信号と、行方向に画素を混合して読み出す画素信号の露光時間の長さが異なってもよいし、列方向に画素を混合して読み出す画素信号と、行方向に画素を混合して読み出す画素信号の読み出しを行う際のフレームレートが異なってもよい。

《実施形態１の変形例９》
上記においては、撮像システムをデジタルビデオカメラとしたが、デジタルスチルカメラであってもよい。

《発明の実施形態２》
本発明の実施形態２における撮像システムについて説明する。本発明の実施形態２における撮像システムは、本発明の実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。

（イメージセンサの駆動と列制御部）
イメージセンサ４の駆動方法について説明する。

本実施形態は実施形態１に対し、画素信号を列方向に混合して読み出す場合についてのみ異なるので、ここでは、当該部分のみ説明する。

画素２２において所定の露光時間分の露光が完了すると、行制御部２３から２ｎ行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

さらに、第２の列制御部２６が４ｋ＋１列目の画素信号を読み出すための列選択信号を出力することで、２ｎ行目４ｋ＋１列目の画素２２の撮像信号が第２の列信号処理部２８に出力される。第２の列信号処理部２８では、２ｎ行目４ｋ＋１列目の画素２２から読み出されたアナログの撮像信号をＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ行目４ｋ＋１列目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、図５に示される第２の列制御部２６において転送される。続いて、行制御部２３から２ｎ＋２行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ＋２行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

この場合は、全ての列の画素２２に蓄積されている撮像信号が読み出されるように、第２の列制御部２６は列選択信号を出力することで、２ｎ＋２行目の画素２２の撮像信号が第２の列信号処理部２８に出力される。第２の列信号処理部２８では、２ｎ＋２行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

その際、４ｋ＋１列目のセレクタ５３の出力が常に２ｎ＋２行目の画素信号に相当するフリップフロップ３２の出力を選択する選択制御信号が入力されることで、加算器５２の入力の片方が常にフリップフロップ３２の出力信号になり、着目している４ｋ＋１列目の２ｎ行目と２ｎ＋２行目の画素信号の加算が行われる。そして、画素信号の加算結果がセレクタ５４に入力されるようになり、４ｋ＋３列目の画素信号の混合の動作が行われるまでこの状態がホールドされる。

上述の４ｋ＋１列目のホールド状態と並行して、行制御部２３から２ｎ＋４行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。

さらに、第２の列制御部２６が４ｋ＋３列目の画素信号を読み出すための列選択信号を出力することで、２ｎ行目４ｋ＋３列目の画素２２の撮像信号が第２の列信号処理部２８に出力される。第２の列信号処理部２８では、２ｎ＋４行目４ｋ＋３列目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

その際、４ｋ＋３列目のセレクタ５３の出力が常に２ｎ＋４行目の画素信号に相当するフリップフロップ３２の出力を選択する選択制御信号が入力されることで、加算器５２の入力の片方が常にフリップフロップ３２の出力信号になり、着目している４ｋ＋３列目の２ｎ＋４行目と２ｎ＋２行目の画素信号の加算が行われ、画素信号の加算結果がセレクタ５４に入力されるようになる。

この段階で、それぞれの加算器５２から列毎に列方向に画素信号を加算した結果が出力されるようになり、４ｋ＋１列目は上述のホールド状態からイメージセンサ４からの画素信号読み出し動作のための状態に遷移する。

画素信号読み出し動作の状態に遷移した後、水平帰線期間毎に、加算器５２の出力が、それぞれセレクタ５４の出力になるように、セレクタ５４の選択制御信号を所定の期間制御することで、４ｋ＋１列目の２ｎ行目の画素信号と２ｎ＋２行目の画素信号の加算結果と４ｋ＋３列目の２ｎ＋２行目の画素信号と２ｎ＋４行目の画素信号の加算結果がフリップフロップ５５に入力される。

その後、セレクタ４３の出力がフリップフロップ５５の出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、加算された画素信号を読み出すことができる。

上記の駆動を行うことで、図１３の画素混合形状１３２に示されるような形状の画素の混合を行うことが可能になり、行選択信号が選択するｎの値を水平帰線期間毎にインクリメントし、垂直帰線期間毎にｎをリセットすることで、画素アレイ２１上の撮像信号読み出しが実現される。

《実施形態２の変形例》
上記においては、イメージセンサ４上の画素２２の画素信号を読み出す際に、列方向の画素信号の加算を行ったが、４ｋ＋１列目と４ｋ＋３列目の画素信号を加算する動作を、所定の垂直帰線期間毎に切り替える形態であってもよい。

《発明の実施形態３》
本発明の実施形態３における撮像システムについて説明する。本発明の実施形態３における撮像システムは、本発明の実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。

−イメージセンサの駆動と列制御部−
イメージセンサ４の駆動方法について説明する。

本実施形態は実施形態１に対し、画素信号を列方向に混合して読み出す場合についてのみ異なるので、ここでは、当該部分のみ説明する。

本実施形態においては、第１の列制御部２５の構造と、その動作方法が異なっている。本実施形態の第１の列制御部２５は、図１４のように構成されている。この第１の列制御部は、セレクタ１４４１、加算器１４４２、セレクタ１４４３、及びフリップフロップ１４４４（図中ではＦＦと略記）を列毎に備えている。

イメージセンサ４では、画素２２において所定の露光時間分の露光が完了すると、行制御部２３から２ｎ＋１行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ＋１行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。さらに、第１の列制御部２５が列選択信号を出力することで、２ｎ＋１行目の画素２２の撮像信号が第１の列信号処理部２７に出力される。第１の列信号処理部２７では、２ｎ＋１行目の画素２２から読み出されたアナログの撮像信号をＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ＋１行目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、第１の列制御部２５において転送される。その際、４ｍ列目のセグメントのセレクタ１１の出力が、常に４ｍ＋２列目の値を選択する選択制御信号が入力されることで、４ｍ列目のセグメントの加算器１２の入力の片方が常に４ｍ＋２列目の画素信号になり、着目している４ｍ列目と４ｍ＋２列目の画素信号の加算が行われる。そして、４ｍ列目のセグメントの加算器１２の出力結果が４ｍ列目のセグメントのセレクタ１３に入力されるようになる。

水平帰線期間毎に、４ｍ列目のセグメントの加算器１２の出力が、４ｍ列目のセグメントのセレクタ１３の出力になるように、４ｍ列目のセグメントのセレクタ１３の選択制御信号を所定の期間制御することで、４ｍ列目の画素信号と４ｍ＋２列目の画素信号の加算結果が、４ｍ列目のセグメントのフリップフロップ１４に入力される。

その後、４ｍ列目のセグメントのセレクタ１３と４ｍ＋２列目のセグメントのセレクタ１３の出力が、４ｍ−２列目のセレクタ１３と４ｍ列目のセグメントのフリップフロップ１４の出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、加算された画素信号を読み出すことができる。

上記の駆動を行うことで、図１５の画素混合形状１５１に示されるような形状の画素の混合を行うことが可能になる。

つづいて、行制御部２３から２ｎ＋３行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。行選択信号により、２ｎ＋３行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。

さらに、第１の列制御部２５が列選択信号を出力することで、２ｎ＋３行目の画素２２の撮像信号が第１の列信号処理部２７に出力される。第１の列信号処理部２７では、２ｎ＋３行目の画素２２から読み出されたアナログの撮像信号を図３のＡ／Ｄ変換部３１でデジタル信号に変換した後、フリップフロップ３２でラッチする。

２ｎ＋３行目の画素２２から読み出されたデジタル化された撮像信号は、イメージセンサ４の出力信号として出力するために、第１の列制御部２５において転送される。その際、４ｍ＋２列目のセグメントのセレクタ１１の出力が、常に４ｍ＋４列目の値を選択する選択制御信号が入力されることで、４ｍ＋２列目のセグメントの加算器１２の入力の片方が常に４ｍ＋４列目の画素信号になる。そして、着目している４ｍ＋２列目と４ｍ＋４列目の画素信号の加算が行われ、４ｍ＋２列目のセグメントの加算器１２の出力結果が４ｍ＋２列目のセグメントのセレクタ１３に入力されるようになる。

水平帰線期間毎に、４ｍ＋２列目のセグメントの加算器１２の出力が、４ｍ＋２列目のセグメントのセレクタ１３の出力になるように、４ｍ＋２列目のセグメントのセレクタ１３の選択制御信号を所定の期間制御することで、４ｍ＋２列目の画素信号と４ｍ＋４列目の画素信号の加算結果が、４ｍ＋２列目のセグメントのフリップフロップに入力される。

その後、４ｍ列目のセグメントのセレクタ１３と４ｍ＋２列目のセグメントのセレクタ１３の出力が、４ｍ＋２列目のフリップフロップ１６と４ｍ列目のセグメントのセレクタ１３の出力になるように制御選択信号を制御することで、それぞれのフリップフロップがシーケンシャルに結合された状態となり、クロック印加によってシフト動作を行うことで、加算された画素信号を読み出すことができる。

上記の駆動を行うことで、図１５の画素混合形状１５２に示されるような形状の画素の混合を行うことが可能になる。図１５の画素混合形状１５１と１５２に示される形状の画素信号の加算を、所定の水平帰線期間毎に切り替わるように制御することで、図１５に示されるような画素の混合の形状が実現される。

《実施形態３の変形例１》
上記においては、イメージセンサ４上の画素２２の画素信号を読み出す際に、行方向の画素信号の加算を行ったが、２ｎ＋１行目と２ｎ＋３行目の画素信号を加算する動作を、図１６に示すように入れ替えた形態であってもよいし、所定の垂直帰線期間毎に切り替える形態であってもよい。

《実施形態３の変形例２》
上記においては、行方向に画素を加算した結果の画素重心が画素ずらしの関係、又は、列方向に画素を加算した結果の画素重心が画素ずらしの関係となっていたが、上述の画素を混合する方法を組み合わせることで、図１７に示すように、行方向に画素を加算した結果と列方向に画素を加算した結果の画素重心のそれぞれが画素ずらしの関係となるようにしてもよい。

さらに、所定の垂直帰線期間毎、或いは、所定の水平帰線期間毎に、画素を混合する方法を組み合わせて画素を読み出してもよい。

《実施形態３の変形例３》
上記においては、行方向に画素を加算した結果の画素重心が画素ずらしの関係、又は、列方向に画素を加算した結果の画素重心が画素ずらしの関係となっていたが、上述の画素を混合する方法を組み合わせることで、図２０に示すように、行方向に画素を加算した結果と列方向に画素を加算した結果の画素重心のそれぞれが一致する関係となるようにしてもよい。

さらに、所定の垂直帰線期間毎、或いは、所定の水平帰線期間毎に、画素を混合する方法を組み合わせて画素を読み出してもよい。

《実施形態３の変形例４》
さらに、上記においては、混合する画素数を２として説明を行ったが、加算する回路を追加し駆動方法を制御することで３以上としてもよいし、行方向と列方向で画素信号を加算するそれぞれの画素の混合で、混合する画素の数が異なっていてもよい。

さらに、列方向のみ画素信号を加算し、行方向は画素信号を加算しない、或いは列方向に画素信号を加算しないで行方向のみ画素信号を加算する形態であってもよい。

《実施形態３の変形例５》
さらに、上記においては、イメージセンサ４上の画素２２に配置されているカラーフィルタを、図７のようにしたが、図１９のようなカラーフィルタ配列としてもよい。図１９に示されているＧｒはグリーンで、Ｃｙはシアンで、Ｙｅはイエローである。

このようにすれば、画素を混合して読み出す場合、列方向に加算する行をＧｒのみで構成されている行を選択し、その他の行を行方向で加算することで、Ｇｒ＋Ｇｒ、Ｙｅ＋Ｇｒ、Ｃｙ＋Ｇｒとして画素信号が出力され、画素を混合しないで読み出す場合には、Ｇｒ、Ｃｙ、Ｙｅとして画素信号が出力される。

また、列方向と行方向に加算する位置を入れ替えたものであってもよい。

《実施形態３の変形例６》
さらに、上記においては、Ｇｒがカラーフィルタの過半数以上を占める配列で説明を行ったが、その他の色であってもよい。

例えば、内視鏡等赤色成分が支配的な被写体向けのアプリケーション等においては、ＹｅやＲ等が過半数を占める形態であってもよい。同様に、被写体において特定の色成分が支配的であるアプリケーションに対しては、その色成分の波長の光が透過しやすいカラーフィルタで構成する形態であるとよい。

《実施形態３の変形例７》
さらに、上記においては、Ｇｒがカラーフィルタの過半数以上を占める配列で説明を行ったが、全て同じ色のカラーフィルタのみで構成される画素アレイ２１上の奇数列のみ、或いは、偶数列のみのカラーフィルタの色変調成分が、その他の偶数列、或いは、奇数列における同じ色のカラーフィルタと比較して低くし、全て同じ色のカラーフィルタのみで構成される画素アレイ２１上の奇数列のみ、或いは偶数列のみのカラーフィルタから読み出される画素信号に被写体の輝度情報を多く含ませ、解像度と感度の向上をはかる形態であってもよい。より詳しくは、第２ｎ列目（ｎは０又は正の整数）のカラーフィルタと第２ｎ＋１列目のカラーフィルタで、同一の色のカラーフィルタが配置されている画素において、第２ｎ列目と第２ｎ＋１列目の何れかの前記同一の色の変調成分を、他方と比べ低くしたり、第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差が異なるようにしたり、第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率が異なるようにしたり、第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅と、第２ｎ＋１列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅が異なるようにする。

《実施形態３の変形例８》
さらに、上記においては、Ｇｒがカラーフィルタの過半数以上を占める配列で説明を行ったが、全て同じ色のカラーフィルタのみで構成される画素アレイ２１上の奇数列のみ、或いは、偶数列のみのカラーフィルタを、画素２２に入射する光の分光特性がほぼフラットになるグレーとしてもよいし、人間の輝度に対する分光感度の特性とほぼ同じにしてもよい。

なお、グレーのカラーフィルタは、可視光領域を撮影する場合であるならば、約４００ｎｍから約７００ｎｍの波長に対する分光特性が概ねフラットであればよく、赤外光領域や紫外光領域、又は、特定の波長の領域を撮影する場合であるならば、その波長の領域に対する分光特性が概ねフラットであればよい。

《発明の実施形態４》
本発明の実施形態３における撮像システムについて説明する。本発明の実施形態３における撮像システムは、本発明の実施形態３の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。本実施形態においては、ＣＰＵ６がイメージセンサ４における画素信号の混合画素数を制御するという点で異なっている。

本実施形態のＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。

本実施形態においては、レベル検出部９からの検出結果に応じて、ＣＰＵ６は撮像モジュール２のＴＧ（タイミングジェネレータ）（不図示）に対して、混合する画素信号の数を通知し、ＴＧは、ＣＰＵ６から通知された画素信号の混合数に基づいて、イメージセンサ４を駆動するための制御パルスを生成する。

図１８は、本実施形態の撮像システムにおける、レベル検出部９の検知結果と画素信号の混合数の関係を示したものである。横軸は、レベル検出部９の検知結果であり、横軸の右側になるにつれて、イメージセンサ４から出力された撮像信号のレベルが大きい、すなわち、被写体の明るさが明るいことを示している。

ＣＰＵ６は、図１８に示すように、被写体の明るさを複数の閾値で場合分けを行う。そして、第１の閾値よりレベル検出部９の検知結果が小さい場合は、６画素分の画素信号の混合を行い、レベル検出部９の検知結果が第１の閾値より大きく第２の閾値より小さい場合は、４画素分の画素信号の混合を行い、レベル検出部９の検知結果が第２の閾値より大きく第３の閾値より小さい場合は、２画素分の画素信号の混合を行い、第３の閾値よりレベル検出部９の検知結果が大きい場合は、画素の混合を行わずに画素信号を読み出す。

《実施形態４の変形例１》
上記においては、混合する画素信号の数を６、４、２、１画素としたが、その他の組み合わせであってもよい。さらに、混合する画素信号の数の組み合わせを４通りではなく、２通り以上とした形態であってもよい。

《実施形態４の変形例２》
上記においては、ＣＰＵ６が混合する画素信号の数をレベル検出部９の結果にのみ基づいて決定していたが、外部入力１５から直接指定された値に応じて決定される方式であってもよいし、外部入力１５から指定された値とレベル検出部９の検出結果を組み合わせてもよいし、外部入力１５から上記の閾値を設定する形態であってもよい。

《実施形態４の変形例３》
上記においては、混合する画素信号の数のみに言及したが、列方向に混合する画素数と行方向に混合する画素信号の数の制御を独立とする形態であってもよい。

《その他の実施形態》
なお、上記の説明は本発明を限定する物ではなく、発明の範囲内で種々の変更が可能である。

例えば、上記の説明においては、イメージセンサ４をＣＭＯＳセンサとして説明したが、ＣＣＤセンサであってもよいし、ＮＭＯＳセンサであってもよい。

また、イメージセンサ４に配置されているカラーフィルタの単位配列は、上記に限らず上下左右反転であってもよいし、色成分の入れ替えを行ってもよい。

また、画素信号の混合をデジタルで行う形態としたが、アナログ信号、或いは、電荷の形態で加算を行うために、イメージセンサ４上に画素信号の混合、或いは、平均を行うためのコンデンサを配置してもよいし、水平転送ＣＣＤ、垂直転送ＣＣＤ上等で画素信号の混合、加算、或いは、平均を行ってもよい。

また、撮像システをデジタルビデオカメラとして構成した例を説明したが、電子スチルカメラとして構成してもよい。

本発明に係る撮像装置は、解像度の向上と画像処理の簡易化が可能になり、画素数の少ないイメージセンサでも高精細動画を得ることができるという効果を有し、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ等として有用である。

本発明の実施形態１におけるデジタルビデオカメラシステムの機能構成を示すブロック図である。 本発明の実施形態１におけるイメージセンサの構造を示す図である。 本発明の実施形態１における列信号処理部の構造を示す図である。 本発明の実施形態１における第１の列制御部の構造を示す図である。 本発明の実施形態１における第２の列制御部の構造を示す図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態２における画素信号を混合して読み出した際の画素混合形状を示す図である。 本発明の実施形態２における第１の列制御部の構造を示す図である。 本発明の実施形態３における画素信号を混合して読み出した際の画素混合形状を示す図である。 本発明の実施形態３における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態３における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態４における画素信号を混合する画素数と検知レベルの関係を示す図である。 本発明の実施形態３におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態３におけるカラーフィルタ配列の単位配列の変形例を示す図である。

符号の説明

１ デジタルビデオカメラ
２ 撮像モジュール
３ レンズ
４ イメージセンサ（撮像装置）
５ ＤＳＰ（デジタル信号処理回路）
９ レベル検出部
２２ 画素
２５ 第１の列制御部
２６ 第２の列制御部
２７ 第１の列信号処理部
２８ 第２の列信号処理部

Claims (40)

1. 行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
   前記画素混合部は、同一の列内の画素同士の画素信号を混合する第１の混合動作と、同一の行内の画素同士の画素信号を混合する第２の混合動作とを行うことを特徴とする撮像装置。
2. 請求項１の撮像装置において、
   前記画素混合部は、第１及び第２のそれぞれの混合動作において、互いに隣接した画素同士の画素信号を混合するように構成されていることを特徴とする撮像装置。
3. 請求項１の撮像装置において、
   前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心と一致し、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心と一致するように画素信号を混合することを特徴とする撮像装置。
4. 請求項１の撮像装置において、
   前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心に対し所定画素数分列方向にずれ、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心と一致するように画素信号を混合することを特徴とする撮像装置。
5. 請求項１の撮像装置において、
   前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心と一致し、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心に対し所定画素数分行方向にずれるように画素信号を混合することを特徴とする撮像装置。
6. 請求項１の撮像装置において、
   前記画素混合部は、前記第１の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の列において隣接する画素についての前記第１の画素混合動作により形成された画素混合後の重心に対し所定画素数分列方向にずれ、且つ前記第２の画素混合動作により形成された画素混合後の重心が、該画素混合形状に係る画素に対して隣の行において隣接する画素についての前記第２の画素混合動作により形成された画素混合後の重心に対し所定画素数分行方向にずれるように画素信号を混合することを特徴とする撮像装置。
7. 請求項４の撮像装置において、
   前記列方向のずれは、前記第１の画素混合動作により形成されて列方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする撮像装置。
8. 請求項５の撮像装置において、
   前記行方向のずれは、前記第２の画素混合動作により形成されて行方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする撮像装置。
9. 請求項６の撮像装置において、
   前記列方向のずれは、前記第１の画素混合動作により形成されて列方向に並んだ２つの画素混合後の重心間の距離よりも小さく、
   前記行方向のずれは、前記第２の画素混合動作により形成されて行方向に並んだ２つの画素混合後の重心間の距離よりも小さいことを特徴とする撮像装置。
10. 請求項１から請求項９のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、同一であることを特徴とする撮像装置。
11. 請求項１から請求項９のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、互いに異なることを特徴とする撮像装置。
12. 請求項１から請求項９のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作と前記第２の画素混合動作のそれぞれにおいて混合される画素数は、それぞれ２であることを特徴とする撮像装置。
13. 請求項１から請求項１２のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作により読み出される画素の垂直方向の画素重心は、所定の垂直帰線期間毎に異なることを特徴とする撮像装置。
14. 請求項１から請求項１２のうちの何れか１つの撮像装置において、
    前記第２の画素混合動作により読み出される画素の水平方向の画素重心は、所定の垂直帰線期間毎に異なることを特徴とする撮像装置。
15. 請求項１から請求項１４のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作、又は前記第２の画素混合動作において、所定の行、所定の列、又は所定に画素アドレスの画素の信号の読出しが間引かれることを特徴とする撮像装置。
16. 請求項１から請求項１５のうちの何れか１つの撮像装置において、
    各画素には、カラーフィルタが配置されていることを特徴とする撮像装置。
17. 請求項１６の撮像装置において、
    前記カラーフィルタは、赤、緑、及び青からなる原色フィルタで構成されていることを特徴とする撮像装置。
18. 請求項１６の撮像装置において、
    前記カラーフィルタは、マゼンダ、グリーン、シアン、及びイエローのうちの少なくとも３種類以上からなる補色フィルタで構成されていることを特徴とする撮像装置。
19. 請求項１６から請求項１８のうちの何れか１つの撮像装置において、
    第２ｎ列目（ｎは０又は正の整数）のカラーフィルタと第２ｎ＋１列目のカラーフィルタで、同一の色のカラーフィルタが配置されている画素において、第２ｎ列目と第２ｎ＋１列目の何れかの前記同一の色の変調成分は、他方と比べ低いこと、又は、
    第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における最大透過率と最小透過率の差が異なること、又は、
    第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率と、第２ｎ＋１列目の何れかの前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長以外の光に対する透過率が異なること、又は、
    第２ｎ列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅と、第２ｎ＋１列目の前記同一の色に対応するカラーフィルタの正規化された濾光特性における主たる波長の光に対する透過率の半値幅が異なることを特徴とする撮像装置。
20. 請求項１６から請求項１９のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、グレー色、又は輝度に対する視感度特性を有することを特徴とする撮像装置。
21. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、４画素の単位配列の繰り返しからなり、
    前記単位配列の第２ｎライン目（ｎは０又は正の整数）の基準画素は第１の色のカラーフィルタ、
    前記単位配列の第２ｎライン目において、前記基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第２ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
    前記単位配列の第２ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする撮像装置。
22. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、８画素の単位配列の繰り返しからなり、
    前記単位配列の第４ｎライン目（ｎは０又は正の整数）の基準画素は第１の色のカラーフィルタ、
    前記単位配列の第４ｎ＋２ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第４ｎライン目において、前記単位配列の基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第４ｎ＋２ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第４ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
    前記単位配列の第４ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
    前記単位配列の第４ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第２の色のカラーフィルタ、
    前記単位配列の第４ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする撮像装置。
23. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、１６画素の単位配列の繰り返しからなり、
    前記単位配列の第８ｎ列目（ｎは０以上の整数）の基準画素は、第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋２列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋４列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋６列目において、前記基準画素と垂直方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ列目の基準画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋２列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋４列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋６列目において、前記基準画素と垂直方向に同一画素重心をもつ画素に第１の垂直方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋１列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
    前記単位配列の第８ｎ＋３列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
    前記単位配列の第８ｎ＋５列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第４の色のカラーフィルタ、
    前記単位配列の第８ｎ＋７列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素は第５の色のカラーフィルタ、
    前記単位配列の８ｎ＋１列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第４の色のカラーフィルタ、
    前記単位配列の８ｎ＋３列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第５の色のカラーフィルタ、
    前記単位配列の８ｎ＋５列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第２の色のカラーフィルタ、
    前記単位配列の８ｎ＋７列目において、前記基準画素と第１の垂直方向に所定の画素分重心ずれた位置の画素に第１の垂直方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする撮像装置。
24. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、１６画素の単位配列の繰り返しからなり、
    前記単位配列の第８ｎライン目（ｎは０以上の整数）の基準画素は、第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋２ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋４ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋６ライン目において、前記基準画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎライン目において、前記基準画素に第１の水平方向で隣接する画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋２ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋４ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋６ライン目において、前記基準画素に第１の水平方向で隣接する画素と水平方向に同一画素重心をもつ画素は第１の色のカラーフィルタ、
    前記単位配列の第８ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第２の色のカラーフィルタ、
    前記単位配列の第８ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第３の色のカラーフィルタ、
    前記単位配列の第８ｎ＋５ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第４の色のカラーフィルタ、
    前記単位配列の第８ｎ＋７ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素は第５の色のカラーフィルタ、
    前記単位配列の第８ｎ＋１ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第４の色のカラーフィルタ、
    前記単位配列の第８ｎ＋３ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第５の色のカラーフィルタ、
    前記単位配列の第８ｎ＋５ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第２の色のカラーフィルタ、
    前記単位配列の第８ｎ＋７ライン目において、前記基準画素と第１の水平方向に所定の画素分重心ずれた位置の画素に第１の水平方向で隣接する画素は第３の色のカラーフィルタがそれぞれ配置されていることを特徴とする撮像装置。
25. 請求項２１から請求項２２のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、第１の色がグリーン、第２の色がシアン、第３の色がイエローであることを特徴とする撮像装置。
26. 請求項２１から請求項２２のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、第１の色が緑、第２の色が青、第３の色が赤であることを特徴とする撮像装置。
27. 請求項２３から請求項２４のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、第１の色がグリーン、第２の色がグリーン、第３の色がイエロー、第４の色がマゼンダ、第５の色がシアンであることを特徴とする撮像装置。
28. 請求項２３から請求項２４のうちの何れか１つの撮像装置において、
    前記カラーフィルタは、第１の色が緑、第２の色が緑、第３の色が赤、第４の色が緑、第５の色が青であることを特徴とする撮像装置。
29. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第１の読み出し画素信号の画素に上下何れかの方向で隣接する画素から読出した第２の読み出し画素信号とを加算したカラーフィルタの色成分は、マゼンンダとシアンとグリーンとイエローが１：１：１：１の割合であることを特徴とする撮像装置。
30. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第２の画素混合動作によって読み出された第２の読み出し画素信号とを加算したカラーフィルタの色成分は、緑と赤と青が１：２：１の割合であることを特徴とする撮像装置。
31. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第１の画素混合動作によって読み出された第１の読み出し画素信号と、前記第２の画素混合動作によって読み出された第２の読み出し画素信号とを加算したカラーフィルタの色の割合は、全ての前記第１の画素混合動作によって読み出される信号において同じであることを特徴とする撮像装置。
32. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色成分は、マゼンンダとシアンとグリーンとイエローが１：１：１：１の割合であることを特徴とする撮像装置。
33. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色成分は、緑と赤と青が１：２：１の割合であることを特徴とする撮像装置。
34. 請求項１６から請求項２０のうちの何れか１つの撮像装置において、
    前記第２の画素混合動作によって読み出された第３の読み出し画素信号と、前記第３の読み出し画素信号の画素に左右何れかの方向で隣接する画素からの第４の読み出し画素信号とを加算したカラーフィルタの色の割合が、全ての前記第２の画素混合動作によって読み出される信号において同じであることを特徴とする撮像装置。
35. 請求項１から請求項３４のうちの何れか１つの撮像装置において、
    各画素は、ＣＣＤ、ＣＭＯＳ、又はＮＭＯＳの何れかにより構成されていることを特徴とする撮像装置。
36. 請求項１から請求項３５のうちの何れか１つの撮像装置において、
    各画素から読み出された画素信号のレベルを検知するレベル検出部をさらに備え、
    前記画素混合部は、前記レベル検出部が検出した画素信号のレベルの大きさに応じて画素の混合数を切り替えることを特徴とする撮像装置。
37. 請求項１から請求項３５のうちの何れか１つの撮像装置において、
    前記画素混合部は、画素混合する画素数を外部から変更できるように構成されていることを特徴とする撮像装置。
38. 請求項１から請求項３７のうちの何れか１つの撮像装置と、
    レンズと、
    を備えたことを特徴とする撮像モジュール。
39. 請求項３８の撮像モジュールと、
    前記撮像モジュールから出力された撮像信号を処理するデジタル信号処理回路と、
    を備えたことを特徴とする電子スチルカメラ。
40. 請求項３８の撮像モジュールと、
    前記撮像モジュールから出力された撮像信号を処理するデジタル信号処理回路と、
    を備えたことを特徴とする電子ムービーカメラ。

Images