JP2012124729A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】画素情報量の低減を回避しつつ飽和信号量の向上を図る。
【解決手段】CMOSセンサ２３は、斜め画素配列により複数の画素が配置された画素アレイ３１と、画素アレイ３１の偶数列の画素から出力される画素信号をデジタル変換する列並列ＡＤ変換回路３５−１と、画素アレイ３１の奇数列の画素から出力される画素信号をデジタル変換する列並列ＡＤ変換回路３５−１と、列並列ＡＤ変換回路３５−１および列並列ＡＤ変換回路３５−２から出力される画素データを加算するロジック回路３２とを備える。そして、列並列ＡＤ変換回路３５−１および列並列ＡＤ変換回路３５−２は、フリップフロップ、第１のラッチ回路、および第２のラッチ回路を含むカウンタを有する。本発明は、例えば、斜め画素配列で画素が配置された撮像素子に適用できる。
【選択図】図２

Description

本発明は、撮像素子および撮像装置に関し、特に、画素情報量の低減を回避しつつ飽和信号量の向上を図ることができるようにした撮像素子および撮像装置に関する。

近年、撮像装置では、撮像素子の高画素数化が進んでおり、光電変換素子を含む画素の実効的集積度を向上させる技術の開発が進められている。

例えば、本願出願人は、奇数列の各画素に対して偶数列の各画素が、画素列内での画素同士のピッチの約１／２ピッチだけ列方向にずれ、また奇数行の各画素に対して偶数列の各画素が、画素行内での画素同士のピッチの約１／２ピッチだけ行方向にずれて配置された斜め画素配列の構成を採用した固体撮像素子の開発を行っている（特許文献１参照）

特許文献１に開示されている斜め画素配列の構成を採用した固体撮像素子では、画素の情報を複数の画素間で加算することによって画素情報量を削減し、フレームレートの向上が図られている。また、このように、画素の情報を複数の画素間で加算することで、各画素が蓄積できる電荷の量（飽和信号量(Qs)）の向上を図ることができる。

特開２００６−２１１６３０号公報

ところで、特許文献１に開示されている撮像素子では、撮像素子が有する全ての画素のうちの、一部の画素しか加算対象とされておらず、加算対象とされない画素の情報は出力されないため、画素情報量が低減していた。

本発明は、このような状況に鑑みてなされたものであり、画素情報量の低減を回避しつつ飽和信号量の向上を図ることができるようにするものである。

本発明の第１の側面の撮像素子は、斜め画素配列により複数の画素が配置された画素アレイと、前記画素アレイの偶数列の画素から出力される画素信号をデジタル変換する第１の変換手段と、前記画素アレイの奇数列の画素から出力される画素信号をデジタル変換する第２の変換手段と、前記第１および第２の変換手段から出力される画素データを加算する加算手段とを備え、前記第１および第２の変換手段は、フリップフロップ、第１のラッチ回路、および第２のラッチ回路を含むカウンタを有する。

本発明の第２の側面の撮像装置は、斜め画素配列により複数の画素が配置された画素アレイと、前記画素アレイの偶数列の画素から出力される画素信号をデジタル変換する第１の変換手段と、前記画素アレイの奇数列の画素から出力される画素信号をデジタル変換する第２の変換手段と、前記第１および第２の変換手段から出力される画素データを加算する加算手段とを有し、前記第１および第２の変換手段は、１つのフリップフロップと、２つのラッチ回路を含むカウンタを有する撮像素子を備える。

本発明の第１および第２の側面においては、第１および第２の変換手段が有するカウンタには、リップフロップ、第１のラッチ回路、および第２のラッチ回路が含まれる。

本発明の第１および第２の側面によれば、画素情報量の低減を回避しつつ飽和信号量の向上を図ることができる。

本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 CMOSセンサの構成例を示すブロック図である。 画素アレイの画素の配置について説明する図である。 カウンタの構成例を示すブロック図である。 ラッチ回路の構成例を示すブロック図である。 画素の配置を示す図である。 画素データの転送タイミングについて説明する図である。 画素データの転送タイミングについて説明する図である。 画素データの転送タイミングについて説明する図である。 画素データの転送タイミングについて説明する図である。 画素データの転送タイミングについて説明する図である。 画素データの転送タイミングについて説明する図である。 水平転送期間の２フェーズごとに、加算対象となる列を切り替えることを説明する図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。

図１において、撮像装置１１は、レンズ部１２、撮像部１３、ＤＳＰ（Digital Signal Processor）１４、制御部１５、レンズ制御部１６、ユーザインタフェイス１７、マイクロプロセッサ１８、データ処理部１９、データ圧縮部２０、およびストレージ部２１を備えて構成される。

レンズ部１２は、ズームレンズや結像レンズなどの複数枚のレンズ群を有しており、図示しない被写体からの光を集光する。

撮像部１３は、レンズ部１２により集光される光を三原色に分離するプリズム２２と、プリズム２２により分離された光をそれぞれ受光する３つのCMOS(Complementary Metal Oxide Semiconductor)センサ２３Ｒ，２３Ｇ、および２３Ｂとを有している。

即ち、レンズ部１２により集光された光がプリズム２２により分離され、赤色の成分の光がCMOSセンサ２３Ｒに結像され、緑色の成分の光がCMOSセンサ２３Ｇに結像され、青色の成分の光がCMOSセンサ２３Ｂに結像される。CMOSセンサ２３Ｒ，２３Ｇ、および２３Ｂは、それぞれの画素が受光した光の光量に応じた画素データをＤＳＰ１４に供給する。なお、CMOSセンサ２３Ｒ，２３Ｇ、および２３Ｂのそれぞれを区別する必要がないとき、以下、適宜、CMOSセンサ２３と称する。

ＤＳＰ１４は、CMOSセンサ２３から出力される画素データに対して信号処理を施して画像を構築し、その画像データを制御部１５に供給する。

制御部１５は、撮像装置１１の各ブロックの制御を行う。例えば、ユーザがシャッターボタン（図示せず）を操作したことを示す制御信号が、ユーザインタフェイス１７およびマイクロプロセッサ１８を介して制御部１５に供給されたとする。この場合、制御部１５は、そのユーザ制御に従って、ＤＳＰ１４から出力される画像データを、データ処理部１９に供給してデータ処理を施し、データ圧縮部２０に供給して圧縮した後、ストレージ部２１に供給して記憶させる。

レンズ制御部１６は、例えば、ユーザがズームレバー（図示せず）を操作したことを示す制御信号が、ユーザインタフェイス１７およびマイクロプロセッサ１８を介して供給されると、そのユーザ制御に従って、レンズ部１２を駆動してズーム倍率を調整する。

ユーザインタフェイス１７は、図示しない操作部をユーザが操作すると、そのユーザの操作に応じた制御信号を取得して、マイクロプロセッサ１８に供給する。マイクロプロセッサ１８は、ユーザインタフェイス１７からの制御信号を、その制御に適したブロックに対して供給する。

データ処理部１９は、ＤＳＰ１４から出力される画像データに対して、ホワイトバランスやノイズ除去などのデータ処理を施す。データ圧縮部２０は、データ処理部１９によりデータ処理が施された画像データに対して、JPEG（Joint Photographic Experts Group）方式などによる圧縮処理を施す。

ストレージ部２１は、フラッシュメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））などの記憶部を有しており、データ圧縮部２０により圧縮処理が施された画像データを記憶する。また、ストレージ部２１に記憶されている画像データは、図示しないドライブを介して外部メディア２４に転送したり、図示しない通信部を介してインターネット２５にアップロードしたりすることができる。

次に、図２は、CMOSセンサ２３の構成例を示すブロック図である。

図２において、CMOSセンサ２３は、画素アレイ３１、ロジック回路３２、行走査回路３３、ＤＡＣ（Digital Analog Converter）３４、並びに、２つの列並列ＡＤ（Analog Digital）変換回路３５−１および３５−２を備えて構成される。

画素アレイ３１は、２次元に整列した複数の画素を有している。例えば、行×列がＭ×Ｎとなる個数の画素が配置されているとき、ｍ行目かつｎ列目の画素は、行走査回路３３に接続される水平信号線Ｈ（ｍ）と、列並列ＡＤ変換回路３５−１および３５−２に接続される垂直信号線Ｖ（ｎ）とが交差する交点に配置されている。ここで、ｍは、０〜Ｍの整数であり、ｎは、０〜Ｎの整数である。また、各画素は、後述の図３に示すように斜め画素配列となっている。

また、画素アレイ３１の列方向に並ぶ画素を接続する垂直信号線Ｖのうち、偶数列の垂直信号線Ｖ（２ｎ）は、画素アレイ３１の下側（南側）に配置されている列並列ＡＤ変換回路３５−１に接続される。一方、奇数列の垂直信号線Ｖ（２ｎ＋１）は、画素アレイ３１の上側（北側）に配置されている列並列ＡＤ変換回路３５−２に接続される。図２の例では、０列目の垂直信号線Ｖ（０）が、列並列ＡＤ変換回路３５−１に接続されており、１列目の垂直信号線Ｖ（１）が、列並列ＡＤ変換回路３５−２に接続されている。

ロジック回路３２は、行走査回路３３、ＤＡＣ３４、並びに、列並列ＡＤ変換回路３５−１および３５−２に対し、それぞれの動作に必要なクロック信号やタイミング信号などを供給する。また、ロジック回路３２は、列並列ＡＤ変換回路３５−１および３５−２から出力される画素データを加算する処理を行って、後段のブロック（例えば、図１のＤＳＰ１４）に出力する。

行走査回路３３は、画素アレイ３１の画素を駆動（転送や、選択、リセットなど）するための駆動信号を、行ごとに順次、水平信号線Ｈ（ｍ）を介して出力する。

ＤＡＣ３４は、ロジック回路３２からのタイミング信号などに応じて、所定の電圧値から一定の傾きで電圧が降下した後に所定の電圧値に戻る形状（略鋸形状）のランプ信号を生成し、列並列ＡＤ変換回路３５−１および３５−２に供給する。

列並列ＡＤ変換回路３５−１は、列走査回路３６−１、所定個数の比較器３７−１、所定個数のカウンタ（Counter）３８−１、およびセンスアンプ（Sense Amp）３９−１を有している。同様に、列並列ＡＤ変換回路３５−２は、列走査回路３６−２、所定個数の比較器３７−２、所定個数のカウンタ３８−２、およびセンスアンプ３９−２を有している。

ここで、列並列ＡＤ変換回路３５−１には偶数列の垂直信号線Ｖ（２ｎ）が接続され、列並列ＡＤ変換回路３５−２には奇数列の垂直信号線Ｖ（２ｎ＋１）が接続される。そして、画素アレイ３１の画素の列数がＮであるとき、列並列ＡＤ変換回路３５−１は、Ｎ／２個の比較器３７−１およびカウンタ３８−１を有し、２ｎ列目の画素の画素データは、比較器３７−１（２ｎ）およびカウンタ３８−１（２ｎ）により処理される。同様に、列並列ＡＤ変換回路３５−２は、Ｎ／２個の比較器３７−２およびカウンタ３８−２を有し、２ｎ＋１列目の画素の画素データは、比較器３７−２（２ｎ＋１）およびカウンタ３８−２（２ｎ＋１）により処理される。

即ち、列並列ＡＤ変換回路３５−１は、画素アレイ３１が有する偶数列の画素の画素データをＡＤ変換し、列並列ＡＤ変換回路３５−２は、画素アレイ３１が有する奇数列の画素の画素データをＡＤ変換する。

列走査回路３６−１および３６−２は、カウンタ３８−１および３８−２に、順次、所定のタイミングで画素データを出力させる信号をそれぞれ供給する。

比較器３７−１および３７−２は、ＤＡＣ３４から供給されるランプ信号と、画素アレイ３１の各画素から出力される画素信号（輝度値）とを比較し、その結果得られる比較結果信号をカウンタ３８−１および３８−２にそれぞれ供給する。

カウンタ３８−１および３８−２は、比較器３７−１および３７−２から出力される比較結果信号と、ロジック回路３２からの制御信号とに従って、所定の周波数のカウンタクロック信号をそれぞれカウントする。これにより、カウンタ３８−１および３８−２は、比較器３７−１および３７−２が読み出した各画素の画素信号をデジタル化した画素データを出力する。カウンタ３８−１および３８−２の構成については、図４および図５を参照して後述する。

センスアンプ３９−１および３９−２は、カウンタ３８−１および３８−２から出力される画素データをそれぞれ増幅し、ロジック回路３２に供給する。

次に、図３を参照して、画素アレイ３１の画素の配置について説明する。

図３には、画素アレイ３１が有する複数の画素のうちの一部が示されており、それぞれの画素は、斜めに４５度傾けられた状態で配置されている。

即ち、図３において正方形で示されている画素は、その正方形の４辺が画素アレイ３１の上下方向に対して、即ち、列並列ＡＤ変換回路３５−１および３５−２が配置されている方向に対して４５度傾斜している。そして、奇数列の各画素に対して偶数列の各画素が、画素列内での画素同士のピッチの約１／２ピッチだけ列方向にずれ、また奇数行の各画素に対して偶数列の各画素が、画素行内での画素同士のピッチの約１／２ピッチだけ行方向にずれて配置されている。

従って、斜め画素配列されている各画素を行ごとに接続する垂直信号線Ｖは、１画素ごとに９０度の向きに交互に折れ曲がる形状、いわゆるジグザグ形状とされている。このように、ジグザグ形状の垂直信号線Ｖにより接続される複数の画素を、画素アレイ３１における１列の画素とする。

また、上述したように、偶数列目の画素の画素信号は、偶数列目の垂直信号線Ｖ（垂直信号線Ｖ（２ｎ−２）、垂直信号線Ｖ（２ｎ）、垂直信号線Ｖ（２ｎ＋２））を介して列並列ＡＤ変換回路３５−１に出力される。一方、奇数列目の画素の画素信号は、奇数列目の垂直信号線Ｖ（垂直信号線Ｖ（２ｎ−１）、垂直信号線Ｖ（２ｎ＋１））を介して列並列ＡＤ変換回路３５−２に出力される。

ここで、隣接する４画素の画素加算を行う例、具体的には、図３Ｂにおいて太枠で囲われている４画素ごとに画素加算を行う例について説明する。

例えば、図３Ｂに示すように画素Ａ１、画素Ａ２、画素Ａ３、および画素Ａ４に注目すると、奇数列に配置されている画素Ａ２の画素信号は、垂直信号線Ｖ（２ｎ−１）を介して列並列ＡＤ変換回路３５−２に供給される。一方、偶数列に配置されている画素Ａ１、画素Ａ３、および画素Ａ４の画素信号は、垂直信号線Ｖ（２ｎ）を介して列並列ＡＤ変換回路３５−１に供給される。

このように、CMOSセンサ２３では、隣接する４画素の画素加算を行うには、列並列ＡＤ変換回路３５−２に出力される奇数列目の画素Ａ２の画素信号と、列並列ＡＤ変換回路３５−１に出力される偶数列目の画素Ａ１、画素Ａ３、および画素Ａ４の画素信号とを加算する必要がある。そして、ロジック回路３２における加算処理を効率的に行うには、加算対象となる画素の画素データが揃うまで、列並列ＡＤ変換回路３５−１および３５−２で画素データを保持し、４画素の画素データを同時にロジック回路３２に転送することが好ましい。

従って、CMOSセンサ２３では、列並列ＡＤ変換回路３５−１および３５−２のカウンタ３８において、ロジック回路３２に画素データを転送するタイミングとなるまで、画素データを保持することができるように構成される。

次に、図４は、カウンタ３８の構成例を示すブロック図である。

カウンタ３８は、スイッチ４１、フリップフロップ（Flip-Flop）４２、レベルシフタ４３、およびラッチ（Latch）回路４４を備えて構成される。

スイッチ４１は、例えば、ロジック回路３２から供給されるクロック遮断制御信号に従って、所定の周波数のカウンタクロック信号を伝達する信号線と、フリップフロップ４２との接続／遮断を切り替える。

フリップフロップ４２は、Ｎビット（例えば、１４ビット）のデータを保持することができる回路であり、ロジック回路３２から供給されるリセット信号のタイミングに従って、保持している画素データをリセットし、スイッチ４１を介して信号線から供給されるカウンタクロック信号の計数を開始する。そして、フリップフロップ４２は、比較器３７から出力される比較結果信号に応じた期間のカウント数を、画素データとして新たに保持する。

レベルシフタ４３は、フリップフロップ４２から出力される信号のレベルを、ラッチ回路４４での処理に必要な所定電圧にシフトする。

ラッチ回路４４は、Ｎビット（例えば、１４ビット）のデータを保持することができる回路であり、レベルシフタ４３を介してフリップフロップ４２から出力される画素データを保持し、センスアンプ３９を介して、ロジック回路３２に出力する。

また、４画素加算を行う際に、列並列ＡＤ変換回路３５−１および３５−２から出力される画素データをロジック回路３２で加算するためには、加算の対象となる画素データの水平転送タイミングを揃える必要がある。そのため、ラッチ回路４４は、水平転送用のラッチを備える他、データを一時的に保持するためのデータ保持用のラッチを備えている。

また、フリップフロップ４２およびラッチ回路４４には、フリップフロップ４２からラッチ回路４４のデータ保持用のラッチにデータを転送するための転送信号ＦＳ１、および、フリップフロップ４２からラッチ回路４４の水平転送用のラッチにデータを転送するための転送信号ＦＳ２が供給される。また、ラッチ回路４４には、データ保持用のラッチから水平転送用のラッチにデータを転送するための転送信号ＦＳ３が供給される。

次に、図５は、ラッチ回路４４の構成例を示すブロック図である。

ラッチ回路４４は、水平転送用ラッチ５１およびデータ保持用ラッチ５２を有している。水平転送用ラッチ５１は、ノットゲート５３および５４から構成され、データ保持用ラッチ５２は、ノットゲート５５および５６から構成される。また、フリップフロップ４２からの画素データは、ノットゲート５７および５８に供給される。

フリップフロップ４２からデータ保持用ラッチ５２にデータを転送するための転送信号ＦＳ１は、ノットゲート５９に供給されるとともに、転送信号ＦＳ１に従ってフリップフロップ４２から転送される画素データが、ノットゲート５８を介してデータ保持用ラッチ５２に供給されて保持される。

また、フリップフロップ４２から水平転送用ラッチ５１にデータを転送するための転送信号ＦＳ２は、ノットゲート６０および６１に供給されるとともに、転送信号ＦＳ２に従ってフリップフロップ４２から転送される画素データが、ノットゲート５７を介して水平転送用ラッチ５１に供給されて保持される。

水平転送用ラッチ５１とデータ保持用ラッチ５２とは、トランジスタ６２および６３により接続されている。そして、データ保持用ラッチ５２から水平転送用ラッチ５１に画素データを転送するための転送信号ＦＳ３が、トランジスタ６２および６３のゲートに供給されると、データ保持用ラッチ５２に保持されていた画素データが、水平転送用ラッチ５１に転送される。

また、画素列を選択する選択信号HSELが列走査回路３６からトランジスタ６４および６５に供給されると、水平転送用ラッチ５１に保持されていた画素データが、トランジスタ６６および６７を介して出力される。

このように、データ保持用ラッチ５２を有するラッチ回路４４により、図３Ｂを参照して説明したように、画素Ａ１、画素Ａ３、および画素Ａ４の画素データを加算したデータと、画素Ａ２の画素データとが、同一のタイミングでロジック回路３２に転送されるような水平転送タイミングでの動作が可能となる。

次に、図６および７を参照して、画素データの転送タイミングについて説明する。

図６には、図３と同様に、斜め画素配列されている画素が示されており、画素データの転送タイミングを説明するために、４画素加算される画素ごとに画素Ａ１乃至Ａ４、画素Ｂ１乃至Ｂ４、画素Ｃ１乃至Ｃ４、画素Ｄ１乃至Ｄ４、および画素Ｅ１乃至Ｅ４が区別されている。

図７には、行走査回路３３からの駆動信号に従ってアクセスの対象となる画素、フリップフロップ４２で保持および加算される画素データ、データ保持用ラッチ５２に保持される画素データ、水平転送用ラッチ５１に保持される画素データ、および、ロジック回路３２へ水平転送される画素データ（即ち、画素加算の加算対象となる画素データ）が示されている。また、図７では、画素アレイ３１の下側（南側）に配置されている列並列ＡＤ変換回路３５−１内のデータをカラム（南）と示し、画素アレイ３１の上側（北側）に配置されている列並列ＡＤ変換回路３５−２内のデータをカラム（北）と示している。

まず、アクセスの対象となる画素については、水平転送期間XHSの第１フェーズで、画素Ａ１（図６の１行目の画素）が列並列ＡＤ変換回路３５−１のアクセスの対象となる。次に、水平転送期間XHSの第２フェーズで、画素Ａ２（図６の２行目の画素）が列並列ＡＤ変換回路３５−２のアクセスの対象となるとともに、画素Ａ３（図６の２行目の画素）が列並列ＡＤ変換回路３５−１のアクセスの対象となる。

そして、水平転送期間XHSの第３フェーズで、画素Ｂ１（図６の３行目の画素）が列並列ＡＤ変換回路３５−２のアクセスの対象となるとともに、画素Ａ４（図６の３行目の画素）が列並列ＡＤ変換回路３５−１のアクセスの対象となる。以下、同様に、水平転送期間XHSの各フェーズに対応する行の画素がアクセスの対象となる。

また、フリップフロップ４２で保持および加算される画素データについては、列並列ＡＤ変換回路３５−１のフリップフロップ４２は、水平転送期間XHSの第１フェーズの間にリセットされて、水平転送期間XHSの第４フェーズの間で次のリセットされるまで、順次アクセスの対象となる画素Ａ１、画素Ａ３、および画素Ａ４の画素データを加算して保持する。そして、そのリセットのタイミングで、アクセスの対象となる画素Ｂ２の画素データを読み出して、水平転送期間XHSの第５フェーズの間で次のリセットされるまで、画素Ｂ２の画素データを保持する。

一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２は、平転送期間XHSの第２フェーズの間にリセットされて、そのタイミングで、アクセスの対象となる画素Ａ２の画素データを読み出して、水平転送期間XHSの第３フェーズの間で次のリセットがされるまで、画素Ａ２の画素データを保持する。そして、そのリセット後、順次アクセスの対象となる画素Ｂ１、画素Ｂ３、および画素Ｂ４の画素データを加算して保持する。

このように、フリップフロップ４２では、水平転送期間XHSの３フェーズ間で４画素加算を行う画素のうちの３つの画素の画素データを加算して保持し、次の平転送期間XHSの１フェーズで、次の画素加算を行う画素のうちの１つの画素の画素データを保持する処理を交互に行う。また、列並列ＡＤ変換回路３５−１のフリップフロップ４２と、列並列ＡＤ変換回路３５−２のフリップフロップ４２とで、３つの画素の画素データの加算と、１つの画素の画素データの保持とを交互に処理を行う。

また、データ保持用ラッチ５２で保持される画素データについては、水平転送期間XHSの第３フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−２のフリップフロップ４２およびデータ保持用ラッチ５２に転送信号ＦＳ１が供給される。この転送信号ＦＳ１に従って、列並列ＡＤ変換回路３５−２のフリップフロップ４２が保持している画素Ａ２の画素データがデータ保持用ラッチ５２に転送される。

次に、水平転送期間XHSの第４フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−１のフリップフロップ４２およびデータ保持用ラッチ５２に転送信号ＦＳ１が供給される。この転送信号ＦＳ１に従って、列並列ＡＤ変換回路３５−１のフリップフロップ４２が保持している画素Ａ１、画素Ａ３、および画素Ａ４の画素データを加算した画素データがデータ保持用ラッチ５２に転送される。その後、水平転送期間XHSの第５フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−１のフリップフロップ４２およびデータ保持用ラッチ５２に転送信号ＦＳ１が供給される。この転送信号ＦＳ１に従って、列並列ＡＤ変換回路３５−１のフリップフロップ４２が保持している画素Ｂ２の画素データがデータ保持用ラッチ５２に転送される。

そして、水平転送期間XHSの第６フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−２のフリップフロップ４２およびデータ保持用ラッチ５２に転送信号ＦＳ１が供給される。この転送信号ＦＳ１に従って、列並列ＡＤ変換回路３５−２のフリップフロップ４２が保持している画素Ｂ１、画素Ｂ３、および画素Ｂ４の画素データを加算した画素データがデータ保持用ラッチ５２に転送される。

以下、同様に、水平転送期間XHSの１フェーズごとに、列並列ＡＤ変換回路３５−１と列並列ＡＤ変換回路３５−２とで交互に２回ずつ転送信号ＦＳ１が供給される処理が繰り返される。これにより、フリップフロップ４２で加算および保持されている画素が、データ保持用ラッチ５２に転送されて保持される。

また、水平転送用ラッチ５１で保持される画素データについては、水平転送期間XHSの第４フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−２の水平転送用ラッチ５１に転送信号ＦＳ３が供給されるとともに、列並列ＡＤ変換回路３５−１の水平転送用ラッチ５１に転送信号ＦＳ２が供給される。この転送信号ＦＳ３に従って、列並列ＡＤ変換回路３５−２のデータ保持用ラッチ５２で保持されている画素Ａ２の画素データが水平転送用ラッチ５１に転送され、この転送信号ＦＳ２に従って、列並列ＡＤ変換回路３５−１のフリップフロップ４２で保持されている画素Ａ１、画素Ａ３、および画素Ａ４の画素データを加算した画素データが水平転送用ラッチ５１に転送される。

その後、水平転送期間XHSの第６フェーズが開始するタイミングで、列並列ＡＤ変換回路３５−２の水平転送用ラッチ５１に転送信号ＦＳ２が供給されるとともに、列並列ＡＤ変換回路３５−１の水平転送用ラッチ５１に転送信号ＦＳ３が供給される。この転送信号ＦＳ２に従って、列並列ＡＤ変換回路３５−２のフリップフロップ４２で保持されている画素Ｂ１、画素Ｂ３、および画素Ｂ４の画素データを加算した画素データが水平転送用ラッチ５１に転送され、この転送信号ＦＳ３に従って、列並列ＡＤ変換回路３５−１のデータ保持用ラッチ５２で保持されている画素Ｂ２の画素データが水平転送用ラッチ５１に転送される。

以下、同様に、水平転送期間XHSの２フェーズごとに、列並列ＡＤ変換回路３５−１と列並列ＡＤ変換回路３５−２とで、転送信号ＦＳ２と転送信号ＦＳ３とが交互に供給される処理が繰り返される。これにより、４画素加算の対象となる画素の画素データが同時に水平転送用ラッチ５１に転送されて保持される。

また、ロジック回路３２へ水平転送される画素データ（即ち、画素加算の加算対象となる画素データ）については、水平転送期間XHSの第４フェーズが開始した後の所定のタイミングで、列並列ＡＤ変換回路３５−１のラッチ回路４４と列並列ＡＤ変換回路３５−２のラッチ回路４４とに、同時に、選択信号HSELが供給される。この選択信号HSELに従って、列並列ＡＤ変換回路３５−２の水平転送用ラッチ５１で保持されている画素Ａ２の画素データと、列並列ＡＤ変換回路３５−１の水平転送用ラッチ５１で保持されている画素Ａ１、画素Ａ３、および画素Ａ４の画素データを加算した画素データとが水平転送され、ロジック回路３２で加算処理が行われる。

ここで、水平転送期間XHSのフェーズが開始した後の所定のタイミングとは、例えば、同一のフェーズで供給される転送信号ＦＳ２またはＦＳ３に従って転送された画素データが水平転送用ラッチ５１で確定するまでに必要な期間だけ待機したタイミングである。これにより、前回のフェーズにおいて水平転送用ラッチ５１に保持されていた画素データが間違って水平転送されることを回避することができる。

その後、水平転送期間XHSの第６フェーズが開始した後の所定のタイミングで、列並列ＡＤ変換回路３５−１のラッチ回路４４と列並列ＡＤ変換回路３５−２のラッチ回路４４とに、同時に、選択信号HSELが供給される。この選択信号HSELに従って、列並列ＡＤ変換回路３５−２の水平転送用ラッチ５１で保持されている画素Ｂ１、画素Ｂ３、および画素Ｂ４の画素データを加算した画素データと、列並列ＡＤ変換回路３５−１の水平転送用ラッチ５１で保持されている画素Ｂ２の画素データとが水平転送され、ロジック回路３２で加算処理が行われる。

以下、同様に、水平転送期間XHSの２フェーズごとに、列並列ＡＤ変換回路３５−１のラッチ回路４４と列並列ＡＤ変換回路３５−２のラッチ回路４４とに、各フェーズが開始した後の所定のタイミングで、選択信号HSELが同時に供給され、ロジック回路３２で４画素の画素データが加算される。

このように、CMOSセンサ２３では、転送信号ＦＳ１乃至ＦＳ３および選択信号HSELに従って画素データが転送される。ここで、転送信号ＦＳ１乃至ＦＳ３および選択信号HSELは、ロジック回路３２が水平転送期間XHSのフェーズに基づいて行う処理に従ったタイミングで出力される。

例えば、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、４×Ｋ＋１番目、４×Ｋ＋２番目、４×Ｋ＋３番目、および４×Ｋ＋４番目のうちのいずれであるかを判定する。ここで、Ｋは、０を含む自然数である。

そして、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、４×Ｋ＋１番目であると判定した場合、列並列ＡＤ変換回路３５−１のフリップフロップ４２にリセット信号を出力し、列並列ＡＤ変換回路３５−１のフリップフロップ４２およびラッチ回路４４に転送信号ＦＳ１を出力する。但し、図７における平転送期間XHSの第５フェーズに示されるように、ロジック回路３２は、転送信号ＦＳ１を出力した後にリセット信号を出力する。

また、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、４×Ｋ＋２番目であると判定した場合、列並列ＡＤ変換回路３５−２のフリップフロップ４２にリセット信号を出力し、列並列ＡＤ変換回路３５−２のフリップフロップ４２およびラッチ回路４４に、転送信号ＦＳ１とＦＳ２とを出力し、列並列ＡＤ変換回路３５−２のラッチ回路４４に選択信号HSELを出力する。さらに、この場合、ロジック回路３２は、列並列ＡＤ変換回路３５−１のラッチ回路４４に転送信号ＦＳ３および選択信号HSELを出力する。

但し、図７における平転送期間XHSの第６フェーズに示されるように、ロジック回路３２は、転送信号ＦＳ３を出力した後に選択信号HSELを出力し、転送信号ＦＳ１およびＦＳ２を出力した後に選択信号HSELとリセット信号とを出力する。なお、転送信号ＦＳ１とＦＳ２とが出力されるタイミングや、選択信号HSELとリセット信号とが出力されるタイミングは、それぞれ同時であっても、異なっていてもよい。

また、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、４×Ｋ＋３番目であると判定した場合、列並列ＡＤ変換回路３５−２のフリップフロップ４２にリセット信号を出力し、列並列ＡＤ変換回路３５−２のフリップフロップ４２およびラッチ回路４４に転送信号ＦＳ１を出力する。但し、図７における平転送期間XHSの第７フェーズに示されるように、ロジック回路３２は、転送信号ＦＳ１を出力した後にリセット信号を出力する。

また、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、４×Ｋ＋４番目であると判定した場合、列並列ＡＤ変換回路３５−２のフリップフロップ４２およびラッチ回路４４に転送信号ＦＳ３を出力し、列並列ＡＤ変換回路３５−２のラッチ回路４４に選択信号HSELを出力する。さらに、この場合、ロジック回路３２は、列並列ＡＤ変換回路３５−１のフリップフロップ４２にリセット信号を出力し、列並列ＡＤ変換回路３５−１のフリップフロップ４２およびラッチ回路４４に、転送信号ＦＳ１とＦＳ２とを出力し、列並列ＡＤ変換回路３５−１のラッチ回路４４に選択信号HSELを出力する。

但し、図７における平転送期間XHSの第８フェーズに示されるように、ロジック回路３２は、転送信号ＦＳ３を出力した後に選択信号HSELを出力し、転送信号ＦＳ１およびＦＳ２を出力した後に選択信号HSELとリセット信号とを出力する。なお、転送信号ＦＳ１とＦＳ２とが出力されるタイミングや、選択信号HSELとリセット信号とが出力されるタイミングは、それぞれ同時であっても、異なっていてもよい。

このように、ロジック回路３２は、水平転送期間XHSの４フェーズごとに処理を繰り返して行うが、水平転送期間XHSのフェーズを判定するときのＫが０である場合には、特別な処理が行われる。

例えば、ロジック回路３２は、Ｋが０であって、かつ、水平転送期間XHSのフェーズが、４×Ｋ＋１番目であると判定した場合（即ち、水平転送期間XHSが第１フェーズである場合）、列並列ＡＤ変換回路３５−１のフリップフロップ４２にリセット信号を出力する処理だけを行う。また、ロジック回路３２は、Ｋが０であって、かつ、水平転送期間XHSのフェーズが、４×Ｋ＋２番目であると判定した場合（即ち、水平転送期間XHSが第２フェーズである場合）、列並列ＡＤ変換回路３５−２のフリップフロップ４２にリセット信号を出力する処理だけを行う。つまり、この場合、ロジック回路３２は、選択信号HSELを出力しないように処理を行う。

即ち、水平転送期間XHSが第２フェーズであるとき、４画素加算の対象となる画素データが列並列ＡＤ変換回路３５−１および３５−２のラッチ回路４４の水平転送用ラッチ５１に、まだ揃っていないため、ロジック回路３２は、このような特別な処理を行う。これにより、無効なデータがロジック回路３２に転送されることを回避することができる。

なお、水平転送期間XHSのフェーズを判定するときのＫが０である場合、ロジック回路３２において、転送されてきたデータを無効として取り扱ってもよい。即ち、ロジック回路３２は、水平転送期間XHSが第２（＝４×０＋２）フェーズであるとき、選択信号HSELに従って列並列ＡＤ変換回路３５−１および３５−２のラッチ回路４４から転送されてきたデータを無効とする処理を行ってもよい。

例えば、図８には、水平転送期間XHSが第２フェーズであるとき、ロジック回路３２が、無効なデータとして取り扱う処理を行う場合における画素データの転送タイミングが示されている。なお、図８では、無効なデータとして取り扱われるタイミングに「×」が示されている。

図８に示すように、水平転送期間XHSが第２フェーズであるとき、上述したように、現在の水平転送期間XHSのフェーズが４×Ｋ＋２番目と判定された場合の処理に従って、列並列ＡＤ変換回路３５−１および３５−２のラッチ回路４４に選択信号HSELが出力される。このとき、ロジック回路３２では、その選択信号HSELに応じて転送されてくる画素データについて、加算の必要なしとして処理を行う。このような特別な処理を行うことにより、４画素加算の対象となる画素データが揃わない段階で加算処理が行われることを回避することができ、エラーのない所望の画像を確実に得ることができる。

このようなタイミングで画素データを転送することで、ロジック回路３２は、列並列ＡＤ変換回路３５−１および列並列ＡＤ変換回路３５−２から同時に出力される画素データを加算するだけでよく、効率よく加算処理を行うことができる。また、ロジック回路３２の設計工数削減および回路面積の低減を図ることができる。

以上のように、フリップフロップ４２から水平転送用ラッチ５１に画素データを転送する転送経路と、フリップフロップ４２からデータ保持用ラッチ５２を介して水平転送用ラッチ５１に画素データを転送する転送経路とを、列並列ＡＤ変換回路３５−１と列並列ＡＤ変換回路３５−２との間で使い分け、上述のようなタイミングで転送信号ＦＳ１、転送信号ＦＳ２、転送信号ＦＳ３を供給することで、４画素加算の対象となる４つの画素について、３つの画素の画素データを加算した画素データと、１つの画素の画素データとを、ロジック回路３２に同時に転送することができる。

ここで、ロジック回路３２では、水平転送期間XHSの２フェーズごとに、加算対象となる列を切り替える必要がある。即ち、画素アレイ３１では斜め画素配列により画素が配置されているため、４画素加算を行う対象となる４つの画素が、列並列ＡＤ変換回路３５−１に読み出される画素と、列並列ＡＤ変換回路３５−２に読み出される画素とで、水平転送期間XHSの２フェーズごとに列がずれてしまう。そこで、この列のずれに対応するために、ロジック回路３２は、加算対象となる列を、水平転送期間XHSの２フェーズごとに切り替えて加算処理を行う。

図９乃至図１３を参照して、水平転送期間XHSの２フェーズごとの加算対象となる列の切り替えについて説明する。

図９乃至図１２には、水平転送期間XHSごとに処理の対象となる画素と、その画素の画素データの転送タイミングとが、水平転送期間XHSの２フェーズごとに示されている。また、ここでは、画素アレイ３１の有効不問左端から８列目までの画素について説明する。

図９に示すように、水平転送期間XHSの第１フェーズでは、１行目の画素が駆動対象とされ、列並列ＡＤ変換回路３５−１（南）のフリップフロップ４２に１行目の偶数列目の画素の画素データ（Ｒ）が読み出され、列並列ＡＤ変換回路３５−２（北）のフリップフロップ４２に１行目の奇数列目の画素の画素データ（Ｇｒ）が読み出される。

その後、水平転送期間XHSの第２フェーズでは、２行目の画素が駆動対象とされ、列並列ＡＤ変換回路３５−１のフリップフロップ４２に２行目の偶数列目の画素の画素データ（Ｇ１）が読み出されて、画素データ（Ｒ）と加算される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、１行目の奇数列目の画素の画素データ（Ｇｒ）は、４画素加算の対象ではないのでリセットされた後、２行目の奇数列目の画素の画素データ（Ｇ２）が読み出される。

次に、図１０に示すように、水平転送期間XHSの第３フェーズでは、まず、列並列ＡＤ変換回路３５−２のフリップフロップ４２に保持されていた画素データ（Ｇ２）がデータ保持用ラッチ５２に転送される。そして、列並列ＡＤ変換回路３５−１のフリップフロップ４２に３行目の偶数列目の画素の画素データ（Ｇｂ）が読み出されて、画素データ（Ｒ）および画素データ（Ｇ１）と加算される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、３行目の奇数列目の画素の画素データ（Ｂ）が読み出される。

ここで、水平転送期間XHSの第３フェーズまでの画素データは、４画素加算の対象となる画素データが揃っていないため無効とされる。

そして、水平転送期間XHSの第４フェーズでは、まず、列並列ＡＤ変換回路３５−２のデータ保持用ラッチ５２に保持されていた画素データ（Ｇ２）が、水平転送用ラッチ５１に転送されて水平転送される。また、同時に、列並列ＡＤ変換回路３５−１のフリップフロップ４２に保持されていた画素データ（Ｒ）、画素データ（Ｇ１）、および画素データ（Ｇｂ）が、水平転送用ラッチ５１に転送されて水平転送される。

これにより、画素データ（Ｇ２）と、画素データ（Ｒ）、画素データ（Ｇ１）、および画素データ（Ｇｂ）とがロジック回路３２において加算されるが、ロジック回路３２では、図１３の上側に示すように、列並列ＡＤ変換回路３５−２（北）のｎ列目のカウンタ３８と、列並列ＡＤ変換回路３５−１（南）のｎ＋１列目のカウンタ３８との出力を加算する。即ち、水平転送期間XHSの第４フェーズでは、４画素加算の対象となる４つの画素からの出力は、列並列ＡＤ変換回路３５−２のカウンタ３８と、列並列ＡＤ変換回路３５−１のカウンタ３８とで１列ずれているため、ロジック回路３２は、列をずらして加算を行う。

続いて、水平転送期間XHSの第４フェーズでは、列並列ＡＤ変換回路３５−１のフリップフロップ４２に４行目の偶数列目の画素の画素データ（Ｇ３）が読み出される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、４行目の奇数列目の画素の画素データ（Ｇ４）が読み出されて、画素データ（Ｂ）と加算される。

次に、図１１に示すように、水平転送期間XHSの第５フェーズでは、まず、列並列ＡＤ変換回路３５−１のフリップフロップ４２に保持されていた画素データ（Ｇ３）がデータ保持用ラッチ５２に転送される。そして、列並列ＡＤ変換回路３５−１のフリップフロップ４２に５行目の偶数列目の画素の画素データ（Ｒ）が読み出されて保持される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、５行目の奇数列目の画素の画素データ（Ｇｒ）が読み出されて、画素データ（Ｂ）および画素データ（Ｇ４）と加算される。

そして、水平転送期間XHSの第６フェーズでは、まず、列並列ＡＤ変換回路３５−１のデータ保持用ラッチ５２に保持されていた画素データ（Ｇ３）が、水平転送用ラッチ５１に転送されて水平転送される。また、同時に、列並列ＡＤ変換回路３５−２のフリップフロップ４２に保持されていた画素データ（Ｂ）、画素データ（Ｇ４）、および画素データ（Ｇｒ）が、水平転送用ラッチ５１に転送されて水平転送される。

これにより、画素データ（Ｇ３）と、画素データ（Ｂ）、画素データ（Ｇ４）、および画素データ（Ｇｒ）とがロジック回路３２において加算されるが、ロジック回路３２では、図１３の下側に示すように、列並列ＡＤ変換回路３５−２（北）のｎ列目のカウンタ３８と、列並列ＡＤ変換回路３５−１（南）のｎ列目のカウンタ３８との出力を加算する。即ち、水平転送期間XHSの第４フェーズでは、４画素加算の対象となる４つの画素からの出力は、列並列ＡＤ変換回路３５−２のカウンタ３８と、列並列ＡＤ変換回路３５−１のカウンタ３８とで同一の列となるため、ロジック回路３２は、列をずらさずに加算を行う。

続いて、水平転送期間XHSの第６フェーズでは、列並列ＡＤ変換回路３５−１のフリップフロップ４２に６行目の偶数列目の画素の画素データ（Ｇ１）が読み出されて、画素データ（Ｒ）と加算される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、６行目の奇数列目の画素の画素データ（Ｇ２）が読み出される。

次に、図１２に示すように、水平転送期間XHSの第７フェーズでは、まず、列並列ＡＤ変換回路３５−２のフリップフロップ４２に保持されていた画素データ（Ｇ２）がデータ保持用ラッチ５２に転送される。そして、列並列ＡＤ変換回路３５−１のフリップフロップ４２に７行目の偶数列目の画素の画素データ（Ｇｂ）が読み出されて、画素データ（Ｒ）および画素データ（Ｇ１）と加算される。一方、列並列ＡＤ変換回路３５−２のフリップフロップ４２では、７行目の奇数列目の画素の画素データ（Ｂ）が読み出されて保持される。

そして、水平転送期間XHSの第８フェーズでは、第４フェーズと同様に画素データが転送され、以下、同様に画素データの転送処理が４フェーズごとに繰り返され、ロジック回路３２での画素加算が繰り返される。即ち、水平転送期間XHSの２フェーズごとに、加算の対象とする列をずらした加算と、同一の列の加算とが交互に行われる。

つまり、ロジック回路３２は、現在の水平転送期間XHSのフェーズが、２×ｍ番目のフェーズであるか、２×（ｍ＋１）番目のフェーズであるかを判定する。そして、ロジック回路３２は、２×ｍ番目のフェーズでは、列並列ＡＤ変換回路３５−２のＮ列目から出力される画素データと、列並列ＡＤ変換回路３５−１のＮ＋１列目から出力される画素データとを加算する。一方、ロジック回路３２は、２×（ｍ＋１）番目のフェーズでは、列並列ＡＤ変換回路３５−２のＮ列目から出力される画素データと、列並列ＡＤ変換回路３５−１のＮ列目から出力される画素データとを加算する。ここで、ｍは、自然数であり、Ｎは、０を含む自然数である。

これにより、斜め画素配列で画素が配置されていて、偶数列の画素が列並列ＡＤ変換回路３５−１に読み出され、奇数列の画素が列並列ＡＤ変換回路３５−２に読み出されるように構成されているCMOSセンサ２３において、隣接する４つの画素の画素加算を正確に行うことができる。

以上のように、CMOSセンサ２３では、４画素加算を行うことにより、飽和信号量の向上を図ることができる。また、このとき、画素アレイ３１が有する全ての画素から取得される画素データを用いて画素加算を行うことができるので、画素情報量が低減することもない。

また、ラッチ回路４４がデータ保持用ラッチ５２を有する構成とし、データ保持用ラッチ５２を経由して画素データを水平転送する経路と、データ保持用ラッチ５２を経由せずに画素データを水平転送する経路との２つの経路を利用することで、画素加算を行う画素データを同時にカウンタ３８から出力することができ、これにより効率よく画素加算を行うことができる。また、画素データを転送するタイミング、および、画素データを加算する列を切り替えるタイミングを調整することで、画素加算を確実に行うことができきる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， １２ レンズ部， １３ 撮像部， １４ ＤＳＰ， １５ 制御部， １６ レンズ制御部， １７ ユーザインタフェイス， １８ マイクロプロセッサ， １９ データ処理部， ２０ データ圧縮部， ２１ ストレージ部， ２２ プリズム， ２３，２３Ｒ，２３Ｇ、２３Ｂ CMOSセンサ， ２４ 外部メディア， ２５ インターネット， ３１ 画素アレイ， ３２ ロジック回路， ３３ 行走査回路， ３４ ＤＡＣ， ３５−１および３５−２ 列並列ＡＤ変換回路， ３６−１および３６−２ 列走査回路， ３７−１および３７−２ 比較器， ３８−１および３８−２ カウンタ， ３９−１および３９−２ センスアンプ， ４１ スイッチ， ４２ フリップフロップ， ４３ レベルシフタ， ４４ ラッチ回路

Claims (4)

1. 斜め画素配列により複数の画素が配置された画素アレイと、
   前記画素アレイの偶数列の画素から出力される画素信号をデジタル変換する第１の変換手段と、
   前記画素アレイの奇数列の画素から出力される画素信号をデジタル変換する第２の変換手段と、
   前記第１および第２の変換手段から出力される画素データを加算する加算手段と
   を備え、
   前記第１および第２の変換手段は、フリップフロップ、第１のラッチ回路、および第２のラッチ回路を含むカウンタを有する
   撮像素子。
2. 前記カウンタは、前記フリップフロップから前記第１のラッチ回路を経由して加算手段に画素データを転送する経路と、前記フリップフロップから前記第２のラッチ回路および前記第１のラッチ回路を経由して加算手段に画素データを転送する経路とを有し、前記加算手段で加算の対象となる画素データが、前記第１の変換手段および前記第２の変換手段から同じタイミングで出力されるように、前記経路を使い分けて画素データを転送する
   請求項１に記載の撮像素子。
3. 前記加算手段は、水平転送期間の２フェーズごとに、前記第１の変換手段から出力される画素データの列と、前記第２の変換手段から出力される画素データの列との加算の対象とする列を切り替えて画素データを加算する
   請求項２に記載の撮像素子。
4. 斜め画素配列により複数の画素が配置された画素アレイと、
   前記画素アレイの偶数列の画素から出力される画素信号をデジタル変換する第１の変換手段と、
   前記画素アレイの奇数列の画素から出力される画素信号をデジタル変換する第２の変換手段と、
   前記第１および第２の変換手段から出力される画素データを加算する加算手段と
   を有し、
   前記第１および第２の変換手段は、１つのフリップフロップと、２つのラッチ回路を含むカウンタを有する
   撮像素子を備える撮像装置。

Images