JP3733172B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、所謂ベイヤー配列に色フィルタが配置されている順次走査固体撮像素子を備えたビデオカメラ等に用いて好適な撮像装置に関する。
【０００２】
【従来の技術】
近年、半導体技術の進歩に伴い、順次走査で信号を読み出すことのできる固体撮像素子（全画素読みだし固体撮像素子、以下全画素撮像素子）が開発されている。これらの撮像素子は、従来のインターレース走査（飛び越し走査）の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。
【０００３】
つまり、インターレース撮像素子では、１フレームの画像は１フィールド期間の時間差を持った２枚のフィールドで構成されるため、動きのある被写体を撮像した場合、フィールド間の時間差によりギザギザが生ずる。ギザギザの無いように、１フィールドの画像を取り出すと、垂直の解像度が１／２になってしまう。これに対して全画素撮像素子では、１フィールド期間で１フレーム分の全走査線を撮像することができるため、前述のような問題は生じない。このような特徴を利用して、全画素撮像素子は静止画像取り込みカメラやコンピュータ入力用カメラなどへの応用に期待されている。
【０００４】
単板の全画素撮像素子の信号処理回路としては、例えば図９に示すような構成が考えられる。
図９において、被写体からの入射光は、結像光学系１０１により全画素撮像素子であるＣＣＤ１０２上に結像され、ＣＣＤ１０２により電気信号に変換される。ＣＣＤ１０２上にはカラー撮像のための色フィルタアレイが貼り付けてある。色フィルタアレイは、例えば図２に示すようなＲ、Ｂ、Ｇのベイヤー配列である。上記変換された電気信号は、不図示のタイミング発生回路からのタイミング信号に従って垂直レジスタ転送及び水平レジスタ転送され、ＣＣＤ１０２の２つの出力端子から走査線２本分の信号が並列に出力される。すなわち、ＣＣＤ１０２の２つの出力端子の一方からは奇数番目の走査線の信号が出力され、同時に他方からは偶数番目の走査線の信号が出力される。このような出力方法をとることで、インターレース走査のＣＣＤと同じ読み出し速度で、順次走査の信号を出力することができる。
【０００５】
それぞれの信号は、雑音低減回路１０３、１０４及び増幅回路１０５、１０６により処理された後、ＡＤ変換回路１０７、１０８でディジタル信号に変換され、入力端子１２８、１２９からカメラプロセス回路１３０に入力される。入力されたディジタル信号は１Ｈメモリ１０９、１１０によりライン順次の信号に時間軸変換される。１Ｈメモリ１０９、１１０の読みだしクロックは書き込みクロックの２倍のスピードである。この動作におけるタイミングを図１０に示す。その後さらにセレクタ１３３、１Ｈメモリ１１１、１１２により３ライン分の信号が同時化され、それぞれが色分離回路１１３及び輪郭強調回路１１７に入力される。
【０００６】
色分離回路１１３で復調されたＧＢＲ原色信号は、ローパスフィルタ１１４、１１５、１１６により必要な帯域に制限されモアレ等の妨害成分を除去される。帯域制限されたＧＢＲ各信号は、ホワイトバランス回路１１８により各信号のレベルが調節された後、Ｇ信号は輪郭強調回路１１７で抽出された輪郭信号と加算器１１９により加算される。さらにハイパスフィルタ１２０により上記輪郭補正されたＧ信号の高域成分が取り出され、加算器１２１、１２２によりＲＢ信号に加算される。その後γ補正回路１２３、１２４、１２５によりγ補正された後、マトリクス回路１２６で輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙとに変換される。
【０００７】
さらに、モニタ出力用等で標準ビデオ出力が必要な場合には、輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙは、走査変換回路１２７に入力される。この走査変換回路１２７は例えば図１１のように構成され、図１２に示すタイミングで動作する。図１１において、Ｙ入力は１Ｈメモリ２０２を経てセレクタ２０４に入力され、Ｒ−Ｙ入力とＢ−Ｙ入力とはセレクタ２０１で切り換えられた後、１Ｈメモリ２０３を経てセレクタ２０４でＹ入力と切り換えられることにより、順次走査信号からインターレース走査信号に変換される。
【０００８】
また、図９において、Ｙ信号から露出検出回路１３１で検出された露出情報はＭＰＵ１３２に取り込まれ、露出が適正な値になるように、結像光学系１０１の絞り値及び増幅回路１０５、１０６の増幅率がＭＰＵ１３１により制御される。
【０００９】
次に、色分離回路１１３の構成を図１３に、動作を図１４に示す。
色分離回路１１３に入力された走査線３本分の信号のうち遅延されていない信号（図１のセレクタ１３３からの信号）を図１４（ａ）に、１水平走査期間（以降１Ｈ）遅延された信号（１Ｈメモリ１１１からの信号）を同図（ｂ）に、２Ｈ遅延された信号（１Ｈメモリ１１２からの信号）を同図（ｃ）にそれぞれ示す。
【００１０】
これら３系統信号のうち（ａ）に示す信号と、（ｃ）に示す信号とを加算器１４０で加算して垂直方向に補間された信号を生成する。この信号を図１４（ｄ）に示す。この（ｄ）の信号と上記１Ｈ遅延信号（ｂ）とをセレクタ１４１により１ドット毎に交互に選択すると、Ｇ信号が得られる。セレクタ１４１の選択信号を図１４（ｅ）に、セレクタ１４１の出力信号を同図（ｆ）に示す。また、加算器１４０の出力とこれをフリップフロップ１４２を介した信号とをセレクタ１４４に送る。さらに（ｂ）の信号とこれをＤフリップフロップ１４３を介した信号とをセレクタ１４５に送る。そしてセレクタ１４４、１４５の出力をセレクタ１４６で選択することによりＲ信号が得られ、セレクタ１４４、１４５の出力をセレクタ１４７で選択することによりＢ信号が得られる。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下に述べるような問題があった。
増幅回路１０５、１０６での信号の増幅率は、ＭＰＵ１３２により制御するようにしているが、この増幅回路１０５、１０６には個々に動作のばらつきがあるので、ＭＰＵ１３２が、同じ増幅率の設定をした場合でも増幅器１０５と１０６とで実際の増幅率が異なった値になり、このため奇数番目の走査線と偶数番目の走査線とで映像信号のレベルに差が生じることがある。
【００１２】
このため色分離を図１３に示す方法で行うと、奇数番目の走査線と偶数番目の走査線の信号レベルに差が生じていると、２ドット周期の縦縞がＧ信号に混入する。これは画像を著しく劣化させるものである。
また、この縦縞を除去する目的で、縦縞の周波数を抑圧するようなローパスフィルタを用いてＧ信号の帯域を制限すると、必要な情報までもが抑圧されてしまい、結果としてＧ信号の解像度が劣化してしまうという問題があった。
【００１３】
本発明は上記のような問題を解決するためになされたもので、２つの増幅回路の増幅率の誤差を自動的に較正することのできる撮像装置を得ることを目的としている。
【００１４】
【課題を解決するための手段】
本発明においては、ＲフィルタとＧフィルタが交互に配置された奇数番目の行、及び、ＧフィルタとＢフィルタが交互に配置された偶数番目の行に配置されたベイヤー配列の原色ＲＧＢフィルタと第１、第２の出力端子を有し、撮像面における全画素の信号を非加算で走査して順次に読み出し、上記奇数番目の行の走査線信号を上記第１、第２の出力端子のうち一方の端子から出力し、同時に上記偶数番目の行の走査線信号を他方の端子から出力するように成された撮像手段と、上記第１、第２の出力端子から得られる上記奇数番目、偶数番目の走査線信号をそれぞれ増幅する増幅率可変の第１、第２の増幅手段と、上記第１及び第２の増幅手段で増幅された信号に基づいて、垂直方向の補間により原色ＲＧＢの各信号に分離する色分離手段と、上記色分離手段の出力から、画素周期の１／２の周波数成分を検波する検波手段と、上記検波手段によって検波された信号に基づいて得られる、上記第１、第２の増幅手段に同じ増幅率を設定したときの実際の各増幅率の差を示す補正データを記憶する記憶手段と、上記第１、第２の増幅手段の増幅率を制御するように成され、この制御の際、各増幅手段に与える増幅率を上記記憶された補正データで補正し、補正された増幅率を与えるように成された制御手段とを設けている。
【００１５】
【作用】
本発明によれば、色分離回路の出力から画素周期の１／２の周波数成分を検波した結果に基づく２つの増幅手段を同じ増幅率として設定したときの実際の増幅率の差を補正するデータをあらかじめ記憶しておき、この補正データを用いて第１及び第２の増幅手段に与える増幅率を個別に補正することによって、特別な被写体を用いることなく、通常撮影時に２つの増幅手段の増幅率の誤差を効果的に自動較正することが可能になる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図１を参照しながら説明する。
図１において、１は被写体像を撮像素子上に結像させる結像光学系、２は順次走査で信号を読み出す全画素固体撮像素子としてのＣＣＤ、３、４はＣＣＤ２の出力信号の雑音を低減する雑音低減回路、５、６はＣＣＤ２の信号を適正なレベルに増幅する増幅回路、７、８はＣＣＤ２の信号をディジタル信号に変換するＡＤ変換回路である。
【００１７】
９、１０はプロセス回路４２の入力端子、１１、１２、１３、１４はＣＣＤ信号を１走査線時間遅延させるラインメモリ、１５はラインメモリ１１〜１４で同時化された６走査線分の信号から、垂直輪郭信号を抽出する垂直輪郭抽出回路、１６はラインメモリ１１〜１４で同時化された信号から、ＧＢＲ原色信号を生成する色分離回路、１７は垂直輪郭信号の小振幅部分をスライスするベースクリップ回路、１８は垂直輪郭信号の帯域を制限するローパスフィルタ、１９はＧ信号から水平輪郭信号を抽出する水平輪郭抽出回路、２０は水平輪郭信号の小振幅部分をスライスするベースクリップ回路、２１は水平輪郭信号の利得を調整する利得調整回路、２２は水平輪郭信号と垂直輪郭信号を加算する加算器、２３は輪郭信号の利得を調整する利得調整回路である。
【００１８】
２４はＧ信号から画素サンプリング周波数の１／２倍の周波数成分を検波する検波回路、２５、２６、２７は信号の帯域を制限するローパスフィルタ、２８はホワイトバランスを調整するホワイトバランス回路、２９はＧ信号に輪郭信号を加算する加算器、３０はＧ信号の高域を取り出すハイパスフィルタ、３１、３２はハイパスフィルタ３０で取り出したＧ信号の高域をＲ、Ｂ信号に加算するための加算器、３３、３４、３５はγ補正回路である。
【００１９】
３６は原色信号から輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙを生成するマトリクス回路、３７、３８は色差信号の帯域を制限するローパスフィルタ、３９は走査変換回路、４０、４１はプロセス回路４２の出力端子、４２はＣＣＤ信号を信号処理するプロセス回路、４３は増幅回路５、６の増幅率を制御するＭＰＵ、４４はＹ、Ｒ−Ｙ、Ｂ−Ｙ信号からＣＣＤ２に対する露出の状態を示す露出情報を取り出す露出検出回路、４５はメモリである。
【００２０】
次に、上記構成による動作について説明する。
被写体からの入射光は、結像光学系１により全画素撮像素子であるＣＣＤ２上の撮像面に結像され、ＣＣＤ２により電気信号に変換される。ＣＣＤ２上の撮像面には、カラー撮像のための色フィルタアレイが貼り付けてある。この色フィルタアレイは、例えば図２に示すようなＲＢＧのベイヤー配列である。
【００２１】
上記変換された電気信号は、ＣＣＤ２の２つの出力端子から走査線２本分が並列に出力される。すなわち、一方からは奇数番目の走査線の信号が出力され、同時に他方からは偶数番目の走査線の信号が出力される。このＣＣＤ２からの出力信号は、雑音低減回路３、４及び増幅回路５、６により処理された後、ＡＤ変換回路７、８でディジタル信号に変換される。ディジタル信号に変換された２走査線分の信号は、入力端子９、１０よりプロセス回路４２に入力され、ラインメモリ１１、１２、１３、１４により、６走査線分の信号が同時化される。
【００２２】
６走査線分の信号は垂直輪郭抽出回路１５に入力され、垂直輪郭信号が抽出される。垂直輪郭抽出回路１５は、垂直方向のハイパスフィルタで構成されており、ＣＣＤ２の画素数を６４０×４８０とした時、例えば図３に示すような伝達特性を持つ。また垂直輪郭抽出回路１５において抽出された走査線２本分の垂直輪郭信号は、後段の回路規模を縮小するために、ＣＣＤ２からの読み出しの２倍の周波数の点順次信号に変換される。つまり、図４に示すように奇数走査線と偶数走査線の信号が時分割多重された点順次信号に変換される。垂直輪郭抽出回路１５で抽出された垂直輪郭信号は、ペースクリップ回路１７により雑音低減のために小振幅部をスライスした後、ローパスフィルタ１８により水平方向の不要な帯域が取り除かれる。
【００２３】
また一方で、ラインメモリ１１〜１４により同時化された信号は、色分離回路１６において不図示のタイミング発生回路からのタイミング信号に応じてＧＢＲ原色信号に分離される。これらの信号も２走査線分の信号が時分割多重された形態である。それぞれの信号はローパスフィルタ２５、２６、２７により適切な帯域に制限される。
【００２４】
例えば、図２のような色フィルタ配列の場合、Ｇのサンプリング点は各列に存在するため、水平方向の帯域はＣＣＤ２の水平サンプリング周波数に対して１／２になる。従って、ローパスフィルタ２５の通過帯域は、ＣＣＤ２のサンプリング周波数の約１／２に設定される。一方、ＲおよびＢのサンプリング点は２列に１つしかないため、帯域はＧ信号の１／２になり、ローパスフィルタ２６、２７の通過帯域は、ＣＣＤ２のサンプリング周波数に対して約１／４に設定される。ローパスフィルタ２５の伝達特性の例を図５（ａ）に、ローパスフィルタ２６、２７の伝達特性の例を同図（ｂ）にそれぞれ示す。
【００２５】
同時に分離されたＧ信号は水平輪郭抽出回路１９に入力され水平の輪郭信号が抽出される。抽出された水平輪郭信号はベースクリップ回路２０、利得調整回路２１で処理を受けた後、加算器２２において上述の垂直輪郭信号と加算される。加算された輪郭信号は利得調整回路２３により適正なレベルに調整された後、加算器２９でＧ信号と加算される。
【００２６】
また一方、検波回路２４で検波されたＧ信号のサンプリング周波数の１／２倍の周波数成分のレベルは、増幅回路５、６の間の増幅率の誤差を検出するためにＭＰＵ４３に入力される。さらにローパスフィルタ２５、２６、２７で帯域制限された各信号はホワイトバランス回路２８によりＲＢ信号の利得を変化させて白部分のレベルを一致させる。次にハイパスフィルタ３０により広帯域信号の信号の高域を取り出し、これを加算器３１、３２によりＲ、Ｂ信号に加算する。このハイパスフィルタ３０の特性はローパスフィルタ２６、２７と相補的な特性であり、Ｇ信号とＲＢ信号の帯域を揃えることを目的とする。
【００２７】
その後、γ補正回路３３、３４、３５によりγ補正された後、マトリクス回路３６において輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙとに変換され、Ｒ−Ｙ、Ｂ−Ｙはローパスフィルタ３７、３８によりＹの帯域の約１／２に帯域制限される。また、Ｙ、Ｒ−Ｙ、Ｂ−Ｙの３信号は露出検出回路４４に入力され露出情報が検出される。検出された露出情報はＭＰＵ４３に取り込まれ、被写体の照度に応じて露出が適当な値になるように結像光学系１の絞り値及び増幅回路５、６の増幅率がＭＰＵ４３により制御される。
【００２８】
最後に、Ｙ、Ｒ−Ｙ、Ｂ−Ｙ信号は走査変換回路３９に入力される。走査変換回路３９では、入力されたＹ、Ｒ−Ｙ、Ｂ−Ｙを不図示のタイミング発生回路により発生される切り換えパルスにより切り換え、走査線別の２系統のビデオ信号を生成する。この信号は例えば、Ｙの２画素につきＲ−Ｙ、Ｂ−Ｙをそれぞれ１画素ずつ選択してＹ、Ｒ−Ｙ、Ｙ、Ｂ−Ｙという順番に時分割された形態である。この時のＹ、Ｒ−Ｙ、Ｙ、Ｂ−Ｙは全て同一走査線上の信号である。その動作タイミングを図６に示す。この時、出力信号の１クロック分はＹ信号のサンプリングレートの２倍になる。２系統のうち片方を取り出すとこれはインターレース走査の信号であり、両方を使用すると順次走査の信号になる。生成された２系統のビデオ信号は出力端子４０、４１より出力される。
【００２９】
図７は色分離回路１６の構成を詳細に示したものである。また、図８は色分離回路１６の動作を示したものである。図８（ａ）〜（ｆ）に示す信号は図７（ａ）〜（ｆ）の各部の信号と対応している。
この色分離回路１６では、３走査線分の信号を元に走査線１本分の信号を分離する。Ｇ信号は走査線毎にサンプリング位相がπずれた形で得られるので、中心の走査線の信号と上下の走査線を加算した信号とを交互にサンプリングすることにより、ＣＣＤ信号（ＣＣＤ２の出力端子）のサンプリング周波数と等しい周期のＧ信号が得られる。図７、８（ａ）は中心走査線の信号、（ｂ）は上下の走査線を加算した信号を示す。これらの信号をスイッチ７３により（ｃ）に示すタイミングで選択することで、（ｄ）に示されるＧ信号が得られる。以上は図７における３Ｈの入力信号について説明を行ったが、４Ｈ信号についても同様な処理によりＧ信号の分離を行う。
【００３０】
またＲＢ信号は、１走査線おきにＣＣＤ信号のサンプリング周波数の１／２の周波数でサンプリングされた形で得られるので、中心の走査線の信号と上下の走査線を加算した信号それぞれをＣＣＤ２の出力信号のサンプリングの２倍の周期でサンプルホールドし、水平走査周波数の２倍の周期で交互に選択することで得られる。すなわち図７、８（ａ）（ｂ）の信号をＤフリップフロップ７２、７４、スイッチ７５、７６によりサンプルホールドすることにより、同図（ｅ）（ｆ）に示す信号が得られる。中心走査線が４Ｈで表される信号の場合も、同様にＲＢ信号の分離を行う。
その後、上記のように得られた走査線２本分の信号をＣＣＤ信号のスイッチ７９、８０、８１によりサンプリングの２倍の周波数で時分割多重することにより、１系統の信号にまとめる。
【００３１】
一方、増幅回路５、６はＭＰＵ４３により増幅率が制御されて、映像信号のレベルが適正になるように増幅を行っているが、前述したように増幅回路５、６の増幅率に誤差がある場合、奇数番目の走査線と偶数番目の走査線とで信号のレベルに差が生じる。この状態で上記の手法により色分離を行うと、図８（ｄ）より明らかなように２ドット周期の縦縞状ノイズがＧ信号に混入し、画像が著しく劣化する。この問題を解決するためには、各増幅率に対する２つの増幅回路５、６間の増幅率の誤差データをあらかじめＭＰＵ４３のメモリ４５に記憶しておき、ＭＰＵ４３はこの記憶された誤差データを用いて誤差を補正し、補正されたデータをそれぞれ増幅回路５、６に与えるようにすればよい。
【００３２】
上記誤差データは、初期調整時（例えば工場出荷時等）に作成され、メモリ４５に記憶される。誤差データの作成方法としては、例えば、画面一様な被写体を撮像し、検波回路２４で検波される２ドット周期の周波数成分の量により増幅率の誤差を検出する方法などが用いられる。そして、この誤差データにより増幅回路５、６に与える増幅率の値に補正をかけることにより、特別な回路を用いることなく、通常撮影時に２つの増幅回路５、６間の増幅率の誤差を自動較正することができる。
【００３３】
【発明の効果】
以上説明したように、本発明によれば、２つの増幅手段の実際の増幅率の差を、画素周期の１／２の周波数成分でベイヤー配列における縦縞状のノイズを検波し、検波された信号に基づいて得られる補正データをあらかじめ記憶しておき、この補正データを用いることにより、特別な回路を用いることなく、通常撮影時に高精度で効果的に自動較正することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】色フィルタアレイの一例を示す構成図である。
【図３】垂直輪郭強調回路の伝達特性を示す特性図である。
【図４】時分割多重の動作を示すタイミングチャートである。
【図５】ローパスフィルタの伝達特性を示す特性図である。
【図６】図１におけるプロセス回路からの出力信号形式を示すタイミングチャートである。
【図７】図１における色分離回路１６の構成図である。
【図８】図７における色分離回路の動作を示すタイミングチャートである。
【図９】従来の撮像装置を示すブロック図である。
【図１０】図９における１Ｈメモリの動作を示すタイミングチャートである。
【図１１】図９における走査変換回路の構成図である。
【図１２】走査変換回路の動作を示すタイミングチャートである。
【図１３】図９における色分離回路の構成図である。
【図１４】色分離回路動作を示すタイミングチャートである。
【符号の説明】
２ 全画素読み出しＣＣＤ
５、６ 増幅回路
１１〜１４ １Ｈメモリ
１６ 色分離回路
３６ マトリクス回路
４２ プロセス回路
４３ ＭＰＵ
４４ 露出検出回路
４５ メモリ

Claims (4)

1. ＲフィルタとＧフィルタが交互に配置された奇数番目の行、及び、ＧフィルタとＢフィルタが交互に配置された偶数番目の行に配置されたベイヤー配列の原色ＲＧＢフィルタと第１、第２の出力端子を有し、撮像面における全画素の信号を非加算で走査して順次に読み出し、上記奇数番目の行の走査線信号を上記第１、第２の出力端子のうち一方の端子から出力し、同時に上記偶数番目の行の走査線信号を他方の端子から出力するように成された撮像手段と、
   上記第１、第２の出力端子から得られる上記奇数番目、偶数番目の走査線信号をそれぞれ増幅する増幅率可変の第１、第２の増幅手段と、
   上記第１及び第２の増幅手段で増幅された信号に基づいて、垂直方向の補間により原色ＲＧＢの各信号に分離する色分離手段と、
   上記色分離手段の出力から、画素周期の１／２の周波数成分を検波する検波手段と、
   上記検波手段によって検波された信号に基づいて得られる、上記第１、第２の増幅手段に同じ増幅率を設定したときの実際の各増幅率の差を示す補正データを記憶する記憶手段と、
   上記第１、第２の増幅手段の増幅率を制御するように成され、この制御の際、各増幅手段に与える増幅率を上記記憶された補正データで補正し、補正された増幅率を与えるように成された制御手段とを備えた撮像装置。
2. 上記色分離手段によって色分離されたＲＧＢ信号を輝度信号と色差信号に変換するマトリクス手段と、マトリクス手段によって処理された信号から上記撮像手段に対する露出の状態を検出する検出手段とを設け、上記制御手段は、上記検出手段の検出に応じて上記第１、第２の増幅手段に与える増幅率を決定し、この決定された増幅率を上記補正データで補正することを特徴とする請求項１記載の撮像装置。
3. 上記補正データは、上記撮像手段が撮像面に対して一様な被写体を撮像したときに上記検波手段で検波された信号に基づいて作成されるものであることを特徴とする請求項１記載の撮像装置。
4. 上記撮像手段は、全画素読み出しＣＣＤを含むことを特徴とする請求項１記載の撮像装置。

Images