JP3710189B2

JP3710189B2 - 撮像装置

Info

Publication number: JP3710189B2
Application number: JP02020396A
Authority: JP
Inventors: 見寺澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-02-06
Filing date: 1996-02-06
Publication date: 2005-10-26
Anticipated expiration: 2016-02-06
Also published as: JPH09214987A

Description

【０００１】
【発明の属する技術分野】
本発明は所謂ベイヤー配列に色フィルタが配置されている順次走査固体撮像素子を備える撮像装置に関する。
【０００２】
【従来の技術】
近年、半導体技術の進歩に伴い、順次走査で信号を読み出す事のできる固体撮像素子（全画素読みだし固体撮像素子、以下全画素撮像素子）が開発されている。これらの撮像素子は、従来のインターレース走査（飛び越し走査）の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。つまり、インターレース撮像素子では、１フレームの画像は１フィールド期間ずれた２枚のフィールドで構成されるため、動きのある被写体を撮像した場合、フィールド間の時間差により動きブレが生ずる。また、１フィールドの画像を取り出すと、動きブレは無くなるものの、垂直の解像度が１／２になってしまう。これに対し、全画素撮像素子では、１フィールド期間で１フレーム分撮像することができるため、前述のような問題は生じない。
このような特徴を利用して、全画素撮像素子は静止画像取り込みカメラやＥＤＴＶＩＩ用カメラなどへの応用が期待されている。
【０００３】
現在使用されている全画素撮像素子のほとんどは、図３に示すような所謂ベイヤー配列にＲ、Ｇ、Ｂフィルタが配置されているものである。この色配列では、Ｇが輝度信号として使われている。全画素撮像素子は１フィールド期間に１フレームの画像データを読み出すために、従来の垂直２画素加算読み出しの撮像素子に比べて電荷の転送速度が２倍となる。そこで、図４に示すように、撮像素子からの出力を従来の１ライン読み出しから、奇数・偶数の走査線信号出力が例えばそれぞれ第１及び第２の信号出力となるような構成の２ライン同時読み出しにすることが望ましい。
【０００４】
次に、従来の２ライン読み出しの全画素撮像素子の回路構成を図４及び図５を用いて説明する。図４の撮像装置において、全画素撮像素子１には、ＴＧ９から与えられたタイミング信号ｔ１、ｔ２に従って、垂直レジスタ転送、水平レジスタ転送を行い、ｃｈ１、ｃｈ２からそれぞれ奇数・偶数の走査線信号が出力される。ｃｈ１、ｃｈ２からの出力信号は、それぞれ全画素撮像素子１の奇数ライン、偶数ラインに対応しており、バッファ２１、２２を介してそれぞれＣＤＳ回路３１、３２に送られる。ＣＤＳ回路３１、３２は、撮像素子のリセットノイズの除去を行い、それぞれＡＧＣ回路４１、４２に映像信号を送る。ＡＧＣ回路４１、４２は、カメラプロセス回路６で検知された各チャンネルのゲインの差を元に、指定されたゲインを映像信号に与える。Ａ／Ｄ変換器５１、５２は、アナログの映像信号をディジタル信号に変換して、カメラプロセス回路６にディジタル信号を送る。
【０００５】
図５においてカメラプロセス回路６では、まず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２からの出力信号を受け取る。色分離回路６０１は、図３に示したような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画像データを、Ｇ−ｌｏｗについては垂直方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間で、それぞれのチャンネルがすべての画素位置についてデータを持つように補間する。本線系のＧは、図６（ａ）のように補間しないでそのまま出力される。また、垂直輪郭補償信号系のＧｖ−ｈｉｇｈは、図７（ａ）のように水平方向に補間されて出力される。
色分離回路６０１からの出力Ｇは、例えば図８のような空間周波数特性のＳＰＣ−ＦＩＬ（２次元フィルタ）６１２によってゼロ挿入補間されるとともに、１／２ｆｓ＿ｈ及び１／２ｆｓ＿ｖがトラップされる。（ｆｓ＿ｈ、ｆｓ＿ｖは水平、垂直方向のサンプリング周波数）ここでＳＰＣ−ＦＩＬを使うのは、輝度信号の斜め方向に現れる１／２ｆｓ＿ｏ（ｆｓ＿ｏは斜め方向のサンプリング周波数）のモワレを解消する目的であり、点順次信号をゼロ挿入補間するのに適するように、市松状の２組の係数の和が等しくなるように設計されている。
【０００６】
図４において、ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路４１、４２には個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、奇数・偶数ライン、奇数・偶数画素で出力レベルに差が生じるために、全面一様なもの（例えばホワイトチャート）を撮像したときに、図６（ｂ）に示すようにＡＧＣ回路のゲインのばらつきは画面上ではマス目状の妨害が入ることになり、これは画像を著しく劣化させるものとなる。しかし、１／２ｆｓ＿ｖがトラップされたことによって、この奇数・偶数ラインの出力レベル差は１／２ｆｓ＿ｖの周波数振動に置き換えられているので解消され、１／２ｆｓ＿ｈがトラップされたことによって、この奇数・偶数画素の出力レベル差は１／２ｆｓ＿ｈの周波数振動に置き換えられているので解消される。
【０００７】
その後、Ｇは本線信号と水平輪郭補償信号とに分岐され、Ｈ−ＨＰＦ（水平高域通過フィルタ）６０４によって水平輪郭信号を抽出する。また、垂直輪郭補償信号系のＧｖ−ｈｉｇｈは、例えば図９のような周波数特性のＶ−ＨＰＦ（垂直高域通過フィルタ）６０３によって垂直輪郭信号を抽出する。水平、垂直の輪郭補償信号を加算した後、輪郭補償信号は本線信号に加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。色変換マトリクス回路６０７は、Ｇ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗを受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行う。色変換マトリクス回路６０７からの出力Ｙ、Ｃｂ、Ｃｒは、輝度信号Ｙは出力端子６０９Ｙから出力され、色差信号Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。
そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ（水平低域通過フィルタ）６１０を経たＧから求めた情報ｃ１のマイコン８に送る。
【０００８】
マイコン８は、カメラプロセス回路６から受け取った情報ｃ１に基づいて、ＡＧＣ回路４１、４２のゲインをそれぞれ決定し、制御信号ｃ２を送る。ＡＧＣ回路４１、４２は、制御信号ｃ２を受け取って、所望のゲインに調整する。
ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路は個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きても、ＳＰＣ−ＦＩＬ６１２によって１／２ｆｓ＿ｈ及び１／２ｆｓ＿ｖがトラップされることによって解消され、好適な画像を得ることができる。
【０００９】
この方式では第１及び第２のＡＧＣ回路４１、４２のゲインのばらつきを水平、垂直周波数軸上のナイキスト周波数振動に置き換えているので、２次元フィルタの設計を１／２ｆｓ＿ｈをトラップし、かつ１／２ｆｓ＿ｖをトラップするような構成にすることにより、ハード量の増加を招くことなく、第１及び第２のＡＧＣ回路のゲインのばらつきを効果的に除去することが可能となる。
また、斜め方向の輝度のキャリアを２次元フィルタで効果的に抑圧することで、Ｏ−ＬＰＦ（光学フィルタ）で結像時の輝度の帯域を狭くすることなく、鮮鋭度のある好適な画像を提供することが可能となる。
【００１０】
【発明が解決しようとする課題】
しかし、上述の方式では、垂直輪郭信号を得る際に色分離回路６０１において水平方向の補間を行った輝度信号を使用しているので、第１及び第２のＡＧＣ回路のゲインのばらつきが生じた際には、図７（ｂ）に示すようにＡＧＣ回路のゲインのばらつきは横縞状の成分になり、垂直の高周波成分はナイキスト周波数１／２ｆｓ＿ｖに集中して現れてしまうことになる。このため画面全体に垂直の高周波成分がのってしまい、画像を著しく劣化させるという問題があった。
【００１１】
本発明は上記の問題を解決するために成されたもので、２つのＡＧＣ回路のゲインのばらつきによる画質劣化を抑えるようにした撮像装置を得ることを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る撮像装置は、ベイヤー配列された色フィルタを有し、全画素の信号を非加算で読み出し、奇数・偶数の走査線の信号を第１、第２の映像信号として同時に出力する撮像手段と、上記第１、第２の映像信号の利得を制御する第１、第２の利得制御手段と、上記利得制御された第１、第２の映像信号からＧ信号を輝度信号として分離し水平方向に補間して出力する分離手段と、上記分離された水平方向に補間された信号から上記撮像手段の垂直方向のサンプリング周波数の１／２の周波数成分を除去して垂直輪郭信号と成すフィルタ手段とを備えたことを特徴とする。
【００１３】
【作用】
本発明の構成によれば、垂直輪郭補償信号系に設けたフィルタ手段によって１／２ｆｓ＿ｖをトラップすることにより、ハード量の増加を招くことなく、第１及び第２の利得制御手段のゲインのばらつきによる影響を効果的に除去することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明の実施の形態による撮像装置においては、固体撮像素子の映像信号出力からＡ／Ｄ変換までは、図４の従来例と共通の処理を行うので、図４の説明は省略して、図１の本発明によるカメラプロセス回路６についてのみ説明する。
図４で得られた第１及び第２のディジタル映像信号は図１の本発明によるカメラプロセス回路６に送られる。カメラプロセス回路６では、まず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２からの出力信号を受け取って色分離回路６０１に入力する。
【００１５】
色分離回路６０１は、図３に示すような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画素データを、Ｇ−ｌｏｗについては垂直方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間で、それぞれのチャンネルがすべての画素位置についてデータを持つように補間する。本線系のＧは、図６（ａ）のように補間しないでそのまま出力される。また、垂直輪郭補償信号系のＧｖ−ｈｉｇｈは、図７（ａ）のように水平方向に補間されて出力される。
色分離回路６０１からの出力Ｇは、例えば図８のような空間周波数特性のＳＰＣ−ＦＩＬ６１２によってゼロ挿入補間されるとともに、１／２ｆｓ＿ｈ及び１／２ｆｓ＿ｖがトラップされる。ここでＳＰＣ−ＦＩＬを使うのは、輝度信号の斜め方向に現れる１／２ｆｓ＿ｏのモワレを解消する目的であり、点順次信号をゼロ挿入補間するのに適するように、市松状の２組の係数の和が等しくなるように設計されている。
【００１６】
ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、前述したようにこれらのＡＧＣ回路４１、４２は個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、奇数・偶数ライン、奇数・偶数画素で出力レベルに差が生じるために、全面一様なもの（例えばホワイトチャート）を撮像したときに、図６（ｂ）に示すようにＡＧＣ回路のゲインのばらつきは画面上ではマス目状の妨害が入ることになり、これは画像を著しく劣化させるものとなる。しかし、１／２ｆｓ＿ｖがトラップされたことによって、この奇数・偶数ラインの出力レベル差は１／２ｆｓ＿ｖの周波数振動に置き換えられているので解消され、１／２ｆｓ＿ｈがトラップされたことによって、この奇数・偶数画素の出力レベル差は１／２ｆｓ＿ｈの周波数振動に置き換えられているので解消される。
【００１７】
その後、Ｇは本線信号と水平輪郭補償信号とに分岐され、Ｈ−ＨＰＦ６０４によって水平輪郭信号を抽出する。また、垂直輪郭補償信号系のＧｖ−ｈｉｇｈは、例えば図２のような周波数特性のＶ−ＢＰＦ（垂直帯域通過フィルタ）６１１によって垂直輪郭信号を抽出するとともに、１／２ｆｓ＿ｖがトラップされる。水平、垂直の輪郭補償信号を加算した後、輪郭補償信号は本線信号に加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。
【００１８】
色変換マトリクス回路６０７は、Ｇ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗ、を受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行う。色変換マトリクス回路６０７からの出力Ｙ、Ｃｂ、Ｃｒは、輝度信号Ｙは出力端子６０９Ｙから出力され、色差信号Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。
そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ６１０を経たＧから求めた情報ｃ１をマイコン８に送る。
【００１９】
マイコン８は、カメラプロセス回路６から受け取った情報ｃ１に基づいて、ＡＧＣ回路４１、４２のゲインをそれぞれ決定し、制御信号ｃ２を送る。ＡＧＣ回路４１、４２は、制御信号ｃ２を受け取って、所望のゲインに調整する。
ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路は個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きても、ＳＰＣ−ＦＩＬ６１２によって１／２ｆｓ＿ｈ及び１／２ｆｓ＿ｖがトラップされることによって解消され、好適な画像を得ることができる。
【００２０】
この方式では第１及び第２のＡＧＣ回路４１、４２のゲインのばらつきを水平、垂直周波数軸上のナイキスト周波数振動に置き換えているので、２次元フィルタの設計を１／２ｆｓ＿ｈをトラップし、かつ１／２ｆｓ＿ｖをトラップするような構成にすることにより、ハード量の増加を招くことなく、第１及び第２のＡＧＣ回路のゲインのばらつきを効果的に除去することが可能となる。
また、斜め方向の輝度のキャリアを２次元フィルタで効果的に抑圧することで、Ｏ−ＬＰＦで結像時の輝度の帯域を狭くすることなく、鮮鋭度のある好適な画像を提供することが可能となる。
【００２１】
ここで前述したように垂直輪郭信号を得る際に水平方向の補間を行った輝度信号を使用しているので、第１及び第２のＡＧＣ回路４１、４２のゲインのばらつきが生じた際には、図７（ｂ）に示すようにＡＧＣ回路のゲインのばらつきは横縞状の成分になり、垂直の高周波成分はナイキスト周波数１／２ｆｓ＿ｖに集中して現れてしまうことになる。しかし、本発明においては、垂直の高周波成分を抽出するフィルタとして、１／２ｆｓ＿ｖをトラップするように設計されたＶ−ＢＰＦ６１１を用いているので、ＡＧＣ回路のゲインのばらつきが起きても、好適な輪郭補償信号を得ることができ、鮮鋭度のある画像を保つことができた。
【００２２】
【発明の効果】
本発明の構成によれば、第１及び第２のＡＧＣ回路のゲインのばらつきを水平、垂直周波数軸上のナイキスト周波数振動に垂直輪郭補償信号系に１／２ｆｓ＿ｖをトラップするフィルタ手段を設けたことにより、垂直輪郭補償信号系における第１及び第２の利得制御手段のゲインのばらつきを効果的に除去することができ、これにより鮮鋭度のある好適な画像を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】図１のＶ−ＢＰＦのフィルタ特性を示す特性図である。
【図３】本発明を適用し得る色フィルタ配列を示す構成図である。
【図４】本発明を適用し得る撮像装置を示すブロック図である。
【図５】図４のカメラプロセス回路の従来例を示すブロック図である。
【図６】垂直水平補間の方法を示す構成図である。
【図７】垂直輪郭補償信号系の補間方法を示す構成図である。
【図８】２次元フィルタの特性を示す特性図である。
【図９】垂直ＨＰＦの特性を示す特性図である。
【符号の説明】
１全画素読み出し撮像素子
４１第１のＡＧＣ回路
４２第２のＡＧＣ回路
６カメラプロセス回路
６１１Ｖ−ＢＰＦ

Claims

ベイヤー配列された色フィルタを有し、全画素の信号を非加算で読み出し、奇数・偶数の走査線の信号を第１、第２の映像信号として同時に出力する撮像手段と、
上記第１、第２の映像信号の利得を制御する第１、第２の利得制御手段と、
上記利得制御された第１、第２の映像信号からＧ信号を輝度信号として分離し水平方向に補間して出力する分離手段と、
上記分離された水平方向に補間された信号から上記撮像手段の垂直方向のサンプリング周波数の１／２の周波数成分を除去して垂直輪郭信号と成すフィルタ手段とを備えたことを特徴とする撮像装置。
上記分離手段はＲ、Ｇ、Ｂの各色信号に分離する色分離手段であることを特徴とする請求項１記載の撮像装置。