JP2003116152A - 画像信号処理方法及び画像信号処理回路 - Google Patents

Abstract

(57)【要約】 【課題】 ３原色信号処理方式のカラー撮像装置におけ
るホワイトバランス補正とともに輝度補償を簡単なシス
テムで実現する。 【解決手段】 演算処理部３５により、入力３原色信号
ｒ，ｇ，ｂから、緑信号ｇに対する赤信号ｒ及び青信号
ｂの信号レベル差に基づいて、ホワイトバランスをとる
ための利得Ｒｇ，Ｂｇを算出し、ＲＧＢ混合比をＶ，
Ｗ，Ｘとして、制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’を Ｒｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｒｇ Ｇｇ’＝Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ Ｂｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｂｇ にて算出して、入力３原色信号ｒ，ｇ，ｂが供給される
３チャンネルの可変利得増幅器１１，１２，１３の利得
制御を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３原色信号処理方
式のカラー撮像装置におけるホワイトバランス補正とと
もに輝度補償を行う画像信号処理方法及び画像信号処理
回路に関する。

【０００２】

【従来の技術】従来より、カラー撮像装置においては、
白い被写体を白く再現するようにホワイトバランスの調
整をしている。ホワイトバランスの調整は、カラー撮像
装置の赤信号処理系の利得と青信号処理系との利得を、
緑信号を基準として制御して行う。

【０００３】例えば、図３に示すように、色信号Ｃｒ／
Ｃｂと輝度信号Ｙの処理が分離されたカラー撮像装置に
おける画像信号処理回路１００では、図示しない撮像部
にて得られる３原色信号ｒ，ｇ，ｂが供給される輝度信
号マトリクス回路１１０及び色信号マトリクス回路１２
０、上記輝度信号マトリクス回路１１０により上記３原
色信号ｒ，ｇ，ｂから生成される輝度信号Ｙが供給され
る可変利得増幅器１１５、上記色信号マトリクス回路１
２０により生成される色信号Ｃｒ／Ｃｂが供給される可
変利得増幅器１２５、上記３原色信号ｒ，ｇ，ｂが平均
値演算部１３０を介して供給される演算処理部１３５を
備え、上記平均値演算部１３０により例えば１フレーム
毎に平均化された緑信号ｇに対する赤信号ｒ及び青信号
ｂの信号レベル差から上記演算処理部１３５にてホワイ
トバランス制御信号ＷＢ＿Ｒ／Ｂを求め、上記ホワイト
バランス制御信号ＷＢ＿Ｒ／Ｂで上記可変利得増幅器１
１５，１２５の利得を制御することによって、ホワイト
バランス補正を行っている。

【０００４】このような構成の色信号Ｃｒ／Ｃｂと輝度
信号Ｙの処理が分離されたカラー撮像装置における画像
信号処理回路１００では、ホワイトバランス、色温度補
正を行う場合は輝度信号経路に何ら影響を与えないので
問題ないが回路規模が大きくなる。さらに、色信号復調
後の色再現性が原色方式に比べて劣る。

【０００５】そこで、従来より、図４に示すように、回
路規模削減やその他の理由で輝度信号の復調を行う前に
ホワイトバランス補正を行うようにした３原色信号処理
方式のカラー撮像装置における画像信号処理回路２００
が広く採用されている。

【０００６】この画像信号処理回路２００は、図示しな
い撮像部にて得られる３原色信号ｒ，ｇ，ｂが３チャン
ネルの可変利得増幅器２０１，２０２，２０３を介して
供給されるＹＣマトリクス回路２１０、上記３原色信号
ｒ，ｇ，ｂが平均値演算部２２０を介して供給される演
算処理部２２５を備え、上記平均値演算部２２０により
例えば１フレーム毎に平均化された緑信号ｇに対する赤
信号ｒ及び青信号ｂの信号レベル差から上記演算処理部
２２５にてホワイトバランス制御信号Ｒｇ，Ｂｇを求
め、上記ホワイトバランス制御信号Ｒｇ，Ｂｇで上記可
変利得増幅器２０１，２０３の利得を制御することによ
って、ホワイトバランス補正を行い、ホワイトバランス
補正された３原色信号ｒ’，ｇ’，ｂ’から上記ＹＣマ
トリクス回路２１０により輝度信号Ｙと色信号Ｃｒ／Ｃ
ｂを生成している。なお、緑信号ｇチャンネルの可変利
得増幅器２０２の利得Ｇｇは、０ｄＢに固定されている
のが通常である。

【０００７】この画像信号処理回路２００において、上
記演算処理部２２５では、図５のフローチャートに示す
手順に従って、ホワイトバランス制御信号Ｒｇ，Ｂｇを
生成する。

【０００８】すなわち、先ず、最初の処理ステップＳ１
１において、３原色信号ｒ，ｇ，ｂのレベルデータを取
得する。

【０００９】次の処理ステップＳ１２では、光源を判断
し、ホワイトバランス処理を決定する。

【００１０】次の処理ステップＳ１３では、緑信号ｇに
対する赤信号ｒ及び青信号ｂの信号レベル差に基づい
て、ホワイトバランスをとるための利得Ｒｇ，Ｂｇを算
出する。

【００１１】そして、次の処理ステップＳ１４では、ホ
ワイトバランス制御信号Ｒｇ，Ｂｇを出力する。

【００１２】

【発明が解決しようとする課題】ところで、上述の如き
構成の３原色信号処理方式のカラー撮像装置における画
像信号処理回路２００では、輝度信号処理系と色信号処
理系が独立していないので撮影データの色温度変化に対
しホワイトバランス制御を行うことにより、その後に復
調される輝度信号レベルを変動させてしまうという問題
点がある。

【００１３】すなわち、入力信号をｒ，ｇ，ｂとすると
一般的に輝度Ｙは、次の式（１）にて示される。

【００１４】

【数１】

【００１５】ここで、Ｖ，Ｗ，ＸはＲＧＢ混合比であ
る。

【００１６】例えばＩＴＵ−Ｒ６０１の規格にならうな
らＶ，Ｗ，Ｘはそれぞれ、０．２９９、０．５８７、
０．１１４であり、輝度復調式はよく知られる次の式
（２）で表される。

【００１７】 Ｙ＝０．２９９ｒ＋０．５８７ｇ＋０．１１４ｂ （２） これに対し、従来のホワイトバランス補正は赤信号ｒチ
ャンネルの可変利得増幅器２０１の利得Ｒｇと青信号ｂ
チャンネルの可変利得増幅器２０３の利得Ｂｇにて補正
するのが一般的であり、緑信号ｇチャンネルの可変利得
増幅器２０２を実装している場合でも利得Ｇｇは１、す
なわち０ｄＢ固定で使用している。

【００１８】このため、上述した復調輝度は厳密には２
値ゲインを加味した下記の式（３）で表される。

【００１９】 Ｙ’＝０．２９９ｒ×Ｒｇ＋０．５８７ｇ＋０．１１４ｂ×Ｂｇ （３） これはすなわち、色温度変動やそれに伴うホワイトバラ
ンス補正制御を行うことにより本来の輝度レベルＹに誤
差を生じ、Ｙ’となってしまうことを表している。

【００２０】この変動は小さなものではあるが近年のデ
ジタルカメラ制御の高性能化、ＤＰＥの高画質化に伴い
無視できないものとなってきている。

【００２１】また、この輝度補償を行うためのハードウ
ェア追加を行うことも回路規模の点から見て現実的では
ない。

【００２２】そこで、本発明は、上述の如き従来の問題
点に鑑み、３原色信号処理方式のカラー撮像装置におけ
るホワイトバランス補正とともに輝度補償を簡単なシス
テムで実現することができるようにした画像信号処理方
法及び画像信号処理回路を提供することを目的とする。

【００２３】

【課題を解決するための手段】本発明に係る画像処理方
法は、入力３原色信号ｒ，ｇ，ｂから、緑信号ｇに対す
る赤信号ｒ及び青信号ｂの信号レベル差に基づいて、ホ
ワイトバランスをとるための利得Ｒｇ，Ｂｇを算出する
第１の演算処理ステップと、輝度補償を行うための制御
利得Ｒｇ’，Ｇｇ’，Ｂｇ’を算出する第２の演算処理
ステップと、算出した制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’
により、入力３原色信号ｒ，ｇ，ｂに対して利得制御を
行う利得制御ステップとを有することを特徴とする。

【００２４】また、本発明に係る画像処理装置は、入力
３原色信号ｒ，ｇ，ｂが供給される３チャンネルの可変
利得増幅手段と、上記入力３原色信号ｒ，ｇ，ｂからホ
ワイトバランスをとるとともに輝度補償を行うための制
御利得Ｒｇ’，Ｇｇ’，Ｂｇ’を算出する演算処理手段
と、上記演算処理手段により算出された制御利得Ｒ
ｇ’，Ｇｇ’，Ｂｇ’により上記３チャンネルの可変利
得増幅手段の利得を制御することを特徴とする。

【００２５】本発明では、例えば、入力３原色信号ｒ，
ｇ，ｂから、緑信号ｇに対する赤信号ｒ及び青信号ｂの
信号レベル差に基づいて、ホワイトバランスをとるため
の利得Ｒｇ，Ｂｇを算出し、ＲＧＢ混合比をＶ，Ｗ，Ｘ
として、制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’を Ｒｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｒｇ Ｇｇ’＝Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ Ｂｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｂｇ にて算出して、入力３原色信号ｒ，ｇ，ｂに対して利得
制御を行う。

【００２６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２７】本発明は、例えば図１に示すような構成の
３原色信号処理方式のカラー撮像装置における画像信号
処理回路１０に適用される。

【００２８】この画像信号処理回路１０は、図示しない
撮像部にて得られる３原色信号ｒ，ｇ，ｂが３チャンネ
ルの可変利得増幅器１１，１２，１３を介して供給され
るＹＣマトリクス回路２０、上記３原色信号ｒ，ｇ，ｂ
が平均値演算部３０を介して供給される演算処理部３５
を備え、上記平均値演算部３０により利得制御信号Ｒ
ｇ’，Ｇｇ’，Ｂｇ’を生成し、上記利得制御信号Ｒ
ｇ’，Ｇｇ’，Ｂｇ’で上記可変利得増幅器１１，１
２，１３の利得を制御することによって、ホワイトバラ
ンス補正及び輝度信号補正を行い、その補正された３原
色信号ｒ’，ｇ’，ｂ’から上記ＹＣマトリクス回路２
０により輝度信号Ｙと色信号Ｃｒ／Ｃｂを生成する。

【００２９】ここで、この画像信号処理回路１０に入力
される３原色信号の信号レベルをｒ，ｇ，ｂとし、ＲＧ
Ｂ混合比率をＶ，Ｗ，Ｘとすると、輝度値Ｙは、次の式
（４）にて表される。

【００３０】

【数２】

【００３１】そして、２値制御でのホワイトバランス補
正用の利得Ｒｇ，Ｂｇ，Ｇｇは、次の式（５），
（６），（７）にて表される。

【００３２】 Ｒｇ＝ｇ／ｒ （５） Ｂｇ＝ｇ／ｂ （６） Ｇｇ＝１（０ｄＢ） （７） これにより補正された３原色信号の信号レベルｒ’，
ｇ’，ｂ’は、次の式（８），（９），（１０）にて表
される。

【００３３】 ｒ’＝ｒ×Ｒｇ （８） ｇ’＝ｇ×Ｇｇ＝ｇ （９） ｂ’＝ｂ×Ｂｇ （１０） ここでのｒ’，ｇ’，ｂ’はホワイトバランスがとれて
いるので ｒ’＝ｂ’＝ｇ’＝ｇ （１１） である。

【００３４】したがって、２値制御での仮想輝度レベル
Ｙ’は Ｙ’＝Ｖ・ｒ’＋Ｗ・ｇ’＋Ｘ・ｂ’ ＝（Ｖ＋Ｗ＋Ｘ）ｇ ＝ｇ （１２） となる。

【００３５】それに対し、３値制御での本来の輝度レベ
ルＹをｇとＲｇ，Ｂｇについて解くと Ｙ＝Ｖ・ｒ＋Ｗ・ｇ＋Ｘ・ｂ ＝Ｖ（ｇ／Ｒｇ）＋Ｗ・ｇ＋Ｘ（ｇ／Ｂｇ） （１３） となる。

【００３６】ここで、輝度レベルの変動を制御するため
の輝度ゲインＹｇは Ｙｇ＝Ｙ／Ｙ’ （１４） と表される。したがって上記式（１３）及び式（１４）
から Ｙｇ＝Ｙ／Ｙ’ ＝｛Ｖ（ｇ／Ｒｇ）＋Ｗ・ｇ＋Ｘ（ｇ／Ｂｇ）｝／ｇ ＝Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ （１５） である。

【００３７】この結果から３値制御を行うためのホワイ
トバランス補正用の利得Ｒｇ’，Ｂｇ’，Ｇｇ’は、次
の式（１６）乃至式（１８）又は式（１９）にて表すこ
とができる。

【００３８】

【数３】

【００３９】そこで、この画像信号処理回路１０では、
上述の式（２）にて示される輝度信号Ｙと上述の式
（３）にて示される輝度信号Ｙ’との誤差を演算にて間
接的に求め、上述の式（１６）乃至式（１８）又は式
（１９）で示す各チャンネルの利得Ｒｇ’，Ｇｇ’，Ｂ
ｇ’で補正を行い、本来の輝度レベルであるＹを補償す
る。

【００４０】また、補正誤差値は上述の（１）式で表す
ような輝度復調を行うことなく、既知の２値ホワイトバ
ランス補正値Ｒｇ，Ｂｇを用いた演算を行うことで求め
る。

【００４１】その補正は、従来の赤信号ｒチャンネル及
び青信号ｂチャンネルの利得Ｒｇ，Ｂｇを用いた２値に
よるホワイトバランス補正だけでなく、緑信号ｇチャン
ネルの利得Ｇｇを含めた３値にてホワイトバランス補正
を行う。

【００４２】しかも、ホワイトバランス補正回路を流用
することにより、専用の輝度補正増幅器を必要とせず、
回路規模の増大をすることなく画像信号処理を行う。

【００４３】補正のための輝度ゲインＹｇは次の式（２
０）で表されるがＹｇをホワイトバランス補正用の利得
Ｒｇ，Ｂｇ，Ｇｇに割り振ることで輝度専用増幅を使用
せず、ホワイトバランス補正用の可変利得増幅器１１，
１２，１３で代用する。

【００４４】 Ｙｇ ＝ Ｙ‘／Ｙ （２０） 撮影出力すなわち３原色信号ｒ，ｇ，ｂから得られる２
値のホワイトバランス補正用の利得Ｒｇ，Ｂｇから誤差
補正後の３値のホワイトバランス補正用の利得Ｒｇ’，
Ｂｇ’，Ｇｇ’は、上述の式（１６）乃至式（１８）又
は式（１９）に従って算出する。

【００４５】すなわち、この画像信号処理回路１０にお
いて、上記演算処理部３５は、図２のフローチャートに
示す手順に従って、上記可変利得増幅器１１，１２，１
３の利得制御信号Ｒｇ’，Ｂｇ’，Ｇｇ’を生成する。

【００４６】先ず、最初の処理ステップＳ１において、
３原色信号ｒ，ｇ，ｂのレベルデータを取得する。

【００４７】次の処理ステップＳ２では、光源を判断
し、ホワイトバランス処理を決定する。

【００４８】次の処理ステップＳ３では、緑信号ｇに対
する赤信号ｒ及び青信号ｂの信号レベル差に基づいて、
ホワイトバランスをとるための利得Ｒｇ，Ｂｇを算出す
る。

【００４９】次の処理ステップＳ４では、輝度復調方式
を選択し混合比率（Ｖ，Ｗ，Ｘ）の値を設定する。

【００５０】次の処理ステップＳ５では、輝度補償を行
うための利得Ｒｇ’，Ｇｇ’，Ｂｇ’を上述の式（１
６）乃至式（１８）又は式（１９）に従って演算する。

【００５１】そして、次の処理ステップＳ６では、利得
制御信号Ｒｇ’，Ｇｇ’，Ｂｇ’を出力する。

【００５２】このような構成の画像信号処理回路１０で
は、色温度変化に対して生ずる輝度変動をソフトウェア
演算にてホワイトバランス補正用の可変利得増幅器１
１，１２，１３を用いて補償することができる。また、
撮影画像の色温度の変化やホワイトバランス補正、信号
処理にて生ずる輝度変動誤差を開ループ制御にて補正す
ることができる。さらに、ホワイトバランス補正データ
を用いたソフト演算にて行うことができ、輝度信号復調
回路を必要とせず、簡単なシステム構成で実現できる。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
撮影画像の色温度変化、ホワイトバランス補正により生
ずる輝度変動誤差を演算にて求め、補正することができ
る。また、専用の輝度信号復調回路や輝度補正用増幅器
を必要とせず、従来と同じシステム構成で実現できる。
また、従来用いている２値のホワイトバランス補正用の
利得Ｒｇ，Ｂｇから２次演算を行い３値のホワイトバラ
ンス補正用の利得Ｒｇ’，Ｇｇ’，Ｂｇ’を求めるので
従来のシステムの利用が可能で実装が容易である。ま
た、予め考え得る信号規格の輝度復調式の係数（Ｖ，
Ｘ，Ｗ）を切り変えることで他の輝度復調式（ＩＴＵ−
Ｒ７０９等）に対応することができる。また、ホワイト
バランス補正回路を併用することにより専用の輝度補正
用増幅器を必要とせず、回路規模の増大をすることなく
行える。さらに、輝度信号処理が独立していない３原色
信号処理方式のカラー撮像装置で輝度変動誤差の補償を
行うことができる。

【００５４】

【図面の簡単な説明】

【図１】本発明を適用した画像信号処理回路の構成図で
ある。

【図２】上記画像信号処理回路における演算処理部の動
作を示すフローチャートである。

【図３】従来の色信号Ｃｒ／Ｃｂと輝度信号Ｙの処理が
分離されたカラー撮像装置における画像信号処理回路の
構成を示すブロック図である。

【図４】従来の３原色信号処理方式のカラー撮像装置に
おける画像信号処理回路の構成を示すブロック図であ
る。

【図５】図４に示した画像信号処理回路における演算処
理部の動作を示すフローチャートである。

【符号の説明】

１０ 画像信号処理回路、１１，１２，１３ 可変利得
増幅器、２０ ＹＣマトリクス回路、３０ 平均値演算
部、３５ 演算処理部

フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CE18 CH08 5C066 AA01 BA01 CA05 CA17 EA14 EE02 EE04 GA01 GA05 GB01 JA03 KE02 KE03 KE04 5C077 LL19 MP08 PP32 PP34 PP37 PP47 PP48 PQ12 SS01 TT09 5C079 HB01 HB04 HB11 LA23 LB01 MA11 NA03

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力３原色信号ｒ，ｇ，ｂから、緑信号
   ｇに対する赤信号ｒ及び青信号ｂの信号レベル差に基づ
   いて、ホワイトバランスをとるための利得Ｒｇ，Ｂｇを
   算出する第１の演算処理ステップと、 輝度補償を行うための制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’
   を算出する第２の演算処理ステップと、 算出した制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’により、入力
   ３原色信号ｒ，ｇ，ｂに対して利得制御を行う利得制御
   ステップとを有することを特徴とする画像信号処理方
   法。
2. 【請求項２】 上記第２の演算処理ステップにおいて、
   ＲＧＢ混合比をＶ，Ｗ，Ｘとして、上記制御利得Ｒ
   ｇ’，Ｇｇ’，Ｂｇ’を Ｒｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｒｇ Ｇｇ’＝Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ Ｂｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｂｇ にて算出することを特徴とする請求項１記載の画像信号
   処理方法。
3. 【請求項３】 入力３原色信号ｒ，ｇ，ｂが供給される
   ３チャンネルの可変利得増幅手段と、 上記入力３原色信号ｒ，ｇ，ｂからホワイトバランスを
   とるとともに輝度補償を行うための制御利得Ｒｇ’，Ｇ
   ｇ’，Ｂｇ’を算出する演算処理手段と、 上記演算処理手段により算出された制御利得Ｒｇ’，Ｇ
   ｇ’，Ｂｇ’により上記３チャンネルの可変利得増幅手
   段の利得を制御することを特徴とする画像信号処理回
   路。
4. 【請求項４】 上記演算処理手段は、上記入力３原色信
   号ｒ，ｇ，ｂから、緑信号ｇに対する赤信号ｒ及び青信
   号ｂの信号レベル差に基づいて、ホワイトバランスをと
   るための利得Ｒｇ，Ｂｇを算出し、ＲＧＢ混合比をＶ，
   Ｗ，Ｘとして、上記制御利得Ｒｇ’，Ｇｇ’，Ｂｇ’を Ｒｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｒｇ Ｇｇ’＝Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ Ｂｇ’＝（Ｖ／Ｒｇ＋Ｗ＋Ｘ／Ｂｇ）・Ｂｇ にて算出することを特徴とする請求項３記載の画像信号
   処理回路。