JPH07184226A - 改良された色処理のための画像圧縮フィードバックを使用した電子カメラ - Google Patents

Abstract

(57)【要約】 【目的】 伸長手段から色変換手段へフィードバックを
行なうことにより、最終画質を改善する。 【構成】 三原色信号が色変換手段１４で輝度信号とク
ロミナンス信号に変換される。輝度信号は、圧縮手段１
６ａにおいて、損失を伴って圧縮され、次に、伸長手段
３２で復号され、損失を伴う好ましくない画像処理結果
を持つフィードバック信号を発生する。このフィードバ
ック信号を使用して、圧縮前のクロミナンス信号を発生
する。その結果、後で再構成されたクロミナンス信号が
持つ好ましくない画像処理結果は、上記圧縮アルゴリズ
ムにより、より少なくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電子カメラのディジタ
ル画像処理に関し、とくに、色変換と画像圧縮の両方を
含む処理システムの色画像の画質を改善するための方法
と関連装置とに関する。

【０００２】

【従来の技術】ディジタル画像処理システムの多くで
は、入力色画像は、色画像に対応する赤、緑、青（Ｒ，
Ｇ，Ｂ）の三刺激値で構成されるレコードのような、い
くつかのディジタルレコードで構成される。通常、これ
らの記録に対しては、なんらかの形の色変換を施し、さ
らに、なんらかの形の、損失を伴う圧縮を行ってから、
記憶あるいは伝送し、そして受信側は、圧縮解除と画像
処理を行なう。画像の表示あるいは印刷の最終段階で
は、通常、色成分を、その元の値、たとえばＲ，Ｇ，Ｂ
に再変換する。そのようなシステムの一例が、色フィル
タアレー（ＣＦＡ）をかぶせた画像センサを使用して画
像を取り込むディジタルカメラである。ＣＦＡは、間引
きしたＲＧＢレコードを発生するが、使用しているＣＦ
Ａの構成により、個々のＲ，Ｇ，Ｂレコードは、大きさ
が異なってくる可能性がある。ＣＦＡ画像データは、生
の画像データを表現したものであるが、通常は、色変換
処理を行なう。一般的な色変換では、緑レコードＧを、
２つの色差レコードと組み合わせて、画像取り込の性質
に従って、（Ｒ−Ｇ）および（Ｂ−Ｇ）あるいは（Ｌｏ
ｇＲ−ＬｏｇＧ）および（ＬｏｇＢ−ＬｏｇＧ）のよう
に規定する。記憶スペースとチャネル容量の両方あるい
は一方を節約するため、通常、変換した画像は、予測符
号化あるいは変換符号化のような公知の圧縮技術のいく
つかを使用して、圧縮してから記憶するようにしてい
る。

【０００３】従来の技術では、ＣＦＡで取り込んだ画像
に適した色変換の使用や、任意のＣＦＡパターンに対し
て圧縮性能を最適化する変換の使用が知られている。関
連特許には下記のものがある：「単一のセンサの画像シ
ステムのための色補間を持つ画像圧縮」という名称の、
Ｔｓａｉ、ＤａｌｙおよびＲａｂｂａｎｉの米国特許第
５，１７２，２２７号。 「単一センサ色画像処理シス
テムのための圧縮方法と装置」という名称の、Ｔｓａ
ｉ、ＰａｒｕｌｓｋｉおよびＲａｂｂａｎｉの米国特許
第５，０５３，８６１号。

【０００４】「単一センサ色画像処理システムのための
圧縮方法と装置」という名称の、Ｔｓａｉ、Ｐａｒｕｌ
ｓｋｉおよびＲａｂｂａｎｉの米国特許第５，０６５，
２２９号。

【０００５】上記特許の各々は、色補間に先立ち、単一
センサの色アレーから画像信号を圧縮する技法を記述し
ている。

【０００６】一般的に、最初の色変換は、以降の圧縮と
は独立して行なう。図１は、送信処理部１０と受信処理
部１２からなる一般的なディジタル画像処理装置のブロ
ック図である。送信処理部１０は、入力色画像信号
ｉ₁ 、ｉ₂ 、ｉ₃ を、出力ｃ₁ 、ｃ₂ 、ｃ₃ 信号に変換
する初期色変換手段１４と、後続する、各々の信号を損
失を伴いつつ画像圧縮する、圧縮手段１６を持つ。圧縮
されたビットストリームは、通常は、信号チャネル１７
に記憶あるいは伝送される。この圧縮方式は損失を伴う
ことから、受信処理部１２では、各々の圧縮された色レ
コードを伸長手段１８で伸長し、色変換復号器２０で、
圧縮以前の元の色レコードに近似する色レコードに再構
成する。この近似の度合は、圧縮手段１６でもたらされ
る損失の量によって決まる。上記のような方式では、初
期色変換手段１４と、後続の圧縮手段１６は切り離さ
れ、孤立して実行される。

【０００７】図２は、図１の一般的システムの一般的な
応用を示す。この応用では、入力画像は３つの成分、赤
（Ｒ），緑（Ｇ），青（Ｂ）で構成されている。入力画
像は、色変換手段１４において、輝度成分とクロミナン
ス成分に変換される。この場合は、１個の輝度レコード
（Ｙ）と２個の色差信号レコード（Ｒ−Ｙ）および（Ｂ
−Ｙ）に変換される。これらのレコードは、それぞれ、
輝度および色差圧縮手段１６ａ、１６ｂ、１６ｃにおい
て、損失を伴って圧縮される。受信処理部１２では、原
画像データは、圧縮されたビットストリームを、それぞ
れ、輝度および色差伸長手段１８ａ、１８ｂ、１８ｃに
おいて、伸長することにより、近似的に再構成され、続
いて、色変換復号器２０において、色復号が行なわれ
る。

【０００８】図３は、図１のシステムの別の例を示す。
この例は、図４のＣＦＡパターン（バイヤー（Ｂａｙｅ
ｒ）パターンとして公知であり、米国特許第３、９７
１、０６５に記述されている）を使用したディジタル電
子カメラの送信処理部１０で、一般的に使用されてい
る。色変換手段１４は、画像の画素の連なりをＲ、Ｇ、
Ｂレコードに分離するためのデマルチプレクサ２２を含
んでいる。緑（Ｇ）レコードは、輝度を表わし、そして
（バイヤーパターンの場合）、画像の画素の総数の５０
％を構成しており、緑補間器２４で補間され、赤（Ｒ）
あるいは青（Ｂ）画素値を持つ画素位置に対して、そこ
には存在しない緑値を与える。簡単な水平方向の平均化
が好適な補間アルゴリズムであるが、その他のアルゴリ
ズムも使用できることは明らかである。補間された緑レ
コードＧ_I は、図３に示されているように、補間された
緑レコードを、総計器２６ａと２６ｂにより、赤および
青レコードと、それぞれ総計することにより、色差レコ
ード（Ｒ−Ｇ_I ）と（Ｂ−Ｇ_I）を形成するのに使用さ
れる。元の緑レコードは、色差レコードと共に、段階１
６ａ、１６ｂ，１６ｃで圧縮され、カメラの記憶モジュ
ール２８に記憶される。

【０００９】受信処理部１２では、上記処理が逆に実行
され、原画像に近い画像が構成される。緑レコードは、
輝度伸長手段１８ａで伸長され、元の緑レコードＧの近
似Ｇ’になり、そして、補間器２４’で補間されて、補
間された緑レコードＧ_I の補間された近似（Ｇ’）_I に
なる。

【００１０】

【発明が解決しようとする課題】ここで問題になるの
は、補間された近似（Ｇ’）_I における、損失を伴う、
処理の結果として発生する汚れが、赤および青レコード
を通じて累積することである。なぜなら、補間された近
似が（Ｇ’）_I が、色差伸長手段１８ｂと１８ｃで発生
する色差近似（Ｒ−Ｇ_I ）’と（Ｂ−Ｇ_I ）’に対して
総計されるからである。しかし、総計器２６ａ’、２６
ｂ’において、緑成分を除外しないと、緑成分の補間さ
れた近似（Ｇ’）_I と色差近似（Ｒ−Ｇ_I ）’、（Ｂ−
Ｇ_I ）’における損失を伴う汚れは発生しないが、それ
ゆえに、この汚れは緑成分によって相殺されない。その
ため、緑レコードに起因する損失を伴う赤および青レコ
ードＲ’、Ｂ’が再構成されることになる。したがっ
て、本発明の目的は、とくに、伸長段階から色変換段階
へフィードバックを行なうことにより、最終的な画質を
改善することである。

【００１１】

【課題を解決するための手段および作用】上述のよう
に、本発明は、カメラによって取り込まれた光の強さに
対応する複数の色信号を発生する電子カメラを含む。こ
の電子カメラは、さらに、これらの色信号を複数の符号
化信号に変換し、そしてこれらの符号化色信号を圧縮す
る。本発明の利点は、圧縮された信号の少なくとも１つ
から伸長された信号を発生し、そして伸長された信号を
変換段階に入力して、１つあるいは２つ以上の符号化信
号の発生させるフィードバック手段によってもたらされ
る。

【００１２】本発明の効果は、色変換段階と圧縮段階を
結合して、色変換が圧縮段階に部分的に依存するように
したことでもたらされる。本発明は、とくに、送信処理
部において損失を伴う圧縮を適用した後では、受信処理
部の色復号アルゴリズムは、伸長された値にだけしかア
クセスせず、そして、これらの伸長された値を使用し
て、最初の色変換に先立って、色レコードを近似したも
の再構成する事実を利用している。１つあるいは２つ以
上の圧縮された色成分を伸長した値を、その他の残りの
成分の最初の構成にフィードバックしてから、これらの
残りの成分を圧縮すると、利点が生じることが判明し
た。こうすることにより、損失を伴う圧縮方式に起因す
る雑音と汚れが、上記の色成分に伝播することを制限で
き、その結果として、再構成された画像の質が改善され
る。

【００１３】

【実施例】本発明は、色変換段階と、損失を伴う画像圧
縮および伸長段階と、色変換復号段階とからなる、図１
の種類の画像処理システムの画質の改善を目的としてい
る。この改善は、図５に示されているように、圧縮手段
１６の出力から、フィードバック伸長手段３０を通じ
て、色変換手段１４へフィードバックを行なうことによ
り、もたらされる。このフィードバック信号を使用する
ことは、出力信号ｃ₁、ｃ₂ 、ｃ₃ の１つあるいは２つ
以上を、色変換段階へ入力された基本信号ｉ₁、ｉ₂ 、
ｉ₃ の２つ以上の関数として形成する色変換段階におい
て、とくに有利である。この利点を、図２の公知の応用
に対する改良としてさらに例示するなら、圧縮された輝
度レコードは、送信処理部１０の出力端で再構成するこ
とができる。より詳しくは、図６に示されているよう
に、輝度圧縮手段１６ａの出力は、輝度フィードバック
伸長手段３２で伸長され、つぎに、色差レコードの圧縮
に先立って、色差レコードを構成するのに使用される。
色変換復号器２０の入力端では、伸長された値しか利用
できないので、このフィードバック機構を使用すれば、
輝度レコード内で発生した圧縮処理に起因する汚れが色
差レコード内へ伝播することを制限して、最終画質を改
善することができる。

【００１４】図５と図６からわかるように、伝送あるい
は記憶に先立って、符号化手段において伸長器（復号
器）が必要である。このようなフィードバックの実行に
関する費用は、使用する画像圧縮方法の種類で決まる。
差分パルス符号変調方式（ＤＰＣＭ）が１つの変形であ
る予測符号化方式のような、多数の画像圧縮方式におい
ては、符号器は自動的に復号器を含むようになってい
る。なぜなら、次の画素値の予測を構成するために、再
構成された値が符号器で必要になるからである。その結
果、本発明を実施しても、これ以上に複雑になることは
ない。他方、ＪＰＥＧ国際標準が１つの変形であるブロ
ック変換に基づく方式のような圧縮方式いくつかの方式
は、符号器側に復号器を持たない。そのようなシステム
では、本発明の実施には、復号器を符号器側に配設する
ための余分な費用が伴う。しかし、変換に基づく技法を
使用した場合であっても、システムの機能によっては、
別の理由でも復号器が必要になり、したがって、このよ
うに使用してフィードバックを行なうことができる。一
例が、画像の階層的表現を使用するシステム、たとえ
ば、画像が複数の解像度（たとえば、ＪＰＥＧ国際標準
の階層モード）で圧縮および記憶される画像ピラミッド
を使用するシステムである。上記のようなシステムにお
いては、低い解像度で再構成された（伸長された）画像
を、より高い解像度の同一画像の予測に使用するのが通
例である。したがって、そのようなシステムでは、伸長
器（復号器）が符号器の必須部分になる。

【００１５】性能上の利得も提供する可能性もある本発
明の好適な一実施例は、図４のバイヤーＣＦＡパターン
を使用した、図３のディジタルカメラを含む。図７は、
そのようなディジタル電子カメラに内蔵された本発明の
好適な一実施例を示す。情景画像（図示しない）が、カ
メラのレンズ４２によって、画像センサに集束される。
画像センサ４０は、二次元配列に配置され個々のフォト
サイト（ｐｈｏｔｏｓｉｔｅ）を形成する多数の個別フ
ォトサイト要素あるいは画素で構成される。図４の色フ
ィルタアレー４４は、個々のフォトサイトを擁し、各々
のフォトサイトは、それぞれ、Ｒ、ＧあるいはＢ色フィ
ルタ４４ａ、４４ｂあるいは４４ｃに対応している。フ
ォトサイトは、適切に色付けされた入射光に感応し、入
射光の強さに応じたアナログ信号を発生する。ＣＦＡを
使用しているため、このアナログ信号は、ＣＦＡの色に
対応する一連の三原色信号である。例示した画像センサ
は、７６８×５１２個の正方形の画素を持ち、これらの
画素は、１行につき６４０画素を持つ４８０本の能動的
な行に配列されている。

【００１６】レンズ開口４６とシャッター４８が、カメ
ラレンズ４２と画像センサ４０の間に挿入され、情景光
の様々なレベルに対して、適当なセンサ照度レベルを発
生する。光学低域フィルタ５０が、画像センサ４０の手
前に配設され、色エイリアシングを減少させる。画像セ
ンサ４０から送られてきた三原色信号は、アナログ信号
処理装置５２で処理される。このアナログ信号処理装置
５２は、たとえば、相関二重標本化回路、白バランス回
路、そしてガンマ補正回路からなる。このような回路
は、当業者には公知である。アナログ信号処理装置５２
の出力は、Ａ／Ｄ変換器５４でアナログからディジタル
に変換される。Ａ／Ｄ変換器５４は、図４に示されてい
る「バイヤー」パターンのＣＦＡの順序で、８ビット信
号を発生する。

【００１７】ディジタル化された色信号は、フレームメ
モリ５６に記憶され、ディジタル処理手段５８（図５と
図６の送信処理部１０に対応）からアクセスされる。こ
のディジタル処理手段５８は、三原色信号を輝度信号と
クロミナンス信号に符号化し、そして符号化した信号を
圧縮する。とくに、ディジタル処理手段５８は、図５に
も示されている色変換手段１４と、輝度および色差圧縮
手段１６ａ、１６ｂ，１６ｃを含む。ＣＦＡデマルチプ
レクサ２２と緑補間器２４を使用して、一連のＲ、Ｇ、
Ｂ信号を発生し、そして補間された緑レコードを再構成
する。補間された緑レコードは総計器２６ａと２６ｂで
赤および青レコードと結合され、色差信号になる。（本
願では、便宜上、デマルチプレクサからの未変化の緑出
力と、色差信号とは、「符号化」信号としている。）本
発明によれば、緑補間器２４への入力は、輝度フィード
バック伸長手段３２（図６にも図示）から送られてく
る。

【００１８】図７に示されているように、本発明を使用
することにより、図３のシステムの性能は、まず緑レコ
ードを圧縮および伸長し、次に再構成された緑レコード
を使用して存在しない緑値を補間することにより、改善
される。その後、色差信号は、補間された緑レコードに
基づいて構成され、そして伸長される。固定速度の予測
符号化方式を使用してシミュレーションを行ったとこ
ろ、代表的な連続的な調子を持つ画像の赤および青レコ
ードの圧縮平均二乗誤差（ＭＳＥ）は、平均約２０％減
少したことが判明した。したがって、圧縮段階から色変
換段階へフィードバックを行なうことで、再構成された
画像の質を改善することができる。さらに、この圧縮方
式の性質上、この画質の改善は、複雑さを増すことなく
達成できる。

【００１９】図７のディジタル電子カメラは、図３に示
されているもののような受信処理部１２と共に使用され
る。したがって、公知の受信処理部１２に変更を加える
ことなく、本発明の利点を得ることができる。圧縮され
た緑信号および色差信号は、記憶モジュール２８に記憶
される。この記憶モジュールは、カメラに固定してあっ
ても、また着脱可能であってもよい。受信処理部１２
は、従来のプレーヤーあるいは、好ましくは、パーソナ
ルコンピュータのソフトウェアドライバなどの構成要素
の一部であってもよい。圧縮された信号は、記憶モジュ
ールが固定型であれば、従来のケーブルインタフェース
により、パーソナルコンピュータにダウンロードするこ
とができる。着脱型であれば、記憶モジュール２８は、
パーソナルコンピュータの対応するメモリインタフェー
スに装着することができる。

【００２０】以上の説明から明らかなように、本発明の
局面は、例示した実施例の特定の詳細に限定されるもの
ではなく、したがって、その他の変形および応用が可能
であることは当業者には理解できると思う。このような
変形および応用のすべては、本発明の精神と範囲を逸脱
しない限り、本願の請求項に含まれているものとする。
たとえば、単一センサ方式のカラーカメラについては、
三原色信号は、別々の画像センサ素子から発生すること
ができる。さらに、ＲＧＢ色アレーについては、他の組
合せ（たとえば、シアン、マゼンタ、黄、白）を使用し
た他のアレーを使用することができる。（したがって、
「三原色」信号は、シアンなどの色信号を含むものと解
釈すべきである。）また、色差信号への符号化について
は、クロミナンス信号には、すべての三原色信号の関数
であるＩおよびＱクロミナンス信号を含めることができ
る。

【００２１】

【発明の効果】圧縮段階から色変換段階へフィードバッ
クを行なうようにしたので、再構成された画像の質を改
善することができる。

【図面の簡単な説明】

【図１】色変換、損失を伴う圧縮および伸長、そして色
復号の段階を含む公知の一般的システムを示すブロック
図である。

【図２】赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分からなる源
画像が、輝度レコード（Ｙ）と２つの色差レコード（Ｒ
−Ｙ）、（Ｂ−Ｙ）に変換される図１の一般的システム
の公知の応用のブロック図である。

【図３】色変換と、損失を伴う圧縮と、記憶と、伸長
と、色復号との各段階を含むディジタルカメラに適用さ
れた図１のシステムのブロック図である。

【図４】図３のディジタルカメラに使用されている赤、
緑および青センサの色フィルタアレーを例示したもの図
である。

【図５】画像圧縮段階から色変換段階へ伸長フィードバ
ックを行なうことにより、図１のシステムの画質を改善
するための、本発明による一般的手段のブロック図であ
る。

【図６】色変換段階へ、伸長された輝度レコードをフィ
ードバックして、色差レコードを形成する、本発明によ
る図２の改良システムのブロック図である。

【図７】色変換段階の総計部へ、伸長された輝度レコー
ドをフィードバックする、本発明による図３の改良ディ
ジタルカメラのブロック図である。

【符号の説明】

１０ 送信処理部 １２ 受信処理部 １４ 色変換手段 １６ 圧縮手段 １７ 信号チャネル １８ 伸長手段 １６ａ 輝度信号圧縮手段 １６ｂ 色差信号圧縮手段 １６ｃ 色差信号圧縮手段 １８ａ 輝度信号伸長手段 １８ｂ 色差信号伸長手段 １８ｃ 色差信号伸長手段 ２０ 色変換復号器 ２４ 緑補間器 ２６ａ 総計要素 ２６ｂ 総計要素 ２８ 記憶モジュール ３０ フィードバック伸長手段 ３２ 輝度フィードバック伸長手段 ４０ 画像センサ ４２ カメラレンズ ４４ 色フィルタアレー ４４ａ、４４ｂ、４４ｃ Ｒ、Ｇ、Ｂ色フィルタ ４６ レンズ開口 ４８ シャッター ５０ 光学低域フィルタ ５２ アナログ信号処理装置 ５４ Ａ／Ｄ変換器 ５８ ディジタル処理手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】 電子カメラであって、 上記電子カメラによって取り込まれた光の強さに応じて
   複数の色信号を発生する手段と、 上記複数の色信号を複数の符号化された色信号に変換す
   る手段と、 上記符号化された色信号から、圧縮された色信号を発生
   する圧縮手段と、 伸長された信号を、上記圧縮された色信号の少なくとも
   １つから発生すると共に上記伸長された信号を上記変換
   手段へ印加して、上記符号化された色信号の１つあるい
   は２つ以上を発生するフィードバック手段と、 からなることを特徴とする電子カメラ。
2. 【請求項２】 電子カメラであって、 複数の色に感応する画像検出フォトサイト（ｐｈｏｔｏ
   ｓｉｔｅ）の個別アレーを持つ色画像センサであって、
   フォトサイトにより検出された光の強さに対応する複数
   の三原色信号を発生する色画像センサと、 上記三原色信号を輝度信号とクロミナンス信号に変換す
   る手段であって、上記クロミナンス信号は上記三原色信
   号の１つあるいは２つ以上の関数である変換手段と、 上記輝度信号とクロミナンス信号から、圧縮された信号
   を発生する圧縮手段と、 上記圧縮された信号の少なくとも１つから、伸長された
   信号を発生すると共に、上記伸長された信号を上記変換
   手段に印加して、上記クロミナンス信号を、上記圧縮手
   段で圧縮する前に、発生するフィードバック手段と、 からなることを特徴とする電子カメラ。
3. 【請求項３】 複数の色画像信号を処理する方法であっ
   て、複数の色信号を、輝度信号と、２つ以上の色画像信
   号の組合せからなる少なくとも１つの他の符号化された
   信号とを含む複数の符号化された信号に変換する工程
   と、 上記輝度信号を、損失を伴う圧縮アルゴリズムで圧縮す
   る工程と、 上記輝度信号を伸長して、フィードバック信号を発生す
   る工程と、 上記フィードバック信号を上記変換工程に印加し、上記
   フィードバック信号を使用して上記少なくとも１つの他
   の符号化された信号を発生する工程と、 上記少なくとも１つの他の符号化された信号を、上記損
   失を伴う圧縮アルゴリズムで圧縮する工程と、 からなることを特徴とする方法。