JP2017126859A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 画像データを効率よく、かつ、画質劣化を抑制して符号化データを生成する。
【解決手段】 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化部と、符号化部を制御する制御部とを有する。制御部は、撮像時におけるＩＳＯ感度または露出情報に基づき、撮像センサより得られた各色成分のプレーンに対する量子化処理で用いる量子化係数を補正するか否かを判定し、量子化係数を補正すると判定した場合、各色成分のプレーンのヒストグラムの分布に基づき、各色成分に対する量子化処理で用いる量子化係数を決定する。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、静止画または動画のＲＡＷ画像を扱う技術に関する。

一般に、撮像装置はベイヤ配列の撮像センサを備えている。そして、撮像装置は、その撮像センサで得られたベイヤ配列の画像情報（ＲＡＷ画像）を、デベイヤ処理（デモザイク処理とも言う）して、１画素当たり１つの輝度と２つの色差から成る信号に変換する。そして、撮像装置は、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、撮像装置は、現像処理された輝度信号及び色差信号をＪＰＥＧ等の圧縮技術を利用して符号化した上でメモリカード等の記録媒体に記録する。

一方、デベイヤ処理を行わず、ＲＡＷ画像を記録する機能を持つ撮像装置も存在する。ＲＡＷ画像は、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があり、画像編集の上級者によって好んで使われている。

ただし、ＲＡＷ画像はデータ量が膨大になるという問題がある。それ故、記録媒体に格納可能なＲＡＷ画像データの数は、デベイヤ処理・符号化を経た画像データと比較して、少なくなる。そのため、ＲＡＷ画像を圧縮してそのデータ量の抑えることも行われているが、その撮影条件によっては画質劣化を招くことがある。特許文献１には、撮影条件による画質劣化を抑えるため、撮影条件に応じて量子化係数を変更する構成が記載されている。

特開２００３−１７９９２６号公報

しかしながら、上記特許文献１では、ホワイトバランスの取れていないＲＡＷ画像に適用した場合、撮影条件によっては色成分間の関係が、オリジナルのＲＡＷ画像データにおける色成分の関係と大きくずれてしまい、画質を劣化させる可能性がある。

本発明は、画像データを効率よく、かつ、画質劣化を抑制して符号化データを生成することが可能な技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段と、
前記符号化手段を制御する制御手段とを有し、
前記制御手段は、
撮像時におけるＩＳＯ感度または露出情報に基づき、前記撮像センサより得られた各色成分のプレーンに対する量子化処理で用いる量子化係数を補正するか否かを判定する判定手段と、
該判定手段で量子化係数を補正すると判定した場合、各色成分のプレーンのヒストグラムの分布に基づき、各色成分に対する量子化処理で用いる量子化係数を決定する決定手段とを含むことを特徴とする。

また、他の発明の撮像装置は以下の構成を備える。すなわち、
撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段と、
前記符号化手段を制御する制御手段とを有し、
前記制御手段は、
撮像モードの種類と、各色成分の量子化係数を決定するための情報とを対応つけて記憶する記憶手段と、
前記撮像センサで撮像した際の撮像モードに基づき、前記記憶手段を参照して色成分毎の量子化処理で用いる量子化係数を決定する決定手段とを有することを特徴とする。

本発明によれば、画像データを効率よく、かつ、画質劣化を抑制して符号化データを生成することが可能になる。

実施形態に係る撮像装置のブロック構成図。 ベイヤ配列を説明するための図。 実施形態におけるＲＡＷ画像データの各色成分のヒストグラムを示す図。 ウェーブレット変換のサブバンドＨＨの色成分毎の累積度数の例を示す図。 第１の実施形態における符号化処理手順を示すフローチャート。 第２の実施形態に係る撮像装置のブロック構成図。 実施形態における符号化データファイルのデータ構造を示す図。 第３の実施形態における符号化処理手順を示すフローチャート。 第３の実施形態に係るテーブルを示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

図１は、本発明の実施形態に係る撮像装置１００の構成例を示すブロック図である。図１において、制御部１５０は、装置全体の制御を司るものであり、ＣＰＵ、そのＣＰＵが実行するプログラムを格納したＲＯＭ、さらにはワークエリアとして使用するＲＡＭを含む。この制御部１５０は、ユーザからの指示入力を受け付ける操作部１５１と接続されている。

図示の構成において、操作部１５１を介してユーザが撮影指示を入力すると、制御部１５０の制御下にて、撮像対象となる被写体の光学像が撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮像センサ部１０２は、設定されたゲインに従って、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。

図２は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されている。そして、その配列中の２×２の４画素は、赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような色成分の画素の配置は、一般にベイヤ配列と呼ばれる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３に供給される。センサ信号処理部１０３は、撮像センサ部１０２からの電気信号からデジタルデータへ変換し、画素の修復処理を施す。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、生（未現像）の画像を意味するＲＡＷ画像データと称す。

ＲＡＷ画像データは、現像部１０５に供給される。現像部１０５は、ＲＡＷ画像データに対してデベイヤ処理（デモザイク処理）を施し、ホワイトバランス調整を行い、１画素につき、１つの輝度と２つの色差から成る画像データに変換する。また、現像部１０５は、画像データに含まれるノイズを除去、光学的な歪を補正して適正化するなどの所謂現像処理を行う。

現像部１０５によって現像処理された画像データは、表示処理部１０６を供給される。表示処理部１０６は、輝度、色差の画像データから、Ｒ，Ｇ，Ｂの画像データに変換し、表示部１０７に供給する。表示部１０７は、この画像データを受信して、画像を視覚的な像として表示する。表示部１０７は例えば液晶表示部とするが、その表示素子の種類は問わない。また、現像処理された画像データは、映像出力端子１０８により、外部に接続された表示機器に出力してもよい。映像出力端子１０８は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

また、ＲＡＷ画像データは、データ演算部１０９及びＲＡＷ圧縮部１１０にも供給される。データ演算部１０９では、カメラ情報生成部１０４から入力されるカメラ情報に基づきＲＡＷ画像データを解析、演算し、ＲＡＷ圧縮部１１０の圧縮処理に必要なパラメータを算出する。そして、演算部１０９は、そのパラメータをＲＡＷ圧縮部１１０に供給する。カメラ情報生成部１０４は、ＡＥ処理による適正な露光状態であるか否かを示す露出情報、並びに、現在のＩＳＯ感度を示す感度情報を、カメラ情報として生成し、供給する。

ＲＡＷ圧縮部１１０は、演算部１０９から入力したパラメータに基づき、センサ信号処理部１０３から入力したＲＡＷ画像データを構成する各色成分のプレーン（Ｒ成分１個、Ｂ成分１個、Ｇ成分２個）を抽出（もしくは分離）し、プレーンごとに独立して、ウェーブレット変換（周波数変換の１つ）、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換する。そして、ＲＡＷ圧縮部１１０は変換して得られたＲＡＷファイルをバッファ１１２に格納する。バッファ１１２に格納されると、制御部１５０はそのＲＡＷファイルを記録媒体１１３に書き込む処理を行う。この際、制御部１５０は、ＲＡＷファイルのヘッダに、復号に必要な情報を含める処理も行う。記録媒体１１３は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。

また、ユーザから操作部１５１を介して再生指示が入力された場合、制御部１５０は、記録媒体１１３から、ユーザが指定したＲＡＷファイルをバッファ１１２に格納する。そして、ＲＡＷ伸張部１１１は、バッファ１１２に格納されているＲＡＷファイルを読出し、圧縮された状態のＲＡＷファイルに対する復号処理を行ってＲＡＷ画像データを生成する。ＲＡＷ伸張部１１１によって伸張されたＲＡＷファイルは、現像部１０５に供給される。この後、表示処理部１０６は、現像部１０５で現像処理された画像データから、Ｒ，Ｇ，Ｂの画像データに変換し、表示部１０７に供給することで表示（再生）を行う。

実施形態におけるＲＡＷ圧縮部１１０では、可逆符号化だけではなく、記録媒体１１３に、より多くの画像を記録可能とするために非可逆符号化を行うことが出来る構成となっている。非可逆符号化では、ウェーブレット変換処理を用いる。ＲＡＷ画像データに対するウェーブレット変換処理によって複数のサブバンドが生成される。各サブバンドを構成するウェーブレット係数に対して量子化を行い、その後、エントロピー符号化を行うことにより非可逆符号化が行われる。

ここで、通常の撮影条件であったならば、あらかじめ決定された量子化係数で符号化することで問題はない。しかしながら、或る特定の撮影条件の場合、上記量子化係数を用いて量子化すると、量子化誤差が無視できないくらい大きくなり、画質劣化を招いてしまうことがある。以下、かかる問題を解決する処理を説明する。

ＲＡＷ画像データは、前述した図２に示すように、ベイヤー配列の画像データであり、２×２の４画素は赤１画素、青１画素、緑２画素で構成され、この２×２画素のセットが周期的に並べられた構造となっている。

緑（Ｇ）成分の数は他の色成分の２倍あるので、赤（Ｒ）と同じラインの緑をＧ１とし、青（Ｂ）と同じラインの緑をＧ２と表記し区別する。何も表記せずにＧという場合はＧ１を示す。また以下では、Ｇ１のみの成分で構成される画像，Ｇ２のみの成分で構成される画像、Ｒのみで構成される画像、Ｂのみの成分で構成される画像それぞれをプレーンと呼ぶ。

図３（ａ）は、ある１フレームのＲＡＷ画像データにおけるＲプレーン、Ｂプレーン、Ｇ（Ｇ１）プレーンのヒストグラムを示している。水平軸は画素値（輝度値）、垂直軸が画素数である。

このＲＡＷ画像データに対してウェーブレット変換を１回実行すると、１色成分に対してサブバンドＬＬ、ＨＬ、ＬＨ、ＨＨが生成される。こここで、各色成分のサブバンドＨＨを、ＨＨ_R，ＨＨ_G，ＨＨ_Bと表す。サブバンド内の変換係数が仮に８ビットで表されるとき、その取り得る範囲は０乃至２５５となる。

Ｒ成分のサブバンドＨＨ_Rの中で、値が０〜ｉの範囲にある変換係数の個数（累積個数）をＮ_R（ｉ）と表す。同様に、Ｇ成分のサブバンドＨＨ_Gの中で、値が０〜ｉの範囲にある変換係数の個数をＮ_G（ｉ）と表す。そして、Ｇ成分のサブバンドＨＨ_Gの中で、値が０〜ｉの範囲にある個数をＮ_R（ｉ）と表す。

因に、Ｎ_R（２５５）はサブバンドＨＨ_R内の値０〜２５５の変換係数の個数を表すこととなり、サブバンドＨＨ_R内の全変換係数の個数に等しい。同様に、Ｎ_B（２５５）はサブバンドＨＨ_B内の全変換係数の個数と等しく、Ｎ_G（２５５）はサブバンドＨＨ_G内の全変換係数の個数と等しい。

さて、変換係数の値を水平軸、垂直軸を累積個数とした場合、概ね図４のような曲線となる。図示の如く、Ｒ成分の変換係数は、他のＧ、Ｂ成分より、比較的、早い段階で変換係数の累積数が１００％となる。これは、Ｒ成分のサブバンドＨＨ_R内の変換係数のほとんどが小さい値になっていることを示す。

エントロピー符号化を行うまえに、量子化処理が行われる。この量子化で用いる標準的な量子化係数（以下、標準量子化係数Ｑ_S）が、仮に、変換係数の最大値の１０％に相当する“２５(≒２５５／１０)”であるとする。図４の場合、サブバンドサブバンドＨＨ_B内の全変換係数のうち１０％の変換係数が０に量子化され、サブバンドＨＨ_G内の全変換係数のうち７％の変換係数が０に量子化される。これに対し、サブバンドＨＨ_Rの内の全変換係数のうち、実に２５％もの変換係数が０に量子化されてしまう。

１つの画素はＲ，Ｇ、Ｂの組み合わせにより、その色が決定される。ところが、図示のように、１つの成分の変換係数の量子化結果が、成分の変換係数の量子化結果と大きく異なると、オリジナルの色の分布が崩れてしまい、復号して得られる画像の画質が悪いものとなってしまう。また、実際に表示する場合には、Ｒ，Ｇ，Ｂのデータについてホワイトバランスの調整処理を行うことになるが、上記のように多くのＲ成分が０になってしまうので、ホワイトバランス調整が正しく機能しない。つまり、画像の色調が、オリジナルの画像に対してずれたものとなってしまい、ＲＡＷ画像データとして保存する意義もなくなってしまう。

上記の問題は、Ｒ成分の変換係数に対して用いる量子化係数Ｑ_Rを、標準量子化係数Ｑ_Sより小さくすることで回避できる。そこで本願の発明者は以下のようにしてこの問題を解決することに着想が至った。

図４に示すような、ウェーブレット変換結果における変換係数の各色成分の分布は、図３（ａ）に示す各色成分のヒストグラムから推定できる。そこで、図３（ａ）のＲ，Ｇ，Ｂ成分のヒストグラムのピーク位置Ｐ_R、Ｐ_G、Ｐ_Bを求める。そして、これら３成分のピーク位置の差が許容範囲内になっているか否かを判定する。具体的には、予め設定された閾値Ｔｈを用いた、次式（１）乃至（３）の全てを満たす場合、３成分のピーク位置が互いに許容範囲内にあるものとみなす。
｜Ｐ_R−Ｐ_G｜≦Ｔｈ …（１）
｜Ｐ_G−Ｐ_B｜≦Ｔｈ …（２）
｜Ｐ_B−Ｐ_R｜≦Ｔｈ …（３）

上記の３つの式の少なくとも１つが満たされない場合、３成分中の１つまたは２つのピーク位置が、他の色成分のピーク位置より小さい（暗い）ことを表している。そして、最も小さいと判定されたピーク位置が、暗いと判定するための予め設定された閾値以下であった場合、その暗いと判定するための閾値以下にピーク位置を持つ色成分の量子化係数を補正対象とする。

例えば、図３（ａ）において、ピーク位置Ｐ_GとＰ_Bとの差が閾値Ｔｈ以下であり、ピーク位置Ｐ_RとＰ_Bとの差が閾値Ｔｈを超え、ピーク位置Ｐ_Rが、暗さの閾値以下であったとする。

本実施形態では、Ｇ，Ｂ成分の平均ピーク位置に対する、着目ピーク位置であるＲ成分のピーク位置の比を補正係数Ｃ_Rとして算出する。
Ｃ_R＝Ｐ_R／｛（Ｐ_B＋Ｐ_G）／２｝
そして、Ｒ成分を量子化する際に用いる量子化係数Ｑ_Rを次式に従い算出する。
Ｑ_R＝Ｑ_S×Ｃ_R
そしてＢ、Ｇ成分の量子化係数は標準量子化係数Ｑ_Sを用いる。

上記の結果、Ｒ成分を量子化する場合に用いる量子化係数Ｑ_Rは、他の色成分の量子化係数Ｑ_B,Ｑ_Gより小さくなり、先に示した色バランスの問題を解決できる。

ここで、図３（ａ）とは異なるが、仮にピーク位置Ｐ_RとＰ_Gの差が閾値以下であり、それらピーク位置Ｐ_Bよりも小さく、かつ、その間の距離が閾値Ｔｈを超えているとする。さらに、ピーク位置Ｐ_RとＰ_Gが、暗いと判定するための予め設定された閾値以下であるとする。この場合、色成分Ｒ，Ｇの補正係数Ｃ_R，Ｃ_Gは次の通りになる。
Ｃ_R＝Ｐ_R／Ｐ_B
Ｃ_G＝Ｐ_R／Ｐ_B
そして、各色成分の量子化係数は次式で与えられる。
Ｑ_R＝ＱS×Ｃ_R
Ｑ_G＝ＱS×Ｃ_G
Ｑ_G＝ＱS

なお、繰り返し説明するが、ここまでの説明しているＧ成分とは、Ｇ１成分のことである。Ｇ１，Ｇ２のヒストグラムは互いに同じであると見なしている。従って、上記のようにして量子化係数Ｑ_Gが決定された場合、それはＧ１プレーン、Ｇ２プレーンの両方に適用されるものである点に注意されたい。

さて、実施形態では、全ての撮像画像に対して無条件に上記量子化係数の補正処理を行うのではなく、量子化係数の補正処理を撮像条件に依存して行うか否かを決定する。具体的には、撮像時の露出が適正露出の範囲外となる場合、または、露出が適正範囲内にあってもＩＳＯ感度が規定値以上となる場合に、上記の量子化係数の補正処理を行うこととした。

以下、実施形態における撮像装置の制御部１５０の処理を図５のフローチャートに従って説明する。なお、同図に係る処理は、ユーザが操作部１５１を操作して撮像指示を入力したことによる撮像が行われた場合の処理である。

まず、制御部１５０は、Ｓ５０１にて、カメラ情報生成部１０４が生成したカメラ情報を取得する。このカメラ情報には、撮像時におけるＡＥ機能により露出が適正であるか否かの情報、及ぶ、ＩＳＯ感度情報が含まれている。

制御部１５０は、Ｓ５０２にて、取得したカメラ情報に基づき、撮像時の露出が適正範囲にあるか否かを判定する。否の場合には、処理をステップＳ５０５に進める。また、撮像時の露出が適正であると判定された場合には、Ｓ５０３に処理を進める。

Ｓ５０３にて、制御部１５０は、撮像時のＩＳＯ感度が、予め設定されたＩＳＯ規定値未満であったか否かを判定する。撮像時のＩＳＯ感度がＩＳＯ規定値未満である場合には、被写体が十分な光量の下で撮像されたものとみなして良いので、処理はＳ５０４に進める。そして、Ｓ５０４にて、制御部１５０は、Ｒ，Ｇ１、Ｇ２、Ｂの各プレーンの量子化係数を標準量子化係数Ｑ_sに設定する。

一方、Ｓ５０３にて、撮像時のＩＳＯ感度がＩＳＯ規定値以上であると判断した場合、暗い被写体を撮像している、もしくは、意図的に増感していることを意味する。それ故、制御部１５０は、データ演算部１０９を制御し、Ｓ５０５、Ｓ５０６の処理を経て各色成分の量子化係数の決定処理を実行させる。

まず、Ｓ５０５にて、データ演算部１０９は、センサ信号処理部１０３からＲＡＷ画像データを取得し、Ｒ，Ｇ（Ｇ１）、Ｂのヒストグラムから、各色成分のピーク位置Ｐ_R、Ｐ_G、Ｐ_Bを検出する。

そして、Ｓ５０６にて、先に説明した式（１）乃至（３）を用いて、各色成分のピーク位置の差が閾値Ｔｈ以下であるか否かを判定する。閾値以下である場合には、各色成分の量子化係数を、標準量子化係数Ｑ_Sに設定する。一方、式（１）乃至（３）のいずれか１つでも満たさない場合には、３つの色成分のうち、暗い側にピーク位置を持つ１つまたは２つの色成分の量子化係数を先に説明したように補正する。

上記の結果、色成分Ｒ、Ｇ（Ｇ１，Ｇ２），Ｂの量子化係数が決定されるので、制御部１５０は、決定した各色成分の量子化係数をＲＡＷ圧縮部１１０に設定し、ＲＡＷ画像データを構成する各プレーンの符号化を行わせる。

具体的には、ＲＡＷ圧縮部１１０は、Ｓ５０７にて、Ｒ，Ｇ１、Ｇ２，Ｂの各プレーンについてウェーブレット変換を行う。そして、ＲＡＷ圧縮部１１０は、Ｓ５０８にて、各プレーンのウェブレット変換で得られたサブバンド内の変換係数を、上記で決定した量子化係数で量子化する。そして、ＲＡＷ圧縮部１１０は、Ｓ５０９にて、各色成分毎に、量子化後のサブバンドの変換係数を、エントロピー符号化を行い、得られた符号化データをバッファ１１２に出力する。制御部１５０は、Ｓ５１０にて、バッファ１１２に格納された符号化データに、復号に必要な除法をファイルヘッダとして付加し、記録媒体１１３に保存する処理を行う。

記録媒体１１３に保存される符号化データファイルは、例えば、図７の構造となる。ファイルヘッダには、画像データの水平、垂直方向のサイズ、ウェーブレット変換の実行回数、各画素のビット数をはじめ、各色成分プレーンの量子化係数を特定する情報が含まれる。

以上説明したように、撮像時の適正露出ではない場合、あるいは、適正露出であってもＩＳＯ基準値よりも高いＩＳＯ感度で撮像した場合、各色成分の分布が本来よりずれる可能性が高くなる。かかる撮像状況時には、上記のように色成分の量子化係数を補正することで、復号した際の画像の色バランスが不自然になることを抑制できるようになる。つまり、画質劣化を抑制した符号化データを生成することが可能となる。

［第２の実施形態］
図６は第２の実施形態に係る撮像装置の構成例を示すブロック図である。図６と図１との違いは、補正データ記憶部６１４を追加した点であり、これ以外は第１の実施形態と同じである。また、全体的な処理も第１の実施形態と同じであるので、その説明は省略する。本第２の実施形態は、動画像撮像、もしくは、連写撮像に好適である。

動画や連写という比較的短い間隔で画像を撮像するとき、時間軸に沿った画面間の相関度は高い。このため、補正値を決定したピクチャとの時間間隔が所定時間内であれば、補正データ記憶部６１４に量子化補正値を記憶しておく。

例えば連写撮像の場合には、最初の１枚の画像を撮像した際の各色成分の量子化係数を補正データ記憶部６１４に記憶する。そして、後続する画像から最後の画像を、補正データ記憶部６１４に記憶された補正後の量子化係数を用いて量子化し、そして符号化する。

また、３０フレーム／秒で撮像する動画像の場合には、例えば２秒間隔（この期間はユーザが設定できるようにしても良い）で、量子化係数の補正処理を行うようにし、その間の撮像画像については、直前の補正処理で求めた量子化係数を用いて量子化、そして符号化を行う。なお、動画像の場合、シーンチェンジが発生する場合があるが、かかるシーンチェンジが発生した場合には、そのタイミングで量子化係数の補正処理を行い、補正データ記憶部６１４を更新する。

以上の結果、動画像や連写の場合に、１枚の画像毎に量子化係数の補正処理を行う必要がなくなり、処理の負担を軽減でき、そのため所費電力の削減も期待できる。

［第３の実施形態］
昨今のデジタルカメラに代表される撮像装置には、様々な撮像モードが選択可能となっている。例えば夕景モードでは、より赤成分を強調するために赤成分のゲインを上げる処理が行われる。また、晴天時の青空を入れた昼風景モードでは、青空をより強調するために、青成分のゲインを上げる処理が行われる。

ここで、夕景モードで撮影した画像では、Ｒ成分の高輝度側の画素数が多くなり、各色成分のプレーンのヒストグラムは、例えば図３（ｂ）のようになる傾向が強い。しかし、図示のような画像の各色成分のウェーブレット変換係数を標準量子化係数で量子化した場合には、Ｒ成分の高輝度側の分布を高い精度で維持することが困難になる。夕景モードで、しかも、ＲＡＷ画像データとして記録するのは、ユーザは、Ｒ成分を高い精度で保存したいという要望しているものである。そのため、本第３の実施形態では、ユーザが操作部１５１を介して撮像モードとして夕景モードを選択した場合には、Ｒ成分を他の成分より細かい値で量子化することで、Ｒ成分について高い精度の画像を再生できるようにする。

上記は、昼風景モードでも同じである。昼風景モードでは、標準量子化係数Ｑ_Sよりもより小さい値を、Ｂ成分の量子化係数Ｑ_Bとして用いる。

上記のため、本第３の実施形態では、図９に示すテーブルを制御部１５０内の不図示のＲＯＭに格納した。図示の如く、テーブルは撮像モード、ゲインアップする色成分、各色成分毎の補正係数Ｃ_R、Ｃ_G、Ｃ_Bの各フィールドが対応付けられている。

補正係数は、先に説明した第１の実施形態で説明したものである。つまり、補正係数Ｃ_R、Ｃ_G、Ｃ_B、標準量子化係数Ｑ_S、そして、各色成分の量子化係数Ｑ_R、Ｑ_G、Ｑ_Bの関係は』次式（４）乃至（６）にある。
Ｑ_R＝Ｑ_S×Ｃ_R …（４）
Ｑ_G＝Ｑ_S×Ｃ_G …（５）
Ｑ_B＝Ｑ_S×Ｃ_B …（６）

例えば、ユーザが撮像モードとして「夕景モード」を選択した場合、Ｒ成分のゲインがアップされる。そして、Ｒ，Ｇ，Ｂの各色成分の補正係数は０．５，１，１であるので、各色のウェーブレット変換係数を量子化する際に用いる量子化係数は次式で得られる。
Ｑ_R＝Ｑ_S／２
Ｑ_G＝Ｑ_S
Ｑ_B＝Ｑ_S
この結果、Ｒ成分の量子化係数が他の色成分の量子化係数より小さくなり、Ｒ成分が高い精度を維持して符号化させることができる。

本第３の実施形態における制御部１５０の処理手順を図８のフローチャートに従って説明する。なお、同図に係る処理は、ユーザが操作部１５１を操作して撮像指示を入力したことによる撮像が行われた場合の処理である。また、撮像モードにおけるゲイン調整は、制御部１５０が既に撮像センサ部１０２に設定しているものとする。

まず、制御部１５０は、Ｓ８０１にて、操作部１５１で設定された現在の撮像モードを取得する。そして、制御部１５０は、Ｓ８０２にて、取得した撮像モードをキーにし、図９のテーブルを参照して各色成分の補正係数ＣR，ＣG，ＣBを取得する。そして、Ｓ８０３にて、制御部１５０は、式（４）乃至（６）に示したように、標準量子化係数Ｑ_Sに各色成分の補正係数を乗算することで、各色成分の量子化係数を算出する。当然、求めた量子化係数Ｑ_Gは、Ｇ１、Ｇ２の両プレーンに適用される。

次のＳ８０４乃至８０６にて、制御部１５０は、決定した量子化係数をＲＡＷ圧縮部１１０に設定し、ＲＡＷ画像データの圧縮符号化を行わせる。

具体的には、ＲＡＷ圧縮部１１０は、Ｓ８０４にて、Ｒ，Ｇ１、Ｇ２，Ｂの各プレーンについてウェーブレット変換を行う。そして、ＲＡＷ圧縮部１１０は、Ｓ８０５にて、各プレーンのウェブレット変換で得られたサブバンド内の変換係数を、上記で決定した量子化係数で量子化する。そして、ＲＡＷ画像圧縮部１１０は、Ｓ８０６にて、各色成分毎に、量子化後のサブバンドの変換係数を、エントロピー符号化を行い、得られた符号化データをバッファ１１２に出力する。

制御部１５０は、Ｓ８０７にて、バッファ１１２に格納された符号化データに、復号に必要な除法をファイルヘッダとして付加し、記録媒体１１３に保存する処理を行う。

以上本第３の実施形態によれば、ユーザが設定した撮像モードで重要視される色成分のみの量子化係数を標準量子化係数より小さくする。この結果、不必要にデータ量が増大することなく、かつ、そのモードに特化した色成分について高い精度で再現するための符号化データを得ることが可能になる。

［第４の実施形態］
上記第３の実施形態では、ユーザが操作部１５１を介して撮像モードを設定するものとしたが、自動化させるか否かをユーザが選択させても良い。このためには、図１の構成に、さらに現在日時を計時するタイマを設ける。

例えば、自動化させた場合、夕景モードか昼風景モードかを制御部１５０が判定する。例えば、季節と現在時刻から夕方を表す時間帯にあり、かつ、撮像センサから予め設定された閾値以上の強度を持つ赤色が検出された場合に夕景モードとしてもよい。また、光量が十分でしかも現在時刻が昼を規定する時間帯内にあり、かつ、被写体までの距離が十分に遠い場合に昼風景モードとして判定しても良い。

１０１…撮像光学部、１０２…撮像センサ部、１０３…現像部、１０４…カメラ情報生成部、１０５…現像部、１０６…表示処理部、１０７…表示部、１０８…映像出力端子、１０９…データ演算部、１１０…ＲＡＷ圧縮部、１１１…ＲＡＷ伸長部、１１２…バッファ、１１３…記録媒体

Claims (11)

1. 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段と、
   前記符号化手段を制御する制御手段とを有し、
   前記制御手段は、
   撮像時におけるＩＳＯ感度または露出情報に基づき、前記撮像センサより得られた各色成分のプレーンに対する量子化処理で用いる量子化係数を補正するか否かを判定する判定手段と、
   該判定手段で量子化係数を補正すると判定した場合、各色成分のプレーンのヒストグラムの分布に基づき、各色成分に対する量子化処理で用いる量子化係数を決定する決定手段と、
   を含むことを特徴とする撮像装置。
2. 前記判定手段は、
   （１）露出情報が示す露出が許容範囲を超えている、
   （２）前記露出が前記許容範囲にあって、かつ、撮像時の感度が所定の閾値以上である、
   のいずれかを満たすとき、量子化係数を補正すると判定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、
   Ｒ，Ｇ，Ｂ成分の各プレーンのヒストグラムから、色成分を表す３つのピーク位置を検出する検出手段と、
   前記３つのピーク位置のうち、最も輝度が低く、かつ、他の色成分のピークとの距離が予め設定された閾値以上はなれたピーク位置を着目ピーク位置としたとき、
   当該着目ピーク位置と前記他の色成分のピーク位置の比を、予め設定された標準量子化係数に乗じることで、前記着目ピーク位置が示す色成分の量子化係数を設定し、前記他の色成分については前記標準量子化係数を用いるものとして設定する設定手段と、
   を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記符号化手段は、
   着目している色成分のプレーンをウェーブレット変換する変換手段と、
   変換して得られたサブバンドの変換係数を、前記制御手段により設定された量子化係数を用いて量子化する量子化手段と、
   量子化後の変換係数をエントロピー符号化する手段と
   を含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像センサはベイヤ配列の撮像センサであって、
   前記符号化手段が符号化する対象の各プレーンは、前記撮像センサより得られたＲＡＷ画像データを構成するＲ，Ｇ１、Ｇ２，Ｂの４つのプレーンである
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段を有する撮像装置の制御方法であって、
   撮像時におけるＩＳＯ感度または露出情報に基づき、前記撮像センサより得られた各色成分のプレーンに対する量子化処理で用いる量子化係数を補正するか否かを判定する判定工程と、
   該判定工程で量子化係数を補正すると判定した場合、各色成分のプレーンのヒストグラムの分布に基づき、各色成分に対する量子化処理で用いる量子化係数を決定する決定工程と、
   を有することを特徴とする撮像装置の制御方法。
7. 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段と、
   前記符号化手段を制御する制御手段とを有し、
   前記制御手段は、
   撮像モードの種類と、各色成分の量子化係数を決定するための情報とを対応つけて記憶する記憶手段と、
   前記撮像センサで撮像した際の撮像モードに基づき、前記記憶手段を参照して色成分毎の量子化処理で用いる量子化係数を決定する決定手段と
   を有することを特徴とする撮像装置。
8. 前記記憶手段は、撮像モードの種類に対応つけて各色成分の補正係数を記憶し、
   前記決定手段は、各色成分の補正係数を、予め設定された標準量子化係数に乗算することで、各色成分の量子化係数を決定する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記撮像モードには、赤成分を強調する夕景モードと、青成分を強調する昼風景モードが含まれることを特徴とする請求項７または８に記載の撮像装置。
10. 現在日時を計時する計時手段を更に有し、
    前記制御手段は、前記計時手段で計時された日時に基づいて前記夕景モード、昼風景モードを決定する
    ことを特徴とする請求項９に記載の撮像装置。
11. 撮像センサより得られた画像データから、当該画像データを構成する各色成分のプレーンを生成し、色成分のプレーンごとに独立して、周波数変換、量子化処理、エントロピー符号化を行って符号化する符号化手段と、撮像モードの種類と各色成分の量子化係数を決定するための情報とを対応つけて記憶する記憶手段とを有する撮像装置の制御方法であって、
    前記撮像センサで撮像した際の撮像モードに基づき、前記記憶手段を参照して色成分毎の量子化処理で用いる量子化係数を決定する決定工程と、
    該決定工程で決定した各色成分の量子化係数を前記符号化手段に設定して、色成分毎の符号化データを生成させる制御工程と、
    を有することを特徴とする撮像装置の制御方法。

Images