JPH09261636A - サンプルブロック決定システムおよびサンプルブロック決定方法 - Google Patents

Abstract

(57)【要約】 【課題】 デジタル画像を構成するブロックの中からサ
ンプルブロックを決定する技術に関し、画像の種類に応
じてサンプルブロックを決めることができるサンプルブ
ロック決定システムを提供することである。 【解決手段】 複数のブロックからなる画像についてブ
ロック毎に空間周波数解析し、画像の空間周波数分布を
求める空間周波数解析手段と、画像の空間周波数分布に
応じて画像を構成する複数のブロックの中からサンプル
ブロックを選択決定するブロック決定手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像処理
に関し、特に、デジタル画像を構成するブロックの中か
らサンプルブロックを決定する技術に関する。

【０００２】

【従来の技術】デジタル画像を処理する際、デジタル画
像を複数のブロックに分割し、ブロック単位で処理する
ことがある。例えば、ＪＰＥＧ（joint photographic e
xpertgroup ）方式の圧縮は、デジタル静止画像を８×
８画素のブロック単位で処理し、符号データを生成す
る。

【０００３】画像処理を行う際、全てのブロックについ
て処理を行う場合とサンプルブロックについてのみ処理
を行う場合がある。サンプルブロックとは、全ブロック
の中からサンプルされるブロックである。

【０００４】例えば、画像の符号データを生成する際に
は、全てのブロックについて圧縮処理を行い、符号デー
タを生成する。一方、例えば画像の統計処理等、画像の
種類を判断する際には、処理時間の短縮化等のため、全
てのブロックについて処理するのではなく、サンプルブ
ロックについてのみ処理を行い、画像の種類を判断する
ことがある。

【０００５】次に、サンプルブロックを用いるものの具
体例として、デジタルスチルカメラについて説明する。
デジタルスチルカメラは、被写体にレンズを向けて、シ
ャッタボタンを押すことにより、デジタル静止画像の撮
影を行う。レンズを介して結像される画像は、電気信号
に変換され、データ圧縮されて、取り替え可能なメモリ
カード等に記憶される。データ圧縮は、データ量を減ら
して、メモリカードに多くの画像データを記憶させるた
めに行われる。

【０００６】デジタル画像をデータ圧縮することにより
得られる符号データの量は、デジタル画像が有する空間
周波数分布等により異なる。例えば、高周波成分を多く
含むデジタル画像については、符号データの量をあまり
少なくすることができない。一方、高周波成分の少ない
デジタル画像については、符号データの量をかなり少な
くすることができる。つまり、データ圧縮の方式により
異なるが、一般的にデータ圧縮により生成される符号デ
ータの量は、デジタル画像の種類により異なる。

【０００７】データ圧縮された符号データは、メモリカ
ード等の記憶媒体に記憶される。メモリカードは、例え
ば１Ｍバイトの記憶容量を有するものであり、その場合
１Ｍバイト以上のデータを記憶させることができない。

【０００８】メモリカードに１Ｍバイトを越えて、符号
データを書き込まないようにするため、または撮影者の
便宜のために、記録可能な残り枚数を撮影者に知らせる
必要がある。データ圧縮される符号データがデジタル画
像の種類によらず、各画像当たり全て同じデータ量であ
るならば、メモリカードに記録可能なデジタル画像の枚
数を撮影者に容易に知らせることができる。

【０００９】しかし、符号データ量が可変である場合に
は、残り枚数を撮影者に知らせることができない。これ
から撮影する画像の符号データ量が少なければ、多くの
枚数を記録可能であり、撮影する画像の符号データ量が
多ければ、少ない枚数しか記録することができない。

【００１０】そこで、デジタル画像をデータ圧縮する際
には、符号データの固定長化処理を行うことが望まれ
る。固定長化処理を行うことにより、どんな種類のデジ
タル画像であってもほぼ一定量の符号データに変換する
ことができる。固定長化処理は、１枚（１フレーム）の
デジタル画像をデータ圧縮し、固定長の符号データを生
成するための処理である。符号データが固定長であれ
ば、容易に残り枚数を撮影者に知らせることができる。

【００１１】次に、固定長化処理について説明する。固
定長化処理を行うには、まず前処理として統計処理を行
い、その統計処理の結果に応じて、データ圧縮の圧縮度
を調整し、固定長の符号データを生成する。

【００１２】撮影者がシャッタボタンを押すと、デジタ
ル画像が取り込まれる。次に、取り込まれたデジタル画
像に対して、統計処理を行う。統計処理とは、取り込ま
れたデジタル画像について圧縮を行った場合にどの位の
量の符号データが生成されるのかを統計的に推測する処
理である。

【００１３】この統計処理を行う際に、サンプルブロッ
クが使用される。統計処理は、符号データのおおよその
量を見積もる処理であり、必ずしも正確な符号データ量
を見積もる必要はない。また、正確な見積りを行うに
は、一般的に長い処理時間が必要となる。実際には、長
時間の処理を行い、正確な見積りを行うより、むしろ、
短時間でおおよその見積りを行う方が利点が多い。

【００１４】より正確な見積りを行うのであれば、全て
のブロックについて統計処理を行う必要がある。おおよ
その見積りでいいから短時間で処理したい場合には、サ
ンプルブロックについてのみ統計処理を行えばよい。

【００１５】図１９（Ａ）、（Ｂ）は、１枚の画像が２
次元の複数ブロックにより構成されることを示し、斜線
で表したブロックが処理対象となるブロックである。図
１９（Ａ）は、１枚の画像の全てのブロックが処理対象
であることを示す。

【００１６】図１９（Ｂ）は、サンプルブロックの例を
示す。１枚の画像中でサンプルブロックをチェッカーボ
ード（千鳥格子）状に配置したものであり、全ブロック
中で縦方向および横方向に関し、１つおきにサンプルブ
ロックが配置されている。

【００１７】統計処理が終了すると、圧縮処理および記
憶処理が行われる。統計処理の結果、符号データが多め
に生成されそうであると推測されれば、圧縮度を高めに
設定して圧縮を行えばよい。符号データが少なめに生成
されそうであると推測されれば、圧縮度を低めに設定し
て圧縮を行えばよい。データ圧縮により生成される符号
データは、常にほぼ一定のデータ量となる。

【００１８】その後、記憶処理により、データ圧縮され
た符号データは、メモリカード等に記録される。以上
で、デジタル画像の取り込みから、メモリカード等への
記録までの一連の処理は終了する。

【００１９】

【発明が解決しようとする課題】図１９（Ｂ）に示すサ
ンプルブロックは、ブロック数が画像の全ブロック数の
半分であり、画像の全体にわたりほぼ均一に配置され
る。一般的に画像中の隣接ブロックは、類似の画像パタ
ーンを持つことが多い。したがって、１つおきのブロッ
クを採用しても、ほぼ全画像の特徴を把握できるであろ
う。

【００２０】サンプルブロックについてのみ統計処理を
行えば、統計処理の時間が短縮される。しかし、画像情
報の重要要素である境界がサンプルされない等の場合に
は、統計処理の精度が低下する。そこで、サンプルブロ
ックのパターンおよびブロック数をどの様に設定すれば
よいかが問題となる。従来技術によれば、画像の種類を
問題とせず、常に同一パターンのサンプルブロックを用
いて統計処理を行っていた。

【００２１】サンプルブロックのパターンの選び方によ
っては、同一の画像であっても、目標とする符号データ
量よりも大きくなったり、小さくなったりすることがあ
る。しかし、メモリカードやフロッピーディスク等は最
大記憶容量が決まっているので、その容量よりも多い符
号データ量を記憶することができない。したがって、目
標値よりもかなり多い符号データが生成されることは好
ましくない。

【００２２】本発明の目的は、画像の種類に応じて、サ
ンプルブロックを決めることができるサンプルブロック
決定システムを提供することである。本発明の他の目的
は、画像の種類に応じて、サンプルブロックのパターン
を決めることができるサンプルブロック決定方法を提供
することである。

【００２３】

【課題を解決するための手段】本発明のサンプルブロッ
ク決定システムは、複数のブロックからなる画像につい
てブロック毎に空間周波数解析し、画像の空間周波数分
布を求める空間周波数解析手段と、前記画像の空間周波
数分布に応じて画像を構成する複数のブロックの中から
サンプルブロックを選択決定するブロック決定手段とを
有する。

【００２４】画像は複数のブロックで構成される。画像
を構成する各ブロック毎に空間周波数解析し、画像の空
間周波数分布を求める。画像の空間周波数分布は、その
画像の性質を示す。この空間周波数分布に応じて、例え
ば高周波成分を所定値より多く含むことを判定基準とし
て、画像を構成するブロックの中からサンプルブロック
を選択決定する。サンプルブロックは、画像の種類に応
じて決定されることになる。

【００２５】また、本発明のサンプルブロック決定シス
テムは、画像の種類を示すモードを指定するためのモー
ド指定手段と、前記モードに応じて複数のサンプルブロ
ックのパターンの中から１つを選択するブロック決定手
段とを有する。

【００２６】予め複数のサンプルブロックのパターンが
用意されている。画像の種類を示すモードに応じて、複
数のサンプルブロックのパターンの中から１つが選択さ
れる。サンプルブロックは、モードに応じて複数のパタ
ーンの中から１つが選択されることになる。

【００２７】本発明のサンプルブロック決定方法は、複
数のブロックからなる画像についてブロック毎に空間周
波数解析し、画像の空間周波数分布を求める工程と、前
記画像の空間周波数分布に応じて画像を構成する複数の
ブロックの中からサンプルブロックを選択決定する工程
とを含む。

【００２８】また、本発明のサンプルブロック決定方法
は、画像の種類を示すモードを指定するための工程と、
前記モードに応じて複数のサンプルブロックのパターン
の中から１つを選択する工程とを含む。

【００２９】

【発明の実施の形態】図１は、本発明の実施例によるサ
ンプルブロック決定システムを含む画像圧縮システムの
構成を示すブロック図である。この画像圧縮システム
は、デジタル静止画像の標準的な圧縮方式であるＪＰＥ
Ｇ方式に準拠する符号データを生成する。従来のＪＰＥ
Ｇ方式のシステムの資源をそのまま活用することができ
る。

【００３０】画像圧縮システムは、画像メモリ１、離散
コサイン変換（以下、ＤＣＴという）部２、ＤＣＴ係数
メモリ３、量子化部４、符号化部５、カウンタ６、スケ
ールファクタ決定部７、サンプルブロック決定部９、お
よびコントローラ８を有する。コントローラ８は、他の
全ての処理ブロックとの間でタイミング信号の受け渡し
を行い、処理ブロック間のタイミングを調整する。

【００３１】次に、各処理ブロックについて説明する。
画像メモリ１は、例えば、ＤＲＡＭやフラッシュメモリ
であり、１フレームの画像データを記憶する。画像メモ
リ１には、通常ラスタ形式で画像データが記憶されてい
る。画像データは、複数の画素データからなる。

【００３２】ラスタ形式とは、１フレームの画像につい
ての以下の画素データの並びである。まず、画像の左上
隅の画素から始まって右水平方向に向かい順次並ぶ。右
端の画素まで行ったら、続いて、次のラインの左端の画
素から始まり、右水平方向に向かい順次並ぶ。以下、同
様にして、１番下のラインまで行う。右下隅の画素が最
後のデータとなる。

【００３３】画像圧縮システムは、基本的に、８×８画
素からなるブロック単位で処理を行うので、画像メモリ
１は、画像データをラスタ形式からブロック形式に変換
し、ＤＣＴ部２に供給する。白黒画像は、１種類の画像
データで構成される。カラー画像は、輝度データと色デ
ータとで構成され、それぞれのデータは別の画像データ
としてラスタ／ブロック変換される。

【００３４】ブロック形式とは、１フレームの画像につ
いての以下の画素データの並びである。１フレームの画
像は、複数のブロックに領域分割される。１ブロック
は、８×８画素である。１フレームにおけるブロックの
順番は、上記のラスタ形式と同様に、左上隅のブロック
から始まり、右水平方向に並ぶ。右端に達したら、次の
ブロックの並びに移り、左から右に並ぶ。以下、同様の
並びを繰り返す。最後のブロックは、右下隅のブロック
である。

【００３５】ブロック内の画素データの並びは、やはり
ラスタ形式と同様であり、ブロック内の左上隅の画素デ
ータから始まり、右水平方向に並ぶ。右端に達したら、
次のラインに移る。最後の画素データは、ブロック内の
右下隅の画素データである。

【００３６】画像メモリ１は、サンプルブロック決定部
９からの信号に応じて、所定のブロックについての画像
データＩをＤＣＴ部２に供給する。サンプルブロック決
定部９は、全てのブロックの出力を画像メモリ１に指示
することもできるし、所定のパターンのサンプルブロッ
クの出力を画像メモリ１に指示することもできる。

【００３７】ＤＣＴ部２には、所定のブロックの画像デ
ータＩが供給される。以下の処理は、１ブロックの画像
データを１単位として行われる。つまり、ＪＰＥＧ圧縮
は、１枚の画像を各々が８×８画素の多数のブロックに
分割し、各ブロック単位に、以下の処理を行う。

【００３８】ＤＣＴ部２は、ブロック単位の画像データ
ＩについてＤＣＴ処理を行う。ＤＣＴ処理は、画像デー
タＩを、転置コサイン係数行列Ｄ^t とコサイン係数行列
Ｄとで挟み、行列演算を行うことによって、ＤＣＴ係数
Ｆを得る。

【００３９】Ｆ＝Ｄ^t ＩＤ

【００４０】図２は、ＤＣＴ係数Ｆを表す８×８の行列
である。画像データＩが８×８画素の場合、ＤＣＴ係数
Ｆも８×８の行列で表示することができる。ＤＣＴ係数
Ｆは、画像データＩの情報を空間周波数解析したもので
あり、左上のＦ₀₀が横方向にも縦方向にも直流の成分を
示し、横方向に向かうＦ_i0は、横方向に関して、次第に
高周波成分を示す情報となる。縦方向に向かうＦ_0jは、
縦方向に関して、次第に高周波成分を示す情報となる。
画像情報にとって低周波成分ほど重要な情報であり、高
周波成分はよりノイズ的な情報となる。

【００４１】図３は、一般的な画像データＩをＤＣＴ処
理することにより生成されるＤＣＴ係数Ｆの例を示す行
列である。図１に戻り、ＤＣＴ係数メモリ３は、例えば
ＤＲＡＭやＳＲＡＭであり、ＤＣＴ部２で生成されるＤ
ＣＴ係数Ｆを記憶する。

【００４２】次に、量子化部４の構成を説明する。メモ
リ１１は、量子化テーブルＱを記憶する。図４は、量子
化テーブルＱの例を示す。前述のように、画像圧縮シス
テムは、８×８のブロック単位でデータ圧縮を行うの
で、それに対応して量子化テーブルＱは、８×８の行列
により構成される。

【００４３】量子化テーブルＱは、標準の圧縮度でデー
タ圧縮を行うための量子化テーブルである。量子化処理
は、８×８のＤＣＴ係数Ｆに対して、量子化テーブルＱ
内の対応する係数で除算を行う。ＤＣＴ係数は、行列の
左上方向ほど空間周波数成分が低く、右下方向ほど空間
周波数成分が高い。基準量子化テーブルＱは、全体とし
て低い周波数成分ほど細かく、高い周波数成分ほど粗く
量子化を行うことを示している。一般的に、データ圧縮
は、人間の視覚特性を考慮して、また高周波成分にノイ
ズが多いことを考慮して、画像データの高周波成分の情
報を削ることにより行う。

【００４４】図１に戻り、乗算器１２は、量子化テーブ
ルＱにスケールファクタＳＦを乗じる。つまり、基準量
子化テーブルＱの行列の全ての要素にスケールファクタ
ＳＦを乗じる。乗算器１２は、ＳＦ・Ｑを出力する。

【００４５】スケールファクタＳＦは、符号データの圧
縮度に相当する。スケールファクタＳＦが大きいほど圧
縮度が大きいことを示し、スケールファクタＳＦが小さ
いほど圧縮度が小さいことを示す。

【００４６】除算器１３には、ＳＦ・Ｑが供給される。
除算器１３は、ＤＣＴ係数メモリ３に記憶されているＤ
ＣＴ係数Ｆｕｖを、量子化テーブルＳＦ・Ｑｕｖで割
り、下式で示す量子化データＲｕｖを出力する。丸め込
みｒｏｕｎｄは、最も近い整数への整数化を意味する。

【００４７】 Ｒｕｖ＝ｒｏｕｎｄ〔Ｆｕｖ／（ＳＦ・Ｑｕｖ）〕

【００４８】図５は、図３に示すＤＣＴ係数Ｆを量子化
することにより、得られる量子化データＲを示す。ただ
し、スケールファクタＳＦは１である。

【００４９】図１に戻り、符号化部５は、量子化データ
Ｒｕｖに対して符号化処理を行う。符号化処理は、ラン
レングス符号化およびハフマン符号化の処理を含む。ラ
ンレングス符号化は、０の値が連続して続くようなデー
タに対して、高圧縮を行うことができる。

【００５０】図５に示すように、量子化データＲｕｖ
は、行列の右下部分（高周波成分）に多くの０が集まり
やすい。この性質を利用して、量子化データの行列Ｒｕ
ｖをジグザグスキャンでランレングス符号化を行えば、
高圧縮を行うことができる。

【００５１】図６は、量子化データＲｕｖをジグザグス
キャンする方法を示す。量子化データＲの要素は、ＤＣ
Ｔ係数Ｆの要素に対応し、左上のＲ₀₀が横方向にも縦方
向にも直流の成分を示す。横方向に向かうＲ_i0は、横方
向に関して、次第に高周波成分を示す情報となり、縦方
向に向かうＲ_0jは、縦方向に関して、次第に高周波成分
を示す情報となる。

【００５２】ジグザグスキャンとは、図の矢印の順番に
各要素をスキャンする方法であり、低周波成分から高周
波成分へ向けて順次スキャンする方法である。ランレン
グス符号化は、０が連続して続くデータほど高圧縮、言
い換えると、一般的に０を多く含むデータほど高圧縮を
行うことができる。

【００５３】ジグザグスキャンでランレングス符号化を
行うと、一般的に、量子化データＲの行列の中に０の数
が多いほど、生成される符号データ量が少なくなる。つ
まり、量子化データＲにわずかな周波数成分のデータし
か含まれていないときには符号データ量が少なくなり、
全ての周波数成分のデータが含まれているときには符号
データ量が比較的多くなる。

【００５４】なお、前の処理で行った量子化処理は、低
周波成分ほど細かく、高周波成分ほど粗く量子化するも
のであるので、例えば図５に示すように、量子化データ
Ｒは低周波成分よりも高周波成分の方が０になりやす
い。高周波成分が少ない画像は、量子化データＲが０の
要素を多く含みやすく、ランレングス符号化により符号
データ量が少なくなりやすい。

【００５５】図１に戻り、符号化部５は、ランレングス
符号化を行った後に、ハフマン符号化を行い、符号デー
タを生成する。符号データは、サンプルブロック決定部
９およびカウンタ６に供給される。また、符号データ
は、最終的にメモリカードやフロッピーディスク等の記
憶媒体に供給され記憶される。

【００５６】サンプルブロック決定部９は、符号化部５
から符号データを受けて、ブロック毎の符号データ量を
カウントし記憶する。サンプルブロック決定部９には、
符号化部５からブロック単位で符号データが供給され
る。サンプルブロック決定部９は、１フレームの画像の
全てのブロックについてのブロック単位の符号データ量
を記憶し、当該符号データ量を基にサンプルブロックを
決定する。詳細な決定方法は、後に説明する。画像メモ
リ１は、サンプルブロック決定部９により決定されるサ
ンプルブロックについてのみ画像データＩをＤＣＴ部２
に供給する。

【００５７】なお、サンプルブロック決定部９は、符号
データ量によらず、または符号デー量と共に、外部から
供給されるモード信号ＭＤに応じてサンプルブロックを
決定することもできる。モード信号ＭＤとは、画像の種
類の示すものであり、詳細は後に説明する。

【００５８】カウンタ６は、符号化部５で生成された全
ブロックの符号データの量ＣＶをカウントする。１フレ
ームの画像は、例えば、ｎ個のブロックから構成され
る。符号データはブロック単位で生成されるので、カウ
ンタ６は、全てのブロック（ｎ個のブロック）の符号デ
ータの量を累算することにより、１フレームの画像の符
号データの量（以下、コードボリュームという）ＣＶを
算出する。

【００５９】スケールファクタ決定部７には、カウンタ
６からコードボリュームＣＶが供給される他、外部から
目標コードボリュームＣＶｘが供給される。目標コード
ボリュームＣＶｘは、ユーザまたはシステムが望む１フ
レームの画像について生成される符号データの量であ
る。

【００６０】スケールファクタ決定部７は、カウントし
たコードボリュームＣＶと目標コードボリュームＣＶｘ
に基づき、量子化部４に供給すべきスケールファクタＳ
Ｆを決定する。コードボリュームＣＶが目標コードボリ
ュームＣＶｘよりも多いときにはスケールファクタＳＦ
を大きめに設定し、コードボリュームＣＶが目標コード
ボリュームＣＶｘよりも少ないときにはスケールファク
タＳＦを小さめに設定する。

【００６１】スケールファクタＳＦは、圧縮度を示し、
目標コードボリュームＣＶｘの符号データを生成するた
めに調整され、量子化部２に供給される。スケールファ
クタＳＦが求まると、統計処理は終了する。統計処理が
終了すると、スケールファクタＳＦを用いて最終的な符
号データを生成する。

【００６２】図７は、本実施例による画像圧縮システム
が行う処理手順を示すフローチャートである。画像圧縮
システムは、固定長化処理を行い、符号データを生成す
る。固定長化される目標コードボリュームはＣＶｘであ
る。

【００６３】ステップＳＡ１では、サンプルブロック決
定処理を行う。まず、１フレームの画像の全ブロックの
符号データを生成し、ブロック毎の符号データ量を求め
る。当該符号データ量に応じてサンプルブロックを決定
する。図１のサンプルブロック決定部９は、画像メモリ
１にサンプルブロックのパターンを指示する。サンプル
ブロックの決定処理の詳細は、後に図８を参照しながら
説明する。

【００６４】ステップＳＡ２では、サンプルブロックに
ついて統計処理を行う。図１において、画像メモリ１
は、サンプルブロック決定部９から指示されるサンプル
ブロックについてのみ画像データＩを出力する。画像デ
ータＩは、ＤＣＴ部２でＤＣＴ処理され、量子化部４に
おいて例えばスケールファクタＳＦ＝１で量子化され、
符号化部５で量子化された後、符号データが生成され
る。

【００６５】カウンタ６は、サンプルブロックの符号デ
ータ量を累算する。スケールファクタ決定部７は、当該
符号データ量と目標コードボリュームＣＶｘを比較し、
より好ましいスケールファクタＳＦを推定し出力する。
目標コードボリュームＣＶｘは１フレーム（全ブロッ
ク）の符号データ量であるので、目標コードボリューム
ＣＶｘをサンプルブロックのブロック数の符号データ量
に換算し、換算した符号データ量にカウンタ６がカウン
トした符号データ量が近づくように、スケールファクタ
ＳＦを求める。

【００６６】例えば、コードボリュームＣＶが目標コー
ドボリュームＣＶｘよりも多いときにはスケールファク
タＳＦを１より小さい値に設定し、コードボリュームＣ
Ｖが目標コードボリュームＣＶｘよりも少ないときには
スケールファクタＳＦを１より大きい値に設定する。

【００６７】なお、スケールファクタＳＦは、種々の統
計処理方法により求めることができる。例えば、画像デ
ータを１回圧縮を行うのではなく、複数回圧縮を行った
後にスケールファクタＳＦを求めてもよい。

【００６８】ステップＳＡ３では、統計処理で決定され
たスケールファクタＳＦを用いて正式な圧縮処理を行
う。スケールファクタ決定部７で決定されたスケールフ
ァクタＳＦは、量子化部４に供給される。画像圧縮シス
テムは、新たなスケールファクタＳＦを用いて全ブロッ
クのデータ圧縮を行う。

【００６９】まず、画像メモリ１は、全ブロックの画像
データＩを出力する。画像データＩは、ＤＣＴ部２でＤ
ＣＴ処理され、量子化部４で量子化され、符号化部５で
符号化された後、符号データが生成される。

【００７０】当該符号データが最終的な符号データであ
り、そのコードボリュームは、目標コードボリュームＣ
Ｖｘに近いものとなる。１フレームの画像の符号データ
が生成されると、固定長化圧縮処理は終了する。

【００７１】図８は、図７のステップＳＡ１のサンプル
ブロック決定処理の第１の例を示すフローチャートであ
る。ステップＳＢ１では、ブロック番号ｍを１に設定す
る。ステップＳＢ２では、第ｍブロックの画像データを
圧縮し、符号データを生成する。すなわち、画像メモリ
１に記憶されている第ｍブロックの画像データをＤＣＴ
部２でＤＣＴ処理し、量子化部４で量子化し、符号化部
５で符号化し、符号データを生成する。量子化を行う際
のスケールファクタＳＦは、例えば１である。

【００７２】ステップＳＢ３では、第ｍブロックの符号
データの量を求める。サンプルブロック決定部９は、生
成された第ｍブロックの符号データの量をカウントし記
憶する。

【００７３】ステップＳＢ４では、ブロック番号ｍが最
終ブロック番号ｎであるか否かを調べる。１フレームの
画像は、例えば第１ブロックから第ｎブロックで構成さ
れる。ブロック番号ｍが最終ブロック番号ｎでないとき
には、次のブロックを処理するため、ステップＳＢ５へ
進む。

【００７４】ステップＳＢ５では、ブロック番号ｍをイ
ンクリメントし、ステップＳＢ２へ戻る。ステップＳＢ
２では、次のブロック番号ｍの符号データを生成し、ス
テップＳＢ３ではその符号データの量をカウントし記憶
する。これらの処理を最終ブロック番号ｎまで繰り返し
行う。

【００７５】最終ブロック番号ｎの処理が終了すると、
ステップＳＢ４において、ブロック番号ｍが最終ブロッ
ク番号ｎであると判断され、ステップＳＢ６へ進む。ス
テップＳＢ６では、ブロック毎の符号データ量に応じて
サンプルブロックを決定し、処理を終了する。例えば、
符号データ量が所定値よりも多いブロックをサンプルブ
ロックとして決定する。

【００７６】図９（Ａ）、（Ｂ）は、３×５ブロックか
らなる２次元画像であり、符号データ量とサンプルブロ
ックの関係を示す。図９（Ａ）は、３×５ブロックの各
ブロックの符号データ量の例を示す。図９（Ｂ）は、３
×５ブロックの中でサンプルブロックとして採用するブ
ロックを斜線で示す。

【００７７】図９（Ａ）は、画像がブロック毎に異なる
符号データ量を持つ例を示す。これらのブロックの中
で、例えば符号データ量が５０以上のもののみをサンプ
ルブロックとして採用する。図９（Ｂ）は、符号データ
量が５０以上のブロックを斜線で示す。当該斜線を施し
たブロックがサンプルブロックとして決定される。

【００７８】所定値は５０に限定されず、任意の値にす
ることができる。所定値を大きくすれば、サンプルブロ
ックの数が少なくなる。所定値を小さくすれば、サンプ
ルブロックの数が多くなる。

【００７９】図１０（Ａ）、（Ｂ）は、人物画像につい
て決定されるサンプルブロックのイメージを示す。図１
０（Ａ）に示すような人物画像についてサンプルブロッ
ク決定処理を行うと、図１０（Ｂ）に示すようなサンプ
ルブロックが決定されることが予想される。図１０
（Ｂ）は、図１０（Ａ）に対応し、２次元の複数のブロ
ックからなる画像を示し、斜線を施したブロックがサン
プルブロックを示す。人物が存在する領域がサンプルブ
ロックになりやすい。

【００８０】人物を示す領域以外の領域は、背景である
ことが多い。背景は、例えば空のように変化の少ない画
像、すなわち高周波成分をほとんど含まない領域であ
る。また、画像のピントが人物に合っていることが多い
ので、背景はぼけた画像となり、やはり高周波成分をほ
とんど含まない。背景は、上記の理由によりほとんど高
周波成分を含まないので、符号データ量は少なくなりや
すい。その結果、サンプルブロックとして採用されにく
い。

【００８１】一方、人物の領域は、ピントがあっている
ので、高周波成分を多く含みやすい。人物の輪郭は、画
像データが空間的に急激に変化する部分であるので、高
周波成分を含む。人物自体についても、口や鼻等の存在
により高周波成分を含む。人物の領域は高周波成分を含
み、符号データが多くなりやすいので、サンプルブロッ
クとして採用されやすい。

【００８２】広範囲の周波数成分を含むブロックは、符
号データ量が多くなる。このことをアクティビティが大
きいと呼ぶことにする。一方、例えば低周波成分等の限
られた範囲の周波数成分のみを含むブロックは、符号デ
ータ量が少なくなる。このことをアクティビティが小さ
いと呼ぶことにする。

【００８３】図１において、サンプルブロック決定部９
は、各ブロックのアクティビティを調べ、アクティビテ
ィの大きいブロックをサンプルブロックとして決定す
る。アクティビティを調べる方法として、符号化部５が
生成する符号データの量を調べる方法を上記で示した
が、他の方法を用いてもよい。

【００８４】例えば、ＤＣＴ部２で生成されるＤＣＴ係
数Ｆからブロック毎のアクティビティを調べてもよい
し、量子化部４で生成される量子化データＲからブロッ
ク毎のアクティビティを調べてもよい。アクティビティ
は、ＤＣＴ処理等により空間周波数解析することにより
求めることができる。

【００８５】サンプルブロックについて統計処理を行え
ば、サンプルブロックがその画像の平均的なアクティビ
ティのブロックであるときのスケールファクタＳＦが決
定される。本実施例では、１フレームの画像の中でアク
ティビティの大きいブロックをサンプルブロックとして
決定する。

【００８６】アクティビティの大きいブロックをサンプ
ルブロックとして統計処理を行えば、圧縮度が大きめの
スケールファクタＳＦが求まる。そのスケールファクタ
ＳＦを用いて圧縮処理を行えば、目標コードボリューム
ＣＶｘよりも必ず小さなコードボリュームの符号データ
が生成される利点がある。

【００８７】符号データは、メモリカードやフロッピー
ディスク等の記憶媒体に記憶される。これらの記憶媒体
は、最大記憶可能容量が有限であり、それを越える容量
の符号データを記憶することができない。本実施例によ
れば、目標コードボリュームＣＶｘを越えるコードボリ
ュームの符号データが生成されることがないので、符号
データは必ず記憶媒体の容量内に納まる。

【００８８】上記のサンプルブロック決定処理では、全
てのブロックの符号データ量を求め、当該符号データ量
に応じてサンプルブロックを決定した。次に、時間短縮
を図るため、全てのブロックについてではなく、空間的
にほぼ均一に間引いた１次サンプルブロックについての
み符号データ量を求め、その中から２次サンプルブロッ
クを決定する方法を説明する。

【００８９】図１１は、図７のステップＳＡ１のサンプ
ルブロック決定処理の第２の例を示すフローチャートで
ある。ステップＳＣ１では、１次サンプルブロックにつ
いての符号データ量を求める。１次サンプルブロック
は、例えば図１２に示すようなサンプルブロックであ
り、画像の全体にわたりほぼ均一に配置されるサンプル
ブロックである。１次サンプルブロックは、その他、図
１９に示すチェッカーボード状のものや、あみ点、ベイ
ヤー、うず巻きと呼ばれるサンプルブロックが含まれ
る。１次サンプルブロックはブロック数が少ないほど、
サンプルブロック決定処理の時間が短くなる。

【００９０】図１において、サンプルブロック決定部９
は、画像メモリ１に１次サンプルブロックの画像データ
出力を指示する。画像データは、ＤＣＴ処理、量子化、
符号化され、符号データが生成される。サンプルブロッ
ク決定部９は、各ブロックの符号データ量をカウントし
記憶する。

【００９１】ステップＳＣ２では、当該各ブロックの符
号データ量を基にして２次サンプルブロックを決定し、
処理を終了する。決定方法は、先の例と同様に、所定値
以上の符号データ量を持つブロックを２次サンプルブロ
ックとして採用する。

【００９２】なお、所定値以上の符号データ量を持つサ
ンプルそのものをサンプルブロックとして採用する他、
当該ブロックで囲まれる領域をサンプルブロックとする
こともできる。図１３（Ａ）〜（Ｃ）に、サンプルブロ
ックの例を示す。

【００９３】図１３（Ａ）は、所定値以上のブロックが
画像の下の領域に集まっているときのサンプルブロック
を示す。図１３（Ｂ）は、所定値以上のブロックが画像
の左の領域に集まっているときのサンプルブロックを示
す。図１３（Ｃ）は、所定値以上のブロックが画像の右
下の領域に集まっているときのサンプルブロックを示
す。

【００９４】サンプルブロック決定処理の第１および第
２の例では、ＤＣＴ処理等を行うことによりサンプルブ
ロックを求めた。次に、ＤＣＴ処理等を行わずに、モー
ド指定によりサンプルブロックを求める方法を示す。こ
の方法によれば、ＤＣＴ処理等を行わなくてもよいの
で、かなり短時間でサンプルブロックを決定することが
できる。

【００９５】図１４は、図７のステップＳＡ１のサンプ
ルブロック決定処理の第３の例を示すフローチャートで
ある。ステップＳＤ１では、モード指定を行う。モード
とは、画像の種類を示すものであり、例えば、風景モー
ド、人物モード、テキストモードがある。モード指定
は、図１のサンプルブロック決定部９にモード信号ＭＤ
を供給することにより行う。モード信号ＭＤは、例えば
ユーザがスイッチを操作しモードを選択することにより
生成される。ユーザは、風景を撮影するときには風景モ
ードを選択し、人物を撮影するときには人物モードを選
択し、テキストを撮影するときにはテキストモードを選
択する。テキストは、フレーム全体に均一に写し出され
る被写体である。

【００９６】ステップＳＤ２では、サンプルブロック決
定部９に供給されたモードの種類を判断する。風景モー
ドのときにはステップＳＤ３へ進み、人物モードのとき
にはステップＳＤ４へ進み、テキストモードのときには
ステップＳＤ５へ進む。

【００９７】ステップＳＤ３では、風景モードが指定さ
れているので、サンプルブロック決定部９は符号データ
量とは無関係に、無条件に風景用サンプルブロックを決
定し、処理を終了する。図１５（Ａ）に風景画像の例を
示し、図１５（Ｂ）に風景用サンプルブロックの例を示
す。

【００９８】ステップＳＤ４では、人物モードが指定さ
れているので、サンプルブロック決定部９は、無条件に
人物用サンプルブロックを決定し、処理を終了する。図
１６（Ａ）に人物画像の例を示し、図１６（Ｂ）に人物
用サンプルブロックの例を示す。

【００９９】ステップＳＤ５では、テキストモードが指
定されているので、サンプルブロック決定部９は、無条
件にテキスト用サンプルブロックを決定し、処理を終了
する。図１７（Ａ）にテキスト画像の例を示し、図１７
（Ｂ）にテキスト用サンプルブロックの例を示す。

【０１００】次に、外部からモード指定を行うのではな
く、各ブロックの符号データ量を求め、当該符号データ
量に応じてモードを決定し、そのモードのサンプルブロ
ックを決定する方法を示す。

【０１０１】図１８は、図７のステップＳＡ１のサンプ
ルブロック決定処理の第４の例を示すフローチャートで
ある。ステップＳＥ１では、１次サンプルブロックにつ
いての符号データ量を求める。サンプルブロック決定部
９は、画像メモリ１に１次サンプルブロックの符号デー
タの出力を指示する。符号化部５からは符号データが出
力される。サンプルブロック決定部９は、ブロック毎の
符号データ量をカウントし記憶する。

【０１０２】ステップＳＥ２では、当該符号データ量を
基にして代表サンプルブロックの中から１つを選択し、
サンプルブロックを決定し、処理を終了する。代表サン
プルブロックとは、例えば、風景用サンプルブロック
（図１５（Ｂ））、人物用サンプルブロック（図１６
（Ｂ））またはテキスト用サンプルブロック（図１７
（Ｂ））等である。

【０１０３】代表サンプルブロックの中から１つを選択
する具体例を示す。ステップＳＥ１により、１次サンプ
ルブロック毎の符号データ量が求められている。当該符
号データ量において、所定値以上のもののブロックをマ
ーキングする。そのマーキングしたブロックと代表サン
プルブロックとの間でブロックの位置が重なる数を調べ
る。

【０１０４】例えば、マーキングしたブロックが画像の
下の領域に多く集まっているときには、風景用サンプル
ブロック（図１５（Ｂ））との間で多くの重なりブロッ
クが生じる。一方、マーキングしたブロックが画像の全
体に散らばっているときには、テキスト用サンプルブロ
ック（図１７（Ｂ））との間で多くの重なりブロックが
生じる。

【０１０５】代表サンプルブロックの中で１番多くブロ
ックが重なったものを選択し、実際に使用するサンプル
ブロックとして決定する。サンプルブロック決定部９
は、当該サンプルブロックの画像データの出力を画像メ
モリ１に指示する。その後、サンプルブロックについて
統計処理を行う。

【０１０６】なお、代表サンプルブロックは、風景用サ
ンプルブロック（図１５（Ｂ））、人物用サンプルブロ
ック（図１６（Ｂ））またはテキスト用サンプルブロッ
ク（図１７（Ｂ））の他、他のパターンのサンプルブロ
ックを用いることができる。

【０１０７】また、ステップＳＥ１では、１次サンプル
ブロックについてのみ符号データ量を求めたが、全ブロ
ックについて符号データ量を求めてもよい。画像データ
を圧縮する際、符号データの固定長化の精度を高めるの
であれば、統計処理において、多数回データ圧縮を行
い、スケールファクタを決定する。この際、全てのブロ
ックについて多数回データ圧縮を行うと、処理に長時間
を要する。本実施例に従いサンプルブロックを決定する
には、ある程度の時間を要するが、多数回サンプルブロ
ックを用いて統計処理を行うのであれば、全ブロックを
用いる場合に比べ、処理時間は短縮化される。

【０１０８】本実施例では、アクティビティの大きいブ
ロックを検出し、当該ブロックをサンプルブロックとす
る。アクティビティの大きいブロックは、データ圧縮す
ると、そのブロックの符号データ量が多くなる。アクテ
ィビティの大きいブロックをサンプルブロックとするこ
とにより、目標コードボリュームより必ず少ない符号デ
ータを生成することができる。メモリカードのように記
憶容量が限られている記憶媒体に符号データを記憶させ
る場合には、あるコードボリュームよりも必ず少ない符
号データを生成する技術は必須であり、本実施例による
効果は大きい。

【０１０９】なお、本実施例では、アクティビティの大
きいブロックをサンプルブロックとして採用する技術を
示し、そのサンプルブロックを統計処理に使用する場合
について説明したが、その他の画像処理に当該サンプル
ブロックを用いてもよい。

【０１１０】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組み合わせ等が可能なことは当業者に
自明であろう。

【０１１１】

【発明の効果】以上説明したように、本発明によれば、
画像を構成するブロック毎に空間周波数解析して画像の
空間周波数分布を求め、その空間周波数分布を基にし
て、画像を構成するブロックの中からサンプルブロック
を決定するので、画像の種類に応じたサンプルブロック
を決定することができる。

【０１１２】また、予め複数のサンプルブロックのパタ
ーンを用意しておき、画像の種類を示すモードに応じ
て、複数のパターンの中から１つを選択するので、モー
ドに応じたサンプルブロックのパターンを選択決定する
ことができる。

【図面の簡単な説明】

【図１】本発明の実施例によるサンプルブロック決定シ
ステムを含む画像圧縮システムの構成を示すブロック図
である。

【図２】ＤＣＴ係数Ｆを表す８×８の行列を示す図であ
る。

【図３】一般的な画像データＩをＤＣＴ処理することに
より生成されるＤＣＴ係数Ｆの行列を示す図である。

【図４】量子化テーブルＱの例を示す図である。

【図５】図３に示すＤＣＴ係数Ｆを量子化することによ
り得られる量子化データＲを示す図である。

【図６】量子化データＲをジグザグスキャンする方法を
示す図である。

【図７】本実施例による画像圧縮システムが行う処理手
順を示すフローチャートである。

【図８】図７のステップＳＡ１のサンプルブロック決定
処理の第１の例を示すフローチャートである。

【図９】３×５ブロックからなる２次元画像を示す。図
９（Ａ）は３×５ブロックの各ブロックの符号データ量
の例を示す図であり、図９（Ｂ）は３×５ブロックの中
でサンプルブロックとして採用するブロックを示す図で
ある。

【図１０】人物画像について決定されるサンプルブロッ
クのイメージを示す。図１０（Ａ）は人物画像を示す図
であり、図１０（Ｂ）は、図１０（Ａ）の人物画像につ
いてのサンプルブロックを示す図である。

【図１１】図７のステップＳＡ１のサンプルブロック決
定処理の第２の例を示すフローチャートである。

【図１２】１次サンプルブロックの例を示す図である。

【図１３】図１３（Ａ）はサンプルブロックが画像の下
の領域に集まっているパターンを示す図であり、図１３
（Ｂ）はサンプルブロックが画像の左の領域に集まって
いるパターンを示す図であり、図１３（Ｃ）はサンプル
ブロックが画像の右下の領域に集まっているパターンを
示す図である。

【図１４】図７のステップＳＡ１のサンプルブロック決
定処理の第３の例を示すフローチャートである。

【図１５】図１５（Ａ）は風景画像を示す図であり、図
１５（Ｂ）は風景用サンプルブロックを示す図である。

【図１６】図１６（Ａ）は人物画像を示す図であり、図
１５（Ｂ）は人物用サンプルブロックを示す図である。

【図１７】図１７（Ａ）はテキスト画像を示す図であ
り、図１５（Ｂ）はテキスト用サンプルブロックを示す
図である。

【図１８】図７のステップＳＡ１のサンプルブロック決
定処理の第４の例を示すフローチャートである。

【図１９】図１９（Ａ）は画像の全ブロックパターンを
示す図であり、図１９（Ｂ）はサンプルブロックのパタ
ーンを示す図である。

【符号の説明】

１ 画像メモリ ２ 離散コサイン変換（ＤＣＴ）部 ３ ＤＣＴ係数メモリ ４ 量子化部 ５ 符号化部 ６ カウンタ ７ スケールファクタ決定部 ８ コントローラ ９ サンプルブロック決定部 １１ 量子化テーブルメモリ １２ 乗算器 １３ 除算器

Claims (10)

【特許請求の範囲】
1. 【請求項１】 複数のブロックからなる画像についてブ
   ロック毎に空間周波数解析し、画像の空間周波数分布を
   求める空間周波数解析手段と、 前記画像の空間周波数分布に応じて画像を構成する複数
   のブロックの中からサンプルブロックを選択決定するブ
   ロック決定手段とを有するサンプルブロック決定システ
   ム。
2. 【請求項２】 前記ブロック決定手段は、広範囲にわた
   る多くの空間周波数の成分を含むブロックをサンプルブ
   ロックとして決定する手段である請求項１記載のサンプ
   ルブロック決定システム。
3. 【請求項３】 前記ブロック決定手段は、前記画像の空
   間周波数分布に応じて複数のサンプルブロックのパター
   ンの中から１つを選択する手段である請求項１記載のサ
   ンプルブロック決定システム。
4. 【請求項４】 前記空間周波数解析手段は、画像を構成
   するブロックの中で選択したブロックについてのみ空間
   周波数分布を求める手段である請求項１〜３のいずれか
   に記載のサンプルブロック決定システム。
5. 【請求項５】 前記空間周波数解析手段は、離散コサイ
   ン変換を行い空間周波数分布を求める請求項１〜４のい
   ずれかに記載のサンプルブロック決定システム。
6. 【請求項６】 前記空間周波数解析手段は、離散コサイ
   ン変換を行った後、空間周波数成分が高いほど粗く量子
   化を行い空間周波数分布を求める請求項５記載のサンプ
   ルブロック決定システム。
7. 【請求項７】 画像の種類を示すモードを指定するため
   のモード指定手段と、 前記モードに応じて複数のサンプルブロックのパターン
   の中から１つを選択するブロック決定手段とを有するサ
   ンプルブロック決定システム。
8. 【請求項８】 さらに、前記サンプルブロックについて
   の符号データ量を求め、画像の圧縮度を決定する統計処
   理手段と、 前記圧縮度で画像をデータ圧縮し符号データを生成する
   圧縮手段とを有する請求項１〜７のいずれかに記載のサ
   ンプルブロック決定システム。
9. 【請求項９】 複数のブロックからなる画像についてブ
   ロック毎に空間周波数解析し、画像の空間周波数分布を
   求める工程と、 前記画像の空間周波数分布に応じて画像を構成する複数
   のブロックの中からサンプルブロックを選択決定する工
   程とを含むサンプルブロック決定方法。
10. 【請求項１０】 画像の種類を示すモードを指定するた
    めの工程と、 前記モードに応じて複数のサンプルブロックのパターン
    の中から１つを選択する工程とを含むサンプルブロック
    決定方法。