JPH1118087A - 画像データの変換装置および変換方法 - Google Patents

Abstract

(57)【要約】 【課題】簡単な回路により、画質を損なわずに、かつ短
い処理時間内で画像データの変換を行なえる画像データ
の変換装置及び変換方法を提供する。 【解決手段】直交変換と量子化と可変長符号化の過程に
より圧縮された画像データに対して可変長符号の復号を
行なう可変長符号復号器１２と、この可変長符号復号器
１２による復号結果に基づいて、画素数に相当する量を
算出する符号計数回路１３と、この符号計数回路１３の
算出値に基づいて一定の画素数おきに所定の区切り符号
を挿入する符号挿入回路１４とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データを所定の
形式に従って変換する変換装置および変換方法に関す
る。

【０００２】

【従来の技術】ＣＣＤ等の撮像装置により撮像された画
像信号をメモリカード、磁気ディスク、あるいは光ディ
スク等の記憶装置にデジタルデータとして記憶する場
合、そのデータ量は膨大なものとなる。このため、多く
のフレーム画像を限られた記憶容量の範囲で記録しよう
とするには、得られた画像信号のデータに対し、何らか
の高能率な圧縮を行なうことが必要となる。

【０００３】高能率な画像データの圧縮方式として、直
交変換符号化と可変長符号化を組み合わせた符号化方法
が広く知られている。その代表的なものとして、静止画
符号化国際標準化において定められている方式がある。
この方式について次に概略を説明する。

【０００４】まず画像データを所定の大きさのブロック
に分割し、分割されたブロック毎に直交変換として２次
元のＤＣＴ（離散コサイン変換）を行なう。次に各周波
成分に応じた線形量子化を行ない、この線形量子化され
た値に対し可変長符号化としてハフマン符号化を行な
う。この時、直流成分に関しては近傍ブロックの直流成
分との差分値をハフマン符号化する。交流成分はジグザ
グスキャンと呼ばれる低い周波数成分から高い周波数成
分へのスキャンを行ない、無効（値が０）の成分の連続
する個数とそれに続く有効な成分の値とから２次元のハ
フマン符号化を行なう。

【０００５】以上の動作を図６を参照して具体的に説明
すると、まず、( ａ) に示すように、１フレームの画像
データを所定の大きさのブロック（例えば、8 ×8 の画
素よりなるブロックA,B,C,--- ）に分割し、( ｂ) に示
すように、この分割されたブロック毎に直交変換として
２次元のＤＣＴ（離散コサイン変換）を行ない、8 ×8
のマトリックス上に順次格納する。画像データは２次元
平面で眺めてみると、濃淡情報の分布に基づく周波数情
報である空間周波数を有している。従って、上記ＤＣＴ
を行なうことにより、画像データは直流成分DCと交流成
分ACとに変換され、8 ×8 のマトリックス上には原点位
置（0,0 ）に直流成分DCの値を示すデータが、そして、
（0,7 ）位置には横軸方向の交流成分ACの最大周波数値
を示すデータが、そして、（7,0 ）位置には縦軸方向の
交流成分ACの最大周波数値を示すデータが、さらに、
（7,7 ） 位置には斜方向の交流成分ACの最大周波数値
を示すデータがそれぞれ格納される。中間位置ではそれ
ぞれの座標位置により関係付けられる方向における周波
数データが、原点側より順次高い周波数のものが出現す
る形で格納されることになる。次にこのマトリックスに
おける各座標位置の格納データを、各周波数成分毎の量
子化幅により割ることにより、各周波数成分に応じた線
形量子化を行ない( ｃ) 、この量子化された値に対し可
変長符号化としてハフマン符号化を行なう。この時、直
流成分DCに関しては近傍ブロックの直流成分との差分値
をとる処理( 以下、DPCMと呼ぶ) をおこない、得られた
差分値をdiffDCとする（d1) 。このdiffDCをグループ番
号（付加ビット数）と付加ビットで表現し、そのグルー
プ番号をハフマン符号化し、得られた符号語と付加ビッ
トを合わせて符号化データとする(e1)。この符号化デー
タはメモリカードなどの記録媒体に記録される(f) 。

【０００６】交流成分ACに関しても有効でない（値が "
0"でない）係数は、グループ番号と付加ビットで表現す
る。そのため、交流成分ACはジグザグスキャンと呼ばれ
る低い周波数成分から高い周波数成分へのスキャンを行
ない、無効（値が "0"）の成分の連続する個数（零のラ
ン数）と、それに続く有効な成分の値のグループ番号と
から２次元のハフマン符号化を行ない、得られた符号語
と付加ビットを合わせて符号化データとする(d2,e2) 。
ハフマン符号化はフレーム画像当たりの上記直流成分DC
および交流成分ACの各々のデータ分布における発生頻度
のピークのものを中心として、この中心のものほど、デ
ータビットを少なくし、周辺になるほどビット数を多く
するようにしてビット割り当てをした形でデータを符号
化して符号語を得ることで行なう。以上がハフマン符号
化方式の基本部分である。

【０００７】一方、デジタル化された画像データをコン
ピュータ上での編集加工、保存、通信などに利用すると
きに適した階層的構造かつタイル構造をもつ画像データ
記録形式が提案されている。この方式は図７(a) に示す
ように、複数の解像度の画像の階層構造を持つところに
ひとつの特徴がある。画像の画素数がＨ×Ｖの場合に
は、その１／２、１／４、１／８．．．の画素数の画像
を含む。この方式においては、利用形態での必要に応じ
た画素数の画像を取り出すことができ、最大解像度の画
像を開かずにすむため、処理スピードを向上することが
できる。またもうひとつの特徴として、各解像度の画像
は図７(b) に示されるように64×64画素のタイルに分割
されている。この方式においては、高解像度の画像（図
７(b) ではＨ×Ｖ）を必要とする場合にも、当面する処
理において必要なタイルだけを取り出すことにより、高
解像度の画像全体を開かずにすむため、処理スピードを
向上することができる。

【０００８】以上のような記録形式をとることにより、
用途に応じた解像度の画像あるいは画像の一部分をすば
やく取りだし、画像データの表示、編集や加工を迅速に
行なうことができるという利点がある。

【０００９】

【発明が解決しようとする課題】前述したように、画像
データの記憶・蓄積のためには高能率で画像データの圧
縮が行なえる高能率符号化方式が提案されており、また
画像データの表示、編集や加工のためにはこれに適した
画像記録形式が提案されている。しかしながら、これら
の２つの方式は全く異なった画像データ形式からなって
おり、両者のあいだには互換性がないという問題があ
る。圧縮された画像データを記録装置から取りだし、編
集加工に適した形式で操作するためには、これらの形式
を変換する必要があるが、圧縮された画像データを通常
の手続きに従って原画像の情報に復元し、階層化データ
に加工する場合、計算処理が複雑になって処理に時間が
かかり、また画像の劣化を伴う等の問題があるなどの欠
点がある。

【００１０】そこで、本発明の目的とするところは、簡
単な回路により、画質を損なわずに、かつ短い処理時間
内で画像データの変換を行なうことができる画像データ
の変換装置及び変換方法を提供することにある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る画像データの変換装置は、直交
変換と量子化と可変長符号化の過程により圧縮された画
像データに対して可変長符号の復号を行なう可変長符号
復号手段と、この可変長符号復号手段による復号結果に
基づいて、画素数に相当する量を算出する算出手段と、
この算出手段の算出値に基づいて一定の画素数おきに所
定の区切り符号を挿入する区切り符号挿入手段とを具備
する。

【００１２】また、第２の発明に係る画像データの変換
方法は、直交変換と量子化と可変長符号化の過程により
圧縮された画像データに対して可変長符号の復号を行な
う可変長符号復号工程と、この可変長符号復号工程にお
ける復号結果に基づいて、画素数に相当する量を算出す
る算出工程と、この算出工程での算出値に基づいて一定
の画素数おきに所定の区切り符号を挿入する区切り符号
挿入工程とを具備する。

【００１３】すなわち、本発明においては、まず、直交
変換と量子化と可変長符号化の過程により圧縮された画
像データに対して可変長符号の復号を行ない、このとき
の復号結果に基づいて、画素数に相当する量を算出す
る。そして、この算出工程での算出値に基づいて一定の
画素数おきに所定の区切り符号を挿入するようにしてい
る。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。図１は、本発明に係る画像デ
ータの変換装置を画像記録再生装置に適用した場合の構
成を示すブロック図である。図１に示すように、画像記
録再生装置１は、例えばメモリーカードからなる画像デ
ータ記録媒体２と、画像データ記録・読み出し部３と、
画像データ変換部４とを具備する。このような構成にお
いて、画像データ変換処理が行なわれる場合には、画像
データ記録媒体２から画像データ記録・読み出し部３を
介して圧縮された画像データファイルが読み出され、画
像データ変換部４に入力される。入力された画像データ
の形式が確認された後に、圧縮された画像データに対し
て画像データの形式に応じた可変長符号の復号が行なわ
れ、得られた復号データから画像データの画素数相当量
を算出した上で、所定の区切り符号を挿入する。この挿
入処理がなされた当該画像データは、画像データ記録・
読み出し部３を介して画像データ記録媒体２に再び記録
される。所定の区切り符号の挿入後は、原画像データ量
に対して数パーセントデータ量が増加する。従って、画
像が記録されていた元のメモリエリアに再記録できない
場合もある。この場合、画像データ記録・読み出し部３
は、画像データ記録媒体２上のデータ書き戻し領域の再
設定を行ない記録する。

【００１５】図２は本発明の第１実施形態に係る画像デ
ータ変換部４の構成を示す図であり、ファイル形式確認
回路１０と、バッファメモリ１１と、可変長符号復号器
１２と、符号計数回路１３と、符号挿入回路１４と、各
部の制御を行なう制御回路１５とを具備する。

【００１６】上記した構成において、入力された画像デ
ータは制御回路１５の制御のもとにまずファイル形式確
認回路１０においてそのファイル形式が確認される。Ｊ
ＰＥＧ方式（直交変換符号化と可変長符号化を組み合わ
せた静止画符号化国際標準）の場合では、所定の符号
（マーカーコード）が定められており、データの特性が
表現される。一つの画像に対する圧縮データはマーカー
コードＳＯＩとＥＯＩとにはさまれている。ＳＯＩの後
にはマーカーコードＳＯＦがおかれており、ここで画像
サイズやコンポーネント仕様、輝度信号と色差信号のサ
ンプル比等が示されている。またＳＯＦの前にマーカー
コードＡＰＰｎ（ｎは整数）がおかれている場合があ
り、想定されているアプリケーションに従って、コンポ
ーネント仕様や、輝度信号と色差信号のサンプル比等を
規定している画像データ形式（画像データ規格名称）が
表されている。さらに特定のアプリケーションにおいて
は、ＪＰＥＧの圧縮データに付属して独自のファイルヘ
ッダが定義され、圧縮データの前に記録されている。

【００１７】従ってファイル形式確認回路１０は、上記
のファイルヘッダや、ＡＰＰｎマーカー、あるいはＳＯ
Ｆマーカーのいずれかを調べることにより、コンポーネ
ント仕様や、輝度信号と色差信号のサンプリング比等の
情報を提供する画像データ形式を確認することができ
る。

【００１８】ファイル形式確認回路１０の最も重要な機
能は、画像データがどのようなファイル形式を有する
か、また、ファイル内の画像データ形式がいかなるコン
ポーネント仕様、どのような輝度信号と色差信号のサン
プリング比を有するかを検出することである。

【００１９】その後に、マーカーコードＳＯＳに続く圧
縮された画像データがバッファメモリ１１に読み込ま
れ、可変長符号復号器１２において可変長符号の復号が
おこなわれる。通常は、画像データのＤＨＴマーカーに
より可変長符号であるハフマン符号のテーブルが記録さ
れている。このハフマン符号テーブルに従ってハフマン
符号を復号することにより、量子化されたＤＣＴ変換係
数の直流成分ＤＣ(diffDC で表現されている) と交流成
分ＡＣとが得られる。この直流成分ＤＣはＤＣＴ変換が
行なわれる８×８画素のブロックごとに一つずつ得られ
るので、符号計数回路１３でこの個数を計数することに
よりどれだけの画素数の画像データに相当する箇所まで
復元されたかを知ることができる。

【００２０】今、カラー画像信号が輝度信号Ｙと色差信
号Ｃｒ、Ｃｂのコンポーネントにより表現され、各々の
色差信号は輝度信号Ｙに対して水平１／２、垂直１／２
にサブサンプルされて記録されているものとする（通常
この形式は４：２：０と呼ばれる）。また、各コンポー
ネントの記録順序としてインターリーブが行なわれてい
るものとする。これは、輝度信号の４ブロック（水平２
ブロック、垂直２ブロック）ごとに色差信号Ｃｒ１ブロ
ック、Ｃｂ１ブロックが組となって記録されているもの
である。これら６ブロックの組はＭＣＵと呼ばれる。

【００２１】図３は、上記した４：２：０インターリー
ブ方式のＭＣＵ構造を示す図である。上記したように階
層データ記録方式の画像タイルは64×64画素からなるた
め、圧縮画像データも水平64画素に相当する箇所で区切
り符号（マーカーコードＲＳＴ）を挿入することが望ま
しい。そこで、24個のＤＣ成分が得られた場合において
４個のＭＣＵが存在し、各ＭＣＵごとに水平２ブロック
（16画素）、垂直２ブロック（16画素）の輝度信号が得
られるので、符号挿入回路１４は、この４ＭＣＵの対応
した位置でマーカーコードＲＳＴを挿入する。色差信号
については水平32画素の位置となるが、これは階層デー
タ構造化の際に補間処理されて補われる。

【００２２】実際に４ＭＣＵごとにＲＳＴマーカーコー
ドの挿入処理を行うには、バッファメモリ１１に読み込
まれている圧縮データにおいて24個目のＤＣ成分までの
符号化データはそのまま変更することなく読みとばし、
25個目のＤＣ成分に相当するハフマン符号の直前を符号
計数回路１３により算出し、区切り位置とする。続いて
符号挿入回路１４によりＲＳＴマーカーを挿入するが、
ＲＳＴマーカーの始まりがバイトの境界と 一致するよ
うにするため、区切り位置がバイト境界でない場合には
ビット’１’の詰め込みによりバイトを完結させる操作
（ビットスタッフィング）を行なう。また、このビット
スタッフィングによりバイトデータＦＦが生成された場
合には、これをマーカーコードと区別するためにバイト
スタッフィング（００バイトの挿入）を行なう。それか
らマーカーコードＲＳＴを挿入する。

【００２３】以上の操作により最初の区切りデータ挿入
が終了したので、ここまでのデータをバッファメモリ１
１から画像データ記録媒体２に転送して画像データを書
き換える。その後次の圧縮データを新たにバッファメモ
リ１１に読み込む。そして可変長符号復号器１２におい
てハフマン符号が復号され、量子化されたＤＣＴ変換係
数の直流成分ＤＣと交流成分ＡＣとが得られる。ここで
得られる直流成分ＤＣは、前ブロックのＤＣ成分との差
分値となっているが、ここではＲＳＴマーカーが挿入さ
れているため、DPCMをリセットし、ブロックの直流成分
そのものを符号化し直して圧縮データとする。その後の
ＲＳＴが挿入されない輝度信号のブロックのＤＣに関し
てはこの操作は必要無いが、同じＭＣＵ内の最初の色差
信号ブロックのＤＣについては同様にDPCMをリセットす
る。

【００２４】以下、上記のように４ＭＣＵごとにＲＳＴ
マーカーコードの挿入、ビットスタッフィング、次のＤ
Ｃ成分のDPCMのリセットの操作を繰り返すことにより画
像データの変換が行なわれる。なお、上記の変換作業に
おいてバイト区切りの位置がずれることによりバイトデ
ータＦＦが生成された場合には、バイトスタッフィング
（００バイトの挿入）を行なう。また、上記のＲＳＴマ
ーカコードの追加に対応して圧縮画像ファイルデータの
ＲＳＴマーカーコードの定義を記録または変更する必要
がある。これは、ＳＯＩの後のＤＲＩマーカーコードの
内容を記録変更することにより行なわれる。また、上記
の変換操作によりファイルヘッダやアプリケーションマ
ーカーＡＰＰｎの内容に変更が生じる場合には、この変
更に対応してファイル内容を変更する。

【００２５】以上の処理により画像データの変換が行な
われるが、本実施形態によれば画像データの区切り位置
を見つけ、この部分に区切り符号を挿入するための最小
限のデータ形式変更を行なう。そのため、圧縮データを
一旦非圧縮データに復号し、再度区切りを入れて圧縮し
なおす場合のように直交変換や量子化による画像データ
の劣化が生じることなく変換が行なわれる。

【００２６】次に本発明の第２実施形態について説明す
る。第２実施形態では変換処理がプログラム可能な計算
装置上で行われるものとする。図５は本発明の第２実施
形態における変換処理の詳細を示すフローチャートであ
り、以下、これに従って変換処理の動作を説明する。

【００２７】まず、ステップＳ１において変換処理が開
始され、フロッピーディスク等の記録媒体に記録された
画像データは変換装置上のメモリに読み込まれ（ステッ
プＳ２）、まずそのファイル形式が確認される（ステッ
プＳ３）。ここでは、ファイルヘッダや、ＡＰＰｎマー
カー、あるいはＳＯＦマーカーのいずれかを調べること
により、ファイル形式や画像データの構成が確認され
る。また画像データサイズを確認し、変換処理により増
加するデータ量を算出する（ステップＳ４）。記録媒体
の空容量を確認し（ステップＳ５）、変換処理後のデー
タを記録する容量が無い場合にはそのメッセージを表示
して処理を停止する（ステップＳ１４）。また、空容量
が十分ある場合には可変長符号の復号を行なう。

【００２８】本実施形態では色差信号Ｃｒ、Ｃｂは輝度
信号Ｙに対して水平のみ１／２にサブサンプルされてイ
ンターリーブにより記録されているものとする。この形
式は４：２：２と呼ばれる。したがってＭＣＵは図４に
示すように、輝度信号Ｙの２ブロック（水平２ブロッ
ク）ごとに色差信号Ｃｒ１ブロック、Ｃｂ１ブロックの
計４ブロックから構成されている。上記したように階層
データ記録方式の画像タイルは64×64画素からなるた
め、圧縮画像データも水平64画素に相当する箇所で区切
り符号（マーカーコードＲＳＴ）を挿入することが望ま
しい。そこで、24個のＤＣ成分が得られた場合において
４個のＭＣＵが存在し、各ＭＣＵごとに水平２ブロック
（16画素）、垂直２ブロック（16画素）の輝度信号が得
られるのでこの４ＭＣＵの対応した位置でＲＳＴを挿入
する。

【００２９】まず可変長符号の復号を行い、直流成分Ｄ
Ｃと交流成分ＡＣとを得る（ステップＳ６）。次に、復
号されたブロック数をカウントすることにより（ステッ
プＳ７）、どれだけの画素数の画像データに相当する箇
所まで復元されたかを検出する。そして、16個目のＤＣ
とそれに引き続くＡＣ符号データはそのまま変更するこ
となく読みとばし、17個目のＤＣ成分に相当するハフマ
ン符号の直前を区切り位置としてＲＳＴマーカーを挿入
し（ステップＳ８）、ビットスタッフィングを行なう
（ステップＳ９）。次のＭＣＵの最初のブロックの直流
成分ＤＣはDPCMをリセットし（ステップＳ１０）、ブロ
ックの直流成分そのものを符号化し直して圧縮データと
する。以下、上記のように４ＭＣＵごとのＲＳＴマーカ
ーの挿入、ビットスタッフィング、次のＤＣ成分のDPCM
のリセットの操作を繰り返すことにより画像データの変
換が行なわれる。なお、上記の変換作業においてバイト
データＦＦが生成された場合にはバイトスタッフィング
を行なう（ステップＳ１１）。また、上記のＲＳＴマー
カの追加に対応して圧縮画像ファイルデータのＲＳＴの
定義を記録または変更する必要がある。ここではＳＯＩ
の後のＤＲＩマーカー、アプリケーションマーカーＡＰ
Ｐｎ、ファイルヘッダ内容の更新処理を行なって（ステ
ップＳ１２）、変換処理を終了する（ステップＳ１
３）。

【００３０】以上の処理により、記録媒体の空容量が必
要なだけ無い場合には処理が停止されるのでもとの圧縮
データが損なわれることはない。また空容量が十分ある
場合には最小限のデータ変更処理により画像データの劣
化が生じることなく高速に変換が行なわれる。

【００３１】

【発明の効果】本発明によれば、簡単な回路により、画
質を損なわずに、かつ短い処理時間内で画像データの変
換を行なうことができる。また、本発明の変換方法によ
り、これまで階層式画像データ形式への変換を考慮せず
に圧縮された多数の画像ファイルデータを劣化なく変換
することができるようになる。

【図面の簡単な説明】

【図１】本発明に係る画像データの変換装置を画像記録
再生装置に適用した場合の構成を示すブロック図であ
る。

【図２】本発明の第１実施形態に係る画像データ変換部
の構成を示す図である。

【図３】本発明の第１実施形態におけるＭＣＵの構造を
示す図である。

【図４】本発明の第２実施形態におけるＭＣＵの構造を
示す図である。

【図５】本発明の第２実施形態における変換処理の詳細
を示すフローチャートである。

【図６】高能率な画像データの圧縮方式を説明するため
の図である。

【図７】デジタル化された画像データをコンピュータ上
で編集加工するのに適した階層的構造かつタイル構造を
もつ画像データ記録形式について説明するための図であ
る。

【符号の説明】

１…画像記録再生装置、 ２…画像データ記録媒体、 ３…画像データ記録・読み出し部、 ４…画像データ変換部、 １０…ファイル形式確認回路、 １１…バッファメモリ、 １２…可変長符号復号器、 １３…符号計数回路、 １４…符号挿入回路、 １５…制御回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 直交変換と量子化と可変長符号化の過程
   により圧縮された画像データに対して可変長符号の復号
   を行なう可変長符号復号手段と、 この可変長符号復号手段による復号結果に基づいて、画
   素数に相当する量を算出する算出手段と、 この算出手段の算出値に基づいて一定の画素数おきに所
   定の区切り符号を挿入する区切り符号挿入手段と、を具
   備することを特徴とする画像データの変換装置。
2. 【請求項２】 直交変換と量子化と可変長符号化の過程
   により圧縮された画像データに対して可変長符号の復号
   を行なう可変長符号復号工程と、 この可変長符号復号工程における復号結果に基づいて、
   画素数に相当する量を算出する算出工程と、 この算出工程での算出値に基づいて一定の画素数おきに
   所定の区切り符号を挿入する区切り符号挿入工程と、を
   具備することを特徴とする画像データの変換方法。