JPH1146372A - 画像符号化装置及び画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像データの性質に応じた柔軟な符号化
処理を可能とする。また、各成分のサイズが異なる場合
や、各成分のサブバンド分割数が異なる場合であって
も、効率のよいプログレッシブ伝送を可能とする。 【解決手段】 転送順序決定／並び替え部１０４は、サ
ブバンド単位、周波数係数単位で各成分Ｙ，Ｕ，Ｖの要
素を組み合わせて、成分統合単位を作成する。また、成
分Ｙ，Ｕ，Ｖ毎に組み合わせる要素の数を可変する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する画像
符号化装置及びこの画像符号化装置で作成された符号化
データを復号する画像復号装置に関するものである。

【０００２】

【従来の技術】近年、画像の高能率符号化及び復号方式
として、サブバンド符号化方式が提案されている。サブ
バンド符号化方式では、図１７（ａ）に示す帯域分割フ
ィルタバンクによって、入力画像を図１７（ｂ）に示す
ような周波数帯域に分割する方式が、符号化効率の高い
方式として一般に知られている。図１７（ａ）は１次元
の帯域分割フィルタであるが、この処理を水平、垂直方
向に繰り返し行うことによって、２次元の帯域分割フィ
ルタが得られる。このような方式は、例えば「藤井、能
村 ”Ｗａｖｅｌｅｔ変換について”、電子情報通信学
会技術報告 ＩＥ９２−１１（１９９２）」に記載され
ている。

【０００３】図１７（ｂ）は入力信号に対し、３回の２
次元サブバンド分割を行って得たサブバンド画像であ
る。１回目の分割による水平方向高域かつ垂直方向低域
をＨＬ１、水平方向低域かつ垂直方向高域をＬＨ１、水
平方向高域かつ垂直方向高域をＨＨ１としている。また
水平方向低域かつ垂直方向低域に対しては、２回目の２
次元サブバンド分割を行って前述と同様に帯域ＨＬ２、
ＬＨ２、ＨＨ２を得る。

【０００４】２回目の分割による水平方向低域かつ垂直
方向低域に対しては、３回目の２次元サブバンド分割を
行って前述と同様に帯域ＨＬ３、ＬＨ３、ＨＨ３を得、
また水平方向低域かつ垂直方向低域はＬＬ３とする。な
お、帯域分割用のフィルタバンクとしては、ウェーブレ
ット変換用フィルタバンク、サブバンド分割合成フィル
タバンクなどを用いることができる。このようにサブバ
ンド分割された画像は低周波数帯域から高周波数帯域へ
の階層構造をもっている。

【０００５】このサブバンド分割された画像のもつ階層
構造を利用して、プログレッシブ画像伝送を容易に行う
ことができる。プログレッシブ画像伝送とは、図１８に
示すように画像復号装置が符号化データの１部のみを使
って低い解像度の画像を再生できる機能であり、より多
くの符号化データが復号できれば画像はより高い解像度
で再生でき、表示することができる。このプログレッシ
ブ画像伝送を実現するために、例えば特開平８−２４２
３７９号公報（以後、従来方式と呼ぶ）では、図１９、
図２０に示すような構成をとっている。

【０００６】図１９に従来方式を用いた画像符号化装置
を、図２０に従来方式を用いた画像復号装置を示す。図
１９の２００１は２次元分割フィルタによってサブバン
ド分割するサブバンド分割部、２００２は分割されたサ
ブバンド画像係数を符号化する係数符号化部、２００３
は係数符号化部２００２で符号化された係数符号化デー
タを可変長符号化する可変長符号化部、２００４は各サ
ブバンドを１ライン毎に画像を構成する複数個の成分を
まとめて転送するライン転送部である。係数符号化部２
００２で行う符号化方法としては、ＤＰＣＭ、ゼロツリ
ー符号化、スカラー量子化等、様々な方法を使うことが
でき、また量子化処理も含む。

【０００７】次に、ライン転送部２００４について詳細
に説明する。ここでは、図１７（ｂ）に示すように入力
画像に対し３回のサブバンド分割を施した場合について
述べる。また一例として、輝度成分（Ｙ）と色成分
（Ｕ，Ｖ）の３成分からなる画像を用いて説明する。ま
ず、図１７（ｂ）の最低解像度を与えるサブバンドＬＬ
３から処理を始める。

【０００８】図２１に示すように、各成分Ｙ、Ｕ、Ｖを
ＬＬ３の第１ラインから順番に転送する。ＬＬ３のすべ
てのラインの転送が終了すると、次は各成分Ｙ、Ｕ、Ｖ
をＬＨ３、ＨＬ３、ＨＨ３の第１ラインから順番に転送
する。転送はＹのＬＨ３、ＨＬ３、ＨＨ３の第１ライ
ン、ＵのＬＨ３、ＨＬ３、ＨＨ３の第１ライン、ＶのＬ
Ｈ３、ＨＬ３、ＨＨ３の第１ライン、ＹのＬＨ３、ＨＬ
３、ＨＨ３の第２ライン、ＵのＬＨ３、ＨＬ３、ＨＨ３
の第２ライン、ＶのＬＨ３、ＨＬ３、ＨＨ３の第２ライ
ン、．．．の順となる。ＬＨ３、ＨＬ３、ＨＨ３をすべ
て転送し終わると、同様の方法でＬＨ２、ＨＬ２、ＨＨ
２を転送し、さらにＬＨ１、ＨＬ１、ＨＨ１を転送す
る。図２２はライン転送部２００４の一連の処理を示す
フローチャートである。

【０００９】このように、画像を構成する各成分Ｙ、
Ｕ、Ｖを１ラインづつ順番に転送することによって、階
層構造をもつ符号化データを作ることができる。

【００１０】次に、復号側であるが、図２０の２１０４
は前記ライン転送部２００４で並び替えた符号化データ
を受信し、各成分毎にまとめたデータに並び替えるライ
ン受取部、２１０１は符号化データを可変長復号する可
変長復号部、２１０２は可変長復号部２１０１で復号さ
れた符号化データのビット数をカウントする復号データ
カウント部、２１０３はあらかじめ与えられたしきい値
あるいは外部から指定されたしきい値と、復号データカ
ウント部２１０２でカウントされた復号ビット数とを比
較して、後者が前者を超えた時点で可変長復号部２１０
１での復号処理を止める信号を出力する復号打切部、２
１０５は指定されたビット数で符号化データの復号を中
止したときに、不足するデータを０で代用してデータを
補うデータ補足部、２１０６は前記係数符号化部２００
２で施した処理と逆の処理を行う係数復号部、２１０７
は２次元合成フィルタによってサブバンド合成するサブ
バンド合成部である。

【００１１】このような画像復号装置を用いることによ
り、階層構造をもつ符号化データあるいはその１部から
画像全体を再生することができる。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術では、画像を構成する成分を低解像度のサブ
バンドから１ライン毎に順番に転送するため、プログレ
ッシブな画像伝送が可能である反面、転送の単位が１ラ
インと固定されていることによって、いくつかの不都合
が生じる。例えば、画像を構成する成分が輝度成分Ｙと
色成分Ｕ，Ｖとである場合には、Ｙ成分の概要を初期に
転送した方が、Ｕ，Ｖを一緒に転送するよりも画像全体
の概要を早いうちに把握することができる。

【００１３】このような場合には、転送の単位を１ライ
ンとするよりもサブバンド単位とした方が都合がよい。
また、例えば画像を構成する成分がＲ、Ｇ、Ｂである場
合には、各成分の視覚特性への影響にあまり差がないの
で、１ライン毎に転送するよりも１係数毎にＲ、Ｇ、Ｂ
を転送した方が復号画像の主観的画質がよい。

【００１４】また、上記従来技術では、画像を構成する
各成分のサイズがすべて同じ場合を想定しているが、現
在、画像符号化の入力画像として一般に使われている画
像は４：２：２、４：２：０などのフォーマットで、各
成分のサイズが異なるものも多く、上記従来技術ではこ
れらの場合に対応することはできない。

【００１５】さらに、上記従来技術では、画像を構成す
る各成分におけるサブバンドの分割数がすべて同じ場合
を想定しており、各成分のサブバンド分割数が異なる場
合にも対応することができない。

【００１６】本発明の目的は、以上のような従来技術の
もつ問題点を解決し、より効果的なプログレッシブ伝送
を行うための技術を提供することである。

【００１７】

【課題を解決するための手段】本願請求項１に記載の画
像符号化装置は、画像を構成するＮ（Ｎ≧２）種類の輝
度あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
分割手段と、前記サブバンド分割した画像の周波数係数
を符号化する係数符号化手段と、前記係数符号化手段で
作成した係数符号化データから、各成分Ａⁿに含まれる
周波数係数を組み合わせて成分統合単位を作成し、解像
度の低いサブバンドの係数符号化データを含む成分統合
単位から順番に並べる並び替え手段と、前記並び替えた
係数符号化データを可変長符号化する可変長符号化手段
とを備えた画像符号化装置であって、前記各成分Ａⁿの
サイズが等しく、かつサブバンド分割数が等しい場合、
前記並び替え手段は、前記各成分Ａⁿに含まれる周波数
係数を、ｍ（ｍ≧１）個のサブバンドに含まれる全ての
周波数係数として、前記成分統合単位を作成することを
特徴とする。

【００１８】また、本願請求項７に記載の画像復号装置
は、符号化データを可変長復号する可変長復号手段と、
前記可変長復号手段で復号された成分統合単位のビット
数をカウントする復号データカウント手段と、外部から
与えられた指定ビット数と前記復号データカウント手段
でカウントされたビット数とを比較し、復号された符号
化データのビット数が指定ビット数を超えた場合に、そ
の時点で復号を打切る命令を出す復号打切手段と、前記
成分統合単位を各成分Ａⁿ毎に分離する成分分離手段
と、復号を途中で打ち切った場合に不足したデータを所
定の値で置き換え、各成分Ａⁿの１画面分のデータを補
うデータ補足手段と、前記成分分離手段で分離した係数
符号化データを各成分Ａⁿ毎にまとめて所定の位置に配
置する配置手段と、前記成分分離手段で分離した係数符
号化データを各々復号する係数復号手段と、前記係数復
号手段で復号したデータを成分Ａⁿ毎にサブバンド合成
し、復号画像を再生するサブバンド合成手段とを備えた
画像復号装置であって、前記各成分Ａⁿのサイズが等し
く、かつサブバンド分割数が等しい場合、前記成分分離
手段は、前記成分統合単位を前記各成分Ａⁿに含まれる
ｍ（ｍ≧１）個のサブバンド内の全ての周波数係数を組
み合わせたものとして分離することを特徴とする。

【００１９】これによって、成分統合単位の要素を各成
分Ａⁿに含まれるｍ（ｍ≧１）個のサブバンド内の全て
の周波数係数としているため、各成分Ａⁿが視覚特性へ
の影響に差があるＹ，Ｕ，Ｖであるような場合、特定の
サブバンドを初期に転送することができるため、画像全
体の概要を早い段階で把握することが可能となる。ま
た、あらかじめ符号化する画像がどの方向に解像度が高
いか分かっている場合には、解像度が高い方向のサブバ
ンドの係数を先に転送し、復号側でも早く再生すること
ができるため、符号化データの途中で復号を打ち切り、
この時点までに復号したデータのみから再生した復号途
中の画像の主観的画質をより向上させることが可能であ
る。

【００２０】本願請求項２に記載の画像符号化装置は、
画像を構成するＮ（Ｎ≧２）種類の輝度あるいは色成分
を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整数）とし、成分Ａⁿ
毎にサブバンド分割するサブバンド分割手段と、前記サ
ブバンド分割した画像の周波数係数を符号化する係数符
号化手段と、前記係数符号化手段で作成した係数符号化
データから、各成分Ａⁿに含まれる周波数係数を組み合
わせて成分統合単位を作成し、解像度の低いサブバンド
の係数符号化データを含む成分統合単位から順番に並べ
る並び替え手段と、前記並び替えた係数符号化データを
可変長符号化する可変長符号化手段とを備えた画像符号
化装置であって、前記各成分Ａⁿのサイズが等しく、か
つサブバンド分割数が等しい場合、前記並び替え手段
は、前記各成分Ａⁿに含まれる周波数係数を、ｍ（ｍ≧
１）個のサブバンド内の相対位置が同じｍ個の周波数係
数として、前記成分統合単位を作成することを特徴とす
る。

【００２１】また、本願請求項８に記載の画像復号装置
は、符号化データを可変長復号する可変長復号手段と、
前記可変長復号手段で復号された成分統合単位のビット
数をカウントする復号データカウント手段と、外部から
与えられた指定ビット数と前記復号データカウント手段
でカウントされたビット数とを比較し、復号された符号
化データのビット数が指定ビット数を超えた場合に、そ
の時点で復号を打切る命令を出す復号打切手段と、前記
成分統合単位を各成分Ａⁿ毎に分離する成分分離手段
と、復号を途中で打ち切った場合に不足したデータを所
定の値で置き換え、各成分Ａⁿの１画面分のデータを補
うデータ補足手段と、前記成分分離手段で分離した係数
符号化データを各成分Ａⁿ毎にまとめて所定の位置に配
置する配置手段と、前記成分分離手段で分離した係数符
号化データを各々復号する係数復号手段と、前記係数復
号手段で復号したデータを成分Ａⁿ毎にサブバンド合成
し、復号画像を再生するサブバンド合成手段とを備えた
画像復号装置であって、前記各成分Ａⁿのサイズが等し
く、かつサブバンド分割数が等しい場合、前記成分分離
手段は、前記成分統合単位を前記各成分Ａⁿに含まれる
ｍ（ｍ≧１）個のサブバンド内の相対位置が同じｍ個の
周波数係数を組み合わせたものとして分離することを特
徴とする。

【００２２】これによって、成分統合単位の要素を各成
分Ａⁿに含まれるｍ（ｍ≧１）個のサブバンド内の相対
位置が同じｍ個の周波数係数としているため、各成分Ａ
ⁿが視覚特性への影響に差が少ないＲ，Ｇ，Ｂであるよ
うな場合、符号化データの途中で復号を打ち切り、この
時点までに復号したデータのみから再生した復号途中の
画像の主観的画質をより向上させることが可能である。

【００２３】本願請求項３に記載の画像符号化装置は、
画像を構成するＮ（Ｎ≧２）種類の輝度あるいは色成分
を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整数）とし、成分Ａⁿ
毎にサブバンド分割するサブバンド分割手段と、前記サ
ブバンド分割した画像の周波数係数を符号化する係数符
号化手段と、前記係数符号化手段で作成した係数符号化
データから、各成分Ａⁿに含まれる周波数係数を組み合
わせて成分統合単位を作成し、解像度の低いサブバンド
の係数符号化データを含む成分統合単位から順番に並べ
る並び替え手段と、前記並び替えた係数符号化データを
可変長符号化する可変長符号化手段とを備えた画像符号
化装置であって、前記各成分Ａⁿのサイズが異なり、か
つサブバンド分割数が等しい場合、前記並び替え手段
は、前記各成分Ａⁿに含まれる周波数係数の個数を、該
各成分Ａⁿのサイズに応じて設定し、前記成分統合単位
を作成することを特徴とする。

【００２４】また、本願請求項９に記載の画像復号装置
は、符号化データを可変長復号する可変長復号手段と、
前記可変長復号手段で復号された成分統合単位のビット
数をカウントする復号データカウント手段と、外部から
与えられた指定ビット数と前記復号データカウント手段
でカウントされたビット数とを比較し、復号された符号
化データのビット数が指定ビット数を超えた場合に、そ
の時点で復号を打切る命令を出す復号打切手段と、前記
成分統合単位を各成分Ａⁿ毎に分離する成分分離手段
と、復号を途中で打ち切った場合に不足したデータを所
定の値で置き換え、各成分Ａⁿの１画面分のデータを補
うデータ補足手段と、前記成分分離手段で分離した係数
符号化データを各成分Ａⁿ毎にまとめて所定の位置に配
置する配置手段と、前記成分分離手段で分離した係数符
号化データを各々復号する係数復号手段と、前記係数復
号手段で復号したデータを成分Ａⁿ毎にサブバンド合成
し、復号画像を再生するサブバンド合成手段とを備えた
画像復号装置であって、前記各成分Ａⁿのサイズが異な
り、かつサブバンド分割数が等しい場合、前記成分分離
手段は、前記成分統合単位を前記各成分Ａⁿに含まれる
サイズに応じた個数の周波数係数を組み合わせたものと
して分離することを特徴とする。

【００２５】これによって、輝度、色などの各成分Ａⁿ
の解像度が異なる場合にも対応することができ、上述し
た従来例のように各成分の解像度が同じ場合にしか対応
できないものに対して大きな利点がある。特に、通常の
ディジタル画像フォーマットは、輝度成分の解像度を色
成分の解像度より高くしたものが広く用いられているた
め、このような通常のディジタル画像フォーマットに適
応できることは、極めて有効である。

【００２６】本願請求項４に記載の画像符号化装置は、
画像を構成するＮ（Ｎ≧２）種類の輝度あるいは色成分
を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整数）とし、成分Ａⁿ
毎にサブバンド分割するサブバンド分割手段と、前記サ
ブバンド分割した画像の周波数係数を符号化する係数符
号化手段と、前記係数符号化手段で作成した係数符号化
データから、各成分Ａⁿに含まれるサブバンドを組み合
わせて成分統合単位を作成し、解像度の低いサブバンド
の係数符号化データを含む成分統合単位から順番に並べ
る並び替え手段と、前記並び替えた係数符号化データを
可変長符号化する可変長符号化手段とを備えた画像符号
化装置であって、前記各成分Ａⁿのサイズが異なり、か
つサブバンド分割数が異なる場合、前記並び替え手段
は、解像度が低いサブバンドから各成分Ａⁿのサブバン
ドを同数ずつ組み合わせるとともに、解像度が高いサブ
バンドでは各成分Ａⁿで異なる数のサブバンドを組み合
わせることにより、前記成分統合単位を作成することを
特徴とする。

【００２７】また、本願請求項１０に記載の画像復号装
置は、符号化データを可変長復号する可変長復号手段
と、前記可変長復号手段で復号された成分統合単位のビ
ット数をカウントする復号データカウント手段と、外部
から与えられた指定ビット数と前記復号データカウント
手段でカウントされたビット数とを比較し、復号された
符号化データのビット数が指定ビット数を超えた場合
に、その時点で復号を打切る命令を出す復号打切手段
と、前記成分統合単位を各成分Ａⁿ毎に分離する成分分
離手段と、復号を途中で打ち切った場合に不足したデー
タを所定の値で置き換え、各成分Ａⁿの１画面分のデー
タを補うデータ補足手段と、前記成分分離手段で分離し
た係数符号化データを各成分Ａⁿ毎にまとめて所定の位
置に配置する配置手段と、前記成分分離手段で分離した
係数符号化データを各々復号する係数復号手段と、前記
係数復号手段で復号したデータを成分Ａⁿ毎にサブバン
ド合成し、復号画像を再生するサブバンド合成手段とを
備えた画像復号装置であって、前記各成分Ａⁿのサイズ
が異なり、かつサブバンド分割数が異なる場合、前記成
分分離手段は、前記成分統合単位を解像度が低いサブバ
ンドから各成分Ａⁿのサブバンドを同数ずつ組み合わせ
るとともに、解像度が高いサブバンドでは各成分Ａⁿで
異なる数のサブバンドを組み合わせたものとして分離す
ることを特徴とする。

【００２８】これによって、輝度、色などの各成分Ａⁿ
の解像度が異なる場合であって、サブバンド分割数が各
成分Ａⁿで異なる場合にも対応することができ、上述し
た従来例のように各成分の解像度及びサブバンド分割数
が同じ場合にしか対応できないものに対して大きな利点
がある。特に、通常のディジタル画像フォーマットは、
輝度成分の解像度を色成分の解像度より高くしたものが
広く用いられており、各成分の解像度に応じてサブバン
ド分割数を変えることが一般的に行われているため、こ
のような通常のディジタル画像フォーマットに適応でき
ることは、極めて有効である。

【００２９】本願請求項５に記載の画像符号化装置は、
画像を構成するＮ（Ｎ≧２）種類の輝度あるいは色成分
を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整数）とし、成分Ａⁿ
毎にサブバンド分割するサブバンド分割手段と、前記サ
ブバンド分割した画像の周波数係数を符号化する係数符
号化手段と、前記係数符号化手段で作成した係数符号化
データから、各成分Ａⁿに含まれるサブバンドを組み合
わせて成分統合単位を作成し、解像度の低いサブバンド
の係数符号化データを含む成分統合単位から順番に並べ
る並び替え手段と、前記並び替えた係数符号化データを
可変長符号化する可変長符号化手段とを備えた画像符号
化装置であって、前記各成分Ａⁿのサイズが異なり、か
つサブバンド分割数が異なる場合、前記並び替え手段
は、解像度が高いサブバンドから各成分Ａⁿのサブバン
ドを同数ずつ組み合わせるとともに、解像度が低いサブ
バンドでは各成分Ａⁿで異なる数のサブバンドを組み合
わせることにより、前記成分統合単位を作成することを
特徴とする。

【００３０】また、本願請求項１１に記載の画像復号装
置は、符号化データを可変長復号する可変長復号手段
と、前記可変長復号手段で復号された成分統合単位のビ
ット数をカウントする復号データカウント手段と、外部
から与えられた指定ビット数と前記復号データカウント
手段でカウントされたビット数とを比較し、復号された
符号化データのビット数が指定ビット数を超えた場合
に、その時点で復号を打切る命令を出す復号打切手段
と、前記成分統合単位を各成分Ａⁿ毎に分離する成分分
離手段と、復号を途中で打ち切った場合に不足したデー
タを所定の値で置き換え、各成分Ａⁿの１画面分のデー
タを補うデータ補足手段と、前記成分分離手段で分離し
た係数符号化データを各成分Ａⁿ毎にまとめて所定の位
置に配置する配置手段と、前記成分分離手段で分離した
係数符号化データを各々復号する係数復号手段と、前記
係数復号手段で復号したデータを成分Ａⁿ毎にサブバン
ド合成し、復号画像を再生するサブバンド合成手段とを
備えた画像復号装置であって、前記各成分Ａⁿのサイズ
が異なり、かつサブバンド分割数が異なる場合、前記成
分分離手段は、前記成分統合単位を解像度が高いサブバ
ンドから各成分Ａⁿのサブバンドを同数ずつ組み合わせ
るとともに、解像度が低いサブバンドでは各成分Ａⁿで
異なる数のサブバンドを組み合わせたものとして分離す
ることを特徴とする。

【００３１】これによって、輝度、色などの各成分Ａⁿ
の解像度が異なる場合であって、サブバンド分割数が各
成分Ａⁿで異なる場合にも対応することができ、上述し
た従来例のように各成分の解像度及びサブバンド分割数
が同じ場合にしか対応できないのものに対して大きな利
点がある。さらに、１つの成分統合単位に含まれる各成
分Ａⁿの個数の比が常に入力画像と同じとなるため、復
号側でディスプレイの解像度に応じたデータ量のみの復
号を行うときに、冗長なデータを復号する必要をなくす
ことができる。

【００３２】本願請求項６に記載の画像符号化装置は、
前記請求項５に記載の画像符号化装置において、前記並
び替え手段は、前記解像度の低いサブバンドのうち、各
成分Ａⁿの解像度が最も低いサブバンドを１つずつ組み
合わせ、該解像度が最も低いサブバンドを除くサブバン
ドでは各成分Ａⁿで異なる数のサブバンドを組み合わせ
ることにより、前記成分統合単位を作成することを特徴
とする。

【００３３】また、本願請求項１２に記載の画像復号装
置は、前記請求項１１に記載の画像復号装置において、
前記成分分離手段は、前記成分統合単位を前記解像度が
低いサブバンドのうち、解像度が最も低いサブバンドを
１つずつ組み合わせ、該解像度が最も低いサブバンドを
除くサブバンドでは各成分Ａⁿで異なる数のサブバンド
を組み合わせたものとして分離することを特徴とする。

【００３４】これによって、各成分Ａⁿの最低解像度の
サブバンドを分離して最初に転送するため、画像の概要
をより早く把握することができ、画像の主観的画質を向
上させることも可能となる。

【００３５】

【発明の実施の形態】以下、図面を参照して、本発明の
画像符号化装置及び画像復号装置の実施の形態を詳細に
説明する。

【００３６】図１は本発明の第１の実施の形態の画像符
号化装置を示すブロック図である。同図で１０１はサブ
バンド分割部（サブバンド分割手段）、１０２は係数符
号化部（係数符号化手段）、１０３は可変長符号化部
（可変長符号化手段）であり、各々図１９とともに上述
したサブバンド分割部２００１、係数符号化部２００
２、可変長符号化部２００３と同じ構成である。

【００３７】図１の１０４は係数符号化部１０２で作成
した係数符号化データから輝度あるいは色成分の要素を
組み合わせて成分統合単位を作成し、解像度の低いサブ
バンドの係数符号化データを含む成分統合単位から順番
（転送順）に並べる転送順序決定／並び替え部（並び替
え手段）である。尚、上記従来例では係数符号化データ
を可変長符号化してから転送順序に従ってデータの並び
替えを行っているが、本実施形態では転送順序に従って
係数符号化データの並び替えを行ってから可変長符号化
を行う。

【００３８】このようにすることで、可変長符号化方式
としてハフマン符号化のようなものだけでなく、算術符
号化なども使うことができる。ただし、本発明は後述す
るようにデータの並び替えにも特徴があり、構成として
は、上記従来例のように係数符号化データを可変長符号
化してから転送順序に従ってデータの並び替えることも
可能である。以下の説明では、一例として、上記従来例
と同じように、輝度成分Ｙと色成分Ｕ，Ｖとの３種類
（Ｎ＝３）の成分から構成される画像を用いる。また、
本発明の第１の実施の形態においては、各成分Ｙ、Ｕ、
Ｖの解像度すなわち画像サイズは同じ場合である。

【００３９】成分統合単位は上述したとおり係数符号化
データから各成分Ｙ、Ｕ、Ｖの要素を組み合わせて作成
するのであるが、まず、成分統合単位を各成分Ｙ、Ｕ、
Ｖに含まれるサブバンドとした場合について述べる。

【００４０】図３は各成分Ｙ、Ｕ、Ｖに対し３回のサブ
バンド分割を行ったサブバンド画像係数である。また、
各成分Ｙ、Ｕ、Ｖの画像サイズは同じである。図４、図
５は図３に示すサブバンド画像係数の転送順序を示した
もので、Ｙ、Ｕ、Ｖの添え字は各成分のサブバンドの転
送順序を表している。

【００４１】第１の実施の形態の場合、成分統合単位を
サブバンドとしているので、成分統合単位は図４、図５
における各成分の同じ解像度をもつサブバンドの組 （Ｙ_i，Ｕ_i，Ｖ_i） ｉ＝１〜１０（サ
ブバンドの転送順序） となり、転送される順序は （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｕ₂，Ｖ₂），．．．，（Ｙ
₁₀，Ｕ₁₀，Ｖ₁₀） となる。図４では水平方向の解像度が高い係数が先に転
送されるが、図５では垂直方向の解像度が高い係数が先
に転送される。従って、復号側では図４の場合は水平方
向、図５の場合は垂直方向の解像度が先に向上する。

【００４２】この時、サブバンド内の係数の処理の順番
としては、図６に示したようなものがある。図６（１）
はサブバンドを左上から右下に水平方向にスキャンする
もの、図６（２）はサブバンドを左上から右下に垂直方
向にスキャンするもの、図６（３）はサブバンドの中心
から外側に向かって渦巻き状にスキャンするものであ
る。また、図６（１）〜（３）の各（ａ）はサブバンド
の係数を１回のスキャンで処理するもの、図６（１）〜
（３）の各（ｂ）、（ｃ）はサブバンドの係数を２回の
スキャンで処理するものである。

【００４３】図６（１）〜（３）の（ｃ）における矢印
は、１もしくは複数（ｔ）個の係数のグループを表し、
矢印の方向にｔ個の係数を転送し、次のｔ個の係数は転
送せず、さらに次のｔ個の係数を転送する処理を繰り返
し、１回目のスキャン（実線矢印）終了後、２回目のス
キャン（破線矢印）で転送していない残りの係数を処理
する例である。

【００４４】また、図６（４），（５）に示すように、
サブバンドの係数を３回以上のスキャンで処理すること
もできる。例えば、ｎ回目のスキャンで処理をする係数
間の水平、垂直方向の間隔をｄｘ、ｄｙとする。ｄｘ＝
ｄｙ＝１のときは、１回のラスタースキャンで全係数を
符号化する場合に当たる。ｄｘ＝ｄｙ＝２のときは、符
号化する係数の水平、垂直方向の位置を（ｙ，ｘ）とす
ると、１回目のスキャンで、 （０，１），（０，２），（０，４）．．．（２，
０），（２，２），（２，４）．．．（４，０），
（４，２），（４，４）．．． の位置の係数を符号化し、２回目のスキャンで、 （０，１），（０，３），（０，５）．．．（２，
１），（２，３），（２，５）．．．（４，１），
（４，３），（４，５）．．． の位置の係数を符号化する。

【００４５】さらに、３回目のスキャンで、 （１，０），（１，２），（１，４）．．．（３，
０），（３，２），（３，４）．．．（５，０），
（５，２），（５，４）．．． の位置の係数を符号化し、４回目のスキャンで、 （１，１），（１，３），（１，５）．．．（３，
１），（３，３），（３，５）．．．（５，１），
（５，３），（５，５）．．． の位置の係数を符号化する。つまり、４回のスキャンで
全係数を符号化することになる。

【００４６】これを一般化（ｄｘ＝ＤＸ，ｄｙ＝ＤＹ）
すると、図６（１）の場合は、図６（４）に示すよう
に、１回目のスキャンで、 （０，０），（０，ＤＸ），（０，２＊ＤＸ）．．． ２回目のスキャンで、 （０，１），（０，ＤＸ＋１），（０，２＊ＤＸ＋
１）．．． ３回目のスキャンで、 （０，２），（０，ＤＸ＋２），（０，２＊ＤＸ＋
２）．．． の位置の係数を符号化する。

【００４７】同様に、ＤＸ回目のスキャンで、 （０，ＤＸ−１），（０，２＊ＤＸ−１），（０，３＊
ＤＸ−１）．．． （ＤＸ＋１）回目のスキャンで、 （１，０），（１，ＤＸ），（１，２＊ＤＸ）．．． （ＤＸ＋２）回目のスキャンで、 （１，１），（１，ＤＸ＋１），（１，２＊ＤＸ＋
１）．．． ．．．．． （ＤＸ＊ＤＹ）回目のスキャンで、 （ＤＹ−１，ＤＸ−１），（ＤＹ−１，２＊ＤＸ−
１），（ＤＹ−１，３＊ＤＸ−１）．．．（２＊ＤＹ−
１，ＤＸ−１），（２＊ＤＹ−１，２＊ＤＸ−１），
（２＊ＤＹ−１，３＊ＤＸ−１）．．． の位置の係数を符号化する。

【００４８】つまり、（ＤＸ＊ＤＹ）回のスキャンで全
係数を符号化することになる。なお、図６（２）は図６
（１）における水平、垂直方向を逆にしたものであり、
水平、垂直方向の間隔を（ｄｘ＝ＤＸ，ｄｙ＝ＤＹ）と
すると、図６（５）に示すようなスキャンで処理するこ
とが可能である。

【００４９】以上のように、各サブバンドにおいて係数
を間隔をあけて符号化することにより、左上からのラス
タスキャンを行うものに比べて、復号の初期の段階で画
像の概要を把握することが可能となる。また、復号画像
の画質向上の度合いも全体的に除々に向上するため、主
観的によい印象を与えることができる。

【００５０】次に、成分統合単位の要素が各成分に含ま
れる複数個のサブバンドからなる例について説明する。
図７は図３に示すサブバンド画像係数の別の転送順序を
示したものであり、サブバンド画像を同図（ｂ）に示す
ように４階層で符号化する例である。図７（ｂ）におけ
るＹ₂、Ｙ₃、Ｙ₄、Ｕ₂、Ｕ₃、Ｕ₄、Ｖ₂、Ｖ₃、Ｖ₄は、
図７（ａ）に示すように各々３つ（ｍ＝３）のサブバン
ドから成る。

【００５１】すなわち、図７（ａ）に示す３つのサブバ
ンド（サブバンド１、サブバンド２、サブバンド３）が
成分統合単位の１要素に相当する。この３つのサブバン
ドをまとめて１つ要素として扱うため、図７（ｃ）に示
すように３つのサブバンド内の相対位置が同じ３個の係
数を１つのセットにして扱っている。

【００５２】つまり、図７に示す例では、３つのサブバ
ンドで各々同じ相対位置にある３個の係数 （Ｙ_HL1の係数，Ｙ_LH1の係数，Ｙ_HH1の係数） を１つの （Ｙ₄の係数） と考え、図７（ｂ）の各階層において、図６とともに上
述したスキャン順序でＹ成分を転送した後、同様にＵ成
分、さらにＶ成分を転送する。この時、符号化側では水
平、垂直、斜め方向の同じレベルの解像度のサブバンド
画像係数がまとめて転送され、復号側では、水平、垂
直、斜め方向の解像度が同時に向上する。

【００５３】また、３つのサブバンドを１つのものとし
て扱う別の方法として、サブバンド１を完全に転送して
からサブバンド２を転送し、これを転送し終わってから
サブバンド３を転送する方法がある。すなわち、図７の
例では、図６に示すスキャン順序でＹ成分のサブバンド
１を転送し、次に同様のスキャン順序でＹ成分のサブバ
ンド２を転送し、さらに同様のスキャン順序でＹ成分の
サブバンド３を転送する。引き続き、Ｕ成分のサブバン
ド１、サブバンド２、サブバンド３をＹ成分と同様のス
キャン順序で転送し、最後にＶ成分のサブバンド１、サ
ブバンド２、サブバンド３をＹ成分と同様のスキャン順
序で転送する。

【００５４】従って、成分統合単位は、 （Ｙ成分のサブバンド１，Ｙ成分のサブバンド２，Ｙ成
分のサブバンド３，Ｕ成分のサブバンド１，Ｕ成分のサ
ブバンド２，Ｕ成分のサブバンド３，Ｖ成分のサブバン
ド１，Ｖ成分のサブバンド２，Ｖ成分のサブバンド３） となる。このとき、復号側では、水平、垂直、斜め方向
の順に解像度が向上するが、３つのサブバンドを、 （サブバンド２，サブバンド１，サブバンド３） の順に転送すれば、復号側では、垂直、水平、斜め方向
の順に解像度が向上する。

【００５５】以上いくつかのサブバンド係数の転送順序
の例を示したが、あらかじめ符号化する画像がどの方向
に解像度が高いか分かっている場合には、解像度が高い
方向を先に転送し、復号側でも早く再生できるように転
送順序を変更することによって、復号途中の画質をより
向上させることができる。この場合は、どの転送順序で
符号化するかを復号側に知らせるための情報が必要であ
り、この情報を符号化データに組み込むことになる。

【００５６】図１の転送順序決定／並び替え部１０４
は、図３に示す例では成分統合単位をサブバンド （Ｙ_i，Ｕ_i，Ｖ_i） ｉ＝１〜１０（サ
ブバンドの転送順序） とし、図４、図５に示す順序に （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｕ₂，Ｖ₂），．．．，（Ｙ
₁₀，Ｕ₁₀，Ｖ₁₀） あるいは、図７（ｂ）に示す順序に （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｕ₂，Ｖ₂），．．．，（Ｙ
₄，Ｕ₄，Ｖ₄） と並び替えて、可変長符号化部１０４に出力する。

【００５７】以上の例は、成分統合単位を構成する際、
１つのサブバンド内の全係数を１グループとして扱うも
のであるが、サブバンド内の１もしくは複数個の係数を
１グループとして扱い、成分統合単位を構成することも
できる。以下にサブバンド内の１ラインを１係数グルー
プとする場合について説明する。

【００５８】図８はサブバンド内の水平方向の１ライン
を成分統合単位としたもので、成分統合単位は、 （Ｙ_i（ｙ），Ｕ_i（ｙ），Ｖ_i（ｙ）） Ｙ_i（ｙ），Ｕ_i（ｙ），Ｖ_i（ｙ）：Ｙ、Ｕ、Ｖの各サ
ブバンド内の１ラインデータ ｉ＝１〜１０（サブバンドの転送順序） ｙ（サブバンド内のライン番号） と表せる。この時、成分統合単位の転送順序は、 （Ｙ₁（０），Ｕ₁（０），Ｖ₁（０）），（Ｙ₁（１），Ｕ₁（１），Ｖ₁（１） ），．．． ．（Ｙ₂（０），Ｕ₂（０），Ｖ₂（０）），（Ｙ₂（１），Ｕ₂（１），Ｖ₂（１） ），．．． ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． ．．（Ｙ₁₀（０），Ｕ₁₀（０），Ｖ₁₀（０）），（Ｙ₁₀（１），Ｕ₁₀（１），Ｖ ₁₀ （１））．．． となる。

【００５９】図８では、サブバンド内の水平方向の１ラ
インを成分統合単位としたもので、図６（１）の（ａ）
に示すスキャン順序に対応するが、この他にもサブバン
ド内の垂直方向の１ラインを成分統合単位（図６（２）
の（ａ））として、矢印の１本ずつをＹ、Ｕ、Ｖでまと
めてもよい。この処理を全サブバンドに対して、図４、
図５、あるいは図７（ｂ）に示す順番で行う。

【００６０】また、サブバンド内の１つの係数を成分統
合単位の要素として扱う例として、成分統合単位を、 （Ｙｉ（ｙ，ｘ），Ｕｉ（ｙ，ｘ），Ｖｉ（ｙ，ｘ）） Ｙｉ（ｙ，ｘ），Ｕｉ（ｙ，ｘ），Ｖｉ（ｙ，ｘ）：
Ｙ、Ｕ、Ｖの各サブバンド内の１係数 ｉ＝１〜１０（サブバンド内の転送順序） ｙ（サブバンド内の垂直方向の位置） ｘ（サブバンド内の水平方向の位置） とすることもできる。この場合も、転送順序として図６
（１）〜（３）に示すような例がある。１つのサブバン
ドの処理が終了したら、全サブバンドに対して図４、図
５、図７（ｂ）に示す順序で処理を行う。

【００６１】図９は図１の転送順序決定／並び替え部１
０４の動作の一例を示すフローチャートである。図９に
示す例では、成分統合単位をサブバンド、または１もし
くは複数係数グループで切り替える構成をとっている
が、どちらか１つだけの構成であってもよい。

【００６２】以上のように、本発明の第１の実施の形態
の画像符号化装置では、複数種類の成分Ｙ、Ｕ、Ｖから
なる画像を低解像度のサブバンドから高解像度のサブバ
ンドへと順に符号化データを作成することによって、符
号化データに階層性をもたせることができる。

【００６３】また、各成分Ｙ，Ｕ，Ｖをサブバンド分割
したサブバンド係数に対して、サブバンド単位、係数単
位で各成分Ｙ，Ｕ，Ｖを統合して階層的な符号化を行っ
ているため、上述した従来例のようにライン単位のみで
各成分Ｙ，Ｕ，Ｖを統合するものに比べて、入力画像デ
ータの性質に合わせた柔軟な符号化処理が可能となる。

【００６４】次に、復号側について述べる。図２は本発
明の第１の実施の形態の画像復号装置であり、上述した
本発明の第１の実施の形態の画像符号化装置で作成した
符号化データを復号するものである。

【００６５】図２の２０１は可変長復号部（可変長復号
手段）、２０２は復号データカウント部（復号データカ
ウント手段）、２０３は復号データ打切部（復号データ
打切手段）、２０５はデータ補足部（データ補足手
段）、２０６は係数復号部（係数復号手段）、２０７は
サブバンド合成部（サブバンド合成手段）であり、各々
図２０とともに上述した可変長復号部２１０１、復号デ
ータカウント部２１０２、復号データ打切部２１０３、
データ補足部２１０５、係数復号部２１０６、サブバン
ド合成部２１０７と同じ構成である。

【００６６】図２の２０４は符号化側で転送順序に従っ
て並び替えた係数符号化データを成分Ｙ，Ｕ、Ｖ毎に分
離する成分分離部（成分分離手段、配置手段）である。
この成分分離部２０４では、符号化側で統合し、並び替
えた方法と逆の方法で係数符号化データを成分Ｙ、Ｕ、
Ｖ毎にまとめる。

【００６７】従って、成分分離部２０４は、各成分Ｙ，
Ｕ，Ｖを格納するために、図示しないメモリを有してい
る。このメモリは基本的には、符号化側のサブバンド分
割部１０１で必要としたものと同じ大きさが必要であ
る。ただし、１つの成分統合単位の分離が終わった時点
で、各成分Ｙ，Ｕ，Ｖに分離した係数を係数復号部２０
６に出力する構成とすれば、メモリの大きさは最大の成
分統合単位の大きさがあればよい。

【００６８】また、成分統合単位の分離と係数の復号を
パイプライン的に処理する場合、すなわち分離した係数
から次々に係数復号部２０６で復号する場合は、メモリ
の大きさは成分統合単位の大きさに関係なく、複数個の
係数が格納できるだけの大きさがあればよい。そして、
成分分離部２０４で分離された係数データを係数復号部
２０６で復号したものが、係数復号部２０６のメモリ
（図示せず）に格納される。この時、配置手段の機能は
係数復号部２０６に含まれることとなる。

【００６９】さらに、サブバンド合成部２０７に入力す
る周波数係数を蓄えるメモリ（図示せず）を利用して、
ここに書き込むこともできる。

【００７０】以上のように、成分分離部２０４で分離し
た係数のメモリへの記録には様々な方法があるが、以下
の説明では、説明を簡単にするため、符号化側のサブバ
ンド分割部１０１で必要としたものと同じ大きさのメモ
リを成分分離部２０４に設け、成分分離部２０４で分離
された係数を一度このメモリに書き込む方法を用いた場
合について述べる。

【００７１】例えば、成分統合単位がサブバンドの場合
には、 （Ｙ₁，Ｕ₁ ，Ｖ₁ ） から、成分統合単位の要素 Ｙ₁、Ｕ₁、Ｖ₁ を各々分離し、各成分Ｙ、Ｕ、Ｖを格納するメモリの対
応するサブバンドの位置に書き込む。次に、成分統合単
位 （Ｙ₂，Ｕ₂，Ｖ₂） から、成分統合単位の要素 Ｙ₂、Ｕ₂、Ｖ₂ を各々分離し、各成分Ｙ、Ｕ、Ｖを格納するメモリの対
応するサブバンドの位置に書き込む。この処理を全ての
サブバンドに対して行う。

【００７２】この時、サブバンド内の係数の復号処理の
順番としては、図６とともに上述した符号化処理と同じ
ものを用いる。例えば、符号化側で図６（１）に示すス
キャンを行った場合には、復号側でも図６（１）に示す
スキャン方法を行わなければならない。この方法を用い
ると、復号の途中の画像は、各解像度レベルで左上から
右下へラスタスキャン順に解像度が向上することとな
る。

【００７３】とりわけ、図６（４）あるいは（５）に示
すように、間隔をあけて係数をスキャンする方法を用い
て符号化処理を行った場合には、復号途中の画像は、左
上からのラスタスキャンに比べて復号の初期の段階で画
像の概要を把握することができる。また、各解像度レベ
ルでの画質向上の度合いも全体的に除々に向上するた
め、主観的画質を良好なものとすることができる。

【００７４】次に、成分統合単位がサブバンド内の１も
しくは複数係数グループの場合について説明する。例え
ば、サブバンド内の１ラインを複数係数グループとした
場合には、成分統合単位 （Ｙ_i（ｙ），Ｕ_i（ｙ），Ｖ_i（ｙ）） Ｙ_i（ｙ），Ｕ_i（ｙ），Ｖ_i（ｙ）：Ｙ、Ｕ、Ｖの各サ
ブバンド内の１ラインデータ ｉ＝１〜１０（サブバンドの転送順序） ｙ（サブバンド内の垂直方向の位置） から、成分統合単位の要素 Ｙ_i（ｙ）、Ｕ_i（ｙ）、Ｖ_i（ｙ） を各々分離し、各成分Ｙ、Ｕ、Ｖを格納するメモリの対
応するサブバンドｉのラインｙの位置に書き込む。この
処理を低解像度のサブバンドの各ラインから高解像度の
サブバンドの各ラインまで全ラインに対して行う。

【００７５】また、成分統合単位がサブバンド内の１つ
の係数の場合には、 （Ｙ_i（ｙ，ｘ），Ｕ_i（ｙ，ｘ），Ｖ_i（ｙ，ｘ）） Ｙ_i（ｙ，ｘ），Ｕ_i（ｙ，ｘ），Ｖ_i（ｙ，ｘ）：Ｙ、
Ｕ、Ｖの各サブバンド内の１係数 ｉ＝１〜１０（サブバンド内の転送順序） ｙ（サブバンド内の垂直方向の位置） ｘ（サブバンド内の水平方向の位置） から、成分統合単位の要素 Ｙ_i（ｙ，ｘ）、Ｕ_i（ｙ，ｘ）、Ｖ_i（ｙ，ｘ） を各々分離し、各成分Ｙ、Ｖ、Ｖを格納するメモリの対
応するサブバンドｉの係数（ｙ，ｘ）の位置に書き込
む。この処理を低解像度のサブバンドの各係数から高解
像度のサブバンドの各係数まで全係数に対して行う。

【００７６】上述したように、成分統合単位を１ライン
や１係数で選んだ場合にも、復号側での各係数のスキャ
ン方法は、符号化側と同様に図６とともに説明した方法
で行われる。

【００７７】この成分分離部２０４から出力された係数
は、各成分Ｙ、Ｕ、Ｖ毎にまとめて取り扱うことができ
る。

【００７８】図１０は成分分離部２０４の処理の動作の
一例を示すフローチャートである。図１０に示す例で
は、成分統合単位をサブバンド、または１もしくは複数
係数グループで切り替える構成をとっているが、この２
つを全て備えていなくても１つだけの構成であってもよ
い。

【００７９】なお、図２におけるデータ補足部２０５の
動作を詳細に説明すると、例えば図８に示す成分統合単
位が１ラインの場合、 （Ｙ₁（０），Ｕ₁（０），Ｖ₁（０）），．．．，（Ｙ₃
（５），Ｕ₃（５），Ｖ₃（５）） までのデータを復号した時に、復号したデータのビット
数がしきい値を超え、復号打切部２０３によって復号が
中止された場合を考える。この場合は、サブバンド１、
２の全てとサブバンド３の第１ラインから第５ラインま
での係数とが復号されるが、残りの部分には係数がな
い。

【００８０】データ補足部２０５では、データのない残
りの部分に例えば０を代入することにより、サブバンド
係数を生成する処理を行い、後に続く係数復号部２０
６、サブバンド合成部２０７の処理が通常どおり行える
ようにするものである。ここでは、０を代入する例を挙
げたが、他の値であってもよい。復号データカウント部
２０２、復号打切部２０３、データ補足部２０５によ
り、復号側ではユーザ等の要求に従って、任意の位置で
符号化データの復号を中止することができる。

【００８１】なお、復号したデータのビット数がしきい
値を越えない場合は、データ補足部２０５は何ら処理を
行わない。従って、全ての符号化データを復号した場合
には、あらかじめ表現可能な最大値をしきい値として設
定しておけばよい。この場合は、図２における復号デー
タカウント部２０２、復号打ち切り部２０３、データ補
足部２０５を除いた構成であっても実現できる。

【００８２】以上のように、複数個の成分Ｙ、Ｕ、Ｖか
らなる画像から作成した階層構造をもつ符号化データを
復号することができ、再生画像全体の画質を順次向上さ
せるプログレッシブな復号処理が可能となる。この際、
上述した従来例のように各成分Ｙ，Ｕ，Ｖの統合をライ
ン単位のみで行うものに比べて、より多様なプログレッ
シブ再生を行うことができる。例えば、従来例によれば
水平方向の解像度が優先的に向上するのに対し、本発明
の第１の実施の形態においては、水平、垂直、斜め方向
の解像度を均等に向上させることも可能となる。

【００８３】次に、本発明の第２の実施の形態として、
画像を構成する各成分のサイズが異なる場合について説
明する。なお、本発明の第２の実施の形態における画像
符号化装置は、上述した第１の実施の形態における転送
順序決定／並び替え部１０４の動作（成分統合単位を出
力するステップ）が異なる以外は同じであるので、説明
を省略する。従って、転送順序決定／並び替え部１０４
について以下に説明する。

【００８４】一例として、４：２：０フォーマットと呼
ばれる成分Ｕ、Ｖの水平、垂直方向のサイズが成分Ｙの
１／２である場合について、図１１を用いて説明する。
図１１はサイズがＹ＊Ｘである成分Ｙ、サイズがＹ／２
＊Ｘ／２である成分Ｕ、Ｖに各々３回のサブバンド分割
を行った結果である。この時、成分Ｕ、Ｖの各サブバン
ドの水平、垂直方向のサイズは成分Ｙの対応するサブバ
ンドの水平、垂直方向のサイズの半分である。なお、各
成分Ｙ、Ｕ、Ｖのサブバンドの分割数は同じである。

【００８５】従って、成分統合単位をサブバンドとした
場合には、本発明の第１の実施の形態と同じスキャン方
法、同じ転送順序でも問題は生じない。しかしながら、
成分統合単位を１もしくは複数個の係数とした場合には
状況が異なる。

【００８６】この時、成分Ｙ、Ｕ、Ｖ毎に対応するサブ
バンドのサイズが異なるため、上記第１の実施の形態で
説明したように、各成分Ｙ、Ｕ、Ｖ毎に同じ個数の係数
を集めて成分統合単位とする方法では、サイズの大きな
成分Ｙの係数が余ってしまうことになる。そこで、各成
分Ｙ、Ｕ、Ｖのサイズが異なる場合には、成分統合単位
の係数の個数を各成分Ｙ、Ｕ、Ｖ毎にサイズの比に対応
させて設定する。

【００８７】図１２（１）は４：２：０フォーマット
（図１０）のときの各成分Ｙ、Ｕ、Ｖの係数の対応関係
を示したもので、成分Ｙ、Ｕ、Ｖのサブバンド数は同じ
であることから、上記第１の実施の形態で説明した図４
と転送順序は同じである。この場合、各成分Ｙ、Ｕ、Ｖ
の水平、垂直方向のサイズ比が２：１：１であるので、
図１２（２）に示すように成分Ｕ、Ｖのどの１つの係数
も成分Ｙの４係数に対応する。従って、１つの成分統合
単位に含まれる各成分Ｙ、Ｕ、Ｖの係数比を４：１：１
とし、各成分Ｙ、Ｕ、Ｖの対応する係数が１つの成分統
合単位に含まれるようにする。

【００８８】このようにして、成分統合単位がサブバン
ド単位のときは、１つの成分統合単位に含まれる各成分
Ｙ、Ｕ、Ｖの係数比を４：１：１として、上記第１の実
施の形態で説明した方法をそのまま適用する。

【００８９】また、成分統合単位が１ラインの場合に
は、図１３に示すように成分Ｙ２ラインと成分Ｕ、Ｖ各
１ラインとが１つの成分統合単位となる。一方、成分統
合単位が１係数の場合には、図１４に示すように成分Ｙ
２＊２係数と成分Ｕ、Ｖ各１係数とが１つの成分統合単
位となる。なお、図１３中の番号は各成分統合単位内で
の転送順序の一例である。この成分統合単位毎に、成分
Ｙ、Ｕ、Ｖを１サブバンド分処理し終わると、図１２
（１）に示す順序で次のサブバンドの処理に進む。サブ
バンドの転送順序は、図５、図７（ｂ）の順序でもよ
い。

【００９０】復号側でも符号化側と同様に、各成分Ｙ、
Ｕ、Ｖのサイズが異なる場合には、水平、垂直方向のサ
イズの比に合わせて、成分Ｙ、Ｕ、Ｖ毎に成分統合単位
に含まれる係数の個数を変更し、各成分Ｙ、Ｕ、Ｖのメ
モリの対応する位置に格納することによって復号するこ
とができる。

【００９１】なお、符号化側と同様に、成分統合単位が
サブバンドの場合は、本発明の第１の実施の形態と同じ
スキャン方法、同じ転送順序を用いることができる。

【００９２】また、本発明の第２の実施の形態における
画像復号装置は、上述したとおり、上記第１の実施の形
態における成分分離部２０４の動作（成分統合単位を各
成分に分離／対応するメモリのサブバンドに格納するス
テップ）が異なる以外は同じであるので、詳細な説明は
省略する。

【００９３】以上のように、本発明の第２の実施の形態
では、画像を構成する各成分Ｙ、Ｕ、Ｖのサイズが異な
る場合であっても、符号化データに階層性を持たせるこ
とができる。また復号側で、この符号化データ全体は勿
論、一部のデータから画像全体の再生画像を得ることが
できる。

【００９４】なお、上記本発明の第２の実施形態におい
ては、各成分Ｙ、Ｕ、Ｖの水平、垂直方向のサイズ比が
２：１：１の場合について述べたが、他のサイズ比であ
っても同様の処理を行うことができる。

【００９５】さらに、本発明の第３の実施の形態とし
て、画像を構成する各成分のサイズが異なり、かつ図１
のサブバンド分割部１０１による各成分の分割数も異な
る場合について説明する。なお、本発明の第３の実施の
形態における画像符号化装置は、上述した第１の実施の
形態における転送順序決定／並び替え部１０４の動作
（成分統合単位を出力するステップ）が異なる以外は同
じであるので、説明を省略する。従って、転送順序決定
／並び替え部１０４について以下に説明する。

【００９６】例として、上記第２の実施の形態と同じ
く、成分Ｕ、Ｖの水平、垂直方向のサイズが成分Ｙの半
分である場合について、図１５を用いて説明する。図１
５（１）は成分Ｙに対しては３回、成分Ｕ、Ｖに対して
は各２回のサブバンド分割を行った結果の図である。こ
の時、成分Ｙと成分Ｕ、Ｖとではサブバンド数が異なる
ため、上記第１、第２の実施の形態と同様の方法では対
応できず、以下のような転送方法を施す必要がある。

【００９７】まず、成分統合単位が各成分Ｙ、Ｕ、Ｖの
サブバンドである場合について説明する。例１として、
図１５（２）に示すように、解像度の低い７つのサブバ
ンドから各成分Ｙ、Ｕ、Ｖを組み合わせて転送し、最後
に残った成分Ｙの３つのサブバンドを他の成分Ｕ、Ｖと
組み合わせずに単独で図１の可変長符号化部１０３に出
力する方法がある。すなわち、解像度が低いサブバンド
から各成分Ｙ、Ｕ、Ｖのサブバンドを１つずつ組み合わ
せるとともに、解像度が高いサブバンドでは成分Ｕ、Ｖ
のサブバンドを０個として、成分Ｙのサブバンド１つの
みを、成分統合単位として出力する。

【００９８】この時、転送順序としては、 （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｕ₂，Ｖ₂），．．．，（Ｙ
₇，Ｕ₇，Ｖ₇），（Ｙ₈），（Ｙ₉），（Ｙ₁₀） となる。ここでは、各成分Ｙ、Ｕ、Ｖのサブバンド （Ｙ_i，Ｕ_i，Ｖ_i） ｉ＝１〜７（サ
ブバンドの転送順序） は同じサイズなので、上記成分統合単位がサブバンドの
場合はもちろん、成分統合単位が１もしくは複数係数グ
ループとしたときには、成分統合単位内のスキャン方法
として上記第１の実施の形態で説明した方法を用いるこ
とができる。

【００９９】なお、図７（ｂ）とともに上述した方法を
用いて、各成分Ｙ、Ｕ、Ｖのサブバンドを３つずつ組み
合わせた場合には、 （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｙ₃，Ｙ₄，Ｕ₂，Ｕ₃，
Ｕ₄，Ｖ₂，Ｖ₃，Ｖ₄），（Ｙ₅，Ｙ₆，Ｙ₇，Ｕ₅，Ｕ₆，
Ｕ₇，Ｖ₅，Ｖ₆，Ｖ₇），（Ｙ₈，Ｙ₉，Ｙ₁₀） となる。

【０１００】また、例２として、図１６に示すように、
分割数の多い成分Ｙのみ低解像度の複数個のサブバンド
をまとめて扱う方法がある。図１６（１）は成分Ｙに対
しては３回、成分Ｕ、Ｖに対しては各２回のサブバンド
分割を行った結果の図である。この時、図１６（２）に
示すように、解像度が低いサブバンドでは成分Ｙのサブ
バンドを４つまとめたものと、成分Ｕ、Ｖのサブバンド
１つずつとを組み合わせるとともに、図１６（３）に示
すように、高い解像度のサブバンドでは各成分Ｙ、Ｕ、
Ｖのサブバンドを１つずつ組み合わせて、成分統合単位
として転送する。

【０１０１】すなわち、転送順序は、 （Ｙ₁，Ｙ₂，Ｙ₃，Ｙ₄，Ｕ₁，Ｖ₁），（Ｙ₅，Ｕ₂，
Ｖ₂），（Ｙ₆，Ｕ₃，Ｖ₃），（Ｙ₇，Ｕ₄，Ｖ₄），
（Ｙ₈，Ｕ₅，Ｖ₅），（Ｙ₉，Ｕ₆，Ｖ₆），（Ｙ₁₀，
Ｕ₇，Ｖ₇） となる。この例２では、各成分Ｙ、Ｕ、Ｖの対応するサ
ブバンドのサイズが異なるので、成分統合単位内のスキ
ャン方法として、上記第２の実施の形態の方法で説明し
た方法を用いることができる。

【０１０２】また、図１６（３）に示すサブバンド（Ｙ
₅，Ｙ₆，Ｙ₇）は、各々水平、垂直、斜め方向の解像度
に対応するサブバンドという違いはあっても、同じレベ
ルの解像度をもつサブバンドであるので、例３として、
高い解像度のサブバンドでは各成分Ｙ、Ｕ、Ｖのサブバ
ンドを３つずつ組み合わせて成分統合単位を作成するこ
とも可能である。これは、（Ｙ₈，Ｙ₉，Ｙ₁₀）、
（Ｕ₂，Ｕ₃，Ｕ₄）、（Ｕ₅，Ｕ₆，Ｕ₇）、（Ｖ₂，Ｖ₃，
Ｖ₄）、（Ｖ₅，Ｖ₆，Ｖ₇）についても同じである。

【０１０３】従って、この時の転送順序は、 （Ｙ₁，Ｙ₂，Ｙ₃，Ｙ₄，Ｕ₁，Ｖ₁），（Ｙ₅，Ｙ₆，
Ｙ₇，Ｕ₂，Ｕ₃，Ｕ₄，Ｖ₂,V₃，Ｖ₄），（Ｙ₈，Ｙ₉，Ｙ
₁₀，Ｕ₅，Ｕ₆，Ｕ₇，Ｖ₅，Ｖ₆，Ｖ₇） となる。

【０１０４】なお、上記の例においては、低解像度の複
数個のサブバンドとして、Ｙ₁，Ｙ₂，Ｙ₃，Ｙ₄，Ｕ₁，
Ｖ₁を選択したものについて説明したが、例えば、低解
像度の複数個のサブバンドとして、Ｙ₁，Ｙ₂，．．．，
Ｙ₇，Ｕ₁，．．，Ｕ₄，Ｖ₁，．．，Ｖ₄を選択してもよ
く、Ｙ，Ｕ，Ｖのサイズ比（本例では水平、垂直ともに
２：１：１）を保ちながら、低解像度のサブバンドを任
意に選択することが可能である。

【０１０５】さらに、上述した例２および例３の変形で
ある例４として、各成分Ｙ、Ｕ、Ｖにおける解像度が低
いサブバンドＹ₁，Ｙ₂，．．．，Ｙ₇，Ｕ₁，．．，
Ｕ₄，Ｖ₁，．．，Ｖ₄のうち、解像度が最も低いサブバ
ンドＹ₁，Ｕ₁，Ｖ₁だけを分離して、図１６（４）に示
すように別途転送し、残りの解像度が低いサブバンドは
例２もしくは例３のようにまとめて転送する方法もあ
る。この時、まとめる低解像度のサブバンドは、図１６
（５）に示すように、成分Ｙのサブバンドを６つまとめ
たものと、成分Ｕ、Ｖのサブバンド３つずつとを組み合
わせたものとなる。このように、解像度が低いサブバン
ドを転送した後、さらに図１６（６）に示す高解像度の
サブバンドを転送する。

【０１０６】この時、サブバンドを１つずつ組み合わせ
る場合（上記例２に対応）、転送順序は、 （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｙ₃，Ｙ₄，Ｙ₅，Ｕ₂，
Ｖ₂），（Ｙ₆，Ｕ₃，Ｖ₃），（Ｙ₇，Ｕ₄，Ｖ₄），
（Ｙ₈，Ｕ₅，Ｖ₅），（Ｙ₉，Ｕ₆，Ｖ₆），（Ｙ₁₀，
Ｕ₇，Ｖ₇） となる。

【０１０７】あるいは、サブバンドを３つずつ組み合わ
せる場合（上記例３に対応）、転送順序は、 （Ｙ₁，Ｕ₁，Ｖ₁），（Ｙ₂，Ｙ₃，Ｙ₄，Ｙ₅，Ｙ₆，
Ｙ₇，Ｕ₂，Ｕ₃，Ｕ₄，Ｖ₂，Ｖ₃，Ｖ₄），（Ｙ₈，Ｙ₉，
Ｙ₁₀，Ｕ₅，Ｕ₆，Ｕ₇，Ｖ₅，Ｖ₆，Ｖ₇） となる。

【０１０８】なお、サブバンド分割数が４以上の場合に
は、図１６（６）に示したサブバンドよりも高解像度の
サブバンドは、同様に各成分Ｙ、Ｕ、Ｖのサブバンドの
個数が同じとなるので、各成分Ｙ、Ｕ、Ｖのサブバンド
を同数ずつ組み合わせた成分統合単位を、続けて転送す
ることとなる。

【０１０９】以上、例１乃至例４において、水平、垂
直、斜め方向が同じレベルの解像度をもつ３つのサブバ
ンドの転送順序は、特に規定されるものではない。すな
わち、同じレベルの解像度をもつ３つのサブバンドは、
図７（ａ）に示すような逆Ｌ字形を構成するが、この３
つのサブバンドの転送順序は、上記説明のようにサブバ
ンド１、サブバンド２、サブバンド３の順に限らず、例
えばサブバンド２、サブバンド１、サブバンド３等の順
序でもよい。

【０１１０】復号側でも符号化側と同様に、例１では、
成分統合単位を各成分Ｙ、Ｕ、Ｖに分離し、成分Ｙ、
Ｕ、Ｖ毎に対応するメモリのサブバンドに格納し、最後
に成分Ｙの解像度の最も高い３つのサブバンドのみ、成
分Ｙのメモリの対応するサブバンドに格納することによ
り復号が可能である。

【０１１１】また、例２では、各サブバンドを符号化側
と逆の方法で成分統合単位を各成分Ｙ、Ｕ、Ｖに分離
し、成分Ｙ、Ｕ、Ｖ毎に対応するメモリのサブバンドに
格納することによって復号することができる。この時、
符号化側で低解像度のサブバンドを複数個まとめて成分
統合単位を作成しているため、最初の成分統合単位のみ
成分Ｙは４つ、成分Ｕ、Ｖは各々１つのサブバンドが含
まれている点が、上記第１及び第２の実施の形態と異な
る点である。

【０１１２】なお、上述したとおり、符号化側でまとめ
る低解像度のサブバンドの個数は任意に選択可能である
ので、例えば、最初の成分統合単位には、成分Ｙは７
つ、成分Ｕ、Ｖは各々４つのサブバンドを含むこともで
きる。

【０１１３】さらに、例３の場合も、上記例２の復号側
と同様の方法で、成分統合単位を各成分Ｙ、Ｕ、Ｖに分
離し、成分Ｙ、Ｕ、Ｖ毎に対応するメモリのサブバンド
に格納することによって復号することができる。この
時、高い解像度のサブバンドでは、各成分Ｙ、Ｕ、Ｖの
サブバンドを３つずつ組み合わせて成分統合単位を作成
したので、復号側においても、高い解像度のサブバンド
は各成分Ｙ，Ｕ，Ｖ毎に３つずつ対応するメモリのサブ
バンドに格納する点が、例２の方法と異なる点である。

【０１１４】そしてまた、例４の場合は、上記例２ある
いは例３の復号側と同様の方法で、成分統合単位を各成
分Ｙ、Ｕ、Ｖに分離し、成分Ｙ、Ｕ、Ｖ毎に対応するメ
モリのサブバンドに格納することによって復号すること
ができる。この時、最初に最も低い解像度のサブバンド
を、成分Ｙ、Ｕ、Ｖ毎に対応するメモリのサブバンドに
格納し、その後、最も低い解像度のサブバンドを除く低
解像度のサブバンドを、対応するメモリのサブバンドに
格納する点が、例２または例３の方法と異なる点であ
る。

【０１１５】なお、本発明の第３の実施の形態における
画像復号装置は、上述したとおり、上記第１の実施の形
態における成分分離部２０４の動作（成分統合単位を各
成分に分離／対応するメモリのサブバンドに格納するス
テップ）が異なる以外は同じであるので、詳細な説明は
省略する。

【０１１６】また、第３の実施の形態において、成分統
合単位が各成分Ｙ、Ｕ、Ｖのサブバンドではなく、ライ
ンなど１もしくは複数係数グループの場合であるが、こ
れは上記第１、第２の実施の形態で説明した成分統合単
位が各成分Ｙ、Ｕ、Ｖのサブバンド単位である場合の手
法に基づき、成分統合単位が１もしくは複数係数グルー
プの場合への対応方法をそのまま適用することができ
る。

【０１１７】以上のように、本発明の第３の実施の形態
では、画像を構成する各成分Ｙ、Ｕ、Ｖのサイズが異な
る場合で、かつサブバンド分割数も成分Ｙ、Ｕ、Ｖ毎に
異なる場合に、符号化データに階層性を持たせることが
できる。また、復号側でこの符号化データ全体あるいは
一部のデータから画像全体の再生画像を得ることができ
る。

【０１１８】なお、上記第３の実施の形態においは、各
成分Ｙ、Ｕ、Ｖのサイズ比が２：１：１の場合について
述べたが、他のサイズであっても同様であり、例えば各
成分Ｙ、Ｕ、Ｖのサイズが同じ場合であっても、サブバ
ンド分割数が各成分Ｙ、Ｕ、Ｖ毎に異なる場合には、上
述した第３の実施の形態と同様の処理によって、符号化
データに階層性を持たせることが可能である。また、転
送の順序に関しては、図４に対応する順序で説明した
が、図５、図７（ｂ）に対応する順序で処理することも
可能である。

【０１１９】以上、本発明の第１乃至第３の実施の形態
について述べたが、成分統合単位内での転送順序に制約
はなく、例えばＹ、Ｕ、Ｖの順の転送に制限されるもの
ではない。

【０１２０】

【発明の効果】本願請求項１に記載の画像符号化装置お
よび本願請求項７に記載の画像復号装置によれば、成分
統合単位の要素を各成分Ａⁿに含まれるｍ（ｍ≧１）個
のサブバンド内の全ての周波数係数としているため、各
成分Ａⁿが視覚特性への影響に差があるＹ，Ｕ，Ｖであ
るような場合、特定のサブバンドを初期に転送すること
ができるため、画像全体の概要を早い段階で把握するこ
とが可能となる。また、あらかじめ符号化する画像がど
の方向に解像度が高いか分かっている場合には、解像度
が高い方向のサブバンドの係数を先に転送し、復号側で
も早く再生することができるため、符号化データの途中
で復号を打ち切り、この時点までに復号したデータのみ
から再生した復号途中の画像の主観的画質をより向上さ
せることが可能である。

【０１２１】本願請求項２に記載の画像符号化装置およ
び本願請求項８に記載の画像復号装置によれば、成分統
合単位の要素を各成分Ａⁿに含まれるｍ（ｍ≧１）個の
サブバンド内の相対位置が同じｍ個の周波数係数として
いるため、各成分Ａⁿが視覚特性への影響に差が少ない
Ｒ，Ｇ，Ｂであるような場合、符号化データの途中で復
号を打ち切り、この時点までに復号したデータのみから
再生した復号途中の画像の主観的画質をより向上させる
ことが可能である。

【０１２２】本願請求項３に記載の画像符号化装置およ
び本願請求項９に記載の画像復号装置によれば、輝度、
色などの各成分Ａⁿの解像度が異なる場合にも対応する
ことができ、上述した従来例のように各成分の解像度が
同じ場合にしか対応できないものに対して大きな利点が
ある。特に、通常のディジタル画像フォーマットは、輝
度成分の解像度を色成分の解像度より高くしたものが広
く用いられているため、このような通常のディジタル画
像フォーマットに適応できることは、極めて有効であ
る。

【０１２３】本願請求項４に記載の画像符号化装置およ
び本願請求項１０に記載の画像復号装置によれば、輝
度、色などの各成分Ａⁿの解像度が異なる場合であっ
て、サブバンド分割数が各成分Ａⁿで異なる場合にも対
応することができ、上述した従来例のように各成分の解
像度及びサブバンド分割数が同じ場合にしか対応できな
いものに対して大きな利点がある。特に、通常のディジ
タル画像フォーマットは、輝度成分の解像度を色成分の
解像度より高くしたものが広く用いられており、各成分
の解像度に応じてサブバンド分割数を変えることが一般
的に行われているため、このような通常のディジタル画
像フォーマットに適応できることは、極めて有効であ
る。

【０１２４】本願請求項５に記載の画像符号化装置およ
び本願請求項１１に記載の画像復号装置によれば、輝
度、色などの各成分Ａⁿの解像度が異なる場合であっ
て、サブバンド分割数が各成分Ａⁿで異なる場合にも対
応することができ、上述した従来例のように各成分の解
像度及びサブバンド分割数が同じ場合にしか対応できな
いのものに対して大きな利点がある。さらに、１つの成
分統合単位に含まれる各成分Ａⁿの個数の比が常に入力
画像と同じとなるため、復号側でディスプレイの解像度
に応じたデータ量のみの復号を行うときに、冗長なデー
タを復号する必要をなくすことができる。

【０１２５】本願請求項６に記載の画像符号化装置およ
び本願請求項１２に記載の画像復号装置によれば、各成
分Ａⁿの最低解像度のサブバンドを分離して最初に転送
するため、前記本願請求項５に記載の画像符号化装置お
よび本願請求項１１に記載の画像復号装置による効果に
加えて、画像の概要をより早く把握することができ、画
像の主観的画質を向上させることも可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における画像符号化
装置を示すブロック図である。

【図２】本発明の第１の実施の形態における画像復号装
置を示すブロック図である。

【図３】本発明の第１の実施の形態におけるサブバンド
分割の例を示す説明図である。

【図４】本発明の第１の実施の形態におけるサブバンド
画像の係数の転送順序の一例を示す説明図である。

【図５】本発明の第１の実施の形態におけるサブバンド
画像の係数の転送順序の他の例を示す説明図である。

【図６】本発明の第１の実施の形態における各サブバン
ド内の係数のスキャン順序の例を示す説明図である。

【図７】本発明の第１の実施の形態における複数個のサ
ブバンドをまとめて成分統合単位の要素を構成する例を
示す説明図である。

【図８】本発明の第１の実施の形態における成分統合単
位の要素をサブバンド内の１ラインの係数としたときの
例を示す説明図である。

【図９】本発明の第１の実施の形態における画像符号化
装置の動作を示すフローチャートである。

【図１０】本発明の第１の実施の形態における画像復号
装置の動作を示すフローチャートである。

【図１１】本発明の第２の実施の形態におけるサブバン
ド分割の例を示す説明図である。

【図１２】本発明の第２の実施の形態における各成分間
の係数の対応関係を示す説明図である。

【図１３】本発明の第２の実施の形態における成分統合
単位の一例を示す説明図である。

【図１４】本発明の第２の実施の形態における成分統合
単位の他の例を示す説明図である。

【図１５】本発明の第３の実施の形態におけるサブバン
ド分割と成分統合単位の一例を示す説明図である。

【図１６】本発明の第３の実施の形態におけるサブバン
ド分割と成分統合単位の他の例を示す説明図である。

【図１７】サブバンド符号化方式を示す説明図である。

【図１８】プログレッシブ画像伝送を示す説明図であ
る。

【図１９】従来の画像符号化装置を示すブロック図であ
る。

【図２０】従来の画像復号装置を示すブロック図であ
る。

【図２１】従来の画像符号化装置におけるサブバンド画
像の係数の転送順序を示す説明図である。

【図２２】従来の画像符号化装置における符号化の動作
を示すフローチャートである。

【符号の説明】

１０１ サブバンド分割部 １０２ 係数符号化部 １０３ 可変長符号化部 １０４ 転送順序決定／並び替え部 ２０１ 可変長復号部 ２０２ 復号データカウント部 ２０３ 復号打切部 ２０４ 成分分離部 ２０５ データ補足部 ２０６ 係数復号部 ２０７ サブバンド合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像を構成するＮ（Ｎ≧２）種類の輝度
   あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
   数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
   分割手段と、 前記サブバンド分割した画像の周波数係数を符号化する
   係数符号化手段と、 前記係数符号化手段で作成した係数符号化データから、
   各成分Ａⁿに含まれる周波数係数を組み合わせて成分統
   合単位を作成し、解像度の低いサブバンドの係数符号化
   データを含む成分統合単位から順番に並べる並び替え手
   段と、 前記並び替えた係数符号化データを可変長符号化する可
   変長符号化手段とを備えた画像符号化装置であって、 前記各成分Ａⁿのサイズが等しく、かつサブバンド分割
   数が等しい場合、前記並び替え手段は、前記各成分Ａⁿ
   に含まれる周波数係数を、ｍ（ｍ≧１）個のサブバンド
   に含まれる全ての周波数係数として、前記成分統合単位
   を作成することを特徴とする画像符号化装置。
2. 【請求項２】 画像を構成するＮ（Ｎ≧２）種類の輝度
   あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
   数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
   分割手段と、 前記サブバンド分割した画像の周波数係数を符号化する
   係数符号化手段と、 前記係数符号化手段で作成した係数符号化データから、
   各成分Ａⁿに含まれる周波数係数を組み合わせて成分統
   合単位を作成し、解像度の低いサブバンドの係数符号化
   データを含む成分統合単位から順番に並べる並び替え手
   段と、 前記並び替えた係数符号化データを可変長符号化する可
   変長符号化手段とを備えた画像符号化装置であって、 前記各成分Ａⁿのサイズが等しく、かつサブバンド分割
   数が等しい場合、前記並び替え手段は、前記各成分Ａⁿ
   に含まれる周波数係数を、ｍ（ｍ≧１）個のサブバンド
   内の相対位置が同じｍ個の周波数係数として、前記成分
   統合単位を作成することを特徴とする画像符号化装置。
3. 【請求項３】 画像を構成するＮ（Ｎ≧２）種類の輝度
   あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
   数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
   分割手段と、 前記サブバンド分割した画像の周波数係数を符号化する
   係数符号化手段と、 前記係数符号化手段で作成した係数符号化データから、
   各成分Ａⁿに含まれる周波数係数を組み合わせて成分統
   合単位を作成し、解像度の低いサブバンドの係数符号化
   データを含む成分統合単位から順番に並べる並び替え手
   段と、 前記並び替えた係数符号化データを可変長符号化する可
   変長符号化手段とを備えた画像符号化装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
   数が等しい場合、前記並び替え手段は、前記各成分Ａⁿ
   に含まれる周波数係数の個数を、該各成分Ａⁿのサイズ
   に応じて設定し、前記成分統合単位を作成することを特
   徴とする画像符号化装置。
4. 【請求項４】 画像を構成するＮ（Ｎ≧２）種類の輝度
   あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
   数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
   分割手段と、 前記サブバンド分割した画像の周波数係数を符号化する
   係数符号化手段と、 前記係数符号化手段で作成した係数符号化データから、
   各成分Ａⁿに含まれるサブバンドを組み合わせて成分統
   合単位を作成し、解像度の低いサブバンドの係数符号化
   データを含む成分統合単位から順番に並べる並び替え手
   段と、 前記並び替えた係数符号化データを可変長符号化する可
   変長符号化手段とを備えた画像符号化装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
   数が異なる場合、前記並び替え手段は、解像度が低いサ
   ブバンドから各成分Ａⁿのサブバンドを同数ずつ組み合
   わせるとともに、解像度が高いサブバンドでは各成分Ａ
   ⁿで異なる数のサブバンドを組み合わせることにより、
   前記成分統合単位を作成することを特徴とする画像符号
   化装置。
5. 【請求項５】 画像を構成するＮ（Ｎ≧２）種類の輝度
   あるいは色成分を各々成分Ａⁿ（１≦ｎ≦Ｎ，ｎは整
   数）とし、成分Ａⁿ毎にサブバンド分割するサブバンド
   分割手段と、 前記サブバンド分割した画像の周波数係数を符号化する
   係数符号化手段と、 前記係数符号化手段で作成した係数符号化データから、
   各成分Ａⁿに含まれるサブバンドを組み合わせて成分統
   合単位を作成し、解像度の低いサブバンドの係数符号化
   データを含む成分統合単位から順番に並べる並び替え手
   段と、 前記並び替えた係数符号化データを可変長符号化する可
   変長符号化手段とを備えた画像符号化装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
   数が異なる場合、前記並び替え手段は、解像度が高いサ
   ブバンドから各成分Ａⁿのサブバンドを同数ずつ組み合
   わせるとともに、解像度が低いサブバンドでは各成分Ａ
   ⁿで異なる数のサブバンドを組み合わせることにより、
   前記成分統合単位を作成することを特徴とする画像符号
   化装置。
6. 【請求項６】 前記請求項５に記載の画像符号化装置に
   おいて、 前記並び替え手段は、前記解像度の低いサブバンドのう
   ち、各成分Ａⁿの解像度が最も低いサブバンドを１つず
   つ組み合わせ、該解像度が最も低いサブバンドを除くサ
   ブバンドでは各成分Ａⁿで異なる数のサブバンドを組み
   合わせることにより、前記成分統合単位を作成すること
   を特徴とする画像符号化装置。
7. 【請求項７】 符号化データを可変長復号する可変長復
   号手段と、 前記可変長復号手段で復号された成分統合単位のビット
   数をカウントする復号データカウント手段と、 外部から与えられた指定ビット数と前記復号データカウ
   ント手段でカウントされたビット数とを比較し、復号さ
   れた符号化データのビット数が指定ビット数を超えた場
   合に、その時点で復号を打切る命令を出す復号打切手段
   と、 前記成分統合単位を各成分Ａⁿ毎に分離する成分分離手
   段と、 復号を途中で打ち切った場合に不足したデータを所定の
   値で置き換え、各成分Ａⁿの１画面分のデータを補うデ
   ータ補足手段と、 前記成分分離手段で分離した係数符号化データを各成分
   Ａⁿ毎にまとめて所定の位置に配置する配置手段と、 前記成分分離手段で分離した係数符号化データを各々復
   号する係数復号手段と、 前記係数復号手段で復号したデータを成分Ａⁿ毎にサブ
   バンド合成し、復号画像を再生するサブバンド合成手段
   とを備えた画像復号装置であって、 前記各成分Ａⁿのサイズが等しく、かつサブバンド分割
   数が等しい場合、前記成分分離手段は、前記成分統合単
   位を前記各成分Ａⁿに含まれるｍ（ｍ≧１）個のサブバ
   ンド内の全ての周波数係数を組み合わせたものとして分
   離することを特徴とする画像復号装置。
8. 【請求項８】 符号化データを可変長復号する可変長復
   号手段と、 前記可変長復号手段で復号された成分統合単位のビット
   数をカウントする復号データカウント手段と、 外部から与えられた指定ビット数と前記復号データカウ
   ント手段でカウントされたビット数とを比較し、復号さ
   れた符号化データのビット数が指定ビット数を超えた場
   合に、その時点で復号を打切る命令を出す復号打切手段
   と、 前記成分統合単位を各成分Ａⁿ毎に分離する成分分離手
   段と、 復号を途中で打ち切った場合に不足したデータを所定の
   値で置き換え、各成分Ａⁿの１画面分のデータを補うデ
   ータ補足手段と、 前記成分分離手段で分離した係数符号化データを各成分
   Ａⁿ毎にまとめて所定の位置に配置する配置手段と、 前記成分分離手段で分離した係数符号化データを各々復
   号する係数復号手段と、 前記係数復号手段で復号したデータを成分Ａⁿ毎にサブ
   バンド合成し、復号画像を再生するサブバンド合成手段
   とを備えた画像復号装置であって、 前記各成分Ａⁿのサイズが等しく、かつサブバンド分割
   数が等しい場合、前記成分分離手段は、前記成分統合単
   位を前記各成分Ａⁿに含まれるｍ（ｍ≧１）個のサブバ
   ンド内の相対位置が同じｍ個の周波数係数を組み合わせ
   たものとして分離することを特徴とする画像復号装置。
9. 【請求項９】 符号化データを可変長復号する可変長復
   号手段と、 前記可変長復号手段で復号された成分統合単位のビット
   数をカウントする復号データカウント手段と、 外部から与えられた指定ビット数と前記復号データカウ
   ント手段でカウントされたビット数とを比較し、復号さ
   れた符号化データのビット数が指定ビット数を超えた場
   合に、その時点で復号を打切る命令を出す復号打切手段
   と、 前記成分統合単位を各成分Ａⁿ毎に分離する成分分離手
   段と、 復号を途中で打ち切った場合に不足したデータを所定の
   値で置き換え、各成分Ａⁿの１画面分のデータを補うデ
   ータ補足手段と、 前記成分分離手段で分離した係数符号化データを各成分
   Ａⁿ毎にまとめて所定の位置に配置する配置手段と、 前記成分分離手段で分離した係数符号化データを各々復
   号する係数復号手段と、 前記係数復号手段で復号したデータを成分Ａⁿ毎にサブ
   バンド合成し、復号画像を再生するサブバンド合成手段
   とを備えた画像復号装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
   数が等しい場合、前記成分分離手段は、前記成分統合単
   位を前記各成分Ａⁿに含まれるサイズに応じた個数の周
   波数係数を組み合わせたものとして分離することを特徴
   とする画像復号装置。
10. 【請求項１０】 符号化データを可変長復号する可変長
    復号手段と、 前記可変長復号手段で復号された成分統合単位のビット
    数をカウントする復号データカウント手段と、 外部から与えられた指定ビット数と前記復号データカウ
    ント手段でカウントされたビット数とを比較し、復号さ
    れた符号化データのビット数が指定ビット数を超えた場
    合に、その時点で復号を打切る命令を出す復号打切手段
    と、 前記成分統合単位を各成分Ａⁿ毎に分離する成分分離手
    段と、 復号を途中で打ち切った場合に不足したデータを所定の
    値で置き換え、各成分Ａⁿの１画面分のデータを補うデ
    ータ補足手段と、 前記成分分離手段で分離した係数符号化データを各成分
    Ａⁿ毎にまとめて所定の位置に配置する配置手段と、 前記成分分離手段で分離した係数符号化データを各々復
    号する係数復号手段と、 前記係数復号手段で復号したデータを成分Ａⁿ毎にサブ
    バンド合成し、復号画像を再生するサブバンド合成手段
    とを備えた画像復号装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
    数が異なる場合、前記成分分離手段は、前記成分統合単
    位を解像度が低いサブバンドから各成分Ａⁿのサブバン
    ドを同数ずつ組み合わせるとともに、解像度が高いサブ
    バンドでは各成分Ａⁿで異なる数のサブバンドを組み合
    わせたものとして分離することを特徴とする画像復号装
    置。
11. 【請求項１１】 符号化データを可変長復号する可変長
    復号手段と、 前記可変長復号手段で復号された成分統合単位のビット
    数をカウントする復号データカウント手段と、 外部から与えられた指定ビット数と前記復号データカウ
    ント手段でカウントされたビット数とを比較し、復号さ
    れた符号化データのビット数が指定ビット数を超えた場
    合に、その時点で復号を打切る命令を出す復号打切手段
    と、 前記成分統合単位を各成分Ａⁿ毎に分離する成分分離手
    段と、 復号を途中で打ち切った場合に不足したデータを所定の
    値で置き換え、各成分Ａⁿの１画面分のデータを補うデ
    ータ補足手段と、 前記成分分離手段で分離した係数符号化データを各成分
    Ａⁿ毎にまとめて所定の位置に配置する配置手段と、 前記成分分離手段で分離した係数符号化データを各々復
    号する係数復号手段と、 前記係数復号手段で復号したデータを成分Ａⁿ毎にサブ
    バンド合成し、復号画像を再生するサブバンド合成手段
    とを備えた画像復号装置であって、 前記各成分Ａⁿのサイズが異なり、かつサブバンド分割
    数が異なる場合、前記成分分離手段は、前記成分統合単
    位を解像度が高いサブバンドから各成分Ａⁿのサブバン
    ドを同数ずつ組み合わせるとともに、解像度が低いサブ
    バンドでは各成分Ａⁿで異なる数のサブバンドを組み合
    わせたものとして分離することを特徴とする画像復号装
    置。
12. 【請求項１２】 前記請求項１１に記載の画像復号装置
    において、 前記成分分離手段は、前記成分統合単位を前記解像度が
    低いサブバンドのうち、解像度が最も低いサブバンドを
    １つずつ組み合わせ、該解像度が最も低いサブバンドを
    除くサブバンドでは各成分Ａⁿで異なる数のサブバンド
    を組み合わせたものとして分離することを特徴とする画
    像復号装置。