JPH05183894A - 画像符号化／復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 既存の符号化方式とのコンパチビリティを有
し、かつ高い符号化効率の得られる階層的画像符号化装
置を提供すること。 【構成】 精細さの異なる予測画像信号１２，１８を用
いて入力画像信号１１の階層符号化を行うことにより、
符号化データ１４，２２を出力する複数の符号化回路１
０２〜１０６，１１５〜１２０と、符号化データ１４，
２２に対応する局部復号信号１５，２６を生成する複数
の局部復号回路１０７〜１１０，１２１〜１２５と、局
部復号信号１５，２６から動き予測画像信号１２，１８
を生成して記憶するフレームメモリ１１，１１３とを有
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の画像信号を少
ない符号量に符号化して伝送または蓄積するための画像
符号化装置とこれに対応する画像復号装置に係り、特に
既存の画像符号化／復号装置との間でフォワードおよび
バックワード・コンパチビリティを有する階層的画像符
号化／復号装置に関する。

【０００２】

【従来の技術】ＣＣＩＴＴやＩＳＯ等の国際標準化機関
において、動画像の通信および蓄積等のための符号化標
準方式が勧告されている。これらの標準符号化方式は符
号化レートが６４ｋ〜１．５Ｍビット／秒と低いため、
画質的にはＴＶ放送などと比べて劣っている。ＴＶ放送
と同等かまたはそれ以上の符号化品質を得るためには、
さらに高い符号化レートを用いた符号化装置が必要にな
る。

【０００３】しかし、既に標準化されている符号化方式
に準拠した符号化／復号装置を用いたＴＶ電話、ＴＶ会
議システムや画像蓄積装置が既に製品化されつつあるた
め、高符号化レートの新しい符号化／復号装置として
は、既存の符号化／復号装置に対してフォワードコンパ
チビリティおよびバックワードコンパチビリティを有し
ながら、必要に応じてより多くの符号化ビットレートを
用いて高精細な再生画像も再生できることが重要とな
る。

【０００４】すなわち、図１１（ａ）に示すように高符
号化レート対応の新しい復号装置５において、既存の符
号化装置２で符号化された画像を再生できるフォワード
コンパチビリティを有するばかりでなく、図１１（ｂ）
に示すように高符号化レート対応の新しい符号化装置７
において、既存の符号化装置２に対応する復号装置４で
復号可能な符号化データ３と、より高精細な画像を再生
するために必要な付加情報８の両方を生成することによ
って、復号装置５で必要に応じて既存方式による再生画
像信号６と高精細な再生画像信号９の両方を再生でき、
既存の符号化装置で既存方式による再生画像信号６を再
生できるバックワードコンパチビリティを有する階層的
画像符号化／復号装置が求められる。

【０００５】ここで、入力画像信号１が既存の復号装置
４による再生画像信号６より画像のサンプル密度が高
く、多くの画素数を持つ場合には、サブバンド分割やピ
ラミッド分割の処理を行って入力画像信号１をいくつか
の帯域に分割し、最も重要な最低帯域の信号を既存の符
号化装置２における入力画像信号１と等しい画素数にダ
ウンサンプルし、各帯域毎に別々に符号化する。このよ
うに入力画像信号１を帯域分割しても、一般に画像は低
域成分の情報量が多いため、最低帯域の符号化レートが
既存の符号化装置２で規定されている符号化レートを上
回ってしまい、既存の復号装置４では復号出来なくなっ
てしまう可能性がある。

【０００６】そこで、最低帯域の符号化を行う際に、符
号化レートを既存の符号化装置２で規定されている符号
化レートに抑え、符号化出力を既存の符号化装置２との
コンパチビリティを持たせた第１の符号化データと、精
細な再生画像を得るために必要な付加情報となる第２の
符号化データとに分け、第１の符号化データは図１１
（ａ）（ｂ）における既存の復号装置２で再生可能な符
号化データ３とし、また第２の符号化データは最低帯域
以外の帯域の符号化データと多重化して、図１１（ｂ）
における付加情報８とすればよい。

【０００７】ところで、動画像のための標準符号化方式
では、動き補償適応予測と直交変換および可変長符号化
を組み合わせた方式が採用される。上述のように既存の
符号化／復号装置との間でフォワードコンパチビリティ
およびバックワードコンパチビリティを持ちつつ、多く
の符号化ビットレートを用いて高精細な再生画像を再生
することもできる階層的画像符号化／復号装置において
も、基本的には動き補償適応予測と直交変換および可変
長符号化を組み合わせた方式特徴とすることが望まれ
る。そして、既存の符号化方式による再生画像のみが必
要な場合には、低次の直交変換係数のみを伝送／蓄積
し、精細な再生画像が必要な場合には、低次から高次ま
での直交変換係数を伝送／蓄積する。

【０００８】このような従来の階層的画像符号化／復号
装置は、特に動き補償に関して、既存の符号化方式によ
り得られた低次の直交変換係数のみを用いた再生画像に
より動き補償を行う第１の方式と、既存の符号化方式に
より得られた粗く量子化された直交変換係数のみを用い
た再生画像により動き補償を行う第２の方式とに大別さ
れる。

【０００９】第１の方式においては、低次の直交変換係
数のみを用いた再生画像に高次係数の成分が含まれない
ため、入力画像の高次係数の成分に対しては動き補償の
効果が無い。従って、高次直交係数の伝送／蓄積に多く
の符号化ビットが必要となるため、階層化を行わない場
合に比べて符号化効率が大きく低下してしまうという問
題がある。

【００１０】一方、第２の方式においては粗く量子化さ
れた直交変換係数のみを用いた再生画像には歪が多いた
め、動き補償予測信号にも大きな歪が含まれることにな
り、入力画像を効率よく動き補償することができない。
従って、階層符号化を行わない場合に比べて、符号化効
率が大きく低下してしまうという問題がある。

【００１１】

【発明が解決しようとする課題】上述したように、従来
の技術による階層的画像符号化／復号装置では、既存の
符号化方式による再生画像を用いて動き補償を行うた
め、精細な再生画像を得るために必要な付加情報の符号
化効率が悪く、階層化を行わない場合に比べて符号化効
率が大きく低下してしまうという問題があった。

【００１２】本発明はこの様な問題点を解決し、既存の
符号化装置に対してフォーワードコンパチビリティおよ
びバックワードコンパチビリティを有しながら、高い符
号化効率の得られる画像符号化／復号装置を提供するこ
とを目的とする。

【００１３】

【課題を解決するための手段】上記課題を解決するた
め、本発明に係る画像符号化装置は、精細さの異なる複
数の予測画像信号を用いて入力画像信号の階層符号化を
行うことにより符号化データをそれぞれ得る複数の符号
化手段と、これら複数の符号化手段により得られた符号
化データにそれぞれ対応する局部復号信号を生成する複
数の局部復号手段と、これら複数の局部復号手段により
得られた得られた局部復号信号をそれぞれ記憶する複数
の記憶手段と、これら複数の記憶手段に記憶された局部
復号信号から前記予測画像信号を生成する複数の予測画
像信号生成手段ととを有する。

【００１４】また、本発明に係る画像復号装置は、精細
さの異なる複数の予測画像信号を用いて入力された符号
化データを復号することにより再生画像信号をそれぞれ
得る複数の復号手段と、これら複数の復号手段により得
られた再生画像信号から前記予測画像信号を生成する複
数の予測画像信号生成手段と、これら複数の予測画像信
号生成手段により生成された予測画像信号をそれぞれ記
憶する複数の記憶手段とを有する。

【００１５】

【作用】このように本発明では、従来の階層的符号化／
復号装置が既存の符号化方式による再生画像のみを用い
て動き補償などの予測を行っていたのに対し、既存の符
号化方式による再生画像だけでなく階層符号化の各階層
の再生画像を局部復号して記憶し、この記憶された再生
画像を用いて動き補償等の予測を行って符号化するた
め、予測効率が大きく向上し、精細な再生画像を得るた
めに必要な付加情報量を著しく削減できる。

【００１６】

【実施例】以下、図面を参照して本発明の実施例を説明
する。以下の実施例は、いずれも既存の動画像符号化方
式が動き補償適応予測と直交変換と可変長符号化を組み
合わせた方式を用いている。

【００１７】入力画像信号の画素数が既存の符号化方式
で規定されている入力画像信号の画素数より多い場合に
は、入力画像信号に対してピラミッド分割やサブバンド
分割等を行い、得られた複数の帯域の信号のうち最低帯
域信号を既存の符号化方式の入力画像信号と同じ画素数
にダウンサンプリングして符号化する。本発明は、この
最低帯域信号の符号化効率の改善を対象としている。こ
のため、以下の説明ではこの最低帯域信号の処理のみを
説明する。

【００１８】図１は、本発明の第１の実施例に係る画像
符号化装置のブロック図である。この画像符号化装置
は、既存の符号化方式による再生画像信号のみが必要と
される場合は、低次の直交変換係数のみを伝送／蓄積す
ることにより階層符号化を実現している。

【００１９】図１において、原画像信号１０は分割回路
１０１によりサブバンド分割またはピラミッド分割さ
れ、かつダウンサンプリングされる。これにより得られ
た各帯域の信号のうち、最低帯域信号（以下、入力画像
信号という）１１はいくつかのブロックに分割され、動
きベクトル探索器１１３で第１のフレームメモリ１１１
に記憶されている画像信号との間の動きベクトル１６が
求められる。

【００２０】また、入力画像信号１１は減算器１０２に
も入力され、ここで動き予測画像信号１２との差信号
（動き補償残差信号）１３が求められる。図示しない符
号化制御回路により、動き補償残差信号１３と入力画像
信号１１のうちどちらを符号化に用いるかがブロック毎
に適応的に判定され、その判定結果に従ってスイッチ１
０３が切り替えられる。スイッチ１０３で動き補償残差
信号１３が選択された状態はインターモード、入力画像
信号１１が選択された状態はイントラモードと呼ばれ
る。いずれのモードが選択されたかは、サイド情報とし
て別途伝送／蓄積される。また、インターモードが選択
された場合は、動きベクトル１６が可変長符号化器１１
４で可変長符号化され、サイド情報１７として伝送／蓄
積される。

【００２１】直交変換器１０４は例えばＤＣＴ（離散コ
サイン）変換器であり、ブロック毎に直交変換を行い、
直交変換係数を低次と高次の２つのグループに分けて出
力する。このグループ分けは、既存の符号化方式による
符号量が規定の値を越えないように適応的に行う。これ
らのうち低次の直交変換係数は量子化器１０５で量子化
され、さらに可変長符号化器１０６で可変長符号化され
ることにより、低次係数の符号化データ１４として伝送
／蓄積される。量子化器１０５から出力される低次係数
の量子化値は、逆量子化器１０７で逆量子化された後、
高次の係数を０として逆直交変換器１０８で逆直交変換
される。

【００２２】逆直交変換器１０８の出力は、加算器１０
９で動き予測画像信号１２と加算される。逆直交変換器
１０８の出力と加算器１０９の出力がスイッチ１１０で
選択されて局部復号信号１５となり、第１のフレームメ
モリ１１１に一時記憶される。すなわち、スイッチ１１
０はスイッチ１０３と連動して動作し、インターモード
が選択された場合は逆直交変換器１０８の出力と動き予
測画像信号１２とを加算する加算器１０９の出力、また
イントラモードが選択された場合は逆直交変換器１０８
の出力をそれぞれ既存の符号化方式による符号化データ
の局部復号信号１５として選択する。この局部復号信号
１５は、第１のフレームメモリ１１１に記憶され、これ
を基に動きベクトル１６を用いて動き予測画像信号１２
が生成される。

【００２３】一方、第２のフレームメモリ１１２に記憶
されている精細な局部復号信号を元に、動きベクトル１
６を用いて動き予測画像信号１８が生成される。直交変
換器１１５，１１６は、動き予測画像信号１８および入
力画像信号１１をそれぞれ直交変換し、それぞれの高次
係数１９，２０のみを取り出す。これら２つの高次係数
１９，２０の差分が、減算器１１７で高次係数の動き補
償残差信号２１として求められる。この動き補償残差信
号２１と入力画像信号１１の高次係数信号２０のうち、
効率的に符号化の行える方がブロック毎に適応的に判定
され、スイッチ１１８で選択される。スイッチ１１８で
いずれの信号が選択されたかは、別途サイド情報として
伝送／蓄積される。

【００２４】スイッチ１１８で選択された信号は量子化
器１１９で量子化され、さらに可変長符号化器１２０で
可変長符号化されて、精細な画像信号を得るための付加
情報（高次係数の符号化データ）２２として伝送／蓄積
される。

【００２５】前述した既存の符号化方式による符号化デ
ータに対応する局部復号信号１５は直交変換器１２４で
直交変換され、低次の直交変換係数２３のみ取り出され
る。一方、量子化器１１９で量子化された直交変換係数
２４は、逆量子化器１２１で逆量子化される。スイッチ
１２２はスイッチ１１８と連動して動作し、イントラモ
ードの場合には逆量子化器１２１の出力を、インターモ
ードの場合には逆量子化器１２１の出力と直交変換器１
１５から出力される予測画像信号１８の高次直交変換係
数信号１９を加算器１２３で加算した信号をそれぞれ選
択する。

【００２６】そして、逆直交変換器１２５で直交変換器
１２４から出力される低次の直交変換係数２３およびス
イッチ１２２の出力２５がそれぞれ低次および高次の係
数として逆直交変換されることにより、精細な再生画像
信号の局部復号信号２６が求められる。この局部復号信
号２６は第２のフレームメモリ１１２に記憶され、最終
的に動き予測画像信号１８となる。

【００２７】図２は、図１の画像符号化装置に対応する
画像復号装置のブロック図である。この画像復号装置で
は既存の符号化方式による再生画像信号のみを再生する
場合には、破線で囲まれた部分の処理のみが行われる。
すなわち、低次係数の符号化データ１４は可変長復号器
２０１で復号され、さらに逆量子化器２０２で逆量子化
されることにより低次係数３１が得られる。この係数３
１は、高次係数を０として逆直交変換器２０３で逆直交
変換される。

【００２８】スイッチ２０５は、図１の画像符号化装置
からのサイド情報を基に切り替えられる。イントラモー
ドが選択された場合は、逆直交変換器２０３の出力３２
が選択される。インターモードが選択された場合は、逆
直交変換器２０３の出力３２と、第１のフレームメモリ
２０６に記憶されている既存の符号化方式による再生画
像信号と動きベクトルサイド情報１７を可変長復号器２
０７で復号して得られた動きベクトル３３とを基にして
得られる動き予測画像信号３４を加算器２０４で加算し
た信号がそれぞれ選択される。スイッチ２０５で選択さ
れた信号は、既存の符号化方式による再生画像信号３５
として出力されるとともに、第１のフレームメモリ２０
６に記憶される。

【００２９】一方、精細な再生画像信号を出力する場合
には、上記の処理の他に、高次係数の符号化データ２２
が可変長復号器２０８で復号され、さらに逆量子化２０
９で逆量子化されることにより高次係数３６が得られ
る。スイッチ２１０では、前記サイド情報を基にイント
ラモードの場合は高次係数３６が選択され、インターモ
ードの場合には第２のフレームメモリ２１１からの画像
信号を基に動きベクトル１７を用いて動き予測して得ら
れた予測画像信号３７を直交変換器２１２で直交変換し
た高次係数３８と逆量子化器２０９からの高次係数３６
を加算器２１３で加算した信号が選択される。

【００３０】また、既存の符号化方式による再生画像信
号３５は直交変換器２１４で直交変換され、低次係数３
９のみが取り出される。逆直交変換器２１５では、直交
変換器２１４の出力３９を低次係数、スイッチ２１０の
出力４０を高次係数として逆直交変換が行われ、その直
交変換結果が第２のフレームメモリ２１１に記憶される
とともに出力される。出力信号４１はサブバンド分割ま
たはピラミッド分割の最低域以外の帯域の再生信号と合
成されることにより、精細な再生画像信号が得られる。

【００３１】上述した第１の実施例の画像符号化装置で
は、低次係数と高次係数の両方を用いて得られた局部復
号信号を第２のフレームメモリ１１２に記憶し、これを
高次係数の動き補償に用いている。このため、高次係数
成分の含まれない既存の符号化方式による再生画像信号
を基に動き補償を行う従来の第１の方式に比べて、高次
係数成分の動き補償予測効率が大幅に向上する。

【００３２】また、第２のフレームメモリ１１２には高
次係数成分だけでなく低次係数と高次係数の両方を用い
て得られた局部復号号をそのまま記憶し、高次係数の符
号化を行う際に入力画像信号とフレームメモリ１１２に
記憶されている局部復号信号それぞれに対して直交変換
を行い、既存の符号化方式による局部復号信号には含ま
れていない高次係数成分のみを取り出して動き補償を行
い符号化している。

【００３３】これは既存の符号化方式の符号量を規定の
値に制御するために、低次係数と高次係数の区分がフレ
ーム毎に変化することに対応したものである。すなわ
ち、高次係数成分のみをフレームメモリに記憶すると、
符号化する高次係数よりも、より高次の成分しかフレー
ムメモリに記憶されていない場合もあり、動き補償の効
率が低下してしまう。これに対して、本実施例のように
低次係数と高次係数の両方を用いた再生画像信号をその
ままフレームメモリ１１２に記憶しておけば、常に符号
化する高次係数に対応した成分を取り出すことができ
る。

【００３４】図３は、本発明の第２の実施例に係る画像
符号化装置のブロック図である。この画像符号化装置
は、既存の符号化方式に対応した符号化データとして
は、粗く量子化された直交変換係数を符号化して伝送／
蓄積し、精細な再生画像信号が必要な場合にはさらに細
かく量子化して伝送／蓄積する方法を用いて階層符号化
を実現している。以下、第１の実施例の符号化装置との
違いのみを説明する。

【００３５】図３において、第１段階では直交変換器１
０４で得られた直交変換係数が、既存の符号化方式に対
応する符号量が規定の符号量と一致するように量子化ス
テップサイズを粗く設定された量子化器１０５で量子化
され、さらに可変長符号化器１０６で可変長符号化され
て、既存の符号化方式による符号化データ１４として伝
送／蓄積される。第１のフレームメモリ１１１には、既
存の符号化方式による符号化データの局部復号信号１５
が記憶される。

【００３６】第２段階では、量子化器１０５で粗く量子
化された直交変換係数が逆量子化器１０７で逆量子化さ
れ、これと量子化前の直交変換係数との差分信号４１が
減算器３０１で作成される。また、第２の動きベクトル
探索器３０２で最低帯域の入力画像信号１１と第２のフ
レームメモリ１１２に記憶されている精細な局部復号信
号との間の動きベクトル４２が求められる。この動きベ
クトル４２に基づいて精細な動き予測画像信号４３が作
成されて動き補償が行われ、減算器３０３で得られた動
き補償残差信号４４が直交変換器３０４で直交変換され
る。

【００３７】ここで、減算器３０１の出力信号４１と直
交変換器３０４で得られた変換係数信号４５のうちどち
らが効率的に符号化が行えるかがブロック毎に判定さ
れ、この判定結果に基づいて、符号化されるべき信号４
６がスイッチ３０５で選択される。このスイッチ３０５
で選択された信号４６が量子化器３０６で量子化され、
さらに可変長符号化器３０７で可変長符号化されて、高
精細な再生画像信号を得るための付加情報（高次係数の
符号化データ）４７として伝送／蓄積される。スイッチ
３０５で信号４１，４５のいずれが選択されたかは、サ
イド情報として伝送／蓄積される。

【００３８】スイッチ３０５で信号４５が選択された場
合には、動きベクトル４２が既存の符号化方式による符
号化データの局部復号信号の動き予測に用いられた動き
ベクトル１６と等しいかどうかが判定され、この判定結
果がサイド情報として別途伝送／蓄積される。動きベク
トル１６，４２が異なる場合には、動きベクトル４２が
可変長符号化器３０８で可変長符号化され、サイド情報
として伝送／蓄積される。

【００３９】量子化器３０６で量子化された直交変換係
数４９は、逆量子化器３０９で逆量子化され、加算器３
１０によって逆量子化器１０７で逆量子化された直交変
換係数と加算される。そして、スイッチ３０５と連動す
るスイッチ３１１により加算器３１０の出力および逆量
子化器３０９の出力のいずれかが選択される。すなわ
ち、スイッチ３０５で信号４１が選択された場合には加
算器３１０の出力が選択され、スイッチ３０５で信号４
５が選択された場合には逆量子化器３０９の出力が選択
されて、逆直交変換器３１２で逆直交変換される。

【００４０】逆直交変換器３１２の出力は、加算器３１
３およびスイッチ３１４により、スイッチ３０５で信号
４５が選択された場合には動き予測信号４３と加算さ
れ、スイッチ３０５で信号４１が選択されかつ第１段階
の符号化がインターモードならば、既存の符号化方式に
よる再生画像信号を用いた動き予測信号１２とそれぞれ
加算される。この加算器３１３の出力信号５０は、精細
な局部復号信号として第２のフレームメモリ１１２に記
憶される。

【００４１】図４は、図３の画像符号化装置に対応する
画像復号装置のブロック図である。この復号装置では、
既存の符号化方式による再生画像信号のみを再生する場
合には図２に示した画像復号装置と同じく破線で囲まれ
た部分の処理のみが行なわれる。この処理については、
図２と同様であるため説明を省略する。

【００４２】精細な再生画像信号を出力する場合には、
この処理の他に以下の処理が行われる。すなわち、高次
係数の符号化データ４７が可変長復号器４０１で復号さ
れ、さらに逆量子化器４０２で逆量子化された後、加算
器４０３で画像に対応する直交変換係数３１と加算され
る。図３のイッチ３０５で信号４１が選択された場合に
は、スイッチ４０４で加算器４０３の出力が選択され、
逆直交変換器４０５で逆直交変換される。

【００４３】また、図３のスイッチ３０５で信号４５が
選択された場合には、動きベクトル１７，４８のうちど
ちらが用いられたかを示すサイド情報を基に、可変長復
号器２０７，４０６で復号された動きベクトルがスイッ
チ４０７で選択される。この選択された動きベクトルを
用いて、第２のフレームメモリ２１１に記憶されている
画像信号を基に、精細な動き予測画像信号が作成され、
これがスイッチ４０８を介して加算器４０９に入力さ
れ、逆直交変換器４０５の出力に加算される。

【００４４】さらに、図３のスイッチ３０５で信号４５
が選択され、かつ既存の符号化方式の符号化モードがイ
ンターモードならば、既存の符号化方式の再生画像信号
から作成した動き予測画像信号３４がスイッチ４０８で
選択され、加算器４０９で逆直交変換器４０５の出力に
加算される。こうした得られた画像信号はスイッチ４１
０を介して精細な再生画像信号４１として出力されると
ともに、第２のフレームメモリ２１１に記憶される。

【００４５】上述した第２の実施例の画像符号化装置で
は、第２段階の符号化において精細な再生画像信号（局
部復号信号）をフレームメモリに記憶して、動き補償適
応予測を行っている。このため、大きな符号化歪の含ま
れる既存の符号化方式による再生画像信号を用いて動き
補償を行う従来の第２の方式に比べ、動き補償の精度が
向上し、特に以前に符号化したフレームとの相関が強い
場合には、大幅に符号化効率が向上する。

【００４６】また、この動き補償残差と第１段階で量子
化された直交変換係数との差分のうち、最適なものを切
り替えて用いるようになっているため、シーンチェンジ
等があった場合のように以前に符号化の行われた画像信
号との相関が非常に小さい場合でも、従来方式と同等の
符号化効率が得られる。

【００４７】図５は、本発明の第３の実施例に係る画像
符号化装置のブロック図である。この実施例は、既存の
符号化方式が低次の直交変換係数と高次の直交変換係数
で異なる量子化幅を用いることができる符号化方式であ
る場合の一実施例である。例えば、ＭＰＥＧ１の符号化
方式のように、量子化マトリックスを用いて低次係数と
高次係数の量子化幅を異なる値とすることができる方式
が、本実施例で対象とする既存の符号化方式の一例であ
る。以下、第１および第２の実施例との相違点に重点を
置いて説明する。

【００４８】まず、第１のフレームメモリ１１１に記憶
されている既存の符号化方式による局部復号信号を用い
て、図１の実施例と同様に動き補償適応予測と直交変換
が行われる。ここで、直交変換器１０４で得られた変換
係数は低次係数５１と高次係数５２に区分されて出力さ
れる。低次係数５１は量子化器１０５で量子化され、可
変長符号化器１０６で可変長符号化される。

【００４９】第１段階では、高次係数５２は量子化器５
０１で低次係数よりも粗く量子化され、可変長符号化器
５０２で可変長符号化される。低次係数５１の量子化値
５３および高次係数５２の第１段階の量子化値５４は、
それぞれ逆量子化器１０７，５０３で逆量子化された
後、逆直交変換器１０８で逆直交変換される。そして、
インターモードの場合には、逆直交変換器１０８の出力
と既存の符号化方式による局部復号信号から作成された
動き予測画像信号１２とが加算器１０９で加算され、既
存の符号化方式の局部復号信号として第１のフレームメ
モリ１１１に記憶される。

【００５０】第２段階では、高次係数５２のみが量子化
器５０１でより細かく量子化される。インターモードの
場合には、精細な局部復号信号を記憶する第２のフレー
ムメモリ１１２に記憶されている画像信号を基にした動
き予測画像信号１８と入力画像信号１１がそれぞれ直交
変換器１１５，１１６で直交変換されて高次成分のみ取
り出され、減算器１１７で差分信号２１が生成される。
イントラモードの場合には、直交変換器１０４で得られ
た高次係数５２と、第１段階において逆量子化器５０３
で逆量子化された高次係数５５との差分信号５６が減算
器５０４で作成される。

【００５１】また、スイッチ１０３と連動するスイッチ
５０５により、差分信号５６と減算器１１７からの高次
係数の動き補償残差信号２１のいずれかが選択され、量
子化器５０６で量子化され、さらに可変長符号化器５０
７で可変長符号化されて、精細な再生画像信号を得るた
めの付加情報５７として伝送／蓄積される。

【００５２】量子化器５０６の出力は逆量子化器５０８
で逆量子化され、加算器５１０に入力される。スイッチ
１０２，５０５と連動するスイッチ５０９により、逆量
子化器５０３からの高次係数５５と直交変換器１１５か
らの高次係数１９のいずれかが選択され、加算器５１０
で逆量子化器５０８の出力と加算され、逆直交変換器１
２５に高次係数信号２５として入力される。

【００５３】一方、可変長符号化器１０６，５０２から
出力される低次係数および高次係数の符号化データ１
４，５５は、マルチプレクサ５１１で既存の符号化方式
の符号化データ５６として伝送／蓄積される。

【００５４】図６は、図５の画像符号化装置に対応する
画像復号装置のブロック図である。この画像復号装置で
は、デマルチプレクサ６０１で分離された低次係数の符
号化データ１４および高次係数の第一段階の符号化デー
タ５５がそれぞれ可変長復号器２０１，６０２で復号さ
れ、さらに逆量子化器２０２，６０３で逆量子化された
後、逆直交変換器２０３で逆直交変換される。インター
モードの場合は、逆直交変換器２０３の出力と第１のフ
レ−ムメモリ２０６に記憶されている既存の符号化方式
による局部復号信号を基にして得られた動き予測画像信
号３４を加算器２０４で加算した信号が既存の符号化方
式の再生画像信号３５として出力されるとともに、フレ
−ムメモリ２０６に一時的に記憶される。

【００５５】高次係数の第２段階の符号化データ５７は
可変長復号器６０４で復号され、さらに逆量子化器６０
５で逆量子化される。スイッチ６０６によりイントラモ
−ドの場合には第１段階の逆量子化値６１、インタ−モ
−ドの場合には第２のフレ−ムメモリ２１１に記憶され
ている局部復号信号を基にした動き予測画像信号３７を
直交変換器２１２で直交変換して取り出された高次係数
がそれぞれ選択され、これと逆量子化器６０５の出力と
が加算器６０７で加算される。この加算器６０７の出力
と、既存の符号化方式の再生画像信号３５を直交変換器
２１４で直交変換して得られた低次係数３９が逆直交変
換器２１５で逆直交変換され、フレ−ムメモリ２１１に
記憶されるとともに、出力信号４１となる。

【００５６】上述した第３の実施例の画像符号化装置
は、既存の符号化方式とコンパチビリティを持つ符号化
データを作成する符号化に際して、細かく量子化された
低次の直交変換係数と粗く量子化された高次の直交変換
係数の両方が用いられている。このため、低次の係数の
みを用いる第１の実施例や粗く量子化された係数のみを
用いる第２の実施例に比べ、既存の符号化方式による再
生画像信号の画質も改善されるという利点がある。

【００５７】また、精細な局部復号信号を記憶するフレ
−ムメモリを持ち、精細な画像信号の符号化にはこのフ
レ−ムメモリに記憶された局部復号信号を用いているた
め、従来の技術を用いた符号化方式に比べて効率的な階
層符号化が行なわれる。

【００５８】図７は、本発明の第４の実施例に係る画像
符号化装置のブロック図である。この画像符号化装置
は、既存の符号化方式の局部復号信号を記憶する第１の
フレ−ムメモリ１１１と、精細な局部復号信号の高次係
数成分のみを記憶する第２のフレ−ムメモリ１１２を持
ち、最低帯域の入力画像信号１１の低次係数成分および
高次係数成分をそれぞれのフレ−ムメモリ１１１，１１
２に記憶されている信号を用いて動き補償適応予測直交
変換符号化するものである。既存の符号化方式とコンパ
チビリティを持つ符号化データを得る符号化および復号
の手順は、第１の実施例と全く同じであるので、精細な
再生画像信号の符号化および復号の手順のみを説明す
る。

【００５９】この画像符号化装置では、入力画像信号１
１に対して第２のフレ−ムメモリ１１２に記憶されてい
る高次係数成分を基に、既存の符号化方式による符号化
に用いられたのと同じ動きベクトル１６を用いて動き補
償適応予測が行われ、その残差信号が直交変換器７０１
で直交変換されて既存の符号化方式による局部復号信号
には含まれない高次係数のみが取り出され、これが量子
化器１１９で量子化され、さらに可変長符号化器１２０
で可変長符号化されて、精細な再生画像信号を得るため
の付加情報２２として伝送／蓄積される。

【００６０】また、量子化器１１９で量子化された高次
係数２４は逆量子化器１２１で逆量子化された後、逆直
交変換器７０２で低次係数を０として逆直交変換され
る。高次係数成分の動き補償でインタ−モ−ドとなった
場合には、逆直交変換器７０２の出力と高次係数成分の
動き予測画像信号１８とを加算器１２３で加算した信号
が第２のフレ−ムメモリ１１２に記憶される。

【００６１】図８は、図７の画像符号化装置に対応する
画像復号装置のブロック図である。この画像復号装置で
は、精細な画像信号を得るための付加情報２２が可変長
復号器２０８で復号され、逆量子化器２０９で逆量子化
された後、逆直交変換器８０１で低次係数を０として逆
量子化される。高次係数成分がインタ−モ−ドの場合に
は、逆直交変換器８０１の出力と高次係数の動き予測画
像信号３８を加算器８０２で加算した信号が、再生画像
信号の高次係数成分７１として第２のフレ−ムメモリ２
１１に記憶される。そして、この高次係数成分７１と既
存の符号化方式による再生画像信号３５とが加算器８０
３で加算され、精細な再生画像信号の最帯低域の信号４
１として出力される。

【００６２】上述した第４の実施例の画像符号化装置で
は、既存の符号化方式の局部復号信号を記憶するフレ−
ムメモリ１１１に加えて精細な局部復号信号の高次係数
成分を記憶するフレ−ムメモリ１１２を用いているた
め、高次係数成分の動き補償が効率よく行われ、従来の
技術を用いた画像符号化装置に比べて符号化効率が大幅
に向上する。なお、フレ−ムメモリ２１２には高次係数
成分だけを記憶しているため、第１の実施例で述べたよ
うに既存の符号化方式による画像信号の符号量を規定の
値に制御するために低次系数と高次係数の区分がフレー
ム毎に変化する場合には、第１の実施例に比べて符号化
効率が低下する。しかし、低次係数と高次係数の区分が
変化しなければ、第１の実施例と同等の性能が得られ
る。なお、本発明は適応予測を行わずに、常に動き補償
残差信号を符号化する方式である場合にも適応できる。

【００６３】図９および図１０は、このように常に動き
補償残差信号を符号化する方式による本発明の第５の実
施例に係る画像符号化装置のブロック図である。この実
施例は図１および図２から、適応予測のために用いるス
イッチ１０３，１２２，２０５，２１０が除去されてい
る点以外、第１の実施例と同様である。

【００６４】また、本発明は動き補償と直交変換と可変
長符号化の技術を用いた符号化方式に限らず、特に予測
方式として以前に符号化した画像信号を用いて予測を行
う他の符号化方式にも適用することができる。

【００６５】

【発明の効果】本発明によれば、既存の符号化方式によ
る局部復号信号を記憶する第１の記憶手段に加え、精細
な局部復号信号を記憶する第２の記憶手段を設け、精細
な画像信号の符号化においては第２の記憶手段に記憶さ
れている局部復号信号を用いて動き補償等の予測を行う
ことにより、予測効率が著しく向上し、精細な画像信号
を効率よく符号化することができ、階層化を行わない場
合と同等の符号化効率が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る画像符号化装置の
ブロック図

【図２】同実施例に係る画像復号装置のブロック図

【図３】本発明の第２の実施例に係る画像符号化装置の
ブロック図

【図４】同実施例に係る画像復号装置のブロック図

【図５】本発明の第３の実施例に係る画像符号化装置の
ブロック図

【図６】同実施例に係る画像復号装置のブロック図

【図７】本発明の第４の実施例に係る画像符号化装置の
ブロック図

【図８】同実施例に係る画像復号装置のブロック図

【図９】本発明の第５の実施例に係る画像符号化装置の
ブロック図

【図１０】同実施例に係る画像復号装置のブロック図

【図１１】階層的符号化装置および復号装置と既存の符
号化装置および復号装置の接続法を示すブロック図

【符号の説明】

１１…入力画像信号（最低帯域信号） １２…動き
予測画像信号 １４…低次係数の符号化データ １５…局部
復号信号 ２２…高次係数の符号化データ １０１…分
割回路 １０４，１１５，１１６，１２４，２１２，２１４，３
０４，７０１…直交変換器 １０５，１１９，３０６，５０１，５０６…量子化器 １０６，１１４，１２０，３０７，３０８，５０７…可
変長符号化器 １０７，１２１，２０２，２０９，３０９，４０２，５
０３，５０８，６０３，６０５…逆量子化器 １０８，１２５，２０３，２１５，３１２，４０５，７
０２，８０１…逆直交変換器 １１１，１１２…フレームメモリ １１３，３０２…
動きベクトル探索器 ２０１，２０７，２０８，４０１，４０６，６０２，６
０４…可変長復号器 ５１１…マルチプレクサ ６０１…デマ
ルチプレクサ

Claims (2)

【特許請求の範囲】
1. 【請求項１】精細さの異なる複数の予測画像信号を用い
   て入力画像信号の階層符号化を行うことにより符号化デ
   ータをそれぞれ得る複数の符号化手段と、 これら複数の符号化手段により得られた符号化データに
   それぞれ対応する局部復号信号を生成する複数の局部復
   号手段と、 これら複数の局部復号手段により得られた局部復号信号
   をそれぞれ記憶する複数の記憶手段と、 これら複数の記憶手段に記憶された局部復号信号から前
   記予測画像信号を生成する複数の予測画像信号生成手段
   とを具備することを特徴とする画像符号化装置。
2. 【請求項２】精細さの異なる複数の予測画像信号を用い
   て入力された符号化データを復号することにより再生画
   像信号をそれぞれ得る複数の復号手段と、 これら複数の復号手段により得られた再生画像信号から
   前記予測画像信号を生成する複数の予測画像信号生成手
   段と、 これら複数の予測画像信号生成手段により生成された予
   測画像信号をそれぞれ記憶する複数の記憶手段と具備す
   ることを特徴とする画像復号装置。