JP4201849B2 - ビデオ符号化方法及び装置、及び対応する復号化装置 - Google Patents

Description

発明の分野
本発明は、
少なくとも直交変換サブステップ、量子化サブステップ、及び可変長符号化サブステップを直列に含む第１の符号化ステップと、
前記量子化サブステップの出力と前記符号化ステップの入力との間に、少なくとも逆量子化サブステップ、逆直交変換サブステップ、及び予測サブステップを含む第２の予測ステップと、
所謂イントラ符号化モードとインター符号化モードとの間の選択サブステップを含む第３の決定ステップと、
を具えるビデオ符号化方法に関するものである。
本発明は、更に、対応するビデオ符号化装置、このような符号化装置の出力端子に得られるような符号化ビデオ信号、及び対応する復号化装置にも関するものである。本発明はビデオ電話及びビデオ会議の分野に使用することができる。
発明の背景
超低ビットレートビデオ符号化に対する標準Ｈ．２６３（例えば“ITU standardisation of very low bitrate vdeo coding algorithms”, K.Rijkse,Signal Processing：Image Communication, 7（1995）, pp.553-565，に記載されている）はハイブリッドビデオ符号化方法に基づくものであり、マクロブロック構造の画像を取り扱い、空間冗長性を低減させるためにＤＣＴ（ディスクリートコサイン変換）及び動き推定及び画像間予測のような技術を用い、最後に量子化し可変長エントロピー符号化する（ＭＰＥＧ₂標準の場合にも規定されている）。
この標準Ｈ．２６３においては最大ビットレートはビデオ電話用に約２０ｋビット／秒であり、ビデオ会議用に６４ｋビット／秒の整数倍（６４、１２８、２５６、...）である。これらの極めて低いビットレートでは、伝送ビットレートを低減するために種々の解決方法、例えば時間サブサンプリングがしばしば使用されている。しかし、これらの解決方法は画質を低下させることなく実行する必要がある。
標準Ｈ．２６３エンコーダのブロック図を図１に示す。符号化すべき画像に対応する入力ビットストリームＩＢが減算器１１の第１の正入力端子に受信される。この減算器の後段に、ＤＣＴ回路１２のような直交変換装置、量子化器１３（Ｑ）、可変長符号化回路１４（ＶＬＣ）、ビデオマルチプレクサ１５（ＭＵＸ）、及び出力ビットストリームＯＢを出力する出力バッファ１６を直列に具える。量子化器１３の出力端子と減算器１１の第２の負入力端子との間に設けられたインター（画像間）予測ループは逆量子化器１７（Ｑ^-1）、逆ＤＣＴ回路１８（ＤＣＴ^-1）、加算器１９、及び予測回路２０を直列に具え、予測回路２０の出力を加算器１９の第２入力端子にも送り戻して加算器１９の出力端子に画像を再構成する。
加算器１９の出力は動き推定器２１にも送出される。この推定器２１は入力ビットストリームＩＢも受信し、動きベクトルＭＶを出力する。これらのベクトルは次いで第２のＶＬＣ回路２２により符号化され、伝送（又は蓄積）のためにマルチプレクサ１５に送出される。出力バッファ１６と予測回路２０との間に設けられた決定回路２３が、イントラ符号化モード（ビデオシーケンスの第１画像にのみ関連し、時間方向予測を用いないで符号化する）と、インター符号化モード（ビデオシーケンスの残りの全画像を予測を用いて符号化する）との間の選択を行う。
イントラ画像は如何なる前画像も参照することなく符号化されるので、各イントラ画像は、後続の画像をインター符号化モードで符号化するのに必要なビット量の４〜１０倍のビット量（シーン内容及び平均量子化パラメータに依存する）を必要とする。下記の表（＝表１）は、ＣＩＦフォーマット（３５２画素×２８８ライン）のいくつかの公知のテストシーケンスについてイントラ符号化モードとインター符号化モードとの間のビット量の差を示す。

第１の画像をイントラモードで符号化し、第２の次の画像をインターモードで符号化するのに必要なこれらのビット量の値から、出力ストリームＯＢを一定のビットレートで伝送するのに必要な出力バッファ１６がイントラ符号化中に強く使用されることが観察される。イントラ画像をオーバフローの惧れなしに蓄積するために適切な容量を有するバッファを使用し得るが、エンコーダの遅延が第１イントラ画像の全ビット数に正比例し、この画像のビット数が多くなればなるほど、出力バッファが関連する一定のターゲットビットレートで空になるまでの遅延が大きくなる。
発明の概要
これがため、本発明の目的はイントラ符号化モード時にオーバフローの惧れを避けることができる符号化方法を提供することにある。
この目的のために、本発明は頭書に記載した符号化方法において、前記第３の決定ステップは、更に、前記イントラ符号化モードにおいてのみ、符号化ステップの開始時に実行されるダウンコンバージョンフィルタリングサブステップと、予測ステップにおいて、予測サブステップの直前に実行される対応するアップコンバージョンフィルタリングサブステップとを含み、前記ダウンコンバージョンの結果として画像をインター符号化モードに従って符号化された画像のフォーマットに対し低解像度の画像フォーマットで符号化し得ることを特徴とする。
これらの追加のステップの導入はビットを節約する極めて簡単且つ効果的な解決手段を構成し、約３０％の平均計算量の低減をもたらすとともに出力バッファのビット占有率の低下（及び前記計算量の低減）のために符号化遅延の低減をもたらす。この解決手段は標準化しなくとも標準Ｈ．２６３とコンパチブルである。６４−２５６ｋビット／秒のターゲットビットレートの範囲において、５Ｈｚの画像レート及びＣＩＦフォーマットを用い、且つ極めて簡単なバッファ制御戦略又は極めて複雑なバッファ制御戦略（事前分析に基づく）を用いて試験を行ったところ、この解決手段は有効であって、最終画像の悪化を殆ど生じないことが確かめられた。更に、前記解決手段は完全にスケーラブルであり、たとえ高い圧縮比及び許容画質の要件を達成するのが難しい特に低ビットレートアプリケーション（２５６ｋビット／秒以下）に適応させる場合でもスケーラブルである。
【図面の簡単な説明】
本発明の特徴及び利点は以下の説明及び添付図面から一層明らかになる。図面において、
図１は、既に記載したように、標準Ｈ．２６３エンコーダのブロック図を示し、
図２は本発明によるエンコーダのブロック図を示し、
図３は対応するデコーダのブロック図を示す。
好適実施例の説明
本発明の原理は次の通りである。所定のフォーマット、例えばＣＩＦフォーマットのシーケンスの第１画像をイントラモードで符号化し、次いで量子化しエントロピー符号化した後に伝送する代わりに、この原画像を、本発明によるエンコーダを示す図２に示すように（図１と同一の回路は図１と同一の符号で示す）、入力端子ＩＢに接続されたダウンコンバータ２２１において、低解像度、例えばＱＣＩＦ解像度（１７６画素×１４４ライン）に空間的にダウンコンバートする。前記ダウンコンバータ２２１の出力を減算器１１に送出し、この出力を（他の場合、即ち画像をイントラモードで符号化しない場合における直接入力ＩＢの代わりに）その正入力とする。このダウンコンバータは例えば１５タップ及び奇対称性を有する半帯域二次元フィルタであるが、計算能力を節約するためにもっと少数のタップ（例えば７タップ）を有するフィルタを使用しても、実際上同一の品質を得ることができる。このフィルタリングステップが何であれ、このダウンコンバートした画像（ＱＣＩＦフォーマット）をイントラモードで符号化し、次いで出力ビットストリームにて伝送する。
このエンコーダでは、予測ループの逆ＤＣＴ回路１８の出力端子に存在するＱＣＩＦ画像を、シーケンスの次の画像を予測するのに使用するために、アップコンバータ２２２においてＣＩＦフォーマットに空間的にアップコンバートする。このアップコンバータ２２２の出力を加算器１９に送出し、この出力を（図１に示す回路１８とこの加算器１９の第１入力端子との間の直接接続の代わりに）その第１入力とする。
標準のものと同様に出力バッファ１６と予測回路２０との間に設けられた決定回路２２３は、第１に、（標準のものと同様に）イントラモードとインターモードとの間の選択を行い、第２に、イントラモードにおいてのみ、減算器１１の正入力端子におけるエンコーダ入力端子からの直接入力接続をダウンコンバータ２２１の出力端子からの入力接続と切り換えるとともに、加算器１９の入力端子における逆ＤＣＴ回路１８からの直接入力接続をアップコンバータ２２２の出力端子からの入力接続に切り換えることができる。
従って、本発明によれば、出力ビットストリームＯＢはイントラモードで符号化された画像に対してはＱＣＩＦ画像に対応するデータとイントラモードで符号化されない画像に対してはＣＩＦ画像に対応するデータを含むストリームからなる。前記イントラ符号化及びインター符号化データには、Ｈ．２６３標準によりそのビットストリームシンタックスの仕様において勧告されているように、データの選択符号化モード（どのデータが低解像度フォーマットで符号化され、どのデータがインター符号化モードで符号化されたのか）を示す追加の情報が関連させられる。この出力ビットストリームはこの目的のために設けられた蓄積媒体に蓄積するために又は復号化するために蓄積又は伝送することができる。
これに対応する復号化装置は、図３に示すように、可変長復号化回路３１、逆量子化回路３２及び逆ディスクリートコサイン変換回路３３を直列に含む第１復号化チャネルと、これに続く第２チャネルであって画像メモリ３４、動き補償回路３５及び前記逆ディスクリートコサイン変換回路３３及び動き補償回路３５の出力を受信する加算器３６を含む動き補償チャネルとを具える。加算器３６の出力はこの復号化装置の出力であるとともに画像メモリ３４の入力でもある。この復号化装置は、検出回路３８によって低解像度画像フォーマット（上述の実施例ではＱＣＩＦ）に従って符号化された画像に関連するイントラ符号化モードを認識すると、アップコンバータ３９において前記低解像度フォーマットから原フォーマット（上述の実施例ではＣＩＦ）への空間的アップコンバージョンを実行するとともに、復号化装置の入力端子と回路３１との間の直接接続をアップコンバータ３９の出力端子から前記回路３１の入力端子への接続と切り換える。
試験の結果、全ビデオシーケンスをリアルタイムに表示するとき、イントラ符号化画像の画質は原画像の画質より悪いが、この画質の悪化はインターモードで符号化された後続の他の画像の良好な画質によりマスクされることが確かめられた。実際上、数個の（一般には４又は５個）インター画像後には、もはや原シーケンスと本発明に従って処理されたシーケンスとを区別することはできない。同じ効果を、上述したテストシーケンスのいくつかについて、ＰＳＮＲ（ピーク信号対雑音比）及びＭＳＥ（平均二乗誤差）輝度測定により客観的に証明することができる。

同一のシーケンス“ティーンエイジャー”、“監督”及び“レナータ”に対する前記試験（ビット数についての）のいくつかの結果を以下に例示する。

これらの表は各シーケンスの最初の５つの画像を符号化するのに必要な総ビット数の比較を示し（これらのシーケンスの残りの画像に対する符号化ビット数はほぼ等しい）、最初の５つの画像中にかなりの量のビットが節約されることがわかる。更に、Ｈ．２６３ビデオ符号化標準は５つの画像フォーマット（サブＱＣＩＦ＝１２８画素×９６ライン；ＱＣＩＦ；ＣＩＦ；４ＣＩＦ＝７０４画素×５７６ライン；１６ＣＩＦ＝１４０８画素×１１５２ライン）で使用し得るので、本発明は、その完全なスケーラビリティ特性に従って、１６ＣＩＦ（４ＣＩＦへのダウンコンバージョンを用いる）、４ＣＩＦ（ＣＩＦへのダウンコンバージョンを用いる）等にも適用して同一の結果及び利点を得ることができる。ＱＣＩＦ画像を用いる２０ｋビット／秒ビデオ電話の場合には、サブＱＣＩＦサイズ゛は正確にＱＣＩＦの寸法の半分でない（８８画素×７２ラインの代わりに１２８画素×９６ラインを有する）。イントラ符号化前のＱＣＩＦからサブＱＣＩＦへのダウンコンバージョンは他の高解像度の場合と同一の“ビット節約及び低遅延”効果を発生しない。この場合にはサブＱＣＩＦフォーマットの代わりに“半ＱＣＩＦ”を使用することを提案する。“半ＱＣＩＦ”サイズは８８画素×７２ラインであり、このフォーマットも同一の１５タップ二次元フィルタにより得ることができる。標準フォーマットでないとき、２つの関連するイントラダウン−アップ端末が半ＱＣＩＦを“ノーマル”サブＱＣＩＦであるものとして信号する。換言すれば、イントラダウン−アップ特性が認識され、ＱＣＩＦ解像度で動作する２つの端末により使用されると、デコーダがイントラヘッダからサブＱＣＩＦソースフォーマット宣言を読み出すときに半ＱＣＩＦ画像の前でこの宣言を認識し、逆ＤＣＴ計算後に半ＱＣＩＦからＱＣＩＦサイズへの空間アップコンバージョンを実行する。

Claims (4)

1. 少なくとも直交変換サブステップ、量子化サブステップ、及び可変長符号化サブステップを直列に含む第１の符号化ステップと、
   前記量子化サブステップの出力と前記符号化ステップの入力との間に、少なくとも逆量子化サブステップ、逆直交変換サブステップ、及び予測サブステップを含む第２の予測ステップと、
   所謂イントラ符号化モードとインター符号化モードとの間の選択を行う選択サブステップを含む第３の決定ステップと、
   を具えるビデオ符号化方法において、
   前記第３の決定ステップは、更に、前記イントラ符号化モードにおいてのみ、符号化ステップの開始時に実行されるダウンコンバージョンフィルタリングサブステップと、予測ステップにおいて、予測サブステップの直前に実行される対応するアップコンバージョンフィルタリングサブステップとを含み、前記ダウンコンバージョンの結果として画像をインター符号化モードに従って符号化された画像のフォーマットに対し低解像度の画像フォーマットで符号化し得ることを特徴とするビデオ符号化方法。
2. 前記低解像度フォーマットは１７６画素×１４４ラインの所謂ＱＣＩＦフォーマットであり、インター符号化モードのフォーマットは３５２画素×２８８ラインのＣＩＦフォーマットであることを特徴とする請求項１記載のビデオ符号化方法。
3. ディスクリートコサイン変換回路、量子化器、可変長符号化回路、マルチプレクサ及び出力バッファを直列に含む第１の符号化チャネルと、
   前記量子化器の出力端子と前記ディスクリートコサイン変換回路の入力端子との間に、逆量子化器、逆ディスクリートコサイン変換回路、加算器、予測回路及び減算器の負入力端子を直列に含む第２の予測チャネルと、
   前記出力バッファの出力端子と前記予測回路との間に挿入され、所謂イントラ符号化モードとインター符号化モードとの間の選択を行う決定回路を含む第３の決定チャネルと、
   を具えるビデオ符号化装置において、
   前記決定チャネルが、更に、
   (a)当該符号化装置の入力端子と前記減算器の正入力端子との間に挿入されたダウンコンバータと、
   (b)前記逆ディスクリートコサイン変換回路の出力端子と前記加算器の入力端子との間に挿入されたアップコンバータとを具え、これらの両コンバータが前記決定回路により制御され、前記イントラ符号化モードの選択時にのみこれらの両コンバータが対応する直接入力接続の代わりにアクティブになることを特徴とするビデオ符号化装置。
4. 請求項３に記載されたビデオ符号化装置により符号化された符号化ビデオ信号を復号化する装置であって、可変長復号化回路、逆量子化回路及び逆ディスクリートコサイン変換回路を直列に含む第１の復号化チャネルと、これに続く第２のチャネルであって画像メモリ、動き補償回路及び前記逆ディスクリートコサイン変換回路及び動き補償回路の出力を受信する加算器を含む動き補償チャネルとを具える復号化装置において、当該復号化装置は、更に、イントラ符号化モードを認識する検出回路と、前記イントラ符号化モードにおいてのみ、低解像度フォーマットからインター符号化モードに従って符号化された画像のフォーマットへの変換を実行するアップコンバータを具えることを特徴とする復号化装置。

Images