JPH11243548A5 - - Google Patents

Description

【書類名】 明細書
【発明の名称】 画像シーケンスを符号化及び復号化する方法並びに装置
【特許請求の範囲】
【請求項１】 画像シーケンスのブロックフォーマット画素値に関係する差の値から形成された変換され、量子化されたビデオデータ係数がエントロピー符号化され、ここで、上記変換ビデオデータ係数は、逆量子化及び逆変換を受け、上記画素値に関係した差の値の形成のため予測の形で使用されるものであり、上記予測された画素値が上記差の値の形成前に振幅に関して減衰されるような、画像シーケンスを符号化する方法であって、
符号化された画像シーケンスがイントラフレーム符号化画像もイントラフレーム符号化画素ブロックも含まないことを特徴とする方法。
【請求項２】 上記予測された画素値が所定の倍率で乗算することによって減衰される請求項１記載の方法。
【請求項３】 上記予測された画素値が上記予測された画素値の絶対値を所定の数で減少させることによって減衰される請求項１又は２記載の方法。
【請求項４】 画像シーケンスのブロックフォーマット画素値に関係した差の値から形成され、変換され、インターフレーム符号化されたビデオデータ係数を含む画像シーケンスを復号化する方法であって、上記符号化されたビデオデータ係数がエントロピー復号化され、逆量子化され、逆変換されて前の画素値の差の値から導出された予測画素値と合成される画素値の差の値を与え、上記変換及び符号化されたビデオデータ係数のベースとなる上記差の値が振幅に関して減衰された予測された画素値から導出されており、
上記画像シーケンスがイントラフレーム符号化画像もイントラフレーム符号化画素ブロックも含まず、最初の画像の復号化の開始に際しては上記逆変換された画素値の差の値がデコーダが生成した濃淡階調画像と合成されることを特徴とする方法。
【請求項５】 請求項４記載の方法であって、上記ブロックフォーマット画素値がＤＣ差分係数を含むマクロブロックを形成し、復号化開始画像の上記濃淡階調画像画素値は適応的に決定され、特に上記復号化開始画像のマクロブロックデータの上記ＤＣ差分係数が主として大きい正の値を有するならば対応する開始濃淡階調画素値は暗めに選定され、上記復号化開始画像のマクロブロックデータのＤＣ差分係数が主として大きい負の値を有するならば対応する開始濃淡階調画素値は明るめに選定されることを特徴とする方法。
【請求項６】 画像シーケンスの第１の入力のブロックフォーマット画素データが供給され、画素値の差の値を形成する手段と、
上記画素値の差の値を変換し、量子化してビデオデータ係数を与える手段と、
上記ビデオデータ係数から符号化されたビデオデータ係数を与えるためのエントロピーエンコーダと、
上記ビデオデータ係数を逆量子化し、逆変換して再生された画素値の差の値を与える手段と、
上記再生された画素値の差の値から予測画素値を形成する手段と、
上記予測画素値が画素値の差の値を形成する上記手段の第２の入力に供給される前に上記予測画素値を減衰させる減衰ユニットとを具備した画像シーケンスを符号化する装置であって、
上記エントロピーエンコーダからの上記符号化されたビデオデータ係数出力においてイントラフレーム符号化画像もイントラフレーム符号化画素ブロックも含まれないことを特徴とする装置。
【請求項７】 符号化されたビデオデータ係数から復号化されたビデオデータ係数を与えるためのエントロピーデコーダと、
上記復号化されたビデオデータ係数を逆量子化し、逆変換して、対応するエンコーダで振幅に関して減衰された画素値の差の値を与える手段と、
合成手段及び前の画素値の差の値から導出される予測画素値を形成する手段であって、該予測画素値を形成する手段の出力信号が上記合成手段において上記画素値の差の値と合成されて当該画像シーケンスのブロックフォーマット画素データを与える手段とを具備した、画像シーケンスの符号化されたビデオデータ係数を復号化する装置であって、
当該画像シーケンスがイントラフレーム符号化画像もイントラフレーム符号化画素ブロックも含まず、最初の画像の復号化の開始に際して上記逆変換された画素値の差の値が上記合成手段において当該復号化装置内で生成された濃淡階調画像の画素値と合成されることを特徴とする装置。
【請求項８】 請求項１記載の方法によって符号化されたディジタルビデオデータのシーケンスが含まれ、あるいは記録されている特に光学式ディスクである記録媒体であって、該記憶媒体のデータが請求項７記載の復号化装置に入力されると該データが請求項４記載の方法の実行を引き起こすような記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像シーケンスを符号化及び復号化する方法並びに装置に関する。
【０００２】
【従来の技術】
主として、動き補償型ハイブリッドコーデック（シミュレーティッド・デコーダを収容したエンコーダ）は、例えば、ＭＰＥＧ１又はＭＰＥＧ２標準のような動き画像シーケンス用のデータ圧縮に使用される。イントラフレーム符号化画像（Ｉフレーム）を規則的に挿入することによって、上記圧縮の方法は、ビットストリームの全体又は実質的に所望の場所からのビットストリームの再生中に、所望の個々の画像にアクセスすることができる。イントラフレーム符号化画像は関連したデータから固有的、個別に復号化され、再生の目的のため他の画像からのデータが必要されない。これに対して、インターフレーム画像（Ｐフレーム）は固有的に復号化されないが、再生のため少なくとも一つの基準画像を必要とする。この基準画像（アンカーフレーム）は予め復号化されなければならない。
【０００３】
【発明が解決しようとする課題】
従来、イントラフレーム符号化画像をビデオビットストリームに挿入することにより、画像シーケンスの各画像は、全画像シーケンスのビデオビットストリームを復号化しなくても、挿入されたイントラフレーム符号化画像から始めて、復号化することができる。各イントラフレーム符号化画像は直ちに復号化することが可能であり、各インターフレーム符号化画像は、時間順に直前のイントラフレーム符号化画像を復号化し、次に、所望のインターフレーム符号化目標画像まで画像シーケンスを復号化することにより復号化することができる。
【０００４】
この方法の欠点は、イントラフレーム符号化画像に対し高いビットアウトレイが必要とされることである。典型的なＭＰＥＧ２フォーマット（Ｍ＝３；Ｎ＝１２）の場合に、イントラフレーム符号化画像Ｉに必要なビットの（単方向だけの）前方向予測インターフレーム符号化画像Ｐに必要なビットに対する比率は約１０：１である。この場合、Ｎは、あるイントラフレーム符号化画像を次のイントラフレーム符号化画像から離す間隔を表し、Ｍは、Ｉ画像と次のＰ画像とを離す間隔、或いは、Ｐ画像と次のＩ画像とを離す間隔、並びに、あるＰ画像を次のＰ画像から離す間隔を表す。上記の間隔には、例えば、双方向予測画像であるＢ画像が存在する。
【０００５】
本発明の目的は、Ｉ画像を無しで済ます、或いは、Ｉ画像の頻繁な伝送を省略することができる一方で、画像シーケンス内の実質的に任意の所望の場所から復号化を行うことができる、画像シーケンスの符号化及び復号化方法を提案することである。本発明の目的は、請求項１及び５に記載された方法によって達成される。
【０００６】
本発明の他の目的は、上記本発明の方法を実施する画像シーケンスの符号化及び復号化装置を提供することである。この目的は、請求項８及び９に記載された装置によって達成される。
【０００７】
【課題を解決するための手段】
上記の通り、コーデック（ＣＯＤＥＣ）は、一般的に、受信器端のデコーダのシミュレーション部を含む。これによりデコーダの符号化誤りはエンコーダによって考慮される。デコーダシミュレーション部は、通常、ハイブリッドコーデックのフィードバックループに配置される。本発明による減衰素子をこのフィードバックループに挿入することにより、イントラフレーム符号化画像Ｉの挿入、符号化及び受信器端の復号化は不必要になる。本発明の減衰素子は、予測係数の振幅値を減少させる。したがって、ハイブリッドコーデックのフィードバックパス内の減衰素子は、最初、人工的に実際的に望ましくない予測の劣化を生じさせ、符号化に対する予測誤差を増大させる。しかし、フィードバックパスに挿入された減衰がサイズに関して適切に選定されている場合、イントラフレーム符号化画像を完全に省略し、これにより、ビデオビットストリームを実質的に任意の所望の場所で復号化することができる特性を失わないという顕著な可能性が得られる。
【０００８】
ビットストリーム、若しくは、画像シーケンス中の任意の所望の場所で開始される受信器端符号化を次に説明する。濃淡階調画像、好ましくは、平均輝度の濃淡階調画像が第１の予測画像又は基準画像として使用される。受信器で復号化された第１の予測誤差信号はこの濃淡階調画像と合成される。次のインターフレーム符号化画像は従来の方法で復号化される。エンコーダに減衰素子を挿入した結果として、最初にこの方法で発生された受信器端再生誤差は次の画像の復号化中に徐々に減少される。その理由は、減衰素子のために、エンコーダが減少させようとする誤差はエンコーダ端復号器機能シミュレーション部に同様に人工的に取り込まれているからである。
【０００９】
本発明の効果は、Ｌ個の画像の受信器端復号化後に、観察者が従来の方法で符号化され非常に短い間隔でＩ画像が含まれた画像シーケンスと、少なくともある比較的長い時間期間を超えるＩ画像は一つも含まれない画像シーケンスとの間に差を認め得ないことである。Ｂ画像はＰ画像の間に配置される。かかるＢ画像の効果は、一方で誤差伝搬が無く、他方で可視的再生誤差は除去されないことである。
【００１０】
受信器端ビデオデコーダは、Ｌ個の画像、或いは、先行のより少数の画像の復号化後に復号化された画像を表示することができる。
パラメータＬの値は、コーデックのフィードバック中の減衰素子の減衰率Ｄの設定値に依存し、結果として得られるビットレートを決定する。Ｌが小さいとき、減衰率Ｄは大きく、受信器端復号化誤差の収束は速くなるが、ビットレートは増加される。Ｌが大きいとき、減衰率Ｄは小さく、受信器端復号化誤差の収束は遅くなるが、ビットレートは低い。
【００１１】
原理的に、本発明の画像シーケンスを符号化する方法は、画像シーケンスの画素値に関係する差の値から形成された変換ビデオデータ係数がエントロピー符号化され、ここで、変換ビデオデータ係数は逆変換を受け、上記画素値に関係した差の値の形成のため予測形式で使用され、予測された画素値が差の値の形成前に振幅に関して減衰される。
【００１２】
原理的に、変換及び符号化されたビデオデータ係数の画像シーケンスを復号化する方法は、画像シーケンスの画素値に関係した差の値から形成され、エントロピー符号化された変換ビデオ係数データが逆変換を受け、予測形式で差の値と合成され、上記変換及び符号化されたビデオデータ係数は、上記差の値に基づいて予測された画素値から導出され、振幅に関して減衰され、また、復号化の開始時に、逆変換されたビデオデータ係数が濃淡階調画像と合成される。
【００１３】
本発明による方法の有利な展開は関連した従属項に記載されている。
原理的に、本発明の画像シーケンスを符号化する装置は、
画像シーケンスの入力データが供給され、画素値から画像シーケンスに関係した差の値を形成する手段と、
上記差の値から導出される変換ビデオデータ係数を形成する手段と、
上記変換ビデオデータ係数のためのエントロピーエンコーダと、
上記変換ビデオデータ係数から導出される逆変換ビデオデータ係数を形成する手段と、
予測画素値を形成し、上記差の値を形成するため使用される出力信号を発生する手段とを含み、
上記予測画素値が上記差の値を形成するため使用される前に上記予測画素値を減衰させる減衰装置を更に有する。
【００１４】
原理的に、本発明の画像シーケンスを復号化する装置は、
変換ビデオデータ係数のためのエントロピーデコーダと、
画素値の差の値を含む逆変換され、復号化されたビデオデータ係数を形成する手段と、
予測画素値を形成し、出力信号が上記差の値と合成され、復号化された画像シーケンスを構成する手段とを含み、
上記差の値は上記予測画像値から導出され、エンコーダ端で振幅に関して減衰され、復号化の開始時に、上記逆変換されたビデオデータ係数は合成手段において濃淡階調画像と合成される。
【００１５】
本発明による装置の有利な展開は関連した従属項に記載されている。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施例を説明する。
図１に示されたエンコーダのビデオ入力信号ＩＥは、エンコーディング用のマクロブロックデータを含む。イントラフレームビデオデータの場合、減算器ＳＵＢは、イントラフレームビデオデータをそのまま通過させる。イントラフレームビデオデータは離散コサイン変換手段ＤＣＴ及び量子化手段Ｑによって処理され、エントロピーエンコーダＥＣＯＤに供給され、エントロピーエンコーダＥＣＯＤはエンコーダビデオデータ出力信号ＯＥを出力する。エントロピーエンコーダＥＣＯＤは、例えば、係数に対するハフマン符号化を行い、ヘッダ情報及び動きベクトルデータを追加することができる。
【００１７】
インターフレームビデオデータの場合、予測マクロブロックデータＰＭＤは、減算器ＳＵＢにおいて入力信号ＩＥから減算され、離散コサイン変換手段ＤＣＴ及び量子化手段Ｑを介してエントロピーエンコーダＥＣＯＤに供給される。量子化手段Ｑの出力信号は逆量子化手段Ｑ_E ⁻¹で処理され、逆量子化手段Ｑ_E ⁻¹の出力信号は逆離散コサイン変換手段ＤＣＴ_E ⁻¹を介して再生マクロブロック差分データＲＭＤＤの形式で合成器ＡＤＤＥに供給される。合成器ＡＤＤＥの出力信号は、動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅのフレーム記憶装置にバッファ記憶され、動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅは、再生マクロブロックデータに対する動き補償を行い、このように予測された予測マクロブロックデータＰＭＤを減算器ＳＵＢの減数入力及び合成器ＡＤＤＥの別の入力に出力する。
【００１８】
量子化手段Ｑ、逆量子化手段Ｑ_E ⁻¹及びエントロピーエンコーダＥＣＯＤは、例えば、エンコーダバッファＥＮＣＢの占有レベルによって制御される。
逆離散コサイン変換手段ＤＣＴ_E ⁻¹、逆量子化手段Ｑ_E ⁻¹、合成器ＡＤＤＥ及び動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅは、図２を参照して説明される受信器端デコーダのシミュレーション部を構成する。
【００１９】
図２を参照するに、ビデオデータ入力信号ＩＤは、エントロピーデコーダ手段ＥＤＥＣ、逆量子化手段Ｑ_D ⁻¹及び逆離散コサイン変換手段ＤＣＴ_D ⁻¹を介して合成器ＡＤＤＤに供給され、合成器ＡＤＤＤはビデオデータ出力信号ＯＤを出力する。エントロピーデコーダ手段ＥＤＥＣは、例えば、係数に対しハフマン復号化を行い、ヘッダ情報及び動きベクトルデータを復号化及び／又は評価することができる。
【００２０】
逆量子化手段Ｑ_E ⁻¹及び逆量子化手段Ｑ_D ⁻¹と、逆離散コサイン変換手段ＤＣＴ_E ⁻¹及び逆離散コサイン変換手段ＤＣＴ_D ⁻¹と、エントロピーデコーダ手段ＥＤＥＣは、それぞれ、対応した量子化手段Ｑと、離散コサイン変換手段ＤＣＴと、エントロピー符号化手段ＥＣＯＤの機能の逆の機能を有する。合成器ＡＤＤＤの出力信号は、動き補償手段ＦＳ＿ＭＣ＿Ｄのフレーム記憶装置にバッファ記憶される。動き補償手段ＦＳ＿ＭＣ＿Ｄは再生されたマクロブロックデータの動き補償を行う。
【００２１】
従来のデコーダの場合、動き補償手段ＦＳ＿ＭＣ＿Ｄで評価されたマクロブロックデータＰＭＤは、インターフレーム復号化マクロブロックデータの場合に限り合成器ＡＤＤＤの第２の入力に送られる。イントラフレーム復号化マクロブロックデータの場合、合成器ＡＤＤＤは逆離散コサイン変換手段ＤＣＴ_D ⁻¹からの信号をそのまま出力信号に伝える。
【００２２】
イントラフレーム符号化画像Ｉを受信しない本発明によるデコーダの場合、動き補償手段ＦＳ＿ＭＣ＿Ｄで予測されたマクロブロックデータＰＭＤは、常に、合成器ＡＤＤＥの第２の入力に供給される。したがって、本発明によるデコーダは、この点に関して従来のデコーダよりも簡単に構成することができる。イントラフレーム符号化ビデオデータ又はインターフレーム符号化ビデオデータのどちらが出現したかを検出する必要はない。二つのモードの間で合成器ＡＤＤＤを切り換える必要もない。画像シーケンス復号化の最初に、動き補償手段ＦＳ＿ＭＣ＿Ｄ又は他の装置が、復号化開始の画像として濃淡階調画像データを、合成器ＡＤＤＥの第２の入力若しくは合成器ＡＤＤＤ自体に発生させる必要があるだけである。しかし、ディジタル画像処理の場合、これは固定的に設定された数値を求め又は渡すことを意味するのみであり、コストが最小限に抑えられる。したがって、定義された数の復号化画像に達した後、出力信号ＯＤは観察者に可視的な出力画像を出力することができる。そのときまで、画像は消去されるか、若しくは濃淡階調値、好ましくは上記の開始濃淡階調値が表示されうる。
【００２３】
開始濃淡階調値は適応的に選定することが可能であり、その結果として、予測誤差の収束の速度が急速になる。例えば、復号化開始時点で現在の画像のマクロブロックデータのＤＣ差分係数が主として大きい正の値を有するならば、開始濃淡階調値はかなり暗い方に選定され得る。復号化開始時点の現在の画像のマクロブロックデータのＤＣ差分係数が主として大きい負の値を有するならば、開始濃淡階調値はかなり明るい方に選定され得る。復号化開始時点の現在の画像のマクロブロックデータのＤＣ差分係数が主として小さい値を有するならば、平均輝度が開始濃淡階調値として選定され得る。
【００２４】
図３に示された本発明によるエンコーダのビデオ入力信号ＩＥはエンコーディング用のマクロブロックデータを含む。
本発明によるエンコーダの第１の実施例の場合、イントラフレームビデオデータの発生は殆どなく、特に、間隔Ｎ＞１２である。また、本発明による減衰Ｄが使用される。
【００２５】
本発明によるエンコーダの第２の実施例の場合、イントラフレームデータは全く発生されず、本発明による減衰Ｄだけが使用される。
第１の実施例において、イントラフレームビデオデータの場合、減算器ＳＵＢはイントラフレームビデオデータをそのまま通過させる。第１及び第２の両方の実施例において、減算器ＳＵＢの出力のビデオデータは、離散コサイン変換手段ＤＣＴ及び量子化手段Ｑによって処理され、エントロピーエンコーダＥＣＯＤに供給され、エントロピーエンコーダＥＣＯＤはエンコーダビデオデータ出力信号ＯＥを出力する。
【００２６】
第１の実施例におけるインターフレームビデオデータの場合、並びに、第２の実施例における全ての場合に、予測され減衰されたマクロブロックデータＰＭＤＤが減算器ＳＵＢにおいて入力信号ＩＥから減算され、差のデータは、離散コサイン変換手段ＤＣＴ及び量子化手段Ｑを介してエントロピーエンコーダＥＣＯＤに供給される。量子化手段Ｑの出力信号は逆量子化手段Ｑ_E ⁻¹でも処理され、逆量子化手段Ｑ_E ⁻¹の出力信号は、逆離散コサイン変換手段ＤＣＴ_E ⁻¹を介して再生されたマクロブロック差分データＲＭＤＤの形式で合成器ＡＤＤＥに供給される。合成器ＡＤＤＥの出力信号は動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅのフレーム記憶装置にバッファ記憶され、動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅは再生されたマクロブロックデータに対する動き補償を行い、このようにして予測されたマクロブロックデータＰＭＤを合成器ＡＤＤＥのもう一方の入力に供給し、また、減衰装置ＤＵを介して減算器ＳＵＢの減数入力に供給する。
【００２７】
量子化手段Ｑ、逆量子化手段Ｑ_E ⁻¹及びエントロピーエンコーダＥＣＯＤは、例えば、エンコーダバッファＥＮＣＢの占有レベルによって制御される。
逆量子化手段Ｑ_E ⁻¹、逆離散コサイン変換手段ＤＣＴ_E ⁻¹、合成器ＡＤＤＥ及び動き評価器及び補償手段ＦＳ＿ＭＣ＿Ｅは、受信器端デコーダのシミュレーション部を構成する。
【００２８】
減衰装置ＤＵは、例えば、倍率Ｄによる乗算によって入来画素値を減少させる。小さいＤの値は、例えば、０．１乃至０．３の範囲に収まり、大きいＤの値は、例えば、０．５乃至０．９の範囲に収まる。好ましくは、倍率Ｄは、０．４乃至０．８の範囲に収まる。
減衰装置ＤＵは、全ての画素値から一定値を減算するだけ、あるいは追加的に一定値を減算しても構わないが、画素値はブラックレベルよりも小さくなることは許されず、クロミナンス信号の場合に画素値はブラックレベルに対応する値よりも低下し得ない。画素値が許容できない値に達しないことを保証するため制限器が使用されうる。
【００２９】
倍率Ｄは、ルミナンス信号を符号化するときと、クロミナンス信号を符号化するときとの間で異なってもよい。
本発明は、例えば、ディジタルテレビジョン信号の伝送、インターネットのようなネットワーク内のディジタルビデオ信号の伝送、テレビ電話におけるディジタルビデオ信号の伝送、例えば、ＤＶＤのような光学式若しくは磁気式記憶媒体の記録、マスター作成、及び、再生中のディジタルビデオ信号の伝送に使用することができる。
【図面の簡単な説明】
【図１】
従来のビデオデータ用のエンコーダを示す図である。
【図２】
ビデオデータ用のエンコーダを示す図である。
【図３】
本発明によるビデオデータ用のエンコーダを示す図である。
【符号の説明】
ＳＵＢ 減算器
ＤＣＴ 離散コサイン変換手段
Ｑ 量子化手段
Ｑ_E ⁻¹，Ｑ_D ⁻¹ 逆量子化手段
ＤＣＴ_E ⁻¹，ＤＣＴ_D ⁻¹ 逆離散コサイン変換手段
ＡＤＤＥ，ＡＤＤＤ 合成器
ＥＣＯＤ エントロピーエンコーダ
ＥＤＥＣ エントロピーデコーダ
ＦＳ＿ＭＣ＿Ｅ 動き評価器及び補償手段
ＦＳ＿ＭＣ＿Ｄ 動き補償手段
ＤＵ 減衰装置
ＩＥ ビデオ入力信号
ＯＥ エンコーダビデオデータ出力信号
ＰＭＤ 予測マクロブロックデータ
ＲＭＤＤ 再生マクロブロック差分データ