JP4987322B2 - 動画像復号装置及び動画像復号方法 - Google Patents

Description

本発明は、圧縮符号化された動画像ストリームを復号する動画像復号装置及びその動画像復号方法に関する。

動画像符号化の標準技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）のＨ．２６１やＨ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが開発されている。このＨ．２６１〜３、ＭＰＥＧ−１〜４などの技術を承継し、更に発展させた次世代動画像符号化方式として、ＩＳＯとＩＴＵが共同で標準化を行ったＨ．２６４がある（非特許文献１，２参照）。ところが、このＨ．２６４は、高い圧縮率を実現している反面、処理量の多さが課題となっている。特に、ＨＤ−ＤＶＤのように、高解像度の動画像を再生する場合には、高い演算処理能力が要求されるため、深刻な問題となる。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding" Ｈ．２６４／ＡＶＣ教科書（株式会社インプレスコミュニケーションズ）

ところが、上記Ｈ．２６４に基づく標準化仕様等の動画像復号装置では、復号処理全体に占めるインター予測の動き補償の処理量が多いため、装置全体の負荷が高い場合にはリアルタイムでの復号処理が間に合わなくなり、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。

本発明は上記の問題を解決するためになされたもので、インター予測の処理を効果的に簡易化し、これによって負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置及びその動画像復号方法を提供することを目的とする。

上記問題を解決するために、本発明に係る動画像復号装置及びその動画像復号方法は、圧縮符号化された動画像ストリームを復号する場合に、前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成し、前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成し、前記残差加算で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、前記動画像ストリームから符号化モードに関する情報を抽出し、その抽出情報及び前記負荷情報に基づいて、前記インター予測処理を簡略化するか否かを判定し、前記判定結果に基づいて前記インター予測処理を段階的に簡略化するようにしたことを特徴とする。

以上のように、本発明によれば、インター予測の処理を効果的に簡易化し、これによって負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置及びその動画像復号方法を提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は本発明に係る動画像復号装置の一実施形態として、本発明をＨ．２６４に基づく標準化仕様のデコーダに適用した場合の構成を示すブロック図である。図４において、入力ストリームはＨ．２６４規格に沿って圧縮符号化された動画像ストリームであり、可変長変換部（エントロピー復号部とも称される）１０１に送られる。この可変長変換部１０１は、入力ストリームを可変長復号し、シンタックスを生成する。逆量子化部１０２、逆変換部１０３は、生成されたシンタックスに基づいて、動画像符号化ストリーム復号結果から残差画像を生成する。

一方、符号化モード制御部１０４は可変長変換部１０１の入力ストリームから符号化モードを判別し、その判別結果に基づいてイントラ（画面内）予測部１０５、インター（画面間）予測部１０６を選択的に駆動制御する。イントラ予測部１０５、インター予測部１０６は、それぞれ符号化モード制御部１０４で指定される符号化モードに従って画面内、画面間の予測画像を生成する。生成された予測画像は選択的に残差加算部１０７に送られる。この残差加算部１０７はイントラ予測部１０５またはインター予測部１０６からの予測画像と逆変換部１０３からの残差画像とを加算し、復号画像を生成する。生成された復号画像はイントラ予測部１０５において参照される。残差加算部１０７で得られた復号画像はデブロッキングフィルタ部１０８に送られ、ここでフィルタ処理による再構成画像が生成される。この再構成画像はピクチャメモリ（フレームメモリ）１０９に一時記憶され、デコード結果として順次表示系に出力される。

また、インター予測省略判定部１１０は、メイン制御部（図示せず）からの制御情報に基づき、可変長変換部１０１からピクチャ、スライス、マクロブロックの符号化モードに関する情報を抽出し、インター予測部１０６における予測処理を省略するか否かを判定する。判定方法については後述する。ここで、デブロッキングフィルタ処理を行う場合は、デブロッキングフィルタ部１０８に復号画像が入力され、フィルタ処理を行って再構成画像を生成し、ピクチャメモリ１０９に記憶される。デブロッキングフィルタ処理を行わない場合は、復号画像が再構成画像として直接ピクチャメモリ１０９に記憶される。ピクチャメモリ１０９に記憶された再構成画像は出力画像として出力される他、インター予測部１０６において参照される。

図２は、図１に示した動画像復号装置を動画像復号部２０１として含むコンテンツ情報処理装置の構成例を示している。この装置は、さらに処理負荷検出部２０２を備える。この処理負荷検出部２０２は、動画像復号部２０１から動画像復号処理の処理負荷情報を取得する他、音声・オーディオ信号の復号処理、レンダリング処理等、システムの他の処理負荷情報を取得し、入力された負荷情報より全体の負荷を算出し、その負荷情報を動画像復号部２０１に通知する。

上記負荷情報は、動画像復号部２０１の中で、図１におけるインター予測省略判定部１１０に入力される。

ここで、本実施形態では、装置全体で行う各種処理の負荷を検出し、負荷が高い場合にインター予測部３０６の処理を適応的に省略することによりデコード処理量を削減するものとする。しかし、インター予測処理を無条件に省略、簡略化すると画像が著しく劣化してしまう。そこで、ピクチャ、スライス、マクロブロックの符号化モード情報に応じて、インター予測部３０６の処理量が特に多くなるＢピクチャ（Ｂスライス，双予測部分）のみ優先的に簡略化して処理量の特に多い箇所だけを削減することで、画質の劣化を最低限に抑えながら処理量の削減を図る。

以下、上記の処理を実現するインター予測省略判定部１１０の具体的な処理動作を図３乃至図８を参照して説明する。

図３は省略判定を簡単に実現する場合の処理手順を示すフローチャートである。図３において、復号対象（ピクチャ、スライス、マクロブロック）のループ処理が開始されると、省略条件に適合するか否かを判断する（Ｓ１０１）。適合しない場合にはそのままループ処理を継続させ、適合する場合には復号対象（ピクチャ、スライス、マクロブロック）のインター予測処理を省略するように指示を出す（Ｓ１０２）。

図４は、図３に示した処理手順に手を加えてより適切に省略判定を行う処理手順を示すフローチャートである。このため、図４において、図３と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。

図４において、復号対象（ピクチャ、スライス、マクロブロック）のループ処理が開始されると、処理負荷検出部２０２からの制御情報に基づいて負荷の程度に応じた条件判定用の閾値を設定し（Ｓ１０３）、この閾値を使用して省略条件に適合するか否かを判断する（Ｓ１０４）。

図５は、スライス単位のループ処理が行われる場合に、インター予測部の処理量が特に多くなるＢピクチャのＢスライスのみ優先的に簡略化を行う場合の処理手順を示すフローチャートである。尚、図５においても図３と同一部分には同一符号を付して示し、ここではその説明を省略する。

図５において、スライス単位のループ処理が開始された場合、Ｂスライスか否かを判断する（Ｓ１０５）。Ｂスライスでなければそのままループ処理を継続させる。Ｂスライスの場合には、復号対象スライスのインター予測処理を簡略化する（Ｓ１０６）。簡略化の方法としては、１／４画素精度の輝度の補間フィルタリングを１／２画素精度、整数画素精度に丸める（近似する）、１／８画素精度の色差の補間フィルタリングを整数画素精度に丸める（近似する）等がある。

図６は、ピクチャ単位のループ処理が行われる場合に、図５に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャートである。このため、図６において、図３及び図７と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。

図６において、ピクチャ単位のループ処理が開始されると、負荷の程度から閾値＝定数またはそれまでのピクチャにおけるＢスライスの割合の平均値（必要に応じて＋定数）を設定し（Ｓ１０７）、この閾値をＢスライスの割合が越えるか否かを判定し（Ｓ１０８）、越えた場合にのみ、復号対象のピクチャのインター予測処理を簡略化する（Ｓ１０６）。

図７は、マクロブロック単位でループ処理が行われる場合に、インター予測部の処理量が特に多くなるＢピクチャの双予測部分のみ優先的に簡略化を行う場合の処理手順を示すフローチャートである。尚、図７においても図３と同一部分には同一符号を付して示し、ここではその説明を省略する。

図７において、マクロブロック単位のループ処理が開始された場合、双予測マクロブロックか否かを判断する（Ｓ１１０）。双予測マクロブロックでなければそのままループ処理を継続させる。双予測マクロブロックの場合には、復号対象マクロブロックのインター予測処理を簡略化させる（Ｓ１１１）。簡略化の方法としては、１／４画素精度の輝度の補間フィルタリングを１／２画素精度、整数画素精度に丸める（近似する）、１／８画素精度の色差の補間フィルタリングを整数画素精度に丸める（近似する）等がある。

図８は、ピクチャ（スライス）単位でループ処理が行われる場合に、図７に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャートである。このため、図８において、図３及び図７と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。

図８において、ピクチャ（スライス）単位のループ処理が開始されると、負荷の程度から閾値＝定数またはそれまでのピクチャ（スライス）における双予測マクロブロックの割合の平均値（必要に応じて＋定数）を設定し（Ｓ１１２）、この閾値を双予測マクロブロックの割合が越えるか否かを判定し（Ｓ１１３）、越えた場合にのみ、復号対象のピクチャ（スライス）のインター予測処理を簡略化する（Ｓ１１４）。

以上述べた処理によれば、高負荷状態でインター予測の処理軽減が要求される場合に、ピクチャ、スライス、マクロブロックの符号化モード情報に応じて、インター予測部１０６の処理量が特に多くなるＢピクチャ（Ｂスライス，双予測部分）のみ優先的に簡略化する等、処理量の特に多い箇所だけを削減するようにしているので、画質の劣化を最低限に抑えながら処理量の削減を図ることができる。

（実施例）
以下、具体的に段階的な簡略化の手法について説明する。

簡略化の種類として、輝度の補間フィルタリングに対する処理と色差の補間フィルタリングに対する処理に大別される。輝度の補間フィルタリングについては、
（１）補間フィルタリングの段数を制限する。
（２）フィルタのタップ数を減らす。
（３）水平方向、垂直方向の補間のうち片方だけにする。

色差の補間フィルタリングに対しては、細かく制御しても効果が少ないので、オン・オフのみの制御で十分と考えられる。

特に、インター予測の輝度の補間画像生成は、６タップのフィルタ処理を用いて補間画像を生成するため処理量が多く、デコード処理全体の１／３程度を占めることがある。そこで、負荷が高い場合にインター予測を簡易的に行うことによりデコード処理量を軽減するものとし、負荷の度合いにより、フィルタ処理無し、１／２画素フィルタのみ、少ないタップ数のフィルタ処理などを段階的に切り替えて処理を軽減する。以下、具体例をあげて説明する。

図９はインター予測信号生成におけるフィルタリング処理の様子を示すものである。水平または垂直のいずれかが１／２画素の位置にある画素ｂ，ｈ，ｍ，ｓは、整数画素（Ａ，Ｂ，Ｃ，…）から直接１／２画素フィルタリングを行って生成する。水平と垂直の両方が１／２画素の位置にある画素ｊは、整数画素から１／２画素フィルタリングを行ってａａ，ｂｂ，ｃｃ，…を生成し、さらに１／２画素フィルタリングを行って生成する。１／４画素の位置にあるａ，ｃ，ｅ，ｆ，ｇ，…は整数画素及び１／２画素に対して１／４画素フィルタリングを行って生成する。すなわち、代表値ｂ，ｈ，ｊ，ａ，ｆ，ｒは以下のようにして求められる。

ｂ＝（Ｅ−５Ｆ＋２０Ｇ＋２０Ｈ−５Ｉ＋Ｊ）／３２ （１）
ｈ＝（Ａ−５Ｃ＋２０Ｇ＋２０Ｍ−５Ｒ＋Ｔ）／３２ （２）
ｊ＝（ａａ−５ｂｂ＋２０ｂ＋２０ｓ−５ｇｇ＋ｈｈ）／３２ （３）
ａ＝（Ｇ＋ｂ）／２ （４）
ｆ＝（ｂ＋ｊ）／２ （５）
ｒ＝（ｍ＋ｓ）／２ （６）
図１０は、図１２に示す処理内容に対する通常デコード処理として、整数画素の判断処理（Ｓ２０１）と１／２画素フィルタリング処理Ｓ３０１と１／４画素フィルタリング処理Ｓ４０１の処理手順を示すフローチャートである。図１０において、まず整数画素の判断（Ｓ２０１）で整数でないと判断された場合、１／２画素フィルタリング処理Ｓ３０１により、画素位置がｂ，ｓの場合には１／２画素水平６タップフィルタを用い、画素位置がｈ，ｍの場合には１／２画素垂直６タップフィルタを用い、画素位置がｊの場合には１／２画素水平６タップフィルタ及び１／２画素垂直６タップフィルタの両方を用いて処理する。

続いて１／４画素フィルタリング処理Ｓ４０１では、画素位置がｂ，ｈ，ｉのときはそのまま、画素位置がａ，ｃ，ｉ，ｋの場合には１／４画素水平２タップフィルタを用い、画素位置がｄ，ｎ，ｆ，ｑの場合には１／４画素垂直２タップフィルタを用い、画素位置がｅ，ｇ，ｐ，ｒの場合には１／４画素斜め２タップフィルタを用いて処理する。

図１１は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第１の実施例を示すフローチャートである。

図１１において、ステップＳ５０１で通常デコードと判定された場合には、１／２画素６タップフィルタ、１／４画素２タップフィルタを用いて１／２フィルタリング処理、１／４フィルタリング処理を行う。ステップＳ５０２において、負荷レベル１と判定された場合には、１／２画素６タップフィルタのみを用いて１／４画素フィルタリング処理のみを省略（１／２画素と同じ処理）する。ステップＳ５０３において、負荷レベル２と判定された場合には、１／２画素２タップフィルタを用いてタップ数を削減する。さらに、ステップＳ５０３において、負荷レベル３と判定された場合には、フィルタリング処理を省略する（整数画素と同じ処理）。

図１２は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第２の実施例を示すフローチャートである。この実施例において、第１の実施例と異なる点は、ステップＳ５０２の判定で負荷レベル１と判定された場合に、１／２画素２タップフィルタを用いてタップ数を削減し、１／４画素２タップフィルタを用いて１／４フィルタリング処理を実行するようにした点にある。

図１３は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第３の実施例を示すフローチャートである。この実施例では、負荷レベル１で、１／２画素補間で水平・垂直方向に６タップフィルタリング処理を２回行う画素位置ｊのみ垂直方向のフィルタリング処理を省略する処理手順を示している。他は第１の実施例と同じであるので、ここではその説明を省略する。以上説明した実施例では、インター予測部に動きベクトルと共に負荷レベルを入力し、インター予測部の中で負荷レベル応じて簡略化する補間フィルタリング処理を決定する構成例を示したが、インター予測省略判定部において、インター予測に入力する動きベクトルの精度を丸めることによって同様の簡略化を実現することも出来る。

例えば負荷レベル１と判定された場合、動きベクトルの精度を１／２画素精度に丸めることによって、図１１のステップＳ５０２で負荷レベル１と判定された場合と同様に１／４画素フィルタリング処理を省略することが出来る。また負荷レベル３と判定された場合には、動きベクトルの精度を整数画素精度に丸めることによって、図１１のステップＳ５０３で負荷レベル３と判定された場合と同様にフィルタリング処理を省略することが出来る。

動きベクトルの精度が水平、垂直成分ともに１／２画素精度の場合に、垂直成分の精度を整数画素精度に丸めることによって、図１２において負荷レベル１と判定された場合と同様に、画素位置ｊのみ垂直方向のフィルタリング処理を省略することが出来る。

また色差の動きベクトルを整数画素精度に丸めることによって、色差の補間フィルタリングを省略することが出来る。

これによって、インター予測の補間フィルタリング処理の構成を変更することなく、補間フィルタリングの簡略化を実現することが出来る。例えばハードウェアで補間フィルタリング処理を行う場合にも、あらかじめ補間フィルタリングに必要な動きベクトルの精度を丸めることによって、ハードウェアの内容を変更せずに補間フィルタリングの簡略化を実現することが出来る。

以上の処理手順を適用すれば、負荷レベルに応じてインター予測処理におけるフィルタリング処理、タップ数を適切に削減可能となり、画質劣化を抑制しつつ効果的に演算量を減らし、これによって負荷軽減に寄与することができる。

尚、本発明は、上記のような動画像復号方法として実現することができるだけでなく、このような動画像復号方法が含む特徴的なステップを手段として備える動画像復号方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態とする、Ｈ．２６４に基づく標準化仕様の動画像復号装置の構成を示すブロック図。 図１に示した動画像復号装置を動画像復号部として含むコンテンツ情報処理装置の構成例を示すブロック図。 図１におけるインター予測省略判定部において、省略判定を簡単に実現する場合の処理例を示すフローチャート。 図１におけるインター予測省略判定部において、図３に示した処理手順に手を加えてより適切に省略判定を行う処理手順を示すフローチャート。 図１におけるインター予測省略判定部において、スライス単位のループ処理が行われる場合に、インター予測部の処理量が特に多くなるＢピクチャのＢスライスのみ優先的に簡略化を行う場合の処理手順を示すフローチャート。 図１におけるインター予測省略判定部において、ピクチャ単位のループ処理が行われる場合に、図５に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャート。 図１におけるインター予測省略判定部において、マクロブロック単位でループ処理が行われる場合に、インター予測部の処理量が特に多くなるＢピクチャの双予測部分のみ優先的に簡略化を行う場合の処理手順を示すフローチャート。 図１におけるインター予測省略判定部において、ピクチャ（スライス）単位でループ処理が行われる場合に、図７に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャート。 インター予測信号生成におけるフィルタリング処理の様子を示す概念図。 図９に示す処理内容に対する通常デコード処理として、整数画素の判断処理（Ｓ３０１）と１／２画素フィルタリング処理と１／４画素フィルタリング処理の処理手順を示すフローチャート。 図１０の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第１の実施例を示すフローチャート。 図１０の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第２の実施例を示すフローチャート。 図１０の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第３の実施例を示すフローチャート。

符号の説明

１０１…可変長変換部（エントロピー復号部）、１０２…逆量子化部、１０３…逆変換部、１０４…符号化モード制御部、１０５…イントラ内予測部、１０６…インター間予測部、１０７…残差加算部、１０８…デブロッキングフィルタ部、１０９…ピクチャメモリ、１１０…インター予測省略判定部。

Claims (11)

1. 圧縮符号化された動画像ストリームを復号する動画像復号装置において、
   前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成する予測復号手段と、
   前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成する残差復号手段と、
   前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成する残差加算手段と、
   前記残差加算手段で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施すフィルタ処理手段と、
   前記動画像ストリームから前記復号対象それぞれの符号化モードに関する情報を抽出すると共に、復号処理中の負荷レベルを段階的に示す負荷情報を入力し、前記符号化モードに関する抽出情報及び前記負荷情報に基づく条件に従って前記インター予測処理を簡略化するか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて前記インター予測処理を段階的に簡略化する簡略化手段と、
   を具備し、
   前記判定手段は、前記負荷情報が示す負荷レベルが規定値を超える状態で、前記復号対象の復号処理単位内の割合が閾値を超えるときを前記インター予測処理の簡略化実行の条件とし、
   前記閾値には、過去一定期間に復号されたピクチャあるいはスライスの復号処理時における前記復号対象の復号処理単位内の割合の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする動画像復号装置。
2. 前記判定手段は、前記符号化モードに関する情報から復号対象がピクチャ、スライス、マクロブロックいずれかであることが判別されるとき、前記インター予測処理の簡略化の判定を実行することを特徴とする請求項１記載の動画像復号装置。
3. 前記復号対象は、スライス単位のループ処理時におけるＢスライス、ピクチャ単位のループ処理時におけるＢスライス、マクロブロック単位のループ処理時における双予測マクロブロック、ピクチャまたはスライス単位のループ処理時における双予測マクロブロックであることを特徴とする請求項１記載の動画像復号装置。
4. 前記簡略化手段は、フィルタリング処理を段階的に省略することを特徴とする請求項１記載の動画像復号装置。
5. 前記簡略化手段は、前記インター予測のフィルタリング処理に用いる動きベクトルの値を段階的に近似値にまるめることによって、前記フィルタリング処理を段階的に省略することを特徴とする請求項４記載の動画像復号装置。
6. 前記簡略化手段は、画素フィルタのタップ数を段階的に省略することを特徴とする請求項１記載の動画像復号装置。
7. 前記簡略化手段は、垂直画素フィルタリング処理、水平画素フィルタリング処理のいずれか一方を省略することを特徴とする請求項１記載の動画像復号装置。
8. 前記簡略化手段は、前記インター予測のフィルタリング処理に用いる動きベクトルの垂直、水平成分のいずれか一方の値を近似値にまるめることによって、前記垂直画素フィルタリング処理、水平画素フィルタリング処理のいずれか一方を省略することを特徴とする請求項７記載の動画像復号装置。
9. 前記簡略化手段は、色差情報のフィルタリング処理をオン・オフ処理することを特徴とする請求項１記載の動画像復号装置。
10. 前記簡略化手段は、前記インター予測のフィルタリング処理に用いる色差情報の動きベクトルの値を近似値にまるめることによって、前記色差情報のフィルタリング処理をオン・オフすることを特徴とする請求項９記載の動画像復号装置。
11. 情報処理装置に用いられ、圧縮符号化された動画像ストリームを復号する動画像復号方法において、
    前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成し、
    前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、
    前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成し、
    前記残差加算で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、
    前記動画像ストリームから前記復号対象それぞれの符号化モードに関する情報を抽出すると共に、復号処理中の負荷レベルを段階的に示す負荷情報を入力し、前記符号化モードに関する抽出情報及び前記負荷情報に基づく条件に従って、前記インター予測処理を簡略化するか否かを判定し、
    前記判定結果に基づいて前記インター予測処理を段階的に簡略化する動画像復号方法であって、
    前記判定は、前記負荷情報が示す負荷レベルが既定値を超える状態で、前記復号対象の復号処理単位内の割合が閾値を超えるとき前記インター予測処理の簡略化実行を決定する条件とし、
    前記閾値には、過去一定期間に復号されたピクチャあるいはスライスの復号処理時における前記復号対象の復号処理単位内の割合の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする動画像復号方法。

Images