JPH08223577A - 動画像符号化方法及び装置、並びに動画像復号方法及び装置 - Google Patents

動画像符号化方法及び装置、並びに動画像復号方法及び装置

Info

Publication number
JPH08223577A
JPH08223577A JP21066595A JP21066595A JPH08223577A JP H08223577 A JPH08223577 A JP H08223577A JP 21066595 A JP21066595 A JP 21066595A JP 21066595 A JP21066595 A JP 21066595A JP H08223577 A JPH08223577 A JP H08223577A
Authority
JP
Japan
Prior art keywords
image
motion compensation
picture
signal
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP21066595A
Other languages
English (en)
Inventor
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP21066595A priority Critical patent/JPH08223577A/ja
Priority to US08/571,204 priority patent/US6415055B1/en
Priority to KR1019950050386A priority patent/KR960028555A/ko
Publication of JPH08223577A publication Critical patent/JPH08223577A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 符号化効率を向上させる。 【解決手段】 動画像信号を動き補償予測符号化する際
に、画像間距離算出回路１０では、所定映像単位の画像
信号より時間的に先行する過去参照画像への距離と時間
的に後行する未来参照画像への距離とを算出し、予測モ
ード決定回路８では、当該算出した距離に応じて所定映
像単位の画像信号に適用する動き補償予測符号化を選択
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば動画像信号
を光磁気ディスクや磁気テープなどの記録媒体に記録し
再生してディスプレイなどに表示したり、テレビ会議シ
ステム、テレビ電話システムや放送用機器等のように動
画像信号を伝送路を介して送信側から受信側に伝送する
際に適用して好適な、動画像符号化方法及び装置、並び
に、動画像信号を動き補償予測符号化した信号から、動
画像信号を再生するための動画像復号方法及び装置に関
する。
【０００２】
【従来の技術】従来、動画像をディジタル化して記録し
又は伝送する場合、データ量が膨大となるため、データ
を符号化（圧縮）することが行われている。その代表的
な符号化方式としては、動き補償予測符号化がある。
【０００３】図１０に動き補償予測符号化の原理を示
す。動き補償予測符号化は画像信号の時間軸方向の相関
を利用する方法である。すなわち、動き補償予測符号化
は、既に復号再生されている画像信号より現在の符号化
対象の動きベクトルを推定し、復号再生されている画像
信号を信号の動きに合わせて移動させ、この動き情報
（動きベクトル）とその時の予測残差を伝送することに
より、符号化に必要な情報量を圧縮する方法である。
【０００４】この動き補償予測符号化の代表的なものと
しては、ＭＰＥＧ(Moving PictureExpert Group)があ
る。ＭＰＥＧとは、ＩＳＯ（国際標準化機構）とＩＥＣ
（国際電気標準会議）のＪＴＣ（Joint Technical Comm
ittee）１のＳＣ（Sub Committee）２９のＷＧ（Worki
ng Group）１１においてまとめられた動画像符号化方式
の通称である。
【０００５】ＭＰＥＧでは、１画像（フレーム又はフィ
ールド）を１６ライン×１６画素で構成されるマクロブ
ロックと呼ばれる小単位に分割し、このマクロブロック
単位で動き補償予測符号化を行う。動き補償予測符号化
には、大別してイントラ符号化及び非イントラ符号化の
２つの方法がある。イントラ符号化は自らのマクロブロ
ックの情報だけを使用する符号化方法であり、非イント
ラ符号化は自らのマクロブロックの情報と他の時刻に現
れる画像より得る情報との双方の情報を用いる符号化方
法である。
【０００６】ＭＰＥＧでは、各フレーム画像を、Ｉピク
チャ（Intra coded picture）、Ｐピクチャ（Predictiv
e coded picture）、Ｂピクチャ（Bidirectioally pred
ictive coded picture）の３種類のピクチャの何れかの
ピクチャとして符号化する。すなわち、例えば図１１に
示すように、フレームＦ１からＦ１７までの１７フレー
ムの画像信号をグループオブピクチャ（Group Of Pictu
re：ＧＯＰ）として処理の１単位とする。
【０００７】図１１に示すように、例えばＧＯＰの先頭
のフレームＦ１の画像信号をＩピクチャとして符号化
し、２番目のフレームＦ２をＢピクチャとして符号化
し、３番目のフレームＦ３をＰピクチャとして処理す
る。以下、４番目以降のフレームＦ４からフレームＦ１
７までをＢピクチャ又はＰピクチャとして交互に処理す
る。図１１において、画像から画像への矢印は予測の方
向を示す（以下同じ）。
【０００８】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま符号化して伝送する。Ｐ
ピクチャの画像信号としては、基本的に図１１の（Ａ）
に示すように、それより時間的に過去にあるＩピクチャ
又はＰピクチャの画像信号からの差分を符号化して伝送
する。また、Ｂピクチャの画像信号としては、基本的に
図１１の（Ｂ）に示すように、時間的に過去にあるフレ
ーム又は未来にあるフレームの何れかのフレームとの差
分を符号化して伝送するか又は時間的に過去及び未来に
ある双方のフレームとの差分を符号化して伝送する。
【０００９】動画像信号を符号化する方法の原理を図１
２に示す。図１２に示すように、最初のフレームＦ１は
Ｉピクチャとして処理されるためその全てのマクロブロ
ックはイントラ符号化されて伝送データＦ１Ｘとして伝
送路に伝送される。ＰピクチャのフレームＦ３は、時間
的に過去にあるフレームＦ１を参照画像としてこのフレ
ームＦ１からの予測残差（ＳＰ３）が演算され、動きベ
クトルｘ３と共に伝送データＦ３Ｘとして伝送される
（順方向予測符号化）。この場合、フレームＦ３の元の
データがそのまま伝送データＦ３Ｘとして伝送される
（ＳＰ１）（イントラ符号化）。これらの方法をマクロ
ブロック単位で切り替えることができる。
【００１０】ＢピクチャのフレームＦ２は時間的に過去
にあるフレームＦ１と、時間的に未来にあるフレームＦ
３の何れかのフレーム又は双方のフレームからの予測残
差が演算され、これが伝送データＦ２Ｘとして伝送され
る。このＢピクチャとしての処理は、マクロブロック単
位で、（１）イントラモード（intra coding）、（２）
順方向予測モード（forward predictive coding）、
（３）逆方向予測モード（backward predictive codin
g）及び（４）双方向予測モード（bidirectionally pre
dictive coding）の４種類がある。
【００１１】イントラモードによる処理は、元のフレー
ムＦ２のデータをそのまま伝送データＦ２Ｘとして伝送
する処理であり（ＳＰ１）、Ｉピクチャにおける場合と
同様の処理である。順方向予測モードによる処理は、時
間的に過去の参照フレームＦ１との予測残差ＳＰ３と、
動きベクトルｘ１（フレームＦ１及びフレームＦ２間の
動きベクトル）を伝送するものである。逆方向予測モー
ドによる処理は、時間的に未来の参照フレームＦ３との
予測残差（ＳＰ２）を演算し、その差分（ＳＰ２）と動
きベクトルｘ２（フレームＦ３及びフレームＦ２間の動
きベクトル）を伝送する処理である。
【００１２】双方向予測モードによる処理は、時間的に
過去の参照フレームＦ１と未来の参照フレームＦ３の双
方のフレームからの２つの予測画像の平均値との予測残
差ＳＰ４を求め、これを伝送データＦ２Ｘとして動きベ
クトルｘ１及びｘ２と共に伝送する処理である。Ｂピク
チャでは、上述の４種類の方法をマクロブロック単位で
切り替えることができる。このうち順方向予測モード、
逆方向予測モード及び双方向予測モードによる処理は非
イントラ符号化である。
【００１３】動画像符号化装置は、Ｂピクチャのマクロ
ブロックを符号化する際に、これらの４つのモードのう
ち最も符号化効率の良い方法を選択すべきである。理想
的には、４種類の方法で符号化を試みた後、伝送データ
が最も少なくなる方法を選択することが望ましい。しか
しながら、この方法では、ハードウェア規模が大きくな
るという問題があった。
【００１４】この問題を解決するものとして、マクロブ
ロックの順方向及び逆方向の動きベクトルを推定（moti
on estimation：ＭＥ）する処理において、順方向及び
逆方向方向それぞれの動きベクトル推定残差（ＭＥerro
r）を求め、これらの値に基づいてマクロブロックの非
イントラ予測符号化を選択するものが提案されている。
【００１５】動きベクトル推定残差は、動きベクトルよ
り得られる予測マクロブロックと符号化対象マクロブロ
ックとの各画素の絶対値の差分の和を計算して求める。
この動きベクトル推定残差を、順方向動きベクトル及び
逆方向動きベクトルの双方について計算する。このとき
の非イントラ符号化の選択方法を図１３に基づいて説明
する。
【００１６】図１３において、順方向動きベクトルでの
推定残差をＥｆ、逆方向動きベクトルでの推定残差をＥ
ｂとすると、次のように非イントラ符号化が選択され
る。すなわち（１）Ｅｂ＞ｊ×Ｅｆの場合には順方向予
測モードを選択する。（２）Ｅｂ＜ｋ×Ｅｆの場合には
逆方向予測モードを選択する。（３）ｋ×Ｅｆ≦Ｅｂ≦
ｊ×Ｅｆの場合には双方向予測モードを選択する。ここ
で、ｊ，ｋは例えばｊ＝２、ｋ＝１／２である。
【００１７】この選択方法では、順方向動きベクトルの
推定残差Ｅｆが逆方向動きベクトルの推定残差Ｅｂに比
べて比較的小さい場合（例えば１／２倍）には、順方向
予測モードを選択し、逆方向動きベクトルの推定残差Ｅ
ｂが順方向動きベクトルの推定残差Ｅｆに比べて比較的
小さい場合（例えば１／２倍）には、逆方向予測モード
を選択する。これらの場合以外には、双方向予測モード
を選択する。
【００１８】
【発明が解決しようとする課題】ところで、この非イン
トラ符号化の選択方法は、図１１に示したようなＩピク
チャ又はＰピクチャの間にＢピクチャが１枚存在する予
測構造の場合には良好な結果を得ることができる。とこ
ろが、例えば図１４に示すように、Ｉピクチャ又はＰピ
クチャの間にＢピクチャが２枚以上存在する予測構造の
場合、この非イントラ符号化の選択方法を適用すると符
号化効率が良くないという問題がある。
【００１９】すなわち、全ての非イントラ符号化を試み
て伝送データが最も少なくなる非イントラ符号化を選択
する方法と比較すると、上述の非イントラ符号化の選択
方法では、誤って双方向予測符号化モードを選択する場
合が多い。つまり、符号化効率が悪い場合でも双方向予
測符号化モードを選択してしまうという問題があった。
【００２０】一方、動画像信号を動き補償予測符号化し
た符号化データを復号する場合には、伝送された符号化
データから動き補償のための情報と予測誤差とを復号
し、動き補償情報によって指示された参照画像を動きベ
クトルに基づいて移動し、それに予測誤差を加えること
で、画像を再生する。
【００２１】すなわち、上記Ｉピクチャ又はＰピクチャ
の間にＢピクチャが２枚以上存在する予測構造の図１４
を用いて、動き補償予測符号化された符号化データを復
号する方法を説明すると、先ず、フレームＦ１で示すＩ
ピクチャの符号化データが受信される。このＩピクチャ
では、前述したように全てのマクロブロックがイントラ
符号化、すなわち自らの画像信号だけを用いて符号化さ
れているので、他の画像を参照することなく復号され
る。
【００２２】次に、フレームＦ４で示すＰピクチャの符
号化データが受信される。Ｐピクチャは、基本的には、
図１４の（Ａ）に示すように、過去にあるＩピクチャ又
はＰピクチャからの動き補償予測で符号化されているた
め、当該過去のＩピクチャ又はＰピクチャの符号化デー
タを復号して得られた復号画像を、参照画像として動き
補償されて復号される。このフレームＦ４の場合は、フ
レームＦ１の復号画像を参照画像として動き補償され、
復号される。
【００２３】次に、フレームＦ２，フレームＦ３の順に
Ｂピクチャの符号化データが受信される。Ｂピクチャ
は、図１４の（Ｂ）に示すように、時間的に過去及び未
来にあるフレームの画像を参照画像とした動き補償予測
で符号化されているため、これら過去及び未来のフレー
ムの符号化データを復号して得られた復号画像を、参照
画像として動き補償されて復号される。この場合は、フ
レームＦ１及びＦ４の双方を参照画像として動き補償さ
れ、復号される。なお、これらＢピクチャは、動き補償
のための参照画像として使われることはない。
【００２４】以下、フレームＦ５からフレームＦ１６ま
で、それぞれピクチャタイプに応じて上述同様に復号さ
れる。
【００２５】ところで、動き補償予測符号化された符号
化データの一部が、例えば伝送途中等に欠落してしまう
ようなことが起こり、例えばマクロブロックの動き補償
情報と予測残差が復号不可能になると、その部分の画像
が欠落することになり、視覚上で大きな画質劣化とな
る。この様な画質劣化を、目立たなくするために、復号
の際には、通常、エラー修整が行われる。
【００２６】このエラー修整の従来の技術としては、例
えば、任意の画像において、その画像中のマクロブロッ
クが欠落した場合、図１５に示すように動き補償の過去
参照画像での同じ位置にあるマクロブロックで置き換え
る方法がある。すなわち、この図１５において、Ｐピク
チャＰ1とＰ4の間にＢピクチャＢ2とＢ3があり、正常に
復号がなされたときには図１５の（ａ）に示すような画
像が得られるとしたとき、例えば図１５の（ｂ）に示す
ように、ＢピクチャＢ2の図中斜線部分にエラーが発生
した場合には、当該ＢピクチャＢ2の図中斜線部分に対
応するＰピクチャＰ1の図中斜線部分のマクロブロック
で置き換えるようにする。より具体的に言うと、エラー
修整するマクロブロック（すなわち上記ＢピクチャＢ2
の図中斜線部分）については、動きベクトルを零にリセ
ットし、予測残差を零とし、過去参照画像（すなわちＰ
ピクチャＰ1の図中斜線部分）から動き補償する。この
ようにして、画質劣化を目立たなくしていた。
【００２７】しかし、この従来のエラー修整の技術よっ
て、Ｂピクチャのエラー修整をした場合、その動画像の
動きが不自然になる場合があった。例えば、Ｐピクチャ
Ｐ1とＰ4が正しく復号された後、図１５の（ｃ）に示す
ようにＢピクチャＢ3の図中斜線部分のマクロブロック
が復号不可能になったようなときには、上述したよう
に、過去参照画像であるＰピクチャＰ1の図中斜線部分
のマクロブロックを使って、上記ＢピクチャＢ3の図中
斜線部分の失われたマクロブロックのエラー修整が行わ
れることになるが、この場合、動画像の流れとしては、
ＰピクチャＰ1，ＢピクチャＢ2，ＢピクチャＢ3，Ｐピ
クチャＰ4の順番に動いているのに、ＢピクチャＢ3の図
中斜線部分にＰピクチャＰ1の図中斜線部分の画像が置
き替えられることになる。すなわち、当該図１５の
（ｃ）の例では、上記画像の置き替えを行うことで、動
画像の動きが逆行してしまうようになる。特に、動画像
の動きが、カメラの操作におけるいわゆるパン(pan)操
作が行われているときのように水平移動している場合、
上記逆行は、大変目立つものとなる。
【００２８】そこで、本発明はこの様な実情に鑑みてな
されたものであり、Ｉピクチャ又はＰピクチャの間にＢ
ピクチャが２枚以上存在する予測構造の場合であっても
符号化効率を上げることができる動画像符号化方法及び
装置と、動画像信号を動き補償予測符号化したデータか
ら、動画像信号を再生する際に、誤り修整された動画像
の動きを良好にできる動画像復号方法及び装置とを提供
することを目的とする。
【００２９】
【課題を解決するための手段】本発明の動画像符号化方
法及び装置においては、動画像信号の所定映像単位の画
像信号を所定の予測画像信号を用いて符号化する動画像
符号化方法において、所定映像単位の画像信号より時間
的に先行する過去参照画像への距離と時間的に後行する
未来参照画像への距離とを算出し、当該算出した距離に
応じて、所定映像単位の画像信号に適用する動き補償予
測符号化を選択することにより、上述の課題を解決す
る。
【００３０】また、本発明の動画像復号方法及び装置
は、動画像信号の所定映像単位の画像信号を所定の予測
画像信号を用いて符号化した符号化信号から、動き補償
により所定単位の画像信号を復号して、動画像信号を生
成する際に、所定映像単位の画像信号より時間的に先行
する過去参照画像への距離と時間的に後行する未来参照
画像への距離とを算出し、この算出した距離に応じて、
所定映像単位の画像信号の誤り検出された所定映像単位
の画像信号に対する動き補償モードを選択することによ
り上述した課題を解決する。
【００３１】すなわち、本発明によれば、所定映像単位
の画像信号より時間的に先行する過去参照画像への距離
と時間的に後行する未来参照画像への距離とを算出して
おり、これら距離は、所定映像単位の画像信号に対する
過去参照画像又は未来参照画像の相関度に対応する。こ
のため、例えば相関度の高い方（距離の短い方）を選択
すれば、選択の誤りを少なくすることができ、当該選択
の誤りが少なければ動画像の符号化効率を一段と向上さ
せることができると共に、誤り修整された動画像の動き
を良好にできることになる。
【００３２】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照にしながら説明する。
【００３３】先ず、本発明の動画像符号化方法の原理に
ついて説明する。
【００３４】一般に動画像の場合、画像信号の時間軸方
向の相関は２枚の画像間隔が大きくなるほど小さくな
る。前述の図１１に示したように、Ｉピクチャ又はＰピ
クチャの間にＢピクチャが１枚存在する予測構造の場
合、Ｂピクチャでの順方向予測の相関度と逆方向予測の
相関度は等しいと考えられる。したがって、一般的に順
方向動きベクトル推定残差Ｅｆと逆方向動きベクトル推
定残差Ｅｂの統計的な性質は等しい。
【００３５】一方、前記図１４に示したように、Ｉピク
チャ又はＰピクチャの間にＢピクチャが２枚以上存在す
る予測構造の場合、それぞれのＢピクチャにおいて過去
参照画像との相関度と未来参照画像との相関度は異な
る。すなわち、図１に示すように、時間的に過去にある
例えばＰピクチャＰnを参照画像としてＢピクチャ
Ｂn+1、ＢピクチャＢn+2、ＢピクチャＢn+3の順方向動
きベクトル推定を行うと、各Ｂピクチャのベクトル推定
残差Ｅｆ1、Ｅｆ2、Ｅｆ3は、一般にＥｆ1＜Ｅｆ2＜Ｅ
ｆ3の関係になる。
【００３６】同様に、時間的に未来にあるＰピクチャＰ
n+4を参照画像としてＢピクチャＢn +1、ＢピクチャＢ
n+2、ＢピクチャＢn+3の逆方向動きベクトル推定を行っ
た場合の各Ｂピクチャの動きベクトル推定残差Ｅｂ1、
Ｅｂ2、Ｅｂ3は、一般にＥｂ3＜Ｅｂ2＜Ｅｂ1の関係に
なる。
【００３７】このようにＩピクチャ又はＰピクチャの間
にＢピクチャが２枚以上存在する予測構造の場合には、
それぞれのＢピクチャにおいて過去参照画像との相関度
と未来参照画像との相関度が異なるため、順方向動きベ
クトル推定残差と逆方向動きベクトル推定残差の統計的
性質は異なる。すなわち、過去参照画像との相関度及び
未来参照画像との相関度は、各Ｂピクチャから過去参照
画像への距離と未来参照画像への距離に依存する。した
がって、本発明においては、過去参照画像への距離と未
来参照画像への距離に応じて、Ｂピクチャの予測符号化
を適応的に切り替えてＢピクチャを符号化するようにし
ている。なお、上記距離は時間と言い換えることもでき
る。
【００３８】次に、上述した本発明の動画像符号化方法
が適用される本発明の動画像符号化装置の構成例につい
て説明する。
【００３９】本発明の動画像符号化装置の構成例を図２
に示す。
【００４０】動画像符号化装置１では、Ｂピクチャを符
号化する際に、過去参照画像への距離と未来参照画像へ
の距離を算出し、当該算出して得た値を用いて順方向予
測モード、逆方向予測モード又は双方向予測モードのう
ち何れの予測モードを選択するかを決定する。なお、こ
の図２の構成例では、動画像符号化装置１は動き補償予
測とＤＣＴ（discrete cosine transform、離散コサイ
ン変換）とを組み合わせたハイブリッド符号化方法によ
り構成されている。
【００４１】図２において、端子２より入力した入力動
画像データＳ１は、画像符号化タイプ指定回路３に送ら
れる。画像符号化タイプ指定回路３では、順次入力され
る動画像データＳ１の各フレームの画像をＩピクチャ、
Ｐピクチャ又はＢピクチャのうち何れのピクチャとして
処理するかを指定する。なお、ここでは前記図１４に示
したように、フレームＦ１からＦ１６までの１６フレー
ムの画像データをグループオブピクチャ（ＧＯＰ）とし
て処理の１単位とする。
【００４２】すなわち画像符号化タイプ指定回路３で
は、図３の（Ａ）に示すようなフレーム順序で供給され
る入力画像データＳ１に対して、図３の（Ｂ）に示すよ
うにＧＯＰの先頭のフレームＦ１の画像をＩピクチャＩ
1、２番目、３番目のフレームＦ２、Ｆ３をＢピクチャ
Ｂ2、Ｂ3、４番目のフレームＦ４をＰピクチャＰ4とし
てそれぞれ指定する。以下、フレームＦ５からフレーム
Ｆ１６は、順にＢピクチャ、Ｂピクチャ、Ｐピクチャの
パターンの繰り返しで図３の（Ｂ）に示すように指定す
る。
【００４３】このようにフレームＦ１からフレームＦ１
６までの各フレームのピクチャタイプすなわち画像符号
化タイプが指定されると、画像符号化順序並替え回路４
において、前記指定された画像符号化タイプに従って各
フレーム画像を符号化する順番に並べ替える。これは、
Ｂピクチャは逆方向予測を必要とするため、未来参照画
像としてのＩピクチャ又はＰピクチャが先に用意されて
いないと復号することができないからである。すなわち
Ｂピクチャを符号化する前にＩピクチャ又はＰピクチャ
を先に符号化しなければならないため、上記画像符号化
順序並替え回路４では、例えばフレームＦ１からフレー
ムＦ１６までの各フレームの画像を並べ替える。この各
フレームの画像の並べ替えを行うことにより、画像符号
化タイプの順番は、図３の（Ｃ）に示すように並べ替え
られることになる。
【００４４】上記画像符号化順序並替え回路４によって
フレーム単位で並べ替えられた画像データＳ２は、フレ
ーム毎にスキャンコンバータ５に送出される。スキャン
コンバータ５では、ラスタスキャン順で入力される画像
データをブロックフォーマットのデータに変換する。す
なわち、図４の（Ａ）に示すように、ラスタスキャンで
入力される画像データＳ２は１ライン当たりＨドットの
ラインがＶライン集められたフレームフォーマットのデ
ータとされており、スキャンコンバータ５は、この１フ
レームの画像データを図４の（Ｂ）に示すように１６ラ
インを単位としてＮ個のスライスに区分し、さらに各ス
ライスを図４の（Ｃ）に示すように、Ｍ個のマクロブロ
ックに分割する。各マクロブロックは、図４の（Ｃ）に
示すように１６×１６個の画素（ドット）に対応する輝
度成分により構成されており、この輝度成分は８×８ド
ットを単位とする小ブロックＹ［１］からＹ［４］に区
分される。この１６×１６ドットの輝度成分には、８×
８ドットのＣｂ成分Ｃｂ［５］と、８×８ドットのＣｒ
成分Ｃｒ［６］が対応付けされる。
【００４５】さらに、画像符号化順序並替え回路４から
は、画像データＳ２の現在符号化されるフレームの動き
ベクトルを推定するため、現在の画像のデータと過去参
照画像及び／又は未来参照画像のデータＳ３とが動きベ
クトル推定回路６に送出される。また、動きベクトル推
定回路６には、上記画像符号化順序並替え回路４から画
像データＳ２の各フレームに同期した画像符号化タイプ
（情報Ｓ４）も供給され、従って動きベクトル推定回路
６では上記画像符号化タイプ情報Ｓ４に基づいて各フレ
ームの画像データをＩピクチャ、Ｐピクチャ又はＢピク
チャとして処理する。
【００４６】すなわち、Ｉピクチャとして処理されるフ
レーム（例えばフレームＦ１）の画像データは、動きベ
クトル推定回路６よりフレームメモリ７の過去参照画像
記憶部７Ａに転送されて記憶される。Ｂピクチャとして
処理されるフレーム（例えばフレームＦ２，Ｆ３）の画
像データは、現在画像記憶部７Ｂに転送されて記憶され
る。また、Ｐピクチャとして処理されるフレーム（例え
ばフレームＦ４）の画像データは、未来参照画像記憶部
７Ｃに転送されて記憶される。
【００４７】ここで、次のタイミングにおいて、フレー
ムＦ５又はＦ６のＢピクチャＢ5、Ｂ6又はフレームＦ７
のＰピクチャＰ7として処理すべきフレームの画像デー
タが動きベクトル推定回路６に入力されたとき、これま
でに未来参照画像記憶部７Ｃに記憶されていた最初のＰ
ピクチャ（この場合フレームＦ４）の画像データは、過
去参照画像記憶部７Ａに転送される。また、次のＢピク
チャ（フレームＦ５又はＦ６）の画像データは現在画像
記憶部７Ｂに記憶（上書き）され、次のＰピクチャ（フ
レームＦ７）の画像データは未来参照画像記憶部７Ｃに
記憶（上書き）される。このような動作が順次繰り返さ
れる。
【００４８】動きベクトル推定回路６は、順方向予測に
おける動きベクトル情報Ｓ５とそのときの動きベクトル
推定残差（以下、順方向予測残差Ｅｆと呼ぶ）の信号を
出力する。Ｂピクチャの場合は、逆方向予測における動
きベクトル情報Ｓ６とそのときの動きベクトル推定残差
（以下、逆方向予測残差Ｅｂと呼ぶ）の信号を出力す
る。
【００４９】すなわち動きベクトル推定回路６は、順方
向予測残差Ｅｆとして、式（１）より、符号化対象のマ
クロブロックの信号Ａijと順方向動きベクトルにより参
照されるマクロブロックの信号Ｆijとの差の絶対値の和
を求める。
【００５０】Ｅｆ＝Σ｜Ａij−Ｆij｜ （１） また動きベクトル推定回路６は、逆方向予測残差Ｅｂと
して、式（２）より、符号化対象のマクロブロックの信
号Ａijと逆方向動きベクトルにより参照されるマクロブ
ロックの信号Ｂijとの差の絶対値の和を求める。
【００５１】Ｅｂ＝Σ｜Ａij−Ｆij｜ （２） 動きベクトル推定回路６は、これら得られた順方向予測
残差Ｅｆ及び逆方向予測残差Ｅｂを、動きベクトル情報
Ｓ５、Ｓ６と共に予測モード決定回路８に送出する。
【００５２】また、画像符号化順序並替え回路４から
は、カウンタ９に対してフレーム同期信号Ｓ７も出力さ
れており、カウンタ９では当該フレーム同期信号Ｓ７に
基づいて出力フレーム数をカウントする。当該カウンタ
９のカウント値ＣＮＴは、カウンタ９に入力される画像
符号化タイプ情報Ｓ４がＩピクチャ又はＰピクチャを示
すとき「０」にリセットされる。すなわち、このカウン
タ９は、Ｉピクチャ又はＰピクチャの間に入力されるＢ
ピクチャの数をカウントする。従って、この構成例の場
合、図３の（Ｄ）に示すように、カウンタ９からは、カ
ウント値ＣＮＴとして「０」、「１」又は「２」が出力
される。カウント値ＣＮＴは、動きベクトル推定の画像
間距離算出回路１０に送出される。
【００５３】画像間距離算出回路１０では、図３の
（Ｅ）及び（Ｆ）に示すように、Ｂピクチャのカウント
値ＣＮＴに基づいて、当該Ｂピクチャから過去参照画像
への距離Ｄｆと未来参照画像への距離Ｄｂとを算出し、
これらの値を予測モード決定回路８に出力する。
【００５４】予測モード決定回路８は、マクロブロック
の予測モードを選択する回路であり、イントラモード、
順方向予測モード、逆方向予測モード又は双方向予測モ
ードのうち何れの予測モードを選択するかを決定する。
すなわち、予測モード決定回路８には、前記画像符号化
順序並替え回路４からの画像符号化タイプ情報Ｓ４も供
給され、この画像符号化タイプ情報Ｓ４がＩピクチャを
示す場合にはイントラモードを選択する。一方、当該予
測モード決定回路８は、画像符号化タイプ情報Ｓ４がＰ
ピクチャを示す場合にはイントラモード又は順方向予測
モードのうち何れの予測モードを選択するかを次のよう
にして決定する。
【００５５】具体的に言うと、予測モード決定回路８
は、先ず、イントラ予測時の予測残差の絶対値の和Ｅ
intraとして、式（３）より、符号化対象マクロブロッ
クの信号Ａijとマクロブロックの信号Ａijの平均値Ａav
との差の絶対値の和を求める。
【００５６】Ｅintra＝Σ｜Ａij−Ａav｜ （３） 次に、予測モード決定回路８は、上記イントラ予測時の
予測残差の絶対値の和Ｅintraと、動きベクトル推定回
路６より入力される順方向予測残差Ｅｆとを比較し、Ｅ
intra＜Ｅｆの場合にはイントラモードを選択し、これ
以外の場合には順方向予測モードを選択する。
【００５７】また、画像符号化タイプ情報Ｓ４がＢピク
チャを示す場合、予測モード決定回路８は、イントラモ
ード、順方向予測モード、逆方向予測モード又は双方向
予測モードのうち何れの予測モードを選択するかを次の
ようにして決定する。先ず、予測モード決定回路８は、
非イントラ予測モードである順方向予測モード、逆方向
予測モード又は双方向予測モードの中から１つの予測モ
ードを選択する。この制御は、画像間距離算出回路１０
より得られた順方向予測画像への距離Ｄｆの情報及び逆
方向予測画像への距離Ｄｂの情報と、動きベクトル推定
残差Ｅｆ及びＥｂの情報とを用いて、例えば図５に示す
ように行われる。
【００５８】すなわち、現在画像が順方向予測画像に近
い場合（Ｄｆ＝１、Ｄｂ＝２の場合）において、Ｅｂ＞
ｖ×Ｅｆのときは順方向予測モードを選択し、Ｅｂ＜ｗ
×Ｅｆのときは逆方向予測モードを選択する。ｖ×Ｅｆ
≦Ｅｂ≦ｗ×Ｅｆのときは双方向予測モードを選択す
る。ここで、係数ｖ、ｗは、例えばｖ＝４／３、ｗ＝１
／２である。この場合、従来に比べて順方向予測モード
が選択される領域が大きくなる。
【００５９】次に、現在画像が逆方向予測画像に近い場
合（Ｄｆ＝２、Ｄｂ＝１の場合）において、Ｅｂ＞ｘ×
Ｅｆのときは順方向予測モードを選択し、Ｅｂ＜ｙ×Ｅ
ｆのときは逆方向予測モードを選択する。ｘ×Ｅｆ≦Ｅ
ｂ≦ｙ×Ｅｆのときは双方向予測モードを選択する。こ
こで、係数ｘ、ｙは、例えばｘ＝２、ｙ＝３／４であ
る。この場合、従来に比べて逆方向予測モードが選択さ
れる領域が大きくなる。
【００６０】このようにして選択された非イントラ予測
モードでの予測残差をＥinterとする。この場合、選択
された非イントラ予測モードが双方向予測モードである
場合には、非イントラ予測モードでの予測残差Ｅinter
としてＥｆとＥｂの平均値を用いる。従って、順方向予
測モードのときはＥinter＝Ｅｆ、逆方向予測モードの
ときはＥinter＝Ｅｂ、双方向予測モードのときはＥ
inter＝（Ｅｆ＋Ｅｂ）／２となる。
【００６１】次に選択された非イントラ予測モードとイ
ントラモードのうちいずれのモードを選択するかを決定
する。イントラ予測時の予測残差の絶対値の和Ｅintra
として、式（３）より、符号化対象マクロブロックの信
号Ａijとマクロブロックの信号Ａijの平均値Ａavとの差
の絶対値の和を求めて、選択された非イントラ予測モー
ドでの予測残差の絶対値の和Ｅinterと比較する。比較
した結果、Ｅintra＜Ｅinterのときはイントラモードを
選択し、これ以外のときは非イントラ予測モードを選択
する。
【００６２】このように動画像符号化装置１では、Ｂピ
クチャの順方向予測画像との相関度及び逆方向予測画像
との相関度がそれぞれ順方向予測画像及び逆方向予測画
像への距離に依存していることを考慮してＢピクチャの
予測符号化を選択している。従って、順方向動きベクト
ル推定残差と逆方向動きベクトル推定残差の統計的性質
が異なる場合であってもこの統計的性質の違いに応じて
適応的に順方向予測符号化、逆方向予測符号化又は双方
向予測符号化を選択できるので動画像の符号化効率を格
段的に向上させることができる。
【００６３】上記予測モード決定回路８にて上述のよう
に選択された予測モードの情報Ｓ８は、演算部１１に送
出される。演算部１１では、スキャンコンバータ５より
読み出されたマクロブロックのデータＳ９に対して、予
測モード決定回路８より送出された予測モード情報Ｓ８
に基づいてイントラ、順方向予測、逆方向予測又は双方
向予測の演算が行われる。
【００６４】ここで、マクロブロックのデータＳ９とし
て、Ｉピクチャとして処理すべきフレームの画像データ
が演算部１１に入力されたとき、演算部１１のスイッチ
１１Ｄが被切替端子ａ側に切り替わり、予測モードとし
てイントラ符号化が設定される。
【００６５】これによりＩピクチャの画像データがＤＣ
Ｔ回路１２に入力され、ここでＤＣＴ処理されてＤＣＴ
係数に変換される。このＤＣＴ係数は量子化回路１３に
送出され、後段の送信バッファ１４のデータ蓄積量（バ
ッファ蓄積量）に対応した量子化スケール（量子化ステ
ップ）で量子化された後、可変長符号化回路１５に送出
される。
【００６６】可変長符号化回路１５は、量子化回路１３
より入力される量子化スケールの情報に対応して、量子
化回路１３より送出される画像データ（この場合Ｉピク
チャの量子化データ）を、例えばハフマン符号などの可
変長符号に変換して送信バッファ１４に出力する。ま
た、可変長符号化回路１５は、上記量子化スケールの情
報、予測モード決定回路８より入力される予測モード情
報Ｓ８及び動きベクトル推定回路６より入力される動き
ベクトル情報Ｓ５、Ｓ６も可変長符号化する。
【００６７】送信バッファ１４は、上記可変長符号化回
路１５から入力されたデータを一時蓄積し、この蓄積量
に対応するデータを量子化制御信号として量子化回路１
３にフィードバックする。すなわち送信バッファ１４
は、データ蓄積残量が許容上限値まで増量すると、量子
化制御信号によって上記量子化回路１３の量子化スケー
ルを大きくして量子化データのデータ量を低下させる。
また、送信バッファ１４は、データ蓄積残量が許容下限
値まで減少すると、量子化制御信号によって量子化回路
１３の量子化スケールを小さくして量子化データのデー
タ量を増大させる。かくして送信バッファ１４のオーバ
ーフロウ又はアンダーフロウが防止される。送信バッフ
ァ１４に蓄積されたデータは所定のタイミングで読み出
されて出力端子２１を介して伝送路に出力される。
【００６８】一方、量子化回路１３より出力されたＩピ
クチャの画像データは、逆量子化回路１６に入力され、
ここで量子化回路１３より供給される量子化スケールの
情報を用いて逆量子化される。逆量子化回路１６の出力
はＩＤＣＴ（逆ＤＣＴ）回路１７に入力されて逆ＤＣＴ
処理された後、演算器１８を介してフレームメモリ１９
の過去参照画像記憶部１９Ａに供給されて記憶される。
【００６９】次に、スキャンコンバータ５よりＰピクチ
ャとして処理すべきフレームの画像データが入力された
場合について説明する。上述のように、演算部１１は、
予測モード情報Ｓ８がイントラモードを示すとき、スイ
ッチ１１Ｄは被切替端子ａ側に切り替えられる。従っ
て、この画像データは、Ｉピクチャのデータと同様にＤ
ＣＴ回路１２、量子化回路１３、可変長符号化回路１５
及び送信バッファ１４を介して伝送路に伝送される。ま
た、量子化回路１３を介したデータは、逆量子化回路１
６、ＩＤＣＴ回路１７及び演算器１８を介してフレーム
メモリ１９の未来参照画像記憶部１９Ｂに供給されて記
憶される。
【００７０】一方、予測モード情報Ｓ８が順方向予測モ
ードを示す場合には、スイッチ１１Ｄが被切替端子ｂ側
に切り替えられると共に、フレームメモリ１９の過去参
照画像記憶部１９Ａに記憶されている画像（この場合Ｉ
ピクチャの画像）データが読み出される。読み出された
画像データは、動き補償回路２０において、動きベクト
ル推定回路６より入力される順方向動きベクトル情報Ｓ
５を用いて動き補償される。
【００７１】すなわち、動き補償回路２０は、予測モー
ド決定回路８より順方向予測モードの指定が指令された
とき、過去参照画像記憶部１９Ａの読み出しアドレス
を、動きベクトル指定回路６が今出力しているマクロブ
ロックの位置に対応する位置から動きベクトル情報Ｓ５
に対応する分だけずらしてデータを読み出し、予測画像
データを生成する。
【００７２】動き補償回路２０で動き補償された予測画
像データは、演算器１１Ａに送出される。演算器１１Ａ
は、スキャンコンバータ５より供給されたマクロブロッ
クのデータから、動き補償回路２０より供給された参照
画像のマクロブロックに対応する予測画像データを減算
して、予測残差としての差分データを出力する。この差
分データは、ＤＣＴ回路１２、量子化回路１３、可変長
符号化回路１５及び送信バッファ１４を介して伝送路に
伝送される。また、この差分データは逆量子化回路１６
及びＩＤＣＴ回路７により局所的に復号されて演算器１
８に送出される。
【００７３】演算器１８には、演算器１１Ａに供給され
る予測画像データと同一のデータが動き補償回路２０よ
り入力される。演算器１８では、ＩＤＣＴ回路１７より
入力される差分データに、動き補償回路２０より供給さ
れる予測画像データを加算する。これにより、局所的に
復号したＰピクチャの画像データが得られる。このＰピ
クチャの画像データは、フレームメモリ１９の未来参照
画像記憶部１９Ｂに供給されて記憶される。
【００７４】次に、スキャンコンバータ５からＢピクチ
ャとして処理すべきフレームの画像データが演算部１１
に入力された場合について説明する。上述のように、予
測モード情報Ｓ８がイントラモード又は順方向予測モー
ドを示す場合、スイッチ１１Ｄは被切替端子ａ又はｂ側
に切り替えられる。このときの処理は、Ｐピクチャにお
ける場合と同様の処理が行われてデータが伝送される。
これに対して、予測モード情報Ｓ８が逆方向予測モード
又は双方向予測モードを示す場合には、スイッチ１１Ｄ
が被切替端子ｃ又はｄ側に切り替えられる。
【００７５】スイッチ１１Ｄが被切替端子ｃに切り替え
られている逆方向予測モードのときは、未来参照画像記
憶部１９Ｂに記憶されている画像（この場合Ｐピクチャ
の画像）データが読み出される。読み出された画像デー
タは、動き補償回路２０において、動きベクトル推定回
路６より入力される逆方向動きベクトル情報Ｓ６を用い
て動き補償される。
【００７６】すなわち、動き補償回路２０は、予測モー
ド決定回路８より逆方向予測モードの設定が指令された
とき、未来参照画像記憶部１９Ｂの読み出しアドレス
を、動きベクトル指定回路６が今出力しているマクロブ
ロックの位置に対応する位置から動きベクトル情報Ｓ６
に対応する分だけずらしてデータを読み出し、予測画像
データを生成する。
【００７７】動き補償回路２０で動き補償された予測画
像データは、演算器１１Ｂに送出される。演算器１１Ｂ
は、スキャンコンバータ５から入力されるマクロブロッ
クのデータから、動き補償回路２０より供給された当該
マクロブロックに対応する予測画像データを減算して、
差分データを出力する。この差分データは、ＤＣＴ回路
１２、量子化回路１３、可変長符号化回路１５及び送信
バッファ１４を介して伝送路に伝送される。また量子化
回路１３から出力された差分データは、逆量子化回路１
６及びＩＤＣＴ回路１７により局所的に復号されて演算
器１８に送出される。
【００７８】演算器１８には、演算器１１Ｂに供給され
る予測画像データと同一のデータが動き補償回路２０よ
り入力される。演算器１８では、ＩＤＣＴ回路１７より
入力される差分データに、動き補償回路２０から入力さ
れる予測画像データを加算する。これにより、局所的に
復号したＢピクチャの画像データが得られる。
【００７９】次に、スイッチ１１Ｄが被切替端子ｄ側に
切り替えられている双方向予測モードのとき、過去参照
画像記憶部１９Ａに記憶されている画像（この場合Ｉピ
クチャの画像）データと、未来参照画像記憶部１９Ｂに
記憶されている画像（この場合Ｐピクチャの画像）デー
タが読み出される。読み出された画像データは、動き補
償回路２０において、動きベクトル推定回路６より入力
される動きベクトル情報Ｓ５、Ｓ６を用いて動き補償さ
れる。
【００８０】すなわち、動き補償回路２０は、予測モー
ド決定回路８より双方向予測モードの設定が指令された
とき、過去参照画像記憶部１９Ａと未来参照画像記憶部
１９Ｂの読み出しアドレスを、動きベクトル指定回路６
が今出力しているマクロブロックの位置に対応する位置
から動きベクトル情報Ｓ５、Ｓ６に対応する分だけずら
してデータを読み出し、予測画像データを生成する。
【００８１】動き補償回路２０で動き補償された予測画
像データは演算器１１Ｃに送出される。演算器１１Ｃ
は、スキャンコンバータ５から入力されるマクロブロッ
クのデータから、動き補償回路２０より供給された当該
マクロブロックに対応する予測画像データの平均値を減
算して、この差分データを出力する。この差分データ
は、ＤＣＴ回路１２、量子化回路１３、可変長符号化回
路１５及び送信バッファ１４を介して伝送路に伝送され
る。また、量子化回路１３を介した差分データは逆量子
化回路１６及びＩＤＣＴ回路１７により局所的に復号さ
れて演算器１８に送出される。
【００８２】演算器１８には、演算器１１Ｃに送出され
る予測画像データと同一のデータが動き補償回路２０よ
り入力される。演算器１８では、ＩＤＣＴ回路１７より
入力される差分データに、動き補償回路２０より入力さ
れる予測画像データを加算する。これにより、局所的に
復号したＢピクチャの画像データが得られる。なお、Ｂ
ピクチャは、他の画像の予測画像として使用されないた
め、フレームメモリ１９には記憶されない。
【００８３】ここでフレームメモリ１９において、過去
参照画像記憶部１９Ａと未来参照画像記憶部１９Ｂとを
必要に応じてバンク切り替えすることができる。従っ
て、所定の参照画像に対して、過去参照画像記憶部１９
Ａ又は未来参照画像記憶部１９Ｂに記憶されている画像
データを、過去参照画像又は未来参照画像として切り替
えて出力することができる。
【００８４】以上の構成において、動画像信号を所定の
予測画像信号を用いて動き補償予測符号化する際には、
所定映像単位の画像信号より時間的に先行する過去参照
画像への距離と時間的に後行する未来参照画像への距離
とを算出し、当該算出した距離に応じて、所定映像単位
の画像信号に適用する動き補償予測符号化を選択して現
在画像を符号化する。
【００８５】以上の構成によれば、各Ｂピクチャについ
て過去参照画像への距離Ｄｆ及び未来参照画像への距離
Ｄｂを算出し、現在画像が過去参照画像に近い場合と未
来参照画像に近い場合とに場合分けし、それぞれの場合
において順方向予測残差Ｅｆと逆方向予測残差Ｅｂとに
基づいてマクロブロックの予測符号化を選択したことに
より、符号化効率が悪い場合に双方向予測モードを選択
することが少なくなるので、動画像の符号化効率を格段
的に向上させることができる。
【００８６】なお、上述した構成例においては、マクロ
ブロックとして輝度ブロックを用いた場合について説明
したが、本発明はこれに限らず、マクロブロックとして
色差ブロックを用いてもよい。色差ブロックの処理は、
輝度ブロックと同様に処理されて伝送される。ここで色
差ブロックを処理する場合の動きベクトルは、対応する
輝度ブロックの動きベクトルを垂直方向と水平方向にそ
れぞれ１／２にしたものを用いる。
【００８７】また、上述の構成例においては、Ｄｆ＝
１、Ｄｂ＝２のとき順方向予測残差Ｅｆに乗じる係数
ｖ，ｗをそれぞれｖ＝４／３、ｗ＝１／２に設定し、Ｄ
ｆ＝２、Ｄｂ＝１のとき順方向予測残差に乗ずる係数
ｘ、ｙをそれぞれｘ＝２、ｙ＝３／４に設定した場合に
ついて述べたが、本発明はこれに限らず、これらの係数
ｖ、ｗ、ｘ、ｙを他の値に設定してもよい。これによ
り、予測符号化の選択を一段と適応的に制御することが
できる。
【００８８】次に、本発明の動画像復号方法におけるエ
ラー修整の原理について説明する。
【００８９】前述したように、動画像の場合は、画像信
号の時間軸方向の相関は２枚の画像間の距離（時間）に
依存している。
【００９０】従って、動画像信号を動き補償予測符号化
した符号化データを復号する場合にも、過去参照画像と
未来参照画像のそれぞれへの距離に応じて、Ｂピクチャ
のエラー修整の方法を切り替えることは有効である。つ
まり、相関が強いということは、画像信号の変化が少な
いということであるから、より相関の強い参照画像を使
ってエラー修整を行うことにより、エラー修整された動
画像の動きを、従来方法よりも良好にでき、画質の劣化
を目立たなくすることができる。すなわち、本発明の動
画像復号方法は、Ｂピクチャの画像のエラー修整を行う
時に、動き補償の過去参照画像への距離と未来参照画像
への距離を算出し、それらの値を用いて、エラー修整の
方法を適応的に変更するようにしている。
【００９１】図６を用いて、本発明の動画像復号方法に
おけるエラー修整方法を、より具体的に説明する。例え
ば、任意の画像において、図６に示すように、Ｐピクチ
ャＰ1とＰ4の間にＢピクチャＢ2とＢ3があり、正常に復
号がなされたときには図６の（ａ）に示すような画像が
得られるとする。ここで、本発明の動画像復号方法にお
けるエラー修整方法では、例えば図６の（ｂ）に示すよ
うに、ＢピクチャＢ2の図中斜線部分にエラーが発生し
た場合には、当該ＢピクチャＢ2に対して距離が近いＰ
ピクチャＰ1を選択し、上記ＢピクチャＢ2の図中斜線部
分に対応するＰピクチャＰ1の図中斜線部分のマクロブ
ロックで置き換えるようにする。一方、例えば、Ｐピク
チャＰ1とＰ4が正しく復号された後、図６の（ｃ）に示
すようにＢピクチャＢ3の図中斜線部分のマクロブロッ
クが復号不可能になったようなときには、当該Ｂピクチ
ャＢ3に対して距離が近いＰピクチャＰ4を選択し、上記
ＢピクチャＢ3の図中斜線部分に対応するＰピクチャＰ4
の図中斜線部分のマクロブロックで置き換えるようにす
る。なお、エラー修整するマクロブロック（すなわち上
記ＢピクチャＢ2やＢ3の図中斜線部分）については、動
きベクトルを零にリセットし、予測残差を零とし、その
後上述のように過去参照画像（すなわちＰピクチャＰ1
やＰ4の図中斜線部分）から動き補償する。
【００９２】このようなことを行うことで、Ｐピクチャ
Ｐ1，ＢピクチャＢ2，ＢピクチャＢ3，ＰピクチャＰ4の
順番に流れる画像においてエラー修整したとしても、前
述した従来のように動きが逆行することはない。したが
って、動画像の動きが、カメラの操作におけるいわゆる
パン(pan)操作が行われているときのように水平移動し
ている場合であっても、良好なエラー修整がなされた画
像を得ることが可能となる。
【００９３】次に、本発明の動画像復号方法が適用され
る本発明の動画像復号装置の構成について図７を用いて
説明する。この図７の例でも、動き補償予測とＤＣＴ
（discrete cosine transform、離散コサイン変換）と
を組み合わせたハイブリッド符号化方法を用いて符号化
された符号化データを復号する構成を用いてる。
【００９４】先ず、画像のエラー修整を行わないとき
（エラー修整が必要ないとき）の復号装置の動作につい
て説明する。
【００９５】図７において、例えば図示しない受信回路
によって受信されたり、一旦記録媒体に記録された後に
再生装置によって再生された符号化データのビットスト
リームは、入力端子８０を介して動画像復号装置の復号
回路に供給される。当該符号化データは、受信バッファ
８１に一時記憶された後、可変長復号（ＶＬＤ）回路８
２に供給される。
【００９６】当該可変長復号回路８２は、上記受信バッ
ファ８１から供給されたデータを、前記動画像符号化時
の可変長符号化に対応する復号処理によって復号する。
この可変長復号回路８２での復号処理によって得られた
現在の復号対象のマクロブロックの量子化データＳ１０
１及び量子化スケール（量子化ステップ）の情報は、逆
量子化回路８３へ入力される。また、可変長復号回路８
２の復号処理により得られた符号化時の順方向予測にお
ける動きベクトル情報Ｓ３１と逆方向予測における動き
ベクトル情報Ｓ３２は、動き補償回路８７へ送られる。
さらに、可変長復号回路８２により得られた符号化時の
予測モード情報すなわち動き補償方法に対応する動き補
償モード情報は、スイッチ２２０の被切替端子ａに送ら
れる。当該スイッチ２２０は、可変長復号回路８２から
出力される後述するエラーフラグＳ４０を切替制御信号
として動作するものであり、画像のエラー修整を行わな
いとき（エラー修整が必要ないとき）には被切替端子ａ
側に切り替えられる。当該スイッチ２２０からの出力信
号Ｓ２５（この場合は上記可変長復号回路８２からの動
き補償モード情報Ｓ３０）は、動き補償回路８７へ送ら
れる。
【００９７】また、上記逆量子化回路８３は、可変長復
号回路８２から供給された量子化データＳ１０１を、同
じく可変長復号回路８２から供給された量子化スケール
に従って逆量子化し、ＩＤＣＴ回路（逆ＤＣＴ回路）８
４へ入力する。この逆量子化回路８３より出力されたデ
ータ（すなわちＤＣＴ係数）は、上記ＩＤＣＴ回路８４
により、逆ＤＣＴ処理された後、演算器８５へ入力され
る。
【００９８】ここで、例えば前述した図１４に示すよう
に、フレームＦ１からＦ１６までの１６フレームの画像
データをグループオブピクチャ（ＧＯＰ）とし、処理の
１単位して、動き補償予測符号化されたデータを復号す
る場合を説明する。
【００９９】最初は、先頭のフレームＦ１すなわちＩピ
クチャの符号化データが復号される。ＩＤＣＴ回路８４
から供給されたマクロブロックのデータは、演算器８５
では特に処理は行われず、フレームメモリ８６の未来参
照画像記憶部８６ａへ記憶される。この未来参照画像記
憶部８６ａに記憶されたＩピクチャ（フレームＦ１）の
データは、演算器８５へこれから入力されるＰピクチャ
（すなわちフレームＦ４）又はＢピクチャ（すなわちフ
レームＦ２及びＦ３）のマクロブロックに対する動き補
償のための参照画像データとして使われる。
【０１００】次に、Ｐピクチャ（フレームＦ４）又はＩ
ピクチャが入力された場合、フレームメモリ８６におい
て必要に応じてバンク切り替えが行われ、過去参照画像
記憶部８６ｂ又は未来参照画像記憶部８６ａに記憶され
ている画像データが切り替えられて出力される。
【０１０１】すなわち、 Ｐピクチャ（フレームＦ４）
のマクロブロックデータが、ＩＤＣＴ回路８４から供給
され、そのときの動き補償モード情報Ｓ３０（スイッチ
２２０を介した信号Ｓ２５）が順方向予測を示す場合に
は、フレームメモリ８６の過去参照画像記憶部８６ｂに
記憶されている復号画像データが読み出され、可変長復
号回路８２より出力された順方向動きベクトル情報Ｓ３
１を用いた動き補償回路８７での動き補償により得られ
た参照マクロブロックのデータが読み出される。
【０１０２】そして、演算器８５においては、上記動き
補償回路８７より出力された参照マクロブロックのデー
タとＩＤＣＴ回路８４より供給されたマクロブロックデ
ータ（差分のデータ）とが加算される。この加算された
データ、すなわち復号されたＰピクチャのデータは、次
に入力されるＢピクチャ（すなわちフレームＦ２及びＦ
３）又は次のＰピクチャ（すなわちフレームＦ７）のマ
クロブロックの動き補償のための参照画像データとし
て、フレームメモリ８６の未来参照画像記憶部８６ａに
記憶される。なお、Ｐピクチャのマクロブロックデータ
が、イントラ符号化によるものである場合、演算器８５
では特に処理は行わず、そのまま未来参照画像記憶部８
６ａに送られて記憶される。
【０１０３】Ｐピクチャ又はＩピクチャが復号される
と、フレームメモリ８６の過去参照画像記憶部８６ｂに
記憶されている画像（フレームＦ１）データが読み出さ
れ、動き補償回路７８と演算器８５を介して出力端子８
８から出力される。なお、現在復号されたＰピクチャ
（フレームＦ４）の画像は、未来に入力されるＢピクチ
ャ（フレームＦ２及びＦ３）の次に表示されるべき画像
であるため、この時点では、出力端子８８からは出力さ
れない。
【０１０４】次に、Ｂピクチャ（フレームＦ２又はＦ
３）のマクロブロックデータが、ＩＤＣＴ回路８４から
出力された時には、そのときの動き補償モード情報Ｓ３
０に対応して、フレームメモリ８６に記憶されている画
像データが読み出され、演算器８５へ入力される。
【０１０５】ここで、上記動き補償モード情報Ｓ３０
が、順方向予測モードを示している場合は、過去参照画
像記憶部８６ｂに記憶されている復号画像データから順
方向動きベクトル情報Ｓ３１に対応する参照マクロブロ
ックのデータが読み出される。一方、動き補償モード情
報Ｓ３０が、逆方向予測モードを示している場合には、
未来参照画像記憶部８６ａに記憶されている復号画像デ
ータから逆方向動きベクトル情報Ｓ３２に対応する参照
マクロブロックのデータが読み出される。さらに、動き
補償モード情報Ｓ３０が、双方向予測モードを示してい
る場合には、過去参照画像記憶部８６ａ及び未来参照画
像記憶部８６ｂの双方から動きベクトル情報Ｓ３１，Ｓ
３２に対応する参照マクロブロックのデータが読み出さ
れる。読み出された２つの参照マクロブロックの加算平
均マクロブロックが動き補償回路８７からの出力とな
る。なお、動き補償を必要としないイントラ符号化の場
合は、参照マクロブロックのデータは読み出されない。
【０１０６】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、ＩＤＣ
Ｔ回路８４の出力データと加算される。この加算出力
は、Ｂピクチャのデータであり、動き補償の参照画像と
して利用されることがないため、フレームメモリ８６に
は記憶されない。現在復号されたＢピクチャの画像デー
タは、出力端子８８から出力される。
【０１０７】次に、画像のエラー修整が必要なときの本
発明の動画像復号装置における当該エラー修整の動作に
ついて説明する。
【０１０８】例えば、符号化データの一部が伝送路途中
に失われたために、可変長復号回路８２での復号に異常
が発生すると、当該可変長復号回路８２はエラーフラグ
Ｓ４０に「１」を立てる。このとき、この可変長復号回
路８２は、エラー処理のモードに入り、先ず、最後に復
号したマクロブロックのアドレスＡＤＲ１の情報を記憶
する。そして、可変長復号回路８２は、正常状態へ復帰
するために、入力ビットストリームの中から次の同期コ
ードの検索に入る。次の同期コードが発見されると、正
常状態へ復帰した時のマクロブロックのアドレスＡＤＲ
２を復号する。そして、アドレスＡＤＲ１とＡＤＲ２か
らエラー処理の間に失われたマクロブロックを理解し、
それら画像のエラー修整に入る。
【０１０９】エラー修整のための参照画像の指定は、コ
ントローラ１００が行う。すなわち、コントローラ１０
０は、エラー修整の際の参照画像の指定のための予測モ
ード情報すなわち動き補償モード情報Ｓ２０を決定して
出力する。このコントローラ１００は、例えば図８に示
すように構成されるものであり、この図８の構成を用い
て当該コントローラ１００での動き補償モード情報Ｓ２
０の決定方法について説明する。
【０１１０】図８において、コントローラ１００の端子
２０１には画像符号化タイプ情報Ｓ１０が入力され、端
子２００には画像表示順序情報Ｓ１１が入力されてい
る。これら画像符号化タイプ情報情報Ｓ１０と画像表示
順序情報Ｓ１１は、図７の端子８０に供給された入力ビ
ットストリームのそれぞれのフレームに附属しているも
のであり、前記可変長復号回路８２で復号されて供給さ
れるものである。例えば、前記図１４に示したような予
測構造で符号化された動画像データが入力ビットストリ
ームである場合、それぞれの画像での上記画像符号化タ
イプ情報情報Ｓ１０と画像表示順序情報Ｓ１１は、図９
に示す値となっている。なお、この図９において、画像
符号化タイプとして示すＩ，Ｐ，Ｂの添え字は表示順を
示している。
【０１１１】コントローラ１００の端子２００から入力
された画像表示順序情報Ｓ１１は、レジスタ２０５とレ
ジスタ２１１へ記憶される。上記レジスタ２１１の出力
値はスイッチ２１３を介してレジスタ２０４へ送られ、
当該レジスタ２０４の出力値Ｓ１２は演算器２０７への
加算信号となされると共にスイッチ２１２を介してレジ
スタ２０６へ送られるようになされている。このレジス
タ２０６の出力値Ｓ１４は減算信号となされて演算器２
０８に送られる。また、レジスタ２０５の出力値Ｓ１３
は上記演算器２０７へ減算信号として送られると共に演
算器２０８への加算信号となされる。
【０１１２】一方、コントローラ１００の端子２０１を
介して入力された画像符号化タイプ情報Ｓ１０は、判定
回路２０３に送られる。当該判定回路２０３は、上記画
像符号化タイプ情報Ｓ１０がＩピクチャ，Ｐピクチャ，
Ｂピクチャの何れのピクチャを示しているかの判定を行
い、当該判定結果を示すフラグＳ１１を出力する。ここ
で上記画像符号化タイプ情報Ｓ１０がＩピクチャ又はＰ
ピクチャを示している時、判定回路２０３はフラグＳ１
１に「１」を立てて出力する。当該フラグＳ１１は、切
り替え制御信号としてスイッチ２１３と２１２に送られ
るものであり、これらスイッチ２１３と２１２は上記フ
ラグＳ１１に「１」が立ったときにＯＮになるものであ
る。上記フラグＳ１１に「１」が立つと、初めにレジス
タ２０４の出力値Ｓ１２がスイッチ２１２を通ってレジ
スタ２０６に書き込まれ、次に、レジスタ２１１の値が
スイッチ２１３を通してレジスタ２０４に書き込まれ
る。
【０１１３】演算器２０７では、レジスタ２０４の出力
値Ｓ１２とレジスタ２０５の出力値Ｓ１３との差分が計
算され当該差分値Ｓ１５が出力される。また、演算器２
０８では、レジスタ２０５の出力値Ｓ１３とレジスタ２
０６の出力値Ｓ１４との差分が計算されて当該差分値Ｓ
１６が出力される。すなわち、上記演算器２０７からの
差分値Ｓ１５は、現在の復号対象画像から動き補償の未
来参照画像までの画像間距離Ｄｂであり、上記演算器２
０９からの差分値Ｓ１６は、現在の復号対象画像から動
き補償の過去参照画像までの画像間距離Ｄｆである。例
えば、前記図１４に示すような予測構造で符号化された
動画像データが入力ビットストリームである場合、それ
ぞれの画像での前記レジスタ２０４の出力値Ｓ１２とレ
ジスタ２０５の出力値Ｓ１３とレジスタ２０６の出力値
Ｓ１４が、図９に示すような値を取っているとすると、
上記差分値Ｓ１５にて示される距離Ｄｂの値とＳ１６に
て示される距離Ｄｆの値は図９に示すようになる。
【０１１４】上述のように求められた差分値Ｓ１５とＳ
１６は、比較器２０９へ入力される。比較器２０９で
は、差分値Ｓ１５とＳ１６の大小関係を比較し、差分値
Ｓ１５の方が小さい時にはフラグＳ１７に「１」を立て
る。このフラグＳ１７は、動き補償モード発生回路２１
０へ入力される。
【０１１５】動き補償モード発生回路２１０では、上記
フラグＳ１７と画像符号化タイプ情報Ｓ１０とによっ
て、次のようにして動き補償モード情報Ｓ２０を決定
（すなわち予測モードを決定）する。例えば、前記画像
符号化タイプ情報Ｓ１０がＰピクチャ又はＩピクチャを
示しているときには、順方向予測モードを示す動き補償
モード情報Ｓ２０にする。また、画像符号化タイプ情報
Ｓ１０がＢピクチャを示しており、フラグＳ１７が
「０」となっているときには順方向予測モードを示す動
き補償モード情報Ｓ２０とし、また、フラグＳ１７に
「１」が立っているときには逆方向予測モードを示す動
き補償モード情報Ｓ２０にする。
【０１１６】このようにして、図７のコントローラ１０
０では動き補償モード情報Ｓ２０を発生する。
【０１１７】図７に戻って、エラーフラグＳ４０に
「１」が立っている時、スイッチ２２０の被切替端子ｂ
側を通った上記コントローラ１００からの動き補償モー
ド情報Ｓ２０（Ｓ２５）は、動き補償回路８７へ供給さ
れる。また、エラーフラグＳ４０に「１」が立っている
間、可変長復号回路８２は、動きベクトル情報Ｓ３１，
Ｓ３２を零にし、量子化データＳ１０１を零とする。
【０１１８】その後の動作は、前述の復号回路の説明で
述べた通りである。
【０１１９】エラーにより失われたマクロブロックを全
てエラー修整し終ると、エラーフラグＳ４０は、「０」
になされる。その後、通常のマクロブロックアドレスＡ
ＤＲ２から画像の復号を行う。
【０１２０】また、上述の説明では、輝度信号の処理に
ついて述べているが、色差信号の処理も同様に行われ
る。但し、この場合、動きベクトルは、輝度信号用のも
のを、垂直方向及び水平方向に１／２にしたものが用い
られる。
【０１２１】次に、本発明の動画像復号装置の別の構成
例について、説明する。基本的な回路構成は、図７と同
じであり、ここでは装置のコントロール方法だけが異
る。前述の例との違いは、可変長復号回路８２の構成
と、エラーフラグＳ４０の性質と、当該エラーフラグＳ
４０により切替制御されるスイッチ２２０の切替方法で
ある。それらの違いについて、以下に説明する。
【０１２２】復号回路については、可変長復号回路８２
以外は前述の例と同じである。可変長復号回路８２は、
内部にメモリを持ち、復号した動きベクトル情報と動き
補償モード情報とを記憶する。例えば、一枚の画像につ
いての復号情報を記憶する。
【０１２３】以下、この例における画像のエラー修整方
法について説明する。
【０１２４】例えば、符号化データの一部が伝送路途中
で失われたために、可変長復号回路８２での復号処理に
異常が発生すると、当該可変長復号回路８２は、エラー
処理のモードに入り、先ず、最後に復号したマクロブロ
ックのアドレスＡＤＲ１を記憶する。そして、可変長復
号回路８２は、正常状態へ復帰するために、入力ビット
ストリームの中から次の同期コードの検索に入る。当該
次の同期コードが発見されると、正常状態へ復帰した時
のマクロブロックのアドレスＡＤＲ２を復号する。そし
て、アドレスＡＤＲ１とＡＤＲ２からエラー処理の間に
失われたマクロブロックを理解し、それら画像のエラー
修整に入る。
【０１２５】エラー修整のための動き補償モードと動き
ベクトルは、エラー修整コントローラ１００と、可変長
復号回路８２で独立に指定され、エラーフラグＳ４０の
制御で、スイッチ２２０にて動き補償モード情報Ｓ２０
とＳ３０の何れかが選択される。エラーフラグＳ４０が
「０」の時は、可変長復号回路８２からの動き補償モー
ド情報Ｓ３０がスイッチ２２０を通って信号Ｓ２５とし
て出力される。エラーフラグＳ４０が「１」の時には、
コントローラ１００からの動き補償モード情報Ｓ２０が
スイッチ２２０を通って信号Ｓ２５として出力される。
【０１２６】エラー修整コントローラ１００の構成及び
動作については、前述同様であり、ここから動き補償モ
ード情報Ｓ２０が出力される。
【０１２７】また、可変長復号回路８２では、その内部
メモリに記憶されている順方向動きベクトル情報ＦＭＶ
Ｘと逆方向動きベクトル情報ＢＭＶＸと動き補償モード
情報ＭＣＸとを使って、エラー修整の動き補償モード情
報Ｓ３０と動きベクトル情報Ｓ３１，Ｓ３２を発生す
る。例えば、現在エラー修整の対象にあるマクロブロッ
クのアドレスに隣接するマクロブロック（例えば、左隣
や上、最近に復号された値など）の順方向動きベクトル
情報ＦＭＶＸ，逆方向動きベクトル情報ＢＭＶＸと動き
補償モード情報ＭＣＸを使う。
【０１２８】すなわち、現在のマクロブロックの動き補
償モード情報Ｓ３０と動きベクトル情報Ｓ３１，Ｓ３
２、及びエラーフラグＳ４０は、以下のようにして決定
される。
【０１２９】例えば、画像符号化タイプ情報Ｓ１０がＩ
ピクチャを示す場合、エラーフラグＳ４０を「１」と
し、動き補償モード情報Ｓ３０と動きベクトル情報Ｓ３
１を零にする。
【０１３０】また、画像符号化タイプ情報Ｓ１０がＰピ
クチャを示すとき、内部メモリに記憶されている隣接マ
クロブロックの順方向動きベクトル情報ＦＭＶＸ，逆方
向動きベクトル情報ＢＭＶＸと動き補償モード情報ＭＣ
Ｘを、動きベクトル情報Ｓ３１，Ｓ３２と動き補償モー
ド情報Ｓ３０とし、エラーフラグＳ４０を「０」とす
る。
【０１３１】また、画像符号化タイプ情報Ｓ１０がＢピ
クチャを示し、内部メモリに記憶されている動き補償モ
ード情報ＭＣＸが、順方向予測モード又は逆方向予測モ
ードを示すとき、内部メモリに記憶されている隣接マク
ロブロックの順方向動きベクトル情報ＦＭＶＸ，逆方向
動きベクトル情報ＢＭＶＸと動き補償モード情報ＭＣＸ
を、動きベクトル情報Ｓ３１，Ｓ３２と動き補償モード
情報Ｓ３０とし、エラーフラグＳ４０を「０」とする。
【０１３２】さらに、画像符号化タイプ情報Ｓ１０がＢ
ピクチャを示し、内部メモリに記憶されている動き補償
モード情報ＭＣＸが双方向予測モードを示すとき、エラ
ーフラグＳ４０を「１」とし、同じく内部メモリに記憶
されている順方向動きベクトル情報ＦＭＶＸ，逆方向動
きベクトル情報ＢＭＶＸとを、動きベクトル情報Ｓ３１
とＳ３２とする。すなわち、この場合の、動き補償モー
ドは、現在画像から動き補償参照画像までの距離が小さ
い方の画像からの片方向予測となり、その時の動きベク
トルには、隣接マクロブロックから推定した値を使う。
なお、この場合では、エラーフラグＳ４０を「１」と
し、動き補償モード情報ＭＣＸの双方向予測モードを使
わない理由は、順方向動きベクトル情報ＦＭＶＸと逆方
向動きベクトル情報ＢＭＶＸの動きベクトルの値が、現
在マクロブロックの本当のベクトル値と大きく間違った
時、双方向予測モードにより作られた過去及び未来の参
照マクロブロックの加算平均マクロブロックの画質印象
が悪くなることがあるからである。最悪の場合、エラー
修整されたマクロブロック部分の色や明るさが変わる場
合がある。
【０１３３】このようにして決定された動き補償モード
情報Ｓ３０と、それとは独立にコントローラ１００で決
定された動き補償モード情報Ｓ２０とが、スイッチ２２
０に送られ、このスイッチ２０がエラーフラグＳ４０に
基づいて切替制御されることで、これら情報Ｓ３０とＳ
２０のうち何れかが選択される。エラーフラグＳ４０が
「０」の時には、動き補償モード情報Ｓ３０が信号Ｓ２
５としてスイッチ２２０から出力され、エラーフラグＳ
４０が「１」の時には、動き補償モード情報Ｓ２０が信
号Ｓ２５としてスイッチ２２０から出力される。
【０１３４】なお、エラー修正の処理を行なっている
間、可変長復号回路８２は、量子化データＳ１０１を零
とする。
【０１３５】その後の動作は、前述の復号回路の説明で
述べた通りである。エラーにより失われたマクロブロッ
クをすべてエラー修整し終ると、可変長復号回路８２
は、通常の動作に戻りマクロブロックアドレスＡＤＲ２
から画像の復号を行う。
【０１３６】上述したように、本発明の動画像復号装置
においては、Ｂピクチャを復号する時に、過去参照画像
への距離と未来参照画像への距離を算出し、画像のエラ
ー修整を適応的に変更する。具体的には、動き補償モー
ドを、現在画像から画像間距離の小さい方の参照画像か
らの予測とするようにしており、一般的に現在画像と相
関の強い方の参照画像を使って誤り修整をすることがで
きるので、誤り修整された動画像の動きを、従来方法よ
りも良好にできる。
【０１３７】さらに、本発明の動画像復号方法及び装置
によれば、エラー修整のために、現在復号するマクロブ
ロックに隣接するマクロブロックの動き補償モードと動
きベクトルを使い、現在マクロブロックの失われたそれ
らの値を推定することによって、より大きな効果が得ら
れる。本発明では、この時、推定された動き補償モード
が、双方向予測モードである場合は、現在画像から画像
間距離の小さい方の参照画像からの片方向予測に変更す
る。なお、双方向予測モードの場合の問題として、隣接
マクロブロックの動きベクトルから推定した値が、現在
マクロブロックの本当のベクトル値と大きく間違った
時、双方向予測モードにより作られた加算平均マクロブ
ロックの画質印象が悪くなる（最悪の場合、エラー修整
されたマクロブロック部分の色や明るさが変わる）場合
があるが、本発明ではこれを防止できる。さらに、本発
明でのエラー修整は、図１４に示すような、Ｉピクチャ
又はＰピクチャの間に２枚以上のＢピクチャが存在する
予測構造の場合に最も有効である。この予測構造は、Ｍ
ＰＥＧでは最も一般的に使われる構造であるので、本発
明は、実用上、大きな効果がある。
【０１３８】
【発明の効果】以上の説明で明らかなように、本発明の
動画像符号化方法及び装置においては、動画像新を動き
補償予測符号化する際に、所定の映像単位の画像信号よ
り時間的に先行する過去参照画像への距離と時間的に後
行する未来参照画像への距離とを算出し、当該算出した
距離に応じて、所定映像単位の画像信号に適用する動き
補償予測符号化を選択することにより、動画像の符号化
効率を一段と向上し得る動画像符号化方法及び動画像符
号化装置を実現することができる。
【０１３９】また、本発明の動画像復号方法及び装置に
おいては、動画像信号の所定映像単位の画像信号を所定
の予測画像信号を用いて符号化した符号化信号から、動
き補償により所定単位の画像信号を復号して、動画像信
号を生成する際に、所定映像単位の画像信号より時間的
に先行する過去参照画像への距離と時間的に後行する未
来参照画像への距離とを算出し、この算出した距離に応
じて、所定映像単位の画像信号の誤り検出された所定映
像単位の画像信号に対する動き補償モードを選択するこ
とにより、誤り修整された動画像の動きを良好にでき
る。
【図面の簡単な説明】
【図１】Ｉピクチャ又はＰピクチャの間に複数のＢピク
チャが存在する場合における各Ｂピクチャの動きベクト
ル推定残差の説明に用いる図である。
【図２】本発明の構成例による動画像符号化装置の構成
を示すブロック回路図である。
【図３】動画像符号化装置の各処理部における出力結果
を説明するための図である。
【図４】画像データの構造を説明するための図である。
【図５】非イントラ符号化の選択方法の説明に用いる図
である。
【図６】本発明の動画像復号方法におけるエラー修整の
方法について説明するための図である。
【図７】本発明の構成例による動画像復号装置の概略を
示すブロック回路図である。
【図８】エラー修整コントローラの構成を示すブロック
回路図である。
【図９】動画像復号装置の各処理部における出力結果を
説明するための図である。
【図１０】動き予測の原理の説明に用いる図である。
【図１１】Ｉピクチャ又はＰピクチャの間にＢピクチャ
が１枚存在するピクチャタイプの説明に使用する図であ
る。
【図１２】動画像符号化方法の原理を説明するために用
いる図である。
【図１３】従来の非イントラ符号化の選択方法の説明に
用いる図である。
【図１４】Ｉピクチャ又はＰピクチャの間にＢピクチャ
が２枚存在するピクチャタイプの説明に用いる図であ
る。
【図１５】従来の動画像復号時におけるエラー修整の方
法について説明するための図である。
【符号の説明】
１ 動画像符号化装置 ３ 画像符号化タイプ指定回路 ４ 画像符号化順序並替え回路 ５ スキャンコンバータ ６ 動きベクトル推定回路 ７，１９，８６ フレームメモリ ７Ａ，１９Ａ，８６ｂ 過去参照画像記憶部 ７Ｂ 現在画像記憶部 ７Ｃ，１９Ｂ，８６ａ 未来参照画像記憶部 ８ 予測モード決定回路 ９ カウンタ １０ 画像間距離算出回路 １１ 演算部 １１Ａ，１１Ｂ，１１Ｃ，１８，８５ 演算器 １２ ＤＣＴ回路 １３ 量子化回路 １４ 送信バッファ １５ 可変長符号化回路 １６，８３ 逆量子化回路 １７，８４ ＩＤＣＴ回路 ２０，８７ 動き補償回路 ８１ 受信バッファ ８２ 可変長復号回路 １００ エラー修整コントローラ

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 動画像信号の所定映像単位の画像信号を
    所定の予測画像信号を用いて符号化し、当該符号化され
    た信号に所定の演算を施し、当該演算により得られた信
    号を量子化し、量子化した信号を可変長符号化する動画
    像符号化方法において、 上記動画像信号を動き補償予測符号化する際に、上記所
    定映像単位の画像信号より時間的に先行する過去参照画
    像への距離と時間的に後行する未来参照画像への距離と
    を算出し、 当該算出した距離に応じて、上記所定映像単位の画像信
    号に適用する上記動き補償予測符号化を選択することを
    特徴とする動画像符号化方法。
  2. 【請求項２】 上記動き補償予測符号化を選択する際
    に、上記過去参照画像を予測画像として動きベクトルを
    推定して得られる順方向動きベクトル推定残差と、上記
    未来参照画像を予測画像として動きベクトルを推定して
    得られる逆方向動きベクトル推定残差とを用いることを
    特徴とする請求項１記載の動画像符号化方法。
  3. 【請求項３】 上記動き補償予測符号化のうち、上記過
    去参照画像を予測画像とする順方向予測符号化、上記未
    来参照画像を予測画像とする逆方向予測符号化又は上記
    過去参照画像及び未来参照画像の双方を予測画像とする
    双方向予測符号化の何れを選択するかを、上記算出した
    距離と上記順方向動きベクトル推定残差及び逆方向動き
    ベクトル推定残差とに基づいて制御することを特徴とす
    る請求項２記載の動画像符号化方法。
  4. 【請求項４】 動画像信号の所定映像単位の画像信号を
    所定の予測画像信号を用いて符号化し、当該符号化され
    た信号に所定の演算を施し、当該演算により得られた信
    号を量子化し、量子化した信号を可変長符号化する動画
    像符号化装置において、 上記動画像信号を動き補償予測符号化する際に、上記所
    定映像単位の画像信号より時間的に先行する過去参照画
    像への距離と時間的に後行する未来参照画像への距離と
    を算出する画像間距離算出手段と、 当該画像間距離算出手段によって算出した上記距離に応
    じて、上記所定映像単位の画像信号に適用する上記動き
    補償予測符号化を選択する予測符号化選択手段とを備え
    ることを特徴とする動画像符号化装置。
  5. 【請求項５】 上記予測符号化選択手段は、上記過去参
    照画像を予測画像として動きベクトルを推定して得られ
    る順方向動きベクトル推定残差と、上記未来参照画像を
    予測画像として動きベクトルを推定して得られる逆方向
    動きベクトル推定残差とを用いて上記動き補償予測符号
    化を選択することを特徴とする請求項４記載の動画像符
    号化装置。
  6. 【請求項６】 上記予測符号化選択手段は、上記過去参
    照画像を予測画像とする順方向予測符号化、上記未来参
    照画像を予測画像とする逆方向予測符号化又は上記過去
    参照画像及び未来参照画像の双方を予測画像とする双方
    向予測符号化の何れを選択するかを、上記算出した距離
    と上記順方向動きベクトル推定残差及び逆方向動きベク
    トル推定残差とに基づいて制御することを特徴とする請
    求項５記載の動画像符号化装置。
  7. 【請求項７】 動画像信号の所定映像単位の画像信号を
    所定の予測画像信号を用いて動き補償予測符号化がなさ
    れた符号化信号から、動き補償により所定単位の画像信
    号を復号して、動画像信号を生成する動画像復号方法に
    おいて、 上記所定映像単位の画像信号の誤りを検出し、 上記所定映像単位の画像信号より時間的に先行する過去
    参照画像への距離と時間的に後行する未来参照画像への
    距離とを算出し、 当該算出した距離に応じて、上記誤り検出された所定映
    像単位の画像信号に対する動き補償モードを選択するこ
    とを特徴とする動画像復号方法。
  8. 【請求項８】 上記動き補償モードを、上記算出した距
    離の小さい方の参照画像からの予測とすることを特徴と
    する請求項７記載の動画像復号方法。
  9. 【請求項９】 上記誤り検出した所定映像単位の画像信
    号を復号する際には、隣接する所定映像単位の情報を用
    いることを特徴とする請求項７記載の動画像復号方法。
  10. 【請求項１０】 上記誤り検出した所定映像単位の画像
    信号を復号する際には、当該誤り検出した所定映像単位
    の画像信号に対する動き補償モードを、隣接する所定映
    像単位の情報から推定し、当該推定した動き補償モード
    が双方向予測モードであるときには、上記計算した距離
    の小さい方の参照画像から片方向予測に動き補償モード
    を変更することを特徴とする請求項７記載の動画像復号
    方法。
  11. 【請求項１１】 動画像信号の所定映像単位の画像信号
    を所定の予測画像信号を用いて動き補償予測符号化がな
    された符号化信号から、動き補償により所定単位の画像
    信号を復号して、動画像信号を生成する動画像復号装置
    において、 上記所定映像単位の画像信号の誤りを検出する誤り検出
    手段と、 上記所定映像単位の画像信号より時間的に先行する過去
    参照画像への距離と時間的に後行する未来参照画像への
    距離とを算出する画像間距離算出手段と、 当該画像間距離算出手段によって算出した上記距離に応
    じて、上記誤り検出手段によって誤り検出された所定映
    像単位の画像信号に対する動き補償モードを選択する動
    き補償モード選択手段とを備えることを特徴とする動画
    像復号装置。
  12. 【請求項１２】 上記動き補償モード選択手段は、上記
    動き補償モードを、上記算出した距離の小さい方の参照
    画像からの予測とすることを特徴とする請求項１１記載
    の動画像復号装置。
  13. 【請求項１３】 上記誤り検出した所定映像単位の画像
    信号を復号する際には、隣接する所定映像単位の情報を
    用いることを特徴とする請求項１１記載の動画像復号装
    置。
  14. 【請求項１４】 上記誤り検出した所定映像単位の画像
    信号を復号する際に、上記動き補償モード選択手段
    は、、当該誤り検出した所定映像単位の画像信号に対す
    る動き補償モードを、隣接する所定映像単位の情報から
    推定し、当該推定した動き補償モードが双方向予測モー
    ドであるときには、上記計算した距離の小さい方の参照
    画像から片方向予測に動き補償モードを変更することを
    特徴とする請求項１１記載の動画像復号装置。
JP21066595A 1994-12-12 1995-08-18 動画像符号化方法及び装置、並びに動画像復号方法及び装置 Withdrawn JPH08223577A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP21066595A JPH08223577A (ja) 1994-12-12 1995-08-18 動画像符号化方法及び装置、並びに動画像復号方法及び装置
US08/571,204 US6415055B1 (en) 1994-12-12 1995-12-12 Moving image encoding method and apparatus, and moving image decoding method and apparatus
KR1019950050386A KR960028555A (ko) 1994-12-12 1995-12-12 동화상 부호화 방법 및 동화상 복호화 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP33267394 1994-12-12
JP6-332673 1994-12-12
JP21066595A JPH08223577A (ja) 1994-12-12 1995-08-18 動画像符号化方法及び装置、並びに動画像復号方法及び装置

Publications (1)

Publication Number Publication Date
JPH08223577A true JPH08223577A (ja) 1996-08-30

Family

ID=26518196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21066595A Withdrawn JPH08223577A (ja) 1994-12-12 1995-08-18 動画像符号化方法及び装置、並びに動画像復号方法及び装置

Country Status (3)

Country Link
US (1) US6415055B1 (ja)
JP (1) JPH08223577A (ja)
KR (1) KR960028555A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000024202A1 (fr) * 1998-10-22 2000-04-27 Sony Corporation Procede et dispositif de detection de vecteurs de mouvement
JP2006505870A (ja) * 2002-11-11 2006-02-16 ソニー エレクトロニクス インク 非線形の複数の動きモデル及び移動境界を抽出する方法及び装置
WO2019039283A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 画像処理装置及び画像処理方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3707913B2 (ja) * 1997-09-17 2005-10-19 株式会社東芝 情報処理装置および情報処理方法および記録媒体
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
KR100282147B1 (ko) 1998-11-13 2001-02-15 구자홍 압축 영상 복원 방법
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6882686B2 (en) * 2000-06-06 2005-04-19 Georgia Tech Research Corporation System and method for object-oriented video processing
US6907071B2 (en) * 2001-05-24 2005-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Selective prediction for intra-coding video data block
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
TW548959B (en) * 2002-01-09 2003-08-21 Media Tek Inc Picture processing method and device for motion picture expert group
CA2574110A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
US7657111B2 (en) * 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
TWI226805B (en) * 2003-08-28 2005-01-11 Mediatek Inc Efficient video codec system and related method
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
US20050259735A1 (en) * 2004-05-21 2005-11-24 Qin-Fan Zhu System and method for video error masking using standard prediction
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
JP5155159B2 (ja) * 2006-05-24 2013-02-27 パナソニック株式会社 動画像復号装置
JP4892450B2 (ja) * 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
WO2010044754A1 (en) * 2008-10-15 2010-04-22 Agency For Science, Technology And Research Methods for encoding a digital picture, encoders, and computer program products
US8462848B2 (en) * 2009-12-17 2013-06-11 Broadcom Corporation Method and system for intra-mode selection without using reconstructed data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2991833B2 (ja) * 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000024202A1 (fr) * 1998-10-22 2000-04-27 Sony Corporation Procede et dispositif de detection de vecteurs de mouvement
AU751909B2 (en) * 1998-10-22 2002-08-29 Sony Corporation Motion vector detecting method and device
US6594314B1 (en) 1998-10-22 2003-07-15 Sony Corporation Motion vector detection method and apparatus
JP2006505870A (ja) * 2002-11-11 2006-02-16 ソニー エレクトロニクス インク 非線形の複数の動きモデル及び移動境界を抽出する方法及び装置
WO2019039283A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR960028555A (ko) 1996-07-22
US6415055B1 (en) 2002-07-02

Similar Documents

Publication Publication Date Title
JPH08223577A (ja) 動画像符号化方法及び装置、並びに動画像復号方法及び装置
US5731850A (en) Hybrid hierarchial/full-search MPEG encoder motion estimation
US7224734B2 (en) Video data encoding apparatus and method for removing a continuous repeat field from the video data
US6628713B1 (en) Method and device for data encoding and method for data transmission
US5416522A (en) Motion detection apparatus for moving pictures and encoding and decoding apparatus for picture signals
KR100945826B1 (ko) 화상 정보 복호 방법 및 장치
EP0598904B1 (en) Method for coding picture signal with high efficiency
JP3911035B2 (ja) 動画像符号化方法及び動画像符号化装置
US20020172282A1 (en) Signal coding apparatus and method, signal recording medium, and signal transmitting method
JP3980659B2 (ja) 動画像符号化方法及び装置、動画像復号化方法及び装置。
JPH0818979A (ja) 画像処理装置
JPH06311502A (ja) 動画像伝送装置
JP3240024B2 (ja) 画像処理方法
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
US7254176B2 (en) Apparatus for variable bit rate control in video compression and target bit allocator thereof
US7133448B2 (en) Method and apparatus for rate control in moving picture video compression
JPH06350995A (ja) 動画像処理方法
JP3428332B2 (ja) 画像符号化方法及び装置、並びに画像伝送方法
JP3240737B2 (ja) 画像信号符号化方法、装置、復号化方法及び装置
US7095785B2 (en) Determination of prediction direction in MPEG-4
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH10145792A (ja) 画像符号化装置および画像符号化方法
JP3356413B2 (ja) 画像復号化方法及び装置
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20021105