JPH09130807A - 動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】リフレッシュの効果を落とすことなく、画質の
向上と、符号化データに誤りが混入したことによる画質
の乱れを抑制する動画像符号化装置および動画像復号化
装置を提供する。 【解決手段】リフレッシュ判定回路１１７において、入
力動画像信号と１フレーム前の入力動画像信号を基に、
過去一定フレーム時間以上フレーム間の画像変化の少な
い静止領域と判定したとき、リフレッシュの周期を長く
設定する。また、グローバル動き補償モードが選択され
ている場合、モード選択回路１１６では、リフレッシュ
したマクロブロックについて、次のフレームを符号化す
る際の動きベクトルの制限が必要な場合には、そのマク
ロブロックのみグローバル動き補償モードを選択しない
ようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を少ない情報
量に圧縮符号化する符号化装置および圧縮符号化された
情報を復元し画像を再生する復号化装置に係り、特にイ
ントラ符号化モードとインター符号化モードを有し、イ
ントラ符号化領域を強制的に設定してリフレッシュを行
う動画像符号化装置および動画像復号化装置に関する。

【０００２】

【従来の技術】動画像信号を効率的に圧縮符号化する技
術の代表的なものとして、入力される動画像信号の動き
補償予測により得られた予測画像信号との差分である予
測残差信号を符号化（フレーム間符号化）して伝送する
動き補償適応予測符号化方式がある。

【０００３】動き補償予測符号化方式を通信や放送用の
動画符号化に適用する場合、リアルタイムの通信を可能
とするために低遅延であることが望まれる。また、伝送
路でのバースト符号誤りのために、符号化器や復号化器
のフレームメモリ（蓄積媒体）の内容が異なる状態が生
じる。この問題に対応するために、リアルタイムの通
信、放送を可能とすべくフレーム毎の発生符号量が変動
しないように、画面内に周期的にフレーム内（イント
ラ）符号化を行う画素領域を挿入して画面をリフレッシ
ュする方法が一般的にとられる。

【０００４】リフレッシュについて、例えば、ＭＰＥＧ
２の標準化で検討されていた方式（ＩＳＯ−ＩＥＣ Ｃ
Ｄ１３８１８−２）では、マクロブロックと呼ばれる１
６画素×１６画素の単位でフレーム内符号化モード（イ
ントラモード）とフレーム間符号化モード（インターモ
ード）が切り替えられるようになっていて、縦３０マク
ロブロック、横４４マクロブロックで構成されている１
フレームの横２マクロブロックラインをイントラモード
で符号化し、１フレーム時間ごとに２ラインづつスライ
ドさせる１５フレームで１周期となるイントラスライス
と呼ばれる方法が示されている。この方式の場合、図１
１のように、領域１でインターモードで符号化する場合
には、動きベクトルの探索範囲を既にリフレッシュされ
ていない領域２から行わないように制限されている。す
なわち、例えば、図１１に示したようにリフレッシュの
方向が上から下に向かっているイントラスライスの場
合、下から上向きの動きベクトルが制限に係る方向とな
る。このような制限により、最悪（２周期−１）回で完
全にリフレッシュされることを保証している。

【０００５】

【発明が解決しようとする課題】リフレッシュの問題点
は、イントラモードでの発生符号量は、同一の量子化パ
ラメータでのインターモードでの発生符号量の通常２倍
以上あるため、同一のレートで符号化をするためには、
リフレッシュの分だけ量子化パラメータを大きくしなく
てはならず、画質が悪くなってしまう点である。

【０００６】また、動画像の復号化においては、伝送路
または蓄積媒体において、ロングバーストが発生した場
合には、数フレーム分以上の符号化データが正しく復号
できないため、動画像復号化器では、最悪（２周期−
１）フレームでリフレッシュされるまで、復号画像が大
幅に劣化してしまうという問題点があった。

【０００７】さらに、フレーム全体の動き補償をおこな
うグローバル動き補償モードがある場合に動きベクトル
の制限をおこなうと、もし、グローバル動きベクトルが
制限にかかる方向にある場合、グローバル動きベクトル
を制限しなければならず、大幅に画質が悪くなってしま
う問題点があった。

【０００８】そこで、本発明は、リフレッシュの効果を
落とすことなく、画質の向上と、符号化データに誤りが
混入したことによる画質の乱れを抑制できる動画像符号
化装置および動画像復号化装置を提供することを目的と
する。

【０００９】

【発明を解決するための手段】本発明の動画像符号化装
置は、入力動画像信号をイントラ符号化するイントラ符
号化モードとインター符号化するインター符号化モード
を有する符号化手段と、この符号化手段の符号化モード
を前記入力動画像信号の所定の画像領域毎に適応的に選
択する選択手段と、前記入力動画像信号と１フレーム前
の動画像信号を基に入力動画像信号中の動領域と静止領
域の判定を行う判定手段とを具備し、前記選択手段は、
前記符号化手段に対しイントラ符号化モードで符号化す
るイントラ符号化領域を前記入力動画像信号のフレーム
内に周期的に設定して、前記イントラ符号化領域をフレ
ーム毎に移動させるリフレッシュ動作を行わせると共
に、前記判定手段の判定結果に基づいて前記静止領域に
対するリフレッシュの動作の周期を前記動領域に対する
リフレッシュ動作の周期より長くすることにより、従来
のリフレッシュと比較すると、静止領域でのイントラモ
ードで符号化するマクロブロックの数が減るため、同一
のレートでは、その分、量子化パラメータを小さくする
ことができ、画質が向上する。すなわち、リフレッシュ
の効果を落とすことなく、画質の向上が図れる。

【００１０】また、本発明の動画像復号化装置は、動画
像信号が所定の画像領域毎にイントラ符号化モードまた
はインター符号化モードで符号化された符号化データを
一時保持する入力手段と、この入力手段に一時保持され
た符号化データを復号化する復号化手段と、前記インタ
ー符号化モードの符号化データを復号化するときに用い
る参照画像信号を記憶する記憶手段と、前記復号化手段
でイントラ符号化モードの符号化データを復号化して得
られた動画像信号を基に、前記記憶手段に記憶された参
照画像信号の書き換えを所定の画像領域毎に行う書換手
段とを具備し、前記書換手段は、前記入力手段に一時保
持された符号化データの符号量と前記符号化データの１
フレームの符号量を基に、フレーム毎に前記符号化デー
タの状態を判断し、異常フレームが検出されたとき、そ
の異常フレームの動画像信号を基にした前記参照画像の
書き換えを、以後の正常フレームのイントラ符号化モー
ドの動画像信号が前記復号化手段で得られるまで中止す
ることにより、伝送路または蓄積媒体から受信した符号
データに誤りが生じ、ロングバーストが発生した場合で
も、その影響を小さく抑えることができ 、従って、リ
フレッシュの効果を落とすことなく、符号化データに誤
りが混入したことによる画質の乱れを抑制し、画質の向
上が図れる。

【００１１】また、本発明の動画像符号化装置は、入力
動画像信号をイントラ符号化するイントラ符号化モード
と、１フレーム全体の動き補償を行いインター符号化す
る第１の動き補償符号化モードと、１フレームを分割し
た所定の画像領域単位に動き補償を行いインター符号化
する第２の動き補償符号化モードとを有する符号化手段
と、この符号化手段の符号化モードを前記入力動画像信
号の所定の画像領域毎に適応的に選択する選択手段とを
具備し、前記選択手段は、前記符号化手段に対しイント
ラ符号化モードで符号化するイントラ符号化領域を前記
入力動画像信号のフレーム内に周期的に設定して前記イ
ントラ符号化領域をフレーム毎に移動させるリフレッシ
ュ動作を行わせると共に、前記入力動画像信号を前記符
号化手段において、インター符号化する際に、前記リフ
レッシュ動作のために動きベクトルの制限を行う必要の
ある画像領域には、前記第１の動き補償符号化モードを
選択しないことにより、リフレッシュの際の動きベクト
ルの制限による影響は、フレーム全体にはおよばず、フ
レーム内の所定の画像領域内に抑えることができ、従っ
て、リフレッシュの効果を落とすことなく、符号化デー
タに誤りが混入したことによる画質の乱れを抑制し、画
質の向上が図れる。

【００１２】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００１３】まず、第１の実施形態について説明する。

【００１４】図１は、第１の実施形態に係る動画像符号
化装置の構成を示すブロック図である。

【００１５】図１において、入力動画像信号は、ブロッ
ク化回路１０１でマクロブロックに分割される。マクロ
ブロックに分割された入力動画像信号は、減算器１０２
に入力され、予測画像信号との差分がとられて、予測残
差信号が生成される。この予測残差信号と、ブロック化
回路１０１からの入力動画像信号のいずれか一方を、モ
ード選択スイッチ１０３によって選択し、ＤＣＴ（離散
コサイン変換）回路１０４により離散コサイン変換され
る。ＤＣＴ回路１０４で得られＤＣＴ係数データは、量
子化回路１０５で量子化される。量子化回路１０５で量
子化された信号は２分岐され、一方は可変長符号化回路
１０６で可変長符号化される。一方、量子化回路１０５
で量子化され２分岐された信号の他方は、逆量子化回路
１１０及びＩＤＣＴ（逆離散コサイン変換）回路１１１
により量子化回路１０５およびＤＣＴ回路１０４の処理
と逆の処理を順次受けた後、加算器１１２でスイッチ１
１５を介して入力される予測画像信号と加算されること
により、局部復号信号が生成される。この局部復号信号
は、フレームメモリ１１３に蓄えられ、動き補償回路１
１４に入力される。

【００１６】動き補償回路１１４では、図１１に示した
ように、既にリフレッシュしたイントラ領域１は、リフ
レッシュ前の領域２からの動き補償を禁止して、予測画
像信号が生成される。

【００１７】符号化制御回路１０９では、符号化部１１
８の符号化情報と出力バッファ１０８のバッファ量をも
とに符号化を制御し、必要な情報を可変長符号化回路１
０６におくる。可変長符号化回路１０６で符号化された
データは、多重化回路１０７で多重化され、出力バッフ
ァ１０８で送信レートを平滑化され、符号化データとし
て送られる。

【００１８】モード選択回路１１６では、マクロブロッ
ク単位に動き補償回路１１４からの予測情報Ｐに基づい
て、フレーム間符号化をおこなうマクロブロックとフレ
ーム内符号化をおこなうマクロブロックを選択する。

【００１９】フレーム内符号化（イントラ符号化）をお
こなう場合は、モード選択スイッチ情報ＭをＡとし、ス
イッチ情報ＳをＡとする。フレーム間符号化（インター
符号化）をおこなう場合は、モード選択スイッチ情報Ｍ
をＢとし、スイッチ情報ＳをＢとする。モード選択スイ
ッチ１０３ではモード選択スイッチ情報Ｐに基づき、ス
イッチを変更し、また、スイッチ１１５ではスイッチ情
報Ｓに基づき、スイッチを変更する。

【００２０】ここでは、モードとして、イントラモード
（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符
号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブ
ロック毎に対応つけられ、ＩＮＴＲＡのマクロブロック
はフレーム内符号化される画像領域、ＩＮＴＥＲのマク
ロブロックはフレーム間符号化される画像領域で、ＮＯ
Ｔ＿ＣＯＤＥＤのマクロブロックは符号化不要の画像領
域である。そして、これらの情報は、モード選択情報Ｍ
ＯＤＥにより、モード選択回路１１６と、リフレッシュ
判定回路１１７との間で受渡しされる。

【００２１】リフレッシュ判定回路１１７では、マクロ
ブロック毎に動領域か静止領域かを判定し、その判定結
果を基に、リフレッシュを行うかどうかを判定する。

【００２２】フレーム間の画像変化が少ない非符号化モ
ード（ＮＯＴ＿ＣＯＤＥＤ）のマクロブロックは、誤り
が混入する確率がほとんどなく、他のマクロブロックの
誤りの影響は混入しない。そこで、過去一定フレーム時
間以上、ＮＯＴ＿ＣＯＤＥＤになると判定できるマクロ
ブロックは、静止領域と判定し、リフレッシュの周期を
動領域より長く設定できる。

【００２３】静止領域の判定は、誤りにより連続して復
号できないフレーム数に依存する。誤りにより連続して
復号できないフレームがあると、その間に動領域があっ
て、画面がかわる場合を考慮する必要があるため、 誤りが１フレームなら、１周期 誤りが２フレームなら １周期＋１ 誤りが３フレームなら、１周期＋２ ： 誤りがＬフレームなら、１周期＋Ｌ−１ ： となり、一般に、誤りにより連続して復号できないフレ
ーム数をＬとすると、過去（１周期＋Ｌ−１）フレーム
にわたって連続して静止と判定したマクロブロックなら
ば、リフレッシュをおこなわなくても、誤りによって復
号できないフレームの前のフレームの画像が正しいの
で、２周期によるリフレッシュの回復を保証することが
できる。

【００２４】本発明は、この原理に基づき、リフレッシ
ュのイントラモードの数を減らしている。

【００２５】次に、本発明の原理について図２、図３を
参照して説明する。

【００２６】図２および図３は、イントラスライスの場
合の動作を時系列にフレームの真横からみて、リフレッ
シュの動作を示したものである。なお、図２、図３で
は、誤りにより復号できないフレーム数Ｌ＝２の場合を
示している。さらに、ここで、リフレッシュの周期は４
フレームで、フレームの上から下に向かってリフレッシ
ュされる。

【００２７】図２において、誤りで連続して復号できな
いフレームを２フレーム（Ｌ＝２）とすると、４＋２−
１＝５フレームにわたってＮＯＴ＿ＣＯＤＥＤであるな
らば、静止領域と判定して、その次のフレームの参照画
像は、正しい参照画像が使えるのでリフレッシュの必要
がないことがわかる。実際には、ＮＯＴ＿ＣＯＤＥＤと
はならなくても、リフレッシュのためのイントラ（ＩＮ
ＴＲＡ）モードのマクロブロックの場合、入力画像信号
で判定して、ＮＯＴ＿ＣＯＤＥＤと判定できる場合は、
静止領域に含めることができる。

【００２８】図３は、図２で説明したような処理を行う
として、最悪ケースの場合を示したものである。図３に
示したように、誤りが伝搬する範囲は、誤りがあったマ
クロブロックでフレームメモリを書き換えなければ、最
悪（２周期ー１回）で回復することが保証される。

【００２９】従来のリフレッシュと比較すると、静止領
域でのイントラモードで符号化するマクロブロックの数
が減るため、同一のレートでは、その分、量子化パラメ
ータを小さくすることができ、画質が向上する。

【００３０】図４は、リフレッシュ判定回路１１７の処
理動作を説明するためのもので、１フレームについての
処理動作を示したフローチャートである。図４では、１
フレームに１マクロブロックラインのイントラスライス
でリフレッシュする場合の動作を示している。

【００３１】ここで、ｉとｊは、フレーム内の垂直方向
と水平方向のマクロブロックのアドレスをそれぞれ表
し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と
水平方向のマクロブロック数をそれぞれ表している。ま
た、Ｎは、０から数えた符号化したフレームの番号を表
している。２次元配列Ｄ［ｉ］［ｊ］は、各マクロブロ
ック毎の動領域と静止領域に関する情報を蓄える配列で
ある。

【００３２】図４に示した処理動作は、モード選択回路
１１６から、フレーム番号Ｎとモード選択情報ＭＯＤＥ
が与えられ、もし、リフレッシュが必要ならば、モード
選択回路１１６から与えられたＭＯＤＥの値をＩＮＴＲ
Ａに書き換えて返し、また、リフレッシュ判定回路１１
７の内部で、動領域と静止領域に関する情報を蓄えてい
る配列Ｄを更新するというものである。

【００３３】まず、ループ１（ステップＳ１０１〜ステ
ップＳ１１４）とループ２（ステップＳ１０２〜ステッ
プＳ１１３）の中で、フレーム内の各マクロブロック毎
に、リフレッシュの判定を行う。（ステップＳ１０３） すなわち、フレームの番号Ｎの値をＶ＿ＮＭＢで除算を
行った余りがマクロブロック垂直方向のアドレスｉに等
しく、かつ、Ｄ［ｉ］［ｊ］の値がＶ＿ＮＭＢ＋Ｌ−１
以下ならば、リフレッシュを行うと判定し、ＭＯＤＥを
ＩＮＴＲＡに書き換える。（ステップＳ１０４） 符号化処理（ステップＳ１０５）の後、ＭＯＤＥの値別
に、Ｄの更新を行う。

【００３４】もし、ＩＮＴＥＲならば、Ｄの値を０に初
期化する。（ステップＳ１１０） もし、ＩＮＴＲＡならば、次のような動作をとる。

【００３５】ステップＳ１０７で、現在の入力動画像信
号と１フレーム前の入力動画像信号との絶対値和ＳＡＤ
を計算し、ある閾値ＴＨ以下の場合は、本来はＮＯＴ＿
ＣＯＤＥＤとなると判定し、Ｄの値を１増やす。（ステ
ップＳ１０８） それ以外の場合は、Ｄの値を０に初期化する。（ステッ
プＳ１０９） もし、ＮＯＴ＿ＣＯＤＥＤならば、次の動作をとる。

【００３６】ステップＳ１１１で、Ｄの値がＶ＿ＮＭＢ
＋Ｌ−１以下ならば、Ｄの値を１増やす。（ステップＳ
１１２） 以上の処理により、リフレッシュの順番がきても、Ｄの
値を基に、過去（１周期＋Ｌ−１）以上ＮＯＴ＿ＣＯＤ
ＥＤと判定できるマクロブロックは、リフレッシュされ
ない。

【００３７】なお、図４では、マクロブロックラインで
リフレッシュを行うイントラスライスで説明したが、マ
クロブロックコラムでリフレッシュを行うイントラコラ
ムにも適用することができる。

【００３８】図５はリフレッシュ判定回路１１７の他の
処理動作を説明するためのもので、イントラコラムでリ
フレッシュした場合の１フレームごとのリフレッシュ判
定回路の動作を示したフローチャートである。

【００３９】ここで、ｉとｊは、フレーム内の垂直方向
と水平方向ののマクロブロックのアドレスをそれぞれ表
し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と
水平方向のマクロブロック数をそれぞれ表している。ま
た、Ｎは、０から数えた符号化したフレームの番号を表
している。２次元配列Ｄ［ｉ］［ｊ］は、各マクロブロ
ック毎の動領域と静止領域に関する情報を蓄える配列で
ある。ここで、配列Ｄは、Ｎ＝０の時、つまり最初のイ
ントラマクロブロックで全て符号化されるフレームは誤
りが入らないと仮定して、（Ｈ＿ＮＭＢ＋Ｌ）で初期化
されるとする。

【００４０】このフローチャートでは、モード選択回路
１１６から、フレーム番号Ｎとモード選択情報ＭＯＤＥ
が与えられ、もし、リフレッシュが必要ならば、モード
選択回路から与えられたＭＯＤＥの値をＩＮＴＲＡに書
き換えて返し、また、リフレッシュ判定回路の内部で、
動領域と静止領域に関する情報を蓄えている配列Ｄを更
新する動作を示している。

【００４１】はじめに長期リフレッシュのためのフラグ
ＬＢをＴＲＵＥで初期化する。（ステップＳ２０１） 次に、ループ１（ステップＳ２０２〜ステップＳ２１
７）とループ２（ステップＳ２０３〜ステップＳ２１
６）の中で、フレーム内の各マクロブロック毎のリフレ
ッシュの判定を行う。（ステップＳ２０４） Ｎの値をＨ＿ＮＭＢで除算を行って余りがマクロブロッ
ク水平方向のアドレスｊに等しく、かつ、Ｄ［ｉ］
［ｊ］の値がＨ＿ＮＭＢ＋Ｌ−１以下ならば、リフレッ
シュを行うと判定し、ＭＯＤＥをＩＮＴＲＡに書き換え
る（ステップＳ２０５）。

【００４２】符号化処理（ステップＳ２０６）の後、Ｍ
ＯＤＥの値別に、Ｄの更新を行う。

【００４３】もし、ＩＮＴＥＲならば、Ｄの値を０に初
期化する。（ステップＳ２１１） もし、ＩＮＴＲＡならば、次のような動作をとる。

【００４４】ステップＳ２０８で、現在の入力動画像信
号と１フレーム前の入力動画像信号との絶対値和ＳＡＤ
を計算し、ある閾値ＴＨ以下の場合は、本来はＮＯＴ＿
ＣＯＤＥＤとなると判定し、Ｄの値を１増やす。（ステ
ップＳ２０９） それ以外の場合は、Ｄの値を０に初期化する。（ステッ
プＳ２１０） もし、ＮＯＴ＿ＣＯＤＥＤならば、次の動作をとる。

【００４５】ステップＳ２１２で、Ｄの値がＨ＿ＮＭＢ
＋Ｌ−１以下ならば、Ｄの値を１増やす。（ステップＳ
２１３） Ｄの値がＨ＿ＮＭＢ＋Ｌ−１より大きく、ステップＳ２
１４でフラグＬＢがＴＲＵＥならば、Ｄの値を０に初期
化し、ＬＢをＦＡＬＳＥにする。

【００４６】図５のフローチャートによる処理では、ま
ず、最初のフレームでＤがＨ＿ＮＭＢ＋Ｌで初期化され
ているで、２番目のフレームからずっとＮＯＴ＿ＣＯＤ
ＥＤのマクロブロックは、リフレッシュの順番がきても
リフレッシュされない。また、過去（１周期＋Ｌ−１）
以上ＮＯＴ＿ＣＯＤＥＤと判定できるマクロブロック
は、リフレッシュされない。ただし、過去（１周期＋Ｌ
−１）以上ＮＯＴ＿ＣＯＤＥＤと判定できるマクロブロ
ックのうち、１マクロブロックは、強制的にＤを「０」
にして次のリフレッシュでイントラで符号化されるよう
に、長期のリフレッシュの保証をつけている。

【００４７】なお、上記第１の実施形態では、フレーム
を単位とする符号化で説明をおこなったが、フィールド
単位での符号化でも実施できることは言うまでもない。

【００４８】以上、説明したように、上記第１の実施形
態によれば、リフレッシュ判定回路１１７において、入
力動画像信号と１フレーム前の入力動画像信号を基に、
過去一定フレーム時間以上フレーム間の画像変化の少な
い静止領域と判定したとき、リフレッシュの周期を長く
設定することにより、従来のリフレッシュと比較する
と、静止領域でのイントラモードで符号化するマクロブ
ロックの数が減るため、同一のレートでは、その分、量
子化パラメータを小さくすることができ、画質が向上す
る。

【００４９】次に、第２の実施形態について説明する。

【００５０】図６は、第２の実施形態に係る動画像復号
化装置の構成を示すブロック図である。

【００５１】伝送路または蓄積媒体より受信した符号化
データは、入力バッファ２０１に一度蓄えられ、多重化
分離回路２０２により１フレーム毎にシンタクスに基づ
いて分離し、可変長復号化回路２０３に出力する。可変
長復号化回路２０３では、各シンタクスの情報の可変長
符号の復号をおこなう。

【００５２】可変長復号化回路２０３で復号化されたモ
ード情報ＭＯＤＥは、モード判定回路２０６に入力され
る。モード判定回路２０６では、モード情報ＭＯＤＥが
ＮＯＴ＿ＣＯＤＥＤならば、スイッチ２１１をＯＮに選
択して、フレームメモリに参照画像として蓄えられてい
る再生画像信号をスイッチ２０９をオンに選択して表示
動画像信号として出力させる。

【００５３】モード情報ＭＯＤＥがＩＮＴＲＡならば、
スイッチ２１１オフに選択して、可変長復号化回路２０
３で復号化された量子化ＤＣＴ係数情報は、逆量子化回
路２０５で逆量子化され、ＩＤＣＴ回路２０７で逆離散
コサイン変換処理をおこなうことにより、再生画像信号
を生成させる。この再生画像信号は、フレームメモリ２
１０に参照画像として蓄積され、スイッチ２０９を介し
て表示動画像信号として出力される。

【００５４】モード情報ＭＯＤＥがＩＮＴＥＲならば、
スイッチ２１１をオンにし、可変長復号化回路２０３で
復号化された量子化ＤＣＴ係数情報は、逆量子化回路２
０５で逆量子化され、ＩＤＣＴ回路２０７で逆離散コサ
イン変換処理をおこない、可変長復号化回路２０３で復
号化された動きベクトル情報ＭＶが指し示しているフレ
ームメモリ２０１の領域の参照画像信号と加算器２０８
で足しあわせて、再生画像信号を生成させる。この再生
画像信号は、フレームメモリ２１０に参照画像として蓄
積され、スイッチ２０９を介して表示動画像信号として
出力される。

【００５５】ロングバースト判定手段２１２では、入力
バッファ２０１のバッファ量と多重化分離回路２０２で
の１フレームの符号量を監視し、入力バッファ２０１の
バッファ量がアンダーフローし、かつ１フレームの符号
量が一定量以上の場合は、ロングバーストと判定する。

【００５６】ロングバーストと判定したフレームは、ス
イッチ２０４を操作して、可変長符号化回路２０３より
後の復号化動作を中止する。

【００５７】さらに、ロングバーストと判定されたフレ
ームの以降のフレームについては、モード判定回路２０
６で、ＩＮＴＲＡと判定されたマクロブロックについて
は、スイッチ２０４をオンに操作して、復号化動作を再
開し、以後のフレームで同一位置のマクロブロックは、
通常の復号化動作に復帰する。

【００５８】復号化動作停止後、モード判定回路２０６
でＩＮＴＲＡで復号されない場合、スイッチ２０４をオ
フとし、復号化動作は再開しない。

【００５９】また、動画像符号化装置でのリフレッシュ
の周期に応じて、外部から与えられる表示停止期間Ｌ＿
ＳＴＯＰを設定し、スイッチ２０９を操作して、出力動
画像信号をロングバーストが混入したと判定したフレー
ム以降の一定期間の表示を停止する。

【００６０】通常、動画像符号化装置で正常に動作して
いれば、動画像復号化装置の入力バッファ２０１がオー
バーフローしたり、アンダーフローしたりすることはな
い。入力バッファ２０１がアンダーフローするというこ
とは、通常よりも、１フレームの符号量が非常に大きく
なる場合に生じる。

【００６１】したがって、動画像符号化装置が正常なら
ば、伝送路または蓄積媒体での誤りにより、フレームの
同期符号が破壊され、正しく復号できたないフレームが
あるため、フレームの同期符号の間隔が大きくなってし
まっていると推定することができる。

【００６２】さらに、１フレームの符号量が一定以上、
例えば、１ｓｅｃ以上になっているならば、少なくとも
数フレーム以上が復号できないと推定できるので、ロン
グバーストが混入したと判定できる。

【００６３】ロングバーストが混入したフレームをその
まま復号化し、表示を行うと、誤りの入った画面が表示
されることになる。したがって、前のフレームの復号画
像が引き続き表示されるように、復号動作を停止させ
る。

【００６４】また、ロングバーストが混入したフレーム
の後のフレームについても、ＩＮＴＥＲモードのマクロ
ブロックでは、参照画像が正しくないために、非常に汚
い画像が復号される。しかし、ＩＮＴＲＡモードのマク
ロブロックについては、正しい画像が復号できることが
保証できるので、それ以降のＩＮＴＥＲモードや非符号
化モードのマクロブロックは、参照画像が正しくない領
域から動き補償を行わない限り、正しい復号画像が得ら
れる。

【００６５】したがって、ロングバーストが混入したフ
レームの後のフレームについては、図７のように、ＩＮ
ＴＲＡモードが復号されるまで、復号動作を停止し、Ｉ
ＮＴＲＡモードで復号されたマクロブロックから復号を
順次開始する。この方法により、たとえ、表示を止めな
くても、ＩＮＴＲＡモードのマクロブロックから部分的
に復号化が開始されるように感じられるため、印象はよ
い。画像が回復していく間、表示を止める場合は、動画
像復号化装置側でのリフレッシュの１周期分の時間、表
示を止めれば、ほぼ回復した画像全体が表示できる。

【００６６】なお、上記第２の実施形態では、フレーム
を単位とする復号化で説明をおこなったが、フィールド
単位での復号化でも実施できることは言うまでもない。

【００６７】次に、第３の実施形態について説明する。

【００６８】第３の実施形態に係る動画像符号化装置の
構成は、図１と同様である。

【００６９】従来の技術で説明したように、イントラス
ライスやイントラコラムにおいては、リフレッシュした
マクロブロックは、次のフレームを符号化する時に、図
１１を参照して説明したように、動きベクトルの制限を
おこなう必要がある。しかし、フレーム全体で動き補償
をおこなうグローバル動き補償モードが選択されている
場合、グローバル動きベクトルを制限してしまうと、制
限が必要なマクロブロックのみならず、画面全体に影響
があるために、画質的に問題がある。

【００７０】そこで、モード選択回路１１６では、動き
ベクトルの制限が必要なマクロブロックは、グローバル
動き補償モードを選択しないように制御する。すなわ
ち、リフレッシュのために動きベクトルの制限が必要な
マクロブロックは、グローバル動き補償モードを選択し
ないようになっている。

【００７１】図８は、モード選択回路１１６の動作を説
明するための図で、イントラスライスの場合の動作をフ
レームの真横からみて、リフレッシュの動作を時系列に
示し手いる。

【００７２】今、グローバル動きベクトルが下向きにで
ていたとすると、動きベクトルの制限にかかってしま
う。そこで、図８の水玉で示したマクロブロックについ
ては、モード選択回路１１６において、強制的にグロー
バル動き補償モードを選択しないようにしている。すな
わち、動き補償回路１１４において、グローバル動きベ
クトルを用いないよう制御する。この場合、例えば、図
８の水玉で示したマクロブロックについては、非符号化
モード（ＮＯＴ＿ＣＯＤＥＤ）を選択する。

【００７３】従って、動きベクトルの制限による影響
は、画面全体には及ばずに、水玉で示したマクロブロッ
クのみにとどまる。

【００７４】次に、第４の実施形態について説明する。

【００７５】図９は、本発明の動画像符号化装置および
動画像復号化装置を応用した無線通信システムの構成を
示したものである。

【００７６】図９において、無線通信システムは、画像
伝送系２０と画像再生系２１とを含み、ネットワーク４
０の設けられた基地局４１を介して画像の送受信が行わ
れる。

【００７７】画像伝送系２０は、画像信号入力部２１と
誤り耐性処理部２３を備える情報源符号化部２２と、伝
送路符号化部２４と、無線部２５とを備えており、情報
源符号化部２２において、離散コサイン変換（ＤＣＴ）
や量子化等が行われ、また、伝送路符号化部２４におい
ては、符号化データの誤り検出や訂正等が行われる。

【００７８】情報源符号化部２２、情報源復号化部３３
の主要部には、それぞれ、本発明に係る動画像符号化装
置、動画像復号化装置が適用されている。

【００７９】また、画像再生系３０は、無線部３１、伝
送路復号化部３２、誤り耐性処理部３４を含む情報源復
号化部３３と、画像信号出力部３５を備えている。

【００８０】図１０は、第４の実施形態にかかる無線通
信システムの一例を示したもので、図１０に示すよう
に、通信ネットワーク４０の基地局４１、４２、４３を
介してラップトップタイプのパソコン５１やデスクトッ
プタイプのパソコン５２等の端末５０」により動画像の
電送および受信が行われる。

【００８１】例えば、パソコン５１に備え付けられてい
る画像信号入力部としてのカメラ５１ａにより入力され
た画像信号は、パソコン５１に組み込まれた情報源符号
化部２２によって符号化される。情報源符号化部２２か
ら出力される符号化データは、他の音声やデータの情報
と多重化された後、パソコン５１に組み込まれた無線部
２５、アンテナ５１ｂを介して無線で送信される。この
送信された電波信号はネットワーク４０に設けられた基
地局４１〜４３を介してパソコン５２のアンテナ５２
ａ、パソコン５２に組み込まれた無線部３１を介して受
信される。無線部３１で受信された信号は、画像信号の
符号化データおよび音声データに分解される。これらの
うち、画像信号の符号化データは、パソコン５２に組み
込まれた情報源復号化部３３によって復号され、パソコ
ン５２のディスプレイに表示される。

【００８２】一方、パソコン５２に備え付けられた画像
信号入力部２１としてのカメラ５２ｂにより入力された
画像信号は、パソコン５２に組み込まれた情報源符号化
部２２を用いて上記と同様に符号化される。符号化デー
タは、他の音声やデータの情報と多重化され、パソコン
５２に組み込まれた無線部２５、アンテナ５２ａにより
無線で送信される。この送信された電波信号はネットワ
ーク４０に設けられた基地局４１〜４３を介してパソコ
ン５１のアンテナ５１ａ、パソコン５１に組み込まれた
無線部３１を介して受信される。無線部３１によって受
信された信号は、画像信号の符号化データおよび音声や
データの情報に分解される。これらのうち、画像信号の
符号化データはパソコン５１に組み込まれた情報源復号
部３３によって復号され、パソコン５１のディスプレイ
に表示される。

【００８３】

【発明の効果】以上説明したように、本発明によれば、
リフレッシュの効果を落とすことなく、画質の向上が図
れ、符号化データに誤りが混入したことによる画質の乱
れを抑制する動画像符号化装置および動画像復号化装置
を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態および第３の実施形態
に係る動画像符号化装置の構成を示すブロック図。

【図２】イントラスライスとリフレッシュ判定回路の動
作を説明するための図。

【図３】イントラスライスとリフレッシュ判定回路の動
作を説明するための図。

【図４】リフレッシュ判定回路の動作を説明するための
フローチャートで、イントラスライスによるリフレッシ
ュを行う場合を示している。

【図５】リフレッシュ判定回路の他の動作処理を説明す
るためのフローチャートで、イントラコラムによるリフ
レッシュを行う場合について示している。

【図６】本発明の第２の実施形態に係る動画像復号化装
置の構成を示すブロック図。

【図７】ロングバースト判定回路の動作を説明するため
の図。

【図８】モード選択回路の動作を説明するための図。

【図９】本発明を適用した無線通信システムの構成を概
略的に示した図。

【図１０】本発明を適用した無線通信システムの一例を
示した図。

【図１１】従来のリフレッシュ方法を説明するための
図。

【符号の説明】

２０…画像伝送系、２１…画像信号入力部、２２…情報
源符号化部、２３…誤り耐性処理部、２４…伝送路符号
化部、２５…無線部、３０…画像再生系、３１…無線
部、３２…伝送路複合化部、３３…情報源復号化部、３
４…誤り耐性処理部、３５…画像信号出力部、４０…ネ
ットワーク、４１〜４３…無線基地局、５０…端末、５
１…パソコン、５１ａ…カメラ、５１ｂ…アンテナ、５
２…パソコン、５２ａ…アンテナ、５２ｂ…カメラ、１
０１…ブロック化回路、１０２…減算器、１０３…モー
ド選択スイッチ、１０４…ＤＣＴ回路、１０５…量子化
回路、１０６…可変長符号化回路、１０７…多重化回
路、１０８…出力バッファ、１０９…符号化制御回路、
１１０…逆量子化回路、１１１…ＩＤＣＴ回路、１１２
…加算器、１１３…フレームメモリ、１１４…動き補償
回路、１１５…スイッチ、１１６…モード選択回路、１
１７…リフレッシュ判定回路、１１８…符号化部、２０
１…入力バッファ、２０２…多重化分離回路、２０３…
可変長復号化回路 ２０４…スイッチ、２０５…逆量子化回路、２０６…モ
ード判定回路、２０７…ＩＤＣＴ回路、２０８…加算
器、２０９…スイッチ、２１０…フレームメモリ、２１
１…スイッチ、２１２…ロングバースト判定回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力動画像信号をイントラ符号化するイ
   ントラ符号化モードとインター符号化するインター符号
   化モードを有する符号化手段と、 この符号化手段の符号化モードを前記入力動画像信号の
   所定の画像領域毎に適応的に選択する選択手段と、 前記入力動画像信号と１フレーム前の動画像信号を基に
   入力動画像信号中の動領域と静止領域の判定を行う判定
   手段とを具備し、 前記選択手段は、前記符号化手段に対しイントラ符号化
   モードで符号化するイントラ符号化領域を前記入力動画
   像信号のフレーム内に周期的に設定して、前記イントラ
   符号化領域をフレーム毎に移動させるリフレッシュ動作
   を行わせると共に、前記判定手段の判定結果に基づいて
   前記静止領域に対するリフレッシュの動作の周期を前記
   動領域に対するリフレッシュ動作の周期より長くするこ
   とを特徴とする動画像符号化装置。
2. 【請求項２】 動画像信号が所定の画像領域毎にイント
   ラ符号化モードまたはインター符号化モードで符号化さ
   れた符号化データを一時保持する入力手段と、 この入力手段に一時保持された符号化データを復号化す
   る復号化手段と、 前記インター符号化モードの符号化データを復号化する
   ときに用いる参照画像信号を記憶する記憶手段と、 前記復号化手段でイントラ符号化モードの符号化データ
   を復号化して得られた動画像信号を基に、前記記憶手段
   に記憶された参照画像信号の書き換えを所定の画像領域
   毎に行う書換手段とを具備し、 前記書換手段は、 前記入力手段に一時保持された符号化データの符号量と
   前記符号化データの１フレームの符号量を基に、フレー
   ム毎に前記符号化データの状態を判断し、異常フレーム
   が検出されたとき、その異常フレームの動画像信号を基
   にした前記参照画像の書き換えを、以後の正常フレーム
   のイントラ符号化モードの動画像信号が前記復号化手段
   で得られるまで中止することを特徴とする動画像復号化
   装置。
3. 【請求項３】 入力動画像信号をイントラ符号化するイ
   ントラ符号化モードと、１フレーム全体の動き補償を行
   いインター符号化する第１の動き補償符号化モードと、
   １フレームを分割した所定の画像領域単位に動き補償を
   行いインター符号化する第２の動き補償符号化モードと
   を有する符号化手段と、 この符号化手段の符号化モードを前記入力動画像信号の
   所定の画像領域毎に適応的に選択する選択手段とを具備
   し、 前記選択手段は、前記符号化手段に対しイントラ符号化
   モードで符号化するイントラ符号化領域を前記入力動画
   像信号のフレーム内に周期的に設定して前記イントラ符
   号化領域をフレーム毎に移動させるリフレッシュ動作を
   行わせると共に、前記入力動画像信号を前記符号化手段
   において、インター符号化する際に、前記リフレッシュ
   動作のために動きベクトルの制限を行う必要のある画像
   領域には、前記第１の動き補償符号化モードを選択しな
   いことを特徴とする動画像符号化装置。