JPH07336690A - 動画像信号の復号化装置と推定動きベクトル情報の推定方法 - Google Patents

Abstract

(57)【要約】 【目的】 復号が不可能な画素ブロックを、推定動きベ
クトル情報により動き補償された前フレームまたは前フ
ィールドで置き換えることにより、画質劣化を目立たな
くできる動画像信号の復号化が可能になる。 【構成】 復号後の動きベクトル情報を格納するメモリ
207、および前記メモリ207の動きベクトル情報より推定
動きベクトル情報を推定する動きベクトル情報推定回路
208を設ける。このような構成により、ビットストリー
ムの一部が欠落し、対応する画素ブロックの復号が不可
能になっても、前記画素ブロックを前記推定動きベクト
ル情報により動き補償された前フレームまたは前フィー
ルドで置き換えることにより、前記画素ブロック部分で
の画質劣化を目立たなくできる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話やテレビ会
議などに利用する動画像信号の復号化装置と推定動きベ
クトル情報の推定方法に関する。

【０００２】

【従来の技術】一般に動画像信号の符号化装置は、まず
時間的な相関を除去するためフレーム間予測を行う。そ
こで、まず前フレームの画素ブロック(例えば16×16画
素)単位に動き補償を行い、現フレームとの差分値を画
素ブロック単位に求める。前記差分値の情報量は、前記
現フレームの情報量より極めて少ない。次いで前記差分
値と動き補償に用いた動きベクトルの符号化を行い二元
符号列(以下、ビットストリームという)を出力する。

【０００３】一方、動画像信号の復号化装置は、前記符
号化装置より出力されたビットストリームの復号を行
い、動き補償された前フレームと現フレームの差分値、
および動き補償に用いたフレーム動きベクトルを画素ブ
ロック単位に得る。復号化装置はまた、前フレームを格
納するフレームメモリを備えている。よって、前記フレ
ーム動きベクトルによりフレームメモリの前フレームを
画素ブロック単位に動き補償し、前記差分値を画素ブロ
ック単位に加算することによって現フレームが再生され
る。この再生された現フレームはフレームメモリに格納
される。このように復号化装置は、前フレームと現フレ
ームの差分値およびフレーム動きベクトルのみで現フレ
ームを再生できる。

【０００４】上記従来の動画像信号の復号化装置では、
何らかの原因で伝送路においてビットストリームの一部
が欠落した場合、前フレームと現フレームの差分値およ
びフレーム動きベクトルが画素ブロック単位に復号不可
能になっても特願平４−176609号公報「動画像信号の復
号化装置と推定動きベクトル算出方法」の推定動きベク
トル算出方法を用いて、前記画素ブロックを推定フレー
ム動きベクトルにより動き補償された前のフレームで置
き換えることにより、前記画素ブロック部分での画質劣
化を目立たなくできる。

【０００５】

【発明が解決しようとする課題】しかしながら、動画像
信号の符号化装置においては、より正確な予測を行うた
めに、フレーム間予測だけでなく、フィールド間予測な
ど複数の種類の異なる予測を画素ブロック単位に適応的
に行うことができる。この場合、複数の種類の動きベク
トルが存在するために、上記従来の動画像信号の復号化
装置の推定動きベクトル算出方法は適用できない。

【０００６】したがって、複数の種類の異なる予測を適
応的に行って予測誤差を符号化する符号化装置より出力
されたビットストリームの一部が何らかの原因で伝送路
において欠落した場合、前フレームまたはフィールドと
現フレームまたはフィールドの差分値および動きベクト
ル情報が復号不可能になった場合、復号画像の画質を著
しく損なうという問題があった。

【０００７】本発明は、上記問題点に鑑み、複数の種類
の異なる予測を適応的に用い予測を行う符号化装置から
出力されたビットストリームの一部が欠落しても、画像
復号時の画質劣化を抑えられる動画像信号の復号化装置
と推定動きベクトル情報の推定方法の提供を目的とす
る。

【０００８】

【課題を解決するための手段】本発明は、上記目的を達
成するために、復号後の動き予測の種類と動きベクトル
成分をもつ動きベクトル情報を格納するメモリを設け、
ビットストリームの一部が欠落し対応する画素ブロック
の復号が不可能になっても、前記画素ブロックを、前記
メモリに格納された動きベクトル情報から算出された推
定動きベクトル情報により動き補償された前フレームま
たは前フィールドで置き換えることにより、前記画素ブ
ロック部分での画質劣化を目立たなくできるようにした
ものである。

【０００９】推定動きベクトル情報の推定方法について
は、前記メモリに格納されたあるＮ個の動きベクトル情
報について出現の度数を数え、前記度数が最大の動きベ
クトル情報を推定動きベクトル情報とするものである。

【００１０】また、動きベクトル情報出現度数が等しい
異なる動き予測の種類の動きベクトル情報が複数存在す
るとき、動きベクトル情報中の動き予測の種類に優先順
位をもたせ推定動きベクトル情報を算出できるようにし
たものである。

【００１１】

【作用】本発明の動画像信号の復号化装置は、復号が不
可能な画素ブロックを、推定動きベクトル情報により動
き補償された前フレームまたは前フィールドで置き換え
ることにより、画質劣化を目立たなくできる。

【００１２】

【実施例】

(実施例１)図１は本発明の一実施例に係る動画像信号の
復号化装置の構成を示すブロック図である。

【００１３】図１において、201は図示せざる符号化装
置から送られる二元符号列(ビットストリーム)の入力端
子、202は復号化器、203は動き補償回路、204はフレー
ムメモリ、205は加算器、206は復号化動画像の出力端
子、207はメモリ、208は動きベクトル情報推定回路であ
る。

【００１４】次に本実施例の動作を説明すると、フレー
ムまたはフィールド単位で入力される動画像信号を複数
の異なる種類の予測を適応的に行って予測誤差を符号化
する符号化装置(図略)出力の二元符号列(ビットストリ
ーム)が入力端子201より入力されると、復号化器202は
前フレームまたは前フィールドと現フレームまたは現フ
ィールドの差分値、および前フレームまたは前フィール
ドの動き補償に用いた動き予測の種類とその種類の動き
ベクトルの成分(以後、動き予測の種類とその種類の動
きベクトルの成分を動きベクトル情報と呼ぶ)を画素ブ
ロック単位に復号し、動きベクトル情報はメモリ207に
格納される。ただし、ビットストリームの欠落などが原
因で前記差分値，動きベクトル情報の復号が不可能な場
合は、復号化器202は何も出力せず、メモリ207には何も
格納されない。また、メモリ207は、例えば１フレーム
分の動きベクトル情報を格納できる容量をもつ。

【００１５】次いで、動きベクトル情報推定回路208
は、メモリ207に格納された動きベクトル情報を画素ブ
ロック単位に読み、前記画素ブロックの動きベクトル情
報が存在する場合はその動きベクトル情報を、存在しな
い場合は推定動きベクトル情報を出力する。

【００１６】動き補償回路203は、動きベクトル情報推
定回路208から入力される推定動きベクトル情報を用い
て、フレームメモリ204から読み出される前フレームま
たは前フィールドを画素ブロック単位に動き補償する。
加算器205は、復号化器202から出力された前フレームま
たは前フィールドと現フレームまたは現フィールドの差
分値と、動き補償回路203から出力された動き補償後の
前フレーム値または前フィールド値を画素ブロック単位
に加算して、現フレームまたは現フィールドを再生す
る。再生された現フレームまたは現フィールドは出力端
子206から出力されるのと同時に、フレームメモリ204に
格納され、次フレームまたはフィールドの復号化に用い
られる。

【００１７】以上述べたように、本発明の動画像信号の
復号化装置によれば、復号が不可能な画素ブロックを、
推定動きベクトル情報により動き補償された前フレーム
または前フィールドで置き換えることにより、画質劣化
を目立たなくできる。

【００１８】次に、動きベクトル情報推定回路208にお
ける推定動きベクトル情報の推定方法について、図２を
用いて説明する。図１に示す本実施例の動画像信号の復
号化装置では復号が不可能な画素ブロック(以後、欠落
画素ブロックと呼ぶ)を、推定動きベクトル情報により
動き補償された前フレームまたは前フィールドで置き換
える。よって、推定動きベクトル情報が、欠落画素ブロ
ック本来の動きベクトル情報に近いほど欠落画素ブロッ
ク部の画質劣化を目立たなくできる。

【００１９】動きベクトル情報推定回路208は、例えば
以下の手順で推定動きベクトル情報を算出する。

【００２０】(1) 欠落画素ブロック周辺の例えば図２に
示すような位置の８個の復号可能な画素ブロック(１〜
８)の動きベクトル情報の動き予測の種類とその動きベ
クトルの成分をそれぞれＭ(n)，Ｃ(n)とする。ただし、
ｎは図２に示した復号可能な画素ブロック(１〜８)の位
置に対応した添字で、この例の場合１≦ｎ≦８の値をと
る。

【００２１】(2) １≦ｎ≦８について動きベクトル情報
の出現頻度を求める。

【００２２】すなわち、出現頻度ａ(Ｍ(n)、Ｃ(n))はす
べてのｎについて、 ａ(Ｍ(n)、Ｃ(n)) = ａ(Ｍ(n)、Ｃ(n)) ＋ １ と計算される。

【００２３】(3) 出現頻度ａ(Ｍ(n)、Ｃ(n))を最大化す
るＭ(n)，Ｃ(n)をもって推定動きベクトル情報とする。

【００２４】ここで、出現度数を最大化する動きベクト
ル情報が複数存在する場合には、欠落画素ブロックに対
し位置的に近い画素ブロックの動きベクトル情報ほど、
欠落画素ブロック本来の動きベクトル情報と同じ、また
は近い情報を持つ確率が高いことから、推定動きベクト
ル情報を算出する際、例えば図２に示すような周辺ブロ
ック(１〜４)に優先順位をつけ優先順位の高い動きベク
トル情報を推定動きベクトル情報とする。

【００２５】(実施例２)一般にフレーム間／フィールド
間動き補償予測の画質改善面における有意性を比較した
場合、以下のようなことが言われている。

【００２６】 種々の大きさ・方向の動きが混在する
とき、理想的にはフレーム間、フィールド間での両動き
補償の有意な差がない。

【００２７】 水平の動き、静止についてはフレーム
間が有利。画像信号の垂直周波数成分が多いほどその差
は顕著になる。

【００２８】 物体の変形などを伴う動きではフィー
ルド間が有利。

【００２９】ここで、画像の上記に示されているよう
な箇所で情報が欠落した場合、画質劣化を抑えることは
むずかしいので、前記，の性質に着目すれば画質改
善面において、優れた推定動きベクトル情報の推定方法
を実現できる。このように画像の性質に着目した場合、
動き予測の種類には、画質改善面において有意な差が生
じる場合があることから、例えば動き予測の種類がフレ
ーム間，フィールド間の２種類の場合には、フレーム
間，フィールド間の順に動き予測の種類に優先順位を設
定し、実施例１に示した推定動きベクトル情報の推定方
法に、例えば出現度数が等しい異なる動き予測の種類の
動きベクトル情報が複数存在するとき、動き予測の種類
の優先順位の高い動き予測の種類の動きベクトル情報を
推定動きベクトル情報とすることで、より画質劣化の目
立たない動きベクトル情報を選択できるようになる。

【００３０】以上述べたように、本実施例の推定動きベ
クトル情報の推定方法は、欠落画素ブロック周辺の復号
可能な画素ブロックの動きベクトル情報についての多数
決をとり周辺の動きベクトル情報中で最も信頼でき、か
つ動き予測の種類に画像の性質にあった優先順位を設定
することで画質劣化の目立たない動きベクトル情報を選
択できる。

【００３１】

【発明の効果】以上説明したように、本発明の動画像信
号の復号化装置と動きベクトル情報の推定方法によれ
ば、復号が不可能な画素ブロックを、推定動きベクトル
情報により動き補償された前フレームまたは前フィール
ドで置き換えることにより、画質劣化を目立たなくでき
る。

【００３２】また、周辺のブロックまたは、動きベクト
ル情報に画像の性質にあった優先順位を設定すること
で、より画質劣化の目立たない動きベクトル情報を選択
できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像信号の復号化装
置の構成を示すブロック図である。

【図２】本発明の推定動きベクトル情報の推定方法を説
明するための図である。

【符号の説明】

201…二元符号入力端子、 202…復号化器、 203…動
き補償回路、 204…フレームメモリ、 205…加算器、
206…復号化動画像信号の出力端子、 207…メモリ、
208…動きベクトル情報推定回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 フレームまたはフィールド単位で入力さ
   れる動画像信号に対し、前フレームまたは前フィールド
   から画素ブロック単位に複数の異なる種類の予測を適応
   的に行って予測誤差を符号化する符号化装置より出力さ
   れた二元符号列から、画素ブロック単位の動き予測の種
   類とその種類の動きベクトルの成分をもつ動きベクトル
   情報を復号する復号化回路と、前記動きベクトル情報を
   格納するメモリと、前記メモリに格納された動きベクト
   ル情報から推定動きベクトル情報を算出する動きベクト
   ル情報推定回路と、前記推定動きベクトル情報または前
   記メモリより直接読み出した動きベクトル情報を用いて
   前フレームまたは前フィールド画素ブロックの動き補償
   を行う動き補償回路とを備えたことを特徴とする動画像
   信号の復号化装置。
2. 【請求項２】 前記動きベクトル情報を格納するメモリ
   を有する推定動きベクトル情報の推定方法において、メ
   モリに格納されたあるＮ個の動きベクトル情報の出現の
   度数を数え、前記度数が最も大なる動きベクトル情報を
   推定動きベクトル情報とすることを特徴とする推定動き
   ベクトル情報の推定方法。
3. 【請求項３】 前記メモリに格納されたあるＮ個の動き
   ベクトル情報の出現の度数を数えたとき、出現度数が等
   しい異なる動き予測の種類の動きベクトル情報が複数存
   在するとき、動き予測の種類に優先順位をもたせ推定動
   きベクトル情報を算出することを特徴とする請求項２記
   載の推定動きベクトル情報の推定方法。