JPH10136369A - ディジタル動画像の復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 ディジタル動画像の復号化装置に関するもの
である。 【解決手段】 ディジタル動画像の符号列を復号化手段
１２０により復号して画像情報とデコード位置情報と動
きベクトルと更に誤り情報を得、上記デコード位置情報
で指定される位置の画像情報に対して動きベクトルを用
いて動き補償処理を行うとともに、上記誤り情報の示す
位置の画像情報に対して誤り隠蔽処理を行うディジタル
動画像の復号化装置において、上記デコード位置情報と
上記誤り情報に基づいて、誤り隠蔽処理の開始位置を示
す誤り隠蔽位置情報を出力する誤り隠蔽位置決定手段１
４５と、上記誤り隠蔽位置情報と上記デコード位置情報
に基づいてデコード位置を決定するデコード画面位置決
定手段１４０とを備えた構成とする。これによって、真
の誤りが発生した位置の誤り隠蔽も可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル信号の
動画像を伝送路を介して伝送したり、蓄積装置に格納す
る際に用いるディジタル動画像の復号化装置に関するも
のである。

【０００２】

【従来の技術】近年、情報化社会の進展に伴い、時間や
距離の壁を越え動画像を他者に伝えたいという要望が高
まっており、一方、ディジタル技術の本格的な実用化の
時代を迎え、動画像を記録装置で記録・再生したり、通
信網を用いて遠距離間を伝送することが可能となり、上
記の要望が実現できる状況が形成されつつある。

【０００３】更に、通信の分野だけでなく、放送の分野
でもディジタル技術を用いた伝送及び符号化方式の採用
が行われつつあり、動画像の符号化、復号化がより効率
的にしかも高品質に実現できることが望まれている。

【０００４】動画像のディジタル信号は、音声信号に比
べて情報量が非常に多いため、これを効率よく記録およ
び伝送するために、高能率符号化技術の利用が必須とさ
れており、このような要求に耐え得る符号化及び復号化
装置がすでに試作されている。

【０００５】しかし、高能率符号化されたディジタル動
画像は、単位容量あたりに多くの情報が圧縮されている
ため、伝送路でノイズが混入すると復号後の動画像が著
しく劣化するという特徴を有する。

【０００６】そのため、高能率符号化後の符号列の中に
誤り訂正符号を付与して、誤り耐性を高めることが行わ
れることがあるが、その場合でも伝送路での誤りが多い
と完全に誤りがなく劣化のない動画像を復号化すること
が困難になる。

【０００７】この復号後の動画像の劣化を視覚的に緩和
するため、高能率符号化されたディジタル動画像の誤り
発生箇所の画像領域を、すでに復号済みの画像を用いて
隠蔽する方法がある。 このような方法を用いたディジ
タル動画像の復号化装置としては、国際標準規格（ISO/
IEC13818-2）「インフォメーション・テクノロジージェ
ネリック・コーディング・オブ・ムービング・ピクチャ
ーズ・アンド・アソシエーティッド・オーディオ・フォ
ー・ディジタル・インフォメーション」"Information t
echnology - Generic coding of moving pictures and
associated audio for digital information" に記述の
方法を用いたものがあった。

【０００８】以下、図面を参照しながら、上述した方法
を用いた従来の動画像の復号化装置の一例を図６を用い
てその構成と作用を同時に説明する。入力端子１００に
入力されたディジタル動画像の符号列は、バッファ１１
０で一度バッファリングされ、復号化手段１２０に入力
される。

【０００９】復号化手段１２０では、復号画像を構成す
る画像ブロックの画面位置を表すデコード位置情報、入
力された符号列のデコード時に誤りが検出されたかどう
かの誤り情報、動きベクトルおよびＤＣＴ係数などの画
像情報が復号化され出力される。

【００１０】デコード画面位置決定手段１４０では、復
号化手段１２０の出力するデコード位置情報をもとにデ
コードすべき画像ブロックの画面位置を決定し、動き補
償手段２００に通知する。また、復号化された動きベク
トルは、動きベクトルメモリ１９０に一端格納された
後、動き補償手段２００に供給される。

【００１１】もし、復号化手段１２０にて誤りが検出さ
れなければ、画像情報は逆量子化手段１５０で逆量子化
され、直交変換復号化手段１６０で逆ＤＣＴ(Discrete
Co-sin Transform)などの直交変換復号化が行われる。
その結果は、復号済みの画像データを格納する画像メモ
リ１８０の画像データと加算器１７０にて加算され、画
像メモリ１８０へ格納される。

【００１２】このように画像メモリ１８０に格納された
復号済みの画像データは、動き補償手段２００において
上記動きベクトルを用いて動き補償処理される。この復
号済みの画像データは出力されるべき順に画像メモリ１
８０から読み出されて、出力端子３００から出力され
る。

【００１３】もし、復号化手段１２０で誤りが検出され
ると、該復号化手段２０はディジタル動画像の符号化列
において次に誤りがない符号列位置の直前まで読み捨て
る。さらに、デコード画面位置決定手段１４０は、動き
ベクトルメモリ１９０から現在デコードしている画像に
おいて誤りが発生した画像ブロックの画面位置の１つ上
の画像ブロックが保持していた動きベクトルを取り出す
ように動きベクトルメモリ１９０に指示し、動き補償手
段２００にその動きベクトルを与える。

【００１４】この動きベクトルを用いて、動き補償手段
２００は、上記復号済みの画像データ、例えば画像メモ
リに収納されている前画面の同じ位置の画像データの動
き補償し、それを復号済みの画像ブロックの値として画
像メモリ１８０に格納し、誤りが検出された画像ブロッ
クについて誤り隠蔽を行う。

【００１５】この隠蔽処理は、上記次に誤りがない符号
列位置が示す画像ブロック位置の直前まで施されること
になる。図２を用いて上記従来のディジタル動画像の復
号化装置を用いた場合の誤り隠蔽処理を説明すると以下
のようになる。すなわち、現在デコードされている画像
５０中に、誤りが検出された画像ブロック２１が含まれ
ているものとし、画像ブロック１０、１１、１２、２
０、２２、３０、３１、３２が該誤りが検出された画像
ブロック２１に隣接しているものとする。更に、図中の
矢印は上記各画像ブロック１０、１１、１２、２０、２
２、３０、３１、３２が保持している動きベクトルを模
式的に表している。

【００１６】上記の従来のディジタル動画像の復号化装
置による処理では、誤りが検出された画像ブロック２１
の上側の画像ブロック１１が保持していた動きベクトル
を用いて動き補償処理がなされ、誤り隠蔽処理を行う。

【００１７】

【発明が解決しようとする課題】ところで、上記の復号
化手段１２０による誤り検出は、誤りが検出された画像
ブロック２１に真の誤りがある場合もあるが、その画像
ブロックよりも以前の画像ブロックに含まれるデータに
起因して、それより後ろの画像ブロック２１に誤りが検
出される場合もある。

【００１８】この場合には当該画像ブロック２１の誤り
のみに注目しても不十分であり、それより以前の真の誤
りを含む画像ブロックより誤り隠蔽処理を施す必要があ
る。しかしながら上記従来の構成では、誤りが検出され
た画像ブロック２１のみを誤り隠蔽処理の対象にして復
号済みの画像データに対して動き補償し、それを復号済
みの画像ブロックの値とするため、真の誤りの発生位置
が復号化装置で実際に誤りが検出された画像ブロック位
置２１よりも前である場合には、その画面位置から画像
ブロック２１までの間の画像ブロックに対しては誤りに
対する処理がなされないことになり、誤り隠蔽処理を施
しているにもかかわらず著しい画像の乱れが発生すると
いう欠陥があった。

【００１９】本発明は上記従来の事情に鑑みて提案され
たものであって、誤り検出がなされた画像ブロックより
以前の画像ブロックを隠蔽開始位置とすることによっ
て、復号誤りによる画像の乱れの発生を防止をすること
ができるディジタル動画像の復号化装置を提供すること
目的とするものである。

【００２０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は以下の手段を採用している、すなわち、デ
ィジタル動画像の符号列を復号化手段１２０により復号
して画像情報とデコード位置情報と動きベクトルと更に
誤り情報を得、上記デコード位置情報で指定される位置
の画像情報に対して動きベクトルを用いて動き補償処理
を行うとともに、上記誤り情報の示す位置の画像情報に
対して誤り隠蔽処理を行うディジタル動画像の復号化装
置において、上記デコード位置情報と上記誤り情報に基
づいて、誤り隠蔽処理の開始位置を示す誤り隠蔽位置情
報を出力する誤り隠蔽位置決定手段１４５と、上記誤り
隠蔽位置情報と上記デコード位置情報に基づいてデコー
ド位置を決定するデコード画面位置決定手段１４０とよ
り構成されるようにしている。

【００２１】これによって、誤り隠蔽開始位置を誤りが
検出された画像ブロックの位置より前に遡らせることが
でき、真の誤り位置を含めて誤り隠蔽することが可能と
なる。

【００２２】上記誤り隠蔽開始位置として誤りが検出さ
れた画像ブロック位置のデコード順で直前の位置、誤り
が検出された画像ブロックが属する特定の画像ブロック
群の最初の画像ブロック位置、あるいは、誤りが検出さ
れた画像ブロックが属する列の左始端の画像ブロック位
置とすることができる。

【００２３】

【実施の形態】以下、本発明の具体的な構成を作用とと
もに、図１〜図４を用いて説明する。 （実施例１）図１は本発明のディジタル動画像の復号化
装置の一実施例構成図である。図１において、入力端子
１００に入力されたディジタル動画像の符号列は、バッ
ファ１１０で一旦バッファリングされ、復号化手段１２
０に入力される。この、復号化手段１２０では、上記デ
コード位置情報、誤り情報、動きベクトルおよびＤＣＴ
係数などの画像情報が復号化されて出力される点は上記
従来の構成、及び作用と同じである。

【００２４】上記復号化手段１２０より出力される誤り
位置を示す誤り情報が、誤り隠蔽位置決定手段１４５に
入力され、該誤り隠蔽位置決定手段１４５が、上記の誤
り情報と復号化手段１２０より出力されるデコード位置
情報に基づいて誤り隠蔽開始位置を決定する。

【００２５】このように誤り隠蔽位置決定手段１４５が
得た誤り隠蔽位置情報はデコード画面位置決定手段１４
０に入力され、該デコード画面位置決定手段１４０で
は、復号化手段１２０の出力するデコード位置情報と上
記誤り隠蔽位置情報とに基づいてデコードすべき画像ブ
ロックの位置を決定し、動き補償手段２００に通知する
とともに、動きベクトルメモリ１９０にも通知する。

【００２６】また、上記復号化手段１２０で復号化され
た動きベクトルは、従来と同様、動きベクトルメモリ１
９０に格納されて、動き補償手段２００へ供給される。
もし、復号化手段１２０にて誤りが検出されなければ、
従来と同様、画像情報は逆量子化手段１５０で逆量子化
され、直交変換復号化手段１６０で逆ＤＣＴなどの直交
変換復号化が行われる。その結果は、復号済みの画像デ
ータを格納する画像メモリ１８０の画像データと加算器
１７０にて加算され、画像メモリ１８０へ格納される。
尚、画像メモリ１８０には画面の復号済の画像データが
収納される。

【００２７】このように画像メモリ１８０に格納された
復号済みの画像データは、復号画像が出力されるべき順
に画像メモリ１８０から読み出されて、出力端子３００
から出力される。

【００２８】もし、復号化手段１２０で誤りが検出され
ると、該復号化手段１２０はディジタル動画像の符号化
列において次に誤りがない符号列位置の直前まで読み捨
てる。

【００２９】誤り隠蔽位置決定手段１４５には、上記誤
り検出と同時に復号化手段１２０で検出された誤り位置
を示す誤り情報と、デコード位置情報が入力されてお
り、該誤り隠蔽位置決定手段１４５はこの２つの情報に
基づいて、デコード順で現在デコードしている画像ブロ
ックの直前である１つ左の画像ブロック位置から再びデ
コードするように誤り隠蔽の開始位置を示す誤り隠蔽位
置情報を出力する。

【００３０】このようにして得られた誤り隠蔽位置情報
はデコード画面位置決定手段１４０に入力され、またこ
のデコード画面位置決定手段１４０には更に上記デコー
ド位置情報も入力されている。この２つの情報に基づい
てデコード画面位置決定手段１４０は、指示された画像
ブロック位置、すなわち、誤りが発生した画像ブロック
の画面位置の左の画像ブロックに対応して、更に１つ上
の画像ブロックが保持していた動きベクトルを取り出す
ように動きベクトルメモリ１９０に指示する。これによ
って上記動きベクトルメモリ１９０は動き補償手段２０
０にその動きベクトルを与える。

【００３１】このような手順で隠蔽処理を、上記次に誤
りがない符号列位置が示す画像ブロック位置の直前まで
同様に続ける。動き補償手段２００では、上記復号済み
の画像データ（例えば前画面の対応する位置の画像ブロ
ックの画像データ）を動き補償し、それを復号済みの画
像ブロックの値として画像メモリ１８０に格納し、誤り
隠蔽を行う。

【００３２】図２は上記誤り隠蔽処理を図示したもので
あり、動きベクトルが矢印で示されている。現在デコー
ドしている画像５０の中に誤りが検出された画像ブロッ
ク２１が含まれている場合、その左の画像ブロック２０
を誤り隠蔽開始位置とし、該画像ブロック２０の上の画
像ブロックの動きベクトル１０を用いて動き補償し、画
像ブロック２０の誤り隠蔽処理を行い、動きベクトル１
１を用いて動き補償し画像ブロック２１の誤り隠蔽処理
を行う。

【００３３】このように、本発明のディジタル動画像の
復号化装置によれば、誤りが検出された画像ブロック位
置２１の直前の画像ブロック位置から誤り隠蔽処理を行
うため、真の誤りが直前の画像ブロックにあった場合に
は、その画像ブロックのデコード時に発生する可能性の
ある著しい画像の乱れを防ぐことができるとともに、誤
り隠蔽処理を迅速に完了させることができる。

【００３４】（実施例２）上記実施例１では、誤り隠蔽
位置決定手段１４５が決定する、誤り隠蔽処理を開始す
る誤り隠蔽位置は、誤りが検出された画像ブロック位置
の１つ左の画像ブロックであったが、誤りが検出された
画像ブロックの属する画像ブロック群の始めの画像ブロ
ック位置から誤り隠蔽処理を開始することができる。

【００３５】すなわち、画像情報の圧縮密度を高めるた
めに、画面上で連続した１つ以上の画像ブロック群は、
まとめて符号化されることが多く、スライスやＧＯＢ
（グループ・オブ・ブロック）などと呼ばれる。この方
式では上記まとめて符号化される画像ブロック群の先頭
を示すユニークなスタートコードを使用することによっ
て、各ブロック群を区分するようにしている。

【００３６】この方式を利用して、誤り隠蔽処理の開始
位置を符号化される画像ブロック群の最初の画像ブロッ
クとすることができる。図１において、誤り隠蔽位置決
定手段１４５以外の動作は、上記実施例１と同一である
ので説明を省略する。

【００３７】誤り隠蔽位置決定手段１４５は、まず、図
３に示すように誤りが検出された画像ブロック２１の属
する画像ブロック群６０の始めの画像ブロック４０を検
出し、これを誤り隠蔽開始位置とする誤り隠蔽位置情報
を出力する。

【００３８】通常、上記画像ブロック群６０の符号化列
中における開始位置は、ユニークなスタートコードであ
るので容易に特定することができる最小単位になってい
る。したがって、可変長符号復号化方式を採用したディ
ジタル動画像の復号化装置の場合であっても、可変長符
号中に上記のユニークなスタートコードを含む画像ブロ
ックが存在すると、該画像ブロックが画像ブロック群６
０の最初の画像ブロック４０ということになる。

【００３９】復号化手段１２０で誤りが検出された時に
は、デコード処理は既に画像ブロック２１の画面位置に
達しているが、画像ブロック４０に遡って誤り隠蔽処理
を行う。すなわち、画像ブロック４０の誤り隠蔽処理に
は画像ブロック１の保持している動きベクトルを用いて
動き補償し、次に誤りがない符号列位置が示す画像ブロ
ック位置の直前の画像ブロック２２まで、同様に隠蔽処
理を続ける。

【００４０】このように、本発明のディジタル動画像の
復号化装置によれば、誤りが検出された画像ブロック２
１の属する画像ブロック群の始めの画像ブロック位置か
ら誤り隠蔽処理を行うため、真の誤りが画像ブロック群
６０の中にあった場合には、画像ブロック群６０より前
に位置する誤りがない画像ブロックについて余計に誤り
隠蔽処理を施すことがなく、かつ、誤りのある画像ブロ
ックのデコード時に発生する可能性のある著しい画像の
乱れを防ぐことができ、効果的な誤り隠蔽処理が行え
る。

【００４１】（実施例３）上記誤り隠蔽処理開始位置と
して更に、以下のように誤りが検出された画像ブロック
２１の属する画像ブロック列の左始端とすることができ
る。

【００４２】図１において、誤り隠蔽位置決定手段１４
５以外の動作は、上記実施例１と同一であるので説明を
省略する。図４において、復号化手段１２０で誤りが検
出された時には、誤り隠蔽位置決定手段１４５は誤り隠
蔽処理開始位置として、上記各列の左始端の画像ブロッ
クの位置を現す誤り隠蔽位置情報を出力する。

【００４３】このときデコード処理は既に画像ブロック
２１の画面位置に達しているが、デコード位置決定手段
１４０は上記のように誤り隠蔽位置情報を得ることによ
って、デコード位置を上記誤りが検出された画像ブロッ
ク２１の属する画像ブロック列の左始端の画像ブロック
の位置にまで遡らしめて誤り隠蔽処理を行う。すなわ
ち、画像ブロック４５の誤り隠蔽処理にはその上の画像
ブロック２の保持している動きベクトルを用いて動き補
償し、次に誤りがない符号列位置が示す画像ブロック位
置の直前まで、同様に隠蔽処理を続ける。

【００４４】このように、本発明のディジタル動画像の
復号化装置によれば、誤りが検出された画像ブロック２
１が属する画像ブロック列の一番左の画像ブロックから
誤り隠蔽処理を行うため、真の誤りが画面の左端から誤
りが検出された画像ブロック２１の間にあった場合に
は、画像ブロック群の開始位置に関する情報を保持する
必要がなく、かつ、誤りのある画像ブロックのデコード
時に発生する可能性のある著しい画像の乱れを防ぐこと
ができる。

【００４５】（その他）なお、以上のすべての実施例に
おいて、直交変換復号化としてＤＣＴを用いた例につい
て述べたが、本発明はこれに限定されるものでなく、離
散ウェーブレット変換、離散サイン変換についても適用
できる。

【００４６】また、上記の実施の形態において、誤り隠
蔽処理としてあらかじめ動きベクトルメモリ１９０に格
納された動きベクトルを用い、復号済み画像を動き補償
して隠蔽する場合について述べたが、本発明はこれに限
定されるものでなく、動きベクトルを用いずに、復号済
み画像において隠蔽しようとする画像ブロックと同一の
画面位置の前画面の画素情報を単純に複写する場合にも
適用できる。

【００４７】すなわち画像メモリ１８０には通常、前画
面あるいは前々画面（または後画面）の画像情報が蓄積
されているので、上記図１において上記デコード画面位
置決定手段１４０の出力するデコード位置情報に基づい
て、上記画像メモリ１２０より画像ブロックに対応する
前画面の画像ブロックを画像修正手段（図１の動き補償
手段２００に対応）に読み出して、が画像修正を行うこ
とになる。このとき動きベクトルは用いられないことに
なる。

【００４８】また、同様に動きベクトルを用いず、隠蔽
処理を施す画像ブロックに隣接する画像ブロックの画素
値から補間した画像情報を用いることもできる。この場
合図５に示すように補間手段２１０に隠蔽処理の対象と
なる画像ブロックの周辺の画像情報を画像メモリ１２０
より読み出して補間処理をする。このときも動き補償手
段２００は実質上作動しないことになる。

【００４９】尚、現在デコード中の画像情報を用いると
きは、隣接するが画像ブロックとして例えば上、左上、
左側の各画像情報を用いることになり、また前画面の画
像データを用いるときには隣接するが画像ブロックとし
て例えば上、下、左右の各画像情報を用いることができ
る。補間方法としては上記各隣接する画像ブロックの画
像情報の平均値を用いることができる。

【００５０】

【発明の効果】以上のように、本発明によれば、誤りが
検出された画像ブロック位置より前の位置からから誤り
隠蔽処理を行うことで、真の誤りが検出された画像ブロ
ック位置より前にあった場合でも、その画像ブロックの
デコード時に発生する可能性のある著しい画像の乱れを
防ぐことができるとともに、誤り隠蔽処理を迅速に完了
させることができるという効果を奏することができる。

【００５１】誤りが検出された画像ブロック位置より前
の位置としては、直前の位置画像ブロック、該誤り検出
された位置に対応する画像ブロックの属する画像ブロッ
ク群の先頭の位置の画像ブロック、該誤り検出された画
像ブロックの属する画像ブロック列の左始端の位置の画
像ブロックを用いることができる。

【図面の簡単な説明】

【図１】本発明の一実施例のディジタル動画像の復号化
装置の構成を示すブロック図である。

【図２】本発明の実施例１における誤り隠蔽処理に用い
る動きベクトルの説明図である。

【図３】本発明の実施例２における誤り隠蔽処理に用い
る動きベクトルの説明図である。

【図４】本発明の実施例３における誤り隠蔽処理に用い
る動きベクトルの説明図である。

【図５】本発明の他の実施例のディジタル動画像の復号
化装置の構成を示すブロック図である。

【図６】従来のディジタル動画像の復号化装置の構成を
示すブロック図である。

【符号の説明】

１２０ 復号化手段 １４０ デコード画面位置決定手段 １４５ 誤り隠蔽位置決定手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】ディジタル動画像の符号列を復号化手段に
   より復号して画像情報とデコード位置情報と動きベクト
   ルと更に誤り情報を得、上記デコード位置情報で指定さ
   れる位置の画像情報に対して動きベクトルを用いて動き
   補償処理を行うとともに、上記誤り情報の示す位置の画
   像情報に対して誤り隠蔽処理を行うディジタル動画像の
   復号化装置において、 上記デコード位置情報と上記誤り情報に基づいて、誤り
   隠蔽処理の開始位置を示す誤り隠蔽位置情報を出力する
   誤り隠蔽位置決定手段と、 上記誤り隠蔽位置情報と上記デコード位置情報に基づい
   てデコード位置を決定するデコード画面位置決定手段を
   備えたことを特徴とするディジタル動画像の復号化装
   置。
2. 【請求項２】上記誤り隠蔽位置決定手段が、誤り情報が
   誤り検出状態のとき、誤り隠蔽開始位置として誤りが検
   出された画像ブロック位置のデコード順で直前の位置を
   示す誤り隠蔽位置情報を出力する請求項１に記載のディ
   ジタル動画像の復号化装置。
3. 【請求項３】上記誤り隠蔽位置決定手段が、誤り情報が
   誤り検出状態のとき、誤り隠蔽開始位置として誤りが検
   出された画像ブロックが属する特定の画像ブロック群の
   最初の画像ブロック位置を示す誤り隠蔽位置情報を出力
   する請求項１に記載のディジタル動画像の復号化装置。
4. 【請求項４】上記誤り隠蔽位置決定手段が、誤り情報が
   誤り検出状態のとき、誤り隠蔽開始位置として誤りが検
   出された画像ブロックが属する列の左始端の画像ブロッ
   ク位置を示す誤り隠蔽位置情報を出力する請求項１に記
   載のディジタル動画像の復号化装置。