JPH0453379A - 動画像復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は帯域圧縮により伝送された動画像情報の復号化
装置に関する。

（従来の技術） 近年、通信分野を中心にディジタル動画像の伝送及びそ
の符号化、復号化の研究が進んでいる。

第４図は従来の動画像符号化装置を示すブロック図で、
４１は前処理手段、４２は判定手段、４３は直交変換符
号化手段、４４は量子化手段、４５は逆量子化手段、４
６は直交変換復号化手段、４７は動き補償フレーム間符
号化手段、４８は動き検出手段、４９は可変長符号化手
段、５０は通信路符号化手段である。

伝送路Ｔ１から入力される原画像の各フレームは１フレ
ーム毎に符号化フレームと間引きフレームに分けられる
。すなわち、まず原画像は前処理手段４１に入力され、
原画像の各フレームのサブサンプル及びブロック化によ
りブロック信号を得て判定手段４２に入力され、フレー
ムが符号化フレームか間引きフレームかを判断する。

符号化フレームの場合、次にブロック信号をフシーム間
符号化、フレーム内符号化の何れで符号化するかを判定
する。フレーム間符号化する場合、ブロック信号と動き
補償フレーム間符号化手段４７により予測された予測信
号とのブロック差分信号を直交変換符号化手段４３に送
り、フレーム内符号化の場合、ブロック信号をそのまま
直交変換符号化手段４３に送る。

フレーム間符号化を用いたフレームが連続し、その間に
伝送路で訂正不能の誤りが発生した場合、その誤りが以
降のフレームまで伝搬し続けるので、それを避けるため
定期的にフレーム内符号化されたブロックのみで構成し
たリフレッシュフレームを挿入するが、通常、シーンチ
ェンジがあるとその先頭フレームがリフレッシュフレー
ム動作をする。

一方、動き検出手段４８は、ブロック信号と動き補償フ
レーム間符号化手段４７内の前フレームにおけるフレー
ムバッファ内の予測信号を参照して。

前フレームとの間の動き情報を検出する。

間引きフレームの場合は、前フレームとの間の動き情報
のみを検出し、後の符号化は行わない。

直交変換符号化手段４３はブロック信号あるいはブロッ
ク差分信号を２次元直交変換し変換係数に変換する。変
換係数は画像信号の空間的な相関が除去されて、一部の
係数にエネルギーが集中している。量子化手段４４はそ
の変換係数のうちエネルギーが集中している係数に重み
付けをして量子化を行う。可変長符号化手段４９は前段
の量子化出力それぞれに対して平均符号長が短くなるよ
うに符号割当てを行う。その後、符号割当てされた主情
報は通信路符号化手段５０において、判定手段４２から
の符号化判定情報や動き検出手段４８からの動き情報、
量子化手段４４からの量子化のステップ情報及び間引き
フレームの各ブロックの動き情報等の副情報と結合され
、さらに誤り訂正符号等が付加されて伝送路Ｔ２に送出
される。

一方逆量子化手段４５では量子化手段４４からの量子化
のステップ情報を用いて量子化出力を逆量子化し、局部
復号変換係数を作り、直交変換復号化手段４６で直交変
換復号し局部復号を出力する。

その局部復号は判定手段４２でフレーム間符号と判定さ
れた場合、予測信号が加算されて動き補償フレーム間符
号化手段４７に送られ、またフレーム内符号化と判断さ
れた場合、そのまま動き補償フレーム間符号化手段４７
に送られる。動き補償フレーム間符号化手段４７では動
き検出手段４８により検出した動き情報により動き補償
を行い、予測信号を出力する。

第５図は従来の動画像復号化装置のブロック図である。

第５図において５１は通信路復号化手段、５２は誤り検
出訂正手段、５３は分離手段、５４は復号手段、５５は
可変長復号化手段、５６は逆量子化手段、５７は直交変
換復号化手段、５８は動き補償フレーム間／内復号化手
段、５９はフレーム内挿手段である。

伝送路からの画像情報は、通信路復号化手段５１に加え
られて誤り検出訂正等が行われ、分離手段５３により主
情報と副情報とに分離された後、さらに１ブロック分に
対応する情報が検出される。分離された主情報と副情報
はそれぞれ復号手段５４に送られる。本例では復号手段
５４は可変長復号化学段５５．逆量子化手段５Ｇ、直交
変換復号化手段５７゜動き補償フレーム間／内復号化手
段５８により構成されている。復号手段５４に送られた
主情報はまず、可変長復号化手段５５により符号割当て
された情報を復号量子化出力に変換する。逆量子化手段
５６では量子化出力を副情報の量子化ステップ情報を用
いて逆量子化し、復号変換係数を作成する。直交変換復
号手段５７では復号変換係数を直交変換復号し復号ブロ
ック信号を得る。

動き補償フレーム間／内復号化手段５８は少なくとも２
フレ一ム分のフレームバッファを持っており、副情報の
うち符号化方式判定情報を用いて復号ブロック出力の符
号化手段がフレーム間符号化かフレーム内符号化かを検
出する。フレーム内符号化の場合、復号ブロック出力を
そのまま復号ブロック信号として現フレームの上記フレ
ームバッファの指定された位置に書き込む。フレーム間
符号化の場合、副情報の動き情報を用いて前フレームの
フレームバッファ内の動き情報が指定する位置の、ブロ
ック信号と復号ブロック出力とを加算して復号ブロック
信号をつくり、現フレームのフレームバッファの指定さ
れた位置に書き込む。

以上のようにして１フレ一ム分の復号画像フレームが、
動き補償フレーム間／内復号化手段５８内のフレームバ
ッファに形成される。

次に副情報内の間引きフレームの動き情報を用いて符号
化装置で間引きされたフレームを内挿する。フレーム内
挿手段５９は副情報内の間引きフレームの動き情報に示
される直前、直後の復号画像フレームのフレームバッフ
ァ内位置の、ブロック信号を演算し内挿フレームのフレ
ームバッファの指定した位置に書き込む。このようにし
て内挿フレームが生成されて間引きフレームに内挿され
る。

（発明が解決しようとする課題） しかしながら上記のような構成では、伝送中に発生する
誤りが通信路の復号化器で訂正不能である場合、誤まっ
た画像情報を含むフレームの画像は正しく復号されず画
像が乱れる。さらに、フレーム間符号化を用いている場
合、または符号化時の前処理手段でフレームを間引きし
、その間引きしたフレームを復号化時に内挿するような
場合、以降のフレームで誤った画像情報を参照している
箇所に誤りが伝搬して画像が乱れ、それは定期的に挿入
されたリフレッシュフレームが入力されるまで続くとい
う問題点があった。

本発明は上記に鑑み、伝送中に訂正不能の誤りが発生し
た場合でも誤ったブロックを前後のフレームの誤りのな
いブロックを用いて内挿するため、良好な画像を再生す
ることができる動画像復号化装置の提供を目的とするも
のである。

（課題を解決するための手段） 本発明は上記の目的を、帯域圧縮された画像情報の誤り
を検出、訂正する誤り検出訂正手段と、誤り訂正された
画像情報を主情報と副情報に分離する分離手段と、副情
報を用いて主情報を復号して復号画像フレームを生成す
る復号手段と、複数の復号画像フレームを記憶する画像
記憶手段と、隣合う復号画像フレームの間に隣合う復号
画像フレームと副情報を用いてフレームを内挿するフレ
ーム内挿手段と、訂正不能の誤り画素を含む誤りフレー
ムの直前、直後の正しい復号画像フレーム間の動き情報
を検出する動き検出手段と、誤りフレームに存在する訂
正不能の誤り画素を動き情報を用いて内挿する誤り補償
フレーム間復号化手段とを具備して達成する。

（作　用） 本発明は上記した構成によって、伝送中の訂正不能な誤
りを、誤った画像情報が存在するフレームの直前の正し
い復号画像フレームと、以後に到着する正しい復号画像
フレームとの間で動き情報を求め、その動き情報を用い
て誤った画像情報を内挿するから、訂正不能な誤りが発
生しても再生画像を乱すことのない動画像が得られるこ
とになる。

（実施例） 以下本発明の実施例を図面を参照しながら説明する。

第１図は本発明の一実施例の動画像復号化装置のブロッ
ク図で、１は通信路復号化手段、２は誤り検出訂正手段
、３は分離手段、４は復号手段、５は可変長復号化手段
、６は逆量子化手段、７は直交変換復号化手段、８は動
き補償フレーム間／内復号化手段、９はフレーム内挿手
段、１０は画像記憶手段、１１は動き検出手段、１２は
誤り補償フレーム間復号化手段である。

第２図は本発明の一実施例要部の画像記憶手段の構成図
である。第２図において２１はフレームバッファ群、２
２は前のリフレッシュフレーム、２３は誤りフレーム、
２４は誤りフレーム直前のフレーム、２５は後のリフレ
ッシュフレーム、２６は誤りブロック、２７は誤りブロ
ック２６を参照するブロックである。

第３図は本発明の一実施例である動画像復号化装置の画
像記憶手段の構成図である。第３図において２１はフレ
ームバッファ群、３２は直前の復号画像フレーム、３３
は誤りフレーム、３４は直後の復号画像フレーム、３５
は誤りブロックである。

以上、第１図、第２図、第３図のように構成された動画
像復号化装置について以下動作を説明する。なお、本実
施例の動画像符号化装置は従来例に示したものと同じで
あるから、説明を省略する。

第１図において、動画像符号化装置により符号化され伝
送路を介して到着した画像情報は、通信路復号化手段１
により誤り検出訂正等が行われ、訂正不能の誤りが発生
した場合、誤りが符号化フレームの情報であれば、該当
するブロックの処理を中止し、誤りが間引きフレームの
情報であれば、処理はそのまま続行し、それぞれ誤り検
出訂正手段２は誤り補償フレーム間復号化手段１２と、
動き補償フレーム間／内復号化手段８、及びフレーム内
挿手段９に対して誤りフレームの種類と、誤りブロック
の位置を知らせて、次のブロックの処理に移る。

誤り訂正が正常に行われた場合、画像情報は分離手段３
により主情報と副情報に分離され、それぞれ復号手段４
に送られる。復号手段４は可変長復号化手段５、逆量子
化手段６、直交変換復号化手段７、動き補償フレーム間
／内復号化手段８で構成されており、主情報はまず、可
変長復号化手段５により符号割当てされた情報を復号量
子化出力に変換し、それを逆量子化手段６で副情報の量
子化ステップ情報を用いて逆量子化し、復号変換係数を
作成する。直交変換復号化手段７では前記復号変換係数
を直交変換復号して復号ブロック出力を得る。

動きフレーム間／内復号化手段８は少なくとも２フレ一
ム分のフレームバッファを有し、副情報のうち符号化方
式判定情報を用いて復号ブロック出力の符号化手段がフ
レーム間符号化か、フレーム内符号化かを検出する。そ
れがフレーム内符号化の場合は、復号ブロック出力をそ
のまま復号ブロック信号として現フレームのフレームバ
ッファの指定された位置に書き込み、フレーム間符号化
の場合は、副情報の動き情報を用いて前フレームのフレ
ームバッファ内の動き情報が指定する、前フレームのブ
ロック信号と復号ブロック出力とを加算して復号ブロッ
ク信号として、現フレームのフレームバッファの指定さ
れた位置に書き込む。

その際動き補償フレーム間／内復号化手段８は誤り検出
訂正手段２からの誤りブロック位置情報を用いて、動き
情報が指定する前フレームのブロック信号が誤りブロッ
ク、あるいは誤りブロックを参照するブロックであるこ
とを検出し、該当する場合現フレームのフレームバッフ
ァへの書き込みを行わない。

このようにして１フレ一ム分の復号画像フレームが動き
補償フレーム間／内復号化手段８内のフレームバッファ
に形成される。

次に副情報内の間引きフレームの動き情報を用いて符号
化装置で間引きされたフレームを内挿する。フレーム内
挿手段９は副情報内の間引きフレームの動き情報に示さ
れる直前、直後の復号画像フレームのフレームバッファ
内位置の、ブロック信号を演算し内挿フレームのフレー
ムバッファの指定した位置に書き込み、間引きフレーム
を内挿する。なお、上記において、フレーム内挿手段９
は誤り検出訂正手段２からの誤りブロック位置情報を用
いて、動き情報が誤っている場合、該当するブロックの
処理は行わない。

これら復号画像フレーム、内挿フレームと順に更新され
ながら画像記憶手段１０に記憶される。この画像記憶手
段１０は少なくとも定期的に挿入される２つのリフレッ
シュフレームと、その間に存在するフレームの数に相当
するフレームバッファで構成される。本実施例の場合、
６フレームに１フレームのリフレッシュフレームを挿入
するとすると、画像記憶手段１０は最低７フレ一ム分の
フレームバッファ群２１（第３図）を持っている。画像
記憶手段１０に復号画像フレームが順次記憶され、リフ
レッシュフレーム間に存在するフレームの再生映像情事
すべてが復号され、記憶されたら、表示タイミングに従
って順次読み出して表示を開始する。

誤り検出訂正手段２において訂正不能の誤りを検出した
場合は、誤り補償フレーム間復号化手段】２に対して誤
ったデータで構成されている誤りフレームの種類と、誤
りブロックの位置を知らせる。

誤り補償フレーム間復号化手段１２は誤りフレームが符
号化フレームの場合、誤りブロックの存在する誤りフレ
ームと位置を検出し、動き検出手段１１に知らせる。誤
りフレームが間引きフレームの場合、誤りブロックの位
置だけを動き検出手段１１に知らせる。

また、誤りフレームが符号化フレームの場合、画像記憶
手段１０に後のリフレッシュフレーム２５（第３図）が
到着した時点で、動き検出手段１１は誤りフレームの直
前の復号画像フレーム２４と後のリフレッシュフレーム
２５の間で誤りブロック２６が存在する位置付近の動き
情報を検出し、誤り補償フレーム間復号化手段１２に知
らせる。それにより誤り補償フレーム間復号化手段１２
は、誤りブロック位置と動き情報を用いて誤りフレーム
２３の誤りブロック２６を誤りフレームの直前の復号画
像フレーム２４から内挿し、画像記憶手段１０の誤りフ
レーム２３の該当位置に内挿ブロックを記録する。

また、誤りフレームが間引きフレームの場合、画像記憶
手段１０に、直後の復号画像フレーム３４（第３図）が
到着した時点で、動き検出手段１１は誤りフレームの前
後の復号画像フレーム３２．３４の間で誤りブロックが
存在する位置付近の動き情報を検出し、誤り補償フレー
ム間復号化手段１２に知らせる。それにより誤り補償フ
レーム間復号化手段１２は誤りブロック位置と動き情報
を用いて、誤りフレーム３３の誤りブロック３５を誤り
フレーム３３の直前、直後の復号画像フレーム３２．３
４から内挿し、画像記憶手段１０の誤りフレーム３３の
該当位置に内挿ブロックを記憶する。

以上のようにして誤りブロックを他のブロックを用いて
補償することによって、訂正不能の誤りが発生した場合
でも再生画像を乱すことが無い。

その後、誤り補償フレーム間復号化手段１２により、誤
りフレーム以降で誤りブロックを参照していたフレーム
間符号化ブロックを、内挿ブロックを用いて復号化し、
画像記憶手段１０のフレームバッファ群２１の該当位置
に記録する。リフレッシュフレーム間に存在するフレー
ムの再生映像信号全てが復号化されたら、表示タイミン
グに従って。

これらを順次読み出して表示を開始する。

以上、本発明を符号化された画像信号が伝送路によって
復号化装置に伝送される例について述べたが、符号化さ
れた画像信号を光ディスクなどの蓄積メディアに記録し
、その蓄積メディアを読み出して復号する場合等その他
の装置についても同様の効果が得られることは当然であ
る。

（発明の効果） 以上詳細に説明して明らかなように本発明の動画像復号
化装置は、帯域圧縮された画像情報の伝送中に訂正不能
な誤りを検出した場合、誤った画像情報が存在するフレ
ームの直前の正しい復号画像フレームと、以後に到着す
る正しい復号画像フレームの間で動き情報を求め、その
動き情報により誤った画像情報を他の情報を用いて内挿
するものであり、訂正不能な誤りが発生しても再生画像
を乱すことのない動画像復号化装置であるから、近時の
情報社会の動画像伝送に用いて、貢献するところが大で
ある。

【図面の簡単な説明】

第１図は本発明の一実施例の構成を示すブロック図、第
２図、第３図は本発明の一実施例要部の画像記憶手段の
構成図、第４図は従来の動画像符号化装置の構成ブロッ
ク図、第５図は従来の動画像復号化装置の構成ブロック
図である。 １　・・・通信路復号化手段、　２・・・誤り検出訂正
手段、　３・・・分離手段、　４　・・・復号手段、　
５・・・可変長復号化手段、６・・・逆量子化手段、　
７　・・・直交変換復号化手段、　８　・・・動き補償
フレーム間／内復号化手段、　９　・・・　フレーム内
挿手段、１０・・・画像記憶手段、１１・・・動き検出
手段、１２・・・誤り補償フレーム間復号化手段。 特許出願人　松下電器産業株式会社

Claims (1)

【特許請求の範囲】
1. 帯域圧縮された画像情報の誤りを検出、訂正する誤り検
   出訂正手段と、その出力の誤り訂正された画像情報を主
   情報と副情報に分離する分離手段と、前記副情報を用い
   て前記主情報を復号して復号画像フレームを生成する復
   号手段と、その出力の複数の復号画像フレームを記憶す
   る画像記憶手段と、隣合う前記復号画像フレームの間に
   、前記隣合う復号画像フレームと前記副情報を用いてフ
   レームを内挿するフレーム内挿手段と、訂正不能の誤り
   画素を含む誤りフレームの直前、直後の正しい前記復号
   画像フレーム間の動き情報を検出する動き検出手段と、
   前記誤りフレームに存在する訂正不能の誤り画素を、前
   記動き情報を用いて内挿する誤り補償フレーム間復号化
   手段とを具備したことを特徴とする動画像復号化装置。