JPH05300485A - ブロック変換符号の復号装置 - Google Patents

Abstract

(57)【要約】 【目的】ブロック符号化で発生した符号化データを復号
した時に、エラーである画素データを高精度に補間す
る。 【構成】重要語が修整され、正しい重要語あるいは修整
された重要語を使用してＡＤＲＣの復号がなされる。こ
の復号データ中のエラーの画素データが空間的補間回路
３によって補間される。次に時間方向補間回路３によ
り、フレームメモリ５に記憶されている前のフレームの
画素データによって、エラーの画素データを置き換える
補間がなされる。また、フレーム間の画素データの差か
ら動きフラグＭが形成され、動きフラグメモリ９に記憶
される。メモリコントローラ７では、重要語がエラーの
ブロックに関して、周囲ブロックの動きフラグＭを参照
して動き／静止領域の判定を行い、静止領域の場合に
は、重要語の修整あるいは空間的補間が成功していて
も、時間方向の補間を最優先に行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信号
を小ブロックに分割し、ブロック毎に処理することによ
ってデータ量を圧縮するブロック変換符号の復号装置、
特に、エラーである画素を補間するものに関する。

【０００２】

【従来の技術】ディジタルビデオ信号を磁気テープ等の
記録媒体に記録する時には、その情報量が多いので、記
録／再生できる程度の伝送レイトを達成するために、高
能率符号化によって、ディジタルビデオ信号を圧縮する
のが普通である。高能率符号化としては、ディジタルビ
デオ信号を多数の小ブロックに分割し、ブロック毎に符
号化処理を行うＡＤＲＣ、ＤＣＴ（Discrete Cosine Tr
ansform)等が知られている。ＡＤＲＣは、例えば特開昭
６１−１４４９８９号公報に記載されているような、２
次元ブロック内に含まれる複数画素の最大値及び最小値
により規定されるダイナミックレンジを求め、このダイ
ナミックレンジに適応した符号化を行う高能率符号化で
ある。

【０００３】ブロック変換符号化で得られる符号化出力
は、同等の重要度を有していない。ＡＤＲＣでは、ダイ
ナミックレンジ情報が再生側で分からないと、そのブロ
ックの全ての画素の復号ができなくなるので、ブロック
毎に検出されるダイナミックレンジ情報は、画素毎のコ
ード信号に比して重要度が高い。ＤＣＴの場合では、Ｄ
ＣＴで発生した係数データ中で、直流分は、交流分に比
して重要度が高い。また、ＤＣＴの場合でも、直流分に
限らず、ブロック毎の量子化ステップの情報等も重要で
ある。これらの重要度が高い符号化出力を重要語と称す
る。

【０００４】ＡＤＲＣを用いたディジタルＶＴＲでは、
重要語がエラーの場合でもその値を用いて全ての符号化
出力を復号するか、または重要語がエラーのブロック
は、エラーブロックとして、周囲の復号データでエラー
ブロックを修整するかしていた。何れの処理であって
も、重要語がエラーであるブロックは、ブロック状の歪
みとなり、復元画像の劣化が目立つ問題があった。そこ
で、この重要語のエラーを周辺ブロックと注目ブロック
との空間的な相関に基づいて、統計的な手法によって推
定している。

【０００５】また、画素（サンプル）単位のエラーに関
して、これを空間的に補間する方法、時間方向で補間す
る方法が考えられている。空間的な補間は、エラーであ
る注目画素のデータを周囲の正しいデータで補間するも
のである。時間方向の補間は、空間的に同一位置であっ
て、以前のフレームの正しいデータによってエラーデー
タを置き換えるものである。通常は、重要語の修整を行
い、次に空間的な補間を行い、さらに時間方向の補間を
行なう優先順位とされている。

【０００６】

【発明が解決しようとする課題】画素単位のエラー修整
において、空間的なエラー修整を時間方向のものに対し
て優先させるのは、空間的な相関を利用した方が補間の
精度を高めることができることに基づいている。しかし
ながら、静止領域のブロックに関しては、むしろ時間方
向の補間を優先させた方が補間の精度をより高くするこ
とができる。

【０００７】従って、この発明の目的は、動きの状況に
応じて時間方向の補間を優先させることによって、補間
の精度をより高くすることが可能なブロック変換符号の
復号装置を提供することにある。

【０００８】

【課題を解決するための手段】この発明は、空間的に近
接する複数の画素からなるブロック毎に、伝送情報量を
圧縮するブロック符号化がなされ、復号のための重要度
が高い重要語を含む符号化データがブロック符号化によ
って生成され、符号化データにエラー訂正符号のパリテ
ィが付加されて伝送データとされ、受信された伝送デー
タから各画素データを復号するためのブロック変換符号
の復号装置において、伝送データのエラー訂正を行い、
エラーの有無を示すエラーフラグを発生するための回路
と、重要語がエラーの場合に、重要語のエラーを修整す
るための回路と、伝送データが供給され、ブロック毎に
正しい重要語あるいは修整された重要語を用いて、符号
化データを復号するための復号回路と、復号回路と結合
され、周辺の画素データによってエラーの画素データを
補間するための空間的補間回路と、空間的補間回路と結
合され、以前のフレーム内であって、同一位置の正しい
画素データによってエラーの画素データを置き換える時
間方向補間回路とを備え、エラーの画素データが静止領
域内にある時には、空間的補間回路による補間に対して
時間方向補間回路による補間を優先させることを特徴と
するブロック変換符号の復号装置である。

【０００９】

【作用】注目ブロックがエラーの場合には、注目ブロッ
クの符号化値とその周辺データ（復号値）とを使用した
統計的な方法によって、注目ブロックに関する重要語が
推定される。正しい重要語あるいは修整された重要語を
使用して復号がなされる。復号後の画素データのエラー
は、空間的補間により補間され、これができないときに
は、時間方向の補間で補間される。エラーの画素データ
が静止領域内のものであるときには、重要語の修整ある
いは空間的補間が成功したとしても、時間方向の補間が
優先され、その結果、修整の精度を高めることができ
る。

【００１０】

【実施例】以下、この発明による復号装置の一実施例に
ついて説明する。この実施例では、ブロック変換符号と
して例えばＡＤＲＣを使用している。ＡＤＲＣの具体例
としては、１フレームの有効領域が（４×４）画素の大
きさのブロックに分割される。記録側に設けられたＡＤ
ＲＣエンコーダでは、各ブロックのダイナミックレンジ
ＤＲと最小値ＭＩＮとが検出され、最小値が除去された
ビデオデータが量子化ステップで再量子化される。４ビ
ット固定長のＡＤＲＣの場合では、ダイナミックレンジ
ＤＲを1/16とすることによって、量子化ステップΔが得
られる。この量子化ステップΔで、最小値が除去された
ビデオデータが除算され、商を切り捨てにより整数化し
た値がコード信号とされる。ダイナミックレンジＤＲ、
最小値ＭＩＮおよびコード信号が記録データの構造に変
換されたから磁気テープに記録される。

【００１１】図１において、１が重要語修整回路を示
す。図示しないが、磁気テープから再生され、チャンネ
ル符号の復号がされ、さらに、ＴＢＣ（時間軸補正）、
フレーム分解およびエラー訂正がされた再生データ（デ
ータ１）とエラーの有無を示すエラーフラグＥＦ１とが
重要語修整回路１に供給される。エラー訂正できなかっ
たサンプルに関してエラーフラグが“１”とされる。エ
ラーフラグは、ダイナミックレンジＤＲに関するエラー
フラグＥｄ、最小値ＭＩＮに関するエラーフラグＥｍ、
画素のコード信号に関するエラーフラグＥｐとの３種類
ある。

【００１２】重要語修整回路１は、重要語（すなわち、
ダイナミックレンジＤＲあるいは最小値ＭＩＮ）がエラ
ーの場合に、周辺ブロックの正しい復号画素データを使
用した最小自乗法によって、重要語を修整し、この後に
ＡＤＲＣ復号を行なう。重要語修整回路１では、重要語
の推定が成功したかどうかの判断がなされる。この判断
の結果、フラグＳ１が生成される。Ｓ１＝“１”であれ
ば、重要語の推定が成功したことを意味し、Ｓ１＝
“０”であれば、重要語の推定が失敗したことを意味す
る。

【００１３】重要語修整回路１からのエラーフラグＥＦ
２（Ｅｄ、Ｅｍ、Ｅｐ、Ｓ１）および復号データ（デー
タ２）が空間的補間回路２に供給される。空間的補間回
路２では画素単位の空間的な補間についてのエラーフラ
グＥｓが形成される。つまり、下記の表１に従って、エ
ラーフラグＥｓが発生する。

【００１４】

【表１】

【００１５】この表１において、エラーフラグＥｓは、
エラーの場合で“１”であり、エラーでない場合に
“０”であり、また、＊は、そのエラーフラグの値が無
視されることを意味する。表１中のいくつかのパターン
について説明する。（Ｅｄ、Ｅｍ、Ｅｐ、Ｓ）＝（００
１＊）であれば、Ｅｓ＝“１”である。（Ｅｄ、Ｅｍ、
Ｅｐ、Ｓ）＝（０１００）のパターンは、最小値ＭＩＮ
の修整が失敗したことを意味するので、Ｅｓ＝“１”で
ある。一方、（Ｅｄ、Ｅｍ、Ｅｐ、Ｓ）＝（０１０１）
のパターンは、最小値ＭＩＮの修整が成功したことを示
すので、Ｅｓ＝“０”である。（Ｅｄ、Ｅｍ、Ｅｐ、
Ｓ）＝（１１１０）のパターンは、ダイナミックレンジ
ＤＲ、最小値ＭＩＮの修整が成功したことを意味するの
で、Ｅｓ＝“０”である。

【００１６】空間的補間回路２は、上述のエラーフラグ
Ｅｓを参照しながら、補間しようとする注目画素がエラ
ーのときに、周辺画素でこのエラー画素を補間する。具
体的には、注目画素に関するエラーフラグＥｓが“１”
のとき、周囲８点（上下、左右の４点と斜めの４点）の
画素のＥｓを見て、最初に水平方向の補間、次に垂直方
向の補間、さらに次に斜め方向の補間、最後に隣の画素
で単に置き換える補間の優先順序で補間を行なう。補間
が成功すると、フラグＳ２がセット（Ｓ２＝“１”）と
され、補間ができなければ、Ｓ２＝“０”とされる。重
要語の推定が失敗したブロックの場合では、そのブロッ
クの周辺部の画素の補間を周囲ブロックの正しい画素を
使用して補間できるが、中央部の画素が補間されないで
残る。

【００１７】空間的補間回路２からのエラーフラグＥＦ
３（Ｅｄ、Ｅｍ、Ｅｐ、Ｓ１、Ｓ２）および復号データ
（データ３）が時間方向補間回路３に供給される。時間
方向補間回路３の一例を図２に示す。まず、エラーフラ
グＥＦ３がＲＯＭ４に供給され、ＲＯＭ４によって下記
の表２に従って、画素単位の時間方向に関するエラーフ
ラグＥｔが形成される。このエラーフラグＥｔが遅延回
路６を介してメモリコントローラ７に供給される。表２
は、簡単のために、Ｅｄ、Ｅｍ、Ｅｐ、Ｓ１をエラーフ
ラグＥｓで表している。

【００１８】

【表２】

【００１９】図２において、５がフレームメモリであ
り、従来では、フラグＥｔのみを参照して空間的な補間
がなされていた。つまり、時間方向補間回路３は、エラ
ー（Ｅｔ＝“１”）の画素と空間的に同一位置の以前の
フレームの画素データによって、このエラーの画素を置
き換えるものである。具体的には、Ｅｔ＝“０”の画素
データをフレームメモリ５に書き込むとともに、Ｅｔ＝
“１”の画素データは書き込まず、この画素データの代
わりに以前に書かれていた正しい画素データを読み出す
構成とされていた。

【００２０】しかしながら、静止領域内のデータにエラ
ーがあった場合、たとえ重要語が修整でき、あるいは空
間的補間が成功したとしても、前フレームのデータを使
用した方が好ましい。この実施例では、比較回路８を設
け、この比較回路８により動きフラグＭを形成し、この
動きフラグＭを動きフラグメモリ９に記憶している。比
較回路８には、エラーフラグＥＦ３およびデータ３が供
給される。

【００２１】比較回路８では、フレームメモリ５から前
フレームのデータを読み出し、入力データと前フレーム
のデータとの比較を行なう。時間的に連続する２フレー
ム間で同一位置の画素データの差分が求められ、この差
分の絶対値Δが適切なしきい値ＴＨｔと比較される。Δ
＞ＴＨｔであれば、動き領域の画素と判定し、その結
果、動きフラグＭ＝“１”とし、Δ≦ＴＨｔであれば、
静止領域の画素と判定し、動きフラグＭ＝“０”とす
る。若し、エラーフラグＥＦ３中のＥｄあるいはＥｍが
“１”のときは、強制的にＭ＝“１”とする。これは、
後述の判断の際に、ブロック全体がエラーである場合を
除くためである。動きフラグＭが動きフラグメモリ９に
記憶される。

【００２２】メモリコントローラ７には、遅延回路６を
介してエラーフラグＥＦ３、Ｅｔおよびデータ３が供給
され、また、動きフラグメモリ９から読み出された動き
フラグＭが供給される。図３は、メモリコントローラ７
の処理を表すフローチャートであって、最初の判定のス
テップで、ＥｄあるいはＥｍが“１”かどうかが調べら
れる。若し、これらのフラグが“０”ならば、判定のス
テップ１４に制御が移り、Ｅｔ＝“１”かどうかが決定
される。

【００２３】Ｅｔ＝“１”ならば、時間方向補間が必要
なので、フレームメモリ５へのデータの書き込みが禁止
される（ステップ１５）。Ｅｔ＝“０”ならば、この画
素データがフレームメモリ５へ書き込まれる（ステップ
１６）。これらの処理は、静止領域か、動き領域かの判
断と無関係になされる。

【００２４】ステップ１１において、重要語がエラーで
あることを意味するブロック（ＥｄあるいはＥｍが
“１”のブロック）に関して、そのブロックが動きブロ
ックか静止ブロックかを判定する処理がなされる。すな
わち、このブロックの周辺の８個のブロックの動きフラ
グＭがフラグメモリ９から読み出される（すなわち１
２）。そして、動き領域かどうかの判定がステップ１３
でなされる。この判定は、周囲の８個のブロックの動き
フラグＭの個数の合計が求められ、この合計があるしき
い値ＴＨｍよりも大きいときに、動き領域と判定し、こ
れと逆のときに、静止領域と判定するものである。

【００２５】静止領域と判断されたときは、フラグＥｔ
と無関係に、前フレームのデータを出力したほうが良い
と判断して、データの書き込みを中止するステップ１５
へ制御が移る。若し、動き領域と判断された場合は、判
定のステップ１４に制御が移行し、フラグＥｔに応答し
てフレームメモリ５への書き込み、あるいは書き込みの
禁止がなされる。

【００２６】このように、通常の補間では、重要語の修
整の成否、空間的補間、時間方向の補間の優先順位で補
間がなされるが、画像の静止領域では、時間方向の補間
が最優先されることになる。

【００２７】なお、修整回路１における推定方法として
は、最小自乗法による推定に限らず、周辺データの最大
値および最小値を注目ブロックの最大値および最小値と
する推定等が可能である。

【００２８】以上の実施例では、ブロック符号化として
ＡＤＲＣを用いているが、ＤＣＴ等の他のブロック符号
化を用いても良い。

【００２９】

【発明の効果】この発明は、エラーである画素データを
補間する時に、その画素データが動き領域あるいは静止
領域の何れに含まれるかを判断し、静止領域の場合に
は、空間的補間が成功したかどうかにかかわらず、時間
方向の補間を最優先している。これによって、エラーの
画素の補間の精度を高くすることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】この発明の一実施例における時間方向補間回路
の一例の構成を示すブロック図である。

【図３】時間方向補間回路の一例の動作を説明するため
のフローチャートである。

【符号の説明】

１ 重要語修整回路 ２ 空間的補間回路 ３ 時間方向補間回路 ５ フレームメモリ ９ 動きフラグメモリ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 空間的に近接する複数の画素からなるブ
   ロック毎に、伝送情報量を圧縮するブロック符号化がな
   され、復号のための重要度が高い重要語を含む符号化デ
   ータが上記ブロック符号化によって生成され、上記符号
   化データにエラー訂正符号のパリティが付加されて伝送
   データとされ、受信された上記伝送データから各画素デ
   ータを復号するためのブロック変換符号の復号装置にお
   いて、上記伝送データのエラー訂正を行い、エラーの有
   無を示すエラーフラグを発生するための手段と、 上記重要語がエラーの場合に、上記重要語のエラーを修
   整するための手段と、 上記伝送データが供給され、上記ブロック毎に正しい上
   記重要語あるいは上記修整された重要語を用いて、上記
   符号化データを復号するための復号手段と、 上記復号手段と結合され、周辺の画素データによってエ
   ラーの画素データを補間するための空間的補間手段と、 上記空間的補間手段と結合され、以前のフレーム内であ
   って、同一位置の正しい画素データによってエラーの画
   素データを置き換える時間方向補間手段とを備え、 上記エラーの画素データが静止領域内にある時には、上
   記空間的補間手段による補間に対して上記時間方向補間
   手段による補間を優先させることを特徴とするブロック
   変換符号の復号装置。