JPH06303597A - 画像信号再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号化不能ブロックのデータを再生する際
に、復号化不能ブロックの周波数情報に基づいてその画
面の精細さを推定することにより視覚的に劣化の少ない
再生画像を得ることが可能な画像信号再生装置を提供す
る。 【構成】 画像信号再生装置は、画像信号を複数画素ご
とにブロック化して符号化したデータをブロック単位で
復号化し画像信号を得る画像信号再生装置であって、所
定の方法により生成された補間データにより復号化不能
ブロックのデータを補間する補間手段を備え、前記所定
の方法は、前記復号化不能ブロックの周囲ブロックの周
波数情報に基づいて変更可能に構成されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号の再生装置に
関し、特には、高能率符号化されたテレビジョン動画像
信号の復号化不能データを修整して再生する画像信号再
生装置に関するものである。

【０００２】

【従来の技術】画像信号を高能率に圧縮符号化する技術
として、直交変換符号化方式が知られている。これは、
画像信号を複数素数毎にまとめてブロック化した後、離
散コサイン変換等の直交変換を行い、変換後の係数に対
して量子化、エントロピー符号化等を行うものである。

【０００３】この方式では、ブロック単位で符号化がな
されるため、符号化データに誤りが発生した場合はブロ
ック単位で符号誤りが発生する。また可変長符号が用い
られることが多いため、復号誤りが複数ブロックにわた
って伝搬し大きな画像劣化につながる。

【０００４】従来、こういった誤りブロックの画像デー
タ（エラーデータ）を補間する際、フレーム間補間とフ
ィールド内補間を選択的に用いる場合が多い。つまり、
欠落ブロックの上下ブロックの画像データのフレーム間
相関（現フレームの画素と１フレーム前の画素との差分
絶対値のブロック内加算結果）を求め、エラーブロック
の動きの有無を推定し、動き有りの場合はフィールド
内、無しの場合はフレーム間補間が選択されていた。

【０００５】

【発明が解決しようとしている課題】しかしながら、こ
のような従来の方法では、動き情報のみでフレーム間・
フィールド内補間の切り換えを行っている。そのため、
エラーブロックが精細な画像で動きがあった場合に、エ
ラーブロックの周囲が精細な画像であるにもかかわらず
フィールド内補間が選択されてしまう。フィールド内補
間は、時間的には相関があるが空間的にはかえって相関
が薄れてしまい、補間されたブロックは解像度が低下し
精細な画像内に低解像度ブロックが存在することにな
り、アンバランスな画像となってしまう。

【０００６】上記課題を考慮して、本発明は、復号化不
能ブロックのデータを再生する際に、前記復号化不能ブ
ロックの周波数情報に基づいて該ブロックの画像の精細
さを推定することにより、視覚的に劣化の少ない再生画
像を得ることが可能な画像信号再生装置を提供すること
を目的とする。また、本発明はさらに、前記復号化不能
ブロックの周囲ブロックの動き情報および周波数情報を
検出することにより、良好な再生画像を得ることが可能
な画像信号再生装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】従来抱えている課題を解
決し、上記目的を達成するため、本発明は、画像信号を
複数画素ごとにブロック化し符号化したデータをブロッ
ク単位で復号化し、画像信号を得る画像信号再生装置で
あって、所定の方法で生成された補間データにより復号
化不能ブロックのデータを補間する補間手段を備え、前
記所定の方法は、前記復号化不能ブロックの周囲ブロッ
クの周波数情報に基づいて変更可能に構成されている。

【０００８】また、本出願の他の発明としての画像信号
再生装置は、所定の方法で生成された補間データにより
復号化不能ブロックのデータを補間する補間手段を備
え、前記所定の方法は、前記復号化不能ブロックの動き
情報および周波数情報に基づいて変更可能に構成されて
いる。

【０００９】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。

【００１０】図１は、本発明の一実施例である画像信号
再生装置のブロック図、図９は実施例を含む画像信号再
生装置における画像データの流れを示したブロック図で
ある。

【００１１】まず、図９を用いて、本発明の実施例を含
む画像信号再生装置のデータの流れを説明する。８画素
×８画素のブロック単位に離散コサイン変換（ＤＣＴ）
され、可変長符号化されて記録された画像データが、再
生回路９０１にて再生される。再生された画像データ
は、誤り訂正回路９０２にて符号誤りが訂正され、訂正
不能のデータについてはエラーフラグを出力する。符号
誤りが訂正された画像データは、可変長復号化回路９０
３にて復号化され、逆ＤＣＴ回路９０４にて逆ＤＣＴが
行われて元の８×８画素のブロックになり補間回路９０
５に出力される。エラーデータは補間回路９０５にて後
述のごとく適応的に補間が行われる。補間されたデータ
もしくはエラーでないデータはＤ／Ａ変換回路９０６で
アナログ信号に変換されて出力端子９０７より出力され
る。

【００１２】また、アクティビティは、ブロック化され
た画像データをＤＣＴした際のＤＣＴ係数を用いて、後
述の方法で計算されそのクラスが決定される。このアク
ティビティデータは画像データと一緒に記録・再生され
補間回路９０５に出力される。

【００１３】誤り訂正回路９０２で訂正できなかったデ
ータは、ブロック単位で画像が欠落してしまう。エラー
フラグはこのような誤り訂正不能ブロックを示す信号
で、エラーブロック単位で補間回路９０５に出力され
る。

【００１４】次に、図１乃至図８を用いて、本発明の第
１の実施例である画像信号再生装置について説明する。
図１は本実施例のブロック図である。本実施例におい
て、画像信号の符号化ブロックは、フレーム内で８画素
×８画素（ライン）で符号化されているとする。図１に
おいて、例えばリードソロモン積符号化のような誤り訂
正処理により誤り訂正復号された画像信号が、通常のイ
ンターレース走査の順序で入力端子１から入力され、フ
レーム・フィールドの読み出し順を変えるために、一旦
フレームメモリ４に書き込まれる。

【００１５】また、この入力データと同期して、エラー
フラグがエラーフラグ入力端子２より入力され、アクテ
ィビティがアクティビティ入力端子３より入力される。
エラーフラグおよびアクティビティはそれぞれエラーフ
ラグメモリ５，アクティビティメモリ６に書き込まれ
る。この際画像データ，エラーフラグ，アクティビティ
は、書き込みアドレス発生回路７の指定するアドレスに
書き込まれる。

【００１６】読み出しの際は、前述の各データが読み出
しアドレス発生回路の指定する読み出しアドレスから読
み出されるが、画像データに関しては、ここでフィール
ド単位の読み出しとなる。つまり、書き込まれた１フレ
ーム分のデータのうち前フィールドのデータを先に読み
出し、後フィールドのデータがその後に読み出されるよ
うになる。その結果、読み出されたデータは、８画素×
４画素（ライン）のブロックになり、以降の処理はフィ
ールドごとに８（水平）×４（垂直）画素が処理ブロッ
クの単位として扱われる。

【００１７】フレームメモリ４から読み出された画像デ
ータは、動き推定回路９によりエラーブロックの隣接す
る上下ブロックの動き情報に基づいて、エラーブロック
の動きを推定すると共に、エラーブロックのデータに対
しフレーム間補間を行う。

【００１８】ここで、図２を用いて動き推定回路９の動
作を説明する。フレームメモリ４からの画像データはス
イッチ回路２０１に送られる。スイッチ回路２０１には
また、正しく修整されたデータもしくはエラーでないデ
ータである選択回路１４の出力が入力される。通常、正
しく復号化されたデータが入力されている場合は、スイ
ッチ回路２０１はフレームメモリ４からの出力を選択し
ている。そして、エラーデータが入力された場合は後述
の選択回路１４の出力データを選択することにより、フ
レーム間補間を実現している。

【００１９】続いて、動き検出ブロックとしての、エラ
ーブロックの周囲ブロックの処理と、この処理に基づく
エラーブロックの動き推定の動作について説明する。

【００２０】まず、動き検出ブロックの処理についてで
あるが、スイッチ回路２０１から出力された復号化可能
データあるいは正しく修整されたデータは、フレーム遅
延回路２０２に送られ、これらのデータを１フレーム分
遅延している。このフレーム遅延回路２０２の出力は、
差分絶対値和積算回路２０３および図１の８Ｈ遅延回路
１１に送られる。差分絶対値和積算回路２０３にはフレ
ームメモリ４からのデータも入力されており、現データ
とその１フレーム前の対応する画素の差分絶対値和を積
算して動き判定回路２０５および８Ｈ遅延回路２０４に
出力する。８Ｈ遅延回路２０４は、差分絶対値和積算回
路２０３の出力を、ちょうど２ブロック分に当たる８Ｈ
分遅延している。動き判定回路２０５では、８Ｈ遅延回
路２０４の出力および差分絶対値和積算回路２０３の出
力がそれぞれ入力されて、それぞれの出力を加算し、所
定のしきい値と比較して、しきい値よりも大きければ動
きあり、小さければ動きなしと判定し、その結果を補間
手段判定回路１３に出力する。

【００２１】ここで、８Ｈ遅延回路２０４の出力（出力
）及び差分絶対値和積算回路２０３の出力（出力）
と入力データとがどのように対応するかを考えてみる。
まず、出力は、入力データブロックと１フレーム前の
データブロックの差分絶対値和である。次に、出力
は、入力データブロックと同一フィールドで２ブロック
（８ライン分）上のブロックのデータとそのブロックの
１フレーム前のデータブロックの差分絶対値和である。
つまり、動き判定回路２０５には、８×４画素単位に、
現ブロックと、２ブロック上のブロックの差分積算値和
が同時に入力されることになる。

【００２２】図３を用いて、このエラーブロックと動き
判定回路２０５に入力される動き検出ブロックの関係を
説明する。図３では、フィールド単位に、８×４画素を
１ブロックとして示してある。図３において、フレーム
＃ｎフィールド０のブロックＡとフレーム＃ｎ−１フィ
ールド０のブロックＡ’の差分絶対値和（前記出力）
と、フレーム＃ｎフィールド０のブロックＢとフレーム
＃ｎ−１フィールド０のブロックＢ’の差分絶対値和
（前記出力）が、フレーム＃ｎフィールド０のブロッ
クＸ（ターゲットブロック）の動きを推定するために使
われる。なお、フレーム＃ｎフィールド１のブロック
Ｘ’の動き推定のための動き検出ブロックは、ブロック
Ａ，Ｂのそれぞれ１フィールド前のブロックを用いるこ
とになる。

【００２３】次に、フィールド内修整回路１２の動作を
説明する。

【００２４】フィールド内修整回路１２には、フレーム
メモリ４からの出力データと共に、エラーフラグメモリ
５よりエラーフラグも入力され、ここではエラーデータ
に対し、同一フィールド内の正しく復号されたデータに
よりフィールド内補間が行われる。以下、図４を用いて
フィールド内修整回路１２におけるフィールド内補間の
処理を説明する。今、図４（ａ）におけるブロックＸが
エラーブロックであったとする。前述のように、本実施
例ではフィールド単位で処理が実行されている。そのた
め、エラーブロックＸの奇数フィールドラインｘ１，ｘ
３，ｘ５，ｘ７は、正しく復号されたブロックのライン
のうち、該奇数フィールドの最上ラインｘ１に最も近い
同一フィールドのラインであるブロックＡのラインａ７
と、最下ラインｘ７に最も近い同一フィールドのライン
であるブロックＢのラインｂ１によって、フィールド内
線形補間される。すなわち、図４（ｂ）に示す様に、奇
数フィールドにおいては、ｘ１＝（４×ａ７＋ｂ１）／
５，ｘ３＝（３×ａ７＋２×ｂ１）／５，ｘ５＝（２×
ａ７＋３×ｂ１）／５，ｘ７＝（ａ７＋４×ｂ１）／５
となる。

【００２５】奇数フィールドの補間処理が終了後、偶数
フィールドの処理が同様に行われる。偶数フィールドで
は、ラインｘ２，ｘ４，ｘ６，ｘ８を、ブロックＡのラ
インａ８およびブロックＢのラインｂ２によって補間す
る。

【００２６】次に、アクティビティ推定回路１０の動作
について説明する。

【００２７】アクティビティは、画像データを直交変換
した時の直交変換係数により決定され、直交変換係数を
量子化する際に用いる情報である。

【００２８】図５、図６はアクティビティの説明図であ
る。図５（ａ）はブロック内画像データを直交変換した
際の直交変換係数のＡＣエリア（交流領域）全体（フル
エリア）を表し、（ｂ）はＡＣエリア内高周波数域（Ｈ
エリア）を表している。アクティビティを決定するた
め、まずフルエリアのうち、しきい値ＴＨ１より大きな
係数の個数（Ｎｆ）と、同様にＨエリア内の係数のうち
しきい値ＴＨ２より大きな係数の個数（Ｎｈ）を計数
し、Ｎｆ，Ｎｈを図６に示す数値と比較することにより
アクティビティが決定される。なお、Ｎｆ，Ｎｈによる
アクティビティが異なる際は、大きな方のアクティビテ
ィを使用する。以上の様にアクティビティが決定される
ので、アクティビティはそのブロック内の高域成分情報
を持っていることがわかる。

【００２９】アクティビティ推定回路１０の構成を図７
に示す。アクティビティメモリ６からのアクティビティ
データは、スイッチ回路７０１に送られる。スイッチ回
路７０１は、通常、アクティビティメモリ６からの出力
を選択している。そして、エラーフラグによりエラーデ
ータのアクティビティが入力されたことがわかると、フ
レーム遅延回路７０２からの出力である、１フレーム前
のアクティビティデータを選択する。スイッチ回路７０
１からの出力データは、８Ｈ遅延回路７０３およびアク
ティビティ判定回路７０４に送られ、８Ｈ遅延回路７０
３にて８Ｈ（２ブロック分）遅延される。アクティビテ
ィ推定回路７０４には、８Ｈ遅延回路７０３とスイッチ
回路７０１からのアクティビティデータが入力され、そ
の中央値を推定結果として補間手段判定回路１３に出力
する。これは、図３における、ブロックＸのアクティビ
ティを推定するために、ブロックＡとブロックＢのアク
ティビティデータを用いていることを示している。ま
た、アクティビティ推定回路７０４の入力が２，３や
１，２のような中央値をとれない場合には、大きい方の
値をとることにする。

【００３０】補間手段判定回路１３には、動き推定回路
９からの動き推定結果，アクティビティ推定回路からの
アクティビティ推定結果およびエラーフラグが入力され
る。この補間手段判定回路１３の判定方法を図８を用い
て説明する。図８は、動き推定結果とアクティビティ推
定結果のそれぞれが入力された場合に、どのような判定
をするかを示している。また、本実施例においては、ア
クティビティクラス０，１，２は高域少、アクティビテ
ィクラス３は高域多と判断する。図８からわかる様に、
動き有りと判定された場合、アクティビティの推定結果
によりフレーム間・フィールド内が判定されている。そ
のため、アクティビティの推定結果が重要になってくる
が、前述のアクティビティ推定回路７０４では、入力が
３，２の場合、３を選択しているとした。しかしなが
ら、この選択の方法は、その目的に応じて適宜変更可能
である。

【００３１】例えば、アクティビティ判定回路７０４の
入力が３，２の場合、２をとる様にすれば、動きありの
ときフィールド内補間が選択されて、動きに対して強い
補間が行われる。また、３をとる様にすれば、フレーム
間補間が選択されて、より精細な画像で補間が行われ
る。

【００３２】選択回路１４には、フィールド内修整が施
されたデータと、フレーム間修整が施されたデータある
いはエラーでないデータが入力される。また、フレーム
間修整データとしての、動き推定回路９からの出力信号
は、８Ｈ遅延回路１１にて８Ｈ分遅延している。これ
は、フレーム間修整データが選択回路１４に出力される
タイミングと、動き推定回路１３からの動き判断結果が
選択回路１４に出力されるタイミングを合わせるためで
ある。つまり、動き推定回路９が図３におけるブロック
Ｘの動きを判断するためには、ブロックＢの差分絶対値
和が必要であり、またアクティビティ推定回路１０がブ
ロックＸのアクティビティを推定するためにはブロック
Ｂのアクティビティデータが必要である。そのため、ブ
ロックＸの最上ラインとブロックＢの最下ラインの差で
ある８Ｈ分の遅延を行い、タイミングを合わせている。
これに対し、フィールド内修整回路１２は、現入力デー
タをブロックＢのデータであるとすると、ブロックＢの
データが入力されて初めて補間データの計算を行うた
め、その出力タイミングは補間手段判定回路１３の出力
タイミングと合っている。そのため、遅延させる必要は
ない。

【００３３】このように、それぞれの修整データと補間
手段判定結果が選択回路１４に入力された結果、フィー
ルド内修整データもしくはフレーム間修整データを選択
して、出力端子１５から出力する。なお、通常、選択回
路１４はフィールド内修整回路１２の出力を選択してお
り、正しく復号化されたデータはフィールド内修整回路
１２をそのまま通過して、出力端子１５から出力され
る。

【００３４】以上説明したように、本実施例では、エラ
ーブロックと同一フィールドの隣接した上下のブロック
の差分絶対値和をとることによりエラーブロックの動き
を推定し、また、エラーブロックの上下のブロックのア
クティビティデータよりエラーブロックのアクティビテ
ィを推定し、その動き推定結果およびアクティビティ推
定結果によりエラーデータの修整データを適応的に選択
することにより、視覚的に劣化の少ない画像を得ること
が可能である。

【００３５】次に、図１０および図１１を用いて本発明
の第２の実施例を説明する。なお、第１の実施例と同一
または同様の作用を施すものは、同一の番号を付してそ
の詳細な説明は省略する。

【００３６】本実施例においては、周波数情報として、
アクティビティの代わりに各ブロックのＤＣＴ係数の絶
対値和を用いている。本実施例におけるエラーブロック
の周波数情報推定の動作について図１１を用いて説明す
る。図１１は２次元ＤＣＴ係数を示したもので、ここで
は、右に行くほど水平方向の高周波ＤＣＴ係数を表し、
下に行くほど垂直方向の高周波ＤＣＴ係数を表す。

【００３７】各ブロックにおける判定の方法は、斜線部
分のＤＣＴ係数の絶対値和と、あるしきい値との比較に
より判定する。絶対値和がしきい値よりも大きければ高
域成分多と判定し、小さければ高域成分少と判定する。
周波数情報推定回路１９では、このようなエラーブロッ
クの上下ブロックの周波数情報を用いて、第１の実施例
と同様にエラーブロックの周波数情報を推定する。エラ
ーブロックの周波数情報は、補間手段判定回路１３に送
られ、図８に示すように判定され、その判定結果に基づ
き選択回路１４でデータを選択して出力する。

【００３８】また、本実施例においては、周波数情報と
して図１１における斜線部のＤＣＴ係数の絶対値和を用
いたが、斜線部の最大ＤＣＴ係数の大きさによりブロッ
ク内の高域成分を判定する様にしてもよい。

【００３９】また、本発明の実施例においては、動き検
出ブロックおよび周波数情報ブロックとしてターゲット
ブロックと同一フィールドの隣接した上下のブロックを
選んだが、ターゲットブロックの隣接ブロックであれば
これに限るものではなく、左右方向のブロックを選んで
も本実施例と同様の効果が得られる。

【００４０】

【発明の効果】以上の説明から明らかなように、本発明
は、ブロック符号化画像信号の修整において、エラーブ
ロックのデータを修整する際に周囲ブロックの周波数情
報を用いることで、エラーブロックの周囲ブロックが精
細な画像である場合は、フレーム間補間を行うことによ
って、精細な画像情報で補間が行われ、視覚的に劣化の
目立ちにくい画像を得ることができる。

【００４１】また、周囲ブロックの動き状況に基づいて
エラーブロックの動きを推定することによりフレーム間
・フィールド内補間を切り換える場合に、周囲ブロック
の周波数情報に基づいてエラーブロックの周波数情報を
推定した結果を前記エラーブロックの動き推定結果に加
えて用いることによりエラーブロックの修整を行うた
め、エラーブロックが精細な画像で動きがあった場合
に、エラーブロックの周囲ブロックが精細な画像である
にもかかわらずフィールド内補間が行われることが無
く、精細な画像内に低解像度ブロックが存在することが
なくなる。そのため、エラーブロックを補間した画像に
おいても違和感を与える解像度の変化がなくなり、トー
タル的にバランスのよい画像となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例である画像信号再生装置
のブロック図である。

【図２】本発明の実施例における、動き推定回路のブロ
ック図である。

【図３】本発明の実施例における、動き推定動作を説明
するための図である。

【図４】本発明の実施例における、フィールド内補間を
説明するための図である。

【図５】本発明の実施例における、アクティビティを説
明するためのＤＣＴ係数を表す図である。

【図６】本発明の実施例における、アクティビティの判
定方法を説明するための図である。

【図７】本発明の実施例における、アクティビティ推定
回路のブロック図である。

【図８】本発明の実施例における、補間手段判定回路の
動作を説明するための図である。

【図９】本発明の実施例における、再生動作を示すブロ
ック図である。

【図１０】本発明の第２の実施例である画像信号再生装
置のブロック図である。

【図１１】本発明の第２の実施例における、周波数情報
の推定動作を示す図である。

【符号の説明】

９ 動き推定回路 １０ アクティビティ推定回路 １２ フィールド内修整回路 １３ 補間手段判定回路 １９ 周波数情報推定回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像信号を複数画素ごとにブロック化し
   符号化したデータをブロック単位で復号化し、画像信号
   を得る画像信号再生装置であって、 復号化不能ブロックの周囲ブロックより所定の方法で生
   成した補間データにより前記復号化不能ブロックのデー
   タを補間する補間手段を備え、 前記所定の方法は、前記周囲ブロックの周波数情報に基
   づいて変更可能であることを特徴とする画像信号再生装
   置。
2. 【請求項２】 画像信号を複数画素ごとにブロック化し
   符号化したデータをブロック単位で復号化し、画像信号
   を得る画像信号再生装置であって、 復号化不能ブロックの周囲ブロックより所定の方法で生
   成した補間データにより前記復号化不能ブロックのデー
   タを補間する補間手段を備え、 前記所定の方法は、前記周囲ブロックのエラー状況およ
   び周波数情報に基づいて変更可能であることを特徴とす
   る画像信号再生装置。