JPH0730848A

JPH0730848A - 画像信号再生装置

Info

Publication number: JPH0730848A
Application number: JP5153634A
Authority: JP
Inventors: Akiyoshi Hamanaka; 章佳浜中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-06-24
Filing date: 1993-06-24
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】復号化不能ブロックのデータを再生する際
に、復号化不能ブロックの周囲ブロックより斜め方向に
フィールド内補間データを生成し、フレーム間補間，従
来のフィールド内補間と選択的に用いることにより、視
覚的に劣化の少ない再生画像を得ることが可能な画像信
号再生装置を提供する。【構成】画像信号再生装置は、画像信号を複数画素ご
とにブロック符号化したデータをブロック単位で復号化
し画像信号を再生する画像信号再生装置であって、誤り
訂正不能データを用いて復号化されたデータを補間する
補間手段を備え、前記補間手段は、前記復号化不能ブロ
ックの周囲ブロックより斜め方向に生成した補間データ
を用いて補間を行うように構成されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号の再生装置に
関し、特には、高能率符号化されたテレビジョン動画像
信号の誤り訂正不能データを修整して再生する画像信号
再生装置に関するものである。

【０００２】

【従来の技術】画像信号を高能率に圧縮符号化する技術
として、直交変換符号化方式が知られている。これは、
画像信号を複数素数毎にまとめてブロック化した後、離
散コサイン変換等の直交変換を行い、変換後の係数に対
して量子化、エントロピー符号化等を行うものである。

【０００３】この方式では、ブロック単位で符号化がな
されるため、符号化データに誤りが発生した場合はブロ
ック単位で符号誤りが発生する。また可変長符号が用い
られることが多いため、復号誤りが複数ブロックにわた
って伝搬し大きな画像劣化につながる。そして、このよ
うな復号誤りのうち、誤り訂正処理を施しても訂正しき
れないデータは、誤り訂正不能データ（以下、復号化不
能データ）として時間的・空間的に近いブロックのデー
タによって補間を行っていた。

【０００４】従来、こういった復号化不能ブロックの画
像データを補間する際、フレーム間補間とフィールド内
補間を選択的に用いる場合が多い。つまり、欠落ブロッ
クの上下ブロックの画像データのフレーム間相関（現フ
レームの画素と１フレーム前の画素との差分絶対値のブ
ロック内加算結果）を求め、復号化不能ブロックの動き
の有無を推定し、動き有りの場合はフィールド内、無し
の場合はフレーム間補間が選択されていた。

【０００５】

【発明が解決しようとしている課題】しかしながら、こ
のような従来の方法を復号化不能ブロックが精細な画像
で動きがあった場合に適用すると、復号化不能ブロック
の周囲が精細な画像であるにもかかわらずフィールド内
補間が選択される。この場合、フィールド内補間は、時
間的には相関があるが空間的にはかえって相関が薄れて
しまい、補間されたブロックは解像度が低下し精細な画
像内に低解像度ブロックが存在することになり、アンバ
ランスな画像となってしまう。

【０００６】前記課題を考慮して、本発明は、復号化不
能ブロックのデータを再生する際に、前記復号化不能ブ
ロックの周辺ブロックより斜め方向にフィールド内補間
データを生成し、フレーム間補間，従来のフィールド内
補間と選択的に用いることにより、視覚的に劣化の少な
い再生画像を得ることが可能な画像信号再生装置を提供
することを目的とする。

【０００７】

【課題を解決するための手段】従来抱えている課題を解
決し、前記目的を達成するため、本発明は、画像信号を
複数画素ごとにブロック符号化したデータを前記ブロッ
ク単位で復号化し、画像信号を得る画像信号再生装置で
あって、復号化不能ブロックの周囲ブロックより生成し
た補間データにより、前記復号化不能ブロックのデータ
を補間する補間手段を備え、前記補間手段は、前記周囲
ブロックのデータにより斜め方向に補間データを生成
し、該補間データにより補間を行うように構成されてい
る。

【０００８】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。

【０００９】まず、図１を用いて、本発明の実施例を含
む画像信号再生装置のデータの流れを説明する。

【００１０】図１は、実施例を含むデジタルＶＴＲの構
成を示すブロック図である。図１において、入力端子１
０１より、デジタル化された画像データが入力され、ブ
ロック化回路１０２によりフレーム単位で８×８画素単
位でブロック化される。ブロック化された画像データ
は、ＤＣＴ回路１０３で直交変換され、空間領域から周
波数領域に変換される。

【００１１】周波数領域に変換された画像データは量子
化回路１０４で量子化され、さらに可変長符号化回路１
０５で符号化され、所望のデータ転送レートを得る。符
号化されたデータは誤り訂正符号化回路１０６で誤り訂
正符号化され、記録再生回路１０７にて記録媒体に記録
される。

【００１２】再生時は、記録再生回路１０７により再生
されたデータが誤り訂正回路１０８に入力され符号誤り
の訂正が行われた後、可変長復号化回路１０９で復号化
される。復号化されたデータは、逆量子化回路１１０で
逆量子化された後、逆ＤＣＴ回路１１１で逆ＤＣＴさ
れ、周波数領域から空間領域のデータへ変換され、フレ
ームメモリ１１２に書き込まれる。フレームメモリ１１
２書き込まれたデータは、モニタ等のラスタスキャンに
合わせて読み出され、補間回路１１３でエラーデータの
補間を行った後、出力端子１１４より出力され、モニタ
等に表示される。

【００１３】次に、図２乃至図１０を用いて、本発明の
第１の実施例である画像信号再生装置について説明す
る。図２は本実施例のブロック図である。本実施例にお
いて、画像信号の符号化ブロックは、フレーム内で８画
素×８画素（ライン）で符号化されているとする。ま
た、本実施例において、入力データの処理はフィールド
単位、つまり４画素（ライン）×８画素（水平）を１ブ
ロックとして処理することとする。

【００１４】図２において、例えばリードソロモン積符
号化のような誤り訂正符号が付加された画像データが誤
り訂正処理により誤り訂正復号され、通常のインターレ
ース走査の順序で入力端子１から入力される。また、こ
の入力データと同期して、入力データが復号化不能であ
ることを表すエラーフラグがエラーフラグ入力端子８よ
り入力される。入力された画像データは、２フレーム分
の容量を持つメモリ２に書き込まれる。この画像データ
の読み出しは、後述の制御回路６により行われる。

【００１５】入力された画像データはまた、動き判定回
路４にも入力され、ここで復号化不能ブロックの動きを
周囲ブロックの動きにより推定し、その推定結果を制御
回路６に出力する。制御回路６には、この動き推定結果
の他に前述のエラーフラグも入力される。制御回路６
は、この動き推定結果およびエラーフラグに基づいて、
メモリ２に記憶されているデータより、後段の補間動作
に必要なデータを読み出して出力する。制御回路６はま
た、切り換え回路３を制御して、メモリ２より読み出し
たデータが復号化不能データでない場合には、ａ側に接
続し、復号化不能データを読み出した場合には、ｂ側に
接続する。

【００１６】補間に必要なデータは、メモリ２より読み
出され、補間回路５に入力される。補間回路５では、制
御回路６からの制御信号に基づいて、フレーム間補間・
フィールド内補間ａ・フィールド内補間ｂの補間データ
を生成し、補間を行って出力する。

【００１７】ここで、補間回路５の構成を示すブロック
図を図３に示す。スイッチ回路３０１には、メモリ２よ
り読み出されたデータと正しく修整されたデータが入力
される。そしてスイッチ回路３０１は、エラーフラグを
受けて、メモリ２から読み出されたデータが復号化不能
データの場合には、正しく修整されたデータ側（ａ側）
に切り換わる。スイッチ３０１の出力は、フレームメモ
リ３０２，フィールド内補間回路３０３に入力され、後
述のごとくフレーム間補間データ，フィールド内補間デ
ータが生成されて、スイッチ回路３０４に出力される。
スイッチ回路３０４では、制御回路６からの信号を受け
て、スイッチ回路３０４を切り換えて、フレーム間補間
・フィールド内補間データを出力する。

【００１８】ここで、前述のフレーム間補間およびフィ
ールド内補間の方法について説明する。図４において、
フレーム＃ＮのブロックＸが復号化不能ブロックであっ
た場合、前フレーム＃Ｎ−１における画面上の同一位置
のブロックＡの復号データによってブロックＸのデータ
を置き換えて補間する。

【００１９】次に、フィールド内補間回路３０３の動作
について説明する。この補間回路では、復号化不能ブロ
ックに対して斜め方向に隣接する２ブロック中の、復号
化不能ブロックに最も近い画素で補間を行う。

【００２０】はじめに、奇数フィールドのデータから補
間する。図５において、復号化不能ブロックＸの対角線
上の奇数フィールドの画像データ（ｘ₇₀，ｘ₅₂，ｘ₃₄，
ｘ₁₆）に対して、ブロックＣの奇数フィールドのデータ
でブロックＸに最も近いデータであるｃ₁₆と、ブロック
Ｅの奇数フィールドのデータでブロックＸに最も近いデ
ータであるｅ₇₀とを用いて、被補間データまでの距離に
応じて線形補間を行う。つまり、奇数フィールドにおい
ては、ｘ₇₀＝（４×ｃ₁₆＋ｅ₇₀）／５，ｘ₅₂＝（３×ｃ
₁₆＋２×ｅ₇₀）／５，ｘ₃₄＝（２×ｃ₁₆＋３×ｅ₇₀）／
５，ｘ₁₆＝（ｃ₁₆＋４×ｅ₇₀）／５と補間する。

【００２１】奇数フィールドの補間処理が終了後、偶数
フィールドの処理が同様に行われる。偶数フィールドで
は、画像データ（ｘ₆₁，ｘ₄₃，ｘ₂₅，ｘ₀₇）を、ブロッ
クＣのデータｃ₀₇およびブロックＥのデータｅ₆₁によっ
て補間する。

【００２２】また、対角線以外の部分のデータの補間
も、基本的に前述の図４に示す場合と同様に行う。この
様子を図６および図７に示す。図６において、画像デー
タ（ｘ₇₁，ｘ₅₃，ｘ₃₅，ｘ₁₇）をブロックＨのデータｈ
₀₁およびブロックＥのデータｅ₇₁をにより補間し、画像
データ（ｘ₆₂，ｘ₄₄，ｘ₂₆）をブロックＨのデータｈ₀₀
およびブロックＥのデータｅ₇₀により補間する。図７に
おいては、画像データ（ｘ₇₄，ｘ₅₆）をブロックＨのデ
ータｈ₀₄およびブロックＦのデータｆ₄₀により補間し、
画像データ（ｘ₆₅，ｘ₄₇）をブロックＨのデータｈ₀₃お
よびブロックＦのデータｆ₄₁により補間する。

【００２３】このフィールド内補間回路３０３について
図８乃至図１０を用いて説明する。図８はフィールド内
補間回路３０３を示すブロック図である。画像データ
は、フィールド単位で入力され、６ライン遅延回路８０
１にて補間に必要なデータが選択される。この６ライン
遅延回路８０１の構成を示したのが図９で、その１ライ
ン分の構成は、１データ遅延素子９０１〜９１６および
１Ｈ−１６遅延回路９９７を直列に接続し、各遅延素子
の両端の（１７種類）データを出力可能に構成されてい
る。さらにこの構成の１ライン分のものを６段直列に接
続する（但し、６段目は１データ遅延素子のみで構成さ
れる）ことにより、フィールド単位に、復号化不能ブロ
ックの周囲画像データを（１７×６種類）出力可能にし
ている。各段は、ｉをそのラインの基準（現在）のデー
タとして、前後８データ時間の遅延量、すなわち１７種
類の遅延量の画像データを出力し、次段のセレクタ回路
１００１〜１０１６により各遅延量毎に１６種類のデー
タが選択される。この選択動作は、復号化不能データの
アドレスにより決定する。

【００２４】このようにｉ−８からｉ＋８までの１６種
類のデータが６ライン遅延回路８０１により選択され、
さらに次の選択回路８０２，８０３に出力される。選択
回路８０２では、復号化不能データのアドレスをアドレ
スジェネレータ８０８から受けて、データｉに対して横
方向のデータｉ−８〜ｉ−１の中から前述の斜め方向の
補間に必要な遅延量のデータを選択する。選択回路８０
３でも同様にデータｉ＋８〜ｉ＋１の中からデータを１
つ選択する。選択回路８０２，８０３により選択された
データは、それぞれ乗算回路８０５，８０６に出力さ
れ、係数ＲＯＭ８０４から読み出された係数を乗算す
る。

【００２５】エラーフラグは、アドレスジェネレータ８
０８およびスイッチ回路８０９に入力する。アドレスジ
ェネレータ８０８は、エラーフラグを受けて、復号化不
能データのブロック内におけるアドレスを検出し、６ラ
イン遅延回路８０１，選択回路８０２，８０３および係
数ＲＯＭ８０４に出力する。係数ＲＯＭ８０４では、復
号化不能データのアドレスを受けて、そのデータのブロ
ック内における位置を検出し、それぞれの位置における
最適な係数を出力する。

【００２６】乗算回路８０５，８０６にて係数倍された
データは、それぞれ加算回路８０７に出力され、加算さ
れてスイッチ回路８０９に出力される。スイッチ回路８
０９は、エラーフラグによって制御され、エラーフラグ
がたっている場合のみＥ（Ｅｒｒｏｒ）側に切り換わる
ようになっている。

【００２７】ここで、前述の補間動作と、図８の選択回
路８０２，８０３の出力データとを比較してみる。図９
における遅延回路で、データ０−ｉ＋５（第０段）が、
図５におけるデータｃ₁₆を出力しているとすると、第１
段のデータは、図５においてその２ライン下のデータに
なり、以下１ラインごとに１６個のデータが選択され
る。従って、データ５−ｉ−５（第５段）は、データｅ
₇₀を出力していることになる。そして、図１０に示す選
択回路１００１〜１０１６において、復号化不能データ
のアドレスに基づいてそれぞれのラインの１６個のデー
タのうち、各遅延量につき１つづつ、合計１６個のデー
タが選択される。ここで選択されたデータは、復号化不
能ブロックの周囲ブロックのデータの中で、ラインを縦
に採った場合に各ラインから１つづつデータを選択する
ことを示している。このように選択されたデータの中か
ら、選択回路８０２，８０３にて、最終的にどの遅延量
のデータを補間に用いるデータとするかが選択される。
つまり、図５におけるデータ（ｘ_70, ｘ₅₂，ｘ₃₄，
ｘ₁₆）を補間する場合には、データｃ₁₆とデータｅ₇₀が
選択される。

【００２８】以上説明したように、それぞれの補間が行
われた（実際は、制御回路の制御により１つの補間処理
のみ行う）復号化不能データは、スイッチ回路３０４に
出力される。スイッチ回路３０４は、制御回路６からの
信号を受けて、これら２つの補間データから１つを選択
して出力する。

【００２９】補間が行われたデータは、切り換え回路３
の端子ｂに出力される。切り換え回路３は前述のよう
に、端子ａからのエラーでないデータあるいは端子ｂか
らの補間されたデータを選択して出力端子７より出力す
る。

【００３０】本実施例においては、画像に動きがあった
場合に斜め方向にフィールド内補間を行うので、視覚的
により相関の強いデータで補間を行うことが可能にな
る。

【００３１】次に、図１１乃至図１５を用いて本発明の
第２の実施例を説明する。なお、第１の実施例と同一ま
たは同様の作用を施すものは、同一の番号を付してその
詳細な説明は省略する。

【００３２】本実施例においては、補間処理を決定する
のに、動き情報に加えてデータブロックのスペクトラム
を推定した推定結果を用いる。

【００３３】図１１において、スペクトラム推定回路９
は、復号化不能ブロックの周囲ブロックのスペクトラム
レベルから復号化不能ブロックのそれを推定し出力す
る。このスペクトラム推定回路９の動作を図１２乃至図
１４を用いて説明する。図１２において、入力された画
像データは、ＤＣＴ回路１２１にてＤＣＴされる。この
ＤＣＴの係数を示したのが図１３で、このＤＣＴ係数
を、周波数エリア分割回路１２２にて図１４に示すよう
なエリアに分割する。そして、ランク判定回路１２３に
て各エリアのエネルギー強度を評価して出力する。具体
的には、各エリアのＤＣＴ係数のレベルをあるしきい値
と比較することによって、その動きのランクを決定す
る。ここでは、水平方向の高周波成分（図１４のエリア
３，４）を多く含む場合と、斜め方向の高周波成分（図
１４のエリア７，８）を多く含む場合についてランク信
号を出力する。そして、復号化不能ブロックの周囲ブロ
ック、ここでは復号化不能ブロックの上下に隣接するブ
ロックのデータにより復号化不能ブロックのスペクトラ
ム状況を推定する。

【００３４】制御回路６は動き判定結果とスペクトラム
検出結果を入力し、補間回路５に対し、水平方向に高周
波成分が少なく、動きありと判断された場合には後述の
ライン単位のフィールド内補間を行い、斜め方向に高周
波成分が少なく、動きありと判断された場合には前述の
斜め方向のフィールド内補間を行うように信号を出力す
る。

【００３５】ここで、ライン単位のフィールド内補間に
ついて、図１５を用いて説明する。

【００３６】いま、図１５におけるブロックＸが復号化
不能ブロックであったとする。前述のように、本実施例
ではフィールド単位で処理が実行されている。そのた
め、復号化不能ブロックＸの奇数フィールドラインｘ
１，ｘ３，ｘ５，ｘ７は、正しく復号されたブロックの
ラインのうち、該奇数フィールドの最上ラインｘ１に最
も近い同一フィールドのラインであるブロックＡのライ
ンａ７と、最下ラインｘ７に最も近い同一フィールドの
ラインであるブロックＢのラインｂ１により、フィール
ド内線形補間される。すなわち、図１５に示すように、
奇数フィールドにおいては、ｘ１＝（４×ａ７＋ｂ１）
／５，ｘ３＝（３×ａ７＋２×ｂ１）／５，ｘ５＝（２
×ａ７＋３×ｂ１）／５，ｘ７＝（ａ７＋４×ｂ１）／
５となる。

【００３７】奇数フィールドの補間処理が終了後、偶数
フィールドの処理が同様に行われる。偶数フィールドで
は、ラインｘ２，ｘ４，ｘ６，ｘ８を、ブロックＡのラ
インａ８およびブロックＢのラインｂ２によって補間す
る。このようにして、ライン単位のフィールド内補間が
行われる。

【００３８】本実施例においては、画像に動きがあった
場合で、水平方向の周波数成分が主体の場合にはライン
単位のフィールド内補間を行い、斜め方向の周波数成分
が主体の場合には斜め方向のフィールド内補間を行うこ
とにより、画像ブロックと周囲ブロックの相関性にあっ
た補間が行うことができる。そのため、視覚的に画像の
劣化が目立たない。

【００３９】

【発明の効果】以上の説明から明らかなように、本発明
は、ブロック符号化画像信号の修整において、復号化不
能ブロックのデータを修整する際に、フィールド内補間
として、斜め方向の補間を行っている。

【００４０】一般に、人間の視覚特性上、水平・垂直方
向と比較して、斜め方向の感度が悪いということから、
直交変換等を用いて圧縮・符号化を行うシステムにおい
ては、画像信号の斜め方向の周波数特性はあらかじめ抑
圧されている。画像信号は、垂直・水平方向と比較して
斜め方向成分の占有比率が低く、画素間の相関が高いた
め、本発明のように、復号化不能ブロックの斜め方向に
位置するブロックのデータを用いてフィールド内補間を
行った場合、画像のゆがみ（絵柄の不連続等）が目立ち
にくくなり、補間修整の効果が高い。

【００４１】また、周囲ブロックの動き状況に加えて、
周囲ブロックのスペクトラムに基づいて復号化不能ブロ
ックのスペクトラムを推定することによりフレーム間・
ライン単位のフィールド内補間・斜め方向のフィールド
内補間を切り換えるために、動きがある画像で水平方向
に相関が強い場合はライン単位のフィールド内補間を行
い、動きが画像で斜め方向に相関が強い場合は斜め方向
のフィールド内補間をおこなう。そのため、復号化不能
ブロックが精細な画像で動きがあった場合に、より相関
の強いデータで補間が可能となり、精細な画像内に低解
像度ブロックが存在することがなくなる。また、復号化
不能ブロックを補間した画像においても違和感を与える
解像度の変化がなくなり、トータル的にバランスのよい
画像となる。

【図面の簡単な説明】

【図１】本発明の実施例における、データの流れを説明
するための図である。

【図２】本発明の第１の実施例である画像信号再生装置
のブロック図である。

【図３】本発明の実施例における、補間回路のブロック
図である。

【図４】本発明の実施例における、フレーム間補間を説
明するための図である。

【図５】本発明の実施例における、フィールド内補間を
説明するための図である。

【図６】本発明の実施例における、フィールド内補間を
説明するための図である。

【図７】本発明の実施例における、フィールド内補間を
説明するための図である。

【図８】本発明の実施例における、フィールド内補間回
路のブロック図である。

【図９】本発明の実施例における、フィールド内補間回
路の内部の動作を説明するための図である。

【図１０】本発明の実施例における、フィールド内補間
回路の内部の動作を説明するためのブロック図である。

【図１１】本発明の第２の実施例である画像信号再生装
置のブロック図である。

【図１２】本発明の第２の実施例における、スペクトラ
ム検出回路の動作を説明するためのＤＣＴ係数を示した
図である。

【図１３】本発明の第２の実施例における、スペクトラ
ム検出回路の動作を説明するための図である。

【図１４】本発明の第２の実施例における、スペクトラ
ム検出回路のブロック図である。

【図１５】本発明の第２の実施例における、ライン単位
フィールド内補間を説明するための図である。

【符号の説明】

４動き判定回路５補間修正回路９スペクトラム検出回路３０２フィールド内補間回路

Claims

【特許請求の範囲】

【請求項１】画像信号を複数画素ごとにブロック符号
化したデータを前記ブロック単位で復号化し、画像信号
を再生する画像信号再生装置であって、復号化不能ブロックの周囲ブロックより生成した補間デ
ータにより、前記復号化不能ブロックのデータを補間す
る補間手段を備え、前記補間手段は、少なくとも前記周囲ブロックのデータ
により斜め方向に補間データを生成し、該補間データに
より補間を行うことを特徴とする画像信号再生装置。
【請求項２】画像信号を複数画素ごとにブロック符号
化したデータを前記ブロック単位で復号化し、画像信号
を再生する画像信号再生装置であって、復号化不能ブロックの周囲ブロックより所定の方法で生
成した補間データにより、前記復号化不能ブロックのデ
ータを補間する補間手段を備え、前記補間手段は、少なくとも前記周囲ブロックのデータ
により斜め方向に補間データを生成し、該補間データに
より補間を行い、前記所定の方法は、前記周囲ブロックの周波数情報に基
づいて変更可能であることを特徴とする画像信号再生装
置。