JPS59117384A - テレビジヨン信号のフレ−ム間適応予測復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明はテレビジョン信号のフレーム間符号化装置に関
する。テレビジョン信号のフレームｆａ’ｌ　予測符号
化においては予測誤差信号の発生量の多少は主として動
きにより左右される。静止画像についてはフレーム間予
測を用いると予測誤差は原理的にはゼロである。現実の
静止画像についてフレーム間予測誤差が必ずしもゼロに
ならない場合があるが、これは主として画像に混入して
いる雑音の所為である。動きを含む画像については、フ
レーム間予測を用いると予測誤差は大きく良い予測方法
とは言えない。動きを含む画像に対しても予測誤差を小
さくする、すなわち予測能率を高める手法として「動き
補償」がある。これは種々の速度をもつ動きに対応でき
るように予測関数を多数準備しておいて、動きに対して
予測誤差量がもっとも小さい予測関数を検出すると、こ
の予測関数すなわち最適予測関数に対応する速度が、そ
の動き物体の速度に一致する特徴を利用して因る。つ１
０考慮すべき範囲内の速度の種類数だけ予測関数を用意
しておけば、その範囲内の動きは補償できる。たとえば
水平方向に±Ｈ画素／フレーム。

垂直方向に±Ｖテラインフレームの範囲の動きを補償す
るには（２Ｈ＋１　）Ｘ　（２Ｖ＋１　）種の予測関数
を用意しておけば良い。

このようにすると動き補償によりたとえ動きを含む画像
に対しても常に最適予測を行なうことができる。

しかしながら従来の予測符号化においては、動バ、ファ
メモリにおける蓄積状態に基づいて実行されている。す
なわち入力テレビジョン信号に含才わている雑音量を考
慮しないで符号化制御が為されている。ところが現実に
は同一内容の画像であっても混入した雑音の量により予
測誤差の符号量は大巾に異なる。このように、多量の符
号を発生しても、その中の相当な部分は雑音によりて占
めら力ることもあるので雑音によって発生する符号量は
できるだけ発生しないようにすることが能率の良い予１
ｔｊｌｌ符号化の実現にとってきわめて重要である。

また予測誤差の符号化において用いる量子化特性が粗い
場合などけ復号化後のテレビジョン信号は階調数が少な
（なったような画質となり目に見え易くなる。しかし、
この時にランダム雑音を少し１登してやることで、この
劣化は視覚的には相当軽減されることは良く知られてい
る。

すなわち本発明は入力テレビジョン信号に含まれている
雑音の計を評価し、その評価結果を利用し、て雑音を符
号化しない能率の良い予測符号化と品質の良いテレビジ
ョン画像を復号できる予測後場化を目的とする。

本発明に、符号化・多重化さハた少なくとも最適予測関
数、予測誤差、雑音の量の評価結果および符号化制御信
号の４種信号を各々分離・伸長する手段、分離・伸長さ
引た最適予測関数、予６１１１誤差および符号化制御信
号を用いて予測へ分化する手段、雑音の量の評価結果に
応じた雑音を発生する手段、この雑音を予測復号化する
手段の出力に加算することにより修正されたテレビジョ
ン信号を得る手段、とからｌる。

つぎに本発明の原理について説明する。

平均値がゼロで分散がｄ、′自己相関々数ψ（ｄ）＝−
ｅｘｐ（−（Ｘ・ｄ）なるテレビジョン信号が入力され
るとする。ただし■は画像内容（複維さの程度）を表わ
すパラメータであり、ｄは相関の距離とする。

この画像がＶ画素／フレームなる速さで移動したとする
吉、この時のフレーム間予θＩＩＭ差電力Ｐｅ（Ｖ）は （１３Ｐｅ（Ｖ）＝２０”ｏ　　（１ｅｘｐ（（Ｉすｖ
ｌ））で与えられる。

ここでもし入力テレビジョン信号に分散ｄなるランダム
靴音が含１れていたとすると、この時のフレーム間予測
側差電力Ｐ　ｅ　（ＶＪσ７）は、（２）　　Ｐｅ（Ｖ
〆ね）＝２σ’、’（１−ｅｘｐ（ｃ＋ｓｌＶり）十屯
：’で与えられる。

雑音の多い信号でＶｉＣが大きいためＰａ（Ｖ、σカ）
の中にへの占める割合が大きく、この時には雑音を符号
化することにもなりかねない。

（２）式の中の第１項は動きによって生じるフレーム間
予測誤差電力であり、第２項は雑音の予測誤差電力であ
る。

動き補償時に検出される最適予測関数を見れば動いてい
る部分と静止している部分が区別できる。

すなわち、静止ｓ１分（Ｖ＝・０）を表わＬ−でいる最
適予測関数を用いた時の予測誤差はフレーム間予測声差
であるのでこの時のみ予測供差を評価、たとえげ２乗和
、すると（２）式よりＰｅ　（ｏ、内）＝４となりごが
求められる。

通常のフレーム間予測では発生１−だ差分が雑音による
ものか、あるいは動きによるものかは区別できない。

本発明によれば動き部分と静止部分を正しく区別できる
ため実際のテレビジョン信号に対してもその静止部分の
みを用いて含まれている雑音の柚が正しく評価される。

したがってこの雑音量の評価結果を用いて符号化制御を
行なうことができる。

たとえば通常の符号化制御方法として良く知られた方法
として量子化特性の制御、サブサンプへサプライン、孤
立点除去などがあるがこわ、らの適用の判定にこの雑音
量を用いる。

まず量子化特性の制御について謄明する。第１図（、）
には非線形量子化特性の一例を示す。この特性において
入力の絶対値がゼロ出力とされる領域、いわゆるデッド
ゾーン（ｄｅａｄ−ｚｏｎｅ）、はこの特性がフレーム
間予測誤差に適用された場合、とくに静止部分に適用さ
れた場合にはテレビジョン信号に含まれるランダム雑音
を除去する効果を有する。すなわち（２）式においてｖ
＝０であるのスｐｅ（ｏ　、内）−ｃｙ、、’となる。

このへは静止部分のフレーム差分のｒｍｓ値であるので
もし第１図（ａ）の特性のｄｅａｄ−ｚｏｎｅ　　の巾
（ＤＺ）を弧に等しくとったとすると、含まれているラ
ンダム雑音がガウス性雑音であるとき静止部分について
のフレーム間差分に含捷れているその雑音の約６８％が
除去される。

同様にＤＺを２銖に等しくすると約９８チが除去される
。すなわちαの値によりＤＺをσ、あるいは２広などと
変化させるようにすると少なくとも静止部分に金塊れて
いる雑音の大部分を除去することができる。嶋１図（ｂ
）にＩ）Ｚをほぼ２銖に等しく、かつＤＺ≦６にとる場
合の例を示す。入力テレビジョン信号がかりに８ビツト
にて表わされるとすると、第１図（ｂ）の縦、横軸の目
盛にはいずれも１／２５６が乗じられる。以下も同様で
ある。

つぎに孤立点除去の場合について説明する。孤立点では
、たとえば第ｉラインの第５番の画素Ｘｉ、Ｊに対する
量子化された予測誤差Ａ、ｊ　がゼロではなくて、周辺
の量子化された予測誤差がゼロの場合の停、、のことを
指す。発生する一号量を低減するためにこの孤立点をゼ
ロとする、スナわち孤立点除去を行なう場合、すべての
孤立点を一律に除去すると画質劣化を起すことがある。

したがって、孤立点の誤差振巾を用いて除去するや否か
の判定を行なって画質劣化を生じないようにする必要が
ある。入力テレビジョン信号にランダム雑音が含まれて
いるとすると、フレーム差分には孤立点が多く含笠れる
ことになるが、孤立点の数は雑音の量が多いほどすなわ
ち信号対雑音比が小さいほど多くなる。また孤立点の振
巾も大きくなっていく。したがって孤立点除去の可否の
判定基準たとえば判定閾値を雑音の量に対応し２て変化
させると、雑音による孤立点をうまく除去できる。

第２図に雑音量へに対する判定閾値（Ｔ）の変化の例を
示す。雑音量が多くなるにつれて閾値を大きくし、より
多くの孤立点を除去することにより符号化される雑音の
数を減少させることができる。

符号化される画素数を減少さ（゛るための技術として他
；でサブサンプルやサプラインという方法がある。）ま
ずサブサンプルｆ対する雑音量を用いた適応制御につい
て説明する。ｎ：１サブサンプリングではｎ画素ｂｃつ
き１画素を符号化するが、これらの画素は通常は同一走
査線上にある。雑音の量が少ない時にはこのｎの値を刀
＼ざぐとり、多い時ＶＣは犬きくする。こうするとサブ
サンプルによる画質劣化を検知し葺くすることができる
。第３図Ｉｃ　＠Ｅ　音量ωりとサブサンプル比ｎと（
Ｄ　８　係（Ｄ　−例を示す。なお！１＝１の時はサブ
サンプルしない場合のことである。サプラインについて
も同様Ｋｎ：１サプラインが適用できる。

サブサンプルやサプラインにより符号化されなかった画
素または走査線は復号時にはたとえば、ｎに対応して荷
重を可変とする／内挿により合成すればよい。

またこのサブサンプルにおいて強制的にｎ：１の比で符
号化する代りに間引かれる予定の画素の予測誤差がある
閾値より大力小かによってこの画素の間引きの中止また
は実行を行なうことかできる。この時の閾値もたとえば
第２図に示したのと同様に雑音量へを用いて変化させる
とよい。

またこの雑音量へ（も符号化し、復号化後の画像に対し
てへに相当するランダム雑音を重畳することにより、仮
に符号化により画質の劣化が起った場合でもその劣化を
ある程度軽減することができる。すなわち微妙な階調変
化がある部分などけ符号化とぐに量子化の影響を受けて
劣化し易いが、この劣化部分についてはランダム雑音の
重畳により劣化がマスクされ目につき難くなる人間の視
覚の特性を利用するわけである。

以下図面を参照しながら本発明の実施例について詳細に
説明する。第４図に本発明に関る予測符号化装置のブロ
ック図を示す。入力テレビジョン信号は線１０００　’
ｆ：介Ｌ７て最適予測関数検出回路１０と減算器１２へ
各々供給される。減算器１２においてはこの入力テレビ
ジョン信号と可変遅延回路１１から線１１００を介して
供給される最適予測信号との間で減算しその差すなわち
予測誤差を発生する。この予測誤差は線１２１３．１２
１６　を介Ｅ２てそれぞれ量子化器１３と雑音評価回路
１６へ供給される。量子化器１３は予測誤差を少ないレ
ベルで表わすために量子化するが、その量子化特性は一
般に複数個備えており、線１７００を介して供給される
符号化制御信号に従って選択され使用される。

第１図に示したＤＺの可変制御も量子化特性の選択の一
種である。

寸だ、この量子化回路１３では符号化制御信号により祢
立点除去やサブサンプリング、サプラインなどの画素単
位あるいは走査線単位の処理も行ｌわれる。す〃わち、
この量子化回路１３は除去さ引、る孤立点、間引かれる
画素あるいは走査線に対して予測誤差の量子化した出力
をゼロにする機能を保有しているものとする。

量子化器１３において量子化された予測誤差は線１３０
０を介して加算器１４と不等長符号化回路１８へ供給さ
れる。加算器１４はこの予測誤差と最適予測信号とから
局部復号信号を発生し、フレームメモリ１５に供給する
。フレームメモリ１５においておよそ１フレ一ム時間遅
延した局部復号信号は線１５００　Ｋより最適予測関数
検出回路１０と可変遅延回路１１へそれぞれ供給される
。最適予測関数検出回路１０では画面内に含まれる動き
に対して最大の予測能率を示す最適予測関数を検出する
。最適予測関数の検出方法としては、たとえば１９７８
年電子通信学会技術研究報告Ｖｏ１．７８Ｎα３９に掲
載されている二宮による論文「フレーム間符号化におけ
る動き補正Ｊ（論文番号ＩＥ７８−６）が適用できる。

この論文の手法を用いて得られる検出結果（画面内の物
体の動きの速さと方向を示す動ベクトル）に対応する予
測関数が本発明の最適予測関数に相当する。こうして検
出された最適予測関数は線１０１１．１０１６．１０１
８を介してそれぞれ可変遅延回路１１、雑音評価回路１
６および不等長符号化回路１８へ供給される。可変遅延
回路１１は最適予測関数に対応する時間だけ遅延した信
号を最適予測信号として出力する。たとえば走査線方向
に１画素／フレームの速さで動く物体がある時には、（
１フレーム＋１画素）時間遅延した信号が最適予測信号
であり、同じく走査線方向に７画素／フレーム（Ｖは整
数とする）で動く物体に対しては（１フレ一ム＋Ｖ画素
）時間遅延した信号が最適予測信号である。この例にお
ける（１）ｔレーム＋Ｖ画素）時間の遅延量はＶが一定
でないため一定しないが可変遅延回路１１を用いること
によりフレームメモリエ５と可変遅延回路１１との遅延
時間の和を必らず（１フレ一ム＋Ｖ画素）時間とするこ
とができる。可変遅延回路１１は書き込みと読み出しが
互いに異なる番地に対してできるように構成されたラン
ダム・アクセス・メモリを用いると実現できる。最適予
測信号はこのようにして可変遅延回路１１から出力され
る。

線１０１８　’ｆ介して不等長符号化回路１８へ供給さ
れた址適予測関数はたとえばハフマン符号化などの不等
長符号化の手法で符号化され、同じく不等長符号化され
た予測誤差信号および後述する符号化制御信号と多重化
される。不等長符号化回路１８で不等長符号化された最
適予測関数と予測誤差および符号化制御信号は伝送路２
０００との速度整合を行なうバッファメモリ１９へ供給
される。

バッファメモリ１９の出力は伝送路２０００あるいはデ
ィジタル情報を記憶できる記憶媒体へ供給される。捷た
バッファメモリ１９のメモリ容量の充足状態を表わす信
号が線１９１７を介して符号化制御回路１７へ供給され
る。符号化制御回路１７はこのバッファメモリ１９の充
足状態と雑音評価回路１６から線１６１７を介して供給
される入力テレビジョン信号に含まれる雑音量の評価結
果の両者を用いて符号化制御を行なう。この符号化制御
信号−不等長符号化回路１８において符号化される。

つぎに雑音評価回路１６の動作について説明する。第５
図に雑音評価回路１６のブロック図を示す。線１０１６
を介して供給された最適予測関数を表わす情報は比較回
路１６０においてフレーム間予測と等価であるか否かの
判定を受ける。もしフレーム間予測と等価であればたと
えば論理レベル１を、そうでなければＱを出力するもの
とする。

累積回路１６１ではこの比較回路１６０の出力が論理レ
ベル１の時のみ、線１２１６を介して供給される予測誤
差信号を累積する。累積時間はリセット回路１６２によ
り指定されるが、たとえば１フレ一ム時間程度に選ぶと
よい。すなわち、１ル−ム内でｆ）静止部分についての
雑音量より、入力テレビジョン信号に含まれている雑音
量を評価することになる。累積時間は、もちろん、複数
フレームに及ぶ時間を設定１−ても良いが、反対に１フ
レ一ム時間よりもずっと小さな時間１（とると評価結果
が不正確になるおそれがある・累積回路１６１の出力に
たとえば第１．２．３図の横軸に示したように内とする
が、原理的には雑音量を示すものならば特にその表現方
法に制限Ｉ′ｉない。

つ〜′に第６．７図を参照しつつ他の実施例について説
明する。第６図に第２の実施例にかかる符号化装置の一
構成例を示す。第４図に示１−た第１の実施例との相異
点は雑音評価回路１６の評価結果が符号化制御回路１７
のみならず線１６１８を介して不等長符号化回路１８へ
も供給されることである。この時不等長符号化回路１８
はこの評価結果をも符号化および多重化できるものとす
るが、たとえば１フレ一ム時間に１回程度の符号化で実
用上は十分である。他は第４図の符号化装置と同じでよ
い。

第７図に第２の実施例における復号化装置の−構成例を
示す。伝送路２０００を介して供給される圧縮符号化さ
れたテレビジョン信号はまずバッファメモＩＪ　５０に
おいて伝送路上での速度と復号化装置における復号速度
との速度整合をとるため−たん記憶される。バッファメ
モリ５０の出力は不等長復号化回路５１において符号化
および多重化された符号化制御信号、最適予測関数、量
子化された予測誤差、雑音量の評価結果などに分離・伸
長され、線５１５３．５１５５．５１５２、および５１
５６を介してそ力ぞわ内挿回路５３、可変遅延回路５５
、加算回路５２および雑音発生回路５６へ供給される。

可変遅延回路５５は供給された最適予測関数に従って最
適予測信号を発生し加算回路５２へ供給する。加算回路
５２ではへ５１５２を介Ｅ−で供給される予測誤差と、
この最適予測信ちより復号信号を発生する。この復号信
号は、サブザングルやサプラインが適用されている場合
にけ内挿回路５３において内挿さワ１．間引がれた画素
あるいは走査線の合成がなされ、間引きのないテレビジ
ョン信号が得られる。内挿を適用することの可否は符号
化制御信号に従う。このようにして得られた間引きのな
いテレビジョン信号は線５３００　’ｉ介してフレーム
メモリ５４と加算回路５７へ同時に供給される。フレー
ムメモリ５４ではおよそ１フレ一ム時間遅延した後にこ
のテレビジョン信号を可変遅延回路５５へ供給する。こ
の可変遅延回路５５は第４．６図にそれぞれ示した可変
遅延回路１１と同一構成で実現できる。雑音発生回路５
６では線５１５６を介［７て供給される雑音量入金用い
て匁に対応するランダム雑音を発生する。ここで発生さ
れたランダム頓−音は加算回路５７において復号された
間引きのないプレビジョン信号に加えられる。

こうして、粗い量子化特性が使用された場合に起り易い
不自然な階調変化をランダム雑音の重畳によりランダム
化すると、視覚的に画質改善するととが可能となる。す
なわち符号化装置における入力テレビジョン信号とほぼ
同じ量のランダム雑音が４骨化装置の出力テレビジョン
信号に金塊れることになるが、もし弓、に無関係にラン
ダム雑音を加算すると静止画や動きの少ない準静止側に
対しても多量の雑音を加えることにもなりかねず、フレ
ーム間装置が原理的にもつ雑音軽減機能を殺１、て【７
まうたけてなく入力テレビジョン信号よりも多重の雑音
を含む復号テレビジョン信号を出力することになる。ま
た密な量子化特性を用いて符号化されている場合には一
般に％も小さく、この雑音軽減機能は活用されている状
態にあるので、この時ＫＩ−ｉ加算回路５７では雑音の
加算を行なわないようにすることが好ましい。すなわち
線５１５６を介して符号化制御信号とくに量子化特性の
選択状態と雑音量への両者を雑音発生回路５６に供給す
るようにし７ておいて、密な量子化特性が選択されてい
て、かつびＪ：小さい場合には雑音発生回路５６の出力
雑音量をゼロとする。

このようにして得られる間引きのない、画質劣化の少な
い、とぐに静止〜準静止側に対してはむしろ入力テレビ
ジョン信号よりも品質の良いテレビジョン信号が得られ
、復号化装置出力として線３０００　を介して出力され
る。

本発明の符号化装置においては、この雑音の評価結果の
みならず、バッファメモリ１９の充足度も符号化制御に
利用することができる。たとえば充足＋６．ｆｔｎ個に
区分しておいて各区分毎にＭｌ。

２．３図に示Ｅ−た制御を定めておき、充足度と勾の両
者を用いればより細かな符号化制御が可能となる。

以上詳しく説明したように、本発明は従来のようにバッ
ファメモリ１９の充足度のみを用いた符号化制御ＪとＲ
ｙｒｖ入カテシカテレビジョン信号れている雑音量をも
考慮して符号化制御するため、雑音のように符号化する
必要のない信号は除去（２あるいは伝送路の速度の制限
によりやむを得ずサプライン、サブサンプル、あるいは
粗１．．量子化特性などを用いる場合でも雑音量に対応
してできるだけ符号化１が小さくなるような制御が実現
できるため、無駄のない符号化が可能となる。すなわち
？１号伸率が高くなる。また、准音量銑も符号化１〜て
復号化装着へ伝送すると、ゆ４後の画品質の劣化と（１
こ柑込都子化特性が符号化に用いられた場合の劣化の大
１１ｇ１軽減に利用できる。

以上述べた入力テレビジョン信号の雑音量の評ＷＩ結果
を符号化ある込は符号化・でり分化に利用するためきめ
細かな符号化・復号化が可能とｆｘｖ、符号Ｃヒ能率は
高（、復号後の画質が良いｔ−Ｙ帰化装置、矛）るいは
少分化装電が実現官りる。

このように本発明を笑用に供するとその効果は−極めて
犬である。

変化の例を説明するための図。

第４．５．６図は本発明の予測符号化装置の一実施例を
示すブロック図、第７図に子側復号化装置全説明するブ
ロック図である。

図中、１０け最適予測関数検出回路、１１ね可変遅延回
路、１２け減算器、１３け量子化器、１４は加算器、１
５はフレームメモリ、１６は雑音評価回路、１７は符号
化制御回路、１８は不等長符号化回路、１９はバッファ
メモリ、工６ｏｆ′ｉ比較回路、１６１は累積回路、１
６２はリセット回路、５０はバッファメモリ、５１は不
等長復号化回路、５２は加算回路、５３は内挿回路、５
４はフレームメモリ、５５は可変遅延回路、５６は雑音
発生回路、５７け加算回路である。

１＋　　ロ （０） ２１ 雑音量６ （ｂ） 才　２　記 −ｋｉ　　ｔ　６ オ　　　３　　図 μ　　　３２／ ÷１青量Ｇ

Claims (1)

1. 【特許請求の範囲】 １、雑音を含む入力テレビジョン信号に対して、フレー
   ム間予測を含む複数個の予測関数の中から一個最適予測
   関数を定め、これがフレーム間予測と一致する時に得ら
   れる予測誤差から前記雑音の量を評価し、少なくともこ
   の評価結果を利用（７て符号化制御しながら前記最適予
   測関数を用いて予測符号化し、少なくとも前記最適予測
   関数、前記評価結果、前記符号化制御信号および予測符
   号化出力である予測誤差の４信号を含み圧縮符号化され
   た符号列からテレビジョン信号の復号化にあたり、該符
   号列より前記４信号に分離・伸長する手段、分離・伸長
   された前記最適予測関数、前記予測誤差および前記符号
   化制御信号を用いて予測復号化する手段、前記雑音の量
   の評価結果に応じた雑音を発生する手段、該雑音を前記
   予測復号化する手段の出力に加算することにより修正さ
   れたテレビジョン信号を得る手段、と全具備【またこと
   を特徴とするテレビジョン信号のフレーム間適応予測り
   骨化装置。 ２　前記修正されたテレビジョン信号を得る手段はフレ
   ーム間予測と一致しない前記最適予測関数により復号化
   されたテレビジョン信号に対してのみ前記雑音を加算す
   るものであるＩ特許請求の範囲第１項記載のテレビジョ
   ン信号のフレーム間適応予測得号化装置。