JPH037190B2 - - Google Patents

Description

【発明の詳細な説明】 本発明はテレビジヨン信号の予測符号化装置に
関する。

予測符号化方式は伝送すべき入力信号と予測信
号との差すなわち予測誤差信号を伝送することに
より伝送情報量を低減するという動作原理に基づ
く方式であり、本発明はこの予測信号を与える予
測方式を多数用いてその中から最適なものを一つ
選択して用いる予測符号化方式である。

たとえば、フレーム間符号化方式では静止画あ
るいは、ほとんど動きを含まない準静止画に対し
ては大きな振巾をもつ予測誤差信号の発生頻度が
低くなるため発生する情報量が少なく、逆に動き
を多く含む動画に対しては発生情報量は増加す
る。すなわち、フレーム間符号化では動きが少な
い程符号化能率が良いが動きが多くなると能率が
低下する。そこで、動きが含まれている場合にも
能率を高める試みはこれまでにもなされてきた。
たとえば、テレビジヨン信号に含まれる動きは平
行移動的であると見なされる場合が多いので、フ
レーム間における被写体の位置の変化量を考慮し
たフレーム間予測すなわち「動き補償」フレーム
間予測は動画に対しても高い符号化能率を実現す
るのに最も有効な方式である。この「動き補償」
フレーム間予測方式においては種々の動きに対し
て能率を高く保つために多くの予測方式を用いる
ことになる。したがつて「動き補償」フレーム間
予測方式は多数の予測方式の中から最適な予測方
式を適応的に決定する予測方式と言い換えること
ができる。

ここでこの「動き補償」について原理を簡単に
説明する。

第１図に示すようにｔ＝t₀なる時刻に座標
（x₀，y₀）付近にあつた図形が１フレーム時間
（τ）後には（x₁，y₁）に移動したとする。この
時、通常のフレーム間予測においては１フレーム
前の画素を予測信号として用いることによりｔ＝
t₀＋τにおける（x₀，y₀）付近の図形内の画素の
予測にはｔ＝t₀における（x₀，y₀）付近の図形内
の画素が用いられる。したがつて、第１図から明
らかなように、ｔ＝t₀＋τでは予測誤差が零でな
いものが（x₀，y₀）と（x₁，y₁）の両地点の付近
に発生する。

ここで、もし何らかの方法で（x₀，y₀）から
（x₁，y₁）への図形の変位量を検出できたとする
と、ｔ＝t₀での（x₀，y₀）近傍の図形を用いてｔ
＝t₀＋τにおける（x₁，y₁）近傍の図形を予測で
き、発生情報量が大巾に減少する。これがいわゆ
る「動き補償」の原理である。

この変位量の検出方法すなわち最適予測方式の
複数画素からなるブロツク単位での決定方法とし
ては、たとえば1978年電子通信学会技術研究報告
Vol.78No.39に掲載されている二宮による論文「フ
レーム間符号化における動き補正」（論文番号
IE78−６）が適用できる。

この論文においては動画素に対して「動き補
償」（この論文中では「動き補正」と記されてい
る）を適用すればフレーム間符号化方式のみの場
合の発生情報量のおよそ1/2にできるほど大巾な
情報圧縮が可能であることが示されている。

このように高い符号化能率を有する「動き補
償」を用いてテレビジヨン信号の伝送装置を構成
した場合伝送路の伝送速度が高い場合には問題な
いと考えられるが、伝送速度が低い場合には「動
き補償」より検出された最適予測方式を表わす情
報や予測誤差信号の両者を伝送することが困難と
なる場合が考えられる。

「動き補償」を用いない従来からのフレーム間
予測符号化装置においては入力テレビジヨン信号
の発生情報量が設定されている伝送速度よりも相
当大きい時にはフレーム（あるいはフイールド）
単位で符号化動作を一時中断することにより発生
情報量を減らして伝送路の伝送速度との間の速度
整合を図つている。

しかしこのフレーム（あるいはフイールド）単
位での符号化動作の一時停止は後号・再生された
画像においてジヤーキネスと通称呼ばれるギクシ
ヤクした不自然な動きを発生させる。換言すれ
ば、この不自然な動きは欠落したつまり予測誤差
が伝送されなかつたフレーム（またはフイール
ド）を伝送された直前のフレーム（またはフイー
ルド）で単純に置き換えたために起る。図で示す
と、原信号において第２図ａのように上方に滑ら
かに動く図形は第（ｉ＋１）フレームにおいて第
ｉフレームを単純に置き換えた第２図ｂの場合に
は不自然となる。

この点、「動き補償」フレーム間符号化方式に
おける最適予測方式は本質的に動きの方向、速さ
に関する情報を含んでいる。すなわち前フレーム
（番号ｉ）を用いてフレーム（ｉ＋１）の動き補
償フレーム間予測を行う時、その予測信号の中で
は、動領域はブロツク単位で動きベクトルで示さ
れた分だけ変位をしており、仮い動き補償が完壁
であり予測誤差がゼロとなる理想的な場合を想定
すると、この予測信号中の動領域はフレーム番号
（ｉ＋１）での原信号中の動き物体の位置にある
ことになる。この理想的な状態からのズレがゼロ
でない予測誤差信号が発生する原因であると考え
ることが出来る。動きベクトルの検出精度が高い
ほど、この理想的な状態に近づく。したがつて最
適予測方式に含まれる動き情報を用いて、従来技
術によれば第２図ｂのように単純にフレーム（ま
たはフイールド）の置き換えが行なわれるところ
を、第２図ｃに破線で示すように動き部分に対し
ては動きの量だけずらしてやることにより第２図
ａのような滑らかな動きを再現することができ
る。

すなわち、本発明の目的は低伝送速度でのテレ
ビジヨン信号伝送において発生し易い前記のよう
な不自然な動きを、「動き補償」を用いる符号化
方式において得られる最適予測方式を表わす情報
を用いて軽減した符号化装置を提供することにあ
る。すなわち本発明は、フレーム間予測を含む複
数個の予測方式を用い、複数個の画素からなるブ
ロツク毎に前記複数個の予測方式の中から最適予
測方式を一つ定めて用いるテレビジヨン信号の最
適予測符号化において、前記最適予測方式を検出
する手段、該最適予測方式に対応する予測信号を
発生する予測信号発生手段、該予測信号に対する
予測誤差信号を発生する誤差信号発生手段、前記
誤差信号発生手段の出力レベルを固定することが
出来る量子化手段、前記最適予測方式検出手段と
前記量子化手段の各出力を各々固定するよう指示
することが出来る符号化制御手段、前記最適予測
方式検出手段と前記量子化手段の出力を圧縮符号
化する手段、該圧縮符号化された情報の発生速度
と該情報の外部への出力速度の整合を図り、動作
状況を前記符号化制御手段に伝達するバツフアメ
モリとを具備することを特徴とするテレビジヨン
信号の符号化装置である。

本発明においては、発生情報量が伝送路の伝送
速度と比較して相当大なる場合に、「動き補償」
を用いない従来のフレーム間符号化であればフレ
ーム（あるいはフイールド）単位で一時符号化動
作が停止するはずの画像に対しても、いきなり符
号化停止にする前に最適予測方式を示す情報のみ
を伝送し、これを用いて受信側において滑らかな
動きを再現する。すなわち(1)通常は最適予測方式
を示す情報と予測誤差信号を伝送するが、(2)発生
情報量が増加するに従い予測誤差信号を伝送しな
い場合、(3)さらに発生情報量が増加すると最適予
測方式を示す情報と予測誤差信号の両者とも伝送
しない、というように符号化を制御する。

受信側においては(1)通常は伝送された最適予測
信号を示す情報と予測誤差信号を用いて画像を再
生するが、(2)発生情報量が増加して最適予測方式
を示す情報しか伝送されなかつた場合には予測誤
差信号が全て零であつたとして復号を行ない、(3)
両者ともに伝送されない場合には直前のフレーム
（またはフイールド）により置き換えられる。

このようにすると、従来は不自然な動きしか再
生できなかつた画像についても滑らかな画像が再
生できる範囲が広がるなど、自然な動きを伴なう
良質の画像を提供できるため本発明を実施する効
果は極めて大きい。

つぎに本発明の実施例について図面を参照しな
がら説明する。

第３図に本発明における符号化装置、復号化装
置の実施例を示す。

入力テレビジヨン信号は線１０１０，１０１１
により遅延回路１０と最適予測判定回路１１に
各々供給される。遅延回路１０は最適予測判定回
路１１における最適予測方式の判定に要する時間
だけ入力テレビジヨン信号を遅延し減算回路１２
へ供給する。減算回路１２ではこの遅延した入力
テレビジヨン信号と線１３１２を介して可変遅延
回路１３から供給される最適予測信号との間で減
算を行ないその結果である差信号すなわち予測誤
差信号を発生し量子化器１８へ供給する。この量
子化器１８は複数個の量子化特性を有しており、
その中の一は入力である予測誤差信号の値には無
関係に固定値を出力とすることができる。本発明
においてはこの固定値はたとえば零とする。

この複数個の量子化特性の選択は線１６１８を
介して供給される量子化特性選択信号による。量
子化器１８の出力は圧縮符号化回路１７と加算回
路１４へ供給される。加算回路１４では可変遅延
回路１３の出力すなわち最適予測信号と最小化器
１８の出力すなわち量子化された予測誤差信号と
の和をとり、この加算結果を局部復号信号として
出力し、フレームメモリ１５へ供給する。フレー
ムメモリ１５はテレビジヨン信号のおよそ１フレ
ーム分記憶できるもので局部復号信号をおよそ１
フレーム時間だけ遅延して線１５１１，１５１３
を介して最適予測判定回路１１と可変遅延回路１
３へ各々供給する。最適予測判定回路１１は線１
０１１を介して供給される入力テレビジヨン信号
と線１５１１を介して供給されるフレームメモリ
１５の出力信号および線１６１１を介して供給さ
れる予測方式制御信号を用いて最適予測方式を決
定する。

第４図に最適予測判定回路１１の構成例を示
す。

比較回路１１０においてまず予測誤差量の比較
に基づき最小予測誤差量を示す予測方式を検出す
るが、この比較回路１１０の構成はたとえば前記
二宮による論文の図２等に記述されている動ベク
トル検出回路が適用できる。（この論文における
動ベクトルは本発明における最適予測方式に対応
する。） 通常は最小予測誤差量を示す予測方式が最適予
測方式となるが、発生情報量が非常に多くなり最
適予測方式を示す情報すら伝送できない場合には
線１６１１を介して供給される予測方式制御信号
により動作するゲート回路１１１の出力は固定的
にフレーム間予測となる。この時には最適予測方
式を示す情報の出力が固定されていることにな
る。本論に戻る。この最適予測判定回路１１の判
定結果である最適予測方式を示す情報は線１１１
３と線１１１７を介して可変遅延回路１３と圧縮
符号化回路１７へ各々供給される。可変遅延回路
１３においてはフレームメモリ１５の出力信号が
一たん記憶され、最適予測方式を示す情報が供給
されると対応する番地より予測信号が読み出され
る。この予測信号が最適予測信号である。可変遅
延回路１３は基本的にはランダム・アクセス・メ
モリを用いた、読み出しと書き込みが互いに独立
に実行できるメモリにより構成される。

圧縮符号化回路１７では後述するバツフアメモ
リ１００の動作状態を示すパラメータである充足
度Ｓと量子化された予測誤差信号と最適予測方式
を示す情報が不等長符号化の手法を用いて圧縮さ
れるが、通常はこれらと共に垂直、水平の両同期
信号が圧縮符号化される。そして圧縮符号化回路
１７はこれらの圧縮された後の符号をバツフアメ
モリ１００へ出力する。バツフアメモリ１００は
圧縮符号化回路１７からの不規則に発生する情報
を平滑化して伝送路１０００の転送速度と整合を
とり出力する。またバツフアメモリ１００の充足
度Ｓは線１０１６により符号化制御回路１６へ供
給される。ここで充足度Ｓは例えば書込みアドレ
スと読み出しアドレスとの差である。

なお伝送路１０００は磁気テープ、磁気デイス
クなどのデイジタル記録媒体で置き換えることも
できる。つぎに符号化制御回路１６の動作を第
３，４，５図を参照しながら説明する。

なお、第５図は第３図に示された符号化制御回
路１６の制御動作を説明するための図である。

符号化制御回路１６に供給されるバツフアメモ
リの充足度Ｓの最大量を１、線１６１８を介して
量子化器１８へ供給される量子化特性選択信号に
係る閾値をT₁、線１６１１を介して最適予測判
定回路１１に供給される予測方式制御信号に係る
閾値をT₂とする。ただしT1，T2は０＜T1＜T2
＜１とする。このときＳの値が０≦Ｓ＜T1の範
囲内にあると最適予測方式を示す情報Ｖと量子化
された予測誤差信号e^の両者ともに伝送され（Ｖ
＋e^）、Ｓの値が増加しT1≦Ｓ＜T2の範囲内にあ
ると単位時間当りの発生情報量が単位時間当りの
伝送路へ出力される情報量よりも多く、発生情報
量を低減する必要があるためＶのみ符号化しe^に
ついては出力を常に零レベルとするＶ。それでも
Ｓの値が増加してT2≦Ｓ≦１の範囲になるとも
はや符号化動作は不可能であると判断してフレー
ム間予測を固定的に最適予測方式と見なし、T2
≦Ｓ≦１の範囲内にＳがあることを示す情報のみ
圧縮符号化しＶ，e^はいずれも圧縮符号化しない
（停止）。この時には画像の動きはＳ＜T2となる
まで一時凍結される。

すなわち０≦Ｓ＜T1なるＳに対しては量子化
特性選択信号は零レベルを固定的に出力できる特
性以外の量子化特性の中からの特性選択を指示
し、予測方式制御信号は第４図の比較回路１１０
の出力を最適予測判定回路１１の出力とするよう
にゲート回路１１１に指示する。

T1≦Ｓ＜T2にＳがあると量子化特性選択信号
は零レベルを固定的に出力できる量子化特性の選
択を指示し、予測方式制御信号は比較回路１１０
の出力を最適予測判定回路１１の出力とするよう
に指示する。T2≦Ｓ≦１にＳがある時には量子
化特性選択信号１６１８は出力を固定的に零レベ
ルにできる量子化特性の選択を指示し、予測方式
制御信号１６１１はゲート回路１１１に対して固
定的にフレーム間予測を最適予測判定回路１１の
出力とするよう指示する。量子化特性選択信号は
線１６１８を予測方式制御信号は線１６１１を介
して量子化器１８、最適予測判定回路１１へ各々
供給される。また、これらの両信号および充足度
Ｓはともに線１６１７を介して圧縮符号化回路１
７へ供給される。T2≦Ｓ≦１の時には、Ｓの値
を用いて行なう符号化制御の単位時間（たとえば
数ライン、フイールドあるいはフレーム）毎に一
回この範囲内にＳがあることを符号化するのみで
Ｖ，e^をいちいち符号化する必要はない。

つぎに第３図に示されている復号化装置につい
て説明する。

伝送路１０００または記録媒体から供給される
符号化された情報はまず受信側のバツフアメモリ
２００により伝送路１０００と受信側での復号化
動作の速度整合を行なつた後符号伸長回路２４へ
供給される。符号伸長回路２４ではテレビジヨン
信号の垂直、水平の両同期信号が分離され、つづ
いて最適予測方式を示す情報Ｖと予測誤差信号e^
の復号、伸長が行なわれる。復号、伸長されたＶ
は線２４２３を介して可変遅延回路２３へ、復
号、伸長されたe^は線２４２２を介して加算器２
２へ各々供給される。可変遅延回路２３はＶに基
づいて最適予測信号を発生し加算器２３へ供給す
る。加算器２３ではこの最適予測信号と復号、伸
長されたe^との和をとることにより復号信号を発
生する。

この復号信号は再生されたテレビジヨン信号と
して復号化装置から外へ出力されるが、同時にテ
レビジヨン信号のおよそ１フレームを記憶できる
フレームメモリ２５へ供給される。フレームメモ
リ２５でおよそ１フレーム時間遅延した復号信号
は最適予測信号を発生させるため可変遅延回路２
３へ供給される。ＳがT2≦Ｓ≦１の範囲内にあ
る時の符号化された情報の復号は、符号化制御の
単位時間毎に一回この範囲内にＳがあることを符
号化しているので、これを検出してこの単位時間
内は最適予測方式をフレーム間予測、予測誤差信
号e^を固定的に零として復号化を実行する。

復号化装置における加算器２２、可変遅延回路
２３、フレームメモリ２５はいずれも符号化装置
における加算器１４、可変遅延回路１３、フレー
ムメモリ１５と同一構成でよい。

本発明の実施例の一変形例についてつぎに説明
する。

実施例において説明したように、符号化動作は
バツフアメモリ１００の充足度Ｓの値によつて制
御される。この時の閾値としてT1，T2が説明に
用いられた。実際の符号化動作においては一たん
ある符号化状態になるとＳが少々小さくなつても
すぐには発生情報量がより多くなる他の符号化状
態にはしないこともしばしばである。したがつて
この時にはＳが増加傾向にある場合と減少傾向に
ある場合とでT1，T2の値を変える。たとえば増
加傾向にある時の閾値T1，T2に対して減少傾向
の時にはT1′＜T1，T2′＜T2なる関係をもつT1′，
T2′を用いることができる。

【図面の簡単な説明】

第１図は「動き補償」の原理を説明する図、第
２図は本発明の原理を説明する図である。第３
図、第４図は本発明の実施例における符号化、復
号化装置の一構成例を示す図、第５図は第３図に
示された符号化制御回路１６の制御動作を説明す
る図である。 図中１０は遅延回路、１１は最適予測判定回
路、１２は減算器、１３は可変遅延回路、１４は
加算器、１５はフレームメモリ、１６は符号化制
御回路、１７は圧縮符号化回路、１８は量子化
器、１００，２００はいずれもバツフアメモリ、
２２は加算器、２３は可変遅延回路、２４は符号
伸長回路、２５はフレームメモリ、１１０は比較
回路、１１１はゲート回路である。

Claims (1)

【特許請求の範囲】
1. １ フレーム間予測を含む時間軸方向の相関を利
   用する複数個の予測方式を用い、複数個の画素か
   らなるブロツク毎に前記複数個の予測方式の中か
   ら最適予測方式を一つ定めて用いるテレビジヨン
   信号の最適予測符号化において、前記最適予測方
   式を検出する手段と、該最適予測方式に対応する
   予測信号を発生する予測信号発生手段と、該予測
   信号に対する予測誤差信号を発生する誤差信号発
   生手段と、前記誤差信号発生手段の出力レベルを
   固定にすることが出来る量子化手段と、前記最適
   予測方式検出手段と前記量子化手段の各出力を
   各々固定にするよう指示することが出来る符号化
   制御手段と、前記最適予測方式検出手段と前記量
   子化手段の出力を圧縮符号化する手段と、該圧縮
   符号化された情報の発生速度と該情報の外部への
   出力速度の整合を図り、動作状況を前記符号化制
   御手段に伝達するバツフアメモリとを具備するこ
   とを特徴とするテレビジヨン信号の符号化装置。