JPS6146683A - 動画像信号の符号化方式およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号の予測符号化に関する。

（従来技術とその問題点） テレビジョン信号に代表される動画像信号の高能率符号
化方法としては従来よシ画面開の相関を利用するフレー
ム間符号化が代表的である。フレーム間符号化において
はフレーム間での輝度変化すなわち動きが大きくガると
、とくに面積的に大きい時非常に多くの伝送すべき情報
を発生することになる。この時にこの情報を少しでも減
少せしめるための手法として符号化すべき画素点を粗く
とる間引きあるいはサブサンプリングと呼ばれる方法が
用いられる。たとえば第３図に例示する従来方式では、
大面積の動きが発生すると発生情報量が増加し、この時
符号器における情報の発生速度と伝送路あるいは記録媒
体への出力速度との間の速度整合を図るバッファメモリ
の充足度（メモリ容量の何チが使用されているかを示す
。第３図中ではＢＯＣと略記。）が上昇する。するとと
のＢＯＣを受けて制御回路は差分の量子化器において出
力を強制的にゼロとし、この画素の局部復号に当っては
符号化される、すなわちことで強制的にゼロにされてい
々い近隣の画素についての局部復号信号値を用いる。受
信側でも同様の構成によシ内挿すると送信側と受信側で
は同一の信号が得られる。

しかしながら、以上説明した間引きは画面内に動きを含
むか否かには無関係に行われるため、静止部分とくに輪
郭線を多く含む静止部分において間引きによる歪が目立
ってくる。人間の視覚特性は動き部分については知覚が
低下し、静止部分については高い。この視覚特性を満足
させるための改良方法として隣接した画素についてのフ
レーム差分の変化が大きい場合にはその間にある画素に
ついての間引きを中止する、すなわちある画素について
のフレーム差がその両隣シのフレーム差分の平均値と比
較しである閾値以上の差違がある時にはその中間にある
画素の間引きを中止する（特許５１−１４１４２）。つ
まシ第４図に示す画素時刻ｔ６　ｐ　ｔＩ’　ｔｚ　ｐ
　ｔ３　ｊｔ４におけるフレーム差分をそれぞれａ。ｊ
　８１　ｊ　ａ２　ｊ　ａ３　ｊ　ａ４とする時この闇
値をＴとして（（ａｏ＋ａｚ）／２　　ａｔ）　　の絶
対値がＴ以下であればａ４の間引きを行い、（（ａ２＋
２４）／２ａ３）の絶対値がＴ以上であればａ３の間引
きは行わない。このようにすると間引かれた画素を内挿
によシ再生した時の歪は小さくすることができるが、間
引きの本来の目的である符号化情報量を減少させる効果
が低下する。

（本発明の目的） 本発明は内挿に起因する符号化歪を小さく抑えつつしか
も符号化情報量を減少させることを目的とする。

（発明の構成） 本発明によれば、発生情報量の累積値とすでに伝送済の
情報量との差の多寡に応じて画素の一部を間引いて伝送
する動画像信号の符号化方式において、前記間引きによ
シ生じる符号化歪を算出し、前記間引きによる前記発生
情報量の低減度を算出し、前記符号化歪が犬で前記低減
度が小なる場合には前記間引きを行わず、そりでない場
合には前記間引きを行なうことを特徴とする動画像信号
の符号化方式が得られる。

また本発明によれば、入力信号と予測信号を用い該予測
符号化において前記間引きを行った時の符号化歪と前記
間引きによる該予測符号化の出力符号量の減少について
評価し、前記間引きの適用の適否を示す間引き指示信号
を出力する評価手段、前記入力信号と前記予測信号よシ
予測誤差信号を発生する手段、該予測誤差信号と前記予
測信号とを用いて第１の局部復号信号を発生する手段、
前記間引き指示信号に従って該第１の局部復号信号を用
いて間引かれた画素を内挿によ）再生し第２の局部復号
信号を得る手段、該第２の局部復号信号を用いて前記予
測信号を発生する手段、前記間引き指示信号およびこれ
に応動して前記量子化手段の出力信号を不特長符号化す
る手段、該不等長符号化手段から出力される符号の発生
速度と伝送路あるいは記録媒体への符号出力速度との間
で速度整合を行う手段、とを具備することを特徴とする
動画像信号の符号化装置が得られる。

（本発明の原理） 間引きに限らず何がしかの信号交換処理を行った場合の
歪を画素毎に調べるのは、画像信号は本来２次元的なも
のであることから余り良い方法とは言えない。たとえば
２次元的に構成される複数画素のブロック単位に歪を調
べる方が良い。歪を調べる時の評価関数としては、間引
きおよびその後の内挿によ多発生する符号化誤差に対し
て、（１）ある閾値を超える符号化誤差を示す画素数、
（２）符号化誤差の絶対値の和、（３）同じく自乗誤差
の和、（４）あらかじめ画面を平たんな成分と輪郭など
の複雑な成分に分離し、この複雑な成分についてのみ符
号化誤差を（１）〜（３）のいずれかを用いて計算、な
どをブロック単位で求めることが考えられるが、以下の
説明では簡単のため（２）を用いるものとする。

もともと予測符号化における間引きは、符号化情報量を
減少させることが第一目的である。ただし、間引きによ
る符号化歪を最小にする必要があることは言うまでもな
い。このため本発明では、間引きが適用される時には実
際の符号化に先行して（４）間引かれる画素の内挿を実
行し、入力信号と内挿値との差の絶対値を１ブロツクに
わたって加算し、この結果よシ間引きによる符号化歪の
大小をまず判定、同時に（Ｂ）間引かれた画素における
（間引かれなかった場合の）予測誤差をハフマン符号な
どの不等長符号で表現した時に割当られる符号長をブロ
ック毎に積算し、間引きによる情報量の減少分を求める
。そしてこの符号化歪を情報量と減少分の各々に闇値を
設け、（符号化歪、情報量の減少分）−（大を大）、（
犬？小）、（小り大）、（小ツ小）のたとえば４種に分
類し、（大ｐ小）のように間引きを適用する意味がない
場合にはこれを行わない。この分類をさらに細くするこ
とも勿論可能である。

このように間引いても符号化歪が小さいが、たとえ少々
大きくても符号化情報量の減少効果が大きい場合には適
用することが可能である。

（実施例） 本発明に関る実施例を第１図、第２図を参照しつつ詳細
に説明する。

線１０００を介して供給される動画像信号は減算器１０
と判定回路１６に同時に入力される。判定回路１６の機
能については後述する。減算器１０の出力である予測誤
差信号は遅延回路１１において判定回路１６における判
定時間の分だけ遅延されて量子化器１２に供給される。

この量子化された予測誤差信号は線１２００を介して加
算器１３と不等長符号器１８へ同時に供給される。加算
器１３においては判定回路１６における判定時間だけ遅
延回路２０によシ遅延した予測信号と量子化された予測
誤差信号とから第１の局部復号信号が得られ、これは内
挿回路１４へ供給される。内挿回路１４では、線１７０
０を介して制御回路１７よシ供給される複数種類用意さ
れている間引き方法のいずれか１種を指定する間引き率
指定モード信号と線１６００を介して供給されるブロッ
ク毎に変化する間引き指示信号の双方を受けて、間引き
が行われる画素については各間引き率に応じた内挿を行
い、間引きが行われない画素については第１の局部復号
信号をそのまま内挿出力とする演算および信号の選択を
行う。内挿方法は特別なものは必ずしも必要Ｊ′ なく、たとえば１画素赴きに間引きが行われている場合
には両隣の画素の平均によるなどの簡単なものでも構わ
ない。符号化歪が減らせるようによシ精度の高い内挿方
法が好ましいことは勿論である。この内挿回路１４の出
力である第２の局部復号信号を用いて予測回路１５は予
測信号を発生する。フレーム間予測を用いる時には予測
回路１５として動画像信号の１フレ一ム時間遅延可能な
フレームメモリを使用する。予測回路１５の出力は線１
５００を介して判定回路１６と遅延回路２０へそれぞれ
供給される。

不等長符号器１８では量子化された予測誤差信号の不等
長符号化が行われるが、間引かれた画素については符号
化はされず無視される。どの画素が間引きがなされるか
または符号化されるかは前述の内挿回路１４におけると
同様に、間引き率指定モード信号と間引き指示信号の双
方を用いると一意に全く同じように定めることができる
。この両信号ともに不等長符号器１８において符号化さ
れバッファメモリ１９へ供給される。この時動画像信号
の垂直・水平同期信号を表わす符号も通常−緒に符号化
される。バッファメモリ１９は不規則に供給される符号
の入力速度と伝送路２０あるいは記録媒体への出力速度
との間で速度整合をとるメモリであシ、その使用状態す
なわち全容量の何チが符号により満たされているかを示
す充足度（ＢＯＣ）を線１９１７を介して制御回路１７
へ出力する。制御回路１７はこのＢＯＣの値によシどの
比率の間引きを用いるかを決定し線１７００を介して間
引き率指定モード信号として出力する。

とこで第２図を参照して判定回路１６の動作な説明する
。線１０００と１５００を介して各々供給される入力信
号と予測信号から減算器１６１は差信号を発生する。こ
の差信号は量子化器１２と同一の量子化特性を有する量
子化器１６２によシ量子化され線６２００を介して加算
器１６３と変換回路１７１へ供給される。加算器１６３
では予測信号と和をとることで第１の局部復号信号に相
当する信号を得て内挿回路１６４へと出力する。内挿回
路１６４では線６９００を介して供給される前記の間引
き率指定モード信号と間引き指示信号を含む間引き信号
に従って間引きがなされる画素に対しては間引き率指定
モード信号によシ指定される間引きに適合する内挿回路
１４におけると同一の内挿を行い、結果を減算器１６５
に供給する。減算器１６５では線１０００を介して供給
される入力信号ととの内挿結果との間で差がとられ、評
価回路１６６へ供給される。この評価回路１６６は入力
される差分のたとえば絶対値を出力するものとするが、
線６９００を介して指定される間引きされる画素に対し
ては強制的にゼロを出力する機能を有する。評価回路１
６６の出力は積分回路１６７においてブロック単位で積
分され、ブロック当りの符号化歪が求められたことにな
る。またこれと同時に、量子化器１６２の出力は変換回
路１７１において符号量への変換を受ける。たとえば不
等長符号器１８においてハフマン符号が用いられるとす
ると、これと同じハフマン符号を用いるものとして各符
号の長さを出力できるように入力の差分値と出力の符号
長の関係を定めておく。この時変換回路１７１では評価
回路１６６の時とは反対に間引かれない画素に対しては
ゼロを出力するものとする。積分回路１７０はこの符号
長出力をブロック毎に積分する。この積分結果がブロッ
ク当シの間引きによる符号量の減少分に相当する。

制御回路１６９は積分回路１６７ｙ　１７０に対して夫
々線６９６７、　６９７０を介してブロック当りに積分
における初期化と積分結果の転送を制御する。

また線６９００を介して内挿回路１６４ｊ評価回路１６
６、変換回路１７１における間引きあるいは内挿を線１
７００を介して供給される間引き率指定モード信号を用
いて制御する。さらに線６９６８を介して判定回路１６
８における判定結果の出力タイミングを制御する。

判定回路１６８においては供給された間引きによるブロ
ック当シの符号量の減少分と符号化歪を用いて、このブ
ロックに対して間引きを適用しても良いか否かを判定す
る。符号化歪の量をＤ１符号量の減少分をＣとし、各々
の判定用閾値をり。、Ｃ０とするときＤ＞Ｄ。かつＣ＜
００の場合には間引きを行わず、他の場合には間引きを
行う、などの判定を行う。判定結果はブロック毎に出力
されるが、第１図に示しだ符号化・復号化装置の構成を
簡単にするためには図中の入力信号と同一の時系列に従
うことが必要である。

つぎに第１図に戻って復号化装置について説明する。伝
送路２０００あるいは記録媒体よシ供給される符号化さ
れた画像信号は−たんこの供給される速度と復号化装置
における復号化速度との速度整合するだめのバッファメ
モリ３０に格納される。

バッファメモリ３０から読み出された符号は不等長復号
器３１において含まれている垂直・水平同期などを基準
として間引き率指定モード信号１間引き指示信号を予測
誤差信号が分離され、それぞれ線３１００　＝　３１０
１　、３１３２によ多出力される。

線３１３２によシ供給される予測誤差信号は加算器３３
において予測回路３４から供給される予測信号と加えら
れて第１の復号信号となる。内挿回路３３では線３１０
０　、３１０１によシそれぞれ供給される間引き率指定
モード信号、間引き指示信号の２信号に従って、符号化
装置における内挿回路１４と同一の内挿動作により第２
の復号信号が得られ、線３０００を介して復号化装置か
ら出力される。またこの第２の復号信号は同時に予測回
路３４へも供給され予測信号の発生に用いられる。この
予測回路３４は符号化装置の予測回路１５と遅延回路２
０における遅延時間が異々るのみで、はとんど同一の構
成で実現できる。

外お、以上説明した実施例は予測回路１５　ｙ３４とし
て１フレ一ム時間遅延可能々回路を用いる、フレーム間
予測の場合であった。フレーム間予測は動きが大きくな
ってくると符号化能率が低下する欠点があるが、その欠
点を克服するため画面内の動きの方向、速さを検出して
これを予測に利用する動き補償と呼ばれる方法をフレー
ム間符号化と組合せることがある。本発明はこの動き補
償フレーム間符号化についても適用可能であるので、以
下に説明する。

線１１００を介して供給される入力信号に含まれる動き
の方向と速さを示すベクトルは、ベクトル検出器２２に
おいて検出される。この検出は複数の画素からなるブロ
ック毎に行われることが多い。

検出されたベクトルは入力信号の時刻列と同一にして線
２２００を介して予測回路１５と不等長符号器１８へ供
給される。予測回路１５はベクトルが示す方向と速さに
対応して遅延が１フレ一ム時間から変化できる可変遅延
回路である。ベクトルに応動して予測回路１５から出力
される動き補償された予測信号は線１５００を介して前
述の実施例についてと同様に加算器１０ｇ判定回路１６
．遅延回路２０へ供給される。加算器１０、判定回路１
６へ供給されるもう一方の信号は入力信号を、ベクトル
の検出り出力に要する時間だけ遅延回路２１にて遅延し
たもので線１０００を介して供給される。

不等長符号器１８へ供給されたベクトルは先の実施例に
て説明した信号とともに符号化され伝送される。

復号化装置においては、先の実施例にて説明した信号と
ともにこの符号化されたベクトルを不等長復号器３１で
復号する。ベクトルは線３１３４を介して予測回路３４
へ供給され動き補償された予測信号を発生する。

以上説明したベクトルに検出器２２、遅延回路２１、予
測回路１５，３４、不等長符号器１８、不等長復号器３
１を除くと先の実施例における動作と同じである。

なお、いずれの実施例においても、判定回路１６におけ
る判定用閾値ＣｏｙＤ０は固定である必要はなく、たと
えばＢＯＣの変化に応動して変化してもよい。この時に
は制御回路１７よシＣ０ｊＤ０の値を指定するだめの信
号線を設ける必要がある。

（発明の効果） 本発明では、符号化において画素の間引きを行うことに
より実現される伝送すべき符号量の減少と、画面の局所
的性質に即応できるように予め調べられた間引きによシ
発生する符号化歪の両者を勘案して間引きを行う箇所と
禁止する箇所を＼区別するため、符号化歪は小さく抑え
つつ符号量を大巾に減少させるととが可能となシ、この
結果高い符号化能率が実現されるなど、本発明を実用に
供するとその効果は極めて太きい。

【図面の簡単な説明】

第１図及び第２図は本発明の詳細な説明するための図、
第３図及び第４図は従来例を説明する゛　　ための図、
第５図は本発明に係る他の実施例を説明するだめの図で
ある。 図中、１０は減算器、１１と２０は遅延回路、１２は量
子化器、１３と３２は加算器、１４と３３は内挿回路、
１５と３４は予測回路、１６は判定回路、１７は制御回
路、１８は不等長符号器、１９と３０はバッファメモリ
、３１は不等長復号器、２１は遅延回路、２２はベクト
ル検出器、を示す。 、／ど　、′＼ 代理人弁理士　内原會　　“１：宕 ＼、／ 特開昭６１−４６Ｇ８３（７）

Claims (1)

1. 【特許請求の範囲】 １、発生情報量の累積値とすでに伝送済の情報量との差
   が大なる場合に画素の一部を間引いて伝送する動画像信
   号の符号化方式において、前記間引きにより生じる符号
   化歪を算出し、前記間引きによる前記発生情報量の低減
   度を算出し、前記符号化歪が大で前記低減度が小なる場
   合には前記間引きを行わず、そうでない場合には前記間
   引きを行なうことを特徴とする動画像信号の符号化方式
   。 ２、入力信号と予測信号を用い該予測符号化において前
   記間引きを行った時の符号化歪と前記間引きによる該予
   測符号化の出力符号量の減少量を算出し前記符号化歪が
   大でありかつ前記符号量の減少量が小である場合には前
   記間引きを行わないことを示す信号を、そうでない場合
   には前記間引きを行うことを示す信号を間引き指示信号
   として出力する判定手段、前記入力信号と前記予測信号
   より予測誤差信号を発生する手段、該予測誤差信号と前
   記予測信号とを用いて第１の局部復号信号を発生する手
   段、前記間引き指示信号に従って該第１の局部復号信号
   を用いて間引かれた画素を内挿により再生し第２の局部
   復号信号を得る手段、該第２の局部復号信号を用いて前
   記予測信号を発生する手段、前記間引き指示信号および
   これに応動して前記量子化手段の出力信号を不等長符号
   化する手段、該不等長符号化手段から出力される符号の
   発生速度と伝送路あるいは記録媒体への符号出力速度と
   の間で速度整合を行う手段、とを具備することを特徴と
   する動画像信号の符号化装置。 ３、符号化歪の評価に、間引かれた画素をその近隣の符
   号化される画素を用いて内挿した時の内挿値と入力動画
   像信号との差を用いることを特徴とする特許請求の範囲
   第１項記載の動画像信号の符号化方式。 ４、間引きを行った時の符号化歪と出力符号量の減少の
   評価においてそれぞれに対する閾値を設定し、予測符号
   化時における符号の発生速度を伝送路あるいは記録媒体
   への出力速度との間の速度整合における前記発生速度と
   該出力速度の差に応動して前記閾値を変化することを特
   徴とする特許請求範囲第１項記載の動画像信号の符号化
   方式。