JPH0638659B2 - 動画像信号の符号化方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画面間の相関を利用する符号化方式を用いた動
画像のデジタル帯域圧縮技術に係わり、特に画面間でそ
の内容が大幅に変化する場合に関するものである。

（従来の技術） 従来、画面間の相関を用いる符号化方式としては、例え
ば動き補償を用いたフレーム間予測符号化方式が知られ
ている（二宮等、「動き補正フレーム間符号化方式」信
学論(B),J63-B,11,pp.1140-1147,昭51-11)。

この方式は、画面を小さなブロックに分割し、各ブロッ
ク毎に、記憶されている前画面内で最も高い相関を持つ
ブロックを算出し、該当するブロック間の位置の差（動
ベクトル）と、この該当するブロック間で同じ位置にあ
る画素の振幅値の差（動き補償予測誤差）を伝送する方
式である。

（発明が解決しようとする問題点） しかしながら上記の従来の技術では、シーンチェンジな
ど画面の内容が大きく変化する場合には、フレーム間の
相関が大幅に低下するため伝送すべき予測誤差が大量に
発生し、一定の伝送速度での伝送を行なうためには、粗
い特性の量子化、フィールド駒落とし、フレーム駒落と
し、最悪の場合は画面の途中での符号化停止などの粗い
符号化モードを適用しなければならなかった。その結果
符号化停止時には画面内で符号化ずみの領域と未符号化
領域が混在したままでフリーズし、また停止しない場合
であっても符号化ずみの領域も粗い符号化モードで符号
化されているため、画質劣化が大きくなるなど非常に目
立つ劣化を引き起こす欠点があった。

（問題点を解決するための手段） 本発明によれば、入力端から入力された動画像信号は、
シーンチェンジ検出回路、同期信号発生回路、及び、遅
延回路へ供給され、同期信号発生回路は動画像信号から
フレームパルスを分離生成し、各フレームの先頭では符
号１を、そうでないときは符号０を制御回路、２個のラ
インカウンタ、及び、シーンチェンジ検出回路に入力
し、制御回路はシーンチェンジが生じたことが入力され
るか、バッファメモリの充足度が閾値を超えていること
が入力されたときに、ラインカウンタのリセット信号を
一方のラインカウンタに入力し、その出力信号を比較器
に入力し、他方のラインカウンタは入力されたフレーム
パルスによりリセットされ、その出力信号を比較器に入
力し、比較器は両方のカウンタの出力信号の内容を比較
し、他方のラインカウンタの出力の方が小であるときは
符号１を、そうでないときは符号０を出力し、その信号
を量子化器に入力し、遅延回路は入力端から入力された
動画像信号を比較器より供給される符号の生成に要する
時間だけ遅延させて減算器に入力し、減算器は遅延回路
から入力された信号から可変遅延回路から入力された予
測信号を減じて予測誤差信号を算出し、その信号を量子
化器に入力し、量子化器は、比較器から符号１が入力さ
れたときは、予測誤差信号を量子化し、符号０が入力さ
れたときは、符号０を符号変換器と加算器に入力し、加
算器は量子化器の出力信号と可変遅延回路から出力され
た予測信号を加算して局部復号信号を生成し、その信号
をフレームメモリに入力し、フレームメモリは局部復号
信号をおよそ１フレーム時間分記憶して遅延させ、この
信号を可変遅延回路に入力し、可変遅延回路はシーンチ
ェンジ検出回路より入力される動ベクトルにしたがって
フレームメモリの出力信号を可変遅延し、予測信号とし
て減算器と加算器に入力し、符号変換器は量子化器の出
力信号をハフマン符号の伝送に適した符号に変換し、そ
の信号をバッファメモリに入力し、バッファメモリは符
号変換器の出力信号を一定の伝送速度で伝送路へ出力
し、その充足度が定められた閾値をこえたときは制御回
路へ符号１を入力するようにしたことを特徴とする動画
像信号の符号化方式が得られる。

（作用） まず、本発明においては、画面間でその内容が大きく変
化する場合を検出する必要がある。その方法として、動
き補償予測誤差値を用いて画面の切り替わり（シーンチ
ェンジ）を検出する方法を説明する。

動き補償予測誤差値は、例えば前記二宮らによる論文に
記述されているブロックマッチング法で検出された動ベ
クトルを用いて算出することができる。ブロックマッチ
ング法とは、第２図にあるように、過去の画面Ｆ′をフ
レームメモリに記憶しておき、現フレームＦ内のブロッ
クＡと最も相関の高いブロックＡ′を記憶された過去の
画面内で求め、両者の画面内での位置の変位を動ベクト
ルとするものである。動き補償予測誤差は、動ベクト
ルにより対応づけられた２ブロック間内の空間的に同一
位置にある各画素についての差分値に相当する。相関の
高さの評価基準としては、対応する画素間の差分値の２
乗や絶対値のブロック内総和などが用いられ、これらの
場合は評価基準最小とするものが動きベクトルとして求
められる。

本発明と動き補償予測誤差の求め方は直接関係はなく、
動き補償予測誤差は上記以外の方法で求められたもので
あっても構わない。

第３図は動き補償予測誤差とフレーム間差分値の分散値
が、フレーム間での動きの速さ（パニングの速さ）に
対して変化する様子を表わす図である。フレーム間差分
値の分散値は、式で表わされ、動きが速くなるにつれ
単調に増加する。これに対して動き補償予測誤差の分散
値は、式で表わされ、動きが画素間隔の整数倍である
ときには動き補償予測が的中するので、予測誤差はこの
とき図のようにゼロとなる。

ここで、σ^２ _ＦＦ、σ^２ _ＭＣは、それぞれフレーム差分
値と動き補償予測誤差値の分散値を表わし、σ^２ _０は画
像の平均電力、αは画面の複雑さに対応するパラメータ
である。

σ^２ _ＦＦ＝２σ^２ _０・｛１−ｅｘｐ（−α｜１｜）｝
(1) σ^２ _ＭＣ＝２σ^２ _０・｛１−ｅｘｐ（−α｜−［
１］｜）｝ (2) ［］はの整数部を表わす 一方シーンチェンジ等フレーム間で相関が全く無い画像
の場合にはフレーム間差分値、動き補償予測誤差の分散
値はともに第３図フレーム間差分値に対する分散値の上
限に近い値になる。従ってフレーム間差分値を用いた場
合には、シーンチェンジと動きの速い画像を区別できな
いが、動き補償予測誤差を用いて第３図のように判定閾
値との大小比較を行なうことで、実際のシーンチェンジ
のみ正確に検出することができる。

また前述の動き補償フレーム間予測符号化方式において
は、一般に伝送路へ一定速度で出力するためにバッファ
メモリがおかれるが、このバッファメモリの充足度は、
画面の内容が大きく変化した時には急激に上昇するの
で、充足度が定められた閾値を超えたときには、画面間
で内容が大きく変化したと解釈することができるので、
バッファメモリの充足度の急激な変化を検出することに
よっても、シーンチェンジの検出が可能である。

以上シーンチェンジを含む画面間で内容が大きく変化す
る場合の検出方法を説明したが、本発明ではこの検出方
法自体は上記の方法に限定されるものではない。以下で
は画面間で内容が大きく変化したことは既に求められて
いるものとして、符号化する領域を徐々に拡大する（以
下これを「幕引き制御」と称する）方法を説明する。

第１図(a)の第Ｎ画面時間では、画面Ｎを符号化してい
る。そして第Ｎ画面時間から第Ｎ＋１画面時間の間で画
面の内容が大きく変化しているものとする。このとき上
述のシーンチェンジ検出方法等で画面（Ｎ＋１）を第Ｌ
ラインまで符号化したときにシーンチェンジであること
が検出されたものとする。この後幕引き制御モードに入
り、画面Ｎ＋１をＬ＋Ｘラインまで符号化して以降のラ
インに対しては符号化を停止する。従って第１図(b)に
示された如く復号された画面Ｎ＋１は第Ｌ＋Ｘライン以
上には画面Ｎ＋１の内容があり、Ｌ＋Ｘライン以下は前
画面Ｎの内容が残っている。次の第Ｎ＋２画面時間で
は、画面Ｎ＋２を第Ｌ＋２Ｘラインまで符号化して以降
のラインは符号化を停止する（第１図(c)）。第Ｎ＋３
画面時間では、第１図(d)に示す如く画面Ｎ＋３を第Ｌ
＋３Ｘラインまで符号化して停止する。結局第（Ｎ＋
１）画面時間、第（Ｎ＋２）画面時間、第（Ｎ＋３）画
面時間では、各々Ｌ＋Ｘ，Ｌ＋２Ｘ，Ｌ＋３Ｘライン以
下にはフリーズされた画面Ｎが残ることとなり、Ｌ＋
Ｘ，Ｌ＋２Ｘ，Ｌ＋３Ｘライン以上には通常の符号化を
された動画像が供給される。このような制御を行なうと
時間を追ってその符号化領域が拡大するためあたかも幕
を引いたようにみえる。幕を引く速さは、Ｘライン／画
面で定義されるが、この速さは一定であってもよいし入
力動画像に応じてたとえばバッファメモリの充足量に応
じて変化させてもよい。

（実施例） 次に第４図を用いて本発明を説明する。

入力端1000から入力された動画像信号は、線1010を介し
てシーンチェンジ検出回路10、同期信号発生回路12、遅
延回路22へ供給される。

シーンチェンジ検出回路10は例えば第５図のような構成
で実現できる。線1010より入力された動画像信号は、動
ベクトル検出回路31、フレームメモリ32、遅延回路38へ
供給される。動ベクトル検出回路31は、線1010から供給
される動画像信号とフレームメモリ32より供給される動
画像信号の両者を用いて、ブロック単位にあるいは画素
単位に動ベクトルを算出するものであり、算出された動
ベクトルを最適予測方式として線1018を介して可変遅延
回路33と第４図可変遅延回路18へ出力する。この動ベク
トル検出方法は、たとえば二宮により「フレーム間符号
化における動き補正」（電子通信学会論文誌、VOL.J64-
BNO.1昭56pp.24-31）と題して発表された論文にある方
法を用いることができる。

フレームメモリ32は、動画像信号をおよそ１画面分記憶
できるものであり、動ベクトル検出回路31、可変遅延回
路33へおよそ１画面時間前の画像信号を出力する。可変
遅延回路３３は、線1213を介して供給される動画像信号
を、線1018を介して供給される最適予測方式に従って可
変遅延し、動き補償予測値として、線1314を介して減算
器34へ出力する。遅延回路38は、入力信号を、動ベクト
ル検出回路31で動ベクトルを算出し、可変遅延回路33で
動き補償予測値を発生するのに必要な時間遅延させ、減
算器34へ出力する。減算器34は、線1814を介して供給さ
れる遅延された入力信号から動き補償予測値を減算して
動き補償予測誤差を求め、絶対値計算器35へ出力する。
絶対値計算器35は、動き補償予測誤差の絶対値をとり、
線1516を介して加算回路36へ出力する。加算回路36は、
線1210から供給されるフレームの先頭情報でリセット
し、線1516を介して供給される動き補償予測誤差を加算
し始め、その結果を比較器37へ出力する。比較器37は、
フレームの先頭から加算された動き補償予測誤差の絶対
値が定められたしきい値を超えると、シーンチェンジが
起きたとして符号１を線1011を介して制御回路11へ出力
する。

第４図に戻る。同期信号発生回路12は入力動画像信号か
らフレームパルスを分離生成し、各フレームの先頭では
１を、そうでないときは０を線1210を介して制御回路1
1、ラインカウンタ13,14、シーンチェンジ検出回路10、
へ出力する。

制御回路11は、線1011を介して符号１即ちシーンチェン
ジが生じたことが入力されるか、線2411を介して符号１
即ちバッファメモリの充足度が閾値を超えていることが
入力されたときに、線1210から入力されるフレームパル
スをもとに、画面の先頭でラインカウンタのリセット信
号を線1113を介してラインカウンタ13へ出力する。ライ
ンカウンタ13は、線1113を介して入力されるリセット信
号でリセットされ、線1210を介して入力されるフレーム
パルスで定められた値（第１図の説明ではＸ）ずつカウ
ントアップし、線1315を介して比較器15へ出力する。

ラインカウンタ14は、線1210を介して供給されるフレー
ムパルスでリセットされ、１ライン時間で１ずつカウン
トアップするカウンタであり、その値を線1415を介して
比較器15へ出力する。

比較器15は線1315と線1415の内容を比較し、線1415の方
が小であるときは符号１を、そうでないときは符号０を
線1519を介して量子化器19へ出力する。

遅延回路22は入力信号を比較器15より供給される符号の
生成に要する時間遅延させ減算器17へ出力する。減算器
17は、遅延回路22から供給される入力信号から線1817を
介して供給される予測信号を減じて予測誤差信号を算出
し、量子化器へ出力する。量子化器19は、線1519から符
号１が入力されるときは予測誤差信号を量子化し、符号
０が入力されるときは０を符号変換器23と加算器21へ出
力する。加算器21は量子化器19の出力と線1817を介して
供給される予測信号を加算して局部復号信号を生成し、
フレームメモリ20へ出力する。フレームメモリ20は、局
部復号信号をおよそ１フレーム時間分記憶して遅延させ
るものであり、これを可変遅延回路18へ出力する。可変
遅延回路18は、線1018を介して供給される動ベクトル
（最適予測方式）に従ってフレームメモリ20の出力を可
変遅延し、予測信号として線1817を介して減算器17と加
算器21へ出力する。

符号変換器23は、量子化器19の出力をハフマン符号等の
伝送に適した符号に変換し、バッファメモリ24へ出力す
る。バッファメモリ24は、符号変換器23の出力を一定の
伝送速度で伝送路2000へ出力するものであり、その充足
度が定められた閾値を超えたときは線2411を介して制御
回路11へ符号１を出力する。

以上の説明ではシーンチェンジの検出信号、バッファメ
モリの充足度を表わす信号は、線1011,2411を介してそ
れぞれ１ビットで供給されるとして説明したが、シーン
チェンジ時の画面間の内容の変化する割合、バッファメ
モリの充足度の割合を多値でしかも１画面時間の間に複
数回にわたり供給してもよい。このときは、制御回路11
からラインカウンタへは、リセット信号とともにカウン
トアップするステップ幅Ｘが線1113を介して供給され、
ラインカウンタのカウントする速さは、ステップ幅に応
じて増減する。ラインカウンタのカウントする速さと、
バッファメモリ充足度、シーンチェンジ検出回路出力値
との関係の一例を第６図に示す。第６図からもわかるよ
うに、バッファメモリ充足度、シーンチェンジ検出回路
出力値が大であるとき（入力動画像が画面間で内容が大
きく変化していることを示す）は、画面の幕引き速度は
ゆっくりになる。この特性を実現する制御回路はROMに
て容易に実現可能である。

（発明の効果） 以上本発明によれば、画面の内容が大きく変化する場合
によく発生する画面途中での、符号化停止など目障りな
画質劣化を滑らかに画面が切り替わるように符号化する
ことにより避けることができ、かつ符号化された領域に
は細かい符号化モードが適用されているため画質の良い
復号画像が提供される。また本発明に於いては、シーン
チェンジの検出方法にはなんら制限はなく、また幕引き
の速さについても特に制限はないことは勿論である。ま
た幕引きを複数箇所から開始することも勿論可能であ
る。このように、本発明を実用に適する意義は大きい。

【図面の簡単な説明】

第１図(a),(b),(c),(d)は、幕引き制御の原理を表わす
図、第２図は、ブロックマッチング法による動ベクトル
検出原理を表わす図、第３図は、シーンチェンジの検出
原理を表わす図、第４図は、本発明の実施例を表わす
図、第５図は、シーンチェンジの検出回路の実施例を表
わす図、第６図は、画面の変化の大きさと幕引きの速さ
との関係を表わす図である。 図中、10はシーンチェンジ検出回路、11は制御回路、12
は同期信号発生回路、13,14はラインカウンタ、15,37は
比較器、17,34は減算器、18,33は可変遅延回路、19は量
子化器、20,32はフレームメモリ、22,38は遅延回路、23
は符号変換器、24はバッファメモリ、31は動ベクトル検
出回路、35は絶対値計算器、36は加算回路、37は比較
器、 をそれぞれ表わす。

Claims (1)

【特許請求の範囲】
1. 【請求項１】入力端から入力された動画像信号は、シー
   ンチェンジ検出回路、同期信号発生回路、及び、遅延回
   路へ供給され、同期信号発生回路は動画像信号からフレ
   ームパルスを分離生成し、各フレームの先頭では符号１
   を、そうでないときは符号０を制御回路、２個のライン
   カウンタ、及び、シーンチェンジ検出回路に入力し、制
   御回路はシーンチェンジが生じたことが入力されるか、
   バッファメモリの充足度が閾値を超えていることが入力
   されたときに、ラインカウンタのリセット信号を一方の
   ラインカウンタに入力し、その出力信号を比較器に入力
   し、他方のラインカウンタは入力されたフレームパルス
   によりリセットされ、その出力信号を比較器に入力し、
   比較器は両方のカウンタの出力信号の内容を比較し、他
   方のラインカウンタの出力の方が小であるときは符号１
   を、そうでないときは符号０を出力し、その信号を量子
   化器に入力し、遅延回路は入力端から入力された動画像
   信号を比較器より供給される符号の生成に要する時間だ
   け遅延させて減算器に入力し、減算器は遅延回路から入
   力された信号から可変遅延回路から入力された予測信号
   を減じて予測誤差信号を算出し、その信号を量子化器に
   入力し、量子化器は、比較器から符号１が入力されたと
   きは、予測誤差信号を量子化し、符号０が入力されたと
   きは、符号０を符号変換器と加算器に入力し、加算器は
   量子化器の出力信号と可変遅延回路から出力された予測
   信号を加算して局部復号信号を生成し、その信号をフレ
   ームメモリに入力し、フレームメモリは局部復号信号を
   およそ１フレーム時間分記憶して遅延させ、この信号を
   可変遅延回路に入力し、可変遅延回路はシーンチェンジ
   検出回路より入力される動ベクトルにしたがってフレー
   ムメモリの出力信号を可変遅延し、予測信号として減算
   器と加算器に入力し、符号変換器は量子化器の出力信号
   をハフマン符号の伝送に適した符号に変換し、その信号
   をバッファメモリに入力し、バッファメモリは符号変換
   器の出力信号を一定の伝送速度で伝送路へ出力し、その
   充足度が定められた閾値をこえたときは制御回路へ符号
   １を入力するようにしたことを特徴とする動画像信号の
   符号化方式。