JPS6212287A - 動画像信号の適応予測符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビジョン信号のデジタル圧縮伝送技術に係
わり、特に移動物体の背後から新たに表われるアンカバ
ードバックグラウンドに対しても、高い符号化能率を保
持する動画像信号の適応予測符号化技術に関するもので
ある。

（従来の技ｔ＃） 従来テレビジョン信号等を高能率に圧縮し伝送するには
、動き補償を用いたフレーム間符号化方式などが用いら
れていた。これは、二宮等により［動き補正フレーム間
符号化方式］（電子通信学会論文誌（Ｂ）、Ｊ６３−Ｂ
、１１．ｐｐ、１１４０−１１４７（昭５ｌ−１１））
として発表されてい゛るように、動画像信号には高いフ
レーム間相関があることを利用して効率良く帯域圧縮す
る技術である。

（発明が解決しようとする問題点） 動画像信号には、背景などの静止領域や動物体の作る動
領域の他に、動物体の背後から新たに表われるアンカバ
ードバックグラウンドがある。この領域においてはフレ
ーム間相関が全くないため、上述の動き補正符号化方式
のようなフレーム間相関を利用した予測符号化方式では
効率著しく低下するという欠点があった。

本発明は、アンカバードバックグラウンドにおけるフレ
ーム間予測符号化方式の効率低下を解消することを目的
とするものである。

（問題点を解決するための手段） 本発明によれば、テレビジョン信号等動画像信号にたい
して、動き補償予測を行ないその予測誤差を算出する手
段、該動き補償予測誤差を評価する第１の評価手段、同
じ（動画像信号に対してフレーム間予測を行ない予測誤
差を算出する手段、該フレーム間予測誤差を評価する第
２の評価手段、前記第１の評価結果及び前記第２の評価
結果を記憶する手段、該記憶された第１、第２の評価結
果を評価する第３の評価手段、フレーム間相関を用いる
予測符号化を行なう手段、背景メモリを用いる背景予測
符号化を行なう手段、前記第３の評価結果に従い、アン
カバードバックグラウンドに対しては背景メモリを用い
た予測符号化を選択する手段、とを有することを特徴と
する動画像信号の適応予測符号化装置が得られる。

（作用） 次に、本発明の動作の原理を説明する。以下の説明では
、テレビジョン信号をもって動画像信号を代表する。

まず、本発明において重要なアンカバードバックグラウ
ンドを正確に領域分離する方法を説明する。

まず動き補償予測誤差値とフレーム差分値（フレーム間
予測誤差）を求める。動き補償予測誤差は、例えば、前
述の二宮らの文献にある動き補正予測符号化方式で算出
される予測誤差をそのまま用いることができる。即ち、
画面をある大きさのブロックに分割し、フレームメモリ
に記憶されている前フレーム信号の中から最も相関の高
いブロックを求め、対応するブロック間で同じ位置にあ
る画素の差分値を動き補償予測誤差値とする。

動き補償予測誤差値の求め方は特に説明の方式に限った
ものではなく、他の方式で求められたものでも構わない
。フレーム差分値は、現画素とフレームメモリ内の同じ
位置の画素との差分を求めることにより得られる。

以下の説明では、動き補償予測誤差値、フレーム差分値
は既に求まっているとして進める。

第２図において、■、■、■は、連続する４枚のフレー
ムＦｌ、　Ｆ２．　Ｆ３．　Ｆ４で、斜めの楕円形の動
物体が右に平行に移動してＦ３で停止したときの各フレ
ームでの位置を１枚の図上に重ね書きしたものである。

破線、一点鎖線、実線が、それぞれＦｌ、　Ｆ２゜Ｆ３
での物体の位置■、■、■を表わしている。動物体は、
フレームＦｌ、　Ｆ２．　Ｆ３までは平行に移動してそ
れぞれ■、■、■の位置に来、Ｆ３で停止したため、Ｆ
４ではＦ３での位置と同じ■にある。次に第２図中の［
１１〜［６］で示された部分が、各フレームで動領域、
静止領域のいずれであるかを分類する。［月はＦｌ、　
Ｆ２．　Ｆ３．　Ｆ４を通じての背景、すなわち静止領
域であり、［２］はＦｌ、Ｆ２間ではアンカバードバッ
クグラウンド、Ｆ２以降は背景、［３］はＦｌ、　Ｆ２
間では動領域、Ｆ２．　Ｆ３間ではアンカバードバック
グラウンド、Ｆ３以降は背景、［４］（図中楕円が■と
■の同位置にあるときに重なる、部分）はＰｉ、　Ｆ２
．　Ｆ３．　Ｆ４通じての動領域、［５］（おなじく■
と■の同位置にあるときに重なる部分）はＦｌ、　Ｆ２
間で動物体に覆われ（通常はこの場合も動領域と称する
）、Ｆ２．　Ｆ３で動領域、Ｆ３以降は静止領域、［６
］（位置■において先の［５］を除いた部分）はＦｌ、
Ｆ２間では背景、Ｆ２．　Ｆ３間で動物体に覆われた領
域、Ｆ３以降は静止領域となる。

第２図の［１１〜［６］近傍の画素に対して求められた
動き補償予測誤差値、フレーム差分値を適当な閾値Ｔと
大小比較し、Ｆ１〜Ｆ４間での誤差値、差分値の変化を
定性的に調べると、第３図のようになる。第３図でＦＯ
はＦｌの前の画面である。

第２図の動きの場合、第３図かられかるように、分離し
たいアンカバードバックグラウンド（［２］および［３
］、第３図中太線でしめず）では、動き補償予測誤差が
小から大に遷移し、そののちにフレーム差分値が大から
小へ遷移する。物体が連続して動いている場合は、フレ
ーム差分値の時間遷移のみでも、他の領域（［１１，［
４］、［５］、［６］　）区別可能であるが、物体が停
止した場合は、［４］、［５］、［６］の領域でもフレ
ーム差分値はアンカバードバックグラウンドのそれと同
様の、大から小への遷移を示し区別できな（なる。この
ような場合に対しても、動き補償予測誤差の時間遷移を
調べればよい。物体が静止した場合には［４］、［５］
、［６］では連続して小であり、実際のアンカバードバ
ックグラウンドにおける動き補償予測値が、前述のよう
にフレーム差分値が大から小に遷移する前に一旦小から
大になるのとは異なる挙動を示すので区別可能である。

次に第１図を用いてアンカバードバックグラウンドにお
ける本発明の作用について説明を加える。

第１図は、第２図と同じ物体の動きに対する輝度振幅値
とフレーム差分値を表わす図である。（Ａ）は、第２図
破線の断面のＦ２における輝度振幅値を横軸を位置（Ｘ
座標）として書いたものであり、（Ｂ）は同Ｆ３におけ
る輝度振幅値である。（Ｃ）は、Ｆ３におけるフレーム
差分値即ち、（Ｂ）−（Ａ）である。［２］は、前出の
第２図の領域［２］に相当し、（Ｂ）即ちＦ３において
新たに表われたアンカバードバックグラウンドである。

この図かられかるように、アンカバードバックグラウン
ドは、フレーム間の相関は全くない領域であるため、フ
レーム間差分値をとることで、現フレームの画像信号（
（Ｂ）の［２］即ちアンカバードバックグラウンド）と
１フレーム以前の画像信号（（Ａ）の［２］、動領域）
との両方の情報を含むことになり効率的ではない。従っ
てアンカバードバックグラウンドに対しては、背景メモ
リを用いた背景予測を行なうことでこの領域での符号化
能率を向上させることができる。背景メモリの構成、そ
れを用いた予測の方法としては、例えば、黒田らにより
「動き補償・背景予測を用いたフレーム間符号化方式」
（電子通信学会論文誌、昭和６０年１月、Ｊ６８−Ｂ巻
、第１号、７７ページ〜８４ページ）として発表された
方式を用いることができる。

（実施例） 次に、本発明の詳細な説明する。

第４図は、アンカバードバックグラウンド分離回路を説
明する図である。

入力端１００には、動画像信号が入力され、遅延回路１
３と１６、フレームメモリ１０と１１、動ベクトル検出
器１２へ供給される。遅延回路１３．１６は、フレーム
メモリ１０と遅延回路１４を介してフレーム間予測値と
、同フレームメモリ１０と可変遅延回路１５を介して動
き補償予測値とが算出されるのに必要な時間だけ入力信
号を遅延させ、線１３１７．１６１８を介して、おのお
の減算５１７．１８へ供給する。フレームメモリ１０は
、動画像信号をおよそ１フレ一ム分記憶できるものであ
る。遅延回路１４は、フレームメモリ１０とあわせて入
力信号が１フレ一ム時間遅延されるだけの遅延量をもち
、１フレーム遅延された入力信号が、線１４１７を介し
て減算器１７へ出力される。減算器１７は、線１３１７
から供給される入力信号と線１４１７から入力される１
フレ一ム遅延信号とでフレーム差分値を算出して比較器
１９へ出力する。比較器１９は、フレーム差分値と閾値
Ｔを比較し、例えばフレーム差分値の絶対値の方が大で
あれば符号１を、小であれば符号０をメモリ２１へ出力
する。

フレームメモリ１１は、動ベクトルの検出用のメモリで
あり、入力信号を１フレ一ム分記憶する。動ベクトル検
出５１２は、前述の二宮らの文献にある動ベクトル検出
回路を用いることができる。即ち、線１００から供給さ
れる入力信号と、線１１１２を介して供給されるおよそ
１フレーム前の信号とを用いて、ブロックマツチング法
で動ベクトル（最適予測方式）を算出し、これを線１２
１５を介して可変遅延回路１５へ出力する。可変遅延回
路１５は、最適予測方式に従って、線１０１５を介して
供給されるフレームメモリ出力を遅延し、動き補償予測
値として減算器１８へ出力する。減算器１８は、線１６
１８を介して供給される入力信号と、線１５１８を介し
て供給される動き補償予測値とを減算して、動き補償予
測誤差値を算出し、比較器２０へ出力する。比較器２０
は、動き補償予測誤差と閾値Ｔとで大小比較を行ない、
例えば動き補償予測誤差値の絶対値の方が大であれば符
号１を、小であれば符号０をメモリ２２へ出力する。

メモリ２１と２２は、それぞれ、フレーム差分値と閾値
の比較結果、動き補償予測誤差値と閾値の比較結果、を
数フレーム分記憶できるものである。

判定回路２３は、メモリ２１に記憶されたフレーム差分
値と閾値との大小比較結果、メモリ２２に記憶された動
き補償予測誤差値と閾値との大小比較結果を読み出して
、予め定められた論理に従って、該当画素（あるいはブ
ロック）がアンカバードバックグラウンドにあるものか
どうか判定しアンカバードバックグラウンドであるとき
は符号１を、そうでないときは符号Ｏを出力端２００へ
出力する。これは、各比較結果をアドレス入力とするリ
ードオンリメモリ（ＲＯＭ）により容易に実現できる。

第５図に判定論理の一例を示す。第５図の場合、アドレ
ス人力Ａ３に現在の動き補償予測誤差の比較結果を、Ａ
２に１画面、Ａ１に２画面、ＡＯに３画面時間以前の動
き補償予測誤差の比較結果を閾値より大であれば１で、
小であれば０で表わして入力している。フレーム差分値
の比較結果も同様に、Ａ７からＡ４に現在から３画面時
間以前のフレーム差分値の比較結果を入力している。ア
ンカバードバックグラウンドは、フレーム差分値が大が
ち小に変わる１フレーム以前に、動き補償予測誤差が小
がら大に変化して現在は小である場合であるので、１０
進表記したアドレスで１１６のときにアンカバードバッ
クグラウンドであるとして出力１となっている。

第６図は、第４図のアンカバードバックグラウンド分離
回路を用いたフレーム間適応予測符号化装置の実施例で
ある。

入力端１００から入力された入力動画像信号は、アンカ
バードバックグラウンド分離回路３０と遅延回路３６供
給される。アンカバードバックグラウンド分離回路３０
は、入力信号からアンカバードバックグラウンドを領域
分離し、アンカバードバックグラウンドであるときは符
号１を、そうでないときは符号Ｏをセレクタ３２へ出力
する。セレクタ３２は、線２００を介して符号１が入力
されるときは、線３４３２を介して供給される背景予測
値を選択し、符号０が供給されるときは、線３分離回路
３０と遅延回路３６供給される。アンカバードバックグ
ラウンド分離回路３０は、入力信号からアンカバードバ
ックグラウンドを領域分離し、アンカバードバックグラ
ウンドであるときは符号１を、そうでないときは符号０
をセレクタ３２へ出力する。セレクタ３２は、線２００
を介して符号１が入力されるときは、線３４３２を介し
て供給される背景予測値を選択し、符号Ｏが供給される
ときは、線３３３２を介して供給されるフレーム間相関
を用いた予測値を選択し、線３２３５を介して加算器３
５と減算器３１へ出力する。遅延回路３６は、アンカバ
ードバックグラウンド分離回路３０において、アンカバ
ードバックグラウンドが領域分離されるのに必要な時間
だけ入力信号を遅延させ、これを減算器３１へ出力する
。減算器３１は、遅延された入力動画像信号から線３２
３５を介して供給される予測値を減じて予測誤差信号を
作り、線３１３０を介して出力端３００と加算器３５へ
出力する。加算器３５は、予測誤差信号と線３２３５を
介して供給される予測信号を加算して局部復号信号を作
り、これを線３５３０を介してフレーム間予測回路３３
と背景予測回路３４へ出力する。フレーム間予測回路３
３は、フレーム間相関を用いた予測信号を発生するもの
であり、例えば前述の二宮の文献にある動き補正フレー
ム間予測回路を用いることができ、動き補正されたフレ
ーム間予測信号を線３３３２を介してセレクタ３２へ出
力する。背景予測回路３４は、アンカバードバックグラ
ウンドを含む背景に対する予測信号を作るものであり、
例えば前述の黒山らの文献にある背景予測回路を用いる
ことができ、背景予測信号を線３４３２を介してセレク
タ３２へ出力する。

（発明の効果） 以上本発明によれば、移動物体の背後より新たに現われ
るアンカバードバックグラウンドに対してより効率の高
いフレーム間適応予測符号化装置が実現され、本発明を
実用に供する意義は大である。

【図面の簡単な説明】

第１図は、物体が画面内を平行に移動したときの輝度振
幅値の変化とフレーム差分値を示す図、第２図は、物体
が画面内を平行に移動したのち停止する場合の位置を示
す図、第３図は、第２図の各領域の動き補償予測誤差値
とフレーム差分値のしきい値との大小比較結果を示す図
、第４図は、アンカバードバックグラウンド分離回路の
実施例を表わす図、第５図は第４図判定回路の論理を表
わす図、第６図は本発明を用いたフレーム間適応符号化
装置の実施例を表わす図、である。 １ｍ中、１０．１１フレームメモリ、１２は動ベクトル
検出器、１３．１４．１６．３６は遅延回路、１５は可
変遅延回路、１７．１８．３１は減算器、１９．２０は
比較器、２１．２２はメモリ、２３は判定回路、３０は
アンカバードバックグラウンド分離回路、３２はセレク
タ、３３はフレーム間予測回路、３４は背景予測回路、
３５は加算器、１００は入力端、３００は出力端、をそ
れぞれ表わす。 オ　１　図 オ　２　図

Claims (1)

【特許請求の範囲】
1. テレビジョン信号等動画像信号にたいして、動き補償予
   測を行ないその予測誤差を算出する手段、該動き補償予
   測誤差を評価する第１の評価手段、同じく動画像信号に
   対してフレーム間予測を行ないその予測誤差を算出する
   手段、該フレーム間予測誤差を評価する第２の評価手段
   、前記第１の評価結果及び前記第２の評価結果を記憶す
   る手段、該記憶された第１、第２の評価結果を比較する
   ことにより動物体の移動後に新たに現われた背景（アン
   カバードバックグラウンド）を検出する第３の評価手段
   、フレーム間相関を用いる予測符号化を行なう手段、背
   景メモリを用いる背景予測符号化を行なう手段、前記第
   ３の評価結果に従い、アンカバードバックグラウンドに
   対しては背景メモリを用いた予測符号化を選択し、それ
   以外に対してはフレーム間相関を用いた予測符号化を選
   択する手段、とを有することを特徴とする動画像信号の
   適応予測符号化装置。