JPH0449788A

JPH0449788A - フレーム間符号化装置

Info

Publication number: JPH0449788A
Application number: JP2159378A
Authority: JP
Inventors: Mitsuyoshi Suzuki; 光義鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-06-18
Filing date: 1990-06-18
Publication date: 1992-02-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、一又は二以上のプロセッサを用いて動画偉
の動き補償とともに画像帯域の圧縮符号化を行うフレー
ム間符号化装置に関するものである。

〔従来の技術〕

第３図は例えば特開昭５５−１５８７８４号公報に示さ
れた従来のフレーム間符号化装置の遺戒を示すブロック
図であシ、図において、１は一又は二以上のプロセッサ
を有し、動画偉信号の動き補償の他に画像帯域の圧縮符
号化を行うプロセッサ部、２は入力された符号化すべき
ディジタル画像信号ａを一旦格納する入力メモ！Ｊ　ｓ
　３　＃′ｉ、Ａ　ｓ　Ｂいずれかに符号化に用いる１
フレーム前の画像信号を格納するフレームメモリ、４は
符号化の演算過程で発生するデータを一時的に格納する
ローカルメモリ、５は前記プロセッサ部１で動き補償予
測符号化によシ得られた動ベクトル及び符号化データを
伝送路Ｔ用の送信データに変換して一旦格納する送信メ
モリ、６は前記送信メモリ５に格納されているデータを
伝送速度に同期して順次伝送路７へ送信するとともに、
該送信メモリ５の残量を監視して常時プロセッサ部１へ
制御用データｂを送信し、送信データ量を増減させるこ
とで１フレーム当りの送信データ量が一定に近くなるよ
うに制御する送信制御部、１は伝送路でおる。

次に動作について説明する。

テレビジ璽ン信号（以下、ＴＶ傷信号いう）を伝送する
場合、ｒｓ接するフレーム間の差分信号を符号化して伝
送するというフレーム間予測が用いられるが、単純なフ
レーム間予測では、被写体の動きに依存して予測誤差信
号の統計的性質が大きく変動し、動きの大きな画像につ
いては、隣接するフレーム間で差分信号が大きくなるた
め圧縮率が低下する。この対策として動き補償予測符号
化が用いられるが、ここでは％まずこの動き補償予測符
号化について説明する。被写体が動いている場合、最適
な予測を与える画素を前フレームから探し、その位置変
化を動きと判断する。

例えばＴＶ画面を第４図のように小さなブロックに分割
し、おのおののブロックについて前フレームの同じ位置
を基準としてシフトさせて（このシフト量をシフトベク
トルという）差分をとシ、この差分信号から求められる
評価関数の値を求め、この値が最小となるシフトベクト
ルをもってそのブロックにおける動ベクトルとする（公
知の先行技術としては例えば特開昭５６−１４３７７６
号公報。

特開昭５５−１５Ｂ７８４号公報等かわる）。

このようにして画像の動ベクトルＶを検出し、前フレー
ム信号をこの動ベクトルだけシフトさせて、現フレーム
信号との差分をと勺、この差分信号と動ベクトルを符号
化して伝送する。移動が理想的で、動ベクトルが正確に
検出できれば、この動ベクトルだけ移動させた前フレー
ムとのフレーム間差は零である。すなわち理想的には、
との領斌では動ベクトルの情報を送るだけで予測誤差信
号を送る必要はない。

また、動いた物体の後に現れる背景を移動物体と分離し
て予測することによシ、符号化効率をさらに向上させる
手法も考えられている。

このようにして動ベクトルは検出されるが、−般のＴＶ
ｌｉｉｌｉ像においてはかなり大きな動きが発生し、多
くのシフトベクトルについて評価関数を計算する必９が
ある（例えば、左右８サンプル、上下８ラインの範題の
動きについてまで検出を行うと、（２Ｘ８＋１　）Ｘ　
（２Ｘ８＋１　）＝２８９個のシフトベクトルについて
前述の評価関数値を求めることとなる）。

このままでは回路的あるいは時間的に問題となる場合が
あるので、この動ベクトルの検出を多段階に分けて行う
ことによシ、所要の演算量を削減する方法が考えられて
いる。

まず、第１段階においては（第５図（ａ））、Ａ、Ｂ。

Ｃ，Ｄ、Ｅで示された第１のシフトベクトル群について
上述の評価関数の値を求め、この中で評価関数値が最小
となるシフトベクトルを求める。例えば、探索点Ａ−Ｅ
の中でＤが評価関数値最小となるシフトベクトルである
とすると、第２段階においては（第５図（ｂ）　）　Ｄ
の近傍に配置された第２のシフトベクトル群り、〜Ｄ、
について同様に評価関数値を求め、Ｄ、〜Ｄ、の中で評
価関数値が最小となるシフトベクトルを求める。仮にり
、が評価関数が最小となれば、第３段階（第５図（Ｃ）
）においては、Ｄ、の近傍に配置された第３のシフトベ
クトル群り、、、〜Ｄ、１．について評価関数値を求め
評価関数値が最小となるものを求め、例えば、Ｄ、１．
が最小であれば、該り、１．をそのブロックに対する動
ベクトルとする。

このとき、前フレームの信号をシフトベクトルＤ１１．
たけずらしたものを予測信号として、この予測信号と現
フレーム信号との差分信号及びシフトベクトルＤ９１．
を動ベクトルと１〜て符号化して伝送する。以上は第１
段階においてＤが評価関数最小となった場合の符号化に
ついての説明であるが、他のシフトベクトルが評価関数
最小となった場合も全つく同様にして動き検出が行われ
る。また、ここでは、３段階検出の場合について説明し
たが、さらに多段階になっても全つく同様である。第４
図に示したように、従来知られた方式では２００個以上
のシフトベクトルについて評価関数を求める必要がある
場合でも、この従来例によればたとえば第５図のように
行えば、第１段５個、第２段９個、第３段９個の合計２
３個のシフトベクトルについて評価関数を求めるのみで
よく、所要演算量を削減できる。

次にフレーム間符号化装置の動作について説明する。符
号化すべきディジモル画９ＪＪ信号ａを入力メモリ２に
取込むと、プロセッサ部１で動き補償と画像帯域の圧縮
符号化であるベクトル量子化（「エレクトロニクスＪ　
、１９８９年、６月号−ｐｐ。

７７−８０及び７月号＝ＰＰ、４５−４７記載）等の符
号化を行う。この符号化で用いる１フレーム前の画像（
画像信号）は、フレームメモリ３のＡ又はＢのどちらか
に格納されておｐ、随時アクセスできる。例エバフレー
ムメモリ３のＡ側に１フレーム前の画像が格納されてい
るときは、このＡ側から工７レーム前の画像を絖込み、
符号化を行う。また、この過程で復号再生された新しい
画像をフレームメモリ３のＢ側に書込んでおき、１フレ
ーム全ての処理が終った段階でフレームメモリ３のＡ及
びＢの動作を切替える。次フレームの符号化には、フレ
ームメモリ３のＢ側に１フレーム前の画像が格納されて
いることにな夛、これを用いて符号化を行い、その復号
再生された画像鉱フレームメモリ３のＡ側に書込む。こ
れを繰返すことで、連続してフレーム間符号化を行って
いく。

ローカルメモリ４ではこの符号化の演算過程で発生する
データを一時的に格納する。例えば、符号化のある時点
でどのブロックを符号化しているのか、あるいは動き補
償でどのシフトベクトルを計算（評価関数値を求めるこ
と）しているのか等の状態や、評価関数値等のデータを
保持しておく。

そして、動き補償で求められた動ベクトルと、前記ベク
トル量子化等の符号化で得られた符号化データは、伝送
路Ｔ用の送信データに変換し７て送信メモリ５に書込ま
れ、送信制御部６が伝送路１の伝送速度に同期してこれ
ら送信メモリ５に格納されたデータを順次送信する。ま
た、プロセッサ部１で発生する動きベクトルや他のベク
トル量子化等の送信データ量は、符号化されるブロック
ごとにまちまちであるので、送信メモリ５はある程度の
容量をもち、これらのばらつきを吸収しなければならな
い。このために、送信制御部６では送信メモリ残量等の
制御用データｂを常時監視して前記プロセッサ部１に送
出し、これにより、ベクトル量子化等の符号化パラメー
タを制御して送信データ量を増減させ、１フレーム当夛
の送信データ量が略一定になるよう制御する。しかし、
制御しきれず、送信データがなくなったときは伝送路７
にアイドルを生じ不効率となったシ、また、送信データ
が大きくなったときは、画像の駒落しを生じたシするこ
とになる。

以上は、プロセッサ部１が十分に高速の場合であｐ、送
信データの制御は、ソフトウェアにより改善できる。こ
こで問題となるのは、プロセッサ部１の演算能力である
が、符号化が遅くて送信データがなくなり、アイドルを
生じてしまうのは伝送効率を落し、画質の劣下を招く。

従って、最低限必要な演算能力をｅ、とすると、 ’Ｉ”　ＦｒｎａｘｘＮｘＥｉｉ　　（回／秒）Ｆｍａ
ｘ　：最大伝送フレーム数（フレーム７秒）Ｎ　　：　
１フレームのブロック数ＥＢ：１ブロックの平均演算量（回）となる。前述のように、フレーム間差分値の小さいブロ
ックに対しては、ベクトル量子化等の符号化を省略する
こともあシ、各ブロックの演算量はまちまちであるので
、送信メモリ５の容量を大きくとり、十分演算の平均化
を行う。しかし、画像の種類によ勺、１ブロツクの平均
演算量は変化するので、実際の演算能力は、ｅ、よシも
多少大きくとるようになるので、ハードウェア構成上演
算能力を１１とれない場合等は動き補償によるシフトベ
クトルの探索回数を減らして１ブロツクの平均演Ｘ１ｌ
ｘを小さくすることもある。

〔発明が解決しようとする課題〕

従来のフレーム間符号化装置は以上のように構成されて
いるので、プロセッサの処理能力に応じ、伝送路にアイ
ドルが生じないように余裕をもった少ない探索点の動き
補償しか行わないため、該動き補償の効果が半減されて
しまい、画質が劣下するという課題があった。また、探
索の初Ｎ］の段階で評価関数値のかな９小さい（類似し
た）シフトベクトルをみつけても、処理を打切らず、む
だな探索を続けなければならないなどの課題もあった。

この発明は上記のような課題を解消するためになされた
もので、プロセッサの効率を最大に生かし、高画質の１
ｉｉｉ儂出力を可能にするフレーム間符号化装置を得る
ことを目的とする。

〔課題を解決するための手段〕

第１の請求項に係るフレーム間符号化装置は、送信メモ
リに格納された送信データの残量等から各プロセッサの
処理の余裕度を判断し、余裕のある場合に動き補償によ
るシフトベクトルの探索の探索点数を増加させる（探索
回数を多くする）ようにしたものである。

第２の請求項に係るフレーム間符号化装置は符号化を行
っているブロック以降の所定数のブロックの動き補償の
シフトベクトル探索処理に優先順位を付け、核優先順位
に従って探索を行い、符号化ブロックごとに探索点のシ
フトベクトルの評価関数値が平均化するようにしたもの
である。

〔作用〕

第１の請求項におけるフレーム間符号化装置は、各プロ
セッサの処理の余裕度を判断し、核余裕度に合わせて動
き補償によるシフトベクトルの探索を行う探索点数を増
減させるようにしたので、核プロセッサの稼動効率を向
上させる。

第２の請求項におけるフレーム間符号化装置は、符号化
に先行して所定数のブロックの各動き補償の探索処理に
優先順位を付け、該優先順位に従って動き補償の探索を
行うようにしたので、符号化ブロックごとの探索点にお
けるシフトベクトルの評価関数値を平均化する。

〔発明の実施例〕

以下、この発明の一実施例を図について説明する。

なお、第１及び第２の請求項に係るフレーム間符号化装
置の構成は従来のフレーム間符号化装置（第３図）に同
一であるので説明を省略する。

次に、第１の請求項に係る７レ一ム関符号化装置の動き
補償予測符号化の動作について第１図を用いて説明する
。

１ブロツクの動き補償以外の平均演算量をＥＢＯとする
と、動き補償なしのプロセッサ部１の必要な演算能力６
Ｑは ’ｏ＝　Ｆｒｎａｘ　’　Ｎ　Ｘ　ＥＢＯ（回／秒）Ｆ
ｒｎａｘ　：　’ｌｋ大伝送フレーム数（フレーム７秒
）Ｎ　　：　１フレームのブロック数であり、実際のプロセッサ部１のもつ演算能力ｅ（ｅ＞
ｅｏ）からｅ。を引いた残りの能力を全て動き補償に用
いる。１ブロック当りの動き補償の平均演算量ＥＢＭはであり、平均的にはこれに相当する回数（以下、ｍｏと
する）のシフトベクトルの探索が行える。ただし、画偉
によっては送信データの制御のむらによシ駒落があシ、
伝送フレーム枚数がＦ’ｍａｘ以下になることや６０も
変化する。そこで、送信メモリ残量Ｒによシ、次のとお
ｐ１第１図の第１段階までの探索を行うよう制御する。

Ｒ＜Ｒ，・・・第１段階まで探索Ｒ，＜Ｒ＜Ｒ，・・・第２段階まで探索Ｒｎ、−＋＜Ｒ
・・・第ｎ段階まで探索ここで、第１段階の探索点数（
第１廚では５Ａ）は上記ｍ。よりも小さくとることによ
シ、プロセッサ部の演算ネックにより送信メモリ５が空
になることがなくなる。また％第ｎ段階までの探索点数
はｍ。より十分大きくとることにより、プロセッサ部１
の処理に空き時間がなくなるようになる。

１ブロツクについて上記の動き補償と他のベクトル量子
化等の符号化を行うごとに、新しく発生する送信データ
と伝送路Ｔに送出されるデータがあり、送信メモリ残ｉ
ｌＲは常時変化するので、次ブロックはその送信メモリ
残量Ｒを考慮して動き補償予測符号化が行われる。

なお、第１段階から第ｎ段階までの探索点の選定につい
ては、第１図では発生頻度の高い点から固定点を選んで
いるが、これは従来例に示した多段階に可変な点を用い
てもよく、既に求まった周囲のブロックの動ベクトルや
その近くの点を用いてもよい。

次に、第２の請求項に係るフレーム間符号化装置の動き
補償予測符号化の動作について第２図を用いて説明する
。

第１の請求項に係るフレーム間符号化装置だけでは、ブ
ロックごとに探索点数が無意味にばらつくことや、探索
の初期段階で評価関数値の小さい動ベクトルが見つかっ
ても探索処理を続けてしまうようなむだがあることがあ
るので、これを改善するように構成されている。

動き補償ベクトル量子化等の符号化処理は、１ブロツク
ごとにまとめて行う必要はなく、動き補償が先行してい
ればよい。そこで、符号化を行っているブロックから数
えてｔブロック（ｔ：固定）先までの動き補償に優先度
をもたせてシフトベクトルの探索を行う。探索の段数の
合計は前記同様、送信メモリ残量Ｒによシ、合計ｉ段階
の探索を行う（Ｒし、＜Ｒ＜Ｒｉ）。

前ブロックまでの符号化において行われたシフトベクト
ルの探索をＸで示すと、例えば、今回の符号化すべきブ
ロック（図中、ブロック１）は既に第４段階まで探索が
済み、さらに次のブロック（ブロック２）は第２段ｌｖ
まて、・・・、（ｔ−１）ブロックは第２段階まで済ん
でおり、その各段階までの評価関数値を枠内で数値で示
しである。第２図では、１＝１１段階のときの例である
が、まず優先するのは評価関数値を初めて求める！、ブ
ロックであシ、その第１段階を探索する。そのときの評
価関数値は２１０である。次からはｔブロックの中で、
各段階までの最大の評価関数値をもつブロックとする。

つまシ、第２図では評価関数２９０をもつ、第７ブロツ
クであシ、順次番号に従い合計１１段階分の探索を行う
。すべて終了した時点で、今回符号化すべきブロック（
ブロック１）のベクトル量子化等の符号化を行い、送信
メモリ５にこれらの情報（動き補償については計測関数
値ｆ：最小とさせる動ベクトルデータ）を送出する。次
のブロック以降も同様の処理をつづけていく。

優先順位のつけ方については、以上のような簡単なもの
でもよいが、実際にはいろいろな場合分けを行い制御す
ることにより、よりよい効果を得られる。

〔発明の効果〕

以上のように、第１の請求項に係る発明によれば各プロ
セッサの処理の余裕度を判断して動き補償によるシフト
ベクトルの探索を行う探索点数を制御するようにしたの
で、該プロセッサを最大限に活用できる効果がある。

また、第２の請求項に係る発明によれば符号化に先行し
て符号化する前の所定数のブロックごとの動き補償の探
索処理を優先順位に従って行うようにしたので、各ブロ
ックでの動ベクトルの評価関数値が平均化され、かつ小
さい値となるので、よシ高画質の画偉出力を可能にする
効果がある。

【図面の簡単な説明】第１図は第１の請求項に係る発明の一実施例によるフレ
ーム間符号化装置の動き補償の探索動作を説明する図、
第２図は第２の請求項に係る発明の一実施例によるフレ
ーム間符号化装置の動き補償の探索動作を説明する図、
第３区は従来のフレーム間符号化装置の構成を示すブロ
ック図、第４及び第５図は従来の動き補償の探索動作を
説明する図である。図において、１はプロセッサ部、２は入力メモリ、３は
フレームメモＩＪ、４はローカルメモリ、５は送信メモ
リ、６は送信制御部、Ｔは伝送路である。なお、図中、同一符号は同一　又は相当部分を示す。特許出願人　　三菱電機株式会社第図 ×９　前フ゛Ｉ］−／りの符号イヒりとさ１：行１υ恢
たｔ？呑○：　り色フ゛口・ツクの、符シトのと５１ニ
オテうａ！索（冶１１１９ア冑）○内のべ・像は優先Ｉ
悄粒第図

Claims

【特許請求の範囲】

（１）一又は二以上のプロセッサを用い、動き補償予測
符号化を行うフレーム間符号化装置において、前記各プ
ロセッサの符号化処理の余裕度を判断し、該符号化処理
の空き時間で行う動き補償によるシフトベクトルの探索
の探索点数を制御することを特徴とするフレーム間符号
化装置。
（２）一又は二以上のプロセッサを用い、動き補償予測
符号化を行うフレーム間符号化装置において、前記各プ
ロセッサで行われる各ブロックの符号化処理に先行して
、所定数のブロックについて各動き補償によるシフトベ
クトルの探索処理に優先順位を付け、該優先順位に従っ
て動き補償によるシフトベクトルの探索を行うことを特
徴とするフレーム間符号化装置。