JPH0465985A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、動画像の動き検出予測信号を用いるテレビ電
話や動画像蓄積装置等において、動画像の符号化（圧縮
）を行う動き補償符号化装置等に設けられ、画素データ
の動きを検出する動きベクトル検出回路に関するもので
ある。

（従来の技術） 従来、このような分野の技術としては、安田端彦監修「
画像伝送における高能率符号化技術」（昭６２−３−３
１＞（株）トリケプス、Ｐ、　２３１−２３３に記載さ
れるものがあった。

従来、テレビ電話や動画像蓄積装置等において、動画像
は処理の柔軟性に富むディジタル・データとして扱われ
るが、その動画像データをテイジタル・データとして直
接表現すると、膨大なデータ量となる。そこで、通信の
効率化や記録媒体の節約等のために、動画像を符号化し
て通信あるいは記録することが行われる。

動画像の符号化では、符号化効率を向上させるのに、動
き補償が有効であり、これに関する技術が前記文献に記
載されている。動き補償とは、符号化対象フレーム（現
フレーム）を小さな矩形ブロックに分割し、各ブロック
に対して、前フレームの中から最も近似度が高い部分を
検出（動き検出）し、これを予測信号として用いるもの
である。

第２図（ａ）〜（Ｃ）は、この動き検出の説明図である
。

第２図（ａ）は、現フレームと前フレームの対応を示す
図である。

Ｆ　は現フレーム、Ｆ　　　は前フレーム、Ａｔ　　　
　　　　　　ｔ−１ （ｎ、ｍ）は現フレームＦｔの分割された１ブロツク、
Ｂ　（ｎ、ｍ＞は前フレームのＡ　（ｎ、ｍ＞に対応す
る検索対象ブロックである。Ａ（ｎ、ｍ７１）はＡ　（
ｎ、ｍ＞の隣りプロ・・ツク、Ｂ（ｎｍ士１）はＡ　（
ｎ、ｍ−１−１）に対応する検索対象ブロックである。

Ｂ　　（ｎ、ｍ＞（０，０〉、Ｂ８（ｎ１ｍ＋１）（０
，０）はブロックＡ　（ｎ。

ｍ）、Ａ　（ｎ、ｍ↑１）と同し位置で同し大きさのブ
ロックである。

第２図（ｂ）は、ブロックＡ　（ｎ、ｍ＞に対応する検
索範囲、すなわちＢ　（ｎ、ｍ）の大きさを示す図であ
る。第２図（Ｃ）は検索のためのＢ（ｎ、ｍ＞内のブロ
ックＢ　　（ｎ、ｍ）＜ｐ、ｑ）の移動を示す図である
。

Ｂ　　（ｎ、ｍ＞（ｐ、ｑ＞は、Ａ　（ｎ、　ｍ）とＢ
　（ｎ、ｍ＞内のどの部分とが比較されるかを示すブロ
ックである。ベクトルｐ、ｑは、Ｂ５（ｎ。

ｍ＞’（０，０＞の位置を中心に、そのブロック位置を
垂直方向にｐ、水平方向にｑ画素分だけ移動させたこと
を示す。Ｂ８（ｎ、ｍ＞（ｐ、ｑ＞はＢ　（ｎ、ｍ）内
であるから、 ｒ１４ｐ　遁ｒ２．　−　Ｃ１４ｑ：４　Ｃ２となる。

ここで、ブロックＡ（ｎ、ｍ）内の各画素の値をＸ　　
（ｉ　　−ｎｔｉ、ｊＮ１’ｍ＋Ｊ＞て　　　　Ｍ 表わしくブロックの大きさをｉＭ入ｊＭとする）、比較
されるブロックＢ　　（ｎ、ｍ＞（ｐ、ｑ）内の各画素
の値をｘ　　　　（ｉ　　−ｎ−ｉ−ｉ−ｉ−ｐ、ｊ１
　　　Ｍ Ｍ・ｍ−１−ｊ−ｉ−ｑ）で表わす。

Ｂ　（ｎ、ｍ）内で、Ａ　（ｎ、ｍ＞と最も近似度の高
い部分を検出するのに、ｐ、ｑを変化させ、Ａ　（ｎ、
ｍ）とＢ　　（ｎ、ｍ）（ｐ、ｑ＞の差分絶対値を求め
、その値が最も小さいものを近似度の高いものとする。

すなわち、各ｐ、ｑに対し、ｘｔ　　１　（ｉＭｏ””
”　− ｊＭ・ｍ−１−ｊｔｑ）ｌ　　　　・−−（１）の計算
を行い、この結果が最小となるｐ、ｑを求める。

このｐ、ｑを動きベクトルとし、Ｂ８（ｎ、ｍ）（ｐ、
ｑ＞を予測信号として、符号化対象フレームとなる現フ
レームＦｔのブロックＡ　（ｎ、ｍ）を符号化する替わ
りに、動きベクトルと、予測信号のＢ　　（ｎ、ｍ＞（
ｐ、ｑ＞と現フレームＦｔのブロックＡ　（ｎ、ｍ＞と
の誤差を符号化した方が、符号化効率を向上できる。

実際には、前フレームＦ　　　と現フレームＦ、のデー
タは、それぞれフレームメモリに格納され、その間で、
ｐ、ｑを少しずつずらしながら、（１）式の計算が行わ
れる。

（発明が解決しようとする課題） しかしながら、上記構成の回路では、次のような課題が
あった。

前記（１）式の計算では、ベクトルｐ、ｑが近い場合、
第２図（Ｃ）に示すように、Ｂ　　（ｎ。

ｍ＞（ｐ、ｑ＞のかなりの部分が共通な画素となるが、
画素単位ではそれぞれずれた画素での計算となる。さら
に、第２図（ａ）に示すように、検索対象のブロックＢ
　（ｎ、ｍ＞、Ｂ　（ｎ、ｍ＋１）も共通画素を含むが
、それぞれ別のブロックＡ（ｎ、ｍ＞　、Ａ　（ｎ、ｍ
＝１）との計算となるため、画素データの読出しが複数
回になり、その制御が複雑となる。このため、このよう
な動き検出処理機能を有する動き補１貫符号ｆヒ装置等
においては、一般にソフトウェアて゛制御か可能なマイ
クロプロセッサ等のプロセッサを用いて計算を行ってい
る。

しかし、この場合、扱う計算量が非電に多いため、処理
に時間がかかるという問題があった。即ち、現フレーム
ＦｔのあるブロックＡ　（ｎ、ｍ＞と、それと上し咬さ
れる前フレームＦ　　　のブロツクＢ　　（ｎ、ｍ＞（
ｐ、ｑ＞との計算では、そｉ−ｔぞれの］゛ロックの大
きさがｉＭｘｊＭて′あったとすると、ｉＭ”ｊＭ回の
絶対値差分累積加算が行われる。これが、それぞれの動
きベクトル、つまりｐ、ｑのとり得る数だけ、（ｒ１＋
ｒ２＋１〉Ｘ　（ＣＩ　＋　Ｃ２＋　１　）回繰り返さ
れる。

これだけの計算を行って、ブロックＡ　（ｎ、ｍ＞に対
する動きベクトルが求まる。従って、現フレームＦｔの
ある１個のブロックＡ（ｎ、ｍ）に対して、Ｉ　ＡＩｘ
　Ｊ　Ｍ　Ｘ　（ｒ　１＝−ｒ　２　＊　１　）　Ｘ（
Ｃ１ｃ２−Ｔ−１）回の絶対値差分と累積加算が行われ
る６二ｉ窃τ現フレームＦｔの各ブロックについて行わ
れるため、膨大な計算量となる。

一般にマイクロプロセッサ等のプロセッサでは、各計算
をシリアルに行っていくので、処理にかなりの時間がか
かる。そのため、１フレームの画素数及び動きベクトル
数をかなり制限しなければならず、あまり実用的ではな
かった。

本発明は前記従来技術が持っていた課題として、制御の
簡単化を図るためにプロセッサを用いた場合、該プロセ
ッサは各計算をシリアルに行っていくので、処理にかな
り時間がかかり、そのためリアルタイムで動画像を扱う
場合は単位時間あたりのフレーム数や、画素数及び動き
ベクトル数をかなり制限しなければならないという点に
ついて解決した動きベクトル検出回路を提供するもので
ある。

（課題を解決するための手段） 本発明は前記課題を解決するために、１フレーム内を複
数個のブロックに分割し、個々の現ブロックについて他
のフレームとの比較によって画素データの動きを検出す
る動きベクトル検出回路において、複数段の演算回路群
を備えている。各演算回路群は、比較される前記フレー
ム内の探索範囲ブロック及び現ブロック内の画素の主走
査方向にシフトした各ベクトルに対する評価関数値を求
める複数個の演算回路と、前記探索範囲ブロック内の１
走査当たりの画素数に対応し、現ブロックの入力画素の
信号を遅延する複数個の直列接続された遅延回路とで、
構成さｉｔている。

さらに、前記直列接続された遅延回路の出力は次段の遅
延回路に入力され、前記各演算回路には前記探索範囲ブ
ロックの画素データ及び前記ブロックの各ベクトルのシ
フト分に対応した分だけ遅延した画素データが入力され
、前記各演算回路群は副走査方向にシフトしたベクトル
に対する評価関数値を求めるように構成されている。

（作用） 本発明によれば、以上のように動きベクトル検出回路を
構成したので、各演算回路は、各動きベクトルに対応す
る絶対値の差分を求め、その累積加算を行う働きがある
。さらに、各遅延回路は、現フレームデータを適宜遅延
させるための例えばレジスタとしての働きをする。これ
により、少なくとも水平方向あるいは垂直方向に連続す
るブロックに対する計算では、複数回、同じ画素のデー
タを読み込むことがなく、高速な動きベクトルの検出が
行え、単位時間当りのフレーム数や、画素数及び動きベ
クトル数の制限を解除できる。従って、前記課題を解決
できるのである。

（実施例） 第１図は、本発明の一実施例を示す動きベクトル検出回
路の構成ブロック図である。

この動きベクトル検出回路では、現フレームの現ブロッ
クの大きさが、４×４画素で比較されるフレーム、例え
ば前フレームの探索範囲ブロックが８Ｘ８画素の大きさ
とした場合の回路例が示されている。

この動きベクトル検出回路は、現ブロックの画素データ
Ｄａが入力される入力端子１ａ、探索範囲ブロックの画
素データＤｂが入力される入力端子１ｂ、及び出力端子
２を有している。入力端子ｌａ、ｌｂには、３段の演算
回路群１０．３０゜５０．７０．９０が接続され、その
最終段の演算回路群９０が、比較回路１１０を介して出
力端子２に接続されている。

初段の演算回路群１０は、各ベクトルに対応した評価関
数値を計算する５個の演算回路（Ｐｅ　）１１〜１５と
、現ブロックの入力画素データＤａに遅延を与える８個
の遅延回路（Ｚ−１＞　２１〜２８とで、構成されてい
る。評価関数として、現ブロックの画素データＤａと探
索範囲ブロックの画素データＤｂとの差分絶対値の累積
値とすると、演算回路１１〜１５は、差分絶対値及び累
積加算回路より構成される。

遅延回路２１〜２８は、クロック信号に同期し、入力画
素データＤａを一時保持するレジスタとしての機能を有
している。そして、入力端子１ａは遅延回路２１の入力
側に接続され、その出力側が遅延回路２２／＼と、遅延
回路２Ｓまて直列に接続されている。入力端子１ａは演
算回路１１の入力１則にも接続され、遅延回路２１〜２
４の出力１則が、演算回路１２〜１５の入力側にも接続
されている。

また、入力端子１ｂは、演算回路１１〜１５の入力側に
接続され、その演算回路１１〜１らの出力側が、比較回
路１１０の入力側Ｉ＼接続されている。

次段の演算回路群３０も初段の演算回路群１０と同様に
、演算回路３１〜３３及び遅延回路４１〜４８て゛構成
されている。そして、初段の演算回路群１０内の遅延回
路２８の出力側が、次段の演算回路群３０内の遅延回路
４１及び演算回路３１の入力側ｌ＼と接続されている。

以下同様に、３段〜５段の演算回Ｂ５０．７０゜９０も
、同一の回路で構成されている。

各段の終段の演算回路１５，３５．５５．７５９５の出
力側に共通接続された比較回８１１０は、各演算回路１
５〜９５で計算されて出力される評価関数値を逐次比較
し、そのブロックに対する動ベクトルを決定する機能を
有している。

なお、第１図において、各回路間の接続は信号のビット
数分のバスとなっている。例えば、入力端子１ａ、１ｂ
からの入力画素データＤａ、Ｄｂがそれぞれ８ビツトで
与えられる場合、各演算回路Ｉ＼の入力線、及び遅延回
路の入出力線は、それぞれ８ビツトとなる。また、現ブ
ロックの大きさが４Ｘ４で１６回の差分絶対値の累積加
算が行われ、それぞれの演算回路から出力されるため、
その出力線は１２ビツトとなる。

以上のように構成された動きベクトル検出回路の動作に
ついて、第３図（ａ＞、（ｂ）の現ブロック及び探索範
囲ブロックを示す図、及び第４図のデータ入力タイミン
グ図を用いて、以下説明する。

第３図（ａ）は現ブロックを示す図で、Ａ　（ｎ。

ｍ）、Ａ　（ｎ、ｍ−１−１））、−は４Ｘ４画素のブ
ロックである。ブロックＡ　（ｎ、ｍ）の左上の画素を
Ｘ　ｔ　（４ｎ　、４　ｍ　＞とし、そのブロック内の
画素をＸＩ　（４ｎ＋ｉ、４ｍ＋ｊ）とする。また、ブ
ロックＡ（ｎ、ｍ＋１）の左上の画素をｘｔ（４ｎ、４
ｍ−＝、１）とし、そのブロック内の画素をｘｔ（４ｎ
−ｒｉ、４ｍ＋１−ｉ−ｊ）とする。

第３図（ｂ）は探索範囲ブロックを示す図である。現ブ
ロックＡ　（ｎ、ｍ＞に対し、上下左右にそれぞｉ’ｔ
＝２の範囲で動きベクトルを検出する場合、Ｂ　（ｎ、
ｍ＞、Ｂ　（ｎ、ｍ＋１＞、、−の探索範囲ブロックの
大きさは、８Ｘ８画素となる。現ブロックＡ　（ｎ、ｍ
）のｘｔ（４ｎ、４ｍ）と位置的に対応するＢ（ｎ、ｍ
＞の画素をＸｔ−１（４ｎ、４ｍ＞とし、そのブロック
内の画素をＸｔ　Ｌ　（Ｊｎｔｉ＋ｐ、４ｍ−１−ｊ＋
ｑ）とする。

ここで、探索範囲ブロックどうしはそれぞｉ−を重なり
合う部分があり、例えばＢ　（ｎ、ｍ＞のＸｔｌ　（４
ｎ　　２．４ｍ＋２＞とＢ（ｎ、ｍ＋ｌ）のｘｔ　　１
　（４ｎ−２，４（ｍ＋１＞　　２＞とは、同じ画素を
示すことになる。

第４図はデータ入力タイミングを示す図で、Ｄａは入力
端子１ａがら入力される探索ブロック内の画素データ、
Ｄｂは入力端子１ｂから入力されて演算回路１１に入力
される現ブロックの画素デ−タである。Ｓｌは演算回路
１１がその時の入力データについて演算を行うか停止す
るかを示すタイミング信号である。Ｄａｌは遅延回路２
１の出力、つまり演算回路１２に入力される現ブロック
のデータ、Ｓ２は演算回路１２がその時の入力データに
ついて演算を行うか停止するかを示すタイミング信号で
ある。

先ず、入力端子１ｂから入力される探索範囲プロ・ツク
の画素データＤｂは、第３図（ｂ）のブロックの左上か
ら縦方向（主走査方向）に逐次入力する。ブロックの左
下、即ち、ｘ　　　　（４ｎ−ｉ−２，４ｍ−２＞の画
素データＤｂが入力された後は、次の列のＸ　　　　（
４ｎ−２，４ｍ−２＞から連続して入力される。つまり
、第４図に示すような画素データＤｂの入力となり、こ
のデータが同時に与えられる。

入力端子１ａから入力される現ブロックの画素データＤ
ａは、第３図（ａ＞のブロックの左上から縦方向に逐次
入力する。ブロックの左下、即ちｘｔ（４ｎ＊３．４ｍ
＞の画素データＤａが入力された後は、−時、入力を停
止し、探索範囲の走査が次の列に移ったと同時に、現ブ
ロックの次の列の画素データＤａの入力を開始する。

そして、入力端子１ａ、１ｂｊ＼の入力は、ブロックＡ
　（ｎ、ｍ＞の列の先頭及びブロックＢ　（ｎ。

ｍ）の列の先頭画素がそれぞれ同期して入力される。こ
のように入力された画素データＤａ、Ｄｂに対して、演
算回路１１では、現ブロックのＸｔ（４ｎＴ３．４ｍ＋
：３）の画素データが入力され、演算が終わった時点で
、（１）式に基づき、ベクトルｐ＝−２，ｑ＝−２、つ
まり の計算が行われたことになる。この計算結果であるベク
トルｐ＝−２，ｑ＝−２に対する差分絶対値の累積値が
、比較回路１１０へ転送される。

演算回路１２ても、同様の計算が行われる。ただし、入
力端子１ａから入力された画素データＤａが、遅延回路
２１により、１データタイミングずれて第４図のＤａｌ
の形で入力されているなめ、ｐ−−１，ｑ＝−２、つま
り の計算が行われたことになる。この計算結果が時間的に
演算回路１１の出力側より、１サイクル遅れて出力され
る。

このようにして、初段の演算回路群１０は、演算回路１
１〜１５のｐ−−２〜２．ＣＩ＝−２のベクトルに対応
する結果を、それぞれ１サイクルずつずれたタイミング
で出力する。

初段の演算回路群３０は、初段の直列に接続された遅延
回路２１〜２８によってブロックＡ　（ｎ。

ｍ〉の１列ずれたデータが与えられるため、ｐ２〜２．
Ｃ１＝−Ｌのベクトルに対応する結果を、それぞれ１サ
イクルずれたタイミングで出力する。

ただし、演算回路１５の出力から演算回路３１の出力タ
イミングは、遅延図Ｂ２ヲ〜２８により、４サイクル遅
れる。

このようにして、全演算回路群１０〜９０がらｐ＝−２
〜下２．９＝−２〜＋２の全ベクトルに対応する評価値
（即ち、差分絶対値の累積値）が逐次、比較回路１１０
Ｉ＼転送される。

比較回路１１０は、逐次、転送されてくる評価値の大小
を比較し、そのブロックに対する全ベクトル数（例えば
、２５個）が転送された後、最後に残った値が何番目に
送られてきたものかによって、そのブロックに対する動
きベクトル値に対応した値を出力端子２へ出力する。

ここで、演算回路１１は、現ブロックのＸ。

（４ｎ＋３．４ｍ＋３＞及び探索範囲ブロックのＸｔ　
１　（４ｎ＋１．４ｍ＋１）の画像データＤａ、Ｄｂが
入力され、演算が終わると、そのブロツクに対する演算
が終了するので、Ｂ（ｎ、ｍ＞の次の列の入力と同時に
、次に現ブロックＡ（ｎｍ↑１）の始めの列を入力し、
そのブロックに対する演算を開始する。即ち、演算回路
１１は、入力端子１ｂから入力される画素データＤｂを
Ｂ（ｎ、ｍ÷１〉のものとみなし、池の回路はＢ（ｎ、
ｍ）として処理する。演算回路１２も同様に、そのブロ
ックに対する演算が終了次第、次のブロックの演算を開
始する。従って、次々に次ブロックの演算に切換ってい
く。そのため、探索範囲ブロックの入力画素データＤｂ
は、ブロックＢ（ｎ、ｍ）の右下の画素の次に、ブロッ
クＢ（ｎｍ＋１）の左上が入力されるわけではなく、連
続的に次の列が入力される。

このように、現ブロック及び探索範囲ブロックとも、ブ
ロックのスキャン方向（副走査方向）に、それぞれの列
を逆戻りすることなく、連続して入力することにより、
現ブロックＡ　（ｎ、ｍ）、Ａ（ｎ、ｍｔｌ＞、・・・
に対する動きベクトルが、次々に出力端子２より出力さ
れる。そのため、極めて効率的、かつ高速処理で、それ
ぞれのプロ・ツクに対する動きベクトルを求めることが
できる。

なお、本発明は図示の実施例に限定されず、第１図のビ
ット数、及び第３図のブロックの画素数を、処理すべき
動画像のビット数に応して任意に変更する等、種々の変
形が可能である。

（発明の効果） 以上詳細に説明したように、本発明によれば、複数段の
演算回路群を備え、その各演算回路群を、例えば各動き
ベクトルに対応した差分絶対値の累積加算を行うと共に
、現フレームデータを適宜遅延させる構成にしたので、
副走査方向に重複することなく、画素列のデータを連続
的に入力し、各現ブロックに対する動きベクトルが次々
に得られる。そのなめ、極めて効率的で、高速に、符号
化処理を行うことができる。従って、動き検出予測信号
を用いるテレビ電話や、動画像蓄積装置等といった種々
の、動き検出機能を有する装置に適用できる。

【図面の簡単な説明】

第１図は本発明の実施例を示す動きベクトル検出回路の
構成ブロック図、第２図（ａ）〜（Ｃ）は従来の動き検
出の説明図、第３図（ａ＞、（ｂ）は本発明の現ブロッ
ク及び探索範囲ブロックを示す図、第４図は本実施例の
データ入力タイミング図である。 １０．３０，５０，７０．９０・・・・・・演算回路群
、１１〜１５．３１〜３５．５１〜５５．７１〜７５．
９１〜９５・・・・・・演算回路、２１〜２８．４１〜
４８．６１〜６８．８１〜８８．１ＯＬ〜１０４・・・
・・・遅延回路、１１０・・・・・・比較回路。

Claims (1)

1. 【特許請求の範囲】 １フレーム内を複数個のブロックに分割し、個々の現ブ
   ロックについて他のフレームとの比較によって画素デー
   タの動きを検出する動きベクトル検出回路において、 比較される前記フレーム内の探索範囲ブロック及び現ブ
   ロック内の画素の主走査方向にシフトした各ベクトルに
   対する評価関数値を求める複数個の演算回路と、 前記探索範囲ブロック内の１走査当りの画素数に対応し
   、現ブロックの入力画素の信号を遅延する複数個の直列
   接続された遅延回路とで、 構成される演算回路群を複数段備え、 前記直列接続された遅延回路の出力は次段の遅延回路に
   入力され、 前記各演算回路には前記探索範囲ブロックの画素データ
   及び前記ブロックの各ベクトルのシフト分に対応した分
   だけ遅延した画素データが入力され、 前記各演算回路群は副走査方向にシフトしたベクトルに
   対する評価関数値を求めるように構成された、 ことを特徴とする動きベクトル検出回路。