JPH0514872A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPH0514872A JPH0514872A JP3184060A JP18406091A JPH0514872A JP H0514872 A JPH0514872 A JP H0514872A JP 3184060 A JP3184060 A JP 3184060A JP 18406091 A JP18406091 A JP 18406091A JP H0514872 A JPH0514872 A JP H0514872A
- Authority
- JP
- Japan
- Prior art keywords
- residual
- data
- memory
- representative point
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【構成】 現フィールドのデータと代表点のデータとの
差分絶対値を計算してベクトルを求めると共に各ベクト
ル毎に残差を求めるN個の演算手段(代表点メモリ1
2,22と減算器13,23と絶対値化器14,24)
と、累積演算途中結果を保持するN個の残差メモリ(1
6,26)と、各ベクトルの残差データを比較して動き
ベクトルを計算する比較器7とを有してなる。 【効果】 代表点数を増やすことができ、動きベクトル
の検出精度を上げ、動きベクトルの誤検出を少なくする
ことが可能となる。
差分絶対値を計算してベクトルを求めると共に各ベクト
ル毎に残差を求めるN個の演算手段(代表点メモリ1
2,22と減算器13,23と絶対値化器14,24)
と、累積演算途中結果を保持するN個の残差メモリ(1
6,26)と、各ベクトルの残差データを比較して動き
ベクトルを計算する比較器7とを有してなる。 【効果】 代表点数を増やすことができ、動きベクトル
の検出精度を上げ、動きベクトルの誤検出を少なくする
ことが可能となる。
Description
【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像の動きベクトル
(動き量)を検出する動きベクトル検出装置に関するも
のである。
(動き量)を検出する動きベクトル検出装置に関するも
のである。
【0002】
【従来の技術】従来の動画像の動きベクトル検出につい
て説明する。例えば、現在のフィールドの画像G0 に対
して1フィールド前の画像G-1について複数の代表点
(画素)Pk (k=0,1,2,・・・)を指定する。
すなわち、例えば図26に示すように、1フィールドの
画像Gについて複数(例えばk=0,1,2,・・・,
15)の代表点P0 ,P1 ,P2 ,・・・,P15を指定
する。また、このような1フィールド前の画像G-1の各
代表点Pk に対して(x,y)=(n,m)だけ離れた
位置にある現在のフィールドの画像G0 の画素をAnk,m
k とする。なお、上記(n,m)はベクトルであり、x
は水平方向(横方向)で、yは垂直方向(縦方向)であ
る。更に、この各ベクトル(n,m)における残差S
(n,m) は、数1の数式で定義される。
て説明する。例えば、現在のフィールドの画像G0 に対
して1フィールド前の画像G-1について複数の代表点
(画素)Pk (k=0,1,2,・・・)を指定する。
すなわち、例えば図26に示すように、1フィールドの
画像Gについて複数(例えばk=0,1,2,・・・,
15)の代表点P0 ,P1 ,P2 ,・・・,P15を指定
する。また、このような1フィールド前の画像G-1の各
代表点Pk に対して(x,y)=(n,m)だけ離れた
位置にある現在のフィールドの画像G0 の画素をAnk,m
k とする。なお、上記(n,m)はベクトルであり、x
は水平方向(横方向)で、yは垂直方向(縦方向)であ
る。更に、この各ベクトル(n,m)における残差S
(n,m) は、数1の数式で定義される。
【0003】
【数1】
【0004】すなわち、例えば、図26に示すように、
各代表点Pk に対して、それぞれQ個の画素とR個の画
素からなる範囲(Q×Rの範囲)で示される捜索範囲S
Eを指定し、この捜索範囲SE内の全てのベクトル
(n,m)に対して、上記数1の数式により残差S(n,
m) を計算する。ここで、当該残差S(n,m) の中で最小
となるベクトル(nmin ,mmin )を計算して得られる
値を動きベクトルと呼ぶ。換言すれば、動画像におい
て、1つ前のフィールドの画像と現在のフィールドの画
像とは、上記残差が最小となるベクトル(nmin ,m
min )だけずれていると考えるのが妥当であるため、こ
のベクトルの事を動きベクトルと呼ぶのである。
各代表点Pk に対して、それぞれQ個の画素とR個の画
素からなる範囲(Q×Rの範囲)で示される捜索範囲S
Eを指定し、この捜索範囲SE内の全てのベクトル
(n,m)に対して、上記数1の数式により残差S(n,
m) を計算する。ここで、当該残差S(n,m) の中で最小
となるベクトル(nmin ,mmin )を計算して得られる
値を動きベクトルと呼ぶ。換言すれば、動画像におい
て、1つ前のフィールドの画像と現在のフィールドの画
像とは、上記残差が最小となるベクトル(nmin ,m
min )だけずれていると考えるのが妥当であるため、こ
のベクトルの事を動きベクトルと呼ぶのである。
【0005】図27に従来の動きベクトル検出装置の構
成を示す。この図27において、入力端子101には、
いわゆるラスタスキャンにより得られる画像データが供
給される。ここで、先ず、1フィールド前の画像データ
が入力端子101に入力されてくる間に、上記代表点P
k (k=0,1,2,・・・)のデータを代表点メモリ
102に格納しておく。次に、現在のフィールドの画像
データが上記入力端子101に供給されている時間に、
上記残差S(n,m) を計算する。以下この計算について詳
細に述べる。
成を示す。この図27において、入力端子101には、
いわゆるラスタスキャンにより得られる画像データが供
給される。ここで、先ず、1フィールド前の画像データ
が入力端子101に入力されてくる間に、上記代表点P
k (k=0,1,2,・・・)のデータを代表点メモリ
102に格納しておく。次に、現在のフィールドの画像
データが上記入力端子101に供給されている時間に、
上記残差S(n,m) を計算する。以下この計算について詳
細に述べる。
【0006】すなわち、この図27の装置においては、
上記入力端子101から現在のフィールドの画像Gの画
素Ai,j のデータが入力されてきた時に、既に上記代表
点メモリ2に記憶されている上記代表点Pk のデータの
中から当該Ai,j のデータを含む上記捜索範囲SEと対
応する代表点Pk のデータを読み出し、減算器103及
び絶対値化器104により |A*,* −P* | の数式に示す計算を行う。ここで、|A*,* −P* |の
数式は、上記残差S(n,m) の部分項を求めるものである
ため、上記残差S(n,m) を求めるためには、当該数式に
よる演算結果を累加算することが必要となる。
上記入力端子101から現在のフィールドの画像Gの画
素Ai,j のデータが入力されてきた時に、既に上記代表
点メモリ2に記憶されている上記代表点Pk のデータの
中から当該Ai,j のデータを含む上記捜索範囲SEと対
応する代表点Pk のデータを読み出し、減算器103及
び絶対値化器104により |A*,* −P* | の数式に示す計算を行う。ここで、|A*,* −P* |の
数式は、上記残差S(n,m) の部分項を求めるものである
ため、上記残差S(n,m) を求めるためには、当該数式に
よる演算結果を累加算することが必要となる。
【0007】このため、図27の構成には、累加算の途
中結果s(n,m) を一時保持する残差メモリ106が設け
られている。すなわち、この図27の構成において、一
般化して説明すると、上記入力端子101から入力され
てくる上記画素Ank,mk のデータに対応するベクトル
(n,m)の残差演算の途中結果s(n,m) のデータを当
該残差メモリ106から読み出し、これを上記絶対値化
器104からの出力と共に加算器105に送ることで、
当該加算器105では、 s(n,m) +|Ank,mk −Pk | の数式の加算が行われ、その後この加算結果を新しく残
差途中結果s(n,m) として、上記残差メモリ106の過
去の残差途中結果s(n,m) が格納されていた番地に当該
新しい残差途中結果s(n,m) をオーバーライトする(す
なわち残差途中結果s(n,m) のデータの更新を行う)。
中結果s(n,m) を一時保持する残差メモリ106が設け
られている。すなわち、この図27の構成において、一
般化して説明すると、上記入力端子101から入力され
てくる上記画素Ank,mk のデータに対応するベクトル
(n,m)の残差演算の途中結果s(n,m) のデータを当
該残差メモリ106から読み出し、これを上記絶対値化
器104からの出力と共に加算器105に送ることで、
当該加算器105では、 s(n,m) +|Ank,mk −Pk | の数式の加算が行われ、その後この加算結果を新しく残
差途中結果s(n,m) として、上記残差メモリ106の過
去の残差途中結果s(n,m) が格納されていた番地に当該
新しい残差途中結果s(n,m) をオーバーライトする(す
なわち残差途中結果s(n,m) のデータの更新を行う)。
【0008】このように、上記残差メモリ106に対し
て残差演算の途中結果のデータの書込/読出を繰り返し
ていくことで、上記入力端子101への上記現フィール
ドの全ての画素Ai,j のデータの入力が終了する時刻
に、上記|A*,* −P* |の数式の全ての累加算が終了
し、この時の残差メモリ106に格納されている値(残
差途中結果s(n,m) )が、残差S (n,m)となる。
て残差演算の途中結果のデータの書込/読出を繰り返し
ていくことで、上記入力端子101への上記現フィール
ドの全ての画素Ai,j のデータの入力が終了する時刻
に、上記|A*,* −P* |の数式の全ての累加算が終了
し、この時の残差メモリ106に格納されている値(残
差途中結果s(n,m) )が、残差S (n,m)となる。
【0009】その後、当該残差メモリ106内の各残差
S (n,m)のデータを読み出して、最小となるベクトルを
比較計算により求める比較器107に供給することによ
り、動きベクトル(nmin ,mmin )が求められるよう
になる。この動きベクトルのデータが出力端子108か
ら出力される。
S (n,m)のデータを読み出して、最小となるベクトルを
比較計算により求める比較器107に供給することによ
り、動きベクトル(nmin ,mmin )が求められるよう
になる。この動きベクトルのデータが出力端子108か
ら出力される。
【0010】また、上記残差メモリ106は、各ベクト
ル毎に残差途中結果を一時保持しなくてはならないの
で、その大きさは(Q×R)ワードとなる。
ル毎に残差途中結果を一時保持しなくてはならないの
で、その大きさは(Q×R)ワードとなる。
【0011】なお、上述のような動き量(動きベクト
ル)検出装置としては、特開平1−269371号公報
に、テレビジョン画像信号を入力する入力回路と、1フ
ィールド領域に複数の代表点を指定する代表点指定回路
と、1フィールド以上前の前記代表点の画像信号と現在
の画像信号とを演算する演算回路と、この演算回路の出
力信号を書き込み読み出し可能なメモリ回路と、前記代
表点指定回路とメモリ回路とを制御する演算制御回路と
を備え、演算制御回路は代表点指定回路が指定する代表
点の位置と、メモリ回路のメモリ領域指定とを対応させ
て制御するような構成の動き量検出装置が開示されてい
る。
ル)検出装置としては、特開平1−269371号公報
に、テレビジョン画像信号を入力する入力回路と、1フ
ィールド領域に複数の代表点を指定する代表点指定回路
と、1フィールド以上前の前記代表点の画像信号と現在
の画像信号とを演算する演算回路と、この演算回路の出
力信号を書き込み読み出し可能なメモリ回路と、前記代
表点指定回路とメモリ回路とを制御する演算制御回路と
を備え、演算制御回路は代表点指定回路が指定する代表
点の位置と、メモリ回路のメモリ領域指定とを対応させ
て制御するような構成の動き量検出装置が開示されてい
る。
【0012】
【発明が解決しようとする課題】ところで、例えば、1
フィールド有効画素が512×256(縦×横)のよう
な小型ビデオカメラにおいては、上記捜索範囲SEを6
4×16(Q×R)として動きベクトルを検出してお
り、この動きベクトルを元にして、例えば画枠をずらす
ようにすることで、撮影時の手振れ等による画像の動き
を補正することを行っている。すなわち、上記動きベク
トルを利用して、例えばフィールドメモリ等に、現在の
フィールドの画像データを書き込み、次に読み出す際に
上記検出された動きベクトル分だけ画像をずらすように
読み出せば、上記揺れ等を補正した画像を得ることがで
きるようになる。
フィールド有効画素が512×256(縦×横)のよう
な小型ビデオカメラにおいては、上記捜索範囲SEを6
4×16(Q×R)として動きベクトルを検出してお
り、この動きベクトルを元にして、例えば画枠をずらす
ようにすることで、撮影時の手振れ等による画像の動き
を補正することを行っている。すなわち、上記動きベク
トルを利用して、例えばフィールドメモリ等に、現在の
フィールドの画像データを書き込み、次に読み出す際に
上記検出された動きベクトル分だけ画像をずらすように
読み出せば、上記揺れ等を補正した画像を得ることがで
きるようになる。
【0013】また、動きベクトルを求める場合には、上
記代表点が多ければ多いほど、当該動きベクトルの誤差
は小さくなるものである。
記代表点が多ければ多いほど、当該動きベクトルの誤差
は小さくなるものである。
【0014】ここで、上記小型ビデオカメラの例の場
合、例えば最も多く取りうる代表点の数は、(512×
256)/(64×16)=8×16=128点とな
る。すなわち、これ以上多くの代表点をとると、例え
ば、図28に示すように、代表点Pkaに対する捜索範囲
SEa と別の代表点Pkbに対する捜索範囲SEb とが重
なってしまうようになる。
合、例えば最も多く取りうる代表点の数は、(512×
256)/(64×16)=8×16=128点とな
る。すなわち、これ以上多くの代表点をとると、例え
ば、図28に示すように、代表点Pkaに対する捜索範囲
SEa と別の代表点Pkbに対する捜索範囲SEb とが重
なってしまうようになる。
【0015】ところが、上述した従来の動きベクトル検
出装置に、このような重なり部分の画素(例えば図28
の図中画素Ai,j )が入力されてきたときには、例え
ば、 |Ai,j −Pka| (S(3,-1)の部分項) と、 |Ai,j −Pkb| (S(-4,-3) の部分項) との数式で示す計算を同時に行わなければなくなり、こ
れを当該従来の動きベクトル検出装置で行うことは不可
能である。換言すれば、上記図27に示した従来の動き
ベクトル検出装置においては、上述のような考えられる
最大の動きベクトルが上記Q×Rの捜索範囲SE内に無
ければ、誤判定を起こしてしまう。なお、図28にはQ
=9,R=7の例を示している。
出装置に、このような重なり部分の画素(例えば図28
の図中画素Ai,j )が入力されてきたときには、例え
ば、 |Ai,j −Pka| (S(3,-1)の部分項) と、 |Ai,j −Pkb| (S(-4,-3) の部分項) との数式で示す計算を同時に行わなければなくなり、こ
れを当該従来の動きベクトル検出装置で行うことは不可
能である。換言すれば、上記図27に示した従来の動き
ベクトル検出装置においては、上述のような考えられる
最大の動きベクトルが上記Q×Rの捜索範囲SE内に無
ければ、誤判定を起こしてしまう。なお、図28にはQ
=9,R=7の例を示している。
【0016】また、上記動きベクトルの計算方法として
は、上述したような1画面全体に対して残差S(n,m) を
計算して動きベクトルを求める方法以外に、次のような
求め方もある。
は、上述したような1画面全体に対して残差S(n,m) を
計算して動きベクトルを求める方法以外に、次のような
求め方もある。
【0017】すなわち、画面を複数ブロックに分割し
て、各ブロック毎に、上記ベクトル(n,m)における
上記残差を計算する方法である。ここでは、説明の簡略
化のため、図29に示すように、画面を例えば第1〜第
4の4つのブロックb[1] ,b[2] ,b[3] ,b[4] に
分割する例を挙げる。このブロック毎のベクトル(n,
m)における残差は、数2の数式に示す演算を行うこと
で求められる。
て、各ブロック毎に、上記ベクトル(n,m)における
上記残差を計算する方法である。ここでは、説明の簡略
化のため、図29に示すように、画面を例えば第1〜第
4の4つのブロックb[1] ,b[2] ,b[3] ,b[4] に
分割する例を挙げる。このブロック毎のベクトル(n,
m)における残差は、数2の数式に示す演算を行うこと
で求められる。
【0018】
【数2】
【0019】ただし、この数2の数式において、k∈
{k|Pk ∈第Bブロック}であり、B=1,2,3,
4で上記第1〜第4ブロックb[1]〜b[4] の何れかを
示す。
{k|Pk ∈第Bブロック}であり、B=1,2,3,
4で上記第1〜第4ブロックb[1]〜b[4] の何れかを
示す。
【0020】また、第1のブロックb[1] の残差S(n,
m)[1] の中で最小となるベクトル(nmin ,mmin )
[1] を計算し、その値を第1のブロックb[1] の動きベ
クトルと呼ぶ。同様に、残差S(n,m) [2] とS(n,m)
[3] とS(n,m) [4] についても計算し、それらの値の
(nmin ,mmin )[2] と(nmin ,mmin )[3]と
(nmin ,mmin )[4] を、それぞれ、第2,第3,第
4ブロックb[2] 〜b[4] の動きベクトルと呼ぶ。
m)[1] の中で最小となるベクトル(nmin ,mmin )
[1] を計算し、その値を第1のブロックb[1] の動きベ
クトルと呼ぶ。同様に、残差S(n,m) [2] とS(n,m)
[3] とS(n,m) [4] についても計算し、それらの値の
(nmin ,mmin )[2] と(nmin ,mmin )[3]と
(nmin ,mmin )[4] を、それぞれ、第2,第3,第
4ブロックb[2] 〜b[4] の動きベクトルと呼ぶ。
【0021】ここで、例えば、第1,第2,第4ブロッ
クb[1] ,b[2] ,b[4] の画素は、背景を写したもの
であるとする。そして、第3のブロックb[3] には動体
(例えば人や車等)を写しているとする。この時、背景
は各フィールド間で振れずに止まっていることが望まし
い。
クb[1] ,b[2] ,b[4] の画素は、背景を写したもの
であるとする。そして、第3のブロックb[3] には動体
(例えば人や車等)を写しているとする。この時、背景
は各フィールド間で振れずに止まっていることが望まし
い。
【0022】この場合、例えば、前述したように1画面
全体に対して残差を計算してしまうと、上記第3のブロ
ックb[3] の人や車等の動体が残差計算に対して悪影響
を与え、正しい動きベクトルが求められない可能性があ
る。このようなことから、前述した1画面全体に対して
残差を求めて動きベクトルを求めるような方法よりも、
上述したブロック毎に動きベクトルを求める方法は有効
である。
全体に対して残差を計算してしまうと、上記第3のブロ
ックb[3] の人や車等の動体が残差計算に対して悪影響
を与え、正しい動きベクトルが求められない可能性があ
る。このようなことから、前述した1画面全体に対して
残差を求めて動きベクトルを求めるような方法よりも、
上述したブロック毎に動きベクトルを求める方法は有効
である。
【0023】ところで、このようなブロック毎の動きベ
クトルを求める方法においても、前述した1画面全体に
対して残差S(n,m) を計算して動きベクトルを求める方
法と同様に、代表点数をあまり多く取り過ぎると、各代
表点に対するQ×Rの捜索範囲SEが重なり合ってしま
い、従来の装置では、動きベクトルを求めることができ
ない場合ある。
クトルを求める方法においても、前述した1画面全体に
対して残差S(n,m) を計算して動きベクトルを求める方
法と同様に、代表点数をあまり多く取り過ぎると、各代
表点に対するQ×Rの捜索範囲SEが重なり合ってしま
い、従来の装置では、動きベクトルを求めることができ
ない場合ある。
【0024】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、1画面全体に対して或いは
画面をブロック分けした各ブロックに対して動きベクト
ルを求める場合に、動きベクトルの誤差を少なくするこ
とができる多くの代表点を取ることが可能であると共
に、多くの代表点をとっても動きベクトルの計算が可能
な動きベクトル検出装置を提供することを目的とするも
のである。
みて提案されたものであり、1画面全体に対して或いは
画面をブロック分けした各ブロックに対して動きベクト
ルを求める場合に、動きベクトルの誤差を少なくするこ
とができる多くの代表点を取ることが可能であると共
に、多くの代表点をとっても動きベクトルの計算が可能
な動きベクトル検出装置を提供することを目的とするも
のである。
【0025】
【課題を解決するための手段】本発明の動きベクトル検
出装置は、上述の目的を達成するために提案されたもの
であり、1フィールド以上前の画像のうちQ×R個の画
素からなる捜索範囲と同じ間隔で選ばれた代表点のデー
タを保持する代表点メモリと、現フィールドのデータが
入力された時に当該現フィールドのデータと上記代表点
メモリに格納されている上記代表点のデータとの差分絶
対値を計算してベクトルを求める差分絶対値計算回路
と、上記差分絶対値計算回路の出力を累積的に加算して
上記各ベクトル毎に残差を求める累積加算回路とからな
る演算手段をN個設けると共に、上記残差を求める際の
累積演算途中結果を各ベクトル毎に一時保持するN個の
Q×R/Nワードの残差メモリと、上記N個の残差メモ
リの出力を入力として各ベクトルの残差データを比較し
て動きベクトルを計算する比較手段と、上記代表点メモ
リと上記残差メモリの書込/読出とアドレス及び上記累
積加算回路と残差メモリとのアクセスを制御する制御手
段とを有し、上記N個の残差メモリの入出力をそれぞれ
上記N個の各々の累積加算回路の出入力にアクセスする
ようにしたものである。
出装置は、上述の目的を達成するために提案されたもの
であり、1フィールド以上前の画像のうちQ×R個の画
素からなる捜索範囲と同じ間隔で選ばれた代表点のデー
タを保持する代表点メモリと、現フィールドのデータが
入力された時に当該現フィールドのデータと上記代表点
メモリに格納されている上記代表点のデータとの差分絶
対値を計算してベクトルを求める差分絶対値計算回路
と、上記差分絶対値計算回路の出力を累積的に加算して
上記各ベクトル毎に残差を求める累積加算回路とからな
る演算手段をN個設けると共に、上記残差を求める際の
累積演算途中結果を各ベクトル毎に一時保持するN個の
Q×R/Nワードの残差メモリと、上記N個の残差メモ
リの出力を入力として各ベクトルの残差データを比較し
て動きベクトルを計算する比較手段と、上記代表点メモ
リと上記残差メモリの書込/読出とアドレス及び上記累
積加算回路と残差メモリとのアクセスを制御する制御手
段とを有し、上記N個の残差メモリの入出力をそれぞれ
上記N個の各々の累積加算回路の出入力にアクセスする
ようにしたものである。
【0026】また、本発明の動きベクトル検出装置は、
1フィールド以上前の画像のうちQ×R個の画素からな
る捜索範囲と同じ間隔で選ばれた代表点のデータを保持
する代表点メモリと、現フィールドのデータが入力され
た時に当該現フィールドのデータと上記代表点メモリに
格納されている上記代表点のデータとの差分絶対値を計
算してベクトルを求める差分絶対値計算回路とから構成
される第1の演算手段を1つ若しくは複数個設け、上記
第1の演算手段のうち1つには入力信号として入力端子
から供給される画像データを直接与え、上記第1の演算
手段の残りのものには入力信号として上記入力端子から
供給される画像データが1つ若しくは複数の遅延素子を
介した値を与えると共に、上記第1の演算手段の出力を
加算する加算回路と、上記加算回路の出力を累積的に加
算して上記ベクトル毎に残差を求める累積加算回路とか
らなる第2の演算手段をN個設け、上記残差を求める際
の累積演算途中結果を各ベクトル毎に一時保持するN個
のQ×R/Nワードの残差メモリと、上記N個の残差メ
モリの出力を入力として各ベクトルの残差データを比較
して動きベクトルを計算する比較手段と、上記代表点メ
モリと上記残差メモリの書込/読出とアドレス及び上記
累積加算回路と残差メモリとのアクセスを制御する制御
手段とを有し、上記N個の残差メモリの入出力をそれぞ
れ上記N個の各々の上記累積加算回路の出入力にアクセ
スするようにしたものである。
1フィールド以上前の画像のうちQ×R個の画素からな
る捜索範囲と同じ間隔で選ばれた代表点のデータを保持
する代表点メモリと、現フィールドのデータが入力され
た時に当該現フィールドのデータと上記代表点メモリに
格納されている上記代表点のデータとの差分絶対値を計
算してベクトルを求める差分絶対値計算回路とから構成
される第1の演算手段を1つ若しくは複数個設け、上記
第1の演算手段のうち1つには入力信号として入力端子
から供給される画像データを直接与え、上記第1の演算
手段の残りのものには入力信号として上記入力端子から
供給される画像データが1つ若しくは複数の遅延素子を
介した値を与えると共に、上記第1の演算手段の出力を
加算する加算回路と、上記加算回路の出力を累積的に加
算して上記ベクトル毎に残差を求める累積加算回路とか
らなる第2の演算手段をN個設け、上記残差を求める際
の累積演算途中結果を各ベクトル毎に一時保持するN個
のQ×R/Nワードの残差メモリと、上記N個の残差メ
モリの出力を入力として各ベクトルの残差データを比較
して動きベクトルを計算する比較手段と、上記代表点メ
モリと上記残差メモリの書込/読出とアドレス及び上記
累積加算回路と残差メモリとのアクセスを制御する制御
手段とを有し、上記N個の残差メモリの入出力をそれぞ
れ上記N個の各々の上記累積加算回路の出入力にアクセ
スするようにしたものである。
【0027】更に、本発明の動きベクトル検出装置は、
1フィールドの画像を複数ブロックに分割し1フィール
ド以上前の画像のうちQ×R個の画素からなる捜索範囲
と同じ間隔で選ばれた代表点のデータを保持する代表点
メモリと、現フィールドのデータが入力された時に当該
現フィールドのデータと上記代表点メモリに格納されて
いる上記代表点のデータとの差分絶対値を計算してベク
トルを求める差分絶対値計算回路と、上記差分絶対値計
算回路の出力を累積的に加算して上記各ブロックの上記
各ベクトル毎に残差を求める累積加算回路とからなる演
算手段をN個設けると共に、上記残差を求める際の累積
演算途中結果を上記各ブロックの各ベクトル毎に一時保
持する複数のQ×R/Nワードの残差メモリと、上記複
数の残差メモリの出力を入力として各ベクトルの残差デ
ータを比較して動きベクトルを計算する比較手段と、上
記比較手段からの各ブロック毎の動きベクトルのデータ
に基づいて真の動きベクトルを判断する判断手段と、上
記代表点メモリと上記残差メモリの書込/読出とアドレ
ス及び上記累積加算回路と残差メモリとのアクセスを制
御する制御手段とを有し、上記残差メモリの全ての入出
力をそれぞれ上記N個の各々の累積加算回路の出入力に
アクセスするようにしたものである。
1フィールドの画像を複数ブロックに分割し1フィール
ド以上前の画像のうちQ×R個の画素からなる捜索範囲
と同じ間隔で選ばれた代表点のデータを保持する代表点
メモリと、現フィールドのデータが入力された時に当該
現フィールドのデータと上記代表点メモリに格納されて
いる上記代表点のデータとの差分絶対値を計算してベク
トルを求める差分絶対値計算回路と、上記差分絶対値計
算回路の出力を累積的に加算して上記各ブロックの上記
各ベクトル毎に残差を求める累積加算回路とからなる演
算手段をN個設けると共に、上記残差を求める際の累積
演算途中結果を上記各ブロックの各ベクトル毎に一時保
持する複数のQ×R/Nワードの残差メモリと、上記複
数の残差メモリの出力を入力として各ベクトルの残差デ
ータを比較して動きベクトルを計算する比較手段と、上
記比較手段からの各ブロック毎の動きベクトルのデータ
に基づいて真の動きベクトルを判断する判断手段と、上
記代表点メモリと上記残差メモリの書込/読出とアドレ
ス及び上記累積加算回路と残差メモリとのアクセスを制
御する制御手段とを有し、上記残差メモリの全ての入出
力をそれぞれ上記N個の各々の累積加算回路の出入力に
アクセスするようにしたものである。
【0028】また更に、本発明の動きベクトル検出装置
は、1フィールドの画像を複数のブロックに分割し1フ
ィールド以上前の画像のうちQ×R個の画素からなる捜
索範囲と同じ間隔で選ばれた代表点のデータを保持する
代表点メモリと、現フィールドのデータが入力された時
に当該現フィールドのデータと上記代表点メモリに格納
されている上記代表点のデータとの差分絶対値を計算し
てベクトルを求める差分絶対値計算回路とから構成され
る第1の演算手段を1つ若しくは複数個設け、上記第1
の演算手段のうち1つは入力信号として入力端子から供
給される画像データを直接与え、上記第1の演算手段の
残りのものには入力信号として上記入力端子から供給さ
れる画像データが1つ若しくは複数の遅延素子を介した
値を与えると共に、上記第1の演算手段の出力を加算す
る加算回路と、上記加算手段の出力を累積的に加算して
上記各ブロックの上記各ベクトル毎に残差を求める累積
加算回路とからなる第2の演算手段を複数個設け、上記
残差の累積途中結果を上記各ブロックの各ベクトル毎に
一時保持する複数のQ×R/Nワードの残差メモリと、
上記複数の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、上記比較手段からの各ブロック毎の動きベクトルの
データに基づいて真の動きベクトルを判断する判断手段
と、上記代表点メモリと上記残差メモリの書込/読出と
アドレス及び上記累積加算回路と残差メモリとのアクセ
スを制御する制御手段とを有し、上記N個の残差メモリ
の入出力をそれぞれ上記N個の各々の上記累積加算回路
の出入力にアクセスするようにしたものである。
は、1フィールドの画像を複数のブロックに分割し1フ
ィールド以上前の画像のうちQ×R個の画素からなる捜
索範囲と同じ間隔で選ばれた代表点のデータを保持する
代表点メモリと、現フィールドのデータが入力された時
に当該現フィールドのデータと上記代表点メモリに格納
されている上記代表点のデータとの差分絶対値を計算し
てベクトルを求める差分絶対値計算回路とから構成され
る第1の演算手段を1つ若しくは複数個設け、上記第1
の演算手段のうち1つは入力信号として入力端子から供
給される画像データを直接与え、上記第1の演算手段の
残りのものには入力信号として上記入力端子から供給さ
れる画像データが1つ若しくは複数の遅延素子を介した
値を与えると共に、上記第1の演算手段の出力を加算す
る加算回路と、上記加算手段の出力を累積的に加算して
上記各ブロックの上記各ベクトル毎に残差を求める累積
加算回路とからなる第2の演算手段を複数個設け、上記
残差の累積途中結果を上記各ブロックの各ベクトル毎に
一時保持する複数のQ×R/Nワードの残差メモリと、
上記複数の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、上記比較手段からの各ブロック毎の動きベクトルの
データに基づいて真の動きベクトルを判断する判断手段
と、上記代表点メモリと上記残差メモリの書込/読出と
アドレス及び上記累積加算回路と残差メモリとのアクセ
スを制御する制御手段とを有し、上記N個の残差メモリ
の入出力をそれぞれ上記N個の各々の上記累積加算回路
の出入力にアクセスするようにしたものである。
【0029】
【作用】本発明の動きベクトル検出装置によれば、1フ
ィールド以前の画像の代表点と現フィールドのデータと
からベクトルを求める演算手段をN個以上設けているた
め、演算手段が1つのみの場合に比べて、現フィールド
の画像に対する代表点の数をN倍以上とることが可能と
なり、したがって、動きベクトルの誤判定を少なくする
ことができる。また、各演算手段においては、捜索範囲
が重ならないため、代表点を多くとっても動きベクトル
検出のための計算を行うことができる。
ィールド以前の画像の代表点と現フィールドのデータと
からベクトルを求める演算手段をN個以上設けているた
め、演算手段が1つのみの場合に比べて、現フィールド
の画像に対する代表点の数をN倍以上とることが可能と
なり、したがって、動きベクトルの誤判定を少なくする
ことができる。また、各演算手段においては、捜索範囲
が重ならないため、代表点を多くとっても動きベクトル
検出のための計算を行うことができる。
【0030】
【実施例】以下、本発明の動きベクトル検出装置の実施
例を図面を参照しながら説明する。
例を図面を参照しながら説明する。
【0031】図1には本発明の動きベクトル検出装置の
第1の実施例の構成を示す。この第1の実施例装置は、
1フィールド以上前の画像G-1のうちQ×R個の画素か
らなる捜索範囲SEと同じ間隔で選ばれた代表点Pk の
データを保持する代表点メモリと、現フィールドの画像
G0 の画素Ai,j のデータが入力された時に当該現フィ
ールドの画素Ai,j のデータと上記代表点メモリに格納
されている上記代表点Pk のデータとの差分絶対値を計
算してベクトルを求める差分絶対値計算回路と、上記差
分絶対値計算回路の出力を累積的に加算して上記ベクト
ル毎に残差を求める累積加算回路とからなる演算手段を
N個設けている。この第1の実施例では上記演算手段を
2個設けた例を示しており、したがって、当該2個の演
算手段は、代表点メモリ12,22と、上記差分絶対値
計算回路としての減算器13,絶対値化器14及び減算
器23,絶対値化器24と、上記累加算回路としての加
算器15及び25とで構成されている。
第1の実施例の構成を示す。この第1の実施例装置は、
1フィールド以上前の画像G-1のうちQ×R個の画素か
らなる捜索範囲SEと同じ間隔で選ばれた代表点Pk の
データを保持する代表点メモリと、現フィールドの画像
G0 の画素Ai,j のデータが入力された時に当該現フィ
ールドの画素Ai,j のデータと上記代表点メモリに格納
されている上記代表点Pk のデータとの差分絶対値を計
算してベクトルを求める差分絶対値計算回路と、上記差
分絶対値計算回路の出力を累積的に加算して上記ベクト
ル毎に残差を求める累積加算回路とからなる演算手段を
N個設けている。この第1の実施例では上記演算手段を
2個設けた例を示しており、したがって、当該2個の演
算手段は、代表点メモリ12,22と、上記差分絶対値
計算回路としての減算器13,絶対値化器14及び減算
器23,絶対値化器24と、上記累加算回路としての加
算器15及び25とで構成されている。
【0032】また、本実施例装置には、上記残差を求め
る際の累積演算途中結果を各ベクトル毎に一時保持する
N個のQ×R/Nワードの残差メモリ(本実施例では2
個の残差メモリ16,26)と、上記N個(2個)の残
差メモリ16,26の出力を入力として各ベクトルの残
差データを比較して動きベクトルを求める比較器7と共
に、上記代表点メモリ12,22と上記残差メモリ1
6,26の書込/読出とアドレスの制御及び、いずれの
上記加算器15或いは25といずれの残差メモリ16或
いは26とをアクセスするかの制御、更に切換スイッチ
63,64,65,66の切り換え制御を行う制御回路
85を有し、上記残差メモリ16,26の全ての入出力
をそれぞれ上記N個(2個)の各々の加算器15,25
の出入力にアクセスするようにしている。
る際の累積演算途中結果を各ベクトル毎に一時保持する
N個のQ×R/Nワードの残差メモリ(本実施例では2
個の残差メモリ16,26)と、上記N個(2個)の残
差メモリ16,26の出力を入力として各ベクトルの残
差データを比較して動きベクトルを求める比較器7と共
に、上記代表点メモリ12,22と上記残差メモリ1
6,26の書込/読出とアドレスの制御及び、いずれの
上記加算器15或いは25といずれの残差メモリ16或
いは26とをアクセスするかの制御、更に切換スイッチ
63,64,65,66の切り換え制御を行う制御回路
85を有し、上記残差メモリ16,26の全ての入出力
をそれぞれ上記N個(2個)の各々の加算器15,25
の出入力にアクセスするようにしている。
【0033】先ず、この図1に示す第1の実施例装置の
動作説明を行う。この第1の実施例において、上記各代
表点Pk に対応する捜索範囲SEはQ個の画素とR個の
画素(Q×R)の範囲となされている。ここで、入力端
子1からは、1フィールド前の1画面の画像G-1のデー
タがいわゆるラスタスキャン入力されてくる。例えば、
図2に示すような代表点P(0) k ,P(1) k (k=0,
1,2,・・・,vw−1)のデータが1フィールド前
に当該入力端子1に入力されてきたとき、上記代表点メ
モリ12には上記代表点P(0) k (k=0,1,2,・
・・,vw−1)のデータを格納し、代表点メモリ22
には代表点P(1) k(k=0,1,2,・・・,vw−
1)のデータを格納する。なお、上記代表点P(0) k ,
P(1) k の総数は、2vw個となる。ただし、上記v≒
(1フィールドの横方向の画素数)/Qで、w≒(1フ
ィールドの縦方向の画素数)/Rである。
動作説明を行う。この第1の実施例において、上記各代
表点Pk に対応する捜索範囲SEはQ個の画素とR個の
画素(Q×R)の範囲となされている。ここで、入力端
子1からは、1フィールド前の1画面の画像G-1のデー
タがいわゆるラスタスキャン入力されてくる。例えば、
図2に示すような代表点P(0) k ,P(1) k (k=0,
1,2,・・・,vw−1)のデータが1フィールド前
に当該入力端子1に入力されてきたとき、上記代表点メ
モリ12には上記代表点P(0) k (k=0,1,2,・
・・,vw−1)のデータを格納し、代表点メモリ22
には代表点P(1) k(k=0,1,2,・・・,vw−
1)のデータを格納する。なお、上記代表点P(0) k ,
P(1) k の総数は、2vw個となる。ただし、上記v≒
(1フィールドの横方向の画素数)/Qで、w≒(1フ
ィールドの縦方向の画素数)/Rである。
【0034】すなわち、前述した従来例の図27の構成
の場合、各代表点Pkに対する捜索範囲SE同士は、前
述したように重なることが許されないので、当該従来例
における代表点の個数は最大vw個しかとれなかった。
これに対し、第1の実施例の図2では、縦方向の代表点
数は同じであるが、横方向は従来例の2倍となってい
る。
の場合、各代表点Pkに対する捜索範囲SE同士は、前
述したように重なることが許されないので、当該従来例
における代表点の個数は最大vw個しかとれなかった。
これに対し、第1の実施例の図2では、縦方向の代表点
数は同じであるが、横方向は従来例の2倍となってい
る。
【0035】ここで、現フィールドのデータの一部を図
3に示す。この図3では、例えばQ=6,R=5として
おり、捜索範囲SE内で取り得るベクトル(n,m)
は、n=−2〜+3,m=−2〜+2の範囲となってい
る。また、上記図2を見てわかるように、代表点P(0)
k (k=0,1,2,・・・,vw−1)は、上記Q×
R間隔の位置にあるので、各代表点P(0) k 同士の捜索
範囲SEが重なることはない。すなわち、図3におい
て、代表点P(0) k-1 の捜索範囲SE(0) k-1 と、代表
点P(0) k の捜索範囲SE(0) k と、代表点P(0) k+1
の捜索範囲SE(0) k+1 とは互いに重なることはない。
同様に、この図3において、代表点P(1) k-1 の捜索範
囲SE(1) k-1 と、代表点P(1) k の捜索範囲SE(1)
k と、代表点P(1) k+1 の捜索範囲SE(1) k+1 のよう
に、代表点P(1) k同士の捜索範囲SEも互いに重なる
ことがない。
3に示す。この図3では、例えばQ=6,R=5として
おり、捜索範囲SE内で取り得るベクトル(n,m)
は、n=−2〜+3,m=−2〜+2の範囲となってい
る。また、上記図2を見てわかるように、代表点P(0)
k (k=0,1,2,・・・,vw−1)は、上記Q×
R間隔の位置にあるので、各代表点P(0) k 同士の捜索
範囲SEが重なることはない。すなわち、図3におい
て、代表点P(0) k-1 の捜索範囲SE(0) k-1 と、代表
点P(0) k の捜索範囲SE(0) k と、代表点P(0) k+1
の捜索範囲SE(0) k+1 とは互いに重なることはない。
同様に、この図3において、代表点P(1) k-1 の捜索範
囲SE(1) k-1 と、代表点P(1) k の捜索範囲SE(1)
k と、代表点P(1) k+1 の捜索範囲SE(1) k+1 のよう
に、代表点P(1) k同士の捜索範囲SEも互いに重なる
ことがない。
【0036】更に、現フィールドの画素Ai,j のデータ
と代表点Pkとのベクトル(n,m)における残差S(n,
m) は、代表点が上述のような代表点P(0) k ,P(1) k
(k=0,1,2,・・・,vw−1)となっている
ため、数3の数式で示すことができる。
と代表点Pkとのベクトル(n,m)における残差S(n,
m) は、代表点が上述のような代表点P(0) k ,P(1) k
(k=0,1,2,・・・,vw−1)となっている
ため、数3の数式で示すことができる。
【0037】
【数3】
【0038】ただし、この数3の数式において、画素A
I,J と代表点P(0) k との位置関係は(n,m)とし、
画素A1I,Jと代表点P(1) k との位置関係も(n,m)
としている。
I,J と代表点P(0) k との位置関係は(n,m)とし、
画素A1I,Jと代表点P(1) k との位置関係も(n,m)
としている。
【0039】また更に、本実施例では、Q=6,R=
5、n=−2,−1,0,1,2,3及びm=−2,−
1,0,1,2としているので、上記残差S(n,m) は、
全部で6×5=30個となり、このうち当該残差S(n,
m)が最小となるベクトル(n,m)が求める動きベクト
ルとなる。
5、n=−2,−1,0,1,2,3及びm=−2,−
1,0,1,2としているので、上記残差S(n,m) は、
全部で6×5=30個となり、このうち当該残差S(n,
m)が最小となるベクトル(n,m)が求める動きベクト
ルとなる。
【0040】ここで、図3において、例えば、代表点P
(0) k に対する捜索範囲SE(0) kのうち、左半分を左
領域seLk とし、右半分を右領域seR k と呼ぶこと
にする。したがって、当該代表点P(0) k に対する捜索
範囲SE(0) k は、左領域seL k +右領域seR k で
あり、同様なことから、代表点P(1) k に対する捜索範
囲SE(1) k は、右領域seR k +左領域seL k+1 で
ある。
(0) k に対する捜索範囲SE(0) kのうち、左半分を左
領域seLk とし、右半分を右領域seR k と呼ぶこと
にする。したがって、当該代表点P(0) k に対する捜索
範囲SE(0) k は、左領域seL k +右領域seR k で
あり、同様なことから、代表点P(1) k に対する捜索範
囲SE(1) k は、右領域seR k +左領域seL k+1 で
ある。
【0041】ところで、入力端子1から現フィールドの
データが順次入力されてくるのであるが、例えば、図3
に示す画素Ai,j のデータが入力されてきたときの、図
1の装置の動作について以下に述べる。
データが順次入力されてくるのであるが、例えば、図3
に示す画素Ai,j のデータが入力されてきたときの、図
1の装置の動作について以下に述べる。
【0042】先ず、代表点メモリ12から上記代表点P
(0) k のデータを読み出し、減算器13及び絶対値化器
14で、 |Ai,j −P(0) k | の数式に示す計算を行う。
(0) k のデータを読み出し、減算器13及び絶対値化器
14で、 |Ai,j −P(0) k | の数式に示す計算を行う。
【0043】この時、上記画素Ai,j と代表点P(0) k
の位置関係は、図3の例においてはベクトル(−1,
1)で表すことができるものである。このため、当該|
Ai,j−P(0) k |の数式の演算結果は、残差S(-1,1)
の部分項である。上記絶対値化器14の出力である残差
S(-1,1)の部分項のデータは、加算器15を介し、更に
切換スイッチ63,64を介して残差メモリ16或いは
26に格納される。なお、この加算器15と残差メモリ
16或いは26のアクセスについては後述する。ここ
で、例えば、上記残差メモリ16にデータを格納したと
して、当該残差メモリ16に格納されたデータを再び上
記加算器15に供給することで、当該加算器15は累加
算回路として動作し、この累加算により上記残差S(-1,
1)が求められるようになる。したがって、これら残差メ
モリに格納されているデータは、残差S(-1,1)を求める
際の残差演算途中結果(残差途中結果)s(-1,1)のデー
タとなる。
の位置関係は、図3の例においてはベクトル(−1,
1)で表すことができるものである。このため、当該|
Ai,j−P(0) k |の数式の演算結果は、残差S(-1,1)
の部分項である。上記絶対値化器14の出力である残差
S(-1,1)の部分項のデータは、加算器15を介し、更に
切換スイッチ63,64を介して残差メモリ16或いは
26に格納される。なお、この加算器15と残差メモリ
16或いは26のアクセスについては後述する。ここ
で、例えば、上記残差メモリ16にデータを格納したと
して、当該残差メモリ16に格納されたデータを再び上
記加算器15に供給することで、当該加算器15は累加
算回路として動作し、この累加算により上記残差S(-1,
1)が求められるようになる。したがって、これら残差メ
モリに格納されているデータは、残差S(-1,1)を求める
際の残差演算途中結果(残差途中結果)s(-1,1)のデー
タとなる。
【0044】すなわち、上記絶対値化器14からのデー
タが上記加算器15に送られた時には、上記ベクトル
(−1,1)に対応する残差途中結果s(-1,1)を、例え
ば上記残差メモリ16から読み出し、加算器15で、 s(-1,1)+|Ai,j −P(0) k | の数式に示す加算を行う。
タが上記加算器15に送られた時には、上記ベクトル
(−1,1)に対応する残差途中結果s(-1,1)を、例え
ば上記残差メモリ16から読み出し、加算器15で、 s(-1,1)+|Ai,j −P(0) k | の数式に示す加算を行う。
【0045】この加算器15の出力を新しく残差途中結
果s(-1,1)とおき、上記残差メモリ16内の古い残差途
中結果s(-1,1)のデータが格納されていた番地に、当該
新しい残差途中結果s(-1,1)をオーバーライトする。す
なわち、該残差メモリ16において古い残差途中結果の
データを新しい残差途中結果に更新する。
果s(-1,1)とおき、上記残差メモリ16内の古い残差途
中結果s(-1,1)のデータが格納されていた番地に、当該
新しい残差途中結果s(-1,1)をオーバーライトする。す
なわち、該残差メモリ16において古い残差途中結果の
データを新しい残差途中結果に更新する。
【0046】また、これと同時に、代表点メモリ22か
らは、代表点P(1) k-1 のデータを読み出し、減算器2
3,絶対値化器24で、 |Ai,j −P(1) k-1 | の数式に示す演算を行う。
らは、代表点P(1) k-1 のデータを読み出し、減算器2
3,絶対値化器24で、 |Ai,j −P(1) k-1 | の数式に示す演算を行う。
【0047】ここで、画素Ai,j と代表点P(1) k-1 の
位置関係は、図3に示すようにベクトル(2,−1)で
表すことができるため、当該|Ai,j −P(1) k-1 |の
数式の演算結果は、残差S(2,-1)の部分項である。上記
絶対値化器24の出力である残差S(2,-1)の部分項のデ
ータは、加算器25を介し、更に切換スイッチ65,6
6を介して残差メモリ16或いは26に格納される。な
お、この加算器25と残差メモリ16或いは26のアク
セスについても後述する。ここで、例えば、残差メモリ
26にデータが格納され、当該残差メモリ26に格納さ
れたデータを再び上記加算器25に供給することで、当
該加算器25は累加算回路として動作し、この累加算に
より上記残差S(2,-1)が求められるようになる。したが
って、これら残差メモリに格納されているデータは、残
差S(2,-1)を求める際の残差途中結果s(2,-1)のデータ
となる。
位置関係は、図3に示すようにベクトル(2,−1)で
表すことができるため、当該|Ai,j −P(1) k-1 |の
数式の演算結果は、残差S(2,-1)の部分項である。上記
絶対値化器24の出力である残差S(2,-1)の部分項のデ
ータは、加算器25を介し、更に切換スイッチ65,6
6を介して残差メモリ16或いは26に格納される。な
お、この加算器25と残差メモリ16或いは26のアク
セスについても後述する。ここで、例えば、残差メモリ
26にデータが格納され、当該残差メモリ26に格納さ
れたデータを再び上記加算器25に供給することで、当
該加算器25は累加算回路として動作し、この累加算に
より上記残差S(2,-1)が求められるようになる。したが
って、これら残差メモリに格納されているデータは、残
差S(2,-1)を求める際の残差途中結果s(2,-1)のデータ
となる。
【0048】すなわち、上記絶対値化器24からのデー
タが上記加算器25に送られた時には、このベクトル
(2,−1)に対応する残差途中結果s(2,-1)を、例え
ば上記残差メモリ26から読み出し、加算器25で、 s(2,-1)+|Ai,j −P(1) k-1 | の数式に示す加算を行う。
タが上記加算器25に送られた時には、このベクトル
(2,−1)に対応する残差途中結果s(2,-1)を、例え
ば上記残差メモリ26から読み出し、加算器25で、 s(2,-1)+|Ai,j −P(1) k-1 | の数式に示す加算を行う。
【0049】この加算器25の出力を新しく残差途中結
果s(2,-1)とおき、上記残差メモリ26内の古い残差途
中結果s(2,-1)のデータが格納されていた番地に、当該
新しい残差途中結果s(2,-1)のデータをオーバーライト
する(すなわち残差途中結果データの更新を行う)。
果s(2,-1)とおき、上記残差メモリ26内の古い残差途
中結果s(2,-1)のデータが格納されていた番地に、当該
新しい残差途中結果s(2,-1)のデータをオーバーライト
する(すなわち残差途中結果データの更新を行う)。
【0050】次に、図3に示す画素A1i,jのデータが入
力されてきたときの、図1の装置の動作について以下に
述べる。
力されてきたときの、図1の装置の動作について以下に
述べる。
【0051】先ず、代表点メモリ12から上記代表点P
(0) k のデータを読み出し、減算器13及び絶対値化器
14により、残差S(1,2)の部分項を求めるための |A1i,j−P(0) k | の数式に示す計算を行う。
(0) k のデータを読み出し、減算器13及び絶対値化器
14により、残差S(1,2)の部分項を求めるための |A1i,j−P(0) k | の数式に示す計算を行う。
【0052】すなわち、上記画素A1i,jと代表点P(0)
k の位置関係は、図3の例においてはベクトル(1,
2)で表すことができるため、当該|A1i,j−P(0) k
|の数式の演算結果は、残差S(1,2) の部分項である。
上記絶対値化器14の出力である残差S(1,2) の部分項
のデータは、加算器15と切換スイッチ63,64を介
して残差メモリ16或いは26に格納される。なお、こ
の時の加算器15と残差メモリ16或いは26のアクセ
スについても後述する。ここで、例えば、残差メモリ2
6にデータが格納され、当該残差メモリ26に格納され
たデータを上記加算器15に供給することによる累加算
により、上記残差S(1,2) が求められるようになる。
k の位置関係は、図3の例においてはベクトル(1,
2)で表すことができるため、当該|A1i,j−P(0) k
|の数式の演算結果は、残差S(1,2) の部分項である。
上記絶対値化器14の出力である残差S(1,2) の部分項
のデータは、加算器15と切換スイッチ63,64を介
して残差メモリ16或いは26に格納される。なお、こ
の時の加算器15と残差メモリ16或いは26のアクセ
スについても後述する。ここで、例えば、残差メモリ2
6にデータが格納され、当該残差メモリ26に格納され
たデータを上記加算器15に供給することによる累加算
により、上記残差S(1,2) が求められるようになる。
【0053】上記絶対値化器14からのデータが上記加
算器15に送られた時には、このベクトル(1,2)に
対応する残差途中結果s(1,2) のデータを、上記残差メ
モリ26から読み出し、加算器15で、 s(1,2) +|A1i,j−P(0) k | の数式に示す演算を行う。
算器15に送られた時には、このベクトル(1,2)に
対応する残差途中結果s(1,2) のデータを、上記残差メ
モリ26から読み出し、加算器15で、 s(1,2) +|A1i,j−P(0) k | の数式に示す演算を行う。
【0054】上述同様に、この加算器15の出力を新し
く残差途中結果s(1,2) とおき、上記残差メモリ26内
の古い残差途中結果s(1,2) のデータが格納されていた
番地に、当該新しい残差途中結果s(1,2) のデータをオ
ーバーライトする。
く残差途中結果s(1,2) とおき、上記残差メモリ26内
の古い残差途中結果s(1,2) のデータが格納されていた
番地に、当該新しい残差途中結果s(1,2) のデータをオ
ーバーライトする。
【0055】また、これと同時に、代表点メモリ22か
らは、代表点P(1) k のデータを読み出し、減算器2
3,絶対値化器24で残差S(-2,2)の部分項を求めるた
めの |A1i,j−P(1) k | の数式に示す演算を行う。
らは、代表点P(1) k のデータを読み出し、減算器2
3,絶対値化器24で残差S(-2,2)の部分項を求めるた
めの |A1i,j−P(1) k | の数式に示す演算を行う。
【0056】この時例えば、残差メモリ16から残差途
中結果s(-2,2)のデータを読み出し、加算器25で、 s(-2,2)+|A1i,j−P(1) k | の数式に示す演算を行う。
中結果s(-2,2)のデータを読み出し、加算器25で、 s(-2,2)+|A1i,j−P(1) k | の数式に示す演算を行う。
【0057】この加算器25の出力を新しく残差途中結
果s(-2,2)とおき、上記残差メモリ16内の古い残差途
中結果s(-2,2)のデータが格納されていた番地に、当該
新しい残差途中結果s(-2,2)のデータをオーバーライト
する。
果s(-2,2)とおき、上記残差メモリ16内の古い残差途
中結果s(-2,2)のデータが格納されていた番地に、当該
新しい残差途中結果s(-2,2)のデータをオーバーライト
する。
【0058】上述のように、上記残差メモリ16には残
差途中結果s(n,m) (n=−2,−1,0、m=−2,
−1,0,1,2)のデータを格納し、残差メモリ26
には残差途中結果s(n,m) (n=1,2,3、m=−
2,−1,0,1,2)のデータを格納するようにして
いる。
差途中結果s(n,m) (n=−2,−1,0、m=−2,
−1,0,1,2)のデータを格納し、残差メモリ26
には残差途中結果s(n,m) (n=1,2,3、m=−
2,−1,0,1,2)のデータを格納するようにして
いる。
【0059】すなわち、一般化して説明すると、本実施
例においては、入力端子1から供給される現フィールド
のデータのうち上記左領域seL k 内のデータが入力さ
れてきた時には、その入力データは代表点P(0) k に対
して(L,M)(L=−2又は−1又は0、M=−2又
は−1又は0又は1又は2)である。この時、上記代表
点メモリ12から代表点P(0)k のデータを読み出し、
残差S(L,M) の部分項を求めるための |(入力データ)−P(0) k | の数式の演算を行い、更に、残差メモリ16から残差途
中結果s(L,M) のデータを読み出し、加算器15で s(L,M) +|(入力データ)−P(0) k | の数式の計算を行う。この演算の結果を新しく残差途中
結果s(L,M) とおき、残差メモリ16内の古い残差途中
結果s(L,M) のデータが格納されていた番地にオーバー
ライトする。
例においては、入力端子1から供給される現フィールド
のデータのうち上記左領域seL k 内のデータが入力さ
れてきた時には、その入力データは代表点P(0) k に対
して(L,M)(L=−2又は−1又は0、M=−2又
は−1又は0又は1又は2)である。この時、上記代表
点メモリ12から代表点P(0)k のデータを読み出し、
残差S(L,M) の部分項を求めるための |(入力データ)−P(0) k | の数式の演算を行い、更に、残差メモリ16から残差途
中結果s(L,M) のデータを読み出し、加算器15で s(L,M) +|(入力データ)−P(0) k | の数式の計算を行う。この演算の結果を新しく残差途中
結果s(L,M) とおき、残差メモリ16内の古い残差途中
結果s(L,M) のデータが格納されていた番地にオーバー
ライトする。
【0060】また、これと同時に、上記入力データは代
表点P(1) k-1 に対して(L1 ,M)(L1 =3+L=
1又は2又は3)である。このため、上記代表点メモリ
22から代表点P(1) k-1 のデータを読み出して残差S
(L1,M)の部分項である |(入力データ)−P(1) k-1 | の数式の計算を行い、残差メモリ26から残差途中結果
s(L1,M)のデータを読み出し、加算器25で S(L1,M)+|(入力データ)−P(1) k-1 | の数式に示す演算を行う。この結果を新しく残差途中結
果s(L1,M)とおいて、残差メモリ26の古い残差途中結
果s(L1,M)のデータを格納していた番地にオーバーライ
トする。
表点P(1) k-1 に対して(L1 ,M)(L1 =3+L=
1又は2又は3)である。このため、上記代表点メモリ
22から代表点P(1) k-1 のデータを読み出して残差S
(L1,M)の部分項である |(入力データ)−P(1) k-1 | の数式の計算を行い、残差メモリ26から残差途中結果
s(L1,M)のデータを読み出し、加算器25で S(L1,M)+|(入力データ)−P(1) k-1 | の数式に示す演算を行う。この結果を新しく残差途中結
果s(L1,M)とおいて、残差メモリ26の古い残差途中結
果s(L1,M)のデータを格納していた番地にオーバーライ
トする。
【0061】以上については左領域seL k 内のデータ
が入力されてきた場合を述べたが、右領域seR k 内の
データが入力されてきた時は、その入力データは代表点
P(0) k に対して(L2 ,M1 )(L2 =1又は2又は
3、M=−2又は−1又は0又は1又は2)である。こ
のため、代表点メモリ12,減算器13,絶対値化器1
4により、残差S(L2,M1) の部分項である前記|(入力
データ)−P(0) k |の数式の計算を行い、この計算結
果と残差メモリ26からの残差途中結果s(L2,M1) とを
加算器15で加算し、残差メモリ26にオーバーライト
する。
が入力されてきた場合を述べたが、右領域seR k 内の
データが入力されてきた時は、その入力データは代表点
P(0) k に対して(L2 ,M1 )(L2 =1又は2又は
3、M=−2又は−1又は0又は1又は2)である。こ
のため、代表点メモリ12,減算器13,絶対値化器1
4により、残差S(L2,M1) の部分項である前記|(入力
データ)−P(0) k |の数式の計算を行い、この計算結
果と残差メモリ26からの残差途中結果s(L2,M1) とを
加算器15で加算し、残差メモリ26にオーバーライト
する。
【0062】また、これと同時に、上記入力データは、
代表点P(1) k に対して(L3 ,M1 )(L3 =L2 −
3=−2又は−1又は0)であるから、代表点メモリ2
2,減算器23,絶対値化器24により、残差S(L3,
M1) の部分項である。 |(入力データ)−P(1) k | の数式の計算を行い、この計算結果と上記残差メモリ1
6からの残差途中結果s(L3,M1) のデータとを加算器2
5で加算し、残差メモリ16にオーバーライトする。
代表点P(1) k に対して(L3 ,M1 )(L3 =L2 −
3=−2又は−1又は0)であるから、代表点メモリ2
2,減算器23,絶対値化器24により、残差S(L3,
M1) の部分項である。 |(入力データ)−P(1) k | の数式の計算を行い、この計算結果と上記残差メモリ1
6からの残差途中結果s(L3,M1) のデータとを加算器2
5で加算し、残差メモリ16にオーバーライトする。
【0063】このようにして演算を行っていくことによ
り、現フィールドのデータが全て入力端子1から入力し
終わった時点で、残差途中結果s(n,m) は残差S(n,m)
となり、上記残差メモリ16には残差S(n,m) (n=−
2,−1,0、m=−2,−1,0,1,2)のデータ
が格納され、上記残差メモリ26には残差S(n,m) (n
=0,1,2、m=−2,−1,0,1,2)のデータ
が格納されることになる。
り、現フィールドのデータが全て入力端子1から入力し
終わった時点で、残差途中結果s(n,m) は残差S(n,m)
となり、上記残差メモリ16には残差S(n,m) (n=−
2,−1,0、m=−2,−1,0,1,2)のデータ
が格納され、上記残差メモリ26には残差S(n,m) (n
=0,1,2、m=−2,−1,0,1,2)のデータ
が格納されることになる。
【0064】その後、上記残差メモリ16,26からの
残差S(n,m) のデータを、比較器7に供給する。この比
較器7では上記残差S(n,m) のうち最小となるベクトル
(nmin ,mmin )を動きベクトルとして選ぶ処理が行
われ、この動きベクトル(nmin ,mmin )を出力端子
9から取り出すようにする。
残差S(n,m) のデータを、比較器7に供給する。この比
較器7では上記残差S(n,m) のうち最小となるベクトル
(nmin ,mmin )を動きベクトルとして選ぶ処理が行
われ、この動きベクトル(nmin ,mmin )を出力端子
9から取り出すようにする。
【0065】なお、上記残差メモリ16は、残差S(n,
m) のうち、n=−2,−1,0、m=−2,−1,
0,1,2の合計である3×5=15個について残差途
中結果のデータを保持していくメモリであり、したがっ
て、3×5=Q×R/2ワードの大きさでよい。同様
に、残差メモリ26はn=1,2,3、m=−2,−
1,0,1,2であるから3×5=Q×R/2ワードの
大きさでよい。
m) のうち、n=−2,−1,0、m=−2,−1,
0,1,2の合計である3×5=15個について残差途
中結果のデータを保持していくメモリであり、したがっ
て、3×5=Q×R/2ワードの大きさでよい。同様
に、残差メモリ26はn=1,2,3、m=−2,−
1,0,1,2であるから3×5=Q×R/2ワードの
大きさでよい。
【0066】また、各代表点メモリ12,22及び残差
メモリ16,26の書込/読出やアドレスの制御は制御
回路85によりなされる。更に、当該制御回路85は、
残差メモリ16,26のうちのいずれかの残差メモリ
が、加算器15,25のうちのいずれかの加算器とアク
セスするかの制御も行うと共に、切換スイッチ63,6
4,65,66の切換制御も行っている。すなわち、該
制御回路85は、現フィールドのデータが入力されてき
た時、残差メモリ16が加算器15又は25のどちらか
一方とアクセスするように制御すると共に、上記残差メ
モリ26については上記残差メモリ16とアクセスして
いない残りの一方の加算器とアクセスするようにしてお
り、これと同時に切換スイッチ63,64の切換制御も
行っている。したがって、本実施例においては、ある時
刻において片方の残差メモリだけが加算器15,25の
両方にアクセスするとういことはなく、残差メモリがい
わゆるbusy状態になることがなくなる。なお、ここに言
うアクセスとは、残差メモリから残差途中結果のデータ
を読み出し、加算器15又は25で加算して、同じ残差
メモリの同じ番地にオーバーライトする(更新する)こ
とを意味している。
メモリ16,26の書込/読出やアドレスの制御は制御
回路85によりなされる。更に、当該制御回路85は、
残差メモリ16,26のうちのいずれかの残差メモリ
が、加算器15,25のうちのいずれかの加算器とアク
セスするかの制御も行うと共に、切換スイッチ63,6
4,65,66の切換制御も行っている。すなわち、該
制御回路85は、現フィールドのデータが入力されてき
た時、残差メモリ16が加算器15又は25のどちらか
一方とアクセスするように制御すると共に、上記残差メ
モリ26については上記残差メモリ16とアクセスして
いない残りの一方の加算器とアクセスするようにしてお
り、これと同時に切換スイッチ63,64の切換制御も
行っている。したがって、本実施例においては、ある時
刻において片方の残差メモリだけが加算器15,25の
両方にアクセスするとういことはなく、残差メモリがい
わゆるbusy状態になることがなくなる。なお、ここに言
うアクセスとは、残差メモリから残差途中結果のデータ
を読み出し、加算器15又は25で加算して、同じ残差
メモリの同じ番地にオーバーライトする(更新する)こ
とを意味している。
【0067】本発明の動きベクトル検出装置において
は、図4,図5,図6に示す第2の実施例に示すような
動きベクトル検出処理を行うことも可能である。図4に
はこの第2の実施例の動きベクトル検出装置の構成を示
している。なお、この図4において前述の図1と同じ構
成要素には同一の指示符号を付して、これらの詳細な説
明については省略する。また、図4において、代表点メ
モリ32,減算器33,絶対値化器34,加算器35,
残差メモリ36,切換スイッチ67〜71も、基本的動
作については、前述のものと同様である。
は、図4,図5,図6に示す第2の実施例に示すような
動きベクトル検出処理を行うことも可能である。図4に
はこの第2の実施例の動きベクトル検出装置の構成を示
している。なお、この図4において前述の図1と同じ構
成要素には同一の指示符号を付して、これらの詳細な説
明については省略する。また、図4において、代表点メ
モリ32,減算器33,絶対値化器34,加算器35,
残差メモリ36,切換スイッチ67〜71も、基本的動
作については、前述のものと同様である。
【0068】この第2の実施例においては、図5に示す
ように、代表点P(0) k ,P(1) k,P(2) k (k=
0,1,2,・・・,vw−1)のデータが1フィール
ド前に入力されてきた時、上記代表点メモリ12には代
表点P(0) k のデータを格納し、代表点メモリ22には
代表点メモリP(1) k のデータを格納し、代表点メモリ
32には代表点P(2) k のデータを格納する。
ように、代表点P(0) k ,P(1) k,P(2) k (k=
0,1,2,・・・,vw−1)のデータが1フィール
ド前に入力されてきた時、上記代表点メモリ12には代
表点P(0) k のデータを格納し、代表点メモリ22には
代表点メモリP(1) k のデータを格納し、代表点メモリ
32には代表点P(2) k のデータを格納する。
【0069】これら代表点の総数は3vw個であり、前
述した従来例のvw個の3倍となっている。
述した従来例のvw個の3倍となっている。
【0070】ここで、現フィールドのデータの一部を図
6に示す。この図6では、Q=9,R=5とし、捜索範
囲SE内で取りえるベクトル(n,m)をn=−4,−
3,−2,−1,0,1,2,3,4、m=−2,−
1,0,1,2としている。
6に示す。この図6では、Q=9,R=5とし、捜索範
囲SE内で取りえるベクトル(n,m)をn=−4,−
3,−2,−1,0,1,2,3,4、m=−2,−
1,0,1,2としている。
【0071】また、この第2の実施例においても現フィ
ールドの画素をAi,j とすると、ベクトル(n,m)に
対する残差S(n,m) は、代表点がP(0) k ,P(1) k ,
P(2 ) k (k=0,1,2,・・・,vw−1)である
ため、数4の数式で示すことができる。
ールドの画素をAi,j とすると、ベクトル(n,m)に
対する残差S(n,m) は、代表点がP(0) k ,P(1) k ,
P(2 ) k (k=0,1,2,・・・,vw−1)である
ため、数4の数式で示すことができる。
【0072】
【数4】
【0073】ただし、この数4の数式において、画素A
I,J と代表点P(0) k の位置関係はベクトル(n,m)
で、画素A1I,Jと代表点P(1) k の位置関係はベクトル
(n,m)で、画素画素A2I,Jと代表点P(2) k の位置
関係はベクトル(n,m)である。また、Q=9,R=
5(n=−4〜4,m=−2〜2)としているので、残
差S(n,m) は、全部で9×5=45個あり、このうち残
差S(n,m) が最小となるベクトル(n,m)が求める動
きベクトルである。
I,J と代表点P(0) k の位置関係はベクトル(n,m)
で、画素A1I,Jと代表点P(1) k の位置関係はベクトル
(n,m)で、画素画素A2I,Jと代表点P(2) k の位置
関係はベクトル(n,m)である。また、Q=9,R=
5(n=−4〜4,m=−2〜2)としているので、残
差S(n,m) は、全部で9×5=45個あり、このうち残
差S(n,m) が最小となるベクトル(n,m)が求める動
きベクトルである。
【0074】上記残差メモリ16には、残差途中結果s
(n,m) (n=−4,−3,−2、m=−2〜2)のデー
タを格納し、残差メモリ26には残差途中結果s(n,m)
(n=−1,0,1、m=−2〜2)のデータを、残差
メモリ36には残差途中結果s(n,m) (n=2,3,
4、m=−2〜2)のデータを格納していく。
(n,m) (n=−4,−3,−2、m=−2〜2)のデー
タを格納し、残差メモリ26には残差途中結果s(n,m)
(n=−1,0,1、m=−2〜2)のデータを、残差
メモリ36には残差途中結果s(n,m) (n=2,3,
4、m=−2〜2)のデータを格納していく。
【0075】ここで、図6に示すように、捜索範囲SE
を、左領域seL k と中央領域seM k と右領域seR
k とに分ける。したがって、上記代表点P(0) k に対す
る捜索範囲SE(0) k は左領域seL k +中央領域se
M k+右領域seR k となる。同様なことから、代表点
P(1)k に対する捜索範囲SE(1) k は中央領域seM k
+右領域seR k +左領域seL k+1 となり、代表点
P(2) k に対する捜索範囲SE(2) k は右領域seR k
+左領域seL k+1 +中央領域seM k+1 となる。
を、左領域seL k と中央領域seM k と右領域seR
k とに分ける。したがって、上記代表点P(0) k に対す
る捜索範囲SE(0) k は左領域seL k +中央領域se
M k+右領域seR k となる。同様なことから、代表点
P(1)k に対する捜索範囲SE(1) k は中央領域seM k
+右領域seR k +左領域seL k+1 となり、代表点
P(2) k に対する捜索範囲SE(2) k は右領域seR k
+左領域seL k+1 +中央領域seM k+1 となる。
【0076】先ず、上記入力端子1から現フィールドの
データのうち上記左領域seL k 内の画素のデータが入
力されてきたとき、その入力データは代表点P(0) k に
対して(L0 ,M0 )(L0 =−4又は−3又は−2、
M0 =−2又は−1又は0又は1又は2)であるから、
上記代表点メモリ12,減算器13,絶対値化器14に
より残差S(L0,M0) の部分項を求めるための|(入力デ
ータ)−P(0) k |の数式の計算を行う。この時、上記
数式の演算結果と残差メモリ16からの残差途中結果s
(L0, M0)のデータとを加算器15で加算し、前述同様に
新しい残差途中結果のデータを当該残差メモリ16にオ
ーバーライトする。
データのうち上記左領域seL k 内の画素のデータが入
力されてきたとき、その入力データは代表点P(0) k に
対して(L0 ,M0 )(L0 =−4又は−3又は−2、
M0 =−2又は−1又は0又は1又は2)であるから、
上記代表点メモリ12,減算器13,絶対値化器14に
より残差S(L0,M0) の部分項を求めるための|(入力デ
ータ)−P(0) k |の数式の計算を行う。この時、上記
数式の演算結果と残差メモリ16からの残差途中結果s
(L0, M0)のデータとを加算器15で加算し、前述同様に
新しい残差途中結果のデータを当該残差メモリ16にオ
ーバーライトする。
【0077】また、これと同時に、上記入力データは代
表点P(1) k-1 に対して(L1 ,M0 )(L1 =L0 +
6=2又は3又は4)であるから、上記代表点メモリ2
2,上記減算器23,上記絶対値化器24により残差S
(L1,M0) の部分項である前述した|(入力データ)−P
(1) k-1 |の数式の計算を行い、この演算結果と残差メ
モリ36からの残差途中結果s(L1, M0)のデータとを加
算器25で加算し、その後残差メモリ36にオーバーラ
イトする。
表点P(1) k-1 に対して(L1 ,M0 )(L1 =L0 +
6=2又は3又は4)であるから、上記代表点メモリ2
2,上記減算器23,上記絶対値化器24により残差S
(L1,M0) の部分項である前述した|(入力データ)−P
(1) k-1 |の数式の計算を行い、この演算結果と残差メ
モリ36からの残差途中結果s(L1, M0)のデータとを加
算器25で加算し、その後残差メモリ36にオーバーラ
イトする。
【0078】更に、これと同時に、上記入力データは代
表点P(2) k-1 に対して(L2 ,M0 )(L2 =L0 +
3=−1又は0又は1)であるから、上記代表点メモリ
32,上記減算器33,上記絶対値化器34により残差
S(L2,M0) の部分項を求めるための|(入力データ)−
P(2) k-1 |の数式の計算を行い、この演算結果と残差
メモリ26からの残差途中結果s(L2, M0)のデータとを
加算器35で加算し、その後残差メモリ26にオーバー
ライトする。
表点P(2) k-1 に対して(L2 ,M0 )(L2 =L0 +
3=−1又は0又は1)であるから、上記代表点メモリ
32,上記減算器33,上記絶対値化器34により残差
S(L2,M0) の部分項を求めるための|(入力データ)−
P(2) k-1 |の数式の計算を行い、この演算結果と残差
メモリ26からの残差途中結果s(L2, M0)のデータとを
加算器35で加算し、その後残差メモリ26にオーバー
ライトする。
【0079】同様なことから、入力端子1からのデータ
が中央領域seM k 内或いは右領域seR k 内の時の、
図5の装置の各部の動作は表1に示すようなものとな
る。
が中央領域seM k 内或いは右領域seR k 内の時の、
図5の装置の各部の動作は表1に示すようなものとな
る。
【0080】
【表1】
【0081】すなわち、この表1において、上記入力端
子1からのデータが左領域seL k内のデータである
時、代表点メモリ12から読み出すデータは代表点P
(0) k のデータで加算器15とアクセスする残差メモリ
は残差メモリ16となり、代表点メモリ22から読み出
すデータは代表点P(1) k-1 のデータで加算器25とア
クセスする残差メモリは残差メモリ36となり、代表点
メモリ32から読み出すデータは代表点P(2) k-1 のデ
ータで加算器35とアクセスする残差メモリは残差メモ
リ26となる。また、入力端子1からのデータが中央領
域seM k 内のデータである時、代表点メモリ12から
読み出すデータは代表点P(0)k のデータで加算器15
とアクセスする残差メモリは残差メモリ26となり、代
表点メモリ22から読み出すデータは代表点P(1) k の
データで加算器25とアクセスする残差メモリは残差メ
モリ16となり、代表点メモリ32から読み出すデータ
は代表点P(2) k-1 のデータで加算器35とアクセスす
る残差メモリは残差メモリ36となる。また、入力端子
1からのデータが右領域seR k 内のデータである時、
代表点メモリ12から読み出すデータは代表点P(0) k
のデータで加算器15とアクセスする残差メモリは残差
メモリ36となり、代表点メモリ22から読み出すデー
タは代表点P(1) k のデータで加算器25とアクセスす
る残差メモリは残差メモリ26となり、代表点メモリ3
2から読み出すデータは代表点P(2) k のデータで加算
器35とアクセスする残差メモリは残差メモリ16とな
る。
子1からのデータが左領域seL k内のデータである
時、代表点メモリ12から読み出すデータは代表点P
(0) k のデータで加算器15とアクセスする残差メモリ
は残差メモリ16となり、代表点メモリ22から読み出
すデータは代表点P(1) k-1 のデータで加算器25とア
クセスする残差メモリは残差メモリ36となり、代表点
メモリ32から読み出すデータは代表点P(2) k-1 のデ
ータで加算器35とアクセスする残差メモリは残差メモ
リ26となる。また、入力端子1からのデータが中央領
域seM k 内のデータである時、代表点メモリ12から
読み出すデータは代表点P(0)k のデータで加算器15
とアクセスする残差メモリは残差メモリ26となり、代
表点メモリ22から読み出すデータは代表点P(1) k の
データで加算器25とアクセスする残差メモリは残差メ
モリ16となり、代表点メモリ32から読み出すデータ
は代表点P(2) k-1 のデータで加算器35とアクセスす
る残差メモリは残差メモリ36となる。また、入力端子
1からのデータが右領域seR k 内のデータである時、
代表点メモリ12から読み出すデータは代表点P(0) k
のデータで加算器15とアクセスする残差メモリは残差
メモリ36となり、代表点メモリ22から読み出すデー
タは代表点P(1) k のデータで加算器25とアクセスす
る残差メモリは残差メモリ26となり、代表点メモリ3
2から読み出すデータは代表点P(2) k のデータで加算
器35とアクセスする残差メモリは残差メモリ16とな
る。
【0082】上述のようにして演算を行うことにより、
現フィールドのデータが全て入力端子1から入力し終わ
った時点で、残差途中結果s(n,m) は残差S(n,m) とな
り、残差メモリ16には残差S(n,m) (n=−4,−
3,−2、m=−2〜2)のデータが格納され、残差メ
モリ26には残差S(n,m) (n=−1,0,1、m=−
2〜2)のデータが格納され、残差メモリ13には残差
S(n,m) (n=2,3,4、m=−2〜2)のデータが
格納されることになる。
現フィールドのデータが全て入力端子1から入力し終わ
った時点で、残差途中結果s(n,m) は残差S(n,m) とな
り、残差メモリ16には残差S(n,m) (n=−4,−
3,−2、m=−2〜2)のデータが格納され、残差メ
モリ26には残差S(n,m) (n=−1,0,1、m=−
2〜2)のデータが格納され、残差メモリ13には残差
S(n,m) (n=2,3,4、m=−2〜2)のデータが
格納されることになる。
【0083】その後、上記残差メモリ16,26,36
内の残差S(n,m)のデータを、比較器7に供給して残差
S(n,m) のうち最小となるベクトル(nmin ,mmin )
を計算し、この動きベクトル(nmin ,mmin )を出力
端子9から取り出すようにする。
内の残差S(n,m)のデータを、比較器7に供給して残差
S(n,m) のうち最小となるベクトル(nmin ,mmin )
を計算し、この動きベクトル(nmin ,mmin )を出力
端子9から取り出すようにする。
【0084】また、この第2の実施例装置においても、
残差メモリ16は、残差S(n,m) のうち、n=−4,−
3,−2、m=−2,−1,0,1,2の合計である3
×5=15個について残差途中結果のデータを保持して
いくメモリであり、したがって、3×5=Q×R/3ワ
ードの大きさでよい。同様に、残差メモリ26,36に
ついてもQ×R/3ワードの大きさでよい。
残差メモリ16は、残差S(n,m) のうち、n=−4,−
3,−2、m=−2,−1,0,1,2の合計である3
×5=15個について残差途中結果のデータを保持して
いくメモリであり、したがって、3×5=Q×R/3ワ
ードの大きさでよい。同様に、残差メモリ26,36に
ついてもQ×R/3ワードの大きさでよい。
【0085】更に、本実施例の制御回路85は、各代表
点メモリ12,22,32及び残差メモリ16,26,
36の書込/読出やアドレスの制御、及び、残差メモリ
16,26,36のうちいずれの残差メモリが加算器1
5,25,35のいずれの加算器とアクセスするの制御
か、更に各切換スイッチの切換制御等の各制御を行って
いる。
点メモリ12,22,32及び残差メモリ16,26,
36の書込/読出やアドレスの制御、及び、残差メモリ
16,26,36のうちいずれの残差メモリが加算器1
5,25,35のいずれの加算器とアクセスするの制御
か、更に各切換スイッチの切換制御等の各制御を行って
いる。
【0086】本発明の動きベクトル検出装置において
は、図7,図8,図9に示す第3の実施例に示すような
検出を行うことも可能である。図7にはこの第3の実施
例の動きベクトル検出装置の構成を示し、この図7にお
いて前述の図4と同じ構成要素には同一の指示符号を付
している。また、図7において、代表点メモリ42,減
算器43,絶対値化器44,加算器45,残差メモリ4
6,切換スイッチ73〜78も、基本的動作について
は、前述のものと同様である。
は、図7,図8,図9に示す第3の実施例に示すような
検出を行うことも可能である。図7にはこの第3の実施
例の動きベクトル検出装置の構成を示し、この図7にお
いて前述の図4と同じ構成要素には同一の指示符号を付
している。また、図7において、代表点メモリ42,減
算器43,絶対値化器44,加算器45,残差メモリ4
6,切換スイッチ73〜78も、基本的動作について
は、前述のものと同様である。
【0087】すなわち、前述した第1,第2の実施例で
は代表点の間隔として、従来例の横方向のQに対して横
方向をQ/2やQ/3としていたが、この第3の実施例
においては、図8に示すように、縦方向をR/2とし、
横方向をQ/2として2次元的にとることにより、従来
の代表点よりも代表点数を増やすようにしている。
は代表点の間隔として、従来例の横方向のQに対して横
方向をQ/2やQ/3としていたが、この第3の実施例
においては、図8に示すように、縦方向をR/2とし、
横方向をQ/2として2次元的にとることにより、従来
の代表点よりも代表点数を増やすようにしている。
【0088】この第3の実施例においては、図8に示す
ようにP(0) k ,P(1) k ,P(2) k ,P(3) k (k=
0,1,2,・・・,vw−1)の代表点を選んでい
る。この第3の実施例では、代表点数が4vw個とな
る。
ようにP(0) k ,P(1) k ,P(2) k ,P(3) k (k=
0,1,2,・・・,vw−1)の代表点を選んでい
る。この第3の実施例では、代表点数が4vw個とな
る。
【0089】ここで、第3の実施例においては、代表点
P(0) k ,P(1) k ,P(2) k ,P(3) k (k=0,
1,2,・・・,vw−1)が1フィールド前に入力さ
れてきた時に、代表点メモリ12には代表点P(0) k の
データを格納し、代表点メモリ22には代表点メモリP
(1) k のデータを格納し、代表点メモリ32には代表点
メモリP(2) k のデータを格納し、代表点メモリ42に
は代表点P(3) k のデータを格納する。
P(0) k ,P(1) k ,P(2) k ,P(3) k (k=0,
1,2,・・・,vw−1)が1フィールド前に入力さ
れてきた時に、代表点メモリ12には代表点P(0) k の
データを格納し、代表点メモリ22には代表点メモリP
(1) k のデータを格納し、代表点メモリ32には代表点
メモリP(2) k のデータを格納し、代表点メモリ42に
は代表点P(3) k のデータを格納する。
【0090】図9は現フィールドのデータの一部を示し
ている。この図9では、捜索範囲SEをQ=6,R=6
として、ベクトル(n,m)をn=−2,−1,0,
1,2,3、m=−2,−1,0,1,2,3とした場
合である。また、図10〜図12は上記図9の例におけ
る本実施例の各捜索範囲を示している。すなわち、図1
0には捜索範囲SE(0) k を示し、図11には捜索範囲
SE(2) k とSE(2) k-v を示し、図12には捜索範囲
SE(1) k とSE(1) k-1 を示している。
ている。この図9では、捜索範囲SEをQ=6,R=6
として、ベクトル(n,m)をn=−2,−1,0,
1,2,3、m=−2,−1,0,1,2,3とした場
合である。また、図10〜図12は上記図9の例におけ
る本実施例の各捜索範囲を示している。すなわち、図1
0には捜索範囲SE(0) k を示し、図11には捜索範囲
SE(2) k とSE(2) k-v を示し、図12には捜索範囲
SE(1) k とSE(1) k-1 を示している。
【0091】この第3の実施例においては、残差途中結
果s(n,m) (n=−2〜3、m=−2〜3)のうち、残
差メモリ16にはn=−2,−1,0でm=−2,−
1,0の残差途中結果s(n,m) のデータを格納し、残差
メモリ26にはn=−2,−1,0でm=1,2,3の
データを、残差メモリ36にはn=1,2,3でm=−
2,−1,0のデータを、残差メモリ46にはn=1,
2,3でm=1,2,3の残差途中結果s(n,m) のデー
タを格納していく。したがって、各残差メモリの大きさ
は、3×3=Q×R/4ワードである。
果s(n,m) (n=−2〜3、m=−2〜3)のうち、残
差メモリ16にはn=−2,−1,0でm=−2,−
1,0の残差途中結果s(n,m) のデータを格納し、残差
メモリ26にはn=−2,−1,0でm=1,2,3の
データを、残差メモリ36にはn=1,2,3でm=−
2,−1,0のデータを、残差メモリ46にはn=1,
2,3でm=1,2,3の残差途中結果s(n,m) のデー
タを格納していく。したがって、各残差メモリの大きさ
は、3×3=Q×R/4ワードである。
【0092】更に、図13は上記図10〜図12に示し
た各捜索範囲SEを更に分割した様子を示している。す
なわち、図13では1つの捜索範囲SEを4つに分割し
ており、それぞれが左上領域seLUk と右上領域seRU
k と左下領域seLDk と右下領域seRDk とに分割して
いる。
た各捜索範囲SEを更に分割した様子を示している。す
なわち、図13では1つの捜索範囲SEを4つに分割し
ており、それぞれが左上領域seLUk と右上領域seRU
k と左下領域seLDk と右下領域seRDk とに分割して
いる。
【0093】上述のような各分割された捜索範囲を用
い、上記第3の実施例装置における各部の動作は、表2
に示すようなものとなる。
い、上記第3の実施例装置における各部の動作は、表2
に示すようなものとなる。
【0094】
【表2】
【0095】すなわち、この表2において、上記入力端
子1からのデータが左上領域seLUk 内のデータである
時、代表点メモリ12から読み出すデータは代表点P
(0) kのデータで加算器15とアクセスする残差メモリ
は残差メモリ16となり、代表点メモリ22から読み出
すデータは代表点P(1) k-1 のデータで加算器25とア
クセスする残差メモリは残差メモリ36となり、代表点
メモリ32から読み出すデータは代表点P(2) k-v のデ
ータで加算器35とアクセスする残差メモリは残差メモ
リ26となり、代表点メモリ42から読み出すデータは
代表点P(3) k-v-1のデータで加算器45とアクセスす
る残差メモリは残差メモリ46となる。以下同様に、上
記入力端子1からのデータが右上領域seRUk内のデー
タの時、代表点メモリ12からは代表点P(0) k のデー
タを読み出して加算器15と残差メモリ36がアクセス
し、代表点メモリ22から代表点P(1) k のデータを読
み出して加算器25と残差メモリ16がアクセスし、代
表点メモリ32から代表点P(2) k-v のデータを読み出
して加算器35と残差メモリ46がアクセスし、代表点
メモリ42から代表点P(3) k-v のデータを読み出して
加算器45と残差メモリ26がアクセスする。また、左
下領域seLDk 内のデータの時、代表点メモリ12から
は代表点P(0) k のデータを読み出して加算器15と残
差メモリ26がアクセスし、代表点メモリ22から代表
点P(1) k-1 のデータを読み出して加算器25と残差メ
モリ46がアクセスし、代表点メモリ32から代表点P
(2) k のデータを読み出して加算器35と残差メモリ1
6がアクセスし、代表点メモリ42から代表点P(3) k-
1 のデータを読み出して加算器45と残差メモリ36が
アクセスする。更に、右下領域seRDk 内のデータの
時、代表点メモリ12からは代表点P(0) k のデータを
読み出して加算器15と残差メモリ46がアクセスし、
代表点メモリ22から代表点P(1) k のデータを読み出
して加算器25と残差メモリ26がアクセスし、代表点
メモリ32から代表点P(2) k のデータを読み出して加
算器35と残差メモリ36がアクセスし、代表点メモリ
42から代表点P(3) k のデータを読み出して加算器4
5と残差メモリ16がアクセスする。
子1からのデータが左上領域seLUk 内のデータである
時、代表点メモリ12から読み出すデータは代表点P
(0) kのデータで加算器15とアクセスする残差メモリ
は残差メモリ16となり、代表点メモリ22から読み出
すデータは代表点P(1) k-1 のデータで加算器25とア
クセスする残差メモリは残差メモリ36となり、代表点
メモリ32から読み出すデータは代表点P(2) k-v のデ
ータで加算器35とアクセスする残差メモリは残差メモ
リ26となり、代表点メモリ42から読み出すデータは
代表点P(3) k-v-1のデータで加算器45とアクセスす
る残差メモリは残差メモリ46となる。以下同様に、上
記入力端子1からのデータが右上領域seRUk内のデー
タの時、代表点メモリ12からは代表点P(0) k のデー
タを読み出して加算器15と残差メモリ36がアクセス
し、代表点メモリ22から代表点P(1) k のデータを読
み出して加算器25と残差メモリ16がアクセスし、代
表点メモリ32から代表点P(2) k-v のデータを読み出
して加算器35と残差メモリ46がアクセスし、代表点
メモリ42から代表点P(3) k-v のデータを読み出して
加算器45と残差メモリ26がアクセスする。また、左
下領域seLDk 内のデータの時、代表点メモリ12から
は代表点P(0) k のデータを読み出して加算器15と残
差メモリ26がアクセスし、代表点メモリ22から代表
点P(1) k-1 のデータを読み出して加算器25と残差メ
モリ46がアクセスし、代表点メモリ32から代表点P
(2) k のデータを読み出して加算器35と残差メモリ1
6がアクセスし、代表点メモリ42から代表点P(3) k-
1 のデータを読み出して加算器45と残差メモリ36が
アクセスする。更に、右下領域seRDk 内のデータの
時、代表点メモリ12からは代表点P(0) k のデータを
読み出して加算器15と残差メモリ46がアクセスし、
代表点メモリ22から代表点P(1) k のデータを読み出
して加算器25と残差メモリ26がアクセスし、代表点
メモリ32から代表点P(2) k のデータを読み出して加
算器35と残差メモリ36がアクセスし、代表点メモリ
42から代表点P(3) k のデータを読み出して加算器4
5と残差メモリ16がアクセスする。
【0096】この第3の実施例装置において、上述の表
2のように各部を動作させて演算していくことにより、
現フィールドのデータが全て入力端子1から入力し終わ
った時点で、残差途中結果s(n,m) は残差S(n,m) とな
り、残差メモリ16にはn=−2,−1,0でm=−
2,−1,0の残差S(n,m) のデータが格納され、残差
メモリ26にはn=−2,−1,0でm=1,2,3の
残差S(n,m) のデータが、残差メモリ36にはn=1,
2,3でm=−2,−1,0の残差S(n,m) のデータ
が、残差メモリ46にはn=1,2,3でm=1,2,
3の残差S(n,m) のデータが格納されていることにな
る。
2のように各部を動作させて演算していくことにより、
現フィールドのデータが全て入力端子1から入力し終わ
った時点で、残差途中結果s(n,m) は残差S(n,m) とな
り、残差メモリ16にはn=−2,−1,0でm=−
2,−1,0の残差S(n,m) のデータが格納され、残差
メモリ26にはn=−2,−1,0でm=1,2,3の
残差S(n,m) のデータが、残差メモリ36にはn=1,
2,3でm=−2,−1,0の残差S(n,m) のデータ
が、残差メモリ46にはn=1,2,3でm=1,2,
3の残差S(n,m) のデータが格納されていることにな
る。
【0097】その後、各残差メモリ16,26,36,
46の残差S(n,m) のデータを比較器7に供給して前述
同様の比較を行い動きベクトルを出力端子9から出力す
ればよい。
46の残差S(n,m) のデータを比較器7に供給して前述
同様の比較を行い動きベクトルを出力端子9から出力す
ればよい。
【0098】また、各代表点メモリ及び残差メモリの書
込/読出及びアドレスや、残差メモリと加算器とのアク
セスの制御及び、各切換スイッチの切換制御は、前述同
様に制御回路85で行っている。
込/読出及びアドレスや、残差メモリと加算器とのアク
セスの制御及び、各切換スイッチの切換制御は、前述同
様に制御回路85で行っている。
【0099】本発明の動きベクトル検出装置は、図14
に示す第4の実施例のような構成をも取ることができ
る。
に示す第4の実施例のような構成をも取ることができ
る。
【0100】すなわち、この第4の実施例装置は、1フ
ィールド以上前の画像G-1のうちQ×R個の画素からな
る捜索範囲SEと同じ間隔で選ばれた代表点Pk のデー
タを保持する代表点メモリと、現フィールドの画素Ai,
j のデータが入力された時に当該現フィールドの画素A
i,j のデータと上記代表点メモリに格納されている上記
代表点Pk のデータとの差分絶対値を計算してベクトル
を求める差分絶対値計算回路とから構成される第1の演
算手段が1つ若しくは複数個設けられている。この第4
の実施例では第1の演算手段を4つ設けた例を示してお
り、したがって、当該4つの第1の演算手段は、代表点
メモリ121,122,221,222と、上記差分絶
対値化回路としての減算器131,132,231,2
32及び絶対値化器141,142,241,242と
からなっている。ここで、上記第1の演算手段のうち1
つは入力信号として入力端子1から供給される画素Ai,
jのデータを直接与え、上記第1の演算手段の残りのも
のには入力信号として上記入力端子1から供給される画
素Ai,j のデータが1つ若しくは複数の遅延素子(例え
ば1つのレジスタ110)を介した値を与えるようにな
されている。
ィールド以上前の画像G-1のうちQ×R個の画素からな
る捜索範囲SEと同じ間隔で選ばれた代表点Pk のデー
タを保持する代表点メモリと、現フィールドの画素Ai,
j のデータが入力された時に当該現フィールドの画素A
i,j のデータと上記代表点メモリに格納されている上記
代表点Pk のデータとの差分絶対値を計算してベクトル
を求める差分絶対値計算回路とから構成される第1の演
算手段が1つ若しくは複数個設けられている。この第4
の実施例では第1の演算手段を4つ設けた例を示してお
り、したがって、当該4つの第1の演算手段は、代表点
メモリ121,122,221,222と、上記差分絶
対値化回路としての減算器131,132,231,2
32及び絶対値化器141,142,241,242と
からなっている。ここで、上記第1の演算手段のうち1
つは入力信号として入力端子1から供給される画素Ai,
jのデータを直接与え、上記第1の演算手段の残りのも
のには入力信号として上記入力端子1から供給される画
素Ai,j のデータが1つ若しくは複数の遅延素子(例え
ば1つのレジスタ110)を介した値を与えるようにな
されている。
【0101】また、この第4の実施例装置には、上記第
1の演算手段と共に、上記第1の演算手段の出力を加算
する加算回路と、上記加算手段の出力を累積的に加算し
て上記ベクトル毎に残差を求める累積加算回路とからな
る第2の演算手段がN個設けられている。第4の実施例
では例えば第2の演算手段を2個設けた例を示してお
り、したがって、上記2個の第2の演算手段は、上記加
算回路としての加算器111,211と、上記累積加算
回路としての加算器15,25とからなっている。
1の演算手段と共に、上記第1の演算手段の出力を加算
する加算回路と、上記加算手段の出力を累積的に加算し
て上記ベクトル毎に残差を求める累積加算回路とからな
る第2の演算手段がN個設けられている。第4の実施例
では例えば第2の演算手段を2個設けた例を示してお
り、したがって、上記2個の第2の演算手段は、上記加
算回路としての加算器111,211と、上記累積加算
回路としての加算器15,25とからなっている。
【0102】更に、本実施例装置には、上記残差の累積
途中結果を各ベクトル毎に一時保持するN個のQ×R/
Nワードの残差メモリ(例えば2個の残差メモリ16,
26と、上記2個の残差メモリ16,26の出力を入力
として各ベクトルの残差のデータを比較して動きベクト
ルを求める比較器7と、上記代表点メモリ121,12
2,221,222と上記残差メモリ16,26の書込
/読出とアドレスの制御及び、いずれの上記加算器1
5,25といずれの残差メモリ16,26をアクセスす
るかの制御、更に各切換スイッチ63〜66の切り換え
を制御する制御回路85とを有し、上記2個の残差メモ
リ16,26の入出力をそれぞれ上記2個の各々の上記
加算器15,25の出入力にアクセスするようにしてい
る。
途中結果を各ベクトル毎に一時保持するN個のQ×R/
Nワードの残差メモリ(例えば2個の残差メモリ16,
26と、上記2個の残差メモリ16,26の出力を入力
として各ベクトルの残差のデータを比較して動きベクト
ルを求める比較器7と、上記代表点メモリ121,12
2,221,222と上記残差メモリ16,26の書込
/読出とアドレスの制御及び、いずれの上記加算器1
5,25といずれの残差メモリ16,26をアクセスす
るかの制御、更に各切換スイッチ63〜66の切り換え
を制御する制御回路85とを有し、上記2個の残差メモ
リ16,26の入出力をそれぞれ上記2個の各々の上記
加算器15,25の出入力にアクセスするようにしてい
る。
【0103】なお、この第4の実施例の図14における
各代表点メモリ121,122,221,222と減算
器131,132,231,232と絶対値化器14
1,142,241,242と加算器15,25と残差
メモリ16,26と比較器7及び制御回路85の基本動
作は、前述の各装置と同様のものである。
各代表点メモリ121,122,221,222と減算
器131,132,231,232と絶対値化器14
1,142,241,242と加算器15,25と残差
メモリ16,26と比較器7及び制御回路85の基本動
作は、前述の各装置と同様のものである。
【0104】すなわち、この第4の実施例においては、
代表点として図15に示すような代表点P1(0)k ,P
(0) k ,P1(1)k ,P(1) k (k=0,1,2,・・
・,vw−1)をとっている。これら代表点の総数は4
vwとなる。
代表点として図15に示すような代表点P1(0)k ,P
(0) k ,P1(1)k ,P(1) k (k=0,1,2,・・
・,vw−1)をとっている。これら代表点の総数は4
vwとなる。
【0105】図14において、入力端子1から1フィー
ルド前のデータが入力されてくる期間で、上記代表点メ
モリ121には上記代表点P(0) k のデータを格納し、
代表点メモリ122には上記代表点P1(0)k のデータ
を、代表点メモリ221には上記代表点P(1) k のデー
タを、代表点メモリ222には代表点P1(1)k のデータ
を格納する。
ルド前のデータが入力されてくる期間で、上記代表点メ
モリ121には上記代表点P(0) k のデータを格納し、
代表点メモリ122には上記代表点P1(0)k のデータ
を、代表点メモリ221には上記代表点P(1) k のデー
タを、代表点メモリ222には代表点P1(1)k のデータ
を格納する。
【0106】また、残差途中結果s(n,m) のうち、上記
残差メモリ16にはn≦0の残差途中結果のデータを格
納し、残差メモリ26にはn>0の残差途中結果のデー
タを格納していく。したがって、上記残差メモリ16,
26の大きさはそれぞれQ×R/2ワードとなる。
残差メモリ16にはn≦0の残差途中結果のデータを格
納し、残差メモリ26にはn>0の残差途中結果のデー
タを格納していく。したがって、上記残差メモリ16,
26の大きさはそれぞれQ×R/2ワードとなる。
【0107】更に、この第4の実施例においても、図1
6に示すように、捜索範囲SEを左領域seL k と右領
域seR k とに分割する。したがって、図16に示すよ
うに、上記左領域seL k 内の画素Ai,jと代表点P
(0) k との位置関係(x2 ,y1 )は、x2 ≦0であ
る。同様に、他の画素と代表点との位置関係について
も、一般化するとxi >0とxi ≦0に分かれている。
6に示すように、捜索範囲SEを左領域seL k と右領
域seR k とに分割する。したがって、図16に示すよ
うに、上記左領域seL k 内の画素Ai,jと代表点P
(0) k との位置関係(x2 ,y1 )は、x2 ≦0であ
る。同様に、他の画素と代表点との位置関係について
も、一般化するとxi >0とxi ≦0に分かれている。
【0108】ここで、入力端子1からの現フィールドの
データのうち上記左領域seL k 内の画素Ai,jのデー
タが入力されてきた場合について述べる。この時、レジ
スタ110の出力はその1画素左隣の画素Ai,j-1のデ
ータとなる。したがって、代表点メモリ121から代表
点P(0) k のデータを読み出し、代表点メモリ122か
ら代表点P1(0) kのデータを読み出すことにより、図1
6に示すように、減算器131及び絶対値化器141で
はベクトル(x2 ,y1 )の残差S(x2,y1) の部分項で
ある |Ai,j −P(0) k | (x2 ≦0) の数式の計算が行われ、また、減算器132と絶対値化
器142では図16に示すようにベクトル(x2 ,
y1 )の残差S(x2,y1) の部分項である |Ai,j-1 −P1(0) k| の数式の計算が行われる。
データのうち上記左領域seL k 内の画素Ai,jのデー
タが入力されてきた場合について述べる。この時、レジ
スタ110の出力はその1画素左隣の画素Ai,j-1のデ
ータとなる。したがって、代表点メモリ121から代表
点P(0) k のデータを読み出し、代表点メモリ122か
ら代表点P1(0) kのデータを読み出すことにより、図1
6に示すように、減算器131及び絶対値化器141で
はベクトル(x2 ,y1 )の残差S(x2,y1) の部分項で
ある |Ai,j −P(0) k | (x2 ≦0) の数式の計算が行われ、また、減算器132と絶対値化
器142では図16に示すようにベクトル(x2 ,
y1 )の残差S(x2,y1) の部分項である |Ai,j-1 −P1(0) k| の数式の計算が行われる。
【0109】また、加算器111では残差S(x2,y1) の
部分項である|Ai,j −P(0) k |と|Ai,j-1 −P
1(0) k|の数式での演算結果が更に加算され、加算器1
5に供給される。
部分項である|Ai,j −P(0) k |と|Ai,j-1 −P
1(0) k|の数式での演算結果が更に加算され、加算器1
5に供給される。
【0110】次に、上記加算器111の出力である
|Ai,j −P(0) k |+|Ai,j-1 −P1(0) k|
の演算結果と、例えば残差メモリ16に格納されていた
残差途中結果s(x2,y1)(x2 ≦0)のデータとを読み
出して加算器15で加算し、残差メモリ16の同じ番地
にオーバーライトする(更新する)。
残差途中結果s(x2,y1)(x2 ≦0)のデータとを読み
出して加算器15で加算し、残差メモリ16の同じ番地
にオーバーライトする(更新する)。
【0111】同様に、代表点メモリ221から代表点P
(1) k のデータを読み出し、代表点メモリ222から代
表点P1(1)k のデータを読み出して、減算器231及び
絶対値化器241と、減算器232及び絶対値化器24
2と、加算器211とで、残さS(x1,y1) の部分項であ
る |Ai,j −P(1) k-1 |+|Ai,j-1 −P1(1) k-1| の数式の計算を行い、残差メモリ26に格納されていた
残差途中結果s(x1,y1)(x1 >0)のデータを読み出
し、加算器211の出力を加算器25で加算して、上記
残差メモリ26の同じ番地にオーバーライトする。
(1) k のデータを読み出し、代表点メモリ222から代
表点P1(1)k のデータを読み出して、減算器231及び
絶対値化器241と、減算器232及び絶対値化器24
2と、加算器211とで、残さS(x1,y1) の部分項であ
る |Ai,j −P(1) k-1 |+|Ai,j-1 −P1(1) k-1| の数式の計算を行い、残差メモリ26に格納されていた
残差途中結果s(x1,y1)(x1 >0)のデータを読み出
し、加算器211の出力を加算器25で加算して、上記
残差メモリ26の同じ番地にオーバーライトする。
【0112】以上、左領域seL k 内の画素Ai,j のデ
ータが入力されてきた場合について述べたが、右領域s
eR k 内の画素A1i,jのデータが入力端子1から入力さ
れてきた時には、上記代表点メモリ121,減算器13
1,絶対値化器141と代表点メモリ122,減算器1
32,絶対値化器141及び加算器111を用いて、残
差S(x3,y2) の部分項である |A1i,j−P(0) k |+|A1i,j-1−P1(0) k| の数式の演算を行い、例えば上記残差メモリ26に格納
されていた残差途中結果s(x3,y2) (x3 >0)のデー
タを読み出し、加算器111の出力を加算器15で加算
した後、残差メモリ26の同じ番地にオーバーライトす
る。
ータが入力されてきた場合について述べたが、右領域s
eR k 内の画素A1i,jのデータが入力端子1から入力さ
れてきた時には、上記代表点メモリ121,減算器13
1,絶対値化器141と代表点メモリ122,減算器1
32,絶対値化器141及び加算器111を用いて、残
差S(x3,y2) の部分項である |A1i,j−P(0) k |+|A1i,j-1−P1(0) k| の数式の演算を行い、例えば上記残差メモリ26に格納
されていた残差途中結果s(x3,y2) (x3 >0)のデー
タを読み出し、加算器111の出力を加算器15で加算
した後、残差メモリ26の同じ番地にオーバーライトす
る。
【0113】同時に、代表点メモリ222,減算器23
1,絶対値化器241と、代表点メモリ222,減算器
232,絶対値化器242と、加算器211とを用い
て、残差S(x4,y2) の部分項である |A1i,j−P(1) k |+|A1i,j-1−P1(1) k| の数式の演算を行い、例えば上記残差メモリ16に格納
されていた残差途中結果s(x4,y2) (x4 ≦0)のデー
タを読み出し、上記加算器211の出力を加算器25で
加算した後、残差メモリ16の同じ番地にオーバーライ
トする。
1,絶対値化器241と、代表点メモリ222,減算器
232,絶対値化器242と、加算器211とを用い
て、残差S(x4,y2) の部分項である |A1i,j−P(1) k |+|A1i,j-1−P1(1) k| の数式の演算を行い、例えば上記残差メモリ16に格納
されていた残差途中結果s(x4,y2) (x4 ≦0)のデー
タを読み出し、上記加算器211の出力を加算器25で
加算した後、残差メモリ16の同じ番地にオーバーライ
トする。
【0114】上述のようにして演算を行っていくことに
より、現フィールドのデータが全て上記入力端子1から
入力し終わった時点で、残差途中結果s(n,m) は、数5
の数式で示すようになり、残差メモリ16には残差S
(n,m) のうちn≦0のデータが格納され、残差メモリ2
6には残差S(n,m) のうちn>0のデータが格納されて
いることになる。
より、現フィールドのデータが全て上記入力端子1から
入力し終わった時点で、残差途中結果s(n,m) は、数5
の数式で示すようになり、残差メモリ16には残差S
(n,m) のうちn≦0のデータが格納され、残差メモリ2
6には残差S(n,m) のうちn>0のデータが格納されて
いることになる。
【0115】
【数5】
【0116】ただし、この数5において、画素AI,J-1
は代表点P1(0)k に対して(n,m)の位置にあり、画
素AI,J は代表点P(0) k に対して(n,m)の位置
に、同じく画素A1I,J-1は代表点P1(1)k に対して
(n,m)の位置に、画素A1I,Jは代表点P(1) k に対
して(n,m)の位置にある。
は代表点P1(0)k に対して(n,m)の位置にあり、画
素AI,J は代表点P(0) k に対して(n,m)の位置
に、同じく画素A1I,J-1は代表点P1(1)k に対して
(n,m)の位置に、画素A1I,Jは代表点P(1) k に対
して(n,m)の位置にある。
【0117】この後、残差メモリ16及び26から上記
残差S(n,m) のデータを読み出して、比較器7を介して
出力端子9から出力する。なお、各メモリ等は前述同様
に制御回路85により制御される。
残差S(n,m) のデータを読み出して、比較器7を介して
出力端子9から出力する。なお、各メモリ等は前述同様
に制御回路85により制御される。
【0118】また、Q=6,R=5(n=−2〜3,m
=−2〜2)の時、図17に示すような各代表点をと
り、前述した図1の回路で演算を行うようにすることも
可能である。なお、図18,図19には、代表点を図1
7のようにとった場合の各捜索範囲を示している。
=−2〜2)の時、図17に示すような各代表点をと
り、前述した図1の回路で演算を行うようにすることも
可能である。なお、図18,図19には、代表点を図1
7のようにとった場合の各捜索範囲を示している。
【0119】この時も、前述の図2,図3のと同様、図
20に示すように、各捜索範囲SEにおいて、左領域s
eL k と右領域seR k とを決め、代表点メモリ12に
は代表点P(0) k のデータを格納し、代表点メモリ22
には代表点P(1) k のデータを格納し、残差メモリ16
には残差途中結果s(n,m) (n=−2,−1,0、m=
−2〜2)のデータを格納し、残差メモリ26には残差
途中結果s(n,m) (n=1,2,3、m=−2〜2)の
データを格納していく。
20に示すように、各捜索範囲SEにおいて、左領域s
eL k と右領域seR k とを決め、代表点メモリ12に
は代表点P(0) k のデータを格納し、代表点メモリ22
には代表点P(1) k のデータを格納し、残差メモリ16
には残差途中結果s(n,m) (n=−2,−1,0、m=
−2〜2)のデータを格納し、残差メモリ26には残差
途中結果s(n,m) (n=1,2,3、m=−2〜2)の
データを格納していく。
【0120】そして、現フィールドで上記左領域seL
k 内のデータが入力端子1から入力されてきた時には、
代表点メモリ12から代表点P(0) k のデータを読み出
し、減算器13,絶対値化器14により入力データと該
代表点P(0) k のデータとの差分絶対値を計算(|(入
力データ)−P(0) k |)し、加算器15は残差メモリ
16とアクセスして、残差途中結果s(n,m) に絶対値化
器14の出力を累加算する。
k 内のデータが入力端子1から入力されてきた時には、
代表点メモリ12から代表点P(0) k のデータを読み出
し、減算器13,絶対値化器14により入力データと該
代表点P(0) k のデータとの差分絶対値を計算(|(入
力データ)−P(0) k |)し、加算器15は残差メモリ
16とアクセスして、残差途中結果s(n,m) に絶対値化
器14の出力を累加算する。
【0121】またこれと同時に、代表点メモリ22から
代表点P(1) k-1 又はP(1) k+v -1のデータを読み出
し、減算器23及び絶対値化器24でこれらの差分絶対
値を計算(|(入力データ)−P(1) k-1 |又は|(入
力データ)−P(1) k+v-1 |)し、加算器25は残差メ
モリ26とアクセスして、残差途中結果に上記絶対値化
器24の出力を累加算する。
代表点P(1) k-1 又はP(1) k+v -1のデータを読み出
し、減算器23及び絶対値化器24でこれらの差分絶対
値を計算(|(入力データ)−P(1) k-1 |又は|(入
力データ)−P(1) k+v-1 |)し、加算器25は残差メ
モリ26とアクセスして、残差途中結果に上記絶対値化
器24の出力を累加算する。
【0122】更に、現フィールドで上記右領域seR k
内のデータが入力端子1から入力されてきた時には、上
記代表点メモリ12から代表点上記P(0) k のデータを
読み出し、上記減算器13及び上記絶対値化器24で入
力データとの差分絶対値を計算(|(入力データ)−P
(0) k |)し、加算器15は残差メモリ26とアクセス
して、残差途中結果に上記絶対値化器14の出力を累加
算する。
内のデータが入力端子1から入力されてきた時には、上
記代表点メモリ12から代表点上記P(0) k のデータを
読み出し、上記減算器13及び上記絶対値化器24で入
力データとの差分絶対値を計算(|(入力データ)−P
(0) k |)し、加算器15は残差メモリ26とアクセス
して、残差途中結果に上記絶対値化器14の出力を累加
算する。
【0123】また、これと同時に、代表点メモリ22か
ら代表点P(1) k 又はP(1) k+v のデータを読み出し、
上記減算器23及び絶対値化器24でこれらの差分絶対
値を計算(|(入力データ)−P(1) k |又は|(入力
データ)−P(1) k+v |)し、加算器25は残差メモリ
16とアクセスして、残差途中結果に上記絶対値化器2
4の出力を累加算する。
ら代表点P(1) k 又はP(1) k+v のデータを読み出し、
上記減算器23及び絶対値化器24でこれらの差分絶対
値を計算(|(入力データ)−P(1) k |又は|(入力
データ)−P(1) k+v |)し、加算器25は残差メモリ
16とアクセスして、残差途中結果に上記絶対値化器2
4の出力を累加算する。
【0124】上述のように演算していくことにより、残
差S(n,m) が計算でき、最後に比較器7で動きベクトル
を求める。
差S(n,m) が計算でき、最後に比較器7で動きベクトル
を求める。
【0125】上述したように、本発明の第1〜第4の各
実施例装置においては、捜索範囲SEの横方向(Q)を
q(整数)で割った間隔と、捜索範囲SEの縦方向
(R)をr(整数)で割った間隔とで、代表点を選んで
いき、残差メモリとしてQ×R/q×rワード(Q×R
/Nワード)の大きさのものをq×r個(N個)設ける
ことにより、現フィールドの各データが入力されてきた
時、必ず、1つの残差メモリについて1ワードしかアク
セスしないようにすることができ、従来例に比べて代表
点数がq×r倍(N倍)となって、誤動作の少ない動き
ベクトル検出が可能となっている。
実施例装置においては、捜索範囲SEの横方向(Q)を
q(整数)で割った間隔と、捜索範囲SEの縦方向
(R)をr(整数)で割った間隔とで、代表点を選んで
いき、残差メモリとしてQ×R/q×rワード(Q×R
/Nワード)の大きさのものをq×r個(N個)設ける
ことにより、現フィールドの各データが入力されてきた
時、必ず、1つの残差メモリについて1ワードしかアク
セスしないようにすることができ、従来例に比べて代表
点数がq×r倍(N倍)となって、誤動作の少ない動き
ベクトル検出が可能となっている。
【0126】更に、本発明の第1〜第4の各実施例にお
いては、各代表点同士を近接した位置としていないた
め、例えば、代表点が全て画面の右半分(或いは左等)
に偏るようなことがなく、1画面全体から一様に代表点
を選ぶことができ、動きベクトルの誤判定を起こし難く
なっている。
いては、各代表点同士を近接した位置としていないた
め、例えば、代表点が全て画面の右半分(或いは左等)
に偏るようなことがなく、1画面全体から一様に代表点
を選ぶことができ、動きベクトルの誤判定を起こし難く
なっている。
【0127】また、前述した各実施例装置において、例
えば、図1の第1の実施例装置では、各減算器13,絶
対値化器14,加算器15と減算器23,絶対値化器2
4,加算器25の代わりに、1つの減算器,1つの絶対
値化器及び1つの加算器を用いて、データレートに対し
て2倍の速さで動作させて時分割多重処理を行うように
することも可能である。他の実施例も同様である。
えば、図1の第1の実施例装置では、各減算器13,絶
対値化器14,加算器15と減算器23,絶対値化器2
4,加算器25の代わりに、1つの減算器,1つの絶対
値化器及び1つの加算器を用いて、データレートに対し
て2倍の速さで動作させて時分割多重処理を行うように
することも可能である。他の実施例も同様である。
【0128】また、動きベクトルを求める方法として
は、上述した第1〜第4の実施例のような1画面全体に
対して残差を計算して動きベクトルを求める方法以外
に、次のような求め方もある。すなわち、画面を複数ブ
ロックに分割して、各ブロック毎に、上記残差を計算す
る方法である。
は、上述した第1〜第4の実施例のような1画面全体に
対して残差を計算して動きベクトルを求める方法以外
に、次のような求め方もある。すなわち、画面を複数ブ
ロックに分割して、各ブロック毎に、上記残差を計算す
る方法である。
【0129】本発明においては、ブロック毎の動きベク
トル検出を行うための構成として図21に示すような第
5の実施例の動きベクトル検出装置を用いている。な
お、この図21において前述した図1と同様の構成要素
には同一の指示符号を付している。また、この図21の
各残差メモリ161,261,162,262や切換ス
イッチ63〜68,72,73の基本的動作も前述同様
である。
トル検出を行うための構成として図21に示すような第
5の実施例の動きベクトル検出装置を用いている。な
お、この図21において前述した図1と同様の構成要素
には同一の指示符号を付している。また、この図21の
各残差メモリ161,261,162,262や切換ス
イッチ63〜68,72,73の基本的動作も前述同様
である。
【0130】この図21に示す第5の実施例の動きベク
トル検出装置は、1フィールドの画像のデータを複数ブ
ロックbに分割し1フィールド以上前の画像G-1のうち
Q×R個の画素からなる捜索範囲SEと同じ間隔で選ば
れた代表点Pk のデータを保持する代表点メモリと、現
フィールドの画素Ai,j のデータが入力された時に当該
現フィールドのデータと上記代表点メモリに格納されて
いる上記代表点のデータとの差分絶対値を計算してベク
トルを求める減算器及び絶対値化器とからなる差分絶対
値計算回路と、上記差分絶対値計算回路の出力を累積的
に加算して上記各ブロックbの上記各ベクトル毎に残差
を求める累積加算回路とからなる演算手段がN個設けら
れている。本実施例では演算手段を2個設けた例を示し
ており、したがって、一方の演算手段は代表点メモリ1
2,減算器13,絶対値化器14と、累加算回路として
の加算器15とで構成され、他方の演算手段は代表点メ
モリ22,減算器23,絶対値化器24と、累加算回路
の加算器25とで構成されている。
トル検出装置は、1フィールドの画像のデータを複数ブ
ロックbに分割し1フィールド以上前の画像G-1のうち
Q×R個の画素からなる捜索範囲SEと同じ間隔で選ば
れた代表点Pk のデータを保持する代表点メモリと、現
フィールドの画素Ai,j のデータが入力された時に当該
現フィールドのデータと上記代表点メモリに格納されて
いる上記代表点のデータとの差分絶対値を計算してベク
トルを求める減算器及び絶対値化器とからなる差分絶対
値計算回路と、上記差分絶対値計算回路の出力を累積的
に加算して上記各ブロックbの上記各ベクトル毎に残差
を求める累積加算回路とからなる演算手段がN個設けら
れている。本実施例では演算手段を2個設けた例を示し
ており、したがって、一方の演算手段は代表点メモリ1
2,減算器13,絶対値化器14と、累加算回路として
の加算器15とで構成され、他方の演算手段は代表点メ
モリ22,減算器23,絶対値化器24と、累加算回路
の加算器25とで構成されている。
【0131】また、本実施例装置には、上記残差の累積
演算途中結果を上記各ブロックbの各ベクトル毎に一時
保持する複数(例えば4個)のQ×R/Nワードの残差
メモリ161,261,162,262と、上記4個の
残差メモリの出力を入力として各ベクトルの残差のデー
タを比較して動きベクトルを求める比較器7と、上記比
較器7の出力を入力とし各ブロック毎の動きベクトルの
データに基づいて真の動きベクトルを判断する判断回路
8と、上記各代表点メモリ及び上記各残差メモリの書込
/読出とアクセスの制御及び、いずれの上記累積加算回
路といずれの残差メモリをアクセスするかの制御、更に
各切換スイッチの切り換えを制御する制御回路85とを
有し、上記残差メモリの全ての入出力をそれぞれ上記N
個の各々の累積加算回路の出入力にアクセスするように
したものである。
演算途中結果を上記各ブロックbの各ベクトル毎に一時
保持する複数(例えば4個)のQ×R/Nワードの残差
メモリ161,261,162,262と、上記4個の
残差メモリの出力を入力として各ベクトルの残差のデー
タを比較して動きベクトルを求める比較器7と、上記比
較器7の出力を入力とし各ブロック毎の動きベクトルの
データに基づいて真の動きベクトルを判断する判断回路
8と、上記各代表点メモリ及び上記各残差メモリの書込
/読出とアクセスの制御及び、いずれの上記累積加算回
路といずれの残差メモリをアクセスするかの制御、更に
各切換スイッチの切り換えを制御する制御回路85とを
有し、上記残差メモリの全ての入出力をそれぞれ上記N
個の各々の累積加算回路の出入力にアクセスするように
したものである。
【0132】本実施例では、1画面を複数ブロックbに
分割しているが、説明の簡略化のため図22に示すよう
に、第1〜第4の4つのブロックb[1]〜b[4] に分割
した例について以下に述べる。
分割しているが、説明の簡略化のため図22に示すよう
に、第1〜第4の4つのブロックb[1]〜b[4] に分割
した例について以下に述べる。
【0133】ここで、捜索範囲SEをQ×Rとする。図
22に示す代表点P(0) k ,P(1) k (k=0,1,
2,・・・,vw−1)が1フィールド前に入力端子1
から入力されてきた時、代表点メモリ12には上記代表
点P(0) k のデータを格納し、代表点メモリ22には上
記代表点P(1) k のデータを格納する。
22に示す代表点P(0) k ,P(1) k (k=0,1,
2,・・・,vw−1)が1フィールド前に入力端子1
から入力されてきた時、代表点メモリ12には上記代表
点P(0) k のデータを格納し、代表点メモリ22には上
記代表点P(1) k のデータを格納する。
【0134】この代表点P(0) k ,P(1) k の総数は2
vw個となる。ただし、v≒1フィールドの横方向の画
素数/Qで、w≒1フィールドの縦方向の画素数/Rで
ある。
vw個となる。ただし、v≒1フィールドの横方向の画
素数/Qで、w≒1フィールドの縦方向の画素数/Rで
ある。
【0135】現フィールドのデータの一部を図23示
す。この図23では、捜索範囲SEでとり得るベクトル
(n,m)をn=−2〜3、m=−2〜2としており、
更にこの捜索範囲SEを左領域seL k と右領域seR
k とに分割している。また、第22を見てわかるよう
に、代表点P(0) k 及び代表点P(1) k は、共に上記Q
×R間隔の位置にあるので、前述同様に代表点P(0) k
同士及び代表点P(1) k 同士の捜索範囲SEが重なるこ
とはない。
す。この図23では、捜索範囲SEでとり得るベクトル
(n,m)をn=−2〜3、m=−2〜2としており、
更にこの捜索範囲SEを左領域seL k と右領域seR
k とに分割している。また、第22を見てわかるよう
に、代表点P(0) k 及び代表点P(1) k は、共に上記Q
×R間隔の位置にあるので、前述同様に代表点P(0) k
同士及び代表点P(1) k 同士の捜索範囲SEが重なるこ
とはない。
【0136】ここで、現フィールドの画素をAi,j とす
ると、任意の第Bブロックb[B] のベクトル(n,m)
[B] における残差S(n,m) [B] は、代表点が上記P(0)
k [B] ,P(1) k [B] (k=0,1,2,・・・,vw
−1)であるため、数6に示す数式で表すことができ
る。
ると、任意の第Bブロックb[B] のベクトル(n,m)
[B] における残差S(n,m) [B] は、代表点が上記P(0)
k [B] ,P(1) k [B] (k=0,1,2,・・・,vw
−1)であるため、数6に示す数式で表すことができ
る。
【0137】
【数6】
【0138】ただし、この数6の数式において、k∈
{k|P(0) k∈第Bブロック}で、第Bブロックb
[B] の画素AI,J [B] と代表点P(0) k [B] の位置関係
はベクトル(n,m)[B] 、画素A1I,J[B] と代表点P
(1) k [B] の位置関係はベクトル(n,m)[B] とす
る。
{k|P(0) k∈第Bブロック}で、第Bブロックb
[B] の画素AI,J [B] と代表点P(0) k [B] の位置関係
はベクトル(n,m)[B] 、画素A1I,J[B] と代表点P
(1) k [B] の位置関係はベクトル(n,m)[B] とす
る。
【0139】また、Q=6,R=5(n=−2〜3、m
=−2〜2)としているので、上記残差S(n,m)
[B] は、各ブロックbについてそれぞれ6×5=30個
ある。このうち各ブロックbについて残差S(n,m)[B]
が最小となるベクトル(nmim ,mmin )[B] を求め
る。
=−2〜2)としているので、上記残差S(n,m)
[B] は、各ブロックbについてそれぞれ6×5=30個
ある。このうち各ブロックbについて残差S(n,m)[B]
が最小となるベクトル(nmim ,mmin )[B] を求め
る。
【0140】本実施例では、上記図23に示すように、
代表点P(0) k に対する捜索範囲SEのうち左半分を左
領域seL k とし、右半分を右領域seR k としてい
る。したがって、上記代表点P(0) k に対する捜索範囲
は左領域seL k +右領域seR k となり、上記代表点
P(1) k に対する捜索範囲は左領域seL k+1 +右領域
seR k となる。
代表点P(0) k に対する捜索範囲SEのうち左半分を左
領域seL k とし、右半分を右領域seR k としてい
る。したがって、上記代表点P(0) k に対する捜索範囲
は左領域seL k +右領域seR k となり、上記代表点
P(1) k に対する捜索範囲は左領域seL k+1 +右領域
seR k となる。
【0141】ここで、現フィールドのデータのうち第
1,第2のブロックb[1] ,b[2] のデータが入力端子
1から図22に示す時刻T0 〜T1 の区間に入力されて
くるとする。この区間を利用して第1,第2のブロック
b[1] ,b[2] の動きベクトルを求めるわけであるが、
これについて以下で詳しく説明する。
1,第2のブロックb[1] ,b[2] のデータが入力端子
1から図22に示す時刻T0 〜T1 の区間に入力されて
くるとする。この区間を利用して第1,第2のブロック
b[1] ,b[2] の動きベクトルを求めるわけであるが、
これについて以下で詳しく説明する。
【0142】まず、図23に示す現フィールドのデータ
(画素Ai,j のデータ)が入力してきた時を考える。た
だし、図23の代表点P(0) k は、第1のブロックb
[1] 内の点とする(代表点P(0) k [1] )。
(画素Ai,j のデータ)が入力してきた時を考える。た
だし、図23の代表点P(0) k は、第1のブロックb
[1] 内の点とする(代表点P(0) k [1] )。
【0143】代表点メモリ12から代表点P(0) k [1]
のデータを読み出し、減算器13及び絶対値化器14で |Ai,j [1] −P(0) k [1] | の数式の演算を行う。ここで、上記画素Ai,j [1] と代
表点P(0) k [1] の位置関係は、図23に示すように、
例えば、ベクトル(n,m)=(−1,−1)であるた
め、上記|Ai,j [1] −P(0) k |の数式の結果は、残
差S(-1,-1) [1] の部分項である。
のデータを読み出し、減算器13及び絶対値化器14で |Ai,j [1] −P(0) k [1] | の数式の演算を行う。ここで、上記画素Ai,j [1] と代
表点P(0) k [1] の位置関係は、図23に示すように、
例えば、ベクトル(n,m)=(−1,−1)であるた
め、上記|Ai,j [1] −P(0) k |の数式の結果は、残
差S(-1,-1) [1] の部分項である。
【0144】上記第1のブロックb[1] のベクトル(−
1,−1)に対応する残差途中結果s(-1,-1) [1] のデ
ータを、残差メモリ161から読み出し、加算器15で s(-1,-1) [1] +|Ai,j [1] −P(0) k [1] | の数式の計算を行う。この加算器15の出力を新しく残
差途中結果s(-1,-1) [1] とおき、残差メモリ161の
古い残差途中結果s(-1,-1) [1] の格納していた番地
に、この新しい残差途中結果s(-1,-1) [1] のデータを
オーバーライトする。
1,−1)に対応する残差途中結果s(-1,-1) [1] のデ
ータを、残差メモリ161から読み出し、加算器15で s(-1,-1) [1] +|Ai,j [1] −P(0) k [1] | の数式の計算を行う。この加算器15の出力を新しく残
差途中結果s(-1,-1) [1] とおき、残差メモリ161の
古い残差途中結果s(-1,-1) [1] の格納していた番地
に、この新しい残差途中結果s(-1,-1) [1] のデータを
オーバーライトする。
【0145】また、これと同時に、代表点メモリ22か
ら代表点P(1) k-1 [1] のデータを読み出し、減算器2
3及び絶対値化器24で、 |Ai,j [1] −P(1) k-1 [1] | の数式に示す計算を行う。ここで、画素Ai,j [1] と代
表点P(1) k-1 [1] の位置関係は、図23に示すよう
に、例えば、ベクトル(n,m)=(2,−1)である
ため|Ai,j [1] −P(1) k-1 [1] |の数式の結果は、
残差S(2,-1) [1]の部分項である。
ら代表点P(1) k-1 [1] のデータを読み出し、減算器2
3及び絶対値化器24で、 |Ai,j [1] −P(1) k-1 [1] | の数式に示す計算を行う。ここで、画素Ai,j [1] と代
表点P(1) k-1 [1] の位置関係は、図23に示すよう
に、例えば、ベクトル(n,m)=(2,−1)である
ため|Ai,j [1] −P(1) k-1 [1] |の数式の結果は、
残差S(2,-1) [1]の部分項である。
【0146】上記第1のブロックb[1] の(2,−1)
に対応する残差途中結果s(2,-1) [1]のデータを、残差
メモリ261から読み出し、加算器25で s(2,-1) [1]+|Ai,j [1] −P(1) k-1 [1] | の数式の計算を行う。この加算器25の出力を新しく残
差途中結果s(2,-1) [1]とおき、残差メモリ261の古
い残差途中結果s(2,-1) [1]のデータを格納していた番
地に、この新しい残差途中結果s(2,-1) [1]のデータを
オーバーライトする。
に対応する残差途中結果s(2,-1) [1]のデータを、残差
メモリ261から読み出し、加算器25で s(2,-1) [1]+|Ai,j [1] −P(1) k-1 [1] | の数式の計算を行う。この加算器25の出力を新しく残
差途中結果s(2,-1) [1]とおき、残差メモリ261の古
い残差途中結果s(2,-1) [1]のデータを格納していた番
地に、この新しい残差途中結果s(2,-1) [1]のデータを
オーバーライトする。
【0147】次に、図23に示すように、画素A1i,j
[1]が入力端子1から入力されてきた時の図21の動作
について以下に述べる。代表点メモリ12から代表点P
(0) k [1] のデータを読み出し、減算器13及び絶対値
化器14で残差S(1,2) [1] の部分項である |A1i,j [1]−P(0) k [1] | を計算する、残差メモリ261から残差途中結果s(1,
2) [1] のデータを読み出し、加算器15で、 s(1,2) [1] +|A1i,j[1] −P(0) k [1] | を計算し、この加算器15の出力を新しく残差中結果s
(1,2) [1] とおき、残差メモリ261の古い残差途中結
果s(1,2) [1] のデータを格納してした番地にオーバー
ライトする。
[1]が入力端子1から入力されてきた時の図21の動作
について以下に述べる。代表点メモリ12から代表点P
(0) k [1] のデータを読み出し、減算器13及び絶対値
化器14で残差S(1,2) [1] の部分項である |A1i,j [1]−P(0) k [1] | を計算する、残差メモリ261から残差途中結果s(1,
2) [1] のデータを読み出し、加算器15で、 s(1,2) [1] +|A1i,j[1] −P(0) k [1] | を計算し、この加算器15の出力を新しく残差中結果s
(1,2) [1] とおき、残差メモリ261の古い残差途中結
果s(1,2) [1] のデータを格納してした番地にオーバー
ライトする。
【0148】また、これと同時に、代表点メモリ22か
ら代表点P(1) k [1] のデータを読み出し、減算器23
及び絶対値化器24で残差S(-2,2) [1]の部分項である |A1i,j[1] −P(1) k [1] | の計算を行う。残差メモリ161から残差途中結果s(-
2,2) [1]を読み出し加算器25で s(-2,2) [1]+|A1i,j [1]−P(1) k [1] | を計算し、この加算器25の出力を新しく残差途中結果
s(-2,2) [1]とおき、残差メモリ161の古い残差途中
結果s(-2,2)[1]のデータを格納していた番地にオーバ
ーライトする。
ら代表点P(1) k [1] のデータを読み出し、減算器23
及び絶対値化器24で残差S(-2,2) [1]の部分項である |A1i,j[1] −P(1) k [1] | の計算を行う。残差メモリ161から残差途中結果s(-
2,2) [1]を読み出し加算器25で s(-2,2) [1]+|A1i,j [1]−P(1) k [1] | を計算し、この加算器25の出力を新しく残差途中結果
s(-2,2) [1]とおき、残差メモリ161の古い残差途中
結果s(-2,2)[1]のデータを格納していた番地にオーバ
ーライトする。
【0149】上述のように、残差メモリ161には第1
ブロックb[1]の残差途中結果s(n,m) [1] (n=−
2,−1,0、m=−2,−1,0,1,2)のデータ
を格納し、残差メモリ261には残差途中結果s(n,m)
[1] (n=1,2,3、m=−2,−1,0,1,2)
のデータを格納していく。
ブロックb[1]の残差途中結果s(n,m) [1] (n=−
2,−1,0、m=−2,−1,0,1,2)のデータ
を格納し、残差メモリ261には残差途中結果s(n,m)
[1] (n=1,2,3、m=−2,−1,0,1,2)
のデータを格納していく。
【0150】そして、入力端子1から現フィールドのデ
ータのうち上記第1ブロックb[1] の左領域seL k
[1] 内のデータが入力されてきたときには、その入力デ
ータは代表点P(0) k [1] に対して(L,M)(L=−
2又は−1又は0、M=−2又は−1又は0又は1又は
2)であり、この時、代表点メモリ12から代表点P
(0) k [1] のデータを読み出し、残差S(L,M) [1] の部
分項である |(入力データ) [1] −P(0) k [1]| を計算し、残差メモリ161から残差途中結果s(L,M)
[1] のデータを読み出し、加算器15で s(L,M) [1] +|(入力データ)[1] −P(0) k [1] | を計算し、これを新しく残差途中結果s(L,M) [1] とお
き、残差メモリ161の古い残差途中結果s(L,M) [1]
のデータを格納していた番地にオーバーライトする。
ータのうち上記第1ブロックb[1] の左領域seL k
[1] 内のデータが入力されてきたときには、その入力デ
ータは代表点P(0) k [1] に対して(L,M)(L=−
2又は−1又は0、M=−2又は−1又は0又は1又は
2)であり、この時、代表点メモリ12から代表点P
(0) k [1] のデータを読み出し、残差S(L,M) [1] の部
分項である |(入力データ) [1] −P(0) k [1]| を計算し、残差メモリ161から残差途中結果s(L,M)
[1] のデータを読み出し、加算器15で s(L,M) [1] +|(入力データ)[1] −P(0) k [1] | を計算し、これを新しく残差途中結果s(L,M) [1] とお
き、残差メモリ161の古い残差途中結果s(L,M) [1]
のデータを格納していた番地にオーバーライトする。
【0151】また、これと同時に、上記入力データは、
代表点P(1) k-1 [1] に対して(L1 ,M)(L1 =L
+3=1又は2又は3)であるから、代表点メモリ22
から代表点P(1) k-1 [1] のデータを読み出し、残差S
(L1,M) [1]の部分項である |(入力データ) [1] −P(1) k-1 [1] | を計算し、残差メモリ261から残差途中結果s(L1,M)
[1]のデータを読み出し、加算器25で s(L1,M) [1]+|(入力データ) [1]−P(1) k-1 [1]
| を計算し、これを新しく残差途中結果s(L1,M) [1]とお
き、上記残差メモリ261の古い残差途中結果s(L1,M)
[1]のデータを格納していた番地にオーバーライトす
る。
代表点P(1) k-1 [1] に対して(L1 ,M)(L1 =L
+3=1又は2又は3)であるから、代表点メモリ22
から代表点P(1) k-1 [1] のデータを読み出し、残差S
(L1,M) [1]の部分項である |(入力データ) [1] −P(1) k-1 [1] | を計算し、残差メモリ261から残差途中結果s(L1,M)
[1]のデータを読み出し、加算器25で s(L1,M) [1]+|(入力データ) [1]−P(1) k-1 [1]
| を計算し、これを新しく残差途中結果s(L1,M) [1]とお
き、上記残差メモリ261の古い残差途中結果s(L1,M)
[1]のデータを格納していた番地にオーバーライトす
る。
【0152】以上は、第1のブロックb[1] の左領域s
eLk [1] 内のデータが入力されてきた場合であるが、
右領域seR k [1] 内のデータが入力されてきた時に
は、その入力データは、代表点P(0) k [1] に対して
(L2 ,M1 )(L2 =1又は2又は3、M1 =−2又
は−1又は0又は1又は2)であるから、代表点メモリ
12,減算器13,絶対値化器14により残差S(L2,
M1) [1] の部分項である |(入力データ)[1] −P(0) k [1] | を計算し、残差メモリ261から残差途中結果s(L2,
M1) [1] と加算器15で加算し、残差メモリ261にオ
ーバーライトする。
eLk [1] 内のデータが入力されてきた場合であるが、
右領域seR k [1] 内のデータが入力されてきた時に
は、その入力データは、代表点P(0) k [1] に対して
(L2 ,M1 )(L2 =1又は2又は3、M1 =−2又
は−1又は0又は1又は2)であるから、代表点メモリ
12,減算器13,絶対値化器14により残差S(L2,
M1) [1] の部分項である |(入力データ)[1] −P(0) k [1] | を計算し、残差メモリ261から残差途中結果s(L2,
M1) [1] と加算器15で加算し、残差メモリ261にオ
ーバーライトする。
【0153】また、これと同時に、上記入力データは、
代表点P(1) k [1] に対して(L3 ,M1 )(L3 =L
2 −3=−2又は−1又は0)であるから、代表点メモ
リ22,減算器23,絶対値化器24により残差S(L3,
M1) [1] の部分項である |(入力データ)[1] −P(1) k [1] | を計算し、この演算結果と残差メモリ161からの残差
途中結果s(L3,M1) [1] のデータとを加算器25で加算
し、残差メモリ161にオーバーライトする。
代表点P(1) k [1] に対して(L3 ,M1 )(L3 =L
2 −3=−2又は−1又は0)であるから、代表点メモ
リ22,減算器23,絶対値化器24により残差S(L3,
M1) [1] の部分項である |(入力データ)[1] −P(1) k [1] | を計算し、この演算結果と残差メモリ161からの残差
途中結果s(L3,M1) [1] のデータとを加算器25で加算
し、残差メモリ161にオーバーライトする。
【0154】 以上、代表点P(0) k ∈第1ブロックb
[1] の時の左領域seL k [1] ,右領域seR k [1] 内
のデータが入力されてきた場合について、残差メモリ1
61,261を用いて差分絶対値を累積していけば良い
ことを述べた。同様に、代表点P(0) k ∈第2ブロック
b[2] の時も残差メモリ161,261を用いて差分絶
対値を累積していけばよい。
[1] の時の左領域seL k [1] ,右領域seR k [1] 内
のデータが入力されてきた場合について、残差メモリ1
61,261を用いて差分絶対値を累積していけば良い
ことを述べた。同様に、代表点P(0) k ∈第2ブロック
b[2] の時も残差メモリ161,261を用いて差分絶
対値を累積していけばよい。
【0155】すなわち、残差メモリ162には第2ブロ
ックb[2] の残差途中結果s(n,m) [2] (n=−2,−
1,0、m=−2,−1,0,1,2)のデータを格納
し、残差メモリ261には、残差途中結果s(n,m) [2]
(n=1,2,3、m=−2,−1,0,1,2)のデ
ータを格納していく。
ックb[2] の残差途中結果s(n,m) [2] (n=−2,−
1,0、m=−2,−1,0,1,2)のデータを格納
し、残差メモリ261には、残差途中結果s(n,m) [2]
(n=1,2,3、m=−2,−1,0,1,2)のデ
ータを格納していく。
【0156】そして、入力端子1から現フィールドのデ
ータのうち第2のブロックb[2] の左領域seL k [2]
のデータが入力されてきた時には、その入力データは、
代表値P(0) k [2] に対して(L,M)(L=−2又は
−1又は0、M=−2又は−1又は0又は1又は2)で
あり、代表点メモリ12から代表点P(0) k[2] のデー
タを読み出し、残差S(L,M) [2] の部分項である |(入力データ)[2] −P(0) k [2] | を計算し、残差メモリ162から残差途中結果残差s
(L,M) [2]のデータを読み出し、加算器15で s(L,M) [2] +|(入力データ)[2] −P(0) k [2] | を計算し、これを新しく残差途中結果s(L,M) [2] とお
き、残差メモリ162の古い残差途中結果s(L,M) [2]
のデータを格納していた番地にオーバーライトする。
ータのうち第2のブロックb[2] の左領域seL k [2]
のデータが入力されてきた時には、その入力データは、
代表値P(0) k [2] に対して(L,M)(L=−2又は
−1又は0、M=−2又は−1又は0又は1又は2)で
あり、代表点メモリ12から代表点P(0) k[2] のデー
タを読み出し、残差S(L,M) [2] の部分項である |(入力データ)[2] −P(0) k [2] | を計算し、残差メモリ162から残差途中結果残差s
(L,M) [2]のデータを読み出し、加算器15で s(L,M) [2] +|(入力データ)[2] −P(0) k [2] | を計算し、これを新しく残差途中結果s(L,M) [2] とお
き、残差メモリ162の古い残差途中結果s(L,M) [2]
のデータを格納していた番地にオーバーライトする。
【0157】また、これと同時に、入力データは、代表
点P(1) k-1 [2] に対して(L1 ,M)(L1 =L+3
=1又は2又は3)であるため、代表点メモリ22から
代表点P(1) k-1 [2] のデータを読み出し、残差S(L1,
M) [2]の部分項である |(入力データ)[2] −P(1) k-1 [2] | を計算し、残差メモリ261から残差途中結果s(L1,M)
[2]のデータを読み出し、加算器25で s(L1,M) [2]+|(入力データ)[2] −P(1) k-1 [2] | を計算し、これを新しく残差途中結果s(L1,M) [2]とお
き、残差メモリ262の古い残差途中結果s(L1,M) [2]
のデータを格納していた番地にオーバーライトする。
点P(1) k-1 [2] に対して(L1 ,M)(L1 =L+3
=1又は2又は3)であるため、代表点メモリ22から
代表点P(1) k-1 [2] のデータを読み出し、残差S(L1,
M) [2]の部分項である |(入力データ)[2] −P(1) k-1 [2] | を計算し、残差メモリ261から残差途中結果s(L1,M)
[2]のデータを読み出し、加算器25で s(L1,M) [2]+|(入力データ)[2] −P(1) k-1 [2] | を計算し、これを新しく残差途中結果s(L1,M) [2]とお
き、残差メモリ262の古い残差途中結果s(L1,M) [2]
のデータを格納していた番地にオーバーライトする。
【0158】以上、代表点P(0) k ∈第2ブロックb
[2] の時の左領域seL k [2] 内のデータが入力された
場合だが、右領域seR k [2] 内のデータが入力されて
きた場合については、その入力データは、代表点P(0)
k [2] に対して(L2 ,M1 )(L2 =1又は2又は
3、M1 =−2又は−1又は0又は1又は2)であるた
め、代表点メモリ12,減算器13,絶対値化器14に
より、残差S(L2,M1) [2] の部分項である |(入力データ)[2] −P(0) k [2] | を計算し、残差メモリ262から残差途中結果s(L2,
M1) [2] のデータを読み出し、加算器25で加算し、残
差メモリ262にオーバーライトする。
[2] の時の左領域seL k [2] 内のデータが入力された
場合だが、右領域seR k [2] 内のデータが入力されて
きた場合については、その入力データは、代表点P(0)
k [2] に対して(L2 ,M1 )(L2 =1又は2又は
3、M1 =−2又は−1又は0又は1又は2)であるた
め、代表点メモリ12,減算器13,絶対値化器14に
より、残差S(L2,M1) [2] の部分項である |(入力データ)[2] −P(0) k [2] | を計算し、残差メモリ262から残差途中結果s(L2,
M1) [2] のデータを読み出し、加算器25で加算し、残
差メモリ262にオーバーライトする。
【0159】また、これと同時に、入力データは、代表
点P(1) k [2] に対して(L3 ,M1 )(L3 =L2 −
3=−2又は−1又は0)であるため、代表点メモリ2
2,減算器23,絶対値化器24により、残差S(L3,
M1) [2] の部分項である |(入力データ)[2] −P(1) k [2] | を計算し、残差メモリ162から残差途中結果s(L3,
M1) [2] のデータを読み出し、加算器25で加算し、残
差メモリ162にオーバーライトする。
点P(1) k [2] に対して(L3 ,M1 )(L3 =L2 −
3=−2又は−1又は0)であるため、代表点メモリ2
2,減算器23,絶対値化器24により、残差S(L3,
M1) [2] の部分項である |(入力データ)[2] −P(1) k [2] | を計算し、残差メモリ162から残差途中結果s(L3,
M1) [2] のデータを読み出し、加算器25で加算し、残
差メモリ162にオーバーライトする。
【0160】上述のように演算していくと、現フィール
ドのデータのうち第1,第2のブロックb[1] ,b[2]
の全データが入力し終わる時刻T1 において、各残差メ
モリ内に格納されている残差途中結果s(n,m) [1] ,s
(n,m) [2] は、それぞれ残差S(n,m) [1] ,S(n,m)
[2] となり、したがって、残差メモリ161には第1ブ
ロックb[1] の残差S(n,m) [1] (n=−2,−1,
0、m=−2,−1,0,1,2)が格納され、残差メ
モリ261には第1ブロックb[1] の残差S(n,m) [1]
(n=1,2,3、m=−2,−1,0,1,2)が格
納され、残差メモリ162には第2ブロックb[2] の残
差S(n,m) [2] (n=−2,−1,0、m=−2,−
1,0,1,2)が格納され、残差メモリ262には第
1ブロックb[2] の残差S(n,m) [2] (n=1,2,
3、m=−2,−1,0,1,2)が格納されているこ
とになる。
ドのデータのうち第1,第2のブロックb[1] ,b[2]
の全データが入力し終わる時刻T1 において、各残差メ
モリ内に格納されている残差途中結果s(n,m) [1] ,s
(n,m) [2] は、それぞれ残差S(n,m) [1] ,S(n,m)
[2] となり、したがって、残差メモリ161には第1ブ
ロックb[1] の残差S(n,m) [1] (n=−2,−1,
0、m=−2,−1,0,1,2)が格納され、残差メ
モリ261には第1ブロックb[1] の残差S(n,m) [1]
(n=1,2,3、m=−2,−1,0,1,2)が格
納され、残差メモリ162には第2ブロックb[2] の残
差S(n,m) [2] (n=−2,−1,0、m=−2,−
1,0,1,2)が格納され、残差メモリ262には第
1ブロックb[2] の残差S(n,m) [2] (n=1,2,
3、m=−2,−1,0,1,2)が格納されているこ
とになる。
【0161】その後、残差メモリ161,261から全
ての残差S(n,m)[1] を読み出し、比較器7に供給して
最小となるベクトル(nmin ,mmin )[1] を出力す
る。次に残差メモリ162,262から全ての残差S
(n,m) [2] を読み出し、比較器7に供給して最小となる
ベクトル(nmin ,mmin )[2] を出力する。
ての残差S(n,m)[1] を読み出し、比較器7に供給して
最小となるベクトル(nmin ,mmin )[1] を出力す
る。次に残差メモリ162,262から全ての残差S
(n,m) [2] を読み出し、比較器7に供給して最小となる
ベクトル(nmin ,mmin )[2] を出力する。
【0162】ここで、時刻T1 〜T2 において、上述同
様に、残差メモリ161には第3ブロックb[3] の残差
途中結果s(n,m) [3] (n=−2,−1,0、m=−
2,−1,0,1,2)が格納され、残差メモリ261
には第3ブロックb[3] の残差途中結果s(n,m)
[3] (n=1,2,3、m=−2,−1,0,1,2)
が格納され、残差メモリ162には第4ブロックb[4]
の残差途中結果s(n,m) [4] (n=−2,−1,0、m
=−2,−1,0,1,2)が格納され、残差メモリ2
62には第4ブロックb[4] の残差途中結果s (n,m)
[4](n=1,2,3、m=−2,−1,0,1,2)
が格納されていることになる。
様に、残差メモリ161には第3ブロックb[3] の残差
途中結果s(n,m) [3] (n=−2,−1,0、m=−
2,−1,0,1,2)が格納され、残差メモリ261
には第3ブロックb[3] の残差途中結果s(n,m)
[3] (n=1,2,3、m=−2,−1,0,1,2)
が格納され、残差メモリ162には第4ブロックb[4]
の残差途中結果s(n,m) [4] (n=−2,−1,0、m
=−2,−1,0,1,2)が格納され、残差メモリ2
62には第4ブロックb[4] の残差途中結果s (n,m)
[4](n=1,2,3、m=−2,−1,0,1,2)
が格納されていることになる。
【0163】このように格納することで、時刻T2 にお
いて、第3,第4ブロックb[3] ,b[4] の残差S(n,
m) [3] ,S (n,m) [4]が計算され、動きベクトル(n
min ,mmin )[3] ,(nmin ,mmin )[4] が得
られる。
いて、第3,第4ブロックb[3] ,b[4] の残差S(n,
m) [3] ,S (n,m) [4]が計算され、動きベクトル(n
min ,mmin )[3] ,(nmin ,mmin )[4] が得
られる。
【0164】上記比較器7の出力は、更に判断回路8に
送られる。当該判断回路8は、例えば、以下に述べる第
1〜第3の条件に応じて判断を行うものである。例え
ば、第1の条件として、第1〜第4のブロックb[1] 〜
b[4] から得られた動きベクトル(nmin ,mmin )
[1] 〜(nmin ,mmin )[4] が全て等しい場合にはそ
のベクトルを真の動きベクトルとして出力する。また第
2の条件として、1つのブロックの動きベクトルのみが
他の3つのブロックの動きベクトルと違う時は3つの
(動きベクトルが同一の)ブロックの動きベクトルを真
の動きベクトルとして出力する。更に、第3の条件とし
て、これら以外の時は動きベクトル検出不可能とするか
或いはブロックに重要度(重み係数)を付加してその重
み係数で判別する。
送られる。当該判断回路8は、例えば、以下に述べる第
1〜第3の条件に応じて判断を行うものである。例え
ば、第1の条件として、第1〜第4のブロックb[1] 〜
b[4] から得られた動きベクトル(nmin ,mmin )
[1] 〜(nmin ,mmin )[4] が全て等しい場合にはそ
のベクトルを真の動きベクトルとして出力する。また第
2の条件として、1つのブロックの動きベクトルのみが
他の3つのブロックの動きベクトルと違う時は3つの
(動きベクトルが同一の)ブロックの動きベクトルを真
の動きベクトルとして出力する。更に、第3の条件とし
て、これら以外の時は動きベクトル検出不可能とするか
或いはブロックに重要度(重み係数)を付加してその重
み係数で判別する。
【0165】また、この第5の実施例の図21において
も、各メモリ等は制御回路85により制御される。更
に、この第5の実施例においては、例えば残差メモリ1
61,162の代わりに、Q×Rワードの残差メモリ1
個を用いてもよい。これは、全ての時刻において残差メ
モリ161と162のどちらか一方は、必ずアクセスし
ていないためである。残差メモリ261と262と間に
おいても同様にすることが可能である。
も、各メモリ等は制御回路85により制御される。更
に、この第5の実施例においては、例えば残差メモリ1
61,162の代わりに、Q×Rワードの残差メモリ1
個を用いてもよい。これは、全ての時刻において残差メ
モリ161と162のどちらか一方は、必ずアクセスし
ていないためである。残差メモリ261と262と間に
おいても同様にすることが可能である。
【0166】また、Q=6,R=5(n=−2〜3、m
=−2〜2)のとき前述した図17〜図20に示したよ
うに代表点及び捜索範囲等をとり、図21の回路で演算
することも可能である。
=−2〜2)のとき前述した図17〜図20に示したよ
うに代表点及び捜索範囲等をとり、図21の回路で演算
することも可能である。
【0167】この時も、前述の図20同様に、各ブロッ
クb[1] 〜b[4] においてそれぞれ左領域seL k 及び
右領域seR k を決め、代表点メモリ12には各ブロッ
クb[1] 〜b[4] の代表点P(0) k のデータを格納し、
代表点メモリ22には代表点P(1) k のデータを格納す
る。例えば、残差メモリ161には第1ブロックb[1]
の残差途中結果s(n,m) [1] (n=−2,−1,0、m
=−2,−1,0,1,2)又は第3ブロックb[3] の
残差途中結果s(n,m) [3] (n=−2,−1,0、m=
−2,−1,0,1,2)のデータを格納し、残差メモ
リ261には第1ブロックb[1] の残差途中結果s(n,
m) [1] (n=1,2,3、m=−2,−1,0,1,
2)又は第3ブロックb[3] の残差途中結果s(n,m)
[3] (n=−2,−1,0、m=−2,−1,0,1,
2)のデータを格納し、残差メモリ162には第2ブロ
ックb[2] の残差途中結果s(n,m) [2] (n=−2,−
1,0、m=−2,−1,0,1,2)又は第4ブロッ
クb[4] の残差途中結果s(n,m) [4] (n=−2,−
1,0、m=−2,−1,0,1,2)のデータを格納
し、残差メモリ262には第2ブロックb[2] の残差途
中結果s(n,m) [2] (n=1,2,3、m=−2,−
1,0,1,2)又は第4ブロックb[4] の残差途中結
果s(n,m) [4] (n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納していく。
クb[1] 〜b[4] においてそれぞれ左領域seL k 及び
右領域seR k を決め、代表点メモリ12には各ブロッ
クb[1] 〜b[4] の代表点P(0) k のデータを格納し、
代表点メモリ22には代表点P(1) k のデータを格納す
る。例えば、残差メモリ161には第1ブロックb[1]
の残差途中結果s(n,m) [1] (n=−2,−1,0、m
=−2,−1,0,1,2)又は第3ブロックb[3] の
残差途中結果s(n,m) [3] (n=−2,−1,0、m=
−2,−1,0,1,2)のデータを格納し、残差メモ
リ261には第1ブロックb[1] の残差途中結果s(n,
m) [1] (n=1,2,3、m=−2,−1,0,1,
2)又は第3ブロックb[3] の残差途中結果s(n,m)
[3] (n=−2,−1,0、m=−2,−1,0,1,
2)のデータを格納し、残差メモリ162には第2ブロ
ックb[2] の残差途中結果s(n,m) [2] (n=−2,−
1,0、m=−2,−1,0,1,2)又は第4ブロッ
クb[4] の残差途中結果s(n,m) [4] (n=−2,−
1,0、m=−2,−1,0,1,2)のデータを格納
し、残差メモリ262には第2ブロックb[2] の残差途
中結果s(n,m) [2] (n=1,2,3、m=−2,−
1,0,1,2)又は第4ブロックb[4] の残差途中結
果s(n,m) [4] (n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納していく。
【0168】例えば、第1ブロックb[1] の左領域se
L k [1] 内の現フィールドのデータが入力端子1から入
力されてきた時は、代表点メモリ12から代表点P(0)
k [1] のデータを読み出し、減算器13,絶対値化器1
4で |(入力データ)[1] −P(0) k [1] | を計算し、残差メモリ161と加算器15はアクセスし
て残差メモリ161の残差途中結果を更新する。
L k [1] 内の現フィールドのデータが入力端子1から入
力されてきた時は、代表点メモリ12から代表点P(0)
k [1] のデータを読み出し、減算器13,絶対値化器1
4で |(入力データ)[1] −P(0) k [1] | を計算し、残差メモリ161と加算器15はアクセスし
て残差メモリ161の残差途中結果を更新する。
【0169】同時に、代表点メモリ22から代表点P
(1) k-1 [1] 又はP(1) k+v-1 [1] のデータを読み出
し、減算器23,絶対値化器24で |(入力データ)[1] −P(1) k-1 [1] | 又は、 |(入力データ)[1] −P(1) k+v-1 [1] | の計算を行い、残差メモリ261と加算器25はアクセ
スして残差メモリ261の残差途中結果を更新すればよ
い。
(1) k-1 [1] 又はP(1) k+v-1 [1] のデータを読み出
し、減算器23,絶対値化器24で |(入力データ)[1] −P(1) k-1 [1] | 又は、 |(入力データ)[1] −P(1) k+v-1 [1] | の計算を行い、残差メモリ261と加算器25はアクセ
スして残差メモリ261の残差途中結果を更新すればよ
い。
【0170】他のブロックにおいても同様であるため省
略する。上述のようなことから、前記図17のように代
表点をとっても、図21の装置で演算を行うことができ
る。
略する。上述のようなことから、前記図17のように代
表点をとっても、図21の装置で演算を行うことができ
る。
【0171】また、本実施例においては、上記第3の条
件の判断処理の代わりに、上記第1,第2の条件以外の
時は、第4の条件として、ブロック単位ではなく、画面
全体に対して動きベクトルを求めるようにすることも可
能である。すなわち、前述の第1の実施例のような方法
を用いる。
件の判断処理の代わりに、上記第1,第2の条件以外の
時は、第4の条件として、ブロック単位ではなく、画面
全体に対して動きベクトルを求めるようにすることも可
能である。すなわち、前述の第1の実施例のような方法
を用いる。
【0172】ただし、この場合は、上記第4の条件を考
慮して、各ブロック以外に画面全体に対する動きベクト
ルも求めておかなくてはならない。したがって、図21
において更に加算器を2個(例えば加算器A1 及びA2
と呼ぶ)と、Q×R/2ワードの減算メモリを2個(残
差メモリM1 及びM2 と呼ぶ)用いて、絶対値化器14
の出力を加算器A1 の一方の入力端子に入力し、絶対値
化器24の出力を加算器A2 の一方の入力端子に入力
し、それぞれの他方の入力端子を残差メモリM1 ,M2
の何れかの出力でもアクセスできる様にし、また、加算
器A1 ,A2 のそれぞれの出力を残差メモリM1 ,M2
のどちらの入力でもアクセスできるようにする。更に、
第1,第3のブロックb[1] ,b[3] の残差途中結果の
データを残差メモリ161,261に一時保持し、第
2,第4のブロックb[2] ,b[4] の残差途中結果のデ
ータを残差メモリ162,262に一時保持していくの
と同じように、1画面全体に対する残差途中結果のデー
タを上記残差メモリM1 ,M2 で一時保持して、加算器
A1 ,A2 を用いて累積していけばよい。
慮して、各ブロック以外に画面全体に対する動きベクト
ルも求めておかなくてはならない。したがって、図21
において更に加算器を2個(例えば加算器A1 及びA2
と呼ぶ)と、Q×R/2ワードの減算メモリを2個(残
差メモリM1 及びM2 と呼ぶ)用いて、絶対値化器14
の出力を加算器A1 の一方の入力端子に入力し、絶対値
化器24の出力を加算器A2 の一方の入力端子に入力
し、それぞれの他方の入力端子を残差メモリM1 ,M2
の何れかの出力でもアクセスできる様にし、また、加算
器A1 ,A2 のそれぞれの出力を残差メモリM1 ,M2
のどちらの入力でもアクセスできるようにする。更に、
第1,第3のブロックb[1] ,b[3] の残差途中結果の
データを残差メモリ161,261に一時保持し、第
2,第4のブロックb[2] ,b[4] の残差途中結果のデ
ータを残差メモリ162,262に一時保持していくの
と同じように、1画面全体に対する残差途中結果のデー
タを上記残差メモリM1 ,M2 で一時保持して、加算器
A1 ,A2 を用いて累積していけばよい。
【0173】これにより、図22の時刻T2 において、
画面全体に対する残差が残差メモリM1 ,M2 に格納さ
れている事になり、比較器7で第3,第4ブロックb
[3] ,b[4] の動きベクトル(nmin ,mmin )[3] ,
(nmin ,mmin )[4] を計算し終わった後に、残差メ
モリM1 ,M2 内に納められているデータを、比較器7
に入力して画面全体に対する動きベクトルを当該比較器
7で計算すればよい。
画面全体に対する残差が残差メモリM1 ,M2 に格納さ
れている事になり、比較器7で第3,第4ブロックb
[3] ,b[4] の動きベクトル(nmin ,mmin )[3] ,
(nmin ,mmin )[4] を計算し終わった後に、残差メ
モリM1 ,M2 内に納められているデータを、比較器7
に入力して画面全体に対する動きベクトルを当該比較器
7で計算すればよい。
【0174】この比較器7の出力は、前記判断回路8に
入力され、真の動きベクトルの判断がなされる。
入力され、真の動きベクトルの判断がなされる。
【0175】おな、動画像圧縮を行う動画像圧縮装置に
本発明実施例を適用する場合、各ブロック毎に動きベク
トルを求め、各ブロック毎に動きベクトル分ずらした画
像の差分をとることにより、データ量を減らすことを行
うことになるが、その場合、本発明実施例(第5の実施
例)の各ブロックの動きベクトル(比較器7の出力)を
使用することができる。
本発明実施例を適用する場合、各ブロック毎に動きベク
トルを求め、各ブロック毎に動きベクトル分ずらした画
像の差分をとることにより、データ量を減らすことを行
うことになるが、その場合、本発明実施例(第5の実施
例)の各ブロックの動きベクトル(比較器7の出力)を
使用することができる。
【0176】また、本実施例においては、画面を分割し
て得られるブロックは上述の4つには限定されない。
て得られるブロックは上述の4つには限定されない。
【0177】更に、本実施例では、代表点間隔の横方向
をQ/2間隔としているが、Q/q(qは整数)に拡張
できる。また、2次元的にすなわち代表点間隔を横Q/
q、縦R/r(rは整数)として選んでいく場合にも、
拡張することができる。
をQ/2間隔としているが、Q/q(qは整数)に拡張
できる。また、2次元的にすなわち代表点間隔を横Q/
q、縦R/r(rは整数)として選んでいく場合にも、
拡張することができる。
【0178】また更に、図21において、減算器13,
絶対値化器14,加算器15及び減算器23,絶対値化
器24,加算器15の代わりに、1つの減算器,1つの
絶対値化器,1つの加算器とし、データレートに対して
2倍の速度で動作させて時分割多重処理を行うようにす
ることも可能である。
絶対値化器14,加算器15及び減算器23,絶対値化
器24,加算器15の代わりに、1つの減算器,1つの
絶対値化器,1つの加算器とし、データレートに対して
2倍の速度で動作させて時分割多重処理を行うようにす
ることも可能である。
【0179】本発明は、第6の実施例に示すようなもの
とすることも可能である。図24にこの第6の実施例装
置の構成を示す。
とすることも可能である。図24にこの第6の実施例装
置の構成を示す。
【0180】この第6の実施例の動きベクトル検出装置
は、1フィールドの画像データを複数のブロックbに分
割し1フィールド以上前の画像G-1のうちQ×R個の画
素からなる捜索範囲SEと同じ間隔で選ばれた代表点P
k のデータを保持する代表点メモリと、現フィールドの
画素Ai,j のデータが入力された時に当該現フィールド
のデータと上記代表点メモリに格納されている上記代表
点Pk のデータとの差分絶対値を計算してベクトルを求
める減算器及び絶対値化器とからなる差分絶対値計算回
路とから構成される第1の演算手段を1つ若しくは複数
個設けている。ここで、第6の実施例においては、第1
の演算手段を4つ設けた例を示しており、したがって、
この第1の演算手段は、代表点メモリ121,減算器1
31,絶対値化器141と、代表点メモリ122,減算
器132,絶対値化器142と、代表点メモリ221,
減算器231,絶対値化器241と、代表点メモリ22
2,減算器232,絶対値化器242とから構成され
る。ここで、上記第1の演算手段のうち1つは入力信号
として入力端子1から供給される画像データの値を直接
与え、上記第1の演算手段の残りのものには入力信号と
して上記入力端子1から供給される画像データが1つ若
しくは複数の遅延素子(本実施例では1つのレジスタ1
10)を介した値を与えるようになっている。本実施例
では、レジスタ110を介したデータが、上記代表点メ
モリ122,減算器132,絶対値化器142と代表点
メモリ222,減算器232,絶対値化器242の第1
の演算手段に送られるようになっている。
は、1フィールドの画像データを複数のブロックbに分
割し1フィールド以上前の画像G-1のうちQ×R個の画
素からなる捜索範囲SEと同じ間隔で選ばれた代表点P
k のデータを保持する代表点メモリと、現フィールドの
画素Ai,j のデータが入力された時に当該現フィールド
のデータと上記代表点メモリに格納されている上記代表
点Pk のデータとの差分絶対値を計算してベクトルを求
める減算器及び絶対値化器とからなる差分絶対値計算回
路とから構成される第1の演算手段を1つ若しくは複数
個設けている。ここで、第6の実施例においては、第1
の演算手段を4つ設けた例を示しており、したがって、
この第1の演算手段は、代表点メモリ121,減算器1
31,絶対値化器141と、代表点メモリ122,減算
器132,絶対値化器142と、代表点メモリ221,
減算器231,絶対値化器241と、代表点メモリ22
2,減算器232,絶対値化器242とから構成され
る。ここで、上記第1の演算手段のうち1つは入力信号
として入力端子1から供給される画像データの値を直接
与え、上記第1の演算手段の残りのものには入力信号と
して上記入力端子1から供給される画像データが1つ若
しくは複数の遅延素子(本実施例では1つのレジスタ1
10)を介した値を与えるようになっている。本実施例
では、レジスタ110を介したデータが、上記代表点メ
モリ122,減算器132,絶対値化器142と代表点
メモリ222,減算器232,絶対値化器242の第1
の演算手段に送られるようになっている。
【0181】また、本実施例装置には、上記第1の演算
手段の出力を加算する加算回路と、上記加算回路の出力
を累積的に加算して上記ブロックbの上記ベクトル毎に
残差を求める累積加算回路とからなる第2の演算手段を
複数個設けている。本実施例では上記第2の演算手段
は、上記加算回路として2つの加算器111及び211
と、累積加算回路として2つの加算器15及び25とか
らなっている。
手段の出力を加算する加算回路と、上記加算回路の出力
を累積的に加算して上記ブロックbの上記ベクトル毎に
残差を求める累積加算回路とからなる第2の演算手段を
複数個設けている。本実施例では上記第2の演算手段
は、上記加算回路として2つの加算器111及び211
と、累積加算回路として2つの加算器15及び25とか
らなっている。
【0182】更に、上記残差の累積途中結果を上記各ブ
ロックbの各ベクトル毎に一時保持する複数(例えば4
個)のQ×R/Nワードの残差メモリ161,261,
162,262と、上記4個の残差メモリの出力を入力
として各ベクトルの残差データを比較して動きベクトル
を求める比較器7と、上記比較器7の出力を入力とし真
の動きベクトルを判断する判断回路8と、上記代表点メ
モリと上記残差メモリの書込/読出とアクセスの制御及
び、いずれの上記累積加算回路といずれの残差メモリを
アクセスするかの制御、更に各切換スイッチ63〜6
8,72,73の切り換えを制御する制御回路85とを
有し、上記4個の残差メモリの入出力をそれぞれ上記4
個の各々の上記累積加算回路の出入力にアクセスするよ
うにしている。
ロックbの各ベクトル毎に一時保持する複数(例えば4
個)のQ×R/Nワードの残差メモリ161,261,
162,262と、上記4個の残差メモリの出力を入力
として各ベクトルの残差データを比較して動きベクトル
を求める比較器7と、上記比較器7の出力を入力とし真
の動きベクトルを判断する判断回路8と、上記代表点メ
モリと上記残差メモリの書込/読出とアクセスの制御及
び、いずれの上記累積加算回路といずれの残差メモリを
アクセスするかの制御、更に各切換スイッチ63〜6
8,72,73の切り換えを制御する制御回路85とを
有し、上記4個の残差メモリの入出力をそれぞれ上記4
個の各々の上記累積加算回路の出入力にアクセスするよ
うにしている。
【0183】なお、この図24の装置においても、各構
成要素は前述した各実施例の対応する各構成要素と基本
動作は同じものである。
成要素は前述した各実施例の対応する各構成要素と基本
動作は同じものである。
【0184】この第6の実施例においては、代表点とし
て図25に示すように、代表点P1(0)k ,P(0) k ,P
1(1)k,P(1) k (k=0,1,2,3,・・・,vw
−1)をとる。これら代表点の数は4vw個となる。
て図25に示すように、代表点P1(0)k ,P(0) k ,P
1(1)k,P(1) k (k=0,1,2,3,・・・,vw
−1)をとる。これら代表点の数は4vw個となる。
【0185】入力端子1から1フィールド前のデータが
入力されてくる期間で、代表点メモリ121に代表点P
(0) k のデータを格納し、代表点メモリ122に代表点
P1(0)k のデータを、代表点メモリ221に代表点P
(1) k のデータを、代表点メモリ222に代表点P1(1)
k のデータを格納する。
入力されてくる期間で、代表点メモリ121に代表点P
(0) k のデータを格納し、代表点メモリ122に代表点
P1(0)k のデータを、代表点メモリ221に代表点P
(1) k のデータを、代表点メモリ222に代表点P1(1)
k のデータを格納する。
【0186】また、本実施例でも1画面を4つのブロッ
クb[1] 〜b[4] に分割しており、残差メモリ161に
は時刻T0 〜T1 の第1ブロックb[1] の残差途中結果
s(n,m) [1](n≧0)のデータ或いは時刻T1 〜T2
の第3ブロックb[3] の残差途中結果s (n,m) [3](n
≧0)のデータを格納していき、残差メモリ261には
時刻T0 〜T1 の第1ブロックb[1] の残差途中結果s
(n,m) [1](n>0)のデータ或いは時刻T1 〜T2 の
第3ブロックb[3] の残差途中結果s (n,m) [3](n>
0)のデータを格納していき、残差メモリ162には時
刻T0 〜T1 の第2ブロックb[2] の残差途中結果s
(n,m) [2](n≧0)のデータ或いは時刻T1 〜T2 の
第4ブロックb[4] の残差途中結果s (n,m) [4](n≧
0)のデータを格納していき、残差メモリ262には時
刻T0 〜T1 の第2ブロックb[2] の残差途中結果s
(n,m) [2](n>0)のデータ或いは時刻T1 〜T2 の
第4ブロックb[4] の残差途中結果s (n,m) [4](n>
0)のデータを格納していく。なお、このため各代表点
メモリはそれぞれQ×R/2ワードの大きさとなる。
クb[1] 〜b[4] に分割しており、残差メモリ161に
は時刻T0 〜T1 の第1ブロックb[1] の残差途中結果
s(n,m) [1](n≧0)のデータ或いは時刻T1 〜T2
の第3ブロックb[3] の残差途中結果s (n,m) [3](n
≧0)のデータを格納していき、残差メモリ261には
時刻T0 〜T1 の第1ブロックb[1] の残差途中結果s
(n,m) [1](n>0)のデータ或いは時刻T1 〜T2 の
第3ブロックb[3] の残差途中結果s (n,m) [3](n>
0)のデータを格納していき、残差メモリ162には時
刻T0 〜T1 の第2ブロックb[2] の残差途中結果s
(n,m) [2](n≧0)のデータ或いは時刻T1 〜T2 の
第4ブロックb[4] の残差途中結果s (n,m) [4](n≧
0)のデータを格納していき、残差メモリ262には時
刻T0 〜T1 の第2ブロックb[2] の残差途中結果s
(n,m) [2](n>0)のデータ或いは時刻T1 〜T2 の
第4ブロックb[4] の残差途中結果s (n,m) [4](n>
0)のデータを格納していく。なお、このため各代表点
メモリはそれぞれQ×R/2ワードの大きさとなる。
【0187】更に、前述の図16に示すように、現フィ
ールドのデータを左領域seL k と右領域seR k とに
分割する。したがって、上記左領域seL k 内の画素A
i,jと代表点P(0) k の位置関係(x2 ,y1 )は、x
2 ≦0である。他の位置巻回についても、前述同様であ
る。
ールドのデータを左領域seL k と右領域seR k とに
分割する。したがって、上記左領域seL k 内の画素A
i,jと代表点P(0) k の位置関係(x2 ,y1 )は、x
2 ≦0である。他の位置巻回についても、前述同様であ
る。
【0188】ここで、一般化して第Bブロックb[B] に
ついて説明する。入力端子1から現フィールドのデータ
のうち第Bブロックb[B] の上記左領域seL k [B] 内
の画素Ai,j [B] のデータが入力されてきたとする。こ
の時、レジスタ110の出力は、その1画素左隣の画素
Ai,j-1 [B] である。したがって、代表点メモリ12
1,122から上記代表点P(0) k [B] ,P1(0) k[B]
のデータをそれぞれ読み出すことにより、減算器131
及び絶対値化器141でベクトル(x2 ,y1 )[B] の
残差S(x2,y1)[B] の部分項である |Ai,j [B] −P(0) k [B] | (x2 ≦0) の数式の計算が行われる。また、減算器132及び絶対
値化器142でベクトル(x2 ,y1 )[B] の残差S(x
2,y1) [B] の部分項である |Ai,j-1 [B] −P1(0) k[B] | の数式の計算が行われる。
ついて説明する。入力端子1から現フィールドのデータ
のうち第Bブロックb[B] の上記左領域seL k [B] 内
の画素Ai,j [B] のデータが入力されてきたとする。こ
の時、レジスタ110の出力は、その1画素左隣の画素
Ai,j-1 [B] である。したがって、代表点メモリ12
1,122から上記代表点P(0) k [B] ,P1(0) k[B]
のデータをそれぞれ読み出すことにより、減算器131
及び絶対値化器141でベクトル(x2 ,y1 )[B] の
残差S(x2,y1)[B] の部分項である |Ai,j [B] −P(0) k [B] | (x2 ≦0) の数式の計算が行われる。また、減算器132及び絶対
値化器142でベクトル(x2 ,y1 )[B] の残差S(x
2,y1) [B] の部分項である |Ai,j-1 [B] −P1(0) k[B] | の数式の計算が行われる。
【0189】加算器111では残差S(x2,y1) [B] の部
分項|Ai,j [B] −P(0) k [B] |と|Ai,j-1 [B] −
P1(0) k[B] |の演算結果が加算され、加算器15に供
給される。これは、加算器15側からみれば前述の図2
1において残差S(x2,y1) [B] の部分項の|Ai,j [B]
−P(0) k [B] |の結果が供給される代わりに、 |Ai,j-1 [B] −P1(0) k[B] |+|Ai,j [B] −P(0) k [B] | が供給されてきたと考えることができる。
分項|Ai,j [B] −P(0) k [B] |と|Ai,j-1 [B] −
P1(0) k[B] |の演算結果が加算され、加算器15に供
給される。これは、加算器15側からみれば前述の図2
1において残差S(x2,y1) [B] の部分項の|Ai,j [B]
−P(0) k [B] |の結果が供給される代わりに、 |Ai,j-1 [B] −P1(0) k[B] |+|Ai,j [B] −P(0) k [B] | が供給されてきたと考えることができる。
【0190】同時に、代表点メモリ221,222か
ら、代表点P(1) k-1 [B] ,P1(1) k-1[B] のデータを
それぞれ読み出し、減算器231及び絶対値化器241
と減算器232及び絶対値化器242と加算器211と
で、残差S(x1,y1) [B] の部分項である |Ai,j [B] −P(1) k-1 [B] |+|Ai,j-1 [B] −P1(0) k-1[B] | の数式の演算を行い、加算器25に供給する。
ら、代表点P(1) k-1 [B] ,P1(1) k-1[B] のデータを
それぞれ読み出し、減算器231及び絶対値化器241
と減算器232及び絶対値化器242と加算器211と
で、残差S(x1,y1) [B] の部分項である |Ai,j [B] −P(1) k-1 [B] |+|Ai,j-1 [B] −P1(0) k-1[B] | の数式の演算を行い、加算器25に供給する。
【0191】これは加算器25側からみれば、図21に
おいて残差残差S(x1,y1) [B] の部分項の|Ai,j [B]
−P(1) k-1 [B] |の結果が供給される代わりに、 |Ai,j-1 [B] −P1(1) k-1[B] |+|Ai,j [B] −P(1) k-1 [B] | が供給されてきたと考えることができる。
おいて残差残差S(x1,y1) [B] の部分項の|Ai,j [B]
−P(1) k-1 [B] |の結果が供給される代わりに、 |Ai,j-1 [B] −P1(1) k-1[B] |+|Ai,j [B] −P(1) k-1 [B] | が供給されてきたと考えることができる。
【0192】同様に、右領域seR k [B] 内の画素A
1i,j[B] のデータが入力されてきた時には、代表点メモ
リ121,減算器131,絶対値化器141と代表点メ
モリ122,減算器132,絶対値化器142及び加算
器111を使用して、残差S(x3,y2) [B] の部分項であ
る |A1i,j[B] −P(0) k [B] |+|A1i,j-1[B] −P1(0) k[B] | の数式の計算を行い加算器15に供給する。
1i,j[B] のデータが入力されてきた時には、代表点メモ
リ121,減算器131,絶対値化器141と代表点メ
モリ122,減算器132,絶対値化器142及び加算
器111を使用して、残差S(x3,y2) [B] の部分項であ
る |A1i,j[B] −P(0) k [B] |+|A1i,j-1[B] −P1(0) k[B] | の数式の計算を行い加算器15に供給する。
【0193】これは、加算器15側からみれば図21に
おいて残差S(x3,y2) [B] の部分項の|A1i,j[B] −P
(0) k [B] |の結果が供給される代わりに、 |A1i,j-1[B] −P1(0) k[B] |+|A1i,j[B] −P(0) k [B] | が供給されてきたと考えることができる。
おいて残差S(x3,y2) [B] の部分項の|A1i,j[B] −P
(0) k [B] |の結果が供給される代わりに、 |A1i,j-1[B] −P1(0) k[B] |+|A1i,j[B] −P(0) k [B] | が供給されてきたと考えることができる。
【0194】同時に、代表点メモリ221,減算器23
1,絶対値化器241と代表点メモリ222,減算器2
32,絶対値化器242及び加算器211を使用して、
残差S(x4,y2) [B] の部分項である |A1i,j[B] −P(1) k [B] |+|A1i,j-1[B] −P1(1) k[B] | の数式の計算を行い加算器25に供給する。
1,絶対値化器241と代表点メモリ222,減算器2
32,絶対値化器242及び加算器211を使用して、
残差S(x4,y2) [B] の部分項である |A1i,j[B] −P(1) k [B] |+|A1i,j-1[B] −P1(1) k[B] | の数式の計算を行い加算器25に供給する。
【0195】これは、加算器25側からみれば図21に
おいて残差S(x4,y2) [B] の部分項の|A1i,j[B] −P
(1) k [B] |の結果が供給される代わりに、 |A1i,j-1[B] −P1(1) k[B] |+|A1i,j[B] −P(1) k [B] | が供給されてきたと考えることができる。
おいて残差S(x4,y2) [B] の部分項の|A1i,j[B] −P
(1) k [B] |の結果が供給される代わりに、 |A1i,j-1[B] −P1(1) k[B] |+|A1i,j[B] −P(1) k [B] | が供給されてきたと考えることができる。
【0196】したがって、上記加算器15,25及び残
差メモリ261,162,262と比較器7が、前述の
図21と全く同じ動作をすることにより、前記図21で
は代表点P(0) k [B] とP(1) k [B] による前記数6に
示した数式の演算から、ベクトル(nmin ,mmin )
[B] を求めていたのに対し、本実施例の図24の構成で
は、代表点P(0) k [B] ,P1(0) k[B] ,P(1) k
[B] ,P1(1) k[B] を用いた数7に示す数式による残
差S(n, m) [B]から、ベクトル(nmin ,mmin )[B]
を求めることになる。
差メモリ261,162,262と比較器7が、前述の
図21と全く同じ動作をすることにより、前記図21で
は代表点P(0) k [B] とP(1) k [B] による前記数6に
示した数式の演算から、ベクトル(nmin ,mmin )
[B] を求めていたのに対し、本実施例の図24の構成で
は、代表点P(0) k [B] ,P1(0) k[B] ,P(1) k
[B] ,P1(1) k[B] を用いた数7に示す数式による残
差S(n, m) [B]から、ベクトル(nmin ,mmin )[B]
を求めることになる。
【0197】
【数7】
【0198】その後、上記ベクトル(nmin ,mmin )
[B] (B=1,2,3,4)を用いて、判断回路8で前
述同様の判断を行えばよい。
[B] (B=1,2,3,4)を用いて、判断回路8で前
述同様の判断を行えばよい。
【0199】なお、各メモリの書込/読出及びアドレス
と、何れの加算器とどの残差メモリをアクセスするか等
は、制御回路85によりコントロールされる。
と、何れの加算器とどの残差メモリをアクセスするか等
は、制御回路85によりコントロールされる。
【0200】また、上記判断回路8において、第3の条
件で判断する代わりに、上記第4の条件での判断を考え
る場合は、前述の図21同様に、図24の構成に更に加
算器を2つと、Q×R/2ワードの残差メモリを2個用
いることになる。
件で判断する代わりに、上記第4の条件での判断を考え
る場合は、前述の図21同様に、図24の構成に更に加
算器を2つと、Q×R/2ワードの残差メモリを2個用
いることになる。
【0201】更に、この第6の実施例においても、1画
面のブロック数は上述の4つに限定されない。
面のブロック数は上述の4つに限定されない。
【0202】また更に、上記実施例では、横方向のみ代
表点を増やすようにしているが、縦横両方すなわち2次
元方向に代表点を増やすようにすることも可能である。
表点を増やすようにしているが、縦横両方すなわち2次
元方向に代表点を増やすようにすることも可能である。
【0203】上述した第5,第6の実施例装置において
は、残差メモリの合計ワード数をQ×Rの整数倍のワー
ド数としているため、各ブロック毎に残差を計算するこ
とが可能となり、これにより、より正確な動きベクトル
の算出が可能となっている。
は、残差メモリの合計ワード数をQ×Rの整数倍のワー
ド数としているため、各ブロック毎に残差を計算するこ
とが可能となり、これにより、より正確な動きベクトル
の算出が可能となっている。
【0204】
【発明の効果】上述のように、本発明の動きベクトル検
出装置においては、現フィールドのデータと代表点のデ
ータとの差分絶対値を計算してベクトルを求めて各ベク
トル毎に残差を求める演算手段をN個設けると共に、累
積演算途中結果を保持するN個のQ×R/Nワードの残
差メモリと、各ベクトルの残差データを比較して動きベ
クトルを計算する比較手段とを有してなることにより、
更に、現フィールドのデータと代表点のデータとの差分
絶対値を計算してベクトルを求める第1の演算手段を1
つ若しくは複数個設け、第1の演算手段のうち1つには
入力画像データを直接与え、残りのものには入力画像デ
ータが1つ若しくは複数の遅延素子を介した値を与える
と共に、ベクトル毎に残差を求める第2の演算手段をN
個設けることにより、代表点数を増やすことができ、動
きベクトルの検出精度を上げ、動きベクトルの誤検出を
少なくすることが可能となる。
出装置においては、現フィールドのデータと代表点のデ
ータとの差分絶対値を計算してベクトルを求めて各ベク
トル毎に残差を求める演算手段をN個設けると共に、累
積演算途中結果を保持するN個のQ×R/Nワードの残
差メモリと、各ベクトルの残差データを比較して動きベ
クトルを計算する比較手段とを有してなることにより、
更に、現フィールドのデータと代表点のデータとの差分
絶対値を計算してベクトルを求める第1の演算手段を1
つ若しくは複数個設け、第1の演算手段のうち1つには
入力画像データを直接与え、残りのものには入力画像デ
ータが1つ若しくは複数の遅延素子を介した値を与える
と共に、ベクトル毎に残差を求める第2の演算手段をN
個設けることにより、代表点数を増やすことができ、動
きベクトルの検出精度を上げ、動きベクトルの誤検出を
少なくすることが可能となる。
【0205】また、本発明の動きベクトル検出装置にお
いては、1フィールドの画像を複数ブロックに分割し、
現フィールドのデータと代表点のデータとの差分絶対値
を計算してベクトルを求めて各ブロックの各ベクトル毎
に残差を求める演算手段を複数設けると共に、累積演算
途中結果を各ブロックの各ベクトル毎に保持するN個の
Q×R/Nワードの残差メモリと、各ベクトルの残差デ
ータを比較して動きベクトルを計算する比較手段と、各
ブロック毎の動きベクトルのデータに基づいて真の動き
ベクトルを判断する判断手段ととを有してなることによ
り、更に、現フィールドのデータと代表点のデータとの
差分絶対値を計算してベクトルを求める第1の演算手段
を1つ若しくは複数個設け、第1の演算手段のうち1つ
は入力画像データを直接与え、残りのものには入力画像
データが1つ若しくは複数の遅延素子を介した値を与え
ると共に、各ブロックの各ベクトル毎に残差を求める第
2の演算手段を複数個設け、各ブロック毎の動きベクト
ルのデータに基づいて真の動きベクトルを判断する判断
手段を有することにより、動きベクトルの精度を向上さ
せることが可能となる。
いては、1フィールドの画像を複数ブロックに分割し、
現フィールドのデータと代表点のデータとの差分絶対値
を計算してベクトルを求めて各ブロックの各ベクトル毎
に残差を求める演算手段を複数設けると共に、累積演算
途中結果を各ブロックの各ベクトル毎に保持するN個の
Q×R/Nワードの残差メモリと、各ベクトルの残差デ
ータを比較して動きベクトルを計算する比較手段と、各
ブロック毎の動きベクトルのデータに基づいて真の動き
ベクトルを判断する判断手段ととを有してなることによ
り、更に、現フィールドのデータと代表点のデータとの
差分絶対値を計算してベクトルを求める第1の演算手段
を1つ若しくは複数個設け、第1の演算手段のうち1つ
は入力画像データを直接与え、残りのものには入力画像
データが1つ若しくは複数の遅延素子を介した値を与え
ると共に、各ブロックの各ベクトル毎に残差を求める第
2の演算手段を複数個設け、各ブロック毎の動きベクト
ルのデータに基づいて真の動きベクトルを判断する判断
手段を有することにより、動きベクトルの精度を向上さ
せることが可能となる。
【図1】本発明実施例の第1の実施例装置のブロック図
である。
である。
【図2】第1の実施例の代表点を説明するための図であ
る。
る。
【図3】第1の実施例における現フィールドのデータの
一部を示す図である。
一部を示す図である。
【図4】第2の実施例装置のブロック図である。
【図5】第2の実施例の代表点を説明するための図であ
る。
る。
【図6】第2の実施例における現フィールドのデータの
一部を示す図である。
一部を示す図である。
【図7】第3の実施例装置のブロック図である。
【図8】第3の実施例の代表点を説明するための図であ
る。
る。
【図9】第3の実施例における現フィールドのデータの
一部を示す図である。
一部を示す図である。
【図10】第3の実施例の捜索範囲SE(0) k を示す図
である。
である。
【図11】第3の実施例の捜索範囲SE(2) k 及びSE
(2) k-v を示す図である。
(2) k-v を示す図である。
【図12】第3の実施例の捜索範囲SE(1) k 及びSE
(1) k-1 を示す図である。
(1) k-1 を示す図である。
【図13】第3の実施例の各領域を示す図である。
【図14】第4の実施例装置のブロック図である。
【図15】第4の実施例の代表点を説明するための図で
ある。
ある。
【図16】第4の実施例の画素と代表点との関係の一例
を示す図である。
を示す図である。
【図17】第4の実施例の代表点の一例を示す図であ
る。
る。
【図18】第4の実施例の捜索範囲と代表点P(0) k と
の関係を示す図である。
の関係を示す図である。
【図19】第4の実施例の捜索範囲と代表点P(1) k と
の関係を示す図である。
の関係を示す図である。
【図20】第4の実施例の各領域を示す図である。
【図21】第5の実施例装置のブロック図である。
【図22】第5の実施例のブロック及び代表点を説明す
るための図である。
るための図である。
【図23】第5の実施例の捜索範囲及び画素と代表点と
の関係の一例を示す図である。
の関係の一例を示す図である。
【図24】第6の実施例装置のブロック図を示す図であ
る。
る。
【図25】第6の実施例のブロック及び代表点を示す図
である
である
【図26】代表点及び捜索範囲を説明するための図であ
る。
る。
【図27】従来例の装置のブロック図である。
【図28】捜索範囲の重なりを説明するための図であ
る。
る。
【図29】ブロックを示す図である。
12,22,32,42,121,122,221,2
22・・・・・代表点メモリ 13,23,33,43,131,132,231,2
32・・・・・減算器 14,24,34,44,141,142,241,2
42・・・・・絶対値化器 15,25,35,45,111,211・・・・・・
・・・加算器 16,26,36,46,161,261,162,2
62・・・・・残差メモリ 7・・・・・・・・・・・・比較器 8・・・・・・・・・・・・判断回路 85・・・・・・・・・・・制御回路 63〜78・・・・・・・・切換スイッチ
22・・・・・代表点メモリ 13,23,33,43,131,132,231,2
32・・・・・減算器 14,24,34,44,141,142,241,2
42・・・・・絶対値化器 15,25,35,45,111,211・・・・・・
・・・加算器 16,26,36,46,161,261,162,2
62・・・・・残差メモリ 7・・・・・・・・・・・・比較器 8・・・・・・・・・・・・判断回路 85・・・・・・・・・・・制御回路 63〜78・・・・・・・・切換スイッチ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成3年11月7日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0015
【補正方法】変更
【補正内容】
【0015】 ところが、上述した従来の動きベクトル
検出装置に、このような重なり部分の画素(例えば図2
8の図中画素Ai,j)が入力されてきたときには、例
えば、 |Ai,j−Pka| (S(3,−1)の部分項) と、 |Ai,j−Pkb| (S(−4,−3)の部分項) との数式で示す計算を同時に行わなければなくなり、こ
れを当該従来の動きベクトル検出装置で行うことは不可
能である。なお、図28にはQ=9,R=7の例を示し
ている。
検出装置に、このような重なり部分の画素(例えば図2
8の図中画素Ai,j)が入力されてきたときには、例
えば、 |Ai,j−Pka| (S(3,−1)の部分項) と、 |Ai,j−Pkb| (S(−4,−3)の部分項) との数式で示す計算を同時に行わなければなくなり、こ
れを当該従来の動きベクトル検出装置で行うことは不可
能である。なお、図28にはQ=9,R=7の例を示し
ている。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正内容】
【0028】 また更に、本発明の動きベクトル検出装
置は、1フィールドの画像を複数のブロックに分割し1
フィールド以上前の画像のうちQ×R個の画素からなる
捜索範囲と同じ間隔で選ばれた代表点のデータを保持す
る代表点メモリと、現フィールドのデータが入力された
時に当該現フィールドのデータと上記代表点メモリに格
納されている上記代表点のデータとの差分絶対値を計算
してベクトルを求める差分絶対値計算回路とから構成さ
れる第1の演算手段を1つ若しくは複数個設け、上記第
1の演算手段のうち1つは入力信号として入力端子から
供給される画像データを直接与え、上記第1の演算手段
の残りのものには入力信号として上記入力端子から供給
される画像データが1つ若しくは複数の遅延素子を介し
た値を与えると共に、上記第1の演算手段の出力を加算
する加算回路と、上記加算手段の出力を累積的に加算し
て上記各ブロックの上記各ベクトル毎に残差を求める累
積加算回路とからなる第2の演算手段を複数個設け、上
記残差の累積途中結果を上記各ブロックの各ベクトル毎
に一時保持する複数のQ×R/Nワードの残差メモリ
と、上記複数の残差メモリの出力を入力として各ベクト
ルの残差データを比較して動きベクトルを計算する比較
手段と、上記比較手段からの各ブロック毎の動きベクト
ルのデータに基づいて真の動きベクトルを判断する判断
手段と、上記代表点メモリと上記残差メモリの書込/読
出とアドレス及び上記累積加算回路と残差メモリとのア
クセスを制御する制御手段とを有し、上記残差メモリの
全ての入出力をそれぞれ上記N個の各々の上記累積加算
回路の出入力にアクセスするようにしたものである。
置は、1フィールドの画像を複数のブロックに分割し1
フィールド以上前の画像のうちQ×R個の画素からなる
捜索範囲と同じ間隔で選ばれた代表点のデータを保持す
る代表点メモリと、現フィールドのデータが入力された
時に当該現フィールドのデータと上記代表点メモリに格
納されている上記代表点のデータとの差分絶対値を計算
してベクトルを求める差分絶対値計算回路とから構成さ
れる第1の演算手段を1つ若しくは複数個設け、上記第
1の演算手段のうち1つは入力信号として入力端子から
供給される画像データを直接与え、上記第1の演算手段
の残りのものには入力信号として上記入力端子から供給
される画像データが1つ若しくは複数の遅延素子を介し
た値を与えると共に、上記第1の演算手段の出力を加算
する加算回路と、上記加算手段の出力を累積的に加算し
て上記各ブロックの上記各ベクトル毎に残差を求める累
積加算回路とからなる第2の演算手段を複数個設け、上
記残差の累積途中結果を上記各ブロックの各ベクトル毎
に一時保持する複数のQ×R/Nワードの残差メモリ
と、上記複数の残差メモリの出力を入力として各ベクト
ルの残差データを比較して動きベクトルを計算する比較
手段と、上記比較手段からの各ブロック毎の動きベクト
ルのデータに基づいて真の動きベクトルを判断する判断
手段と、上記代表点メモリと上記残差メモリの書込/読
出とアドレス及び上記累積加算回路と残差メモリとのア
クセスを制御する制御手段とを有し、上記残差メモリの
全ての入出力をそれぞれ上記N個の各々の上記累積加算
回路の出入力にアクセスするようにしたものである。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0043
【補正方法】変更
【補正内容】
【0043】 この時、上記画素Ai,jと代表点P
(0)kの位置関係は、図3の例においてはベクトル
(−1,−1)で表すことができるものである。このた
め、当該|Ai,j−P(0)k|の数式の演算結果
は、残差S(−1,−1)の部分項である。上記絶対値
化器14の出力である残差S(−1,−1)の部分項の
データは、加算器15を介し、更に切換スイッチ63,
64を介して残差メモリ16或いは26に格納される。
なお、この加算器15と残差メモリ16或いは26のア
クセスについては後述する。ここで、例えば、上記残差
メモリ16にデータを格納したとして、当該残差メモリ
16に格納されたデータを再び上記加算器15に供給す
ることで、当該加算器15は累加算回路として動作し、
この累加算により上記残差S(−1,−1)が求められ
るようになる。したがって、これら残差メモリに格納さ
れているデータは、残差S(−1,−1)を求める際の
残差演算途中結果(残差途中結果)S(−1,−1)の
データとなる。
(0)kの位置関係は、図3の例においてはベクトル
(−1,−1)で表すことができるものである。このた
め、当該|Ai,j−P(0)k|の数式の演算結果
は、残差S(−1,−1)の部分項である。上記絶対値
化器14の出力である残差S(−1,−1)の部分項の
データは、加算器15を介し、更に切換スイッチ63,
64を介して残差メモリ16或いは26に格納される。
なお、この加算器15と残差メモリ16或いは26のア
クセスについては後述する。ここで、例えば、上記残差
メモリ16にデータを格納したとして、当該残差メモリ
16に格納されたデータを再び上記加算器15に供給す
ることで、当該加算器15は累加算回路として動作し、
この累加算により上記残差S(−1,−1)が求められ
るようになる。したがって、これら残差メモリに格納さ
れているデータは、残差S(−1,−1)を求める際の
残差演算途中結果(残差途中結果)S(−1,−1)の
データとなる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0044
【補正方法】変更
【補正内容】
【0044】 すなわち、上記絶対値化器14からのデ
ータが上記加算器15に送られた時には、上記ベクトル
(−1,−1)に対応する残差途中結果s(−1,−
1)を、例えば上記残差メモリ16から読み出し、加算
器15で、 s(−1,−1)+|Ai,j−P(0)k| の数式に示す加算を行う。
ータが上記加算器15に送られた時には、上記ベクトル
(−1,−1)に対応する残差途中結果s(−1,−
1)を、例えば上記残差メモリ16から読み出し、加算
器15で、 s(−1,−1)+|Ai,j−P(0)k| の数式に示す加算を行う。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0045
【補正方法】変更
【補正内容】
【0045】 この加算器15の出力を新しく残差途中
結果s(−1,−1)とおき、上記残差メモリ16内の
古い残差途中結果s(−1,−1)のデータが格納され
ていた番地に、当該新しい残差途中結果s(−1,−
1)をオーバーライトする。すなわち、該残差メモリ1
6において古い残差途中結果のデータを新しい残差途中
結果に更新する。
結果s(−1,−1)とおき、上記残差メモリ16内の
古い残差途中結果s(−1,−1)のデータが格納され
ていた番地に、当該新しい残差途中結果s(−1,−
1)をオーバーライトする。すなわち、該残差メモリ1
6において古い残差途中結果のデータを新しい残差途中
結果に更新する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0060
【補正方法】変更
【補正内容】
【0060】 また、これと同時に、上記入力データは
代表点P(1)k−1に対して(L1,M)(L1=3
+L=1又は2又は3)である。このため、上記代表点
メモリ22から代表点P(1)k−1のデータを読み出
して残差S(L1,M)の部分項である |(入力データ)−P(1)k−1| の数式の計算を行い、残差メモリ26から残差途中結果
s(L1,M)のデータを読み出し、加算器25でs (L1,M)+|(入力データ)−P(1)k−1| の数式に示す演算を行う。この結果を新しく残差途中結
果s(L1,M)とおいて、残差メモリ26の古い残差
途中結果s(L1,M)のデータを格納していた番地に
オーバーライトする。
代表点P(1)k−1に対して(L1,M)(L1=3
+L=1又は2又は3)である。このため、上記代表点
メモリ22から代表点P(1)k−1のデータを読み出
して残差S(L1,M)の部分項である |(入力データ)−P(1)k−1| の数式の計算を行い、残差メモリ26から残差途中結果
s(L1,M)のデータを読み出し、加算器25でs (L1,M)+|(入力データ)−P(1)k−1| の数式に示す演算を行う。この結果を新しく残差途中結
果s(L1,M)とおいて、残差メモリ26の古い残差
途中結果s(L1,M)のデータを格納していた番地に
オーバーライトする。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0063
【補正方法】変更
【補正内容】
【0063】 このようにして演算を行っていくことに
より、現フィールドのデータが全て入力端子1から入力
し終わった時点で、残差途中結果s(n,m)は残差S
(n,m)となり、上記残差メモリ16には残差S
(n,m)(n=−2,−1,0、m=−2,−1,
0,1,2)のデータが格納され、上記残差メモリ26
には残差S(n,m)(n=1,2,3、m=−2,−
1,0,1,2)のデータが格納されることになる。
より、現フィールドのデータが全て入力端子1から入力
し終わった時点で、残差途中結果s(n,m)は残差S
(n,m)となり、上記残差メモリ16には残差S
(n,m)(n=−2,−1,0、m=−2,−1,
0,1,2)のデータが格納され、上記残差メモリ26
には残差S(n,m)(n=1,2,3、m=−2,−
1,0,1,2)のデータが格納されることになる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0082
【補正方法】変更
【補正内容】
【0082】 上述のようにして演算を行うことによ
り、現フィールドのデータが全て入力端子1から入力し
終わった時点で、残差途中結果s(n,m)は残差S
(n,m)となり、残差メモリ16には残差S(n,
m)(n=−4,−3,−2、m=−2〜2)のデータ
が格納され、残差メモリ26には残差S(n,m)(n
=−1,0,1、m=−2〜2)のデータが格納され、
残差メモリ36には残差S(n,m)(n=2,3,
4、m=−2〜2)のデータが格納されることになる。
り、現フィールドのデータが全て入力端子1から入力し
終わった時点で、残差途中結果s(n,m)は残差S
(n,m)となり、残差メモリ16には残差S(n,
m)(n=−4,−3,−2、m=−2〜2)のデータ
が格納され、残差メモリ26には残差S(n,m)(n
=−1,0,1、m=−2〜2)のデータが格納され、
残差メモリ36には残差S(n,m)(n=2,3,
4、m=−2〜2)のデータが格納されることになる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0102
【補正方法】変更
【補正内容】
【0102】 更に、本実施例装置には、上記残差の累
積途中結果を各ベクトル毎に一時保持するN個のQ×R
/Nワードの残差メモリ(例えば2個の残差メモリ1
6,26)と、上記2個の残差メモリ16,26の出力
を入力として各ベクトルの残差のデータを比較して動き
ベクトルを求める比較器7と、上記代表点メモリ12
1,122,221,222と上記残差メモリ16,2
6の書込/読出とアドレスの制御及び、いずれの上記加
算器15,25といずれの残差メモリ16,26をアク
セスするかの制御、更に各切換スイッチ63〜66の切
り換えを制御する制御回路85とを有し、上記2個の残
差メモリ16,26の入出力をそれぞれ上記2個の各々
の上記加算器15,25の出入力にアクセスするように
している。
積途中結果を各ベクトル毎に一時保持するN個のQ×R
/Nワードの残差メモリ(例えば2個の残差メモリ1
6,26)と、上記2個の残差メモリ16,26の出力
を入力として各ベクトルの残差のデータを比較して動き
ベクトルを求める比較器7と、上記代表点メモリ12
1,122,221,222と上記残差メモリ16,2
6の書込/読出とアドレスの制御及び、いずれの上記加
算器15,25といずれの残差メモリ16,26をアク
セスするかの制御、更に各切換スイッチ63〜66の切
り換えを制御する制御回路85とを有し、上記2個の残
差メモリ16,26の入出力をそれぞれ上記2個の各々
の上記加算器15,25の出入力にアクセスするように
している。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0111
【補正方法】変更
【補正内容】
【0111】 同様に、代表点メモリ221から代表点
P (1)k−1のデータを読み出し、代表点メモリ22
2から代表点P 1(1)k−1のデータを読み出して、
減算器231及び絶対値化器241と、減算器232及
び絶対値化器242と、加算器211とで、残さS(x
1,y1)の部分項である |Ai,j−P(1)k−1|+|Ai,j−1−P1(1)k−1| の数式の計算を行い、残差メモリ26に格納されていた
残差途中結果s(x1,y1)(x1>0)のデータを
読み出し、加算器211の出力を加算器25で加算し
て、上記残差メモリ26の同じ番地にオーバーライトす
る。
P (1)k−1のデータを読み出し、代表点メモリ22
2から代表点P 1(1)k−1のデータを読み出して、
減算器231及び絶対値化器241と、減算器232及
び絶対値化器242と、加算器211とで、残さS(x
1,y1)の部分項である |Ai,j−P(1)k−1|+|Ai,j−1−P1(1)k−1| の数式の計算を行い、残差メモリ26に格納されていた
残差途中結果s(x1,y1)(x1>0)のデータを
読み出し、加算器211の出力を加算器25で加算し
て、上記残差メモリ26の同じ番地にオーバーライトす
る。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0154
【補正方法】変更
【補正内容】
【0154】 以上、代表点P(0)k∈第1ブロック
b[1]の時の左領域seLk[1],右領域seRk
[1]内のデータが入力されてきた場合について、残差
メモリ161,261を用いて差分絶対値を累積してい
けば良いことを述べた。同様に、代表点P(0)k∈第
2ブロックb[2]の時も残差メモリ162,262を
用いて差分絶対値を累積していけばよい。
b[1]の時の左領域seLk[1],右領域seRk
[1]内のデータが入力されてきた場合について、残差
メモリ161,261を用いて差分絶対値を累積してい
けば良いことを述べた。同様に、代表点P(0)k∈第
2ブロックb[2]の時も残差メモリ162,262を
用いて差分絶対値を累積していけばよい。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0167
【補正方法】変更
【補正内容】
【0167】 この時も、前述の図20同様に、各ブロ
ックb[1]〜b[4]においてそれぞれ左領域seL
k及び右領域seRkを決め、代表点メモリ12には各
ブロックb[1]〜b[4]の代表点P(0)kのデー
タを格納し、代表点メモリ22には代表点P(1)kの
データを格納する。例えば、残差メモリ161には第1
ブロックb[1]の残差途中結果s(n,m)
[1](n=−2,−1,0、m=−2,−1,0,
1,2)又は第3ブロックb[3]の残差途中結果s
(n,m)[3](n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納し、残差メモリ261
には第1ブロックb[1]の残差途中結果s(n,m)
[1](n=1,2,3、m=−2,−1,0,1,
2)又は第3ブロックb[3]の残差途中結果s(n,
m)[3](n=1,2,3、m=−2,−1,0,
1,2)のデータを格納し、残差メモリ162には第2
ブロックb[2]の残差途中結果s(n,m)
[2](n=−2,−1,0、m=−2,−1,0,
1,2)又は第4ブロックb[4]の残差途中結果s
(n,m)[4](n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納し、残差メモリ262
には第2ブロックb[2]の残差途中結果s(n,m)
[2](n=1,2,3、m=−2,−1,0,1,
2)又は第4ブロックb[4]の残差途中結果s(n,
m)[4](n=1,2,3、m=−2,−1,0,
1,2)のデータを格納していく。
ックb[1]〜b[4]においてそれぞれ左領域seL
k及び右領域seRkを決め、代表点メモリ12には各
ブロックb[1]〜b[4]の代表点P(0)kのデー
タを格納し、代表点メモリ22には代表点P(1)kの
データを格納する。例えば、残差メモリ161には第1
ブロックb[1]の残差途中結果s(n,m)
[1](n=−2,−1,0、m=−2,−1,0,
1,2)又は第3ブロックb[3]の残差途中結果s
(n,m)[3](n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納し、残差メモリ261
には第1ブロックb[1]の残差途中結果s(n,m)
[1](n=1,2,3、m=−2,−1,0,1,
2)又は第3ブロックb[3]の残差途中結果s(n,
m)[3](n=1,2,3、m=−2,−1,0,
1,2)のデータを格納し、残差メモリ162には第2
ブロックb[2]の残差途中結果s(n,m)
[2](n=−2,−1,0、m=−2,−1,0,
1,2)又は第4ブロックb[4]の残差途中結果s
(n,m)[4](n=−2,−1,0、m=−2,−
1,0,1,2)のデータを格納し、残差メモリ262
には第2ブロックb[2]の残差途中結果s(n,m)
[2](n=1,2,3、m=−2,−1,0,1,
2)又は第4ブロックb[4]の残差途中結果s(n,
m)[4](n=1,2,3、m=−2,−1,0,
1,2)のデータを格納していく。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0186
【補正方法】変更
【補正内容】
【0186】 また、本実施例でも1画面を4つのブロ
ックb[1]〜b[4]に分割しており、残差メモリ1
61には時刻T0〜T1の第1ブロックb[1]の残差
途中結果s(n,m)[1](n≦0)のデータ或いは
時刻T1〜T2の第3ブロックb[3]の残差途中結果
s(n,m)[3](n≦0)のデータを格納してい
き、残差メモリ261には時刻T0〜T1の第1ブロッ
クb[1]残差途中結果s(n,m)[1](n>0)
のデータ或いは時刻T1〜T2の第3ブロックb[3]
の残差途中結果s(n,m)[3](n>0)のデータ
を格納していき、残差メモリ162には時刻T0〜T1
の第2ブロックb[2]の残差途中結果s(n,m)
[2](n≦0)のデータ或いは時刻T1〜T2の第4
ブロックb[4]の残差途中結果s(n,m)
[4](n≦0)のデータを格納していき、残差メモリ
262には時刻T0〜T1の第2ブロックb[2]の残
差途中結果s(n,m)[2](n>0)のデータ或い
は時刻T1〜T2の第4ブロックb[4]の残差途中結
果s(n,m)[4](n>0)のデータを格納してい
く。なお、このため各代表点メモリはそれぞれQ×R/
2ワードの大きさとなる。
ックb[1]〜b[4]に分割しており、残差メモリ1
61には時刻T0〜T1の第1ブロックb[1]の残差
途中結果s(n,m)[1](n≦0)のデータ或いは
時刻T1〜T2の第3ブロックb[3]の残差途中結果
s(n,m)[3](n≦0)のデータを格納してい
き、残差メモリ261には時刻T0〜T1の第1ブロッ
クb[1]残差途中結果s(n,m)[1](n>0)
のデータ或いは時刻T1〜T2の第3ブロックb[3]
の残差途中結果s(n,m)[3](n>0)のデータ
を格納していき、残差メモリ162には時刻T0〜T1
の第2ブロックb[2]の残差途中結果s(n,m)
[2](n≦0)のデータ或いは時刻T1〜T2の第4
ブロックb[4]の残差途中結果s(n,m)
[4](n≦0)のデータを格納していき、残差メモリ
262には時刻T0〜T1の第2ブロックb[2]の残
差途中結果s(n,m)[2](n>0)のデータ或い
は時刻T1〜T2の第4ブロックb[4]の残差途中結
果s(n,m)[4](n>0)のデータを格納してい
く。なお、このため各代表点メモリはそれぞれQ×R/
2ワードの大きさとなる。
【手続補正14】
【補正対象書類名】図面
【補正対象項目名】図3
【補正方法】変更
【補正内容】
【図3】
【手続補正15】
【補正対象書類名】図面
【補正対象項目名】図8
【補正方法】変更
【補正内容】
【図8】
Claims (4)
- 【請求項1】 1フィールド以上前の画像のうちQ×R
個の画素からなる捜索範囲と同じ間隔で選ばれた代表点
のデータを保持する代表点メモリと、現フィールドのデ
ータが入力された時に当該現フィールドのデータと上記
代表点メモリに格納されている上記代表点のデータとの
差分絶対値を計算してベクトルを求める差分絶対値計算
回路と、上記差分絶対値計算回路の出力を累積的に加算
して上記各ベクトル毎に残差を求める累積加算回路とか
らなる演算手段をN個設けると共に、 上記残差を求める際の累積演算途中結果を各ベクトル毎
に一時保持するN個のQ×R/Nワードの残差メモリ
と、 上記N個の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、 上記代表点メモリと上記残差メモリの書込/読出とアド
レス及び、上記累積加算回路と残差メモリとのアクセス
を制御する制御手段とを有してなることを特徴とする動
きベクトル検出装置。 - 【請求項2】 1フィールド以上前の画像のうちQ×R
個の画素からなる捜索範囲と同じ間隔で選ばれた代表点
のデータを保持する代表点メモリと、現フィールドのデ
ータが入力された時に当該現フィールドのデータと上記
代表点メモリに格納されている上記代表点のデータとの
差分絶対値を計算してベクトルを求める差分絶対値計算
回路とから構成される第1の演算手段を1つ若しくは複
数個設け、 上記第1の演算手段のうち1つには入力信号として入力
端子から供給される画像データを直接与え、上記第1の
演算手段の残りのものには入力信号として上記入力端子
から供給される画像データが1つ若しくは複数の遅延素
子を介した値を与えると共に、 上記第1の演算手段の出力を加算する加算回路と、上記
加算回路の出力を累積的に加算して上記ベクトル毎に残
差を求める累積加算回路とからなる第2の演算手段をN
個設け、 上記残差を求める際の累積演算途中結果を各ベクトル毎
に一時保持するN個のQ×R/Nワードの残差メモリ
と、 上記N個の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、 上記代表点メモリと上記残差メモリの書込/読出とアド
レス及び、上記累積加算回路と残差メモリとのアクセス
を制御する制御手段とを有してなることを特徴とする動
きベクトル検出装置。 - 【請求項3】 1フィールドの画像を複数ブロックに分
割し1フィールド以上前の画像のうちQ×R個の画素か
らなる捜索範囲と同じ間隔で選ばれた代表点のデータを
保持する代表点メモリと、現フィールドのデータが入力
された時に当該現フィールドのデータと上記代表点メモ
リに格納されている上記代表点のデータとの差分絶対値
を計算してベクトルを求める差分絶対値計算回路と、上
記差分絶対値計算回路の出力を累積的に加算して上記各
ブロックの上記各ベクトル毎に残差を求める累積加算回
路とからなる演算手段をN個設けると共に、 上記残差を求める際の累積演算途中結果を上記各ブロッ
クの各ベクトル毎に一時保持する複数のQ×R/Nワー
ドの残差メモリと、 上記複数の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、 上記比較手段からの各ブロック毎の動きベクトルのデー
タに基づいて真の動きベクトルを判断する判断手段と、 上記代表点メモリと上記残差メモリの書込/読出とアド
レス及び、上記累積加算回路と残差メモリのアクセスを
制御する制御手段とを有してなることを特徴とする動き
ベクトル検出装置。 - 【請求項4】 1フィールドの画像を複数のブロックに
分割し1フィールド以上前の画像のうちQ×R個の画素
からなる捜索範囲と同じ間隔で選ばれた代表点のデータ
を保持する代表点メモリと、現フィールドのデータが入
力された時に当該現フィールドのデータと上記代表点メ
モリに格納されている上記代表点のデータとの差分絶対
値を計算してベクトルを求める差分絶対値計算回路とか
ら構成される第1の演算手段を1つ若しくは複数個設
け、 上記第1の演算手段のうち1つは入力信号として入力端
子から供給される画像データを直接与え、上記第1の演
算手段の残りのものには入力信号として上記入力端子か
ら供給される画像データが1つ若しくは複数の遅延素子
を介した値を与えると共に、 上記第1の演算手段の出力を加算する加算回路と、上記
加算手段の出力を累積的に加算して上記各ブロックの上
記各ベクトル毎に残差を求める累積加算回路とからなる
第2の演算手段を複数個設け、 上記残差の累積途中結果を上記各ブロックの各ベクトル
毎に一時保持する複数のQ×R/Nワードの残差メモリ
と、 上記複数の残差メモリの出力を入力として各ベクトルの
残差データを比較して動きベクトルを計算する比較手段
と、 上記比較手段からの各ブロック毎の動きベクトルのデー
タに基づいて真の動きベクトルを判断する判断手段と、 上記代表点メモリと上記残差メモリの書込/読出とアド
レス及び、上記累積加算回路と残差メモリのアクセスを
制御する制御手段とを有してなることを特徴とする動き
ベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3184060A JPH0514872A (ja) | 1991-06-28 | 1991-06-28 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3184060A JPH0514872A (ja) | 1991-06-28 | 1991-06-28 | 動きベクトル検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0514872A true JPH0514872A (ja) | 1993-01-22 |
Family
ID=16146676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3184060A Withdrawn JPH0514872A (ja) | 1991-06-28 | 1991-06-28 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0514872A (ja) |
-
1991
- 1991-06-28 JP JP3184060A patent/JPH0514872A/ja not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100233553B1 (ko) | 비디오신호 처리장치 | |
| JP3103897B2 (ja) | 手振れ補正装置および手振れ補正方法 | |
| US7667778B2 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
| JPH07118784B2 (ja) | テレビジヨン信号の動き検出方法 | |
| KR950006045B1 (ko) | 움직임벡터검출장치 및 화상흔들림보정장치 | |
| KR101017688B1 (ko) | 반도체 장치, 화상 데이터 처리 장치 및 그 방법 | |
| JPH0832048B2 (ja) | 動きベクトル検出装置 | |
| JP3123130B2 (ja) | 動きベクトル検出装置 | |
| JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
| JP2003078807A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| CN101156451A (zh) | 使用基于区域的多次通过运动估计和时间运动矢量候选更新的视频处理 | |
| JPH08223578A (ja) | 動きベクトル探索方法および装置 | |
| JP3465264B2 (ja) | ビデオデータの動き検出装置および方法 | |
| JPH0514872A (ja) | 動きベクトル検出装置 | |
| JP2001285874A (ja) | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 | |
| JPH0795469A (ja) | カムコーダの映像補正装置 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP2008060836A (ja) | 動きベクトル探索方法及び装置 | |
| JPH06261309A (ja) | 動きベクトル検出方法 | |
| JP2600520B2 (ja) | 画像動き補正装置 | |
| JPH0767025A (ja) | 映像処理装置 | |
| JP3225598B2 (ja) | 画像の手振れ検出装置 | |
| JPH0514871A (ja) | 動きベクトル検出装置 | |
| JPH07274178A (ja) | 動きベクトル検出装置 | |
| JP3208589B2 (ja) | 手振れ補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19980903 |