JPH0562875B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、例えばテレビカメラの撮像出力を
伝送する場合、テレビカメラのパニング等による
動きを検出するのに適用される動き検出装置であ
る。

〔従来の技術〕

テレビジヨン信号の動きベクトルの検出方法の
一つとして、ブロツクマツチング法が知られてい
る。ブロツクマツチング法は、画面を多数の小さ
な領域（ブロツク）に分け、前フレームの注目ブ
ロツクと現フレームの注目ブロツクの近傍との比
較を行い、最も相関の大きなブロツクを検出する
ものである。

この相関の大きさを検出する一つの方法は、比
較する２ブロツク間で互いに対応する画素データ
の差（フレーム差）の絶対値を求め、ブロツク内
の全画素について上記の絶対値を積算し、この積
算値が最小なものを求める方法である。積算値が
最小なブロツクが注目ブロツクの移動後の位置と
して検出される。この方法は、ブロツクの精度で
動き検出を行うことができる。

相関の大きさを検出する他の方法は、前フレー
ムの注目するブロツクと中心が一致する現フレー
ムのブロツクを１画素単位で動かし、この動く範
囲即ち調査範囲内のフレーム差が最小となる位置
を求める方法である。この方法によれば、画素の
精度で動きを検出できる。

〔発明が解決しようとする問題点〕 上述の従来のブロツクマツチング法の何れも、
動き量として考えられる領域の全てのデータの比
較を行う全数調査であるため、検出に要する比較
の回数が非常に多く、動き検出に時間がかかる欠
点があつた。また、相関の判定を行う時に、略々
等しい大きさの極値が複数個在る場合に、その内
で最小の値が単純に選択される。このことは、テ
レビカメラのパニング等の動き検出を行い、その
結果により動き補正を行う場合には、注目画像の
劣化を生じる問題点があつた。

例えば山並を背景画像とし、この山並の前を飛
行機（注目画像）が飛んでいる景色をテレビカメ
ラにより撮影する場合、テレビカメラがフアイン
ダーの中心に注目画像が位置するように、飛行機
を追つてパニングされる。このような画面の動き
検出を行うと、画面の中心点の近傍に注目画像の
面積に見合つた極値が存在し、一方、テレビカメ
ラの動きに対応した位置にも山並（背景画像）の
大きさに見合つた極値が存在する。この場合に背
景画像と対応する極値が選択されると、動き補正
に伴つて注目画像の劣化が生じる。即ち、動き補
正は、テレビカメラの動きを検出して、画面の動
いた分だけ座標をずらしてメモリから前フレーム
の画像データを読み出すものであるから、背景画
像の動きに合わせてずらすと、注目画像の動きが
正しく再現できなくなる。

従つて、この発明の目的は、テレビカメラの動
き検出に使用した場合に、注目画像の劣化を生じ
させず、妥当な動き検出を行うことができるテレ
ビジヨン信号の動き検出装置を提供することにあ
る。

また、この発明は、動き調査範囲で全てのフレ
ーム差を調べて極値を検出するのと異なり、処理
時間が短縮化され、ハードウエアが簡単な動き検
出装置を提供するものである。

〔問題点を解決するための手段〕

この発明は、１画面を複数のブロツクに分割
し、前フレームのブロツクの略中心位置の代表点
画素データと現フレームのブロツク内の代表点画
素データと対応する所定の範囲の画素データの
各々との差の絶対値を演算する手段１，２，３
と、 所定の範囲と対応するアドレスを有し、アドレ
スに差の絶対値を書き込み、アドレスのそれぞれ
について差の絶対値を寄数フイールドの期間で積
算し、その積算結果を第１のテーブルとして記憶
する第１の記憶手段５と、 所定の範囲と対応するアドレスを有し、アドレ
スに差の絶対値を書き込み、アドレスのそれぞれ
についての差の絶対値を偶数フイールドの期間で
積算し、その積算結果を第２のテーブルとして記
憶する第２の記憶手段６と、 偶数フイールドの期間に、第１の記憶手段５に
記憶された第１のテーブル中の極小値を検出する
と共に、奇数フイールドの期間に、第２の記憶手
段６に記憶された第２のテーブル中の極小値を検
出する手段７とを備えたことを特徴とするテレビ
ジヨン信号の動き検出装置である。

〔作用〕

ブロツクの大きさのグラフメモリを２個備え、
フイールド毎に一方のグラフメモリ５と他方のグ
ラフメモリ６とが書き込み動作及び読み出し動作
が逆に切り換えられる。CPU７は、読み出し期
間でグラフメモリ５又は６をアクセスして極値の
検出を所定のプログラムに従つて行う。

〔実施例〕

以下、この発明の一実施例について図面を参照
して説明する。この一実施例は、基本的にブロツ
クマツチング法であり、テレビカメラの動き検出
にこの発明を適用した例である。即ち、この一実
施例は、積算の回数を減少させるために、前フレ
ームのブロツクの空間上の中心の画素（代表点）
と現フレームの対応するブロツクの各画素との差
を求め、このように求まつたブロツクごとの差を
１フレームにわたつて積算して、１画面の動き即
ちテレビカメラの動き検出を行うものである。

第１図において、１は、入力画像データの１フ
レーム中の各ブロツクの代表点のデータを記憶す
る代表点メモリである。２で示す減算回路におい
て、前フレームの代表点と現フレームの対応する
ブロツク内の画素との差が演算される。減算回路
２の出力が変換回路３により絶対値に変換され、
加算回路４に供給される。この加算回路４の出力
が第１のグラフメモリ５及び第２のグラフメモリ
６にフイールド毎に交互に書き込まれる。

グラフメモリ５及び６は、CPU７のデータバ
ス８と結合されていると共に、グラフメモリ５及
び６の出力がセレクタ９に供給される。このセレ
クタ９の他の入力として、全て‘0'のデータが供
給されており、１フイールドの最初のブロツクの
画素については、‘0'のデータがセレクタ９によ
り選択されて加算回路４に供給される。グラフメ
モリ５及び６は、１ブロツクと対応するアドレス
を有し、各アドレスに対応する位置の画素に関す
る差データの絶対値が書き込まれ、読出した差デ
ータの絶対値を加算回路４に供給し、この加算回
路４の出力を元のアドレスに書き込むことで、
夫々に１フイールド分の差データの積算値（フレ
ーム差積分テーブル）が貯えられる。

CPU７は、グラフメモリ５及び６に記憶され
たフレーム差積分テーブルを参照して、極値の検
出及び検出された極値が正しいかどうかの検証を
行う。この場合、グラフメモリ５とグラフメモリ
６とは、書き込み動作（但し、上述のように、フ
レーム差を積分するために、読み出し動作を行つ
てから書き込み動作を行う。）及び読み出し動作
を１フイールド毎に交互に行うと共に、これらの
動作を逆相で行うように制御される。

第２図Ａは、グラフメモリ５，６の側から垂直
ブランキング期間内にCPU７に出されるフラツ
グ信号を示す。第２図Ｂは、グラフメモリ５の動
作を示すもので、奇数フイールドでグラフメモリ
５が読み出し動作を行い、偶数フイールドでグラ
フメモリ５が書き込み動作を行う。第２図Ｃは、
グラフメモリ６の動作を示すもので、奇数フイー
ルドでグラフメモリ６が書き込み動作を行い、偶
数フイールドでグラフメモリ６が読み出し動作を
行う。グラフメモリ５，６の夫々から読み出され
たフレーム差積分データがCPU７に供給されて、
極値の検出及び検証がなされる。

代表点メモリ１と減算回路２と変換回路３とに
よつて、ブロツクごとに検出されたフレーム差の
絶対値をフレーム全体で積算するのに、１フレー
ムの時間を要するので、入力画像データは、フレ
ームメモリ１０に書き込まれ、求められている動
きベクトルがCPU７から付加回路１１に供給さ
れ、この動きベクトルが画像データに付加されて
伝送される。受信側では、動きベクトルを用いて
座標軸をずらす動き補正がなされる。

第３図は、１フイールドの画面の分割の一例を
示す。この実施例では、高品位テレビジヨン信号
の処理を行うようにしており、１ブロツク（動き
量の範囲）の大きさが縦方向に８ライン、横方向
で32サンプルとされ、従つて、１ブロツク内に
256画素が含まれてており、１フイールドが縦に
64ブロツクに分割され、横に44ブロツクに分割さ
れる。

グラフメモリ５，６の夫々に記憶されているフ
レーム差積分テーブルは、第４図に示すように、
原点（０，０）を中心とするＸ−Ｙ座標で規定さ
れるものである。このＸ−Ｙ座標は、Ｘ軸に関し
て−16から15までの値をとり、Ｙ軸に関して−４
から３までの値をとるものである。グラフメモリ
５，６には、縦軸に差分値の絶対値をとると、第
５図に模式的に示されるようなフレーム差積分テ
ーブルが形成されている。このフレーム差積分テ
ーブルの中で最小値の座標データ（Xmin、
Ymin）がCPU７により検出される。原点とこの
検出された（Xmin、Ymin）とを結ぶベクトル
が動きベクトルである。

以下、CPU７がグラフメモリ５，６に記憶さ
れているフレーム差積分テーブルのデータを用い
て行う動きベクトルの検出及び動きベクトルの検
証について第６図、第７図、第８図、第９図及び
第１０図を参照して説明する。

第６図に示すように、動き検出の最初は、原点
から始められる（ステツプ２１及び２２）。第７
図は、原点の上下及び左右の４方向に隣接して位
置する４個のフレーム差積分データを示す。この
時の極値検出は、フレーム差積分デーブルの
（０，０）（０，−１）（１，０）（０，１）（−１，
０）の各座標のデータ（第６図では、データを表
すためにTABLEの表示を付している。）の中の
最小値を検出することによりなされる。この最小
値の座標（Xmin、Ymin）がＸ及びＹ（今の場合
では、（０，０））と一致するかどうかが調べられ
る（ステツプ２３）。一致する場合には、極値検
証のステツプ２５に移行する。一致しない場合に
は、最小値の座標（Xmin、Ymin）がＸ及びＹ
と置き換えられ（ステツプ２４）、再びこの座標
（Ｘ，Ｙ）を中心とする４方向に位置する隣接デ
ータに関する最小値の検出（ステツプ２２）がな
される。

このように、極値検出は、原点から出発して上
下及び左右の４方向の中で最大の負の傾斜方向に
進み、この４方向に関して何れも負の傾斜でない
所を極値として見つける。ステツプ２３におい
て、最小値の座標が前のものと一致する時は極値
検証のステツプ２５に移行する。

このステツプ２５は、第８図に示すように、検
出された極値の座標（Ｘ，Ｙ）の斜め方向に位置
する（Ｘ＋１，Ｙ−１）、（Ｘ＋１，Ｙ＋１）、（Ｘ
−１，Ｙ＋１）、（Ｘ−１，Ｙ−１）の座標の各フ
レーム差積分データと極値の座標（Ｘ，Ｙ）のフ
レーム差積分データとの内の最小値を検出するも
のである。この検出された最小値の座標
（Xmin，Ymin）が（Ｘ，Ｙ）と一致する時に
は、検出された極値が正しいものと判定される。
もし、一致しない時には、ステツプ２４に移行し
て再び極値検出がなされる。

第９図は、極値検出のステツプ２２のより具体
的なフローチヤートを示し、第１０図は、極値検
証のより具体的なフローチヤートを示す。この第
９図及び第１０図で、「：」は、データの大きさ
の比較を意味する。また、座標のデータを意味す
る「TABLE」の表示は、これらの図では、省略
されている。

極値検出は、上方向の画素との比較を最初に行
い、次に右方向の画素との比較を行い、その次に
下方向の画素との比較を行い、最後に左方向の画
素との比較を行うようになされる。極値検出の最
初のステツプ３１で、座標Ｙが−４と一致するか
どうか調べられる。一致する時には、上方向に位
置するデータがないことを意味するので、上方向
に関する極値検出がジヤンプされ、右方向に関す
る極値検出に移る。ステツプ３２は、最小値とし
て検出されている（Xmin，Ymin）の座標のデ
ータとその上方向に位置する座標（Ｘ，Ｙ−１）
のデータとの比較のステツプである。

この座標（Xmin，Ymin）のデータの方が大
きい時には、Yminに代えて（Ｙ−１）のフレー
ム差積分データが置き換えられる（ステツプ３
３）。もし、座標（Xmin，Ymin）のデータの方
が座標（Ｘ，Ｙ−１）のデータより小さい時に
は、Yminの変更がなされない。

この上方向のフレーム差積分データとの比較が
終了すると、右側のフレーム差積分データとの比
較に移る。この場合、最初に（Ｘ＝15）かどうか
が調べられる（ステツプ３４）。もし、この関係
が成立する時には、右側の比較する対象のデータ
がないので、右側のデータとの比較のステツプ３
５がジヤンプされる。

このステツプ３５は、ステツプ３２と同様のも
ので、今迄の検出により最小値として検出された
フレーム差積分データとその右側のフレーム差積
分データとの大きさを比較する。そして、右側の
データがより小さい時には、Xminが（Ｘ−１）
の座標で置き換えられる（ステツプ３６）。そう
でない時には、この置き換えがなされない。

更に、次にステツプ３７，３８，３９からなる
下側のフレーム差積分データとの大きさの比較が
なされ、最後にステツプ４０，４１，４２からな
る左側のフレーム差積分データとの大きさの比較
がなされる。このようにして、極値検出の最初の
座標位置の上下左右の４方向の内で、最小値の座
標が求められる。

第１０図は、第６図における極値検証のステツ
プ２５のより具体的な手順を示すフローチヤート
である。極値検証は、前述の極値検出の座標
（Ｘ，Ｙ）のデータとその右斜め上の座標（Ｘ＋
１，Ｙ−１）のフレーム差積分データとの大きさ
の比較が最初になされる。この場合、（Ｘ＝15）
又は（Ｙ＝−４）が成立するかどうかが調べられ
（ステツプ４３及びステツプ４４）、これらの関係
が成立する時には、右斜め上のデータが無いの
で、比較のステツプ４５及び置き換えのステツプ
４６がジヤンプされる。

次に、右斜め下のフレーム差積分データとの大
きさの比較がなされる。この場合には、（Ｙ＝３）
の時には、右斜め下のデータとの比較のステツプ
４８及び置き換えのステツプ４９がジヤンプされ
る。

更に、次に左斜め下のフレーム差積分データと
の大きさの比較がなされる。この場合、（Ｘ＝−
16）又は（Ｙ＝３）の関係が成立するかどうかが
調べられ（ステツプ５０及びステツプ５１）、こ
れらが成立する時には、比較の対象としての左斜
め下のデータが無いので、この比較のステツプ５
２及び置き換えのステツプ５３がジヤンプされ
る。

最後に、左斜め上のフレーム差積分データとの
大きさの比較がなされる。この場合、（Ｙ＝−４）
が成立するかどうかが調べられる（ステツプ５
４）。この関係が成立する時には、比較の対象の
データが無いので、比較のステツプ５５及び置き
換えのステツプ５６がジヤンプされる。

以上のようにして、検出された極値が本当に極
値かどうかが検証され、誤つた極値検出が防止さ
れる。

〔発明の効果〕

この発明に依れば、フレーム差積分テーブルの
全てのデータを調べて極値を検出するのと異な
り、原点と極値を直線で結ぶごく一部の領域で、
比較を行えば良く、処理時間が大幅に短縮される
と共に、検出された極値を検証することが可能と
なる。また、この発明は、高速動作をさほど要求
されないので、CPUの制御により簡単に極値を
検出することができ、ハードウエアの規模を小さ
くすることができる。

また、フレーム差積分テーブルの中に極値が複
数個在る時に、単純に最小値のもの選ぶのでな
く、妥当なものを調べる。即ち、この発明は、注
目画像の動きに合わせて検出が可能で、注目画像
の劣化を避けることができ、また、テレビカメラ
が動かないない時に、原点寄りの極値検出を行う
ことにより、動き物体の影響を除去できる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロツク図、第
２図はこの発明の一実施例のグラフメモリの動作
説明に用いるタイムチヤート、第３図はこの発明
の一実施例の画面分割の説明に用いる略線図、第
４図及び第５図はこの発明の一実施例のフレーム
差積分テーブルの説明に用いる略線図、第６図は
この発明の一実施例の極値検出及び極値検証の説
明に用いるフローチヤート、第７図及び第８図は
極値検出及び極値検証の説明に用いる略線図、第
９図はこの発明の一実施例の極値検出の手順を示
すフローチヤート、第１０図はこの発明の一実施
例の極値検証の手順を示すフローチヤートであ
る。 １：代表点メモリ、２：減算回路、４：加算回
路、５，６：グラフメモリ、７：CPU、２１：
極値検出のステツプ、２５：極値検証のステツ
プ。

Claims (1)

1. 【特許請求の範囲】 １ 画面を複数のブロツクに分割し、前フレーム
   のブロツクの略中心位置の代表点画素データと現
   フレームの上記ブロツク内の上記代表点画素デー
   タと対応する所定の範囲の画素データの各々との
   差の絶対値を演算する手段と、 上記所定の範囲と対応するアドレスを有し、上
   記アドレスに上記差の絶対値を書き込み、上記ア
   ドレスのそれぞれについて差の絶対値を奇数フイ
   ールドの期間で積算し、その積算結果を第１のテ
   ーブルとして記憶する第１の記憶手段と、 上記所定の範囲と対応するアドレスを有し、上
   記アドレスに上記差の絶対値を書き込み、上記ア
   ドレスのそれぞれについて差の絶対値を偶数フイ
   ールドの期間で積算し、その積算結果を第２のテ
   ーブルとして記憶する第２の記憶手段と、 上記偶数フイールドの期間に、上記第１の記憶
   手段に記憶された上記第１のテーブル中の極小値
   を検出すると共に、上記奇数フイールドの期間
   に、上記第２の記憶手段に記憶された上記第２の
   テーブル中の極小値を検出する手段とを備えたこ
   とを特徴とするテレビジヨン信号の動き検出装
   置。