JPH04365185A

JPH04365185A - 動きベクトル信頼性の判定装置

Info

Publication number: JPH04365185A
Application number: JP3166254A
Authority: JP
Inventors: Yasuaki Kanetsugu; 保明金次; Hiroshi Hirabayashi; 平林　洋志; Hajime Sonehara; 曽根原　源; Junji Kumada; 純二熊田; Yuji Nojiri; 裕司野尻; Shoichi Suzuki; 正一鈴木; Kenji Nakajima; 健二中島; Iwao Obata; 小幡　伊和男
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1991-06-12
Filing date: 1991-06-12
Publication date: 1992-12-17
Anticipated expiration: 2014-12-13
Also published as: JP2989325B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の方法で求めた
画像の動きベクトルが適切であるかどうかの動きベクト
ル信頼性の判定方法に関するものである。

【０００２】

【従来の技術】画像の動きベクトルを所定の方法で求め
た後、この動きベクトルが適切なものであるかどうかの
判定には、従来ベクトルで移動した画像について、移動
前後の２つの画像のフレーム間差分を用いるのが一般的
であり、動きベクトルが最適値であれば、２つの前記画
像は一致するからフレーム間差分は最小になり、従来は
このことを利用して求めた動きベクトルの適否を判定し
てきた。

【０００３】

【発明が解決しようとする課題】動きベクトルの検出は
、物体の剛体運動を仮定して、２つまたはそれ以上の画
像の関係から求めている。動画像において注目している
画面の小ブロック内の画像が一様に動いている場合、す
なわちその小ブロック内がすべて同じ動きベクトルであ
るとき、雑音などのゆらぎを考慮しなければ、その動き
ベクトルで移動した画像のフレーム間差分はゼロになる
。しかし、現実には輝度変化をともなったり、動き物体
と静止部分の境界がブロック内に存在するなど、画像が
一様な動きをしているとは限らない。また、オクルージ
ョンの問題、アンカーバードバックグランドの問題があ
り、これらの問題によりフレーム間差分が大きくなり、
求めた動きベクトルが最適かどうかの判断が難しいとい
う問題がおこる。逆に、動きベクトルでシフトした画像
がもとの画像と異なる部分であったとしてもフレーム間
差分が小さくなる場合もある。従って、従来のフレーム
間差分を用いた動きベクトルの検定は必ずしも適切とは
いえない。

【０００４】たとえば、今、真の動きベクトルはゼロと
し、ベクトルｖ１とベクトルｖ２が検出されたと仮定す
る。ベクトルｖ１でシフトした場合のフレーム間差分をｄｆ
１　、ベクトルｖ２でシフトした場合のフレーム間差分
をｄｆ２　とすると、図２図示の例のように真のベクト
ルに近いベクトルｖ１の場合のフレーム間差分ｄｆ１　
が、真のベクトルと大きく異なるベクトルｖ２の場合の
フレーム間差分よりも小さいとは限らない。ここで図２
に示された画像で実線は原画像、破線はベクトルｖ１だ
けシフトしたときの画像、一点鎖線はベクトルｖ２だけ
シフトしたときの画像である。

【０００５】従ってこの発明の目的は上述の欠点を排除
し、所定の方法で求められた画像の動きベクトルが、対
象とする画面の小ブロックの画像の動きベクトルとして
適切であるかどうかの判定をすることができ、しかもそ
れを定量的に指示することのできる動きベクトル信頼性
の判定方法を提供せんとするものである。

【０００６】

【課題を解決するための手段】この目的を達成するため
、本発明動きベクトル信頼性の判定方法は、テレビジョ
ン画面を複数の小ブロックに分割し、各小ブロック毎に
それを代表する画像の動きベクトルを所定の方法で求め
、この所定の方法で求められた画像の動きベクトルがそ
の小ブロックの画像の動きベクトルとして適切であるか
どうかを判定するにあたり、対象とする画面の前記小ブ
ロックの画像と、前記所定の方法で求められた動きベク
トルを前記小ブロックの画像に適用して求まる対応小ブ
ロックの画像とを表わす画面の水平（ｘ）　、垂直（ｙ
）　の一次元または二次元関数に対し、それぞれ直交関
数展開した時に求まるＮ　次元係数空間の距離を正規化
した値を求め、これを前記小ブロックの画像と前記対応
小ブロックの画像の類似度を表わす値とし、この類似度
の値を前記所定の方法で求めた画像の動きベクトルが前
記小ブロックの画像の動きベクトルとして適切であるか
どうかの判定基準として使用することを特徴とするもの
である。

【０００７】

【作用】本発明方法によれば、例えば図２図示画像の動
き態様において、ベクトルｖ２でシフトした場合のフレ
ーム間差分ＤＦ２　はベクトルｖ１でシフトした場合よ
りも小さいが、両画像を画像の形状をも考慮した関数、
すなわち画面の水平方向（ｘ）　、垂直方向（ｙ）　で
その画像を表示する二次元関数の形を評価の対象とし、
その関数の対応する部分、すなわち画像の同じ傾き部分
を相互比較するようにするので、単なるフレーム間差分
の評価とは異なり正しい信頼性の判定をおこなうことが
できる。

【０００８】

【実施例】以下添付図面を参照し実施例により本発明を
詳細に説明する。まず、画像を表わす２次元（ｘ，ｙ）
関数の類似度を求める方法について説明する。本発明は
、画像を表わす関数を直交関数展開した時の係数空間の
距離を画像を表わす関数の類似度として評価するもので
ある。画像は二次元の関数であるが、説明を簡単にする
ためにここでは一次元として説明する。本発明は直交関
数を限定するものではないが、比較的小さなブロックの
場合は多次多項式に展開するのが望ましい。画面のある
小ブロック内の２つの画像の関数をそれぞれｆ（ｘ），
ｇ（ｘ），（ａ＜ｘ　＜ｂ）、直交関数列をφｋ（ｘ）
とすると

【数１】で表わすことができる。今、Ｎ　次までの係数をとると
、各係数Ｃｋ，　ＤｋはＮ　次元空間の２点として表わ
すことができる。２つの画像を表わす関数がまったく同
じであればＮ　次元空間上の２点の位置は一致し、２つ
の関数が異なっていればＮ　次元空間上の係数の２点の
距離は遠くなる。従って、この２点間の距離を関数の類
似度として用いることができる。さらに、原点からの距
離で正規化することによって画像によるばらつきを抑え
ることもできる。次に係数の求め方について説明する。直交展開が式（１）　のように表わされるとき、係数Ｃ
ｋ，　Ｄｋは次のようにして求めることができる。

【数２】次に類似度の求め方について説明する。Ｎ　次までの直
交展開の係数を用いて、Ｎ　次元の係数空間の距離Ｌ　
を求める。

【数３】さらに、画像の係数空間の原点からの距離で正規化を行
い類似度Ｈ　は次式のように定義される。

【数４】これによって２つの画像を定量的な要素も加えてその類
似性を評価することができる。

【０００９】次に上述の計算を実施するための回路例の
実施例を図１に示す。関数ｆ（ｘ）とｇ（ｘ）はそれぞ
れ２つの画像データを示すものとする。φ１（ｘ），　
φ２（ｘ），　φＮ（ｘ）はそれぞれ第１，第２，第Ｎ
　次の直交関数を示す。第１直交係数器１から第Ｎ　直
交係数器３までの構成は同じなのでその中の構成を第１
直交係数器１のみで示し、その動作を第１直交係数器１
で説明する。

【００１０】２つの画像を表わす関数ｆ（ｘ），　ｇ（
ｘ）についてそれぞれ直交係数を求めるため、関数ｆ（
ｘ）とφ（ｘ）　との乗算、関数ｇ（ｘ）とφ（ｘ）　
との乗算を乗算器１１と乗算器１２でそれぞれ行う。次
に、その乗算結果を累積器１３、累積器１４で累積を行
い、係数Ｃｋ，　Ｄｋを求める。２点間の距離を求める
ため、減算器１５で係数ＣｋとＤｋの差を求め、２乗器
１７で２乗し、各直交係数器で求めた結果を累積器４で
累積する。一方、係数Ｃｋは２乗器１６で２乗され、各
直交係数器で求めた結果を累積器５で累積する。累積器
４で求めた２点間の距離を累積器５で求めた画像ｆ（ｘ
）の係数の原点からの距離で除算器６を用いて除算する
。この結果が求める類似度である。これをベクトルの信
頼性を評価する数値と定義する。

【００１１】次に求めた信頼性の評価値をベクトル検出
に適応する例を説明する。反復勾配法におけてる反復ベクトルの大きさを制限する
方法画像の動きベクトルの求め方に反復勾配法という一方法
があり、これはパターンマッチング法で求めた初期偏位
ベクトルを次第に修正して真の動きベクトルを求めてい
く方法である（詳細については本願人になる１９９１年
５月２３日付出願の「シーンチェンジ検出方法」参照の
こと）。従って、反復勾配法においては、反復過程にお
いて求めたベクトルが適正な場合には真のベクトルに漸
近していくが、求めたベクトルが真のベクトルとかけ離
れている場合は発散することがある。これを防ぐために
、反復過程で求めたベクトルの大きさを制限すれば良い
ことがわかっている。つまり、反復過程で求めたベクト
ルに本発明によって求めた信頼性を表わす類似度Ｈ　を
（１−Ｈ）の形で乗算して発散を防ぐようにすればよい
。画像が同じであれば数値（１−Ｈ）は１となり求めた
ベクトルをそのまま使用することができる。画像が異な
る場合は０に近くなり発散を阻止する。

【００１２】ベクトルの割付けに適応する方法ベクトル
検出器には、通常、求めたベクトルを最適であるかどう
かを判断する回路があり、ここではこれをベクトルの割
付けと呼ぶ。ベクトルの割付けは、ブロック内に複数の
ベクトルがもとまる場合はゼロベクトルを含めた候補ベ
クトルの中から、ブロック内に１つだけベクトルがもと
まる場合は求めたベクトルとゼロベクトルから最適なベ
クトルを求める回路である。最適なベクトルを求める一
般的な方法は、ベクトルで画面を移動して、２つの画像
の差分を計算し、これが最小となるベクトルを採用する
、という方法である。最適なベクトルを求める手法とし
て、本発明の信頼性を表わす類似度Ｈ　を用いると、画
像の差分による判定よりもさらに信頼度の高い判定が可
能となる。

【００１３】レジストレーション検出への応用一般に画
像を撮像した時の映像信号からカメラのレジストレーシ
ョンずれを検出して補正する方式が開発されている。レ
ジストレーション検出では入力被写体がモノクローム画
像に近い場合にのみ正しい検出が行なえる。従って、入
力のＲ信号とＧ　信号、またはＢ　信号とＧ　信号の類
似性を本発明方法により検定し、類似度Ｈ　が高い場合
　（零に近い場合）　、すなわち、モノクローム信号に
近い場合にのみレジストレーション検出を行なわせるよ
うにすることにより、レジストレーション検出の精度を
高めることができる。

【００１４】以上本発明の実施例とその適用例のいくつ
かについて説明してきたが、本発明はこの実施例に限定
されることなく、特許請求の範囲に記載された要旨内で
各種の変形、変更の可能なことは自明であろう。

【００１５】

【発明の効果】本発明判定方法によれば、求められた画
像の動きベクトル信頼性の判定を、対応する２つの画像
信号のフレーム間差で求めるのではなく、その画像が示
す一次元または二次元関数を直交関数展開した時のＮ　
次元係数空間の距離を正規化した値から求めるので、従
来に比し動きベクトル判定の信頼性が上昇し、しかも比
較する２つの画像の類似性を定量的に表示することもで
きるので、実施例の後半に記載したような種々の応用性
を有するものとなる。

【図面の簡単な説明】

【図１】本発明方法を実施するための類似度を求める具
体的回路例を示す。

【図２】任意の画像とこれをベクトルシフトしたときの
画像とのフレーム間差分を示す。

【符号の説明】

１，２，３　　それぞれ第１，第２、第Ｎ　直交係数器
４，５，１３，　１４　　累積器６　　除算器１１，　１２　　乗算器１５　　減算器１６，　１７　　２乗器

Claims

【特許請求の範囲】

【請求項１】　　テレビジョン画面を複数の小ブロック
に分割し、各小ブロック毎にそれを代表する画像の動き
ベクトルを所定の方法で求め、この所定の方法で求めら
れた画像の動きベクトルがその小ブロックの画像の動き
ベクトルとして適切であるかどうかを判定するにあたり
、対象とする画面の前記小ブロックの画像と、前記所定
の方法で求められた動きベクトルを前記小ブロックの画
像に適用して求まる対応小ブロックの画像とを表わす画
面の水平（ｘ）　、垂直（ｙ）　の一次元または二次元
関数に対し、それぞれ直交関数展開した時に求まるＮ　
次元係数空間の距離を正規化した値を求め、これを前記
小ブロックの画像と前記対応小ブロックの画像の類似度
を表わす値とし、この類似度の値を前記所定の方法で求
めた画像の動きベクトルが前記小ブロックの画像の動き
ベクトルとして適切であるかどうかの判定基準として使
用することを特徴とする動きベクトル信頼性の判定方法
。