JPH0223788A

JPH0223788A - パンニング検出方法及びその装置

Info

Publication number: JPH0223788A
Application number: JP63174554A
Authority: JP
Inventors: Hiroaki Aono; 青野　浩明; Takeyoshi Ochiai; 勇悦落合; Kiyoshi Takahashi; 潔高橋; Akiyoshi Tanaka; 章喜田中
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-07-13
Filing date: 1988-07-13
Publication date: 1990-01-25

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、時間的に連続した２フレームの画像全体の平
行移動（パンニング）を検出するパンニング検出方法及
びその装置に関するものである。

従来の技術最近、動きベクトルを用いた画像処理は、動き補正符号
化のように、フレーム相関を用いた動画像の処理などの
分野で、盛んに利用されるようになってきた。画面の平
行移動であるパンニングは、この動きベクトルを算出す
ることによ請求められる。この動きベクトル検出方法は
、例えば、特開昭６１−２０１５８１号公報に記載され
ているように、代表点マツチング法による方式が知られ
ている。以下、第５図を参照して従来の動きベクトル検
出方式について説明する。

第５図において、２４は画像信号を入力する入力端子、
２５は前フレームの代表点の情報を保存する代表点保存
メモリ、２６は入力端子２４に入力された現フレームと
、代表点保存メモリ２５に保存されている前フレームの
情報との間で相関演算を行う相関器、２７は相関器２６
が出力する相関結果を累積加算する累積加算器、２８は
累積加算器２７が出力する累積加算結果よフ動きベクト
ルを発生する動きベクトル発生回路、２９は動きベクト
ルを出力する出力端子である。

以上のような構成において、以下その動作について説明
する。

まず入力端子２４よ多入力される現フレームの画像信号
は、代表点保存メモリ２５に保存されている前フレーム
の代表点の情報と相関器２６において相関演算が行われ
る。すなわち、現フレームの画像信号と前フレームの代
表点との間で輝度差が求められる。求められた輝度差は
、累積加算器２７において代表点に対する各偏移ごとに
１フレ一ム期間累積加算が行われる。累積加算結果は動
きベクトル発生回路２８によシ累積加算の最小値となる
時の代表点に対する偏移が求められ、その偏移が動きベ
クトルとして、出力端子２９よシ出しかし、以上のよう
な動きベクトル検出方式では、画面全体のフレーム相関
によυ求めているため、以下に示す問題点を有していた
。動きベクトルによる動き補正は本来、画像が平行移動
した時、すなわち、カメラのパンニングの場合に有効と
なるが、例えば、カメラのズーミングや場面切シ替えの
場合は、動きベクトルによる動き補正が無効であシ、か
つ、動き補正を行うとかえって悪影響が出る。しかし、
従来の方法では、カメラのパンニング以外の時、すなわ
ち、カメラのズーミングや場面切り替えの場合でも、動
きベクトルを画面全体のフレーム相関よシ算出している
ため、間違った動き補正をかけ、画像に悪影響を及ぼす
場合があった。

本発明は、従来技術の以上のような課題を解決するもの
で、動きベクトルによる動き補正の有効性を判断するた
めに、画像のパンニングを検出することを目的としたも
のである。

課題を解決するための手段上記目的を達成するために、本発明の技術的解決手段は
、画像の端に配置した、相関抽出領域（動きベクトル検
出ブロック）と相関検出用代表点よ多画像の上端、下端
、左端、右端の動きベクトル検出ブロックが構成する行
および列ごとに動きベクトルを求めるようにしたもので
ある。

作　　用本発明は、画像の端に配置した、相関抽出領域（動きベ
クトル検出ブロック）と相関検出用代表点よ多画像の上
端、下端、左端、右端の動きベクトル検出ブロックが構
成する行および列ごとに動きベクトルを求め、求められ
た各動きベクトルを６・＼−７比較し、その各動きベクトルが一致したか否かでパンニ
ングを検出するようにしたものである。

実施例以下、第１図を参照しながら本発明の一実施例について
説明する。第１図は本発明の一実施例におけるパンニン
グ検出方法を説明するための概念図である。第１図にお
いて、１は画像、２は動きベクトル検出ブロック、３は
動きベクトル検出ブロック２を構成する１画素の中から
選ばれる代表点、４は画像の上端の動きベクトル検出ブ
ロックが構成する行、５は画像の下端の動きベクトル検
出ブロックが構成する行、６は画像の左端の動きベクト
ル検出ブロックが構成する列、７は画像の右端の動きベ
クトル検出ブロックが構成する列である。以上のような
構成において、以下その動作を説明する。

本実施例では、現フレームの画像信号のうち各動きベク
トル検出ブロックに属する画素と、前フレームのその動
きベクトル検出ブロックの代表点との間で、相関演算を
行う。すなわち、現フレー７　、ムの動きベクトル検出ブロックの中の各画素と、前フレ
ームの代表点との輝度差を求める。そして、端に位置す
る４、５，６．７の行単位あるいは列単位ごとに代表点
に対する各偏移ごとに輝度差を累積加算し、行、列ごと
に累積加算値の最小値となる偏移から動きベクトルを求
める。この時、４の上端の行よシ求められた動きベクト
ルをＡ、　５の下端の行よシ求められた動きベクトルを
８．６の左端の列よシ求められた動きベクトルをＣ，７
の右端の行よシ求められた動きベクトルを０とする。パ
ンニングの場合、第２図に示すように、前フレーム８に
対して、動きベクトル１０の分だけ平行移動させたもの
が現フレーム９になる。したがって、パンニングであれ
ば、第３図（、）に示すように、画像のどの位置におい
ても動きベクトルは等しくなるので、第（１）式の関係
が成シ立つ。

Ａ＝Ｂ＝Ｃ＝Ｄ　　・・・・・・・・・　（１）また、
第３図（ｂ）に示すようなズーミングの場合、あるいは
、第３図（、）に示すような場面切シ替えの場合は、各
行、各列よシ求められた動きベクトルは異なるので、第
（２）式のようになる。

したがって、画像の端に配置した、相関抽出領域（動き
ベクトル検出ブロック）と相関検出用代表点よシ画像の
上端、下端、左端、右端の動きベクトル検出ブロックが
構成する行および列ごとに動きベクトルを求め、求めら
れた各動きベクトルを比較し、その各動きベクトルが一
致したか否かでパンニングを確実に検出することができ
る。

次に、第４図を用いて、第１図の実施例を実現するため
の装置を示す。第４図において、１１は画像信号を入力
する入力端子、１２は前フレームの動きベクトル検出ブ
ロックの中の代表点の情報を保存する代表点保存メモリ
、１３は入力端子１１に入力された現フレームの動きベ
クトル検出ブロックの中の情報と、代表点保存メモリ１
２に保存されている前フレームの情報との間で相関器９
　・・　・算を行う相関器、１４〜１７は相関器１３が出力する相
関結果を画像の上端、下端、左端、右端の動きベクトル
検出ブロックが構成する行および列ごとに累積加算する
累積加算器、１８〜２１は累積加算器１４〜１７が出力
する画像の上端、下端、左端、右端の動きベクトル検出
ブロックが構成する行および列ごとの累積加算結果よシ
動きベクトルを発生する動きベクトル発生回路、２２は
動きベクトル発生回路１８〜２１が出力する画像の上端
、下端、左端、右端の動きベクトル検出ブロックが構成
する行および列ごとの動きベクトルよシパンニングを判
断する判断回路、２３はパンニング出力する出力端子で
ある。

上記構成において、以下その動作を説明する。

まず、相関器１３では、現フレームの画像信号のうち各
動きベクトル検出ブロックに属する第１図の４．５，６
．７の画素と、代表点保存メモリ１２に記憶されている
前フレームのその動きベクトル検出ブロックの代表点と
の間で、相関演算を行う。すなわち、相関器１３では現
フレームの動１０　ｌ＼−／きベクトル検出ブロックの中の各画素と、前フレームの
代表点との輝度差を求める。そして相関器１３の結果は
、端に位置する４、５，６．７の行単位あるいは列単位
ごとに代表点に対する各偏移ごとに累積加算器１４〜１
７で輝度差が累積加算する。次に、動きベクトル発生回
路１８〜２１では各累積加算器１４〜１７の出力、すな
わち行、列ごとに累積加算値の最小値となる偏移から動
きベクトルＡ〜０を求める。そして判断回路２２では動
きベクトル発生回路１８〜２１の結果から、前述のよう
に、パンニングの場合、第２図に示すように、前フレー
ム８に対して、動きベクトル１０の分だけ平行移動させ
たものが現フレーム９になる。したがって、パンニング
であれば、第３図（、）に示すように、画像のどの位置
においても動きベクトルは等しくなるので、前記第（１
）式の関係が成シ立つ。

また、第３図（ｂ）に示すようなズーミングの場合、あ
るいは、第３図（、）に示すような場面切シ替えの場合
は、各行、各列よシ求められた動きベクトルは異なるの
で、前記第（２）式のようになる。

したがって、画像の端に配置した、相関抽出領域（動き
ベクトル検出ブロック）と相関検出用代表点よ多画像の
上端、下端、左端、右端の動きベクトル検出ブロックが
構成する行および列ごとに動きベクトルを求め、求めら
れた各動きベクトルを比較し、その各動きベクトルが一
致したか否かでパンニングを確実に検出することができ
る。

発明の効果以上のように、本発明の効果として、画像の端に配置し
た、相関抽出領域（動きベクトル検出ブロック）と相関
検出用代表点よ多画像の上端、下端、左端、右端の動き
ベクトル検出ブロックが構成する行および列ごとに動き
ベクトルを求め、求められた各動きベクトルを比較し、
その各動きベクトルが一致したか否かでパンニングを検
出することで、確実にパンニングを検出する９とができ
、求められたパンニングにより、動きベクトルによる動
き補正の有効性を判断することができ、その効果は大で
ある。

【図面の簡単な説明】

第１図は本発明の一実施例におけるパンニング検出方法
を説明するブロック概念図、第２図はパンニングと動き
ベクトルの関係を示す概念図、第３図（ａ）〜（、）は
パンニング、ズーミング、場面切少替えと画像の上端、
下端、左端、右端の動きベクトル検出ブロックが構成す
る行および列ごとの動きベクトルの関係を示す関係図、
第４図は本発明の一実施例におけるパンニング検出方法
を実現するための装置のブロック結線図、第５図は従来
の動きベクトル検出装置のブロック結線図である。１・・・・・画像、２・・・・・・動きベクトル検出ブ
ロック、３・・・・・・前フレームの代表点、４・・・
・・画像の上端の動きベクトル検出ブロックが構成する
行、５・・・・・・画像の下端の動きベクトル検出ブロ
ックが構成する行、６・・・・・画像の左端の動きベク
トル検出ブロックが構成する列、７・・・・・・画像の
右端の動きベクトル検出ブロックが構成する列、８・・
・・・・前フレームの画像、９・・・現フレームの画像
、１０・・・・動きベクトル、１１・・・・・入力端子
、１２・・・・・・代表点１３　・＼−７保存メモリ、１３・・・・・相関器、１４〜１７　・累
積加算器、１８〜２１　・・・・動きベクトル発生回路
、２２・・・・・・判断回路、２３・・・・・・出力端
子、２４・・・・・・入力端子、２５・・・・・・代表
点保存メモリ、２６・・・・・相関器、２７・・・・・
累積加算器、２８・・・・・・動きベクトル発生回路、
２９・・・・出力端子。代理人の氏名　弁理士　粟　野　重　孝　ほか１名第１
図回派圃昧

Claims

【特許請求の範囲】

（１）画像の端に配置した、相関抽出領域と相関検出用
代表点より、画像の上端、下端、左端、右端の動きベク
トル検出ブロックが構成する行および列ごとに動きベク
トルを求め、求められた４つの動きベクトルを比較する
ことにより、時間的に連続した２フレームの画像全体の
平行移動を検出するパンニング検出方法。
（２）前画像フレームの動きベクトル検出ブロックの中
の代表点の情報を保存する代表点保存メモリと、入力さ
れた現画像フレームの動きベクトル検出ブロックの中の
情報と、前記代表点保存メモリに保存されている前画像
フレームの情報との間で相関演算を行う相関手段と、前
記相関手段が出力する相関結果を画像の上端、下端、左
端、右端の動きベクトル検出ブロックが構成する行およ
び列ごとに累積加算する累積加算出段と、前記累積加算
手段が出力する画像の上端、下端、左端、右端の動きベ
クトル検出ブロックが構成する行および列ごとの累積加
算結果より動きベクトルを発生する動きベクトル発生手
段と、前記動きベクトル発生手段が出力する画像の上端
、下端、左端、右端の動きベクトル検出ブロックが構成
する行および列ごとの動きベクトルよりパンニングを判
断する判断手段とを具備するパンニング検出装置。