JPH0223789A - パンニング検出方法及びその装置 - Google Patents

パンニング検出方法及びその装置

Info

Publication number
JPH0223789A
JPH0223789A JP63174555A JP17455588A JPH0223789A JP H0223789 A JPH0223789 A JP H0223789A JP 63174555 A JP63174555 A JP 63174555A JP 17455588 A JP17455588 A JP 17455588A JP H0223789 A JPH0223789 A JP H0223789A
Authority
JP
Japan
Prior art keywords
motion vector
determined
row
image
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP63174555A
Other languages
English (en)
Inventor
Hiroaki Aono
青野 浩明
Takeyoshi Ochiai
勇悦 落合
Kiyoshi Takahashi
潔 高橋
Akiyoshi Tanaka
章喜 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP63174555A priority Critical patent/JPH0223789A/ja
Publication of JPH0223789A publication Critical patent/JPH0223789A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、時間的に連続した2フレームの画像全体の平
行移動(パンニング)な検出するパンニング検出方法及
びその装置に関するものである。
従来の技術 最近、動きベクトルな用いた画像処理は、動き3 ベー
ジ 補正符号化のように、フレーム相関を用いた動画像の処
理などの分野で、盛んに利用されるようになってきた。
画面の平行移動であるパンニングは、この動きベクトル
な算出することにより求められる。この動きベクトル検
出方式は、例えば、特開昭61−201581号公報に
記載されているように。
代表点マツチング法による方式が知られている。
以下、第5図を参照して従来の動きベクトル検出方式に
ついて説明する。
第5図において、40は画像信号を入力する入力端子、
41は前フレームの代表点の情報な保存する代表点保存
メモリ、42は入力端子40に入力された現フレームと
、代表点保存メモリ41に保存されている前フレームの
情報との間で相関演算を行う相関器、43は相関器42
が出力する相関結果を累積加算する累積加算器、44は
累積加算器43が出力する累積加算結果より動きベクト
ルな発生する動きベクトル発生回路、45は動きベクト
ルを出力する出力端子である。
以上のような構成において、以下その動作について説明
する。
まず入力端子40より入力される現フレームの画像信号
は1代表点保存メモリ41に保存されている前フレーム
の代表点の情報と相関器42において相関演算が行われ
る。すなわち、現フレームの画像信号と前フレームの代
表点との間で輝度差が求められる。求められた輝度差は
、累積加算器43において代表点に対する各偏位ごとに
1フレ一ム期間累積加算が行われる。累積加算結果は動
きベクトル発生回路44により累積加算の最小値となる
時の代表点に対する偏位が求められ、その偏位が動きベ
クトルとして、出力端子45より出力される。
発明が解決しようとする課題 しかし、以上のような動きベクトル検出方式では、画面
全体のフレーム相関により求めているため、以下に示す
問題点を有していた。動きベクトルによる動き補正は本
来、画像が平行移動した時、すなわち、カメラのパンニ
ングの場合に有効となるが、例えば、カメラのズーミン
グや場面切り替5 八−ノ えの場合は、動きベクトルによる動き補正が無効であり
、かつ、動き補正を行うとかえって悪影響が出る。しか
し、従来の方法では、カメラのパンニング以外の時、す
なわち、カメラのズーミングや場面切り替えの場合でも
、動きベクトルを画面全体のフレーム相関より算出して
いるため、間違った動き補正をかけ、画像に悪影響な及
ぼす場合があった。
本発明は、従来技術の以上のような課題を解決するもの
で、動きベクトルによる動き補正の有効性な判断するた
めに、画像のパンニングを検出することな目的としたも
のである。
課題を解決するための手段 上記目的を達成するために、本発明の技術的解決手段は
、画像の端に配置した、相関抽出領域(動きベクトル検
出ブロック)と相関検出用代表点より画像の上端、下端
、左端、右端の動きベクトル検出ブロックが構成する行
および列ごとに動きベクトルな求め、その求めた動きベ
クトルの有効性な判断し、有効と判断された場合はその
動きベクトルな採用し、無効と判断された場合はその行
、列より画面の中央よりの動きベクトル検出ブロックが
構成する行、列より求めた動きベクトルを採用し、最終
的に求められた4つの動きベクトルを比較することによ
り、時間的に連続した2フレームの画像全体の平行移動
(パンニング)を検出するようにしたものである。
作    用 本発明は、画像の端に配置した、相関抽出領域(動きベ
クトル検出ブロック)と相関検出用代表点より画像の上
端、下端、左端、右端の動きベクトル検出ブロックが構
成する行および列ごとに動きベクトルな求め、求めた動
きベクトルの有効性な判断し、有効と判断された場合は
その行および列の動きベクトルを採用し、絵柄に乏しい
画像、あるいはその行、列の中で移動物体がある画像で
ある場合のように、動きベクトルが無効と判断された場
合はその行、列より画面の中央より行、列より求めた動
きベクトルを採用し、最終的に求められた4つの動きベ
クトルな比較し、その各動き7ベーノ ベクトルが一致したか否かでパンニングを検出するよう
にしたものである。
実施例 以下、第1図を参照しながら本発明の一実施例について
説明する。第1図は本発明の一実施例におけるパンニン
グ検出方法を説明するための概念図である。第1図にお
いて、1はMxN画素で構成される画像、2はKXL画
素で構成される動きベクトル検出ブロック、3は動きベ
クトル検出ブロック2を構成する1画素の中から選ばれ
る代表点、4は画像の上端の動きベクトル検出ブロック
が構成する第a行、5は4の第a行より画面の中央より
の動きベクトル検出ブロックが構成する第a′行、6は
画像の下端の動きベクトル検出ブロックが構成する第す
行、7は6の第す行より画面の中央よりの動きベクトル
検出ブロックが構成する第り″行、8は画像の左端の動
きベクトル検出ブロックが構成する第C列、9は8の第
C列より画面の中央よりの動きベクトル検出ブロックが
構成する第C列、 10は画像の右端の動きベクトル検
出ブロックが構成する第d列、11は10の第d列より
画面の中央よりの動きベクトル検出ブロックが構成する
第d′列である。以上のような構成において、以下その
動作な説明する。
本実施例では、現フレームの画像信号のうち各Meベク
トル検出ブロックに属する画素と、前フレームのその動
きベクトル検出ブロックの代表点との間で、相関演算を
行う。すなわち、現フレームの動きベクトル検出ブロッ
クの中の各画素と、前フレームの代表点との輝度差を求
める。そして、4.5,6.7の第a、第a +、第す
、第り’の行単位、あるいは8,9,10.11の第C
9第c l。
第d、第d′の列単位ごとに代表点に対する各偏位ごと
の輝度差を累積加算し、さらに行、列ごとに累積加算値
の最小値となる偏位を求め、その偏位から動きベクトル
を求める。この時、4の第a行より求められた動きベク
トルをA、5の第a 1行より求められた動きベクトル
をA’、6の第す行より求められた動きベクトルをB、
7の第り′行より求められた動きベクトルをB′、8の
第C9ベーノ 行より求められた動きベクトルをC19の第C′列より
求められた動きベクトルをC′  10の第d列行より
求められた動きベクトルなり、11の第d°列行より求
められた動きベクトルをDoとする。さらに、それぞれ
の動きベクトル検出ブロックが構成する行あるいは列の
中が絵柄に乏しい場合、あるいはその行、列の中で移動
物体が含まれることにより、求められた動きベクトルが
無効な動きベクトルであるか否かを調べるため、動きベ
クトルA、C,C,Dは、有効性が調べられる。
有効だと判断される場合は、そのままA、B、C。
Dが、無効だと判断される場合は、それぞれ代わりにA
’、B” 、C“ I) lが選択される。有効か無効
かの判断は、A、B、C,Dを求める際に計算した累積
加算唾の最小値がいき値X(Xの瞳は任意)より小さい
場合有効、大きい場合無効とすることにより行われる。
また、AとA’、BとB” 、CとC’、DとD”の選
択は、動きベクトルを求める際に求めた累積加算値の最
小値が小さい行あるいは列から求められた動きベクトル
を選10べ−7 択してもよい。こうして求められた4つの動きベクトル
A又はA’、B又はB’、C又はC’  、D又はDo
を用いてパンニングの検出を行う。すなわち、パンニン
グの場合、第2図に示すように、前フレーム12に対し
て、動きベクトル14の分だけ平行移動させたものが現
フレーム13になる。
したがって、パンニングであれば、第3図(alに示す
ように、画像のどの位置の行およびでも列においても求
められる動きベクトルは等しくなるので、第(1)式の
関係が成り立つ。
AorA’=BorB’ = Cor C’       、1ll=DorD’ また、第3図(blに示すようなズーミングの場合、あ
るいは第3図(C)に示すようなシーンチェンジの場合
は、各行、各列より求められた動きベクトルAorA’
 、BorB’ 、CorC’ 、DorD’はそれぞ
れ異なるので、第(2)式のようになる。
AorA’〆BorB’ BorB’〆Cor C’         (211
1ヘ−ノ Cor C’ ;l D or D’ D or D’ lA or A’ Aor A’  Ic or C’ BorB’ 〆DorD’ したがって、画像の端に配置した、相関抽出領域(動き
ベクトル検出ブロック)と相関検出用代表点より画像の
上端、下端、左端、右端の動きベクトル検出ブロックが
構成する行および列ごとに動きベクトルA、A” 、B
、B’  、C,C’  、D。
D′を求め、AとA’  、13とB’  、CとC’
  、Dと1)”の中からより有効な方を選択し、最終
的に求められた上端、下端、左端、右端の各4つの動き
ベクトルを比較し、その各動きベクトルが一致したか否
かでパンニングを確実に検出することができる。
次に、第4図を用いて、第1図で説明した方法を実現す
るだめの装置のブロック結線図を示す。
第4図において、15は画像信号を入力する入力端子、
16は前フレームの動きベクトル検出ブロックの中の代
表点の情報を保存する代表点保存メモリ、17は入力端
子15に入力された現フレームの動きベクトル検出ブロ
ックの中の情報と、代表点保存メモリ16に保存されて
いる前フレームの情報との間で相関演算を行う相関器、
18〜25は相関器17の出力する相関結果な画像の上
端、下端、左端、右端の動きベクトル検出ブロックが構
成する行および列ごとに累積加算する累積加算器、26
〜33は累積加算器18〜25が出力ずろ画像の上端、
下端、左端、右端の動きベクトル検出ブロックが構成す
る行および列ごとの累積加算結果より動きベクトルを発
生する動きベクトル発生回路、34〜37は求められた
動きベクトルの有効性を調べ動きベクトルAとA” 、
BとB″ 、CとC’DとD”のどちらか一方を選択す
る有効性判断回路、 38は34〜37の有効性判断回
路が出力する画像の上端、下端、左端、右端の4つの動
きベクトルよりパンニングを判断する判断回路、 39
はパンニング出力する出力端子である。
上記構成において、以下その動作を説明する。
まず、相関器17では、入力端子15がら入ノJさ13
ベーノ゛ れる現フレームの画像信号のうち各動きベクトル検出プ
rff7りに属する画素と、代表点保存メモリ16の記
憶されている前フレームのその動きベクトル検出ブロッ
クの代表点との間で、相関演算な行う。すなわち、現フ
レームの動きベクトル検出ブロックの中の各画素と、前
フレームの代表点との輝度差を求める。そして、累積加
算器18〜25では第a、第a+ 、第す、第り″の行
単位、あるいは第C1第C“ 、第d、第d”の列単位
ごとに代表点に対する各偏位ごとの輝度差を累積加算し
、さらに動きベクトル発生回路26〜33で行、列ごと
に累積加算器の最小(直となる偏位を求め、その偏位か
ら動きベクトルを求める。さらに、有効性判断回路34
〜37ではそれぞれの動きベクトル検出ブロックが構成
する行あるいは列の中が絵柄に乏しい場合、あるいはそ
の行、列の中で移動物体が含まれることにより、求めら
れた動きベクトルが無効な動きベクトルであるか否かを
調べるため動きベクトルA、B、C,Dは、その有効性
が調べられる。有効だと判断される場合は、そのまま1
4 ・・−・ A、B、C,Dが、無効だと判断される場合は、それぞ
れ代わりにA′ 、B“ 、C” 、 I)”が選択さ
れる。有効か無効かの判断は、A 、 B 、 C、1
)を求める際に計算した累積加算値の最小値がいき値(
Xの値は任意)より小さい場合有効、大きい場合無効と
することにより行われる。こうして求められた4つの動
きベクトルA又はA’、13又はB’、C又はC’、D
又はD′な用いて判断回路38ではパンニングの検出を
前述の如く行う。
発明の効果 以上のように1本発明の効果として、画像の端に配置し
た、相関抽出領域(動きベクトル検出ブロック)と相関
検出用代表点より画像の上端、下端、左端、右端の動き
ベクトル検出ブロックが構成する4つの行および4つの
列の動きベクトルを求め、求められた動きベクトルの有
効性な調べより有効な動きベクトルを画像の上端、下端
、左端、右端の行、列から各1つずつ選択し、最終的に
求められた4つの動きベクトルを比較し、その各動きベ
クトルが一致したか否かでパンニングを15ページ 検出することにより、確実にパンニングを検出すること
ができ、さらに求められたパンニングにより、動きベク
トルによる動き補正の有効性を判断することができ、そ
の効果は大である。
【図面の簡単な説明】
第1図は本発明の一実施例におけるパンニング検出方法
を説明するための概念図、第2図は同方法におけるパン
ニングと動きベクトルの関係を示す図、第3図(a)〜
(C)は同パンニング、ズーミング、シーンチェンジと
画像の上端、下端、左端、右端の動きベクトル検出ブロ
ックが構成する行および列ごとの動きベクトルの関係を
示す概念図、第4図は本発明の一実施例におけるパンニ
ング検出装置のブロック結線図、第5図は従来の動きベ
クトル検出装置のブロック結線図である。 1・・・画像、2・・・動きベクトル検出ブロック、3
・・・前フレームの代表点、12・・・前フレームの画
像、13・・・現フレームの画像、14・動きベクトル
、15・・・入力端子、16・・代表点保存メモリ、 
17・・相関器、18〜25 ・累積加算器、26〜3
3・・・動きベクトル発生回路、34〜37・・・有効
性判断回路、38・・・判断回路、39・・・出力端子

Claims (2)

    【特許請求の範囲】
  1. (1)画像の端に配置した、相関抽出領域(動きベクト
    ル検出ブロック)と相関検出用代表点より画像の上端、
    下端、左端、右端の動きベクトル検出ブロックが構成す
    る行および列ごとに動きベクトルを求め、求めた動きベ
    クトルの有効性を判断し、有効と判断された場合はその
    動きベクトルを採用し、無効と判断された場合はその行
    、列より画面の中央よりの動きベクトル検出ブロックが
    構成する行、列より求めた動きベクトルを採用し、最終
    的に求められた4つの動きベクトルを比較するパンニン
    グ検出方法。
  2. (2)画像における前フレームの動きベクトル検出ブロ
    ックの中の代表点の情報を保存する代表点保存メモリと
    、入力された現フレームの動きベクトル検出ブロックの
    中の情報及び前記代表点保存メモリに保存されている前
    フレームの情報との間で相関演算を行う相関器と、前記
    相関器が出力する相関結果を画像の上端、下端、左端、
    右端の動きベクトル検出ブロックが構成する行および列
    ごとに累積加算する累積加算器と、前記累積加算器が出
    力する画像の上端、下端、左端、右端の動きベクトル検
    出ブロックが構成する行および列ごとの累積加算結果よ
    り動きベクトルを発生する動きベクトル発生回路と、そ
    の求められた動きベクトルの有効性を調べる有効性判断
    回路と、前記有効性判断回路が出力する画像の上端、下
    端、左端、右端の4つの動きベクトルよりパンニングを
    判断する判断回路とを具備するパンニング検出装置。
JP63174555A 1988-07-13 1988-07-13 パンニング検出方法及びその装置 Pending JPH0223789A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63174555A JPH0223789A (ja) 1988-07-13 1988-07-13 パンニング検出方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63174555A JPH0223789A (ja) 1988-07-13 1988-07-13 パンニング検出方法及びその装置

Publications (1)

Publication Number Publication Date
JPH0223789A true JPH0223789A (ja) 1990-01-25

Family

ID=15980606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63174555A Pending JPH0223789A (ja) 1988-07-13 1988-07-13 パンニング検出方法及びその装置

Country Status (1)

Country Link
JP (1) JPH0223789A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
JP2008225591A (ja) * 2007-03-09 2008-09-25 Nippon Telegr & Teleph Corp <Ntt> カメラワーク検出方法,装置,プログラムおよびその記録媒体
US7593038B2 (en) 2004-10-15 2009-09-22 Nikon Corporation Camera enabling panning and moving picture editing program product

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
US7593038B2 (en) 2004-10-15 2009-09-22 Nikon Corporation Camera enabling panning and moving picture editing program product
JP2008225591A (ja) * 2007-03-09 2008-09-25 Nippon Telegr & Teleph Corp <Ntt> カメラワーク検出方法,装置,プログラムおよびその記録媒体

Similar Documents

Publication Publication Date Title
JP3226020B2 (ja) 動きベクトル検出装置
JPH0520036B2 (ja)
US7855731B2 (en) Image vibration-compensating apparatus and method thereof
JP3308617B2 (ja) 動きベクトル検出装置及びその方法
JPH11205799A (ja) 動きベクトル検出装置及び方法
JPS61269475A (ja) 動きベクトル検出装置
JP4659793B2 (ja) 画像処理装置及び画像処理方法
JPH0223789A (ja) パンニング検出方法及びその装置
JP3321936B2 (ja) 移動物体検出装置
JPH08315151A (ja) 動き評価の場合のアンダーサンプリングの方法及び回路配置
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
US6968011B2 (en) Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices
JPH0223788A (ja) パンニング検出方法及びその装置
JP3252418B2 (ja) 画像の手振れ判定装置
JP2001025021A (ja) 動き検出方法および動き検出装置
JPH05176314A (ja) 画像の動き検出装置
JP3941900B2 (ja) 動きベクトル検出装置
JP2614574B2 (ja) 動きベクトル検出回路
JPH0279584A (ja) 画像動き検出装置
CN114581327B (zh) 图像处理方法及装置、存储介质、电子设备
JPS61201587A (ja) 動きベクトル検出装置
JPH02206986A (ja) 動きベクトル検出方法
JPH02131690A (ja) 動き補償回路
JPH03229585A (ja) 動きベクトル検出装置