JPH05219419A - 画像の動きベクトル検出装置 - Google Patents
画像の動きベクトル検出装置Info
- Publication number
- JPH05219419A JPH05219419A JP3290485A JP29048591A JPH05219419A JP H05219419 A JPH05219419 A JP H05219419A JP 3290485 A JP3290485 A JP 3290485A JP 29048591 A JP29048591 A JP 29048591A JP H05219419 A JPH05219419 A JP H05219419A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- integrated value
- correlation integrated
- image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
のできる画像の動きベクトル検出装置を提供する。 【構成】 現フレームのブロックの各画素の画像データ
と代表点メモリ11から読み出される前フレームのブロ
ックの代表点画素の画像データとの差分を減算回路12
により検出して、相関積算値表形成回路13により相関
積算値表を形成する。動きベクトル推定回路14は、上
記相関積算値表の最小相関積算値の座標が中央に位置す
る周辺座標における相関積算値及び最小相関積算値を含
むn次曲面の最小値の対応する座標を求めて動きベクト
ルを推定する。
Description
出装置に関し、ハンディタイプのビデオカメラの撮像出
力等をビデオデータに含まれる所謂手振れによる画像の
移動量を検出して補正する画像動き補正装置などに適用
される。
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭63−166370号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域(ブロックと称する)に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、1ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトル検出装置では、上記相関積分
値が各画素に対応して離散的に算出されており、上記相
関積算値表における整数座標値でしか画像の動きベクト
ルが求まらないので、検出精度が低いという問題点があ
った。従って、従来の画像の動きベクトル検出装置によ
り検出した画像の動きベクトルにより例えば手振れ補正
信号を形成して、手振れ補正を行った場合に、十分な補
正精度が得られず、不自然が画像となってしまう。
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の動きベクトル検出装置を提供するものである。
クトル検出装置は、上述の課題を解決するために、入力
ビデオ信号で構成される1フレームの画像を複数に分割
した各ブロック毎の代表点画素の画像データを記憶する
メモリと、現フレームのブロックの各画素の画像データ
と上記メモリに記憶された前フレームのブロックの代表
点画素の画像データとの差分の絶対値を検出する差分検
出手段と、上記差分検出手段により検出された各ブロッ
クのフレーム差分絶対値を対応する画素毎に積算し、1
ブロック分の画素配列に対応する座標を有する相関積算
値表を形成する相関積算値表形成手段と、上記相関積算
値表形成手段により形成された相関積算値表の相関積算
値の最小値の座標を検出し、この座標が中央に位置する
周辺座標における相関積算値及び上記最小相関積算値を
含むn次曲面の最小値に対応する座標を求め、この座標
に基づいて画像の動きベクトルを推定する動きベクトル
を推定手段とを備えることを特徴とするものである。
入力ビデオ信号で構成される1フレームの画像を複数に
分割した各ブロック毎の代表点画素の画像データをメモ
リに記憶し、現フレームのブロックの各画素の画像デー
タと上記メモリに記憶された前フレームのブロックの代
表点画素の画像データとの差分の絶対値を差分検出手段
により検出して、相関積算値表形成手段により1ブロッ
ク分の画素配列に対応する座標を有する相関積算値表を
形成する。そして、動きベクトルを推定手段は、上記相
関積算値表形成手段により形成された相関積算値表の相
関積算値の最小値の座標を検出し、この座標が中央に位
置する周辺座標における相関積算値及び上記最小相関積
算値を含むn次曲面の最小値に対応する座標を求め、こ
の座標に基づいて画像の動きベクトルを推定する。
装置の一実施例について図面に従い詳細に説明する。本
発明に係る画像の動きベクトル検出装置は、例えば図1
に示すように構成される。
装置10は、ハンディタイプのビデオカメラにおける手
振れによる画像の動きを補正する手振れ補正装置に本発
明を適用したもので、補正量発生部20及び補正部30
とともに手振れ補正装置を構成している。図1におい
て、信号入力端子1には、上記ビデオカメラの図示しな
い撮像部による撮像出力として得られるビデオ信号をデ
ィジタル化した入力ビデオデータが供給される。
力ビデオデータが上記信号入力端子1を介して供給され
る代表点メモリ11及び減算回路12と、この減算回路
12による減算出力データが供給される相関積算値表形
成回路13と、この相関積算値表形成回路13により形
成された相関積算値表の相関積算値データが供給される
動きベクトル推定回路14とを備えてなる。
データで構成される1フレームの画像を複数に分割した
各ブロック毎の代表点画素の画像データを記憶する。具
体的には、例えば図2に示すように、1フレームの画面
をm画素×nラインのブロックに分割し、図3に示すよ
うに各ブロックの中心の画素を代表点とし、各代表点画
素の画像データを上記代表点メモリ11に1フレーム期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ11から読み
出される1フレーム前の各代表点画素の画像データが上
記減算回路12に供給される。
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のm×n個の各画
素の画像データと上記代表点メモリ11から読み出され
る前フレームの対応するブロックの代表点画素の画像デ
ータとの差分すなわちフレーム間差の絶対値を検出す
る。そして、この減算回路12による減算出力データと
して得られるフレーム差分絶対値データが上記相関積算
値表形成回路13に供給される。
算回路12により得られた各ブロックのフレーム差分絶
対値を対応する画素毎に1フレーム期間に亘って積算
し、1ブロック分の画素配列に対応するm×nの整数座
標を有する相関積算値表を形成する。この相関積算値表
形成回路13により形成される相関積算値表は、m×n
個のフレーム差分絶対値の積算値すなわち相関積算値の
分布を示し、フレーム相関の最も強い座標の相関積算値
が最小値となる。そして、この相関積算値表形成回路1
3により形成される相関積算値表のm×n個の相関積算
値が上記動きベクトル推定回路14に供給される。
相関積算値表形成回路13により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値及び上記最小
相関積算値を含むn次曲面の最小値に対応する座標を求
め、この座標に基づいて画像の動きベクトルを推定す
る。
おける画像の動きベクトルの推定処理には、図4に示す
ように上記相関積算値の最小値の座標P(x,y)とそ
の周辺座標P(x±n,y±n)での各相関積算値を用
いて2次元ノンセパラブルに行うことができる。
14では、図5のフローチャートに示すように、ステッ
プ1で上記相関積算値表形成回路13により形成された
相関積算値表について、ステップ2で相関積算値の最小
値の座標P(x,y)を検出する。このステップ2で検
出される相関積算値の最小値の座標P(x,y)は、上
記相関積算値表の整数座標値で示される。
小値の座標P(x,y)とその周辺座標P(x±n,y
±n)での各相関積算値を含むn次曲面、例えば図6に
示すような2次元曲面Z(x,y) Z(x,y)=α(x−x0 )2 +β(y−y0 )2 +γ の係数α,β,γの最小二乗法により求め、上記相関積
算値の最小値の座標P(x,y)近傍の相関積算値の分
布状態を示す2次元曲面Z(x,y)を推定する。
いて推定された2次元曲面Z(x,y)における相関積
算値の最小値の座標値(x0 ,y0 )を求め、この2次
元座標値(x0 ,y0 )から画像の動きベクトルを決定
する。そして、このステップ4において決定された画像
の動きベクトルが推定存在範囲にあることをステップ5
で確認して、画像の動きベクトルの推定処理を終了す
る。
装置10では、上記相関積算値形成回路13により形成
した表相関積算値表の相関積算値の最小値の座標を検出
することにより最小相関積算値の整数座標値を得て、こ
の座標が中央に位置する周辺座標における相関積算値及
び上記最小相関積算値を含む2次曲面を推定して、この
2次曲面の最小値に対応する座標を求めることにより最
小相関積算値の少数座標値を推定することができ、この
座標に基づいて画像の動きベクトルを推定するので、上
記動きベクトルを高い精度で検出することができる。
より検出された動きベクトルが上記補正量発生部20に
供給される。
ル検出装置10が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部30に供給する。
は、例えば図7に示すように、上記補正量発生部20か
ら手振れ補正信号が供給されるアドレス制御回路31及
びセレクト信号発生回路32と、上記アドレス制御回路
31から供給されるアドレス信号に従ってビデオデータ
の書き込み/読み出しが行われるフレームメモリ33及
び周辺メモリ34と、上記フレームメモリ33及び周辺
メモリ34から読み出されるビデオデータを上記セレク
ト信号発生回路32から供給されるセレクト信号に応じ
て選択的に出力するセレクタ35とを備えてなる。
力端子1を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ32の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ32からは、1フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ32から読み出され
るビデオデータと上記周辺メモリ33から読み出される
周辺ビデオデータとが上記セレクタ35による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子2から出力される。
クタ35を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。
0により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。
に係る画像の動きベクトル検出装置では、相関積算値表
の相関積算値の最小値の座標を検出することにより整数
座標値を得て、この座標が中央に位置する周辺座標にお
ける相関積算値及び上記最小相関積算値を含むn次曲面
を推定して、このn次曲面の最小値に対応する座標を求
めることにより最小相関積算値の少数座標値を推定する
ことができ、この座標に基づいて画像の動きベクトルを
推定するので、上記動きベクトルを高い精度で検出する
ことができる。
動きベクトルを検出することのできる画像の動きベクト
ル検出装置を提供することができ、ハンディタイプのビ
デオカメラなどにおける高性能の手振れ補正を可能にす
ることができる。
けた手振れ補正装置の構成を示すブロック図である。
ック分割の状態を示す図である。
造を示す図である。
ルの推定処理に用いる相関積算値表上の最小値近傍の座
標を示す図である。
ルの推定処理手順を示すフローチャートである。
ルの2次元推定例を説明するための図である。
装置の補正部の構成を示すブロック図である。
Claims (1)
- 【請求項1】 入力ビデオ信号で構成される1フレーム
の画像を複数に分割した各ブロック毎の代表点画素の画
像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
リに記憶された前フレームのブロックの代表点画素の画
像データとの差分の絶対値を検出する差分検出手段と、 上記差分検出手段により検出された各ブロックのフレー
ム差分絶対値を対応する画素毎に積算し、1ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する相関積算値表形成手段と、 上記相関積算値表形成手段により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値及び上記最小
相関積算値を含むn次曲面の最小値に対応する座標を求
め、この座標に基づいて画像の動きベクトルを推定する
動きベクトルを推定手段とを備えることを特徴とする画
像の動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048591A JP3303312B2 (ja) | 1991-10-11 | 1991-10-11 | 画像の振動補正装置及び画像の振動補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048591A JP3303312B2 (ja) | 1991-10-11 | 1991-10-11 | 画像の振動補正装置及び画像の振動補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05219419A true JPH05219419A (ja) | 1993-08-27 |
| JP3303312B2 JP3303312B2 (ja) | 2002-07-22 |
Family
ID=17756634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29048591A Expired - Lifetime JP3303312B2 (ja) | 1991-10-11 | 1991-10-11 | 画像の振動補正装置及び画像の振動補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3303312B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0665692A3 (en) * | 1994-01-31 | 1996-04-03 | Sony Corp | Image collation method and apparatus. |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215114A (ja) | 2006-02-13 | 2007-08-23 | Sony Corp | 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置 |
| JP4904925B2 (ja) * | 2006-05-29 | 2012-03-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
1991
- 1991-10-11 JP JP29048591A patent/JP3303312B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0665692A3 (en) * | 1994-01-31 | 1996-04-03 | Sony Corp | Image collation method and apparatus. |
| EP0895426A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0895423A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0893924A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3303312B2 (ja) | 2002-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5057974B2 (ja) | 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理 | |
| JPWO2004062270A1 (ja) | 画像処理装置 | |
| JP3200889B2 (ja) | 画像の振動補正装置 | |
| US5453800A (en) | Apparatus for judging a hand movement of an image | |
| JPH05219419A (ja) | 画像の動きベクトル検出装置 | |
| JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP3257035B2 (ja) | 画像の振動補正装置及び方法 | |
| JP3225598B2 (ja) | 画像の手振れ検出装置 | |
| JPH05110932A (ja) | 画像の動きベクトル検出装置 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JPH05110927A (ja) | 画像の動きベクトル検出装置 | |
| JP3271274B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JP3209785B2 (ja) | 動きベクトル検出装置 | |
| JPH05110933A (ja) | 画像の動きベクトル検出装置 | |
| JP3252415B2 (ja) | 画像の手振れ補正装置 | |
| JP3252416B2 (ja) | 画像の手振れ補正装置 | |
| JPH05110934A (ja) | 画像の動きベクトル検出装置 | |
| JP3271275B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3221052B2 (ja) | 画像の手振れ検出装置 | |
| JP3200888B2 (ja) | 画像の振動補正装置 | |
| JP3200890B2 (ja) | 画像の振動補正装置 | |
| JP3252411B2 (ja) | 画像の振動補正装置 | |
| JP3252417B2 (ja) | 画像の手振れ補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |