JPH05257196A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPH05257196A JPH05257196A JP4088337A JP8833792A JPH05257196A JP H05257196 A JPH05257196 A JP H05257196A JP 4088337 A JP4088337 A JP 4088337A JP 8833792 A JP8833792 A JP 8833792A JP H05257196 A JPH05257196 A JP H05257196A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- area
- block
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 動きベクトルの検出精度を向上させる。
【構成】 入力画像を複数のブロックに分割し、該ブロ
ック毎に動きベクトルを検出する動きベクトル検出手段
１００〜１３０と、該動きベクトル検出手段からの動き
ベクトルから同じ動きをしている領域を抽出し、該領域
内の動きベクトル値を、前記ブロックそれぞれの前記領
域内に占める位置情報に応じた重み付け平均を行って算
出する動きベクトル算出手段１４０とを備えている。
ック毎に動きベクトルを検出する動きベクトル検出手段
１００〜１３０と、該動きベクトル検出手段からの動き
ベクトルから同じ動きをしている領域を抽出し、該領域
内の動きベクトル値を、前記ブロックそれぞれの前記領
域内に占める位置情報に応じた重み付け平均を行って算
出する動きベクトル算出手段１４０とを備えている。
Description
【０００１】
【産業上の利用分野】本発明は、動画像信号の符合化装
置や画像振れ補正装置に配置される動きベクトル検出装
置の改良に関するものである。
置や画像振れ補正装置に配置される動きベクトル検出装
置の改良に関するものである。
【０００２】
【従来の技術】従来、画像の符合化装置や画像振れ補正
装置に必要な動きベクトル検出方法としては、米国特許
第３８９０４６２号や特公昭６０−４６８７８号等に開
示されている時空間勾配法、或は、相関演算に基づく相
関法やブロックマッチング法が知られている。時空間勾
配法については、B.K.P,Hornらにより、Artificial Int
elligence 17,p.185〜203(1981) で詳しく論じられてお
り、また、マッチング演算については、尾上守夫らによ
り、情報処理Vol.17,No.7,p634〜640 July 1976で詳し
く論じられている。
装置に必要な動きベクトル検出方法としては、米国特許
第３８９０４６２号や特公昭６０−４６８７８号等に開
示されている時空間勾配法、或は、相関演算に基づく相
関法やブロックマッチング法が知られている。時空間勾
配法については、B.K.P,Hornらにより、Artificial Int
elligence 17,p.185〜203(1981) で詳しく論じられてお
り、また、マッチング演算については、尾上守夫らによ
り、情報処理Vol.17,No.7,p634〜640 July 1976で詳し
く論じられている。
【０００３】時空間勾配法は、フレ−ム（或はフィ−ル
ド）間の輝度差ｄと画面内の画素間の輝度差Δから、画
像の動き量を「ｄ／Δ」で表す方法である。これは、カ
メラから得られる信号がフィ−ルド周期の時間平均であ
り、画像の動き量が大きいほどエッジが鈍り、画素間の
輝度差Δが小さくなる性質を利用し、フレ−ム（或はフ
ィ−ルド）間の輝度差ｄを信号Δで正規化したものであ
る。
ド）間の輝度差ｄと画面内の画素間の輝度差Δから、画
像の動き量を「ｄ／Δ」で表す方法である。これは、カ
メラから得られる信号がフィ−ルド周期の時間平均であ
り、画像の動き量が大きいほどエッジが鈍り、画素間の
輝度差Δが小さくなる性質を利用し、フレ−ム（或はフ
ィ−ルド）間の輝度差ｄを信号Δで正規化したものであ
る。
【０００４】一方、ブロックマッチング法（テンプレ−
トマッチング法とも呼ばれる）は入力画像信号を適当な
大きさのブロック（例えば、８画素×８ライン）に分割
し、ブロック単位に前のフレ−ム（或はフィ−ルド）の
一定範囲の画素との差を計算し、この差の絶対値の和が
最小となる前のフレ−ム（或はフィ−ルド）のブロック
を探索する。当該ブロックの相対的なずれがそのブロッ
クの動きベクトルを表している。
トマッチング法とも呼ばれる）は入力画像信号を適当な
大きさのブロック（例えば、８画素×８ライン）に分割
し、ブロック単位に前のフレ−ム（或はフィ−ルド）の
一定範囲の画素との差を計算し、この差の絶対値の和が
最小となる前のフレ−ム（或はフィ−ルド）のブロック
を探索する。当該ブロックの相対的なずれがそのブロッ
クの動きベクトルを表している。
【０００５】
【発明が解決しようとする課題】しかしながら、上記の
従来例では、画面内に複数の異なる動きがあった場合
に、この異なる動きの境界にまたがるブロックからは、
被写体の出現、隠蔽に起因する対応点のミスマッチン
グ、或は他の被写体の異なる動きの影響から信頼性の低
い動きベクトルしか検出できず、当該ブロックから検出
される誤った動きベクトルにより、符合化装置の符合化
精度や画像振れ補正装置の補正精度が著しく劣化すると
いう問題がある。
従来例では、画面内に複数の異なる動きがあった場合
に、この異なる動きの境界にまたがるブロックからは、
被写体の出現、隠蔽に起因する対応点のミスマッチン
グ、或は他の被写体の異なる動きの影響から信頼性の低
い動きベクトルしか検出できず、当該ブロックから検出
される誤った動きベクトルにより、符合化装置の符合化
精度や画像振れ補正装置の補正精度が著しく劣化すると
いう問題がある。
【０００６】本発明の目的は、上記の点に鑑み、動きベ
クトルの検出精度を向上させることのできる動きベクト
ル検出装置を提供することである。
クトルの検出精度を向上させることのできる動きベクト
ル検出装置を提供することである。
【０００７】
【課題を解決するための手段】本発明は、入力画像を複
数のブロックに分割し、該ブロック毎に動きベクトルを
検出する動きベクトル検出手段と、該動きベクトル検出
手段からの動きベクトルから同じ動きをしている領域を
抽出し、該領域内の動きベクトル値を、前記ブロックそ
れぞれの前記領域内に占める位置情報に応じた重み付け
平均を行って算出する動きベクトル算出手段、或は、該
動きベクトル検出手段からの動きベクトルから同じ動き
をしている領域を抽出し、該領域内の動きベクトル値
を、前記ブロックそれぞれの前記入力画像中に占める位
置情報に応じた重み付け平均を行って算出する動きベク
トル算出手段とを備えている。
数のブロックに分割し、該ブロック毎に動きベクトルを
検出する動きベクトル検出手段と、該動きベクトル検出
手段からの動きベクトルから同じ動きをしている領域を
抽出し、該領域内の動きベクトル値を、前記ブロックそ
れぞれの前記領域内に占める位置情報に応じた重み付け
平均を行って算出する動きベクトル算出手段、或は、該
動きベクトル検出手段からの動きベクトルから同じ動き
をしている領域を抽出し、該領域内の動きベクトル値
を、前記ブロックそれぞれの前記入力画像中に占める位
置情報に応じた重み付け平均を行って算出する動きベク
トル算出手段とを備えている。
【０００８】
【作用】動きベクトル算出手段は、ブロックそれぞれ
の、同じく動きをしている領域内に占める位置情報、或
は、ブロックそれぞれの入力画像中に占める位置情報、
つまり各ブロックの空間的或は時間的な隣接度に応じた
重み付け処理を施して動きベクトル値を算出している。
の、同じく動きをしている領域内に占める位置情報、或
は、ブロックそれぞれの入力画像中に占める位置情報、
つまり各ブロックの空間的或は時間的な隣接度に応じた
重み付け処理を施して動きベクトル値を算出している。
【０００９】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
に説明する。
【００１０】図１は本発明の第１の実施例を適用した画
像振れ補正装置を組み込んだビデオカメラの構成を示す
ブロック図である。
像振れ補正装置を組み込んだビデオカメラの構成を示す
ブロック図である。
【００１１】図１において、１０は被写体、２０は撮影
レンズ、３０は例えば二次元ＣＣＤから成る撮像素子、
４０は例えば二次元ＣＣＤの様な撮像素子３０からの出
力信号を保持するサンプルホ−ルド（Ｓ／Ｈ）回路、５
０はオ−トゲインコントロ−ル（ＡＧＣ）回路、６０は
アナログ−ディジタル（Ａ／Ｄ）変換器、７０は例えば
二次元ＣＣＤの様な撮像素子３０からの色差線順次信号
を２水平走査期間だけ遅延させる遅延回路、８０は色信
号処理回路、９０は色信号のディジタル−アナログ（Ｄ
／Ａ）変換器、９５は色信号出力端子である。
レンズ、３０は例えば二次元ＣＣＤから成る撮像素子、
４０は例えば二次元ＣＣＤの様な撮像素子３０からの出
力信号を保持するサンプルホ−ルド（Ｓ／Ｈ）回路、５
０はオ−トゲインコントロ−ル（ＡＧＣ）回路、６０は
アナログ−ディジタル（Ａ／Ｄ）変換器、７０は例えば
二次元ＣＣＤの様な撮像素子３０からの色差線順次信号
を２水平走査期間だけ遅延させる遅延回路、８０は色信
号処理回路、９０は色信号のディジタル−アナログ（Ｄ
／Ａ）変換器、９５は色信号出力端子である。
【００１２】１００は輝度信号に混入する色信号を除去
するためのロ−パスフィルタ（ＬＰＦ）、１１０は輝度
信号の高周波成分を強調するエンハンサ、１２０はガン
マ補正器、１３０は動きベクトル検出回路、１４０は各
ブロックの信頼性の判断を行うマイクロコンピュ−タ、
１５０はメモリ読み出し制御回路、１６０はフィ−ルド
或はフレ−ムを記憶するメモリ、１７０は輝度信号のＤ
／Ａ変換器、１８０は輝度信号出力端子である。
するためのロ−パスフィルタ（ＬＰＦ）、１１０は輝度
信号の高周波成分を強調するエンハンサ、１２０はガン
マ補正器、１３０は動きベクトル検出回路、１４０は各
ブロックの信頼性の判断を行うマイクロコンピュ−タ、
１５０はメモリ読み出し制御回路、１６０はフィ−ルド
或はフレ−ムを記憶するメモリ、１７０は輝度信号のＤ
／Ａ変換器、１８０は輝度信号出力端子である。
【００１３】次に、上記構成におけるビデオカメラの動
作について説明する。
作について説明する。
【００１４】被写体１０は撮影レンズ２０により撮像素
子３０上に投影され、ここで光電変換される。サンプル
ホ−ルド４０は撮像素子３０の出力信号を保持し、引き
続くＡＧＣ回路５０は自動的に信号の利得を制御する。
Ａ／Ｄ変換器６０は、ＡＧＣ回路５０の出力信号をＡ／
Ｄ変換する。２水平走査期間遅延回路７０は、撮像素子
３０からの色差線順次信号を「１Ｈ」遅延信号と「０Ｈ
＋２Ｈ」遅延信号に分離し、それぞれ輝度信号処理部
（ＬＰＦ１００以降の回路）と色信号処理回路８０に送
る。
子３０上に投影され、ここで光電変換される。サンプル
ホ−ルド４０は撮像素子３０の出力信号を保持し、引き
続くＡＧＣ回路５０は自動的に信号の利得を制御する。
Ａ／Ｄ変換器６０は、ＡＧＣ回路５０の出力信号をＡ／
Ｄ変換する。２水平走査期間遅延回路７０は、撮像素子
３０からの色差線順次信号を「１Ｈ」遅延信号と「０Ｈ
＋２Ｈ」遅延信号に分離し、それぞれ輝度信号処理部
（ＬＰＦ１００以降の回路）と色信号処理回路８０に送
る。
【００１５】色信号処理回路８０では色信号が生成さ
れ、この色信号は引き続くＤ／Ａ変換器９０でアナログ
信号に変換されて色信号出力端子９５から出力される。
れ、この色信号は引き続くＤ／Ａ変換器９０でアナログ
信号に変換されて色信号出力端子９５から出力される。
【００１６】一方、輝度信号処理部に送られた信号は、
先ずＬＰＦ１００に入力される。このＬＰＦ１００は、
色差順次信号からキャリア成分を除去し、輝度信号分離
を行う。次のエンハンサ１１０は、画質向上のために被
写体のエッジなど高周波成分を強調する処理を施す。通
常は、映像信号の二次微分を原信号に付加する。ガンマ
補正器１２０は、ハイライト部分での飽和を防ぎ、ダイ
ナミックレンジを広げる。動きベクトル検出回路１３０
は、前記時空勾配法に基づく回路で構成しても良いし、
同じく前記マッチング演算に基づく回路で構成しても良
いが、本実施例では実時間処理できる検出方法である必
要がある。メモリ１６０は、輝度信号を所定時間（本実
施例では、１フィ−ルド時間）遅延する遅延回路であ
り、１フィ−ルド前の輝度信号を記憶し現フィ−ルドと
の時空勾配法の演算、或は相関演算を可能にする。マイ
クロコンピュ−タ１４０は、動きベクトル検出回路１３
０で検出される動きベクトルの分布（オプティカルフロ
−）から、先ず補正対象となる手振れによる動きベクト
ルを出力しているブロックを抽出し、更に当該ブロック
からの出力信号に当該ブロックの囲まれ具合に応じた重
み付けを実行し、その瞬間の画像の動き量を計算する。
メモリ読み出し制御回路１５０は、マイクロコンピュ−
タ１４０で計算された最終の動きベクトルを相殺（又は
補正）するようにメモリ１６０の読み出し位置を制御す
る。メモリ１６０より読み出された輝度信号は、Ｄ／Ａ
変換器１７０によってアナログ信号に変換され、輝度信
号出力端子１８０から出力される。
先ずＬＰＦ１００に入力される。このＬＰＦ１００は、
色差順次信号からキャリア成分を除去し、輝度信号分離
を行う。次のエンハンサ１１０は、画質向上のために被
写体のエッジなど高周波成分を強調する処理を施す。通
常は、映像信号の二次微分を原信号に付加する。ガンマ
補正器１２０は、ハイライト部分での飽和を防ぎ、ダイ
ナミックレンジを広げる。動きベクトル検出回路１３０
は、前記時空勾配法に基づく回路で構成しても良いし、
同じく前記マッチング演算に基づく回路で構成しても良
いが、本実施例では実時間処理できる検出方法である必
要がある。メモリ１６０は、輝度信号を所定時間（本実
施例では、１フィ−ルド時間）遅延する遅延回路であ
り、１フィ−ルド前の輝度信号を記憶し現フィ−ルドと
の時空勾配法の演算、或は相関演算を可能にする。マイ
クロコンピュ−タ１４０は、動きベクトル検出回路１３
０で検出される動きベクトルの分布（オプティカルフロ
−）から、先ず補正対象となる手振れによる動きベクト
ルを出力しているブロックを抽出し、更に当該ブロック
からの出力信号に当該ブロックの囲まれ具合に応じた重
み付けを実行し、その瞬間の画像の動き量を計算する。
メモリ読み出し制御回路１５０は、マイクロコンピュ−
タ１４０で計算された最終の動きベクトルを相殺（又は
補正）するようにメモリ１６０の読み出し位置を制御す
る。メモリ１６０より読み出された輝度信号は、Ｄ／Ａ
変換器１７０によってアナログ信号に変換され、輝度信
号出力端子１８０から出力される。
【００１７】次に、マイクロコンピュ−タ１４０内で行
われる動きベクトルの信頼性評価の仕方を図２乃至図６
を用いて説明する。
われる動きベクトルの信頼性評価の仕方を図２乃至図６
を用いて説明する。
【００１８】図２は画像信号の入力からその瞬間に防振
すべき領域（以下、防振領域と記す）判断までの流れを
示す図である。
すべき領域（以下、防振領域と記す）判断までの流れを
示す図である。
【００１９】図２（ａ）は入力画像であり、「８×６」
個のブロックに分割されている。図２（ｂ）は各ブロッ
ク毎に動きベクトルを検出した結果を示している。この
ような動きベクトルの分布図を一般にオプティカルフロ
−図と呼ぶ。図２（ｂ）では、画面中央部と周辺部に大
きく２つの異なる動きをしている領域が存在しているこ
とが分かる。図２（ｃ）はオプティカルフロ−図から防
振領域を抽出した結果である。
個のブロックに分割されている。図２（ｂ）は各ブロッ
ク毎に動きベクトルを検出した結果を示している。この
ような動きベクトルの分布図を一般にオプティカルフロ
−図と呼ぶ。図２（ｂ）では、画面中央部と周辺部に大
きく２つの異なる動きをしている領域が存在しているこ
とが分かる。図２（ｃ）はオプティカルフロ−図から防
振領域を抽出した結果である。
【００２０】動きベクトルから防振領域を抽出する手法
としては、既に出願済みの特願昭６３−２６９５５４号
等に記載の各ブロック毎の動きベクトルの時間方向加算
法がある。
としては、既に出願済みの特願昭６３−２６９５５４号
等に記載の各ブロック毎の動きベクトルの時間方向加算
法がある。
【００２１】図３は、抽出された領域に「１値」、対象
外とされた領域に「０値」を割り当てた２値の防振領域
マップ（有効領域）である。
外とされた領域に「０値」を割り当てた２値の防振領域
マップ（有効領域）である。
【００２２】通常は、当該防振領域マップを、検出され
た動きベクトルに乗算して、有効領域を抽出し、当該有
効領域内の動きベクトルを均一な重みで単純平均するこ
とにより、画像の動き量を求める。
た動きベクトルに乗算して、有効領域を抽出し、当該有
効領域内の動きベクトルを均一な重みで単純平均するこ
とにより、画像の動き量を求める。
【００２３】図４は、図３に示されるような防振領域マ
ップにかけるコンボル−ションマスクの一例である。
ップにかけるコンボル−ションマスクの一例である。
【００２４】図４のマスクの意味するところは、今注目
しているブロックの上下、左右方向に隣接するブロック
が存在する場合には、当該注目しているブロックにそれ
ぞれポイント１を与え、斜め方向に接するブロックが存
在する場合には、ポイント0.5 を与えて、当該注目して
いるブロックが他のブロックに囲まれている程ポイント
を高くしていくというものである。斜め方向のポイント
が低いのは、一般に画像信号には斜め成分が少ないとい
う特性に基づいている。なお、コンボル−ションは有効
ブロック（値「１」が挿入されているブロック）のみを
対象として行うか、画面全域にコンボル−ションした結
果に防振領域マップをＡＮＤ演算（論理積演算）し、非
防振領域（無効領域）の値は「０」のままにする。
しているブロックの上下、左右方向に隣接するブロック
が存在する場合には、当該注目しているブロックにそれ
ぞれポイント１を与え、斜め方向に接するブロックが存
在する場合には、ポイント0.5 を与えて、当該注目して
いるブロックが他のブロックに囲まれている程ポイント
を高くしていくというものである。斜め方向のポイント
が低いのは、一般に画像信号には斜め成分が少ないとい
う特性に基づいている。なお、コンボル−ションは有効
ブロック（値「１」が挿入されているブロック）のみを
対象として行うか、画面全域にコンボル−ションした結
果に防振領域マップをＡＮＤ演算（論理積演算）し、非
防振領域（無効領域）の値は「０」のままにする。
【００２５】図５は、コンボル−ションマスクを図４に
示す「３×３」から「５×５」に拡張したときの例であ
る。
示す「３×３」から「５×５」に拡張したときの例であ
る。
【００２６】コンボル−ションマスクのサイズやマスク
内の重み係数（即ち、ポイントの与え方）は撮影条件に
応じて切り換えても良い。
内の重み係数（即ち、ポイントの与え方）は撮影条件に
応じて切り換えても良い。
【００２７】図６は、図３の防振領域マップの有効領域
に図４のマスクをコンボル−ション結果を示している。
に図４のマスクをコンボル−ション結果を示している。
【００２８】図６に示されている係数値がその該当する
ブロックから検出される動きベクトルの信頼性を表して
おり、この重みに従って動きベクトルの平均処理すれば
良い。
ブロックから検出される動きベクトルの信頼性を表して
おり、この重みに従って動きベクトルの平均処理すれば
良い。
【００２９】以上の処理により求められた動きベクトル
を用いてメモリからの画像の読み出し位置を決定し、不
快な手振れ成分を補正した画像を輝度信号出力端子１８
０より出力する。
を用いてメモリからの画像の読み出し位置を決定し、不
快な手振れ成分を補正した画像を輝度信号出力端子１８
０より出力する。
【００３０】（第２の実施例）前記の第１の実施例で
は、防振領域マップの有効領域に対して、あるマスクを
コンボル−ションした結果にしたがって動きベクトルの
重み付け平均処理を行っているが、この実施例では、前
記第１の実施例で求まった動きベクトルそのものの信頼
性を、マスクをコンボル−ションした結果得られた重み
係数の総和、すなわち前記ポイントの総和を用いて改め
て評価するもので、前記第１の実施例と併用することが
できる。
は、防振領域マップの有効領域に対して、あるマスクを
コンボル−ションした結果にしたがって動きベクトルの
重み付け平均処理を行っているが、この実施例では、前
記第１の実施例で求まった動きベクトルそのものの信頼
性を、マスクをコンボル−ションした結果得られた重み
係数の総和、すなわち前記ポイントの総和を用いて改め
て評価するもので、前記第１の実施例と併用することが
できる。
【００３１】図７は、画面内の「８×６」個の全てのブ
ロックが有効だと判断された場合に図４のコンボル−シ
ョンマスクをかけた結果である。
ロックが有効だと判断された場合に図４のコンボル−シ
ョンマスクをかけた結果である。
【００３２】図７の全ての重み係数の総和はこの場合
「２８２」で、重み係数の総和の上限である。防振領域
の面積は大きいほど当該領域から検出される動きベクト
ルの信頼性は高いため、前記重み係数の総和の大小から
改めて動きベクトルの信頼性を評価することができる。
「２８２」で、重み係数の総和の上限である。防振領域
の面積は大きいほど当該領域から検出される動きベクト
ルの信頼性は高いため、前記重み係数の総和の大小から
改めて動きベクトルの信頼性を評価することができる。
【００３３】図８は、前記重み係数の総和に応じた信頼
性評価関数を表している。
性評価関数を表している。
【００３４】ポイント総数が小さい場合は、抽出された
領域が小さいか、或は、バラバラに散在する場合で、い
ずれも動きベクトルが誤検出された可能性が高いため、
「１」未満の小さな係数を乗算して以後の処理への影響
を抑える。なお、画面内のブロックの数を「Ｍ×Ｎ」個
だとすると、ポイントの分布は ０≦（ポイント総数）≦７ＭＮ−４Ｍ−４Ｎ＋２ で表される。
領域が小さいか、或は、バラバラに散在する場合で、い
ずれも動きベクトルが誤検出された可能性が高いため、
「１」未満の小さな係数を乗算して以後の処理への影響
を抑える。なお、画面内のブロックの数を「Ｍ×Ｎ」個
だとすると、ポイントの分布は ０≦（ポイント総数）≦７ＭＮ−４Ｍ−４Ｎ＋２ で表される。
【００３５】以上の処理は、図１のマイクロコンピュ−
タ１４０で行われる。
タ１４０で行われる。
【００３６】（第３の実施例）前記第１及び第２の実施
例では、注目しているブロックの空間的な配置の情報を
手掛かりとして信頼性の評価を行っているが、この第３
の実施例では、この概念を時間軸方向へ拡張する。
例では、注目しているブロックの空間的な配置の情報を
手掛かりとして信頼性の評価を行っているが、この第３
の実施例では、この概念を時間軸方向へ拡張する。
【００３７】一般に、動画像の時間方向の相関は高く、
例えば被写体を追尾して撮影している時では、当該被写
体の画面中に占める位置は前画面（前フィ−ルド）にあ
った位置に強く拘束されており、毎フィ−ルド毎に無相
関に出現することは極めて少ない。つまり、前画面で有
効領域と見なされた領域付近に、現画面での有効領域が
現われる可能性が高いということになる。そこで、現画
面で有効領域と判断された領域をピ−ク中心として、な
だらかな重み係数分布を持つマップを形成し、次画面で
得られる防振領域マップと論理積（ＡＮＤ）を取ること
により、ある領域の画面中の位置の時間方向の相関性を
生かした信頼性の評価をすることができる。
例えば被写体を追尾して撮影している時では、当該被写
体の画面中に占める位置は前画面（前フィ−ルド）にあ
った位置に強く拘束されており、毎フィ−ルド毎に無相
関に出現することは極めて少ない。つまり、前画面で有
効領域と見なされた領域付近に、現画面での有効領域が
現われる可能性が高いということになる。そこで、現画
面で有効領域と判断された領域をピ−ク中心として、な
だらかな重み係数分布を持つマップを形成し、次画面で
得られる防振領域マップと論理積（ＡＮＤ）を取ること
により、ある領域の画面中の位置の時間方向の相関性を
生かした信頼性の評価をすることができる。
【００３８】実施手順を図９及び図１０を用いて説明す
る。
る。
【００３９】図９は、現画面で得られた防振領域マップ
にかけるコンボル−ションマスクである。被写体の位置
の画像間のずれは３６０度あらゆる方向に同じ確率で生
じると考えられるため、マスクの重み係数分布も等方的
なものである。
にかけるコンボル−ションマスクである。被写体の位置
の画像間のずれは３６０度あらゆる方向に同じ確率で生
じると考えられるため、マスクの重み係数分布も等方的
なものである。
【００４０】図１０は、図９で示したマスクを、図３に
示した防振領域マップにコンボル−ションした結果であ
る。
示した防振領域マップにコンボル−ションした結果であ
る。
【００４１】図１０で示される重み係数分布と次画面で
得られる防振領域マップをＡＮＤ演算（論理積演算）す
ることにより、容易に各ブロックの信頼性を評価するこ
とができる。
得られる防振領域マップをＡＮＤ演算（論理積演算）す
ることにより、容易に各ブロックの信頼性を評価するこ
とができる。
【００４２】以上の処理は図１のマイクロコンピュ−タ
１４０で行われる。
１４０で行われる。
【００４３】前述した各実施例によれば、各ブロックの
空間的或は時間的な隣接度（近接度）により、検出され
る動きベクトルの信頼性を評価し、これに応じた重み付
け処理を動きベクトルに施すようにしている為、本来異
なる動きが存在する境界部を含むブロックから検出され
る信頼性の低い動きベクトルにより著しい精度劣化を受
けていた動画像符合化装置や画像振れ補正装置の精度を
向上させることができる。
空間的或は時間的な隣接度（近接度）により、検出され
る動きベクトルの信頼性を評価し、これに応じた重み付
け処理を動きベクトルに施すようにしている為、本来異
なる動きが存在する境界部を含むブロックから検出され
る信頼性の低い動きベクトルにより著しい精度劣化を受
けていた動画像符合化装置や画像振れ補正装置の精度を
向上させることができる。
【００４４】
【発明の効果】以上説明したように、本発明によれば、
入力画像を複数のブロックに分割し、該ブロック毎に動
きベクトルを検出する動きベクトル検出手段と、該動き
ベクトル検出手段からの動きベクトルから同じ動きをし
ている領域を抽出し、該領域内の動きベクトル値を、前
記ブロックそれぞれの前記領域内に占める位置情報に応
じた重み付け平均を行って算出する動きベクトル算出手
段、或は、該動きベクトル検出手段からの動きベクトル
から同じ動きをしている領域を抽出し、該領域内の動き
ベクトル値を、前記ブロックそれぞれの前記入力画像中
に占める位置情報に応じた重み付け平均を行って算出す
る動きベクトル算出手段とを備え、ブロックそれぞれ
の、同じく動きをしている領域内に占める位置情報、或
は、ブロックそれぞれの入力画像中に占める位置情報、
つまり各ブロックの空間的或は時間的な隣接度に応じた
重み付け処理を施して動きベクトル値を算出している。
入力画像を複数のブロックに分割し、該ブロック毎に動
きベクトルを検出する動きベクトル検出手段と、該動き
ベクトル検出手段からの動きベクトルから同じ動きをし
ている領域を抽出し、該領域内の動きベクトル値を、前
記ブロックそれぞれの前記領域内に占める位置情報に応
じた重み付け平均を行って算出する動きベクトル算出手
段、或は、該動きベクトル検出手段からの動きベクトル
から同じ動きをしている領域を抽出し、該領域内の動き
ベクトル値を、前記ブロックそれぞれの前記入力画像中
に占める位置情報に応じた重み付け平均を行って算出す
る動きベクトル算出手段とを備え、ブロックそれぞれ
の、同じく動きをしている領域内に占める位置情報、或
は、ブロックそれぞれの入力画像中に占める位置情報、
つまり各ブロックの空間的或は時間的な隣接度に応じた
重み付け処理を施して動きベクトル値を算出している。
【００４５】よって、動きベクトルの検出精度を向上さ
せることが可能となる。
せることが可能となる。
【図１】本発明の第１の実施例を適用した画像振れ補正
装置を組み込んだビデオカメラの構成を示すブロック図
である。
装置を組み込んだビデオカメラの構成を示すブロック図
である。
【図２】画像信号の入力から防振領域判断までの流れを
示す図である。
示す図である。
【図３】本発明の第１の実施例における防振領域を示す
２値マップを示す図である。
２値マップを示す図である。
【図４】図３の防振領域にかけるコンボル−ションマス
クの一例を示す図である。
クの一例を示す図である。
【図５】図３の防振領域にかけるコンボル−ションマス
クの他の例を示す図である。
クの他の例を示す図である。
【図６】本発明の第１の実施例における防振領域内の信
頼性を表す重み係数分布図である。
頼性を表す重み係数分布図である。
【図７】本発明の第２の実施例における画面全体が防振
領域となった時の重み係数分布図である。
領域となった時の重み係数分布図である。
【図８】本発明の第２の実施例における重み係数の総和
による信頼性評価関数を示す図である。
による信頼性評価関数を示す図である。
【図９】本発明の第３の実施例における防振領域にかけ
るコンボル−ションマスクの一例を示す図である。
るコンボル−ションマスクの一例を示す図である。
【図１０】図３の防振領域マップに図９のマスクをコン
ポル−ションした時の重み係数分布図である。
ポル−ションした時の重み係数分布図である。
３０ 撮像素子 １００ ＬＰＦ １１０ エンハンサ １２０ ガンマ補正器 １３０ 動きベクトル検出回路 １４０ マイクロコンピュ−タ １５０ メモリ読み出し制御回路 １６０ メモリ
Claims (2)
- 【請求項１】 入力画像を複数のブロックに分割し、該
ブロック毎に動きベクトルを検出する動きベクトル検出
手段と、該動きベクトル検出手段からの動きベクトルか
ら同じ動きをしている領域を抽出し、該領域内の動きベ
クトル値を、前記ブロックそれぞれの前記領域内に占め
る位置情報に応じた重み付け平均を行って算出する動き
ベクトル算出手段とを備えた動きベクトル検出装置。 - 【請求項２】 入力画像を複数のブロックに分割し、該
ブロック毎に動きベクトルを検出する動きベクトル検出
手段と、該動きベクトル検出手段からの動きベクトルか
ら同じ動きをしている領域を抽出し、該領域内の動きベ
クトル値を、前記ブロックそれぞれの前記入力画像中に
占める位置情報に応じた重み付け平均を行って算出する
動きベクトル算出手段とを備えた動きベクトル検出装
置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08833792A JP3209785B2 (ja) | 1992-03-13 | 1992-03-13 | 動きベクトル検出装置 |
| US08/029,550 US5731849A (en) | 1992-03-13 | 1993-03-11 | Movement vector detecting apparatus |
| DE69322423T DE69322423T2 (de) | 1992-03-13 | 1993-03-11 | Vorrichtung zur Detektion von Bewegungsvektoren |
| EP93301869A EP0560610B1 (en) | 1992-03-13 | 1993-03-11 | Movement vector detecting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08833792A JP3209785B2 (ja) | 1992-03-13 | 1992-03-13 | 動きベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05257196A true JPH05257196A (ja) | 1993-10-08 |
| JP3209785B2 JP3209785B2 (ja) | 2001-09-17 |
Family
ID=13940058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08833792A Expired - Fee Related JP3209785B2 (ja) | 1992-03-13 | 1992-03-13 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3209785B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5606376A (en) * | 1994-06-08 | 1997-02-25 | Matsushita Electric Industrial Co., Ltd. | Differential motion detection method using background image |
| JP2012257157A (ja) * | 2011-06-10 | 2012-12-27 | Canon Inc | 画像合成装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006067345A (ja) * | 2004-08-27 | 2006-03-09 | Sony Corp | 画像信号処理装置、その制御方法および画像信号処理システム |
-
1992
- 1992-03-13 JP JP08833792A patent/JP3209785B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5606376A (en) * | 1994-06-08 | 1997-02-25 | Matsushita Electric Industrial Co., Ltd. | Differential motion detection method using background image |
| JP2012257157A (ja) * | 2011-06-10 | 2012-12-27 | Canon Inc | 画像合成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3209785B2 (ja) | 2001-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100544403C (zh) | 图像稳定化系统及方法 | |
| JP2940762B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| JP3770271B2 (ja) | 画像処理装置 | |
| US20030090593A1 (en) | Video stabilizer | |
| EP2323374B1 (en) | Image pickup apparatus, image pickup method, and program | |
| JP2902966B2 (ja) | 手振れ補正装置およびそれを用いたビデオカメラ | |
| US8559751B2 (en) | Method and device for removing motion blur effects | |
| JP3164121B2 (ja) | 動きベクトル検出装置 | |
| US20100053349A1 (en) | Imaging Apparatus and Imaging Method | |
| KR101424923B1 (ko) | 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램 | |
| US20100073546A1 (en) | Image Processing Device And Electric Apparatus | |
| JP3866957B2 (ja) | 画像合成装置 | |
| JP2003078807A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH09163217A (ja) | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 | |
| JP6800806B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2921973B2 (ja) | 特定物体の画像抽出方法及び画像抽出装置 | |
| JP4210954B2 (ja) | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置 | |
| JP2008099260A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| JPH0750771A (ja) | ビデオカメラの自動映像安定化装置 | |
| JPH05257196A (ja) | 動きベクトル検出装置 | |
| JPH06133298A (ja) | 動きベクトル検出装置 | |
| US20220408022A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JPH06217188A (ja) | 画像動きベクトル検出装置及びビデオカメラ | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| JP4052348B2 (ja) | 画像処理装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |