JPH057327A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPH057327A JPH057327A JP3150319A JP15031991A JPH057327A JP H057327 A JPH057327 A JP H057327A JP 3150319 A JP3150319 A JP 3150319A JP 15031991 A JP15031991 A JP 15031991A JP H057327 A JPH057327 A JP H057327A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- block
- vector detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 そこで本発明は画像の空間周波数に応じて最
適なブロツクを適応的に、かつ簡単な方法で自動的に決
定することのできる動きベクトル検出装置を提示するこ
とを目的とする。 【構成】 画像信号中より動きベクトルを検出する装置
であつて、一個の動きベクトルを出力する単位演算領域
の大きさ及び形状を入力画像の空間周波数に応じて適応
的に自動設定する領域設定手段と、前記領域設定手段に
よつて設定された前記単位演算領域内に相当する画像信
号より、時系列に連続した画像間の相関演算またはマツ
チング演算を行つて画像の動きベクトルを検出する動き
ベクトル検出手段とを備えることにより、空間周波数が
低く特徴の少ない図柄の領域における大きいエラーベク
トルを除去することができ、また画像の有する空間勾配
情報を有効に活用することにより、高い空間解像度を得
ることができ、さらに単純な評価関数によりブロツクの
境界を決定することができるため、ブロツク設定処理の
高速化を実現することができる動きベクトル検出装置。
適なブロツクを適応的に、かつ簡単な方法で自動的に決
定することのできる動きベクトル検出装置を提示するこ
とを目的とする。 【構成】 画像信号中より動きベクトルを検出する装置
であつて、一個の動きベクトルを出力する単位演算領域
の大きさ及び形状を入力画像の空間周波数に応じて適応
的に自動設定する領域設定手段と、前記領域設定手段に
よつて設定された前記単位演算領域内に相当する画像信
号より、時系列に連続した画像間の相関演算またはマツ
チング演算を行つて画像の動きベクトルを検出する動き
ベクトル検出手段とを備えることにより、空間周波数が
低く特徴の少ない図柄の領域における大きいエラーベク
トルを除去することができ、また画像の有する空間勾配
情報を有効に活用することにより、高い空間解像度を得
ることができ、さらに単純な評価関数によりブロツクの
境界を決定することができるため、ブロツク設定処理の
高速化を実現することができる動きベクトル検出装置。
Description
【０００１】
【産業上の利用分野】本発明は、動きベクトル検出装置
に関し、さらに具体的には、画像信号から動きベクトル
を検出する装置に関するものである。
に関し、さらに具体的には、画像信号から動きベクトル
を検出する装置に関するものである。
【０００２】
【従来の技術】近年、カメラ等の撮像装置の分野におい
ては、自動焦点制御、自動露出制御、自動防振制御等、
その多機能化及び自動化が著しい。またその方法も、各
機能ごとに独立したセンサ系を具えるものから、撮影し
た画像に基づく映像信号より各種制御に用いられるパラ
メータとなる信号成分を抽出して各種制御を行なうよう
な方式に移りつつある。これは撮像手段より出力される
映像信号を用いてすべての制御を行なうことによつてシ
ステムのインテリジエント化を図ることを意味してい
る。
ては、自動焦点制御、自動露出制御、自動防振制御等、
その多機能化及び自動化が著しい。またその方法も、各
機能ごとに独立したセンサ系を具えるものから、撮影し
た画像に基づく映像信号より各種制御に用いられるパラ
メータとなる信号成分を抽出して各種制御を行なうよう
な方式に移りつつある。これは撮像手段より出力される
映像信号を用いてすべての制御を行なうことによつてシ
ステムのインテリジエント化を図ることを意味してい
る。
【０００３】このような背景にあつて、カメラ等の撮像
装置においては、自動防振制御を例にとると、その画像
の動きを正確に、且つ高精度に検出する必要がある。こ
れは自動防振に限ったものではなく、自動焦点制御にお
いても画像の動き検出は、精度を上げる上で重要であ
る。
装置においては、自動防振制御を例にとると、その画像
の動きを正確に、且つ高精度に検出する必要がある。こ
れは自動防振に限ったものではなく、自動焦点制御にお
いても画像の動き検出は、精度を上げる上で重要であ
る。
【０００４】ところで、画像の動きを検出する手段とし
ては、種々の方法が考えられるが、画面内に設定された
動きベクトル検出用の検出領域（ブロツクと称す）内に
相当する画像信号中より動きベクトルを検出する方法が
複雑な画像の動きを高精度に且つきめ細かに検出できる
ことから、近年注目されている。
ては、種々の方法が考えられるが、画面内に設定された
動きベクトル検出用の検出領域（ブロツクと称す）内に
相当する画像信号中より動きベクトルを検出する方法が
複雑な画像の動きを高精度に且つきめ細かに検出できる
ことから、近年注目されている。
【０００５】画像信号処理による動きベクトル検出法と
しては、定義式に従い相互相関計数ｈ（ξ，η）を計算
する相互相関法や２枚の画像間の差の絶対値和（以下、
残差と称す）を計算するマツチング法がある。
しては、定義式に従い相互相関計数ｈ（ξ，η）を計算
する相互相関法や２枚の画像間の差の絶対値和（以下、
残差と称す）を計算するマツチング法がある。
【０００６】相互相関係数算出の定義式は、
h ( ξ，η）＝∬g0（x −ξ，y −η）・g1（x ，y ）dxdy
で表わされる。ただし、g0（x ，y ）・g1（x ，y ）
は、２枚の画像を表わし、ξ，ηは前記２枚の画像のズ
レ量を示している。相互相関係数ｈ（ξ，η）は、前記
２枚の画像が完全に一致したときに最大となり、前記２
枚の画像間にズレが生じると指数関数的に小さくなる。
は、２枚の画像を表わし、ξ，ηは前記２枚の画像のズ
レ量を示している。相互相関係数ｈ（ξ，η）は、前記
２枚の画像が完全に一致したときに最大となり、前記２
枚の画像間にズレが生じると指数関数的に小さくなる。
【０００７】マツチング法は、下式に従い、残差ｅ
（ξ，η）を計算する。
（ξ，η）を計算する。
【０００８】
ｅ（ξ，η）＝ΣB｜g0（x −ξ，y −η）・g1（x ，y)｜
ここで、累算範囲を示す記号Ｂをブロツクと呼び、ブロ
ツク単位で２枚の画像間の類似度、整合度を計算するた
め、ブロツクマツチング法とかテンプレートマツチング
法とも呼ばれる。なお２枚の画像間の不一致度、不整合
度を示す残差の定義は上述した各画素の差の絶対値和だ
けでなく、差の２乗和でもよい。また、前記ブロツクの
大きさや形状は入力画像によらず固定されている。
ツク単位で２枚の画像間の類似度、整合度を計算するた
め、ブロツクマツチング法とかテンプレートマツチング
法とも呼ばれる。なお２枚の画像間の不一致度、不整合
度を示す残差の定義は上述した各画素の差の絶対値和だ
けでなく、差の２乗和でもよい。また、前記ブロツクの
大きさや形状は入力画像によらず固定されている。
【０００９】
【発明の解決しようとする問題点】しかしながら、上記
の方式によれば、検出ブロツクの大きさ、及び形状が固
定されているため、画像の空間周波数が低い領域では、
ブロツク内に相関演算に必要な画像情報が不足し、著し
い精度劣化を受けるという欠点があつた。逆に画像の空
間種は数が高い領域では、画像の細かい周期の影響のた
めに検出レンジが狭く、必ずしも大きいブロツクを必要
としていないにもかかわらず、固定されたブロツクの大
きさ、及び形状によつて動きベクトルを検出する空間解
像度が制約されるという欠点があつた。
の方式によれば、検出ブロツクの大きさ、及び形状が固
定されているため、画像の空間周波数が低い領域では、
ブロツク内に相関演算に必要な画像情報が不足し、著し
い精度劣化を受けるという欠点があつた。逆に画像の空
間種は数が高い領域では、画像の細かい周期の影響のた
めに検出レンジが狭く、必ずしも大きいブロツクを必要
としていないにもかかわらず、固定されたブロツクの大
きさ、及び形状によつて動きベクトルを検出する空間解
像度が制約されるという欠点があつた。
【００１０】そこで本発明は画像の空間周波数に応じて
最適なブロツクを適応的に、かつ簡単な方法で自動的に
決定することのできる動きベクトル検出装置を提示する
ことを目的とする。
最適なブロツクを適応的に、かつ簡単な方法で自動的に
決定することのできる動きベクトル検出装置を提示する
ことを目的とする。
【００１１】
【問題点を解決するための手段】本発明は上述した問題
を解決することを目的としてなされたもので、その特徴
とするところは、画像信号中より動きベクトルを検出す
る装置であつて、一個の動きベクトルを出力する単位演
算領域の大きさ及び形状を入力画像の空間周波数に応じ
て適応的に自動設定する領域設定手段と、前記領域設定
手段によつて設定された前記単位演算領域内に相当する
画像信号より、時系列に連続した画像間の相関演算また
はマツチング演算を行つて画像の動きベクトルを検出す
る動きベクトル検出手段とを備えた動きベクトル検出装
置にある。
を解決することを目的としてなされたもので、その特徴
とするところは、画像信号中より動きベクトルを検出す
る装置であつて、一個の動きベクトルを出力する単位演
算領域の大きさ及び形状を入力画像の空間周波数に応じ
て適応的に自動設定する領域設定手段と、前記領域設定
手段によつて設定された前記単位演算領域内に相当する
画像信号より、時系列に連続した画像間の相関演算また
はマツチング演算を行つて画像の動きベクトルを検出す
る動きベクトル検出手段とを備えた動きベクトル検出装
置にある。
【００１２】
【作用】これにより、入力画像の空間周波数を示す簡易
な評価基準（または評価関数）を設けることにより、入
力画像の各部の空間周波数に適応した最適な大きさ、形
状の検出領域を自動的に設定することができ、結果とし
て画像の持つ空間的な情報を有効に活用することができ
る。
な評価基準（または評価関数）を設けることにより、入
力画像の各部の空間周波数に適応した最適な大きさ、形
状の検出領域を自動的に設定することができ、結果とし
て画像の持つ空間的な情報を有効に活用することができ
る。
【００１３】
【実施例】以下、図面を参照しながら、本発明における
動きベクトル検出装置をその一実施例について説明す
る。
動きベクトル検出装置をその一実施例について説明す
る。
【００１４】図１は、ビデオカメラ、電子カメラ等の撮
像装置に用いて好適な本発明の動きベクトル検出装置の
一実施例の構成を示すブロツク図である。
像装置に用いて好適な本発明の動きベクトル検出装置の
一実施例の構成を示すブロツク図である。
【００１５】１０は画像信号の入力端子、２０は動きベ
クトル演算前の前処理フイルタ、３０は画像の空間勾配
を演算する回路、４０はブロツクの境界を決定する境界
決定回路、５０は空間勾配演算回路３０及びブロツク境
界決定回路４０による演算時間との調整用の遅延回路、
６０はブロツク境界決定回路４０の出力により開閉制御
されるアナログスイツチ、７０は相関演算による動きベ
クトル演算回路、８０は最終的な動きベクトル量を示す
信号を出力する出力端子である。
クトル演算前の前処理フイルタ、３０は画像の空間勾配
を演算する回路、４０はブロツクの境界を決定する境界
決定回路、５０は空間勾配演算回路３０及びブロツク境
界決定回路４０による演算時間との調整用の遅延回路、
６０はブロツク境界決定回路４０の出力により開閉制御
されるアナログスイツチ、７０は相関演算による動きベ
クトル演算回路、８０は最終的な動きベクトル量を示す
信号を出力する出力端子である。
【００１６】入力端子１０に入力された画像信号は、前
処理フイルタ２０を通過し、相関演算（またはマツチン
グ演算）に適していない空間周波数成分（たとえば非常
に高い空間周波数成分や直流成分に近い低周波成分な
ど）が除去される。画像信号は前処理フイルタ２０通過
後２つの経路に分割され、空間勾配演算回路３０と遅延
回路５０へと供給される。
処理フイルタ２０を通過し、相関演算（またはマツチン
グ演算）に適していない空間周波数成分（たとえば非常
に高い空間周波数成分や直流成分に近い低周波成分な
ど）が除去される。画像信号は前処理フイルタ２０通過
後２つの経路に分割され、空間勾配演算回路３０と遅延
回路５０へと供給される。
【００１７】空間勾配演算回路３０では、それぞれ垂直
方向及び水平方向における空間勾配が演算される。図２
は水平方向の空間勾配を演算する簡単な回路構成例であ
る。図２において、画像信号入力端子９０より入力した
画像信号は、１画素時間分の遅延を生じさせるラツチ１
００通過後の画像信号と減算器１００で減算され、差分
が出力端子１２０から出力される。これは水平方向に隣
接する画素間の輝度差を求めていることを意味する。
方向及び水平方向における空間勾配が演算される。図２
は水平方向の空間勾配を演算する簡単な回路構成例であ
る。図２において、画像信号入力端子９０より入力した
画像信号は、１画素時間分の遅延を生じさせるラツチ１
００通過後の画像信号と減算器１００で減算され、差分
が出力端子１２０から出力される。これは水平方向に隣
接する画素間の輝度差を求めていることを意味する。
【００１８】また図３は垂直方向における空間勾配を演
算する簡単な回路構成例である。画像信号入力端子１３
０より入力した画像信号は、１走査線時間分の遅延を生
じさせるラインメモリ１４０を通過した画像信号と減算
器１５０で減算され、その差分が出力端子１６０から出
力される。これは垂直方向に隣接する画素間の輝度差を
求めていることになる。
算する簡単な回路構成例である。画像信号入力端子１３
０より入力した画像信号は、１走査線時間分の遅延を生
じさせるラインメモリ１４０を通過した画像信号と減算
器１５０で減算され、その差分が出力端子１６０から出
力される。これは垂直方向に隣接する画素間の輝度差を
求めていることになる。
【００１９】ブロツク境界決定回路４０では、空間勾配
演算回路３０で演算された輝度差が０あるいは所定のし
きい値以下になつた位置を記憶し、これを接続して１つ
の閉領域、すなわちブロツクを形成する。アナログスイ
ツチ６０は相関演算のための差和演算をブロツク境界決
定回路４０で決定されるブロツク内で行なうよう制御す
る。
演算回路３０で演算された輝度差が０あるいは所定のし
きい値以下になつた位置を記憶し、これを接続して１つ
の閉領域、すなわちブロツクを形成する。アナログスイ
ツチ６０は相関演算のための差和演算をブロツク境界決
定回路４０で決定されるブロツク内で行なうよう制御す
る。
【００２０】動きベルトル演算回路７０ではアナログス
イツチ６０の制御下で、相関演算あるいはマツチング演
算を行ない動きベクトルを演算する。演算された動きベ
クトルは出力端子８０より出力される。
イツチ６０の制御下で、相関演算あるいはマツチング演
算を行ない動きベクトルを演算する。演算された動きベ
クトルは出力端子８０より出力される。
【００２１】本発明における動きベクトル装置は以上の
ような構成になつており、次にその特有の作用について
説明する。
ような構成になつており、次にその特有の作用について
説明する。
【００２２】図４は画像の任意の断面を示すものであ
る。縦軸は画像の濃度値を示し、横軸は画像中の位置を
示すものである。横軸上のｘ1ｘ2, ……，ｘ8は、画像
信号g'(x1)≒g'(x2)≒……≒g'(x8)≒０となる点であ
る。すなわち画像の空間勾配が０あるいはほぼ０の点を
ブロツクの境界と決めればｘ1〜ｘ2間をブロツク１、ｘ
2〜ｘ3間をブロツク２……というように、画像の空間周
波数に応じた最適なブロツクの大きさ及び２次元的には
形状が自動的に設定される。
る。縦軸は画像の濃度値を示し、横軸は画像中の位置を
示すものである。横軸上のｘ1ｘ2, ……，ｘ8は、画像
信号g'(x1)≒g'(x2)≒……≒g'(x8)≒０となる点であ
る。すなわち画像の空間勾配が０あるいはほぼ０の点を
ブロツクの境界と決めればｘ1〜ｘ2間をブロツク１、ｘ
2〜ｘ3間をブロツク２……というように、画像の空間周
波数に応じた最適なブロツクの大きさ及び２次元的には
形状が自動的に設定される。
【００２３】図４では画像周期Ｔの１／２をブロツクの
大きさとしたが、画像周期Ｔをそのままブロツクの大き
さとしてもよい。
大きさとしたが、画像周期Ｔをそのままブロツクの大き
さとしてもよい。
【００２４】このようにすることにより、相関演算（ま
たはマツチング演算）に必要な画像情報が乏しい低周波
領域ではブロツクの大きさを大きくとることにより、従
来より問題となつている低周波領域から発生する大きな
エラーベクトルを除去することができる。逆に情報が十
分に存在する高周波領域では、ブロツクの大きさを小さ
く取ることが可能となり、ブロツクの大きさが固定され
ている従来方式で生じるブロツク内の空間勾配情報の冗
長性を減ずることができ、結果として高い空間解像度を
得ることができる。
たはマツチング演算）に必要な画像情報が乏しい低周波
領域ではブロツクの大きさを大きくとることにより、従
来より問題となつている低周波領域から発生する大きな
エラーベクトルを除去することができる。逆に情報が十
分に存在する高周波領域では、ブロツクの大きさを小さ
く取ることが可能となり、ブロツクの大きさが固定され
ている従来方式で生じるブロツク内の空間勾配情報の冗
長性を減ずることができ、結果として高い空間解像度を
得ることができる。
【００２５】以上の実施例では、ブロツクの境界を決定
する手段として、画像の空間勾配を用いた場合について
説明したが、以下に本発明における第２の実施例は、連
続する画像間の濃度差すなわち時間勾配を用い、前記実
施例と同様に、入力画像信号の大きさ及び形状を自動的
に設定する方法を説明する。
する手段として、画像の空間勾配を用いた場合について
説明したが、以下に本発明における第２の実施例は、連
続する画像間の濃度差すなわち時間勾配を用い、前記実
施例と同様に、入力画像信号の大きさ及び形状を自動的
に設定する方法を説明する。
【００２６】図５は、本発明の第２の実施例を示す図で
ある。同図において、図１に示す第１の実施例との相違
点は、ブロツク境界決定回路２００でブロツクの境界を
決定するための基準となる画像濃度差演算回路１９０の
動作のみである。
ある。同図において、図１に示す第１の実施例との相違
点は、ブロツク境界決定回路２００でブロツクの境界を
決定するための基準となる画像濃度差演算回路１９０の
動作のみである。
【００２７】図６は時系列に連続する２枚の画像間の濃
度差すなわち時間勾配を求める回路の簡単な構成例であ
る。入力端子２５０から入力した画像信号はメモリ２６
０を通過して１画面分遅れた画像信号と減算器２７０に
おいて減算され、その差分が出力端子２８０から出力さ
れる。メモリ２６０のデータ保持時間は、たとえばＮＴ
ＳＣのフイールド単位の処理であれば１／６０秒、フレ
ーム単位の処理であれば１／３０秒である。濃度差が０
あるいは設定されたしきい値以下となる位置をブロツク
の境界とすることにより、入力画像の各部分の空間周波
数に応じた適応型のブロツク形状が自動的に設定され
る。
度差すなわち時間勾配を求める回路の簡単な構成例であ
る。入力端子２５０から入力した画像信号はメモリ２６
０を通過して１画面分遅れた画像信号と減算器２７０に
おいて減算され、その差分が出力端子２８０から出力さ
れる。メモリ２６０のデータ保持時間は、たとえばＮＴ
ＳＣのフイールド単位の処理であれば１／６０秒、フレ
ーム単位の処理であれば１／３０秒である。濃度差が０
あるいは設定されたしきい値以下となる位置をブロツク
の境界とすることにより、入力画像の各部分の空間周波
数に応じた適応型のブロツク形状が自動的に設定され
る。
【００２８】図７は、本実施例の様子を表わす図であ
る。縦軸が画像濃度値を示しており、横軸が画像中の位
置を示している。横軸に記入したｘ1，ｘ2，……，ｘ8
は時間的に連続する画像間の濃度差、すなわち時間勾配
ｄが０になる点である。前記各点（ｘ1，ｘ2，……，ｘ
8）をブロツクの境界と定めれば、画像の空間周波数に
応じた最適なブロツクの大きさ、及び２次元的には形状
が自動的に設定される。図７では、時間勾配ｄ＝０の点
ごとにブロツクを区切る様子を示したが、ｄ＝０の点を
１回飛ばしてブロツクの境界とし、１ブロツクの大きさ
がほぼ画像の１周期Ｔに等しくなるようにしてもよい。
る。縦軸が画像濃度値を示しており、横軸が画像中の位
置を示している。横軸に記入したｘ1，ｘ2，……，ｘ8
は時間的に連続する画像間の濃度差、すなわち時間勾配
ｄが０になる点である。前記各点（ｘ1，ｘ2，……，ｘ
8）をブロツクの境界と定めれば、画像の空間周波数に
応じた最適なブロツクの大きさ、及び２次元的には形状
が自動的に設定される。図７では、時間勾配ｄ＝０の点
ごとにブロツクを区切る様子を示したが、ｄ＝０の点を
１回飛ばしてブロツクの境界とし、１ブロツクの大きさ
がほぼ画像の１周期Ｔに等しくなるようにしてもよい。
【００２９】次に上述の動きベクトル検出装置を実際に
ビデオカメラの防振装置に適用した場合について、図
８、図９を参照しながら例を上げて説明する。
ビデオカメラの防振装置に適用した場合について、図
８、図９を参照しながら例を上げて説明する。
【００３０】図８は、本発明における動きベクトル検出
装置を用いて画像の振れを検出するとともに、その振れ
を補正する振れ補正手段として、撮影レンズの光軸を可
変して、光学的に振れを補正する可変頂角プリズムを用
いたものである。
装置を用いて画像の振れを検出するとともに、その振れ
を補正する振れ補正手段として、撮影レンズの光軸を可
変して、光学的に振れを補正する可変頂角プリズムを用
いたものである。
【００３１】同図において、１０１は撮影レンズ光学系
の光軸の方向すなわち頂角を可変する可変頂角プリズム
で、たとえば２枚の平行ガラス板間にシリコン系の液体
を充填したものである。１０２は撮影レンズ、１０３は
撮影レンズ１０２によつて結像された被写体画像を光電
変換して撮像信号を出力するＣＣＤ等の撮像素子、１０
４はプリアンプ、１０５は撮像素子より出力された撮像
信号に対し、ブランキング処理、同期信号の付加、ガン
マ補正等、各種の処理を行なって規格化された映像信号
を出力するカメラ信号処理回路、１０６は前述の図１，
図５の各実施例において説明した動きベクトル検出回路
を含む動きベクトル検出回路、１０７は動きベクトル検
出回路１０６より供給された画像の動きベクトル情報を
取り込んで、カメラぶれによる画像の動きを相殺する可
変頂角プリズムの駆動方向の情報と振れ補正に必要な駆
動量を演算するシステムコントロール回路、１０８はシ
ステムコントロール回路１０７で演算された情報に基づ
いてアクチユエータ１０９を駆動制御し、可変頂角プリ
ズム１０１を駆動する駆動回路である。
の光軸の方向すなわち頂角を可変する可変頂角プリズム
で、たとえば２枚の平行ガラス板間にシリコン系の液体
を充填したものである。１０２は撮影レンズ、１０３は
撮影レンズ１０２によつて結像された被写体画像を光電
変換して撮像信号を出力するＣＣＤ等の撮像素子、１０
４はプリアンプ、１０５は撮像素子より出力された撮像
信号に対し、ブランキング処理、同期信号の付加、ガン
マ補正等、各種の処理を行なって規格化された映像信号
を出力するカメラ信号処理回路、１０６は前述の図１，
図５の各実施例において説明した動きベクトル検出回路
を含む動きベクトル検出回路、１０７は動きベクトル検
出回路１０６より供給された画像の動きベクトル情報を
取り込んで、カメラぶれによる画像の動きを相殺する可
変頂角プリズムの駆動方向の情報と振れ補正に必要な駆
動量を演算するシステムコントロール回路、１０８はシ
ステムコントロール回路１０７で演算された情報に基づ
いてアクチユエータ１０９を駆動制御し、可変頂角プリ
ズム１０１を駆動する駆動回路である。
【００３２】これによつて、前述した各実施例における
動きベクトル検出を行う動きベクトル検出回路１０６に
よつて画像のぶれ（カメラぶれ）に基づく動きベクトル
が検出され、この動きベクトルに基づいて、可変頂角プ
リズムの駆動方向及び駆動量が演算され、この演算出力
によつて可変頂角プリズムが駆動され、ぶれ補正が行な
われる。動きベクトル検出回路自体の動作は前述の実施
例にて説明した通りであり説明は省略する。
動きベクトル検出を行う動きベクトル検出回路１０６に
よつて画像のぶれ（カメラぶれ）に基づく動きベクトル
が検出され、この動きベクトルに基づいて、可変頂角プ
リズムの駆動方向及び駆動量が演算され、この演算出力
によつて可変頂角プリズムが駆動され、ぶれ補正が行な
われる。動きベクトル検出回路自体の動作は前述の実施
例にて説明した通りであり説明は省略する。
【００３３】図９は、ぶれ補正手段に光学系を用いず、
一旦画像をメモリに取り込み、メモリからの読み出し範
囲を可変することによつて画像の動きを補正するように
したものである。
一旦画像をメモリに取り込み、メモリからの読み出し範
囲を可変することによつて画像の動きを補正するように
したものである。
【００３４】図８の実施例と同一構成部分については、
同一の符合を用いてその説明を省略する。
同一の符合を用いてその説明を省略する。
【００３５】プリアンプ１０４より出力された撮像信号
は、カメラ信号処理回路１１０によつてＡＧＣ、ガンマ
等の処理を施された後、Ａ／Ｄ変換器１１１でデジタル
信号に変換され、後述のメモリコントロール回路１１６
によつて設定されるレートで画像メモリ１１２へと取り
こまれる。そしてメモリ１１２より読み出されたデジタ
ル画像信号は、さらにデジタルカメラ信号処理回路１１
３によつて図８の例ではアナログ信号の形で行なわれて
いた所定の処理を施される。このときのメモリへの画像
の取り込みのためのＡ／Ｄ変換のレート及びタイミン
グ、さらにメモリへの書き込みタイミング，アドレスは
メモリコントロール回路１１６によつて制御される。メ
モリからの読み出しのアドレス、タイミングの制御もこ
のメモリコントロール回路によつて制御される。
は、カメラ信号処理回路１１０によつてＡＧＣ、ガンマ
等の処理を施された後、Ａ／Ｄ変換器１１１でデジタル
信号に変換され、後述のメモリコントロール回路１１６
によつて設定されるレートで画像メモリ１１２へと取り
こまれる。そしてメモリ１１２より読み出されたデジタ
ル画像信号は、さらにデジタルカメラ信号処理回路１１
３によつて図８の例ではアナログ信号の形で行なわれて
いた所定の処理を施される。このときのメモリへの画像
の取り込みのためのＡ／Ｄ変換のレート及びタイミン
グ、さらにメモリへの書き込みタイミング，アドレスは
メモリコントロール回路１１６によつて制御される。メ
モリからの読み出しのアドレス、タイミングの制御もこ
のメモリコントロール回路によつて制御される。
【００３６】カメラ信号処理回路１１３より出力された
画像信号は、後述の画角補正回路１１４を介してぶれ補
正された後、Ｄ／Ａ変換器１１５でアナログ信号に変換
されて出力される。なお、そのままデジタル映像信号出
力として出力するようにしてもよい。
画像信号は、後述の画角補正回路１１４を介してぶれ補
正された後、Ｄ／Ａ変換器１１５でアナログ信号に変換
されて出力される。なお、そのままデジタル映像信号出
力として出力するようにしてもよい。
【００３７】一方、動きベクトル検出回路１１７では、
前述の図１または図５の実施例のようにカメラぶれによ
る動きベクトルが検出され、システムコントロール回路
１１８へと供給され、システムコントロール回路１１８
では、動きベクトル検出回路１１７において検出された
動きベクトルに基づいて画像の動きの方向と動き量を演
算し、これに基づいて、メモリコントロール回路１１６
を制御し、メモリの読み出し範囲を制御する。すなわち
メモリには予め出力される画角よりも広い画角で画像を
取り込み、メモリ読み出し時にその読み出し範囲をメモ
リ上で可変して動きを補正するものである。すなわち動
きの方向へ読み出し範囲をシフトすることによつて画像
の動きを補正することができる。
前述の図１または図５の実施例のようにカメラぶれによ
る動きベクトルが検出され、システムコントロール回路
１１８へと供給され、システムコントロール回路１１８
では、動きベクトル検出回路１１７において検出された
動きベクトルに基づいて画像の動きの方向と動き量を演
算し、これに基づいて、メモリコントロール回路１１６
を制御し、メモリの読み出し範囲を制御する。すなわち
メモリには予め出力される画角よりも広い画角で画像を
取り込み、メモリ読み出し時にその読み出し範囲をメモ
リ上で可変して動きを補正するものである。すなわち動
きの方向へ読み出し範囲をシフトすることによつて画像
の動きを補正することができる。
【００３８】なおメモリに取り込んだ画像データを読出
す際、その読出し範囲をメモリ空間より小さく設定し、
読出し範囲をメモリ上で動きのある方向へと移動させる
ことによつて画像の動きを相殺しているため、メモリの
取り込み前と後では画角の大きさが異なる。画角補正回
路１１４は、この振れ補正による画角の大きさを補正す
るものであり、たとえば読出した画像情報を拡大して、
振れ補正前の画角と同一サイズにする処理を行なうもの
である。
す際、その読出し範囲をメモリ空間より小さく設定し、
読出し範囲をメモリ上で動きのある方向へと移動させる
ことによつて画像の動きを相殺しているため、メモリの
取り込み前と後では画角の大きさが異なる。画角補正回
路１１４は、この振れ補正による画角の大きさを補正す
るものであり、たとえば読出した画像情報を拡大して、
振れ補正前の画角と同一サイズにする処理を行なうもの
である。
【００３９】なお、上述の構成において、カメラ信号処
理回路は、Ｄ／Ａ変換器１１５の後に配してアナログ信
号処理を行なってもよいが、デジタル信号処理を行なう
方が処理が容易となり、またノイズの点でも有利であ
る。
理回路は、Ｄ／Ａ変換器１１５の後に配してアナログ信
号処理を行なってもよいが、デジタル信号処理を行なう
方が処理が容易となり、またノイズの点でも有利であ
る。
【００４０】このように、本発明における動きベクトル
検出回路によつて、ビデオカメラにオけるぶれ補正を行
なうことができる。その他、動き検出として、ぶれ補正
に限らず、カメラのパンニング検出等、その他多くの適
用が可能である。
検出回路によつて、ビデオカメラにオけるぶれ補正を行
なうことができる。その他、動き検出として、ぶれ補正
に限らず、カメラのパンニング検出等、その他多くの適
用が可能である。
【００４１】これによつて、きわめて動き検出レンジが
広く、大小さまざまな動きに対して検出、補正を行なう
ことができ、高性能なぶれ補正機能付ビデオカメラを実
現することができる。
広く、大小さまざまな動きに対して検出、補正を行なう
ことができ、高性能なぶれ補正機能付ビデオカメラを実
現することができる。
【００４２】
【発明の効果】以上述べたように、本発明における動き
ベクトル検出装置によれば、動きベクトル検出領域とし
てのブロツクの大きさ及び形状を入力画像の空間周波数
に応じて適応的且つ自動的に設定することにより、空間
周波数が低く特徴の少ない図柄の領域における大きいエ
ラーベクトルを除去することができ、また画像の有する
空間勾配情報を有効に活用することにより、高い空間解
像度を得ることができ、さらに単純な評価関数によりブ
ロツクの境界を決定することができるため、ブロツク設
定処理の高速化を実現することができる。
ベクトル検出装置によれば、動きベクトル検出領域とし
てのブロツクの大きさ及び形状を入力画像の空間周波数
に応じて適応的且つ自動的に設定することにより、空間
周波数が低く特徴の少ない図柄の領域における大きいエ
ラーベクトルを除去することができ、また画像の有する
空間勾配情報を有効に活用することにより、高い空間解
像度を得ることができ、さらに単純な評価関数によりブ
ロツクの境界を決定することができるため、ブロツク設
定処理の高速化を実現することができる。
【図１】本発明における動きベクトル検出装置の第１の
実施例の構成を示すブロツク図である。
実施例の構成を示すブロツク図である。
【図２】水平方向の勾配を求める回路構成を示すブロツ
ク図である。
ク図である。
【図３】垂直方向の勾配を求める回路構成を示すブロツ
ク図である。
ク図である。
【図４】画像の空間勾配を用いてブロツクの境界を決定
する方法を説明するための図である。
する方法を説明するための図である。
【図５】本発明の第２の実施例における構成ブロツク図
である。
である。
【図６】画像間の濃度差を求める回路構成図である。
【図７】画像間の濃度差を用いてブロツクの境界を決定
する方法の説明するための図である。
する方法の説明するための図である。
【図８】本発明の動きベクトル検出回路を適用したビデ
オカメラの一実施例を示すブロツク図である。
オカメラの一実施例を示すブロツク図である。
【図９】本発明の動きベクトル検出回路を適用したビデ
オカメラの他の実施例を示すブロツク図である。
オカメラの他の実施例を示すブロツク図である。
Claims (3)
- 【請求項１】 画像信号中より動きベクトルを検出する
装置であつて、一個の動きベクトルを出力する単位演算
領域の大きさ及び形状を入力画像の空間周波数に応じて
適応的に自動設定する領域設定手段と、前記領域設定手
段によつて設定された前記単位演算領域内に相当する画
像信号より、時系列に連続した画像間の相関演算または
マツチング演算を行つて画像の動きベクトルを検出する
動きベクトル検出手段と、を備えたことを特徴とする動
きベクトル検出装置。 - 【請求項２】 前記領域設定手段は、前記単位演算領域
の境界を、画像の空間勾配に基づいて決定するように構
成されていることを特徴とする請求項１に記載の動きベ
クトル検出装置。 - 【請求項３】 前記領域設定手段は、前記単位演算領域
の境界を、時間的に連続する画像間の濃度差によつて表
される時間勾配に基づいて決定するように構成されてい
ることを特徴とする請求項１に記載の動きベクトル検出
装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15031991A JP3200089B2 (ja) | 1991-06-21 | 1991-06-21 | 動きベクトル検出装置及び振れ補正装置 |
| DE69124777T DE69124777T2 (de) | 1990-11-30 | 1991-11-28 | Gerät zur Detektion des Bewegungsvektors |
| EP91311002A EP0488723B1 (en) | 1990-11-30 | 1991-11-28 | Movement vector detection apparatus |
| US08/402,990 US5734441A (en) | 1990-11-30 | 1995-03-13 | Apparatus for detecting a movement vector or an image by detecting a change amount of an image density value |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15031991A JP3200089B2 (ja) | 1991-06-21 | 1991-06-21 | 動きベクトル検出装置及び振れ補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH057327A true JPH057327A (ja) | 1993-01-14 |
| JP3200089B2 JP3200089B2 (ja) | 2001-08-20 |
Family
ID=15494425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15031991A Expired - Fee Related JP3200089B2 (ja) | 1990-11-30 | 1991-06-21 | 動きベクトル検出装置及び振れ補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3200089B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998012869A1 (fr) * | 1996-09-20 | 1998-03-26 | Sharp Kabushiki Kaisha | Appareil de mesure de mouvement |
| US7454131B2 (en) | 2004-12-27 | 2008-11-18 | Canon Kabushiki Kaisha | Image sensing apparatus with camera shake correction function |
| CN100438576C (zh) * | 2004-12-27 | 2008-11-26 | 佳能株式会社 | 摄像装置和控制方法 |
| US8314842B2 (en) | 2008-09-24 | 2012-11-20 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
-
1991
- 1991-06-21 JP JP15031991A patent/JP3200089B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998012869A1 (fr) * | 1996-09-20 | 1998-03-26 | Sharp Kabushiki Kaisha | Appareil de mesure de mouvement |
| US6650362B1 (en) | 1996-09-20 | 2003-11-18 | Sharp Kabushiki Kaisha | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame |
| US7454131B2 (en) | 2004-12-27 | 2008-11-18 | Canon Kabushiki Kaisha | Image sensing apparatus with camera shake correction function |
| CN100438576C (zh) * | 2004-12-27 | 2008-11-26 | 佳能株式会社 | 摄像装置和控制方法 |
| US7509039B2 (en) | 2004-12-27 | 2009-03-24 | Canon Kabushiki Kaisha | Image sensing apparatus with camera shake correction function |
| US8314842B2 (en) | 2008-09-24 | 2012-11-20 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3200089B2 (ja) | 2001-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5734441A (en) | Apparatus for detecting a movement vector or an image by detecting a change amount of an image density value | |
| CN103973999B (zh) | 摄像装置及其控制方法 | |
| CN103733607B (zh) | 用于检测运动物体的装置和方法 | |
| US20090153680A1 (en) | Image capturing apparatus, control method therefor, and program | |
| KR101594300B1 (ko) | Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 | |
| JP6906947B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
| JP2860702B2 (ja) | 動きベクトル検出装置 | |
| JP4640068B2 (ja) | 撮像方法および撮像装置 | |
| KR100601312B1 (ko) | 디지털 스틸 카메라의 자동 노출 보정 장치 및 방법 | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| KR20100046544A (ko) | 영상 왜곡 보정 방법 및 장치 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP2011114486A (ja) | 撮像装置 | |
| JP2603212B2 (ja) | カメラにおける自動追尾装置 | |
| JP2005027046A (ja) | 画像処理装置及び画像処理方法 | |
| KR101467873B1 (ko) | 손떨림 검출에 따른 디지털 영상 촬영 장치 및 방법 | |
| KR101486773B1 (ko) | 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치 | |
| JP2004229084A (ja) | 手振れ補正装置、手振れ補正方法及び撮像装置 | |
| JP3209785B2 (ja) | 動きベクトル検出装置 | |
| JP2019149602A (ja) | 撮像装置 | |
| JP3126998B2 (ja) | 動きベクトル検出装置 | |
| JP3157009B2 (ja) | 動きベクトル検出装置及びぶれ補正装置 | |
| JPH04145777A (ja) | 動きベクトル検出装置 | |
| JPH0746456A (ja) | 手振れ補正装置を有するビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010529 |
|
| LAPS | Cancellation because of no payment of annual fees |