JPH07107367A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH07107367A JPH07107367A JP5265796A JP26579693A JPH07107367A JP H07107367 A JPH07107367 A JP H07107367A JP 5265796 A JP5265796 A JP 5265796A JP 26579693 A JP26579693 A JP 26579693A JP H07107367 A JPH07107367 A JP H07107367A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- correction
- signal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 画像ブレの補正を適切に行い、補正の精度が
低下した状態で画像を撮影、記録してしまうことを防止
する。 【構成】 画像信号中より動きベクトルを検出し（Ｓ２
０２）、検出した動きベクトルに基づいて動きベクトル
の乱れの強さＲＭＳＸ，ＲＭＳＹを算出する（Ｓ２０
６）。乱れの強さＲＭＳＸ又はＲＭＳＹがしきい値ＴＨ
１又はＴＨ２より大きいとき、画像の乱れが大きく補正
不可能と判断し、補正を中断する（Ｓ２０６，Ｓ２１
４）。補正中断中に、補正対象画面のメモリ上の記憶位
置を補正に適した位置に移動させる。
低下した状態で画像を撮影、記録してしまうことを防止
する。 【構成】 画像信号中より動きベクトルを検出し（Ｓ２
０２）、検出した動きベクトルに基づいて動きベクトル
の乱れの強さＲＭＳＸ，ＲＭＳＹを算出する（Ｓ２０
６）。乱れの強さＲＭＳＸ又はＲＭＳＹがしきい値ＴＨ
１又はＴＨ２より大きいとき、画像の乱れが大きく補正
不可能と判断し、補正を中断する（Ｓ２０６，Ｓ２１
４）。補正中断中に、補正対象画面のメモリ上の記憶位
置を補正に適した位置に移動させる。
Description
【０００１】
【産業上の利用分野】本発明は、画像処理装置に関し、
特にビデオカメラにより撮影された画像のブレを補正す
る画像処理装置に関する。
特にビデオカメラにより撮影された画像のブレを補正す
る画像処理装置に関する。
【０００２】
【従来の技術】近年、カメラ一体型ＶＴＲは、レンズの
リアフォーカス化による大幅な小型化、使用部品の小型
化、高密度実装化等によりカメラ一体型ＶＴＲが小型軽
量化され、更にレンズ自体の高倍率化が進んできてお
り、三脚などを使用せず手持ちでかつ高倍率で撮影する
頻度が高くなってきている。
リアフォーカス化による大幅な小型化、使用部品の小型
化、高密度実装化等によりカメラ一体型ＶＴＲが小型軽
量化され、更にレンズ自体の高倍率化が進んできてお
り、三脚などを使用せず手持ちでかつ高倍率で撮影する
頻度が高くなってきている。
【０００３】この反面、使用中のわずかな手ブレでも撮
影画像は大きな画面ブレを伴った画像として記録されて
しまう。
影画像は大きな画面ブレを伴った画像として記録されて
しまう。
【０００４】この手ブレ等により生じる画像のブレを防
止する機能を備えた光学機器が知られており、その一例
としては、補正光学系をジンバル機構により可動に支持
し、手ブレ等の補正光学系をその慣性によって画像ブレ
を防止する慣性振り子式画像ブレ防止装置（米国特許の
第２９５９０８８号や同第２８２９５５７号等）が従来
より知られている。
止する機能を備えた光学機器が知られており、その一例
としては、補正光学系をジンバル機構により可動に支持
し、手ブレ等の補正光学系をその慣性によって画像ブレ
を防止する慣性振り子式画像ブレ防止装置（米国特許の
第２９５９０８８号や同第２８２９５５７号等）が従来
より知られている。
【０００５】またビデオレンズの前玉の前方に可変頂角
プリズムを配し、振動を検知するセンサ出力によりプリ
ズムの頂角を制御することにより画像ブレを防止する可
変頂角式画像ブレ防止装置や、撮像素子から出力される
映像信号を画像メモリ等に記憶し、その情報より動きを
検知し、動き量に応じて画像メモリの読み出しアドレス
をシフトすることにより画像ブレを補正する純電子式画
像ブレ防止装置（特開昭６１−２４８６８１号公報）等
が既に提案されている。
プリズムを配し、振動を検知するセンサ出力によりプリ
ズムの頂角を制御することにより画像ブレを防止する可
変頂角式画像ブレ防止装置や、撮像素子から出力される
映像信号を画像メモリ等に記憶し、その情報より動きを
検知し、動き量に応じて画像メモリの読み出しアドレス
をシフトすることにより画像ブレを補正する純電子式画
像ブレ防止装置（特開昭６１−２４８６８１号公報）等
が既に提案されている。
【０００６】特に純電子式画像ブレ防止装置は画像ブレ
を補正するための特殊な機械的機構を必要とせず、半導
体技術の急激な進歩により大規模な電気回路も極めて小
さなパッケージに納まり小型軽量化、低コストが可能な
ことから近年注目されている。
を補正するための特殊な機械的機構を必要とせず、半導
体技術の急激な進歩により大規模な電気回路も極めて小
さなパッケージに納まり小型軽量化、低コストが可能な
ことから近年注目されている。
【０００７】
【発明が解決しようとする課題】しかしながら、従来の
純電子式画像ブレ防止装置では、画面内に、動きベクト
ルを検出しにくい苦手被写体や激しく動き回る被写体な
どが存在する場合、ブレ補正値の精度が著しく低下し、
画像ブレ防止機能による補正が適切に行われないことが
あった。
純電子式画像ブレ防止装置では、画面内に、動きベクト
ルを検出しにくい苦手被写体や激しく動き回る被写体な
どが存在する場合、ブレ補正値の精度が著しく低下し、
画像ブレ防止機能による補正が適切に行われないことが
あった。
【０００８】本発明は、この問題を解決すべくなされた
ものであり、画像ブレの補正を適切に行い、ブレ補正の
精度が低下した状態で画像を撮影、記録してしまうこと
を防止することができる画像処理装置を提供することを
目的とする。
ものであり、画像ブレの補正を適切に行い、ブレ補正の
精度が低下した状態で画像を撮影、記録してしまうこと
を防止することができる画像処理装置を提供することを
目的とする。
【０００９】
【課題を解決するための手段】上記目的を達成するため
本発明は、画像信号中より動きベクトルを検出し、実時
間で画像のブレを補正する画像処理装置において、時系
列に連続した画像間の相関演算を行うことにより画像間
の動きベクトルを検出する動きベクトル検出手段と、前
記動きベクトル検出手段により求められた動きベクトル
の乱れを検出する乱れ検出手段と、該動きベクトルの乱
れが所定量より大きいときは、動きベクトルが正確に求
まらないと判断し、前記画像ブレの補正を中断させる中
断手段とを備えるようにしたものである。
本発明は、画像信号中より動きベクトルを検出し、実時
間で画像のブレを補正する画像処理装置において、時系
列に連続した画像間の相関演算を行うことにより画像間
の動きベクトルを検出する動きベクトル検出手段と、前
記動きベクトル検出手段により求められた動きベクトル
の乱れを検出する乱れ検出手段と、該動きベクトルの乱
れが所定量より大きいときは、動きベクトルが正確に求
まらないと判断し、前記画像ブレの補正を中断させる中
断手段とを備えるようにしたものである。
【００１０】また、画像信号を記憶する記憶手段を含
み、前記補正中断中に補正対象面の前記記憶手段におけ
る記憶位置を、補正に適した位置に移動させることが望
ましい。
み、前記補正中断中に補正対象面の前記記憶手段におけ
る記憶位置を、補正に適した位置に移動させることが望
ましい。
【００１１】さらに同じ目的を達成するため、本発明
は、前記画像処理装置において、前記中断手段に代え
て、前記動きベクトルの乱れが所定量より大きいとき、
動きベクトルが正確に求まらないと判断し、撮影者に警
告する警告手段を備えるようにしたものである。
は、前記画像処理装置において、前記中断手段に代え
て、前記動きベクトルの乱れが所定量より大きいとき、
動きベクトルが正確に求まらないと判断し、撮影者に警
告する警告手段を備えるようにしたものである。
【００１２】
【作用】動きベクトルの乱れが所定量より大きいとき、
画像ブレの補正の中断あるいは撮影者への警告がなされ
る。
画像ブレの補正の中断あるいは撮影者への警告がなされ
る。
【００１３】画像ブレ補正の中断中に、補正対象画面の
記憶位置が補正に適した位置に移される。
記憶位置が補正に適した位置に移される。
【００１４】
【実施例】以下図面を参照して本発明の実施例について
説明する。
説明する。
【００１５】図１は、本発明の第１の実施例に係る画像
処理装置を組み込んだカメラ一体型ＶＴＲ（ビデオテー
プレコーダ）の要部のブロック構成図である。
処理装置を組み込んだカメラ一体型ＶＴＲ（ビデオテー
プレコーダ）の要部のブロック構成図である。
【００１６】図１において１００は通常フォーカシング
用のフォーカスレンズ群、１０１は焦点距離を変化させ
るズームレンズ群、１０２はズームレンズの動作によっ
て変化したピント面のずれを補正する補正系のレンズ
群、１０３は絞り、１０４は例えば２次元ＣＣＤからな
る撮像素子、１６は撮像素子から得られる電気信号をサ
ンプリングするサンプルホールド（Ｓ／Ｈ）回路、１８
は信号レベルを略一定に保持するためのオートマチック
ゲインコントロール（ＡＧＣ）回路、２０はアナログ−
デジタル（Ａ／Ｄ）変換器、２２は、撮像素子からの色
差線順次信号を１又は２水平走査期間（以下、水平走査
期間を「Ｈ」という）だけ遅延させ、１Ｈ遅延信号と、
０Ｈ遅延信号及び２Ｈ遅延信号を加算した信号とを出力
する回路、２４は色信号Ｃを生成する回路、２６は輝度
信号Ｙに混入する色信号を除去するためのローパスフィ
ルタ（ＬＰＦ）、２８は高周波成分を強調するエンハン
サ、３０はガンマ補正回路、３２は２次元バンドパスフ
ィルタ（ＢＰＦ）、３４は画像信号中より動きベクトル
を検出する動きベクトル検出回路、３６，３８はフィー
ルドメモリ、１２０は各種信号処理を行う論理制御装
置、４２はメモリ読みだし制御回路、４０はメモリより
読み出した画像を電子的に拡大・縮小する電子ズーム回
路、４４はデジタル−アナログ（Ｄ／Ａ）変換器、４８
は色信号Ｃ及び輝度信号Ｙの信号出力端子である。
用のフォーカスレンズ群、１０１は焦点距離を変化させ
るズームレンズ群、１０２はズームレンズの動作によっ
て変化したピント面のずれを補正する補正系のレンズ
群、１０３は絞り、１０４は例えば２次元ＣＣＤからな
る撮像素子、１６は撮像素子から得られる電気信号をサ
ンプリングするサンプルホールド（Ｓ／Ｈ）回路、１８
は信号レベルを略一定に保持するためのオートマチック
ゲインコントロール（ＡＧＣ）回路、２０はアナログ−
デジタル（Ａ／Ｄ）変換器、２２は、撮像素子からの色
差線順次信号を１又は２水平走査期間（以下、水平走査
期間を「Ｈ」という）だけ遅延させ、１Ｈ遅延信号と、
０Ｈ遅延信号及び２Ｈ遅延信号を加算した信号とを出力
する回路、２４は色信号Ｃを生成する回路、２６は輝度
信号Ｙに混入する色信号を除去するためのローパスフィ
ルタ（ＬＰＦ）、２８は高周波成分を強調するエンハン
サ、３０はガンマ補正回路、３２は２次元バンドパスフ
ィルタ（ＢＰＦ）、３４は画像信号中より動きベクトル
を検出する動きベクトル検出回路、３６，３８はフィー
ルドメモリ、１２０は各種信号処理を行う論理制御装
置、４２はメモリ読みだし制御回路、４０はメモリより
読み出した画像を電子的に拡大・縮小する電子ズーム回
路、４４はデジタル−アナログ（Ｄ／Ａ）変換器、４８
は色信号Ｃ及び輝度信号Ｙの信号出力端子である。
【００１７】次に図１の装置の動作の説明をする。被写
体１０はレンズ群１００，１０１，１０２、絞り１０３
を通って撮像素子１０４上に結像され、光電変換され
る。Ｓ／Ｈ回路１６は撮像素子１０４の出力信号を保持
し、引き続くＡＧＣ回路１８は、その出力信号レベルが
略一定となるように自動的に利得の制御を実行する。Ａ
／Ｄ変換器２０は、ＡＧＣ回路１８の出力信号をアナロ
グ−デジタル変換する。２水平走査期間遅延回路２２
は、デジタル信号に変換された色差線順次信号を１Ｈ遅
延信号と（０Ｈ＋２Ｈ）遅延信号に分離し、それぞれ輝
度信号処理部（２６以降）と色信号処理部（２４以降）
に送る。色信号処理回路２４では色信号が生成され、フ
ィールドメモリ３８に書き込まれる。
体１０はレンズ群１００，１０１，１０２、絞り１０３
を通って撮像素子１０４上に結像され、光電変換され
る。Ｓ／Ｈ回路１６は撮像素子１０４の出力信号を保持
し、引き続くＡＧＣ回路１８は、その出力信号レベルが
略一定となるように自動的に利得の制御を実行する。Ａ
／Ｄ変換器２０は、ＡＧＣ回路１８の出力信号をアナロ
グ−デジタル変換する。２水平走査期間遅延回路２２
は、デジタル信号に変換された色差線順次信号を１Ｈ遅
延信号と（０Ｈ＋２Ｈ）遅延信号に分離し、それぞれ輝
度信号処理部（２６以降）と色信号処理部（２４以降）
に送る。色信号処理回路２４では色信号が生成され、フ
ィールドメモリ３８に書き込まれる。
【００１８】一方、輝度信号処理部（２６以降）に送ら
れた信号は、まずＬＰＦ２６に入力される。ＬＰＦ２６
は、色差線順次信号からキャリア成分を除去し、輝度信
号分離を行う。エンハンサ２８は画質向上のために被写
体のエッジなど高周波成分を強調する処理を施す。通常
は、映像信号の２次微分信号を原信号に付加する。ガン
マ補正回路３０は、ハイライト部分での飽和を防ぎダイ
ナミックレンジを広げるためのガンマ補正を行う。ＢＰ
Ｆ３２は、動きベクトルを検出するのに有効な空間周波
数成分を抽出する。一般に画像信号の低周波成分、及び
高周波成分は動きベクトルの検出に不向きであるため、
ＢＰＦ３２により事前に除去される。本実施例では、前
記ＢＰＦ３２の出力の符号ビットだけを出力するものと
する。これは、ＤＣレベルをしきい値として輝度信号を
２値化することを意味する。したがって、ＢＰＦ３２以
降の輝度信号は、１ビットの２値化信号である。動きベ
クトル検出回路３４は、マッチング演算により動きベク
トルを検出する回路で、本実施例では実時間処理できる
検出方法を採用したものである必要がある。メモリ３６
は、ＢＰＦ３２から出力される輝度信号を所定時間（本
実施例では、１フィールド時間）遅延する遅延回路であ
り、１フィールド前の輝度信号を記憶し、現フィールド
の輝度信号と比較することによって画像の変位の方向、
大きさを検出するマッチング演算を可能にする。論理制
御回路１２０は、動きベクトル検出回路３４からの出力
信号（動きベクトルの水平方向、及び垂直方向の各成
分）から、図２に示すフローチャートに従い、その瞬間
の画像の基準位置からの偏差を計算する。メモリ読みだ
し制御回路４２は、論理制御装置１２０で計算された偏
差位置が中心になるように、すなわち動きベクトルを相
殺するようにフィールドメモリ３８の読みだし位置を制
御し、電子ズーム回路４０において直線補間で所望の大
きさに拡大・縮小され通常の画面に変換される。このよ
うに作られた画像信号が、画像ブレを補正された信号と
して、Ｄ／Ａ変換器によってアナログ信号に変換され、
信号出力端子４８から出力される。
れた信号は、まずＬＰＦ２６に入力される。ＬＰＦ２６
は、色差線順次信号からキャリア成分を除去し、輝度信
号分離を行う。エンハンサ２８は画質向上のために被写
体のエッジなど高周波成分を強調する処理を施す。通常
は、映像信号の２次微分信号を原信号に付加する。ガン
マ補正回路３０は、ハイライト部分での飽和を防ぎダイ
ナミックレンジを広げるためのガンマ補正を行う。ＢＰ
Ｆ３２は、動きベクトルを検出するのに有効な空間周波
数成分を抽出する。一般に画像信号の低周波成分、及び
高周波成分は動きベクトルの検出に不向きであるため、
ＢＰＦ３２により事前に除去される。本実施例では、前
記ＢＰＦ３２の出力の符号ビットだけを出力するものと
する。これは、ＤＣレベルをしきい値として輝度信号を
２値化することを意味する。したがって、ＢＰＦ３２以
降の輝度信号は、１ビットの２値化信号である。動きベ
クトル検出回路３４は、マッチング演算により動きベク
トルを検出する回路で、本実施例では実時間処理できる
検出方法を採用したものである必要がある。メモリ３６
は、ＢＰＦ３２から出力される輝度信号を所定時間（本
実施例では、１フィールド時間）遅延する遅延回路であ
り、１フィールド前の輝度信号を記憶し、現フィールド
の輝度信号と比較することによって画像の変位の方向、
大きさを検出するマッチング演算を可能にする。論理制
御回路１２０は、動きベクトル検出回路３４からの出力
信号（動きベクトルの水平方向、及び垂直方向の各成
分）から、図２に示すフローチャートに従い、その瞬間
の画像の基準位置からの偏差を計算する。メモリ読みだ
し制御回路４２は、論理制御装置１２０で計算された偏
差位置が中心になるように、すなわち動きベクトルを相
殺するようにフィールドメモリ３８の読みだし位置を制
御し、電子ズーム回路４０において直線補間で所望の大
きさに拡大・縮小され通常の画面に変換される。このよ
うに作られた画像信号が、画像ブレを補正された信号と
して、Ｄ／Ａ変換器によってアナログ信号に変換され、
信号出力端子４８から出力される。
【００１９】図２は、図１の論理制御装置１２０におけ
る処理内容を示すフローチャートであり、これを参照し
て論理制御装置１２０の動作を詳細に説明する。
る処理内容を示すフローチャートであり、これを参照し
て論理制御装置１２０の動作を詳細に説明する。
【００２０】図２において、ステップＳ２０２では動き
ベクトル検出回路３４からの出力信号（所定画面位置の
動きベクトルの水平方向、及び垂直方向の各成分）を毎
フィールドごとに取り込む。
ベクトル検出回路３４からの出力信号（所定画面位置の
動きベクトルの水平方向、及び垂直方向の各成分）を毎
フィールドごとに取り込む。
【００２１】ステップＳ２０４では、ステップＳ２０２
で取り込んだ所定画面位置で検出された動きベクトルを
積分し、画面の基準位置からの偏差を求め、画像ブレ補
正信号を得る。また、ここでは、個々の動きベクトルの
信頼性をも合わせて評価し、上記積分動作に反映させ、
より正確な偏差を求めている。
で取り込んだ所定画面位置で検出された動きベクトルを
積分し、画面の基準位置からの偏差を求め、画像ブレ補
正信号を得る。また、ここでは、個々の動きベクトルの
信頼性をも合わせて評価し、上記積分動作に反映させ、
より正確な偏差を求めている。
【００２２】ステップＳ２０６では、ステップＳ２０２
で取り込んだ動きベクトルに基づいて、例えば、苦手被
写体が画面内に存在しているか否かなどの画像状態を判
断する。ここで画像ブレ補正を行うことが不可能と判断
した場合は、ステップＳ２１４へ、そうでなければ画像
ブレ補正を行うべくステップＳ２０８以降へ移行する。
ステップＳ２０６のルーチンと、ステップＳ２１４のル
ーチンは本発明の主眼を成すところであり、後に詳細に
説明する。
で取り込んだ動きベクトルに基づいて、例えば、苦手被
写体が画面内に存在しているか否かなどの画像状態を判
断する。ここで画像ブレ補正を行うことが不可能と判断
した場合は、ステップＳ２１４へ、そうでなければ画像
ブレ補正を行うべくステップＳ２０８以降へ移行する。
ステップＳ２０６のルーチンと、ステップＳ２１４のル
ーチンは本発明の主眼を成すところであり、後に詳細に
説明する。
【００２３】ステップＳ２０８〜Ｓ２１２では、通常の
画像ブレ補正制御を行う。
画像ブレ補正制御を行う。
【００２４】即ち、ステップＳ２０８では、ステップＳ
２０２，Ｓ２０４で求めた動きベクトルと動きベクトル
積分値の空間的な分布、あるいは時間的な変動により、
画面内における動きのある部分を判別し、補正対象領域
を決定する。
２０２，Ｓ２０４で求めた動きベクトルと動きベクトル
積分値の空間的な分布、あるいは時間的な変動により、
画面内における動きのある部分を判別し、補正対象領域
を決定する。
【００２５】ステップＳ２１０では、ステップＳ２０８
で決定された補正対象領域内の動きベクトル積分値を抽
出し、最終的な画像ブレ補正値を求める。また、ここで
は最終的に求められた画像ブレ補正値に対し、補正可能
領域を越えたか否かの確認も行い、必要ならば所定の処
理を行う。
で決定された補正対象領域内の動きベクトル積分値を抽
出し、最終的な画像ブレ補正値を求める。また、ここで
は最終的に求められた画像ブレ補正値に対し、補正可能
領域を越えたか否かの確認も行い、必要ならば所定の処
理を行う。
【００２６】ステップＳ２１２では、ステップＳ２１０
で求められた画像ブレ補正値をフィールドメモリ３８の
読みだしアドレスに換算し、実際にメモリを制御する命
令を発し、さらには電子ズーム回路４０に所望の拡大ま
たは縮小率を与える命令を発する。
で求められた画像ブレ補正値をフィールドメモリ３８の
読みだしアドレスに換算し、実際にメモリを制御する命
令を発し、さらには電子ズーム回路４０に所望の拡大ま
たは縮小率を与える命令を発する。
【００２７】次に、ステップＳ２０６の画像状態判定ル
ーチン及び、ステップＳ２１４の補正中断ルーチンの内
容を、図３〜図５を参照して説明する。
ーチン及び、ステップＳ２１４の補正中断ルーチンの内
容を、図３〜図５を参照して説明する。
【００２８】図３は、画像状態判定ルーチンの詳細を示
すフローチャートである。
すフローチャートである。
【００２９】ステップＳ３０２では、図２のステップＳ
２０２で取り込まれた１フィールド前と現フィールドの
画像間の動きベクトルに基づき、下記式（１），（２）
によりＸ方向、Ｙ方向それぞれの空間的な乱れの強さＲ
ＭＳＸ，ＲＭＳＹを演算する。
２０２で取り込まれた１フィールド前と現フィールドの
画像間の動きベクトルに基づき、下記式（１），（２）
によりＸ方向、Ｙ方向それぞれの空間的な乱れの強さＲ
ＭＳＸ，ＲＭＳＹを演算する。
【００３０】
【数１】 ＲＭＳＸ＝Σ（ＭＶＸＡＶＥ−ＭＶＸ（ｉ，ｊ））2／（ｉ×ｊ−１）…（１） ＲＭＳＹ＝Σ（ＭＶＹＡＶＥ−ＭＶＹ（ｉ，ｊ））2／（ｉ×ｊ−１）…（２） ここで、ＭＶＸＡＶＥ，ＭＶＹＡＶＥはＸ方向、Ｙ方向
動きベクトルの空間平均値、ＭＶＸ（ｉ，ｊ），ＭＶＹ
（ｉ，ｊ）は、Ｘ方向、Ｙ方向動きベクトル、ｉ，ｊは
動きベクトルのＸ方向、Ｙ方向の個数である。
動きベクトルの空間平均値、ＭＶＸ（ｉ，ｊ），ＭＶＹ
（ｉ，ｊ）は、Ｘ方向、Ｙ方向動きベクトル、ｉ，ｊは
動きベクトルのＸ方向、Ｙ方向の個数である。
【００３１】ステップＳ３０４では、ステップＳ３０２
で求められたＸ方向動きベクトルの乱れの強さＲＭＳ
Ｘ、Ｙ方向動きベクトル乱れの強さＲＭＳＹがどちらか
一方でも所定のしきい値ＴＨ１，ＴＨ２を越えているか
否かを判定する。
で求められたＸ方向動きベクトルの乱れの強さＲＭＳ
Ｘ、Ｙ方向動きベクトル乱れの強さＲＭＳＹがどちらか
一方でも所定のしきい値ＴＨ１，ＴＨ２を越えているか
否かを判定する。
【００３２】ステップＳ３０４で動きベクトルの乱れの
強さＲＭＳＸ又はＲＭＳＹが所定しきい値ＴＨ１又はＴ
Ｈ２を越えたときは、時間カウンタを値１だけインクリ
メントする（ステップＳ３０６）。この時間カウンタ
は、過去に何回連続してブレ補正値が所定しきい値を越
えたか否かを数えるカウンタである。一方、動きベクト
ルの乱れ強さが所定しきい値を越えないときは、時間カ
ウンタをリセットする（ステップＳ３０８）。
強さＲＭＳＸ又はＲＭＳＹが所定しきい値ＴＨ１又はＴ
Ｈ２を越えたときは、時間カウンタを値１だけインクリ
メントする（ステップＳ３０６）。この時間カウンタ
は、過去に何回連続してブレ補正値が所定しきい値を越
えたか否かを数えるカウンタである。一方、動きベクト
ルの乱れ強さが所定しきい値を越えないときは、時間カ
ウンタをリセットする（ステップＳ３０８）。
【００３３】ステップＳ３１０では、最終的に画像ブレ
補正が可能か否か、具体的には時間カウンタのカウント
値が所定の回数ＴＨ３を越えたか否かを判断する。すな
わち、ここで所定の回数を越えた場合は、画像状態が例
えば苦手被写体が多く存在し、動きベクトルの乱れが大
きく、画像ブレ補正が不可能と判断する。そうでない場
合は、補正は可能と判断する。なお、苦手被写体として
は、例えば画面内にランダムな動きをするものが多く存
在し、動きの方向の傾向が判別できない場合や、きわめ
て規則的な繰り返しパターンで動きが判別しにくいも
の、さらに低コントラスト等で有効な動きベクトルが検
出できず、ノイズ成分のみが検出されてしまう場合等が
考えられる。また、画面全体に不規則な動きが数多く存
在する場合も同様である。
補正が可能か否か、具体的には時間カウンタのカウント
値が所定の回数ＴＨ３を越えたか否かを判断する。すな
わち、ここで所定の回数を越えた場合は、画像状態が例
えば苦手被写体が多く存在し、動きベクトルの乱れが大
きく、画像ブレ補正が不可能と判断する。そうでない場
合は、補正は可能と判断する。なお、苦手被写体として
は、例えば画面内にランダムな動きをするものが多く存
在し、動きの方向の傾向が判別できない場合や、きわめ
て規則的な繰り返しパターンで動きが判別しにくいも
の、さらに低コントラスト等で有効な動きベクトルが検
出できず、ノイズ成分のみが検出されてしまう場合等が
考えられる。また、画面全体に不規則な動きが数多く存
在する場合も同様である。
【００３４】一般に、本実施例のように、画面内の複数
の動きベトクルから画像ブレ補正値を求める手法におい
ては、動きベクトルがある程度揃っていないと、補正値
の精度は著しく悪化してしまう。このような画像状態
は、例えば、先に述べたような画面内に動きベクトルが
求めにくい苦手被写体が多くある場合、あるいは、被写
体が画面内を激しく動き回っている場合などがある。本
ルーチンによれば、画像がこのような状態にあるか否か
を、動きベクトルの空間的な乱れの強さＲＭＳＸ，ＲＭ
ＳＹで画像ブレ補正の可能性を定量化することにより、
確実に識別することができる。
の動きベトクルから画像ブレ補正値を求める手法におい
ては、動きベクトルがある程度揃っていないと、補正値
の精度は著しく悪化してしまう。このような画像状態
は、例えば、先に述べたような画面内に動きベクトルが
求めにくい苦手被写体が多くある場合、あるいは、被写
体が画面内を激しく動き回っている場合などがある。本
ルーチンによれば、画像がこのような状態にあるか否か
を、動きベクトルの空間的な乱れの強さＲＭＳＸ，ＲＭ
ＳＹで画像ブレ補正の可能性を定量化することにより、
確実に識別することができる。
【００３５】さらに本実施例においては、画像状態判断
ルーチン（ステップＳ２０６）により画像ブレ補正が不
可能と判断された場合には、不用意に補正を行うことな
く、次に示す補正中断ルーチン（ステップＳ２１４）に
より、ブレ補正を一定時間中断し待機している。
ルーチン（ステップＳ２０６）により画像ブレ補正が不
可能と判断された場合には、不用意に補正を行うことな
く、次に示す補正中断ルーチン（ステップＳ２１４）に
より、ブレ補正を一定時間中断し待機している。
【００３６】図４は、ステップＳ２１４における処理を
詳細に示すフローチャートである。
詳細に示すフローチャートである。
【００３７】ステップＳ４０２では、画像状態判断ルー
チンで画像ブレ補正が不可能と判断された後、図５に示
すように、フィールドメモリ３８の読みだしアドレスを
制御して、補正画像を所定の時間だけかけ、画像中心に
移動させる。ここで、移動中は他のブレ補正制御をいっ
さい行わないようにして制御の安定を図っている。
チンで画像ブレ補正が不可能と判断された後、図５に示
すように、フィールドメモリ３８の読みだしアドレスを
制御して、補正画像を所定の時間だけかけ、画像中心に
移動させる。ここで、移動中は他のブレ補正制御をいっ
さい行わないようにして制御の安定を図っている。
【００３８】以上の述べてきたように、本実施例におい
ては、苦手被写体が多く存在するなど、動きベクトルが
正常に検出できない場合でもその乱れ強さを評価するこ
とにより、それを確実に識別でき、かつその場合はブレ
補正制御を行わず、所定の時間内は補正制御を禁止し、
補正画像を画面中心に移動させることにより、撮像者に
違和感をもたせず、補正画像の乱れを最小限に抑えるこ
とができる。
ては、苦手被写体が多く存在するなど、動きベクトルが
正常に検出できない場合でもその乱れ強さを評価するこ
とにより、それを確実に識別でき、かつその場合はブレ
補正制御を行わず、所定の時間内は補正制御を禁止し、
補正画像を画面中心に移動させることにより、撮像者に
違和感をもたせず、補正画像の乱れを最小限に抑えるこ
とができる。
【００３９】図６は本発明の第２の実施例に係るカメラ
一体型ＶＴＲの要部のブロック構成図である。
一体型ＶＴＲの要部のブロック構成図である。
【００４０】図６の構成は、警告発生回路１３０、撮影
中の画像又は再生画像を表示するエレクトリックビュー
ファインダ（以下「ＥＶＦ」という）１３４及び、ＥＶ
Ｆの表示を制御する表示回路１３２が設けられている点
で図１の構成と異なるが、それ以外は図１の構成と同一
である。
中の画像又は再生画像を表示するエレクトリックビュー
ファインダ（以下「ＥＶＦ」という）１３４及び、ＥＶ
Ｆの表示を制御する表示回路１３２が設けられている点
で図１の構成と異なるが、それ以外は図１の構成と同一
である。
【００４１】警告発生回路１３０は、論理制御装置１２
０が画像の乱れが大きいと判断したとき、ＥＶＦ１３４
に警告を表示させるための回路である。
０が画像の乱れが大きいと判断したとき、ＥＶＦ１３４
に警告を表示させるための回路である。
【００４２】図７は本実施例における論理制御回路１２
０における処理内容を示すフローチャートであり、図２
のフローチャートのステップＳ２１４をステップＳ２１
４ａに置き換えたものである。ステップＳ２１４ａ以外
は図２と同一である。
０における処理内容を示すフローチャートであり、図２
のフローチャートのステップＳ２１４をステップＳ２１
４ａに置き換えたものである。ステップＳ２１４ａ以外
は図２と同一である。
【００４３】本実施例では、画像の乱れが大きく、補正
不可能と判断したときは、例えば図８に示すような警告
表示をＥＶＦ１３４内に表示させるべく、警告発生回路
１３０へ命令を出力する。警告発生回路１３０は、この
命令を受けると、ＥＶＦ表示回路１３２を制御してＥＶ
Ｆ１３４内に警告を表示させる。
不可能と判断したときは、例えば図８に示すような警告
表示をＥＶＦ１３４内に表示させるべく、警告発生回路
１３０へ命令を出力する。警告発生回路１３０は、この
命令を受けると、ＥＶＦ表示回路１３２を制御してＥＶ
Ｆ１３４内に警告を表示させる。
【００４４】本実施例によれば、動きベクトルが正常に
検出できない場合でもその乱れの強さを評価することに
より、それを確実に識別し、かつその場合はＥＶＦに警
告表示を出すことにより撮影者に注意を促し、手ブレの
多い画像を撮影してしまうといった問題点を未然に防ぐ
ことができる。
検出できない場合でもその乱れの強さを評価することに
より、それを確実に識別し、かつその場合はＥＶＦに警
告表示を出すことにより撮影者に注意を促し、手ブレの
多い画像を撮影してしまうといった問題点を未然に防ぐ
ことができる。
【００４５】なお、上述した実施例では動きベクトルの
乱れの強さをＸ方向、Ｙ方向それぞれ独立に求め、補正
の可能性を判断していたが、これに限るものではなく、
下記式（３）により、Ｘ方向とＹ方向を同時に判断する
ようなパラメータＲＭＳＸＹを算出し、ＲＭＳＸＹ値が
所定以上のとき、画像の乱れが大きいと判断するように
してもよい。
乱れの強さをＸ方向、Ｙ方向それぞれ独立に求め、補正
の可能性を判断していたが、これに限るものではなく、
下記式（３）により、Ｘ方向とＹ方向を同時に判断する
ようなパラメータＲＭＳＸＹを算出し、ＲＭＳＸＹ値が
所定以上のとき、画像の乱れが大きいと判断するように
してもよい。
【００４６】
【数２】 また、上述した第２の実施例では、ＥＶＦ１３４内に警
告を表示するようにしたが、これに限るものではなく、
例えば別途警告用の発光ダイオード等を点灯させるなど
してもよい。
告を表示するようにしたが、これに限るものではなく、
例えば別途警告用の発光ダイオード等を点灯させるなど
してもよい。
【００４７】
【発明の効果】以上詳述したように請求項１の画像処理
装置によれば、動きベクトルの乱れが所定量より大きい
とき、画像ブレの補正が中断されるので、ブレ補正の効
果が不十分な状態で画像を撮影、記録してしまうことを
防止することができる。
装置によれば、動きベクトルの乱れが所定量より大きい
とき、画像ブレの補正が中断されるので、ブレ補正の効
果が不十分な状態で画像を撮影、記録してしまうことを
防止することができる。
【００４８】請求項２の画像処理装置によれば、画像ブ
レ補正の中断中に、補正対象画面の記憶位置が補正に適
した位置に移されるので、撮影者に違和感をもたせず、
補正画像の乱れを最小限に抑えることを実現することが
できる。
レ補正の中断中に、補正対象画面の記憶位置が補正に適
した位置に移されるので、撮影者に違和感をもたせず、
補正画像の乱れを最小限に抑えることを実現することが
できる。
【００４９】請求項３の画像処理装置によれば、動きベ
クトルの乱れが所定量より大きいとき、撮影者への警告
がなされるので、手ブレの多い画像を撮影、記録してし
まうことを未然に防止することができる。
クトルの乱れが所定量より大きいとき、撮影者への警告
がなされるので、手ブレの多い画像を撮影、記録してし
まうことを未然に防止することができる。
【図１】本発明の第１の実施例に係るカメラ一体型ＶＴ
Ｒの要部の構成を示すブロック図である。
Ｒの要部の構成を示すブロック図である。
【図２】図１の論理制御装置における処理内容を示すフ
ローチャートである。
ローチャートである。
【図３】図２の処理の一部を詳細に示すフローチャート
である。
である。
【図４】図２の処理の一部を詳細に示すフローチャート
である。
である。
【図５】補正画面の移動を説明するための図である。
【図６】本発明の第２の実施例に係るカメラ一体型ＶＴ
Ｒの要部の構成を示すブロック図である。
Ｒの要部の構成を示すブロック図である。
【図７】図６の論理制御装置における処理内容を示すフ
ローチャートである。
ローチャートである。
【図８】警告表示の一例を示す図である。
３２ バンドパスフィルタ ３４ 動きベクトル検出回路 ３６，３８ フィールドメモリ ４０ 電子ズーム回路 ４２ メモリ読み出し回路 １２０ 論理制御装置 １３４ 電子ビューファインダ（ＥＶＦ）
Claims (3)
- 【請求項１】 画像信号中より動きベクトルを検出し、
実時間で画像のブレを補正する画像処理装置において、
時系列に連続した画像間の相関演算を行うことにより画
像間の動きベクトルを検出する動きベクトル検出手段
と、前記動きベクトル検出手段により求められた動きベ
クトルの乱れを検出する乱れ検出手段と、該動きベクト
ルの乱れが所定量より大きいときは、動きベクトルが正
確に求まらないと判断し、前記画像ブレの補正を中断さ
せる中断手段とを備えたことを特徴とする画像処理装
置。 - 【請求項２】 画像信号を記憶する記憶手段を含み、前
記補正中断中に補正対象画面の前記記憶手段における記
憶位置を、補正に適した位置に移動させることを特徴と
する請求項１記載の画像処理装置。 - 【請求項３】 画像信号中より動きベクトルを検出し、
実時間で画像のブレを補正する画像処理装置において、
時系列に連続した画像間の相関演算を行うことにより画
像間の動きベクトルを検出する動きベクトル検出手段
と、前記動きベクトル検出手段により求められた動きベ
クトルの乱れを検出する乱れ検出手段と、該動きベクト
ルの乱れが所定量より大きいときは、動きベクトルが正
確に求まらないと判断し、撮影者に警告する警告手段と
を備えたことを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5265796A JPH07107367A (ja) | 1993-09-29 | 1993-09-29 | 画像処理装置 |
| US08/781,527 US5712474A (en) | 1993-09-29 | 1997-01-09 | Image processing apparatus for correcting blurring of an image photographed by a video camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5265796A JPH07107367A (ja) | 1993-09-29 | 1993-09-29 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07107367A true JPH07107367A (ja) | 1995-04-21 |
Family
ID=17422162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5265796A Pending JPH07107367A (ja) | 1993-09-29 | 1993-09-29 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07107367A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097287A1 (ja) * | 2006-02-20 | 2007-08-30 | Matsushita Electric Industrial Co., Ltd. | 撮像装置及びレンズ鏡筒 |
| JP2011254447A (ja) * | 2010-05-07 | 2011-12-15 | Canon Inc | 動画再生装置、方法及びプログラム並びに記録媒体 |
| JP2012100909A (ja) * | 2010-11-11 | 2012-05-31 | Olympus Corp | 内視鏡装置及びプログラム |
| US8228391B2 (en) | 2007-02-22 | 2012-07-24 | Panasonic Corporation | Image pickup apparatus and lens barrel |
| US8237803B2 (en) | 2007-07-09 | 2012-08-07 | Panasonic Coporation | Digital single-lens reflex camera including control section that performs camera shake correction and motion detecting section that detects speed of subject |
-
1993
- 1993-09-29 JP JP5265796A patent/JPH07107367A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097287A1 (ja) * | 2006-02-20 | 2007-08-30 | Matsushita Electric Industrial Co., Ltd. | 撮像装置及びレンズ鏡筒 |
| JPWO2007097287A1 (ja) * | 2006-02-20 | 2009-07-16 | パナソニック株式会社 | 撮像装置及びレンズ鏡筒 |
| US8736691B2 (en) | 2006-02-20 | 2014-05-27 | Panasonic Corporation | Image pickup apparatus to control an exposure time based on motion of a detected optical image |
| US8228391B2 (en) | 2007-02-22 | 2012-07-24 | Panasonic Corporation | Image pickup apparatus and lens barrel |
| US8411155B2 (en) | 2007-02-22 | 2013-04-02 | Panasonic Corporation | Image pickup apparatus and lens barrel |
| US8237803B2 (en) | 2007-07-09 | 2012-08-07 | Panasonic Coporation | Digital single-lens reflex camera including control section that performs camera shake correction and motion detecting section that detects speed of subject |
| US8928761B2 (en) | 2007-07-09 | 2015-01-06 | Panasonic Corporation | Digital camera |
| JP2011254447A (ja) * | 2010-05-07 | 2011-12-15 | Canon Inc | 動画再生装置、方法及びプログラム並びに記録媒体 |
| JP2012100909A (ja) * | 2010-11-11 | 2012-05-31 | Olympus Corp | 内視鏡装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2940762B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| US5712474A (en) | Image processing apparatus for correcting blurring of an image photographed by a video camera | |
| JP3733392B2 (ja) | 画像の構図変化検出方法 | |
| JP4823179B2 (ja) | 撮像装置及び撮影制御方法 | |
| JP3253478B2 (ja) | 映像記録装置 | |
| JP2010258933A (ja) | 画像変形装置およびその動作制御方法 | |
| JPH08172566A (ja) | 手振れ補正装置およびそれを用いたビデオカメラ | |
| JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JPH07107367A (ja) | 画像処理装置 | |
| JPH07107368A (ja) | 画像処理装置 | |
| JP2010010881A (ja) | 撮影装置および画像中のモアレ有無の告知方法 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH0686114A (ja) | 撮像装置 | |
| JPH06133211A (ja) | 画像揺れ補正機能付光学装置 | |
| JPH07107369A (ja) | 画像処理装置 | |
| JPH06197261A (ja) | 撮像装置 | |
| JP3200859B2 (ja) | 手振れ補正回路及びその方法 | |
| JPH07107366A (ja) | 画像処理装置 | |
| JP6124703B2 (ja) | 撮像装置およびその制御方法 | |
| JP2006311058A (ja) | 動きベクトル検出回路及びその検出方法並びに手ブレ補正装置 | |
| JP2005027046A (ja) | 画像処理装置及び画像処理方法 | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| JP2832053B2 (ja) | 自動合焦装置 | |
| JP2792767B2 (ja) | 撮像装置 | |
| JP2925890B2 (ja) | 手振れ補正装置を有するビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |