JPH07107366A

JPH07107366A - 画像処理装置

Info

Publication number: JPH07107366A
Application number: JP5265795A
Authority: JP
Inventors: Kitahiro Kaneda; 北洋金田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-29
Filing date: 1993-09-29
Publication date: 1995-04-21

Abstract

(57)【要約】【目的】画像ブレの補正を適切に行い、補正によって
かえって乱れた画像を撮影、記録してしまうことを防止
する。【構成】画像信号中より動きベクトルを検出し（Ｓ２
０２）、検出した動きベクトルの積分値に基づいて画像
ブレ補正値ＨＯＳＥＩＸ，ＨＯＳＥＩＹを算出する（Ｓ
２０８）。補正値ＨＯＳＥＩＸ又はＨＯＳＥＩＹがしき
い値ＴＨ１又はＴＨ２より大きいとき、画像ブレが大き
く補正不可能と判断し、補正を中断する（Ｓ２１０，Ｓ
２１４）。補正中断中に、補正対象画面のメモリ上の記
憶位置を補正に適した位置に移動させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置に関し、
特にビデオカメラにより撮影された画像のブレを補正す
る画像処理装置に関する。

【０００２】

【従来の技術】近年、カメラ一体型ＶＴＲは、レンズの
リアフォーカス化による大幅な小型化、使用部品の小型
化、高密度実装化等によりカメラ一体型ＶＴＲが小型軽
量化され、更にレンズ自体の高倍率化が進んできてお
り、三脚などを使用せず手持ちでかつ高倍率で撮影する
頻度が高くなってきている。

【０００３】この反面、使用中のわずかな手ブレでも撮
影画像は大きな画面ブレを伴った画像として記録されて
しまう。

【０００４】この手ブレ等により生じる画像のブレを防
止する機能を備えた光学機器が知られており、その一例
としては、補正光学系をジンバル機構により可動に支持
し、手ブレ等の補正光学系をその慣性によって画像ブレ
を防止する慣性振り子式画像ブレ防止装置（米国特許の
第２９５９０８８号や同第２８２９５５７号等）が従来
より知られている。

【０００５】またビデオレンズの前玉の前方に可変頂角
プリズムを配し、振動を検知するセンサ出力によりプリ
ズムの頂角を制御することにより画像ブレを防止する可
変頂角式画像ブレ防止装置や、撮像素子から出力される
映像信号を画像メモリ等に記憶し、その情報より動きを
検知し、動き量に応じて画像メモリの読み出しアドレス
をシフトすることにより画像ブレを補正する純電子式画
像ブレ防止装置（特開昭６１−２４８６８１号公報）等
が既に提案されている。

【０００６】特に純電子式画像ブレ防止装置は画像ブレ
を補正するための特殊な機械的機構を必要とせず、半導
体技術の急激な進歩により大規模な電気回路も極めて小
さなパッケージに納まり小型軽量化、低コストが可能な
ことから近年注目されている。

【０００７】

【発明が解決しようとする課題】しかしながら、従来の
純電子式画像ブレ防止装置では、補正限界領域が撮像素
子、メモリにより自ずから決まってしまうので、ブレ補
正値がその補正限界領域を越えた場合は、それ以上の補
正が不可能となりかえって画像が乱れてしまうという問
題が生じていた。

【０００８】本発明は、この問題を解決すべくなされた
ものであり、画像ブレの補正を適切に行い、補正によっ
てかえって乱れた画像を撮影、記録してしまうことを防
止することができる画像処理装置を提供することを目的
とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
本発明は、画像信号中より動きベクトルを検出し、実時
間で画像のブレを補正する画像処理装置において、時系
列に連続した画像間の相関演算を行うことにより画像間
の動きベクトルを検出する検出手段と、前記検出手段に
より求められた動きベクトルを加算し、画像の基準点か
らの絶対偏差を求める演算手段と、前記絶対偏差と所定
の補正量とを比較する比較手段する比較手段と、前記絶
対偏差が所定の補正量より大きい状態が、所定時間以上
継続したとき、画像のブレが補正可能範囲を越えたと判
断し、前記画像ブレの補正を中断させる中断手段とを備
えるようにしたものである。

【００１０】また、画像信号を記憶する記憶手段を含
み、前記補正中断中に補正対象面の前記記憶手段におけ
る記憶位置を、補正に適した位置に移動させることが望
ましい。

【００１１】さらに同じ目的を達成するため、本発明
は、前記画像処理装置において、前記中断手段に代え
て、前記絶対偏差が所定の補正量より大きい状態が所定
時間以上継続したとき、画像のブレが補正可能範囲を越
えたと判断し、撮影者に警告する警告手段を備えるよう
にしたものである。

【００１２】

【作用】画像の基準点からの絶対偏差が所定の補正量よ
り大きい状態が所定時間以上継続したとき、画像ブレの
補正の中断あるいは撮影者への警告がなされる。

【００１３】画像ブレ補正の中断中に、補正対象画面の
記憶位置が補正に適した位置に移される。

【００１４】

【実施例】以下図面を参照して本発明の実施例について
説明する。

【００１５】図１は、本発明の第１の実施例に係る画像
処理装置を組み込んだカメラ一体型ＶＴＲ（ビデオテー
プレコーダ）の要部のブロック構成図である。

【００１６】図１において１００は通常フォーカシング
用のフォーカスレンズ群、１０１は焦点距離を変化させ
るズームレンズ群、１０２はズームレンズの動作によっ
て変化したピント面のずれを補正する補正系のレンズ
群、１０３は絞り、１０４は例えば２次元ＣＣＤからな
る撮像素子、１６は撮像素子から得られる電気信号をサ
ンプリングするサンプルホールド（Ｓ／Ｈ）回路、１８
は信号レベルを略一定に保持するためのオートマチック
ゲインコントロール（ＡＧＣ）回路、２０はアナログ−
デジタル（Ａ／Ｄ）変換器、２２は、撮像素子からの色
差線順次信号を１又は２水平走査期間（以下、水平走査
期間を「Ｈ」という）だけ遅延させ、１Ｈ遅延信号と、
０Ｈ遅延信号及び２Ｈ遅延信号を加算した信号とを出力
する回路、２４は色信号Ｃを生成する回路、２６は輝度
信号Ｙに混入する色信号を除去するためのローパスフィ
ルタ（ＬＰＦ）、２８は高周波成分を強調するエンハン
サ、３０はガンマ補正回路、３２は２次元バンドパスフ
ィルタ（ＢＰＦ）、３４は画像信号中より動きベクトル
を検出する動きベクトル検出回路、３６，３８はフィー
ルドメモリ、１２０は各種信号処理を行う論理制御装
置、４２はメモリ読みだし制御回路、４０はメモリより
読み出した画像を電子的に拡大縮小する電子ズーム回
路、４４はデジタル−アナログ（Ｄ／Ａ）変換器、４８
は色信号Ｃ及び輝度信号Ｙの信号出力端子である。

【００１７】次に図１の装置の動作の説明をする。被写
体１０はレンズ群１００，１０１，１０２、絞り１０３
を通って撮像素子１０４上に結像され、光電変換され
る。Ｓ／Ｈ回路１６は撮像素子１０４の出力信号を保持
し、引き続くＡＧＣ回路１８は、その出力信号レベルが
略一定となるように自動的に利得の制御を実行する。Ａ
／Ｄ変換器２０は、ＡＧＣ回路１８の出力信号をアナロ
グ−デジタル変換する。２水平走査期間遅延回路２２
は、デジタル信号に変換された色差線順次信号を１Ｈ遅
延信号と（０Ｈ＋２Ｈ）遅延信号に分離し、それぞれ輝
度信号処理部（２６以降）と色信号処理部（２４以降）
に送る。色信号処理回路２４では色信号が生成され、フ
ィールドメモリ３８に書き込まれる。

【００１８】一方、輝度信号処理部（２６以降）に送ら
れた信号は、まずＬＰＦ２６に入力される。ＬＰＦ２６
は、色差線順次信号からキャリア成分を除去し、輝度信
号分離を行う。エンハンサ２８は画質向上のために被写
体のエッジなど高周波成分を強調する処理を施す。通常
は、映像信号の２次微分信号を原信号に付加する。ガン
マ補正回路３０は、ハイライト部分での飽和を防ぎダイ
ナミックレンジを広げるためのガンマ補正を行う。ＢＰ
Ｆ３２は、動きベクトルを検出するのに有効な空間周波
数成分を抽出する。一般に画像信号の低周波成分、及び
高周波成分は動きベクトルの検出に不向きであるため、
ＢＰＦ３２により事前に除去される。本実施例では、前
記ＢＰＦ３２の出力の符号ビットだけを出力するものと
する。これは、ＤＣレベルをしきい値として輝度信号を
２値化することを意味する。したがって、ＢＰＦ３２以
降の輝度信号は、１ビットの２値化信号である。動きベ
クトル検出回路３４は、マッチング演算により動きベク
トルを検出する回路で、本実施例では実時間処理できる
検出方法を採用したものである必要がある。メモリ３６
は、ＢＰＦ３２から出力される輝度信号を所定時間（本
実施例では、１フィールド時間）遅延する遅延回路であ
り、１フィールド前の輝度信号を記憶し、現フィールド
の輝度信号と比較することによって画像の変位の方向、
大きさを検出するマッチング演算を可能にする。論理制
御回路１２０は、動きベクトル検出回路３４からの出力
信号（動きベクトルの水平方向、及び垂直方向の各成
分）から、図２に示すフローチャートに従い、その瞬間
の画像の基準位置からの偏差を計算する。メモリ読みだ
し制御回路４２は、論理制御装置１２０で計算された偏
差位置が中心になるように、すなわち動きベクトルを相
殺するようにフィールドメモリ３８の読みだし位置を制
御し、電子ズーム回路４０において直線補間で所望の大
きさに拡大、縮小され通常の画角に変換される。このよ
うに作られた画像信号が、画像ブレを補正された信号と
して、Ｄ／Ａ変換器によってアナログ信号に変換され、
信号出力端子４８から出力される。

【００１９】図２は、図１の論理制御装置１２０におけ
る処理内容を示すフローチャートであり、これを参照し
て論理制御装置１２０の動作を詳細に説明する。

【００２０】図２において、ステップＳ２０２では動き
ベクトル検出回路３４からの出力信号（所定画面位置の
動きベクトルの水平方向、及び垂直方向の各成分）を毎
フィールドごとに取り込む。

【００２１】ステップＳ２０４では、ステップＳ２０２
で取り込んだ所定画面位置で検出された動きベクトルを
積分し、画面の基準位置からの偏差を求め、画像ブレ補
正信号を得る。また、ここでは、個々の動きベクトルの
信頼性をも合わせて評価し、上記積分動作に反映させ、
より正確な偏差を求めている。

【００２２】ステップＳ２０６では、ステップＳ２０
２，Ｓ２０４で求めた動きベクトルと動きベクトル積分
値の空間的な分布、あるいは時間的な変動に基づいて、
動きの存在する部分を判別し、補正対象領域を決定す
る。

【００２３】ステップＳ２０８では、ステップＳ２０６
で決定された補正対象領域内の動きベクトル積分値を抽
出し、最終的な画像ブレ補正値を求める。

【００２４】ステップＳ２１０では、ステップＳ２０８
で求められた画像ブレ補正値に基づいて、現在の画像ブ
レが、例えばフィールドメモリ３８上の補正可能領域を
越える大きいものか否かを判断し、画像ブレが大きいと
きは、画像ブレ補正が不可能と判断し、補正を中断する
（ステップＳ２１４）一方、そうでなければ画像ブレ補
正を行うべくステップＳ２１２へ移行する。ステップＳ
２１０のルーチンと、ステップＳ２１４のルーチンは本
発明の要部を成すとことであり、後に詳細に説明する。

【００２５】ステップＳ２１２では、ステップＳ２１０
で求められた画像ブレ補正値をフィールドメモリ３８の
読みだしアドレスに換算し、実際にメモリを制御する命
令を発し、さらには電子ズーム回路４０に所望の拡大ま
たは縮小率を与える命令も発する。

【００２６】次に、ステップＳ２１０の画像ブレ判定ル
ーチン及び、ステップＳ２１４の補正中断ルーチンの内
容を、図３〜図７を参照して説明する。

【００２７】図３は、画像ブレ判定ルーチンの詳細を示
すフローチャートである。

【００２８】ステップＳ３０２では、図２のステップＳ
２０８で求められたＸ方向ブレ補正値ＨＯＳＥＩＸ、Ｙ
方向ブレ補正値ＨＯＳＥＩＹがどちらか一方でも所定の
しきい値ＴＨ１、ＴＨ２を越えているか否かを判定す
る。ここで、補正値ＨＯＳＥＩＸ、ＨＯＳＥＩＹはたと
えば図５に示すように、図２のステップＳ２０６で決定
された補正対象領域内の動きベクトル積分値の平均をと
ったものである。また、しきい値ＴＨ１、ＴＨ２は例え
ば図６に示すようにフィールドメモリ３８上から所定の
縮小率の画像を切りとる際、中心からＸ方向、Ｙ方向そ
れぞれのオフセットに対応する値、すなわち画像ブレを
補正できる限界値に設定する。

【００２９】ステップＳ３０２でブレ補正値ＨＯＳＥＩ
Ｘ又はＨＯＳＥＩＹが前記所定しきい値ＴＨ１又はＴＨ
２を越えたときは、時間カウンタを値１だけインクリメ
ントする（ステップＳ３０４）。この時間カウンタは、
過去に何回連続してブレ補正値が所定しきい値を越えた
か否かを数えるカウンタである。一方、ブレ補正値が所
定しきい値を越えないときは、時間カウンタをリセット
する（ステップＳ３０６）。

【００３０】ステップＳ３０８では、最終的に画像ブレ
補正が可能か否か、具体的には時間カウンタのカウント
値が所定の回数ＴＨ３を越えたか否かを判断する。すな
わち、カウント値が所定の回数ＴＨ３を越えた場合は、
補正がすでに補正限界域（図６参照）を大きく越えてお
り、それ以上の補正は不可能と判断する。そうでない場
合は、まだ補正は可能（画像ブレ普通）と判断する。

【００３１】さらに本実施例においては、画像ブレ判定
ルーチン（ステップＳ２１０）により補正不可能と判断
された場合には、ブレ補正を行うことなく、次に示す補
正中断ルーチン（ステップＳ２１４）によりブレ補正を
一定時間中断し待機している。

【００３２】図４はステップＳ２１４における処理を詳
細に示すフローチャートである。

【００３３】ステップＳ４０２では、画像ブレ判断ルー
チン（Ｓ２１０）で画像ブレが大きいと判断された後、
図７に示すように、フィードメモリ３８の読みだしアド
レスを制御して、補正画像を所定の時間だけかけて、画
面中心に移動させる。ここで、移動中は他のブレ補正制
御をいっさい行わないようにして制御の安定をはかって
いる。

【００３４】以上述べてきたように、本実施例において
は、画像ブレ補正領域を越えるような画像ブレが生じた
ときにおいても、それを確実に識別し、かつその場合は
ブレ補正制御を行わず、所定の時間内は補正制御を禁止
して、補正画像を画面中心に移動させることにより、撮
影者に違和感をもたせず、補正画像の乱れを最小限に抑
えることができる。

【００３５】図９は本発明の第２の実施例に係るカメラ
一体型ＶＴＲの要部のブロック構成図である。

【００３６】図９の構成は、警告発生回路１３０、撮影
中の画像又は再生画像を表示するエレクトリックビュー
ファインダ（以下「ＥＶＦ」という）１３４及び、ＥＶ
Ｆの表示を制御する表示回路１３２が設けられている点
で図１の構成と異なるが、それ以外は図１の構成と同一
である。

【００３７】警告発生回路１３０は、論理制御装置１２
０が画像ブレが大きいと判断したとき、ＥＶＦ１３４に
警告を表示させるための回路である。

【００３８】図１０は本実施例における論理制御回路１
２０における処理内容を示すフローチャートであり、図
２のフローチャートのステップＳ２１４をステップＳ２
１４ａに置き換えたものである。ステップＳ２１４ａ以
外は図２と同一である。

【００３９】本実施例では、画像ブレが大きく、補正不
可能と判断したときは、例えば図１１に示すような警告
表示をＥＶＦ１３４内に表示させるべく、警告発生回路
１３０へ命令を出力する。警告発生回路１３０は、この
命令を受けると、ＥＶＦ表示回路１３２を制御してＥＶ
Ｆ１３４内に警告を表示させる。

【００４０】本実施例によれば、画像ブレ補正領域を越
えるような画像ブレが生じたときにおいても、それを確
実に識別し、かつその場合はＥＶＦに警告表示を出すこ
とにより撮影者に注意を促し、手ブレの多い画像を撮影
してしまうといった問題点を未然に防ぐことができる。

【００４１】なお、上述した実施例では最終的なブレ補
正値を求める際、補正対象領域内の動きベクトル積分値
の平均をとっていたが（図５参照）、これに限るもので
はなく例えば、図８に示すように、補正対象領域内の動
きベクトルのメジアン（中央値）をとっても良い。

【００４２】また、上述した第２の実施例では、ＥＶＦ
１３４内に警告を表示するようにしたが、これに限るも
のではなく、例えば別途警告用の発光ダイオード等を点
灯させるなどしてもよい。

【００４３】

【発明の効果】以上詳述したように請求項１の画像処理
装置によれば、画像の基準点からの絶対偏差が所定の補
正量より大きい状態が所定時間以上継続したとき、画像
ブレの補正が中断されるので、補正によってかえって乱
れた画像を記録してしまうことを防止することができ
る。

【００４４】請求項２の画像処理装置によれば、画像ブ
レ補正の中断中に、補正対象画面の記憶位置が補正に適
した位置に移されるので、撮影者に違和感をもたせず、
補正画像の乱れを最小限に抑えることを実現することが
できる。

【００４５】請求項３の画像処理装置によれば、画像の
基準点からの絶対偏差が所定の補正量より大きい状態が
所定時間以上継続したとき、撮影者への警告がなされる
ので、手ブレの多い画像を撮影してしまうことを未然に
防止することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係るカメラ一体型ＶＴ
Ｒの要部の構成を示すブロック図である。

【図２】図１の論理制御装置における処理内容を示すフ
ローチャートである。

【図３】図２の処理の一部を詳細に示すフローチャート
である。

【図４】図２の処理の一部を詳細に示すフローチャート
である。

【図５】補正値（ＨＯＳＥＩＸ，ＨＯＳＥＩＹ）の算出
方法を説明するための図である。

【図６】補正限界域を説明するための図である。

【図７】補正画面の移動を説明するための図である。

【図８】補正値（ＨＯＳＥＩＸ，ＨＯＳＥＩＹ）の算出
方法を説明するための図である。

【図９】本発明の第２の実施例に係るカメラ一体型ＶＴ
Ｒの要部の構成を示すブロック図である。

【図１０】図９の論理制御装置における処理内容を示す
フローチャートである。

【図１１】警告表示の一例を示す図である。

【符号の説明】

３２バンドパスフィルタ３４動きベクトル検出回路３６，３８フィールドメモリ４０電子ズーム回路４２メモリ読み出し回路１２０論理制御装置

Claims

【特許請求の範囲】

【請求項１】画像信号中より動きベクトルを検出し、
実時間で画像のブレを補正する画像処理装置において、
時系列に連続した画像間の相関演算を行うことにより画
像間の動きベクトルを検出する検出手段と、前記検出手
段により求められた動きベクトルを加算し、画像の基準
点からの絶対偏差を求める演算手段と、前記絶対偏差と
所定の補正量とを比較する比較手段と、前記絶対偏差が
所定の補正量より大きい状態が、所定時間以上継続した
とき、画像のブレが補正可能範囲を越えたと判断し、前
記画像ブレの補正を中断させる中断手段とを備えたこと
を特徴とする画像処理装置。
【請求項２】画像信号を記憶する記憶手段を含み、前
記補正中断中に補正対象画面の前記記憶手段における記
憶位置を、補正に適した位置に移動させることを特徴と
する請求項１記載の画像処理装置。
【請求項３】画像信号中より動きベクトルを検出し、
実時間で画像のブレを補正する補正手段を有する画像処
理装置において、時系列に連続した画像間の相関演算を
行うことにより画像間の動きベクトルを検出する検出手
段と、前記検出手段により求められた動きベクトルを加
算し、画像の基準点からの絶対偏差を求める演算手段
と、前記絶対偏差と所定の補正量とを比較する比較手段
と、前記絶対偏差が所定の補正量より大きい状態が、所
定時間以上継続したとき、画像のブレが補正可能範囲を
越えたと判断し、撮影者に警告する警告手段とを備えた
ことを特徴とする画像処理装置。