JP2016224204A - ブレ補正装置、光学機器、撮像装置、ブレ補正方法 - Google Patents

Abstract

【課題】平行振れに対して広い周波数帯域で高精度なブレ補正を行うこと。【解決手段】撮像装置は、手振れ等の振れによって発生し得る画像の像ブレを補正する振れ補正部１１０とその駆動部１１２を備える。角速度計１０８ｐは振れの角速度を検出し、加速度計１０９ｐは振れの加速度を検出する。ＣＰＵ１０６は、角速度検出信号および加速度検出信号を取得し、撮像光学系の光軸に直交する方向の振れである第１の平行振れ量を演算する。速度算出部３１１は加速度検出信号と第１の平行振れ量とを合成することで第２の平行振れ量を演算する。駆動部１１２は第２の平行振れ量に基づいて振れ補正部１１０を駆動してブレ補正を行う。【選択図】 図３

Description

本発明は、手振れ等によって生じ得る画像の像ブレを補正するブレ補正技術に関する。

撮像装置には、振動検出部と手振れ等による像ブレを補正する振れ補正部を有する像ブレ補正装置を備えたカメラがある。像ブレ補正装置は、角速度計等を用いて装置の角度振れを検出し、振れ補正部としてレンズ群の一部や撮像素子を動かすことによって撮像面上の像ブレを低減させる。

ところで、至近距離での撮影や、高い撮影倍率での撮影においては、角速度計のみでは検出できない振れにより画像に影響を及ぼす場合がある。つまり、カメラの光軸に対して平行な方向または垂直な方向に加わる、いわゆる平行振れによって生じる像ブレで像劣化が起こり得る。例えば、被写体に２０ｃｍ程度まで接近してマクロ撮影を行う場合や、被写体がカメラから１ｍ程度離れていても、撮像光学系の焦点距離が非常に長い（例えば４００ｍｍ）場合には、積極的に平行振れを検出して補正することが求められる。

特許文献１では、加速度計で検出した加速度の２階積分から平行振れを求め、別に設けた角速度計の出力と共に振れ補正部を駆動する技術が開示されている。この場合、加速度計の出力は外乱ノイズや温度変化等の環境変化の影響を受ける。加速度を２階積分することでそれらの不安定要因はさらに拡大するため、平行振れの高精度な補正が難しいという問題がある。

特許文献２は、平行振れをカメラから離れた場所に回転中心があるとしたときの角度振れと見做して求める方法が開示されている。この方法では、角速度計と加速度計を設け、それらの出力から角度振れの回転半径を用いた補正値と角度を求めて振れ補正が行われ、外乱の影響を受けにくい周波数帯域に限定して回転中心を求めることができる。このようにすることで、上記のような加速度計の不安定要因の影響を軽減できる。

特開平７−２２５４０５号公報 特開２０１０−２５９６２号公報

角度振れの回転半径を用いて平行振れの補正を行う方法では、回転半径を正確に算出することが必要である。しかしながら、実際の手持ち状態でのカメラの撮影条件においては、平行振れが１つの回転の影響のみで発生する条件は少なく、殆どの場合には複数の回転の影響により平行振れが発生する。特許文献２に開示された方法では、最も影響力の大きい回転により生じる平行振れを補正することはできるが、すべての周波数帯域において必ずしも正しい振れ補正が行われるとは限らない。また、低周波帯域での回転による平行振れ影響が大きい場合には、低周波の平行振れの補正が正しく行われるのに対して、高周波帯域では実際の平行振れとは異なり、過補正により平行振れ補正の像ブレ効果に影響を及ぼす可能性があった。
本発明は、平行振れに対して広い周波数帯域で高精度なブレ補正を行うことを目的とする。

本発明の一実施形態に係る装置は、撮像光学系の光軸に対して直交する方向の振れにより生じ得る画像の像ブレを、振れ補正手段により補正するブレ補正装置であって、前記振れの角速度検出信号および加速度検出信号を取得する取得手段と、前記取得手段によって取得された前記角速度検出信号および加速度検出信号から第１の振れ量を演算し、前記加速度検出信号と前記第１の振れ量との合成処理を行って第２の振れ量を演算する演算手段と、前記演算手段により算出された前記第２の振れ量を取得して前記振れ補正手段を制御する制御手段を備える。

本発明によれば、平行振れに対して広い周波数帯域で高精度なブレ補正を行うことができる。

本発明の実施形態におけるブレ補正装置を搭載したカメラの上面図である。 本発明の実施形態におけるブレ補正装置を搭載したカメラの側面図である。 本発明の第１実施形態に係るブレ補正装置のブロック図である。 カメラの振れの回転中心を説明する図である。 本発明の第１実施形態に係る速度算出用フィルタの周波数特性を例示する図である。 本発明の第２実施形態に係るブレ補正装置のブロック図である。 本発明の第２実施形態に係るブレ補正の説明図である。 本発明の第３実施形態に係るブレ補正装置のブロック図である。 本発明の第３実施形態における重力加速度の説明図である。

以下に、本発明の各実施形態について、添付図面を参照して詳細に説明する。本発明は、デジタル一眼レフカメラやデジタルコンパクトカメラのブレ補正装置に限らず、レンズ装置等の光学機器や、デジタルビデオカメラ、監視カメラ、Ｗｅｂカメラ、携帯電話等の撮像装置にも搭載できる。

［第１実施形態］
図１および図２は、本発明の第１実施形態に係わるブレ補正装置を具備したカメラ１０１の機能構成を示す概略図である。図１はカメラ１０１を上面から見た場合の図であり、図２はカメラ１０１を側面から見た場合の図である。カメラ１０１に搭載されるブレ補正装置は、装置の振れを検出して像ブレ補正を行う。矢印１０３ｐ、１０３ｙで示す振れは、光軸１０２に対してそれぞれ直交する２つの軸回りの振れ（以下、角度振れという）を表す。「ｐ」はピッチ方向を意味し、「ｙ」はヨー方向を意味する。また矢印１０４ｐ、１０４ｙで示す振れは、光軸１０２に対してそれぞれ直交する方向の振れ（以下、平行振れという）を表す。

カメラ１０１はレリーズボタン１０５を備え、カメラＣＰＵ（中央演算処理装置）１０６はレリーズボタン１０５の操作信号Ｓ１を取得して撮像動作の制御を行う制御中枢部である。撮像素子１０７は撮像光学系を通して被写体を撮像し、撮像信号を出力する。

角速度計１０８ｐ、１０８ｙは、矢印１０８ｐａ、１０８ｙａでそれぞれ示す方向の角度振れを検出する第１振れ検出手段である。また、加速度計１０９ｐ、１０９ｙは、矢印１０９ｐａ、１０９ｙａでそれぞれ示す方向の平行振れを検出する第２振れ検出手段である。角速度計１０８ｐ、１０８ｙ、および加速度計１０９ｐ、１０９ｙの各出力は、カメラＣＰＵ１０６に入力される。振れ補正部１１０は、振れ補正レンズ１１１を図１、図２の矢印１１０ｐ、１１０ｙの方向に駆動することにより、角度振れと平行振れの両方を加味した振れ補正を行う。カメラＣＰＵ１０６は駆動部１１２に制御信号を出力し、駆動部１１２は振れ補正部１１０を駆動する。

本実施形態では、振れ補正手段として、算出された補正量に基づいて振れ補正レンズ１１１を光軸に垂直な面内で移動させる、いわゆる光学的な像ブレ補正が行われる。このようなレンズ駆動による方法に限らず、撮像素子１０７を光軸に垂直な面内で移動させることで像ブレ補正を行う方法がある。あるいは、撮像素子１０７が出力する各撮影フレームの画像の切り出し位置を変更することで、画像処理によって振れの影響を軽減させる電子的な像ブレ補正方法がある。いずれかの方法、またはそれらを組み合わせた方法により像ブレ補正を行うことでも本発明の目的を達成可能である。

次に、図３を参照して本実施形態に係わるブレ補正装置の構成を説明する。図３は、ブレ補正装置を例示する機能ブロック図である。図３では、カメラ１０１の鉛直方向に生じる振れ（ピッチ方向：図２の矢印１０３ｐ、１０４ｐ参照）の構成のみを示している。同様の構成はカメラ１０１の水平方向に生じる振れ（ヨー方向：図１の矢印１０３ｙ、１０４ｙ参照）に対しても設けられている。これらは方向の違いを除いて基本的に同じ構成であるので、以下では、ピッチ方向の構成のみを図示して説明する。

まず、角度振れ量の算出処理について説明する。角速度計１０８ｐの出力する角速度検出信号はカメラＣＰＵ１０６に入力される。角速度検出信号はＨＰＦ積分フィルタ３０１に入力される。ＨＰＦ積分フィルタ３０１はＨＰＦ（ハイパスフィルタ）と積分フィルタを備える。ＨＰＦ積分フィルタ３０１にてＨＰＦは入力信号のＤＣ（直流）成分をカットし、ハイパスフィルタ処理後の信号を積分フィルタが積分することで、角速度検出信号を角度信号に変換する。手振れの周波数帯域は１Ｈｚ〜１０Ｈｚの間である。そのため、ＨＰＦは、例えば手振れの周波数帯域から十分離れた０．１Ｈｚ以下の周波数成分をカットする１次のＨＰＦ特性を有する。ＨＰＦ積分フィルタ３０１の出力は敏感度調整部３０３に入力される。

敏感度調整部３０３は、ズーム及びフォーカス位置情報３０２と、それらにより求まる焦点距離と撮影倍率に基づいてＨＰＦ積分フィルタ３０１の出力を増幅することで、角度振れの補正目標値を出力する。ズーム及びフォーカス位置情報３０２は撮像光学系に設けられたズームレンズの位置検出部と、フォーカスレンズの位置検出部から取得される。敏感度調整部３０３を設ける理由は、ズームやフォーカス等に関する光学情報が変化することで振れ補正レンズ１１１の移動量に対するカメラ像面上での揺れ量の比である振れ補正敏感度に変化が生じるため、調整が必要であることによる。
ＨＰＦ積分フィルタ３０１と敏感度調整部３０３とにより、角度振れ量の演算手段が構成される。

次に、平行振れ量の算出処理について説明する。本実施形態における平行振れ量は、以下の工程によって算出される。
（１）所定周波数に着目して算出した回転半径（Ｌと記す）と角速度計１０８ｐの出力から第１の平行振れ速度を算出する工程。
（２）第１の平行振れ速度と加速度計１０９ｐの出力する加速度検出信号から、第２の平行振れ速度を算出する工程。
（３）第２の平行振れ速度を積分処理して平行振れ変位を算出する工程。
（４）ズーム及びフォーカス位置情報３０２と、それらにより求まる撮影倍率に基づいて平行振れ変位を増幅し、平行振れの補正目標値を出力する工程。

回転半径Ｌと角速度計１０８ｐの出力より算出された第１の平行振れ速度から平行振れ補正を行う方法では、第１の平行振れ速度を全周波数帯域で精度良く算出することが難しい。このため、限定された特定の周波数帯域で補正効果の高い平行振れ速度を算出することが行われる。しかしながら、実際上ではカメラの手持ち撮影時の撮影条件においては、殆どの場合、複数の回転の影響により平行振れが発生する。つまり、回転半径Ｌを求めて角速度に回転半径Ｌを乗算して平行振れ量を算出する方法では、全ての周波数帯域において正しい振れ補正が行われるとは限らない。また、高周波帯域では実際の平行振れとは異なり、過補正により平行振れ補正の効果に影響を及ぼす可能性がある。

また、平行振れ補正量に関する別の算出方法として、加速度センサの出力信号を２階積分して平行振れ変位を算出する方法がある。この場合、加速度計１０９ｐからは、平行振れに伴う振動加速度に重力加速度が加わった加速度検出信号が出力される。平行振れ補正に必要な振動加速度の検出に対して、カメラの姿勢角度によって変化する重力加速度がノイズとして現れることになる。この重力加速度が低周波帯域で非常に大きな出力ノイズとなって、この信号が２階積分されてしまうと、低周波ノイズについても増幅される。このため、振動加速度による平行振れ変位を正しく検出することは難しい。

そこで本実施形態では第１の平行振れ速度と加速度計１０９ｐの出力から、第２の平行振れ速度を算出する工程において、低周波帯域では第１の平行振れ速度に対する重み付け値を大きくし、高周波帯域は加速度計出力に対する重み付け値を大きくして合成する。これにより、高周波帯域でのノイズと低周波帯域でのノイズを低減しつつ、２つの信号を合成して平行振れ量を算出することで、広い周波数帯域で高精度に検出することができる。すなわち、本実施形態によれば、検出された角速度に回転半径Ｌを乗算して平行振れ量を算出する方法では除去が難しい高周波帯域でのノイズを除去可能である。また加速度計出力から平行振れ量を算出する方法では除去が難しい低周波帯域でのノイズを除去可能である。

以下に、本実施形態に係る平行振れ速度および補正目標値について詳細な演算方法を説明する。
角速度計１０８ｐの出力する角速度検出信号は、ＨＰＦ積分フィルタ３０１に入力されると共に、ＨＰＦ３０９にも入力される。ＨＰＦ３０９は入力信号のＤＣ成分をカットして、出力補正部３１０に出力する。この処理と同時に、角速度計１０８ｐの出力する角速度検出信号はＨＰＦ位相調整部３０４に入力される。ＨＰＦ位相調整部３０４は角速度計１０８ｐの出力に重畳されるＤＣ成分をカットすると共に、その信号の位相調整を行う。ＨＰＦ位相調整部３０４でのＨＰＦのカットオフ周波数は、後述するＨＰＦ積分フィルタ３０５のＨＰＦのカットオフ周波数と合わせてあり、周波数特性が一致するように設定されている。ＨＰＦ位相調整部３０４の出力は角速度計ＢＰＦ（バンドパスフィルタ）部３０６に入力され、ここで所定帯域の周波数成分のみが抽出される。

一方、加速度計１０９ｐの出力はＨＰＦ積分フィルタ３０５に入力される。ＨＰＦ積分フィルタ３０５にて、ＨＰＦが入力信号のＤＣ成分をカットした後、積分フィルタが積分して加速度検出信号を速度信号に変換する。ＨＰＦ積分フィルタ３０５のＨＰＦのカットオフ周波数は、上述したようにＨＰＦ位相調整部３０４のＨＰＦの周波数特性に合わせて設定されている。ＨＰＦ積分フィルタ３０５の出力は加速度計ＢＰＦ（バンドパスフィルタ）部３０７に入力され、ここで所定帯域の周波数成分のみが抽出される。

比較部３０８は、角速度計ＢＰＦ部３０６と加速度計ＢＰＦ部３０７の各出力を取得し、回転半径Ｌを算出する。回転半径Ｌの算出は後述の方法で行われ、算出結果が出力補正部３１０に送られる。出力補正部３１０は、ＨＰＦ３０９の出力であるＨＰＦ処理後の角速度検出信号と、比較部３０８から取得した回転半径Ｌを用いて第１の平行振れ速度を算出する。

次に、比較部３０８から出力補正部３１０へ出力される補正値（回転半径Ｌ）について説明する。
図４はカメラ１０１に加わる角度振れ１０３ｐと平行振れ１０４ｐを示した図である。カメラ１０１の撮影レンズ内にて撮像光学系の主点位置における平行振れをＹ（１０４ｐ参照）と記し、角度振れをθ（１０３ｐ参照）と記す。回転中心Ｏ（４０１ｐ参照）を定めた場合の回転半径Ｌ（４０２ｐ参照）とＹ、θの関係は、以下の（１）式で表される。また角速度をωと記し、速度をＶと記すとＶ、Ｌ、ωの関係は、（２）式で表される。

回転半径Ｌは、回転中心４０１ｐから加速度計１０９ｐまでの距離である。

（１）式では、加速度計１０９ｐの出力を２階積分して算出される変位Ｙと、角速度計１０８ｐを１階積分して算出される角度θとの比が回転半径Ｌである。また（２）式では、加速度計１０９ｐの出力を１階積分して算出される速度Ｖと、角速度計１０８ｐの出力である角速度ωとの比が回転半径Ｌである。（３）式では、加速度Ａと角加速度ωａとの比が回転半径Ｌである。加速度計１０９ｐの出力により加速度Ａが得られ、角速度計１０８ｐの出力を１階微分することより角加速度ωａが求まる。これらのいずれかの方法で回転半径Ｌを求めることができる。

比較部３０８は、例えば角速度計ＢＰＦ部３０６の出力である角速度ωｂと、加速度計ＢＰＦ部３０７の出力を１階積分した速度Ｖｂを取得して、以下の（４）式を用いて回転半径Ｌを算出する。

回転半径Ｌについては、所定時間内の速度Ｖｂと角速度ωｂのそれぞれの最大振幅のピーク値の比から算出することもできる。所定時間は、例えば、角速度計ＢＰＦ部３０６および加速度計ＢＰＦ部３０７のカットオフ周波数が５Ｈｚの場合、２００ｍｓ程度に設定される。更には、回転半径Ｌの更新に関して、速度Ｖｂと加速度ωｂがそれぞれ算出されるときに行ってもよい。あるいは、回転半径Ｌを算出する際の高周波ノイズ成分を除去するために、比較部３０８が速度Ｖｂと角速度ωｂをそれぞれ時系列的に平均化し、またはローパスフィルタ（ＬＰＦ）で高周波成分をカットする処理を行ってもよい。

出力補正部３１０は、比較部３０８が算出した回転半径Ｌと、ＨＰＦ３０９の出力であるＨＰＦ処理後の角速度検出信号から、式（２）により第１の平行振れ速度を算出する。第１の平行振れ速度は速度算出部３１１に入力される。速度算出部３１１には同時に加速度計１０９ｐの出力が入力される。速度算出部３１１は、加速度計１０９ｐの出力する加速度検出信号と第１の平行振れ速度を取得して、第２の平行振れ量を算出する。

以下では、加速度検出信号と第１の平行振れ速度から、推定器の一例であるカルマンフィルタを用いて第２の平行振れ速度を算出する処理について説明する。
下式のように、状態変数を（Velocity：平行速度，Accelbias：加速度計のオフセットバイアス成分）とする。

カルマンフィルタを用いた演算におけるサンプリング周期をdtと記す。出力変数ｙを出力補正部３１０の出力する第１の平行振れ速度とし、入力変数ｕを加速度計１０９ｐから出力される加速度とする。状態方程式は式（５）で表すことができる。

上式中、ｗ_ｋはシステムノイズ（加速度計ノイズ）であり、ν_ｋは観測ノイズ（出力補正部３１０の出力である第１の平行振れ速度に含まれるノイズ）である。以下のようにカルマンゲインｇと状態推定値（ｘ_kの上に「^」記号を付して示す）が求められる。

ここで、システムノイズの分散値を表す「Ｑ＝σ_w ²」と、観測ノイズの分散値を表す「Ｒ＝σ_v ²」は、以下のように設定される。
システムノイズの分散Ｑについては、入力端に加わるシステムノイズである加速度計１０９ｐのセンサノイズから設定される。また観測ノイズの分散Ｒについては、出力補正部３１０の出力である第１の平行振れ速度に含まれるノイズから設定される。分散ＱとＲの大きさに応じて、カルマンゲインｇが変化する。分散Ｑの値を大きくしていくと第１の平行振れ速度の重み付け値を大きくするように第２の平行振れ速度（振れ補正速度）が算出される。また、分散Ｒの値を大きくしていくと加速度計１０９ｐの出力の重み付け値を大きくするように第２の平行振れ速度が算出される。速度算出部３１１はカメラ１０１の手持ち状態における撮影条件に合わせてＱ値、Ｒ値を決定し、第２の平行振れ速度を算出する。

また、カメラ１０１の振動状態を検出して、振動状態に合わせてカルマンゲインｇを設定することもできる。例えば、振動が小さい場合、低周波の大きな平行振れ量ではなく、比較的高周波の小さな平行振れ量となる。そこで、振動が小さい場合は、カメラ姿勢の角度変化量が小さく、重力による影響の変化に起因する加速度計出力ノイズが比較的小さくなるので、分散Ｒの値が大きく設定される。つまり、加速度計１０９ｐの出力に対して重み付け値を相対的に大きくして第２の平行振れ速度が算出される。一方、振動が大きく、低周波の大きな平行振れが支配的である場合には、カメラ姿勢の角度変化量が大きく、重力による影響の変化に起因する加速度計出力ノイズが大きくなるので、分散Ｑの値が大きく設定される。つまり、第１の平行振れ速度の重み付け値を相対的に大きくして第２の平行振れ速度が算出されるので、加速度計の出力誤差による像ブレ補正への影響を低減できる。

カメラ１０１の振動状態の検出には、角速度計１０８ｐまたは加速度計１０９ｐの出力、或いはその両方の出力を用いることができる。振動状態検出部は、例えば角速度計１０８ｐの出力や加速度計１０９ｐの出力をＨＰＦに通し、ＨＰＦ処理後の信号を絶対値変換する。振動状態検出部は、絶対値変換後の信号が所定時間内で所定レベルの閾値を超えた回数を計測し、この回数を所定の閾値と比較する。計測された回数が所定の閾値以下である場合、揺れが小さい状態と判定され、また計測された回数が所定の閾値より大きい場合には揺れが大きい状態と判定される。あるいは、他の方法では、振動状態検出部が絶対値変換後の信号から移動平均やＬＰＦ等によって生成した信号のレベルを所定の閾値と比較する。信号レベルが所定の閾値以下である場合、揺れが小さい状態と判定され、また信号レベルが所定の閾値より大きい場合、揺れが大きい状態と判定される。

上記の処理によって、簡単な構成で、振動状態に合わせた最適な平行振れ速度を算出することができる。なお、一例としてカルマンフィルタを用いた第２の平行振れ速度の算出処理について説明したが、別の方法もある（図５参照）。例えば、出力補正部３１０の出力である第１の平行振れ速度に対してローパスフィルタ処理が行われる。ＬＰＦ処理後の速度（ＬＰＦ速度）は積分処理されて角度（ＬＰＦ角度）が算出される。加速度計１０９ｐの出力に対してはハイパスフィルタ処理が行われる。ＨＰＦ処理後の速度（ＨＰＦ速度）は積分処理されて角度（ＨＰＦ角度）が算出される。ＬＰＦ角度とＨＰＦ角度を加算することで第２の平行振れ速度を算出することができる。図５は各フィルタの特性を例示する。上側に位相（Phase）特性を示し、下側に利得(Gain)特性を示しており、横軸は周波数軸である。この方法では、ＬＰＦのカットオフ周波数５０１とＨＰＦのカットオフ周波数５０２は同じ値に設定される。低周波帯域では出力補正部３１０からの第１平行振れ速度に基づいて第２の平行振れ速度を算出し、高周波帯域では加速度計１０９ｐの出力に基づいて第２の平行振れ速度を算出することができる。この場合、角速度計１０８ｐまたは加速度計１０９ｐの出力、或いはその両方を用いて、前記と同様にカメラ１０１の振動状態が判定される。振動状態の判定結果にしたがって各フィルタのカットオフ周波数５０１，５０２が変更される。例えば、カメラ１０１の振動が閾値より大きい状態であると判定された場合、カットオフ周波数５０１，５０２が低い値に設定され、加速度計１０９ｐから算出される平行振れの比率が大きくなるように加算合成処理が行われる。またカメラ１０１の振動が閾値より小さい状態であると判定された場合、カットオフ周波数５０１，５０２が高い値に設定され、回転半径Ｌを用いて算出された第１の平行振れ速度の出力の比率が大きくなるように加算合成処理が行われる。こうすることでカメラ１０１の振動状態に合わせて最適な平行振れ速度を算出できる。

図３の速度算出部３１１は、算出した第２の平行振れ速度を積分器３１２に出力する。積分器３１２は、積分処理によって平行振れ変位を算出し、敏感度調整部３１３に出力する。敏感度調整部３１３は、ズーム及びフォーカス位置情報３０２と、それらにより求まる撮影倍率に基づいて積分器３１２の出力を増幅し、平行振れの補正目標値を加算器３１４に出力する。加算器３１４は、敏感度調整部３０３の出力である角度振れの補正目標値と、敏感度調整部３１３の出力である平行振れの補正目標値を加算する。こうして、振れ補正目標値が算出され、駆動部１１２に出力される。

敏感度調整部３０３、敏感度調整部３１３、加算器３１４で演算される振れ補正目標値をδと記す。撮像光学系の焦点距離をｆと記し、撮影倍率をβと記し、振れ補正敏感度をＴｓと記す。振れ補正敏感度Ｔｓは、振れ補正部１１０の移動量に対するカメラ像面上での揺れ量の比である。振れ補正目標値δは、平行振れＹおよび撮像光学系の振れ角度θと、撮像光学系の焦点距離ｆおよび撮影倍率βと、振れ補正敏感度Ｔｓを用いて下式（１２）により算出される。

（１２）式の右辺第１項は敏感度調整部３０３の出力である角度振れ補正量であり、右辺第２項は敏感度調整部３１３の出力である平行振れ補正量である。こうして算出された、加算器３１４の出力である振れ補正目標値δは、駆動部１１２に入力される。振れ補正目標値δに基づいて駆動部１１２は振れ補正部１１０を駆動し、振れ補正レンズ１１１の移動により振れ補正動作が行われる。

本実施形態では、検出した角速度に回転半径Ｌを乗算することで第１の平行振れ速度が算出される。低周波帯域では第１の平行振れ速度に対する重み付け値を大きくし、高周波帯域では加速度出力から得られる平行振れ速度に対する重み付け値を大きくして信号を合成し、第２の平行振れ速度が算出される。第２の平行振れ速度の積分処理により平行振れ変位が算出され、敏感度調整後に平行振れの振れ補正目標値が得られる。本実施形態によれば、高周波帯域および低周波帯域での各ノイズ成分を除去しつつ、２つの信号を合成して平行振れ量を算出することで広い周波数帯域に亘って高精度に検出できるので、平行振れに対する像ブレ補正効果が向上する。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態にて第１実施形態の場合と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略については後述の実施形態でも同じである。

図６を参照して、本実施形態に係るブレ補正装置を説明する。図６はブレ補正装置の制御ブロック図である。本実施形態の特徴は、以下の通りである。
・撮像された画像の動きベクトルを算出する動きベクトル算出部６０１が設けられていること。
・切り出し量調整部６０４および画像切り出し振れ補正部６０５が設けられていること。

本実施形態では、第１の平行振れ速度の検出手段である動きベクトル算出部６０１が、撮像素子１０７の出力する画像データから装置の振れを検出する。つまり、動きベクトル算出部６０１は、撮像素子１０７が異なる時刻に出力する画像同士を比較し、動きベクトルの算出処理を行う。動きベクトルを利用して手振れや構図のずれを検出する方法では、実際に撮像された画像データに基づいて振れを検出できる。検出された画像のずれを表す動きベクトルに基づいて、画像シフト量を求め、画像シフト量に合わせてフレーム画像の切り出し処理を行うことにより、動画撮影における像ブレ補正が可能である。その際には以下の事項に留意すべきである。

動きベクトルは、撮像されるフレーム画像ごとに検出されるので、フレームレートによっては、精度よく検出可能な周波数帯域が制限される場合がある。また、画像から被写体像のずれがベクトルで検出されるので、実際の像ブレに対する時間遅れを無視することができない。つまり低周波帯域での検出精度は高いが、高周波帯域での検出精度が低下する可能性がある。そこで本実施形態では、低周波帯域において、動きベクトルにより検出された振れ量に対する重み付け値を大きくし、高周波帯域において、加速度センサの出力に対する重み付け値を大きくする制御が行われる。重み付け値が制御された各信号を合成することにより振れ補正量が算出されるので、平行振れ量の検出精度を向上させることができる。

本実施形態では、動きベクトルを用いて平行振れ量を検出し、平行振れ補正にて電子式の切り出し画像を利用した像ブレ補正を行う。すなわち、切り出し量調整部６０４および画像切り出し振れ補正部６０５は光学部材を駆動するのではなく、画像処理によって像ブレを補正する。一方、角度振れ補正については第１実施形態の場合と同様に、振れ補正レンズ１１１の駆動による光学的な像ブレ補正が行われる。角速度計１０８ｐにより検出される振れ検出信号については、ＨＰＦ積分フィルタ３０１がＨＰＦ処理および積分処理を行い、さらに敏感度調整部３０３が敏感度調整を行う。ズーム及びフォーカス位置情報３０２を用いて敏感度調整が行われた角度振れの補正目標値は駆動部１１２に入力され、振れ補正部１１０により角度振れ補正が行われる。

以下、動きベクトル算出部６０１が行う動きベクトル算出について具体的に説明する。
撮像素子１０７は、被写体からの反射光を電気信号に光電変換することで画像情報を取得する。取得された画像情報はデジタル信号に変換され、変換処理後のデジタル画像データは動きベクトル算出部６０１に送られる。この時点で動きベクトル算出部６０１は、あらかじめメモリに記憶されている１フレーム前の画像データを取得し、時間的に連続する過去の画像データと現在の画像データを比較する。動きベクトル算出部６０１は、異なる時刻の画像同士の相対的なズレ情報から動きベクトルを算出する。このときに抽出される画像情報としては、画像全体のデータ、または画像内の一部のデータである。または、動きベクトル算出部６０１は、画像内を複数の領域に分割した小領域にてそれぞれの画像データを比較することで動きベクトルを算出し、その中から最適な動きベクトルを選択する。動きベクトルの算出処理の方法については限定されない。

動きベクトル算出部６０１は、算出した動きベクトルの情報を速度算出部６０２に出力する。速度算出部６０２は取得した動きベクトルの情報と、加速度計１０９ｐの出力を用いて速度算出処理を実行する。まず速度算出部６０２は、動きベクトルを平行振れ速度量Ｖに変換する。動きベクトルの速度をＶｍと記し、１ピクセルあたりのピッチをＰと記し、ズーム及びフォーカス位置情報３０２に基づく撮影倍率をβと記す。下記式（１３）により、速度Ｖｍから平行振れ速度量Ｖに変換される。

速度算出部６０２は、式（１３）により得られる平行振れ速度量Ｖを第１の平行振れ速度として、第１実施形態の場合と同様に、式（５）乃至（１１）を用いて第２の平行振れ速度を算出する。

速度算出部６０２が出力する第２の平行振れ速度は、積分器６０３に入力される。積分器６０３は積分処理により平行振れ変位を算出し、平行振れ変位を切り出し量調整部６０４に出力する。切り出し量調整部６０４は、ズーム及びフォーカス位置情報３０２およびそれらにより求まる撮影倍率βに基づいて、画像切り出し位置を設定する。切り出し量調整部６０４が出力する画像切り出し位置の情報は、画像切り出し振れ補正部６０５に入力される。画像切り出し振れ補正部６０５は、取得した画像切り出し位置にしたがい、画像切り出しによる平行振れ補正を行う。図７を参照して、画像データの切り出し処理に基づく電子的な像ブレ補正を説明する。

図７は、画像切り出し振れ補正部６０５が画像シフト処理を行う様子を説明する図である。対象画像は、撮像素子１０７の出力から生成された撮像画像である。画像シフト処理では、撮像画像のうちの出力領域が変更される。例えば、図７の画像７０１ａは、撮影時刻Ｔ１で撮影された撮像素子１０７の出力画像を示す。画像７０１ｂは、撮影時刻Ｔ１から所定時間の経過後（例えば１／３０秒後）の撮影時刻Ｔ２で撮影された撮像素子１０７の出力画像を示す。

撮影光軸を偏心させて像ブレを光学的に補正する振れ補正手段をもたない撮像装置の場合、２つの画像７０１ａと７０１ｂとでは角度振れと平行振れに応じた位置ずれの影響を受ける。本実施形態では、駆動部１１２と振れ補正部１１０によって角度振れ補正が行われるので、平行振れの影響のみにより画像７０１ａと７０１ｂとで構図にずれが発生する。切り出し量調整部６０４は、画像の水平方向と垂直方向のそれぞれの平行振れ量から、撮影フレームごとに水平方向と垂直方向のそれぞれの画像切り出し移動量を算出する。図７の矢印７０２ｙで示す第１のベクトルは、水平方向の画像切り出し移動量を表し、矢印７０２ｐで示す第２のベクトルは、垂直方向の画像切り出し移動量を表している。第１のベクトルと第２のベクトルを合成すると、矢印７０２で示すベクトル、つまり、画像切り出し移動量分に相当する合成ベクトルが得られる。

画像切り出し振れ補正部６０５は、切り出し量調整部６０４から取得した画像切り出し移動量の情報を用いて、画像切り出し位置をシフトさせる。これにより、撮影時刻Ｔ１での画像７０１ａにおける切り出し画像は画像７０３となり、撮影時刻Ｔ２での画像７０１ｂにおける切り出し画像も画像７０３となる。すなわち、主被写体７０４の画像の像ブレが抑制された状態で動画撮影が行われる。画像切り出し振れ補正部６０５は撮影フレームごとに画像切り出し処理による平行振れ補正を行う。こうして、動画撮影中に平行振れ補正と角度振れ補正とが同時に実行される。

本実施形態では、角度振れの補正処理部が角速度計１０８ｐの出力から角度振れ補正量を算出し、撮影光軸を偏心させることで像ブレを補正する。平行振れの補正処理部は、動きベクトルと加速度計１０９ｐの出力から平行振れ補正量を算出し、撮影画像の出力領域をシフトさせて画像切り出し処理により像ブレを補正する。本実施形態によれば、像ブレ補正を高精度に行うことができる。

［第３実施形態］
次に本発明の第３実施形態を説明する。
図８は、本実施形態に係るブレ補正装置の制御ブロック図である。第１実施形態の場合（図３参照）との相違点は、２つの判定部８０１および８０２が設けられている点である。判定部８０１はパンニング状態の判定（以下、パン判定ともいう）を行うパン判定部８０１である。また判定部８０２は、撮像装置の姿勢変化について判定を行う姿勢判定部である。パン判定部８０１と姿勢判定部８０２の各出力は、速度算出部８０３に入力される。本実施形態の特徴は、パン判定部８０１のパンニング判定結果と姿勢判定部８０２の姿勢判定結果に基づいて、速度算出部８０３が第１の平行振れ速度と加速度計１０９ｐの出力から得られる速度との合成比率を変更することである。

まず、パン判定部８０１が行うパンニング状態の判定処理を説明する。
パンニング判定処理において、パン判定部８０１は角速度計１０８ｐの出力を取得して、所定の閾値と比較する。角速度検出信号のレベルが所定の閾値以上である時間（検出時間）が計測される。検出時間が所定時間以上である場合、パン判定部８０１はパンニング操作中であると判定する。所定時間とは、パンニングの継続期間を判定するために予め設定される基準時間である。パン判定部８０１は、ユーザによるパンニング操作中であるかどうかを示すパンニング判定結果を速度算出部８０３に出力する。

パンニング時にはカメラの傾き角度が変化するので、加速度計１０９ｐの出力に重力が及ぼす影響による成分が重畳しやすくなる。また、パンニング時にはパンニング操作に伴う回転半径Ｌ（図４参照）が支配的であるため、平行速度の検出精度は高い。そのため、速度算出部８０３は、パンニング状態と判定された場合に加速度計１０９の出力に対する重み付け値を相対的に小さくし、第１の平行振れ速度に対する重み付け値を相対的に大きくするように合成比率を変更する。この合成比率を用いて演算される第２の平行振れ速度を使用して像ブレ補正が行われる結果、平行振れ補正効果が向上する。つまり、実際の平行振れに近い信号が生成され、この信号に基づいて平行振れ補正が行われる。なお、チルティング状態の判定についても同様の処理が行われる。この場合、チルト判定部は、チルティング状態と判定された場合に加速度計１０９の出力に対する重み付け値を相対的に小さくし、第１の平行振れ速度に対する重み付け値を相対的に大きくするように合成比率を変更する。

次に、姿勢判定部８０２が行う姿勢判定処理について説明する。
加速度計１０９に３軸加速度計を用いる場合、その出力は姿勢判定部８０２に入力され、姿勢判定部８０２はカメラの傾き角度を算出する。加速度計１０９の測定軸をＸ軸、Ｙ軸、Ｚ軸とし、Ｘ軸を撮像素子の撮像面内での水平方向の軸と定義する。またＹ軸を撮像素子の撮像面内での垂直方向の軸と定義し、Ｚ軸をカメラの光軸方向の軸と定義する。つまりカメラは撮像面（Ｘ−Ｙ平面）に直交するＺ軸方向を向くように配置されており、各軸の加速度出力の関係から、カメラの傾き角度を算出することができる。カメラの姿勢変化によって重力加速度に及ぼす影響が異なることについて、図９を参照して説明する。

図９は、カメラ正位置での角度を０度とした場合の、カメラのロール角度変化による加速度計１０９の出力変化を例示する。カメラ正位置は、ユーザがカメラを横位置で構えているときに、撮像素子の左右方向の軸が重力方向と垂直となっている基準姿勢に相当する。図９の横軸は角度（単位：ｄｅｇｒｅｅ）を表し、縦軸は加速度計１０９の出力（単位：Ｇ）を表す。グラフ線９０１はＸ軸の出力変化を示し、グラフ線９０２はＹ軸の出力変化を示す。

カメラ正位置における角度が０度の付近では、ロール角度の変化に対するＹ軸での重力加速度の変化量は小さいが、Ｘ軸では０度の付近で傾きが大きいためロール角度の変化に対する重力加速度の変化量が大きくなる。従って、カメラ正位置付近において、Ｙ軸での加速度計１０９の出力に対する重み付け値を大きくする制御が行われる。つまり第２の平行振れ速度を算出した場合の精度が高まる。しかし、Ｘ軸での加速度計１０９の出力に対する重み付け値を大きくしてしまうと、重力加速度の変化の影響によって第２の平行振れ速度の誤演算を招く可能性がある。よって、Ｘ軸での加速度計１０９の出力に対する重み付け値を小さくして、第２の平行振れ速度を算出する処理が行われる。また、カメラの縦位置、つまり角度が９０度または−９０度の姿勢においては、角度が０度の姿勢のときのＸ軸およびＹ軸での重力加速度の影響とは逆になる。よって、Ｙ軸での加速度計１０９の出力に対する重み付け値を小さくし、Ｘ軸での加速度計１０９の出力の重み付け値を大きくして、第２の平行振れ速度が算出される。このようにカメラの姿勢変化に応じて合成比率を変更することで、カメラ姿勢に最も適した平行振れ補正量を算出することができる。

合成比率の変更方法には、第１実施形態で説明したように、カルマンフィルタのカルマンゲインを変更することで合成比率を変更する方法がある。あるいは別の方法で第２の平行振れ速度を算出してもよい。例えば、速度算出部は、出力補正部３１０の出力である第１の平行振れ速度にＬＰＦ処理を施し、ＬＰＦ処理された速度（ＬＰＦ速度）を算出する。また速度算出部は、加速度計１０９ｐの出力にＨＰＦ処理を施した後で積分して、ＨＰＦおよび積分処理された速度（ＨＰＦ速度）を算出する。ＬＰＦ速度とＨＰＦ速度を加算することで第２の平行振れ速度を算出することができる。この方法において、同じカットオフ周波数に設定されたＬＰＦおよびＨＰＦについては、カメラ姿勢に応じてカットオフ周波数を変更することにより、第２の平行振れ速度を算出してもよい。

本実施形態では、パンニング（またはチルティング）判定結果や姿勢判定結果に基づいて、第１の平行振れ速度と加速度計１０９の出力から得られる平行振れ速度に対する合成比率を変更する処理が行われる。合成比率の値が適正に変更されて第２の平行振れ速度が算出され、平行振れ補正が行われるので、カメラの状態や姿勢に合わせて適正な像ブレ補正を実現できる。

１０１ カメラ
１０６ ＣＰＵ
１０７ 撮像素子
１１０ 振れ補正部
１１１ 振れ補正レンズ

Claims (16)

1. 撮像光学系の光軸に対して直交する方向の振れにより生じ得る画像の像ブレを、振れ補正手段により補正するブレ補正装置であって、
   前記振れの角速度検出信号および加速度検出信号を取得する取得手段と、
   前記取得手段によって取得された前記角速度検出信号および加速度検出信号から第１の振れ量を演算し、前記加速度検出信号と前記第１の振れ量との合成処理を行って第２の振れ量を演算する演算手段と、
   前記演算手段により算出された前記第２の振れ量を取得して前記振れ補正手段を制御する制御手段を備えることを特徴とするブレ補正装置。
2. 前記演算手段は、前記加速度検出信号を入力変数とし、前記第１の振れ量を出力変数とする推定器によって、前記第２の振れ量を演算することを特徴とする請求項１に記載のブレ補正装置。
3. 前記演算手段は、前記推定器にて、撮影条件からシステムノイズの分散値および観測ノイズの分散値を決定し、前記第１の振れ量および前記加速度検出信号に対する重み付け値を制御して前記第２の振れ量の演算を行うことを特徴とする請求項２に記載のブレ補正装置。
4. 前記推定器はカルマンフィルタを用いた推定器であり、
   前記システムノイズの分散値を大きくすることにより前記第１の振れ量の速度に対する重み付け値を相対的に大きくする制御、または前記観測ノイズの分散値を大きくすることにより前記加速度検出信号から得られる速度に対する重み付け値を相対的に大きくする制御を行うことを特徴とする請求項３に記載のブレ補正装置。
5. 前記演算手段は、
   前記加速度検出信号に対してハイパスフィルタ処理および積分処理を行う第１の演算手段と、
   前記第１の振れ量に対してローパスフィルタ処理を行う第２の演算手段を有し、
   前記第１および第２の演算手段によるそれぞれの出力を加算して積分することで、前記第２の振れ量を演算することを特徴とする請求項１に記載のブレ補正装置。
6. 前記演算手段は、前記ブレ補正装置を搭載した装置の振動状態の検出信号を取得し、前記合成処理に用いる前記加速度検出信号と前記第１の振れ量との合成比率を変更することを特徴とする請求項１に記載のブレ補正装置。
7. 前記演算手段は、前記検出信号としてパンニング状態またはチルティング状態を示す検出信号を取得して前記合成比率を変更することを特徴とする請求項６に記載のブレ補正装置。
8. 前記演算手段は、前記ブレ補正装置を搭載した装置の姿勢を示す検出信号を取得して前記合成処理に用いる前記加速度検出信号と前記第１の振れ量との合成比率を変更することを特徴とする請求項１に記載のブレ補正装置。
9. 撮像光学系の光軸に対して直交する方向の振れにより生じ得る画像の像ブレを、振れ補正手段により補正するブレ補正装置であって、
   前記撮像光学系を通して撮像される画像から算出される振れ検出信号と、前記振れの加速度検出信号を取得する取得手段と、
   前記取得手段によって取得された前記振れ検出信号と前記加速度検出信号との合成処理を行って振れ量を演算する演算手段と、
   前記演算手段により算出された前記振れ量を取得して前記振れ補正手段を制御する制御手段を備えることを特徴とするブレ補正装置。
10. 前記制御手段は、前記振れ補正手段の制御により、前記画像から画像データを切り出す位置を変更することで、像ブレを補正する制御を行うことを特徴とする請求項９に記載のブレ補正装置。
11. 前記取得手段は、前記振れ検出信号として、撮影時刻が異なる複数の前記画像から算出される動きベクトルを取得し、
    前記演算手段は前記合成処理にて、第１の周波数帯域では前記動きベクトルから検出された振れ量に対する重み付け値を相対的に大きくし、前記第１の周波数帯域よりも高い第２の周波数帯域では前記加速度検出信号に対する重み付け値を相対的に大きくすることを特徴とする請求項９または１０に記載のブレ補正装置。
12. 請求項１から１１のいずれか１項に記載のブレ補正装置を備えることを特徴とする光学機器。
13. 請求項１から８のいずれか１項に記載のブレ補正装置と、
    前記撮像光学系を通して被写体を撮像する撮像手段と、
    前記振れの角速度を検出して角速度検出信号を出力する第１の検出手段と、
    前記振れの加速度を検出して加速度検出信号を出力する第２の検出手段を備えることを特徴とする撮像装置。
14. 請求項９から１１のいずれか１項に記載のブレ補正装置と、
    前記撮像光学系を通して被写体を撮像する撮像手段と、
    前記振れの加速度を検出して加速度検出信号を出力する検出手段を備え、
    前記取得手段は、前記撮像手段により得られる画像から算出される前記振れ検出信号と、前記検出手段の出力する加速度検出信号を取得することを特徴とする撮像装置。
15. 撮像光学系の光軸に対して直交する方向の振れにより生じ得る画像の像ブレを、振れ補正手段により補正するブレ補正装置にて実行されるブレ補正方法であって、
    前記振れの角速度検出信号および加速度検出信号を取得する取得工程と、
    前記取得工程で取得された前記角速度検出信号および加速度検出信号から第１の振れ量を演算し、前記加速度検出信号と前記第１の振れ量との合成処理を行って第２の振れ量を演算する演算工程と、
    前記演算工程で算出された前記第２の振れ量を取得して前記振れ補正手段を制御する制御工程を有することを特徴とするブレ補正方法。
16. 撮像光学系の光軸に対して直交する方向の振れにより生じ得る画像の像ブレを、振れ補正手段により補正するブレ補正装置にて実行される像ブレ補正方法であって、
    前記撮像光学系を通して撮像される画像から算出される振れ検出信号と、前記振れの加速度検出信号を取得する取得工程と、
    前記取得工程で取得された前記振れ検出信号と前記加速度検出信号との合成処理を行って振れ量を演算する演算工程と、
    前記演算工程で算出された前記振れ量を取得して前記振れ補正手段を制御する制御工程を有することを特徴とするブレ補正方法。

Images