JP6824710B2 - ズーム制御装置およびズーム制御方法、撮像装置 - Google Patents

Description

本発明は、ズーム制御装置、ズーム制御方法および撮像装置の技術に関する。

撮像装置には、ズームレンズを駆動する光学ズームと、撮像画像の一部を拡大する電子ズーム、あるいは両方のズーム機能を備える装置があり、業務用途ではない普及機においても近年高倍率化が進んでいる。撮像に不慣れな撮影者が高倍率機種を用いて望遠撮像を行う場合、被写体を捉えることが難しく、また捉えた被写体をすぐにフレームアウトさせてしまうことが頻繁に起こりうる。

特許文献１には、撮像装置の動き量を検出し、ユーザが被写体の探索動作を行っていると判定したときに、カメラが自動で撮像画角を広角側にズームアウトさせる技術が開示されている。以下では、このように、撮像装置の動きに応じて撮像画角をズームアウトすることで、ユーザのフレーミングを支援するズーミング支援制御機能を、フレーミングアシストズームと呼び、「ＦＡズーム」と略称する。尚、ＦＡズームにより撮像画角をズームアウトした状態から、ズーム位置を元に戻す（ズームイン）ことも、ＦＡズームの機能に含まれるものとする。

特開２０１５−１０２８５３号公報

このような、検出した撮像装置の動きに基づいて自動でズームアウトを行うズーム制御装置においては、ユーザの意図に沿うズーム制御を行うことが求められている。

本発明は、よりユーザの意図に沿ったズーム制御を行うことが可能なズーム制御装置、ズーム制御方法および撮像装置を提供する。

本発明の一側面としてのズーム制御装置は、画角を制御する。該ズーム制御装置は、主被写体の撮像に用いられる撮像光学系の動き量を取得する取得手段と、画像のブレを補正する像ブレ補正手段を制御する像ブレ補正制御手段と、像ブレ補正手段による補正量と取得手段により取得された動き量との差分に基づいて、撮像された画像における主被写体像の移動量を算出する算出手段と、主被写体像の移動量が第１の閾値以上か否かを判定する判定手段と、主被写体像の移動量が第１の閾値以上の場合に、画角を、主被写体像の移動量が第１の閾値より小さい場合の画角よりも広くさせる制御を行う制御手段とを有することを特徴とする。

本発明のその他の側面については、発明を実施するための形態で説明する。

本発明によれば、よりユーザの意図に沿ったズーム制御を行うことができる。

第１実施例に係る撮像装置の構成例を示すブロック図 ＦＡズームを説明する概略図 第１実施例に係る移動量算出部における被写体像の移動量算出の処理を説明するフローチャート 第１実施例における被写体像の移動量算出処理を説明する図 第１実施例における像ブレ補正時の被写体像の移動量算出処理を説明する図 第１実施例における動きベクトルによる被写体像の移動量算出処理を説明する図 第１実施例における動きベクトルの検出およびヒストグラムの算出処理を説明する図 第１実施例における電子ズーム有効時の被写体像の移動量算出処理を説明する図 第２実施例に係る撮像装置の構成例を示すブロック図 第２実施例における電子ズーム有効時の閾値算出処理を説明する図 第３実施例１に係る撮像装置の構成例を示すブロック図 比較例における角速度と角変位量の変化を示す図 第３実施例における角速度と角変位量の変化を示す図 第３実施例での処理を示すフローチャート。 第３実施例の変形例における角変位量の基準値を算出する方法を示す図

以下、添付図面を参照して本発明の実施例を詳細に説明する。以下で説明をする各実施例は、ズームアウトを行う条件を詳細に設定することで、よりユーザの意図に沿ったズーム制御を行うことができるズーム制御装置に関する。第１実施例および第２実施例では、撮像された画像中での被写体像の移動量に基づいてズーム制御を行うズーム制御装置を備える撮像装置について説明をする。第３実施例では、撮像装置が大きな動きをしたときにズームアウトを行うズーム制御装置を備える撮像装置について説明をする。

本発明の実施例１では、撮像された画像中での被写体像の移動量に基づいてズーム制御を行うズーム制御装置を備える撮像装置について説明をする。特開２０１５−１０２８５３号公報で開示されているＦＡズーム機能は、撮像装置の動き量と撮像画像上の被写体移動量とが一致しない場合に、ズームアウトを行うか否かの判定を適切に行うことが難しい。よって、撮影者の所望するタイミングでズームアウトが行われない可能性がある。例えば電子ズーム中には、撮像装置の僅かな動きに対して撮像画像上の被写体位置の移動が大きく、被写体を見失うことがある。このため、電子ズームが行われているときには電子ズームを行っていないときと比べてＦＡズーム機能を発動しやすくすることが望ましい。逆に、一定方向に一定速度で動く被写体を撮影者が捉える事は比較的容易であるため、撮影者が被写体を上手く捉えている場合、撮像装置の動く量に対して撮像画像上の被写体位置の移動量は小さくなる。すなわち、撮像装置を動かす量が大きくなったとしても、撮像画像上の被写体位置の移動量が小さい場合には、ＦＡズームを発動させないことが望ましい。

本実施例では、撮像された画像中での被写体像の移動量に基づいてズームアウトを行うか否かを判定することにより、ズーム制御が撮影者の意図に沿いやすくなる。

本実施例ではズーム制御装置を撮像装置に適用した場合の各構成部とその動作について具体的に説明する。 図１はＦＡズーム機能を有する撮像装置１００の構成例を示す図である。撮像装置１００は手振れ等による画像ブレを補正する像ブレ補正機能を備える。撮像装置１００は、像ブレ補正用に検出する撮像装置の振れ情報を利用してＦＡズーム用の撮像装置の動き量を算出する。この場合、振れ情報の検出手段が兼用されるが、ＦＡズーム専用の動き量検出センサを備えてもよいため、ＦＡズーム機能を実現するうえで像ブレ補正機能を備えることは必須ではない。

ＦＡズーム機能の説明前に、像ブレ補正機能に関する構成を説明する。振れ検出センサ１０１は撮像装置１００の撮像光学系に加わる振れを検出する。振れセンサ１０１は、振動ジャイロ等の角速度センサにより構成され、ヨー方向およびピッチ方向での動きに関する第１の値としての角速度（動き速度）を検出する。マイクロコンピュータ１０２内のブレ補正量演算部１０３は、ヨー方向およびピッチ方向での角速度をそれぞれ積分することでヨー方向およびピッチ方向での角変位量を求め、該各変位量からブレ補正量を取得する。振れ検出センサ１０１は検出信号を、マイクロコンピュータ（μＣＯＭ）１０２に出力する。マイクロコンピュータ１０２は振れ検出信号を取得して信号処理を行う。図１には、マイクロコンピュータ１０２が実行する処理を機能ブロック図で示している。

ブレ補正量は、撮像された画像のブレを打ち消すためにブレ補正機構部１０８を駆動させる量に相当する。具体的には、ブレ補正量演算部１０３は積分器を備えており、振れ検出センサ１０１が出力する角速度信号を積分して角度信号に変換して減算器１０４に出力する。このとき、ヨー方向での角速度とピッチ方向での角速度をそれぞれ積分することで角度信号もヨー方向における角度信号とピッチ方向における角度信号を取得することができる。

減算器１０４は、ブレ補正量演算部１０３の出力から、後述するブレ補正機構部１０８の位置データを減算し、偏差データを取得し、偏差データを制御フィルタ１０５に出力する。制御フィルタ１０５は、減算器１０４から取得した偏差データに対し、増幅器および位相補償フィルタによる信号処理を行う。制御フィルタ１０５は処理済みの信号をシフトレンズ制御部１０６に出力する。

シフトレンズ制御部１０６は制御フィルタ１０５の出力にしたがってモータ１０７を制御することにより、ブレ補正機構部１０８のシフトレンズ（像ブレ補正用の補正レンズ）を駆動制御する。具体的には、シフトレンズ制御部１０６はモータ制御量を、パルス波のデューティー比を変化させるＰＷＭ（パルス幅変調）波形に変調して、モータ１０７を駆動する。モータ１０７は、例えばボイス・コイル型モータである。モータ１０７の駆動により、ブレ補正機構部１０８のシフトレンズが光軸方向と異なる方向（例えば、光軸と直交する方向）に移動する。シフトレンズ制御部１０６は、シフトレンズの移動により、減算器１０４からの偏差データがより０に近づくようにフィードバック制御を行う。

本実施例ではブレ補正機構部１０８の一例として、光軸方向と異なる方向に移動可能なレンズユニットを例示しており、図１ではブレ補正機構部１０８と撮像素子１１０が別ユニットで構成される。このような実施例に限らず、例えば、ブレ補正機構部１０８は、撮像素子１１０が可動ユニット上に配置されて光軸方向と異なる方向に移動可能な構造を有していてもよい。この場合には撮像素子１１０を含む可動ユニットの移動制御により、像ブレ補正が行われる。また、ブレ補正機構部１０８は、いわゆる電子防振を行ってもよい。撮像素子１１０が取得した画像のうち、切り出し範囲の位置を変更することで、像ブレ補正を行うことができる。

位置検出センサ１０９は、磁石および当該磁石に対向する位置に備えられた磁気検出素子（ホール素子）から成る。位置検出センサ１０９はブレ補正機構部１０８の補正レンズの移動量（光軸と垂直な方向への移動量）を検出し、検出信号を減算器１０４に出力する。これによって、ブレ補正量演算部１０３の出力に対して、補正レンズを光軸方向とは異なる方向へ移動させて目標位置に追従させるフィードバック制御系が構成される。つまりブレ補正量に基づいて補正レンズが移動し、撮像装置１００の振れによって生じる画像のブレが補正される。撮像素子１１０の撮像面上には、縦方向または横方向のブレが補正された被写体像が結像される。

撮像素子１１０は、ブレ補正機構部１０８とズームレンズ１２０とを含む撮像光学系によって結像された被写体の光像を光電変換し、撮像信号（画像信号）を出力する。尚、撮像光学系は、撮像装置と一体に設けられていてもよいし、撮像装置に対して交換可能に設けられてもよい（レンズ交換式）。信号処理部１１１は撮像素子１１０から取得した信号を処理する。信号処理部１１１は、例えばＮＴＳＣ（National Television System Committee）フォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１１２と動きベクトル検出部１２５に出力する。信号処理部１１１は、撮像素子１１０からの撮像信号に対して、ＣＤＳ（相関二重サンプリング）、ＡＧＣ（自動利得調整）、Ａ／Ｄ変換、ガンマ補正、ホワイトバランス等の所定の処理を行ってもよい。

メモリ読み出し制御部１１３は、画像メモリ１１２に記憶された画像データの読み出し位置および読み出し範囲を決定する。例えば、電子ズームの実行時にメモリ読み出し制御部１１３は画像の読み出し範囲を大きくし、または小さく設定する。

記録制御部１１４は、メモリ読み出し制御部１１３が画像メモリ１１２から読み出したデータの記録制御を行う。記録制御部１１４は、操作部１３０によってユーザが映像信号の記録操作指示を行った場合、画像メモリ１１２から読み出されたデータを記録媒体１１５に出力して記録する制御を行う。記録媒体１１５は、例えば半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

次にＦＡズーム機能に関する構成を説明する。本実施例のズーム制御装置は、振れ検出センサ１０１とマイクロコンピュータ１０２とで構成することができる。本実施例において、マイクロコンピュータ１０２は、移動量算出部１１６、捕捉判定部１１７、ズーム制御部１１８、電子ズーム制御部１２２、ブレ補正量算出部１０３、減算器１０４、制御フィルタ１０５およびシフトレンズ制御部１０６を含む。

振れ検出センサ１０１は撮像装置１００の振れを検出し、振れ検出信号を被写体移動量算出部（以下、移動量算出部という）１１６に出力する。移動量算出部１１６は被写体像の移動量を算出する。その処理の詳細については後述する。

被写体捕捉判定部（以下、捕捉判定部という）１１７は、移動量算出部１１６から被写体像の移動量を取得して閾値（ズームアウトを行うか否かの判定に用いる閾値であり、第１の閾値ともいう）と比較する。捕捉判定部１１７は、被写体像の移動量が閾値以上であるか否かによって被写体の捕捉状態を判定する。被写体の捕捉状態とは、撮影者が撮像装置で被写体を捉えているか、または被写体を探索しているかのいずれか１つを判定結果とする状態である。移動量算出部１１６により算出される被写体像の移動量は、例えば撮像素子１１０上の被写体像の位置変化を画素単位で示した値である。また、前記閾値は撮像解像度の限界値である。

ズーム制御部１１８は、捕捉判定部１１７の判定結果を取得し、該判定結果に応じてズームアウト用またはズームイン用の駆動信号をズームモータ１１９に出力する。撮像装置１００がズームアウト状態にあり、且つ、捕捉判定部１１７から撮像装置で被写体を捉えている状態であるという判定結果が入力されると、ズーム制御部１１８はズームイン用の駆動信号をズームモータ１１９に出力する。一方、撮像装置がズームイン状態（ＦＡズームが機能していない状態）にあり、且つ、捕捉判定部１１７から被写体を探索している状態であるという判定結果が入力されると、ズーム制御部１１８はズームアウト用の駆動信号をズームモータ１１９に出力する。

撮像装置１００がズームアウト状態にあり、且つ、捕捉判定部１１７から被写体を探索している状態であるという判定結果が入力された場合は撮像画角の変更は行わない。同様に、撮像装置がズームイン状態にあり、且つ捕捉判定部１１７から撮像装置で被写体を捉えている状態であるという判定結果が入力された場合も撮像画角の変更は行わない。

ズームモータ１１９は、例えばステッピングモータであり、ロータの回転により送りねじが回転し、ズームレンズ１２０が光軸方向に移動する。ズーム制御部１１８はズームレンズ１２０を目標位置まで移動させるために必要なパルス数の駆動信号を算出してズームモータ１１９に供給する。ズーム制御部１１８は、ズームレンズ１２０の位置を検出する位置検出センサ１２１により、ズームレンズ１２０が目標位置に到達したことが検出されるまで駆動信号をズームモータ１１９に入力してもよい。以下の説明において、ズーム制御部１１８がＦＡ機能の発動により行うズームアウトをＦＡズームアウトといい、ＦＡズームアウトによってズームアウトしている状態から望遠側に戻すために行うズームインをＦＡズームインという。本実施例において、ＦＡズームアウトは捕捉判定部１１７の判定結果を受けて行うズームアウトである。

ズームレンズ１２０の保持枠には、その位置を検出するために位置スケールが固定されている。不図示のレンズ鏡筒部には、位置スケールと対向する箇所に位置検出センサ１２１が固定されている。位置スケールは光軸方向に磁気パターンまたは光反射パターン等のスケールパターンが形成されている。位置検出センサ１２１は磁気的または光学的に位置スケールを読み取り、ズームレンズ１２０の光軸方向の位置を示す位置検出信号を出力する。位置検出センサ１２１の検出信号はズーム制御部１１８に入力され、ズームレンズ１２０の位置制御に用いられる。一方、位置検出センサ１０９は移動量算出部１１６にも検出信号を供給する。図１にて円形枠内にＡをそれぞれ付して示すＡ端子１２３，１２４は、互いに電気的に接続されていることを示している。

撮像装置１００の動きに対し、シフトレンズ制御部１０６はシフトレンズを制御して画像の動きを抑制する。被写体像の移動量は撮像装置の移動に伴う撮像範囲の移動量からシフトレンズの移動に伴う撮像範囲の移動量を差し引くことで算出される。

撮像装置１００は、電子ズーム機能を備えており、電子ズーム制御部１２２が画像処理によるズーム制御を担当する。電子ズーム機能が有効である場合、ズーム制御部１１８は電子ズーム倍率を算出して電子ズーム制御部１２２に出力する。電子ズーム制御部１２２は電子ズーム倍率に基づいて、メモリ読み出し制御部１１３に画像の読み出し範囲を指示する。また電子ズーム制御部１２２は電子ズーム倍率を移動量算出部１１６に出力する。

電子ズーム制御では、画像の切り出し範囲を変更する処理が実行される。この処理によって切り出された画像が表示される際に拡大される場合、撮像装置１００の動きが同じであっても電子ズーム制御の無効時と比べて撮像画像上での被写体像の移動量は大きくなる。よって、移動量算出部１１６は撮像装置の移動に伴う撮像範囲の移動量を電子ズーム倍率で補正し、補正後の値を被写体像の移動量として算出する。電子ズーム制御の有効または無効の切り替えについては、表示画面上のメニュー設定等によって撮影者が選択できるものとする。

動きベクトル検出部１２５は、信号処理部１１１によって生成された現在の映像信号と、画像メモリ１１２に格納された１フレーム前の映像信号を取得し、映像信号に含まれる輝度信号に基づいて画像内における被写体の動きベクトルを検出する。動きベクトルの検出方法には、例えばブロックマッチング法を用いる。ブロックマッチング法は、撮像された画像をブロックと呼ばれる領域に分割し、例えば１フレーム前の画像と現在の画像との類似箇所をブロック単位で検出する方法である。１フレーム前の画像内の任意の範囲において、現在の画像内の任意ブロックとの相関値が最も大きい位置を類似ブロック位置として検出する処理が実行される。現在の画像内の任意ブロックの位置と１フレーム前の画像内の類似ブロック位置との変位量に基づいて、フレーム画像間の動き情報である動きベクトルが検出される。

なお、動きベクトル検出部１２５にてブロックマッチング法以外の動きベクトル検出方法を用いてもよい。

動きベクトル検出部１２５は、検出した動きベクトルを移動量算出部１１６に出力する。図１にて円形枠内にＢをそれぞれ付して示すＢ端子１２６，１２７は、互いに電気的に接続されていることを示している。なお、ＦＡズームが有効な状態では、被写体像の移動量が大きくなると、ズームアウトが自動的に発動する。一方、ＦＡズームが有効でない撮像状態を撮影者が選択した場合には、被写体像の移動量が大きくなっても自動的にズームアウトが行われることはない。ＦＡズームの有効また無効の切り替えの設定については、撮影者が操作部１３０を操作することで選択することができる。操作部１３０は、操作スイッチ、操作ボタン、タッチパネル等で構成することができ、カメラに対する撮影者の操作、例えばメニュー操作、ズームキー操作、動画撮像開始操作、静止画撮像指示操作を受け付ける。また、操作部１３０は、ＦＡズームアウトを中断させる操作も受け付ける。ズームアウトを中断させる操作として、ＦＡズーム機能が有効でないときにズームインおよびズームアウトを指示するズームキー操作を用いてもよい。

図２（Ａ）〜（Ｃ）を参照して、ＦＡズームの具体例を説明する。図２（Ａ）は、撮影者が移動する主被写体であるボール２０１を捉えようとして撮像装置１００を図中左方向から右方向に動かしている様子を例示する。尚、撮像装置１００は、ボール２０１のほかに、被写体２０２、２０３も捉えている。また、図２（Ａ）において、ボール２０１は移動しており、現在のボール２０１ａを黒丸で、過去のボール２０１ｂを網掛けの丸で示しているものとする。図２（Ｂ）は、このとき撮像される画像（撮像画像）を例示する。図２（Ｃ）は被写体像の移動量の時間的変化を表している。図２（Ｂ）および（Ｃ）に示す時刻ｔ１からｔ３は、「ｔ１＜ｔ２＜ｔ３」の関係である。

時刻ｔ１までの間、撮影者は撮像装置１００を殆ど動かしておらず、被写体像の移動量はゼロ付近となる。時刻ｔ１においてボール２０１が放たれたとき、これを捉えようとして撮影者が撮像装置１００を動かす。このとき、図２（Ｃ）に示すように被写体像の移動量が大きくなり始める。時刻ｔ２で被写体像の移動量は閾値を超える。閾値と被写体像の移動量との関係としては、図２（Ｂ）に示すように撮像装置が移動する主被写体を捉えきれず主被写体が撮像画角から外れそうになったときに該移動量が閾値以上となるように設定されている。捕捉判定部１１７は、被写体像の移動量が閾値以上となった時刻ｔ２において撮影者が被写体を探している探索状態と判定する。ズーム制御部１１８は、この判定結果を受けてズームアウト制御を行う。よって時刻ｔ２の後の時刻ｔ３には撮像画角が広角となる。つまり、撮像画角が広角になった分だけ撮像装置１００の動きに対する撮像画像の動きが小さくなり、撮像装置１００の動き自体も小さくなる。このため、図２（Ｃ）に示すように時刻ｔ２の後に被写体像の移動量はピーク値に到達してから次第に小さくなる。

図３のフローチャートおよび図４から図８を参照して、移動量算出部１１６が行う被写体像の移動量の算出処理について詳細に説明する。マイクロコンピュータとしての被写体移動量算出部１１６は、コンピュータプログラムである被写体移動量算出プログラムに従って該処理を行う。図３および以下の説明においてステップをＳと略記する。
図３のＳ１００で移動量算出部１１６は、撮像装置１００の移動量から被写体像の移動量を算出し、一時的に記憶する。図４（Ａ）、（Ｂ）および図５を用いて具体例を説明する。

図４（Ａ）は撮像装置１００の光軸Ｘが水平軸Ｈに一致している状態での、撮像画角θ、撮像範囲ｄ０および被写体２０２の関係を示す模式図である。図４中、撮像装置の撮像光学系を、模式的に一枚のレンズ２１０で示す。撮像範囲ｄ０は撮像画像の縦方向の範囲に対応する。振れ検出センサ１０１の角速度出力は積分によって角度に換算される。角速度を積分した値を振れにより生じた角度の変位量（以下、振れ角という）である。振れ角は、撮影者によってＦＡズーム機能が有効になったタイミングから積分を開始して取得してもよいし、所定の期間（例えば１秒間）における角速度を積分し、順次更新してもよい。角度に換算された振れ検出センサ１０１の出力（振れ角）をαと表記し、撮像光学系の現在の焦点距離をｆと表記し、被写体像の移動量をｄと表記する。図４（Ｂ）は撮像装置１００が振れ角α振れたときの被写体像の移動量ｄを示す模式図である。撮像装置の光軸Ｘが水平軸Ｈに対して振れ角αで傾いている。このとき、被写体像の移動量ｄは、撮像装置の振れが発生する前（図４（Ａ）の状態）の被写体像の位置Ｐ０と振れが発生した後（図４（Ｂ）の状態）の被写体像の位置Ｐ１との差分である。
移動量ｄは下記式（１）を用いて算出される。
ｄ＝ｆ×ｔａｎα ・・・式（１）
ｔａｎαは振れ角αの正接関数である。ブレ補正機構部１０８の補正レンズの移動によって、撮像画像内における被写体像の位置の移動が抑制されるため、撮像装置１００の振れに比べて撮像画像内の被写体像の移動量は小さい値となる。図５において、補正レンズの移動量による補正量をβ（単位：角度）と表記し、このときの被写体像の移動量をｄ^＊と表記する。被写体像の移動量ｄ^＊は、振れが発生した後（図４（Ｂ）の状態）の被写体像の位置Ｐ１と、発生した振れを補正するために、レンズ２１０がシフトし、ブレが補正された状態（図５の状態）の被写体像の位置Ｐ２との差分である。振れ角α、補正量βの場合、被写体像の移動量ｄ^＊は、下記式（２）により算出される。
ｄ^＊＝ｆ×ｔａｎ（α―β）・・・式（２）
１画素あたりの長さをｕと表記し、その単位を、例えばｍｍ／画素とする。被写体像の移動量ｄ^＊をｕで除算し、ｄ^＊／ｕを計算すれば長さ単位から画素単位に換算できる。被写体像の移動量に関する単位について特に限定はないが、動きベクトルの単位を画素単位とする場合、以下では被写体像の移動量の単位を画素単位とする。なお、撮像装置１００は像ブレ補正を行わない状態にすることも可能であり、この場合には補正量βの値がゼロになるだけである。つまり、上記式（２）で表現できるため、像ブレ補正を行わない状態を含めて説明する。

図３のＳ１０１は、動きベクトル検出部１２５により動きベクトルが検出可能か否かの判定処理である。ＦＡズームは、撮影者の望む主被写体がフレームアウトしないようにするための機能であるため、本実施例では、動きベクトルを検出して実際の撮像画像中での主被写体像の移動量によって被写体の動きを判定する。つまり、動きベクトルが検出可能である場合、基本的には動きベクトルに基づいて判定が行われるため、Ｓ１０２へ処理を進める。また動きベクトルが検出できない場合にはＳ１０４に移行する。動きベクトルが検出できない例としては、コントラストが低い被写体であるために正しい動きベクトルが検出できない場合がある。また１画面内で移動している被写体の数が多いために、特定の被写体に係る動きベクトルを検出できない場合や、１フレーム間での撮像装置の振れ量が大きすぎるために、動きベクトルを検出可能な状態で撮像できない場合がある。

図６および図７を参照して、Ｓ１０２での主被写体２０４（ａ、ｂ）の動きベクトルの算出処理について説明する。図６（Ａ）は撮像装置の動きと主被写体２０４の動きを示している。時刻ｔ１における主被写体を符号２０４ａ、時刻ｔ２における主被写体を符号２０４ｂで示す。時刻ｔ１から時刻ｔ２にかけて主被写体２０４が移動し、撮影者が主被写体２０４を捉えるために撮像装置１００を振れ角αで動かす様子を例示する。図６（Ｂ）は時刻ｔ１での撮像画像を例示し、図６（Ｃ）は時刻ｔ２での撮像画像を例示する。図７（Ａ）は、撮像画像に設定される複数の検出ブロックにおける動きベクトルＶ０１からＶ０５を例示する。図７（Ｂ）は、検出された動きベクトルのヒストグラムを例示する。横軸は動きベクトル値を表し、縦軸は検出された動きベクトルの数（検出ベクトル数）を表す。

動きベクトル検出部１２５の出力には、主被写体２０４の動きベクトルと背景の動きベクトルが混在するため、本実施例では、図７（Ｂ）に例示するヒストグラムを用いて動きベクトルを分類する。動きベクトル検出部１２５は、時刻ｔ１での撮像画像と時刻ｔ２での撮像画像の各データに基づき、検出ブロックごとに動きベクトルＶ０１からＶ０５を算出する。検出された複数の動きベクトルから、図７（Ｂ）に示すヒストグラムを生成する処理が実行される。

図７（Ｂ）では、検出ベクトル数が多い方の第１の動きベクトル２０５と、検出ベクトル数が少ない方の第２の動きベクトル２０６を例示している。撮像装置１００の動き量から算出された被写体像の移動量ｄ^＊と同程度の値となる動きベクトルは、カメラ移動による画像の動き、すなわち背景の動きベクトルであると判断できる。図７（Ｂ）の例では検出ベクトル数が多い方の第１の動きベクトル２０５の動きベクトル値が動き被写体像の移動量ｄ^＊と近い値を有しているため、背景の動きベクトルであるとみなす。よって、主被写体２０４の動きベクトルは、すべての動きベクトルから、背景の動きベクトルと判断された動きベクトル（第１の動きベクトル２０５）を除外し、残った動きベクトルのうちで、最も検出ベクトル数の多い動きベクトルとして決定される。図７（Ｂ）の例では第２の動きベクトル２０６の動きベクトル値が主被写体２０４の動きベクトル値であるとみなされる。検出された主被写体２０４の動きベクトルの大きさをｖと表記する。

図３のＳ１０３で移動量算出部１１６は、Ｓ１０２で算出した主被写体の動きベクトルの大きさｖを被写体像の移動量として置き換え、処理を終了する。つまり、動きベクトルを検出可能な場合は、Ｓ１００で記憶した被写体像移動量を主被写体の動きベクトルに更新する。一方、Ｓ１０１で動きベクトルを検出できない（Ｎｏ）と判定された場合は主被写体の動きベクトルｖで被写体像の移動量を更新することができないため、Ｓ１００で取得した被写体像移動量または、該被写体像移動量を電子ズーム倍率で補正した補正値を最終的な被写体像の移動量とする。そのために、Ｓ１０４では、移動量算出部１１６は、電子ズームの制御が実行されているか否かを判定する。電子ズームの制御が実行されている場合、Ｓ１０５へ処理を進め、電子ズームの制御が実行されていない場合には、Ｓ１００で算出された被写体像の移動量ｄ^＊が、最終的な被写体像の移動量として決定された後、処理を終了する。

Ｓ１０５で移動量算出部１１６は、Ｓ１００で算出された被写体像の移動量ｄ^＊を、電子ズーム倍率で補正する。補正後の移動量（ｅと記す）は、下記式（３）により算出される。
ｅ＝ｄ^＊×電子ズーム倍率・・・式（３）
図８（Ａ）〜（Ｃ）を参照して、Ｓ１０５の処理を説明する。図８（Ａ）は、時刻ｔ１から時刻ｔ２にかけて主被写体２０７が移動し、撮影者が主被写体２０７を捉えるために撮像装置１００を振れ角αで動かす様子を例示する。撮像装置の動き量に対する撮像画像上での被写体像の移動量をｄとする（β＝０の場合であり、βがゼロでない場合にはｄ^＊である）。被写体像の移動量ｄは、時刻ｔ１における被写体位置と時刻ｔ２における被写体位置との差分である。図８（Ｂ）は電子ズームの制御が行われない場合に撮像される画像を例示し、図８（Ｃ）は電子ズームの制御が行われる場合に撮像される画像を例示する。

図８（Ａ）に示す撮像状況にて、電子ズームの制御が行われない場合には、図８（Ｂ）に示す撮像画像内での被写体像の移動量はｄである。これに対し、電子ズームの制御が行われる場合には、電子ズームによる画像の拡大または縮小の処理が実行される。よって図８（Ｃ）に示すように撮像画像内での被写体像の移動量はｅである。すなわち、電子ズームの制御が行われるときは、撮像装置１００の動きが同じでも撮像された画像内での被写体像の位置変化量は、電子ズーム倍率に応じて変化する。Ｓ１０５で移動量算出部１１６は、電子ズーム倍率を用いて補正した被写体像の移動量ｅを、被写体像の移動量として決定し、処理を終了する。上記式（３）に用いた補正により、動きベクトルを取得できない場合であっても、電子ズームを考慮して撮像装置１００の移動量から被写体像の移動量を算出することができる。

本実施例によれば、撮像された画像内での被写体像の移動量に基づく判定により、撮像状況に応じて適切なタイミングでズーミング支援制御を行うことができる。

次に本発明の実施例２を説明する。本実施例も、実施例１と同様に、撮像画像中での被写体像の移動量に基づいてズーム制御を行うズーム制御装置を備える撮像装置について説明をする。本実施例のズーム制御装置は、マイクロコンピュータ２０２が閾値取得部２２８を備え、閾値取得部２２８により取得された閾値を用いて被写体捕捉判定部２１７が被写体を捕捉しているか否かを判定する点が実施例１と異なる。

図９は、本実施例のＦＡズーム機能を備える撮像装置２００を例示する。なお、本実施例に係る撮像装置２００において、実施例１に係る撮像装置１００と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。

上述のように、撮像装置２００にてマイクロコンピュータ（μＣＯＭ）２０２は、閾値取得部２２８を備える。移動量算出部２１６は、振れ検出センサ１０１の出力に基づいて被写体像の移動量を算出する。具体的には、振れ検出センサ１０１の角速度出力を積分して取得した振れ角度から、ブレ補正機構部１０８に係るブレ補正量を角度に換算した値を減算することで、角度を単位として、被写体像の移動量（ｄ２と記す）が算出される。第１実施例における被写体像の移動量ｄ^＊の単位は画素であったが、算出方法の基本的な考えは同じである。本実施例では、被写体像の移動量を、（画素を単位とする）長さで取得する代わりに、角度で取得する点が実施例１と異なる。但し、本実施例においても、実施例１と同様に、被写体像の移動量を画素を単位として取得してもよいし、実施例１において被写体像の移動量を、角度を単位として取得してもよい。被写体像の移動量ｄ２は被写体捕捉判定部２１７に入力される。

被写体捕捉判定部２１７は、被写体像の移動量ｄ２と、動きベクトル検出部１２５が検出した動きベクトル（Ｂ端子１２６，１２７参照）に基づいて被写体の捕捉状態を判定する。実施例１の場合と同様に動きベクトルによる判定処理では、主被写体の動きベクトルに基づいて捕捉状態が判定されるが、閾値は閾値取得部２２８がズーム制御部２１８からの情報に基づいて算出する点が実施例１と異なる。閾値取得部２２８が取得する閾値は、被写体像の移動量ｄ２に関する被写体の捕捉状態を判定するための閾値である。図１０を参照して具体例を説明する。

図１０（Ａ）は、電子ズーム制御の有無に応じた、焦点距離に対する閾値を例示する。横軸は撮像光学系の焦点距離を表し、縦軸は閾値を表す。この例では横軸に焦点距離を示すが、カメラから被写体までの距離に置き換えてもよい。電子ズーム制御部２２２により電子ズーム制御が行われない場合（ＯＦＦ）の閾値をＴＨ１と表記し、点線のグラフで示す。また電子ズーム制御部２２２により電子ズーム制御が行われる場合（ＯＮ）の閾値をＴＨ２と表記し、実線のグラフで示す。望遠側では広角側より小さい撮像装置の動き量でズームアウトが発動するように、焦点距離に応じて判定閾値を変更する処理が行われる。

また図１０（Ａ）では、同一の焦点距離に対して、「ＴＨ２＜ＴＨ１」である。電子ズーム制御が実行されている場合（電子ズーム倍率が１より大きい場合）には、同じ撮像装置の動き量でも電子ズーム制御を実行していない場合（電子ズーム倍率が１の場合）と比べて、撮像された画像上の被写体像の移動量が大きくなる。このため、電子ズーム倍率が１より大きい場合は電子ズーム倍率が１のときよりも閾値を小さく設定することにより、ズームアウトが発動しやすくなる。具体的には下記式（４）で示すように、閾値ＴＨ１を電子ズーム倍率で除算した値が、閾値ＴＨ２として設定される。
ＴＨ２＝ＴＨ１／電子ズーム倍率・・・式（４）
ＴＨ２は電子ズーム倍率毎に設定しておき、閾値取得部２２８を構成する記憶部に記憶されている情報を読み出すことで取得してもよいし、該記憶部が記憶しているＴＨ１と電子ズーム倍率とから算出してもよい。

電子ズーム制御が行われる場合、被写体像の移動量ｄ２が閾値ＴＨ２以上となったときにズームアウトが発動する。尚、閾値ＴＨ１、ＴＨ２は、ＦＡズームアウトを行うか否かの判定に用いられる第１の閾値である。その後、被写体像の移動量ｄ２が捕捉用の閾値ＴＨ３を下回ったときにズームイン制御が開始されて、元の望遠側の焦点距離に戻す処理が行われる。捕捉用の閾値とは、被写体像が撮像画像内に収まり被写体を捉えている状態であると判定するための閾値であり、被写体像の移動量ｄ２が捕捉用の閾値未満のとき、被写体像が撮像画像内に収まり被写体を捉えている状態であると判定する。

言い換えると、捕捉用の閾値は、ＦＡズームインを行うか否かを判定する閾値であり、第２の閾値ともいう。図１０（Ｂ）は電子ズーム制御が行われる場合の、閾値の制限について説明する図である。横軸は撮像光学系の焦点距離（またはカメラから被写体までの距離）を表し、縦軸は閾値を表す。

同一の焦点距離において「ＴＨ３＜ＴＨ２」であり、ｄｉｆｆはＴＨ２とＴＨ３との差分を示す。なお、ＴＨ３についても、電子ズーム制御が行われる場合と電子ズーム制御が行われない場合とで値が変わる。電子ズーム制御の非実行時における捕捉用判定閾値に関しては説明を省略する。

ＴＨ２を電子ズーム倍率分だけ小さくした場合、ＴＨ３との差分ｄｉｆｆが小さくなる。差分ｄｉｆｆが小さすぎるときには、ＦＡズームの動作に関して以下の問題がある。被写体像の移動量ｄ２がＴＨ２を少し超えてズームアウトが発動した場合、その直後に移動量ｄ２が少し小さくなっただけでＴＨ３を下回りズームインが開始する。すなわち、ズームアウトとズームインとが頻繁に発生するハンチング現象によって、映像が見づらくなってしまう可能性がある。そこで本実施例では、焦点距離が変化しても、差分ｄｉｆｆが所定値（下限値）より小さくならないようにＴＨ２に制限を設けている。所定値とは、具体的には撮影者が撮像装置１００を動かさないように定点撮像を行ったときの動き量に相当する値である。その理由は、手振れによる影響だけで移動量ｄ２が第１の閾値ＴＨ２以上となる状態や第２の閾値ＴＨ３を下回る状態とならないようにするためである。

本実施例では、被写体の捕捉状態を判定するための判定閾値を変更する処理が行われる。本実施例によれば、撮像された画像における被写体像の移動量と変更後の判定閾値との比較結果に基づいてズーミング支援制御を行うことができる。

尚、本実施例では、閾値を電子ズームに応じて変更したが、捕捉判定部２１７が主被写体動きベクトルの大きさｖを電子ズーム倍率で補正してから閾値と比較しても同様の効果を得ることができる。また、本実施例では、閾値を焦点距離（光学ズーム倍率）と電子ズーム倍率とに応じて変更したが、焦点距離又は電子ズーム倍率のみに応じて閾値を変更してもよい。焦点距離と電子ズーム倍率との両方に応じて閾値を変更する方が、いずれか一方のみに応じて閾値を変更するよりも、撮影者の意図に沿ったズーム制御を行うことができると考えられる。一方、いずれか一方のみに応じて変更すると、記憶するデータ量や演算量を軽減することができる。

本発明の実施例３では、撮像装置が大きな動きをしたときにＦＡズームアウトを行うズーム制御装置を備える撮像装置について説明をする。検出した撮像装置の動きに基づいてＦＡズームアウトを行う場合、撮影者による被写体を探す動作（パンニング）による撮像装置の動きと、手振れによる撮像装置の動きとを見分け、パンニングによって撮像装置が動いた場合にズームアウトを行うことが好ましい。

本実施例では、撮像装置の動きに関する値（速度、加速度）である第１の値と、移動量である第２の値とを用い、加速度を用いて振れ角の取得基準となる位置を設定することにより、手振れによる撮像装置の小さな動きと、パンニングによる撮像装置の大きな動きとを見分ける。尚、速度とは角速度を含み、加速度とは角加速度を含み、移動量とは振れ角を含むものとする。本実施例では、角速度を検出する振れ検出センサを用いて第１の値として角速度を取得し、角速度を積分することで第２の値として振れ角を取得する。

図１１は、本実施例のＦＡズーム機能を備える撮像装置３００を例示する。なお、本実施例に係る撮像装置３００において、実施例１に係る撮像装置１００と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。

本実施例の撮像装置３００のマイクロコンピュータ１０２は、動き判定部１２８と閾値取得部１２９として機能する。動き判定部１２８と閾値取得部１２９とにより、ＦＡズーム機能によるズームアウトを行うか否かが決定される。動き判定部１２８は、振れ検出センサ１０１の出力から得られる角速度と該角速度を積分して得られる振れ角αとを用いて、撮影者が被写体を探すように撮像装置３００の向きを変更する操作（パンニング）を行っているか否かを判定する。パンニングは、カメラの水平方向での向きが変わるように動かす操作である。ただし、水平方向だけでなく、垂直方向に動かす操作（チルティング）も広義のパンニングに含められることも多く、本発明および本明細書では、単にパンニングというときは、チルティングも含まれるものとする。

一般に被写体を見失った撮影者は被写体を探すためにカメラを大きく動かす。よって、動き判定部１２８は、カメラの角速度および角変位量が所定の閾値（後述する角速度閾値と角変位閾値の少なくともいずれか）以上の場合は撮影者が被写体を探すためにカメラを動かしているものと判定する。逆に、撮影者が安定的に被写体を捉えられている場合はカメラの動きは小さくなる。このため、カメラの角速度および角変位量がいずれかが動き判定閾値より小さい場合、動き判定部１２８は、撮影者は被写体を探していない、すなわち撮像画面内に被写体を捉えていると判定する。閾値は、閾値取得部１２９で算出される。角速度および振れ角αと閾値との関係については後で詳細に説明する。角速度を検出する振れセンサ１０１および閾値取得部１２９から閾値を取得する動き判定部１２８により動き検出手段が構成される。

ズーム制御部１１８は、動き判定部１２８の判定結果を受けてＦＡズームアウトやＦＡズームインを行うための駆動信号をズームモータ１１９に与える。ズーム制御部１１６および動き判定部１２８により、画角変更手段が構成される。振れ検出センサ１０１、動き判定部１２８およびズーム制御部１１８によりズーム制御装置が構成される。

閾値取得部１２９は、ズーム制御部１１８から得られる現在の焦点距離（ズーム位置）に基づいて閾値を取得する。実施例２と同様に、望遠側の閾値は広角側の閾値よりも小さく設定される。本実施例では、電子ズームについて考慮しないため、閾値は焦点距離に応じて決定される（実施例２のＴＨ１を用いる）。しかしながら、電子ズーム制御中にもＦＡズームアウトが発動するズーム制御装置の場合は、実施例２のように電子ズーム倍率と焦点距離とに応じて設定される閾値（ＴＨ２）を用いることが好ましい。

次に、撮像装置３００の角速度および振れ角とＦＡズームアウトを発動するか否かを判定するための閾値との関係について説明する。図１２および図１３（Ａ），（Ｂ）には、撮像画面内（画角内）に被写体を捉えている状態から、動く主被写体を追ってパンニングが行われている間のカメラの角速度と振れ角の例を示している。各図には、角速度に対する閾値（以下、第３の閾値又は角速度閾値ともいう）と検出される角速度および振れ角に対する閾値（以下、第４の閾値又は振れ角閾値ともいう）と取得される振れ角との関係を示す。

図１２は、撮像画面内で被写体を捉えている時点（図中の左端の時点）から角速度を積分することで振れ角を取得する比較例における、角速度と振れ角αとの変化の一例を示す図である。

図１２において、パンニング前に撮像画面内に被写体を捉えている間は、振れ角の変化が小さく、角速度が一時的に大きくなり、検出された角速度が角速度閾値以上となったとき（図１２中、Ａの時点）でも振れ角が振れ角閾値未満であり、ＦＡズームアウトは行われない。その後、被写体に追従するようにゆっくりとしたパンニングが行われると、振れ角が一方向（図１２の場合は正方向）に大きくなっていき、やがて振れ角αが振れ角閾値以上になる。この状態で、角速度が一時的に大きくなって角速度閾値以上となると（図１２中、Ｂの時点）、被写体を撮像画面中に捉えているにもかかわらず、ＦＡズームアウトが行われる。

これに対して本実施例では、図１３（Ａ）に示すように、パンニング前に撮像画面内に被写体を捉えている間において角速度が角速度閾値より遅いときは振れ角を０にリセットし、角速度が角速度閾値以上となった時点（図１３中、Ｃの時点）から角速度の積分を開始し、振れ角αを取得する。そして、再び角速度が角速度閾値よりも小さくなることに応じて振れ角を０にリセットする。このことは、その後のゆっくりとしたパンニングを行っている間も同じである。ゆっくりとしたパンニング中は角速度が角速度閾値以上となる時間が短時間であるため、振れ角が振れ角閾値より大きくなる前に０にリセットされる。したがって、ゆっくりとしたパンニングにより被写体に追従することができているときはＦＡズームアウトが行われないようにすることができる。

一方、本実施例を示す図１３（Ｂ）では、図１３（Ａ）と同様にパンニング前に撮像画面内に被写体を捉えている状態から、見失った被写体を探すために急なパンニングが行われることで、角速度が角速度閾値以上となり、かつその状態が継続する。この結果、被写体を探し始めた時点から角速度の積分を開始して振れ角が取得され、図１３（Ｂ）中のＥの時点で、振れ角が振れ角閾値以上となる。この場合は、ＦＡズームアウトが行われる。このように本実施例では、振れ角を取得するための、角速度の積分を開始するタイミングを、角速度が角速度閾値以上となった時点とする。これにより、ゆっくりとしたパンニングが行われているときにはＦＡズームアウトが行われず、急なパンニングが行われたときにはＦＡズームアウトが行われるようにすることができる。

図１４のフローチャートには、マイクロコンピュータ１０２が行うＦＡズーム制御（画角制御）の処理を示している。マイクロコンピュータ１０２は、コンピュータプログラムであるＦＡズーム制御プログラムに従って本処理を行う。

ステップＳ２００では、ズーム制御部１１８は、現在のズーム位置を基準ズーム位置ｆ０として保持する。この基準ズーム位置ｆ０は、ＦＡズームアウトを行った後にＦＡズームインを行う際の目標ズーム位置である。

次にステップＳ２０１では、ズーム制御部１１８は、ＦＡズームアウトを行う際の目標ズーム位置（以下、目標ズームアウト位置という）ｆ１を算出する。例えば、ＦＡズームアウトでのズームアウト量が焦点距離換算で１／ｎ倍と設定されている場合には、目標ズームアウト位置ｆ１はｆ０／ｎとなる。なお、目標ズームアウト位置を算出するための値ｎは、あらかじめ定められた固定値でもよいし、撮影者がメニュー操作等を通じて設定できる値であってもよい。また、ズームアウト量はステップ数で設定されていてもよい。この場合、ＦＡズームアウトにより、ズームレンズが広角側にｍステップ分移動する。値ｍもあらかじめ定められた固定値でもよいし、撮影者が設定できる値であってもよい。

次にステップＳ２０２では、動き判定部１２８が、角速度が角速度閾値以上か否かを判定する。角速度が角速度閾値以上である場合はステップＳ２０４に進み、そうでなければステップＳ２０３に進む。

ステップＳ２０３では、振れ角を０にリセットし、今回のルーチンを終了してステップＳ２００に戻る。尚、実施例１においては振れ角の取得（加速度の積分）はブレ補正量算出部１０３が行ったが、本実施例では、ブレ補正に用いる振れ角の基準位置とＦＡズーム機能に用いる振れ角の基準位置とが異なるため、ＦＡズーム機能に用いる振れ角は動き判定部１２８で取得するが、これに限定されない。尚、本実施例において、ブレ補正に用いる振れ角の基準位置は、ブレ補正機能がＯＮになった時点における光軸Ｘの位置である。

一方、ステップＳ２０４では、ズーム制御部１１８は、振れ角を算出する。具体的には、振れ検出センサ１０１から得られた角速度を積分して振れ角を算出する。更に、前回のルーチンのステップＳ２０４で振れ角を算出している場合は、前回算出した振れ角と今回算出した振れ角とを積算する。これにより、角速度が角速度閾値以上となった時点での光軸の位置を基準位置とする振れ角（角速度が角速度閾値以上となった時点を開始点とする角速度の積分値）を算出することができる。前回のルーチンで振れ角を算出した場合は前回の振れ角と今回の振れ角の積算値を、前回のルーチンではステップＳ２０２からＳ２０３へ進み、振れ角を算出していない場合は今回の積分結果である振れ角を、本ステップで算出した振れ角とする。そして、ステップＳ２０５に進む。

ステップＳ２０５では、動き判定部１２８が、振れ角（積算値）が振れ角閾値以上（振れ角閾値と等しい又はそれよりも大きい）か否か、すなわち撮影者が被写体を探すように急なパンニングが行われているか否かを判定する。ズーム制御部１１８は、振れ角が振れ角閾値以上である場合はステップＳ２０６に進み、振れ角が振れ角閾値よりも小さい場合は撮像画面内に被写体を捉えられているものとしてＦＡズームアウトを行わずにステップＳ２００に戻る。

ステップＳ２０６では、ズーム制御部１１８は、ステップＳ２０１で算出した目標ズームアウト位置ｆ１に向けてＦＡズームアウトを行う。

そしてステップＳ２０７では、ズーム制御部１１８は、現在のズーム位置が目標ズームアウト位置ｆ１に到達したか否かを判定する。目標ズームアウト位置ｆ１に到達していない場合はステップＳ２０６に戻ってＦＡズームアウトを続行する。目標ズームアウト位置ｆ１に到達した場合は、ステップＳ２０８に進む。

ステップＳ２０８では、ズーム制御部１１８は、動き判定部１２８に、撮像画面内に被写体を捉えているか被写体を探すように急なパンニングが行われているかを判定させる。ズーム制御部１１８は、撮像画面内に被写体を捉えている場合はステップＳ２０９に進み、被写体を探すようにパンニングが行われている場合はズーム位置をｆ１に保持したまま本ステップを繰り返す。

ステップＳ２０９では、ズーム制御部１１８は、ステップＳ２００で保持した基準ズーム位置ｆ０に向けてＦＡズームインを行う。

そしてステップＳ２１０では、ズーム制御部１１８は、現在のズーム位置が基準ズーム位置ｆ０に到達したか否かを判定し、基準ズーム位置に到達していない場合はＦＡズームインを続行する。一方、基準ズーム位置ｆ０に到達した場合は今回のルーチンを終了してステップＳ２００に戻る。

なお、ＦＡズームインが終了した後、ズーム制御部１１８は目標ズームアウト位置を算出するための値ｎ（またはｍ）を変更してもよい。また、撮影者がズームキー操作を通じて撮像画角を変更しない場合は、基準ズーム位置ｆ０と目標ズームアウト位置ｆ１を保持しておき、次のルーチンをステップＳ２０２から開始してもよい。

以上説明したように、本実施例によれば、角速度が角速度閾値以上となった時点からの角速度の積分値を振れ角とし、角速度が角速度閾値未満となった時点で振れ角をリセットする。そして、該振れ角が振れ角閾値以上になった場合にＦＡズームアウトを行う。これにより、撮像画像内に被写体を捉えながらゆっくりカメラが動かされる際にＦＡズームアウトが行われることなく、撮像画像から外れた被写体を探すようにカメラが速く且つ大きく動かされる場合にＦＡズームアウトが行われるようにすることができる。

上述の実施例では、振れ角の基準値を０としたが、本実施例の変形例として、角速度が角速度閾値未満のときの一定期間の振れ角を基準値とする例があげられる。

図１５には、振れ角基準値を示している。本実施例では、角速度が角速度閾値より遅い間の所定期間（基準値算出期間）において振れ角の平均値を算出し、これを振れ角基準値とする。そして、角速度が角速度閾値以上となった状態で振れ角基準値からの振れ角を算出し、該振れ角が振れ角閾値より大きくなったときにＦＡズームアウトを行う。振れ角基準値からの振れ角は、上述の実施例のように基準値を０とした振れ角と振れ角基準値との差分を取ることでも取得できる。基準値算出期間は、適宜設定することができ、例えば１秒間等に設定すればよい。

パンニングすることなく撮像画面内に被写体を捉えている間（および図示はしないがゆっくりとしたパンニングを行いながら撮像画面内に被写体を捉えている間）は、角速度が角速度閾値以上になる時間は短時間である。このため、角速度が角速度閾値より遅くなるごとに振れ角がそれまでの振れ角と平均化され、平均化された振れ角が振れ角閾値以上になることはない。したがって、ゆっくりとしたパンニングによって被写体に追従できている状態でＦＡズームアウトが行われないようにすることができる。

一方、図１５に示すように、見失った被写体を探すために急なパンニングが行われることで、角速度が角速度閾値より速くなり、かつその状態が継続する。この結果、振れ角基準値を基準とする振れ角が振れ角閾値以上となる（Ｅ′）。この場合は、ＦＡズームアウトが行われる。このように、振れ角基準値算出期間における振れ角の平均値を基準値とする振れ角を用いても、ゆっくりとしたパンニングが行われたときにはＦＡズームアウトが行われず、急なパンニングが行われたときにはＦＡズームアウトを行うことができる。

加えて、基準値算出期間での振れ角の平均値を振れ角基準値とすると、パンニング動作がされる前の一定の停止期間の平均的な振れ角を基準値とすることができるため、パンニングに伴う振れ角の変位をより精度良く判定することができる。

なお、本実施例では、角速度と振れ角とを用いて動き判定をおこなったが、角速度の代わりに角加速度を用いることもできる。また、振れ検出センサを用いる代わりに、動画撮像により得られる連続した複数のフレーム画像から動きベクトルを検出し、動きベクトルから角速度（角加速度）および振れ角を取得してもよいし、動きベクトルから主被写体像の速度、加速度および移動量を取得してもよい。動きベクトルを用いる場合も、ゆっくりしたパンニング中にＦＡズームアウトが行われないようにするために、動きベクトルの大きさが所定値未満となったときに、主被写体像の移動量をリセットすることが好ましい。

本発明の実施例４は、実施例１に実施例３を組み合わせた形態であり、図３に示すフローチャートのステップＳ１０１において、動きベクトルが検出できないと判定された場合の被写体像移動量の取得方法が実施例１と異なる。本実施例では、ステップＳ１０１において、動きベクトルが検出できないと判定されると、実施例３のように角速度が角速度閾値以上となった時点を積分の開始点として振れ角を取得し、取得した振れ角を式２中のαとして被写体像の移動量ｄ^＊を取得する。このとき、実施例３と同様に、角速度が角速度閾値未満となったときには振れ角度を０（または、算出した振れ角基準値）にリセットする。電子ズーム実行中（電子ズーム倍率≠１のとき）は、電子ズーム倍率で補正する点は実施例１と同様である。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。すなわち、撮像装置は必ずしも１台のメカニズムで構成されていなくともよい。例えばレンズ交換式のカメラへの適用においては、カメラ本体部に装着可能なレンズ装置内にマイクロコンピュータ、振れ検出センサ、ブレ補正機構部、ズームレンズを含む構成も本発明の技術的範囲に含まれる。また、主被写体像の移動量に関して動きベクトルを用いる検出例を説明した。これに限らず、例えば被写体認識、顔位置検出等を用いて主被写体像の移動量を算出する形態でも実現可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，２００ 撮像装置
１０１ 振れ検出センサ
１０３ ブレ補正量演算部
１０８ ブレ補正機構部
１１６，２１６ 移動量算出部
１１７，２１７ 捕捉判定部
１１８，２１８ ズーム制御部
１２２，２２２ 電子ズーム制御部
１２５ 動きベクトル検出部
１２９， ２２８ 閾値取得部

Claims (16)

1. 画角を制御するズーム制御装置であって、
   主被写体の撮像に用いられる撮像光学系の動き量を取得する取得手段と、
   画像のブレを補正する像ブレ補正手段を制御する像ブレ補正制御手段と、
   前記像ブレ補正手段による補正量と前記取得手段により取得された前記動き量との差分に基づいて、撮像された画像における主被写体像の移動量を算出する算出手段と、
   前記主被写体像の移動量が第１の閾値以上か否かを判定する判定手段と、
   前記主被写体像の移動量が前記第１の閾値以上の場合に、前記画角を、前記主被写体像の移動量が前記第１の閾値より小さい場合の画角よりも広くさせる制御を行う制御手段とを有することを特徴とするズーム制御装置。
2. 画像処理によって電子ズーム倍率を変更する電子ズーム制御手段を有し、
   前記算出手段は、前記電子ズーム制御手段により前記電子ズーム倍率が変更される場合に、前記主被写体像の移動量を前記電子ズーム倍率を用いて補正し、補正後の値を前記移動量として算出することを特徴とする請求項１に記載のズーム制御装置。
3. 異なる時刻に撮像された画像から動きベクトルを検出する検出手段を有し、
   前記算出手段は、前記検出手段により前記主被写体像の動きベクトルが検出された場合に、前記動きベクトルに基づいて前記主被写体像の移動量を算出し、前記検出手段により前記動きベクトルが検出されない場合には、前記補正量と前記動き量との差分に基づいて前記主被写体像の移動量を算出することを特徴とする請求項１又は２に記載のズーム制御装置。
4. 前記第１の閾値は、前記撮像光学系の焦点距離と前記主被写体までの距離のうち少なくとも１つに応じて異なることを特徴とする請求項１から３のいずれか一項に記載のズーム制御装置。
5. 前記撮像光学系の焦点距離または被写体までの距離が大きい場合の前記第１の閾値は、前記撮像光学系の焦点距離または被写体までの距離が小さい場合の前記第１の閾値よりも小さいことを特徴とする請求項４に記載のズーム制御装置。
6. 画像処理によって電子ズーム倍率を変更する電子ズーム制御手段を有し、
   前記第１の閾値は、前記電子ズーム倍率に応じて異なることを特徴とする請求項４に記載のズーム制御装置。
7. 前記制御手段は、前記被写体像の移動量が前記第１の閾値以上の場合に前記画角を広くするズームアウト制御を行い、前記ズームアウト制御が行われている間に前記被写体像の移動量が第２の閾値よりも小さくなった場合に前記画角を狭くするズームイン制御を行うことを特徴とする請求項１から６のいずれか一項に記載のズーム制御装置。
8. 少なくとも前記撮像光学系の焦点距離と前記主被写体までの距離との何れかに応じて異なる前記第１および第２の閾値を取得する閾値取得手段と、
   画像処理によって電子ズーム倍率を変更する電子ズーム制御手段とを有し、
   前記電子ズーム倍率が１より大きい場合は、前記閾値取得手段により取得される前記第１の閾値と前記第２の閾値との差分が予め設定された値以上であることを特徴とする請求項７に記載のズーム制御装置。
9. 前記取得手段は、前記撮像光学系の動きの速度と加速度のうち少なくとも１つを前記撮像光学系の動きに関する第１の値として取得し、
   前記算出手段は、前記第１の値が第３の閾値以上となった時点からの、前記撮像光学系の動きの移動量に関する値である第２の値を取得し、
   前記第２の値と前記補正量との差分に基づいて前記主被写体像の移動量を取得することを特徴とする請求項１から８のいずれか１項に記載のズーム制御装置。
10. 前記算出手段は、前記第１の値が前記第３の閾値未満となった時点で前記第２の値をリセットし、再度、前記第１の値が前記第３の閾値以上となった時点を基準として前記第２の値を再取得することを特徴とする請求項９に記載のズーム制御装置。
11. 異なる時刻に撮像された画像から動きベクトルを検出する検出手段を有し、
    前記算出手段は、前記検出手段により前記主被写体の動きベクトルが検出された場合に、前記主被写体の動きベクトルに基づいて前記主被写体像の移動量を算出し、前記検出手段により前記主被写体の動きベクトルが検出されない場合には、前記補正量と前記第２の値との差分に基づいて前記主被写体像の移動量を算出することを特徴とする請求項９又は１０に記載のズーム制御装置。
12. 前記制御手段は、前記第１の値が前記第３の閾値以下の間の所定期間における前記第２の値の平均値を基準値として、前記第１の値が前記第３の閾値以上となった時点から前記第２の値を取得することを特徴とする請求項９から１１のいずれか一項に記載のズーム制御装置。
13. 前記第１の値が角速度または角加速度であり、前記第２の値が振れ角であることを特徴とする請求項９から１２のいずれか一項に記載のズーム制御装置。
14. 請求項１から１３のいずれか一項に記載のズーム制御装置と、
    前記画角で撮像を行う撮像素子とを有することを特徴とする撮像装置。
15. 前記ズーム制御装置により前記画角が変更される撮像光学系を有することを特徴とする請求項１４に記載の撮像装置。
16. 画角を制御するズーム制御装置において実行されるズーム制御方法であって、
    主被写体の撮像に用いられる撮像光学系の動き量を取得する工程と、
    画像のブレを補正する工程と、
    前記画像のブレを補正する工程による像ブレの補正量と、前記動き量を取得する工程により取得された前記動き量との差分に基づいて、前記撮像された画像における主被写体像の移動量を算出する工程と、
    前記主被写体像の移動量が第１の閾値より大きいか否かを判定する工程と、
    前記主被写体像の移動量が前記第１の閾値より大きい場合に、前記画角を、前記主被写体像の移動量が前記第１の閾値より小さい場合の画角よりも広くさせる制御を行う工程と
    を有することを特徴とするズーム制御方法。