JP5403111B2

JP5403111B2 - 画像追尾装置

Info

Publication number: JP5403111B2
Application number: JP2012132352A
Authority: JP
Inventors: 慶子村松
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2014-01-29
Anticipated expiration: 2027-04-18
Also published as: JP2012208507A

Description

本発明は画像追尾装置、画像追尾方法および撮像装置に関する。

ピントを合わせる対象の画像を基準画像（テンプレート画像）として記憶しておき、撮影画像の中からその基準画像に合致する画像をテンプレートマッチング処理により検出し、検出位置に焦点検出エリアを移動させて対象を追尾する画像追尾装置が知られている（例えば、特許文献１参照）。
この装置では、パターンマッチング処理による検出位置に焦点検出エリアを移動させるたびに、その検出位置における対象の画像で基準画像を更新し、対象の画像が変化する場合でも当初の対象を正確に追尾できるようにしている。
この出願の発明に関連する先行技術文献としては次のものがある。

特開２００６−０５８４３１号公報

ところで、例えばサッカーのようなスポーツ撮影では、常にボールを保持する選手を追い続けたい場合がある。しかしながら、上述した従来の画像追尾装置では、ボールを保持する選手が変わるたびに追尾対象の選手を指定する操作を行わなければならず、操作が煩雑になって常にボールを保持する選手を追尾するような撮影には適さないという問題がある。

請求項１の発明による画像追尾装置は、光学系による画面内の画像情報を繰り返し取得する撮像部と、複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、前記複数の焦点検出エリアから前記焦点調節制御部による焦点調節制御に用いられる決定焦点検出エリアを決定する決定部と、前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部と、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも小さいか否かを判断する第２判断部とを含み、前記決定部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第１焦点検出エリアを決定し、前記第２判断部により前記差異が前記第２閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第２焦点検出エリアを決定し、前記制御部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された後に取得された前記第１焦点検出エリアの位置に対応する領域の画像情報を、前記記憶部に記憶された前記基準情報に置き換え、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記記憶部に記憶された前記基準情報を、前記第２焦点検出エリアの位置に対応する領域の画像情報と、前記記憶部に記憶された前記基準情報とを用いて生成した基準情報に置き換えることを特徴とする。
請求項６の発明による画像追尾装置は、光学系による画面内の画像情報を繰り返し取得する撮像部と、複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、前記複数の焦点検出エリアから前記焦点調節制御部による焦点調節制御に用いられる決定焦点検出エリアを決定する決定部と、前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部と、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも小さいか否かを判断する第２判断部とを含み、前記決定部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第１焦点検出エリアを決定し、前記第２判断部により前記差異が前記第２閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第２焦点検出エリアを決定することを特徴とする。
請求項７の発明による画像追尾装置は、光学系による画面内の画像情報を繰り返し取得する撮像部と、複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部とを含み、前記制御部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された後に取得された前記第１焦点検出エリアの位置に対応する領域の画像情報を、前記記憶部に記憶された前記基準情報に置き換え、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記記憶部に記憶された前記基準情報を、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアの位置に対応する領域の画像情報と、前記記憶部に記憶された前記基準情報とを用いて生成した基準情報に置き換えることを特徴とする。

本発明によれば、追尾撮影途中で追尾の対象を切り換える必要がある撮影シーンにおいて、追尾対象を切り換える操作をしなくても、スムーズに意図する対象に自動的に切り換えることができる。

一実施の形態の画像追尾装置を備えた撮像装置の構成を示す図ボディ駆動制御装置の詳細な構成を示す図画像追尾用の撮像素子の詳細な構成を示す図画像追尾用の撮像素子の画素構成を示す図撮影画面内に設定された焦点検出エリアを示す図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾処理を示すフローチャート一実施の形態の追尾制御初期処理を示すフローチャート一実施の形態の合焦エリア決定処理を示すフローチャート一実施の形態の追尾演算処理を示すフローチャート

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機
能により撮影レンズを駆動しながら対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。この第２撮像素子１６については詳細を後述する。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前に焦点板１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて追尾制御と露出演算が行われる。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しない
マイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの設定位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。

追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。

図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。

次に、一実施の形態の被写体追尾動作を説明する。図５〜図９は一実施の形態の被写体追尾方法を説明するための図、図１０〜図１２は一実施の形態の被写体追尾処理を示すフローチャートである。ボディ駆動制御装置１９は、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で追尾対象領域を指定するか、あるいはカメラが自動で追尾対象領域を設定した後、操作部材２０のシャッターボタンを半押しすると、被写体追尾処理を開始する。

なお、シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が繰り返し出力される。

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の１１カ所に焦点検出エリア４５ａ〜４５ｋが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図１０のステップ１において、図６(ａ)に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｇが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、焦点検出エリア４５ｇが初回ＡＦエリアとしてメモリ１９ｄに記憶されるとともに、追尾対称の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアおよび追尾対象の被写体を手動で指定する例を示したが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。

続くステップ２で、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得するとともに、測距素子１０により各焦点検出エリア４５ａ〜４５ｋに対応する対の光像を取得する。ステップ３では、測距素子１０により取得した焦点検出エリア４５ａ〜４５ｋに対応する対の光像に基づいて各焦点検出エリアのデフォーカス量（撮影レンズ８の焦点調節状態）を検出する。ステップ４で、選択された焦点検出エリア４５ｇに対して検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動量をレンズ駆動制御装置２２へ送信する。レンズ駆動制御装置２２は、レンズ駆動量にしたがって撮影レンズ８のフォーカシングレンズ８ｂを駆動し、焦点調節を行う。

ステップ５において、図１１に示す追尾制御初期処理サブルーチンを実行する。図１１のステップ１０１において、追尾初期画像の中の焦点検出エリア４５ｇ（初回ＡＦエリア）に対応する領域の画像の被写体色情報を記憶する。ステップ１０２では、図６(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｇの周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に３×３画素のように追尾被写体領域のサイズを統一したり、さらに撮影レンズ８の距離情報に応じて被写体領域のサイズを決定してもよい。

ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を以降の追尾処理に用いるテンプレート画像４８（図６(ｂ)参照）としてメモリ１９ｄに記憶し、ステップ１０５で追尾被写体領域４７を前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定し、メモリ１９ｄに記憶する。その後、図１０のステップ６へリターンする。

追尾制御の初期処理が終了したら図１０のステップ６へ進み、操作部材２０のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ７へ進み、第２撮像素子１６から追尾次画像を取得するとともに、測距素子１０により各焦点検出エリア４５ａ〜４５ｋごとに焦点検出用の対の光像を取得する。ステップ８では、測距素子１９により取得した焦点
検出エリア４５ａ〜４５ｋに対応する対の光像に基づいてすべての焦点検出エリアのデフォーカス量（撮影レンズ８の焦点調節状態）を検出する。なお、すべての焦点検出エリアのデフォーカス量を検出する代わりに、初回ＡＦエリア（ここでは４５ｇ）の周辺の焦点検出エリア（ここでは初回ＡＦエリア４５ｇの周辺の４５ｂ、４５ｃ、４５ｆ、４５ｈ４５ｊ、４５ｋ）のデフォーカス量を検出してもよい。

ステップ９において、図１２に示す合焦エリア決定処理サブルーチンを実行し、焦点調節を行う焦点検出エリアを決定する。この一実施の形態では、操作部材２０の撮影モード選択スイッチによりＡＦモードとしてダイナミックＡＦモードが選択されており、画像追尾演算結果よりも初回に選択した焦点検出エリア（初回ＡＦエリア）を優先するものとする。なお、ダイナミックＡＦモードは初回ＡＦエリアを優先的に選択するＡＦモードである。

図１２のステップ３０１において、初回ＡＦエリア（ここでは４５ｇ）で検出されたデフォーカス量に基づいて焦点調節を行う合焦エリアとして採用できるか否かを判定する。具体的には、過去に焦点調節を行うために用いたデフォーカス量の履歴や、焦点調節時のフォーカシングレンズ８ｂの駆動量と位置の履歴などに基づいて予測した今回のデフォーカス量（以下、“予測デフォーカス量”という）と、今回図１０のステップ８で検出した初回ＡＦエリア（ここでは４５ｇ）のデフォーカス量とを比較し、その差Ｄ（＝(検出デ
フォーカス量)−(予測デフォーカス量)）が採用判定しきい値以内にあるか否かを判定す
る。ここで、ステップ３０１における採用判定しきい値は、カメラと追尾対象被写体との距離や追尾対象被写体の移動速度などに応じて適宜設定し、メモリ１９ｄに予め記憶しておく。

なお、追尾を継続して行うことによって、過去の焦点調節時のデフォーカス量、レンズ駆動量およびレンズ位置などの履歴に基づいて追尾対象被写体の移動量を予測することが可能であり、これにより近い将来のデフォーカス量を予測することができる。

過去の焦点調節時のデフォーカス量、レンズ駆動量、レンズ位置などの履歴に基づいてデフォーカス量を予測し、この予測デフォーカス量に基づいて初回ＡＦエリアを合焦エリアに採用するか否かを判定する代わりに、初回ＡＦエリアで今回検出したデフォーカス量を所定のしきい値と比較して初回ＡＦエリアを合焦エリアに採用するか否かを判定してもよい。すなわち、初回ＡＦエリアで今回検出したデフォーカス量が所定のしきい値以下の場合は初回ＡＦエリアを合焦エリアに採用し、初回ＡＦエリアで今回検出したデフォーカス量が所定のしきい値より大きい場合は初回ＡＦエリアを合焦エリアに採用しないようにする。特に、追尾処理を開始した直後には、過去のデフォーカス量、レンズ駆動量およびレンズ位置の履歴がないので、この判定方法により合焦エリアを決定する。

差Ｄがしきい値以内にある場合は、前回まで追尾してきた対象被写体の今回の予測位置と、初回ＡＦエリアで今回検出した被写体の位置とがほぼ等しいことになり、初回ＡＦエリアを合焦エリアとして採用する。なお、前回まで追尾してきた対象被写体と、初回ＡＦエリアで今回検出した被写体とが同一の被写体である場合と、異なる被写体である場合とがある。前者の場合は、図６(ａ)に示すように、前回まで追尾してきた対象被写体を初回ＡＦエリアで捕捉して引き続き追尾することになる。一方、後者の場合は、図８(ａ)に示すように、前回まで追尾してきた対象被写体Ａとは異なるが、撮影者がカメラ１の構図を変えたり、被写体が移動したりした結果、ほぼ同じ位置にいる別の被写体Ｂを初回ＡＦエリアで捕捉して追尾することになる。

差Ｄがしきい値以内にある場合はステップ３０２へ進み、初回ＡＦエリアを合焦エリアに決定する。この場合、他の焦点検出エリアのデフォーカス量や画像追尾演算結果を用い
ることなく、初回ＡＦエリア（ここでは４５ｇ）のデフォーカス量のみに基づいて判定を行うので、画像追尾に要する処理が簡単になる。その後、図１０のステップ１０へリターンし、初回ＡＦエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２へ送信する。レンズ駆動制御装置２２は、レンズ駆動量にしたがってフォーカシングレンズ８ｂを合焦制御する。

このように、一実施の形態では、初回ＡＦエリア（ここでは４５ｇ）における今回のデフォーカス量と、過去の焦点調節時のデフォーカス量、レンズ駆動量、レンズ位置などの履歴に基づき予測した今回のデフォーカス量との差Ｄが採用判定しきい値以内であれば、前回と今回で被写体が同一であるか否かに拘わらず初回ＡＦエリアを合焦エリアに採用するので、追尾対象を改めて設定する操作から追尾制御をやり直すことなく、追尾対象被写体を自動的に切り換えて画像追尾を続行することができる。

一方、今回の上記予測デフォーカス量と初回ＡＦエリアで今回検出されたデフォーカス量との差Ｄが採用判定しきい値より大きい場合は、図７、図９に示すように前回まで追尾していた対象被写体が初回ＡＦエリア以外の位置に移動したような場合である。図７に示す例では焦点検出エリア４５ｂ、４５ｆ、４５ｊに対応する位置へ移動しており、また図９に示す例では焦点検出エリア４５ｆ、４５ｊに対応する位置へ移動している。

差Ｄが採用判定しきい値より大きい場合はステップ３０３へ進み、図１３に示す追尾演算処理サブルーチンを実行する。図１３のステップ２０１において、追尾次画像（図６(
ａ)参照）の中の探索領域４９からテンプレート画像４８（図６(ｂ)参照）と同じサイズ
の領域を順次切り出し、切り出した画像とテンプレート画像４８とを対比し、画素ごとに色相Ｂ／Ｇ、Ｒ／Ｇの差を演算する。画素ごとの色相Ｂ／Ｇ、Ｒ／Ｇの差を求める場合は、第２撮像素子１６から出力される生の画像信号を用いて演算することができるため、生の画像信号に対するホワイトバランスやフィルター処理などの前処理を必要とせず、追尾処理の簡素化を図ることができる。なお、色相差に代えて画素ごとの色の差を演算するようにしてもよい。

追尾次画像の探索領域４９においてテンプレート画像４８との差分演算が終了したらステップ２０２へ進み、色相差が最も小さい領域を検索し、その領域を新しい追尾被写体領域４７に決定する。ここで、新しい追尾被写体領域４７の画像情報を用いてテンプレート画像４８の画像情報を更新してもよい。その場合には、例えば前回のテンプレート画像４８の画像情報８割に、新しい追尾被写体領域４７の画像情報２割を加えて新しいテンプレート画像４８を生成することによって、テンプレート画像４８の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくなる。

続くステップ２０３で、新しい追尾被写体領域４７の前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新探索領域４９とする。その後、図１２のステップ３０４へリターンする。

図１２のステップ３０４において、新しい追尾被写体領域４７に対応する焦点検出エリア（図７に示す例では４５ｆ）で今回検出されたデフォーカス量と、過去の焦点調節時のデフォーカス量、レンズ駆動量、レンズ位置などの履歴に基づいて予測した今回の予測デフォーカス量とを比較し、差Ｄ’が採用判定しきい値以内にあるか否かを判定する。つまり、画像追尾位置の焦点検出エリアを合焦エリアに採用するか否かを判定する。差Ｄ’が採用判定しきい値以内であればステップ３０５へ進み、新しい追尾被写体領域４７に対応する焦点検出エリア、つまり画像追尾位置の焦点検出エリア（図７に示す例では４５ｆ）を合焦エリアに決定し、図１０のステップ１０へリターンする。なお、ステップ３０４における採用判定しきい値は、ステップ３０１における採用判定しきい値と同じ値を用いて
もよい。

図１０のステップ１０で、画像追尾位置の焦点検出エリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２へ送信する。レンズ駆動制御装置２２は、レンズ駆動量にしたがってフォーカシングレンズ８ｂを合焦制御する。

一方、新追尾被写体領域４７の焦点検出エリアで今回検出されたデフォーカス量と上記“予測デフォーカス量”との差Ｄ’が採用判定しきい値より大きい場合は、ステップ３０６へ進む。ステップ３０６では、初回ＡＦエリア（ここでは４５ｇ）の周辺の焦点検出エリアの中から、今回周辺の焦点検出エリアで検出されたデフォーカス量と上記“予測デフォーカス量”との差Ｄ”が最小の焦点検出エリア（例えば図９に示す４５ｈ）を検出する。そして、差Ｄ”が最小の焦点検出エリアで今回検出されたデフォーカス量と予測デフォーカス量とを比較し、その差Ｄ”が採用判定しきい値以内か否かを判定する。

差Ｄ”が採用判定しきい値以内の場合はステップ３０７へ進み、その焦点検出エリア（例えば図９に示す４５ｈ）を合焦エリアに決定する。その後、図１０のステップ１０へリターンし、初回ＡＦエリアの周辺で合焦エリアに決定された焦点検出エリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２へ送信する。レンズ駆動制御装置２２は、レンズ駆動量にしたがってフォーカシングレンズ８ｂを合焦制御する。

一方、差Ｄ”が採用判定しきい値より大きい場合はステップ３０８へ進み、合焦エリアなしとする。なお、ステップ３０６における採用判定しきい値は、ステップ３０１における採用判定しきい値と同じ値を用いてもよい。また、ステップ３０６における採用判定対象の焦点検出エリアは、初回ＡＦエリア（ここでは４５ｇ）以外のすべての焦点検出エリアとしてもよい。さらに、ステップ３０４で画像追尾位置の焦点検出エリアを合焦エリアに採用しないと判定された場合には、ステップ３０６における合焦エリア採用判定を行わず、合焦エリアなしとして合焦エリア決定処理を終了してもよい。

合焦エリア決定処理を終了した後の図１０のステップ１０において、上述したように合焦制御を行う。なお、合焦エリアなしと判定された場合はレンズ駆動を行わない。ステップ１１で、決定した合焦エリアが初回ＡＦエリア（ここでは４５ｇ）と一致するか否かを判定し、合焦エリアが初回ＡＦエリアと一致しない場合はステップ６へ戻り、上述した処理を繰り返す。

合焦エリアが初回ＡＦエリアと一致した場合はステップ１２へ進み、テンプレート画像４８の再取得を行う。すなわち、初回ＡＦエリア（ここでは４５ｇ）のデフォーカス量にしたがって合焦制御を行った（図１０のステップ１０）後に第２撮像素子１６により撮像した画像を用い、この画像の中の初回ＡＦエリアに対応する領域の画像の被写体色情報を記憶する。さらに、この画像の中の初回ＡＦエリアの周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、同色情報領域を追尾被写体領域４７とする。そして、画像の中の追尾被写体領域４７の画像を以降の追尾処理に用いるテンプレート画像４８としてメモリ１９ｄに記憶し直し、テンプレート画像４８の変更を行う。したがって、これ以降の画像追尾処理では新しいテンプレート画像４８により画像追尾を行う。図８に示す例では、前回まで追尾してきた対象被写体Ａに代わって被写体Ｂを追尾することになる。

このように、一実施の形態によれば、第２撮像素子１６により撮影レンズ８による撮影画面内の被写体像を取得するとともに、被写体像の内の追尾対象の位置の画像をテンプレート画像（基準画像）としてメモリ１９ｄに記憶し、第２撮像素子１６により繰り返し取
得される被写体像とテンプレート画像とに基づいて、撮影画面内における追尾対象の位置を繰り返し検出する（画像追尾機能）。さらに、撮影画面内に設定される焦点検出エリアについて撮影レンズ８のデフォーカス量（焦点調節状態）を検出し（ＡＦ機能）、画像追尾機能による検出結果とＡＦ機能による検出結果の内の少なくとも一つに基づいて、撮影レンズ８の焦点調節を行う焦点検出エリア（合焦エリア）を決定し、決定した合焦エリアのデフォーカス量にしたがって撮影レンズ８の焦点調節を行う。そして、合焦エリアが予め設定した初回ＡＦエリアである場合に、被写体像の内の初回ＡＦエリアの画像を新しいテンプレート画像とし、メモリ１９ｄのテンプレート画像を変更するようにした。
これにより、例えばサッカーのようなスポーツ撮影において常にボールを保持する選手を追い続けたい場合に、ボールを保持する選手が変わるたびに追尾対象の選手を指定する操作を行わずに、新しくボールを保持した選手の画像をテンプレート画像として取得し、テンプレート画像を変更して常にボールを保持する選手を追尾し続けることができる。もちろん、各種スポーツ撮影に限らず、追尾撮影途中で追尾の対象を切り換える必要がある撮影シーンにおいて、追尾対象を切り換える操作をしなくても、スムーズに意図する対象に自動的に切り換えることができる。

合焦エリアの決定方法として、一実施の形態では、過去の焦点調節に関する情報、すなわちデフォーカス量、レンズ駆動量、レンズ位置などの履歴に基づいてデフォーカス量を予測し、初回ＡＦエリアにおける予測デフォーカス量と検出デフォーカス量との差がしきい値以内の場合に、初回ＡＦエリアを合焦エリアに決定するようにした。
これにより、例えばサッカーのようなスポーツ撮影において常にボールを保持する選手を追い続けたい場合に、ボールを保持する選手とその選手の周りにいる選手を容易に捕捉することができ、ボールが周りの選手にわたっても、新しくボールを保持した選手に追尾対象をスムーズに、正確に切り換えることができる。

また、他の合焦エリアの決定方法として、一実施の形態では、初回ＡＦエリアで検出されたデフォーカス量がしきい値以内の場合に、初回ＡＦエリアを合焦エリアに決定するようにした。
初回ＡＦエリアで新しく検出されたデフォーカス量がしきい値以内の小さい値である場合は、初回ＡＦエリアに追尾対象が存在する可能性が高く、引き続き追尾対象を初回ＡＦエリアで捕捉し追尾することができる。また、この合焦エリアの決定方法は、過去の焦点調節に関する情報に基づくデフォーカス量の予測処理を必要としないので、画像追尾を開始した直後における合焦エリアの決定方法として有効である。

一実施の形態によれば、初回ＡＦエリアを合焦エリアとしない場合には、画像追尾機能により検出した対象の位置に対応する焦点検出エリアのデフォーカス量に基づいて、当該焦点検出エリアを合焦エリアとして撮影レンズ８の焦点調節を行うか否かを決定するようにした。
これにより、例えばサッカーのようなスポーツ撮影において常にボールを保持する選手を追い続けたい場合に、ボールを保持する選手とその周りの選手の動きが速く、撮影者がそれらの選手を初回ＡＦエリアから外してしまったようなときでも、画像追尾機能により引き続きそれらの選手を捕捉し、追尾し続けることができる。

さらに、一実施の形態によれば、初回ＡＦエリアおよび画像追尾機能により検出した対象の位置に対応する焦点検出エリアを合焦エリアとしない場合には、これらのエリアを除く初回ＡＦエリア周辺の焦点検出エリアで検出されたデフォーカス量に基づいて合焦エリアを決定するようにした。
これにより、例えばサッカーのようなスポーツ撮影において常にボールを保持する選手を追い続けたい場合に、ボールを保持する選手とその周りの選手の動きが速く、撮影者がそれらの選手を画像追尾位置からも外してしまったようなときでも、引き続きそれらの選
手を捕捉し、追尾し続けることができる。

一実施の形態によれば、初回ＡＦエリアのデフォーカス量にしたがって撮影レンズ８の焦点調節を行った後に、第２撮像素子１６により取得された被写体像を用いてテンプレート画像の変更を行うようにしたので、追尾対象の切り換え時に新しい追尾対象の鮮明な画像をテンプレート画像にすることができ、それ以後の新しい対象に対する追尾を確実に行うことができる。

上述した一実施の形態では一眼レフデジタルスチルカメラを例に上げて説明したが、本発明は時系列に画像を取得可能なすべての撮像装置に適用することができ、例えばコンシューマーデジタルカメラや、ビデオカメラにも適用することができる。

上述した図１２に示す合焦エリア決定処理において、ステップ３０１で初回ＡＦエリアを合焦エリアに採用しない場合には、直ちにステップ３０３で追尾演算処理を行って画像追尾結果に基づく合焦エリアの決定処理を開始する例を示したが、ステップ３０１で初回ＡＦエリアを合焦エリアに採用しないと判定された場合はステップ３０６における合焦エリアの決定処理を行うようにしてもよい。すなわち、初回ＡＦエリアを合焦エリアに採用しない場合は、次に、初回ＡＦエリアの周辺の焦点検出エリアの中から、初回ＡＦエリアの周辺の焦点検出エリアで今回検出されたデフォーカス量と、これまで焦点調節に用いたデフォーカス量と焦点調節時のレンズ位置および駆動量の履歴に基づき予測した“予測デフォーカス量”との差が最小の焦点検出エリアを検索し、その焦点検出エリアを合焦エリアに決定する。
前回まで追尾してきた対象被写体、もしくは対象被写体とは異なるがその周辺にいる別の被写体を初回ＡＦエリアもしくはその周辺の焦点検出エリアで捕捉する可能性が高い。

また、初回ＡＦエリアを合焦エリアに採用しない場合に、すべての焦点検出エリアの中から、すべての焦点検出エリアで今回検出されたデフォーカス量と上記“予測デフォーカス量”との差が最小の焦点検出エリアを検索し、その焦点検出エリアを合焦エリアに決定してもよい。

１一眼レフデジタルスチルカメラ
２カメラ本体
３交換レンズ
８撮影レンズ
９焦点検出光学系
１０測距素子
１６第２撮像素子
１９ボディ駆動制御装置
１９ａ素子制御回路
１９ｂＡ／Ｄ変換器
１９ｃマイクロコンピューター
１９ｄメモリ
２０操作部材
２２レンズ駆動制御装置

Claims

光学系による画面内の画像情報を繰り返し取得する撮像部と、
複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、
前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、
前記複数の焦点検出エリアから前記焦点調節制御部による焦点調節制御に用いられる決定焦点検出エリアを決定する決定部と、
前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、
追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、
前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、
半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部と、
前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも小さいか否かを判断する第２判断部とを含み、
前記決定部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第１焦点検出エリアを決定し、
前記第２判断部により前記差異が前記第２閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第２焦点検出エリアを決定し、
前記制御部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された後に取得された前記第１焦点検出エリアの位置に対応する領域の画像情報を、前記記憶部に記憶された前記基準情報に置き換え、
前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記記憶部に記憶された前記基準情報を、前記第２焦点検出エリアの位置に対応する領域の画像情報と、前記記憶部に記憶された前記基準情報とを用いて生成した基準情報に置き換えることを特徴とする画像追尾装置。
請求項１に記載された画像追尾装置であって、
前記第２判断部により前記第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも大きいと判断された場合、前記決定部は前記決定焦点検出エリアを選択せず、前記焦点調節制御部は焦点調節制御を行わないことを特徴とする画像追尾装置。
請求項１に記載された画像追尾装置であって、
前記第２判断部により前記第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも大きいと判断された場合、
前記第１焦点検出エリアの周辺に位置する第３焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第３閾値よりも小さいか否かを判断する第３判断部をさらに備え、
前記第３判断部により前記第３焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第３閾値よりも小さいと判断された場合、前記決定部は前記第３焦点検出エリアを前記決定焦点検出エリアとして決定することを特徴とする画像追尾装置。
請求項３に記載された画像追尾装置であって、
前記第３判断部により前記第３焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第３閾値よりも大きいと判断された場合、前記決定部は前記決定焦点検出エリアを決定せず、前記焦点調節制御部は焦点調節制御を行わないことを特徴とする画像追尾装置。
請求項１乃至請求項４の何れか１項に記載された画像追尾装置であって、
前記追尾演算部により演算された前記追尾対象の位置に対応する前記第２焦点検出エリアよりも、半押し操作がされたときに指定された前記決定焦点検出エリアの位置に対応する前記第１焦点検出エリアを優先的に決定する撮影モードを有することを特徴とする画像追尾装置。
光学系による画面内の画像情報を繰り返し取得する撮像部と、
複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、
前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、
前記複数の焦点検出エリアから前記焦点調節制御部による焦点調節制御に用いられる決定焦点検出エリアを決定する決定部と、
前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、
追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、
前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、
半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部と、
前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第２閾値よりも小さいか否かを判断する第２判断部とを含み、
前記決定部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第１焦点検出エリアを決定し、
前記第２判断部により前記差異が前記第２閾値よりも小さいと判断された場合、前記決定焦点検出エリアとして前記第２焦点検出エリアを決定することを特徴とする画像追尾装置。
光学系による画面内の画像情報を繰り返し取得する撮像部と、
複数の焦点検出エリアについて複数のデフォーカス量を検出する焦点検出部と、
前記焦点検出部により検出された前記デフォーカス量を用いて焦点調節制御を行う焦点調節制御部と、
前記焦点調節制御部による過去の焦点調節制御に関する情報に基づいて予測デフォーカス量を演算する演算部と、
追尾対象の情報が含まれる基準情報を記憶部に記憶するように制御する制御部と、
前記基準情報と、前記撮像部により繰り返し取得される前記画像情報とを用いて前記追尾対象の位置を演算する追尾演算部と、
半押し操作がされたときに指定された前記焦点検出エリアの位置に対応する第１焦点検出エリアのデフォーカス量と前記予測デフォーカス量との差異が第１閾値よりも小さいか否かを判断する第１判断部とを含み、
前記制御部は、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された場合、前記第１判断部により前記差異が前記第１閾値よりも小さいと判断された後に取得された前記第１焦点検出エリアの位置に対応する領域の画像情報を、前記記憶部に記憶された前記基準情報に置き換え、
前記第１判断部により前記差異が前記第１閾値よりも小さいと判断されないとき、前記記憶部に記憶された前記基準情報を、前記追尾演算部により演算された前記追尾対象の位置に対応する第２焦点検出エリアの位置に対応する領域の画像情報と、前記記憶部に記憶された前記基準情報とを用いて生成した基準情報に置き換えることを特徴とする画像追尾装置。