JP2015156552A - 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】全焦点撮影を行う際に手ぶれが生じた場合でも、高品位な画像を取得可能な撮像装置を提供する。【解決手段】撮像装置は、被写体情報を取得する取得手段と、振れ量を算出する算出手段と、合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御手段と、複数の画像を合成する画像合成手段とを有し、制御手段は、被写体情報および振れ量に応じて、複数の画像の撮影順序を変更する。【選択図】図４

Description

本発明は、フォーカスブラケット撮影による全焦点撮影が可能な撮像装置に関する。

従来から、全焦点撮影を行う撮像装置が知られている。全焦点撮影とは、撮像装置により合焦可能な被写体距離の全域において、合焦位置を変化させた複数の画像を撮影し、各画像から合焦している領域のみを抽出して１枚の画像を合成して撮影領域全体に合焦している画像を得る撮影である。全焦点撮影では、１回の撮影操作で複数の画像を撮影する必要があるため、１回の全焦点撮影に長い時間を要する場合がある。

一般的に、撮像装置を手持ちで撮影する場合、手ぶれが発生しないように撮像装置を固定する必要があるが、撮影時間が長くなるほど手ぶれ量は徐々に増大する傾向がある。このため、全焦点撮影において連続して複数の画像を撮影している間、手ぶれが発生する可能性が高くなる。また、手ぶれが発生した状態で撮影された被写体画像は、他の画像との相関度が低下することにより、画像合成処理に使用できない場合がある。

特許文献１には、焦点距離の異なる複数の画像を撮影する際に、撮像素子の露光時間が短くなるような絞り値と最短露光時間との組み合わせとなる露光条件を採用して、撮影時間を短縮して画像のぶれを抑制する方法が開示されている。特許文献２には、焦点距離の異なる複数の画像を合成処理する際に、所定の基準により選択された１枚の基準画像に対して、他の画像を基準画像に相応するように変形することで、各画像間の相関度の低下を防止する方法が開示されている。

特開２００２−８４４４４号公報 特開２００８−２７１２４０号公報

しかしながら、特許文献１の方法では、複数の撮影を行う必要があるため、その間に手ぶれが発生して意図した画像が得られない可能性がある。また特許文献２の方法では、１枚の画像を撮影する際に生じる手ぶれに対応することができない。

そこで本発明は、全焦点撮影を行う際に手ぶれが生じた場合でも、高品位な画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、被写体情報を取得する取得手段と、振れ量を算出する算出手段と、合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御手段と、前記複数の画像を合成する画像合成手段とを有し、前記制御手段は、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する。

本発明の他の側面としての撮像装置の制御方法は、被写体情報を取得する取得ステップと、振れ量を算出する算出ステップと、合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御ステップと、前記複数の画像を合成する画像合成ステップとを有し、前記制御ステップにおいて、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する。

本発明の他の側面としてのプログラムは、被写体情報を取得する取得ステップと、振れ量を算出する算出ステップと、合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御ステップと、前記複数の画像を合成する画像合成ステップと、をコンピュータに実行させるプログラムであって、前記制御ステップにおいて、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、全焦点撮影を行う際に手ぶれが生じた場合でも、高品位な画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

本実施形態における撮像装置のブロック図である。 本実施形態において、被写体像が結像面に結像する様子を示す図である。 本実施形態において、被写体像が結像面に結像する様子を示す図である。 本実施形態において、被写体像が結像面に結像する様子を示す図である。 本実施形態において、被写体像が結像面に結像する様子を示す図である。 本実施例における全焦点撮影の説明図である。 本実施形態における全焦点撮影モードのシーケンスを示すフローチャートである。 本実施形態におけるブラケット撮影シーケンスを示すフローチャートである。

以下、本発明の実施形態ついて、図面を参照しながら詳細に説明する。

＜撮像装置の全体構成＞
まず、図１を参照して、本実施形態における撮像装置の全体構成について説明する。図１は、本実施形態における撮像装置１００（デジタルカメラ）のブロック図である。

図１の撮像装置１００において、レンズ鏡筒１０１は、ズームレンズ１０２、フォーカスレンズ１０３、防振レンズ１０４（レンズ群）、および、絞り・シャッタ１０５を備えている。ズームレンズ１０２は、焦点距離を調節して光学的に画角を変更するように、光軸方向に移動可能である。フォーカスレンズ１０３は、ピントを調節するように、光軸方向に移動可能である。防振レンズ１０４は、手ぶれに起因する像ぶれを補正する補正用レンズであり、光軸直交面内において移動可能である。絞り・シャッタ１０５は、光量を調節し、露出制御に用いられる。

レンズ鏡筒１０１を通過した光は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）などを備えた撮像素子１０６にて受光され、光信号（光学像）から電気信号（画像信号）へ変換される。撮像素子１０６から出力された電気信号は、画像処理回路１０７に入力される。画像処理回路１０７は、撮像素子１０６からの電気信号に対して画素補間処理や色変換処理などを施し、画像データとして内部メモリ１０８に出力する。内部メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えて構成される。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）などを備えて構成され、撮影した画像データとともに、撮影情報などを表示する。このようなライブビューなどの情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能が実現される。内部メモリ１０８に保存されているデータは、画像フォーマットに応じて圧縮伸長処理部１１０にて圧縮伸長され、撮像装置１００に装着して使用されるメモリカードなどの外部記録媒体や、撮像装置１００に内蔵された記憶部１１１に記憶される。記憶部１１１は、例えば不揮発性メモリを備えて構成される。被写体検出部１２１は、画像データに含まれる被写体（被写体領域または被写体情報）を特定（検出）する。コントラスト評価値取得部１２２は、画像データのコントラスト評価値を取得する。

続いて、レンズ鏡筒１０１の各部を駆動する駆動部について説明する。絞りシャッタ駆動部１１２は、画像処理回路１０７の画像処理により得られた輝度情報に基づいて露出制御値（絞り値およびシャッタ速度）を演算し、この演算結果に基づいて絞り・シャッタ１０５を駆動する。これにより、自動露出（ＡＥ）制御を行うことができる。

手ぶれ量演算部１３２は、ジャイロセンサなどの角速度センサ１３０や加速度センサ１３１からの情報に基づいて、撮像装置１００に加わる手ぶれ量（振れ量）を算出する算出手段である。防振レンズ駆動部１１３は、手ぶれ量演算部１３２により演算された手ぶれ量（振れ量）に対し、その手ぶれ量（振れ量）を打ち消すように防振レンズ１０４を駆動する。フォーカスレンズ駆動部１１４は、フォーカスレンズ１０３を駆動する。フォーカスレンズ駆動部１１４は、例えば、コントラスト・オートフォーカス（ＡＦ）検出方式の制御において、操作部１１６のレリーズスイッチ１１７が半押しされることにより、フォーカスレンズ１０３を駆動させる。フォーカスレンズ１０３の駆動中、コントラスト評価値取得部１２２はコントラスト評価値を取得する。そしてフォーカスレンズ駆動部１１４は、そのコントラスト評価値が最も高くなる位置にフォーカスレンズ１０３を移動させることにより、被写体にピントを合わせる。なお本実施形態において、ピント調節制御（焦点検出制御）はコントラスト検出方式に限定されるものではなく、位相差検出方式や他の方式、または、これらの各検出方式を組み合わせた方式であってもよい。ズームレンズ駆動部１１５は、撮影者によるズーム操作指示に従って、ズームレンズ１０２を駆動する。

システム制御部１２０は、ＣＰＵ（中央演算処理装置）などの演算装置を備えて構成されている。システム制御部１２０は、撮影者の操作に応じて撮像装置１００の各部に制御命令を送ることにより、撮像装置１００の全体を制御する。システム制御部１２０は、内部メモリ１０８に記憶されている各種の制御プログラム、例えば、撮像素子１０６の制御、ＡＥ／ＡＦ制御、ズーム制御などを行うためのプログラムを実行する。

操作部１１６は、レリーズスイッチ１１７の他、撮影モード切り替えスイッチ１１８、各種のメニュー操作を行うメニュー操作ボタンやズームレバーなどを含む。撮影モード切り替えスイッチ１１８は、撮影モードを撮影者が選択的に切り替えるための操作子であり、本実施形態においては、通常撮影モードと全焦点撮影モードとを切り替えることが可能である。

続いて、システム制御部１２０のうち、撮影モード切り替えスイッチ１１８により全焦点撮影モードが選択された場合に実行される、全焦点撮影に関連する制御について説明する。本実施形態において、全焦点撮影は、主に、システム制御部１２０の被写体検出部１２１、コントラスト評価値取得部１２２、被写体距離検出部１２３、フォーカスブラケット制御部１２５、および、画像合成処理部１２６により実行される。本実施形態において、被写体検出部１２１および被写体距離検出部１２３は、被写体の位置や被写体距離などの被写体情報を取得する取得手段を構成する。

被写体検出部１２１は、内部メモリ１０８に記憶された画像データから、所望の被写体（被写体領域または被写体情報）を検出する。ここでは、被写体検出方法として、顔検出処理を一例として説明する。顔検出処理は、顔情報に基づいて被写体としての人物を検出する被写体検出方法であり、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２１は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。両者の相関が所定の閾値を超える場合、被写体検出部１２１は、その部分領域が顔領域であると判定する。被写体検出部１２１は、このような判定を、部分領域のサイズ、配置位置、および、配置角度の組み合わせを様々に変更しながら繰り返すことにより、画像データ中に存在する様々な顔領域を検出することができ、それらの顔領域（検出領域）を被写体領域とする。また被写体検出部１２１は、画像データの色情報、輝度情報、コントラスト評価値の分布などを用いた既存の方法により、人物以外の被写体（被写体領域）を検出することも可能である。

このように被写体検出部１２１は、画像データ上での被写体領域の大きさや位置を検出することができる。また被写体検出部１２１は、検出した被写体領域の動きベクトルを算出することにより、被写体が移動しているか否か、また、被写体の移動速度などを求めることができる。なお本実施形態において、被写体検出部１２１により検出された被写体に関する情報を被写体情報という場合がある。

被写体距離検出部１２３は、被写体検出部１２１により検出された被写体について、被写体距離を検出する。ここでは、一例として、コントラスト評価値取得部１２２により取得されたコントラスト評価値に応じて被写体距離を検出する方法について説明する。被写体距離検出部１２３は、任意のタイミングにおいて、フォーカスレンズ１０３の位置を駆動可能な範囲の全域で変更しながら、随時、画像データを取得する。これにより被写体距離検出部１２３は、画像データ上の被写体領域におけるコントラスト評価値の推移を求める。そして被写体距離検出部１２３は、被写体領域のコントラスト評価値の推移に基づいて、被写体検出部１２１により検出された被写体の被写体距離を決定する。なお、被写体検出部１２１により複数の被写体が検出された場合、被写体距離検出部１２３は、それぞれの被写体領域に対するコントラスト評価値の推移を取得し、被写体ごとに被写体距離を決定する。なお本実施形態において、被写体距離の検出方法はこれに限定されるものではなく、位相差検出方式による測距センサを用いた被写体距離の検出方法などの他の方法を用いてもよい。

フォーカスブラケット制御部１２５は、フォーカスブラケット撮影による全焦点撮影を行うように制御する。すなわちフォーカスブラケット制御部１２５は、フォーカスレンズ１０３を所定のブラケット幅で離散的に移動させながら複数の画像を順次撮影するように制御する。

本実施形態において、フォーカスブラケット制御部１２５は、被写体情報、被写体距離、手ぶれ量、および、画像のコントラスト評価値に基づいて、フォーカスブラケット撮影時の撮影シーケンスを決定する。そしてフォーカスブラケット制御部１２５は、決定した撮影シーケンスの条件に基づいて、フォーカスレンズ１０３や絞り・シャッタ１０５を駆動して撮影を行う。このようにフォーカスブラケット制御部１２５は、合焦位置が互いに異なる複数の画像を順次撮影する（フォーカスブラケット撮影を行う）ように制御する制御手段である。なお、フォーカスブラケット撮影時の撮影シーケンスの詳細については後述する。

画像合成処理部１２６は、フォーカスブラケット制御部１２５からの指令に基づいて撮影された複数の画像データをコントラスト評価値に基づいて合成し、複数の画像データから１枚の画像を生成する。このように画像合成処理部１２６は、複数の画像を合成する画像合成手段である。画像合成処理部１２６は、画像合成を行う際に、まずコントラスト評価値取得部１２２により決定された各画像のコントラスト評価値に基づいて、各画像間でコントラスト評価値の比較を行う。そして画像合成処理部１２６は、各画素に関して、複数の画像データのうちコントラスト評価値が最も高い画素部分を抽出する。そして画像合成処理部１２６は、各画像から抽出された画素部分を、最終的に生成される１枚の画像の各領域に対応する画素ごとに重ね合わせ、複数の画像データから１枚の画像（被写体全体にピントが合った画像）を生成する。なお本実施形態において、各画像から抽出される画素部分は、一つの画素に限定されるものではない。各画像から抽出される画素部分として、撮影画像（原画像）を所定の大きさに細分化して得られた領域（原画像の複数の画素を含む部分領域）でも構わない。

＜全焦点撮影の概要＞
次に、図２（ａ）〜（ｄ）を参照して、全焦点撮影について説明する。図２（ａ）〜（ｄ）は、被写体像が結像面に結像する様子を示す図である。

図２（ａ）は、被写体２０１が光学レンズ２０２によって面２０３ａ上に像２０４として結像している様子を示している。すなわち、面２０３ａと撮像センサ面（撮像素子１０６の面）とが互いに一致すれば、被写体２０１は面２０３ａにて「点」として結像し、合焦画像として記録される。

図２（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面２０３ｂが図２Ａに示される面２０３ａとは異なる位置にある場合、光学レンズ２０２により結像される被写体２０１は、錯乱円２０５として撮像センサ面２０３ｂ上に写る。このとき、錯乱円２０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円２０５は前述の合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円２０５が許容錯乱円よりも大きい場合、撮像センサ面２０３ｂではボケた画像が得られる。

図２（ｃ）は、上記の様子を側面から示した図である。ここで、焦点２１０にて被写体が結像し、面２１１ａの位置に撮像センサが存在する場合、錯乱円径２１２ａが得られる。このときの錯乱円径２１２ａは、撮像センサの許容錯乱円径２１３よりも小さい。このため、撮像センサにて記録される画像２１７は、ボケの無い合焦画像となる。一方、撮像センサが面２１４ａの位置に存在する場合、このときの錯乱円径２１５ａは、許容錯乱円径２１３よりも大きい。このため、撮像センサ面２１４ａ上の画像２１８ａは、ボケた画像となる。錯乱円径２１２ａが許容錯乱円径２１３よりも小さくなる斜線で示される領域は焦点深度２１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図２（ｄ）は、図２（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、入射光の径が奥行きの違いとなるため、面２１１ｂに対しての錯乱円径２１２ｂ、面２１４ｂに対しての錯乱円径２１５ｂのようにそれぞれ変化する。このとき、図２（ｃ）の錯乱円径２１５ａと比較して、図２（ｄ）の錯乱円径２１５ｂは小さい。このため、そのときに得られる画像２１８ｂは、画像２１８ａよりもボケ量の少ない画像となる。また、そのときの焦点深度２１６ｂは、焦点深度２１６ａよりも広くて深い。

図３は、本実施例における全焦点撮影の説明図である。ここでは、合焦させる被写体として、被写体３１〜３３を想定している。それぞれの被写体３１〜３３は、互いに異なる距離（被写体距離）に存在するものとし、撮像装置１００に近い側から（近距離側から遠距離側に向かう方向に）被写体３１、３２、３３の順に位置している。複数の被写体３１〜３３に対して合焦した全焦点画像を得るには、フォーカスブラケット撮影を行う焦点範囲３００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。３１１〜３１６は、それぞれの撮影における焦点深度を示し、焦点範囲３００をカバーするように並んでいる。すなわち、焦点深度３１１〜３１６となる合焦位置で撮影（６回の撮影）を行うことにより、焦点範囲３００の範囲内の被写体３１〜３３は、いずれかの画像において合焦した状態となる。また、このようにして撮影された複数の画像から、それぞれの撮影における焦点深度内の領域を画像合成することにより、焦点範囲３００の全域（ブラケット全域）で合焦した画像を得ることができる。

＜全焦点撮影モード＞
次に、図４を参照して、本実施形態における全焦点撮影モードのシーケンスについて説明する。図４は、全焦点撮影モードのシーケンスを示すフローチャートである。図４の各ステップは、内部メモリ１０８に予め記憶されたプログラムに従い、主に、システム制御部１２０により実行される。

撮影モード切り替えスイッチ１１８により全焦点撮影モードが選択されると、図４に示される全焦点撮影モードが開始する。まずステップＳ４０１において、システム制御部１２０は、撮影者によりレリーズスイッチ１１７が半押しされた状態であるか否かを判定する。撮影者によりレリーズスイッチ１１７が半押しされた状態である場合、ステップＳ４０２へ進む。一方、撮影者によりレリーズスイッチ１１７が半押しされた状態でない場合、ステップＳ４０１に戻り、レリーズスイッチ１１７が半押しされた状態になるまでステップＳ４０１を繰り返す。

続いてステップＳ４０２において、システム制御部１２０（フォーカスレンズ駆動部１１４）は、フォーカスレンズ１０３の可動範囲内において最も至近側の被写体に合焦が可能な位置（最至近位置）にフォーカスレンズ１０３を駆動する。続いてステップＳ４０３において、システム制御部１２０（被写体検出部１２１）は、被写体の検出処理を行う。本実施形態において、被写体検出部１２１は、その時点においてレンズ鏡筒１０１を通過して撮像素子１０６上で結像した画像に基づいて、被写体の検出を行う。そしてステップＳ４０４において、システム制御部１２０（被写体距離検出部１２３）は、ステップＳ４０３にて検出された被写体について、被写体距離を算出する。

続いてステップＳ４０５において、システム制御部１２０は、フォーカスレンズ１０３の可動範囲全域において、ステップＳ４０３の被写体検出処理およびステップＳ４０４の被写体距離検出処理を行ったか否かを判定する。フォーカスレンズ１０３の可動範囲全域において被写体検出処理および被写体距離検出処理を行った場合、ステップＳ４０７へ進む。一方、フォーカスレンズ１０３の可動範囲全域において被写体検出処理および被写体距離検出処理を行っていない場合、ステップＳ４０６へ進む。ステップＳ４０６において、システム制御部１２０（フォーカスレンズ駆動部１１４）は、フォーカスレンズ１０３を、現在の位置から、より無限側の被写体に合焦することが可能となる方向に移動させるように駆動する（フォーカスレンズ駆動）。その後、ステップＳ４０３へ戻り、ステップＳ４０３〜Ｓ４０５を繰り返す。

このようにシステム制御部１２０は、ステップＳ４０２にてフォーカスレンズ１０３を最至近に合焦可能な位置から、より無限側の被写体に合焦することが可能な方向に向けて連続的に移動（駆動）させる。そしてシステム制御部１２０は、フォーカスレンズ１０３を連続的に移動させながら、フォーカスレンズ１０３の駆動範囲全域に渡って、ステップＳ４０３の被写体検出処理およびステップＳ４０４の被写体距離検出処理を行う。

ステップＳ４０７において、システム制御部１２０は、ステップＳ４０３にて検出された被写体およびステップＳ４０４にて算出された被写体距離に基づいて、被写体距離分布を作成する。被写体距離分布とは、どのような被写体がいずれの距離に存在しているのかを表す分布である。

続いてステップＳ４０８において、システム制御部１２０は、撮影者によりレリーズスイッチ１１７が全押しされた状態であるか否かを判定する。撮影者によりレリーズスイッチ１１７が全押しされた状態である場合、ステップＳ４０９へ進む。一方、撮影者によりレリーズスイッチ１１７が全押しされた状態でない場合、ステップＳ４０１に戻り、ステップＳ４０１〜Ｓ４０８を繰り返す。

続いてステップＳ４０９において、システム制御部１２０（手ぶれ量演算部１３２）は、撮影者による現在の手ぶれ量を演算して取得する。そしてステップＳ４１０において、システム制御部１２０は、ステップＳ４０９にて取得された手ぶれ量が所定量以上であるか否かを判定する。手ぶれ量が所定量以上である場合、ステップＳ４１１へ進む。一方、手ぶれ量が所定量未満である場合、ステップＳ４１２へ進む。

ステップＳ４１１において、システム制御部１２０（フォーカスブラケット制御部１２５）は、ステップＳ４０７にて作成された被写体距離分布に従って、主被写体を優先したブラケット撮影シーケンスを実行する。ここで、図５（ａ）を参照して、主被写体を優先したブラケット撮影シーケンスについて説明する。図５（ａ）は、主被写体を優先したブラケット撮影シーケンス（ステップＳ４１１）を示すフローチャートである。図５（ａ）の各ステップは、内部メモリ１０８に予め記憶されたプログラムに従い、主に、システム制御部１２０（フォーカスブラケット制御部１２５）により実行される。

まずステップＳ５０１において、システム制御部１２０は、主被写体を決定する。より具体的には、システム制御部１２０は、ステップＳ４０７にて作成された被写体距離分布から、人物のみを主被写体として決定し、また主被写体の距離情報を合わせて決定する。なお本実施形態において、主被写体を人物のみ、すなわちステップＳ４０５にて検出された被写体の中から顔検出により検出された被写体のみを主被写体として選択しているが、これに限定されるものではない。主被写体として人物以外の被写体を選択するようにすることもできる。また、主被写体としてどのような被写体を選択するかについて、予め撮影者に選択させるように構成してもよい。

続いてステップＳ５０２において、システム制御部１２０は、ステップＳ５０１にて決定された主被写体が複数存在する場合、複数の主被写体のうち二つの被写体の距離差が所定量以下（所定値以下）であるか否かを判定する。すなわちシステム制御部１２０は、全ての主被写体に関し、ある主被写体と、その主被写体から最も近い距離にある別の主被写体との距離差を判定する。この距離差が所定量以下である場合、ステップＳ５０３に進む。一方、この距離差が所定量より大きい場合、主被写体優先ブラケット撮影を終了する。

ステップＳ５０３において、システム制御部１２０は、ステップＳ５０１にて決定された主被写体が複数存在する場合、それらの被写体の優先順位を決定する。ここでは、それぞれの主被写体の距離情報（被写体距離）が短い順に優先順位を決定する（被写体距離が短い主被写体を優先させる）が、これに限定されるものではない。例えば、主被写体の大きさ、主被写体の画角内での位置、主被写体が動いているか否かなどのその他の要因に応じて優先順位を決定しても構わない。

続いてステップＳ５０４において、システム制御部１２０は、ステップＳ５０３にて決定された主被写体の優先順位に従って、次に撮影する主被写体（次撮影被写体）および次撮影被写体の被写体距離を決定する。そしてステップＳ５０５において、システム制御部１２０（フォーカスレンズ駆動部１１４）は、ステップＳ５０４にて決定された次撮影被写体の被写体距離に基づき、次撮影被写体に合焦可能なフォーカスレンズ１０３の位置にフォーカスレンズ１０３を駆動する。

続いてステップＳ５０６において、システム制御部１２０（絞りシャッタ駆動部１１２）は、露出制御により予め決定された露出パラメータに従い、絞り・シャッタ１０５を駆動し、撮影を行う。撮影した各画像は、内部メモリ１０８に格納される。そしてステップＳ５０７において、システム制御部１２０は、ステップＳ５０１にて決定された全ての主被写体に対し、それぞれの主被写体に合焦可能なフォーカスレンズ１０３の位置で撮影を行ったか否かを判定する。全ての主被写体に対する撮影が完了していない場合、ステップＳ５０４に戻り、優先順位の高い順に主被写体の撮影を継続する。一方、全ての被写体に対する撮影が完了した場合、主被写体優先ブラケット撮影を終了する。

図４に戻り、ステップＳ４１０にて、手ぶれ量が所定量未満である場合、または、ステップＳ４１１にて主被写体優先ブラケット撮影を終了した後、ステップＳ４１２に進み、システム制御部１２０は通常ブラケット撮影を実行する。

ここで、図５（ｂ）を参照して、本実施形態における通常ブラケット撮影シーケンスについて説明する。図５（ｂ）は、通常ブラケット撮影シーケンス（ステップＳ４１２）を示すフローチャートである。図５（ｂ）の各ステップは、内部メモリ１０８に予め記憶されたプログラムに従い、主に、システム制御部１２０（フォーカスブラケット制御部１２５）により実行される。

まずステップＳ５０８において、システム制御部１２０（フォーカスレンズ駆動部１１４）は、フォーカスレンズ１０３を、フォーカスレンズ１０３の可動範囲内で最も至近側の被写体に合焦可能な位置に駆動する。続いてステップＳ５０９において、システム制御部１２０（絞りシャッタ駆動部１１２）は、露出制御により予め決定された露出パラメータに従い、絞り・シャッタ１０５を駆動し、撮影を行う。撮影した各画像は、内部メモリ１０８に格納される。

続いてステップＳ５１０において、システム制御部１２０は、フォーカスレンズ１０３の可動範囲全域、すなわちブラケット撮影を行う全域において撮影を行ったか否かを判定する。ブラケット撮影を行う全域における撮影が終了していない場合、ステップＳ５１１に進む。ステップＳ５１１において、システム制御部１２０（フォーカスレンズ駆動部１１４）は、フォーカスレンズ１０３を、現在の位置から、より無限側の被写体に合焦可能となる方向へ所定量だけ駆動を行う。ここで、この所定量は、直前の撮影から焦点深度分ずらした量をフォーカスレンズ１０３の駆動量に置き換えたものとして定義される。

一方、ステップＳ５１０において、ブラケット撮影を行う全域における撮影が終了した場合、システム制御部１２０は通常ブラケット撮影を終了する。

図４に戻り、ステップＳ４１２にて通常ブラケット撮影が終了した後、ステップＳ４１３に進む。ステップＳ４１３において、システム制御部１２０（画像合成処理部１２６）は、ステップＳ４１１の主被写体優先ブラケット撮影およびステップＳ４１２の通常ブラケット撮影にて撮影された複数の画像の合成処理を実行する。ここで画像合成処理部１２６は、コントラスト評価値に基づいて、ステップＳ４１１にて撮影された複数の画像データを合成し、複数の画像データから１枚の画像を生成する。

より具体的には、まず、画像合成処理部１２６は、コントラスト評価値取得部１２２により決定された各画像のコントラスト評価値に基づいて、各画像間でコントラスト評価値を比較する。そして画像合成処理部１２６は、各画素においてコントラスト評価値が最も高い画素部分（部分領域）を抽出する。そして画像合成処理部１２６は、各画像から抽出された画素部分（部分領域）を最終的に生成される１枚の画像の各領域に対応する画素ごとに重ね合わせ、複数の画像データから、被写体全体にピント合った１枚の画像を生成する。ただし本実施形態はこれに限定されるものではなく、他の方法により画像（全焦点画像）を合成してもよい。

最後にステップＳ４１４において、システム制御部１２０は、ステップＳ４１３にて合成された画像（ブラケット画像）を記憶部１１１に保存する。

本実施形態によれば、全焦点撮影を行う際に所定量以上の手ぶれが発生している場合、主被写体優先ブラケット撮影により、主被写体の撮影を優先して（先に）行う。このため、その後に手ぶれ量が増加する場合でも、主被写体の画像として像ぶれの最も少ない画像（ブラケット画像）を合成することができる。また好ましくは、主被写体優先ブラケット撮影において、主被写体同士の距離差が大きい場合、主被写体優先ブラケット撮影を行わず、通常ブラケット撮影を行う。これにより、主被写体優先ブラケット撮影により余計に撮影時間が増大することを回避することが可能となる。なお本実施形態において、撮像装置は、レンズと撮像装置本体とが一体的に構成された撮像装置として説明したが、これに限定されるものではない。本実施形態は、撮像装置（撮像装置本体）と、撮像装置に着脱可能な交換レンズとを備えた撮像システムにも適用可能である。また本実施形態において、撮像装置をデジタルカメラとして説明したが、これに限定されるものではない。本実施形態は、カメラ付きの携帯電話などの他の撮像装置にも適用可能である。

このように本実施形態において、フォーカスブラケット制御部１２５（制御手段）は、合焦位置が互いに異なる複数の画像を順次撮影するように制御する。そして制御手段は、被写体情報および振れ量に応じて、複数の画像の撮影順序を変更する。好ましくは、制御手段は、振れ量が所定量以上である場合、被写体情報に応じた順序で複数の画像を撮影するように制御する。一方、振れ量が所定量よりも小さい場合、所定の順序で複数の画像を撮影するように制御する。

好ましくは、被写体情報を取得する取得手段は、被写体の位置を検出する被写体検出部１２１（被写体検出手段）、および、被写体の被写体距離を検出する被写体距離検出部１２３（距離検出手段）を含む。そして制御手段は、被写体情報として被写体および被写体距離を用いて複数の画像を順次撮影するように制御する。より好ましくは、制御手段は、振れ量が所定量以上である場合、被写体検出手段により検出された被写体を優先的に撮影する。また好ましくは、制御手段は、振れ量が所定量よりも小さい場合、フォーカスレンズの可動範囲の端（最至近位置）から順に離散的に移動して撮影するように制御する。

好ましくは、制御手段は、被写体検出手段により複数の被写体が検出された場合、複数の被写体のうち少なくとも二つの被写体の距離差に応じて、複数の画像の撮影順序を変更する。より好ましくは、制御手段は、二つの被写体の距離差が所定値以下である場合、被写体情報に応じた順序で複数の画像を撮影するように制御する。一方、二つの被写体の距離差が所定値よりも大きい場合、所定の順序で複数の画像を撮影するように制御する。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

本実施形態によれば、全焦点撮影を行う際、少なくとも主被写体が存在する部分には、手ぶれによる画像乱れが存在しない画像を取得することができる。このため本実施形態によれば、全焦点撮影を行う際に手ぶれが生じた場合でも、高品位な画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１２１ 被写体検出部
１２３ 被写体距離検出部
１２５ フォーカスブラケット制御部
１２６ 画像合成処理部

Claims (13)

1. 被写体情報を取得する取得手段と、
   振れ量を算出する算出手段と、
   合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御手段と、
   前記複数の画像を合成する画像合成手段と、を有し、
   前記制御手段は、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する、ことを特徴とする撮像装置。
2. 前記制御手段は、
   前記振れ量が所定量以上である場合、前記被写体情報に応じた順序で前記複数の画像を撮影するように制御し、
   前記振れ量が前記所定量よりも小さい場合、所定の順序で前記複数の画像を撮影するように制御する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、
   被写体の位置を検出する被写体検出手段と、
   前記被写体の被写体距離を検出する距離検出手段と、を含み、
   前記制御手段は、前記被写体情報として前記被写体および前記被写体距離を用いて前記複数の画像を順次撮影するように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記振れ量が前記所定量以上である場合、前記被写体検出手段により検出された前記被写体を優先的に撮影するように制御することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記振れ量が前記所定量よりも小さい場合、フォーカスレンズの可動範囲の端から順に離散的に移動して撮影するように制御することを特徴とする請求項３または４に記載の撮像装置。
6. 前記制御手段は、前記被写体検出手段により複数の被写体が検出された場合、該複数の被写体のうち少なくとも二つの被写体の距離差に応じて、前記複数の画像の撮影順序を変更することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、
   前記二つの被写体の距離差が所定値以下である場合、前記被写体情報に応じた順序で前記複数の画像を撮影するように制御し、
   前記二つの被写体の距離差が前記所定値よりも大きい場合、所定の順序で前記複数の画像を撮影するように制御することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、フォーカスレンズを所定のブラケット幅で離散的に移動させながら前記複数の画像を順次撮影するように制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、フォーカスブラケット撮影による全焦点撮影を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体情報を取得する取得ステップと、
    振れ量を算出する算出ステップと、
    合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御ステップと、
    前記複数の画像を合成する画像合成ステップと、を有し、
    前記制御ステップにおいて、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する、ことを特徴とする撮像装置の制御方法。
11. 前記振れ量が所定量以上であるか否かを判定する判定ステップを更に有し、
    前記制御ステップにおいて、
    前記振れ量が前記所定量以上である場合、前記被写体情報に応じた順序で前記複数の画像を撮影するように制御し、
    前記振れ量が前記所定量よりも小さい場合、所定の順序で前記複数の画像を撮影するように制御する、ことを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 被写体情報を取得する取得ステップと、
    振れ量を算出する算出ステップと、
    合焦位置が互いに異なる複数の画像を順次撮影するように制御する制御ステップと、
    前記複数の画像を合成する画像合成ステップと、をコンピュータに実行させるプログラムであって、
    前記制御ステップにおいて、前記被写体情報および前記振れ量に応じて、前記複数の画像の撮影順序を変更する、ことを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。