JP6325841B2 - 撮像装置、撮像方法、およびプログラム - Google Patents

Description

本発明は、複数の画像データを合成し、合成画像を生成可能な撮像装置、撮像方法、およびプログラムに関する。

デジタルカメラ等の撮像装置において、複数の画像を撮影し、この複数の画像を合成することにより、１枚の画像では表現できない画質を実現する機能を搭載したものが市販されている。

複数の画像を合成する技術としては、例えば、焦点位置を移動しながら複数の画像を撮影し、この撮影によって取得した複数の画像データを用い、被写体の位置合わせを行い、画像を合成することで、全焦点画像やボケをコントロールした画像を生成することが提案されている（特許文献１参照）。

特開２００８−２７１２４０号公報

このように、複数の画像データを合成し、合成画像データを生成する技術は種々提案されているが、画像を合成する際に、一般に画像枚数を多くするほど、良好な結果を得られる。このため、画質の観点からは撮影枚数を可能な限り多くすることが好ましいといえる。

本発明は、このような事情を鑑みてなされたものであり、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像して画像データを取得する撮像部と、上記画像データに基づいて合成用画像データを合成する画像合成部と、上記画像合成部において、合成する可能性がある被写体が含まれているかを推定する画像合成推定部と、上記撮像部に対して撮影を指示する撮影指示部と、を具備し、上記画像合成推定部は、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置を撮影位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、上記撮影指示部は、上記画像合成推定部の判定結果に基づき、上記撮像部に対して複数回の撮影を指示し、上記画像合成部は、上記撮影指示部で指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する。

第２の発明に係る撮像装置は、上記第１の発明において、上記撮影指示部は、上記画像合成推定部の判定が判定閾値以上となった画像データ数を撮影回数とする。
第３の発明に係る撮像装置は、上記第１または第２の発明において、上記撮像部はメカシャッタと電子シャッタを有し、上記推定用画像データを取得する際には上記電子シャッタにより露光を制御し、上記合成用画像データを取得する際には上記メカシャッタにより露光を制御する。

第４の発明に係る撮像方法は、撮像部において被写体を撮像して画像データを取得する撮像ステップと、上記撮像ステップで取得した複数の画像データを合成する画像合成ステップと、上記画像合成ステップにおいて、合成する可能性がある被写体が含まれているかを推定する画像合成推定ステップと、上記撮像部に対して撮影を指示する撮影指示ステップと、を具備し、上記画像合成推定ステップでは、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置を撮影位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、上記撮影指示ステップでは、上記画像合成推定ステップにおける判定結果に基づき、上記撮像ステップにおいて複数回の撮影を指示し、上記画像合成ステップは、上記撮影指示ステップで指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する。

第５の発明に係るプログラムは、撮像装置のコンピュータを実行させるためのプログラムであって、撮像部において被写体を撮像して画像データを取得する撮像ステップと、上記撮像ステップで取得した複数の画像データを合成する画像合成ステップと、上記画像合成ステップにおいて、合成する可能性がある被写体が含まれているかを推定する画像合成推定ステップと、上記撮像部に対して撮影を指示する撮影指示ステップと、を具備し、上記画像合成推定ステップでは、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置を撮影位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、上記撮影指示ステップでは、上記画像合成推定ステップにおける推定結果に基づき、上記撮像ステップにおいて複数回の撮影を指示し、上記画像合成ステップは、上記撮影指示ステップで指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する。

本発明によれば、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成可能な撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画像合成推定の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、コントラストに基づいて行う画像合成推定を説明する図である。 本発明の一実施形態に係るカメラにおいて、被写体の動きに基づいて行う画像合成推定を説明する図である。

以下、本発明の実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、一実施形態に係るカメラにおいては、撮影前に撮影レンズを移動させながら画像データを取得し（スキャン）、画像データから抽出したコントラストが高い部分がない場合には撮影を行わない。また、スキャンしながら取得した画像データから、被写体の動きを予想し、被写体が動いている場合には、動いている被写体のコントラストが高いフレームの前後では撮影を行わない。上述の撮影判断に従って行った撮影で取得した複数の画像データを用いて画像合成を行う。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、被写体像を撮像して画像データを取得する撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体を撮像して画像データを出力する撮像部として機能する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像合成推定部１１５、撮影指示部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂを有する。複数の画像を合成する場合には、基本画像処理部１０９ｂ、および画像合成部１０９ｃを使用する。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつ特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。この画像合成部１０９ｂは、撮像部からの画像データに基づいて合成用画像データを合成する画像合成部として機能する。すなわち、画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせと合成を行うことで、単写とは異なる被写界深度の画像を生成する。

なお、図示しないが、画像処理部１０９内には、画像圧縮部と画像伸張部が設けられている。画像圧縮部は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部おいて伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像合成推定部１１５は、撮像部に異なる複数の状態となる複数の撮像を指示し、画像合成の推定の際に使用する複数の推定用画像データを取得する。この推定用画像データを取得すると、この推定用画像データを解析し、複数の状態に応じた画像合成を行うか否かの可否判断を行う。複数の状態としては、例えば、フォーカスレンズのフォーカス位置、絞り値、シャッタ速度値、露光量等がある。本実施形態においては、複数の状態として、フォーカスレンズのフォーカス位置を変更する例について説明する。すなわち、本実施形態においては、本撮影時には複数回の撮像が行われるが、本撮影に先立って、フォーカスレンズのフォーカス位置を順次異ならせながら、撮像を行い、このとき得られた個々の画像について、コントラストや被写体の動きを解析し、この解析結果に基づいて、個々の画像毎に、合成用画像として相応しい画像であるか否かを判断している。

この画像合成推定部１１５は、画像合成部において、合成する可能性がある被写体が含まれているか否かを推定する画像合成推定部として機能する。また、画像合成推定部１１５は、撮像部に異なる複数の状態となる複数の撮像を指示し、推定に使用する複数の推定用画像データを取得し、複数の推定用画像データを解析することで、複数の状態に応じた画像合成を行うかどうかの可否判断を行う（詳しくは、図５ないし図７参照）。異なる複数の状態は、例えば、フォーカスレンズのフォーカス位置を異ならせる。

撮影指示部１１７は、画像合成推定部１１５における推定結果を受け、撮像部に対して複数回の撮像を指示する。すなわち、本実施形態においては、画像合成推定部が、本撮影前に取得した画像毎に合成用画像として相応しい画像であるか否かを判断しているので、この判断結果に従って、合成用画像として相応しい場合には撮像を行い、相応しくない場合には撮像を行わないようにする。撮影指示部１１７は、撮像部に対して撮影を指示する撮影指示部として機能する。また、この撮影指示部は、画像合成推定部の推定結果に基づいて、撮像部に対して複数回の撮影を指示する。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、ＨＤＲ合成、深度合成、および超解像合成等の合成モードがある。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４、図５に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、撮影モードとしては、通常撮影、ＨＤＲ合成、深度合成、超解像合成等のモードが設定可能である。また、静止画記録モードとしては、ＪＰＥＧ記録、ＴＩＦＦ記録、ＪＰＥＧ−ＲＡＷ記録、ＲＡＷ記録等のモードが設定可能である。動画記録モードとしては、Ｍｏｔｉｏｎ ＪＰＥＧ記録、Ｈ．２６４記録等のモードの設定が可能である。画質モードとしては、ファイン（Fine）、ノーマル（Normal）等のモードが設定可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。

ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影・画像処理を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

また、深度合成モードが設定されている場合には、本撮影に先立って、フォーカスレンズを移動させながら、合成するに相応しい画像があるか相応しくない画像があるか否かを判定し、この判定結果に基づいて、合成する相応しい画像に対応するフォーカス位置で本撮影を行い、複数の画像データを取得する。深度合成モードが設定されている場合の撮影・画像処理の詳しい動作について、図５を用いて後述する。

また、ステップＳ４３においては、撮影を行うと画像処理を行う。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、画像合成モードが設定されている場合には、このステップにおいて、画像合成モードに応じて複数回の撮影が行われ、画像合成の際に使用する画像データが記録媒体１３３等に一時的に退避する。この撮影・画像処理の詳しい動作については、図４を用いて後述する。

撮影・画像処理を行うと、次に静止画記録を行う（Ｓ４５）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。

ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ｂによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。

基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。

ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能であり（Ｓ９）、深度合成モードが設定された場合には、合成用画像として相応しくないフォーカス位置においては撮像を行わず、合成用画像として相応しいフォーカス位置において撮像を行う（Ｓ４３）。

次に、図４を用いて、ステップＳ４３における撮像・画像処理の詳しい動作について説明する。撮影・画像処理のフローに入ると、まず、深度合成か否かの判定を行う（Ｓ７１）。このステップでは、ステップＳ９において、深度合成モードが設定されたか否かに基づいて判定する。

ステップＳ７１における判定の結果、深度合成モードが設定されていなかった場合には、撮影を行う（Ｓ９１）。ここでは、ステップＳ３５において決定した露出制御値およびピント位置において、撮影像素子１０３で撮像を行い、画像データを取得する。撮影を行うと、次に、基本画像処理を行う（Ｓ９３）。ここでは、ステップＳ９１において取得した画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像処理を施す。

一方、ステップＳ７１における判定の結果、深度合成モードが設定されている場合には、画像合成推定を行う（Ｓ７３）。ここでは、画像合成推定部１１５が、ステップＳ７９における本撮影に先立って、フォーカスレンズを移動させながら、画像データを取得し、合成用画像として相応しいか否かを判定する。すなわち、フォーカスレンズのフォーカス位置等、状態を変更し撮影を実施する。ここでの撮影枚数と、状態変更の内容は、２ｎｄレリーズ時の撮影状態、例えば、焦点位置や被写体距離応じて変更させてもよい。撮影した画像から複数の状態それぞれで画像合成を行うかどうかの可否判断を行う。可否判断は、フォーカス位置を移動させて取得した画像を用いて、画像内のコントラストを解析し、コントラストに応じて合成可否判断を行う。また、撮影画像とその直前の撮影画像を用い、被写体の移動量を解析し、この移動量に基づいて可否判断を行う。これらの可否判断単独、または両者を組み合わせて判断を行う。この判断に基づいて、フォーカス位置毎に、撮影の可否を記憶しておく。この画像合成推定の詳しい動作については、図５ないし図７を用いて後述する。

画像合成推定を行うと、次に、撮影指示を行う（Ｓ７５）。ここでは、撮影指示部１１７が、ステップＳ７３における画像合成推定における判断結果に基づいて、撮像部に撮影指示を与える。すなわち、画像合成推定部１１５における判断結果、否と判断された画像（フォーカス位置）は撮影から除き、可と判断された画像（フォーカス位置）のみに撮影する指示を与える。つまり、可と判断された画像について、フォーカス位置と撮影枚数を指示する。画像合成推定部１１５の判定が可となった画像データ数が撮影回数となる。

ステップＳ７５において撮影指示を出すと、次に、フォーカス移動を行う（Ｓ７７）。ここでは、ステップＳ７５において指示されたフォーカス位置に順次、交換レンズ２００のマイクロコンピュータ２０７を介して、フォーカスレンズを移動させる。

フォーカス移動を行うと、次に、撮影を行う（Ｓ７９）。ここでは、ステップＳ７５に指示されたフォーカス位置に達すると、所定時間の間、メカシャッタ２０３によって露光時間制御しながら露光を行い、露光時間経過後に撮像素子１０３から画像データを取得し、この取得した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、シャッタとしては、メカシャッタ２０３を用いずに、撮像素子１０３内の電子シャッタを用いるようにしてもよい。

撮影を行うと、次に、指示枚数に達したか否かを判定する（Ｓ８１）。ここでは、ステップＳ７９における撮影の回数が、ステップＳ７５における指示された撮影枚数に達したか否かを判定する。この判定の結果、指示枚数に達していない場合には、ステップＳ７７に戻り、フォーカス移動させ撮影を行う。

一方、ステップＳ８１における判定の結果、指示枚数に達した場合には、基本画像処理を行う（Ｓ８３）。ここでは、ＳＤＲＡＭ１２７に一時記憶された画像データを読み出し、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像処理を施す。

基本画像処理を行うと、次に、位置合わせを行う（Ｓ８５）。ここでは、撮影した画像の位置ずれを補正する位置合わせを行う。位置合わせは、例えば、2枚の画像をブロック分割し、ブロック毎の相関値が最も少ない位置への移動量を算出し、この移動量に基づいて位置を合わせればよい。

位置合わせを行うと、次に、深度合成を行う（Ｓ８７）。ここでは、画像合成部１０９ｂが、被写界深度を拡大する効果を与えるための画像合成を行う。例えば、各画像の高周波成分を抽出し、高周波成分を合成することで、被写界深度の深い画像を生成する。

ステップＳ８７において深度合成を行うと、またはステップＳ９３において基本画像処理を行うと、撮影・画像処理のフローを終了し、元のフローに戻る。

このように、撮影・画像処理のフローでは、深度合成モードが設定されている場合には、フォーカス位置を移動させ撮像し、この時取得した複数の画像毎に、合成の使用の適否の判断を行う画像合成推定を行い（Ｓ７３）、この判断結果に従って、フォーカス移動させ、本撮影を行い（Ｓ７７、Ｓ７９）、本撮影で取得した画像データを用いて深度合成を行っている（Ｓ８７）。本撮影に先立って画像合成推定において、画像合成の使用の適否を判断していることから、実際に使用可能な撮影枚数を多く確保でき、十分な画質の合成画像を生成することが可能となる。

次に、図５を用いて、ステップＳ７５の画像合成推定の詳しい動作について説明する。画像合成推定のフローに入ると、まず、カメラ状態変更を行う（Ｓ１０１）。ここでは、深度合成モードが設定されている場合であることから、フォーカスレンズの位置を変更する。具体的には、マイクロコンピュータ２０７を介してドライバ２０５によってフォーカスレンズの位置を所定量だけ移動させる。この移動量は、撮影レンズ２０１の焦点距離、設定絞り値等に基づいて、適宜決めればよいが、ステップＳ７７において撮影指示部１１７が指示するフォーカスレンズの移動間隔と同等にすればよい。

カメラ状態変更を行うと、次に電子シャッタ撮影を行う（Ｓ１０３）。ここでは、露光時間を撮像素子１０３内の電子シャッタにより制御し、画像データを取得する。この時の画像データは、画像記録用ではなく、画像合成に使用する否かの判断のためであることから、処理速度向上のために画像サイズは小さくてもよい。電子シャッタを使用するのは、メカシャッタ２０３よりは短時間で撮影を行うことができるためである。

電子シャッタ撮影を行うと、次に、画像解析を行う（Ｓ１０５）。ここでは、ステップＳ１０３の電子シャッタ撮影で取得した画像の解析を行う。画像解析としては、被写体のコントラスト値の算出や、前に撮影した画像と比較し、移動被写体であるか等を行う。コントラストの解析は、例えば、画像データから高周波情報を抽出するバンドパスフィルタ（ＢＰＦ）によって処理し、ＢＰＦ出力のピーク値を、その画像のコントラスト量としてもよく、また他の方法によってコントラスト量を算出するようにしてもよい。また、コントラスト量は、１ｓｔレリーズ時のＡＦ測距時（ステップＳ３５）に取得できていれば、その結果を用いてもよい。

また、被写体の動き量の解析を行う場合には、例えば、画像を領域に分割し、領域毎にひとつ前のフォーカス位置で撮影された画像と、相関データを算出し、この相関データが周囲の相関データ、あるいは相関データ全体の平均値と比較して、差が大きい領域がある場合には、被写体の動き量が大きいと判断すればよい。また、被写体追尾ＡＦ情報などで取得できれば、この追尾ＡＦ情報を利用して追尾している被写体の動きがあるかどうかを判定し、前後のフォーカス位置で撮影される画像を合成画像として不適として判断してもよい。コントラスト量と被写体動きに基づく、画像解析については、図６および図7を用いて後述する。

画像解析を行うと、次に、合成可能か否かを判定する（Ｓ１０７）。ここでは、ステップＳ１０５における画像解析結果に基づいて、画像合成に使用するに相応しい画像であるか否かを判定する。例えば、コントラストの低い画像や、移動被写体の画像等は、合成に適当でないことから「合成可能」ではないと判定され、コントラストの高い画像や、静止被写体の画像等は、合成に適当であることから「合成可能」と判定される。

ステップＳ１０７における判定の結果、合成可能と判定されると、撮影指示記憶を行う（Ｓ１０９）。ここでは、ステップＳ１０１において変更されたフォーカス位置と撮影の指示を記憶する（フラグを設定しておいてもよい）。

ステップＳ１０９において撮影指示の記憶を行うと、またはステップＳ１０７における判定の結果、合成可能でなかった場合には、枚数に達したか否かを判定する（Ｓ１１１）。ここでは、ステップＳ１０１におけるカメラ状態変更がこれ以上変更できないか、またはステップＳ１０９において設定したフラグ数が上限に達したか等に基づいて判定する。この判定の結果、枚数に達していない場合には、ステップＳ１０１に戻り、カメラ状態を変更して、合成可能か否かの判定を続行する。一方、枚数に達した場合には、画像合成推定のフローを終了し、元のフローに戻る。

このように、画像合成推定のフローにおいては、カメラ状態を変更すると（Ｓ１０１）、撮影を行い（Ｓ１０３）、取得した画像の解析結果に基づいて合成可能な否かを判定している（Ｓ１０７）。このため、本撮影に先立って合成に不適な画像を排除することができ、効率的な撮影が可能となる。

次に、図６および図７を用いて、画像合成推定について説明する。図６は、画像データのコントラスト量に基づいて、画像合成推定を行う場合を示す。図６（ａ）は、カメラ１０に対して近距離側から遠距離側に離れていくに従って、花２０、人物３０、山４０が被写体として存在する例を示す。

図６（ｂ）は、フォーカス位置を移動させながら、撮影した画像と、コントラスト量を示す。すなわち、カメラ１０はステップＳ１０１のカメラ状態変更において、フォーカス位置を移動させ、ステップＳ１０３の電子シャッタ撮影において、画像推定用画像５０を撮影し、ステップＳ１０５においてコントラスト量を算出する。花２０、人物３０、山４０に対応するフォーカス位置において、コントラスト量が高くなるが、その中間において、コントラスト量は低くなる。深度合成においては、中間のコントラスト量が低くなるフォーカス位置で撮影した画像は合成に不適当である。

そこで、図６（ｃ）に示すように、画像６０ａ、６０ｂ、６０ｃ、６０ｄは、コントラスト量が小さいことから、合成に不適当として本撮影をスキップする。すなわち、撮影指示部１１７は、画像６０ａ〜６０ｄを除いた画像を撮影指示画像６０として指定する。

画像合成推定部１１５は、画像データのコントラスト量に基づいて、画像合成の可否判断を行うために、コントラスト量判定閾値を有し、その判定閾値を下回る場合には合成不適と判定し、撮影をスキップさせる。コントラスト量が少ない被写体は深度合成で合成に使用する領域が少ないためである。

このように、本実施形態においては、画像合成推定部１１５は、複数のフォーカス位置で推定用画像データを撮像させ、推定用画像データのコントラストを解析し、コントラストに応じて可否判断を行うようにしている。すなわち、画像合成推定部１１５は、コントラストが低い画像データを否と判断する。

次に、図７を用いて、被写体の動きに基づいて、画像合成推定を行う場合を示す。図７（ａ）は、図６（ａ）と同様に、カメラ１０に対して近距離側から遠距離側に離れていくに従って、花２０、人物３０、山４０が被写体として存在する例を示す。

図７（ｂ）は、フォーカス位置を移動させながら、撮影した画像と、動き量が大きい画像を示す。すなわち、カメラ１０はステップＳ１０１のカメラ状態変更において、フォーカス位置を移動させ、ステップＳ１０３の電子シャッタ撮影において、画像推定用画像５１を撮影し、ステップＳ１０５において動き量を算出する。この例では、花２０が風で揺らいでおり、また人物３０が動いている。また、花２０と人物３０は、図６（ｂ）に示したように、コントラスト量が高い被写体である。

そこで、本実施形態においては画像の中で最もコントラストが高い画像を選択し、その前後のフォーカス位置での撮影をスキップしている。図７（ｃ）に示す例では、コントラスト量の高い花２０の前後にあり、動き量が大の画像６１ａ、コントラスト量の高い人物３０の前後にあり、動き量が大の画像６１ｂ、６１ｃに対応するフォーカス位置での本撮影をスキップする。すなわち、撮影指示部１１７は、画像６１ａ〜６０ｃを除いた画像を撮影指示画像６１として指定する。

このように、本実施形態においては、画像合成推定部１１５は、複数のフォーカス位置で推定用画像データを撮像させ、推定用画像データのコントラストを解析し、被写体の動きに応じて可否判断を行うようにしている。すなわち、画像合成推定部１１５は、少なくとも一つの状態（ここでは、フォーカス位置）を変更し（Ｓ１０１参照）、複数の推定用画像データを撮像させ（Ｓ１０３参照）、被写体の移動量を解析し（Ｓ１０５参照）、移動量に応じて合成可否の判断を行っている。被写体に動きがある場合には、合成後の画像で被写体が多重像となる可能性があり、また、画像合成推定部１１５は、被写体の移動量が大きい画像データの前後のフォーカス位置で撮影された画像を否と判断している。本実施形態では、深度合成した画像が多重像となることを防止することができる。なお、図７に示す例では、被写体の動きに加えて、コントラスト量も判断の対象としていた。しかし、コントラスト量を使用せずに、被写体の動きのみで判断するようにしてもよい。

以上説明したように、本発明の一実施形態においては、撮像部において被写体を撮像して画像データを取得する撮像ステップ（例えば、図４のＳ７９）と、撮像ステップで取得した複数の画像データを合成する画像合成ステップと（例えば、図４のＳ８７）、画像合成ステップにおいて、合成する可能性がある被写体が含まれているかを推定する画像合成推定ステップと（例えば、図４のＳ７３）、撮像部に対して撮影を指示する撮影指示ステップ（例えば、図４のＳ７５）を行い、撮影指示ステップでは、画像合成推定ステップにおける推定結果に基づき、撮像ステップにおいて複数回の撮影を指示している。このため、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成することができる。

また、本発明の一実施形態においては、画像合成推定ステップにおいて合成する可能性のあると推定された撮影コマに対して、撮影を指示するようにしている。ＳＤＲＡＭ１２７等のメモリの容量が限られている場合には、同時に記憶できる画像の数が限られてしまう。しかし、本実施形態によれば、合成する可能性がないと推定された撮影コマに対しては、本撮影を行わず、従ってメモリを有効に活用できる。

なお、本発明の一実施形態においては、レリーズ釦の２ｎｄレリーズ操作がなされた後に、撮影・画像処理において（図３のＳ４３参照）、画像合成推定を行っていた。しかし、このタイミングに限らず、例えば、レリーズ釦の１ｓｔレリーズ操作がなされた後、所定のタイミングで繰り返し行ってもよい。

また、本発明の一実施形態においては、画像合成として深度合成モードが設定されている場合について説明したが、例えば、ダイナミックレンジを広げるＨＤＲ合成や、解像度の高くする超解像合成等、他の合成モードが設定された場合でも、画像合成推定を行うようにしても勿論かまわない。この場合、画像解析は合成モードに応じて適宜変更すればよい。

また、本発明の一実施形態においては、撮影時に画像合成推定を行い、画像合成に不適な画像は、本撮影を行わないようにしていたが、これに限らず、撮影時には全ての画像について本撮影を行って画像データをメモリに記憶し、画像合成する際に、不適当な画像データは画像合成に使用しないようにしてもよい。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像データを合成可能な撮影機器であれば、本発明を適用することができる。また、複数の画像データを処理する画像処理装置であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・カメラ、２０・・・花、３０・・・人、４０・・・山、５０・・・画像合成推定用画像、５１・・・画像合成推定用画像、６０・・・撮影指示撮像画像、６１・・・撮影指示撮像画像、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像合成推定部、１１７・・・撮影指示部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ

Claims (5)

1. 被写体を撮像して画像データを取得する撮像部と、
   上記画像データに基づいて合成用画像データを合成する画像合成部と、
   上記画像合成部において、合成する可能性がある被写体が含まれているかを推定する画像合成推定部と、
   上記撮像部に対して撮影を指示する撮影指示部と、
   を具備し、
   上記画像合成推定部は、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置を撮影位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、
   上記撮影指示部は、上記画像合成推定部の判定結果に基づき、上記撮像部に対して複数回の撮影を指示し、
   上記画像合成部は、上記撮影指示部で指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する、
   ことを特徴とする撮像装置。
2. 上記撮影指示部は、上記画像合成推定部の判定が判定閾値以上となった画像データ数を撮影回数とすること特徴とする請求項１に記載の撮像装置。
3. 上記撮像部はメカシャッタと電子シャッタを有し、
   上記推定用画像データを取得する際には上記電子シャッタにより露光を制御し、上記合成用画像データを取得する際には上記メカシャッタにより露光を制御する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 撮像部において被写体を撮像して画像データを取得する撮像ステップと、
   上記撮像ステップで取得した複数の画像データを合成する画像合成ステップと、
   上記画像合成ステップにおいて、合成する可能性がある被写体が含まれているかを推定する画像合成推定ステップと、
   上記撮像部に対して撮影を指示する撮影指示ステップと、
   を具備し、
   上記画像合成推定ステップでは、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置を撮影位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、
   上記撮影指示ステップでは、上記画像合成推定ステップにおける判定結果に基づき、上記撮像ステップにおいて複数回の撮影を指示し、
   上記画像合成ステップは、上記撮影指示ステップで指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する、
   ことを特徴とする撮像方法。
5. 撮像装置のコンピュータを実行させるためのプログラムであって、
   撮像部において被写体を撮像して画像データを取得する撮像ステップと、
   上記撮像ステップで取得した複数の画像データを合成する画像合成ステップと、
   上記画像合成ステップにおいて、合成する可能性がある被写体が含まれているかを推定する画像合成推定ステップと、
   上記撮像部に対して撮影を指示する撮影指示ステップと、
   を具備し、
   上記画像合成推定ステップでは、フォーカスレンズの位置を所定量だけ移動させる毎に、上記画像データを取得することにより、複数の推定用画像データを取得し、この取得した推定用画像データを用いてコントラスト値を算出し、この算出したコントラスト値と判定閾値を比較し、この判定閾値以上となったフォーカス位置を撮影位置であって、且つ、複数の上記推定用画像データに基づいて上記被写体の移動量を解析し、上記移動量が閾値未満のフォーカス位置と判定し、一方、上記算出したコントラスト値が判定閾値未満となったフォーカス位置もしくは、上記移動量が閾値以上のフォーカス位置を撮影位置から除外し、
   上記撮影指示ステップでは、上記画像合成推定ステップにおける推定結果に基づき、上記撮像ステップにおいて複数回の撮影を指示し、
   上記画像合成ステップは、上記撮影指示ステップで指示された撮影位置で取得された画像データに基づいて、合成用画像データを合成する、
   ことを特徴とするプログラム。

Images