JP7614814B2 - 撮像装置とその制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置とその制御方法及びプログラムに関する。

撮像装置による撮像時における画像データの取得から記録までの過程では、概ね、画像データの取得、画像データの記憶装置での一時的な保持、画像データの現像処理、現像処理により生成された画像データの記憶媒体への保存（記憶）の順に処理が行われる。

ここで、静止画の連続撮影を行う際には、１フレームの画像データの取得速度と、１フレームの画像データの現像処理速度との関係が、連写速度（所謂コマ速）に影響を与える。つまり、画像データを一時的に保持する記憶装置（以下「一次記憶装置」という）に取得した画像データを保持させるためには、一次記憶装置に一定の空き容量が残っている必要がある。しかし、一次記憶装置の空き容量は取得した画像を保持する度に減少していく。その一方で、現像処理により生成された画像データが記憶媒体へ記憶されると、これに対応する元の画像データは不要になるため、一次記憶装置からの消去（削除）が可能となる。こうして、不要な画像データを消去することによって一次記憶装置での空き容量を増加させることができる。

このことから、一次記憶装置での空き容量の減少速度は画像データの取得速度の影響を受け、画像データの取得速度が大きければ、一次記憶装置に保持される画像データの単位時間当たりのデータ量が増大し、空き容量の減少速度は大きくなる。一方、空き容量の増加速度は現像処理速度の影響を受け、現像処理速度が大きければ、一次記憶装置に生じる単位時間当たりの空き容量が増大して、空き容量の増加速度は大きくなる。そのため、一次記憶装置での空き容量の減少速度が増加速度よりも大きい場合には、一次記憶装置の空き容量が不足してしまい、撮像動作が中断してしまうおそれがある。

この問題に対して、例えば特許文献１は、フレームメモリ（一次記憶装置）の空き容量が不足している状態で撮像が行われた場合に、新たに取得した画像データを現像処理が行われていない画像データの記憶領域に上書きする構成を提案している。

特開２００３－２７４３２３号公報

しかしながら、上記特許文献１に開示された技術では、既に取得した画像データに対して新たに取得した画像データを上書きで記録してしまうため、既に取得したはずの画像データが失われてしまう。よって、一次記憶装置の空き容量に不足が生じないようにする必要があるが、一次記憶装置の記憶容量を増加させる手法ではコストが増大してしまう。

本発明は、一時的にデータを保持する記憶装置の記憶容量を増大させることなく、連続撮影時に空き容量が不足しないようにすることが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、連続的に撮像を行ってＲＡＷデータを取得する撮像手段と、前記ＲＡＷデータを一時的に記憶する記憶手段と、前記ＲＡＷデータを現像する現像手段と、前記記憶手段の使用状況に基づいて、前記現像手段による前記ＲＡＷデータの現像処理の一部または全部を省略するよう制御する制御手段と、前記ＲＡＷデータを記録媒体に記録する記録手段と、を備え、前記記録手段は、前記現像処理の全部が省略された場合に、前記ＲＡＷデータと代替データとを前記記録媒体に記録し、前記現像処理が省略されていない場合または前記現像処理の一部が省略された場合に、前記ＲＡＷデータと、前記ＲＡＷデータに対する前記現像処理により得られた画像データとを前記記録媒体に記録することを特徴とする。

本発明によれば。一時的にデータを保持する記憶装置の記憶容量を増大させることなく、連続撮影時に空き容量が不足しないようにすることが可能な撮像装置を提供することができる。

実施形態に係る撮像装置の基本構成を示すブロック図である。 撮像装置で実行される現像処理のフローチャートである。 一次記憶装置の空き容量の確保と解放の様子を示す模式図である。 Ｓ２０３の現像省略処理の第１の例及び第２の例を示す模式図である。 Ｓ２０３の現像省略処理の第３の例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の基本構成を示すブロック図である。撮像装置１００の典型例としてはデジタルカメラやデジタルビデオカメラを挙げることができるが、撮像装置１００はこれに限られず、カメラ付き携帯電話（スマートフォン）やカメラ付きコンピュータ等の撮像機能を備える電子機器であってもよい。

撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶装置１０４、画像処理部１０５、記録媒体１０６、二次記憶装置１０７、表示部１０８及び操作部１０９を備える。

光学系１０１は、レンズ群、シャッタ、絞り等を備え、ＣＰＵ１０３の制御信号に従って被写界からの入射光を光学像として撮像素子１０２に結像させる。なお、レンズ群は、フォーカスレンズやズームレンズ、手振れ等の補正を行う像振れ補正レンズ等を含む。撮像素子１０２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像デバイスであり、光学系１０１を通して結像した光（光学像）を光電変換して画像信号（ＲＡＷデータ）を生成する。

ＣＰＵ１０３は、入力信号等に従って二次記憶装置１０７等に記憶された所定のプログラムを実行することにより、撮像装置１００を構成する各部の動作を制御する。一次記憶装置１０４は、例えばＲＡＭ等の揮発性記憶装置であり、一時的なデータの記憶に用いられ、また、ＣＰＵ１０３のワークメモリとして使用される。一次記憶装置１０４に記憶されている情報は、画像処理部１０５により使用されることがあり、また、記録媒体１０６へ記録される場合もある。二次記憶装置１０７は、例えば、ＥＥＰＲＯＭ等の不揮発性記憶装置である。二次記憶装置１０７には、撮像装置１００を制御するためのプログラム（ファームウェア）及び各種の設定情報が記憶されており、これらのプログラム及び設定情報はＣＰＵ１０３によって利用される。

記録媒体１０６は、一次記憶装置１０４に一時的に記憶された画像データ等を記録する。記録媒体１０６は、例えば半導体メモリカードであり、撮像装置１００に対して着脱可能である。撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。記録媒体１０６を撮像装置１００から取り出してＰＣ（パーソナルコンピュータ）等の外部機器へ装着することにより、記録媒体１０６に記録されたデータを外部機器へ読み出すことができる。なお、記録媒体１０６は、撮像装置１００に内蔵されているハードディスクドライブ等であってもよい。この場合、撮像装置１００を外部機器に接続することにより、記録媒体１０６に記録されたデータを外部機器へ読み出すことができる。

表示部１０８は、撮像時のライブビュー画像の表示、撮影画像の表示、対話的操作のためのＧＵＩ（グラフィックユーザインタフェース）画像等の表示を行う。操作部１０９は、ユーザ操作を受け付けて、その入力情報をＣＰＵ１０３へ伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等を含む。また、音声や視線等による入力機器も操作部１０９として用いることができる。

画像処理部１０５は、撮像画像に対して現像処理と呼ばれる画像処理をはじめとして、撮影モードに応じた色調の調整等の各種の処理を行う。撮像装置１００は、画像処理部１０５で実行可能な画像処理パターンを複数有しており、操作部１０９を通じて所定の画像処理パターンを撮影モードとして設定することができるように構成されている。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３が所定のソフトウェアを実行することによって実現されてもよい。

次に、撮像装置１００での撮像画像の現像処理について説明する。図２は、撮像装置１００で実行される現像処理のフローチャートである。図２にＳ番号で示す各処理（ステップ）は、ＣＰＵ１０３が二次記憶装置１０７に記憶された所定のプログラムを一次記憶装置１０４に展開して撮像装置１００を構成する各部（特に画像処理部１０５）の動作を制御することにより実現される。

撮像装置１００のユーザが操作部１０９を介して撮像装置１００（ＣＰＵ１０３）に対して撮像開始を指示すると、撮像素子１０２から出力された画像信号であるＲＡＷデータが一次記憶装置１０４に記憶される。これに続いて画像処理部１０５による現像処理が開始されて、Ｓ２０１の処理が開始される。

Ｓ２００でＣＰＵ１０３は、現像処理の省略判定を行う。現像処理の省略判定では、一次記憶装置１０４の状況に応じてＲＡＷデータの一部に対して現像処理の一部又は全部を省略するか否かが判定される。なお、Ｓ２００の省略判定の詳細については後述する。Ｓ２０１でＣＰＵ１０３は、Ｓ２００で現像処理の全部又は一部を省略すると判定したか否かに応じて処理を分岐させる。ＣＰＵ１０３は、現像処理を省略しないと判定していた場合（Ｓ２０１でＮＯ）、処理をＳ２０２へ進め、現像処理の全部又は一部を省略すると判定していた場合（Ｓ２０１でＹＥＳ）、処理をＳ２０３へ進める。

Ｓ２０２では、通常の現像処理、つまり、全てのフレームのＲＡＷデータに対して現像処理を行う。一方、Ｓ２０３では、現像省略処理を行う。なお、Ｓ２０３の現像省略処理の詳細については後述する。Ｓ２０２からＳ２０４へ進んだ場合のＳ０４でＣＰＵ１０３は、１画像（１フレーム）ごとに現像処理前のＲＡＷデータと現像処理により生成された画像データと１組の撮影データとして記録媒体１０６に保存し、これにより本処理を終了させる。これに対して、Ｓ２０３からＳ２０４へ進んだ場合のＳ０４でＣＰＵ１０３は、省略しない現像処理を行ったフレームについては、ＲＡＷデータと現像処理により生成された画像データを１組の撮影データとして記録媒体１０６に保存する。一方、現像処理の全部又は一部を省略したフレームについては、詳細は後述するが、ＲＡＷデータのみを記録媒体１０６に記録するか又はＲＡＷデータに所定の画像データを添付した１組の撮影データを記録媒体１０６に保存する。また、現像処理により生成された画像データ（ＪＰＥＧデータ）は、ＲＡＷデータの表示用画像（サムネイル画像）として記録する。

次に、Ｓ２００の省略判定について説明する。図３は一次記憶装置１０４の空き容量の確保と解放の様子を示す模式図である。図３の上段に示すように、連続撮影での１画像（１フレーム）ごとに一次記憶装置１０４に記憶されるＲＡＷデータのデータ容量をＮ［ｂｉｔ］とし、１秒あたりの撮像回数をＦ［回］とする。この条件で連続撮影が行われると、一次記憶装置１０４の空き容量は１秒あたり‘Ｆ×Ｎ［ｂｉｔ／秒］’だけ減少していく。

一方、画像処理部１０５による１フレーム分のＲＡＷデータの現像処理に要する時間をＴ［秒］とすると、現像可能な１秒あたりの画像数は‘１／Ｔ’となる。現像処理により生成された画像データとその元のＲＡＷデータを記録媒体１０６に記録すると、一次記憶装置１０４に保持されていた元のＲＡＷデータは不要になるため、元のＲＡＷデータが格納されていた記憶領域を解放することが可能となる。よって、一次記憶装置１０４の空き容量は、現像処理が行われると、１秒あたり‘Ｎ／Ｔ［ｂｉｔ／秒］’で増加していく。

一次記憶装置１０４の空き容量の減少速度Ｆ×Ｎ［ｂｉｔ／秒］が増加速度Ｎ／Ｔ［ｂｉｔ／秒］と同等か又は下回る場合には、全てのフレームのＲＡＷデータを現像処理し続けても空き容量が不足することはないため、現像処理を省略する必要はない。これに対して、一次記憶装置１０４の空き容量の減少速度Ｆ×Ｎ［ｂｉｔ／秒］が増加速度Ｎ／Ｔ［ｂｉｔ／秒］を上回る場合、全てのフレームのＲＡＷデータを現像処理し続けると、空き容量が減少していき、ついには空き容量が枯渇してしまう。一次記憶装置１０４の空き容量が不足乃至枯渇してしまうと、空き容量が確保されるまで次のフレームの撮像を行うことはできなくなるため、このような事態が生じるおそれがある場合に現像処理を省略する必要があると判定することができる。

なお、必要な空き容量をまとめて確保する場合には、一次記憶装置１０４の現在の空き容量に応じて、現像処理の省略が必要か否かを判定するようにしてもよい。例えば、固定されたフレーム数で連続撮影を行う際に、それら全てのフレームのＲＡＷデータの保持に必要な容量に対して現在の空き容量が十分ではない場合、現像処理による空き容量の増加速度を考慮せずに現像処理を省略すると判定するよう構成してもよい。

次に、Ｓ２０３の現像省略処理の詳細について説明する。図４（ａ）は、現像省略処理の第１の例を示す模式図である。まず、ＲＡＷデータ４０１が一次記憶装置１０４に保持されると、画像処理部１０５がＲＡＷデータ４０１の現像処理を行い、これによりＪＰＥＧデータ４０２が生成される。第１の例では、ＲＡＷデータ４０１とＪＰＥＧデータ４０２は１組の撮影データ４０３として記録媒体１０６に記録（保存）される。なお、ここでは、ＲＡＷデータ４０１の現像処理によりＪＰＥＧ形式の画像データが生成されるものとしているが、現像処理により生成される画像データは他の形式（フォーマット）であってもよい。

ＲＡＷデータ４０１が生成されるトリガとなった１フレーム分の撮像に続いて３フレーム分の撮像が連続的に行われて、ＲＡＷデータ４０４～４０６が生成され、一次記憶装置１０４に保持されたとする。この場合に、ＲＡＷデータ４０４～４０６に対してＲＡＷデータ４０１と同様に現像処理を行うと、一次記憶装置１０４の空き容量が不足乃至枯渇してしまう場合がある。そこで、第１の例では、ＲＡＷデータ４０４～４０６の現像処理を省略し、ＲＡＷデータ４０４～４０６のみを記録媒体１０６に記録する。

ところで、撮影後の画像確認は、通常は現像処理により生成された画像データを用いて表示部１０８に画像を表示することによって行われるため、現像処理により生成された画像データが存在しない場合にはＲＡＷデータから表示用画像を生成する必要が生じる。また、連続撮影された画像を撮影後にＲＡＷデータを用いて一覧表示させようとすると、一次記憶装置１０４の記憶容量を大量に使用することとなる。これらの場合、ＣＰＵ１０３や画像処理部１０５にも、大きな演算負荷が掛かることになる。

そこで、現像処理を省略したＲＡＷデータに対して代替画像の画像データ（代替データ）を組み合わせて、記録媒体１０６に保存するようにしてもよい。具体的には、第１の例の変形例として、図４（ａ）の下段に示すように、先ず、代替データとしてＪＰＥＧデータ４０２のコピーデータを作成する。そして、ＲＡＷデータ４０４～４０６に対してコピーデータを組み合わせて１組の撮影データ４０７～４０９を作成して、記録媒体１０６に記録する。

この場合には、１組の撮影データ４０７～４０９では、ＲＡＷデータ４０４～４０６の画像とコピーデータの画像とで、例えば、主被写体の画像上での位置等の画像内容が異なったものとなることがある。しかし、ＲＡＷデータ４０４～４０６は保存されているため、撮像終了後に改めてＲＡＷデータ４０４～４０６を現像処理することにより、ＲＡＷデータ４０４～４０６に対応するＪＰＥＧデータを生成することができる。例えば、撮像装置１００による撮像を行っていない時間を利用して、或いは、記録媒体１０６に記録された撮影画像を撮像装置１００又はＰＣ等の外部機器で再生する際に、現像処理を行ってもよい。その際、同じＪＰＥＧデータ４０２の画像が連続して一覧表示されていると、ユーザは現像処理が行われていないことを容易に認識することができる。

なお、１組の撮影データ４０７～４０９は、撮像終了後に改めて現像処理が必要であるとことを示す情報を含むことが望ましい。このような情報の添付には、例えば、ＲＡＷデータ４０４～４０６やＪＰＥＧデータ４０２のコピーデータのヘッダ領域等に書き込む方法や、インデックスファイルに書き込む方法等を用いることができる。現像処理が必要であるとことを示す情報として、単に現状処理が省略されたことを示すフラグ情報を画像データに付加してもよいし、省略された現像処理の種類を識別可能とするために省略された現像処理の種類を示す情報を画像データに付加してよい。

さて、ＲＡＷデータ４０１，４０４～４０６及びＪＰＥＧデータ４０２には、主被写体が丸印で簡略的に表されており、主被写体が画像上で左から右へ移動していることがわかる。特に、１組の撮影データ４０９では、ＲＡＷデータ４０６とコピーデータとでは内容が大きく異なってしまう。このような場合には、現像処理を省略する回数を減少させることが可能な範囲で可能な限り現像回数を多くすることにより、ＲＡＷデータとコピーデータとの内容の違いを少なくすることができ、その手法を現像省略処理の第２の例として次に説明する。

図４（ｂ）は、現像省略処理の第２の例を示す模式図である。ＲＡＷデータ４１１が一次記憶装置１０４に保持されると、画像処理部１０５がＲＡＷデータ４１１の現像処理を行い、これによりＪＰＥＧデータ４１２が生成される。そして、ＲＡＷデータ４１１とＪＰＥＧデータ４１２が１組の撮影データ４１３として記録媒体１０６に保存される。

図４（ａ）の第１の例と同様に、ＲＡＷデータ４１１に係る撮像に続いて３フレーム分の撮像が連続して行われて、ＲＡＷデータ４１４，４１６，４１９が生成されている。ＲＡＷデータ４１４については、第１の例と同様に現像処理の全てが省略されて、ＲＡＷデータ４１４のみが記録媒体１０６に保存される。ＲＡＷデータ４１６，４１９については、ＲＡＷデータ４１１，４１４と同様に処理される。つまり、ＲＡＷデータ４１６の現像処理を行ってＪＰＥＧデータ４１７を生成し、ＲＡＷデータ４１６とＪＰＥＧデータ４１７が１組の撮影データ４１８として記録媒体１０６に保存される。また、ＲＡＷデータ４１９のみが記録媒体１０６に保存される。

上述した第１の例については、現像処理を省略したＲＡＷデータ４０４～４０６に対してＪＰＥＧデータ４０２のコピーデータを付加する変形例について説明した。第２の例についても、これと同様の変形例を実行してもよい。つまり、図４（ｂ）の下段に示されるように、現像処理を省略したＲＡＷデータ４１４に対してＪＰＥＧデータ４１２を付加して１組の撮影データ４１５を生成し、記録媒体１０６に保存する。また、現像処理を省略したＲＡＷデータ４１９に対してＪＰＥＧデータ４１７を付加して１組の撮影データ４２０を生成し、記録媒体１０６に保存する。

このように、２回の撮像に対して１回の現像処理を行うことで、組み合わされたＲＡＷデータとコピーデータとの間の画像内容の乖離を低減させることができる。但し、１組の撮影データ４１５でも、ＲＡＷデータ４１４とＪＰＥＧデータ４１２では画像の内容が異なっている。そこで、コピーデータには、内容がＲＡＷデータと異なることをユーザに示すために、画像中に特定のマーク（例えば、コーテーションマーク等）を付与し、或いは、ファイル名に特定の文字列を挿入する等の表示（以下「相違表示」という）を施してもよい。これにより、ユーザは、未現像のＲＡＷデータを現像処理する際に、現像処理を行いたいＲＡＷデータをＪＰＥＧ画像から容易に見つけ出すことができる。

なお、１組の撮影データにおける相違表示は、コピーデータであるＪＰＥＧデータに対してのみ適用可能なものではない。例えば、ＲＡＷデータの内容を表示するためにＲＡＷデータに付与する表示用画像やマルチピクチャーフォーマット（ＣＩＰＡ ＤＣ－Ｘ００７－２００９）で規定される画像に対して相違表示を行ってもよい。これらの画像に対する相違表示は、図４に示した手法と同様に前の撮像（コマ）の画像データを流用してもよいし、現像処理により得られる本体の画像に必要な記憶容量を白画像等の単一色の画像等で確保して記録媒体１０６に記録するようにしてもよい。

上述した現像省略処理では、１回分の現像時間でＸフレーム分の画像を処理することができるため、一次記憶装置１０４の空き容量増加速度は‘（Ｎ／Ｔ）×Ｘ［ｂｉｔ／秒］’となる。よって、一次記憶装置１０４の減少速度Ｆ×Ｎ［ｂｉｔ／秒］と増加速度Ｎ／Ｔに基づいて‘Ｘ＝（Ｆ×Ｎ）／（Ｎ／Ｔ）’として算出することが可能である。なお、Ｘの値は、小数点以下を切り上げることが望ましく、これにより、一次記憶装置１０４の空き容量が不足乃至枯渇してしまう事態を回避することができる。

これに限らず、連続撮影された画像間の類似度に基づいて、ＲＡＷデータの現像処理の省略可否を判定するようにしてもよい。例えば、ＲＡＷデータ４０１とＲＡＷデータ４０４は類似度が高いためＪＰＥＧデータ４０２をコピーするが、ＲＡＷデータ４０１とＲＡＷデータ４０５は類似度が低いため、ＲＡＷデータ４０５についても現像処理を行う構成としてもよい。なお、画像間の類似度の判定は、既存の類似画像の判定方法、例えば画像間の差が少ない画像は類似増と判定する等、を用いる。

以上の説明の通り、現像省略処理の第１及び第２の例では、現像処理を省略することにより一次記憶装置１０４で空き容量が不足してしまう事態の発生を抑制することができる。これにより、ユーザは、連続撮影等を行う際に、一次記憶装置１０４の空き容量不足により撮像が中断してしまうことを気にすることなく撮像を行うことが可能になる。

さて、上述した現像省略処理の第１及び第２の例では、１フレームのＲＡＷデータについて現像処理の全てを省略した。しかし、このような手法に限らず、現像処理の内容を部分的に省略することによっても、一次記憶装置１０４での空き容量に不足乃至枯渇が生じてしまう事態の発生を回避することができる。また、第１の例においては、例えば、１組の撮影データ４０９においてＲＡＷデータ４０６とコピーデータとでは画像の内容（例えば主被写体の位置）に大きな乖離が生じてしまっており、このような乖離を抑制したいというニーズが想定される。そこで、次に、現像省略処理の第３の例として、現像処理の一部の内容を省略する手法について説明する。

図５は、現像省略処理の第３の例を示す図である。第１の省略対象として、ホワイトバランスやカラーマトリックス等の画像の色に関係する処理が挙げられる。省略手法としては、色を変化させる処理自体を省略してもよい。また、画像から検出された情報に基づいてホワイトバランス等を決定している場合には、その検出処理自体を省略してもよい。現像処理を省略していない前のフレームでの現像処理で使用したパラメータ又はデフォルトの固定パラメータを使用して現像処理を行う手法を用いることもできる。更に、現像処理のうち色に影響する処理が省略されていることをユーザが認識しやすくなるように、モノクロになるように現像処理を行うようにしてもよい。

第２の省略対象として、明るさ補正や光学補正の処理が挙げられる。省略手法としては、現像処理を省略していない前のフレームでの現像処理で使用したパラメータを使用して現像処理を行う手法が挙げられる。また、補正処理を省略して（補正オフ相当で）現像処理を行う手法が挙げられる。なお、補正オフ相当で現像処理を行うと、本来は画角内に写らないものが映り込んでしまい、画像として好ましくないものとなってしまう場合がある。よって、補正オフ相当での現像処理の可否をユーザが選択することが可能な構成としてもよい。

第３の省略対象として、顔検出処理等の被写体検出等の各種の検出処理が挙げられる。例えば、検出された顔の輝度や色に基づいて画像の明るさやホワイトバランスを制御する場合には、現像処理を省略していない前のフレームでの現像処理で使用したパラメータを使用して検出処理を行う。なお、被写体検出の処理結果に依存（関連）する処理を省略するようにしてもよい。

第４の省略対象として、ノイズ除去処理が挙げられる。例えば、ノイズ除去処理自体を省略してもよいが、その場合にはノイズが目立ってしまうため、画像縮小等を行ってノイズの低減効果を得ることが望ましい。また、簡易的なノイズ除去処理を行うように構成してもよい。

このようにして現像処理の内容を部分的に省略し又は簡易的に行う場合、どの処理要素を省略し又は簡易的に行うかの判断は、例えば、一次記憶装置１０４の空き容量の状況と現像処理時間に基づいて行ってもよい。具体例としては、画像処理部１０５が１フレームの撮像画像に適用する現像処理全体に要する時間Ｔ［秒］のうち、ある処理要素ｙに掛かる時間がＴｙ［秒］であるとする。その場合、複数の処理要素１，２，３，・・・を行う現像処理の完了に要する時間Ｔ［秒］は‘Ｔ＝Ｔ１＋Ｔ２＋Ｔ３＋・・・’と表すことができる。ここで、処理要素１，２を省略した場合には、現像処理に要する時間は‘Ｔ－Ｔ１－Ｔ２’となるため、一次記憶装置１０４での空き容量の増加速度は｛Ｎ／（Ｔ－Ｔ１－Ｔ２）｝となる。

そこで、一次記憶装置１０４での空き容量の減少速度Ｆ×Ｎ［ｂｉｔ／秒］に基づき、‘｛Ｎ／（Ｔ－Ｔ１－Ｔ２）｝＞Ｆ×Ｎ’の関係が成り立つように省略する処理要素を決めるとよい。これにより、ＲＡＷデータに対して省略なしに現像処理を行って得られる画像とは異なるものの、内容が近似した画像を得ることができ、ユーザは、得られた画像に基づいて、後に省略することなく現像処理したいＲＡＷデータを容易に発見することが可能になる。

画像処理でのどの処理要素を省略し又は簡易的に行うかは、各処理要素に優先順位を設けておき、一次記憶装置１０４の使用率（空き容量）に基づいて判断してもよい。例えば、画面の歪曲を補正する処理（以下「処理Ｄ」という）は、画面の周辺の光量落ちを補正する処理（以下「処理Ｖ」という）に比べて、処理後の画像の見た目への影響が大きくなる。そこで、処理Ｖが処理Ｄよりも優先的に省略されるように設定しておいて、一次記憶装置１０４の使用率が所定の閾値以下の場合には処理Ｖを省略し、使用率が所定の閾値よりも大きくなった場合には処理Ｖに加えて処理Ｄも省略するという設定も可能である。勿論、省略する処理要素の優先順位や一次記憶装置１０４の使用率の閾値は、処理時間と処理後の画像の見た目への影響の双方を基準にして決定してもよい。

なお、現像省略処理の第３の例でも、第１の例及び第２の例と同様に、後から改めて現像処理が必要なことを示す情報を現像後のファイル名に付与し、或いは、現像処理により生成された画像中に特定のマークを付与することは可能である。また、第３の例を適用した場合、どの処理を省略したかという情報をファイル名又は画像中に残すようにしてもよい。このような対処を行うことにより、ユーザは、例えば、見た目への影響が大きい処理Ｄを省略した画像と見た目への影響が小さい処理Ｖを省略した画像がある場合、処理Ｄを省略した画像を優先して現像処理を行うという判断を容易に行うことができる。また、画像中に省略した処理を示す特定のマークを付与しておくことで、ユーザは、画像を見た際にどの程度本来の画像と乖離しているかをイメージしやすくなるという効果も得られる。

このように、現像省略処理の第３の例を採用することによっても、一次記憶装置１０４の空き容量が不足乃至枯渇してしまう事態の発生を抑制することができ、安心して連続撮影を行うことが可能になる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、連続して取得した撮影画像のＲＡＷデータを一時的に一次記憶装置に保存し、一次記憶装置の使用状況や画像間の類似度に基づいて画像データの現像処理の全部又は一部を省略するか否かを判定し、判定結果に沿った現像処理を行うことを特徴とする。換言すれば、現像処理の制御に特徴があり、撮像素子や撮像光学系からなる撮像部には実質的に特徴はない。そのため、本発明は、撮像装置に限って適用されるものではなく、撮像部から有線通信又は無線通信により連続撮影された画像を取得して現像処理を行うことが可能な電子機器に適用が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 光学系
１０２ 撮像素子
１０３ ＣＰＵ
１０４ 一次記憶装置
１０５ 画像処理部
１０６ 記録媒体

Claims (15)

1. 連続的に撮像を行ってＲＡＷデータを取得する撮像手段と、
   前記ＲＡＷデータを一時的に記憶する記憶手段と、
   前記ＲＡＷデータを現像する現像手段と、
   前記記憶手段の使用状況に基づいて、前記現像手段による前記ＲＡＷデータの現像処理の一部または全部を省略するよう制御する制御手段と、
   前記ＲＡＷデータを記録媒体に記録する記録手段と、を備え、
   前記記録手段は、
   前記現像処理の全部が省略された場合に、前記ＲＡＷデータと代替データとを前記記録媒体に記録し、
   前記現像処理が省略されていない場合または前記現像処理の一部が省略された場合に、前記ＲＡＷデータと、前記ＲＡＷデータに対する前記現像処理により得られた画像データとを前記記録媒体に記録することを特徴とする撮像装置。
2. 前記記憶手段の使用状況とは、前記記憶手段の空き容量であることを特徴とする請求項１に記載の撮像装置。
3. 前記記憶手段の使用状況とは、前記記憶手段の空き容量の前記ＲＡＷデータの取得による減少速度と前記現像手段による増加速度との関係、または、所定のフレーム数での連続撮影に必要な前記記憶手段の空き容量のいずれかであることを特徴とする請求項１に記載の撮像装置。
4. 連続的に撮像を行ってＲＡＷデータを取得する撮像手段と、
   前記ＲＡＷデータを一時的に記憶する記憶手段と、
   前記ＲＡＷデータを現像する現像手段と、
   前記ＲＡＷデータの画像間の類似度に基づいて、前記現像手段による前記ＲＡＷデータの現像処理の一部または全部を省略するよう制御する制御手段と、
   前記ＲＡＷデータを記録媒体に記録する記録手段と、を備え、
   前記記録手段は、
   前記現像処理の全部が省略された場合に、前記ＲＡＷデータと代替データとを前記記録媒体に記録し、
   前記現像処理が省略されていない場合または前記現像処理の一部が省略された場合に、前記ＲＡＷデータと、前記ＲＡＷデータに対する前記現像処理により得られた画像データとを前記記録媒体に記録することを特徴とする撮像装置。
5. 前記代替データは、前記代替データと共に記録されるＲＡＷデータよりも前に撮影された画像のＲＡＷデータに対する前記現像処理によって生成された画像データであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記現像処理の一部が省略されて生成された画像データに、前記現像処理の一部を省略したことを示す情報を付与することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記現像処理の一部が省略されて生成された画像データに、省略した現像処理を示す情報を付与することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、前記代替データに前記現像処理の全部を省略したことを示す情報を付与することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
9. 前記現像処理は複数の処理を含み、
   前記制御手段は、前記記憶手段の使用状況に基づいて、前記複数の処理のうち省略する処理を決定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記記憶手段の使用状況と前記複数の処理の処理時間とに基づいて、前記複数の処理のうち省略する処理を決定することを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記記憶手段の使用状況と前記複数の処理の優先順位とに基づいて、前記複数の処理のうち省略する処理を決定することを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像手段は、
    撮像素子と、
    入射光を光学像として前記撮像素子に結像させる光学系と、を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 連続的に撮像を行ってＲＡＷデータを取得する撮像ステップと、
    前記ＲＡＷデータを一時的に記憶手段に記憶する記憶ステップと、
    前記ＲＡＷデータを現像する現像ステップと、
    前記記憶手段の使用状況に基づいて、前記現像ステップでの前記ＲＡＷデータの現像処理の一部または全部を省略するよう制御する制御ステップと、
    前記現像処理の全部が省略された場合に、前記ＲＡＷデータと代替データとを記録媒体に記録し、前記現像処理が省略されていない場合または前記現像処理の一部が省略された場合に、前記ＲＡＷデータと前記ＲＡＷデータに対する前記現像処理により得られた画像データとを前記記録媒体に記録するステップと、を有することを特徴とする撮像装置の制御方法。
14. 連続的に撮像を行ってＲＡＷデータを取得する撮像ステップと、
    前記ＲＡＷデータを一時的に記憶手段に記憶する記憶ステップと、
    前記ＲＡＷデータを現像する現像ステップと、
    前記ＲＡＷデータの画像間の類似度に基づいて前記現像ステップでのＲＡＷデータの現像処理の一部または全部を省略するよう制御する制御ステップと、
    前記現像処理の全部が省略された場合に、前記ＲＡＷデータと代替データとを記録媒体に記録し、前記現像処理が省略されていない場合または前記現像処理の一部が省略された場合に、前記ＲＡＷデータと前記ＲＡＷデータに対する前記現像処理により得られた画像データとを前記記録媒体に記録するステップと、を有することを特徴とする撮像装置の制御方法。
15. コンピュータを請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。

Images