JP2017203815A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】不要となった視差画像を消去することが可能な画像処理装置を提供する。
【解決手段】撮像光学系の異なる瞳部分領域ごとに、視差画像を出力する撮像素子を有する撮像装置を設ける。撮像装置が、視差画像を合成して合成画像を生成する。撮像装置が、視差画像と合成画像とを包むファイルを生成する。そして、撮像装置が、視差画像に基づく所定の処理の実行が必要でなくなった場合に、上記ファイルに包まれる視差画像を削除する制御を行う。
【選択図】図５

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。

撮影レンズの射出瞳を複数の瞳部分領域に分割し、分割された瞳部分領域に応じた複数の視差画像を取得することができる画像処理装置が提案されている。このような画像処理装置の例として、特許文献１は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を備える撮像装置を開示している。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成されている。

特許文献２は、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成する技術が開示されている。複数の視差画像の信号は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１は、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術を開示している。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

画像処理装置が、取得した複数の視差画像を包含するファイルを生成する場合、通常よりも画像ファイルのデータサイズが大きくなり、記録メディアの容量を圧迫する。本発明は、不要となった視差画像を消去することが可能な画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、撮像光学系の異なる瞳部分領域ごとに、視差画像を取得する取得手段と、前記視差画像を合成して合成画像を生成する合成手段と、前記視差画像と、前記合成画像とを包むファイルを生成する生成手段と、前記視差画像に基づく所定の処理の実行が必要でなくなった場合に、前記ファイルに包まれる前記視差画像を削除する制御を行う制御手段とを備える。

本発明の画像処理装置によれば、不要となった視差画像を消去することが可能となる。

撮像素子の構成を示す図である。 撮像素子が有する画素部の構成例である。 画素アレイの例を示す図である。 撮像素子における受光の状態を説明する図である。 撮像装置の構成を示す図である。 ＤＣＦ画像ファイルの構造の一例である。 ＲＡＷ画像ファイルの構造の一例である。 リフォーカスＲＡＷ画像ファイルの構造の一例である。 実施例１の撮像装置の動作処理を説明するフローチャートである。 実施例２の撮像装置の動作処理を説明するフローチャートである。 画像の表示処理を説明する図である。

図１は、本実施形態の撮像装置が備える撮像素子の構成を示す図である。
撮像素子１００は、複数の画素部を有する画素アレイ１０１、画素アレイ１０１における行を選択する垂直選択回路１０２、画素アレイ１０１における列を選択する水平選択回路１０４を含む。また、撮像素子１００は、画素アレイ１０１中の画素部のうち、垂直選択回路１０２によって選択される画素部の信号を読み出す読み出し回路１０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス１０５を含む。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し部１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。

典型的には、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読み出された複数の画素信号を列毎に順に選択する。

図２は、撮像素子が有する画素部の構成例である。
一つの画素部２０１は、マイクロレンズ２０２を有する。また、一つの画素部２０１には、光電変換部であるフォトダイオード（ＰＤ）が複数配置されている。図２においては、左側のＰＤ２０３と右側のＰＤ２０４の２つ有しているが、２つ以上であればいくつでもよく、例えば、４つのＰＤ、９つのＰＤなどでもよい。なお、画素部２０１は、図示された構成要素以外にも、例えば、ＰＤの信号を列読み出し回路１０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。

図３は、画素アレイの例を示す図である。
画素アレイ１０１は、２次元の画像を提供するために、図２で示すような画素部を複数２次元アレイ状に配列して構成される。３０１、３０２、３０３、３０４は画素部である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが、図２に示すＰＤ２０３に対応する。３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが、図２に示すＰＤ２０４に対応する。

図４は、撮像素子における受光の状態を説明する図である。
図４では、撮影レンズの射出瞳から出た光束が、撮像素子１００に入射している。４０１は、画素アレイの断面を示す。４０２は、マイクロレンズであり、４０３は、カラーフィルターである。４０４、４０５は、フォトダイオードである。ＰＤ４０４、ＰＤ４０５は、それぞれ、図２に示すＰＤ２０３、ＰＤ２０４に対応する。４０６は、撮影レンズの射出瞳を示す。

マイクロレンズ４０２を有する画素部に対して、射出瞳から出た光束の中心を光軸４０９とする。射出瞳から出た光は、光軸４０９を中心として撮像素子１００に入射される。４０７、４０８は、撮影レンズの射出瞳の一部領域（瞳部分領域）を示す。瞳部分領域４０７を通過する光の最外周の光線は４１０、４１１で示す。瞳部分領域４０８を通過する光の最外周の光線を４１２、４１３で示す。図４からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射され、下側の光束はＰＤ４０４に入射される。つまり、ＰＤ４０４とＰＤ４０５は、それぞれ、撮影レンズの射出瞳の別の領域の光を受光し、撮像光学系の異なる瞳部分領域ごとに、視差を有する画像（視差画像）を出力する。

図５は、本実施形態の撮像装置の構成を示す図である。
図５では、撮像装置をデジタルカメラに適用した場合を例にとって説明する。
図５に示す撮像装置は、レンズ部５０１乃至リフォーカス演算部５１７を備える。レンズ部５０１は、被写体の光学像を撮像素子５０５に結像させる。レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを実行する。メカニカルシャッター５０３は、シャッター制御手段５０４によって制御されて露光時間を調節する。撮像素子５０５は、レンズ部５０１で結像された被写体を画像信号として取り込む。

撮像信号処理回路５０６は、撮像素子５０５から出力される画像信号に各種の補正を行ったり、所定の画素補間処理や色変換処理を行う。タイミング発生部５０７は、撮像素子５０５、撮像信号処理回路５０６に、各種タイミング信号を出力する。全体制御・演算部５０９は、各種演算と撮像装置全体を制御する。

メモリ部５０８は、画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部５１０は、記録媒体に記録または読み出しを行うインターフェースである。記録媒体５１１は、画像データの記録または読み出しを行う。記録媒体５１１は、例えば半導体メモリである。外部Ｉ／Ｆ部５１２は、ユーザがデジタルカメラに対して、操作を行うために用いられる。圧縮伸張回路５１４は、画像データを所定の画像圧縮方法で、例えばＪＰＥＧデータに画像圧縮し、画像圧縮された画像データをメモリ部５０８に書き込む。画像圧縮方法は、例えば、適応離散コサイン変換（ＡＤＣＴ）等である。また、圧縮伸張回路５１４は、メモリ部５０８から読み出した画像データを伸長し、伸長した画像データをメモリ部５０８に書き込む。表示部５１５は、各種情報や撮影画像を表示する。表示制御回路５１６は、表示部５１５を制御する。表示制御回路５１６は、平面画像として画像データを表示するための表示制御や、立体画像として画像データを表示するための表示制御を行う。

次に、図５に示す撮像装置の撮影時の動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路５０６などの撮像系回路の電源がオンされる。外部Ｉ／Ｆ部５１２が有する図示しないレリーズボタンが押されると、全体制御・演算部５０９が、撮像素子からのデータを元に焦点検出演算を行い、レンズ駆動装置５０２を制御して、焦点調節を行う。そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、撮像素子５０５から出力された画像信号が、撮像信号処理回路５０６で画像処理され、全体制御・演算部５０９によりメモリに書き込まれる。

撮像素子５０５は、ＰＤからの全ての画像信号を出力する。撮像信号処理回路は、撮像素子５０５から出力された画像データを左目画像データと右目画像データに分けて画像処理を行う。左目画像とは、図３における３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌという左のＰＤ出力のみを選択的に処理した画像となる。また、右目画像は、図３における３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒという右のＰＤ出力のみを選択的に処理した画像となる。左目画像と右目画像は、互いに視差を有する視差画像である。左目画像と右目画像とは、別々にメモリ部５０８に保持される。

画像合成回路５１３は、メモリ部５０８に蓄積された左目画像と右目画像とを合成して合成画像を生成する。画像合成回路５１３は、生成した合成画像をメモリ部５０８に蓄積する。画像合成回路５１３によって実行される画像処理は、左目画像と右目画像の画素毎の加算平均値を求める処理である。撮像素子５０５から読み出された画像データが、左目画像と右目画像とでは被写体の形状が異なって撮影されても、画像合成回路５１３による合成処理によって、被写体の形状が補間され、正しい形状の画像データが生成される。全体制御・演算部５０９は、視差画像と合成画像とを含むファイル（リフォーカスＲＡＷ画像ファイル）を生成して記録媒体５１１に格納する。

リフォーカス演算部５１７は、リフォーカスＲＡＷ画像ファイルに含まれる視差画像に基づいて、撮影後にフォーカス位置を再修正する処理であるリフォーカス処理を生成する。ライトフィールドフォトグラフィでは、視差画像から、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド：ＬＦ）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定することで、所定の対象に合焦した画像データを生成することが可能となる。なお、リフォーカス処理は本実施形態の主眼ではなく、上述した手法以外の手法を用いても良い。生成された画像データは、メモリ部５０８や、記録媒体５１１などへ格納される。

図６は、一般的なＤＣＦ画像ファイルの構造の一例である。
ＤＣＦ画像ファイル６００は、現在最も多くのデジタルカメラにて出力可能なファイルである。ＤＣＦ画像ファイル６００は、ＤＣＦヘッダ部６０１、サムネイル画像部６０２、ＪＰＥＧ画像部６０３を有する。

ＤＣＦヘッダ部６０１は、ＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、ＪＰＥＧ画像部６０３に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ（６０４）が含まれる。また、ＤＣＦヘッダ情報には、サムネイル画像までのオフセット値Ｂ（６０５）、ＪＰＥＧ画像までのオフセット値Ｃ（６０６）が含まれる。オフセット値Ｂ、Ｃにより、各画像データの開始位置が特定される。

サムネイル画像部６０２は、表示部５１５に複数枚（インデックス）表示を行う際などに利用するために、ＪＰＥＧ画像部６０３に格納されているＪＰＥＧ画像などを間引いてリサイズしたサムネイル画像を格納する領域である。ＪＰＥＧ画像部６０３は、撮像信号処理回路５０６で画像処理した後、圧縮伸張回路５１４で圧縮して得られたＪＰＥＧ画像を格納する領域である。

図７は、一般的なＲＡＷ画像ファイルの構造の一例である。
ＲＡＷ画像ファイル７００は、ＲＡＷヘッダ部７０１、サムネイル画像部７０２、表示画像部７０３、ＲＡＷ画像部７０４を有する。ＲＡＷヘッダ部７０１は、ＲＡＷヘッダ情報を格納する領域であって、あらかじめ所定のデータサイズが与えられている。ＲＡＷヘッダ情報には、ＲＡＷ画像部７０４に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ（７０５）が含まれる。また、ＲＡＷヘッダ情報には、サムネイル画像までのオフセット値Ｂ（７０６）、表示画像までのオフセットＣ（７０７）、ＲＡＷ画像までのオフセットＤ（７０８）が含まれる。ＲＡＷ画像部７０４は、撮像素子５０５から読み出された現像、圧縮前の容量の大きい画像データであるＲＡＷ画像を格納する領域である。

図８は、本実施形態の撮像装置が生成するリフォーカスＲＡＷ画像ファイルの構造の一例である。
リフォーカスＲＡＷ画像ファイル８００は、ＲＡＷヘッダ部８０１、サムネイル画像部（両目画像）８０２、表示画像部（両目画像）８０３、ＲＡＷ画像部（両目画像）８０４、ＲＡＷ画像部（片目画像）８０５を有する。サムネイル画像部（両目画像）８０２、表示画像部（両目画像）８０３、ＲＡＷ画像部（両目画像）８０４は、画像合成回路５１３によって合成された合成画像を格納する。ＲＡＷ画像部（片目画像）８０５は、合成されていない視差画像、具体的には、左目画像と右目画像のうちのいずれか一方の画像を格納する。ＲＡＷ画像部（片目画像）８０５に格納されている視差画像は、リフォーカスは、リフォーカス処理に必要なデータ（リフォーカスデータ）として機能する。

（実施例１）
図９は、実施例１の撮像装置の動作処理を説明するフローチャートである。
Ｓ９０１において、全体制御・演算部５０９が、動作モードを再生モードに移行する。Ｓ９０１の処理に移る場合として、以下の３パターンが考えられる。
１．再生モード以外で起動中であり、その後再生モードに切り換える。
２．起動時に既に再生モードに設定されている。
３．再生モードで別の画像を指定された時に再生モードに切り換える。

Ｓ９０２において、全体制御・演算部５０９が、リフォーカスＲＡＷ画像ファイル８００を記録媒体５１１から取得し、メモリ部５０８に一時保存する。続いて、Ｓ９０３において、全体制御・演算部５０９が、読み込んだリフォーカスＲＡＷ画像ファイル８００のヘッダ情報を解析する。ヘッダ情報は、図８の８０１に該当する。

次に、Ｓ９０４において、全体制御・演算部５０９が、Ｓ９０３で解析した結果をもとに、表示部５１５に図８の表示画像部（両目画像）８０３に格納されている画像を表示させる。全体制御・演算部５０９は、表示中の画像はリフォーカスが可能であることを示す情報を表示する。

図１１は、画像の表示処理を説明する図である。
図１１（Ａ）に示すように、全体制御・演算部５０９は、表示中の画像はリフォーカスが可能であることを示す文字やアイコンを画像に重畳させる。ユーザは、画像を拡大するなどの操作によってピント状況を確認する。

Ｓ９０５において、ユーザの操作にしたがって、全体制御・演算部５０９が、図１１（Ｂ）に示すリフォーカスデータ削除確認画面を表示する。リフォーカスデータ確認画面は、リフォーカスデータの削除を確認するＵＩである。ユーザは、表示されたリフォーカスデータ削除確認画面を利用して、リフォーカスデータの削除を行うことが可能になる。

次に、Ｓ９０６において、全体制御・演算部５０９が、リフォーカスデータの削除が選択されたかを判断する。リフォーカスデータの削除が選択されなかった場合は、処理を終了する。リフォーカスデータの削除が選択された場合は、全体制御・演算部５０９が、Ｓ９０２においてメモリ部５０８に格納されたＲＡＷ画像データから、ＲＡＷ画像部（片目画像）を削除する。すなわち、全体制御・演算部５０９は、視差画像に基づく所定の処理（リフォーカス処理）の実行が必要でなくなった場合に、リフォーカスＲＡＷ画像ファイルに包まれる視差画像を削除する制御を行う制御手段として機能する。本実施例では、全体制御・演算部５０９は、ユーザによる視差画像を削除する指示にしたがって、視差画像を削除する。

次に、Ｓ９０８において、全体制御・演算部５０９が、ＲＡＷヘッダ部８０１を編集し、ＲＡＷ画像部（片目画像）までのオフセット：Ｅ（８１１）を削除する。また、全体制御・演算部５０９が、撮影情報、パラメータなどのメタデータ：Ａ（８０７）に格納されているリフォーカス可能情報を削除する。

Ｓ９０９において、全体制御・演算部５０９が、記録媒体５１１に記録されている該当ファイルを削除し、メモリ部５０８で編集したデータを新たに記録媒体５１１に保存する。これにより、ＲＡＷ画像部（片目画像）８０５のないＲＡＷ画像ファイルに置き換える。

以上説明した実施例１の撮像装置は、リフォーカスＲＡＷ画像ファイルにおいてユーザがリフォーカス処理を不要と判断した場合、ＲＡＷ画像部（片目画像）８０５を削除する。これにより、不要なＲＡＷ画像部（片目画像）８０５分のファイル容量を削減することができる。

（実施例２）
図１０は、実施例２の撮像装置の動作処理を説明するフローチャートである。
Ｓ１００１乃至Ｓ１００３は、図９のＳ９０１乃至Ｓ９０３と同様である。Ｓ１００４において、全体制御・演算部５０９が、図８の表示画像部（両目画像）８０３に格納されている画像を表示する。Ｓ１００４では、全体制御・演算部５０９は、さらに、図１１（Ｃ）に示すパラメータ選択ＵＩ画面を追加で表示する。図１１（Ｃ）に示す例では、タッチパネルでユーザがフォーカスを合わせたいポイントを指定することができる。

Ｓ１００５において、リフォーカス演算部５１７が、ユーザの指定した位置にフォーカスを合わせた画像を生成し、表示部５１５に表示する。
次に、Ｓ１００６において、全体制御・演算部５０９が、リフォーカスが完了したかを判断する。この例では、表示した結果の画像をユーザが確認し、リフォーカス処理の完了または再実行を指示する操作を行い、全体制御・演算部５０９は、この操作に基づいて、リフォーカスが完了したかを判断する。リフォーカスが完了していない場合は、処理がＳ１００４に戻る。リフォーカスが完了した場合は、処理がＳ１００７に進む。

次に、Ｓ１００７において、全体制御・演算部５０９が、ユーザの選択にしたがって、新規に静止画像のファイルとしてＪＰＥＧ画像ファイルを生成するかを判断する。ユーザが新規にＪＰＥＧ画像ファイルを生成することを選択した場合は、処理がＳ１００９に進む。Ｓ１００９において、全体制御・演算部５０９が，Ｓ１００４において生成された画像データをもとに、サムネイル画像部６０２、ＪＰＥＧ画像部６０３を生成する。また、全体制御・演算部５０９が、ＲＡＷ画像ファイルの撮影情報、パラメータなどのメタデータ：Ａ（８０７）をもとに、ＪＰＥＧ画像ファイルの撮影情報、パラメータなどのメタデータ：Ａ（６０４）を生成する。Ｓ１０１０において、全体制御・演算部５０９は、ＪＰＥＧ画像ファイルを記録媒体５１１に保存する。

ユーザが、ＪＰＥＧ画像ファイルの生成をしないことを選択した場合は、処理がＳ１００８に進む。Ｓ１００８において、全体制御・演算部５０９が、リフォーカスＲＡＷ画像ファイル８００内の画像データを更新する。具体的には、全体制御・演算部５０９は、Ｓ１００４で生成された画像データをもとに、サムネイル画像部（両目画像）８０２、表示画像部（両目画像）８０３、ＲＡＷ画像部（両目画像）８０４の画像データを更新する。また、全体制御・演算部５０９撮影情報、パラメータなどのメタデータ：Ａ（８０７）も更新する。

Ｓ１０１１において、ユーザの操作にしたがい、全体制御・演算部５０９が、図１１（Ｂ）に示すリフォーカスデータ削除確認画面を表示する。そして、全体制御・演算部５０９が、リフォーカスデータの削除が選択されたかを判断する。リフォーカスデータの削除が選択された場合は、全体制御・演算部５０９が、図９のＳ９０７乃至Ｓ９０９と同様の処理を行う。すなわち、Ｓ１０１２において、全体制御・演算部５０９が、ＲＡＷ画像データから、ＲＡＷ画像部（片目画像）を削除する。また、Ｓ１０１３において、全体制御・演算部５０９が、ＲＡＷヘッダ部８０１を編集する。そして、Ｓ１０１４において、全体制御・演算部５０９が、記録媒体５１１に記録されている該当ファイルを削除し、編集したデータを新たに記録媒体５１１に保存する。これにより、ＲＡＷ画像部（片目画像）８０５のないＲＡＷ画像ファイルに置き換える。

すなわち、全体制御・演算部５０９は、リフォーカス処理の実行が完了した場合に、静止画像の生成指示があるかを判断する（Ｓ１００７）。そして、静止画像の生成指示がない場合に、リフォーカスＲＡＷ画像ファイル内の合成画像を更新するとともに、視差画像を削除する。また、静止画像の生成指示がある場合に、全体制御・演算部５０９は、静止画像を生成して保存するとともに（Ｓ１００９，Ｓ１０１０）、視差画像を削除する。

Ｓ１０１１において、リフォーカスデータの削除が選択されなかった場合は、全体制御・演算部５０９は、リフォーカスデータを付随したまま、リフォーカスＲＡＷ画像ファイルを記録媒体５１１に保存する。

以上のように、本実施例によれば、ユーザが所望するフォーカス状態の画像が得られると同時にリフォーカスデータの削除を促すことができる。これによりリフォーカスデータの削除を忘れることにより、記録媒体５１１を圧迫することが回避される。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０５ 撮像素子
５０９ 全体制御・演算部

Claims (10)

1. 撮像光学系の異なる瞳部分領域ごとに、視差画像を出力する出力手段と、
   前記視差画像を合成して合成画像を生成する合成手段と、
   前記視差画像と、前記合成画像とを包むファイルを生成する生成手段と、
   前記視差画像に基づく所定の処理の実行が必要でなくなった場合に、前記ファイルに包まれる前記視差画像を削除する制御を行う制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記制御手段は、ユーザによる前記視差画像を削除する指示にしたがって、前記視差画像を削除する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記所定の処理の実行が完了した場合に、前記ファイル内の前記合成画像を更新するとともに、前記視差画像を削除する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、
   前記所定の処理の実行が完了した場合に、静止画像の生成指示があるかを判断し、前記静止画像の生成指示がない場合に、前記ファイル内の前記合成画像を更新するとともに、前記視差画像を削除する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記静止画像の生成指示がある場合に、前記静止画像を生成して保存するとともに、前記視差画像を前記ファイルから削除する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記制御手段は、前記視差画像の削除を確認する画面を表示する
   ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記所定の処理は、撮影後にフォーカス位置を再修正するリフォーカス処理である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、マイクロレンズを有する画素部に配置された複数の光電変換部を有し、前記視差画像を出力する撮像素子である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置として機能する撮像装置。
9. 撮像光学系の異なる瞳部分領域ごとに、視差画像を出力する出力工程と、
   前記視差画像を合成して合成画像を生成する合成工程と、
   前記視差画像と、前記合成画像とを包むファイルを生成する生成工程と、
   前記視差画像に基づく所定の処理の実行が必要でなくなった場合に、前記ファイルに包まれる前記視差画像を削除する制御を行う制御工程とを有する
   ことを特徴とする画像処理装置の制御方法。
10. コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。

Images