JP2017011652A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】被写体の距離分布に関連する情報を取得してマップデータを処理する画像処理装置において、省電力化を図り、マップデータの解像度が被写体の画像データの解像度より低い場合でも、より正確に整形処理を行うこと。【解決手段】撮像部１０５は、撮像光学系１０４を通して被写体を撮像して画像データを取得する。距離マップ取得部１１０は、被写体の距離分布に関連する情報を距離マップデータとして取得する。距離マップデータの解像度は、撮像された画像データの解像度よりも相対的に低い。画像処理部１０７は、被写体の画像データに基づいて距離マップの整形処理を行う際、距離マップの解像度に合わせて被写体の画像データを参照する。【選択図】図１

Description

本発明は、被写体の距離分布に関連する情報を取得して整形処理する技術に関する。

撮像装置から被写体までの距離情報の分布を表す距離マップにおいて、被写体の輪郭に対応する距離値を、撮影画像を用いて正しい輪郭に合わせる処理（距離マップ整形処理）が知られている。特許文献１では、高解像度距離マップを生成する目的で、低解像度距離マップと高解像度の撮影画像を用いてアップサンプリングを行う方法が開示されている。

特開２０１４−１５０５２１号公報

しかし、特許文献１では、低い解像度の距離マップをアップサンプリングせずに整形処理することについては開示されていない。

本発明は、上記課題に鑑み、被写体の距離分布に関連する情報を取得してマップデータを処理する画像処理装置において、省電力化を図り、マップデータの解像度が被写体の画像データの解像度より低い場合でも、より正確に整形処理を行うことを目的とする。

本発明の一実施形態の画像処理装置は、被写体の距離分布に関連する情報を、第１の解像度のマップデータとして取得する第１の取得手段と、前記被写体の画像データを、前記第１の解像度よりも高い第２の解像度の画像データとして取得する第２の取得手段と、前記第２の取得手段により取得された前記画像データに基づいて、前記マップデータを整形する整形手段と、を有し、前記整形手段は、前記第２の解像度から前記第１の解像度に変更された前記画像データを参照することにより、前記第１の解像度で前記マップデータの整形を行う。

本発明の画像処理装置によれば、マップデータの解像度が被写体の画像データの解像度より低い場合でも、省電力化を図り、より正確に整形処理を行うことができる。

本発明の第１実施形態に係るデジタルカメラの機能構成を示すブロック図である。 本発明の第１実施形態に係る画像処理部の機能構成を示すブロック図である。 本発明の実施形態に係るプレフィルタ部の特性例を示す図である。 本発明の実施形態に係る距離マップ整形部による処理を説明する図である。 本発明の第２実施形態に係るデジタルカメラの機能構成を示すブロック図である。 本発明の第２実施形態に係る画像処理部の機能構成を示すブロック図である。 本発明の第２実施形態に係る撮像部の構成例を示す図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。各実施形態に係る画像処理装置として、デジタルカメラに適用した例を説明する。
［第１実施形態］
図１は、本実施形態に係るデジタルカメラの機能構成を例示するブロック図である。図１の各構成部は、バス１１１を介して相互に信号を送受可能である。

システム制御部１０１はＣＰＵ（中央演算処理装置）を備える。システム制御部１０１は、デジタルカメラ１００の各構成部の動作や処理を制御するプログラムをＲＯＭ（リード・オンリ・メモリ）１０２から読み出し、ＲＡＭ（ランダム・アクセス・メモリ）１０３に展開して実行する。ＲＯＭ１０２は、データの書き換えが可能な不揮発性メモリであり、デジタルカメラ１００の動作や処理を制御するプログラムの他に、各構成部の動作に必要なパラメータ等を記憶する。例えば、焦点検出等に必要なレンズ情報としての射出瞳距離等のデータがＲＯＭ１０２に記憶されている。ＲＡＭ１０３は、データの書き換えが可能な揮発性メモリであり、デジタルカメラ１００の処理において出力されたデータの一時的な記憶領域として用いられる。

撮像光学系１０４は、被写体からの光を撮像部１０５に結像する。撮像光学系１０４はレンズや絞りを備え、絞りは撮像光学系１０４の開口径を調節することで撮影時の光量調節を行う。撮像部１０５は、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子を備える。撮像素子は、撮像光学系１０４により結像された光学像を光電変換し、得られたアナログ画像信号をＡ（アナログ）／Ｄ（デジタル）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、デジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の処理を行う。記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像等のデータが、記録画像データとして記録される。表示部１０９はＬＣＤ（液晶表示ディスプレイ）等の表示デバイスを備える。表示部１０９は撮像部１０５により取得された撮像データに基づいて被写体像をスルー表示する等、様々な情報を表示する。

距離マップ取得部１１０は所定の検出方法で被写体の距離情報を取得する距離センサモジュールである。例えば距離マップ取得部１１０は、「Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）」法等で被写体の距離分布に関連する情報を取得する。ＴＯＦ法では、光源からの出射光が対象物で反射し、検出部が受光するまでの時間と光速度に基づいて被写体までの距離情報が取得される。距離マップ取得部１１０は、被写体の画像データの解像度（画素数）よりも低い解像度（分解能、サンプル数）の距離マップデータをデジタルデータとしてＲＡＭ１０３に出力して記憶させる。

図２は、図１の画像処理部１０７の構成例を示すブロック図である。
現像部２０１は、撮影画像入力２０９として、Ａ／Ｄ変換後のデジタル画像データを取得し、ホワイトバランス調整、色補間等から成る現像処理を行い、動画記録用の現像画像を生成する。現像画像のデータは、プレフィルタ部２０２が処理した後、縮小部２０３が縮小することで、動画画像出力２１２に係る出力解像度に合わせてリサイズ処理される。本実施形態においては、撮影画像入力２０９での入力解像度を８０００×４０００画素とし、動画画像出力２１２での出力解像度を２０００×１０００画素とする。つまり、縮小部２０３のリサイズ率は水平方向および垂直方向でそれぞれ１／４である。

プレフィルタ部２０２の振幅周波数特性は縮小部２０３のリサイズ率に応じて決定され、例えば、図３のグラフ曲線３０１に示す。図３の横軸はサンプリング周波数を１．０として正規化した周波数を表し、縦軸は周波数０．０における振幅を１．０として正規化した振幅を表す。現像画像を水平方向に１／４で、垂直方向に１／４の比率でリサイズする場合、プレフィルタ部２０２はグラフ曲線３０１に示す特性を有する。すなわち、グラフ曲線３０１は、リサイズ後にエイリアス成分となる現像画像のナイキスト周波数である０．５の１／４よりも高周波な信号を遮断する振幅周波数特性を示している。

図２の位置合わせ部２１５は距離マップ入力２１０のデータを取得し、図１の撮像部１０５と距離マップ取得部１１０との視点差で生じる、画像と距離マップとの位置ずれを補正することで位置合わせを行う。具体的には、位置合わせ部２１５は距離マップを位置ずれ量分だけシフトさせて、画像に対して位置が合うように処理を行う。本実施形態では、距離マップを位置ずれ量分だけシフトさせることで位置合わせが行われるものとする。これに限らず、画像と距離マップの位置ずれが補正できればよいので、画像を位置ずれ量分だけシフトさせることにより、画像と距離マップとの位置合せを行ってもよい。

動画画像入力２１１の画像データは、プレフィルタ部２０４と２０６が処理する。まず、プレフィルタ部２０４によるフィルタ処理後のデータは縮小部２０５が処理し、位置合わせ部２１５の出力解像度に合わせてリサイズされる。本実施形態においては、位置合わせ部２１５の出力解像度を２００×１００画素とし、縮小部２０５のリサイズ率が水平方向および垂直方向にてそれぞれ１／１０である。プレフィルタ部２０４の振幅周波数特性はリサイズ後の高周波成分が抑圧されないように決定される。プレフィルタ部２０４および縮小部２０５は画像の縮小手段を構成しており、整形用画像データを距離マップ整形部２０８に出力する。プレフィルタ部２０４の振幅周波数特性を、図３のグラフ曲線３０２に例示する。グラフ曲線３０２は、リサイズ後の高周波成分が存在する周波数０．５×１／１０付近の高周波成分を抑圧しない振幅周波数特性を示す。本実施形態では、プレフィルタ部２０４の振幅周波数特性に関して図３のグラフ曲線３０２に示す特性を一例として説明したが、これに限定されるものではない。例えば、リサイズ後の高周波成分が抑圧されないようにプレフィルタ処理自体を無効にしてもよい。

プレフィルタ部２０６によるフィルタ処理後のデータは縮小部２０７が処理し、表示画像出力２１４に係る出力解像度に合わせてリサイズされる。プレフィルタ部２０６および縮小部２０７は画像の縮小手段を構成しており、表示用の画像データを表示部１０９に出力する。本実施形態においては、動画画像入力２１１での入力解像度を２０００×１０００画素とし、表示画像出力２１４での出力解像度を５００×２５０画素とする。つまり、縮小部２０７のリサイズ率は水平方向および垂直方向にてそれぞれ１／４である。プレフィルタ部２０６の振幅周波数特性は、プレフィルタ部２０２の場合と同様に、図３のグラフ曲線３０１で示す特性であり、画像の縮小によって発生するエイリアスを、プレフィルタ部２０４よりも強く抑圧する。

図２の距離マップ整形部２０８は、位置合わせ部２１５が出力する距離マップと、縮小部２０５が出力する整形用画像を用いて、距離マップの整形処理を行う。以下、整形処理後の距離マップを「整形距離マップ」という。本実施形態においては、整形距離マップ出力２１３に係る出力解像度は、位置合わせ部２１５の出力解像度と同じ２００×１００画素であるものとする。距離マップの整形処理について、以下に説明する。

距離マップ整形部２０８は、整形用画像を参照しながら距離マップに対してバイラテラルフィルタ処理を施す。バイラテラルフィルタ処理にて、着目画素位置ｐのフィルタ結果をＪｐと記すと、これは下記式（１）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜） ・・・（１）

式（１）中の各記号の意味は以下のとおりである。
ｑ ：周辺画素位置
Ω ：着目画素位置ｐを中心とする積算対象領域
Σ ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおける距離マップ信号値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ ：着目画素位置ｐでの整形用画像の画素値
Ｉ２ｑ ：周辺画素位置ｑでの整形用画像の画素値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像の画素値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ ：正規化係数であり、ｆ・ｇ重みの積算値。

着目画素位置ｐでの画素値Ｉ２ｐと周辺画素位置ｑでの画素値Ｉ２ｑとの差が小さい場合、つまり整形用画像において着目画素の画素値と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。

図４は、図２の距離マップ整形部２０８が行う処理を説明するための図である。図４（Ａ−１）および（Ｂ−１）では、紙面内において左右方向をｘ方向とし、右方向を＋ｘ方向と定義する。また紙面内においてｘ方向に直交する上下方向をｙ方向とし、上方向を＋ｙ方向と定義する。

図４（Ａ−１）はリサイズ後の整形用画像４０１を例示し、被写体は画面右の人物と背景である。図４（Ａ−２）は、図４（Ａ−１）にて一点鎖線４０２に示す位置での断面における画素値プロファイル４０３を表わしている。横軸はｘ座標を表し、縦軸は画素値を表す。画素値プロファイル４０３の形状は、ｘ座標の増加方向においてｘｓの位置で大きく変化（低下）するステップ形状である。図２に示すリサイズ用のプレフィルタ部２０４は、リサイズ後の高周波成分が抑圧されない振幅周波数特性でフィルタ処理を行う。よって、画素値プロファイル４０３は人物の輪郭部でシャープなエッジを保っている。

図４（Ｂ−１）は距離マップ４０４を例示する。図４（Ｂ−１）において点線で示す部分は、図４（Ａ−１）に示した整形用画像における人物の輪郭を表している。図４（Ｂ−２）は、図４（Ａ−２）にて一点鎖線４０５で示す位置（図４（Ａ−１）に一点鎖線４０２で示す位置に対応する）での断面における距離値プロファイル４０６を実線で表わしている。横軸はｘ座標を表し、縦軸は距離値を表す。距離値については、カメラの位置から遠くにある背景の距離値が小さく、近くに位置する人物の距離値が大きいものとする。図４の場合、距離マップの人物の輪郭が、正解である整形用画像の人物の輪郭より外側にはみ出している。図４（Ｂ−２）に実線で示す距離値プロファイル４０６の形状は、ｘ座標の増加方向においてｘｓよりも小さいｘａの位置で大きく変化（増加）するステップ形状である。

式（１）における着目画素位置ｐを、黒点４０８、４１０、４１２、４１４でそれぞれ示す。線分４０９、４１１、４１３、４１５は式（１）のｇ値が大きい領域、つまり平滑化の範囲を示している。整形用画像の画素値プロファイル４０３は、人物の輪郭に対応する位置ｘｓで急峻に変化している。このため、人物の輪郭近傍の着目画素位置を示す黒点４１０および４１２の位置では、平滑化の範囲がそれぞれ線分４１１および４１３のようになり、正解である整形用画像の人物輪郭に沿うようになる。その結果、式（１）に示すフィルタ結果Ｊｐの値をプロットすると点線で示すグラフ線４０７となる。グラフ線４０７の形状は、ｘ座標の増加方向においてｘｓの位置で大きく変化（増加）するステップ形状である。つまり、距離マップの整形処理によって、距離マップの人物輪郭が正しい輪郭（整形用画像の人物輪郭）に合うことになる。

本実施形態によれば、入力画像データの解像度よりも相対的に低い解像度のマップデータを低解像度のまま整形して出力する場合でも、マップデータを正しく整形することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、視差を有する複数の画像データを取得して被写体の距離分布に関連するマップデータを生成する処理について説明する。本実施形態に係る撮像装置において第１実施形態の場合と同様の部分については、既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。

図５は、本実施形態に係るデジタルカメラ５００の機能構成を示すブロック図である。図１に示す構成との相違点は撮像部５０５および画像処理部５０７である。

図７（Ａ）は、撮像部５０５の画素配列を説明するための図である。図７（Ｂ）はある１つの画素部７０２の断面構造を拡大して示す模式図である。撮像部５０５において、複数の画素部７０２が二次元アレイ状に規則的な配列で配置されている。１つの画素部７０２はマイクロレンズ７０１と、一対の光電変換部７０３，７０４とから構成される。本実施形態においては、第１の光電変換部７０３の出力信号からＡ像が生成され、第２の光電変換部７０４の出力信号からＢ像が出力されるものとする。このように構成することで、撮像光学系１０４の異なる瞳領域を通過する一対の光束を光学像としてそれぞれに結像させて、一対の画像であるＡ像およびＢ像として出力することができる。Ａ像とＢ像の各データの相関演算によってデフォーカス量が算出される。デフォーカス量の空間的な分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成され、被写体の距離分布に関連するデータが得られる。なお、画素部における光電変換部の分割の方向および数については、仕様に応じて任意に変更が可能であり、分割された複数の光電変換部から画像取得処理が行われ、視差を有する複数の画像データが得られる。

図６は、図５の画像処理部５０７の構成を説明するブロック図である。各構成部（符号２０１から２０８、および符号２１１から２１４）に関しては、第１実施形態にて図２で説明した構成部と同じである。

図６（Ａ）は、加算部６０１、現像部２０１、複数のプレフィルタ部２０２，６０２，６０４と、複数の縮小部２０３，６０３，６０５を示す。Ａ像入力６０７とＢ像入力６０８は、加算部６０１によって加算される。加算部６０１は、Ａ像とＢ像の各データを加算することで、撮像光学系１０４の瞳の全領域を通過した光束による光学像を、デジタル的に再構成する。加算部６０１は加算処理後のデータを現像部２０１に出力する。現像部２０１は、加算部６０１から取得した画像データを処理し、現像画像のデータを出力する。現像画像のデータは、プレフィルタ部２０２（振幅周波数特性は図３の３０１参照）が処理した後、縮小部２０３が処理する。画像データは縮小処理により、動画画像出力２１２に係る出力解像度に合わせてリサイズされる。本実施形態においては、Ａ像入力６０７およびＢ像入力６０８の入力解像度を８０００×４０００画素とし、動画画像出力２１２の出力解像度を２０００×１０００画素とする。つまり、縮小部２０３のリサイズ率は水平方向および垂直方向にてそれぞれ１／４である。

Ａ像入力６０７については、プレフィルタ部６０２が処理した後に縮小部６０３が処理することで測距用Ａ像出力６０９が得られる。またＢ像入力６０８については、プレフィルタ部６０４が処理した後に縮小部６０５が処理することで測距用Ｂ像出力６１０が得られる。本実施形態においては、測距用Ａ像出力６０９および測距用Ｂ像出力６１０の出力解像度を２０００×１０００画素とする。つまり、縮小部６０３および縮小部６０５のリサイズ率は水平方向および垂直方向にてそれぞれ１／４である。プレフィルタ部６０２およびプレフィルタ部６０４の振幅周波数特性は、図３のグラフ曲線３０１で示す特性である。

図６（Ｂ）は、距離マップ生成部６０６、距離マップ整形部２０８、複数のプレフィルタ部２０４，２０６と、複数の縮小部２０５，２０７を示す。測距用Ａ像入力６１１は図６（Ａ）の測距用Ａ像出力６０９に対応し、測距用Ｂ像入力６１２は図６（Ａ）の測距用Ｂ像出力６１０に対応する。

距離マップ生成部６０６は、測距用Ａ像入力６１１および測距用Ｂ像入力６１２からの入力画像を用いて、被写体の距離分布に関連する情報として着目画素位置ごとのデフォーカス量を計算する。Ａ像およびＢ像からデフォーカス量を計算する処理は、以下の通りである。

着目画素位置におけるＡ像の信号列をＥ（１）〜Ｅ（ｍ）と表記し、着目画素位置におけるＢ像の信号列をＦ（１）〜Ｆ（ｍ）と表記する。Ａ像の信号列Ｅ（１）〜Ｅ（ｍ）に対して、Ｂ像の信号列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記式（２）を用いて２つの信号列間のずらし量ｋにおける相関量Ｃ（ｋ）の演算が行われる。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ ・・・（２）

式（２）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算においてｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずらし量ｋは整数値をとり、一対のデータの検出ピッチを単位とした相対的シフト量を表す。

式（２）の演算結果のうちで、一対の信号系列の相関が高いシフト量（ずらし量ｋ）において相関量Ｃ（ｋ）が最小になる。以下では、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。以下の式（３）から式（５）による３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝・・・（５）
式（３）で算出されるシフト量ｘから、デフォーカス量（ＤＥＦと記す）を下記式（６）によって求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（６）
式（６）に示すＫＸは、一対の瞳領域を通過する光束の重心の開き角の大きさによって決まる変換係数であり、ＰＹは検出ピッチである。

距離マップ生成部６０６は、複数の画像データから一定の画素間隔で画素データを抽出する。例えば距離マップ生成部６０６は、入力解像度が２０００×１０００画素の画像データに対して、水平方向にて１０画素おきであって、かつ垂直方向にて１０画素おきに式（２）から式（６）の計算を実行する。これにより、２００×１００個のデフォーカス量が計算され、さらに距離計算が行われて、２００×１００の解像度で距離マップデータが出力される。

距離マップ整形部２０８は、距離マップ生成部６０６から出力される距離マップデータと、プレフィルタ部２０４および縮小部２０５が処理した整形用画像のデータを取得し、整形距離マップを生成する。整形処理された距離マップデータは、整形距離マップ出力２１３として出力される。本実施形態において、整形距離マップ出力２１３での出力解像度は、距離マップ生成部６０６の出力解像度と同じ２００×１００である。

距離マップ生成部６０６は、入力解像度よりも低い解像度で距離マップデータを出力する。しかし、デフォーカス量の計算における座標の数を減らしているだけであるので、図４の距離マップ４０４の人物輪郭が鈍って不鮮明になることは無い。

本実施形態によれば、視差を有する複数の高解像度画像から低解像度マップを生成した後に、低解像度マップを低解像度のまま整形して出力する場合でも、マップデータを正しく整形することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
また、本実施形態では、被写体の距離分布に関する情報としてデフォーカスマップが算出され、このマップデータを使用している。これに限らず、上述した実施形態にて各デフォーカス量を被写体距離（被写体の奥行き方向の距離）に換算して距離マップとしたものを用いてもよい。下記実施形態についても同様に被写体距離の分布を示す距離マップでも適用可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，５００ デジタルカメラ
１０１ システム制御部
１０４ 撮像光学系
１０５，５０５ 撮像部
１０７，５０７ 画像処理部
１０８ 記録媒体
１１０ 距離マップ取得部

Claims (11)

1. 被写体の距離分布に関連する情報を、第１の解像度のマップデータとして取得する第１の取得手段と、
   前記被写体の画像データを、前記第１の解像度よりも高い第２の解像度の画像データとして取得する第２の取得手段と、
   前記第２の取得手段により取得された前記画像データに基づいて、前記マップデータを整形する整形手段と、を有し、
   前記整形手段は、前記第２の解像度から前記第１の解像度に変更された前記画像データを参照することにより、前記第１の解像度で前記マップデータの整形を行うことを特徴とする画像処理装置。
2. 前記整形手段は、前記マップデータの着目画素に対して、当該着目画素の画素値およびその周辺画素の画素値を平滑化する際、前記着目画素の画素値と前記周辺画素の画素値とが近いほど前記周辺画素の出力に対する平滑化の重みを大きくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の取得手段により取得された前記画像データを、前記第１の解像度に合わせて縮小する第１の縮小手段をさらに有し、
   前記整形手段は、前記第１の縮小手段によって縮小された画像データを参照することで前記マップデータを整形することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の取得手段により取得された前記画像データを、前記第２の解像度よりも低い解像度に合わせて表示用に縮小する第２の縮小手段をさらに有し、
   前記第２の縮小手段は、画像の縮小によって発生するエイリアスを、前記第１の縮小手段よりも強く抑圧することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の取得手段により取得された前記マップデータと、前記第２の取得手段により取得された前記画像データとの位置ずれを補正する位置合わせ手段をさらに有し、
   前記整形手段は、前記位置合わせ手段によって補正された前記マップデータを整形することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 視差を有する複数の画像データを取得する画像取得手段を有し、
   前記第１の取得手段は、前記複数の画像データを用いて生成される前記第１の解像度のデータを取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記複数の画像データから一定の画素間隔で抽出される画像データを用いることにより、前記複数の画像データの解像度よりも解像度が低い前記マップデータを生成して前記整形手段に出力するマップ生成手段を有することを特徴とする請求項６に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置と、
   撮像光学系を通して被写体を撮像する撮像素子を備え、
   前記撮像素子は、前記撮像光学系にて異なる瞳領域をそれぞれ通過した光を受光して光電変換する複数の光電変換部を有しており、
   前記第１の取得手段は、前記複数の光電変換部の出力する信号から被写体の距離分布に関連する情報を取得することを特徴とする撮像装置。
9. 前記第１の取得手段は、前記複数の光電変換部がそれぞれ出力する信号を用いて、着目画素位置ごとのデフォーカス量を算出し、被写体の距離分布に関連する情報を取得することを特徴とする請求項８に記載の撮像装置。
10. 被写体の距離分布に関連する情報を取得してマップデータを処理する画像処理装置により実行される画像処理方法であって、
    被写体の距離分布に関連する情報を、第１の解像度のマップデータとして取得し、前記被写体の画像データを、前記第１の解像度よりも高い第２の解像度の画像データとして取得する取得工程と、
    前記取得工程により取得された前記画像データに基づいて、前記マップデータを整形する整形工程と、を有し、
    前記整形工程では、前記第２の解像度から前記第１の解像度に変更された前記画像データを参照することにより、前記第１の解像度で前記マップデータの整形が行われることを特徴とする画像処理方法。
11. 請求項１０に記載した画像処理方法の各工程を前記画像処理装置のコンピュータに実行させるためのプログラム。

Images