JP2012108263A - 画像演算装置および画像演算プログラム - Google Patents

Abstract

【課題】被写体像の正確な奥行き情報を取得する。
【解決手段】画像演算装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子から出力され、複数の波長帯の少なくとも２つに対応する画像が互いに視差を有する視差画像データを取得する画像取得部と、視差画像データにおいて合焦状態にある少なくとも一つの合焦物体までの距離情報と非合焦状態にある少なくとも一つの非合焦物体までの距離情報を取得する距離情報取得部と、距離情報に基づくウィンドウサイズにより規定される局所ウィンドウを用いて視差画像データ間のマッチング処理を行うことにより、視差画像に含まれる複数の物体に対して奥行き方向に分離して輪郭を定める演算部とを備える。
【選択図】図１０

Description

本発明は、画像演算装置および画像演算プログラムに関する。

レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）

奥行き情報を演算する過程で用いられるマッチング処理の局所ウィンドウについて、そのサイズを適切に設定しないと正確な奥行き情報が得られなかった。

上記課題を解決するために、本発明の第１の態様における画像演算装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子から出力され、複数の波長帯の少なくとも２つに対応する画像が互いに視差を有する視差画像データを取得する画像取得部と、視差画像データにおいて合焦状態にある少なくとも一つの合焦物体までの距離情報と非合焦状態にある少なくとも一つの非合焦物体までの距離情報を取得する距離情報取得部と、距離情報に基づくウィンドウサイズにより規定される局所ウィンドウを用いて視差画像データ間のマッチング処理を行うことにより、視差画像に含まれる複数の物体に対して奥行き方向に分離して輪郭を定める演算部とを備える。

上記課題を解決するために、本発明の第２の態様における画像演算プログラムは、入射する被写体光束を複数の波長帯に分離して検出する受光素子から出力され、複数の波長帯の少なくとも２つに対応する画像が互いに視差を有する視差画像データを取得する画像取得ステップと、視差画像データにおいて合焦状態にある少なくとも一つの合焦物体までの距離情報と非合焦状態にある少なくとも一つの非合焦物体までの距離情報を取得する距離情報取得ステップと、距離情報に基づくウィンドウサイズにより規定される局所ウィンドウを用いて視差画像データ間のマッチング処理を行うことにより、視差画像に含まれる複数の物体に対して奥行き方向に分離して輪郭を定める演算ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る一眼レフカメラの要部断面図である。 本実施形態に係る構造化開口ユニットの外観図である。 構造化開口ユニットをレンズユニットに装着する様子を示す図である。 撮像素子の画素上に配置されたカラーフィルタの説明図である。 撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。 一眼レフカメラのシステム構成を概略的に示すブロック図である。 本撮影画像および補助撮影画像の取得フローを示す図である。 光学ファインダから観察される被写体像および測距領域を示す図である。 取得されるオブジェクト距離を説明する図である。 オブジェクト領域と局所ウィンドウの関係を示す概念図である。 出力される距離画像の概念を説明する図である。 オブジェクトと視差量の関係を表す概念図である。 補助撮影画像の取得から奥行き情報の出力までの処理フローを示す図である。 補助撮影画像の取得から奥行き情報の出力までの他の処理フローを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

まず、本実施形態におけるシーンの奥行き情報の取得原理について説明する。ここで、シーンの奥行き情報とは、シーンを構成する被写体としての各オブジェクト間の相対的な前後関係を示す距離情報である。画像演算装置は、距離情報として例えば、シーンの奥行き方向における合焦面を基準として、当該基準からそれぞれのオブジェクトの距離を出力する。画像演算装置は、特に、シーンを構成する各オブジェクトに対して、算出された距離に基づいて奥行き方向に分離して輪郭を定める。

本実施形態においては、被写体光束をＣＣＤ、ＣＭＯＳ等によって構成される受光素子に導く光学系に、構造化開口を挿入して、奥行き情報を演算するための補助撮影画像を取得する。構造化開口は、光学系に挿入されたときに、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが、光学系の光軸に対してそれぞれ偏心した位置となるように設けられて構成されている。例えば、光軸中心から、左方向へ放射状に延在するＧフィルタ領域、上方向へ放射状に延在するＲフィルタ領域および右方向へ放射状に延在するＢフィルタ領域のようにカラーフィルタパターンが形成される。また、受光素子は、ＲＧＢのいずれかのカラーフィルタが各画素上に配置されており、例えば４画素を１組とするベイヤー配列が採用される。本実施形態に係る構造化開口の構成、および受光素子の構成は、後に詳述する。

上述の例によるカラーフィルタパターンが形成された構造化開口を通過した被写体光束を、上述の受光素子で撮影した場合、焦点の合った奥行きより近い点はＲが下、Ｇが右、Ｂが左方向にそれぞれずれて観測される。焦点の合った奥行きより遠い点ではずれ方向が逆になる。焦点の合っている奥行きでは画像はずれない。つまり、焦点の合っていない奥行きでは、シーンの同じ点が色ごとにずれて観察される。

別言すれば、撮影した補助撮影画像のＲＧＢ成分であるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂは、三視点のステレオ画像となる。仮想的な中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉ_ｒ（ｘ，ｙ−ｄ）、Ｉ_ｇ（ｘ＋ｄ，ｙ）、Ｉ_ｂ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは位置しないので、単純な輝度の差分をマッチング指標にすることはできない。

そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉ_ｒ（ｓ，ｔ−ｄ）、Ｉ_ｇ（ｓ＋ｄ，ｔ）、Ｉ_ｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。

ここではＲＧＢ間の線形関係を計る指標として以下を用いる。

ただしλ_０、λ_１、λ_２（λ_０≧λ_１≧λ_２≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σ_ｒ ^２、σ_ｇ ^２、σ_ｂ ^２は色分布のＲ、Ｇ、Ｂ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。

行列の性質からλ_０＋λ_１＋λ_２＝σ_ｒ ^２＋σ_ｇ ^２＋σ_ｂ ^２ （＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ_０＞＞λ_１、λ_２）であればＬは０に近く、完全無相関（固有値がＲ、Ｇ、Ｂ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。

画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩ_ｒ、Ｉ_ｇ、Ｉ_ｂとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ_０λ_１λ_２＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。

上述のように計算される各オブジェクト単位の視差ｄにより、シーンの奥行き情報を推定することができる。本実施形態に係る画像演算装置としての一眼レフカメラは、このようなシーンの奥行き情報の取得原理を採用する。ただし、上述の手法において、マッチング処理を行う局所ウィンドウのウィンドウサイズを適切に設定しなければ、算出される距離、および算出距離から確定されるオブジェクトの輪郭の精度が低くなる。そこで、本実施形態の一眼レフカメラでは、奥行き情報の算出において、予め取得されている距離情報を利用してウィンドウサイズの最適化を図る。以下に本実施形態について説明する。

図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。

レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。

レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。位置センサ２２１は、フォーカスレンズ２１２の位置を検出して、レンズシステム制御部２１６へ出力する。

また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。なお、以後の説明においては図示するように、光軸２０１に沿って被写体光束が入射する方向にｚ軸を定める。

カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。

ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。

斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から、予め定められた複数の領域ごとに位相差信号を検出する。具体的な検出領域等については後に詳述する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。

斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの受光素子であり、受光面で結像した被写体像を電気信号に変換する。

撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。

カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。

図２は、構造化開口ユニット３００の外観図である。図２（ａ）は被写体側から見た正面図であり、図２（ｂ）は側面図である。

構造化開口ユニット３００は、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。ベース部３０７は、被写体光束範囲に円筒状の中空部分を有し、フィルタ３０２は、ベース部３０７の中空部分に張設されて固定されている。

ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。

フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４、緑色の波長体を透過させるＧフィルタ部３０５および青色の波長帯を透過させるＢフィルタ部３０６から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、フィルタ３０２の中心を通る光軸２０１に対して放射方向へそれぞれ延在するように、光軸２０１からは偏心した位置に設けられている。より具体的には、Ｒフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、それぞれ正方形であって互いに隣接し、それぞれひとつの頂点が光軸２０１近傍に集合するように配列されている。

図３は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図３（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図３（ｂ）は、装着された様子を示す。

ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。

図４は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。カラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。

図５は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。

Ｂ曲線７０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線７０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線７０３はＲ画素フィルタが設けられた画素の感度を示す。構造化開口のＢフィルタ部３０６は、矢印７１１の波長帯を透過させる。同様に、Ｇフィルタ部３０５は、矢印７１２の波長帯を透過させ、Ｒフィルタ部３０４は、矢印７１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０６を透過した被写体光束に対して感度を持ち、Ｇ画素フィルタが設けられた画素は、構造化開口のＧフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。

すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像、Ｇフィルタ部３０５を開口とする緑色波長帯の被写体画像、およびＢフィルタ部３０６を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。これらの被写体画像は、それぞれ上述のＩ_ｒ、Ｉ_ｇ、Ｉ_ｂに相当し、互いに三視点の視差画像を構成する。

なお、このように撮影される赤色波長帯の被写体画像、緑色波長帯の被写体画像および青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、Ｇ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。

次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図６は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。

カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は奥行き情報算出部２５１へ引き渡され、奥行き情報算出部２５１は、上述の手法により奥行き情報を算出する。算出された奥行き情報は、カメラメモリ２５２へ記録される。具体的な算出処理については後述する。

カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。

レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。

レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。また、レンズシステム制御部２１６は、位置センサ２２１からの出力を受けてフォーカスレンズ２１２の位置を検出する。レンズシステム制御部２１６は、焦点距離を含むレンズ情報と共に、検出したフォーカスレンズ位置をカメラシステム制御部２４５へ送信する。

次に、一眼レフカメラ２００による撮影シーケンスの例を説明する。図７は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ３０２へ進む。

ステップＳ３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、フォトインタラプタなどのセンサを設けて判断することができる。

カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ３０３へ進む。抜出されるまではステップＳ３０２で待機する。

ステップＳ３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。

また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０を用いて被写体を測距し、得られた位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。

撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。

カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。

カメラシステム制御部２４５は、ステップＳ３０１またはステップＳ３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ３０７で待機する。

カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。

そこで、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。

また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０を用いて被写体を測距し、得られた位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。このとき、レンズユニット２１０のレンズ情報、合焦動作を行った測距点、その他の測距点におけるデフォーカス量、フォーカスレンズ位置などを含む測距情報は、一旦ワークメモリ２５３に保管される。

カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ３０９へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。

なお、ステップＳ３０９における露出値の算出は、ステップＳ３１０のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、奥行き情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、奥行き情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。

このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ３１１へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像、緑色画像および青色画像の３つの視差画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。同時に、測距情報を当該補助撮影画像に関連付けて記録する。測距情報は、例えば、付帯情報であるＥＸＩＦ情報として記述される。以上により一連の処理を終了する。

また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。

次に、ＡＦセンサ２４０の出力に基づく、距離情報の取得について説明する。図８は、光学ファインダから観察される被写体像および測距領域を示す図である。なお、ここではシーンの例として、手前から順に少女１０１、少年１０２および女性１０３が存在する場合を説明する。

ＡＦセンサ２４０は、被写体空間に対して二次元的かつ離散的に配置される複数の測距点２６０を有する。図の例の場合、１１点の測距点２６０が、全体として略菱形形状に離散的に配置されている。ＡＦセンサ２４０は、それぞれの測距点２６０に対応するデフォーカス量を独立に出力することができる。

カメラシステム制御部２４５は、例えば近点優先等のアルゴリズムにより選択された合焦測距点２６１のデフォーカス量を検出して、合焦に至るフォーカスレンズ２１２の移動量および移動方向を決定し、レンズシステム制御部２１６へ送信する。レンズシステム制御部２１６は、これらの情報に従ってフォーカスレンズ２１２を移動させる。フォーカスレンズ２１２の移動が完了すると、カメラシステム制御部２４５は、ＡＦセンサ２４０により合焦測距点２６１のデフォーカス量を再度検出して、合焦測距点２６１に対応するオブジェクトにピントが合ったことを確認する。

カメラシステム制御部２４５は、ピントが合ったことを確認できたら、スーパーインポーズ表示等により合焦測距点２６１を明滅させ、合焦動作完了をユーザに告知する。また、カメラシステム制御部２４５は、合焦測距点２６１のデフォーカス量を再度検出すると同時に、他の測距点２６０のデフォーカス量も検出する。このとき、ほぼ同じデフォーカス量を示す測距点２６０ごとにグルーピングする。図の場合、第１デフォーカス量を示す第１非合焦測距点２６２、および第２デフォーカス量を示す第２非合焦測距点２６３を別々のグループとして認識する。なお、特定のグループのデフォーカス量から一定の範囲内にあるデフォーカス量を示す測距点２６０、および無限遠のデフォーカス量を示す測距点２６０は、グルーピングの対象外とする。なお、合焦測距点２６１が複数存在すれば、これらを纏めてグループとして認識する。

これらグルーピングされた測距点２６０に対応する被写体空間には、被写体としてのオブジェクトがそれぞれ存在する。図の例によれば、合焦測距点２６１に対応して少女１０１が、第１非合焦測距点２６２に対応して少年１０２が、第２非合焦測距点２６３に対応して女性１０３が存在している。

カメラシステム制御部２４５は、これらのグルーピング情報を含む測距情報から、それぞれのオブジェクトまでの距離を算出する。図９は、取得されるオブジェクト距離を説明する図である。

各オブジェクトまでの距離は、一眼レフカメラ２００に配設された撮像素子２４３の受光面を基準として算出される。例えば、少年１０２までの距離Ｄ_Ｂは、第１非合焦測距点２６２におけるデフォーカス量、レンズユニット２１０のレンズ情報、フォーカスレンズ位置等から算出される。より具体的には、レンズ情報として、フォーカスレンズ位置と合焦オブジェクト距離の対応テーブルを取得し、現在のフォーカスレンズ位置を入力することにより、合焦オブジェクトまでの距離を得る。この距離は少女１０１までの距離Ｄ_Ａに相当する。

オートフォーカスにおいては、あるデフォーカス量に対して、合焦位置までフォーカスレンズ２１２をどれだけ移動させればよいかの移動量変換関数を利用している。そこで、ここでもこの移動量関数を利用して、第１非合焦測距点２６２におけるデフォーカス量から、フォーカスレンズ２１２の移動量を算出する。そして、現在のフォーカスレンズ位置に算出した移動量を加算した値を対応テーブルに入力することにより、距離Ｄ_Ｂを得る。

女性１０３までの距離Ｄ_Ｃも同様に算出できる。この場合、第２非合焦測距点２６３には３つの測距点２６０が含まれるが、いずれか１つの測距点２６０におけるデフォーカス量を代表として用いれば良い。グルーピングしたそれぞれに対してオブジェクト距離を算出したら、その算出したオブジェクト距離とグルーピングした測距点２６０の配置とをペアとして記録する。

なお、移動量変換関数を利用して非合焦測距点に対応するオブジェクトまでの距離を算出する場合は、当該関数を補助撮影画像の関連情報として保持しておく。また、移動量変換関数を利用しなくても、レンズ情報としてレンズユニット２１０の焦点距離、測距時における絞り値、および第１非合焦測距点２６２におけるデフォーカス量を取得すれば、デフォーカスに相当する距離を算出できる。この場合は、合焦オブジェクトまでの距離に算出した距離を加算して非合焦オブジェクトまでの距離を得る。

次に、これらの距離情報を用いて行うマッチング処理について説明する。図１０は、オブジェクト領域と局所ウィンドウの関係を示す概念図である。図は、左から順に、補助撮影画像から抽出されるＩ_ｒ画像、Ｉ_ｇ画像、Ｉ_ｂ画像を表す。これらは互いに視差画像である。少女１０１に対応する画像領域は、ピントが合っている領域なので、互いに視差が無い。一方、少年１０２に対応する画像領域および女性１０３に対応する画像領域は、ピントが合っていない領域なので、互いに視差がある。特に、少年１０２よりも女性１０３の方が少女１０１から遠い距離に存在するので、女性１０３に対応する画像領域の視差量の方が少年１０２に対応する画像領域の視差量よりも大きいと推測される。

すでに説明した奥行き情報の取得原理によれば、それぞれの画像間における同一オブジェクトの視差量を算出することにより、当該オブジェクトの距離と輪郭を演算する。視差量の算出は、局所ウィンドウをそれぞれの視差画像に設定して、相対的にずらしながら互いにマッチングの良い画像領域を探索することにより実行する。そして、互いにマッチングが良いと判断される座標値から視差量を決定する。このとき、設定する局所ウィンドウのウィンドウサイズが視差量に対して大き過ぎると、境界部分の分解能が低下して結果的には曖昧な輪郭を定義することになり、逆に小さすぎると誤った領域に対してマッチングが良いと判断する誤対応が増加する。したがって、適切なウィンドウサイズを規定しなければ、精度の高い輪郭を定めることができない。

そこで、本実施形態においては、ＡＦセンサ２４０の出力から算出した上述の距離情報を利用して、それぞれのオブジェクトに最適と考えられるウィンドウサイズを決定する。距離情報は、グルーピングした測距点２６０の配置と対応するオブジェクトの距離を含むので、まず測距点２６０の配置に対応する画像位置を取り囲む領域をオブジェクト領域として定義する。図の例においては、合焦測距点２６１に対応するオブジェクト領域として合焦オブジェクト領域２７１、第１非合焦測距点２６２に対応するオブジェクト領域として第１非合焦オブジェクト領域２７２、第２非合焦測距点２６３に対応するオブジェクト領域として第２非合焦オブジェクト領域２７３を定義する。

そして、合焦オブジェクト領域２７１においては、一辺の長さがＷ_Ａの正方形である局所ウィンドウ２８１をそれぞれの視差画像で上下左右に移動させてマッチング処理を行う。同様に、第１非合焦オブジェクト領域２７２においては、一辺の長さがＷ_Ｂの正方形である局所ウィンドウ２８２をそれぞれの視差画像で上下左右に移動させ、第２非合焦オブジェクト領域２７３においては、一辺の長さがＷ_Ｃの正方形である局所ウィンドウ２８３をそれぞれの視差画像で上下左右に移動させて、マッチング処理を行う。

合焦オブジェクト領域２７１においては視差画像間に視差が存在しないことが予想されるので、局所ウィンドウ２８１におけるウィンドウサイズＷ_Ａは、合焦オブジェクト領域に対するウィンドウサイズとして予め定められたサイズが適用される。一方、第１非合焦オブジェクト領域２７２においては視差画像間に、距離差｜Ｄ_Ｂ−Ｄ_Ａ｜に基づく視差量が存在することが想定されるので、局所ウィンドウ２８２におけるウィンドウサイズＷ_Ｂは、距離差｜Ｄ_Ｂ−Ｄ_Ａ｜から算出されるサイズが適用される。同様に、第２非合焦オブジェクト領域２７３においても視差画像間に、距離差｜Ｄ_Ｃ−Ｄ_Ａ｜に基づく視差量が存在することが想定されるので、局所ウィンドウ２８３におけるウィンドウサイズＷ_Ｃは、距離差｜Ｄ_Ｃ−Ｄ_Ａ｜から算出されるサイズが適用される。具体的な算出手順については後述する。

このようにしてマッチング処理が行われると、それぞれのオブジェクトに対する輪郭が定められ、いわゆる距離画像を生成することができる。図１１は、出力される距離画像の概念を説明する図である。

図示するように、被写体として存在するオブジェクトごとに輪郭が定められ、それぞれの輪郭に内包する領域がほぼ同じ距離に存在することを表す。少女１０１に対応する画像領域としての領域Ａには、距離Ｄ_Ａが関連付けられている。同様に、少年１０２に対応する画像領域としての領域Ｂには、距離Ｄ_Ｂが関連付けられ、女性１０３に対応する画像領域としての領域Ｃには、距離Ｄ_Ｃが関連付けられている。また、その他の領域である領域Ｄの距離は無限遠として関連付けられる。

なお、図示する距離画像に対しては、３つの視差画像のいずれかを基準として輪郭を定めても良いし、３つの視差画像の重心により規定される視差の無い仮想的な画像を基準として輪郭を定めても良い。また、対応する本撮影画像に対応させて輪郭を定めても良い。

奥行き情報算出部２５１は、このようにして算出した奥行き情報を、図１１で示すようなオブジェクトの輪郭とそれに対応する距離により定義された距離画像として出力することもできるし、オブジェクトごとに輪郭を定めるベクトルデータと対応する距離とを列挙した、オブジェクトテーブルとして出力することもできる。

次に、距離差に基づいてウィンドウサイズを決定する算出手順について説明する。図１２は、オブジェクトと視差量の関係を表す概念図である。なお、ここでは主光線がレンズ群２１１の瞳の中心を通ると仮定する。

フォーカスレンズ２１２が特定のオブジェクトに焦点を合せた場合の、そのフォーカス位置に存在する合焦オブジェクトまでの距離をｓとする。また、デフォーカス位置に存在する非合焦オブジェクトまでの距離をｓ_１とする。そして、レンズユニット２１０の焦点距離をｆとし、絞り値をＦとすれば、ｓ_１にある非合焦オブジェクトの撮像素子２４３上に現れる視差量εは、

と表される。この式により、合焦オブジェクトまでの距離ｓと非合焦オブジェクトまでの距離ｓ_１が既知であれば、その他のパラメータは補助撮影画像の撮影時において確定されているので、視差量εを算出することができる。なお、図による距離ｓおよび距離ｓ_１は、レンズユニット２１０の瞳位置からの距離であるが、撮像素子２４３の結像面から瞳位置までの距離も、レンズ情報により既知であるので、ＡＦセンサ２４０の出力から得られる距離情報を利用することができる。

視差量εは、式（２）から、非合焦オブジェクトごとに算出され得ることがわかる。したがって、非合焦オブジェクト領域ごとにεを算出できるので、それぞれの非合焦オブジェクト領域に対して、視差量εに相当するピクセルサイズをウィンドウサイズとして規定する局所ウィンドウを適用できる。

図１３は、補助撮影画像の取得から奥行き情報の出力までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。

ステップＳ１０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に奥行き情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を画像演算装置として奥行き情報の算出を実行するが、奥行き情報の算出は、カメラとは別個の独立した画像演算装置で実行することもできる。

例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。この場合は、補助撮影画像に関連付けられた、または一体的に記録された、ＡＦセンサ２４０の出力に基づく距離情報も、補助撮影画像と共に画像演算装置に取り込む。また、演算の方式に応じて、補助撮影画像の撮影時におけるレンズユニット２１０のレンズ情報、移動量変換関数等も画像演算装置に取り込む。

距離情報については、ＡＦセンサ２４０の出力に基づく距離情報でなくても、合焦オブジェクトまでの距離、非合焦オブジェクトまでの距離がそれぞれ少なくとも１つ以上含まれる距離情報であれば、いかなる取得方式により取得されたものであっても良い。オブジェクトまでの距離は様々な取得方式が知られているが、例えば、赤外線投射型のアクティブ測距方式等が利用できる。なお、以下のフローにおいては、すでに説明したように、オブジェクト距離とグルーピングした測距点２６０の配置とがペアとして記録された距離情報を例に説明する。

画像処理部２４６は、ステップＳ１０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成されるＩ_ｒ画像を抽出する。同様に、Ｇフィルタ部３０５を通過して形成された緑色画像であるＩ_ｇ画像とＢフィルタ部３０６を通過して形成された青色画像であるＩ_ｂ画像を抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を奥行き情報算出部２５１へ引き渡す。

奥行き情報算出部２５１は、ステップＳ１０３で、距離情報を抽出する。距離情報として取得した情報が、測距情報等の未だ距離に換算される前の状態であれば、ここでそれぞれのオブジェクトまでの距離を算出する。また、奥行き情報算出部２５１は、オブジェクト距離とグルーピングした測距点２６０の配置によるペアがいくつあるかをカウントし、変数ｎに代入する。

奥行き情報算出部２５１は、ステップＳ１０４へ進み、インクリメント変数ｉを１とする。そして、ステップＳ１０５へ進み、ｉ番目のペアに対応するオブジェクトＯｉについて、上述の手順によりオブジェクト領域とウィンドウサイズを決定する。

奥行き情報算出部２５１は、ステップＳ１０５へ進み、決定したオブジェクト領域付近において、決定したウィンドウサイズにより規定した局所ウィンドウを用いてオブジェクトＯｉに対する境界を確定する。この段階では、隣接するオブジェクトに対して境界が確定していないので、まだ境界間の調整がなされておらず、その意味においてオブジェクトの輪郭は定まっていない。

奥行き情報算出部２５１は、ステップＳ１０７でインクリメント変数ｉをインクリメントしてステップＳ１０８へ進む。ステップＳ１０８では、インクリメント変数ｉが変数ｎより大きいか否かを判断する。つまり、距離情報として取得したペアの全てについて処理が完了したか否かを判断する。条件を満たさなければステップＳ１０５へ戻り、満たせばステップＳ１０９へ進む。

奥行き情報算出部２５１は、ステップＳ１０９で、それぞれのオブジェクトに対して確定した境界が互いに交差しているかなどの不整合が無いかを確認し、不整合箇所を調整する。不整合箇所の調整は、例えば近点側のオブジェクトを優先するなどの、予め定められたアルゴリズムに従って実行される。境界の調整が終了すれば、それを輪郭情報として確定し、ステップＳ１１０で奥行き情報として出力する。

奥行き情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。もちろん、上述のように、オブジェクトごとに輪郭を定めるベクトルデータと対応する距離とを列挙した、オブジェクトテーブルとして出力することもできる。以上により一連の処理フローを終了する。

次に、上記処理フローの変形例を説明する。上述の処理においては、取得した距離情報からオブジェクト間の距離差を算出し、この距離差に起因する視差量からウィンドウサイズを演算して局所ウィンドウを規定した。本変形例においては、予め設定された複数のウィンドウサイズにより局所ウィンドウを規定し、それぞれの局所ウィンドウによって視差画像の全領域に対してオブジェクトの距離と境界を抽出する演算を行う。このようにして抽出された、あるオブジェクトに対する複数の距離のうち、取得した距離情報と最も一致する演算結果を得た局所ウィンドウによる境界を、当該オブジェクトの境界と定める。以下にその処理フローを説明する。

図１４は、補助撮影画像の取得から奥行き情報の出力までの他の処理フローを示す図である。ステップＳ２０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、ステップＳ１０２で、補助撮影画像からＩ_ｒ、Ｉ_ｇ、Ｉ_ｂの各視差画像を抽出し、奥行き情報算出部２５１へ引き渡す。奥行き情報算出部２５１は、ステップＳ２０３で、距離情報を抽出すると共に、オブジェクト距離とグルーピングした測距点２６０の配置によるペアがいくつあるかをカウントし、変数ｎに代入する。

画像処理部２４６は、ステップＳ２０４で、インクリメント変数ｊを１とする。そして、ステップＳ２０５へ進み、予め設定されたｍ個のウィンドウサイズのうち、ｊ番目のウィンドウサイズであるＷｊにより規定した局所ウィンドウで各視差画像の全体領域を探索し、各オブジェクトの距離および境界を演算する。なお、この段階におけるウィンドウサイズは、視差量に対して適切なサイズではないものを含むので、上述のように、演算結果には誤差等を含み得る。

奥行き情報算出部２５１は、ステップＳ２０６でインクリメント変数ｊをインクリメントしてステップＳ２０７へ進む。ステップＳ２０７では、インクリメント変数ｊが変数ｍより大きいか否かを判断する。つまり、予め設定されたｍ個のウィンドウサイズの全てについて演算が完了したか否かを判断する。条件を満たさなければステップＳ２０５へ戻り、満たせばステップＳ２０８へ進む。

奥行き情報算出部２５１は、ステップＳ２０８で、インクリメント変数ｉを１とする。そして、ステップＳ２０９へ進み、ｉ番目のペアに対応するオブジェクトＯｉについて、ステップＳ２０５において演算されたｍ個の距離と、距離情報によるオブジェクト距離を対比する。

奥行き情報算出部２５１は、ステップＳ２１０へ進み、演算されたｍ個の距離のうち距離情報によるオブジェクト距離Ｄｉと最も近いものを選択し、これを算出したウィンドウサイズＷｊ_０によって演算されたオブジェクトＯｉ近傍の境界を、オブジェクトＯｉ近傍の境界として確定する。

奥行き情報算出部２５１は、ステップＳ２１１でインクリメント変数ｉをインクリメントしてステップＳ２１２へ進む。ステップＳ２１２では、インクリメント変数ｉが変数ｎより大きいか否かを判断する。つまり、距離情報として取得したペアの全てについて処理が完了したか否かを判断する。条件を満たさなければステップＳ２０８へ戻り、満たせばステップＳ２１３へ進む。

奥行き情報算出部２５１は、ステップＳ２１３で、それぞれのオブジェクトに対して確定した境界が互いに交差しているかなどの不整合が無いかを確認し、不整合箇所を調整する。境界の調整が終了すれば、それを輪郭情報として確定し、ステップＳ２１４で奥行き情報として出力する。以上により一連の処理フローを終了する。

以上の実施形態においては、ＡＦセンサ２４０の測距点に応じて合焦オブジェクトと非合焦オブジェクトを決定したが、複数のオブジェクトのうち少なくとも一つを、操作部材を介してユーザに指定させるように構成しても良い。この場合、奥行き情報算出部２５１は、ユーザによって指定されたオブジェクトに対してウィンドウサイズを決定し、奥行き情報の演算を実行する。

また、以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。

また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過波長帯が選択される。

また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。また、ＲＧＢのうち２つの波長帯を透過させるフィルタが配列されていれば、上述の距離情報取得を行うことができるので、以上の実施形態に係る構造化開口のＲＧＢフィルタのうちの一つを取り除いても良い。

また、取得する距離情報は、カメラから各オブジェクトまでの絶対距離でなくても良い。この場合、合焦オブジェクトから非合焦オブジェクトまでの相対距離が取得されれば、視差量に基づくウィンドウサイズが決定できる。また、取得する距離情報を用いて非合焦オブジェクト間の距離を算出し、奥行き情報の演算結果の確からしさを評価する評価演算に利用しても良い。

また、以上の実施例においては、オブジェクトの距離差に対応して算出される視差量に基づいてウィンドウサイズを決定したが、オブジェクト領域内で適用するウィンドウサイズは多少の許容範囲を有する。具体的には、当該ウィンドウサイズ内で局所ウィンドウを移動させるときに、その位置において局所ウィンドウ内にオブジェクトの境界が含まれない場合は、境界が含まれない限りにおいてウィンドウサイズを拡大しても良い。したがって、境界が複雑形状であるオブジェクトに対しては、ウィンドウサイズを拡大できる範囲が小さい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０１ 少女、１０２ 少年、１０３ 女性、２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２１ 位置センサ、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５１ 奥行き情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、２６０ 測距点、２６１ 合焦測距点、２６２ 第１非合焦測距点、２６３ 第２非合焦測距点、２７１ 合焦オブジェクト領域、２７２ 第１非合焦オブジェクト領域、２７３ 第２非合焦オブジェクト領域、２８１、２８２、２８３ 局所ウィンドウ、３００ 構造化開口ユニット、３０２ フィルタ、３０３ 遮断フィルタ部、３０４ Ｒフィルタ部、３０５ Ｇフィルタ部、３０６ Ｂフィルタ部、３０７ ベース部、３０８ 外周部、３０９ 把持部、７０１ Ｂ曲線、７０２ Ｇ曲線、７０３ Ｒ曲線、７１１、７１２、７１３ 矢印

Claims (8)

1. 入射する被写体光束を複数の波長帯に分離して検出する受光素子から出力され、前記複数の波長帯の少なくとも２つに対応する画像が互いに視差を有する視差画像データを取得する画像取得部と、
   前記視差画像データにおいて合焦状態にある少なくとも一つの合焦物体までの距離情報と非合焦状態にある少なくとも一つの非合焦物体までの距離情報を取得する距離情報取得部と、
   前記距離情報に基づくウィンドウサイズにより規定される局所ウィンドウを用いて前記視差画像データ間のマッチング処理を行うことにより、前記視差画像に含まれる複数の物体に対して奥行き方向に分離して輪郭を定める演算部と
   を備える画像演算装置。
2. 前記演算部は、前記複数の物体に応じて複数の前記ウィンドウサイズを決定し、決定された複数の前記ウィンドウサイズによりそれぞれ規定される複数の前記局所ウィンドウを用いて前記マッチング処理を行う請求項１に記載の画像演算装置。
3. 前記演算部は、前記合焦物体と前記非合焦物体の距離差に基づいて前記ウィンドウサイズを決定する請求項１または２に記載の画像演算装置。
4. 前記演算部は、予め定められた複数の前記ウィンドウサイズごとに前記マッチング処理を実行し、算出された距離が前記距離情報と最も一致する場合の前記ウィンドウサイズを用いて前記輪郭を定める請求項１または２に記載の画像演算装置。
5. 前記複数の物体のうちの少なくとも一つをユーザに指定させる指定部を備え、
   前記演算部は、前記ユーザによって指定された前記複数の物体のうちの少なくとも一つに対して前記ウィンドウサイズを決定する請求項１から４のいずれか１項に記載の画像演算装置。
6. 前記距離情報は、前記視差画像データが撮影された時の、ＡＦセンサの出力に基づく情報である請求項１から５のいずれか１項に記載の画像演算装置。
7. 前記距離情報は、前記ＡＦセンサの複数の合焦点が前記出力に基づいて複数のグループに分けられたグループ情報を含み、
   前記演算部は、前記グループ情報に基づいて複数の前記ウィンドウサイズを決定する請求項６に記載の画像演算装置。
8. 入射する被写体光束を複数の波長帯に分離して検出する受光素子から出力され、前記複数の波長帯の少なくとも２つに対応する画像が互いに視差を有する視差画像データを取得する画像取得ステップと、
   前記視差画像データにおいて合焦状態にある少なくとも一つの合焦物体までの距離情報と非合焦状態にある少なくとも一つの非合焦物体までの距離情報を取得する距離情報取得ステップと、
   前記距離情報に基づくウィンドウサイズにより規定される局所ウィンドウを用いて前記視差画像データ間のマッチング処理を行うことにより、前記視差画像に含まれる複数の物体に対して奥行き方向に分離して輪郭を定める演算ステップと
   をコンピュータに実行させる画像演算プログラム。

Images