JP2012123296A

JP2012123296A - 電子機器

Info

Publication number: JP2012123296A
Application number: JP2010275593A
Authority: JP
Inventors: Kazuhiro Kojima; 和浩小島; Shinpei Fukumoto; 晋平福本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-12-10
Filing date: 2010-12-10
Publication date: 2012-06-28
Also published as: US20120147150A1; CN102547111A

Abstract

【課題】精度の良い被写体距離の検出可能範囲を拡大する。
【解決手段】撮像装置１は視差の有する撮像部１１及び２１を有し、撮像部１１及び２１の撮影によって第１及び第２入力画像を得る。第１距離検出部５１は、同時撮影された第１及び第２入力画像からステレオビジョン法によって距離検出を行い、第１距離検出結果を出力する。第２距離検出部５２は、第１距離検出部で用いられる距離検出方法とは異なる検出方法にて距離検出を行い、第２距離検出結果を出力する。第２距離検出部５２は、例えば、近接被写体に対しても距離検出を行うことのできるＳＦＭ（Structure From Motion）を用いて距離検出を行う。統合部５３は、第１及び第２距離検出結果を統合することで出力距離情報を生成する。
【選択図】図６

Description

本発明は、撮像装置、パーソナルコンピュータ等の電子機器に関する。

撮影画像の合焦状態を画像処理によって調整する機能が提案されており、この機能を実現する処理の一種はデジタルフォーカスとも呼ばれている（例えば下記特許文献１参照）。デジタルフォーカスを行うためには、撮影画像に写っている被写体の距離情報が必要である。

距離情報を取得するための一般的な方法として、２眼カメラによるステレオビジョン（stereovision）法が存在する（例えば下記特許文献２参照）。ステレオビジョン法では、視差を有する第１及び第２カメラを用いて第１及び第２画像を同時撮影し、得られた第１及び第２画像から三角測量の原理を用いて距離情報を算出する。

尚、距離情報に依存した信号出力を行う位相差画素を撮像素子に組み込み、位相差画素の出力から距離情報を生成する技術も提案されている（例えば、下記非特許文献１参照）。

特開２００９−２２４９８２号公報特開２００９−１７６０９０号公報

"デジタルカメラ「FinePix F300EXR」"、［ｏｎｌｉｎｅ］、平成２２年７月２１日、富士フィルム株式会社、［平成２２年１１月１日検索］、インターネット＜URL：http://www.fujifilm.co.jp/corporate/news/articleffnr_0414.html＞

ステレオビジョン法を用いれば、第１及び第２カメラの共通撮影範囲内に位置する被写体の距離情報を比較的高い精度で検出することができる。しかしながら、ステレオビジョン法では、原理上、非共通撮影範囲内に位置する被写体の被写体距離を検出することができない。即ち、第１及び第２画像の内、一方の画像にしか写っていない被写体の距離情報を求めることはできない。距離情報を検出できていない領域に対しては、デジタルフォーカスによる合焦状態調整が不能となる。また、何らかの事情により、幾つかの被写体に対しては、ステレオビジョン法によって距離情報を精度良く検出できないこともある。距離情報の精度が低い領域に対しては、デジタルフォーカスによる合焦状態調整が良好に機能しない。

距離情報をデジタルフォーカスに利用することについて上述したが、デジタルフォーカス以外の用途に距離情報を利用する場合においても、同様の問題が発生する。尚、特許文献２に記載の技術は、このような問題の解決に寄与する技術ではない。

そこで本発明は、様々な被写体を含む被写体群の距離情報を良好に生成しうる電子機器を提供することを目的とする。

本発明に係る電子機器は、被写体群の距離情報を生成する距離情報生成部を備えた電子機器において、前記距離情報生成部は、前記被写体群を互いに異なる視点から同時に撮影することによって得た複数の入力画像に基づき前記被写体群の距離を検出する第１距離検出部と、前記第１距離検出部の検出方法とは異なる検出方法によって前記被写体群の距離を検出する第２距離検出部と、前記第１距離検出部の検出結果と前記第２距離検出部の検出結果から前記距離情報を生成する統合部と、を備えたことを特徴とする。

これにより、第１距離検出部では検出不能な距離又は第１距離検出部では高い精度で検出できない距離を、第２距離検出部の検出結果を用いて補間することができ、全体として、距離の検出可能範囲を広げることが可能となる。即ち、良好な距離情報を生成することが可能となる。

具体的には例えば、前記第２距離検出部は、前記被写体群を順次撮影することで得た画像列に基づき、前記被写体群の距離を検出する。

或いは例えば、前記第２距離検出部は、前記被写体群の距離を検出するための位相差画素を有した撮像素子の出力に基づき、前記被写体群の距離を検出する。

更に或いは例えば、前記第２距離検出部は、単一の撮像部にて前記被写体群を撮影することで得た単一の画像に基づき、前記被写体群の距離を検出する。

また例えば、前記統合部は、前記被写体群に含まれる対象被写体の距離が比較的大きい場合、前記対象被写体に対する前記第１距離検出部の検出距離を前記距離情報に含める一方、前記対象被写体の距離が比較的小さい場合、前記対象被写体に対する前記第２距離検出部の検出距離を前記距離情報に含める。

また例えば、前記被写体群を撮影することで得た対象画像の合焦状態を前記距離情報に基づく画像処理によって変更する合焦状態変更部を、当該電子機器に更に設けてもよい。

これにより、対象画像の全体又は大部分に対して合焦状態調整が可能となる。

本発明によれば、様々な被写体を含む被写体群の距離情報を良好に生成しうる電子機器を提供することが可能となる。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。図１に示される１つの撮像部の内部構成図である。画像空間ＸＹと二次元画像との関係を示す図である。第１撮像部の撮影範囲を示す図（ａ）と、第２撮像部の撮影範囲を示す図（ｂ）と、第１及び第２撮像部の撮影範囲間の関係を示す図（ｃ）である。共通の点光源を同時撮影することで得た第１及び第２入力画像を示す図（ａ）（ｂ）と、第１入力画像上における点像の位置と第２入力画像上における点像の位置との間の関係を示す図（ｃ）である。距離情報生成部の内部ブロック図である。同時撮影された第１及び第２入力画像を示す図（ａ）（ｂ）と、それらに基づく距離画像を示す図（ｃ）である。図１の主制御部に設けておくことのできるデジタルフォーカス部を示す図である。２つの撮像部の撮影範囲と複数の被写体との位置関係を示す図である。本発明の第１実施形態に係る第２距離検出部の構成を示す図である。本発明の第１実施形態に係る入力画像列を示す図である。本発明の第３実施形態に係り、第２距離検出部に対して１枚の入力画像の画像データが供給される様子を示した図である。本発明の第４実施形態に係り、１枚の入力画像が複数の小ブロックに分割される様子を示した図である。本発明の第４実施形態に係り、レンズ位置とＡＦ評価値との関係を示した図である。本発明の第５実施形態に係り、第１及び第２許容距離範囲の関係を示す図である。距離情報生成部の変形内部ブロック図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、第１撮像部である撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、第２撮像部である撮像部２１と、ＡＦＥ２２と、を備えている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各画像の撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。

ＡＦＥ１２は、撮像部１１（撮像部１１内の撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を第１ＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。

撮像部２１の構成を撮像部１１のそれと同じにしておくことができ、主制御部１３は、撮像部１１に対する制御と同様の制御を撮像部２１に対しても成すことができる。

ＡＦＥ２２は、撮像部２１（撮像部２１内の撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ２２は、このデジタル信号を第２ＲＡＷデータとして主制御部１３に出力する。ＡＦＥ２２における信号増幅の増幅度は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からの第１ＲＡＷデータに基づいて撮像部１１の撮影画像を表す画像データを生成し、ＡＦＥ２２からの第２ＲＡＷデータに基づいて撮像部２１の撮影画像を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、第１又は第２ＲＡＷデータそのものも画像データの一種であり、撮像部１１又は２１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。

表示部１５にはタッチパネル１９が設けられており、撮影者としてのユーザは、表示部１５の表示画面を操作体（指など）で触れることで撮像装置１に様々な指示を与えることができる。但し、タッチパネル１９を表示部１５から削除することも可能である。

記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、画像データなどを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１６に記録された静止画像又は動画像を表示部１５上で再生可能な再生モードとが含まれる。撮影モードでは、撮像部１１及び２１の夫々が所定のフレーム周期にて周期的に被写体の撮影を行うことにより、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表す第１ＲＡＷデータが出力されると共に撮像部２１から（より詳細にはＡＦＥ２２から）被写体の撮影画像列を表す第２ＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１フレーム周期分の第１ＲＡＷデータによって表現される１枚分の撮影画像又は１フレーム周期分の第２ＲＡＷデータによって表現される１枚分の撮影画像を入力画像とも呼ぶ。第１又は第２ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像が入力画像である、と解釈しても良い。第１ＲＡＷデータに基づく入力画像を特に第１入力画像とも呼び、第２ＲＡＷデータに基づく入力画像を特に第２入力画像とも呼ぶ。尚、本明細書では、任意の画像の画像データを単に画像と呼ぶことがある。従って例えば、入力画像を記録するという表現と入力画像の画像データを記録するという表現は同義である。

図３に、二次元の画像空間ＸＹを示す。画像空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、画像空間ＸＹ上に配置された画像であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

撮像部１１及び２１の撮影範囲には、１又は複数の被写体が存在する。撮像部１１及び２１の撮影範囲に含まれる全ての被写体を総称して被写体群と呼ぶ。以下に述べる被写体は、特に記述なき限り、被写体群に含まれる被写体を指す。

図４（ａ）及び（ｂ）に、それぞれ撮像部１１の撮影範囲及び撮像部２１の撮影範囲を示し、図４（ｃ）に、撮像部１１の撮影範囲及び撮像部２１の撮影範囲の関係を示す。図４（ａ）において、撮像部１１から突出する斜線領域は撮像部１１の撮影範囲を表しており、図４（ｂ）において、撮像部２１から突出する斜線領域は撮像部２１の撮影範囲を表している。撮像部１１の撮影範囲と撮像部２１の撮影範囲との間には、共通撮影範囲が存在する。図４（ｃ）において、斜線範囲ＰＲ_ＣＯＭは共通撮影範囲を表している。共通撮影範囲は、撮像部１１の撮影範囲と撮像部２１の撮影範囲とが互いに重なり合う範囲を指す。撮像部１１の撮影範囲の一部と撮像部２１の撮影範囲の一部とが共通撮影範囲を形成する。撮像部１１及び２１の撮影範囲の内、共通撮影範囲以外の範囲を、非共通撮影範囲と呼ぶ。

撮像部１１及び２１間には視差が存在する。即ち、第１入力画像の視点と第２入力画像の視点は互いに異なる。撮像部１１における撮像素子３３の位置は第１入力画像の視点に相当すると考えることができ、撮像部２１における撮像素子３３の位置は第２入力画像の視点に相当すると考えることができる

図４（ｃ）において、記号ｆは、撮像部１１の焦点距離ｆを表しており、記号ＳＳは、撮像部１１の撮像素子３３のセンササイズを表している。焦点距離ｆ及びセンササイズＳＳを撮像部１１及び２１間で異ならせることも可能であるが、ここでは、特に記述なき限り、焦点距離ｆ及びセンササイズＳＳは撮像部１１及び２１間で同じであるとする。図４（ｃ）において、記号ＢＬは、撮像部１１及び２１間の基線（baseline）の長さを表している。撮像部１１及び２１間の基線は、撮像部１１の撮像素子３３の中心と撮像部２１の撮像素子３３の中心とを結ぶ線分である。

図４（ｃ）において、記号ＳＵＢは、被写体群に含まれる任意の被写体を表している。図４（ｃ）では、被写体ＳＵＢが共通撮影範囲内に示されているが、被写体ＳＵＢは非共通撮影範囲内にも位置しうる。記号ＤＳＴは、被写体ＳＵＢの被写体距離を表す。被写体ＳＵＢの被写体距離とは、実空間上における被写体ＳＵＢと撮像装置１との距離を指し、被写体ＳＵＢと撮像部１１の光学中心（光学系３５の主点）との間の距離及び被写体ＳＵＢと撮像部２１の光学中心（光学系３５の主点）との間の距離と一致する。

主制御部１３は、撮像部１１及び２１間の視差に基づき、三角測量の原理を用いて第１及び第２入力画像から被写体距離を検出することができる。図５（ａ）及び（ｂ）の画像３１０及び３２０は、被写体ＳＵＢを同時に撮影することで得た第１及び第２入力画像の例を表している。ここでは、説明の便宜上、被写体ＳＵＢが幅及び厚みを持たない点光源であるとする。図５（ａ）において、点像３１１は第１入力画像３１０に含まれる被写体ＳＵＢの像であり、図５（ｂ）において、点像３２１は第２入力画像３２０に含まれる被写体ＳＵＢの像である。図５（ｃ）に示す如く、第１入力画像３１０及び第２入力画像３２０を共通の画像空間ＸＹに配置して考え、第１入力画像３１０上における点像３１１の位置と第２入力画像３２０上における点像３２１の位置との間の距離ｄを求める。距離ｄは画像空間ＸＹ上における距離である。距離ｄが求められれば、下記式（１）に従って被写体ＳＵＢの被写体距離ＤＳＴを求めることができる。
ＤＳＴ＝ＢＬ×ｆ／ｄ …（１）

同時撮影された第１及び第２入力画像をステレオ画像と呼ぶ。主制御部１３は、ステレオ画像に基づき、式（１）に従って各被写体の被写体距離を検出する処理（以下、第１距離検出処理と呼ぶ）を成すことができる。第１距離検出処理による各被写体距離の検出結果を第１距離検出結果と呼ぶ。

図６に、主制御部１３内に設けておくことのできる距離情報生成部５０の内部ブロック図を示す。距離情報生成部５０には、ステレオ画像に基づく第１距離検出処理を行うことで第１距離検出結果を出力する第１距離検出部５１（以下、検出部５１と略記することがある）と、第１距離検出処理とは異なる第２距離検出処理を行うことで第２距離検出結果を出力する第２距離検出部５２（以下、検出部５２と略記することがある）と、第１及び第２距離検出結果を統合することにより出力距離情報を生成する検出結果統合部５３（以下、統合部５３と略記することがある）と、が備えられる。第１距離検出処理では、ステレオビジョン（stereovision）法によってステレオ画像から第１距離検出結果を生成する。第２距離検出処理では、第１距離検出処理で用いられる被写体距離の検出方法とは異なる検出方法にて各被写体距離の検出を行う（詳細は後述）。第２距離検出結果は、第２距離検出処理による各被写体距離の検出結果である。

統合距離検出結果とも言うべき出力距離情報は、画像空間ＸＹ上における各被写体の被写体距離を特定する情報であり、換言すれば、画像空間ＸＹ上における各画素位置の被写体の被写体距離を特定する情報である。出力距離情報によって、第１入力画像の各画素位置における被写体の被写体距離が表される、又は、第２入力画像の各画素位置における被写体の被写体距離が表される。出力距離情報の形態は任意であるが、ここでは、出力距離情報が距離画像であるとする。距離画像は、自身を形成する各画素の画素値に被写体距離の測定値（換言すれば検出値）を持たせた濃淡画像である。図７（ａ）及び（ｂ）の画像３５１及び３５２は、同時撮影された第１及び第２入力画像の例であり、図７（ｃ）の画像３５３は、画像３５１及び３５２に基づく距離画像の例である。尚、第１及び第２距離検出結果の形態も任意であるが、ここでは、それらも距離画像の形態で表現されているとする。第１及び第２距離検出結果を表す距離画像を夫々第１及び第２距離画像と呼び、出力距離情報を表す距離画像を統合距離画像と呼ぶ（図６参照）。

主制御部１３は、出力距離情報を様々な用途に利用することができる。例えば、主制御部１３に、図８のデジタルフォーカス部６０を設けておくことができる。デジタルフォーカス部６０を、合焦状態変更部又は合焦状態調整部と呼ぶこともできる。デジタルフォーカス部６０は、出力距離情報を用いて対象入力画像の合焦状態を変更する画像処理（換言すれば、対象入力画像の合焦状態を調整する画像処理）を実行する。この画像処理を、デジタルフォーカスと呼ぶ。対象入力画像は、第１又は第２入力画像である。合焦状態の変更後の対象入力画像を対象出力画像と呼ぶ。デジタルフォーカスによって、対象入力画像から任意の合焦距離及び任意の被写界深度を有する対象出力画像を生成することができる。対象入力画像から対象出力画像を生成するための画像処理の方法として、公知の画像処理方法を含む任意の画像処理方法を利用可能である。例えば、特開２００９−２２４９８２号公報又は特開２０１０−８１００２号公報に記載の方法を利用可能である。

ステレオ画像に基づく第１距離検出処理によって、多くの被写体の被写体距離を精度良く検出することができる。しかしながら、第１距離検出処理では、原理上、非共通撮影範囲内に位置する被写体の被写体距離を検出することができない。即ち、第１及び第２入力画像の内、一方の入力画像にしか写っていない被写体の被写体距離を検出することはできない。また、何らかの事情により、幾つかの被写体に対しては、第１距離検出処理によって被写体距離を精度良く検出できないこともある。

これらの事情を考慮し、距離情報生成部５０では、第１距離検出処理に加えて第２距離検出処理を利用し、第１及び第２距離検出結果を用いて出力距離情報を生成する。例えば、非共通撮影範囲内に位置する被写体に対しても距離情報が得られるように第１距離検出結果を第２距離検出結果にて補間する。或いは例えば、第１距離検出処理によっては精度良く被写体距離を検出できない被写体に対して、第２距離検出結果を利用する。

これにより、第１距離検出処理では検出不能な被写体距離又は第１距離検出処理では高い精度で検出できない被写体距離を、第２距離検出結果を用いて補間することができ、全体として、被写体距離の検出可能範囲を広げることが可能となる。得られた出力距離情報をデジタルフォーカスに利用すれば、対象入力画像の全体又は大部分に対して合焦状態調整が可能となる。

出力距離情報の具体的生成方法を説明する前に、図９を参照して幾つかの用語を定義する。非共通撮影範囲内に位置する被写体には、図９の被写体ＳＵＢ_２及びＳＵＢ_３が含まれる。被写体ＳＵＢ_２は、撮像装置１との間の距離が短すぎることによって、非共通撮影範囲内に位置することとなった被写体である。被写体ＳＵＢ_３は、撮像部１１又は２１の撮影範囲の端部であって且つ共通撮影範囲の反対側の端部に位置する被写体である。被写体ＳＵＢ_３を端部被写体と呼ぶ。

図９に示す如く、共通撮影範囲ＰＲ_ＣＯＭに属する被写体距離の内、最小の被写体距離を距離ＴＨ_ＮＦ１にて表す。更に、距離（ＴＨ_ＮＦ１＋ΔＤＳＴ）を距離ＴＨ_ＮＦ２にて表す。ΔＤＳＴ≧０である。第１距離検出処理の特性に基づき、ΔＤＳＴの値を予め定めておくことができる。ΔＤＳＴ＝０であってもよく、ΔＤＳＴ＝０の場合、ＴＨ_ＮＦ１＝ＴＨ_ＮＦ２である。

共通撮影範囲内に位置する被写体の内、距離ＴＨ_ＮＦ２以上の被写体距離を有する被写体を通常被写体と呼ぶ。図９の被写体ＳＵＢ_１は通常被写体の一種である。ΔＤＳＴ＝０の場合、共通撮影範囲内に位置する全ての被写体は、通常被写体である。一方で、距離ＴＨ_ＮＦ２未満の被写体距離を有する被写体を近接被写体と呼ぶ。図９の被写体ＳＵＢ_２は近接被写体の一種である。ΔＤＳＴ＞０の場合、共通撮影範囲内に位置する幾つかの被写体も近接被写体に属する。端部被写体は、非共通撮影範囲内に位置する被写体の内、距離ＴＨ_ＮＦ２以上の被写体距離を有する被写体である。

以下、出力距離情報の生成等に関与する実施形態として、第１〜第６実施形態を説明する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。第１実施形態では、図１０に示す如く、検出部５２に画像保持部５４が設けられ、検出部５２は入力画像列４００に基づいて第２距離検出処理を実行する。尚、検出部５２の外部に画像保持部５４が設けられていると考えても構わない。また、画像保持部５４は、図１の内部メモリ１４に設けられてもよい。第１実施形態で述べる、入力画像列４００に基づく第２距離検出処理の方法を、便宜上、検出方法Ａ１と呼ぶ。図６の統合部５３は、統合方法Ｂ１にて第１及び第２距離検出結果を統合することにより出力距離情報を生成する。

入力画像列４００は、時系列上に並ぶ複数の第１入力画像の集まり、又は、時系列上に並ぶ複数の第２入力画像の集まりを指す。図１１に示す如く、入力画像列４００は、ｎ枚の入力画像４００［１］〜４００［ｎ］から成る。即ち、入力画像列４００は、時刻ｔ_１に撮影された入力画像４００［１］、時刻ｔ_２に撮影された入力画像４００［２］、・・・、及び、時刻ｔ_ｎに撮影された入力画像４００［ｎ］から成る。時刻ｔ_ｉ＋１は時刻ｔ_ｉよりも後に訪れる時刻である（ｉは整数）。時刻ｔ_ｉ及び時刻ｔ_ｉ＋１間の時間間隔は、第１入力画像列のフレーム周期及び第２入力画像列のフレーム周期と一致する。或いは、時刻ｔ_ｉ及び時刻ｔ_ｉ＋１間の時間間隔は、第１入力画像列のフレーム周期の整数倍及び第２入力画像列のフレーム周期の整数倍と一致する。ｎは２以上の任意の整数である。ここでは、説明の具体化のため、入力画像４００［１］〜４００［ｎ］が第１入力画像であって且つｎ＝２であることを想定する。

画像保持部５４は、入力画像４００［ｎ］の画像データが検出部５２に入力されるまで、入力画像４００［１］〜４００［ｎ−１］の画像データを保持する。上述の如くｎ＝２である場合、入力画像４００［１］の画像データが画像保持部５４にて保持される。

検出部５２は、画像保持部５４が保持している画像データと入力画像４００［ｎ］の画像データとに基づき、即ち、入力画像列４００の画像データに基づき、ＳＦＭ（Structure From Motion）を用いて各被写体距離の検出を行う。ＳＦＭは、「運動からの構造推定」とも呼ばれる。ＳＦＭを用いた被写体距離の検出方法は公知であるため、その方法の詳細な説明を割愛する。検出部５２は、ＳＦＭを用いた公知の被写体距離の検出方法（例えば、特開２０００−３４４６号公報に記載の方法）を利用可能である。入力画像列４００の撮影期間中に撮像装置１が運動していればＳＦＭにて距離推定を行うことができ、撮像装置１の運動は、例えば撮像装置１に作用する手ぶれによってもたらされる（手ぶれが存在しない場合の対応方法については、第５実施形態にて後述）。

ＳＦＭでは、距離推定のために撮像装置１の運動を推定する必要がある。このため、基本的に、ＳＦＭによる被写体距離の検出精度はステレオ画像に基づく被写体距離の検出精度よりも低い。一方で、ステレオ画像に基づく第１距離検出処理では、上述したように、近接被写体及び端部被写体の被写体距離検出が困難である。

そこで、統合部５３は、原則として第１距離検出結果を用いて出力距離情報を生成しつつも、近接被写体及び端部被写体に対する被写体距離については、第２距離検出結果を用いて出力距離情報を生成する。換言すれば、通常被写体の被写体距離についての第１距離検出結果が出力距離情報に含まれるように、且つ、近接被写体及び端部被写体の被写体距離についての第２距離検出結果が出力距離情報に含まれるように、第１及び第２距離検出結果を統合する。第１実施形態において、図９の距離ΔＤＳＴは、ゼロであってもよいし、ゼロよりも大きくても良い。

より具体的には例えば、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が通常被写体であるとき、統合距離画像の画素位置（ｘ，ｙ）には第１距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_１（ｘ，ｙ）が書き込まれ、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が近接被写体又は端部被写体であるとき、統合距離画像の画素位置（ｘ，ｙ）には第２距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_２（ｘ，ｙ）が書き込まれる。画素値ＶＡＬ_１（ｘ，ｙ）及びＶＡＬ_２（ｘ，ｙ）から、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が通常被写体であるのか或いは近接被写体又は端部被写体であるのかを判断可能である（後述の他の実施形態においても同様）。

例えば、図９の距離ΔＤＳＴがゼロである場合、以下のような処理（以下、処理Ｊ１という）を行うことができる。
統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が通常被写体であるとき、第１距離検出処理によって画素位置（ｘ，ｙ）に対応する被写体距離を検出することができ、結果、画素値ＶＡＬ_１（ｘ，ｙ）は有効値を持つ。一方、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が近接被写体又は端部被写体であるとき、第１距離検出処理によって画素位置（ｘ，ｙ）に対応する被写体距離を検出することができず、結果、画素値ＶＡＬ_１（ｘ，ｙ）は無効値を持つ。従って、処理Ｊ１では、画素値ＶＡＬ_１（ｘ，ｙ）が有効値であるとき、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_１（ｘ，ｙ）を書き込み、画素値ＶＡＬ_１（ｘ，ｙ）が無効値であるとき、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_２（ｘ，ｙ）を書き込むようにする。このような書き込み処理を全画素位置に対して順次行うことで統合距離画像の全体画像が形成される。尚、画素値ＶＡＬ_１（ｘ，ｙ）に無効値を持たせない方法も利用可能である（後述の第８応用技術を参照）。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態で述べる第２距離検出処理の方法を検出方法Ａ２と呼ぶ。第２実施形態で述べる、第１及び第２距離検出結果から出力距離情報を生成する方法を統合方法Ｂ２と呼ぶ。

第２実施形態では、撮像部１１の撮像素子３３及び撮像部２１の撮像素子３３の夫々に、撮像素子３３_Ａが用いられる。但し、撮像部１１及び２１の内、何れか一方の撮像素子３３のみが、撮像素子３３_Ａであっても良い。撮像素子３３_Ａは、いわゆる像面位相差ＡＦを実現可能な撮像素子である。

撮像素子３３について上述したように、撮像素子３３_Ａも、ＣＣＤやＣＭＯＳイメージセンサなどから成る。但し、撮像素子３３_Ａには、撮影用の受光画素である第３受光画素に加えて、被写体距離を検出するための位相差画素が設けられている。位相差画素は、近接配置された一対の第１及び第２受光画素から成る。第１、第２及び第３受光画素の夫々は複数存在し、複数の第１受光画素、複数の第２受光画素及び複数の第３受光画素を、夫々、第１受光画素群、第２受光画素群及び第３受光画素群と呼ぶ。一対の第１及び第２受光画素を、撮像素子３３_Ａの撮像面の全体に亘り、一定間隔にて分散配置することができる。

撮像素子３３_Ａ以外の撮像素子では、通常、第３受光画素のみがマトリクス状に配列されている。第３受光画素のみをマトリクス状に配列して形成される撮像素子を基準とし、一部の第３受光画素を位相差画素で置き換えることで撮像素子３３_Ａが形成される。撮像素子３３_Ａの形成方法及び位相差画素の出力信号から被写体距離を検出する方法として、公知の方法（例えば、特開２０１０−１１７６８０号公報に記載の方法）を利用可能である。

例えば、撮像光学系の第１射出瞳（exit pupil）領域を通過した光のみが第１受光画素群にて受光されるように、且つ、撮像光学系の第２射出瞳領域を通過した光のみが第２受光画素群にて受光されるように、且つ、撮像光学系の第１及び第２射出瞳領域を含む第３射出瞳領域を通過した光が第３受光画素群にて受光されるように、撮像光学系及び撮像素子３３_Ａを形成する。撮像光学系とは、撮像素子３３_Ａに対応する光学系３５及び絞り３２をまとめたものを指す。第１及び第２射出瞳領域は、撮像光学系の全射出瞳領域に含まれる、互いに異なる射出瞳領域である。第３射出瞳領域は、撮像光学系の全射出瞳領域と一致していても良い。

第３受光画素群にて形成される被写体像が入力画像である。即ち、第３受光画素群の出力信号から入力画像の画像データが生成される。例えば、撮像部１１に設けられた撮像素子３３_Ａの第３受光画素群の出力信号から第１入力画像の画像データが生成される。但し、第１及び第２受光画素群の出力信号を入力画像の画像データに関与させてもよい。一方、第１受光画素群にて形成される被写体像を画像ＡＡと呼び、第２受光画素群にて形成される被写体像を画像ＢＢと呼ぶ。第１受光画素群の出力信号から画像ＡＡの画像データが生成され、第２受光画素群の出力信号から画像ＢＢの画像データが生成される。図１の主制御部１３は、画像ＡＡと画像ＢＢとの間の相対的な位置ずれを検出することで所謂ＡＦ（オートフォーカス）を実現することができる。他方、検出部５２は、撮像光学系の特性を表す情報と画像ＡＡ及び画像ＢＢの画像データから、入力画像の各画素位置における被写体の被写体距離を検出する。

第１受光画素群と第２受光画素群との間には視差が存在する。第１距離検出処理と同様、撮像素子３３_Ａの出力を用いた第２距離検出処理でも、同時撮影された２枚の画像（ＡＡ及びＢＢ）から三角測量の原理を用いて被写体距離の検出を行っている。但し、画像ＡＡを生成するための第１受光画素群と画像ＢＢを生成するための第２受光画素群との間の基線の長さは、図４の基線の長さＢＬよりも短い。三角測量の原理を用いた距離検出において、基線の長さを短くすれば比較的小さな被写体距離に対する検出精度が向上し、基線の長さを長くすれば比較的大きな被写体距離に対する検出精度が向上する。従って、近接被写体に対しては、第２距離検出処理を用いた方が、被写体距離の検出精度が向上する。

そこで、統合部５３は、比較的大きな被写体距離に対しては第１距離検出結果を用いて出力距離情報を生成し、比較的小さな被写体距離に対しては第２距離検出結果を用いて出力距離情報を生成する。換言すれば、通常被写体の被写体距離についての第１距離検出結果が出力距離情報に含まれるように、且つ、近接被写体の被写体距離についての第２距離検出結果が出力距離情報に含まれるように、第１及び第２距離検出結果を統合する。尚、端部被写体の被写体距離については、第２距離検出結果が出力距離情報に含まれるようにするとよい。第２実施形態においても、図９の距離ΔＤＳＴは、ゼロであってもよいし、ゼロよりも大きくても良い。

より具体的には例えば、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が通常被写体であるとき、統合距離画像の画素位置（ｘ，ｙ）には第１距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_１（ｘ，ｙ）が書き込まれ、統合距離画像の画素位置（ｘ，ｙ）に対応する被写体が近接被写体であるとき、統合距離画像の画素位置（ｘ，ｙ）には第２距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_２（ｘ，ｙ）が書き込まれる。

つまり例えば、以下のような処理（以下、処理Ｊ２という）を行うことができる。
処理Ｊ２では、画素値ＶＡＬ_１（ｘ，ｙ）が指し示す被写体距離が距離ＴＨ_ＮＦ２以上であるとき、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_１（ｘ，ｙ）を書き込み、画素値ＶＡＬ_１（ｘ，ｙ）が指し示す被写体距離が距離ＴＨ_ＮＦ２未満であるとき、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_２（ｘ，ｙ）を書き込む。このような書き込み処理を全画素位置に対して順次行うことで統合距離画像の全体画像が形成される。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態で述べる第２距離検出処理の方法を検出方法Ａ３と呼ぶ。第３実施形態で述べる、第１及び第２距離検出結果から出力距離情報を生成する方法を統合方法Ｂ３と呼ぶ。

第３実施形態において、検出部５２は、図１２に示す如く、１枚の入力画像４２０から第２距離検出結果を生成する。入力画像４２０は、撮像部１１にて撮影された１枚の第１入力画像又は撮像部２１にて撮影された１枚の第２入力画像である。

１枚の入力画像４２０から第２距離検出結果（第２距離画像）を生成する方法として、公知の任意の距離推定方法を利用可能である。例えば、非特許文献“高野展寿、他３名，「画像構造を利用した単一画像からのｄｅｐｔｈ推定」，社団法人映像情報メディア学会技術報告（ITE Technical Report），２００９年７月，Vol.33，No.31，pp、13-16”に記載された距離推定方法、又は、非特許文献“Ashutosh Saxena、他２名，「3-D Depth Reconstruction from a Single Still Image」，Springer Science+Business Media，２００７年，Int J Comput Vis，DOI 1007/S11263-007-0071-y”に記載された距離推定方法を利用可能である。

或いは例えば、入力画像４２０のエッジ状態から第２距離検出結果を生成することも可能である。より具体的には例えば、入力画像４２０に含まれる空間周波数成分からピントの合った被写体が存在している画素位置を合焦位置として特定すると共に入力画像４２０の撮影時における光学系３５の特性から当該合焦位置に対応する被写体距離を求める。その後、他の画素位置における画像のぼけ具合（エッジの勾配）を評価し、ぼけ具合から当該他の画素位置における被写体距離を、合焦位置に対応する被写体距離を基準にして求めることができる。

統合部５３は、第１距離検出結果の信頼度と第２距離検出結果の信頼度を評価し、信頼度がより高い方の距離検出結果を用いて出力距離情報を生成する。第１距離検出結果の信頼度の評価を被写体ごとに（換言すれば画素位置ごとに）行うことができる。

第１距離検出結果の信頼度Ｒ_１の算出方法について説明する。被写体ＳＵＢ（図４（ｃ）参照）について求められた距離ｄ（図５（ｃ）参照）がｄ_Ｏであって、且つ、被写体ＳＵＢに対するステレオマッチングの類似度がＳＩＭ_Ｏである場合、第１距離検出処理による被写体ＳＵＢについての被写体距離検出の信頼度Ｒ_１は、下記式（２）によって表される。ｋ_１及びｋ_２は予め定められた正の係数である。但し、ｋ_１及びｋ_２の内、少なくとも一方はゼロであっても良い。また、式（２）におけるセンササイズＳＳは、矩形形状を有する撮像素子３３の一辺の長さを表す。
Ｒ_１＝ｋ_１×ｄ_Ｏ／ＳＳ＋ｋ_２×ＳＩＭ_Ｏ …（２）

第２距離検出結果の信頼度Ｒ_２の評価も被写体ごとに（換言すれば画素位置ごとに）行うことができる。

統合部５３は、被写体ごとに（換言すれば画素位置ごとに）信頼度Ｒ_１及びＲ_２を比較し、対応する信頼度Ｒ_１が信頼度Ｒ_２よりも高い被写体に対しては第１距離検出結果を用いて出力距離情報を生成し、対応する信頼度Ｒ_２が信頼度Ｒ_１よりも高い被写体に対しては第２距離検出結果を用いて出力距離情報を生成することができる。

或いは、統合部５３は、第２距離検出結果の信頼度Ｒ_２を評価することなく、第１距離検出結果の信頼度Ｒ_１に基づいて統合距離画像を生成することもできる。この場合、信頼度Ｒ_１が高い部分に対しては第１距離画像を用いて統合距離画像を生成する一方で、信頼度Ｒ_２が低い部分に対しては第２距離画像を用いて統合距離画像を生成すると良い。

つまり例えば、以下のような処理（以下、処理Ｊ３という）を行うことができる。
処理Ｊ３では、画素位置（ｘ，ｙ）に対する信頼度Ｒ_１を所定の基準値Ｒ_ＲＥＦと比較し、Ｒ_１≧Ｒ_ＲＥＦの成立時には、第１距離画像の画素値ＶＡＬ_１（ｘ，ｙ）を統合距離画像の画素位置（ｘ，ｙ）に書き込み、Ｒ_１＜Ｒ_ＲＥＦの成立時には、第２距離画像の画素値ＶＡＬ_２（ｘ，ｙ）を統合距離画像の画素位置（ｘ，ｙ）に書き込む。このような書き込み処理を全画素位置に対して順次行うことで統合距離画像の全体画像が形成される。

式（２）における類似度ＳＩＭ_Ｏの意義を説明するために、画像３５１及び３５２に基づく第１距離検出処理について説明を加える（図７（ａ）及び（ｂ）参照）。第１距離検出処理では、画像３５１及び３５２の内、どちらか一方を基準画像に設定すると共に他方を非基準画像に設定し、基準画像及び非基準画像の画像データに基づき、基準画像上の注目画素に対応する画素を非基準画像の中から探索する。この探索は、ステレオマッチングとも呼ばれる。より具体的には例えば、注目画素を中心とする所定サイズの画像領域内の画像をテンプレート画像として基準画像から抽出し、テンプレート画像と非基準画像内に設定された評価領域内の画像との類似度を求める。非基準画像に設定された評価領域の位置は順次シフトされ、シフトのたびに類似度の算出が成される。そして、得られた複数の類似度の内、最大の類似度を特定し、最大の類似度に対応する位置に注目画素の対応画素が存在すると判断する。被写体ＳＵＢの画像データが上記注目画素に存在する場合、ここで特定された最大の類似度がＳＩＭ_Ｏに相当する。

注目画素の対応画素が特定された後、基準画像上の注目画素の位置と、非基準画像上の対応画素の位置とに基づき距離ｄを求め（図５（ｃ）参照）、更に上記式（１）に従って当該注目画素に位置する被写体の被写体距離ＤＳＴを求めることができる。第１距離検出処理において、基線の長さＢＬ並びに画像３５１及び３５２の撮影時における焦点距離ｆは既知である。基準画像上の各画素を注目画素に順次設定した上で、上述のステレオマッチング及び式（１）に従う被写体距離ＤＳＴの算出を順次行うことで、画像３５１又は３５２の各画素位置における被写体の被写体距離を検出することができる。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第４実施形態で述べる第２距離検出処理の方法を検出方法Ａ４と呼ぶ。

第４実施形態に係る検出方法Ａ４においても、第１実施形態に係る検出方法Ａ１と同様、図１１の入力画像列４００に基づき各被写体距離の検出を行う。第４実施形態では、説明の具体化のため、入力画像４００［１］〜４００［ｎ］は第１入力画像であるものとする。そして、第４実施形態で述べるフォーカスレンズ３１とは、撮像部１１のフォーカスレンズ３１を指し、レンズ位置とはフォーカスレンズ３１の位置を指す。

第４実施形態では、撮像装置１において、コントラスト検出法に基づくＡＦ制御（オートフォーカス制御）が成される。この実現のために、主制御部１３内に設けられたＡＦ評価部（不図示）はＡＦ評価値を算出する。

コントラスト検出法に基づくＡＦ制御では、ＡＦ評価領域に設定された画像領域のＡＦ評価値を、レンズ位置を順次変更しながら次々と算出し、ＡＦ評価値が最大化されるレンズ位置を合焦レンズ位置として探索する。探索後、レンズ位置を合焦レンズ位置に固定することでＡＦ評価領域内に位置する被写体にピントを合わせることができる。或る画像領域についてのＡＦ評価値は、当該画像領域内の画像のコントラストが増大するにつれて増大する。

コントラスト検出法に基づくＡＦ制御の実行過程において、入力画像４００［１］〜４００［ｎ］を得ることができる。ＡＦ評価部は、図１３に示す如く、まず入力画像４００［１］に注目し、入力画像４００［１］の全体画像領域を複数の小ブロックに分割する。今、入力画像４００［１］に設定された複数の小ブロックの内、特定位置に配置された１つの小ブロックを小ブロック４４０と呼ぶ。ＡＦ評価部は、小ブロック４４０の輝度信号に含まれる空間周波数成分から、比較的高い周波数成分である所定の高域周波数成分を抽出し、抽出した周波数成分を積算することにより小ブロック４４０のＡＦ評価値を求める。

入力画像４００［１］の小ブロック４４０に対して求められたＡＦ評価値をＡＦ_{ＳＣＯＲＥ}［１］にて表す。ＡＦ評価部は、入力画像４００［２］〜４００［ｎ］の夫々に対しても、入力画像４００［１］と同様に、小ブロック４４０を含む複数の小ブロックを設定すると共に小ブロック４４０のＡＦ評価値を求める。入力画像４００［ｉ］の小ブロック４４０に対して求められたＡＦ評価値をＡＦ_{ＳＣＯＲＥ}［ｉ］にて表す。ＡＦ_{ＳＣＯＲＥ}［ｉ］は、入力画像４００［ｉ］の小ブロック４４０におけるコントラストに応じた値を持つ。

入力画像４００［１］〜４００［ｎ］の撮影時におけるレンズ位置を、夫々、第１〜第
ｎレンズ位置と呼ぶ。第１〜第ｎレンズ位置は互いに異なる。図１４に、ＡＦ_{ＳＣＯＲＥ}［ｉ］のレンズ位置依存性を示す。ＡＦ_{ＳＣＯＲＥ}［ｉ］は、特定のレンズ位置にて極大値をとる。検出部５２は、極大値に対応するレンズ位置を小ブロック４４０に対するピークレンズ位置として検出し、撮像部１１の特性に基づきピークレンズ位置を被写体距離に換算することで、小ブロック４４０に対する被写体距離を算出する。

検出部５２は、上述と同様の処理を、小ブロック４４０以外の全ての小ブロックに対しても実行する。これにより、全ての小ブロックに対する被写体距離が算出される。検出部５２は、小ブロックごとに求められた被写体距離を第２距離検出結果に含めて出力する。

第４実施形態に対しては、第３実施形態で述べた処理Ｊ３を含む統合方法Ｂ３を利用可能である。但し、第１実施形態で述べた処理Ｊ１を含む統合方法Ｂ１又は第２実施形態で述べた処理Ｊ２を含む統合方法Ｂ２を第４実施形態に適用することもできる。
同様に、処理Ｊ２を含む統合方法Ｂ２又は処理Ｊ３を含む統合方法Ｂ３を第１実施形態に適用することもできるし、処理Ｊ１を含む統合方法Ｂ１又は処理Ｊ３を含む統合方法Ｂ３を第２実施形態に適用することもできるし、処理Ｊ１を含む統合方法Ｂ１又は処理Ｊ２を含む統合方法Ｂ２を第３実施形態に適用することもできる。

＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態では、第１〜第４実施形態及び後述の他の実施形態に対して適用可能な応用技術として、第１〜第８応用技術を説明する。各応用技術の説明において引用される図１１の入力画像列４００は、第１入力画像列であるとする。また、説明の具体化のため、第１実施形態への適用を想定して第１〜第５応用技術を説明しているが、矛盾なき限り、第１〜第５応用技術を何れの実施形態（但し、第５実施形態を除く）にも適用することができる。第６〜第８応用技術も、矛盾なき限り、任意の実施形態（但し、第５実施形態を除く）に適用可能できる。

――第１応用技術――
第１実施形態への適用を想定して第１応用技術を説明する。ｎ＝２であることを想定する（図１１参照）。この場合、時刻ｔ_１では第１及び第２入力画像を同時撮影し、時刻ｔ_２では撮像部１１のみを駆動して第１入力画像の撮影のみを行う（即ち、時刻ｔ_２における第２入力画像の撮影を行わない）。時刻ｔ_１における第１及び第２入力画像に基づき第１距離検出処理を行い、時刻ｔ_１及びｔ_２における第１入力画像に基づき第２距離検出処理（ＳＦＭを用いた第２距離検出処理）を行う。

出力距離情報の生成にとって、時刻ｔ_２の第２入力画像は不要であるといえる。従って、時刻ｔ_２において撮像部２１の駆動を停止する。これにより、消費電力の削減が図られる。

――第２応用技術――
第１実施形態への適用を想定して第２応用技術を説明する。ｎ＝２であることを想定する（図１１参照）。検出部５１は、時刻ｔ_１において同時撮影された第１及び第２入力画像に基づき第１距離検出結果を生成し、検出部５２は、時刻ｔ_１及びｔ_２において撮影された第１入力画像に基づき第２距離検出結果を生成する。統合部５３は、まず第１距離検出結果を参照し、第１距離検出結果が必要な検出精度を満たしているか否かを判断する。例えば、距離ＴＨ_ＮＦ２以上の被写体距離を表す画素値が第１距離画像の全画素位置に対して与えられている場合、第１距離検出結果が必要な検出精度を満たしていると判断し、そうでない場合、第１距離検出結果が必要な検出精度を満たしていないと判断する。

そして、統合部５３は、第１距離検出結果が必要な検出精度を満たしていると判断した場合、第２距離検出結果を利用することなく、第１距離検出結果そのものを出力距離情報として出力する。第１距離検出結果が必要な検出精度を満たしていないと判断した場合には、上述してきたような第１及び第２距離検出結果の統合を行う。

第１距離検出結果が必要な検出精度を満たしている場合、統合のための処理は無駄であるといえる。第２応用技術によれば、無駄な統合処理の実行が回避され、出力距離情報を得るための動作時間の短縮及び消費電力削減が図られる。出力距離情報を得るための動作時間が短縮されれば、ユーザから見た撮像装置１の応答性が向上する。

――第３応用技術――
第１実施形態への適用を想定して第３応用技術を説明する。ｎ＝２であることを想定する（図１１参照）。検出部５１は、時刻ｔ_１において同時撮影された第１及び第２入力画像に基づき第１距離検出結果を生成し、距離情報生成部５０又は統合部５３は（図６参照）、この第１距離検出結果から第２距離検出結果の必要性を判断する。そして、第２距離検出結果が必要と判断される場合には、時刻ｔ_２の第１及び第２入力画像（又は第１入力画像のみ）を得るための撮影動作を実行させる一方、第２距離検出結果が不要と判断される場合には、時刻ｔ_２の第１入力画像を得るための撮影動作を実行させない。第１距離検出結果が必要な検出精度を満たしていない場合、第２距離検出結果が必要と判断され、第１距離検出結果が必要な検出精度を満たしている場合、第２距離検出結果が不要と判断される。第１距離検出結果が必要な検出精度を満たしているか否かの判断は、第２応用技術で述べたものと同様である。

第３応用技術によれば、不必要な又は必要性の低い撮影動作の実行が回避され、出力距離情報を得るための動作時間の短縮及び消費電力削減が図られる。

――第４応用技術――
第４応用技術を説明する。ＳＦＭを用いた検出方法Ａ１を行う場合（図１０及び図１１参照）、入力画像列４００上で被写体に動きが存在する必要がある。しかしながら、撮像装置１が三脚で固定されている場合など、所謂手ぶれが発生していない状況下においては、必要な動きが得られないこともある。これを考慮し、第４応用技術では、入力画像列４００を撮影する際に、手ぶれ補正ユニット等の駆動によって光学特性を変化させる。手ぶれ補正ユニットは、例えば、手ぶれ補正用の補正レンズ（不図示）、又は、撮像素子３３である。

具体例を挙げる、ｎ＝２であることを想定する（図１１参照）。第４応用技術において述べる手ぶれ補正ユニット（補正レンズ又は撮像素子３３）、絞り３２、フォーカスレンズ３１及びズームレンズ３０は、撮像部１１におけるそれらを指す。この場合、時刻ｔ_１にて同時撮影された第１及び第２入力画像から第１距離検出処理によって第１距離検出結果を生成し、時刻ｔ_１及びｔ_２間において手ぶれ補正ユニット、絞り３２、フォーカスレンズ３１又はズームレンズ３０を駆動することで、時刻ｔ_１及びｔ_２間において撮像部１１の光学特性を変化させる。その後、時刻ｔ_２において第１及び第２入力画像を撮影し（或いは、第１入力画像のみを撮影し）、時刻ｔ_１及びｔ_２の第１入力画像に基づく第２距離検出処理によって第２距離検出結果を得る。統合部５３は、第１及び第２距離検出結果から出力距離情報を生成する。

手ぶれ補正ユニットが補正レンズである場合、補正レンズは撮像部１１の光学系３５内に設けられる。被写体群からの入射光は補正レンズを介して撮像素子３３に入射する。時刻ｔ_１及びｔ_２間において補正レンズ又は撮像素子３３の位置を変化させることで、撮像部１１の光学特性が変化し、ＳＦＭによる第２距離検出処理に必要な視差が時刻ｔ_１及びｔ_２の第１入力画像間に発生する。絞り３２、フォーカスレンズ３１又はズームレンズ３０を駆動する場合も同様である。時刻ｔ_１及びｔ_２間において絞り３２の開度（即ち絞り値）、フォーカスレンズ３１の位置又はズームレンズ３０の位置を変化させることで、撮像部１１の光学特性が変化し、ＳＦＭによる第２距離検出処理に必要な視差が時刻ｔ_１及びｔ_２の第１入力画像間に発生する。

第４応用技術によれば、撮像装置１が三脚で固定されている場合など、所謂手ぶれが発生していない状況下においても、ＳＦＭによる第２距離検出処理に必要な視差を確保することができる。

――第５応用技術――
第５応用技術を説明する。第１実施形態において、第１入力画像（入力画像４００［１］〜４００［ｎ−１］）の画像データのみを画像保持部５４に保持させる例を上述したが、第１入力画像の画像データに加えて第２入力画像の画像データをも画像保持部５４に保持させ、第１入力画像列及び第２入力画像列を用いて、ＳＦＭによる被写体距離の検出を行うようにしても良い。例えば、時刻ｔ_１及びｔ_２に撮影された第１入力画像と時刻ｔ_１及びｔ_２に撮影された第２入力画像とを用いて、ＳＦＭによる被写体距離の検出を行うようにしても良い。これにより、ＳＦＭによる被写体距離の検出精度を向上させることができる。また、第１及び第２入力画像の画像データを画像保持部５４に保持させておく場合、検出部５１は、画像保持部５４に保持されている画像データを用いて第１距離検出処理を行うことができる。

但し、第１及び第２入力画像の画像データを画像保持部５４に保持させる構成を原則としつつも、近接被写体が撮影対象であることが予め分かっている場合には、第１入力画像列である入力画像列４００の画像データのみを画像保持部５４に保持させるようにしても良い。これにより、メモリ使用量が削減される。メモリ使用量の削減は、処理時間、消費電力、コスト及び資源の削減につながる。例えば、撮像装置１の動作モードが近接被写体の撮影に適したマクロモードに設定されている場合、近接被写体が撮影対象であると判断できる。或いは例えば、時刻ｔ_１よりも前に撮影された入力画像を利用して、撮影対象が近接被写体である否かを判断するようにしても良い。

また例えば、近接被写体が撮影対象であることが予め分かっている場合には、第１距離検出処理にのみ必要な入力画像の撮影動作及び第１距離検出処理の実行を停止し、第２距離検出結果のみに基づいて出力距離情報を生成するようにしてもよい。

――第６応用技術――
第６応用技術を説明する。第６応用技術に係る統合部５３は、第１距離検出結果と第２距離検出結果を対比し、それらが指し示す被写体距離の値が同程度の場合にだけ、その同程度の被写体距離の値を出力距離情報に含める。

例えば、第１距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_１（ｘ，ｙ）が指し示す被写体距離ＤＳＴ_１（ｘ，ｙ）と、第２距離画像の画素位置（ｘ，ｙ）における画素値ＶＡＬ_２（ｘ，ｙ）が指し示す被写体距離ＤＳＴ_２（ｘ，ｙ）とを比較し、それらの距離差の絶対値｜ＤＳＴ_１（ｘ，ｙ）−ＤＳＴ_２（ｘ，ｙ）｜が所定の基準値以下である場合にのみ、統合距離画像の画素位置（ｘ，ｙ）に、画素値ＶＡＬ_１（ｘ，ｙ）若しくはＶＡＬ_２（ｘ，ｙ）、又は、画素値ＶＡＬ_１（ｘ，ｙ）及びＶＡＬ_２（ｘ，ｙ）の平均値を書き込む。これにより、出力距離情報における距離の精度が向上する。上記の絶対値｜ＤＳＴ_１（ｘ，ｙ）−ＤＳＴ_２（ｘ，ｙ）｜が所定の基準値よりも大きい場合には、画素位置（ｘ，ｙ）の近傍画素の画素値を用いて、統合距離画像の画素位置（ｘ，ｙ）の画素値を補間生成しても良い。

――第７応用技術――
第７応用技術を説明する。距離情報生成部５０では、第１距離検出処理に対して特定の距離範囲（以下、第１許容距離範囲という）が定められていると共に、第２距離検出処理に対しても特定の距離範囲（以下、第２許容距離範囲という）が定められている。第１許容距離範囲は、第１距離検出処理による被写体距離の検出精度が所定の許容範囲内に収まることが想定された距離範囲であり、第２許容距離範囲は、第２距離検出処理による被写体距離の検出精度が所定の許容範囲内に収まることが想定された距離範囲である。第１及び第２許容距離範囲の夫々は、固定された距離範囲であっても良いし、その時々の撮影条件（手ぶれ量、ズーム倍率など）に応じて逐次設定されるものであっても良い。図１５に、第１及び第２許容距離範囲の例を示す。第１及び第２許容距離範囲は互いに異なる距離範囲であり、特に、第１許容距離範囲の下限距離は第２許容距離範囲の下限距離よりも大きい。図１５の例では、第１許容距離範囲の一部と第２許容距離範囲の一部とが重なり合っているが、それらの重なりは存在しなくても良い（例えば、第１許容距離範囲の下限距離と第２許容距離範囲の上限距離を一致させても良い）。

統合部５３は、第１及び第２許容距離範囲を考慮して統合処理を行う。具体的には、第１距離画像の画素値ＶＡＬ_１（ｘ，ｙ）が指し示す被写体距離ＤＳＴ_１（ｘ，ｙ）が第１許容距離範囲内に属しておれば、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_１（ｘ，ｙ）を書き込む一方、第２距離画像の画素値ＶＡＬ_２（ｘ，ｙ）が指し示す被写体距離ＤＳＴ_２（ｘ，ｙ）が第２許容距離範囲内に属しておれば、統合距離画像の画素位置（ｘ，ｙ）に画素値ＶＡＬ_２（ｘ，ｙ）を書き込む。被写体距離ＤＳＴ_１（ｘ，ｙ）が第１許容距離範囲内に属していると同時に被写体距離ＤＳＴ_２（ｘ，ｙ）が第２許容距離範囲内に属している場合には、画素値ＶＡＬ_１（ｘ，ｙ）若しくはＶＡＬ_２（ｘ，ｙ）、又は、画素値ＶＡＬ_１（ｘ，ｙ）及びＶＡＬ_２（ｘ，ｙ）の平均値を、統合距離画像の画素位置（ｘ，ｙ）に書き込む。これにより、許容距離範囲から外れる検出結果が出力距離情報（統合距離画像）に採用されず、結果、出力距離情報における距離の精度が向上する。

――第８応用技術――
第８応用技術を説明する。画素位置（ｘ，ｙ）に対応する被写体が近接被写体又は端部被写体である場合、撮像部１１及び２１間の視差に基づく三角測量の原理では、当該被写体の被写体距離を検出することができない。このような場合、第１距離画像の画素位置（ｘ，ｙ）にも有効な画素値を持たせるべく、検出部５１は、第１距離画像において、画素位置（ｘ，ｙ）の近傍画素の画素値を用いて画素値ＶＡＬ_１（ｘ，ｙ）を補間することができる。このような補間の方法は、第２距離画像及び統合距離画像に対しても適用可能である。このような補間によって、全ての画素位置に対して有効な距離情報を持たせることが可能となる。

＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。第１〜第４実施形態において検出方法Ａ１〜Ａ４及び統合方法Ｂ１〜Ｂ３を個別に説明したが、何れの検出方法及び統合方法を距離情報生成部５０にて採用するのかを選択できるようにしておいても良い。例えば、図１６に示す如く、検出部５２及び統合部５３に検出モード選択信号を与えるようにしても良い。検出モード選択信号を、主制御部１３にて生成させることができる。検出モード選択信号によって、検出方法Ａ１〜Ａ４の内、何れの検出方法にて第２距離検出処理を行うのかが指定されると共に、統合方法Ｂ１〜Ｂ３の内、何れの統合方法にて出力距離情報の生成を行うのかが指定される。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施形態では画素を単位として被写体距離の検出を行う方法を主として述べているが、各実施形態において小領域を単位として被写体距離の検出を行うようにしても良い。小領域は１又は複数の画素から成る画像領域である。小領域が１つの画素から形成される場合、小領域と画素は同義である。

［注釈２］
出力距離情報をデジタルフォーカスに利用する例を上述したが、出力距離情報の利用例はこれに限定されず、例えば３次元映像の生成に出力距離情報を利用しても良い。

［注釈３］
図６の距離情報生成部５０及び図８のデジタルフォーカス部６０は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。

［注釈４］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、距離情報生成部５０及びデジタルフォーカス部６０にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。

１撮像装置
１１、２１撮像部
３３撮像素子
５０距離情報生成部
５１第１距離検出部
５２第２距離検出部
５３検出結果統合部
５４画像保持部

Claims

被写体群の距離情報を生成する距離情報生成部を備えた電子機器において、
前記距離情報生成部は、
前記被写体群を互いに異なる視点から同時に撮影することによって得た複数の入力画像に基づき前記被写体群の距離を検出する第１距離検出部と、
前記第１距離検出部の検出方法とは異なる検出方法によって前記被写体群の距離を検出する第２距離検出部と、
前記第１距離検出部の検出結果と前記第２距離検出部の検出結果から前記距離情報を生成する統合部と、を備えた
ことを特徴とする電子機器。
前記第２距離検出部は、前記被写体群を順次撮影することで得た画像列に基づき、前記被写体群の距離を検出する
ことを特徴とする請求項１に記載の電子機器。
前記第２距離検出部は、前記被写体群の距離を検出するための位相差画素を有した撮像素子の出力に基づき、前記被写体群の距離を検出する
ことを特徴とする請求項１に記載の電子機器。
前記第２距離検出部は、単一の撮像部にて前記被写体群を撮影することで得た単一の画像に基づき、前記被写体群の距離を検出する
ことを特徴とする請求項１に記載の電子機器。
前記統合部は、
前記被写体群に含まれる対象被写体の距離が比較的大きい場合、前記対象被写体に対する前記第１距離検出部の検出距離を前記距離情報に含める一方、
前記対象被写体の距離が比較的小さい場合、前記対象被写体に対する前記第２距離検出部の検出距離を前記距離情報に含める
ことを特徴とする請求項１〜請求項４の何れかに記載の電子機器。
前記被写体群を撮影することで得た対象画像の合焦状態を前記距離情報に基づく画像処理によって変更する合焦状態変更部を更に備えた
ことを特徴とする請求項１〜請求項５の何れかに記載の電子機器。