JP4983905B2 - 撮像装置、３ｄモデリングデータ生成方法、および、プログラム - Google Patents

Description

本発明は、撮像装置、３Ｄモデリングデータ生成方法、および、プログラムに関し、特に、明暗差のある被写体からの３Ｄモデリングデータの生成に好適な撮像装置、３Ｄモデリングデータ生成方法、および、プログラムに関する。

コンピュータグラフィクスによる３次元（３Ｄ）表現が多く用いられるようになり、よりリアリティのある３Ｄ表現が求められている。このような要求に対し、実際の立体物をカメラで撮像して３Ｄモデリングデータを作成する手法が確立している。

この場合、立体物の３次元的位置を認識するため、視差に相当する光軸のズレが設定された、いわゆる複眼カメラ（ステレオカメラ）が用いられる。

また、撮像対象の立体物にテクスチャがなく、凹凸などの立体的形状が認識しにくい場合でも、例えば、ドットパターンなどのパターンを対象物に投影することで特徴点を得るようにしたパターン投影法も知られている（例えば、特許文献１）。

特開２００７−１０１２７６号公報

パターンを投影した被写体を撮像することで３Ｄモデリングデータを作成する場合において、被写体に明暗差があると、被写体全体を適正露出とすることが困難であり、投影されたパターンを撮像画像から正確に認識することができないことがある。このような場合、高精度な３Ｄモデリングデータを容易に得ることができない。

本発明は、被写体に明暗差がある場合でも高精度な３Ｄモデリングデータを容易に作成することができる撮像装置、３Ｄモデリングデータ作成方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段と、
前記撮像手段による前記被写体の撮像にかかる複数の露出条件を設定する露出設定手段と、
前記撮像手段を制御し、前記露出設定手段が設定した露出条件の数に応じた回数の撮像動作をおこなう撮像制御手段と、
前記撮像制御手段の制御によって得られた前記撮像画像に基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出する対応点抽出手段と、
前記対応点抽出手段が抽出した、前記複数の露出条件それぞれで撮像された前記対応点ごとに、所定の条件に当てはまる前記対応点を選択する対応点最適化手段と、
前記対応点最適化手段が選択した前記対応点を重畳する対応点合成手段と、
前記対応点合成手段が重畳した前記対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
を備えることを特徴とする。

上記撮像装置は、
被写体に投影パターンを投影するパターン投影手段をさらに備え、
前記対応点抽出手段は、前記投影パターンを前記撮像画像上に写した像である画像パターンに基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出することが望ましい。

上記撮像装置において、
前記露出設定手段は、少なくとも、前記被写体の明部が適正露出となる露出条件と、前記被写体の暗部が適正露出となる露出条件とを設定することが望ましい。

上記撮像装置において、
前記対応点最適化手段は、前記対応点抽出手段が抽出した前記対応点の密度が所定の条件にあてはまる前記対応点を選択することが望ましい。

上記撮像装置において、
前記対応点最適化手段は、前記対応点抽出手段が抽出した前記対応点の画素の値が所定の条件にあてはまる前記対応点を選択することが望ましい。

上記撮像装置は、
前記被写体の明暗差を判別する判別手段をさらに備えていてもよく、この場合、
前記露出設定手段は、前記判別手段の判別結果に応じて露出条件を設定することが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる３Ｄモデリングデータ生成方法は、
同一の被写体について光軸位置が異なる画像ペアを得る撮像手段を備える撮像装置で当該被写体の３Ｄモデリングデータを生成する３Ｄモデリングデータ生成方法であって、
被写体の明部を適正露出とする前記撮像手段の撮像動作で第１の画像ペアを取得する第１の撮像ステップと、
前記被写体の暗部を適正露出とする前記撮像手段の撮像動作で第２の画像ペアを取得する第２の撮像ステップと、
前記第１の画像ペアおよび前記第２の画像ペアのそれぞれにおいて、対応する特徴点である対応点を抽出する対応点抽出ステップと、
前記第１の画像ペアおよび前記第２の画像ペアのそれぞれにおいて、前記対応点抽出ステップで抽出された前記対応点の密度が所定の条件にあてはまる前記対応点を選択する第１の対応点最適化ステップと、
前記第１の画像ペアおよび前記第２の画像ペア間において、前記対応点抽出ステップで抽出された前記対応点ごとに、画素の値が所定の条件にあてはまる前記対応点を選択する第２の対応点最適化ステップと、
前記第１の対応点最適化ステップおよび前記第２の対応点最適化ステップで選択した前記対応点を重畳し、該重畳した対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する３Ｄモデリングデータ生成ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置のコンピュータに、
前記撮像手段による前記被写体の撮像にかかる複数の露出条件を設定する機能と、
前記撮像手段を制御し、前記設定された露出条件の数に応じた回数の撮像動作をおこなう機能と、
前記撮像動作によって得られた前記撮像画像に基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出する機能と、
前記抽出した、前記複数の露出条件それぞれで撮像された前記対応点ごとに、所定の条件に当てはまる前記対応点を選択する機能と、
前記選択した対応点を重畳する機能と、
前記重畳した対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する機能と、
を実現させることを特徴とする。

本発明によれば、高精度な３Ｄモデリングデータを容易に作成することができる。

本発明の実施形態にかかるデジタルカメラが複眼カメラ（平行ステレオカメラ）であることを説明するための図であり、（ａ）はデジタルカメラの外観構成を示し、（ｂ）は平行ステレオの概念を示す。 本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 図１（ａ）に示したデジタルカメラによる撮像動作を説明するための図であり、（ａ）は撮像対象となる被写体の例を示し、（ｂ）は撮像によって得られる画像ペアの例を示す。 本発明の実施形態にかかる「３Ｄモデリング用撮像処理」を説明するためのフローチャートである。 図５に示す「３Ｄモデリング用撮像処理」で実行される「多段露出決定処理」を説明するためのフローチャートである。 図６に示す「多段露出決定処理」で表示される「測光点指定画面」の例を示す図であり、（ａ）はメッセージの表示例を示し、（ｂ）は測光点の例を示す。 図５に示す「３Ｄモデリング用撮像処理」における撮像動作を説明するための図であり、（ａ）はパターンが投影された被写体の例を示し、（ｂ）は被写体の明部を適正露出とした場合に得られる画像ペアの例を示し、（ｃ）は被写体の暗部を適正露出とした場合に得られる画像ペアの例を示す。 図５に示す「３Ｄモデリング用撮像処理」で実行される「３Ｄモデリング処理」を説明するためのフローチャートである。 図９に示す「３Ｄモデリング処理」を説明するための図であり、（ａ）および（ｂ）はテンプレートマッチングによって得られる対応点パターンの例を示し、（ｃ）は最適化された対応点を合成した合成対応点の例を示す。 図９に示す「３Ｄモデリング処理」で実行される「対応点最適化処理（１）」を説明するためのフローチャートである。 図１１に示す「対応点最適化処理（１）」を説明するための図であり、（ａ）および（ｂ）はドット間の距離に基づく最適化の動作例を示し、（ｃ）および（ｄ）は最適化された対応点の例を示す。 図９に示す「３Ｄモデリング処理」で実行される「対応点最適化処理（２）」を説明するためのフローチャートである。 図１３に示す「対応点最適化処理（２）」を説明するための図であり、（ａ）および（ｂ）は異なる露出画像間での輝度に基づく最適化の動作例を示し、（ｃ）および（ｄ）は最適化された対応点の例を示す。 三角測量の原理を説明するための図である。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、図１（ａ）に示すように、撮像にかかる構成を２つ備えた、いわゆる複眼カメラ（ステレオカメラ）とする。

このような複眼カメラの構成を有するデジタルカメラ１には、通常の撮像機能に加え、撮像される画像を用いて３次元モデリング（３Ｄモデリング）をおこなう機能を有する。このため、３Ｄモデリングに好適な撮像画像が得られるよう、図１（ａ）に示すように、パターン投影部１３０（詳細後述）が構成されている。

このようなデジタルカメラ１の構成を、図２を参照して説明する。図２は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像動作部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像動作部１００は、デジタルカメラ１による撮像時の動作をおこなうものであり、図２に示すように、第１撮像部１１０、第２撮像部１２０、パターン投影部１３０、などから構成される。

第１撮像部１１０および第２撮像部１２０は、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１は複眼カメラであるため、第１撮像部１１０と第２撮像部１２０とを有する構成であるが、第１撮像部１１０と第２撮像部１２０は同一の構成である。以下、第１撮像部１１０についての構成には１１０番台の参照符号を付し、第２撮像部１２０についての構成には１２０番台の参照符号を付す。

図２に示すように、第１撮像部１１０（第２撮像部１２０）は、光学装置１１１（１２１）やイメージセンサ部１１２（１２２）などから構成されている。

光学装置１１１（１２１）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１１（１２１）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。

なお、光学装置１１１（１２１）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１１（１２１）にシャッタ機構が含まれていなくてもよい。また、光学装置１１１（１２１）は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１１２（１２２）は、光学装置１１１（１２１）によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１１２（１２２）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

上述したように、第１撮像部１１０と第２撮像部１２０は同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積などの各仕様がすべて同一である。

このような第１撮像部１１０と第２撮像部１２０を有するデジタルカメラ１は、図１（ａ）に示すように、光学装置１１１に構成されたレンズと光学装置１２１に構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。

ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。つまり、第１撮像部１１０と第２撮像部１２０とを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。

この場合、図１（ｂ）の透視射影モデルに示すような光学的特性となるよう第１撮像部１１０と第２撮像部１２０が配置される。図１（ｂ）に示す透視射影モデルは、Ｘ、Ｙ、Ｚからなる３次元直交座標系に基づくものであり、第１撮像部１１０についてのこの座標系を以下「カメラ座標」と呼ぶ。図１（ｂ）では、第１撮像部１１０の光学中心を原点としたカメラ座標を示している。

カメラ座標においては、Ｚ軸をカメラの光学方向に一致する方向とし、Ｘ軸とＹ軸はそれぞれ画像の横方向と縦方向に平行する。ここで、光軸と画像座標面の交点を原点（すなわち、光学中心）とし、イメージセンサの画素間隔を換算してカメラ座標と長さの単位を合わせた場合、第１撮像部１１０についての画像座標面で被写体Ａ１を示す画像座標を（u1, v1）とし、第２撮像部１２０についての画像座標面では（u'1, v'1）とする。

第１撮像部１１０と第２撮像部１２０は、それぞれの光軸が平行（すなわち、輻輳角が０）になり、かつ、第１撮像部１１０についての画像座標ｕ軸と第２撮像部１２０についての画像座標ｕ'軸が同一線上で同じ方向となるよう配置される（すなわち、エピポーラ線が一致）。また、上述したように、第１撮像部１１０および第２撮像部１２０の焦点距離ｆや画素間隔は同じであり、光軸と画像座標面とが垂直に交わっている。このような構成を「平行ステレオ」と呼び、デジタルカメラ１の第１撮像部１１０と第２撮像部１２０は平行ステレオの構成となっている。

図２に戻り、デジタルカメラ１の構成の説明を続ける。

パターン投影部１３０は、デジタルカメラ１の撮像による３Ｄモデリングを、パターン投影法を利用しておこなう際にパターンを投影するものであり、例えば、キセノンフラッシュやＬＥＤなどの発光装置から構成される光源、光源からの光によって被写体に投影されるパターン、投影光の集光や拡散をおこなうためのレンズや反射板、などから構成される。

このようなパターン投影部１３０は、上記のような構成を有する専用装置として実現できる他、例えば、通常のデジタルカメラが備えている内蔵ストロボやＡＦ補助光などのような発光機能をもつ構成に、パターンを投影できる構成を付加することで実現されてもよい。

データ処理部２００は、第１撮像部１１０および第２撮像部１２０による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図２に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。本実施形態では、３Ｄモデリングにかかる処理についても制御部２１０にておこなわれるものとするが、制御部２１０とは独立した専用プロセッサなどがおこなうように構成してもよい。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１１２および１２２によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１１２（１２２）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データや生成された３Ｄモデリングデータなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図２に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、３Ｄモデリングデータ、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、画像データや３Ｄモデリングデータなどを外部のコンピュータ装置へ転送したり、撮像画像や３Ｄモデリング画像などを外部のモニタ装置に表示出力したりする。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、３Ｄモデリングをおこなうための設定をはじめとした各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。

図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、複眼カメラによって撮像された画像から被写体画像を抽出する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、特徴点抽出部２１３、対応点最適化部２１４、３Ｄモデリング部２１５、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。

本実施形態では、デジタルカメラ１での撮影後に撮像画像から３Ｄモデリングをおこなう動作モード（３Ｄモデリングモード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、３Ｄモデリングモードが指定されたことに応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。

撮像制御部２１２は、第１撮像部１１０および第２撮像部１２０を制御することでデジタルカメラ１での撮像動作を実行する。この場合、撮像制御部２１２は、例えば、一般的なデジタルカメラにおいておこなわれている、測光、合焦、自動露出、撮像時の画面表示、などのような撮像にかかる各種の処理と制御をおこなう。

また、本実施形態にかかる３Ｄモデリング機能は、平行ステレオ構成となっている第１撮像部１１０と第２撮像部１２０から得られた複数枚の撮像画像を利用する。よって、本実施形態にかかる撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０が同時に連続撮像（連写）するよう制御する。また、撮像制御部２１２は、このような連写の際、露出を異ならせて撮像するよう制御する。これにより、同一の被写体について、光軸位置の異なる２つの撮像画像を１組（画像ペア）とした露出の異なる複数組の撮像画像が取得される。

また、本実施形態では、「３Ｄモデリングモード」で撮像動作をおこなう場合、撮像制御部２１２は、パターン投影部１３０を制御することで、被写体へのパターン投影をおこなう。

特徴点抽出部２１３は、撮像された画像間で照合をおこなうことにより、パターン投影部１３０によって被写体に投影されたパターンで示される特徴点を抽出する。この場合、特徴点抽出部２１３は、複眼カメラによって得られる、光軸位置の異なる複数画像間で対応する特徴点（対応点）を抽出する。

本実施形態では、一方の画像をテンプレートとして照合するテンプレート照合（テンプレートマッチング）による画像間の照合によって対応点の抽出をおこなうものとし、この場合、例えば、差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）を用いたテンプレート照合をおこなうものとする。ＳＳＤによるテンプレート照合の場合、照合した画像同士が完全に一致すると値が「０」となる。すなわち、画像間の相違が大きい程より大きい値となるので、テンプレート照合によって得られる値は、テンプレートとの相違度を示すことになる。このようなテンプレート照合には、例えば、各画像の輝度値あるいは緑値を用いるものとする。

対応点最適化部２１４は、特徴点抽出部２１３によって抽出された対応点を、３Ｄモデリングでの利用に好適となるよう最適化する。この場合、対応点最適化部２１４は、特徴点抽出部２１３が抽出した各対応点と周辺対応点の距離、あるいは、フレームが異なる（撮像時間が異なる）対応点との距離を算出し、距離に基づく条件により対応点の削除をおこなうことで最適化する。ここでの距離は、ユークリッド距離であるものとする。

また、対応点最適化部２１４は、露出の異なる画像が得られている場合には、対応点間の距離に基づく最適化に加え、露出の異なる画像間で対応する位置での輝度を比較し、輝度に基づく条件により対応点の削除をおこなうことで最適化する。

３Ｄモデリング部２１５は、対応点最適化部２１４によって最適化された対応点（特徴点）を用いて３Ｄモデリングをおこなう。この場合、３Ｄモデリング部２１５は、例えば、対応点をドロネー分割することによりポリゴンを生成して３Ｄモデリングをおこなう。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「３Ｄモデリングモード」が選択された場合の動作例を示す。この場合、デジタルカメラ１によって撮像をおこない、その撮像画像から３Ｄモデリングをおこなう。

その撮像の際、本実施形態では、図４（ａ）に示すような被写体ＴＧを撮像することを想定する。被写体ＴＧは、図４（ａ）に示すように、反射率の高い白っぽい部分（明部）と反射率の低い黒っぽい部分（暗部）とを含んでいるものとし、以下、被写体ＴＧにおける明部を被写体ＴＧ^＋とし、暗部を被写体ＴＧ⁻とする。なお、図面においては、単純化した図形によって被写体ＴＧを示すが、実際に撮像される被写体ＴＧは立体物（例えば、人物、動物、美術品、など）である。そして、本実施形態では、このような立体物である被写体ＴＧをデジタルカメラ１で撮像し、その撮像画像から被写体ＴＧを３次元的な画像として表すための３Ｄモデリングデータを生成する。

上述したように、本実施形態にかかるデジタルカメラ１は、複眼カメラの構成を有しており、このようなデジタルカメラ１で被写体ＴＧを撮像した場合の撮像画像の例を図４（ｂ）に示す。本実施形態では、第１撮像部１１０を構成するレンズが被写体に向かって右側に配置されているものとし、このような第１撮像部１１０（右側カメラ）によって撮像される画像を基準画像とする。すなわち、第１撮像部１１０によって撮像された画像がファインダ画像などとして用いられ、例えば、被写体が画面中央となるようにフレーミングした場合、図４（ｂ）に示すように、第１撮像部１１０による撮像画像である画像ＩＭ^（Ｒ）に反映される。

一方、第２撮像部１２０は、第１撮像部１１０よりも左側に配置されているため、このような第２撮像部１２０（左側カメラ）によって撮像された画像である画像ＩＭ^（Ｌ）では、図４（ｂ）に示すように、写っている被写体の位置が画像ＩＭ^（Ｒ）よりも右側にずれた状態となる。

本実施形態では、第１撮像部１１０と第２撮像部１２０が同時に撮像動作をおこなうので、図４（ｂ）に示したような画像ＩＭ^（Ｌ）と画像ＩＭ^（Ｒ）が同時に取得される。このような、１回の撮像動作によって得られる画像ＩＭ^（Ｌ）と画像ＩＭ^（Ｒ）の組を画像ペアＩＰとする。

上記のような撮像画像を得るデジタルカメラ１において「３Ｄモデリングモード」が選択された場合に実行される「３Ｄモデリング用撮像処理」を、図５に示すフローチャートを参照して説明する。この「３Ｄモデリング用撮像処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、３Ｄモデリングモードを選択したことを契機に開始される。この場合、動作モード処理部２１１が、被写体抽出動作にかかるプログラムなどを記憶部２５０からロードすることで、図３に示した各機能構成により以下の処理が実行される。

処理が開始されると、撮像制御部２１２は、操作部３３０からの入力信号に基づいて、シャッタボタンが操作されたか否かを判別する（ステップＳ１１）。ここで、本実施形態にかかるデジタルカメラ１では、通常のカメラと同様、シャッタボタンのストロークが２段階になっているものとし、ストロークの１段階目（全ストロークの途中）まで押下された状態を「半押し」、ストロークの２段階目（全ストロークの最深）まで押下された状態を「全押し」とする。

ステップＳ１１では、シャッタボタンが半押しされたか否かを判別する。なお、シャッタボタンが半押しされるのは、通常のカメラと同様、被写体への合焦をおこなう場合であり、ステップＳ１１で半押しが検出されたときは、図４（ａ）に示したような状況において、被写体ＴＧのフレーミングが確定し、被写体ＴＧに対する合焦をおこなう場合であるものとする。

なお、本実施形態では、撮像画像から３Ｄモデリングをおこなうため、被写体ＴＧがファインダ中央に位置し、かつ、被写体ＴＧの全体が収まるフレーミングで撮像されるものとする。また、連写によって複数回の撮像をおこなって得られる画像を用いるので、画像間で被写体ＴＧの位置がずれないよう、デジタルカメラ１は撮像時に固定されていることが望ましい。

シャッタボタンが半押しされると（ステップＳ１１：Ｙｅｓ）、撮像制御部２１２は第１撮像部１１０を制御し合焦のための動作をおこなう。このとき、撮像制御部２１２は、自動露出（ＡＥ：Auto Exposure）による露出決定をおこなう（ステップＳ１２）。ここでは、ＡＥにおける標準的な測光方式である多分割測光によって露出決定をおこなうものとする。すなわち、画面全体を複数の領域に分割して測光し、全体の明るさが反射率１８％のグレーと同じとなるような露出を算出する。ステップＳ１２での多分割測光による露出（すなわち、絞り、シャッタスピード、ＩＳＯ感度などの組み合わせを示す露出条件）を「ＥＶ０」（ＥＶ：Exposure Value）とする。撮像制御部２１２は、決定したＥＶ０をメモリに保持する。

露出を算出すると、撮像制御部２１２は、当該露出による撮像画像（ここでは、ファインダ画像となる動画像）についての輝度分布を示すヒストグラムを作成し、当該ヒストグラムを検証することで（ステップＳ１３）、被写体ＴＧに大きな明暗差があるか否かを判別する（ステップＳ１４）。ここでは、ヒストグラムの暗部側と明部側の双方に大きな山がある場合、被写体ＴＧの明暗差があると判別する。すなわち、図４（ａ）に示したような、被写体ＴＧ^＋と被写体ＴＧ⁻を含む被写体ＴＧを撮像した場合、被写体の明暗差が大きいと判別する。

ここで、本実施形態では、撮像画像から３Ｄモデリングデータを取得するため、被写体ＴＧに対してパターン投影をおこなう（詳細後述）。この場合において、被写体ＴＧに大きな明暗差があると、全体を一定の明るさとする多分割測光によって露出を決定した場合、撮像画像上でのパターンが部分的に識別できない状態となり、正確な３Ｄモデリングをおこなうことができない。

このため、本実施形態では、ステップＳ１４で被写体ＴＧの明暗差が大きいと判別した場合、被写体ＴＧの明部（すなわち、被写体ＴＧ^＋）と暗部（すなわち、被写体ＴＧ⁻）とで別々に露出をとり（以下、「多段露出」とする）、それぞれの露出で撮像をおこなうことで、撮像画像から正確にパターンを抽出できるようにする。

よって、撮像制御部２１２は、被写体ＴＧの明暗差が大きいと判別した場合（ステップＳ１４：Ｙｅｓ）、多段露出における露出を決定するための「多段露出決定処理」を実行する（ステップＳ１００）。この「多段露出決定処理」を、図６に示すフローチャートを参照して説明する。

処理が開始されると、撮像制御部２１２は、被写体ＴＧ上での測光点を撮影者に指定させるための「測光点指定画面」を表示部３１０に表示する（ステップＳ１０１）。ここでは、例えば、図７に示すような「測光点指定画面」が表示部３１０に表示される。「測光点指定画面」ではまず、図７（ａ）に示すような、「被写体に明暗差がある」旨のメッセージとともに、測光点の指定を促すメッセージを表示部３１０に表示する。

その後、撮像制御部２１２は、図７（ｂ）に示すような、選択可能な複数の測光点をファインダ画像上に表示した測光点指定画面を表示部３１０に表示する。撮影者は、操作部３３０の十字キーなどを操作して、被写体ＴＧの明るい部分（すなわち、被写体ＴＧ^＋）の位置にある測光点を指定する。

被写体ＴＧ^＋の測光点が指定されると（ステップＳ１０２：Ｙｅｓ）、撮像制御部２１２は、第１撮像部１１０を制御し、いわゆるスポット測光により、指定された測光点を中心とした狭範囲（例えば、画面全体の数％程度の面積）を測光して露出を決定する（ステップＳ１０３）。被写体ＴＧ^＋をスポット測光した露出を「ＥＶ^＋」とする。撮像制御部２１２は、決定したＥＶ^＋をメモリに保持する。

被写体ＴＧ^＋についての露出を決定すると、撮像制御部２１２は、図７（ｂ）に示したような測光点指定画面を再度表示部３１０に表示し、被写体ＴＧの暗い部分（すなわち、被写体ＴＧ⁻）の位置にある測光点を撮影者に指定させる。

被写体ＴＧ⁻の測光点が指定されると（ステップＳ１０４：Ｙｅｓ）、撮像制御部２１２は、被写体ＴＧ^＋の場合と同様に、指定された測光点（すなわち、被写体ＴＧ⁻の位置にある測光点）を中心としたスポット測光により露出を決定する（ステップＳ１０５）。被写体ＴＧ⁻をスポット測光した露出を「ＥＶ⁻」とする。撮像制御部２１２は、決定したＥＶ⁻をメモリに保持する。

このようにして、被写体ＴＧのうちの被写体ＴＧ^＋と被写体ＴＧ⁻のそれぞれで個別に露出をとると、「３Ｄモデリング用撮像処理」（図５）のフローに戻る。

ここで、ステップＳ１２で決定された露出で被写体ＴＧの明暗差が大きくないと判別された場合には（ステップＳ１４：Ｎｏ）、「多段露出決定処理」（ステップＳ１００）は、実行されない。この場合、ステップＳ１２でおこなった多分割測光による露出ＥＶ０が以後の撮像に用いられる。

このようにして露出（ＥＶ０もしくはＥＶ^＋とＥＶ⁻）を決定すると、撮像制御部２１２は、パターン投影部１３０を制御し、被写体ＴＧに対するパターン投影を開始する（ステップＳ１５）。すなわち、図８（ａ）に示すように、被写体ＴＧにパターンが投影される。ここで、パターン投影部１３０によって投影されるパターンは、例えば、小円が規則的に配列されたドットパターンとするが、これに限られず、３Ｄモデリングのパターン投影法で用いられている種々のパターン（例えば、ランダムパターンなど）が採用されうる。

この状態で、撮像動作を指示するシャッタボタンの全押しが検出されると（ステップＳ１６：Ｙｅｓ）、撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０を制御し、決定した露出での撮像をおこなう（ステップＳ１７）。ここで、被写体ＴＧに大きな明暗差がないと判別された場合（多段露出）には、ステップＳ１２で決定されたＥＶ０で撮像をおこない、被写体ＴＧの明暗差が大きいと判別された場合には、「多段露出決定処理」（図６）のステップＳ１０３で決定されたＥＶ^＋で撮像をおこなう。

そして、多段露出の場合（ステップＳ１８：Ｙｅｓ）、撮像制御部２１２は、続けて第１撮像部１１０と第２撮像部１２０を制御し、「多段露出決定処理」（図６）のステップＳ１０５で決定したＥＶ⁻での撮像をおこなう（ステップＳ１９）。

すなわち、被写体ＴＧに大きな明暗差がなければ、ＥＶ０を露出とした１回の撮像動作がおこなわれ、図４（ｂ）に例示したような画像ペアＩＰが取得される。一方、被写体ＴＧに大きな明暗差がある場合には、ＥＶ^＋とＥＶ⁻のそれぞれの露出で２回撮像動作がおこなわれる。この場合、図８（ｂ）と図８（ｃ）に示すような２つの画像ペアＩＰ（画像ペアＩＰ^＋と画像ペアＩＰ⁻）が取得される。

ここで、被写体ＴＧ^＋をスポット測光した露出ＥＶ^＋で得られる画像ペアＩＰを画像ペアＩＰ^＋（図８（ｂ）とし、画像ペアＩＰ^＋を構成している画像ＩＭ^（Ｌ）を画像ＩＭ^（Ｌ）＋、画像ＩＭ^（Ｒ）を画像ＩＭ^（Ｒ）＋とする。ここでは、被写体ＴＧの明部である被写体ＴＧ^＋にスポット測光しているので、被写体ＴＧ^＋が適正露出（被写体ＴＧ^＋における階調変化も描写される状態）となる。この場合、図８（ｂ）に示すように、被写体ＴＧの暗部である被写体ＴＧ⁻は露出アンダーとなり、場合によっては、いわゆる黒つぶれとなる。この場合、被写体ＴＧ⁻上に投影されたパターン（露出の違いを明示するため、図８（ｂ）ではパターンは不図示）を撮像画像から正確に抽出することは困難となる。

また、被写体ＴＧ⁻をスポット測光した露出ＥＶ⁻で得られる画像ペアＩＰを画像ペアＩＰ⁻（図８（ｃ）とし、画像ペアＩＰ⁻を構成している画像ＩＭ^（Ｌ）を画像ＩＭ^（Ｌ）−、画像ＩＭ^（Ｒ）を画像ＩＭ^（Ｒ）−とする。ここでは、被写体ＴＧの暗部である被写体ＴＧ⁻にスポット測光しているので、被写体ＴＧ⁻が適正露出（被写体ＴＧ⁻における階調変化も描写される状態）となる。この場合、図８（ｃ）に示すように、被写体ＴＧの明部である被写体ＴＧ^＋は露出オーバーとなり、場合によっては、いわゆる白飛びとなる。この場合も、被写体ＴＧ^＋上に投影されたパターン（露出の違いを明示するため、図８（ｃ）ではパターンは不図示）を撮像画像から正確に抽出することは困難となる。

このような撮像画像が得られると、撮像制御部２１２は、得られた画像ペアＩＰもしくは画像ペアＩＰ^＋と画像ペアＩＰ⁻を画像メモリ上に保持するとともに、パターン投影部１３０を制御し、パターン投影を終了する（ステップＳ２０）。そして、得られた撮像画像から３Ｄモデリングをおこなう「３Ｄモデリング処理」が実行される（ステップＳ２００）。この「３Ｄモデリング処理」を、図９に示すフローチャートを参照して説明する。

本処理における３Ｄモデリングにおいては、まず、被写体ＴＧに投影されたパターンを撮像画像から抽出する。よって、処理が開始されると、特徴点抽出部２１３により、対象となる撮像画像が取得される。上述したように、被写体ＴＧの明暗差の有無により撮像動作が異なっているので、特徴点抽出部２１３は、「３Ｄモデリング用撮像処理」（図５）での撮像が多段露出であったか否かを判別する（ステップＳ２０１）。

多段露出である場合（ステップＳ２０１：Ｙｅｓ）、上述したように、画像ペアＩＰ^＋と画像ペアＩＰ⁻の２組の画像ペアが得られているので、特徴点抽出部２１３はまず、画像メモリ２３０から画像ペアＩＰ^＋を取得する（ステップＳ２０２）。

特徴点抽出部２１３は、取得した画像ペアＩＰ^＋を構成している画像ＩＭ^（Ｌ）＋と画像ＩＭ^（Ｒ）＋とでテンプレートマッチングをおこなう（ステップＳ２０３）。ここでは、パターン投影部１３０が投影したパターンの特徴（形状や大きさ、配列パターンなど）に基づいて、画像ＩＭ^（Ｌ）＋に写っているパターン（特徴点候補）を既知の画像認識技術によって抽出し、画像ＩＭ^（Ｌ）＋から抽出した特徴点候補の画像をテンプレートとする。

そして、このようなテンプレートと一方の画像である画像ＩＭ^（Ｒ）＋とでＳＳＤなどによるテンプレートマッチングをおこなう。この結果、所望の閾値以上の一致度となった特徴点が、画像ペア間で対応する特徴点（以下、「対応点」とする）として特定される。ここでは、同じ露出で得られた画像ペア間での対応点となり、このような対応点で構成されたパターン（以下、「パターンＰＡ^＋」とする）として特定する（ステップＳ２０４）。すなわち、３Ｄモデリングで必要となる、デジタルカメラ１から各特徴点までの距離算出に用いることができるよう、視差に相当する光軸位置の違いが反映されている画像ペア間で、対応点のパターンを特定する。

画像ペアＩＰ^＋を構成する画像ＩＭ^（Ｌ）＋と画像ＩＭ^（Ｒ）＋との間でテンプレートマッチングをおこなった後のイメージをＩＭ^{（ＰＭ）＋}として図１０（ａ）に例示する。ここでは、図示するように、画像ＩＭ^（Ｌ）＋と画像ＩＭ^（Ｒ）＋との間で一致する対応点が得られているが、画像ペアＩＰ^＋は被写体ＴＧ^＋を適正露出とした画像ペアであるため、被写体ＴＧ^＋における対応点はほぼ完全に特定されている。一方、露出アンダーとなっている被写体ＴＧ⁻においては、対応点の特定は不完全である。

ここで、被写体ＴＧ全体の３Ｄモデリングをおこなうには、被写体ＴＧ^＋と被写体ＴＧ⁻の双方において、ほぼ完全な対応点を特定する必要がある。本実施形態では、後述する処理において不完全な対応点を補完する。

同様に、被写体ＴＧ⁻を適正露出とする画像ペアＩＰ⁻でのテンプレートマッチングをおこなうことで、被写体ＴＧ⁻ではほぼ完全な対応点であるが、被写体ＴＧ^＋では対応点が不完全である対応点からなるパターンＰＡ⁻（図１０（ｂ））も特定する。

すなわち、特徴点抽出部２１３が画像メモリ２３０から画像ペアＩＰ⁻を取得し（ステップＳ２０５）、画像ＩＭ^（Ｌ）−から抽出したパターン画像をテンプレートとしたテンプレートマッチングをおこなうことで（ステップＳ２０６）、所望の閾値以上の一致度となる特徴点を、同じ露出で得られた画像ペア間の対応点からなるパターンＰＡ⁻として特定する（ステップＳ２０７）。

なお、撮像時に多段露出でなかった場合（ステップＳ２０１：Ｎｏ）、特徴点抽出部２１３は、ＥＶ０で撮像された画像ペアＩＰを画像メモリ２３０から取得し（ステップＳ２０８）、取得した画像ペアＩＰを構成している画像ＩＭ^（Ｌ）と画像ＩＭ^（Ｒ）でテンプレートマッチングをおこなうことで（ステップＳ２０９）、所望の閾値以上の一致度となる特徴点候補を、同じ露出で得られた画像ペア間で対応する特徴点（対応点）からなるパターンＰＡとして特定する（ステップＳ２１０）。この場合、被写体ＴＧに大きな明暗差がないため、ＥＶ０で撮像した画像ＩＭ^（Ｌ）と画像ＩＭ^（Ｒ）のいずれにおいても、被写体ＴＧに投影されたパターンが明確に得られることになる。

このようにして、各画像ペアを構成している画像間でのテンプレートマッチングによって対応点を抽出すると、特徴点抽出部２１３は、テンプレートマッチングの結果を画像メモリ２３０に保持する。その後、抽出した対応点を最適化するための「対応点最適化処理（１）」が対応点最適化部２１４によって実行される（ステップＳ３００）。ここでの「最適化」とは、露出オーバーもしくは露出アンダーとなっている被写体ＴＧ^＋や被写体ＴＧ⁻において不完全であったパターンを補完するため、より状態のよいパターン部分を抽出することをいう。この「対応点最適化処理（１）」を、図１１に示すフローチャートを参照して説明する。

処理が開始されると、対応点最適化部２１４は、図１０（ｂ）に例示したようなパターンＰＡ⁻を画像メモリ２３０から取得する（ステップＳ３０１）。ここで、パターンＰＡ⁻は、対応点ＰＡ１⁻〜ＰＡｎ⁻（すなわち、ｎ個の対応点）を含んでいるものとし、対応点最適化部２１４は、対応点ＰＡ１⁻〜ＰＡｎ⁻に１〜ｎのナンバリングをおこなう（ステップＳ３０２）。

パターンＰＡ⁻の各対応点にナンバリングすると、対応点最適化部２１４は、当該パターンＰＡ⁻を構成している対応点を指定するためのカウンタｍに初期値１を設定し（ステップＳ３０３）、パターンＰＡ⁻からｍ番目の対応点である対応点ＰＡｍ⁻を探索する（ステップＳ３０４）。

対応点ＰＡｍ⁻が探索されると、対応点最適化部２１４は、パターンＰＡ⁻内において、例えば、図１２（ａ）に示すような、対応点ＰＡｍ⁻の最も近傍に位置する対応点である最近傍点ＰＡｘ⁻を特定し（ステップＳ３０５）、対応点ＰＡｍ⁻と最近傍点ＰＡｘ⁻との距離（距離Ｄｍｘ）を算出する（ステップＳ３０６）。

対応点最適化部２１４は、算出した距離Ｄｍｘと閾値Ｄｔｈとを比較し、対応点ＰＡｍ⁻とその最近傍点ＰＡｘ⁻との距離Ｄｍｘが閾値Ｄｔｈ以上である場合（ステップＳ３０７：Ｙｅｓ）、例えば、図１２（ｂ）に示すように、パターンＰＡ⁻から対応点ＰＡｍ⁻を削除する（ステップＳ３０８）。

一方、距離Ｄｍｘが閾値Ｄｔｈ未満である場合には（ステップＳ３０７：Ｎｏ）、対応点ＰＡｍ⁻はパターンＰＡ⁻に残ることになる。

次に、対応点最適化部２１４は、カウンタｍを＋１し（ステップＳ３０９）、その値が対応点の数であるｎ以内であれば（ステップＳ３１０：Ｎｏ）、次の対応点についてのステップＳ３０４以降の処理をおこなう。このような処理を、パターンＰＡ⁻のすべての対応点でおこなうと（ステップＳ３１０：Ｙｅｓ）、図１２（ｃ）に示すように、ステップＳ３０８で削除されなかった対応点が残存する。対応点最適化部２１４は、このような対応点で構成されるパターンをパターンＰＢ⁻とし、画像メモリ２３０に保持する（ステップＳ３１１）。

すなわち、画像ペアＩＰ⁻を構成する画像間でテンプレートマッチングしたことで得られたパターンＰＡ⁻のドットパターンを、ドット間の距離に基づいて最適化し、最適化されたパターンＰＢ⁻とする。

次に対応点最適化部２１４は、画像メモリ２３０からパターンＰＡ^＋を取得し（ステップＳ３１２）、取得したパターンＰＡ^＋について、上述したステップＳ３０２〜ステップＳ３１０と同様の処理をおこなうことで（ステップＳ３１３）、パターンＰＡ^＋をドット間の距離に基づいて最適化したパターンＰＢ^＋（図１２（ｄ））を得る（ステップＳ３１４）。このようにして得られたパターンＰＢ^＋も、同様に画像メモリ２３０に保持される。

以上のようにして、撮像画像上での投影パターンについて、そのドットパターンのドット間距離による最適化が露出の異なるそれぞれの撮像画像でおこなわれる。すなわち、同一の露出で撮像された画像ペアにおいて、対応点の密度が低い点を除去することで、対応点の密度が高い部分のみが残るように最適化される。

なお、被写体ＴＧに明暗差がなく、ＥＶ０で撮像がおこなわれた場合は、ステップＳ３０２〜ステップＳ３１０と同様の処理をおこなうことで、画像ペアＩＰの各画像でテンプレートマッチングをおこなうことで得られるパターンＰＡについて、距離に基づく最適化がおこなわれる。

すなわち、「対応点最適化処理（１）」では、対象とする撮像画像が撮像された際の露出が多段露出であるか否かにかかわらず、対応点の最適化がおこなわれる。なお、最初に取得するパターンＰＡ、パターンＰＡ^＋、パターンＰＡ⁻のそれぞれに含まれている対応点の数を、便宜上いずれもｎ個とするが、同数を意味するものではない。

このような「対応点最適化処理（１）」が終了すると、「３Ｄモデリング処理」（図９）のフローに戻る。「３Ｄモデリング処理」では、多段露出による撮像であった場合（ステップＳ２１１：Ｙｅｓ）、さらなる最適化をおこなうための「対応点最適化処理（２）」が実行される（ステップＳ４００）。この「対応点最適化処理（２）」を、図１３に示すフローチャートを参照して説明する。

対応点最適化部２１４は、「対応点最適化処理（１）」（図１１）で得られたパターンＰＢ⁻とパターンＰＢ^＋を画像メモリ２３０から取得する（ステップＳ４０１）。ここで、パターンＰＢ⁻は、対応点ＰＢ１⁻〜ＰＢｎ⁻（すなわち、ｎ個の対応点）を含んでいるものとし、対応点最適化部２１４は、対応点ＰＢ１⁻〜ＰＢｎ⁻に１〜ｎのナンバリングをおこなう（ステップＳ４０２）。本実施形態では、対応点の数を便宜的にｎ個とするが、いずれも同数であることを意味するものではない。

パターンＰＢ⁻の各対応点にナンバリングすると、対応点最適化部２１４は、当該パターンＰＢ⁻を構成している対応点を指定するためのカウンタｍに初期値１を設定し（ステップＳ４０３）、パターンＰＢ⁻内で、例えば、図１４（ａ）に示すような、ｍ番目の対応点である対応点ＰＢｍ⁻を探索する（ステップＳ４０４）。

次に、対応点最適化部２１４は、例えば、図１４（ｂ）に示すような、パターンＰＢ⁻における対応点ＰＢｍ⁻と同じ座標位置（２次元平面位置）をパターンＰＢ^＋において特定し（ステップＳ４０５）、その位置から一定の距離内にある複数の対応点である対応点群ＰＢｍ^＋（図１４（ｂ））を特定する（ステップＳ４０６）。

パターンＰＢ^＋で対応点群ＰＢｍ^＋を特定すると、対応点最適化部２１４は、対応点群ＰＢｍ^＋の平均輝度を算出する（ステップＳ４０７）とともに、ステップＳ４０４で探索した、パターンＰＢ⁻における対応点ＰＢｍ⁻の輝度を特定する（ステップＳ４０８）。

対応点最適化部２１４は、算出した対応点群ＰＢｍ^＋の平均輝度、および、対応点ＰＢｍ⁻の輝度のそれぞれと、参照輝度値ＢＲｒｅｆと比較する（ステップＳ４０９）。この参照輝度値ＢＲｒｅｆは、例えば、輝度階調のメジアン（例えば、８ビットの輝度である場合の参照輝度値ＢＲｒｅｆは「１２７」）であるものとする。

比較の結果、対応点群ＰＢｍ^＋の平均輝度より、対応点ＰＢｍ⁻の輝度の方が参照輝度値ＢＲｒｅｆから遠い場合（ステップＳ４１０：Ｙｅｓ）、対応点最適化部２１４は、パターンＰＢ⁻から対応点ＰＢｍ⁻を削除する（ステップＳ４１１）。一方、対応点群ＰＢｍ^＋の平均輝度の方が参照輝度値ＢＲｒｅｆから遠ければ（ステップＳ４１０：Ｎｏ）、対応点ＰＢｍ⁻はパターンＰＢ⁻に残存する。すなわち、対応点ＰＢｍ⁻の輝度が極端に明るかったり暗かったりすると認識しづらいので、このような対応点を除外する。

対応点ＰＢｍ⁻についてこのような処理をおこなうと、対応点最適化部２１４は、カウンタｍを＋１し（ステップＳ４１２）、その値が対応点の数であるｎ以内であれば（ステップＳ４１３：Ｎｏ）、次の対応点についてのステップＳ４０４以降の処理をおこなう。このような処理を、パターンＰＢ⁻のすべての対応点でおこなうと（ステップＳ４１３：Ｙｅｓ）、図１４（ｃ）に示すように、ステップＳ４１１で削除されなかった対応点が残存する。対応点最適化部２１４は、このような対応点で構成されるパターンをパターンＰＣ⁻とし、画像メモリ２３０に保持する（ステップＳ４１４）。

以上のように、対応点最適化部２１４は、ステップＳ４０１で取得したパターンＰＢ⁻とパターンＰＢ^＋のうち、パターンＰＢ⁻内の対応点ＰＢｍ⁻と、当該対応点ＰＢｍ⁻と同じ位置にあるパターンＰＢ^＋における対応点群ＰＢｍ^＋との間で輝度比較をおこなうことで対応点の最適化をおこなった。

次に、対応点最適化部２１４は、パターンＰＢ^＋についてステップＳ４０２〜ステップＳ４１３と同様の処理をおこなうことで（ステップＳ４１５）、図１４（ｄ）に示すようなパターンＰＣ^＋を得る（ステップＳ４１６）。すなわち、パターンＰＢ^＋における対応点（対応点ＰＢｍ^＋）を順次探索し、パターンＰＢ⁻で同じ座標位置となる対応点群ＰＢｍ⁻を特定する。そして、対応点群ＰＢｍ⁻の平均輝度および対応点ＰＢｍ^＋の輝度のそれぞれと参照輝度値ＢＲｒｅｆとを比較し、対応点ＰＢｍ^＋の輝度の方が参照輝度値ＢＲｒｅｆからより遠ければ、当該対応点ＰＢｍ^＋がパターンＰＢ^＋から削除される。

このようにして、良好な輝度となっているパターン部分が残存することになる。すなわち、より認識しやすい画像状態（撮像状態）で現れているパターンが選別されるよう最適化される。このような輝度に基づく最適化がなされたパターンＰＣ⁻（図１４（ｃ））とパターンＰＣ^＋（図１４（ｄ））が得られると、「３Ｄモデリング処理」（図９）のフローに戻る。

ここでは、多段露出での撮像がおこなわれたことにより「対応点最適化処理（２）」が実行された場合には、得られたパターンＰＣ⁻（図１４（ｃ））とパターンＰＣ^＋（図１４（ｄ））のそれぞれを構成している対応点を合成し、図１０（ｃ）に示すような合成対応点のパターンとする（ステップＳ２１２）。すなわち、各画像ペアにおいては、略同じカメラ位置により撮像がなされているので、露出の異なる画像ペア間において、２次元平面にて単純に対応点を合成することで合成対応点とする。

この場合、３Ｄモデリング部２１５は、合成された対応点を用いて３Ｄモデリングをおこなう（ステップＳ２１３）。

一方、多段露出での撮像でなかった場合（ステップＳ２１１：Ｎｏ）、ステップＳ２１０で特定されたパターンＰＡに対してなされた「対応点最適化処理（１）」（ステップＳ３００）で得られた対応点が、３Ｄモデリング部２１５による３Ｄモデリングに用いられる（ステップＳ２１３）。

３Ｄモデリング部２１５による３Ｄモデリングでは、三角測量の原理により、対応点に基づく３Ｄモデリングをおこなう。ここで、ある対応点をＡ１とし、カメラ座標におけるＡ１の３次元位置を示す座標が（Ｘ１、Ｙ１、Ｚ１）であるものとする。この場合、図１（ｂ）に示したような平行ステレオ構成のデジタルカメラ１においては、Ａ１の座標（Ｘ１、Ｙ１、Ｚ１）はそれぞれ、以下の数１〜数３で表される。ここで、（u1, v1）は、第１撮像部１１０についての対応点Ａ１への射影点を示し、（u'1, v'1）は、第２撮像部１２０についての対応点Ａ１への射影点を示す。また、ｂは第１撮像部１１０および第２撮像部１２０の光軸間距離（基線間距離）を示す。

（数１）
Ｘ１＝（ｂ×（ｕ１））／（（ｕ'１）−ｕ１）

（数２）
Ｙ１＝（ｂ×（ｖ１））／（（ｕ'１）−ｕ１）

（数３）
Ｚ１＝（ｂ×ｆ）／（（ｕ'１）−ｕ１）

ここで、デジタルカメラ１からＡ１までの距離は、Ａ１の座標Ｚ１によって示されるので、対応点最適化部２１４は、上記数３を演算することで、被写体ＴＧにおける対応点Ａ１までの撮影距離を算出することができる。

この数３は、三角測量の原理によって導かれるものである。三角測量の原理を、図１５を参照して説明する。

図１５は、図１（ｂ）に示した平行ステレオ構成におけるカメラ座標を上から見た模式図である。第１撮像部１１０による視点がカメラ座標となっているので、被写体位置Ａ１のＸ軸方向の座標はカメラ座標上のＸ１で与えられ、この数値は図１５に示した数式（１）で求められる。

一方、第２撮像部１２０からの視点におけるＡ１のＸ軸方向の座標は、光軸間距離ｂとカメラ座標のＸ１との和であり、図１５に示した数式（２）で求められ、これらの数式（１）と数式（２）から、上記数３が導き出される。

このような三角測量の原理を用いて、各対応点までの撮影距離を算出することで、被写体ＴＧについての３Ｄモデリングデータが生成される。

３Ｄモデリング部２１５は、このようにして生成した３Ｄモデリングデータを、記憶部２５０や外部記憶部２６０などに保存し（ステップＳ２１４）、「３Ｄモデリング用撮像処理」（図５）のフローに戻る。

「３Ｄモデリング用撮像処理」においては、例えば、３Ｄモデリングモードの解除や、デジタルカメラ１の電源オフなどといった、所定の終了イベントが発生しなければ（ステップＳ２１：Ｎｏ）、ステップＳ１１以降の処理がおこなわれる。すなわち、さらなる撮像動作がなされ、これによって得られた撮像画像から３Ｄモデリングデータの生成がおこなわれる。そして、終了イベントの発生により処理を終了する（ステップＳ２１：Ｙｅｓ）。

以上説明したように、本発明を上記実施形態の如く適用することにより、デジタルカメラで撮像した被写体を表す高精度な３Ｄモデリングデータを容易に得ることができる。

被写体について１または複数の露出条件を設定するので、被写体の明部と暗部のそれぞれを適正露出とする撮像画像を複数取得することができ、被写体に明暗差がある場合でも、被写体に投影されたパターンを正確に取得して高精度の３Ｄモデリングデータを生成することができる。

この場合において、被写体にパターンを投影する構成を撮像装置が備えているので、撮像から３Ｄモデリングデータの生成までを１台の撮像装置でシームレスにおこなうことができ、高精度の３Ｄモデリングデータを容易に作成することができる。

また、撮像画像から認識できるパターンを、パターンの密度に基づいて最適化するので、例えば、パターンの密度が高い部分を抽出することができ、３Ｄモデリングデータの生成に必要なパターンの認識精度を高めることができる。

さらに、パターンの画像状態に基づいてパターンを最適化するので、例えば、パターンの輝度が高い部分を抽出することができ、３Ｄモデリングデータの生成に必要なパターンの認識精度を高めることができる。

この場合、最適化されたパターンを合成して３Ｄモデリングデータを生成するので、被写体全体から精度の高いパターンを抽出することができ、被写体に明暗差がある場合であっても、高精度な３Ｄモデリングデータを生成することができる。

また、撮像時に被写体の明暗差を判別し、例えば、被写体の明暗差が大きい場合に、複数の露出を設定するようにできるので、撮像から３Ｄモデリングデータの生成までの一連の作業をより効率的におこなうことができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、被写体に明暗差がある場合、被写体の明部と暗部のそれぞれを撮影者に指定させたが、例えば、通常のデジタルカメラで一般的となっているＡＥＢ（Auto Exposure Bracket：自動多段露出）機能を用いることで、例えば、多分割測光で決定した露出ＥＶ０のＥＶ値を所定段数±方向にずらした露出条件を自動的に設定するようにしてもよい。

また、上記実施形態の「対応点最適化処理（１）」では、ある対応点と、その対応点の最近傍点との距離に基づいて最適化をおこなったが、対応点の密度に基づいて最適化できるのであれば、その方法はこれに限られるものではない。例えば、ある対応点を中心とした一定範囲内の対応点の数に基づいて密度を判別して最適化するようにしてもよい。

また、上記実施形態の「対応点最適化処理（２）」では、輝度の比較によって対応点の最適化をおこなったが、パターンを示す画像状態に基づいて最適化できるのであれば、その方法はこれに限られるものではない。例えば、パターンを示す部分の緑値を比較することで最適化するようにしてもよい。

また、上記実施形態では、２次元画像上で対応点をとって３Ｄモデリングデータを生成する例を示したが、対応点を特定する際に３次元位置推定をおこない、３次元の対応点として最適化や合成の処理をおこなうようにしてもよい。

なお、上記実施形態では、光軸の異なる２つの撮像部を撮像装置内に構成した複眼カメラ（ステレオカメラ）によって本発明を実現した場合を例示したが、撮像部が１つの単眼カメラによって本発明を実現してもよい。この場合、撮像部の位置をずらして複数回の撮像動作をおこなうことになるが、撮像部を機械的に移動させる構成を加えることなどにより、視差に相当する光軸のずれを生じさせるようにすればよい。

また、上記実施形態では、２つの撮像部を平行ステレオ構成とした場合を例示したが、任意の位置関係であってもよい。この場合、２つの撮像部の位置関係（外部パラメータ）を予め測定しておき、この外部パラメータを用いることで、撮像画像を平行同位画像に変換することができる。この場合、平行ステレオ構成の複眼カメラで撮像した場合と同様に、平行同位画像内の任意点の対応関係を得るために、Ｘ方向またはＹ方向の１方向のみを探索すればよい。

また、上記実施形態では、被写体にパターンを投影する構成を撮像装置が有している場合を例示したが、撮像時にパターンを被写体に投影できるのであれば、パターンを投影する構成が撮像装置に備えられていなくてもよい。

なお、上記実施形態の撮像装置と同様の機能や構成を予め備えた撮像装置によって本発明を実現できることはもとより、視差に相当する撮像画像が得られるのであれば、既存の撮像装置装置（デジタルカメラなど）にプログラムを適用することで、本発明にかかる撮像装置として機能させることもできる。この場合、上記実施形態で例示したデジタルカメラ１と同様の構成を備えた撮像装置のコンピュータ（ＣＰＵなどの制御部）に、上述した制御部２１０の機能と同様の機能を実現させるためのプログラムを実行させることで、本発明にかかる撮像装置として機能させることができる。

なお、上記実施形態では、撮像装置の例として、デジタルスチルカメラを示したが、上記実施形態で例示したデジタルカメラ１と同様の構成を備えているものであれば撮像装置の形態は任意であり、例えば、デジタルビデオカメラなどで本発明にかかる撮像装置を実現することもできる。

いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像表示装置として機能させることができる。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

１…デジタルカメラ、１１０…第１撮像部、１１１…光学装置、１１２…イメージセンサ部、１２０…第２撮像部、１２１…光学装置、１２２…イメージセンサ部、１３０…パターン投影部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…特徴点抽出部、２１４…対応点最適化部、２１５…３Ｄモデリング部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部

Claims (8)

1. 同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段と、
   前記撮像手段による前記被写体の撮像にかかる複数の露出条件を設定する露出設定手段と、
   前記撮像手段を制御し、前記露出設定手段が設定した露出条件の数に応じた回数の撮像動作をおこなう撮像制御手段と、
   前記撮像制御手段の制御によって得られた前記撮像画像に基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出する対応点抽出手段と、
   前記対応点抽出手段が抽出した、前記複数の露出条件それぞれで撮像された前記対応点ごとに、所定の条件に当てはまる前記対応点を選択する対応点最適化手段と、
   前記対応点最適化手段が選択した前記対応点を重畳する対応点合成手段と、
   前記対応点合成手段が重畳した前記対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
   を備えることを特徴とする撮像装置。
2. 被写体に投影パターンを投影するパターン投影手段をさらに備え、
   前記対応点抽出手段は、前記投影パターンを前記撮像画像上に写した像である画像パターンに基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記露出設定手段は、少なくとも、前記被写体の明部が適正露出となる露出条件と、前記被写体の暗部が適正露出となる露出条件とを設定する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記対応点最適化手段は、前記対応点抽出手段が抽出した前記対応点の密度が所定の条件にあてはまる前記対応点を選択する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記対応点最適化手段は、前記対応点抽出手段が抽出した前記対応点の画素の値が所定の条件にあてはまる前記対応点を選択する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記被写体の明暗差を判別する判別手段をさらに備え、
   前記露出設定手段は、前記判別手段の判別結果に応じて露出条件を設定する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 同一の被写体について光軸位置が異なる画像ペアを得る撮像手段を備える撮像装置で当該被写体の３Ｄモデリングデータを生成する３Ｄモデリングデータ生成方法であって、
   被写体の明部を適正露出とする前記撮像手段の撮像動作で第１の画像ペアを取得する第１の撮像ステップと、
   前記被写体の暗部を適正露出とする前記撮像手段の撮像動作で第２の画像ペアを取得する第２の撮像ステップと、
   前記第１の画像ペアおよび前記第２の画像ペアのそれぞれにおいて、対応する特徴点である対応点を抽出する対応点抽出ステップと、
   前記第１の画像ペアおよび前記第２の画像ペアのそれぞれにおいて、前記対応点抽出ステップで抽出された前記対応点の密度が所定の条件にあてはまる前記対応点を選択する第１の対応点最適化ステップと、
   前記第１の画像ペアおよび前記第２の画像ペア間において、前記対応点抽出ステップで抽出された前記対応点ごとに、画素の値が所定の条件にあてはまる前記対応点を選択する第２の対応点最適化ステップと、
   前記第１の対応点最適化ステップおよび前記第２の対応点最適化ステップで選択した前記対応点を重畳し、該重畳した対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する３Ｄモデリングデータ生成ステップと、
   を含むことを特徴とする３Ｄモデリングデータ生成方法。
8. 同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置のコンピュータに、
   前記撮像手段による前記被写体の撮像にかかる複数の露出条件を設定する機能と、
   前記撮像手段を制御し、前記設定された露出条件の数に応じた回数の撮像動作をおこなう機能と、
   前記撮像動作によって得られた前記撮像画像に基づいて、前記２つの撮像画像間で対応する特徴点である対応点を抽出する機能と、
   前記抽出した、前記複数の露出条件それぞれで撮像された前記対応点ごとに、所定の条件に当てはまる前記対応点を選択する機能と、
   前記選択した対応点を重畳する機能と、
   前記重畳した対応点を用いて前記被写体の形状を表す３Ｄモデリングデータを生成する機能と、
   を実現させることを特徴とするプログラム。

Images