JP2020008955A - 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 - Google Patents

Abstract

【課題】デフォーカス領域に関しても高品位なレンダリング画像を生成可能な処理装置を提供する。【解決手段】処理装置（１０４）は、入力画像を取得する入力画像取得部（１０４ａ）と、入力画像に基づいて法線情報を取得する法線情報取得部（１０４ｂ）と、任意の光源条件と法線情報とに基づいて第一レンダリング画像を生成するレンダリング部（１０４ｃ）と、入力画像におけるデフォーカス領域を取得するデフォーカス領域取得部（１０４ｄ）と、第一レンダリング画像とデフォーカス領域に関する入力画像とに基づいて、第二レンダリング画像を生成するデフォーカス領域処理部（１０４ｅ）とを有する。【選択図】図３

Description

本発明は、レンダリング画像を生成する処理装置に関する。

被写体に関するより多くの物理情報を取得することにより、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像をレンダリング処理により生成することが可能となる。被写体の見え（見た目または見え方）は、被写体の形状情報、被写体の反射率情報、および、光源情報等で決定される。光源から射出されて被写体により反射された光の物理的な振る舞いは、局所的な面法線に依存する。このため、形状情報としては、３次元形状ではなく被写体の面法線を用いることが特に有効である。

特許文献１や非特許文献１には、被写体の面法線を直接取得する方法として照度差ステレオ法が開示されている。照度差ステレオ法は、被写体の面法線と被写体から光源への方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を算出する方法である。被写体の反射特性は、例えば、ランバートの余弦則に従うランバート拡散反射モデルを用いて近似することができる。

特開２０１０−１２２１５８号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２、２０１１ 肥後 智昭、宮崎 大輔、池内 克史、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"、研究報告コンピュータビジョンとイメージメディア、ｐｐ．２１１−２１８、２００６

しかしながら、特許文献１や非特許文献１に開示されている照度差ステレオ法で面法線を算出する場合、撮影時の被写界深度外にあるデフォーカスによりボケが生じた被写体に関して正確な法線を算出することは困難である。デフォーカスによりボケが生じると、被写体の一点から反射される光は撮像面上では複数の画素に広がり、異なる法線や反射特性をもつ被写体からのボケた反射光が混合するため、法線誤差が生じる。このため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差が生じる。

そこで本発明は、デフォーカス領域に関しても高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理方法、プログラム、および、記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、入力画像を取得する入力画像取得部と、前記入力画像に基づいて法線情報を取得する法線情報取得部と、任意の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成するレンダリング部と、前記入力画像におけるデフォーカス領域を取得するデフォーカス領域取得部と、前記第一レンダリング画像と前記デフォーカス領域に関する前記入力画像とに基づいて、第二レンダリング画像を生成するデフォーカス領域処理部とを有する。

本発明の他の側面としての処理システムは、光源部と前記処理装置とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して入力画像に対応する画像データを出力する撮像素子と、前記処理装置とを有する。

本発明の他の側面としての処理方法は、入力画像を取得するステップと、前記入力画像に基づいて法線情報を取得するステップと、任意の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成するステップと、前記入力画像におけるデフォーカス領域を取得するステップと、前記第一レンダリング画像と前記デフォーカス領域に関する前記入力画像とに基づいて、第二レンダリング画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、前記処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、デフォーカス領域に関しても高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理方法、プログラム、および、記録媒体を提供することができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置および処理システムのブロック図である。 実施例１における処理方法を示すフローチャートである。 実施例１における処理方法の説明図である。 実施例１における撮像素子の受光部と撮像光学系の瞳との関係図である。 実施例１における撮像部の模式図である。 実施例１における他の形態としての撮像装置の外観図である。 実施例２における処理システムの外観図である。 鏡面反射成分（Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル）の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。図９は、鏡面反射成分（Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル）の説明図である。図９に示されるように、鏡面反射成分は、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρ_ｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとする。このとき、輝度値ｉは、ランバートの余弦則より、以下の式（１）のように表される。

ここで、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、…、ｓ_Ｍ、光源ベクトルの各成分の輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）のように表される。

式（２）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、…ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いることにより、Ｅρ_ｄｎは以下の式（３）のように表される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄとの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるため、Ｅρ_ｄを１つの変数とすると、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ_３を成分ｓ_１、ｓ_２に対して線形独立に選択することが好ましい。

Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した３つの条件式から、Ｍ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

光源ベクトルの各成分の輝度値のうち、陰影や輝度飽和により正確な値を取得できない輝度値を使用して単位面法線ベクトルｎを算出した場合、正確な法線ベクトルを算出することが困難となる。したがって、陰影や輝度飽和により正確な値が取得できなかった輝度値は使用せずに単位面法線ベクトルｎを算出してもよい。すなわち、Ｍ＝ｍの光源ベクトルｓ_ｍで得られた輝度値ｉ_ｍが陰影や輝度飽和である場合、光源ベクトルｓ_ｍおよび輝度値ｉ_ｍを式（３）から除外して単位面法線ベクトルｎを算出する。除外する輝度値は所定の閾値に基づく判定により決定すればよい。ただし、上記したように少なくとも３つの輝度情報が必要である。被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

またＭ＞３の場合、３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば、以下の式（４）であらわされる評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示されるように、式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとすると、以下の式（７）が成り立つ。

式（７）で表されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

以上の照度差ステレオ法によって面法線ｎおよび反射率ρ（＝Ｅρ_ｄ）を取得すると、式（１）に対して任意の光源ベクトルｓを与えることにより、任意の光源下での輝度値ｉを算出することができる。すなわち、任意の光源下での見え（被写体の見た目、または見え方）を再現したレンダリング画像を生成することが可能となる。式（１）ではランバート拡散反射でのレンダリング画像を生成するが、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成することもできる。

次に、図１および図２を参照して、本発明の実施例１における撮像装置および処理システムについて説明する。図１は、本実施例における撮像装置１の外観図である。図２（ａ）は、撮像装置１のブロック図である。図２（ｂ）は処理システム２のブロック図である。

撮像装置１は、法線情報の誤差が大きいデフォーカス領域を検出し、レンダリング画像におけるデフォーカス領域を入力画像（または入力画像に基づく画像）で置き換えることで破綻のないレンダリング画像を生成する。図１に示されるように、撮像装置１は、被写体を撮像する撮像部１００および光源部２００を有する。図２に示されるように、撮像部１００は、撮像光学系１０１および撮像素子１０２を有する。本実施例において、光源部２００は８つの光源２００ａ〜２００ｈを有するが、これに限定されるものではない。照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、入力画像を取得するために少なくとも３つ以上の光源を備えていればよい。また本実施例において、撮像部１００を構成する撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源を等間隔で配置しているが、これに限定されるものではない。また本実施例において、光源部２００は、撮像装置１に内蔵されているが、これに限定されるものではない。光源部２００は、撮像装置１に着脱可能に取り付けられるように構成されていてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。すなわち撮像素子１０２は、撮像光学系１０１により形成された被写体の像（光学像）を光電変換し、アナログ電気信号（入力画像に対応する画像データ）を生成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。

画像処理部（処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して、各種の画像処理を行う。また本実施例において、画像処理部１０４は、被写体の法線情報を算出し、任意の光源下でのレンダリング画像を生成する。画像処理部１０４は、入力画像取得部１０４ａ、法線情報取得部１０４ｂ、レンダリング部１０４ｃ、デフォーカス領域取得部１０４ｄ、および、デフォーカス領域処理部１０４ｅを有する。

画像処理部１０４により処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部（ディスプレイ）１０５に表示してもよい。なお本実施例において、入力画像取得部１０４ａ、法線情報取得部１０４ｂ、レンダリング部１０４ｃ、デフォーカス領域取得部１０４ｄ、および、デフォーカス領域処理部１０４ｅは、撮像装置１に内蔵されているが、撮像装置１とは別に設けてもよい。

情報入力部１０８は、ユーザにより選択された撮影条件（絞り値、露出時間、および、焦点距離等）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０の制御指示に応じて光源部２００の発光状態を制御する。また情報入力部１０８は、ユーザにより選択された光源条件（光源位置、光源強度、および、光源色等）をシステムコントローラ１１０に供給する。画像処理部１０４は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の光源条件でレンダリング画像（リライティング画像）を生成する。なお本実施例において、撮像光学系１０１は、撮像装置１と一体的に構成されているが、これに限定されるものではない。本発明は、撮像素子を有する撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えて構成される一眼レフカメラ等のカメラシステムにも適用可能である。

次に、図３および図４を参照して、本実施例におけるレンダリング処理（処理方法）について説明する。図３は、レンダリング処理を示すフローチャートである。本実施例のレンダリング処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。図４は、レンダリング処理のうち図３のステップＳ１０４、Ｓ１０５の説明図である。図４において、１２０は第一レンダリング画像、１２１はデフォーカス領域、１２２はフォーカス領域、１２３は入力画像、１２４は第二レンダリング画像をそれぞれ示している。

まず、図３のステップＳ１０１において、入力画像取得部１０４ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで撮像部１００により取得された複数の入力画像を取得する。複数の入力画像は、単一の光源の位置を（駆動部などを用いて）変更しながら単一の光源からの光を順次照射することで取得することができる。または、複数の入力画像を、それぞれ位置の異なる複数の光源（例えば、図１に示される８つの光源２００ａ〜２００ｈ）からの光を順次照射して取得してもよい。本実施例の入力画像は、主被写体の領域であるフォーカス領域と背景の領域であるデフォーカス領域とを含む。

また、後述するステップＳ１０２にてランバート反射等の拡散反射モデルを仮定した照度差ステレオ法で法線情報を取得する場合、入力画像として撮影画像から鏡面反射成分を除去した複数の拡散反射画像を用いてもよい。画像から鏡面反射成分を除去した拡散反射画像を取得するため、例えば非特許文献２に開示されているような、２色性反射モデルによる手法を用いることができる。ただし、画像から鏡面反射成分を除去する手法はこれに限定されるものではなく、種々の手法を用いることが可能である。

続いてステップＳ１０２において、法線情報取得部１０４ｂは、法線情報を取得する。本実施例において、具体的には、法線情報取得部１０４ｂは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像を用いて、被写体の法線情報ｎおよび反射率ρを含む被写体情報を取得する。法線情報ｎおよび反射率ρは、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出される。なお本実施例において、法線情報取得部１０４ｂは、法線情報ｎおよび反射率ρを算出するが、他のユニットが算出した法線情報や反射率を取得してもよい。また法線情報取得部１０４ｂは、ステップＳ１０１にて取得した複数の入力画像とは異なる光源条件で撮像された画像を用いて法線情報を算出してもよい。ここで、入力画像における主被写体の領域であるフォーカス領域に関しては、照度差ステレオ法で法線情報を取得することができるが、デフォーカス領域に関しては法線情報に誤差が生じる。デフォーカスによりボケが生じると、被写体の一点から反射される光は撮像面上では複数の画素に広がり、異なる法線や反射特性をもつ被写体からのボケた反射光が混合するため、法線誤差が生じる。

続いてステップＳ１０３において、レンダリング部１０４ｃは、ステップＳ１０２にて取得した法線情報ｎおよび反射率ρと任意の光源条件とに基づいて、第一レンダリング画像１２０を生成する。「任意の光源条件」は、例えば、ユーザにより選択された光源条件（光源位置、光源強度、または、光源色等）である。第一レンダリング画像１２０は、ステップＳ１０２の法線情報の算出の際に仮定した反射特性に代えて、その他の拡散反射特性や、それに加えて鏡面反射特性を有するレンダリング画像であってもよい。また、入力画像を反射率とみなして第一レンダリング画像を生成してもよい。ただし、前述のようにデフォーカス領域における法線情報には誤差が含まれるため、第一レンダリング画像１２０におけるデフォーカス領域に破綻が生じる（図４中の第一レンダリング画像１２０の斜線部）。

続いて、図３のステップＳ１０４において、デフォーカス領域取得部１０４ｄは、ステップＳ１０１にて取得した入力画像におけるデフォーカス領域１２１を取得する。入力画像におけるデフォーカス領域１２１は、被写体までの距離情報に基づいて決定される。例えば、被写体までの距離情報のうち、撮影時のオートフォーカスまたは手動でフォーカスを行った際のフォーカスレンズの位置に基づいて決定される撮影距離である領域をフォーカス領域１２２とし、それ以外の距離である領域をデフォーカス領域１２１とする。または、撮影距離から撮影時の被写界深度内の距離である領域をフォーカス領域１２２とし、それ以外の距離である領域をデフォーカス領域１２１としてもよい。または、被写体までの距離情報のうち、主被写体領域の距離である領域をフォーカス領域１２２とし、それ以外の距離である領域をデフォーカス領域１２１としてもよい。または、主被写体領域の距離から被写界深度内の距離である領域をフォーカス領域１２２とし、それ以外の距離である領域をデフォーカス領域１２１としてもよい。なお、主被写体領域は、ユーザが指定してもよいし、オートフォーカス点としてもよい。またデフォーカス領域を決定するための閾値（距離情報、撮影距離、被写界深度等の閾値）を、ユーザが適宜設定してもよい。例えば、図４において、デフォーカス領域１２１は白で示された領域であり、主被写体領域であるフォーカス領域１２２は黒で示された領域である。

本実施例において、距離情報は、異なる視点から撮影した複数の視差画像を取得するステレオ法により取得することができる。ステレオ法では、取得した複数の視差画像中の被写体の対応点の視差量と撮影した各視点の位置情報および光学系の焦点距離から三角測量によって奥行きを取得する。視差画像から距離情報を取得する場合、複数の視差画像の撮像部は、図５に示されるように、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部（画素）に導いて光電変換を行う撮像系を有する。

図５は、撮像素子１０２の受光部と撮像光学系１０１の瞳との関係図である。撮像素子１０２には、受光部であるＧ１画素とＧ２画素との対（画素対）が複数配列されている。複数のＧ１画素をまとめてＧ１画素群といい、複数のＧ２画素をまとめてＧ２画素群という。対のＧ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。また、マイクロレンズＭＬと受光部との間には、カラーフィルタＣＦが設けられている。

図６は、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系の模式図である。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。撮像している物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束は通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、マイクロレンズＭＬごとに設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。

図５および図６において、射出瞳ＥＸＰの位置がずれる等により、前述の共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。

図７は、他の形態としての撮像装置１ｂの外観図である。図７に示されるように、複数の撮像光学系ＯＳｊ（ｊ＝１、２）を有する一つの撮像装置１ｂを用いて、視点が異なる複数の画像（視差画像）を取得することができる。または、撮像装置１の位置を変更しながら同一の被写体を撮影することにより、複数の画像（視差画像）を取得してもよい。ただし、本発明はこれらに限定されるものではない。

前述のステレオ法により距離情報を取得する際には、被写体中の対応点の視差量を算出するが、テクスチャがない領域では対応点を探索することが困難であるため、距離情報の取得が難しい。このため、ランダムパターンやラインパターンなどのパターン光を投影して、異なる視点から撮影した画像を用いて距離情報を取得してもよい。本実施例では、異なる視点の画像を用いて距離情報を取得するが、本発明はこれに限定されず、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）やパターン光を投影して単視点で撮影した画像を用いるアクティブステレオ法など、種々の距離計測手法を用いてもよい。

また、デフォーカス領域１２１は、入力画像における低コントラスト領域としてもよい。例えば、入力画像における部分領域ごとに算出される分散値が小さい領域を低コントラスト領域とし、その領域をデフォーカス領域１２１とすることができる。または、入力画像における部分領域ごとに周波数変換を行い、高周波成分が少ない領域を低コントラスト領域とし、その領域をデフォーカス領域１２１としてもよい。また、入力画像とは別にパンフォーカス画像を取得し、入力画像とパンフォーカス画像とのコントラストの変化（部分領域の分散や高周波成分等）が大きい領域をデフォーカス領域１２１としてもよい。

なおステップＳ１０４は、ステップＳ１０１以降であって、かつステップＳ１０５を行う前であればいつでも行うことができ、例えばステップＳ１０２やステップＳ１０３よりも前に行ってもよい。ステップＳ１０４をステップＳ１０３より前に行った場合、ステップＳ１０３における第一レンダリング画像の生成をデフォーカス領域１２１以外の領域であるフォーカス領域１２２に関してのみ行ってよい。また、ステップＳ１０４をステップＳ１０２より前に行った場合、ステップＳ１０３の法線情報取得およびステップＳ１０３における第一レンダリング画像の生成をデフォーカス領域１２１以外の領域であるフォーカス領域１２２に関してのみ行ってよい。

続いて、図３のステップＳ１０５において、デフォーカス領域処理部１０４ｅは、第一レンダリング画像１２０とデフォーカス領域１２１に関する入力画像１２３とに基づいて、第二レンダリング画像１２４を生成する。すなわちデフォーカス領域処理部１０４ｅは、第一レンダリング画像１２０のうちデフォーカス領域１２１を入力画像１２３に基づく画像に置き換える（置き換え処理または合成処理を行う）ことにより、第二レンダリング画像１２４を生成する。ここで、置き換え処理に用いる入力画像１２３は、複数の入力画像のうちの一枚でもよいし、複数の入力画像の平均値や最大値等（複数の入力画像に基づく画像）であってもよい。また第一レンダリング画像１２０は、デフォーカス領域１２１を除くフォーカス領域１２２における情報のみを含む画像であってもよい。この場合、第一レンダリング画像（フォーカス領域）と入力画像（デフォーカス領域）とを合成することにより、第二レンダリング画像を生成することができる。

またデフォーカス領域処理部１０４ｅは、複数の入力画像のうち第一レンダリング画像を生成した際の光源条件に最も近い光源条件で撮影された入力画像を用いて、第二レンダリング画像を生成してもよい。ここで光源条件とは、例えば光源位置である。レンダリング時の光源位置に最も近い光源位置で撮影された入力画像を用いてデフォーカス領域に対して置き換え処理を行うことにより、置き換えた領域とそれ以外の領域（フォーカス領域）における光源位置に対する見えの乖離を低減することができる。

第一レンダリング画像を生成した際の光源位置（第一光源位置）に最も近い光源位置（第二光源位置）との差（距離）が大きく乖離する場合、置き換えた領域とそれ以外の領域における光源位置に対する見えの乖離が大きくなる。このためデフォーカス領域処理部１０４ｅは、第一光源位置と、複数の入力画像が撮影された際の光源位置のうち第一光源位置に最も近い光源位置（第二光源位置）との差（距離）が所定の閾値（所定の距離）よりも大きいか否かを判定する。第一光源位置と第二光源位置との間の距離が所定の距離よりも大きい場合、デフォーカス領域処理部１０４ｅは、複数の入力画像における同一座標の輝度値が最大の画素を選択して得られた画像（最大値画像）に基づいて置き換え処理を行う。または、デフォーカス領域処理部１０４ｅは、第一レンダリング画像を生成した際の光源条件に近い光源条件の画像を、複数の入力画像を補間して生成し、それを用いて、置き換え処理を行ってもよい。第一レンダリング画像を生成した際の光源条件に近い光源条件の画像は、複数の入力画像のうち第一レンダリング画像を生成した際の光源条件に近い光源条件の画像の重みを重くして複数の入力画像の加重平均を取ることで生成することができる。

また、第二レンダリング画像１２４において、入力画像と第一レンダリング画像との明るさが異なり、置き換え処理を行った領域（デフォーカス領域１２１）とそれ以外の領域（フォーカス領域１２２）との間において明るさが乖離する場合がある。このためデフォーカス領域処理部１０４ｅは、入力画像１２３および第一レンダリング画像１２０におけるデフォーカス領域１２１の周囲（フォーカス領域１２２のエッジ部）の輝度値に基づいて調整係数を決定してもよい。この場合、デフォーカス領域処理部１０４ｅは、決定された調整係数に基づいて、置き換え処理を行う入力画像１２３におけるデフォーカス領域１２１の明るさを調整することができる。例えば、置き換え処理を行う入力画像におけるデフォーカス領域の輝度値を、第一レンダリング画像におけるデフォーカス領域周囲の輝度値を入力画像におけるデフォーカス領域周囲の輝度値で除した値である調整係数で乗算した値を用いて置き換え処理を行う。または、第一レンダリング画像を生成した際の光源条件のうち、光源位置、光源強度、または、光源色等の光源条件に基づいて、デフォーカス領域に置き換える画像の明るさや色を調整してもよい。また、置き換え処理を行った後、第二レンダリング画像１２４におけるデフォーカス領域１２１の境界に対してぼかし処理を行ってもよい。

なお本実施例では、撮像装置１を用いて被写体の面法線を算出してデフォーカス領域の破綻が低減された第二レンダリング画像１２４を生成しているが、これに限定されるものではない。例えば図２（ｂ）に示されるように、撮像装置１とは異なる処理システム２を用いてデフォーカス領域の破綻が低減された第二レンダリング画像１２４を生成してもよい。図２（ｂ）に示される処理システム２は、処理装置５００、撮像部５０１、および光源部５０２を有する。処理装置５００は、入力画像取得部５００ａ、法線情報取得部５００ｂ、レンダリング部５００ｃ、デフォーカス領域取得部５００ｄ、および、デフォーカス領域処理部５００ｅを有する。

処理システム２を用いてデフォーカス領域の破綻が低減された第二レンダリング画像１２４を生成する場合、まず入力画像取得部５００ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行って得られた複数の入力画像を取得する。続いて、法線情報取得部５００ｂは、複数の入力画像に基づいて被写体の法線情報ｎおよび反射率ρを算出する。そしてレンダリング部５００ｃは、取得した法線情報ｎおよび反射率ρと任意の光源条件に基づいて第一レンダリング画像１２０を生成する。またデフォーカス領域取得部５００ｄは、入力画像１２３におけるデフォーカス領域１２１を取得する。そしてデフォーカス領域処理部５００ｅは、第一レンダリング画像１２０とデフォーカス領域１２１に関する入力画像１２３とに基づいて、第二レンダリング画像１２４を生成する。なお、撮像部５０１および光源部５０２はそれぞれ、個別の装置であってもよく、また、光源部５０２は撮像部５０１に内蔵されていてもよい。また、距離情報を取得するため、別途、距離情報取得部を備えていてもよい。

本実施例によれば、デフォーカス領域に関しても破綻のないレンダリング画像を生成することができる。

次に、図８を参照して、本発明の実施例２について説明する。実施例１では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットとから構成される処理システムについて説明する。図８は、処理システム３の外観図である。処理システム３は、被写体３０３を撮像する撮像装置３０１、および、複数の光源ユニット３０２を備えて構成される。本実施例の撮像装置３０１は、実施例１と同様の撮像装置であるが、複数の光源を内蔵する構成である必要はない。

光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも３つの光源を順次照射して撮像された画像が必要であるが、光源が移動可能に構成された光源ユニットを使用する場合、少なくとも１つの光源ユニットを備えていればよい。ただし、光源を移動させて、少なくとも互いに異なる３つの光源位置で撮像を行う必要がある。なお、光源ユニット３０２が自動で光源位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合、撮像装置３０１の表示部に表示される光源位置に位置するようにユーザに光源ユニット３０２を調整させてもよい。また本実施例において、距離情報を取得するため、別途、距離情報取得装置を備えてもよい。なお、本実施例のレンダリング処理は、実施例１の処理と同様であるため、詳細な説明は省略する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、デフォーカス領域に関しても高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理方法、プログラム、および、記録媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部（処理装置）
１０４ａ 入力画像取得部
１０４ｂ 法線情報取得部
１０４ｃ レンダリング部
１０４ｄ デフォーカス領域取得部
１０５ｅ デフォーカス領域処理部

Claims (18)

1. 入力画像を取得する入力画像取得部と、
   前記入力画像に基づいて法線情報を取得する法線情報取得部と、
   任意の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成するレンダリング部と、
   前記入力画像におけるデフォーカス領域を取得するデフォーカス領域取得部と、
   前記第一レンダリング画像と前記デフォーカス領域に関する前記入力画像とに基づいて、第二レンダリング画像を生成するデフォーカス領域処理部と、を有することを特徴とする処理装置。
2. 前記入力画像取得部は、前記入力画像として、互いに異なる複数の位置の光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得し、
   前記法線情報取得部は、前記複数の入力画像に基づいて前記法線情報を取得することを特徴とする請求項１に記載の処理装置。
3. 前記デフォーカス領域処理部は、前記第一レンダリング画像のうち前記デフォーカス領域を前記入力画像に基づく画像に置き換えることにより、前記第二レンダリング画像を生成することを特徴とする請求項１または２に記載の処理装置。
4. 前記デフォーカス領域取得部は、被写体の距離情報を取得し、前記距離情報に基づいて前記デフォーカス領域を決定することを特徴とする請求項１乃至３のいずれか１項に記載の処理装置。
5. 前記レンダリング部は、前記デフォーカス領域を除くフォーカス領域の前記法線情報に基づいて、前記フォーカス領域に関してレンダリング処理を行った前記第一レンダリング画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の処理装置。
6. 前記法線情報取得部は、前記デフォーカス領域を除くフォーカス領域の前記法線情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の処理装置。
7. 前記デフォーカス領域処理部は、複数の入力画像を補間して得られた画像を用いて、前記第二レンダリング画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の処理装置。
8. 前記デフォーカス領域処理部は、複数の入力画像のうち前記第一レンダリング画像を生成した際の光源条件に最も近い光源条件で撮影された前記入力画像を用いて、前記第二レンダリング画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の処理装置。
9. 前記デフォーカス領域処理部は、前記第一レンダリング画像を生成した際の第一光源位置と、複数の入力画像を撮影した際のそれぞれの光源位置のうち、前記第一光源位置に最も近い第二光源位置との間の距離が所定の距離よりも大きい場合、前記複数の入力画像における同一座標の輝度値が最大の画素を選択して得られた画像に基づいて、前記第二レンダリング画像を生成することを特徴とする請求項１乃至６のいずれか1項に記載の処理装置。
10. 前記デフォーカス領域処理部は、
    前記入力画像および前記第一レンダリング画像における前記デフォーカス領域の周囲の輝度値に基づいて調整係数を決定し、
    前記調整係数に基づいて前記入力画像における前記デフォーカス領域の明るさを調整することを特徴とする請求項１乃至９のいずれか1項に記載の処理装置。
11. 前記デフォーカス領域処理部は、前記第一レンダリング画像を生成した際の光源条件に基づいて、前記入力画像における前記デフォーカス領域の明るさを調整することを特徴とする請求項１乃至９のいずれか1項に記載の処理装置。
12. 光源部と、
    請求項１乃至１１のいずれか１項に記載の処理装置と、を有することを特徴とする処理システム。
13. 前記光源部は１つの光源を含み、
    前記入力画像取得部は、前記光源を移動して互いに異なる複数の位置の前記光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項１２に記載の処理システム。
14. 前記光源部は、互いに位置が異なる少なくとも３つの光源を含み、
    前記入力画像取得部は、前記少なくとも３つの光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項１２に記載の処理システム。
15. 撮像光学系を介して形成された光学像を光電変換して入力画像に対応する画像データを出力する撮像素子と、
    請求項１乃至１１のいずれか１項に記載の処理装置と、を有することを特徴とする撮像装置。
16. 入力画像を取得するステップと、
    前記入力画像に基づいて法線情報を取得するステップと、
    任意の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成するステップと、
    前記入力画像におけるデフォーカス領域を取得するステップと、
    前記第一レンダリング画像と前記デフォーカス領域に関する前記入力画像とに基づいて、第二レンダリング画像を生成するステップと、を有することを特徴とする処理方法。
17. 請求項１６に記載の処理方法をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。