JP2018092594A

JP2018092594A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2018092594A
Application number: JP2017167752A
Authority: JP
Inventors: 千晶金子; Chiaki Kaneko
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-28
Filing date: 2017-08-31
Publication date: 2018-06-14
Anticipated expiration: 2037-08-31
Also published as: JP7016646B2

Abstract

【課題】オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調するための処理を提供することを目的とする。【解決手段】オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第１取得手段と、前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第２取得手段と、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有することを特徴とする画像処理装置。【選択図】図２

Description

本発明は、画像におけるオブジェクトの光沢についての画像処理技術に関する。

従来、画像におけるオブジェクトに光沢を付加する技術が知られている。特許文献１は、３次元コンピュータグラフィックス（３ＤＣＧ）において、鏡面反射光が視点に向かうように光源位置を設定することによって、レンダリング対象のオブジェクトにおける任意の位置にハイライトを付加する技術を開示している。この技術では、オブジェクトの任意の範囲を指定し、その範囲の反射光が一律に鏡面反射光となるように光源位置を設定することによってハイライトを付加している。

一方で、オブジェクト表面の微細な凹凸形状をＣＧ等で再現する技術が普及し始めている。表面に微細な凹凸形状を有するオブジェクトは、表面が滑らかなオブジェクトに比べ、当該凹凸形状の変化に応じて反射面の法線方向が細かく変化していく。この法線方向の細かい変化は、光の鏡面反射方向、ひいては、視点位置から観察される反射光の強度に微細な変動を与える。この変動がオブジェクト固有の質感となって現れる。例えば、上述したような質感は、微小な金属フレークを含むメタリック素材や、梨地加工を施した素材等において現れることが知られている。

特開平６−１１１０２８号公報

特許文献１が開示する技術を用いて上述したようなメタリック素材等の質感を再現しようとするオブジェクトにハイライトを付加しようとすると、上述したようにハイライト部分での反射光は一律に鏡面反射光となる。このため、ハイライト部分において上述した反射光の強度の微細な変動が生じなくなってしまう。この結果、ハイライト部分におけるオブジェクト固有の質感が損なわれてしまうという課題があった。

本発明は、上記課題に鑑みてなされたものであり、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第１取得手段と、前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第２取得手段と、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有することを特徴とする。

本発明によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができる。

画像処理装置１００のハードウェア構成を示す図画像処理装置１００の機能構成を示すブロック図画像処理装置１００における一連の処理の流れを示すフローチャート生成部２０４における処理の流れを示すフローチャート形状特徴量の一例を示す図特徴画像の一例を示す図ベース画像の一例を示す図出力画像の一例を示す図反射の一例を示す図

以下、本発明を実施するための形態について図面を用いて説明する。

［実施形態１］
本実施形態では、レンダリング対象のオブジェクト表面の形状の特徴に応じて、光沢を強調する強調度合いを変える処理を行う。以下で詳しく説明する。

＜画像処理装置１００のハードウェア構成＞
図１は、画像処理装置１００のハードウェア構成例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、ＨＤＤインタフェース（Ｉ／Ｆ）１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８で構成される。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２及びＨＤＤ１０４に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を制御する。ＨＤＤＩ／Ｆ１０５は、ＨＤＤ１０４や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェースである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０５を介した、ＨＤＤ１０４からのデータの読み出し、およびＨＤＤ１０４へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０４に格納されたデータをＲＡＭ１０３に展開し、同様に、ＲＡＭ１０３に展開されたデータをＨＤＤ１０４に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０３に展開したデータをプログラムとみなし、実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、３Ｄスキャナなどの入力デバイス１０９を接続する、例えば、ＵＳＢ等のシリアルバスインタフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０９から各種データを読み込むことが可能である。出力Ｉ／Ｆ１０７は、モニタやプリンタ等の出力デバイス１１０を接続する、例えばＵＳＢやＩＥＥＥ等のシリアルバスインタフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０７を介して出力デバイス１１０にデータを送り、表示や記録を実行させることができる。尚、ＵＳＢやＩＥＥＥ等の双方向通信インタフェースを利用すれば、入力Ｉ／Ｆ１０６と出力Ｉ／Ｆ１０７を一つにまとめることができる。

＜画像処理装置１００の機能構成＞
図２は、画像処理装置１００の機能構成を示すブロック図である。画像処理装置１００は、第１取得部２０１、第２取得部２０２、算出部２０３、生成部２０４を有する。

第１取得部２０１は、オブジェクトの形状情報と反射特性情報とから成るオブジェクトデータを、入力デバイス１０９や不図示のデータベースから取得する。ここで、形状情報はオブジェクト表面の形状を表すデータであり、本実施形態ではメッシュデータとする。メッシュデータは、複数の辺を有する板状の要素の集合によりオブジェクトの形状を表現するメッシュモデルの表示に必要なデータである。例えば、３次元空間内に配置された三角形の各頂点の座標データと法線ベクトルである。尚、形状情報のデータ形式は、オブジェクトの位置と形状を特定できるものであればよく、例えば、ＮＵＲＢＳ曲面などで表現されるパラメトリックモデルでもよい。また、反射特性情報は、オブジェクトの反射特性を表すデータである。本実施形態における反射特性情報は、以下の式（１）〜（５）で表わされるフォンの鏡面反射モデルにおける拡散反射係数ｋｄ，環境光の反射係数ｋａ，鏡面反射係数ｋｓ，鏡面反射指数ｎとする。
Ｉ＝Ｉ_Ｄｒ＋Ｉ_Ａｒ＋Ｉ_Ｓｒ・・・式（１）
Ｉ_Ｄｒ＝Ｉ_Ｄｉ×ｋ_ｄ×（Ｎ・Ｌ）・・・式（２）Ｉ_Ａｒ＝Ｉ_Ａｉ×ｋ_ａ・・・式（３）
Ｉ_Ｓｒ＝Ｉ_Ｓｉ×ｋ_ｓ×（Ｌ・Ｒ）^ｎ・・・式（４）Ｒ＝−Ｅ＋２（Ｎ・Ｅ）Ｎ・・・式（５）

ここで、Ｉはオブジェクトへ入射した光源からの入射光及び環境光に対する反射光の強度、Ｉ_ＤｒはＩの拡散反射成分（拡散反射光の強度）である。また、Ｉ_ＡｒはＩの環境光成分（オブジェクトに入射した環境光に対する反射光の強度）、Ｉ_ＳｒはＩの鏡面反射成分（鏡面反射光の強度）であり、Ｒは反射ベクトルである。また、Ｉ_Ｄｉはオブジェクトにおいて拡散反射に寄与する光源からの入射光の強度、Ｉ_Ａｉはオブジェクトに入射する環境光の強度である。また、Ｉ_Ｓｉはオブジェクトにおいて鏡面反射に寄与する光源からの入射光の強度であり、Ｎ，Ｌ，Ｅはそれぞれ法線ベクトル、光源ベクトル、視線ベクトルである。尚、ブリン‐フォンの鏡面反射モデルなど、他の反射モデルのパラメータを反射特性情報としてもよい。取得されたオブジェクトデータは、算出部２０３および生成部２０４へ送られる。

第２取得部２０２は、オブジェクトのレンダリングに用いる視点情報と光源情報とからなるレンダリングパラメータを、入力Ｉ／Ｆ１０６を介したユーザ指示により取得する。尚、予めＨＤＤ１０４等の記憶装置に記憶しておいたものを取得してもよい。視点情報は、視点の位置、視点からの視線方向、視点から見る範囲（画角）である。光源情報は、光源の位置、光源から光が向かう方向（光線方向）、光源が発する光の強度である。取得されたレンダリングパラメータは、算出部２０３および生成部２０４へ送られる。

算出部２０３は、オブジェクトデータとレンダリングパラメータとに基づいて、オブジェクト表面の形状の特徴を表す形状特徴量を算出する。詳細は後述する。算出された形状特徴量は、生成部２０４へ送られる。

生成部２０４は、特徴画像生成部２０５、ベース画像生成部２０６、合成部２０７を有する。生成部２０４は、形状特徴量に応じて光沢が強調されたオブジェクトを表す出力画像を生成し出力する。オブジェクトの質感を与える要因の一つとして、反射面の法線方向の空間的な分布に基づく反射強度の変動がある。本実施形態では、広く一般に用いられている反射モデルであるフォンの鏡面反射モデルを仮定し、法線方向の変化が強度に大きく寄与する鏡面反射成分（光沢）を強調することにより、オブジェクトの質感を強調した出力画像を生成する。また、近傍メッシュ間での反射面に対する光の入射方向と視線方向とのなす角の変化が緩やかな凹凸のある曲面部よりも平坦な平面部では、反射光の強度の変動幅が小さくなり質感がわかりにくくなる。そこで本実施形態、オブジェクトの形状が平面に近いほど光沢の強調度合いを高くする。図９に反射の例を示す。図９（ａ）のオブジェクト９０１は表面に微細凹凸を持つ平板状のオブジェクトを表している。また、図９（ｂ）のオブジェクト９１１は表面に微細凹凸を持つ湾曲したオブジェクトを表している。光源９０２からオブジェクトに対して照射すると光線９０３それぞれがオブジェクト９０１上の点で反射する。反射した光線９０５は、視点９０４に入射する。一点鎖線９０６は、オブジェクト９０１上の微細凹凸を含んだ小領域に対して、光源方向からの光線９０３から光が入射した際の鏡面反射を模式的に表している。通常、鏡面反射とは光の入射角と反射角が反射面に対して同一となる一方向への反射を指す。ただしオブジェクト表面の微細凹凸を含む小領域を考えると、小領域における鏡面反射は、微細凹凸の法線に応じた様々な方向へ生じて見える。すなわち、鏡面反射方向が広がりを持つように見え、この広がり方が質感となって現れる。一般的なメタリック素材では、小領域の近似平面を反射面とした際の鏡面反射方向へ向かう反射光が、最も強くなる。そのため、近似平面の鏡面反射方向と視線方向とが異なる場合、観察される鏡面反射光は相対的に弱くなる。図９（ａ）の曲線９０８は、オブジェクト９０１上の各点から視線方向へ向かう鏡面反射成分の強さを模式的に表している。図９（ａ）の例では、オブジェクト９０１上に近似平面の鏡面反射方向と視線方向とが一致する反射点が存在しないため、視点位置において観察される反射光の最大強度が小さくなる。これに対して、図９（ｂ）の曲線９１８は、湾曲したオブジェクト９１１上の各点から視線方向へ向かう鏡面反射成分の強さを表している。一般に、ある面の鏡面反射光が得られる視点および光源の位置条件は、その面の法線方向に基づく狭い範囲に限定される。そのため、法線方向が様々な方向を向く湾曲したオブジェクトよりも、法線方向が一定方向を向く平面に近いオブジェクトの方が強い鏡面反射を得にくく、質感が分かりにくくなる。

以下、生成部２０４を構成する各部について説明する。尚、各部における処理の詳細は後述する。

特徴画像生成部２０５は、光源からの入射光のオブジェクトにおける鏡面反射成分を求め、これに形状特徴量に応じた強調処理を施して特徴画像データを生成する。生成した特徴画像データは、合成部２０７へ送られる。

ベース画像生成部２０６は、光源からの入射光のオブジェクトにおける拡散反射成分と環境光のオブジェクトにおける反射光の強度とを求めてベース画像データを生成する。生成したベース画像データは、合成部２０７へ送られる。

合成部２０７は、特徴画像データとベース画像データとを合成して出力画像データを生成する。

＜画像処理装置１００が実行する処理＞
図３は、画像処理装置１００における一連の処理の動作手順を示すフローチャートである。この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ１０２あるいはＨＤＤ１０４からＲＡＭ１０３上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって実現される。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、第１取得部２０１は、オブジェクトデータを取得する。第２取得部２０２は、レンダリングパラメータを取得する。Ｓ３０２において、算出部２０３は、Ｓ３０１で取得したオブジェクトデータとレンダリングパラメータに基づいて形状特徴量を算出する。本実施形態では、オブジェクト表面の法線に基づきオブジェクトの概形を構成する面を求め、その各面内における法線方向のばらつき度合い（分散）を形状特徴量として算出する。ここで、オブジェクトの概形を構成する面とは、オブジェクトを大局的に見た場合（すなわち、表面の微細凹凸を無視して見た場合）に法線ベクトルが類似しているひとつながりの隣接したメッシュの集合である。以下に、形状特徴量を算出する処理の詳細を示す。

まず、オブジェクトデータとレンダリングパラメータとに基づき、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その法線ベクトルを画素値として記録した法線画像を生成する。本実施形態では、一般的な投影変換式である式（６）を用いて３次元空間中におけるメッシュの頂点座標（ｘ，ｙ，ｚ）を２次元画像上での画素位置（ｉ，ｊ）に変換する。この頂点に対応する法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を画素（ｉ，ｊ）の画素値Ｎ（ｉ，ｊ）として記録する。

ここで、Ｍ_ｓ，Ｍ_ｐ，Ｍ_ｖはそれぞれレンダリングパラメータから定まるスクリーン変換行列、射影変換行列、ビュー変換行列である。メッシュ内部に相当する画素については、メッシュを構成する各頂点に対応する法線ベクトルから補間した値を格納する。以上で説明した法線画像（各画素に画素値Ｎ（ｉ，ｊ）が記録された２次元画像）の生成には、コンピュータグラフィックスにおける公知のレンダリング処理を利用可能であるため、詳細な説明を省略する。

次に、生成した法線画像に平滑化処理を施すことによって微細凹凸による法線の変動を除去した平滑化法線画像を生成し、この平滑化法線画像に対して領域分割を行う。平滑化には公知のガウシアンフィルタを用いる。平滑化法線画像の画素値をＮ’（ｉ，ｊ）とする。尚、平滑化には移動平均フィルタやメディアンフィルタ等を用いても良い。また、領域分割には公知の領域成長法を用いる。尚、ヒストグラムに基づく閾値処理など、他の公知の手法を用いても良い。領域分割によって得られる各領域は、その内部において法線ベクトルがおおよそ類似した方向を向く領域となるので、オブジェクトの概形を構成する面とみなすことができる。

次に、平滑化法線画像の各画素（ｉ，ｊ）について、式（７）及び式（８）に従い形状特徴量Ｆ（ｉ，ｊ）を算出する。

ここで、Ｒ_ｋは領域分割により得られた領域のうち画素（ｉ，ｊ）が含まれる領域であり、ｎｕｍ（Ｒ_ｋ）は領域Ｒ_ｋ内の画素数である。また、θ（ｉ，ｊ）は平滑化後の法線ベクトルＮ’（ｉ，ｊ）と、予め定めた基準ベクトルＮ_０（例えば（１，０，０））とのなす角を表わす。式（７）の形状特徴量Ｆ（ｉ，ｊ）は、画素（ｉ，ｊ）が含まれる領域Ｒ_ｋ内における平滑化後の法線ベクトルＮ’（ｉ，ｊ）の向きの分散に相当し、画素（ｉ，ｊ）が属する領域に対応するオブジェクトの表面が平面に近いほどその値がゼロに近づく。図５（ａ）に示すオブジェクトについて領域分割した法線画像を図５（ｂ）に示し、形状特徴量を明度として表した図を図５（ｃ）に示す。この図の例では、表面が平らである直方体５０１では形状特徴量が小さく、表面が曲面である球体５０２では形状特徴量が大きくなる。以上の処理により法線画像の各画素について形状特徴量Ｆ（ｉ，ｊ）を算出することができる。

Ｓ３０３において、生成部２０４は、Ｓ３０１で取得したオブジェクトデータ及びレンダリングパラメータと、Ｓ３０２で算出した形状特徴量とを用いて出力画像を生成する。本実施形態では、反射光の鏡面反射成分をオブジェクトの質感における特徴的な反射成分とみなし、オブジェクトの形状が平面に近い部分ほど鏡面反射成分を強調した出力画像を生成する。図４は出力画像を生成する処理（Ｓ３０３）の詳細を示すフローチャートである。

Ｓ４０１において、特徴画像生成部２０５は、式（４）及び式（５）に平滑化前の法線ベクトルＮ（ｉ，ｊ）を与えることによって、法線画像の各画素（ｉ，ｊ）に対応する鏡面反射成分Ｉ_Ｓｒ（ｉ，ｊ）を算出する。さらに、Ｓ３０２で算出した形状特徴量Ｆ（ｉ，ｊ）を用いて、法線画像の各画素（ｉ，ｊ）に対応する鏡面反射成分を式（９）〜（１１）に従い強調する。
Ｉ’_Ｓｒ（ｉ，ｊ）＝Ｉ_Ｓｒ（ｉ，ｊ）×Ｆ_{Ｅｍｐｈａｓｉｚｅ}（ｉ，ｊ）・・・式（９）
Ｆ_{Ｅｍｐｈａｓｉｚｅ}（ｉ，ｊ）＝α×Ｆ_Ｆｌａｔ（ｉ，ｊ）＋１・・・式（１０）
Ｆ_Ｆｌａｔ（ｉ，ｊ）＝１／（１＋Ｆ（ｉ，ｊ））・・・式（１１）

ここで、式（１０）のＦ_{Ｅｍｐｈａｓｉｚｅ}（ｉ，ｊ）は画素（ｉ，ｊ）に対する強調度合いでああり、式（１１）のＦ_Ｆｌａｔ（ｉ，ｊ）は画素（ｉ，ｊ）における平面度合いである。また、α（＞０）は強調度合いの高さの上限を規定するパラメータであり、入力Ｉ／Ｆ１０６を介したユーザ指示により取得してもよいし、予め定めた定数を用いてもよい。式（９）により得られた鏡面反射成分Ｉ’_Ｓｒ（ｉ，ｊ）は、形状特徴量が小さい（表面形状が平面に近い）ほど元の鏡面反射成分Ｉ_Ｓｒ（ｉ，ｊ）よりも大きくなる。また、式（９）では平滑化前の法線ベクトルＮを用いて算出した鏡面反射成分に強調度合いを乗算するため、法線方向の空間的な分布に基づく反射強度の変動ごと強調される。図６（ａ）、（ｂ）に、それぞれ強調前の鏡面反射成分と強調後の鏡面反射成分の例を示す。直方体５０１の鏡面反射成分は、球体５０２よりもより強く強調される。得られた強調後の鏡面反射成分Ｉ’_Ｓｒ（ｉ，ｊ）は、特徴画像の画素値として各画素に記録され、合成部２０７へ送られる。本実施形態では、Ｓ３０２において領域ごとに形状特徴量を算出することにより、少数の鋭いエッジを持ち、大部分が平面であるようなオブジェクト（例えば、階段状のオブジェクト）の平面部分について、エッジ部分の法線方向の変化に依らず、強調度合いを高めることができる。尚、Ｓ３０２で分割した領域間において強調度合いが急激に変化することにより不自然な画像とならないよう、近傍領域間において形状特徴量Ｆ（ｉ，ｊ）あるいは平面度合い又は強調度合いを平滑化してから鏡面反射成分を強調してもよい。平滑化処理については、上記と同様に、公知のフィルタ処理を用いる。

Ｓ４０２において、ベース画像生成部２０６は、式（２）によってＩ_Ｄｒを算出し、式（３）によってＩ_Ａｒを算出する。式（２）のＮには、平滑化前の法線ベクトルＮ（ｉ，ｊ）を用いる。さらに、Ｓ４０１で生成した特徴画像の各画素（ｉ，ｊ）に対応する鏡面反射成分以外の反射成分Ｉ_ＤＡｒ（ｉ，ｊ）を式（１２）に従い算出する。鏡面反射成分以外の反射成分は、拡散反射成分の強度と環境光成分の強度との和である。
Ｉ_ＤＡｒ（ｉ，ｊ）＝Ｉ_Ｄｒ（ｉ，ｊ）＋Ｉ_Ａｒ（ｉ，ｊ）・・・式（１２）

図７に、鏡面反射成分以外の反射成分の例を示す。得られた鏡面反光成分以外の反射成分Ｉ_ＤＡｒ（ｉ，ｊ）は、ベース画像の画素値として各画素に記録され、合成部２０７へ送られる。

Ｓ４０３において、合成部２０７は、Ｓ４０１で生成した特徴画像とＳ４０２で生成したベース画像とを式（１３）に従い合成し、これを出力画像とする。
Ｉ′（ｉ，ｊ）＝Ｉ′_Ｓｒ（ｉ，ｊ）＋Ｉ_ＤＡｒ（ｉ，ｊ）・・・式（１３）

図８（ａ）に、Ｓ４０１における強調処理を行わずにレンダリングした画像の例を示す。また、図８（ｂ）に、本実施形態における出力画像の例を示す。図８（ｂ）の出力画像では、図８（ａ）のレンダリング画像に比べ、平坦な面で構成される直方体５０１の光沢が強調されており、よりオブジェクトの質感が強調して表現された画像となる。出力画像の生成処理によって得られた出力画像を表す出力画像データは、出力Ｉ／Ｆ１０７を介して出力デバイス１１０へ出力される。あるいは、ＨＤＤ１０４等の記憶装置に記録される。

以上で説明した本実施形態によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができ、これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。

＜変形例＞
尚、Ｓ３０２において、法線画像を分割した領域ごとに形状特徴量を算出したが、法線画像全体から（領域分割せずに）１つの形状特徴量を求めてもよい。また、法線画像を生成せずに、オブジェクト表面の法線ベクトルから直接そのばらつき（分散）を求めて形状特徴量としてもよい。また、法線ベクトルのばらつき以外にも、オブジェクト表面の曲率を形状特徴量としてもよい。

また、Ｓ４０１の特徴画像の生成において、式（９）を用いて鏡面反射成分を強調する例を説明したが、形状特徴量に応じてガンマ曲線やＳ字曲線を設定し、これに基づくトーンカーブ補正を用いて鏡面反射成分を強調しても良い。

［実施形態２］
オブジェクト表面の法線方向は、面の向きによって定まる。また、拡散反射光や鏡面反射光の強度は、一般に式（２）や式（４）のような法線方向の関数でモデル化される。そのため、オブジェクトの表面形状の特徴は反射光にも現れる。例えば、オブジェクトの形状が平面であった場合、その法線方向は場所に依らず一定となり、面が様々な方向を向く複雑な形状の場合と比べて反射光の強度のばらつきが小さくなる。そこで、本実施形態では反射光の強度のばらつき度合いを形状特徴量として用いる。実施形態１と本実施形態とは、先述したＳ３０２における形状特徴量の算出方法が異なる。以下、実施形態１と異なる点を中心に簡潔に説明する。

まず、Ｓ３０１において取得したオブジェクトデータとレンダリングパラメータとに基づき、通常のレンダリングを行って基準画像を生成する。すなわち、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その反射光の強度Ｉを式（１）に従い算出し、基準画像の画素値として記録する。

次に、Ｓ３０２において、基準画像の画素値Ｉ（ｉ，ｊ）を用いて反射光の強度のばらつき度合いを算出し、これを形状特徴量とする。本実施形態では、式（１４）に示すＩ（ｉ，ｊ）の標準偏差σをばらつき度合いとして用いる。

ここで、Ｉｍｇは基準画像全体を表しており、ｎｕｍ（Ｉｍｇ）は基準画像の画素数である。

最後にＳ３０３において、形状特徴量σに基づいて光沢の強調度合いを算出し、この度合いに従って光沢を強調した出力画像を生成する。具体的には、実施形態１における形状特徴量Ｆ（ｉ，ｊ）を本実施形態における形状特徴量σに置き換え、実施形態１と同様の処理を適用すればよい。このとき、式（１０）により得られる強調度合いは、反射光を表す基準画像の画素値の変動が小さい場合に大きな値となる。

以上で説明した実施形態２によれば、オブジェクトの反射光の強度に基づいて当該オブジェクトの形状を考慮し、当該オブジェクトの光沢を強調することができる。これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。

なお、レンダリングの画角内に複数のオブジェクトが含まれる場合には、オブジェクトごとに対応する画像領域を抽出し、領域ごとに形状特徴量を算出してもよい。その場合、オブジェクトごとに異なる度合いで光沢を強調することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００画像処理装置
２０１第１取得部
２０２第２取得部
２０３算出部
２０４生成部

Claims

オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第１取得手段と、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第２取得手段と、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、
前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、
を有することを特徴とする画像処理装置。
前記形状の平面度合いが高い場合とは、前記オブジェクト表面の法線の分散が小さい場合であることを特徴とする請求項１に記載の画像処理装置。
前記形状の平面度合いが高い場合とは、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて得られる、前記オブジェクトの光の反射強度の分散が小さい場合であることを特徴とする請求項１に記載の画像処理装置。
前記視点情報は、前記視点の位置及び、前記視点からの視線方向及び、前記視点から見る範囲であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
前記光源情報は、前記光源の位置及び、前記光源からの光が向かう方向及び、前記光源が発する光の強度であることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
前記強調手段は、前記形状の平面度合いと比例の関係にある前記光の反射強度を強調するための前記強調度合いに基づいて、前記オブジェクトの光の反射強度を強調することを特徴とする請求項１乃至請求５のいずれか一項に記載の画像処理装置。
前記強調手段は、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
前記オブジェクトの近傍の領域間で前記強調度合いを平滑化する平滑化手段をさらに有し、
前記強調手段は、前記平滑化手段によって平滑化された前記強調度合いに基づいて、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項７に記載の画像処理装置。
前記強調手段は、前記形状の平面度合いに応じて設定されたガンマ曲線又はＳ字曲線に基づいたトーンカーブ補正によって、前記オブジェクトの光の反射強度を強調することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
コンピュータを、請求項１乃至請求項９のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第１取得ステップと、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第２取得ステップと、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調ステップと、
前記強調ステップによって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力ステップと、
を有することを特徴とする画像処理方法。