JP7762060B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ＣＧ技術や撮像技術、計算機性能の向上によって、物体（対象物）の質感を情報端末上で表現することが可能になりつつある。特にインターネットショッピングにおいて商品の訴求力を高めるべく屋内外の様々な周囲環境における商品の質感を確認する要求が高まっている。

特許文献１に記載される方法では、視線方向をコンテンツ作成者が予め手動で設定し、ユーザに提示する。光沢感、色をはじめとする商品の質感が現れやすい視線方向をユーザに提示することで、ユーザは視線方向を様々に変化させて観察する労力をかけることなく、効果的に商品の質感を確認できる。

特開平１１－２６５４６２号公報

しかしながら、特許文献１に記載の技術では、対象物の質感の観察に適した視線方向をコンテンツ作成者が手動で指定する必要がある。一般に周囲環境が変化すると質感の観察に適した視線方向も変わる。そのため、周囲環境が変化したような場合に、質感の観察に適した視線方向をユーザに提示することが難しいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、対象物の質感の観察に適した視線方向を把握するための技術を提供することを目的とする。

上記の目的を達成する本発明の一態様による情報処理装置は、
対象物の質感を示す質感情報を取得する質感情報取得手段と、
前記対象物を照明するための照明情報を取得する照明情報取得手段と、
前記質感情報と前記照明情報とに基づいて、前記対象物の質感を観察するための観察視線方向を算出する視線方向算出手段と、
前記観察視線方向を示す情報を描画する描画手段と、
を備えることを特徴とする。

本発明によれば、対象物の質感の観察に適した視線方向を容易に把握することができる。従って、ユーザは、視線方向を様々に変化させて観察する労力をかけることなく、効果的に物体の質感を確認することができる。

色・光沢感を説明する概念図 凹凸感を説明する概念図 実施形態１、２、３における情報処理装置のハードウェア外観例を示す図 実施形態１、２、３における情報処理装置のハードウェア構成例を示す図 実施形態１、２における情報処理装置の機能構成例を示す図 実施形態１、２におけるメイン処理フロー 環境マップの説明図 実施形態１におけるＳ５０３の詳細処理フロー 被反射領域算出の説明図 実施形態１におけるＳ５０７の詳細処理フロー 実施形態１、２におけるユーザインターフェイスの例 実施形態２におけるＳ５０３の詳細処理フロー 実施形態２におけるＳ１１０９の補足図 実施形態３の使用例の補足図 実施形態３における情報処理装置のシステム構成例を示す図 実施形態３におけるメイン処理フロー 実施形態３におけるユーザインターフェイスの例を示す図 実施形態３におけるＳ１６１２の詳細処理フロー

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
本実施形態では、周囲の環境（照明環境）から、表示画面上に表示した物体（対象物）の質感の観察に適した視線方向を算出して提示する例を説明する。対象物があたかもその位置にあるかのように、現在の照明環境で質感を確認したりすることを可能とする。例えば、インターネットショッピングで布地の商品を閲覧している場合に、その布地の商品画像をタブレット情報端末などに表示させることがある。その際に、ユーザが存在する部屋などにおける照明環境でその商品がどのように見えるかを表現しつつ、表示画面に対してどの方向から見ると質感を観察しやすいかを把握できるようにする。

本実施形態の説明の前に、質感を構成する要素の例と、その観察に適した視線方向について説明する。

＜質感の要素の説明＞
物体（素材、対象物）の質感の要素として、例えば色、光沢感、凹凸感がある。色は素材の拡散反射成分から知覚することができ、光沢感は素材の鏡面反射成分から知覚することができる。

図１は、拡散反射と鏡面反射について説明する図である。素材表面１０１に入射する光１０２は、観察する角度に依存する強度分布１０３に従って反射する。反射光強度分布１０３は素材内部での乱反射によって生じる拡散反射成分１０４と、素材表面での反射によって生じる鏡面反射成分１０５の和として表すことができる。鏡面反射成分１０５は、入射角と反射角が等しくなる角度領域にピークを持つ。そのため、入射光１０２の正反射方向となる視線方向位置１０６は、鏡面反射成分１０５の割合が他の視線方向と比較して大きく観察されることから素材の光沢感の観察に適する。同様に入射光１０２の正反射方向から離れた視線方向位置１０７では、鏡面反射成分と比較して拡散反射成分が主に観察されることから素材の色の観察に適する。

そして、凹凸感は、素材表面の微細な凹凸に応じた拡散反射と鏡面反射の見えの変化から知覚することができる。図２（ａ）は微細な凹凸がある素材表面を表す図である。素材表面１０１に微細な凹凸があり、法線方向１０８が場所によって変化している。拡散反射強度と比較して鏡面反射強度が強く、正反射方向近傍での反射光強度変化が大きい素材の場合、素材表面の微細な法線変化は鏡面反射成分の変化として知覚することができる。その場合、小さい光源の正反射方向から観察すると凹凸感が効果的に観察できることを以下で説明する。

図２（ｂ）、図２（ｃ）は、素材表面で法線方向Ｎが異なる２つの面での正反射を表す図である。素材表面２０５で法線方向が違う２つの面での正反射光が視線方向位置２０４で観察される際の２つの光線２０２、光線２０３において、光源２００が照明する場合、光線２０２は光源の存在しない領域を始点としているため視線方向２０４では観察されない。そのため、二つの面の法線の違いは正反射光が存在する、しないことによる輝度差として知覚される。一方で、光源２００よりも大きな光源２０１が照明する場合には、光線２０２、光線２０３は両方とも観察されるため、二つの面の法線の違いは正反射光によって識別することが困難である。よって、鏡面反射強度が強い素材の場合、小さい光源の正反射方向から観察することで凹凸感が効果的に観察できる。

他に、端が鮮明な光源の正反射方向から観察することによって凹凸感が効果的に観察できる。端が鮮明な光源とは、例えば蛍光灯、スポットライトなどの光源であり、端が鮮明でない光源とは、例えばカーテンのかかった窓からの外光などの光源である。図２（ｄ）は、端が鮮明な光源の正反射方向、端が鮮明でない光源の正反射方向のそれぞれから素材を観察したイメージを示している。端が鮮明な光源の正反射方向から観察した画像２０６において、光源の正反射像の端のゆらぎは素材表面の微細な法線変化を反映しているため、素材の凹凸感が視認できる。一方で、端が鮮明でない光源の正反射方向から観察した画像２０７においては、光源の正反射像の端で輝度差が少ないことにより反射像から表面の凹凸感が視認しづらい。

また、拡散反射強度と比較して鏡面反射強度が弱く、正反射光近傍での反射光強度変化が小さい素材の場合、素材表面の微細な法線変化は拡散反射強度の変化として知覚することができる。その場合、光線に垂直な方向から観察することによって凹凸感が効果的に観察できることを以下で説明する。

図２（ｅ）は、光源から凹凸のある素材表面に光が入射して拡散反射する様子を説明する図である。図２（ｅ）では、光源２０１から素材の光源方向に水平な法線を持つ面に入射する光線２０８と、光源方向となす角がθとなる法線を持つ面に入射する光線２０９を示している。それぞれの拡散反射強度をＩｎ、Ｉθとすると、この二つの強度の関係は近似的に次式のランベルトの余弦則で表される。

式１をθで微分すると次式のようになる。

拡散反射強度が最も変化するθの領域はθが９０度付近である。図２（ｆ）は、素材の法線方向の分布を表している。素材表面の法線は平均法線方向Ｎaveを中心に分布２１０を持つ。分布２１０のうち入射光線と法線ベクトルのなす角が９０度付近の領域２１１の面が最も輝度変化が大きい。

この入射光線と法線ベクトルのなす角が９０度付近の面を観察するために、光源と垂直な方向から観察する。図２（ｇ）は、法線と入射光線とのなす角が０度、５度、８５度、９０度の面を、入射光線と水平な視線方向、入射光源と垂直な視線方向の２方向から見た際の面の見えを示す図である。入射光線と水平な視線方向からの見え２１２では、法線と入射光線のなす角が小さい面が大きく見える。一方で、入射光線と垂直な視線方向からの見え２１３では法線と入射光線のなす角が９０度に近い面が大きく見える。さらに、法線と入射光線のなす角が９０度付近では法線の変化で拡散反射強度が大きく変化するため、素材表面の微細な法線変化が輝度変化として観察することができる。よって、鏡面反射強度が弱い場合は光線に垂直な方向から観察することによって凹凸感が効果的に観察できる。

本実施形態では、情報処理装置としてタブレット型情報端末を用い、前に述べた質感の要素のうち、色と光沢感の観察に適した視線方向を算出して提示する。位置姿勢を固定したタブレット型情報端末のディスプレイ上に、対象物として質感情報をマッピングした平面モデルを表示し、ユーザの視線の変化に応じて対象物の見えを動的に変化させ質感を観察するアプリケーションを想定する。

＜適用場面＞
本実施形態に係るタブレット型情報端末を用いた適用場面の一例を説明する。例えば、インターネットショッピングなどで、ウェブ上に展示されている商品を閲覧、確認する際に、その商品の質感を確認したいような状況が想定される。商品の一例として布地を閲覧しているような場合、その布地の商品をユーザが選択したことに応じて、そのウェブ上に予め格納されているその布地の質感情報をタブレット型情報端末が取得する。

次に、現在ユーザがいる部屋などの照明環境下でその布地がどのように観察されるかを把握するために、ユーザの部屋の照明情報を取得する。照明情報は、ユーザがタブレット型情報端末を、例えば部屋の中心位置で所持して回転しながら部屋全体を撮影することによって取得することが考えられる。あるいは、部屋の中心位置に配置した全方位カメラなどを用いて照明情報を取得するように構成してもよい。

そして、ユーザが部屋の中でタブレット型情報端末に布地の画像を表示させた際に、そのタブレット型情報端末の位置姿勢とユーザの視線方向とに応じて、布地の見えを変化させる。タブレット型情報端末に布地の画像を表示させた場合、タブレット型情報端末の位置に布地を保持しているかのような状況となり、そのときの布地の見えが表示されることになる。このときに、質感の観察に適した観察方向を表示させることによって、現在のユーザの視線方向が、質感の観察に適した観察方向からずれていることを容易に把握することができる。よって、ユーザはタブレット型情報端末の保持位置を固定したまま（すなわち、タブレット型情報端末の空間的な位置姿勢を動かさないまま）、ユーザの視線方向を、質感の観察に適した観察方向に近づくように変化させることが容易となる。例えば、当初はタブレット型情報端末の画面に正対して、正面から布地を観察していたときに、やや右斜め方向から観察すると質感の観察に適した観察方向となることを把握できる。ユーザが頭の位置を右にずらして斜め方向にタブレット型情報端末の画面を見るように視線方向を変化させることで、布地画像の見えが変化し、より質感を観察しやすくすることができる。

＜ハードウェア構成＞
図３は、本実施形態で説明する情報処理装置の外観図である。１は情報処理装置本体である。情報処理装置１は、液晶や有機ＥＬ等のパネルで構成されるタッチパネル機能を備えたディスプレイ３０４、ディスプレイ３０４と同じ面に存在するカメラ３０８を備える。カメラ３０８は、例えばＣＭＯＳセンサによって１２８０×７２０ピクセルの２次元８ビットＲＧＢ画像を取得する。

図４は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、前述したディスプレイ３０４、カメラ３０８に加え、ＣＰＵ（中央演算処理装置）３０１、ＲＯＭ（リードオンリーメモリ）３０２、ＲＡＭ（ランダムアクセスメモリ）３０３、ＨＤＤ（ハードディスクドライブ）３０５を備える。また、加速度センサ３０６、方位センサ３０７、ＮＩＣ（ネットワークインターフェイスカード）３０９を備える。

ＣＰＵ３０１は、ＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２、ＨＤＤ３０５などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。ＣＰＵ３０１は、システムバス３１０を介して各構成要素を制御する。ＮＩＣ３０９は、インターネットに接続し、外部装置との間で情報の入力および出力を行う。ＣＰＵ３０１は、ＨＤＤ３０５やＲＯＭ３０２、インターネット上の記録メディアをデータ格納領域として使用する。また、ＣＰＵ３０１は、プログラムによって提供されるＵＩ（ユーザインターフェイス）をディスプレイ３０４に表示し、ディスプレイ３０４のタッチパネルを介してユーザからの入力を受け付ける。加速度センサ３０６は、例えば静電容量方式等により図３に示した座標軸のｘ、ｙ、ｚの３軸方向の加速度を出力する。この加速度は、ディスプレイ３０４が真上（空）を向いている場合、重力加速度をｇとすると（０，０，ｇ）を出力する。方位センサ３０７は、地磁気を計測するセンサであり、図２に示したｘ、ｙ、ｚ座標系において北の方向を示す３次元ベクトルを出力する。

＜機能構成＞
図５は、本実施形態の情報処理装置の機能構成を示す構成図である。ＯＳ３はオペレーティングシステムであり、入出力の制御及びアプリケーションの起動や切り替えを行う命令群である。デバイスドライバ４０８はＯＳ３に含まれる命令群であり、情報処理装置１に内蔵されるディスプレイ３０４、カメラ３０８、及び各種センサを制御する。各種アプリケーションはＯＳ３に所定の命令を送ることにより、これらの機器を制御することができる。

質感表示アプリケーション２は、ＨＤＤ３０５やインターネット上の記録メディアから情報を読み込み、ディスプレイ３０４に表示する命令群である。質感表示アプリケーション２は、質感情報取得部４０１、照明情報取得部４０２、ユーザ視線方向取得部４０３、質感観察視線方向算出部４０４、対象物画像描画部４０５、質感観察視線方向描画部４０６、出力画像合成部４０７を含む。

質感情報取得部４０１は、対象物の質感情報として、拡散反射強度、鏡面反射強度、光沢度、法線マップを取得する。照明情報取得部４０２は、照明情報として環境マップを取得する。環境マップの詳細については後述する。ユーザ視線方向取得部４０３は、カメラ３０８で取得したＲＧＢ画像から情報処理装置１に対するユーザの眼の位置を推定し、ディスプレイ３０４に表示された対象物を見る際の視線方向を取得する。質感観察視線方向算出部４０４は、環境マップから対象物の質感が視認しやすい視線方向を算出する。対象物画像描画部４０５は、質感情報と、環境マップと、ユーザ視線方向とから、対象物が環境マップによって照明された際のユーザ視線方向からの見えを表す画像Ｉ１を描画する。質感観察視線方向描画部４０６は、ユーザ視線方向と質感観察視線方向を示す画像Ｉ２を描画する。出力画像合成部４０７は、画像Ｉ１と画像Ｉ２とを合成し、ディスプレイ３０４に表示する画像を生成する。

＜処理＞
図６は、質感表示アプリケーション２で実行される処理を示すフロー図である。以下、図６を用いて、質感表示アプリケーション２で実行される処理の詳細を説明する。以下、各工程は符号の前にＳを付けて表す。

Ｓ５０１において、質感情報取得部４０１は、ユーザからの指示に基づいて、質感情報として拡散反射強度ρｄ（ｘ、ｙ、ｉ）、鏡面反射強度ρｓ（ｘ，ｙ，ｉ）、光沢度σ（ｘ，ｙ，ｉ）、法線Ｎ（ｘ、ｙ、ｋ）をデータ格納領域から取得する。ここで、データ格納領域とは、例えば、ユーザがアクセスしたインターネットショッピングのＷｅｂサイトで閲覧した商品ついて、そのＷｅｂサイト上に予め格納されている情報である。ここでｘ、ｙは対象物上の位置座標を示している。ｉはＲ，Ｇ，Ｂ色信号のいずれであるかを示している。ｋは法線方向のｘ成分、ｙ成分、ｚ成分のいずれであるかを示している。本実施形態での拡散反射強度、鏡面反射強度、光沢度は、位置座標毎かつ色信号毎に８ビットの情報を持つ配列である。法線方向は位置座標毎かつ成分毎に８ビットの情報を持つ配列であり、各成分の－１から１の範囲を０から２５５の値に対応付けている。なお、本実施形態での質感情報の形式は一例であり、例えば鏡面反射強度を３２ビットの浮動小数点の情報として保持してもよい。

Ｓ５０２において、照明情報取得部４０２は、ユーザからの指示に基づいて、照明情報として環境マップＥ（θａ、φａ、ｉ）をデータ格納領域から取得する。その後、情報処理装置１の姿勢に基づき現実世界と座標系が整合するように環境マップＥ（θａ、φａ、ｉ）を回転させる。

ここで、環境マップの詳細について、環境マップＥ（θａ、φａ、ｉ）の作成方法を表す図７（ａ）と、作成された環境マップＥの例を表す図７（ｂ）とを用いて説明する。環境マップＥは任意の点Ｏ（例えば部屋の床面の中央位置や、情報処理装置１を操作することが予定されるような位置）に設置された全方位カメラ６０１によって取得することができる。具体的には、任意の点Ｏから視線方向（θａ、φａ）に対して光の強度を測定し、視線方向（θａ、φａ）毎、色信号ｉ毎に測定した光の強度を格納することで環境マップＥを作成する。環境マップＥは光の強度を表した画像であり、全方位画像のようなものとなる。

ここで、全方位カメラ６０１の撮像面の位置Ｏを原点とし、θａ、φａは撮像面の法線方向Ｎに対する極角、方位角をそれぞれ表す。本実施形態では、真上（空）をθａ＝０、北方向をφａ＝０となる環境マップＥ（θａ、φａ、ｉ）を取得し、環境マップＥは角度毎、色信号毎に8ビットの強度情報を格納する。ピクセル数は１９２０×１０８０とする。

また、全方位カメラ６０１を用いるのではなく、任意の点Ｏにユーザが情報処理装置１を保持し、その位置で３６０°回転しながら周囲を撮影することにより、その位置での環境マップＥを取得するように構成してもよい。

なお、本実施形態での照明情報の形式は一例であり、例えば環境マップの信号強度を３２ビットの浮動小数点の情報として保持してもよく、極角と方位角の原点を前述のように決定しなくてもよい。

次に、情報処理装置１の方位センサ３０７を介して北の方向を表す３次元ベクトルｄを、加速度センサ３０６を介して情報処理装置１の加速度を表す３次元ベクトルａをそれぞれ取得する。２つのベクトルｄ、ベクトルａに基づき、ｘ軸が東、ｙ軸が北、ｚ軸が真上（空）を指す基準座標系から、図３に示された、情報処理装置１に固定された座標系への変換を表すロール、ピッチ、ヨー方向における３つの回転角（ｒ、ｐ、ｙ）を算出する。この算出方法については公知であるため説明を省略する。回転角（ｒ、ｐ、ｙ）に基づき、環境マップＥ（θａ、φａ、ｉ）の真上（空）方向、北方向が現実空間での真上（空）方向、北方向と一致するように環境マップＥ（θａ、φａ、ｉ）を回転させ、現実空間と座標系を整合させる。その結果、特に観察を行う周囲照明環境を反映した環境マップを利用する際に現実空間との光学的整合性を保つことができる。

Ｓ５０３において、質感観察視線方向算出部４０４は、色と光沢感の観察に適した視線方向を照明情報から算出する。ここで、図８はＳ５０３の詳細を表すフロー図である。以下図８を用いて説明する。

Ｓ７０１において、ユーザ視線方向取得部４０３は、まずカメラ３０８を介してユーザの顔を含むＲＧＢ画像を取得する。そしてＲＧＢ画像に基づき、ユーザの眼の位置からディスプレイ３０４の中心に表示された対象物を臨む視線方向（Ｒ、Θ、Φ）を推定する。ここで、視線方向（Ｒ、Θ、Φ）は、ディスプレイ３０４の法線方向の極角をΘ、方位角をΦ、原点をディスプレイ３０４の中心点とした３次元極座標系で表す。公知であるＲＧＢ単眼画像を用いた深度推定技術によって推定したユーザの眼のカメラ３０８からの距離と、画像中のユーザの眼の２次元位置とから、カメラ３０８から眼の位置に向かうベクトル（ｘｒ、ｙｒ、ｚｒ）を得る。カメラ３０８からディスプレイ３０４の中心点に向かうベクトル（Ｘ，Ｙ，０）を用いて、ディスプレイ３０４に表示された対象物を見る際の視線方向（Ｒ、Θ、Φ）を次式で求める。

以降のＳ７０２からＳ７０７まで、観察方向を走査しながら処理を行い、走査する観察方向が無くなったとき、Ｓ７０７によって繰り返しを終了する。

走査する観察方向は次のように決定する。まず、対象物の平均法線方向の極角をθ、方位角をφ、対象物の中心位置を原点とした３次元極座標系を考える。この時、対象物のθの０度から９０度の範囲かつφの０度から３６０度の範囲にある環境マップの半球領域が対象物を照明する。この半球領域において観察方向を順に走査し、対象物の色と光沢感の観察に適するか否かを後述する処理において判定する。この時、走査する視点の原点からの距離は固定とし、Ｓ７０１で得られた眼の対象物からの距離Ｒと等しくなるように設定する。本実施形態では、半球領域でのθとφをそれぞれ２０分割し走査する観察方向（θｌ、φｌ）を決定する。

ここで、図９（ａ）は、走査する順序を説明するための図である。走査する観察方向８０３と取得したユーザ視線方向８０２との距離８０１で順序付けし、距離が近いものから順に走査する。それにより、ユーザ視線方向から近い視線方向を優先的に提示することができるため、ユーザが元の視線方向から質感観察視線方向へと移動させる際の距離を短くすることができ、利便性の向上が期待できる。なお、本実施形態では走査する観察方向の順序付けのために距離を用いるが、例えばユーザ視線方向からの相対的な角度の大きさによって順序付けしてもよい。

Ｓ７０２において、質感観察視線方向算出部４０４は、観察方向を上述した方法で順序付け、ユーザ視線方向との距離が最も近い観察方向を選択する。繰り返しの２回目以降は順序付けられた観察方向のうち、ユーザとの距離が近い観察方向を順に選択する。このように、ユーザ視線方向とのなす角が小さい方向を、対象物の質感の観察に適した観察視線方向として決定する。

Ｓ７０３において、質感観察視線方向算出部４０４は、対象物８０５に映りこむ環境マップの部分領域（被反射領域）を算出する。

ここで、図９（ｂ）は、被反射領域の算出を説明する図であり、図９（ｃ）は、被反射領域となる環境マップの部分領域を表す図である。まず、走査する視線方向位置８０４から長方形の対象物８０５の四隅に向かう方向８０６（θｊｃ、φｊｃ）を算出する。ここでｊは対象物８０５の各隅を表す添え字である。対象物８０５は例えば、情報処理装置１のディスプレイ３０４の縦の長さをｄ、横の長さをｗとしたときに、－ｗ／４≦ｘ≦ｗ／４，－ｄ／４≦ｙ≦ｄ／４，ｚ＝０なる矩形領域とする。（θｊｃ、φｊｃ）は具体的に、次式のように求める。

ここで、（ｘｊ，ｙｊ）は対象物８０５の四隅を表す４つの点の座標のｘ成分とｙ成分（－ｗ／４，－ｄ／４）、（－ｗ／４，ｄ／４）、（ｗ／４，－ｄ／４）、（ｗ／４，ｄ／４）を表す。平均法線方向を基準にそれぞれの方向８０６が正反射する方向８０７（θｊｒ、φｊｒ）を計算する。具体的には、次式によって求める。

４つの方向８０７を含む環境マップの部分領域８０８を被反射領域として指定する。指定の方法として、例えば４つの方向８０７の極角θの最小値から最大値の範囲、方位角φの最小値から最大値の範囲に対応する環境マップの領域を被反射領域とする。

Ｓ７０４において、質感観察視線方向算出部４０４は、対象物の光沢感の観察に適した視線方向を決定する。光沢感の観察に適した視線方向とは前述の通り、光源が視線の正反射方向に存在し、鏡面反射強度と光沢度が視認できる視線方向である。すなわち、照明情報のうち照明（光源）が存在する部分が対象物に映り込む観察方向を、対象物の光沢感を観察するのに適した観察視線方向として決定する。本実施形態では、被反射領域をグレースケール化し、視線方向の判定を行う。座標毎かつ色信号毎に８ビットの強度情報を持つ配列である環境マップを、座標毎に輝度値を８ビットの情報で保持する配列に変換する。変換方法に関しては公知の技術であるため説明を省略する。なお、グレースケール化を行った際の形式は一例であり、例えば輝度値を３２ビットの浮動小数点の情報として保持してもよい。

被反射領域に輝度が閾値Ｅ１以上の画素が閾値Ｓ１以上あるとき、その時点での観察方向を光沢感観察視線方向と決定する。ここでの閾値Ｅ１は例えば、環境マップ全領域の最大輝度値から輝度値の標準偏差を引いた値とし、閾値Ｓ１は例えば、被反射領域総画素の１０％とすることができる。観察方向を走査する際に本ステップＳ７０４は繰り返し実行されるが、光沢感観察視線方向が一度決定した際にはフラグを設定することによって、以降の走査で光沢感観察視線方向の判定をスキップする。

Ｓ７０５において、質感観察視線方向算出部４０４は、対象物の色の観察に適した視線方向を決定する。色の観察に適した視線方向とは、前述の通り、光源が視線の正反射方向に存在せず、鏡面反射成分と比較して拡散反射成分が支配的となる視線方向である。本実施形態では、被反射領域をグレースケール化し、被反射領域の最大輝度が閾値Ｅ２以下であるとき、その時点での観察方向を色観察視線方向と決定する。ここでの閾値Ｅ２は例えば、環境マップ全領域の輝度の第一四分位数とすることができる。すなわち、照明情報のうち照明（光源）が存在しない部分が対象物に映り込む観察方向を、対象物の色を観察するのに適した観察視線方向として決定する。観察方向を走査する際に本ステップＳ７０５は繰り返し実行されるが、色観察視線方向が一度決定した際にはフラグを設定することによって、以降の走査で色観察視線方向の判定をスキップする。

Ｓ７０６において、光沢感観察視線方向と色観察視線方向が両方決定した際は走査を終了する。両方が決定していない場合は、Ｓ７０７へ進む。

Ｓ７０７において、質感観察視線方向算出部４０４は、走査する観察方向が他に存在するか否かを判定する。走査する観察方向が他に存在する場合、Ｓ７０２に戻る。一方、走査する観察方向が他に存在しない場合、処理を終了する。

以上で図８のフロー図の説明を終了し、図６のフロー図の説明に戻る。

以降のＳ５０４からＳ５０９までの処理は、ユーザの終了指示を受け付けるまで繰り返す。

Ｓ５０５において、ユーザ視線方向取得部４０３は、ユーザ視線方向（Ｒ，Θ，Φ）を取得する。本処理はＳ７０１と処理が同一であるため説明を省略する。

Ｓ５０６において、対象物画像描画部４０５は、公知のイメージベーストライティング技術を用いることで、対象物８０５が環境マップＥ（θａ，φａ，ｉ）によって照明された際のユーザ視線方向（Ｒ，Θ，Φ）における見えを表す画像Ｉ１を描画する。画像Ｉ１のサイズは、例えばＳ７０４において算出に用いた対象物８０５のサイズと同じであり、情報処理装置１のディスプレイ３０４のサイズの５０％とする。また、ディスプレイ３０４の法線と対象物８０５の平均法線が一致するように描画する。このとき、ユーザ視線方向(Ｒ、Θ、Φ)の座標系とＳ７０４において算出に用いた際の座標系を一致させる。

Ｓ５０７において、質感観察視線方向描画部４０６は、質感観察視線方向とユーザ視線方向とを提示する画像Ｉ２を描画する。処理の詳細は後述する。

Ｓ５０８において、出力画像合成部４０７は２つの画像Ｉ１、画像Ｉ２を合成し、ディスプレイ３０４に表示する画像を生成する。

ここで、図１０は、Ｓ５０７の詳細なフロー図であり、図１１（ａ）は、出力画像合成部４０７で出力する画像の例である。図１１（ａ）に示す対象物画像１００１は、対象物画像描画部４０５において描画される画像Ｉ１である。画像Ｉ２は、３次元半球モデル１００２、ユーザ視線方向マーカ１００３、質感観察視線方向マーカ１００４、注目領域マーカ１００５で構成される。以下、図１０を用いてＳ５０７の処理の詳細を説明する。

まず、Ｓ９０１において、質感観察視線方向描画部４０６は、前述の処理Ｓ７０４とＳ７０５において質感観察視線方向が決定しているかを判定する。決定している場合、S９０３へ進む。一方、決定していない場合はＳ９０２へ進む。

Ｓ９０２において、質感観察視線方向描画部４０６は、質感観察視線方向が存在しない旨をユーザに通知することで、質感観察を行いたいユーザにタブレット姿勢もしくは環境マップの変更を促す効果が得られる。ここで、図１１（ｂ）は警告表示の例を示す図である。警告表示１００６によってユーザに通知する。図示の例では、対象物の色の観察に適した視線方向が決定されていないことが示されている。

Ｓ９０３において、質感観察視線方向描画部４０６は、取得したユーザ視線方向（Θ、Φ）と２種類の質感確認視線方向（θｃ、φｃ）（θｌ、φｌ）との相対角度（Δθｃ、Δφｃ）（Δθｌ、Δφｌ）を算出する。相対角度は、例えば以下の式として算出する。

Ｓ９０４において、質感観察視線方向描画部４０６は、Ｓ９０３で算出したユーザ視線方向との相対角度を示す画像を描画する。この画像は、図１１の３次元半球モデル１００２、ユーザ視線方向マーカ１００３、質感観察視線方向マーカ１００４に対応する。３次元半球モデル１００２の、底面中心から天頂部へ向かう方向に対する極角、方位角をＴ、Ｐとすると、ユーザ視線方向マーカ１００３をＴ＝０、Ｐ＝０の球面上に表示する。そして、質感観察視線方向マーカ１００４を（Ｔ，Ｐ）＝（Δθｃ、Δφｃ）、（Δθｌ、Δφｌ）の球面上の２か所に表示する。３次元半球モデルの球面は概形が分かるように、例えば極角Ｔ、方位角Ｐを一定の間隔に分割した格子として表示する。

Ｓ９０５において、質感観察視線方向描画部４０６は、Ｓ９０３で算出した相対角度の大きさからＳ９０６で描画する注目領域マーカ１００５の描画透明度を決定する。相対角度の大きさＡを、例えば次式のように定義する。

ここでΔθ、Δφはそれぞれ２種類の質感確認視線方向とユーザ視線方向との相対極角、方位角を表す。相対角度の大きさＡが大きいとき注目領域マーカ１００５の描画透明度を０％とし、相対角度の大きさＡが小さくなるにつれ注目領域マーカ１００５の描画透明度を１００％に近づける。例えば、Aが９０度以上のときに透明度を０％、Ａ＝１０度以下のときに透明度を１００％とし、その間はＡの値に対して線形に透明度を変化させる。その結果、ユーザは、注目領域の質感を観察する際は注目領域マーカ１００５によって観察を阻害されず、質感観察視線方向を探す際は注目領域マーカ１００５によって注目すべき領域を把握することができる。

Ｓ９０６において、質感観察視線方向描画部４０６は、Ｓ９０５で決定した透明度に基づき注目領域マーカ１００５を描画する。注目領域マーカ１００５は例えば、対象物画像Ｉ１の中心位置を中心とし、サイズをディスプレイ３０４のサイズの１０％とする。

このように、３次元半球モデルの球面の天頂部（例えば１００３）をユーザ視線方向として示し、対象物の質感の観察に適した観察視線方向をユーザ視線方向に対する相対的な方向として球面上の点（例えば１００４）として示した３次元半球モデルを描画する。ユーザは、この表示を見て自分の視線方向をどのように変えれば、質感を観察するのに適した視線方向になるのかを直感的に把握することが可能となる。

以上で図６の処理フローの説明を終える。

＜実施形態の効果＞
以上説明したように、本実施形態では、対象物の質感を示す質感情報と、対象物を照明するための照明情報（環境マップの情報）とを取得する。そして、それらの情報に基づいて、対象物の質感の観察に適した観察視線方向（対象物の色、光沢感を視認しやすい視線方向）を算出し、その観察視線方向を示す情報を描画してユーザに提示する。

その結果、ユーザは、どの方向から観察すればよいかを把握しやすくなるので、効果的に対象物の色や、光沢感といった質感を確認できるようになる。

＜変形例＞
なお、図６のＳ５０３の処理は、ユーザの指示により環境マップと質感情報を取得したのちに実行されるが、次のように処理順を変更してもよい。環境マップと質感情報からＳ５０３と同様の処理によって予め算出し、質感観察視線方向をデータの格納先に格納する。その後、ユーザの指示により環境マップと被写体情報を取得する際に同時に対応する質感観察視線方向をデータの格納先から取得し提示する。

なお、Ｓ５０２において照明情報として環境マップを取得したが、照明情報として光源の３次元位置、方向、強度情報を取得して、一般的なＣＧレンダリング技術であるベイク処理を行うことによって環境マップに変換して取得することもできる。

なお、Ｓ５０５とＳ７０１においてユーザ視線方向を情報処理装置に内蔵のＲＧＢカメラによって得たが、測距センサとの併用で視線方向を推定してもよいし、複数のカメラから得られる視差情報を用いてもよい。また、例えば赤外線カメラなどの可視光以外のカメラを用いてもよい。さらに、ディスプレイとの相対位置が取得できるならば内蔵でなくてもよい。他にも視線追跡装置を用いてユーザ視線方向を取得してもよい。

また、Ｓ７０４の説明で述べた被反射領域の算出方法は一例であり、例えば対象物の法線のばらつきに応じて環境マップ部分領域を拡大することで、対象物の法線のばらつきによる被反射領域の変化の効果を取り入れてもよい。また、実際に対象物の各点に関して逆向きに光線追跡を行うことで、対象物の位置毎の法線方向を加味した被反射領域を求めてもよい。

（実施形態２）
実施形態１では、被写体の色、光沢感の観察に適した視線方向を算出、提示する例について説明した。本実施形態においては、被写体の凹凸感の観察に適した視線方向を算出、提示する例について説明する。

実施形態２における情報処理装置の外観、ハードウェア構成、機能構成、Ｓ５０３以外の処理フローは実施形態１と同一であるため説明を省略する。本実施形態におけるＳ５０３の処理の詳細を図１２に示す。以下、図１２を用いて処理の詳細を説明する。

＜処理＞
Ｓ１１０１において、ユーザ視線方向取得部４０３は、ユーザの視線方向を取得する。この処理は、Ｓ７０１と同様の処理であるために説明を省略する。

Ｓ１１０２において、質感観察視線方向算出部４０４は、対象物の光沢感の強弱を判定する。本実施形態では、拡散反射強度ρｓと鏡面反射強度ρｄをグレースケール変換し、座標毎に例えば８ビットの輝度値情報を保持する配列を得る。対象物全領域での平均鏡面反射輝度と、平均拡散反射輝度との比が閾値Ｒ１以下であるか否かを判定する。ここで閾値Ｒ１は、例えば１とする。

Ｓ１１０３からＳ１１０８の処理は、対象物の光沢感が強い場合の凹凸感の観察に適した視線方向の算出のステップとなる。上述の通り、凹凸感の観察に適した視線方向とは、この場合、小さい光源、端が鮮明な光源の正反射方向である。被反射領域にこれらの光源が存在している場合、被反射領域は空間周波数の高い成分を多く含む。そのため、被反射領域の空間周波数情報を算出することでこれらの光源の有無を判定することができる。

Ｓ１１０３、Ｓ１１０４、Ｓ１１０８については、それぞれＳ７０２、Ｓ７０３，Ｓ７０７と処理が同一であるために説明を省略する。

Ｓ１１０５において、質感観察視線方向算出部４０４は、被反射領域に対して二次元ＦＦＴ処理を行い、空間周波数情報へ変換を行う。

Ｓ１１０６において、質感観察視線方向算出部４０４は、観察方向が凹凸感の観察に適しているか否かを判定する。被反射領域の空間周波数成分のうち、絶対値で閾値Ｆ１以上の成分が閾値Ｄ１以上含まれているとき、その時点での観察方向（θｂ、φｂ）を凹凸感観察視線方向と決定する。閾値Ｆ１は例えば、対象物８０５の幅の逆数２／ｗの１０倍、閾値Ｄ１は例えば、被反射領域８０８に含まれる全周波数成分の１０％とする。

このように、鏡面反射強度が拡散反射強度以上である場合、照明情報のうち閾値以上の空間周波数成分が存在する部分が対象物に映り込む観察方向を、対象物の凹凸感を観察するのに適した観察視線方向として決定する。

Ｓ１１０７において、質感観察視線方向算出部４０４は、Ｓ１１０６で凹凸感観察視線方向が決定すれば観察方向の走査を終了する。一方、凹凸感観察視線方向が決定されていない場合、Ｓ１１０８へ進む。

一方、Ｓ１１０９からＳ１１１１の処理は、対象物の光沢感が弱い場合の凹凸感の観察に適した視線方向の算出のステップとなる。上述の通り、光沢感が弱い場合の凹凸感の観察に適した視線方向とは、光源に垂直な方向である。ただし、環境マップには複数の光源が含まれていることがある。そのため本実施形態では環境マップに含まれる最も強い光源の方向と、それ以外の光源を積分した方向の２つに対して直交する観察方向を対象物の光沢感が弱い場合の凹凸感の観察に適した視線方向とする。

ここで、図１３は、対象物の光沢感が弱い場合の凹凸感の観察に適した視線方向を算出する方法について説明する図である。

Ｓ１１０９において、質感観察視線方向算出部４０４は、対象物の平均法線方向の極角をθ、方位角をφとした際の０°≦θ≦９０°に相当する環境マップの部分領域をグレースケール画像に変換する。そしてθとφを例えばそれぞれ１０分割することで小領域１２０１に分割する。小領域１２０１をパラメータθ１、θ２、φ１、φ２を用いてθ１≦θ≦θ２、φ１≦φ≦φ２と表すとき、大きさを小領域の輝度の積分値、向きを次式に表す（θ１２，φ１２）とするベクトル１２０２を小領域ごとに算出する。

Ｓ１１１０において、質感観察視線方向算出部４０４は、各小領域に対して求めたベクトルのうち、最も大きさが大きいものを主光源方向Ｌ１と定義する。主光源方向Ｌ１を除く各小領域のベクトルの和を副光源方向Ｌ２と定義する。

Ｓ１１１１において、質感観察視線方向算出部４０４は、主光源方向Ｌ１と副光源方向Ｌ２の双方と直交する（垂直な）視線方向のうちユーザ視線方向（Θ、Φ）に近い視線方向（θｂ、φｂ）を凹凸感観察視線方向とする。

このように、鏡面反射強度が拡散反射強度よりも小さい場合、照明情報に含まれる光源に垂直な観察方向を、対象物の凹凸感を観察するのに適した観察視線方向として決定する。

以上で図１２の処理フローの説明を終える。

＜実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、対象物の凹凸感を視認しやすい視線方向を環境マップ情報から算出し、ユーザに提示する。その結果、ユーザは効果的に対象物の凹凸感を確認できるようになる。

＜変形例＞
なお、本実施形態では、Ｓ１１０３において、対象物が高光沢であるか否かの判定は鏡面反射強度と拡散反射強度との比に基づいて行ったが、例えば視覚特性に基づいた他の鏡面反射強度と拡散反射強度の関数値によって判定してもよい。

また、Ｓ１１０５において、周波数変換手法は二次元ＦＦＴに限らず、例えばＷａｖｅｌｅｔ変換でもよい。

（実施形態３）
本実施形態では、実施形態１、２と同じく、情報処理装置としてタブレット型情報端末を用いる。図１４は、本実施形態の使用例を表す。質感情報を付与した３次元形状モデルである対象物１４０１を現実空間の座標に固定されるように表示し、環境マップによって照明された際の見えを再現する画像１４０２を表示する。また、情報処理装置１の位置姿勢から、情報処理装置１のディスプレイ３０４の面と垂直な方向をユーザの視線方向１４０３として算出し、視線方向の動的な変化に対応して見えを動的に変化させて対象物１４０１の質感を観察するアプリケーションを想定する。本実施形態では、アプリケーションにおいて凹凸感の観察に適した視線方向を提示する。

本実施形態に係る情報処理装置のハードウェア構成については、実施形態１と同一であるため説明を省略する。

＜機能構成＞
図１５は、本実施形態に係る情報処理装置の機能構成を示す図である。本実施形態に係る情報処理装置１の質感表示アプリケーション２は、実施形態１で示した構成要素に加えて、形状情報取得部４０９、部分領域指定部４１０、質感観察モード切替部４１１をさらに含む。

形状情報取得部４０９は、対象物の３次元形状を表す形状情報を取得する。質感観察モード切替部４１１は、ユーザからの指示に基づき、対象物の見えのみを表示する第一の表示モードから、対象物の見えに加えて質感観察に適した視線方向を提示する第二の表示モードに遷移させることができる。部分領域指定部４１０は、質感観察視線方向算出部４０４で用いる対象物形状上の部分領域を指定する。他の構成については、実施形態１の同じ番号を付した構成と同一であるため説明を省略する。

＜処理＞
図１６は、本実施形態に係る情報処理装置１の質感表示アプリケーション２で実行される処理を示すフロー図である。以下、図１６を用いて処理の詳細を説明する。

Ｓ１６０１において、質感情報取得部４０１は、対象物の質感情報を取得する。本処理は、Ｓ５０１と同一の処理であるため説明を省略する。

Ｓ１６０２において、形状情報取得部４０９は、対象物の３次元形状を表す形状情報を取得する。形状情報は、例えばＷａｖｅｆｒｏｎｔ ＯＢＪ形式で記述された３次元形状データである。

Ｓ１６０３において、照明情報取得部４０２はユーザからの指示に基づいて、照明情報として環境マップＥ（θａ、φａ、ｉ）を取得する。データ形式についてはＳ５０２で説明した形式と同様であるが、本実施形態では情報処理装置１の姿勢を動的に変化させるために、環境マップの回転も動的に行う必要がある。そのため本処理中は回転を行わない。

Ｓ１６０４及びＳ１６０５の処理は、前述の対象物の見えのみを表示する第一の表示モードを実現するための処理である。Ｓ１６０４において、ユーザ視線方向取得部４０３は、加速度センサ３０６、方位センサ３０７を介して情報処理装置１の姿勢を取得する。図３における情報処理装置１に固定された座標系のｚ軸負方向を視線方向とする。Ｓ１６０４を初めて処理する際に取得した情報処理装置１の視線方向を初期視線方向とし、情報処理装置１の位置を初期視線位置とする。初期視線位置は直接取得することはできないが、初期視線位置からの相対位置は加速度センサ３０６が出力する加速度ベクトルａを積分することによって取得することができる。

Ｓ１６０５において、対象物画像描画部４０５は、現実空間に固定された環境マップによって照明された、現実空間に固定された対象物のユーザ視線方向、視線位置からの見えを表す画像Ｉ１を描画する。情報処理装置１の姿勢に応じて対象物が存在する仮想３次元座標系と環境マップを回転させ、初期視線位置からの相対位置に応じて対象物が存在する仮想３次元座標系を並進させることによって環境マップと対象物を現実空間に固定されているように表示する。環境マップについて、環境マップの真上（空）方向、北方向が現実空間での真上（空）方向、北方向と一致するように表示する。この処理の詳細は本発明の主眼ではないため詳細な説明は省略する。

Ｓ１６０６において、質感観察モード切替部４１１は、ユーザからの指示に基づき、質感の観察に適した視線方向を提示する第二の表示モードに切り替えるか否かを判定する。ユーザからの指示があった場合に切り替えを行う。ユーザからの指示がない場合は、Ｓ１６０４に戻る。

ここで、図１７は、情報処理装置１のディスプレイ３０４の表示領域に表示する画像の例を示している。第一の表示モードでは、環境マップによって照明された対象物の現在のユーザ視線方向からの見えを表す画像１７０２がディスプレイ３０４の表示領域１７０１に表示されている。ユーザが質感確認ボタン１７０３を押下すると第二の表示モードに遷移する。

Ｓ１６０７において、部分領域指定部４１０は、ユーザが質感を確認する対象物表面の領域（注目領域）を指定する。次のステップであるＳ１６０８で質感確認視線方向を決定するためには注目領域を指定する必要がある。本実施形態ではボタンを押下した際に画面中心に表示されている対象物表面の点（ｘｃ、ｙｃ、ｚｃ）の周囲を注目領域に設定する。対象物表面の点を中心に、対象物表面の点での法線方向と同じ法線方向を持つ正方形領域を設定する。この正方形の辺の長さｌは、対象物全体の高さ、幅、奥行きのうち最も大きいものの１／１００とする。ただし、注目領域の設定方法は一例であり、注目領域の中心は、例えばユーザがディスプレイ３０４上に表示されている対象物の画像上の部分領域を選択することで決定してもよい。また、注目領域は、例えば長方形や円を用いて設定してもよいし、注目領域のサイズは、例えば対象物表面の点における曲率に応じて決めてもよいし、対象物表面の各点と注目領域との距離の和で決定してもよい。

Ｓ１６０８において、質感観察視線方向算出部４０４は、凹凸感の観察に適した視線方向を決定する。本処理は、実施形態２におけるＳ５０３の処理と同一であるが、実施形態２における対象物のサイズを注目領域の辺の長さｌに置き換えて計算する。

そして、Ｓ１６０９からＳ１６１４までの処理を、ユーザから停止指示を受け付けるまで繰り返す。

Ｓ１６１０とＳ１６１１の処理は、それぞれＳ１６０４とＳ１６０５と同じ処理であるため説明を省略する。

Ｓ１６１２において、質感観察視線方向描画部４０６は、質感観察視線方向を提示する画像Ｉ２を描画する。画像Ｉ２は、図１７における質感観察視線方向を示す３次元矢印モデル１７０５、質感観察視線方向を示す２次元平面モデル１７０６、注目領域マーカ１７０７の少なくとも１つを含んで構成される。図１８は、Ｓ１６１２の詳細な処理フローを示した図である。以下図１８を用いて説明する。Ｓ１８０１、Ｓ１８０２、Ｓ１８０３、Ｓ１８０４に関してはそれぞれ実施形態１で説明したＳ９０１、Ｓ９０２、Ｓ９０３、Ｓ９０５と処理が同一であるため説明を省略する。

Ｓ１８０５において、Ｓ１８０４で決定した描画透明度で画像Ｉ２を描画する。具体的には、情報処理装置１を観察するユーザの視線方向であるユーザ視線方向が、対象物の質感の観察に適した観察視線方向に近づくほど、３次元矢印モデル１７０５又は２次元平面モデル１７０６のうちの少なくとも１つの描画透明度を下げる処理を行う。

３次元矢印モデル１７０５に関しては、矢印の始点ｖｉと終点ｖｆを、注目領域の中心点（ｘｃ、ｙｃ、ｚｃ）と注目領域の辺の長さｌと質感観察視線方向（θｂ、φｂ）を用いて表す。ここで質感観察視線方向（θｂ、φｂ）は、Ｓ１６０８で算出した質感観察視線方向を、注目領域の中心点を原点とし、真上（空）方向に対する極角と方位角を２つの角度座標とする３次元極座標系における極角、方位角に変換したものである。具体的には、矢印の始点と終点を次式のように決定する。

それぞれの座標は、対象物が存在する仮想３次元座標におけるｘ座標、ｙ座標、ｚ座標を表す。

また、質感観察視線方向を示す２次元平面モデル１７０６に関しては、注目領域の中心点（ｘｃ、ｙｃ、ｚｃ）を通り質感観察視線方向（θｂ、φｂ）に垂直な平面として、次式で表される平面を描画する。サイズは、例えば注目領域の辺の長さｌの２０倍とする。

注目領域マーカ１７０７に関しては、注目領域を表す正方形モデルを表示する。質感観察視線方向を示す３次元矢印モデル１７０５、２次元平面モデル１７０６、注目領域マーカ１７０７は、対象物が存在する仮想３次元座標上に重ねて配置され、対象物との遮蔽関係を考慮して描画する。この質感観察方向の提示方法は、ユーザの眼が常にディスプレイ３０４に正対する本実施形態においては、実施形態１の質感観察方向提示方法と比較してより直感的に質感観察方向を把握することができる。

なお、質感観察視線方向を表すモデル位置、姿勢の決め方は前述の方法に限らず、質感観察視線方向を提示するためであれば他の位置、姿勢で表示してもよい。以上で図１８の処理フローの説明を終え、図１６の処理フローの説明に戻る。

Ｓ１６１３において、出力画像合成部４０７は、対象物画像描画部４０５で描画された画像Ｉ１と、質感観察視線方向描画部４０６で描画された画像Ｉ２とを合成し、情報処理装置１のディスプレイ３０４に表示する画像を生成する。

以上で図１６の処理フローの説明を終了する。

＜実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、３次元形状を持つ対象物の凹凸感を視認しやすい視線方向を環境マップ情報から算出し、ユーザに提示する。その結果、ユーザは効果的に対象物の質感を確認できるようになる。

＜変形例＞
なお、本実施形態では凹凸感の観察に適した視線方向を提示したが、他の質感要素の観察に適した視線方向を表示してもよく、複数の質感観察視線方向を同時にまたはユーザの指示によって切り替えて表示してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：情報処理装置、４０１：質感情報取得部、４０２：照明情報取得部、４０３：ユーザ視線方向取得部、４０４：質感観察視線方向算出部、４０５：対象物画像描画部、４０６：質感観察視線方向描画部、４０７：出力画像合成部

Claims (19)

1. 対象物の質感を示す質感情報を取得する質感情報取得手段と、
   前記対象物を照明するための照明情報を取得する照明情報取得手段と、
   前記質感情報と前記照明情報とに基づいて、前記対象物の質感を観察するための観察視線方向を算出する視線方向算出手段と、
   前記観察視線方向を示す情報を描画する描画手段と、
   を備えることを特徴とする情報処理装置。
2. 前記質感情報は、拡散反射強度及び鏡面反射強度の情報を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記視線方向算出手段は、前記鏡面反射強度が前記拡散反射強度以上である場合、前記照明情報のうち閾値以上の空間周波数成分が存在する部分が前記対象物に映り込む観察方向を、前記対象物の凹凸感を観察するための観察視線方向として決定することを特徴とする請求項２に記載の情報処理装置。
4. 前記視線方向算出手段は、前記鏡面反射強度が前記拡散反射強度よりも小さい場合、前記照明情報に含まれる光源に垂直な観察方向を、前記対象物の凹凸感を観察するための観察視線方向として決定することを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記視線方向算出手段は、前記照明情報のうち照明が存在しない部分が前記対象物に映り込む観察方向を、前記対象物の色を観察するための観察視線方向として決定することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
6. 前記視線方向算出手段は、前記照明情報のうち照明が存在する部分が前記対象物に映り込む観察方向を、前記対象物の光沢感を観察するための観察視線方向として決定することを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
7. 前記描画手段は、前記対象物の光沢感を観察するための観察視線方向を示す情報と、前記対象物の凹凸感を観察するための観察視線方向を示す情報と、前記対象物の色を観察するための観察視線方向とを示す情報との少なくとも１つを描画することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記描画手段は、前記対象物の質感を観察するための観察視線方向が存在しない場合に警告を表示することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記情報処理装置を観察するユーザの視線方向であるユーザ視線方向を取得するユーザ視線方向取得手段をさらに備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記視線方向算出手段は、前記ユーザ視線方向とのなす角が小さい方向を、前記対象物の質感を観察するための観察視線方向として決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記描画手段は、３次元半球モデルの球面の天頂部を前記ユーザ視線方向として示し、前記対象物の質感を観察するための観察視線方向を前記ユーザ視線方向に対する相対的な方向として前記球面上の点として示した前記３次元半球モデルを描画することを特徴とする請求項９又は１０に記載の情報処理装置。
12. 前記対象物の形状を表す形状情報を取得する形状情報取得手段と、
    前記形状情報の部分領域を指定する部分領域指定手段と、
    をさらに備えることを特徴とする請求項１乃至請求項１１の何れか１項に記載の情報処理装置。
13. 前記部分領域指定手段は、前記情報処理装置のユーザからの指定を受け付けたことに応じて前記部分領域を指定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記視線方向算出手段は、前記部分領域を参照して、前記対象物の質感を観察するための観察視線方向を算出することを特徴とする請求項１２又は１３に記載の情報処理装置。
15. 前記描画手段は、前記部分領域をさらに描画することを特徴とする請求項１２乃至１４の何れか１項に記載の情報処理装置。
16. 前記描画手段は、前記対象物の質感を観察するための観察視線方向と同じ方向を指す矢印モデルと、前記対象物の質感を観察するための観察視線方向に垂直な平面モデルとのうち少なくとも一方を描画することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
17. 前記描画手段は、前記情報処理装置を観察するユーザの視線方向であるユーザ視線方向が、前記対象物の質感を観察するための観察視線方向に近づくほど、前記矢印モデル又は前記平面モデルのうちの少なくとも１つの描画透明度を下げることを特徴とする請求項１６に記載の情報処理装置。
18. 情報処理装置の制御方法であって、
    対象物の質感を示す質感情報を取得する質感情報取得工程と、
    前記対象物を照明するための照明情報を取得する照明情報取得工程と、
    前記質感情報と前記照明情報とに基づいて、前記対象物の質感を観察するための観察視線方向を算出する視線方向算出工程と、
    前記観察視線方向を示す情報を描画する描画工程と、
    を有することを特徴とする情報処理装置の制御方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の情報処理装置として機能させるためのプログラム。