JP7730657B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、物体の質感に関するデータを圧縮する技術に関する。

物体の素材や塗装の質感を再現するために、照明方向や観察方向に応じた反射特性の測定データが利用されている。反射特性データには、一般的に、物体における拡散反射や鏡面反射に関する情報や、表面の微細な凹凸に関する情報などが含まれており、静止画像データと比べるとデータ量が大きいという特徴がある。データを圧縮する技術として、特許文献１は、デプス画像を二次元画像圧縮方式により圧縮する技術を開示している。

ＷＯ２０１８／１２３８０１

反射特性データに含まれる各情報は、互いに関連し合って物体の見え方に影響しているため、それぞれに対して別々に特許文献１のような圧縮処理を行うと、反射特性データを用いて表現される物体の質感が大きく劣化してしまうという場合があった。

そこで本発明は、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、物体の表面における鏡面反射強度に関する鏡面反射情報を取得する第１取得手段と、前記物体における拡散反射光に関する拡散反射情報を取得する第２取得手段と、前記鏡面反射情報に基づいて、前記拡散反射情報を含むファイルのサイズを圧縮により小さくする圧縮手段と、を有し、前記圧縮手段は、前記鏡面反射強度が小さい場合よりも前記鏡面反射強度が大きい場合に前記拡散反射情報を含むファイルのサイズをより小さく圧縮することを特徴とする。

本発明によれば、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。

反射特性を説明するための模式図 情報処理装置のハードウェア構成を示すブロック図 情報処理装置の機能構成を示すブロック図 情報処理装置が実行する処理を示すフローチャート 法線情報を説明するための模式図 法線方向に応じた見えの変化を説明するための模式図 鏡面反射情報を評価する処理を示すフローチャート 鏡面反射情報を評価する処理を説明するための模式図 評価情報を説明するための模式図 拡散反射情報を圧縮する処理を示すフローチャート 圧縮パラメータを決定する処理を説明するための模式図 効果を説明するための模式図 鏡面反射情報を評価する処理を示すフローチャート 鏡面反射成分に応じた拡散反射成分の見えの変化を説明するための模式図 鏡面反射情報を評価する処理を示すフローチャート 情報処理装置の機能構成を示すブロック図 情報処理装置が実行する処理示すフローチャート 鏡面反射情報を分割する処理を示すフローチャート

以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、各実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態においては、鏡面反射情報、拡散反射情報を含む反射特性データのデータ量削減に関する処理を行う。具体的には、鏡面反射情報に基づいて拡散反射情報の圧縮に用いる圧縮パラメータを決定し、圧縮パラメータに基づいて拡散反射情報を圧縮する。まず、物体の反射特性について図１を用いて説明する。

図１（ａ）は物体１０１を説明するための模式図であり、図１（ｂ）は物体１０１の表面の展開図である。物体１０１は表面の位置毎に反射特性を有している。本実施形態においては、説明を簡単にするため、物体１０１は立方体であるとして説明する。尚、物体１０１の形状は、立方体のような３次元形状だけでなく、平面体のような２次元形状であっても良い。図１（ｂ）のように、物体１０１の表面は、６つの面で構成された展開図で表現できる。図１（ｃ）は物体１０１上のある位置１０２の反射特性を説明するための図である。ある方向１０３から、法線１０４を有する物体表面上の点１０５に向かって光を照射した場合の反射光１０６は反射方向によって異なる強度を有する。反射光１０６は、２色性反射モデルを用いてモデル化することができる。具体的には、反射光１０６を、空気と物体との境界面において反射した光である鏡面反射光成分１０７と、境界面を通過し物体の内部において拡散した拡散反射光成分１０８とに分離することができる。

鏡面反射光成分１０７は、正反射方向近傍において強く観測されるという特徴を有する。鏡面反射光成分１０７は、鏡面反射光成分１０７の強度が最大の方向である鏡面反射方向１０９、鏡面反射方向１０９における反射強度である鏡面反射強度１１０、鏡面反射方向１０９を中心とした鏡面反射光成分１０７の拡がり幅１１１の３つで特徴づけられる。また、鏡面反射光方向１０９は、法線１０４の方向に応じて変化する。拡散反射光成分１０８は、あらゆる方向において略均一の強度で観測されるという特徴を有する。拡散反射光成分１０８の反射強度を拡散反射強度１１２と呼ぶ。

物体表面のある位置における反射特性は、双方向反射率分布関数（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ：ＢＲＤＦ）と呼ばれる４次元の関数で記述することができる。また、物体表面の反射特性は、ＳＶＢＲＤＦ（Ｓｐａｔｉａｌｌｙ－Ｖａｒｙｉｎｇ ＢＲＤＦ）と呼ばれる、位置に依存してＢＲＤＦが変化する６次元の関数で記述することができる。また、双方向散乱面反射率分布関数（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｓｃａｔｔｅｒｉｎｇ Ｓｕｒｆａｃｅ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ：ＢＳＳＲＤＦ）が用いられることもある。尚、次元が高くなるにつれてデータ量は増大する。

反射特性の測定方法の１つとして、光源の方向と撮像装置の方向とを変えながら複数の撮像を行い、パラメトリックな反射特性モデルを用いて物体の反射特性を測定する方法がある。鏡面反射光のモデルとして、例えば、トーランススパローモデル（Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗ ｍｏｄｅｌ）がある。また、鏡面反射光のモデルとして、クックトーランスモデル（Ｃｏｏｋ－Ｔｏｒｒａｎｃｅ ｍｏｄｅｌ）や、フォンモデル（Ｐｈｏｎｇ ｍｏｄｅｌ）等がある。拡散反射光のモデルとして、例えば、ランバートモデル（Ｌａｍｂｅｒｔ ｍｏｄｅｌ）や、オーレンネイヤーモデル（Ｏｒｅｎ－Ｎａｙａｒ ｍｏｄｅｌ）等がある。これらのパラメトリックな反射特性モデルを用いれば、物体表面の反射特性をパラメータで表現することができる。

本実施形態においては、パラメータ化された物体表面の反射特性のうち、鏡面反射光成分１０７に関する情報を鏡面反射情報と呼び、拡散反射光成分１０８に関する情報を拡散反射情報と呼ぶ。また、法線１０４に関する情報を法線情報、鏡面反射強度１１０に関する情報を反射強度情報、拡がり幅１１１に関する情報を拡がり幅情報と呼ぶ。また、本実施形態においては、反射強度情報、拡がり幅情報、法線情報を含む情報を鏡面反射情報と呼ぶ。

例えば、物体表面における拡散反射光をランバートモデルでパラメータ化する場合について説明する。拡散反射光の放射輝度Ｌ_{Ｌａｍｂｅｒｔ}はランバートモデルを用いると式（１）で表現される。
Ｌ_{Ｌａｍｂｅｒｔ}＝Ｋ_ｄｃｏｓθ_ｉ・・・（１）

ここで、θ_ｉは入射角であり、Ｋ_ｄは拡散反射率である。拡散反射光をランバートモデルでモデル化する場合は、拡散反射率Ｋ_ｄの２次元分布Ｋ_ｄ（ｘ，ｙ）が本実施形態における拡散反射情報に相当する。

物体表面における鏡面反射光をトーランススパローモデルでパラメータ化する場合について説明する。鏡面反射光の放射輝度Ｌ_ＴＳはトーランススパローモデルを用いると式（２）で表現される。

ここで、θ_０は反射角であり、Ｋ_ｓは鏡面反射率である。また、Ｄは法線分布項、Ｇは幾何減衰項、Ｆはフレネル項である。物体表面の法線のばらつきを表現する法線分布項Ｄは、照明方向と観察方向との２等分方向（ハーフベクトル）Ｈと、法線方向Ｎとがなす角αの確率密度関数を表す。法線分布項Ｄは式（３）で示される。

ここで、ｎは表面の粗さを表すパラメータである。また、微小面の凹凸によって生じる自己遮蔽・自己陰影を表現する幾何減衰項Ｇは、照明方向もしくは観察方向が物体の接平面に近づくほど減衰が大きくなる。幾何減衰項Ｇは式（４）で示される。

ここで、Ｖは観察方向、Ｌは照明方向である。また、屈折率や光の入射角度により反射率が変わるフレネル項Ｆは式（５）、式（６）、式（７）で示される。

ｃ＝Ｖ・Ｈ・・・（６）

ここで、ηは相対屈折率である。鏡面反射光をトーランススパローモデルでモデル化する場合は、法線方向Ｎの２次元分布Ｎ（ｘ，ｙ）が本実施形態における法線情報に相当する。また、鏡面反射率Ｋｓの２次元分布Ｋｓ（ｘ，ｙ）が本実施形態における反射強度情報に相当し、表面の粗さを表すパラメータであるｎの２次元分布ｎ（ｘ，ｙ）が本実施形態における拡がり幅情報に相当する。

＜情報処理装置のハードウェア構成＞
図２は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３を備える。また、情報処理装置１は、ＶＣ（ビデオカード）２０４、汎用Ｉ／Ｆ（インターフェース）２０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ２０６、ＮＩＣ（ネットワークインターフェースカード）２０７を備える。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２、ＨＤＤ（ハードディスクドライブ）２１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ２０２やＨＤＤ２１３などに格納されたプログラムコードがＲＡＭ２０３に展開され、ＣＰＵ２０１によって実行される。ＶＣ２０４には、表示装置２１５が接続される。汎用Ｉ／Ｆ２０５には、シリアルバス２０９を介して、マウスやキーボードなどの入力装置２１０や撮像装置２１１が接続される。ＳＡＴＡＩ／Ｆ２０６には、シリアルバス２１２を介して、ＨＤＤ２１３や各種記録メディアの読み書きを行う汎用ドライブ２１４が接続される。ＮＩＣ２０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ２０１は、ＨＤＤ２１３や汎用ドライブ２１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ２０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）を表示装置２１５に表示し、入力装置２１０を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置２１５は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。

＜情報処理装置の機能構成＞
図３は情報処理装置１の機能構成を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２又はＨＤＤ２１３に格納されたプログラムを読み出して実行することによって、図３に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ２０１によって実行される必要はなく、処理の一部又は全てがＣＰＵ２０１以外の１つまたは複数の処理回路によって行われるように情報処理装置１が構成されていても良い。

情報処理装置１は、拡散情報取得部３０１、鏡面情報取得部３０２、評価部３０３、圧縮部３０４を有する。拡散情報取得部３０１は、ＨＤＤ２１３等の記憶装置から拡散反射情報を取得する。鏡面情報取得部３０２は、ＨＤＤ２１３等の記憶装置から鏡面反射情報を取得する。評価部３０３は、鏡面反射情報に基づいて、鏡面反射情報の評価結果である評価情報を導出する。圧縮部３０４は、評価情報に基づいて、拡散反射情報を圧縮する。また、圧縮部３０４は、圧縮処理により得られた拡散反射情報をレンダリング部３０５に出力する。レンダリング部３０５は、圧縮された拡散反射情報、鏡面反射情報、照明情報、撮像情報、形状情報を取得し、取得した情報を基にレンダリングを行い、物体の質感を再現した画像を生成する。尚、本実施形態におけるレンダリング部３０５は、情報処理装置１に含まれていないが、情報処理装置１に含まれていても良い。また、圧縮部３０４は、圧縮された拡散反射情報をレンダリング部３０５に出力したが、出力先はＨＤＤ２１３等の別の装置であっても良い。また、拡散情報取得部３０１及び鏡面情報取得部３０２は、ＨＤＤ２１３から情報を取得したが、撮像装置２１１等の別の装置から情報を取得しても良い。

＜情報処理装置が実行する処理の流れ＞
本実施形態において情報処理装置１が実行する処理の流れを、図４のフローチャートを用いて説明する。図４のフローチャートが示す処理は、ユーザによって入力装置２１０を介して指示が入力され、ＣＰＵ２０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ４０１において、拡散情報取得部３０１は、ＨＤＤ２１３から拡散反射情報を読み込む。本実施形態における拡散反射情報は、物体表面のある面における拡散反射光の情報であり、サイズが１２８×１２８ｐｉｘｅｌ、解像度が１５０ｄｐｉ、８ｂｉｔで画素値（Ｒ，Ｇ，Ｂ）が表現される画像形式の情報である。Ｓ４０２において、鏡面情報取得部３０２は、ＨＤＤ２１３から鏡面反射情報を読み込む。本実施形態における鏡面情報取得部３０２は、鏡面反射方向を特定する要素である法線情報を取得する。本実施形態における法線情報は、物体表面のある面における法線方向の情報であり、サイズが１２８×１２８ｐｉｘｅｌ、解像度が１５０ｄｐｉ、８ｂｉｔで画素値（Ｘ，Ｙ，Ｚ）が表現される画像形式の情報である。法線情報の画素値（Ｘ，Ｙ，Ｚ）は法線ベクトルのＸＹＺ成分である。法線情報の例を図５に示す。図５に示す画像は、法線情報をＲＧＢ画像とした場合の、Ｒ信号に対応するＸ成分を表す画像５０１、Ｇ信号に対応するＹ成分を表す画像５０２、Ｂ信号に対応するＺ成分を表す画像５０３である。

Ｓ４０３において、評価部３０３は、鏡面反射情報に基づいて、物体表面における鏡面反射光を評価する。本実施形態における評価部３０３は、鏡面反射情報に含まれる法線情報のばらつきを評価する。

ここで、物体表面の法線情報に基づいて拡散反射情報を圧縮する利点について、図６を用いて説明する。図６は、物体表面のある領域における表面形状と、各位置の反射特性から成る領域の反射特性とを模式的に示す。図６（ａ）は、物体表面において法線方向がばらついている場合の反射特性を模式的に示す。物体表面の法線方向に応じて鏡面反射方向が変化するため、物体表面の法線方向がばらついていると、観察される反射特性に複数の反射強度のピークが含まれる。鏡面反射光成分６０１と拡散反射光成分６０２とを含む反射特性を有する表面を、観察位置６０３や観察位置６０４などの様々な方向から観察した場合を考える。この場合、観察方向に応じて鏡面反射光成分６０１の強度が大きく変化するため、観察者はきらきらとした高輝感を知覚する一方で、拡散反射光成分６０２が圧縮により劣化していたとしても知覚されにくい。

図６（ｂ）は、物体表面の法線方向が略均一である場合の反射特性を模式的に示す。鏡面反射光成分６０５と拡散反射光成分６０６とを含む反射特性を有する表面を、観察位置６０７と観察位置６０８から観察した場合を考える。観察位置６０７は、鏡面反射光成分６０５の反射強度のピーク方向から物体表面を観察する位置であり、観察位置６０８は、鏡面反射光成分６０５の反射強度のピーク方向からずれた方向から物体表面を観察する位置である。観察位置６０８から物体表面を観察する場合、鏡面反射光成分６０５が小さいため、観察者は拡散反射光成分６０６が圧縮により劣化していることを知覚しやすい。

以上から、拡散反射情報を圧縮する場合に、法線方向がばらついている表面では質感再現時の画質劣化が知覚されにくく、法線方向が略均一である表面では質感再現時の画質劣化が知覚されやすい。そこで、本実施形態における評価部３０３は、Ｓ４０２において取得された法線情報に基づいて、着目画素の法線方向と着目画素の近傍画素の法線方向との類似度を導出することにより、法線方向のばらつきを評価し、生成した評価情報を圧縮部３０４に出力する。圧縮部３０４は、評価情報に基づいて、法線方向のばらつきが大きい場合に拡散反射情報に対して高圧縮処理を行い、法線方向のばらつきが小さい場合に拡散反射情報に対して低圧縮処理を行う。

Ｓ４０３の説明に戻る。Ｓ４０３における法線情報を評価する処理の詳細を図７のフローチャートを用いて説明する。Ｓ７０１において、評価部３０３は、法線情報Ｎ（ｘ，ｙ）の全画素に対する繰り返し処理を開始する。具体的には、順次着目する画素を変更しながら、Ｓ７０２～Ｓ７０４の処理を行う。Ｓ７０２において、評価部３０３は、着目画素の近傍画素に対する繰り返し処理を開始する。図８は、着目画素と近傍画素を説明するための模式図である。本実施形態においては、着目画素８０１に対して、左上、上、右上、左、右、左下、下、右下に隣接する８つの画素を近傍画素８０２に設定している。尚、近傍画素は、着目画素の上、左、右、下に隣接する４つの画素に設定しても良い。また、着目画素を中心とする５×５画素の領域に含まれる画素のうち着目画素を除いた画素を近傍画素に設定しても良い。

Ｓ７０３において、評価部３０３は、着目画素の法線方向と近接画素の法線方向との類似度を導出する。本実施形態における評価部３０３は、２つの方向の類似度としてコサイン類似度を導出する。コサイン類似度ｃｓは式（８）で示される。

ここで、Ｎ_ｎは近接画素の法線方向であり、Ｎ_ａは着目画素の法線方向である。近傍画素の法線方向と着目画素の法線方向とが、同じ方向を向いている場合はｃｓ＝１となり、向きの違いが大きくなるほどｃｓは小さくなる。近傍画素の法線方向と着目画素の法線方向とが逆の方向を向いている場合はｃｓ＝－１となる。

Ｓ７０４において、評価部３０３は、設定されている着目画素に対する全ての近傍画素それぞれを用いた処理が終了するまで処理をＳ７０２に戻す。Ｓ７０５において、評価部３０３は、全ての画素について近傍画素との法線方向の類似度を導出し終えるまで処理をＳ７０１に戻す。評価部３０８は、全ての画素について処理を行った後、各画素に法線方向の類似度を有する評価情報を生成し、評価情報を圧縮部３０４に出力する。

Ｓ４０３において生成される評価情報の一例を図９に示す。本実施形態において生成される評価情報は、サイズが１２８×１２８ｐｉｘｅｌ、解像度が１５０ｄｐｉ、画素値が８ｂｉｔで表現されるグレースケール画像形式の情報である。－１から１の範囲のコサイン類似度が０から２５５の画素値に対応しており、画素値０が黒、画素値２５５が白に対応している。尚、評価情報は画像形式で保存されなくても良く、例えばｃｓｖファイル等で保存されても良い。

Ｓ４０４において、圧縮部３０４は、評価情報に基づいて、拡散反射情報を圧縮する。本実施形態において用いる圧縮方式は、公知のＪＰＥＧ圧縮方式である。Ｓ４０４における拡散反射情報を圧縮する処理の詳細を図１０のフローチャートを用いて説明する。Ｓ１００１において、圧縮部３０４は、評価情報に基づいて、スカラー値の圧縮パラメータを決定する。本実施形態における圧縮パラメータは、ＪＰＥＧ圧縮方式の圧縮率とする。ＪＰＥＧ圧縮方式の圧縮率は、低圧縮を表す１２から高圧縮を表す０まで、整数値で設定される。圧縮率の値が小さいほど圧縮後のファイルサイズが小さく、圧縮率の値が大きいほど圧縮後のファイルサイズが大きい。圧縮部３０４は、評価情報の代表値として、評価情報の平均値を導出する。また、圧縮部３０４は、導出した平均値をルックアップテーブル（ＬＵＴ）を参照して圧縮パラメータに変換する。尚、ＬＵＴは予め作成され、ＨＤＤ２１３等の記憶装置に保持されているものとする。ＬＵＴの例を図１１に示す。ＬＵＴは、評価情報の平均値と圧縮パラメータとの対応関係を示す情報である。

Ｓ１００２において、圧縮部３０４は、Ｓ１００１において決定した圧縮パラメータを用いて拡散反射情報を圧縮する。圧縮部３０４は、圧縮処理に公知のＪＰＥＧ圧縮を使用する。尚、本実施形態における圧縮部３０４は、拡散反射情報の圧縮方式としてＪＰＥＧ圧縮方式を用いたが、拡散反射情報のビット深度を削減する方法、拡散反射情報の画素数を減らす方法、ＪＰＥＧ２０００圧縮など用いて圧縮を行っても良い。また、圧縮部３０４は、圧縮された拡散反射情報をレンダリング部３０５に出力する。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、物体における鏡面反射光に関する鏡面反射情報を取得し、物体における拡散反射光に関する拡散反射情報を取得し、鏡面反射情報に基づいて拡散反射情報を圧縮する。図１２は、本実施形態の効果を説明するための模式図である。図１２（ａ）は、図１で示した物体１０１の各面に対し、単純にＪＰＥＧ圧縮を行った場合の拡散反射情報の圧縮率を示している。図１２（ｂ）は、物体１０１の各面に対し、本実施形態の圧縮処理を行った場合の拡散反射情報の圧縮率を示している。単純にＪＰＥＧ圧縮を行った場合は、物体の面によらず同一の圧縮率になるが、本実施形態の圧縮処理を行った場合は、物体の面の法線情報に基づいて圧縮率が決定されるため、面毎に異なった圧縮率になる。これにより、法線方向のばらつきが大きい場合に拡散反射情報に対して高圧縮処理が行われ、法線方向のばらつきが小さい場合に拡散反射情報に対して低圧縮処理が行われる。よって、質感の劣化が知覚やすい場合よりも質感の劣化が知覚されにくい場合にデータが大きく圧縮され、データ量が削減される。したがって、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。

＜変形例＞
本実施形態においては、着目画素の法線方向と近傍画素の法線方向との類似度を導出することにより法線情報を評価したが、法線情報の評価方法はこれに限られない。例えば、着目画素の法線方向と大域的な法線方向との類似度を導出することにより、法線情報のばらつきを評価してもよい。図１３を用いて法線情報を評価する処理の流れを説明する。Ｓ１３０１において、評価部３０３は、大域的な法線方向を導出する。ここで、大域的な法線方向は、法線情報Ｎ（ｘ，ｙ）の全ての画素における法線方向Ｎの平均値である。Ｓ１３０２において、評価部３０３は、法線情報Ｎ（ｘ，ｙ）の全画素に対する繰り返し処理を開始する。具体的には、順次着目する画素を変更しながら、Ｓ１３０３の処理を行う。Ｓ１３０３において、評価部３０３は、着目画素の法線方向と、Ｓ１３０１において導出した大域的な法線方向との類似度を導出する。評価部３０３は、法線方向の類似度としてコサイン類似度を導出する。Ｓ１３０４において、評価部３０３は、全ての画素について法線方向の類似度を導出し終えるまで処理をＳ１３０２に戻す。以上の処理により、着目画素の法線方向と大域的な法線方向との類似度を導出することにより、法線情報のばらつきを評価することができる。

また、拡散反射情報の領域毎に異なる圧縮率を設定する方法として、拡散反射情報に関心領域（ＲＯＩ：ＲＥＧＩＯＮ ＯＦ ＩＮＴＥＲＥＳＴ）を設定しても良い。また、鏡面反射情報に基づいてＲＯＩを設定しても良い。

［第２実施形態］
第１実施形態においては、鏡面反射情報に含まれる法線情報に基づいて、拡散反射情報を圧縮した。本実施形態においては、鏡面反射情報に含まれる反射強度情報と拡がり幅情報との少なくとも一方に基づいて、拡散反射情報を圧縮する。尚、本実施形態における情報処理装置のハードウェア構成及び機能構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜情報処理装置が実行する処理の流れ＞
本実施形態において情報処理装置１が実行する処理の流れを、図４のフローチャートを用いて説明する。Ｓ４０１は、第１実施形態と同等であるため説明を省略する。Ｓ４０２において、鏡面情報取得部３０２は、ＨＤＤ２１３から鏡面反射情報を読み込む。本実施形態における鏡面情報取得部３０２は、反射強度情報及び拡がり幅情報を取得する。尚、鏡面情報取得部３０２は、反射強度情報と拡がり幅情報との少なくとも一方を取得できれば、両方を取得しなくても良い。Ｓ４０３において、評価部３０３は、物体表面における鏡面反射光を評価する。

ここで、物体表面の鏡面反射情報に基づいて拡散反射情報を圧縮する利点について、図１４を用いて説明する。図１４（ａ）、図１４（ｂ）、図１４（ｃ）は拡散反射光成分１４０１が同一で、鏡面反射強度１４０２及び拡がり幅１４０３が異なる場合を模式的に示す図である。図１４（ｂ）は、図１４（ａ）に比べ、拡がり幅１４０３が大きい場合を示す。図１４（ｃ）は、図１４（ａ）に比べ、鏡面反射強度１４０２が大きい場合を示す。観察位置１４０４は、鏡面反射光成分の反射強度のピーク方向から観察する位置であり、観察位置１４０５及び観察位置１４０６は、鏡面反射光成分の反射強度のピーク方向からずれた方向から観察する位置である。観察位置１４０４から観察する場合、拡散反射光成分１４０１に加えて鏡面反射光成分が観察される。観察位置１４０５から観察する場合、拡散反射光成分１４０１のみが観察される。また、観察位置１４０６から観察する場合、拡散反射光成分１４０１に加えて鏡面反射光成分が観察される。観察位置１４０４及び観察位置１４０６からの観察においては鏡面反射光成分が観察されるため、拡散反射光成分１４０１が圧縮により劣化していたとしても知覚されにくい。

以上から、拡散反射情報を圧縮する場合に、鏡面反射強度が大きく、鏡面反射光成分の拡がり幅が大きい表面では質感再現時の画質劣化が知覚されにくい。そこで、本実施形態における評価部３０３は、Ｓ４０２において取得された反射強度情報及び拡がり幅情報に基づいて鏡面反射光に関する評価を行い、生成した評価情報を圧縮部３０４に出力する。

Ｓ４０３の説明に戻る。Ｓ４０３における反射強度情報及び拡がり幅情報を評価する処理の詳細を図１５のフローチャートを用いて説明する。Ｓ１５０１において、評価部３０３は、鏡面反射情報の水平方向（ｘ方向）のデータ数Ｗを取得し、現在の水平方向の参照位置を表すｘに「０」を設定する。Ｓ１５０２において、評価部３０３は、鏡面反射情報の垂直方向（ｙ方向）のデータ数Ｈを取得し、現在の垂直方向の参照位置を表すｙに「０」を設定する。Ｓ１５０３において、評価部３０３は、鏡面反射情報の左上を原点とし、位置（ｘ，ｙ）の鏡面反射情報に基づいて評価値を導出する。具体的には、評価部３０３は、鏡面反射強度が大きい場合に拡散反射光情報の圧縮率を小さくし、鏡面反射強度が小さい場合に拡散反射情報の圧縮率を大きくする評価値を導出する。また、鏡面反射光の拡がり幅が大きい場合に拡散反射情報の圧縮率を小さくし、鏡面反射光の拡がり幅が小さい場合に拡散反射情報の圧縮率を大きくする評価値を導出する。

Ｓ１５０４において、評価部３０３は、ｙが垂直方向のデータ数Ｈより小さいか否かを判定する。ｙがＨより小さい場合はＳ１５０２に戻り、ｙがＨより大きい場合はＳ１５０５に進む。Ｓ１５０５において、評価部３０３は、ｘが水平方向のデータ数Ｗより小さいか否かを判定する。ｘがＷより小さい場合はＳ１５０１に戻り、ｘがＷより大きい場合は、各画素に鏡面反射光の評価値を有する評価情報を生成し、評価情報を圧縮部３０４に出力する。Ｓ４０４は、第１実施形態と同等であるため説明を省略する。

＜第２実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、鏡面反射情報に含まれる反射強度情報と拡がり幅情報との少なくとも一方に基づいて、拡散反射情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。

＜変形例＞
本実施形態においては、反射強度情報と拡がり幅情報との両方に基づいて拡散反射情報を圧縮したが、反射強度情報のみに基づいて拡散反射情報を圧縮しても良いし、拡がり幅情報のみに基づいて拡散反射情報を圧縮しても良い。また、反射強度情報や拡がり幅情報に加えて、第１実施形態において用いた法線情報も参照して、拡散反射情報を圧縮しても良い。

［第３実施形態］
上述した実施形態においては、画素毎に鏡面反射情報を評価し、評価結果に基づいて拡散反射情報を圧縮した。物体が複雑な形状を有する場合などには、鏡面反射光を正しく評価するために、ある程度の大きさの領域が必要になることがある。そこで、本実施形態においては、鏡面反射情報を複数の領域に分割し、分割した領域毎に鏡面反射情報を評価し、評価結果に基づいて拡散反射情報を圧縮する。尚、本実施形態における情報処理装置のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜情報処理装置の機能構成＞
図１６は情報処理装置１の機能構成を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２又はＨＤＤ２１３に格納されたプログラムを読み出して実行することによって、図１６に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ２０１によって実行される必要はなく、処理の一部又は全てがＣＰＵ２０１以外の１つまたは複数の処理回路によって行われるように情報処理装置１が構成されていても良い。

情報処理装置１は、拡散情報取得部１６０１、鏡面情報取得部１６０２、分割部１６０３、評価部１６０４、圧縮部１６０５を有する。拡散情報取得部１６０１は、ＨＤＤ２１３等の記憶装置から拡散反射情報を取得する。鏡面情報取得部１６０２は、ＨＤＤ２１３等の記憶装置から鏡面反射情報を取得する。分割部１６０３は、鏡面反射情報を所定の画素数以上の画素を含む複数の領域に分割する。評価部１６０４は、鏡面反射情報に基づいて、鏡面反射情報の評価結果である評価情報を領域毎に導出する。圧縮部３０４は、評価情報に基づいて、拡散反射情報を領域毎に圧縮する。

＜情報処理装置が実行する処理の流れ＞
本実施形態において情報処理装置１が実行する処理の流れを、図１７のフローチャートを用いて説明する。図１７のフローチャートが示す処理は、ユーザによって入力装置２１０を介して指示が入力され、ＣＰＵ２０１が入力された指示を受け付けることにより開始する。

Ｓ１７０１において、拡散情報取得部１６０１は、ＨＤＤ２１３から拡散反射情報を読み込む。上述した実施形態における拡散反射情報は、物体表面のある面における拡散反射光の情報であったが、本実施形態における拡散反射情報は、物体の全ての面における拡散反射光の情報である。尚、面はラベリングされており、ラベルで面を指定できるものとする。Ｓ１７０２において、鏡面情報取得部１６０２は、ＨＤＤ２１３から鏡面反射情報を読み込む。本実施形態における鏡面反射情報は、面毎に、ワールド座標系における大域的な法線方向を含む情報である。尚、面はラベリングされており、ラベルで面を指定できるものとする。ここで、ワールド座標系は、物体の位置を表現するための座標系である。例えば、物体が立方体形状である場合、各面は上や下を向いているが、各面の向いている方向がワールド座標系における法線方向である。

Ｓ１７０３において、分割部１６０３は、鏡面反射情報を所定の画素数以上の画素を含む複数の領域に分割する。Ｓ１７０３における鏡面反射情報を分割する処理の詳細を図１８のフローチャートを用いて説明する。Ｓ１８０１において、分割部１６０３は、画素数情報を読み込む。画素数情報は、法線方向のばらつきを正しく評価するために必要な領域の画素数である。Ｓ１８０２において、分割部１６０３は、物体の面毎に画素数を導出する。Ｓ１８０３において、分割部１６０３は、物体の面毎に、他の面とのワールド座標系における法線方向の類似度を導出する。Ｓ１８０４において、分割部１６０３は、Ｓ１８０２において導出した物体の面毎の画素数を、Ｓ１８０１において読み込んだ画素数情報と比較して、所定の画素数以上の画素を含まない小さい面のラベルを特定する。

Ｓ１８０５において、分割部１６０３は、所定の画素数以上の画素を含まない小さい面に対する繰り返し処理を開始する。Ｓ１８０６において、分割部１６０３は、Ｓ１８０３において導出した類似度を参照し、ワールド座標系における法線方向が最も近い面同士を合体する。具体的には、分割部１６０３は、着目している面のラベルを、ワールド座標系における法線方向が最も近い面のラベルに置き換える処理を行う。Ｓ１８０７において、分割部１６０３は、所定の画素数以上の画素を含まない小さい面全てについてラベルの置き換え処理を終えるまで処理をＳ１８０５に戻す。Ｓ１８０８において、分割部１６０３は、全ての面の画素数が所定の画素数より大きいか否かを判定する。全ての面の画素数が所定の画素数以上である場合はＳ１７０３の処理を終了し、全ての面の画素数が所定の画素数未満である場合は処理をＳ１８０４に戻す。

Ｓ１７０４において、評価部１６０４は、鏡面反射情報に基づいて、領域毎に、評価情報を導出する。評価情報を導出する方法は、上述した実施形態と同等であるため説明を省略する。Ｓ１７０５において、圧縮部１６０５は、評価情報に基づいて、領域毎に、拡散反射情報を圧縮する。拡散反射情報を圧縮する方法は、上述した実施形態と同等であるため説明を省略する。

＜第３実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、鏡面反射情報を複数の領域に分割し、分割により得られた領域毎に評価情報を導出し、評価情報に基づいて拡散反射情報を圧縮する。これにより、反射特性データを用いて表現される物体の質感が劣化するのを抑制しつつ、反射特性データのデータ量を削減することができる。具体的には、所定の画素数以上の画素を含む領域毎に鏡面反射情報を評価するため、鏡面反射情報の評価精度を向上させることができ、効率的に拡散反射情報を圧縮することができる。また、ワールド座標系の法線情報に基づいて領域分割を行うことで、同一の観察方向からのレンダリング画像の見えを考慮して処理を行うことができ、より効率的に拡散反射情報を圧縮することができる。

＜変形例＞
本実施形態においては、所定の画素数以上の画素を含まない小さい面を、ワールド座標系における法線方向が最も近い面と合体することで、鏡面反射情報を領域分割したが、他の方法により鏡面反射情報を領域分割しても良い。金属や布などの素材の情報に基づいて領域分割を行っても良い。例えば、所定の画素数以上の画素を含まない小さい面を、素材が同一とみなせる面と合体することで、鏡面反射情報を領域分割する。素材情報に基づいて鏡面反射情報を領域分割することで、効率的に拡散反射情報を圧縮することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 情報処理装置
３０１ 拡散情報取得部
３０２ 鏡面情報取得部
３０４ 圧縮部

Claims (15)

1. 物体の表面における鏡面反射強度に関する鏡面反射情報を取得する第１取得手段と、
   前記物体における拡散反射光に関する拡散反射情報を取得する第２取得手段と、
   前記鏡面反射情報に基づいて、前記拡散反射情報を含むファイルのサイズを圧縮により小さくする圧縮手段と、を有し、
   前記圧縮手段は、前記鏡面反射強度が小さい場合よりも前記鏡面反射強度が大きい場合に前記拡散反射情報を含むファイルのサイズをより小さく圧縮することを特徴とする情報処理装置。
2. 前記鏡面反射情報は、前記物体の表面における法線情報を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記圧縮手段は、前記法線情報が表す法線方向のばらつきに基づいて、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項２に記載の情報処理装置。
4. 前記圧縮手段は、前記法線方向のばらつきが小さい場合よりも前記法線方向のばらつきが大きい場合に前記拡散反射情報を含むファイルのサイズをより小さく圧縮することを特徴とする請求項３に記載の情報処理装置。
5. 前記鏡面反射情報は、前記物体の表面における鏡面反射光の拡がり幅を含むことを特徴とする請求項１乃至請求項４のいずれか一項に記載の情報処理装置。
6. 前記圧縮手段は、前記拡がり幅が小さい場合よりも前記拡がり幅が大きい場合に前記拡散反射情報を含むファイルのサイズをより小さく圧縮することを特徴とする請求項５に記載の情報処理装置。
7. 前記法線方向のばらつきを、着目画素の法線方向と前記着目画素の近傍画素の法線方向との類似度に基づいて評価する評価手段をさらに有し、
   前記圧縮手段は、前記評価手段による評価の結果に基づいて、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項４に記載の情報処理装置。
8. 前記鏡面反射情報を複数の領域に分割する分割手段と、
   前記圧縮手段は、前記分割された領域毎に、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項１乃至請求項７のいずれか一項に記載の情報処理装置。
9. 前記圧縮手段は、前記鏡面反射情報に基づくＪＰＥＧ圧縮方式により、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項１乃至請求項８のいずれか一項に記載の情報処理装置。
10. 前記圧縮手段は、前記鏡面反射情報に基にルックアップテーブルを参照して取得した圧縮率を用いて、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項１乃至請求項９のいずれか一項に記載の情報処理装置。
11. 前記圧縮率は、ＪＰＥＧ圧縮方式の圧縮率であることを特徴とする請求項１０に記載の情報処理装置。
12. 前記圧縮手段は、前記鏡面反射情報に基づいて、前記拡散反射情報のビット深度を削減することにより、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項１乃至請求項８のいずれか一項に記載の情報処理装置。
13. 前記圧縮手段は、前記鏡面反射情報に基づいて、前記拡散反射情報の画素数を削減することにより、前記拡散反射情報を含むファイルのサイズを圧縮することを特徴とする請求項１乃至請求項８のいずれか一項に記載の情報処理装置。
14. コンピュータを請求項１乃至請求項１３のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
15. 物体の表面における鏡面反射強度に関する鏡面反射情報を取得する第１取得ステップと、
    前記物体における拡散反射光に関する拡散反射情報を取得する第２取得ステップと、
    前記鏡面反射情報に基づいて、前記拡散反射情報を含むファイルのサイズを圧縮により小さくする圧縮ステップと、を有し、
    前記圧縮ステップにおいて、前記鏡面反射強度が小さい場合よりも前記鏡面反射強度が大きい場合に前記拡散反射情報を含むファイルのサイズをより小さく圧縮することを特徴とする情報処理方法。