JP3967367B2 - 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム - Google Patents

Description

本発明は、画像処理技術に関するものであり、特に、拡大や縮小などの画像変換、画像圧縮、および、テクスチャマッピングを実現する技術に関するものである。

画像機器とネットワークのデジタル化により、任意の画像機器が接続できるようになり、画像交換の自由度が高まっている。そして、利用者がシステムの違いに制約を受けることなく、自由に画像を扱える環境が整備されてきた。例えば、利用者は、デジタルスチルカメラで撮影した画像をプリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したりすることが可能になっている。

逆にシステム側は、様々な画像フォーマットに対応する必要があり、画像フォーマット変換には自ずと高度化が求められる。例えば画像サイズの変換は頻繁に発生し、アップコンバータ（画像数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす装置）が必要になる。例えば、６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿が必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。一方、ネットワーク上に公開された画像は、最終的な出力形態が決まっていないため、出力デバイスが決まる都度、対応する画像サイズに変換する必要がある。また、家庭用テレビでは、デジタル地上波のサービスが開始されており、従来の標準テレビ画像とＨＤ（High Definition）テレビ画像とが混在し、画像サイズの変換が頻繁に用いられる。

画像サイズが多岐に渡れば、画像圧縮におけるスケーラビリティの重要性が高まる。スケーラビリティとは、１つのビット・ストリームから、あるときは標準テレビの画像データを、あるときはＨＤテレビの画像データを取り出すことであり、様々な画像サイズを取り出せる自由度を指す。スケーラビリティが確保されると、画像フォーマットごとに伝送経路を準備する必要がなく、伝送容量も少なくて済む。

画像拡大や画像縮小などの画像変換は、コンピュータグラフィックスにおけるテクスチャマッピングでも多用される（被写体表面に現れる模様やパターンを総称して、「テクスチャ」と呼ぶ）。テクスチャマッピングはコンピュータ内に形成した３次元物体表面に２次元画像を貼り付けて物体表面の模様や質感を表現する手法である。２次元画像を３次元物体の表面の向きに合わせて貼り付けるため、２次元画像に拡大、縮小、変形、回転などの処理を施す必要がある（非特許文献１を参照）。

従来、画像拡大、画像縮小、画像圧縮などの処理は、複数の画素間での輝度値の違いを利用している。

すなわち、画像拡大では、サンプリング時に存在しなかった画像データを新たに生成するために、バイリニア法やバイキュービック法などによって、輝度値を内挿する（非特許文献１を参照）。内挿ではサンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化する傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する技術が開示されている（非特許文献２、非特許文献３を参照）。特に、非特許文献３では、多重解像度表現とリプシッツ指数の導入によって、エッジの先鋭さに応じてエッジ強調を選択的に行う工夫が成されている。

画像縮小では、画素の一部を削除するが、画像縮小前には離れた位置にあった画素が隣り合うと連続性が乱れ、モアレを生じてしまう。そこで、画素の一部を削除する前に低域通過フィルタを掛けて、輝度変化を滑らかにし、その後、画素の一部を削除する方法が一般的である。

さらに画像圧縮では、隣接画素間での輝度値の相関が高い性質を利用する。輝度値の相関を表現するために、空間周波数成分を直交成分に分解する。直交変換には離散コサイン変換が一般に利用され、隣接画素間での輝度値の相関の高さから低周波項にエネルギーが集中するので、高周波項を削除して画像情報を圧縮する（非特許文献４を参照）。
特開２００５−１４９３９０号公報 荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４５、２００３年９月２５日， H.Greenspan, C.H.Anderson,「Image enhanced by non-linear extrapolation in frequect space」,SPIE Vol.2182 Image and Video Processing II，１９９４年 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８ １９９８年１０月 マルチメディア通信研究会編，「ポイント図解式 ブロードバンド＋モバイル標準ＭＰＥＧ教科書」，アスキー，ｐｐ．２５−２９、２００３年２月１１日 画像処理ハンドブック編集委員会編，「画像処理ハンドブック」，昭晃堂，ｐｐ．３９３、１９８７年６月８日 梅山伸二，「物体の見えからの拡散／鏡面反射成分の分離 −偏光フィルタを介した多重観測と確率的独立性を用いて−」，画像の認識・理解シンポジウム２００２，ｐｐ．I−４６９ − ｐｐ．I−４７６、２００２年

ところが、従来の技術では次のような問題があった。

上述したように、画素間の輝度の違いを用いて、画像拡大、画像縮小、画像圧縮等の画像変換を行った場合、エッジ成分とノイズとの分離が難しく、画像変換によって画質が劣化してしまう可能性が高い、という問題がある。

すなわち、画像拡大では、内挿によってぼけた初期拡大画像のエッジ部を強調するため、エッジ部とともにノイズも強調されてしまい、画像劣化を招くおそれがある。また、画像圧縮では、ノイズが隣接画素間の相関を低め、圧縮効率を低下させる原因となる。さらに、画像拡大における内挿画像のエッジ強調や、画像縮小における平滑化は、経験的手法であり、明確なノイズ対策が施されていないため、画像変換後の画質を保証できない、と言った問題も有する。

前記の問題に鑑み、本発明は、画像変換、画像圧縮およびテクスチャマッピングにおいて、従来よりもノイズの影響を受けにくくし、画質をより安定させることを課題とする。

本発明は、画像変換方法として、第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得し、各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定し、各パラメータ毎に、画像変換の内容に応じて、特定した同質領域毎に、当該パラメータの変換処理を行い、変換処理後の各パラメータを用いて、第２の画像の各画素の輝度を求めるものである。

この発明によると、画像変換の対象となる第１の画像について、輝度を与える照明方程式を構成する複数のパラメータを、それぞれ取得する。ここでいうパラメータとは、例えば、被写体の光学特性、環境条件、被写体の表面法線などである。そして、各パラメータ毎に同質領域を特定し、画像変換の内容に応じて、特定した同質領域毎に、当該パラメータの変換処理を行う。画像変換後の第２の画像の各画素の輝度は、変換処理後の各パラメータを用いて、求められる。

すなわち、輝度を照明方程式パラメータに分解して、各パラメータ毎に画素間の相関を利用して、画像変換を行う。照明方程式パラメータは、例えば表面法線や光学特性のように独立性が高い。このため、パラメータ毎に処理を行う場合、パラメータの積分値として与えられる輝度を用いて処理を行う場合に比べて、ノイズの特異性を捉えやすい。さらに光学特性は、独立性の高い要因である拡散反射成分や鏡面反射成分に分解できるため、ノイズの特異性を際立たせることができる。また、同質領域は、被写体の物理的特性である照明方程式パラメータの類似性に基づいて特定されるため、いわば、物理的裏付けをもって定められたものとなる。そして、画像変換は、各パラメータに対して、同質領域毎に実行されるため、エッジ部は同質領域間の境界条件として保存される。したがって、エッジの先鋭さやテクスチャ感を保存したまま、画質の安定した画像変換を実現することができる。しかも、従来技術のようにエッジを直接検出する必要がなく、ノイズ混入の問題は生じない。

そして、前記本発明の画像変換方法において、画像拡大を行う場合は、各パラメータの変換処理として、当該パラメータを高密化する処理を行えばよい。上述したように、本発明では、同質領域はいわば物理的裏付けをもって定められたものとなる。このため、従来のような内挿補間した初期拡大画像をエッジ強調する経験的な技術に比べて、同質領域毎にパラメータを高密化する本発明は、客観的なものであり、拡大画像の画質をより安定化させることができる。

また、前記本発明の画像変換方法において、画像縮小を行う場合は、各パラメータの変換処理として、当該パラメータを低密化する処理を行えばよい。画像拡大の場合と同様に、従来のような低域通過フィルタを用いる経験的な手法に比べて、同質領域毎にパラメータを低密化させる本発明は、客観的なものであり、縮小画像の画質をより安定化させることができる。

また、本発明は、画像圧縮方法として、画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得し、各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定し、各パラメータ毎に、特定した同質領域毎に、当該パラメータの圧縮符号化を行うものである。

この発明によると、画像圧縮の対象となる画像について、輝度を与える照明方程式を構成する複数のパラメータを、それぞれ取得する。そして、各パラメータ毎に同質領域を特定し、特定した同質領域毎に、当該パラメータの圧縮符号化を行う。同質領域内では、照明方程式パラメータに関して近傍画素間での相関が高いので、輝度値をベースとした画像圧縮よりも、圧縮効率を向上させることができる。また、エッジ部は同質領域間の境界条件として保存される。したがって、エッジの先鋭さやテクスチャ感を保存したまま、圧縮効率の高い画像圧縮を実現することができる。

また、本発明は、テクスチャマッピング方法として、テクスチャ画像を３次元ＣＧモデルのオブジェクトに貼り付ける前処理を行い、オブジェクトに貼り付けられたテクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得し、各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定し、各パラメータ毎に、所定の画像変換の内容に応じて、特定した同質領域毎に、当該パラメータの変換処理を行い、変換処理後の各パラメータを用いて、オブジェクトの画像の各画素の輝度を求めるものである。

この発明によると、上述した画像変換方法と同様に、エッジの先鋭さやテクスチャ感を保存したまま、画質の安定したテクスチャマッピングを実現することができる。

本発明によると、輝度値を構成する照明方程式パラメータ毎に、同質領域毎に、変換処理を行うので、エッジの先鋭さやテクスチャ感を保存したまま、画質の安定した画像変換やテクスチャマッピングを実現することができる。また、エッジの先鋭さやテクスチャ感を保存したまま、圧縮効率の高い画像圧縮を実現することができる。

本発明の第１態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法として、前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得する第１のステップと、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、前記各パラメータ毎に、前記所定の画像変換の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの変換処理を行う第３のステップと、前記第３のステップにおける変換処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める第４のステップとを備えたものを提供する。

本発明の第２態様では、前記所定の画像変換は画像拡大であり、前記第３のステップにおける変換処理は、当該パラメータを高密化する処理である第１態様の画像変換方法を提供する。

本発明の第３態様では、前記所定の画像変換は画像縮小であり、前記第３のステップにおける変換処理は、当該パラメータを低密化する処理である第１態様の画像変換方法を提供する。

本発明の第４態様では、前記第１のステップにおける前記複数のパラメータの取得は、被写体からの計測または前記第１の画像からの推定によって行う第１態様の画像変換方法を提供する。

本発明の第５態様では、前記第２のステップにおいて、複数画素における当該パラメータの値の分散を用いて類似度合の評価を行う第１態様の画像変換方法を提供する。

本発明の第６態様では、前記第２のステップは、特定した同質領域内のノイズ除去を行う処理を含む第１態様の画像変換方法を提供する。

本発明の第７態様では、テクスチャマッピング方法として、テクスチャ画像を３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得する第１のステップと、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、前記各パラメータ毎に、所定の画像変換の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの変換処理を行う第３のステップと、前記第３のステップにおける変換処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める第４のステップとを備えたものを提供する。

本発明の第８態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する装置として、前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得するパラメータ取得部と、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する同質領域特定部と、前記各パラメータ毎に、前記所定の画像変換の内容に応じて、前記同質領域特定部によって特定された同質領域毎に、当該パラメータの変換処理を行うパラメータ変換部と、前記パラメータ変換部による変換処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める輝度算出部とを備えたものを提供する。

本発明の第９態様では、テクスチャマッピング装置として、テクスチャ画像を３次元ＣＧモデルのオブジェクトに貼り付ける前処理部と、前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得するパラメータ取得部と、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する同質領域特定部と、前記各パラメータ毎に、所定の画像変換の内容に応じて、前記同質領域特定部によって特定された同質領域毎に当該パラメータの変換処理を行うパラメータ変換部と、前記パラメータ変換部による変換処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める輝度算出部とを備えたものを提供する。

本発明の第１０態様では、画像変換を行うサーバークライアントシステムとして、第８態様のパラメータ取得部、同質領域特定部およびパラメータ変換部を有するサーバーと、第８態様の輝度算出部を有するクライアントとを備え、前記クライアントは、前記サーバーに画像変更の内容を指示するものを提供する。

本発明の第１１態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムとして、前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得する第１のステップと、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、前記各パラメータ毎に、前記所定の画像変換の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの変換処理を行う第３のステップと、前記第３のステップにおける変換処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める第４のステップとをコンピュータに実行させるものを提供する。

本発明の第１２態様では、テクスチャマッピングプログラムとして、テクスチャ画像を３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータをそれぞれ取得する第１のステップと、前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、前記各パラメータ毎に、所定の画像変換の内容に応じて、前記第２のステップにおいて特定した同質領域毎に当該パラメータの変換処理を行う第３のステップと、前記第３のステップにおける変換処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める第４のステップとをコンピュータに実行させるものを提供する。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。

本実施形態では、輝度を与える照明方程式として、例えば（数１）および（数２）に示す式を用いて、この式を構成する複数のパラメータ毎に、同質領域を特定する。そして、同質領域毎に、当該パラメータの変換処理を行い、所定の画像変換を実現する。

ここで、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは光源方向を表わす光源ベクトル、ｄωは光源の立体角、ρｄは拡散反射成分の双方向反射率、ρｓは鏡面反射成分の双方向反射率、Ｆλはフレネル係数、ｍはマイクロファセット分布、ｎは屈折率である。また、ｋｄは拡散反射成分比、ｋｓは鏡面反射成分比であり、ｋｄ＋ｋｓ＝１の関係を持つ。ベクトルＨは光源ベクトルＬと視点ベクトルＶとの中間に位置するハーフベクトル、βは表面法線ベクトルＮと視点ベクトルＶとのなす角度で、光源ベクトルＬ、表面法線ベクトルＮ、視点ベクトルＶから算出できる。

図２は輝度と照明方程式パラメータとの関係を示す模式図である。同図中、（ａ）は（ｂ）に示す画像の輝度の分布を示すグラフ、（ｃ）〜（ｆ）は照明方程式パラメータのうち、拡散反射成分の双方向反射率ρｄ、鏡面反射成分の双方向反射率ρｓ、拡散反射成分比ｋｄおよび表面法線ベクトルＮの分布を、それぞれ示すグラフである。図２（ａ），（ｃ）〜（ｆ）のグラフにおいて、横軸は空間位置、縦軸は輝度または各パラメータの値である。

図２（ｂ）の画像では、４種類のオブジェクトＸ１〜Ｘ４が存在する。オブジェクトＸ１は左から右へ明るくなる輝度分布、オブジェクトＸ２は規則性のないランダムな輝度分布、オブジェクトＸ３は中央部にハイライトを持つ輝度分布、オブジェクトＸ４は全空間位置において等輝度の分布を持つ。

オブジェクトＸ１の範囲では、拡散反射成分の双方向反射率ρｄ、拡散反射成分比ｋｄおよび表面法線ベクトルＮが、同質領域（ＡＡ１，ＡＣ１，ＡＤ１）をそれぞれ持ち、鏡面反射成分の双方向反射率ρｓのみが変化している。このρｓの変化が、輝度の変化を生じさせている。オブジェクトＸ２の範囲では、拡散反射成分の双方向反射率ρｄ、鏡面反射成分の双方向反射率ρｓおよび表面法線ベクトルＮが、同質領域（ＡＡ２，ＡＢ１，ＡＤ２）をそれぞれ持ち、拡散反射成分比ｋｄのみが変化している。拡散反射成分比ｋｄは、規則性のないランダムな変化を持ち、輝度もランダムに変化して、細かなテクスチャを形成している。

オブジェクトＸ３の範囲では、拡散反射成分の双方向反射率ρｄ、鏡面反射成分の双方向反射率ρｓおよび拡散反射成分比ｋｄが、同質領域（ＡＡ２、ＡＢ２、ＡＣ２）を持ち、表面法線ベクトルＮのみが変化している。このＮの変化が、輝度の変化を生じさせている。オブジェクトＸ４の範囲では、各パラメータρｄ、ρｓ、ｋｄ、Ｎが全て同質領域（ＡＡ３、ＡＢ３、ＡＣ３、ＡＤ３）を持つため、輝度値は一定である。なお、拡散反射成分比ｋｄが高く拡散反射成分が主であり（図２（ｅ））、拡散反射成分の双方向反射率ρｄが低いため（図２（ｃ））、オブジェクトＸ４の範囲での輝度値は低い。

非特許文献２，３に示された従来の画像拡大処理では、図２（ａ）のような輝度変化からエッジを検出し、これを強調している。この場合、輝度変化からのエッジ抽出はノイズとの分離が困難であり、エッジ強調によってノイズも強調されてしまう、という問題がある。

（数１）から分かるように、照明方程式を構成するパラメータが１つでも変化すれば、輝度は変化する。そこで、エッジの検出は、輝度変化から行うよりも、パラメータ毎に行う方が安定であることが理解できる。本実施形態では、エッジは、異なる同質領域が近接して生じるので、同質領域が安定に求められるパラメータほどエッジも安定に求めることができる。したがって、同質領域ごとに各パラメータを変換することによって、エッジの先鋭感やテクスチャ感を保存したまま、画像変換を実行することができる。

図１のフローにもどり、ステップＳ００において、初期設定を行う。ここでは、画像変換の対象となる第１の画像を取得するとともに、同質領域判定用の閾値ＴＨＥＰＲ、同質領域マージ判定用の閾値ＴＨＭＥＰＲ、およびノイズ判定用の閾値ＴＨＮを設定する。これらの閾値の用い方については、後述する。

第１のステップとしてのステップＳ１０において、第１の画像の各画素について、所定の照明方程式を構成する複数のパラメータを、それぞれ取得する。ここでは、上述の（数１）および（数２）の照明方程式を用いる。ここでは、環境光の輝度Ｉａ、環境光の反射率ρａ、光源の輝度Ｉｉ、光源ベクトルＬおよび光源の立体角ｄωを環境条件と呼び、拡散反射成分の双方向反射率ρｄ、鏡面反射成分の双方向反射率ρｓ、拡散反射成分比ｋｄ、鏡面反射成分比ｋｓを光学特性と呼ぶ。これらは、（数１）に示す照明方程式に従って、視点方向への反射光の輝度値Ｉｖを与える。

図３は（数１）が前提としている幾何条件を示す概念図である。図３に示すように、物体表面ＳＦ上の現在の注目点Ｐに放射照度Ｉｉ（Ｎ・Ｌ）ｄωで光源から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓだけ反射される。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。

なお、ここで示した照明方程式やパラメータの種類はあくまでも一例であり、本発明は、照明方程式の構造やパラメータの種類に対して制限を与えるものでなく、これらは任意である。

（数１）の各パラメータは、被写体からの計測、または、与えられた撮像画像からの推定などによって、得ることができる。例えば、表面法線ベクトルＮは、三角測量の原理を用いてレンジファインダ等によって計測できる（例えば、非特許文献５を参照）。三角測量の原理とは、３角形の一辺とその両端の角度が決まると３角形が一義的に定まることを利用しており、図４に示すように、既知の距離ｌだけ離れた２点Ａ，Ｂから点Ｐを見る角度をそれぞれα、βとすると、点Ｐの座標値（ｘ、ｙ）は以下で与えられる。

また、拡散反射と鏡面反射とを分離する手法として、例えば非特許文献６には、鏡面反射成分が偏光する性質を利用する技術が開示されている。光が物体表面で反射する場合、光の入反射面に平行な電場成分と垂直な電場成分とでは、通常、フレネル係数が異なるため、反射光は偏光する。このため、鏡面反射成分は一般的に偏光しているが、拡散反射は乱反射であるため、偏光性を持たない。そこで、図５に示すように、偏光フィルタＰＦを通して反射光ＲＲを観測した場合、透過光ＲＲＰの強度は、反射光ＲＲのうち偏光フィルタＰＦの偏光軸ＰＦＡに平行な成分の強度となる。このため、物体表面ＳＦからの鏡面反射成分を偏光フィルタＰＦを回転させながら観測した場合、透過光ＲＲＰの強度は偏光フィルタＰＦの偏光軸ＰＦＡと鏡面反射の偏光面ＳＰＰとの間の角度ψに応じて変化し、次式で与えられる。

ここで、Ｌｄは拡散反射成分の輝度、Ｌｓは鏡面反射成分の輝度、θ’ｉは微小反射面での光の入射角、ＦＰ は絶縁体に対する平行電場成分のフレネル係数、ＦＶ は絶縁体に対する垂直電場成分のフレネル係数である。

一方、各パラメータを撮影画像から推定する方法としては、例えば、空間応答特性と照明方程式パラメータとの対応関係を予め学習しておき、パラメータを取得する際に、その学習データを参照する方法が有効である。例えば、図６に示すように、画像特徴ベクトルと照明方程式パラメータとの関係を予め学習しておき、画像特徴ベクトルデータベース５０２および照明方程式パラメータデータベース５０３を準備しておく。第１の画像としての入力画像ＩＩＮは、画像特徴解析処理５０１によって入力画像特徴ベクトルＩＩＮＦＶに変換される。画像特徴解析処理５０１では、例えばウェーブレット変換等によって空間応答特性を求める。画像特徴ベクトルデータベース５０２は入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、入力画像特徴ベクトル番号ＩＩＮＦＶＮを出力する。照明方程式パラメータデータベース５０３は、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応する照明方程式パラメータを入力画像照明方程式パラメータＩＩＮＬＥＰとして出力する。この方法を用いれば、所定の照明方程式のパラメータを、全て取得することができる。

なお、本発明は照明方程式のパラメータの計測方法や推定方法に制限を与えるものではなく、任意の方法が適応できる。たとえば、表面法線ベクトルＮは、フォトメトリックステレオ法により、光源方向の異なる３枚以上の画像から得た（数８）を、一般化逆行列を用いて（数９）に変換することによって推定できる（R.J.Woodham,“Photometric method for determining surface orientation from multiple images”,Optical Engineering 19,pp.139-144 １９８０年）。

ここで、ベクトルｘは反射率ρｄを長さに持つ表面法線ベクトルρｄＮを撮影回数分まとめたベクトル、行列Ｌは複数の光源ベクトルＬを撮影回数分まとめた光源行列、ベクトルｖは複数の視点方向への反射光の輝度値Ｉｖを撮影回数分まとめたベクトルである。ただし、物体表面は均等拡散面（Ｌａｍｂｅｒｔｉａｎ面）とし、光源は無限遠にある点光源と仮定する。また、拡散反射と鏡面反射とを分離する手法は、図５に示した手法以外に、たとえばＲＧＢ信号から形成される３次元色空間に分布する拡散反射成分と鏡面反射成分の分布形状の違いを利用する方法（S.Tominaga, N.Tanaka,“Estimating reflection parameters from a single color image”,IEEE Computer Graphics and Applications,vol.20,Issue 5,pp.58-66, ２０００年）などがある。

次に、第２のステップとしてのステップＳ２０において、各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する。ここで、パラメータの類似性は、複数画素の領域における当該パラメータの分散によって評価する。この分散値が、ステップＳ００で設定された同質領域判定用閾値ＴＨＥＰＲよりも小さいときは、その複数画素の領域は同質領域と判定され、一方、同質領域判定用閾値ＴＨＥＰＲよりも大きいか等しいときは、同質領域ではないと判定される。この場合は、その領域の画素全てお互いに異質であるか、または、異なる同質領域が含まれているものと推定される。いずれの場合も、エッジが含まれていると考えられるので、エッジの先鋭感やテクスチャ感を保存するために、同質領域に含まれない画素には処理を加えない。

例えば、表面法線ベクトルの場合、同質であるときはベクトルの角度差が小さくなる。そこで、同質領域判定用閾値ＴＨＥＰＲを例えば０．５度と定め、分散値が０．５度よりも小さいときは同質領域と判定し、０．５度よりも大きいか等しいときは、異質と判定する。また、拡散反射成分比ｋｄは比率であり、０から１の値を取るので、同質領域判定用閾値ＴＨＥＰＲを例えば０．０１と定める。そして、分散値が０．０１よりも小さいときは同質領域と判定し、分散値が０．０１よりも大きいかまたは等しいときは、異質と判定する。

パラメータの類似性を判定する複数画素の領域の設定は、任意であるが、ここでは、縦５画素×横５画素からなる単位領域を用いる（Ｓ２１）。この場合、図７に示すようなＰ０１〜Ｐ２８までの２８種類の判定を行えば、単位領域ＵＡ内のすべてのパターン形状に対して同質領域を抽出できる。ただし、（１）同質領域に含まれる画素はすべて隣接し合うこと、（２）単位領域ＵＡの中心画素を必ず含むこと、が条件になる。２８種類すべてのパターンにおいて２段階で判定を行う。まず、３×３の中心エリアＣＡにおいて、９個の画素のうち、グレーの３個の画素について同質であるか否かを判定する。次に、同質と判定されたパターンについては、中心エリアＣＡの外側にあるハッチの付された画素を含めて同質であるか否かを判定する。複数のパターンが同質領域として判定された場合は、それらの和を取って同質領域とする。

このような処理によって、特定した単位領域毎に、同質領域を認識することができる（Ｓ２２）。同質領域が新たに認識されると（Ｓ２２でＹｅｓ）、この新たな同質領域を追加すべく、同質領域データを更新する（Ｓ２３）。全ての単位領域について判定が済むまで、ステップＳ２１〜Ｓ２３を繰り返し実行する（Ｓ２４）。図８に示すように、縦５画素×横５画素の単位領域ＵＡを水平と垂直に１ライン重なり合うように走査していけば、単位領域ＵＡで生成された同質領域同士が接合されて、画像全体まで広げられる。

次にステップＳ２５において、隣接する単位領域においてそれぞれ認識された複数の同質領域の類似性を評価し、類似する同質領域をマージする。同質領域の類似性の評価方法は任意であるが、例えば、単位領域ごとにパラメータ値の平均値を求め、この平均値の差分値を用いて判断すればよい。すなわち、差分値がステップＳ００で設定した同質領域マージ判定用閾値ＴＨＭＥＰＲよりも小さいときは、同質領域同士をマージする。

次にステップＳ２６において、同質領域内のノイズの有無を判定する。この判定は例えば、同質領域内における全画素のパラメータ値の平均値を基準にし、ある画素のパラメータ値とこの平均値との差分が、ステップＳ００で設定したノイズ判定用閾値ＴＨＮよりも大きいとき、これをノイズと判定する。表面法線ベクトルは、ノイズであるとき、ベクトルの角度の平均値との差分が大きくなる。そこで、ノイズ判定用閾値ＴＨＮを例えば３０度と定め、平均値との差分が３０度よりも大きいとき、ノイズと判定する。また、拡散反射成分比ｋｄに関しては、ノイズ判定用閾値ＴＨＮを例えば０．２と定め、平均値との差分が０．２よりも大きいとき、ノイズと判定する。

そして、同質領域がノイズを含むと判定したとき（Ｓ２６でＹｅｓ）、ステップＳ２７において、同質領域内のノイズを除去する。図９はノイズ除去の一例であり、グレーの画素が同質領域であり、Ｐ１，Ｐ２がノイズと判定された画素を示す。例えば、ノイズと判定された画素の周辺８画素のうち、同質領域に含まれる画素のパラメータ値の平均値を求め、これをノイズと置き換える。画素Ｐ１の場合、周辺８画素すべてが同質領域に属するので、周辺８画素すべてのパラメータ値の平均値で置き換える。一方、画素Ｐ２の場合、周辺８画素のうち２個の画素が同質領域に属するため、この２画素の平均値で置き換える。なお、ここで説明したノイズ除去の方法は一例であり、任意の方法を用いてもかまわない。

ステップＳ２０の結果、同質領域に該当しない画素は、エッジを形成する。

そして、第３のステップとしてのステップＳ３０において、各パラメータ毎に、所定の画像変換の内容に応じて、ステップＳ２０で特定した同質領域毎に、当該パラメータの変換処理を行う。

図１０は画像変換として画像拡大を行う場合の処理を示す概念図である。図１０に示すように、画像拡大を行う場合は、同質領域内でパラメータを高密化する。図１０（ａ）は変換前のパラメータの分布を示しており、パラメータ値の平均がＰ１である同質領域ＡＥ１と、パラメータ値の平均がＰ２である同質領域ＡＥ２とが隣接している。そして、同質領域ＡＥ１とＡＥ２との境界に位置する画素Ｓ１，Ｓ２の輝度差が、エッジを形成している。いま、図１０（ａ）の分布を例えば２倍に画像拡大するためには、図１０（ｂ）に示すように、各黒丸の画素の間に白丸の画素を挿入すればいい。白丸の画素のパラメータ値は、例えば隣接する黒丸の画素のパラメータ値とする。また、画素Ｓ１，Ｓ２の間には、どちらかのパラメータ値をそのままコピーして新たな画素Ｓ３を生成すればよい。図１０（ｂ）では、画素Ｓ１のパラメータ値を画素Ｓ３にコピーし、画素Ｓ２，Ｓ３の輝度差を図１０（ａ）における画素Ｓ１，Ｓ２の輝度差に一致させている。これにより、エッジは保存される。

なお、同質領域でない部分は、すべてエッジとして扱えばよい。例えば、図２（ｅ）の同質領域ＡＣ１とＡＣ２との間にはさまれた部分には、画素と画素の間に１０の区間が存在するが、これら全てが１つ１つエッジであると捉える。高密化の方法は、図１０の画素Ｓ３と同様に、隣接画素のパラメータ値をコピーすればよい。例えば、高密化する位置の左側の画素からコピーしたり、右側からコピーしたり、または、１区間おきに左側、右側を切り替えてコピーしたりしてもよい。

図１１は画像変換として画像縮小を行う場合の処理を示す概念図である。図１１に示すように、画像縮小を行う場合は、同質領域内でパラメータを低密化する。低密化の方法は任意であるが、図１１では一例として、周辺画素のパラメータ値の平均値を用いている。図１１（ａ）は変換前のパラメータの分布を示しており、パラメータ値の平均がＰ１である同質領域ＡＦ１と、パラメータ値の平均がＰ２である同質領域ＡＦ２とが隣接している。そして、同質領域ＡＦ１とＡＦ２との境界に位置する画素Ｓ６，Ｓ７の輝度差が、エッジを形成している。図１１（ａ）の分布を例えば１／２に画像縮小して、図１１（ｂ）のような分布を生成する。同質領域ＡＦ１では、画素群ＳＧ１におけるパラメータ値の平均値を画素Ｓ４のパラメータ値とし、画素群ＳＧ２におけるパラメータ値の平均値を画素Ｓ５のパラメータ値とし、低密化を実現する。このとき、画素群ＳＧ１と画素群ＳＧ２とを一部重複させることによって、縮小画像のパラメータ値の変化を滑らかにしている。図１１（ａ）におけるエッジである画素Ｓ６，Ｓ７の輝度差は、図１１（ｂ）における画素Ｓ７，Ｓ８の輝度差として保存する。すなわち、画素Ｓ８のパラメータ値は画素Ｓ６からコピーする。

そして、第４のステップとしてのステップＳ４０において、ステップＳ３０における変換処理後の各パラメータを用いて、所定の画像変換の後の第２の画像の各画素の輝度を求める。このとき、（数１）の照明方程式に各パラメータを与えて、各画素毎に、反射光強度Ｉｖを算出すればよい。

以上のように本実施形態によると、輝度を照明方程式パラメータに分解して、各パラメータ毎に画素間の相関を利用して、画像拡大や画像縮小などの画像変換を行う。すなわち、画像変換は、各パラメータに対して、同質領域毎に実行されるため、エッジ部は同質領域間の境界条件として保存される。また、同質領域は、被写体の物理的特性である照明方程式パラメータの類似性に基づいて特定されるため、いわば、物理的裏付けをもって定められたものとなる。したがって、エッジの先鋭さやテクスチャ感を保存したまま、画質の安定した画像変換を実現することができる。

なお、ステップＳ１０を実行するパラメータ取得部と、ステップＳ２０を実行する同質領域特定部と、ステップＳ３０を実行するパラメータ変換部と、ステップＳ４０を実行する輝度算出部とを備えた画像変換装置を、構成してもよい。

＜照明方程式の他の例＞
なお、 本発明で用いる照明方程式は、本実施形態で示したものに限られるものではなく、例えば、次のようなものを用いてもよい。

（数５）は拡散反射物体を対象にしたものであり、パラメータは６個である。ただし、Ｉｖ，ａは周辺から視線方向への光強度を表わす。（数６）は拡散反射と鏡面反射を分けないものであり、パラメータは５個である。（数７）は反射率を考慮しないものであり、パラメータは２個である。ただし、Ｉｖ，ｉは注目画素から視線方向への光強度を表わす。

（第２の実施形態）
本発明の第２の実施形態では、所定の画像変換として、画像圧縮を行うものとする。基本的な処理の流れは第１の実施形態と同様であり、ステップＳ３０において、画像圧縮のために、各パラメータを圧縮符号化する処理を行う。この場合、通常は、ステップＳ４０は実行されずに、圧縮された画像データを転送したり記録したりする。そして、画像を再生する場合は、各パラメータをそれぞれ復号化し、各画素の輝度を算出する。本実施形態に係る画像変換方法も、第１の実施形態と同様に、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。また、ステップＳ１０を実行するパラメータ取得部と、ステップＳ２０を実行する同質領域特定部と、ステップＳ３０を実行するパラメータ圧縮部とを備えた画像圧縮装置を、構成してもよい。

図１２は本実施形態におけるパラメータ変換処理を示す概念図である。図１２（ａ）において、白丸は同質領域ＡＧ１〜ＡＧ３に属する画素のパラメータ値を表し、ハッチが付された丸は同質領域に属さない画素のパラメータ値を表す。図１２（ａ）に示すように、各同質領域ＡＧ１〜ＡＧ３ではパラメータ値はほぼ均等であり、このため、パラメータ値に関する情報量はほとんど平均値に集約されている。したがって、各同質領域ＡＧ１〜ＡＧ３では、パラメータ値の平均値、および各画素のパラメータ値と平均値との差分を符号化するものとし、かつ、差分には少量の符号量を割り当てるようにする。これにより、画質を損なうことなく、少ない符号量で、パラメータ値の圧縮符号化を行うことができる。

例えば、図１２（ｂ）の符号化列に示すように、同質領域ＡＧ１に関して、まず、符号化タイプＴＰ１を宣言し（ここでは「平均値との差分」）、次に平均値Ｄ１、各画素での平均値との差分Ｄ２と続け、最後に区切り信号ＳＧ１を付す。なお、区切り信号ＳＧ１を付す代わりに、符号化タイプとして特別な符号を割り当て、区切りが認識できるようにしてもよい。また、差分Ｄ２が無視できるほど小さい場合は、ランレングス符号化を適用してもよい。

同質領域に属さない画素に関しては、パラメータ値が不規則に変化しているので、平均値との差分で符号化してもデータ量の圧縮は期待できない。そこで、たとえばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）に採用されている直交変換などを用いればいい。すなわち、符号化タイプＴＰ２として「直交変換」を宣言し、周波数係数Ｄ３を第１周波数項から順に符号化していく。なお、同質領域が画像中のほとんどの範囲を占める場合は、同質領域に属さない画素のパラメータ値をそのまま符号化してもかまわない。

区切り信号ＳＧ２の後、同質領域ＡＧ２，ＡＧ３に関しては、同質領域ＡＧ１と同様に、符号化タイプＴＰ３，ＴＰ４として「平均値との差分」を宣言する。

以上のように本実施形態によると、輝度値を構成するパラメータに分解して、近傍画素との相関を求めることによって、輝度値よりも高い相関が期待でき、したがって、圧縮効率を向上させることができる。また、同質領域ごとに圧縮符号化を行うので、先鋭感やテクスチャ感を保存したまま、輝度値ベースよりも高い圧縮率を実現できる。

（第３の実施形態）
本発明の第３の実施形態では、上述したような画像変換方法を、コンピュータグラフィックスにおけるテクスチャマッピングに適用する。

図１３はレンダリング処理の主な流れを示すフローチャートである。レンダリング処理とは、コンピュータグラフィックスにおいて、コンピュータ内に生成した３次元モデルを２次元の画像データに変換する処理のことである（例えば非特許文献１のｐｐ．７９を参照）。図１３に示すように、レンダリング処理は、視点と光源の設定Ｓ１０１、座標変換Ｓ１０２、陰面消去Ｓ１０３、シェーディングとシャドーイングＳ１０４、テクスチャマッピングＳ１０５、およびビューポート変換Ｓ１０６が、主なステップとなる。

まずステップＳ１０１において、視点ＶＡと光源ＬＳが設定されると、見え方が決まる。次にステップＳ１０２において、ローカル座標系で管理されていた各オブジェクトが正規座標系にまとめられ、ステップＳ１０３において、視点から見えない陰面部が削除される。そしてステップＳ１０４において、光源ＬＳからオブジェクトＯＡ、ＯＢへの光のあたり方が計算され、陰Ｓｈａｄｅと影Ｓｈａｄｏｗが生成される。

そして、ステップＳ１０５においてテクスチャマッピングを行い、オブジェクトＯＡ、ＯＢに対するテクスチャＴＡ、ＴＢを生成する。テクスチャは画像データと取得するのが一般的であり、テクスチャ画像ＴＩＡをオブジェクトＯＡの形状に合わせて変形し、オブジェクトＯＡ上に合成する。同様に、テクスチャ画像ＴＩＢをオブジェクトＯＢの形状に合わせて変形し、オブジェクトＯＢ上に合成する。

本実施形態では、このテクスチャマッピングにおいて、上述したような画像変換を適用する。すなわち、まず、テクスチャ画像ＴＩＡ，ＴＩＢを、３次元ＣＧモデルのオブジェクトＯＡ，ＯＢに貼り付ける前処理を行う。そして、図１のフローに従って処理を行う。ステップＳ１０では、２次元テクスチャ画像ＴＩＡ，ＴＩＢの光学パラメータと、オブジェクトＯＡ，ＯＢの表面法線ベクトルとを用いて、オブジェクトＯＡ，ＯＢに貼り付けられたテクスチャ画像ＴＩＡ，ＴＩＢの各画素について、パラメータを取得する。以降の処理は、第１の実施形態と同様である。なお、本実施形態に係るテクスチャマッピング方法も、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。また、上述の前処理を行う前処理部と、ステップＳ１０を実行するパラメータ取得部と、ステップＳ２０を実行する同質領域特定部と、ステップＳ３０を実行するパラメータ変換部と、ステップＳ４０を実行する輝度算出部とを備えたテクスチャマッピング装置を、構成してもよい。

最後に、ステップＳ１０６において、ビューポート変換を行い、表示されるスクリーンＳＣＮまたはウィンドウＷＮＤに合わせた画像サイズの２次元画像を生成する。

ここで、レンダリング処理は、視点や光源の位置が変わるために実行する必要があり、ゲーム機器のようなインタラクティブシステムでは、頻繁にレンダリング処理が繰り返される。テクスチャマッピングでは通常、物体表面に貼り付けるテクスチャデータを画像として準備するので、視点や光源が変わると、そのたびに、テクスチャデータを拡大、縮小、回転、色換え等によって変換する必要がある。

そこで本実施形態のように、パラメータ毎に画像変換を実施すれば、テクスチャ感を保存したまま、様々な視点や光源設定に応じたテクスチャマッピングを実現することができる。特に、光源の位置が変わった場合、テクスチャの変化を輝度値ベースで算出することは困難なので、本実施形態のように光源ベクトルを直接制御できる方法は、従来に比べて原理的に優位であるといえる。

以下、本発明を実現する構成例を例示する。

（第１の構成例）
図１４は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ１０１の解像度はディスプレイ１０２の解像度よりも低く、ディスプレイ１０２の表示能力を最大限に生かすために、メインメモリ１０３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ１０１で取り込まれた低解像度画像は画像メモリ１０４に記録される。外部記憶装置１０５には予め、図６に示したような画像特徴ベクトルデータベース５０２および照明方程式パラメータデータベース５０３が準備されており、メインメモリ１０３の画像変換プログラムから参照可能になっている。

画像変換プログラムによる処理は、第１の実施形態と同様であり、照明方程式パラメータごとに同質領域を判定し、同質領域内で高密化する。すなわち、メモリバス１０６を介して画像メモリ１０４の低解像度画像を読み込み、これをディスプレイ１０２の解像度に合わせて拡大し、再びメモリバス１０６経由でビデオメモリ１０７に転送する。ビデオメモリ１０７に転送された拡大画像は、ディスプレイ１０２に表示される。

なお、本発明は図１４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、照明方程式パラメータは、計測器によって被写体から直接計測してもかまわない。この場合、外部記憶装置１０５の画像特徴ベクトルデータベース５０２および照明方程式パラメータデータベース５０３は、必要でなくなる。また低解像度画像をネットワーク１０８から取得してもかまわない。また、外部記憶装置１０５にテクスチャデータを保持し、メインメモリ１０３において第３の実施形態で示したテクスチャマッピングを実行してもかまわない。

また、カメラ１０１の解像度がディスプレイ１０２の解像度よりも高い場合は、メインメモリ１０３にロードされた画像変換プログラムは、第１の実施形態で示したように画像縮小を行えばよい。また、第２の実施形態に従って画像圧縮を行ってもよく、この場合は、照明方程式パラメータをデータ圧縮して、ネットワーク１０８等から送信することができる。

また、カメラ１０１としては、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用できる。さらに、予め録画した映像を再生する再生装置においても、本発明を実現することができる。

（第２の構成例）
図１５は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ２０１の解像度はディスプレイ２０２の解像度よりも低く、ディスプレイ２０２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像拡大を実行する。サーバー３０１は、図６と同様に、画像特徴解析部５０１、画像特徴ベクトルデータベース５０２および照明方程式パラメータデータベース５０３を備えており、入力画像ＩＩＮから照明方程式パラメータＩＩＮＬＥＰを算出してパラメータ操作部２０５に出力する。この動作は、図１のフローにおけるステップＳ１０に相当する。画像特徴解析部５０１、画像特徴ベクトルデータベース５０２および照明方程式パラメータデータベース５０３によって、パラメータ取得部が構成されている。

一方、クライアント３０２の画像変換指示部２０３から、画像変換の指示が画像変換指示信号ＩＣＩＳとしてサーバー３０１のパラメータ操作指示部２０４に渡される。パラメータ操作指示部２０４は、画像変換指示信号ＩＣＩＳによる画像変換の内容を照明パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部２０５に出力する。パラメータ操作部２０５は、第１の実施形態に示した画像変換方法に従って、照明方程式パラメータＩＩＮＬＥＰを操作して画像拡大や画像圧縮を行い、新パラメータ値ＩＯＵＴＬＥＰを生成する。この動作は、図１のフローにおけるステップＳ２０およびＳ３０に相当する。パラメータ操作部２０５が、同質領域特定部およびパラメータ変換部に対応している。

このような動作によって、サーバー３０１はクライアント３０２からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク２０６を介してクライアント３０２に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３０２では、輝度算出部としての画像生成部２０７が拡大画像を生成し、ディスプレイ２０２に供給する。この動作は、図１のフローにおけるステップＳ４０に相当する。

なお、本発明は図１５の構成に拘束されるものではなく、カメラ２０１の解像度がディスプレイ２０２の解像度よりも高い場合は、パラメータ操作部２０５が第１の実施形態で示したように画像縮小を行えばよい。また、パラメータ操作部２０５が第２の実施形態に従って符号化装置として動作し、画像生成部２０７が復号化装置として動作すれば、圧縮データをネットワーク２０６に配信できる。

なお、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３０１に属するか、クライアント３０２に属するか、またはそれ以外に属するかなど）は、任意である。また、カメラ２０１としては、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用できる。さらに、予め録画した映像を再生する再生装置においても、本発明を実現することができる。

（第３の構成例）
図１６は第３の構成例を示す図であり、カメラでの撮影において本発明に係る画像変換を行う構成の一例である。

カメラ４０１は広角レンズ４０２を備え、たとえば画角１８０度の広視野を一度に撮影できる。広角レンズ４０２を上方に向けて取り付けることで光源４０３を撮影できる。広角レンズ４０２の光軸をｚ軸とし、カメラ４０１の内部にある広角用撮像素子４０４の水平方向をｘ軸、広角用撮像素子４０４の鉛直方向をｙ軸としたｘｙｚ３次元座標系を、広角レンズ４０２の焦点位置を座標原点として定め、光源ベクトルＬを求める。

図１７（ａ）は、光源４０３の位置と広角レンズ４０２で撮影された広角画像４０５との関係を示す。光源４０３の位置が曲線ＬＴに沿って移動した場合で考える。曲線ＬＴ上の位置ＰＳ１から位置ＰＳ５に移動した光源４０３は、広角画像４０５の直線ＳＴ上の位置ＰＸ１から位置ＰＸ５に記録される。光源４０３が位置ＰＳ２にある場合、直線ＳＴとｘ軸が成す角度をθ、直線ＳＴと光源ベクトルＬ２が成す角度をφとして、光源ベクトルＬ２を求める方法を説明する。

図１７（ｂ）は、図１７（ａ）の広角画像４０５をｚ軸方向から見たもので、位置ＰＸ１と座標原点Ｏの距離をｄ、位置ＰＸ２と座標原点Ｏの距離をｒとする。位置ＰＸ１はφ＝０、座標原点Ｏはφ＝９０度であり、この間の光源位置と広角画像上の位置は線形に配分されるため、位置ＰＸ２の角度φは以下で与えられる。

ここで、広角画像上の位置ＰＸ１、位置ＰＸ２、座標原点Ｏの画素位置をそれぞれ、（ｘ_Ｌ１，ｙ_Ｌ１）、（ｘ_Ｌ２，ｙ_Ｌ２）、（ｘ_Ｏ，ｙ_Ｏ）とすると、位置ＰＸ１と座標原点Ｏの距離ｄは、
で与えられ、位置ＰＸ２と座標原点Ｏの距離ｒは、
で与えられる。

図１７（ｃ）は、位置ＰＸ２からｚ軸方向に光源ベクトルＬ２との交線ＬＴを引いて得られる三角形を示し、交線ＬＴの長さをｚ_Ｌ２とすると、次式が得られる。
光源ベクトルＬ２を長さ１の単位ベクトルで定義するならば、
となる。

被写体の撮影は、被写体撮影レンズ４０６と被写体用撮像素子４０７で行い、被写体用撮影素子４０７の出力である第１の画像を画像変換部４０８が第２画像に変換する。画像変換部４０８は、たとえば図１のフローチャートに従った画像拡大や図１２に従った画像圧縮などを実行する。画像変換に用いる座標系に制限はないが、画像変換は被写体用撮影素子４０７の出力に施すため、被写体用撮影素子４０７のｘｙｚ３次元座標系を用いることが好ましい。そこで、広角用撮像素子４０４のｘｙｚ３次元座標系で表された光源ベクトルである（数１４）を被写体用撮影素子４０７のｘｙｚ３次元座標系へ変換する。座標系の変換は、座標軸の変換で実現できる。ベクトル（ｘ_{ｌｉｇｈｔ，ｘ}，ｙ_{ｌｉｇｈｔ，ｘ}，ｚ_{ｌｉｇｈｔ，ｘ}）_{ｏｂｊｅｃｔ}は、広角用撮像素子４０４のｘｙｚ３次元座標系のｘ軸を被写体用撮影素子４０７のｘｙｚ３次元座標系で表わしたベクトルとする。ベクトル（ｘ_{ｌｉｇｈｔ，ｘ}， ｙ_{ｌｉｇｈｔ，ｘ}， ｚ_{ｌｉｇｈｔ，ｘ}）_{ｌｉｇｈｔ}は、広角用撮像素子４０４のｘｙｚ３次元座標系のｘ軸を広角用撮影素子４０４のｘｙｚ３次元座標系で表わしたベクトルとする。ｘ軸と同様にｙ軸、ｚ軸も定義すると、各軸のベクトルは３×３行列Ｍで以下のように関係付けられる。
これを行列Ｍについて解くと
となる。この行列Ｍで（数１４）に施すことによって、光源ベクトルＬは広角用撮像素子４０４のｘｙｚ３次元座標系から被写体用撮影素子４０７のｘｙｚ３次元座標系へ変換される。

なお、光源は多くの場合、カメラ４０１の上方に位置するため、たとえば画角１８０度の広角レンズ４０２を利用すれば光源４０３を撮影することができるが、仮に画角が不十分で光源４０３を広角レンズ４０２の画角に捉え切れない場合は、カメラ４０１の向きを変えて光源４０３を画角に捉える。そこで、カメラ４０１の向きの変化を計測する必要があるため、カメラ４０１に３次元姿勢センサ４０９（加速度センサなどで構成）を内蔵し、広角用撮影素子４０４のｘｙｚ３次元座標軸の３次元動きを３次元姿勢センサ４０９から取得し、（数１６）と同じ要領で座標変換すればいい。

カメラの向きを変える別の方法として、折り畳み式携帯電話の構成も有効である。すなわち、図１８に示すように、携帯電話６０１は相手側カメラ６０２（携帯電話６０１の使用者の目の前の被写体を撮影するカメラ）と自分側カメラ６０３（携帯電話６０１の使用者を撮影するカメラ）を備え、相手側カメラ６０２は折り畳んだディスプレイ部６０４を開く際に大きく向きを変える。すなわち、（ａ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが小さい場合は携帯電話６０１の上方を捉え、（ｃ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが大きい場合は携帯電話６０１の使用者の前方を捉え、（ｂ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが中間の大きい場合は、携帯電話６０１の上方と携帯電話６０１の使用者の前方の中間方向を捉える。そこで、ディスプレイ部６０４の開き角度ＤＡＧをヒンジ６０５に備えた角度センサ６０６で検出して、相手側カメラ６０２の向きを算出する。ｘｙｚ３次元座標系は、たとえば、自分側カメラ６０３の焦点位置を座標原点とし、携帯電話６０１の構造上決まる相手側カメラ６０２の焦点位置との関係から、（数１６）に従って、２つのカメラの撮影画像を同じｘｙｚ３次元座標系で管理できる。なお、自分側カメラ６０２も光源の撮影するために利用できることは明らかである。以上により、図３に示した照明方程式のパラメータのうち、光源ベクトルＬが算出できる。

また、カメラ４０１は、偏光フィルタを備えることによって、たとえば（数４）や図５で説明した方法によって、被写体撮影レンズ４０８へ入射する物体からの反射光を拡散反射成分と鏡面反射成分に分離できる。拡散反射成分を用いれば、（数９）で説明したフォトメトリックステレオ法によって表面法線ベクトルＮが算出できる。フォトメトリックステレオ法は（数８）で説明したように、光源の向きが異なる３枚以上の画像が必要である。そこで、光源４０３が移動可能であれば、光源４０３の位置を３種類以上設定して都度、撮影を行うことで（数８）を得ることができる。また、被写体が移動することで光源と被写体の位置関係が変化し、結果的に光源の向きが変化する。そこで、被写体の特定点を追跡し、３回以上撮影することで（数８）を得ることもできる。一方、鏡面反射成分は（数１）のｋｓρｓに相当し、光源ベクトルＬと表面法線ベクトルＮが既知となると、（数２）に含まれる未知パラメータは、鏡面反射成分比ｋｓ、フレネル係数Ｆλ、マイクロファセット分布ｍ、屈折率ｎの４つになる。これらのパラメータは複数のサンプルデータから最小二乗法によるフィッティングで求める方法や屈折率計などの計測器で求める方法などが利用できる。

なお、図１６の構成に加えて、レンジファインダを別途用いれば、表面法線ベクトルＮが計測できることは明らかである。

以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。

本発明では、エッジの先鋭さやテクスチャ感を保存したまま、画質の安定した画像変換を実現できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。

本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。 輝度と照明方程式パラメータとの関係を示す模式図である。 照明方程式の前提となる幾何条件を示す概念図である。 表面法線ベクトルの計測手法の例を説明するための図である。 拡散反射と鏡面反射とを分離する手法の例を説明するための図である。 学習データを参照して照明方程式パラメータを取得する方法を説明するための図である。 同質領域の判定を行うパターンを示す図である。 単位領域の走査方法の一例を示す図である。 ノイズ除去の一例を示す図である。 画像拡大のためにパラメータを高密化する処理を示す図である。 画像縮小のためにパラメータを低密化する処理を示す図である。 本発明の第２の実施形態における、画像圧縮のためのパラメータ変換処理を示す概念図である。 本発明の第３の実施形態を説明するための図であり、レンダリング処理の流れを示す図である。 本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。 本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。 本発明を実現する第３の構成例であり、カメラでの撮影において本発明に係る画像変換を行う構成の一例である。 光源の位置と広角レンズでの撮影画像との関係を示す図である。 本発明を実現する第３の構成例であり、折り畳み式携帯電話を用いた構成を示す図である。

符号の説明

Ｓ１０ 第１のステップ
Ｓ２０ 第２のステップ
Ｓ３０ 第３のステップ
Ｓ４０ 第４のステップ
ＡＡ１〜ＡＡ３、ＡＢ１〜ＡＢ３、ＡＣ１〜ＡＣ３、ＡＤ１〜ＡＤ３、ＡＥ１，ＡＥ２、ＡＦ１，ＡＦ２、ＡＧ１，ＡＧ２ 同質領域
ＴＩＡ，ＴＩＢ テクスチャ画像
ＯＡ，ＯＢ オブジェクト
２０５ パラメータ操作部
２０７ 画像生成部
３０１ サーバー
３０２ クライアント
５０１ 画像特徴解析部
５０２ 画像特徴ベクトルデータベース
５０３ 照明方程式パラメータデータベース

Claims (10)

1. 第１の画像に対して画像拡大または画像縮小を行い、第２の画像に変換する方法であって、
   前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得する第１のステップと、
   前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、
   前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの高密化または低密化処理を行う第３のステップと、
   前記第３のステップにおける高密化または低密化処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める第４のステップとを備えた
   ことを特徴とする画像変換方法。
2. 請求項１において、
   前記第１のステップにおける前記複数のパラメータの取得は、被写体からの計測、または、前記第１の画像からの推定によって、行う
   ことを特徴とする画像変換方法。
3. 請求項１において、
   前記第２のステップにおいて、複数画素における当該パラメータの値の分散を用いて、類似度合の評価を行う
   ことを特徴とする画像変換方法。
4. 請求項１において、
   前記第２のステップは、特定した同質領域内のノイズ除去を行う処理を含む
   ことを特徴とする画像変換方法。
5. テクスチャ画像を、３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、
   前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得する第１のステップと、
   前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、
   前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの高密化または低密化処理を行う第３のステップと、
   前記第３のステップにおける高密化または低密化処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める第４のステップとを備えた
   ことを特徴とするテクスチャマッピング方法。
6. 第１の画像に対して画像拡大または画像縮小を行い、第２の画像に変換する装置であって、
   前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得するパラメータ取得部と、
   前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する同質領域特定部と、
   前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記同質領域特定部によって特定された同質領域毎に、当該パラメータの高密化または低密化処理を行うパラメータ変換部と、
   前記パラメータ変換部による高密化または低密化処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める輝度算出部とを備えた
   ことを特徴とする画像変換装置。
7. テクスチャ画像を、３次元ＣＧモデルのオブジェクトに貼り付ける前処理部と、
   前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得するパラメータ取得部と、
   前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する同質領域特定部と、
   前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記同質領域特定部によって特定された同質領域毎に、当該パラメータの高密化または低密化処理を行うパラメータ変換部と、
   前記パラメータ変換部による高密化または低密化処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める輝度算出部とを備えた
   ことを特徴とするテクスチャマッピング装置。
8. 画像変換を行うサーバークライアントシステムであって、
   請求項６のパラメータ取得部、同質領域特定部、およびパラメータ変換部を有するサーバーと、
   請求項６の輝度算出部を有するクライアントとを備え、
   前記クライアントは、前記サーバーに、画像拡大または画像縮小の内容を指示する
   ことを特徴とするサーバークライアントシステム。
9. 第１の画像に対して画像拡大または画像縮小を行い、第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
   前記第１の画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得する第１のステップと、
   前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、
   前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの高密化または低密化処理を行う第３のステップと、
   前記第３のステップにおける高密化または低密化処理後の各パラメータを用いて、前記第２の画像の各画素の輝度を求める第４のステップとを
   コンピュータに実行させる画像変換プログラム。
10. テクスチャ画像を、３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、
    前記オブジェクトに貼り付けられた前記テクスチャ画像の各画素について、輝度を与える所定の照明方程式を構成する複数のパラメータを、それぞれ、取得する第１のステップと、
    前記各パラメータ毎に、当該パラメータの値が類似している画素からなる同質領域を特定する第２のステップと、
    前記各パラメータ毎に、画像拡大または画像縮小の内容に応じて、前記第２のステップにおいて特定した同質領域毎に、当該パラメータの高密化または低密化処理を行う第３のステップと、
    前記第３のステップにおける高密化または低密化処理後の各パラメータを用いて、前記オブジェクトの画像の各画素の輝度を求める第４のステップとを
    コンピュータに実行させるテクスチャマッピングプログラム。