JP4199663B2 - ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 - Google Patents

Description

本発明は触覚ヒューマン−コンピュータインターフェイスの分野に関し、特に触覚体験の視覚情報との併合に関する。

触覚インターフェイス体験は従来から、２つの基本的な方法の内の一つを使用して生成されている。場合によっては、グラフィックまたは視覚インターフェイス体験はオブジェクトの３次元モデルから生成される。視覚表示に付随する触覚は同じ３次元モデルから生成することができる。この方法により、視覚表示に直接的に対応する触覚インターフェイス体験が生成される（何故なら、この体験は同じモデルから生成されたものであるから）。しかしながら、現実世界の視覚の品質に近似する３次元モデルを生成すると、非常に高価なものとなって多大な時間を必要とする。また現実世界の細部にまで近似するモデルは余りにも複雑で（視覚的にも触覚的にも）リアルタイムで表現することができず、有効な触覚体験が得られ難い。

他の場合においては、視覚インターフェイス体験をまず、例えば実オブジェクトの２次元グラフィックスまたは映像により生成する。次に視覚表示に付随する触覚を加える。この方法により非常にリアルな視覚表示が得られ、そして現在の技術によりこのようなリアルな視覚画像をリアルタイムで表示することができる。

しかしながら、初期視覚画像から触覚体験を生成するのは極めて難しい。人手を使って触覚体験を生成することは、１枚の２次元写真から彫刻を創るのに似ている。この作業は可能ではあるが、信頼度の高い触覚体験を提示するには相当な時間とスキルが必要となる。２次元画像から３次元モデルを自動的に生成する方法に関する現在の研究に対して希望を持つことができるが、この技術分野における現状からすると、ほとんどの２次元画像からは信頼度の高い触覚表示を生成することができない。

触覚インターフェイス要素を加えることにより、視覚表示に対するユーザ体験のリアル度及び実感度を大きくすることができる。また、多くの２次元画像及び画像シーケンスが在る（例えば写真、デジタル画像、映像）；既存の画像に触覚を持たせるとユーザ体験を増大させることができる。従って、既存の２次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法に対するニーズが生じている。

本発明は既存の２次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法を提供する。この方法は人間において視覚が触覚よりも支配的であることを利用する。人間の触知性、固有受容感覚、及び運動感覚は人間の視覚ほど木目細かなニュアンスを伝えることができず、その結果、触覚表示は、該当する視覚画像のレベルまで細かなニュアンスを持つことによって人間ユーザにとって信頼度の高いものとなる必要は無い。既存の２次元画像はヒューマン−コンピュータインターフェイスの視覚要素として使用することができる。位相幾何学的に類似するということが、触覚モデルにより２次元画像に付随して生じることが望まれる触覚体験の重要な特徴に対して許容できる近似が可能になる、ということを意味する場合、画像と位相幾何学的に類似する３次元触覚モデルを選択することができる。次に、視覚要素の画像との相互作用が触覚要素の触覚モデルとの相互作用とリンクするように、インターフェイスの視覚要素の画像と、インターフェイスの触覚要素の触覚モデルとの間に関係を確立する。一例としてボールの２次元画像は、ボールに関係する球の触覚モデルを有し、そして、カーソルが触覚モデルの表面に当たるとボールの２次元画像の画像境界での視覚カーソルの動きが触覚フォースフィードバックとリンクするような関係として確立される中心及び半径を有する。

この方法においては、視覚画像内の関連する視覚画像またはオブジェクトにとって望ましい触覚的特徴に近似する初期触覚モデルを選択する。便宜上、記載はオブジェクト及びその該当する表示または視覚画像に関するものとし、このオブジェクトが全体画像の全て、またはほんの一部を表すことができるものとする。次に、初期触覚モデルとオブジェクト視覚画像との間の対応関係を確立する。オブジェクトの視覚画像に付随する触覚モデルは、初期触覚モデルを変形して触覚空間に生成したモデルが視覚表示のオブジェクト画像に対応するようにすることにより生成することができる。多くの最新の触覚モデル化方法とは違い、本方法は入力として詳細な３次元モデルを必要とせず、２次元画像から得られる詳細を生成触覚モデルと組み合わせて信頼度の高い触覚／視覚コンビネーションを提供する。

本方法が提示する触覚体験は詳細な３次元モデルが提示するものよりもずっと複雑でなく、リアルタイムの触覚及び視覚レンダリングに求められる要件を緩和する。また本方法により、２次元画像から３次元モデルを生成するための、手間が掛かり、現時点で大半が不調なプロセスを回避することができる。従って、本方法により、信頼度の高い触覚体験を、最新の技術に共通する高リアリティ視覚画像に合理的なコストで加えることができる。

利点及び画期的な性能は、この技術分野の当業者には次の記載を検討することにより明らかになる、或いは本発明を実施することにより認識することができる。本発明の目的及び利点は、添付の請求項において特に示唆されるところの手段及び組み合わせを通して実現及び達成することができる。

本発明は既存の２次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法を提供する。この方法は人間において視覚が触覚よりも支配的であることを利用する。人間の触知性、固有受容感覚、及び運動感覚は人間の視覚ほど木目細かなニュアンスを伝えることができず、その結果、触覚表示は、該当する視覚画像のレベルまで細かなニュアンスを持つことによって人間ユーザにとって信頼度の高いものとなる必要は無い。既存の２次元画像はヒューマン−コンピュータインターフェイスの視覚要素として使用することができる。位相幾何学的に類似するということが、触覚モデルにより２次元画像に付随して生じることが望まれる触覚体験の重要な特徴に対して許容できる近似が可能になる、ということを意味する場合、画像と位相幾何学的に類似する３次元触覚モデルを選択することができる。次にインターフェイスの視覚要素の画像と、インターフェイスの触覚要素の触覚モデルとの間に関係を確立することにより視覚要素の画像との相互作用が触覚要素の触覚モデルとの相互作用とリンクするようにする。一例としてボールの２次元画像は、ボールに関係する球の触覚モデルを有し、そして、カーソルが触覚モデルの表面に当たるとボールの２次元画像の画像境界での視覚的なカーソルの動きが触覚フォースフィードバックとリンクするような関係として確立される中心及び半径を有する。

この関係を確立させて種々の触覚要素を実現することができる。説明を分かり易くするために、この明細書における記載では、視覚要素にほぼ忠実な触覚要素が望ましいと仮定している。この技術分野の当業者であれば、本発明を使用して所望の関係を全て有する触覚要素を初期視覚画像に付与することができることが理解できるであろう。

本発明による方法においては、視覚画像内の関連する視覚画像またはオブジェクトにとって望ましい触覚的特徴に近似する初期触覚モデルを選択する。便宜上、記載はオブジェクト及びその該当する表示または視覚画像に関するものとし、このオブジェクトが全体画像の全て、またはほんの一部を表すことができるものとする。次に初期触覚モデルとオブジェクト視覚画像との間の対応関係を確立する。オブジェクトの視覚画像に付随する触覚モデルは、初期触覚モデルを変形して触覚空間に生成したモデルが視覚表示のオブジェクト画像に対応するようにすることにより生成することができる。別の表現をすると、触覚モデルと画像との間に或る関係を確立させて画像の視覚感覚及びモデルの触覚感覚が許容できるほどに小さな不一致しか示さないようにする。多くの最新の触覚モデル化方法とは違い、本方法は入力として詳細な３次元モデルを必要とせず、２次元画像から得られる詳細を生成触覚モデルと組み合わせて信頼度の高い触覚／視覚コンビネーションを提供する。本発明の利点を生かした画像の例として、写真、写真のようにリアルな描写のコンピュータレンダリング、コンピュータグラフィックス、漫画、絵画、映像シーケンス、及び映画が挙げられる。触覚要素を付与することによる利点を生かした画像内のオブジェクトには触覚モデルが適用できる画像の全ての部分が含まれ、例えば画像の固い物、形、構造、影、及び領域が挙げられる。

本方法が提示する触覚体験は詳細な３次元モデルが提示するものよりもずっと複雑でなく、リアルタイムの触覚及び視覚レンダリングに求められる要件を緩和する。また本方法により、２次元画像から３次元モデルを生成するためのプロセスで、手間が掛かり、現時点で大半が不調なプロセスを回避することができる。従って、本方法により、信頼度の高い触覚体験を、最新の技術に共通する高リアリティ視覚画像に合理的なコストで加えることができる。

この技術分野の当業者にはステップに種々の順序、詳細、及び組み合わせがあることを理解できるであろうが、説明の都合上、本発明は、次のステップを考慮することにより説明することができる。
１．初期視覚画像から始める。
２．画像内の所望のオブジェクトに位相幾何学的に類似する初期触覚モデルを選択する。
３．画像内のオブジェクトと初期触覚モデルとの間に対応関係基準を確立する。
４．触覚及び視覚空間における対応関係基準が十分に満たされるように、触覚モデルを生成する初期触覚モデルの変形を決定する。

各ステップについて以下に詳細に説明し、続いて、さらに本発明を記載するための例を示す。
［適切な初期触覚モデルを選択する］
オブジェクトに位相幾何学的に類似する触覚モデルを初期触覚モデルとして選択することができる。全体的なサイズ、回転、スケール、モデル内での相対的なスケール等の属性を本発明に従って変形させて信頼度の高い触覚モデルを生成する。位相幾何学的に類似することにより初期触覚モデルが適切な変形の特徴を確実に備えることができる。例えば、立方体は多くの６面体の初期モデルとして機能することができる、一つの４ドアセダンは多くの４ドアセダンの初期触覚モデルとして機能できる、などといったことが挙げられる。

初期触覚モデルを人間を介在させて選択することにより、操作者の視覚的及び幾何学的体験に基づいた選択を行なうことができる。別の方法として、最新の画像認識技術を利用してオブジェクトの位相幾何学的特徴を認識することができ、適切な初期触覚モデルの自動選択を可能にする。用意された３Ｄオブジェクトのライブラリにアクセスする単純な例では、利用可能なオブジェクトのサムネイル画像の内の一つが所望のオブジェクトと類似することが判明するまでサムネイル画像をスクロールする。この例によれば、各オブジェクトに関連する単語または熟語を含むデータベースを生成することができる。例えば、「ｃａｒ」、「ａｕｔｏ」「ａｕｔｏｍｏｂｉｌｅ」、または「ｖｅｈｉｃｌｅ」という単語を入力すると、選択を自動車及びトラックのモデルにのみ限定する形で減らすことができる。そこからユーザは「２−ｄｏｏｒ」または「ＳＵＶ」を入力して選択をさらに減らすことができる。最後に、この選択を自動的に行なえるように画像認識を使用する。考えられる３Ｄモデルをほんの幾つかの、またはたった一つの選択肢にまで減らした後、ユーザは必要に応じて手動でオブジェクトの最後の選択を行なう機会を有することができる。

以下にさらに示す例により初期触覚モデルの選択について説明する。
［対応ポイントを設定する］
一旦、初期触覚モデルが選択されると、初期触覚モデルとオブジェクト画像との間に対応関係を確立することができる。例えば、箱の見える角を立方体初期触覚モデルの角に一致するように設定する。ポイントは、例えば立方体の角として定義される、またはユーザが特定できるようにユーザに委ねられる。ポイントはユーザにより、例えば画像上のポイント及び初期触覚モデル上の該当するポイントを選択することにより設定することができる。ポイントはまた、コンピュータの支援により、例えば画像認識により、或いは一旦対応関係が一連のフレームのうちの一フレームにおいて確立されたときの形状追跡により、該当するポイントを決定することによって設定することもできる。この明細書において使用されるように、対応ポイントはモデルか画像のポイント、モデルか画像の表面、モデルか画像の半径または他のパラメータ、或いはモデルと画像とを接続するものとして特定することができる他の全ての特徴を含む。以下にさらに示す例において視覚空間と触覚空間との間の対応ポイントの確立方法を示す。
［変形触覚モデルを生成する］
次に、初期触覚モデルを変形することにより、画像中のオブジェクト用の信頼度の高い触覚モデルを生成する。この変形は種々の態様にて進行するが、この場合、その変形は、画像平面への生成モデルの投影が画像中のオブジェクトの表示に対応するように初期触覚モデルの変形を決定する目的で行なわれる。一例として、種々の態様で触覚モデルを変形させる一連のパラメータ化された演算Ｏを定義する。Ｏにおける演算はモデルとの関係で意味のある変形、例えば種々の軸に沿ったスケール、種々の軸を中心とする回転、モデルを構成する部分の間の相対的スケール、形状間の距離などを含む変形であればどのような変形であっても良い。画像平面への触覚モデルの投影を生成する演算子Ｐを定義する。次にＪが画像中のオブジェクトであり、そしてＨが初期触覚モデルであるとすると、問題はＰ（Ｏ（Ｈ））がＪに近似するようにＯに用いられるべき一連のパラメータを見付け出すことである。Ｐ（Ｏ（Ｈ））とＪとの間の差をエラーメトリックとして定義すると、最新のコンピュータ技術によりエラーメトリックを最小にするパラメータ解が導出される。例えばＦｏｓｄｉｃｋ， Ｌ．Ｄ．， Ｅ．Ｒ． Ｊｅｓｓｕｐ，Ｃ．Ｊ．Ｃ． Ｓｃｈａｕｂｌｅ，及びＧ． Ｄｏｍｉｋ ［１９９６］による「高性能科学計算入門」， Ｍ．Ｉ．Ｔ． Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ； Ｍｉｔｃｈｅｌｌ， Ｍ． ［１９９８］による「遺伝アルゴリズム入門」，Ｍ．Ｉ．Ｔ． Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ； Ｋｏｚａ， Ｊ．， Ｆ．Ｈ． Ｂｅｎｎｅｔｔ ＩＩＩ， Ｄ．Ａｎｄｒｅ，及びＭ．Ａ． Ｋｅａｎｅ， ［１９９９］による「遺伝子プログラミングＩＩＩ−ダーウィンの発明及び問題解決法」， Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ， Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＣＡを参照されたい。
［画像シーケンスへの拡張］
本発明の方法により画像シーケンスに付随する触覚モデルを効率的に生成することもできる。一般的に、初期触覚モデルはシーケンスの各オブジェクトに対して１度だけ選択する必要がある。対応ポイントは操作者により各画像中に特定される。画像追跡技術は、オブジェクトがシーケンス内で画像毎に変化するのに合わせてポイント位置を追跡することにより、このタスクにおいて操作者に代わって機能し、または操作者をアシストする。また、触覚モデルを生成するために一つの画像に関して設定されたパラメータを使用して隣接画像の触覚モデル変形の解から始めることができるので、必要な解の算出時間を短くすることができる。
［触覚モデルを２Ｄ画像と一体化する］
ユーザに提供されるインターフェイスは２つの空間、すなわち視覚空間及び触覚空間を有すると考えることができる。視覚空間はユーザに対する表示で表現され、この場合この表示は視覚空間内のユーザ位置を示す可動矢印のような視覚キューで行なわれる。触覚空間は適切な入出力デバイスにおけるユーザに対する力の伝達で表現され、ユーザに力を伝えて触覚空間の力に対するユーザ位置を示す。本方法により、生成触覚モデルを触覚空間に配置してディスプレイ平面への生成触覚モデルの投影がディスプレイにおけるオブジェクトの視覚表示に対応するようにすることができる。その結果、視覚空間のオブジェクトに近づく視覚カーソルが触覚空間のオブジェクトの触覚モデルに近づく触覚カーソルに一致する。

２次元視覚空間に加える３次元触覚空間の奥行きは幾つかの方法により提供することができる。例えば奥行きは、全ての触覚モデルがリンクされているとすると、触覚モデルから求めることができ、全てのオブジェクトが立方体の表面に触れるように位置しているとすると、立方体の触覚モデルにより触覚空間の全てのオブジェクトの奥行き関係を定義することができる。別の構成として、モデルが互いに接続されていないとすると、触覚空間はオブジェクトの相対的奥行きを定義する必要が無い。その代わり、視覚カーソルが最初にオブジェクトに触れる時の触覚カーソルの奥行きにより、該当する触覚モデルの初期奥行きを定義することができ、そのモデルとの次の触覚相互作用における奥行きは、ユーザが別のオブジェクトに触れるまでその初期奥行きと関係付けられる。

視覚キューはユーザがユーザ用の触覚空間及び視覚空間の一体化を体験するのにも役立つ。例えば、視覚カーソルグラフィックは触覚奥行きを伝えるのに役立つ。視覚カーソルグラフィックは、最も近い触覚表面に垂直に維持される軸によって描写することができる。視覚カーソルグラフィックは、視覚空間では見えない触覚モデル領域に触れると消える機能を有する（例えばオブジェクトの裏側を感じるときに）ので、ユーザは２次元でしか見ることが出来ないものを３次元で感じることができる。視覚カーソルは、触覚空間のオブジェクトが触覚空間のカーソルの位置を塞いでしまうと簡単に消えるように作製することもできる。これは、例えばグラフィックス・デプス・バッファリング技術を用いれば可能になる。

触覚モデルは、他の触覚属性を定義して生成触覚モデルに適用することによりユーザにとってより一層リアルになるように作製することができる。例えば、表面に所定の硬度、所定の触感、摩擦、でこぼこ分布、粘度、突出点などを付与する。また、画像及び触覚モデルとの相互作用により、一方と相互作用して他方に影響を及ぼすようにすることができる。例えば、触覚空間の力に従って表面に触れる、表面を押す、引っ張る、または変形させると、ディスプレイにフィードバックされて画像の変形を生じさせ、ユーザが触覚空間で行なった知覚変化を反映させることができる。
＜実施例＞
図３は本発明の一の実施形態を示すフロー図である。この方法は一つの画像または画像シーケンス（３０１）で始まる。初期触覚モデルを画像認識（３０２）、手動選択または手動定義（３０３）、或いはこれらの組み合わせにより選択する。一旦、初期触覚モデルを選択（３０４）すると、触覚モデルは本画像と一致する（３０５）ように変形される。

この変形は触覚モデルを手動でラフにポジショニング及びスケーリングすることから開始するが（３０６）、この開始により残りのタスクが容易になる場合がある。次に、図においてアンカーポイントと呼ばれる対応点を触覚モデル及び視覚画像上で特定する（３０７）。次に、許容エラーメトリックを生成する変形パラメータの解により変形を決定するすると（３０８）、正しくポジショニングされ、かつスケーリングされた触覚モデルが画像内のオブジェクトに対して生成される（３０９）。触覚モデルを使用して２次元画像の奥行き情報を生成すると（３１３）、元の２次元画像に連動して３次元で動くカーソルを適切に表示することができる（３１４）。

この方法を画像シーケンスに適用し、そしてオブジェクトが次の画像に存在する場合、現画像の対応関係をスタートとして使用することにより触覚モデルと次の画像との間の対応関係の確立が一層容易になる（３１１）。次の画像の変形の解も、現画像の変形の解をスタートとして使用することによって、より容易に得られるという利点がある（３１２）。初期触覚モデルに対応関係及び変形の解を加えたものを次の画像に使用してその触覚モデルを求める（３１０）。

本発明の実施形態をＣ⁺⁺形式で記述したが、この際、ＯｐｅｎＧＬ，Ｎｏｖｉｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ．が提供するｅ−Ｔｏｕｃｈ^TMアプリケーションプログラミングインターフェイスアルファバージョン１、そして触覚デバイスとしてＳｅｎｓａｂｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓのファントム（Ｐｈａｎｔｏｍ）を使用した。これをマイクロソフトウィンドウズＮＴオペレーティングシステム搭載の最新のパーソナルコンピュータで動作するマイクロソフトビジュアルＣ⁺⁺を使用してコンパイルした。

ＶＲＭＬ，３ＤＳｔｕｄｉｏＭａｘ，ＳＴＬ−Ｓｔｅｒｅｏｌｉｔｈｏｇｒａｐｈｙ及び他のものを含む多くの異なるファイル形式のファイルを含む３Ｄモデルライブラリをコンパイルした。従来のイメージ・ビューイング・プログラムを使用して、それらのサムネイル画像を見ることによりオブジェクトをブラウズした。モデルが選択されると、特定のファイル形式からトライアングルリストを読み出し、次にそれらをメモリに或る形式で記憶することにより３Ｄモデルファイルを触覚表示に変換するが、この記憶によりこれらのトライアングルから全ての任意のポイントに対する作用力の解析が容易になる。

ユーザが（触覚デバイスを使用して）３Ｄモデル上の着目しているポイントを選択し、次に２Ｄ画像または２Ｄ画像群上の該当するポイントを選択する操作を可能にするカスタムエディタをノビント・テクノロジーズ・インコーポレイテッド（Ｎｏｖｉｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ．）が提供するｅ−Ｔｏｕｃｈ^TMプログラミング環境を使用して書いた。

各３Ｄオブジェクトと各２Ｄ画像との間の正しい変換の解を求めるために、次の変数を各場合について算出した：ｘ軸方向のスケール、ｙ軸方向のスケール、ｚ軸方向のスケール、及びｘ、ｙ及びｚ軸回りの規則正しい回転。上述のカスタムエディタはこれらの変数の解を求めるために必要な情報の全てを含む出力ファイルを生成した。次にこのファイルをＭａｔｌａｂ ｖ５．２用に書かれたソルバープログラムに入力した。適切なソフトウェアの一例がこの記述に続く。ソルバープログラムはランダムコンポーネントを有するサーチアルゴリズム（浮動小数点数アレイに加えられるランダムな変化の繰り返しサイクル）を使用して各３Ｄオブジェクトと各２Ｄ画像との間の変数の許容解を求める。ソルバープログラムはこれらの変数の全てを含むファイルを出力する。触覚ビューアプログラムをｅ−Ｔｏｕｃｈ^TMプログラミング環境を使用して書いた。触覚ビューアプログラムによりユーザは２Ｄ画像及び３Ｄオブジェクトの組み合わせを眺め、かつ、触れることができる（触覚オブジェクトモデルを使用することによっても既存の画像ビューイングアプリケーションを増やすことができる）。

ｅ−Ｔｏｕｃｈ^TMライブラリによって２Ｄ画像／３Ｄオブジェクトの組み合わせを実施することによる利便性が一層大きくなる。このライブラリは多くの内蔵機能を備え、これらの機能はユーザが信頼度の高い効果的な触覚／視覚体験を得るために非常に有効である。ユーザは視点、カーソルの外観、照明だけでなくオブジェクトの位置、回転、拡大縮小、及び触覚感覚を３Ｄメニューインターフェイスを使用して変えることができる。

各オブジェクトの拡大縮小、回転、及び（ｘ，ｙ，ｚ）位置をソルバープログラムを使用して設定することができる。しかしながらｚ位置（ｚ軸はコンピュータ画面に垂直な軸を指す）は或る範囲に亘って変化することができ、かつ、それに加えて良好な触覚体験を提示することもできる。例えば、配置した３Ｄモデルの最も近い、または遠いポイントを２Ｄ画像のｚ位置に一致させる、或いはそれらの間のいずれかのポイントに一致させることができる。ｅ−Ｔｏｕｃｈ^TMプログラミング環境を使用すると可変ｚ位置が可能になり、これにより、カーソルが２Ｄ画像のｚ平面に初めて触れると、カーソルがなるべくオブジェクトに触れているように３Ｄオブジェクトの全ｚ位置がリセットされる。これにより画像に入り込み、そして非直接的に或るものに触れてしまって方向感覚が失われるという問題を回避することができる。

この例におけるｅ−Ｔｏｕｃｈ^TMプログラミング環境に書き込まれた別の補助によりユーザに視覚キューが与えられ、この視覚キューはカーソルが画像中のオブジェクトにより塞がれたとき、またはオブジェクトの周りに達したときに信号を発するようになっている。この操作をＡｄｏｂｅフォトショップｖ５．０のバッチモード画像処理を使用することにより実行して、全ての２Ｄ画像から単純な黒及び白の画像を生成する。これらの黒及び白の画像をしきい値を境に分けて３Ｄモデルを有する全てのオブジェクトが白で、残り（背景）が黒になるようにする。これらの画像を使用してＯｐｅｎＧＬステンシルを生成するが、この場合、このステンシルをｅ−Ｔｏｕｃｈ^TMプログラミング環境で使用して画像内のオブジェクトの背後にあるカーソルの一部を塞ぐ。カーソルがオブジェクトの背後にあるかどうかの判断はカーソル位置及び触れているオブジェクトの表面法線に基づく。表面法線が負のｚ方向（すなわち、観察者から離れる方向）に向いており、そして描いたカーソルの一部がステンシルの白領域に存在するとき、この部分は描かれない。この技術がもたらす結果により、カーソル（この場合、カーソルは開いた手の形をしている）は、その一部が画像内のオブジェクトに塞がれる場合を除いて常に見ることができる（実際に２Ｄ画像の中に存在するように見える）ということになる（２Ｄ画像内のオブジェクトが実際の３Ｄオブジェクトであるかのように見える）。図９はこの技術を示している。カーソルの視覚位置を調整して写真内のオブジェクトと触覚モデルとの間の食い違いを補償することもできる。例えばモデルに触れると、見えるカーソルはいつでもオブジェクト画像に追従することができ、これによりユーザの触覚／視覚体験に対する全ての障害を効率的に減らすことができ、この場合、触覚／視覚体験は、オブジェクトに触れていないカーソルが見えるものの触覚反力を感じることにより引き起こされる。
＜実施例＞
［単一オブジェクト、単一画像の例］
図１（ａ，ｂ，ｃ，ｄ）は本発明を単一画像中の単一オブジェクトに適用したときの様子を示している。図１ｂはコンピュータ画面のような表示媒体に表示される画像を示す。オブジェクトは画像において１０１で示す。この例においては、オブジェクト１０１は画像中では矩形多面体として示され、観察者に対して回転し、傾いている。図１ｂは、相互作用するとして定義された６つの面を有する立方体の単純な触覚モデルが力（フォース）フィードバックインターフェイスであることを示している。触覚モデルは立方体角の各々に位置するハンドルを備える。これらのハンドルは共同して立方体の触覚表面を定義することになる。これらのハンドル及びハンドルに従って触覚モデルを変形させる規則は一般的に、触覚モデルが表現するオブジェクトの範囲を決定する。

図１ｃは触覚モデルを示し、この場合、そのハンドルがオブジェクトの視覚表示の角に一致する形で配置される。図１ｄは視覚画像に付加される結果としての触覚体験を示し、この場合、触覚モデルは太い破線で示す触覚空間において触覚体験が視覚画像に関連付けられるように位置させられる。

視覚ディスプレイにおけるオブジェクトの視覚表示の角に対するカーソル運動を、触覚空間における触覚モデルの該当ハンドルに対する触覚カーソルに合わせることができる。オブジェクトの視覚表示と触覚モデルハンドルとの間の対応関係を確立することにより、同じ初期触覚モデルを使用して画像中の多くの異なる位置及び姿勢のオブジェクトのクラス内の多くの異なるオブジェクトに対して触覚体験を提示することができる。単一立方体モデルは図に示すように、多くのサイズ及びアスペクト比の立方体及び矩形多面体に対応付けることができる。さらに、同じ立方体モデルを捻り、そして縮小拡大して６面で閉じたオブジェクトの全てに、これらが例え捻じれていたり、他の複雑構造を有しているとしても、これらに対応付けることができる。この例は、３次元触覚モデルが単純であるオブジェクトを示しているが、もっと複雑な立方体状のオブジェクト（例えば曲線の辺を有する、或いは頂点が相対的に捻れている）も、触覚モデルのハンドルとオブジェクトとの間の対応関係により触覚体験がオブジェクトの忠実な触覚モデルの触覚補償範囲内で提示可能である限り、同じ基本触覚モデルを使用することができる。この方法は最新の方法よりも低い開発コストで既存の画像に対して許容できる触覚モデルを生成することができ、そして従来の触覚モデルよりも単純で、従って、計算能力をそれほど必要としない触覚モデルを生成することができる。
［単一オブジェクト、画像シーケンスの例］
図２（ａ，ｂ，ｃ，ｄ）は本発明の方法を画像シーケンス中の一オブジェクトに適用したときの様子を示している。オブジェクトは左から右に移動し、そして画像シーケンスの間で回転する。前述同様に、オブジェクトの特徴を表す単純触覚モデルを選択することができる。各画像に対して、単純触覚モデルは図２ａに示すようにオブジェクトの特徴との間で確立される対応関係を有する。最新の画像処理技術により、幾つかの後続の画像における対応関係が初期画像に対して確立された対応関係から生成されるので、触覚体験の提示コストをさらに下げることができる。オブジェクトが図２ｂ，２ｃ，２ｄに示すシーケンスの中で移動し、そして回転すると、触覚モデルが変形されて触覚空間のポイントと視覚画像のポイントとの間の整合が維持される。

従って本発明の方法により画像シーケンスに触覚体験を付与することができ、この場合、単一画像例において説明したものよりもずっと効率が高くなるという利点が生じ得る。既存の画像シーケンス、例えば既存のコンピュータアニメーションは本発明を実施することにより触覚体験が付与されて大きく進化することができる。動くオブジェクトに対する人間の知覚は止まっているオブジェクトに求められる正確なレンダリングよりも低いレンダリングしか必要としない。その結果、本発明が必要とする触覚モデルのオブジェクトに対する整合性の正確度はさほど高くなくても良く、本発明により動くオブジェクトに対してリアルな触覚モデルを提供することができる。
［複数オブジェクト画像シーケンスの例］
図４は、異なる視点から眺めたときの、テーブル及び椅子からなる画像シーケンスを示している。図５において３つの椅子及び３つのテーブルにより単純化して示される触覚モデルライブラリを参考にして椅子及びテーブル用の初期触覚モデルを選択することができる。図６は選択された触覚モデルを示している。これらは位相幾何学的に椅子及びテーブルに類似しているが同じではない（限定された範囲の単純化ライブラリを考慮すると）。図７は画像の中のテーブル上のポイントと、選択した触覚モデル上のポイントとの間に確立される対応関係を示している。次に変形を決定して触覚モデルを変形させて画像中のテーブルに一致させる。このプロセスをシーケンスの全ての画像に対して繰り返すことができる。図８は各画像に対するテーブルの変形位置を示している。これらの変形はマットラブ・ソルバー（Ｍａｔｌａｂ ｓｏｌｖｅｒ）により行なった。同様のプロセスを椅子に対して行なう。画像中のオブジェクトの形状が変わらない場合には、同じ初期触覚モデルを各画像に対して使用することができる。対応関係にあるポイントを各画像中に手動にて設定する、または適切な画像処理ソフトウェアにより画像に亘って追跡することができる。

単に本発明の特定の実施形態を示すために、上述した特定のサイズ及び備品を引用している。本発明の使用には、異なるサイズ及び特徴を有する構成要素の使用が含まれることを理解されたい。本発明の技術範囲はこの明細書に添付の請求項により定義することができる。
［コンピュータプログラム例］

ａ，ｂ，ｃ，ｄは触覚モデル、視覚画像、及びこれらの間の対応関係を模式的に表したものである。 ａ，ｂ，ｃ，ｄは画像シーケンスのオブジェクトに適用される本発明を模式的に表したものである。 本発明の一実施形態のフロー図である。 異なる視点から眺めたときの、テーブル及び椅子を含む画像シーケンスを示す。 触覚モデルの単純化したライブラリを示す。 図４のオブジェクトに位相幾何学的に類似するように選択された触覚モデルを描写したものである。 画像中のオブジェクト上のポイントと選択した触覚モデル上のポイントとの間に確立された対応関係を示す。 自動的に変形させて図４の画像に対応させたテーブルの触覚モデルの画像シーケンスを示す。 プロセスの中で、画像中のテーブルの底に触れようとし、続いて実際に画像中のテーブルの底に触れ、隙間が塞がれる視覚／触覚カーソルの画像を示す。

Claims (29)

1. オブジェクトの２次元画像に対応するヒューマン−コンピュータインターフェイスの３次元触覚要素を生成する方法であって、
   ａ）触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
   ｂ）３次元初期触覚モデルの一連の対応ポイントと、前記オブジェクトの前記２次元画像の一連の対応ポイントとの間に対応関係を確立し、
   ｃ）最終触覚モデルにおける対応ポイントの２次元投影が前記オブジェクトの前記２次元画像における前記対応ポイントと実質的に一致するように前記初期触覚モデルを前記対応関係に基づいて変形させることにより最終触覚モデルを生成することを備える方法。
2. 前記ライブラリから選択することは、自動画像認識を使用して前記オブジェクトに類似する２次元投影を有する３次元モデルを選択することを含む、請求項１記載の方法。
3. 前記対応関係を確立することは、前記初期触覚モデルの表示がユーザに見えるようにし、そして、前記ユーザから前記初期触覚モデルにおけるポイントの指定を受け入れて前記初期触覚モデルにおけるポイントを前記オブジェクトの表示におけるポイントに一致するように配置することを含む、請求項１記載の方法。
4. 前記ユーザから前記初期触覚モデルにおけるポイントの指定を受け入れて前記初期触覚モデルにおけるポイントを前記オブジェクトの表示におけるポイントに一致するように配置することは、カーソルの位置をモニターし、前記触覚モデルにおける前記カーソルの前記位置を前記ユーザからの指示に応答する形の対応ポイントとして特定することを含む、請求項３記載の方法。
5. 前記初期触覚モデルを変形させることは、一連のパラメータ化された演算に従って前記初期触覚モデルを変形し、２次元投影における対応ポイントが前記オブジェクトの前記画像における前記対応ポイントの誤差メトリック内に収まる最終触覚モデルを生成する演算パラメータを設定することを含む、請求項１記載の方法。
6. 前記一連のパラメータ化された演算が、軸回りの回転、軸方向のスケール、前記モデルの部分間の相対的スケール、及び位置のうちの一つ以上を含む、請求項５記載の方法。
7. 前記オブジェクトの前記画像は画像シーケンスのうちの一つであり、方法は更に、前記シーケンスの他の画像におけるオブジェクトの画像に対応ポイントを設定し、前記触覚モデル対応ポイント及び前記シーケンスの前記他の画像の各々における前記オブジェクトに対して設定された前記対応ポイントに従って、前記シーケンスの他の画像のオブジェクトに対する触覚モデルを生成することを備える、請求項１記載の方法。
8. ２次元視覚空間及び生成された３次元触覚空間を有するヒューマン−コンピュータインターフェイスを提供する方法であって、
   ａ）触覚モデルライブラリからオブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
   ｂ）３次元初期触覚モデルの一連の対応ポイントと、前記オブジェクトの２次元画像の一連の対応ポイントとの間に対応関係を確立し、
   ｃ）最終触覚モデルにおける対応ポイントの２次元投影が実質的に前記オブジェクトの前記２次元画像における前記対応ポイントと一致するように前記初期触覚モデルを前記対応関係に基づいて変形させることにより最終触覚モデルを生成し、
   ｄ）前記触覚空間における触覚カーソルと前記視覚空間における視覚カーソルとの間に対応関係を確立し、
   ｅ）ユーザによる入力に応答して触覚カーソル位置及び視覚カーソル位置を変化させ、
   ｆ）前記触覚モデル及び前記触覚モデルに対する前記触覚カーソルの位置に従って前記ユーザにフォースフィードバックを提供することを備える方法。
9. 方法は更に、前記視覚カーソルの前記位置を前記２次元画像に重ねられたカーソルグラフィックにより前記ユーザに対して表示し、前記触覚モデルに対する前記触覚カーソルの前記位置に応じて前記カーソルグラフィックを変化させることを備える、請求項８記載の方法。
10. フォースフィードバックを提供することは、前記２次元画像に対応する前記触覚モデルの前記２次元投影に前記触覚カーソルの前記位置を設定し、前記触覚カーソルが最初に触れる前記触覚モデルの一部の前記触覚空間における奥行きとなるように、前記触覚カーソルの投影に対する奥行きを設定することを含む、請求項８記載の方法。
11. 視覚画像におけるオブジェクトに対応する触覚モデルを生成する方法であって、
    ａ）一連の触覚モデルから触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似し、
    ｂ）前記選択した触覚モデルの特徴と前記画像における前記オブジェクトの表示との間に対応関係を確立し、
    ｃ）前記選択した触覚モデルを前記対応関係に基づいて変形させることにより触覚モデルを生成することを備える方法。
12. 前記一連の触覚モデルは複数の触覚モデルを含み、これらの複数の触覚モデルの各々はオブジェクトのクラスに関連し、かつ前記関連クラス内のオブジェクトの触覚知覚範囲内で触覚モデルを生成するように調整可能な単純化触覚モデルを表す、請求項１１記載の方法。
13. 前記画像は２次元画像を含む、請求項１１記載の方法。
14. 前記画像は２次元画像シーケンス内の２次元画像を含む、請求項１１記載の方法。
15. 前記一連の触覚モデルにおける触覚モデルはハンドルを含み、対応関係を確立することは、前記画像における前記オブジェクトの表示の中に、前記触覚モデルの前記ハンドルに対応するインデックスポイントを特定することを含む、請求項１１記載の方法。
16. 前記ハンドルは前記触覚モデルの不連続ポイントを含む、請求項１５記載の方法。
17. 前記ハンドルは前記触覚モデルのスケールを特定するポイントを含む、請求項１５記載の方法。
18. 前記ハンドルは前記触覚モデルの回転を特定するポイントを含む、請求項１５記載の方法。
19. 触覚モデルを生成することは、
    ａ）前記オブジェクトの前記表示における前記インデックスポイントからなる画像におけるロケーションから前記選択した触覚モデルの前記ハンドルからなる触覚空間におけるロケーションを設定し、
    ｂ）前記ハンドルからなる触覚空間における前記ロケーション及び前記選択した触覚モデルから触覚モデルを生成することを含む、請求項１５記載の方法。
20. 前記触覚モデルを生成することは、前記触覚空間における前記生成した触覚モデルの前記ハンドルのロケーションが前記画像における前記オブジェクトの表示の前記インデックスポイントのロケーションに対応するように、前記選択した触覚モデルを調整することにより触覚モデルを生成することを含む、請求項１５記載の方法。
21. 前記選択した触覚モデルを調整することは、前記触覚モデルをスケーリングする、前記触覚モデルをポジショニングする、前記触覚モデルを回転させる、前記触覚モデルをストレッチさせる、前記触覚モデルを捻る、及び前記触覚モデルを変形することのうちの少なくとも一つを含む、請求項２０記載の方法。
22. 視覚画像シーケンスにおける一のオブジェクトに対応する触覚モデルを生成する方法であって、
    ａ）一連の触覚モデルからある触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似しており、
    ｂ）前記選択した触覚モデルの特徴と前記シーケンスの第１画像における前記オブジェクトの表示との間に対応関係を確立し、
    ｃ）前記選択した触覚モデルを前記対応関係に基づいて変形させることにより前記第１画像の触覚モデルを生成し、
    ｄ）前記シーケンスの第２画像における前記オブジェクトの表示の変化を求め、
    ｅ）前記選択した触覚モデルを前記対応関係に基づいて変形させることにより前記第２画像の触覚モデルを生成することを備える方法。
23. 視覚画像の複数のオブジェクトに対応する触覚モデルを生成する方法であって、前記視覚画像の各オブジェクトに対して、
    ａ）一連の触覚モデルから触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似しており、
    ｂ）前記選択した触覚モデルの特徴と前記画像における前記オブジェクトの表示との間に対応関係を確立し、
    ｃ）前記選択した触覚モデルを前記対応関係に基づいて変形させることにより触覚モデルを生成することを備える方法。
24. オブジェクトの２次元画像に対応するヒューマン−コンピュータインターフェイスの３次元触覚要素を生成する方法であって、
    ａ）触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
    ｂ）３次元初期触覚モデルの一連の対応ポイントと前記オブジェクトの前記２次元画像の一連の対応ポイントとの間に対応関係を確立し、
    ｃ）触覚モデルの２次元投影と前記オブジェクトの前記２次元画像との間のエラーを求め、ここで、前記触覚モデルが一連のパラメータ化した演算を前記初期触覚モデルに適用することにより決定され、
    ｄ）エラー許容範囲内のエラーに対応する触覚モデルを生成する、前記パラメータ化された演算に対するパラメータを前記対応関係に基づいて設定することを備える方法。
25. ２次元画像に対応するヒューマン−コンピュータインターフェイスの３次元触覚要素を生成する方法であって、
    ａ）触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する３次元触覚モデルを選択し、
    ｂ）前記２次元画像との相互作用が前記３次元触覚モデルとの相互作用にリンクするように、前記２次元画像と前記３次元触覚モデルとの間に関係を確立し、
    ｃ）前記選択した触覚モデルを前記関係に基づいて変形させることにより３次元触覚要素を生成することを備える方法。
26. 前記２次元画像との相互作用は、ユーザによる入力デバイスの操作に応答する前記画像の視覚表示におけるカーソルの動きを含み、前記３次元触覚モデルとの相互作用は、ユーザによる入力デバイスの操作に応答して前記入力デバイスにフィードバックされるフォースを含む、請求項２５記載の方法。
27. ユーザが前記３次元触覚モデルに加えるフォースが前記２次元画像の表示に影響するように相互作用がリンクされる、請求項２５記載の方法。
28. 前記関係を確立することは、前記３次元触覚モデルと前記２次元画像との間の知覚的不一致が最小化されるように、前記３次元触覚モデルと前記２次元画像との間に対応関係を確立することを含む、請求項２５記載の方法。
29. 前記関係を確立することは、前記画像の平面への前記触覚モデルの２次元投影と前記２次元画像との間の相違を表すエラーが最小化されるように、前記３次元触覚モデルと前記２次元画像との間に対応関係を確立することを含む、請求項２５記載の方法。

Images