JP2016219002A - 予測される接触に基づく触覚効果 - Google Patents

Abstract

【課題】振動効果又は振動触感の触覚効果は、電子デバイスのユーザに、特定のイベントに対してユーザに警告するための又はシミュレーションされた環境又は仮想環境内でより大きい没入感覚を作る現実的フィードバックを提供するための手がかりを提供する。【解決手段】触覚対応デバイスはユーザインターフェースを有し、触覚効果を生成する。デバイスは、デバイス上でのユーザによる現存の接触に基づいて、ユーザインターフェースとのユーザによる将来の接触の兆候を受信し、兆候に基づいて、将来の接触の時刻及び位置を予測する。システムは、予測に基づいて応答触覚効果を決定し、触覚出力デバイスを使用して応答触覚効果を生成する。【選択図】図１

Description

１つの実施形態では概ね触覚効果に向けられ、特にデバイス上に生成される触覚効果に向けられる。

携帯電話機、スマートフォン、カメラ付き電話機、カメラ、パーソナル・デジタル・アシスタント（ＰＤＡｓ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）などのような携帯／移動電子デバイスは、典型的に、デバイスに対して発生する特定のイベントをユーザに警告するための出力機構を含む。例えば、携帯電話機は、通常、着信電話イベントをユーザに可聴的に通知するためのスピーカを含む。可聴信号は、特定の着信音、音楽の一部、効果音などを含むことができる。更に、携帯電話機は、着信電話をユーザに視覚的に通知するために使用することができる表示スクリーンを含むことができる。

幾つかの携帯デバイスでは、より一般的に総称して「触覚フィードバック」又は「触覚効果」として知られる（活性及び抵抗力フィードバックなどの）運動感覚フィードバック及び／又は（振動、手触り、熱などの）触感フィードバックも、ユーザに提供される。触覚フィードバックは、ユーザインターフェースを向上させ、且つ簡素化する手がかりを提供することができる。具体的には、振動効果又は振動触感の触覚効果は、電子デバイスのユーザに、特定のイベントに対してユーザに警告するための又はシミュレーションされた環境又は仮想環境内でより大きい没入感覚を作る現実的フィードバックを提供するための手がかりを提供することに有益である可能性がある。

１つの実施形態はユーザインターフェースを有し、触覚効果を生成する触覚対応デバイスである。デバイスは、デバイス上でのユーザによる現存の接触に基づいてユーザインターフェースとのユーザによる将来の接触の兆候を受信し、兆候に基づいて接触の時刻及び位置を予測する。予測に基づいて、システムは、応答触覚効果を決定し、触覚出力デバイスを使用して応答触覚効果を生成する。

本発明の実施形態を実装することができる触覚対応携帯デバイス又はシステムのブロック図である。

実施形態に係る、対象物がシステムに接触するであろうという予測に応じて触覚効果を生成するときの、図１のシステムの機能のフロー図である。

１つの実施形態では、ユーザと携帯デバイスとの接触の時刻及び接触の位置を予測する。予測に基づいて、触覚効果が携帯デバイス上に生成される。

図１は、本発明の実施形態を実装することができる触覚対応携帯デバイス・システム又はシステム１０のブロック図である。システム１０は、筐体１５内に取り付けられるタッチ感応表面１１又は他のタイプのユーザインターフェースを含み、機械的なキー／ボタン１３を含むことができる。システム１０上に触覚効果を生成する触覚フィードバック・システムは、システム１０に内在する。１つの実施形態では、触覚効果は、タッチ表面１１上、又はシステム１０の任意の他の部分上に生成される。

触覚フィードバック・システムはプロセッサ又はコントローラ１２を含む。プロセッサ１２に結合されるのは、メモリ２０及び触覚出力デバイス１８に結合される駆動回路１６である。プロセッサ１２は、如何なるタイプの汎用プロセッサであってもよく、特定用途向け集積回路（「ＡＳＩＣ」ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などの、触覚効果を提供するために特に設計されたプロセッサでもよいであろう。プロセッサ１２はシステム１０全体を動作させるプロセッサと同じものでもよいし、又は別個のプロセッサであってもよい。プロセッサ１２は、高レベルのパラメータに基づいて、再生されるべき触覚効果及びその触覚効果が再生される順序を決定することができる。一般的に、特定の触覚効果を定義する高レベルのパラメータは、大きさ、周波数、及び期間を含む。モータのストリーミング命令などの低レベルのパラメータも特定の触覚効果を決定するために使用されるであろう。触覚効果は、触覚効果が生成される時のこれらのパラメータのある程度の変動又はユーザとの相互作用に基づくこれらのパラメータの変動を含む場合、「動的」と考えることができる。

プロセッサ１２は、所望の触覚効果を生成させるために触覚出力デバイス１８に必要な電流及び電圧（すなわち、「モータ信号」）を供給するために使用される電子部品及び回路を含む駆動回路１６に制御信号を出力する。システム１０は、複数の触覚出力デバイス１８を含むことができ、各触覚出力デバイスは、個別の駆動回路１６を含むことができ、全ては、共通のプロセッサ１２に結合される。メモリ・デバイス２０は、ランダム・アクセス・メモリ（「ＲＡＭ」ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）又は読み取り専用メモリ（「ＲＯＭ」ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）などの如何なるタイプの記憶デバイス又はコンピュータ可読媒体とすることができる。メモリ２０は、オペレーティング・システム命令などの、プロセッサ１２によって実行される命令を格納する。メモリ２０は、命令の中に触覚効果生成モジュール２２を含み、それは、以下により詳細に開示されるように、プロセッサ１２によって実行される時に、予測される接触に基づいて触覚効果を生成する命令である。メモリ２０は、プロセッサ１２内に位置してもよいし、又は内部メモリ及び外部メモリの如何なる組み合わせであってもよい。

触覚出力デバイス１８は、触覚効果を生成する任意のタイプのデバイスとすることができる。１つの実施形態では、触覚出力デバイス１８は振動型触覚効果を生成するアクチュエータである。この目的のために使用されるアクチュエータは、モータが偏心質量を移動させる偏心回転質量（「ＥＲＭ」Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）、ばねに取り付けられた質量が前後に駆動される線型共振アクチュエータ（「ＬＲＡ」Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）、又は圧電性物質、電気活性ポリマー、もしくは形状記憶合金などの「スマート材料」などの電磁アクチュエータを含むことができる。触覚出力デバイス１８は、静電摩擦（「ＥＳＦ」ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ）デバイス又は超音波表面摩擦（「ＵＳＦ」ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ）などのデバイス、あるいは超音波触覚変換器に音響照射圧を誘発するデバイスであってもよい。他のデバイスは、触覚基板及び可撓性の又は変形可能な表面を使用することができ、デバイスは、空気ジェットなどを使用して一吹きの空気などの突出触覚出力を提供できる。

タッチ表面１１を有する実施形態では、タッチスクリーンはタッチを認識し、その表面上のタッチの位置及び大きさを認識することもできる。タッチに対応するデータは、プロセッサ１２又はシステム１０内の別のプロセッサに送信され、プロセッサ１２は、そのタッチを解釈し、それに応答して触覚効果信号を生成する。タッチ表面１１は、静電容量感知、抵抗感知、表面弾性波感知、圧力感知、光学感知などを含む感知技術を使用してタッチを感知することができる。タッチ表面１１は、複数のタッチの接触を感知することができ、同時に発生する複数のタッチを区別することができる。タッチ表面１１は、ユーザがキー、ボタン、ダイヤルなどと相互作用するための画像を生成及び表示するタッチスクリーンであってもよいし、又は最小限の画像を有するもしくは画像を全く有さないタッチパッドであってもよい。

システム１０は、携帯電話機、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、スマートフォン、コンピュータ・タブレット、ゲーム・コンソールなどのハンドヘルド・デバイスもしくは携帯デバイスであってもよいし、又はユーザインターフェースを提供し、１つ以上のアクチュエータを含む触覚効果システムを含む任意の他のタイプのデバイスであってもよい。ユーザインターフェースは、タッチ感応表面でもよいし、又は物理的なボタン、マウス、タッチパッド、ミニ・ジョイスティック、スクロール・ホイール、トラックボール、ドアノブ、ゲーム・パッド、又はゲーム・コントローラなどの任意の他のタイプのユーザインターフェースとすることができる。システム１０は、物理的に操作される場合に触覚効果を生成する可撓性の／屈曲可能なデバイスであってもよく、その場合、「ユーザインターフェース」は、そのデバイス自体の可撓性の／屈曲可能な部分である。

システム１０は、プロセッサ１２に結合される１つ以上のセンサ２８を更に含む。センサ２８は、プロセッサ１２との併用で、ユーザがいつどこでシステム１０に、例えばタッチスクリーン１１の特定の部分又は特定の物理的キー１３に、接触するかを予測する。システム１０が可撓性の／屈曲可能なデバイスである場合、予測される接触は、曲げ、圧搾などのタイプ及び量の予測であろう。予測は、ユーザがシステム１０を下に置こうとしているという予測などのこれから起きる他のタイプの操作であり得る。

１つの実施形態におけるセンサ２８は近接センサである。近接センサは、指（又はスタイラス）がタッチスクリーン１１又はシステム１０の他の部分のすぐ近傍にあるが接触していない時に検出する。近接センサは、システム１０に対しての指の位置（例えば、ｘ、ｙ、ｚ）、方向、速度及び加速度、姿勢（例えば、横揺れ、縦揺れ、偏揺れ）なども検出できる。近接センサは、指又は他の対象物がシステム１０に近接していることの感知を可能にする任意の技術を使用することができる。例えば、それは、容量性、電界、誘導性、ホール効果、リード、渦電流、磁気抵抗、光の影、可視光、赤外線、光学的色認識、超音波、音響放射、レーダ、熱、ソナー、導電性又は抵抗性、などを含む感知技術に基づくことができる。

１つの実施形態では、センサ２８は、各々がタッチスクリーン１１の上に感知フィールドを生成し、対象物が感知フィールドを乱す又は傍受する時に信号を作成する１つ以上の近接センサを含む。各感知フィールドは、典型的には、乱された時に独自の信号を生成する。１つの実施形態では、単一の感知フィールドがタッチスクリーン１１の表面全体をカバーするために使用される。別の実施形態では、単一の感知フィールドはタッチスクリーン１１の表面の一部のみをカバーするために使用される。別の実施形態では、複数の感知フィールドがタッチスクリーン１１の表面全体をカバーするために使用される。任意の数の感知フィールドを使用することができる。幾つかの場合において、追跡を行うために、感知フィールドを、ノードのピクセル化されたアレイとして分散させてさえもよい。幾つかの実施形態では、近接感知は、対象物がタッチスクリーンに比較的近い距離内に存在する時にのみ、且つタッチスクリーンに対しての対象物の動きに応答してのみ、接近を検知することに限定される。

別の実施形態では、センサ２８は、例えば参照により本明細書に組み込まれる「Ｍ．Ｎｏｏｒらによる、“２８ Ｆｒａｍｅｓ Ｌａｔｅｒ： Ｐｒｅｄｉｃｔｉｎｇ Ｓｃｒｅｅｎ Ｔｏｕｃｈｅｓ Ｆｒｏｍ Ｂａｃｋ−ｏｆ−Ｄｅｖｉｃｅ Ｇｒｉｐ Ｃｈａｎｇｅｓ” ＣＨＭ２０１４、２０１４年４月２６日−５月１日」に開示されているように、デバイスの背後のグリップの変化を使用してシステム１０との接触を予測する。この実施形態では、センサ２８は、タッチ位置を接触の約２００ｍｓ前に約１８ｍｍの精度で予測できるプロセッサ１２によって実装される機械学習手法を有する、システム１０の周囲に配置される複数の低解像度の静電容量式タッチセンサである。

別の実施形態では、センサ２８は、筋肉活性化センサの形態とすることができる。例えば、ユーザの前腕に配置される腕章は前腕内の筋肉の活性化を感知することができる。筋肉活性化は、ユーザによるシステム１０との将来の接触を予測するために使用することができる。

別の実施形態では、センサ２８は、マイクロソフト社からの「Ｋｉｎｅｃｔ」などの３次元カメラ、静電容量感知、又は圧力感知とすることができる。例として、例えば参照により本明細書に組み込まれる「Ｍ． Ｓａｔｏらによる、“Ｅｎｈａｎｃｉｎｇ Ｔｏｕｃｈ Ｉｎｔｅｒａｃｔｉｏｎ ｏｎ Ｈｕｍａｎｓ，Ｓｃｒｅｅｎｓ，Ｌｉｑｕｉｄｓ，ａｎｄ Ｅｖｅｒｙｄａｙ Ｏｂｊｅｃｔｓ”ＣＨＩ２０１２：ＡＣＭ．の議事録、ｐｐ．４８３−４９２」に開示されている「掃引周波数静電容量感知」を、ドアの取っ手に対するユーザの指の数やグリップのタイプなどの、対象物に対する手の姿勢を検出するために使用することができる。このタイプの感知は、手の姿勢又はグリップの変化を検出し、タッチを予測するために使用することができる。分散した圧力センサもグリップの変化を予測するために使用することができる。加速度計などの他のセンサは、単独でタッチ入力を予測するのに十分でないかもしれないが、前述したような他のセンサと共に使用される場合、精度を向上させることができる。実施形態では、携帯電話機の関連の動きだけでなく姿勢の変化を検出することができ、情報を組み合わせて、タッチ入力をより良く予測することができる。更に、ユーザはタッチを行うであろう場所を見る可能性がより高いので、アイ・トラッカーを同じ目的で使用することができる。

一般的に、触覚フィードバック又は触覚効果は、典型的には、指又は他の対象物がタッチスクリーンにタッチする、又はボタンを押すまで作成されない。しかしながら、タッチ・ジェスチャは、指がインタフェースにタッチするかなり前から始まる可能性があり、タッチ面又はボタンへ向かう指の動きを含む。前述のように、タッチ又は他の接触の予測を、指がそのコントロールにタッチする前に触覚フィードバックを作成するために実施形態で使用することができる、又は指がインタフェースにタッチするまさにその瞬間に触覚フィードバックを作成するための準備として使用することができる。幾つかの実施形態では、予測は、非接触の動き又は近接度を使用せずに、デバイス上でのユーザによる現存の接触に基づく。

１つの実施形態では、接触予測は、タッチ入力が完了する前のタッチ・ジェスチャが開始される時に、触覚フィードバックがデバイスを保持する手に作成される空間的レンダリングに使用される。例えば、触覚効果は、タッチスクリーンから出ている仮想ボタンのたわみをシミュレーションし、タッチスクリーンがタッチされ、ボタンが活性化される時にクリックで終わることができる。

別の実施形態では、接触予測は予め有効にされる出力に対して使用される。例えば、触覚アクチュエータを、指がスクリーンにタッチする時に最大強度となるようにタッチ・ジェスチャの進行中に通電することができる。例えば、ＥＲＭを、タッチの瞬間に加速のピークを作成するように予め通電することができるであろう。

別の実施形態では、接触予測は事前計算のために使用される。例えば、触覚効果を作成するために必要な如何なる計算も、タッチ・ジェスチャの進行中に事前に計算することができ、触覚フィードバックにおけるあらゆる遅延を除去できる。例えば、衝突検出アルゴリズムを、タッチ入力の効果及びその結果の触覚フィードバックを決定するために実行する必要がある可能性がある。同様に、触覚効果を、デジタルファイルの形態（例えば、．ｗａｖファイル又は他のパルス符号変調（「ＰＣＭ」Ｐｕｌｓｅ−ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）データ）で計算し、再生のために、プロセッサ１２と遠隔通信する着用可能な腕輪又は任意のタイプのデバイスなどの、触覚効果を生成するための独自の触覚出力デバイスを含む別個のデバイスに送信する必要がある可能性がある。

別の実施形態では、触覚フィードバックを入力の結果を示すためにタッチ入力の前に生成することができるので、接触予測を動作プレビューに使用する。例えば、ユーザは、指が「削除」ボタンに近づくと不快な振動を感じることができる。入力をより容易に又はより困難にするために、表示装置がその形を変えることもできるであろう。例えば、可撓性の表示装置は危険なタッチ入力から離れるように湾曲することができるであろう。

実施形態での動作プレビューは、タッチ入力の他に他のタイプのユーザ入力にも使用できる。例えば：（１）ボタン、スライダー、又はトリガなどの物理的コントロールに対する動作、（２）ユーザがスライドのジェスチャを中断し指を持ち上げようとしているという予測などのジェスチャの変化、（３）電話機を曲げる又は圧搾するなどの別のタイプの入力の変化、又は（４）ユーザが自分の電話機を下に置こうとしているという事実などのデバイスの取り扱い。

図２は、実施形態に係る、対象物がシステム１０に接触するであろうという予測に応じて触覚効果を生成するときの、図１のシステム１０の機能のフロー図である。１つの実施形態では、図２のフロー図の機能は、メモリ又は他のコンピュータ可読もしくは有形媒体に格納され、プロセッサによって実行されるソフトウェアで実装される。他の実施形態では、その機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの使用による）又はハードウェア及びソフトウェアの任意の組み合わせで実行されることができる。

２０２において、システム１０は、ユーザによる現存の接触に基づいて、ユーザによる将来の接触又は入力（すなわち、システム１０との接触が起きるであろう又は起きるべきであるということを示すユーザによる動作）の兆候を受信する。結果として起きる接触は、ボタン、トリガ、及びスライダーなどの物理的コントロールに対する動作だけでなくタッチスクリーンへのタッチを含むことができる。結果として起きる接触は、ユーザがスライドのジェスチャを中断し、スクリーンを持ち上げるであろう時の予測などの進行中のジェスチャの変化も含むことができる。それは、可撓性のデバイスを曲げる、捻じる、又は圧搾するなどの他の入力機構に関連するグリップの変化も含むことができるであろう。現存の接触は、現在のスライドしているジェスチャ又は、システム１０との接触、システム１０に対する現在のグリップなどに係わる他のジェスチャを含むことができる。

２０４において、その兆候に基づいて、システム１０は、センサ２８からの入力を使用して、接触の特定の時刻及びシステム１０上での位置を予測する。

２０６において、その予測に基づいて、システム１０は応答触覚効果を決定する。応答触覚効果は、触覚効果を入力が行われる前に作成しなければならないという判断に基づくことができる。例えば、一連の振動効果をタッチ入力の前及び後の特定の時刻に作成することができるであろう。例えば、強度が増大する振動パルスを入力の１００、７５、５０、２５ｍｓ前に作成し、続いて入力のまさにその時に強い振動を作成することができるであろう。

システム１０は、差し迫ったタッチ入力の結果を判断し、ユーザに対してこの情報をプレビューさせる触覚効果を作成することもできるであろう。例えば、「危険な」操作（例えば、ファイルの削除）を、タッチの前に不快な触覚効果に関連付けることができるであろう。

システム１０は、またタッチ入力の瞬間に再生されるべき触覚効果を決定し、予めアクチュエータを通電することができるであろう。例えば、ＥＲＭは、正しい時刻に加速のピークに達するように、入力の少し前に通電する必要がある可能性がある。

同様に、システム１０は、再生されるべき触覚効果を決定し、それを準備するために事前計算を実行することができるであろう。これは、シミュレーションの計算及びその結果の触覚フィードバックを含むことができるであろう。例えば、３Ｄモデルは、シミュレーションされることになっている衝突及びその結果の力の計算を必要とするであろう。シミュレーションされた材料に対して軽く接触することをシミュレーションする触覚効果は、摩擦及びその結果の振動の計算を必要とするであろう。幾つかの場合、触覚効果を、再生の前に比較的遅い通信チャネルを介して送信する（例えば、ブルートゥース（登録商標）で．ｗａｖファイルを送信する）必要もある可能性がある。

２０８において、システム１０は触覚効果信号を生成し、触覚出力デバイスに送信することによって、２０６において決定された触覚効果を生成する。

幾つかの実施形態では、接触が予測されることになっている対象物の検出の範囲は、比較的大きい。例えば、幾つかの実施形態では、対象物は、タッチ・ジェスチャの開始を検出するために、タッチスクリーンの近く又はすぐ近くに存在する必要はない（すなわち、近接センサによって検出され得るために近くに存在する必要はない）。更に、１つの実施形態では、対象物を、それがデバイスから引き離され、近接センサの「視線」から外れている場合、検出することができる。その結果、実施形態では、対象物がタッチスクリーンから特定の距離に近づくまで待つ必要がなく、対象物が動き始めるやいなや触覚効果を適用又は準備することができる。

更に、実施形態では、対象物の動きが無い場合でもジェスチャを予測することができる。例えば、実施形態では、電話機が手で支えられている（すなわち、グリップが変わる）ユーザの手のひらを通して姿勢の変化を検出することによって、タッチスクリーンに接触している指が持ち上がろうとしている又はスライドしようとしていることを検出することができる。

本発明の実施形態の使用及び実装の例として、「アリス」が重要な課題に取り組んでいる時に彼女のタブレット上に混乱を招くダイアログが不意に現れると仮定する。彼女は、それを閉じるために指を迅速に「ＯＫ」ボタンの方に動かすが、それに近づくにつれて強い振動を感じる。彼女はより詳しく見て、自分が少ないバッテリの電話機の電源を図らずも切ろうとしていたことに気付く。

別の例として、「ボブ」が仮想ボタンを使って彼のスマートフォン上でゲームをしていると仮定する。彼は、ボタンの１つの上に指を保持し、振動が強くなっていることで彼のレーザガンがエネルギーを充填しているのを感じる。彼は、レーザガンが完全にエネルギー充填されていると感じるとその動きを終了し、レーザガンを発射する。

別の例として、「チャールズ」が、彼が着用している２つの無線腕章上にフィードバックを作成するコンソール・ゲームをしていると仮定する。イベントが起きる度に、コンソールは、．ｗａｖファイルなどのデジタル・データを触覚効果再生のために腕章に送信する。処理には数百ミリ秒かかるが、チャールズがボタンにタッチしようとする時をコンソールが予測して予め触覚効果信号データを送信するので、彼は遅延に全く気付かない。

別の例として、「ダン」が彼のスマートフォン上で電子メールを送信しようとしている時にテキスト・メッセージで中断されると仮定する。彼はテキスト・メッセージに返信し、そのスマートフォンをテーブル上に下ろし始める。しかしながら、彼がそのようにすると、電話機は穏やかに振動し、未送信の電子メールがあることを彼に思い出させる。彼はスマートフォンを取り上げて送信ボタンを打つ。

別の例として、「エリック」がフレキシブルなゲーム・コントローラを使用して、彼のＴＶ上でゲームをすると仮定する。彼はコントローラの側面をつかみ、鳥に翼を羽ばたかせるようにコントローラを曲げている。かわって、コントローラの仮想ボタンを使うために彼はグリップを変える。彼に気付かれずに、コントローラはジェスチャの変化を検出し、彼が鳥の翼ではなく機関銃を感じることができるように、触覚効果を予めロードした。

一般的に、幾つかのタブレット・コンピュータ及び他のハンドヘルド・デバイスは両手で使用することができる。しかしながら、容量性タッチスクリーン及び近接感知の公知の使用法では、スクリーンが一方の手又は他方の手の指でタッチされているかを判別することはできない。対照的に、上記に開示されている実施形態（例えば、デバイスの背後のグリップの変化の使用）では、どちらの手がこれから起きる接触に使われているかの判別を含む接触予測を行うことができ、それに応答して、ユーザインターフェース及び触覚フィードバックを適切に適応させることができる。例えば、絵画のアプリケーションでは、異なるツールを異なる指又は手に関連付けることができる。左手の人差し指でのタッチは、それに合った触覚を伴って、絵の具を塗ることができるであろう。右手の人差し指でのタッチは、先と同様にそれに合った触覚を伴って、それを消去することができるであろう。

実施形態に係る接触予測は、ユーザがスクリーンにタッチさえしたくない状況に対して使用することができる。例えば、外科医は衛生上の理由からスクリーンにタッチせずにボタンを押すことを好む場合がある。同様に、直接には何もタッチする必要がなければ、キーボード上でタイプし、ゲーム・コントローラ上で軽くたたくことの方がより早い場合がある。実際の接触の有無にかかわらず触覚フィードバックを生成する実施形態では、タッチしていない手（例えば、デバイスを保持している手）に適用される触覚フィードバックを生成するなどを欠落している確認のフィードバックに追加することができる。

実施形態に係る接触予測は、自動的にユーザインターフェースを適合させるように使用することができる。例えば、タッチスクリーン上のボタンは、予測に基づいて、ユーザがタッチしようとしている場所に配置されるように移動することができる。同様に、ゲームのコンテンツを、プレイヤーの指がスクリーンに近づくときに難易度を増大又は減少させるために、シフトさせることができるであろう。

開示されているように、実施形態では、グリップの変化を検出することができ、それ故に、電話機をテーブル上に置くこと、電話機をポケット又はバッグに入れること、電話機を落とすこと、電話機を傾けることなどのような将来の動作を予測できる。１つの実施形態では、接触予測を、ユーザが電話機の向きを変えようとしている時を検出するために使用し、使用されているアプリケーションがこの向きをサポートしていない場合、触覚効果を生成する。例えば、幾つかの携帯用オペレーティング・システム及びアプリケーションはスクリーンの向きをロックすることを可能にしている。例えば、電子書籍アプリケーションは、電話機の向きが変えられたが、そのアプリケーションの向きがロックされている場合に触覚効果を生成することができる。

実施形態は、ハンドヘルド・デバイス以外の対象物との接触を予測するために使用されることができる。例えば、車の座席の背面にあるセンサは、運転者が手を伸ばし、タッチスクリーン・インフォテインメント・システムにタッチするために姿勢を変えている時を検出し、それに応答して触覚効果を適用することができる。

開示されているように、実施形態では、携帯デバイス上の接触の時刻及び接触の位置を予測する。予測の結果として、最終的な接触に対して、より最適化され、より関連する触覚効果が、携帯デバイスによって生成される。

幾つかの実施形態が本明細書に具体的に例示及び／又は記載されている。しかしながら、開示されている実施形態の修正及び変形が、本発明の精神及び意図している範囲から逸脱することなく、上記の教示によってカバーされ、添付の特許請求の範囲内にあることが理解されるであろう。

Claims (25)

1. ユーザインターフェースを有するデバイス上に触覚フィードバックを提供する方法であって、
   前記デバイス上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信するステップと、
   前記兆候に基づいて、前記将来の接触の時刻及び位置を予測するステップと、
   前記予測に基づいて、応答触覚効果を決定するステップと、
   前記応答触覚効果を生成するステップと、を含む方法。
2. 前記デバイス上での前記ユーザによる前記現存の接触は、前記デバイス上での変化しているグリップであり、前記応答触覚効果は、前記将来の接触の前に生成される、請求項１に記載の方法。
3. 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項２に記載の方法。
4. 前記将来の接触は前記ユーザが前記デバイスのタッチスクリーンをタッチすることを含む、請求項１に記載の方法。
5. 前記将来の接触は前記ユーザが前記デバイスの物理的コントロールと相互作用することを含む、請求項１に記載の方法。
6. 前記将来の接触は前記ユーザが前記デバイスを変形することを含む、請求項１に記載の方法。
7. 前記変形することは前記ユーザが前記デバイスを曲げることを含む、請求項６に記載の方法。
8. 前記現存の接触は前記デバイス上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項１に記載の方法。
9. 触覚対応のシステムであって、
   コントローラと、
   プロセッサに結合される触覚出力デバイスと、
   前記プロセッサに結合されるユーザインターフェースと、を備え、
   前記コントローラは、
   前記システム上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信し、
   前記兆候に基づいて、前記将来の接触の時刻及び位置を予測し、
   前記予測に基づいて、応答触覚効果を決定し、
   前記触覚出力デバイスを介して前記応答触覚効果を生成するように構成される、システム。
10. 前記システム上での前記ユーザによる前記現存の接触は前記システム上での変化しているグリップであり、前記応答触覚効果は前記将来の接触の前に生成される、請求項９に記載のシステム。
11. 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項１０に記載のシステム。
12. 前記現存の接触は前記ユーザインターフェース上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項９に記載のシステム。
13. 前記プロセッサに結合される物理的コントロールを更に備えるシステムであって、
    前記将来の接触は前記ユーザが前記物理的コントロールと相互作用することを含む、請求項９に記載のシステム。
14. 前記ユーザインターフェースは変形可能な材料を備え、前記将来の接触は前記ユーザが前記変形可能な材料を変形することを含む、請求項９に記載のシステム。
15. 前記変形することは前記ユーザが前記ユーザインターフェースを曲げることを含む、請求項１４に記載のシステム。
16. 前記将来の接触は前記ユーザが前記システムの静止位置を変えることを含む、請求項９に記載のシステム。
17. 前記プロセッサに結合されるセンサを更に備えるシステムであって、前記センサは前記兆候を生成する、請求項９に記載のシステム。
18. コンピュータ可読媒体上に格納される命令であり、プロセッサによって実行されると前記プロセッサにユーザインターフェースを有するデバイス上に触覚フィードバックを提供させる前記命令を有する前記コンピュータ可読媒体であって、前記提供させることは、
    前記デバイス上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信するステップと、
    前記兆候に基づいて、前記将来の接触の時刻及び位置を予測するステップと、
    前記予測に基づいて、応答触覚効果を決定するステップと、
    前記応答触覚効果を生成するステップと、を含む、コンピュータ可読媒体。
19. 前記デバイス上での前記ユーザによる前記現存の接触は前記デバイス上での変化しているグリップであり、前記応答触覚効果は前記将来の接触の前に生成される、請求項１８に記載のコンピュータ可読媒体。
20. 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項１９に記載のコンピュータ可読媒体。
21. 前記将来の接触は前記ユーザが前記デバイスのタッチスクリーンをタッチすることを含む、請求項１８に記載のコンピュータ可読媒体。
22. 前記将来の接触は前記ユーザが前記デバイスの物理的コントロールと相互作用することを含む、請求項１８に記載のコンピュータ可読媒体。
23. 前記将来の接触は前記ユーザが前記デバイスを変形することを含む、請求項１８に記載のコンピュータ可読媒体。
24. 前記変形することは前記ユーザが前記デバイスを曲げることを含む、請求項２３に記載のコンピュータ可読媒体。
25. 前記現存の接触は前記デバイス上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項１８に記載のコンピュータ可読媒体。

Images