JP6603059B2 - マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法 - Google Patents

マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法 Download PDF

Info

Publication number
JP6603059B2
JP6603059B2 JP2015142545A JP2015142545A JP6603059B2 JP 6603059 B2 JP6603059 B2 JP 6603059B2 JP 2015142545 A JP2015142545 A JP 2015142545A JP 2015142545 A JP2015142545 A JP 2015142545A JP 6603059 B2 JP6603059 B2 JP 6603059B2
Authority
JP
Japan
Prior art keywords
haptic effect
user interaction
haptic
determining
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015142545A
Other languages
English (en)
Other versions
JP2016024826A (ja
Inventor
ビンセント レベスク、
ユアン マヌエル クルス−エルナンデス、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2016024826A publication Critical patent/JP2016024826A/ja
Application granted granted Critical
Publication of JP6603059B2 publication Critical patent/JP6603059B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザインターフェース装置及び触覚効果の分野に関する。より詳細には、本発明は、マルチタッチ型入力に関係付けられる触覚効果を決定することに関する。
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置がタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、こうしたタッチ可能装置の多くはマルチタッチを許容する。一部のタッチ可能装置は、触覚効果、例えば、ユーザ相互作用に関係付けられる触覚効果を利用する。マルチタッチ型入力に関係付けられる触覚効果を決定することが必要とされている。
本開示の実施形態は、タッチ領域とのユーザ相互作用に基づいて触覚効果を出力するように構成される装置を含む。こうした触覚効果は、タッチ領域における１つ以上の特徴をシミュレートしてもよい。特長には、例えば、テクスチャ（ｔｅｘｔｕｒｅ）、摩擦係数の変化、及び／又は境界、障害物又は装置とのユーザ相互作用を通じて知覚され得るタッチ面における他の不連続性のシミュレーションが含まれてもよい。一部の実施形態では、こうした触覚効果は、タッチ面との接触を介して知覚される表面ベースの触覚効果を含んでもよい。こうした触覚効果は、タッチ面又は装置の筐体との接触を介して感じられる振動を更に含んでもよい。本開示の実施形態は、マルチタッチ型ユーザ相互作用に部分的に基づいてこうした触覚効果を決定する。
一実施形態では、本開示のシステムは、タッチ面に触覚効果を出力するように構成される触覚出力装置と、第１のユーザ相互作用を検出して、第１のセンサ信号を送信するように更に構成されるタッチセンサ式入力装置であって、第２のユーザ相互作用を検出して第２のセンサ信号を送信するように更に構成され、第１のユーザ相互作用の少なくとも一部が第２のユーザ相互作用と同時に起こるタッチセンサ式入力装置と、センサと通信するプロセッサであって、第１のセンサ信号及び第２のセンサ信号を受信し、第１のユーザ相互作用及び第２のユーザ相互作用に部分的に基づいて触覚効果を決定し、触覚効果に関係付けられる触覚信号を触覚出力装置に送信するように構成されるプロセッサとを備えてもよい。
この例示の実施形態は、本主題を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及されるものである。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
マルチタッチ型入力に対する触覚効果を決定するための例示的なシステムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 マルチタッチ型入力に対する触覚効果を決定するための別の例示的な実施形態を示す。 マルチタッチ型入力に対する触覚効果を決定するための別の例示的な実施形態を示す。 マルチタッチ型入力に対する触覚効果を決定するための例示的なシステムを描く。 マルチタッチ型入力に対する触覚効果を決定するための別の例示的なシステムを描く。 マルチタッチ型入力に対する触覚効果を決定するための例示的なシステムを描く。 マルチタッチ型入力に対する触覚効果を決定するための別の例示的なシステムを描く。 マルチタッチ型入力に対する触覚効果を決定する方法を実行するためのステップのフローチャートである。 マルチタッチ型入力に対する触覚効果を決定する方法を実行するためのステップの別のフローチャートである。
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
（マルチタッチ型入力に対する触覚効果の決定の例示）
本開示の例示的な実施形態の１つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ（例えば、光学、抵抗性又は容量性）等の１つ以上のセンサを含み及び／又はこれらと通信してもよい。
例示の装置において、センサはマルチタッチを検出することができる。例えば、マルチタッチは、１本より多くの指のユーザジェスチャ、例えば、２本指のピンチ、又は２つの手に関する相互作用等のより複雑なユーザ相互作用を含んでもよい。例えば、例示の装置は、マルチタッチ相互作用を検出するように構成されるタッチスクリーンディスプレイを含んでもよい。
例示の装置は、ユーザ相互作用に応答して触覚効果を出力するように更に構成される。例えば、例示の装置は、触覚効果を出力するように構成されるアクチュエータ及び／又は装置等の１つ以上の触覚出力装置を含んでもよい。例えば、触覚効果は、装置の表面で指を動かす場合にユーザによって感知される摩擦係数を変化させるように構成されてもよい。このような実施形態では、表面上をユーザの指が動くと、ユーザによって感知される摩擦係数を変化させるために、振動、電磁場又は他の効果が出力されてもよい。どのように摩擦が変化するかによって、ユーザは、表面摩擦が変化しなかった場合には同じように（又は全く）感知されないであろうタッチ面における特徴を感知してもよい。特定の例示として、ユーザが特徴の端部、例えば、仮想ボタン、スライダ、ノブ又は他のインターフェース等のスクリーン上のウィジェットに対応する隆起、境界又は他の障害物を感知するように、摩擦が変化させられてもよい。一部の実施形態では、このウィジェットは、ウィジェットに関係付けられるシステムを制御するように構成されてもよい。例えば、一実施形態では、ウィジェットは、ＨＶＡＣシステムを制御するように構成される仮想ノブを含んでもよい。従って、仮想ノブと相互作用することによって、ユーザはＨＶＡＣシステムの設定を調節することが可能であってもよい。
例示の装置のプロセッサは、マルチタッチ相互作用に基づいて触覚効果を決定するように構成される。従って、一部の実施形態では、プロセッサは、装置との多数のユーザの接触、例えば、タッチスクリーンディスプレイとの多数の接触に部分的に基づいて触覚効果を決定する。例えば、例示の装置において、タッチスクリーンが２本指のスワイプを検出した場合、プロセッサは両方の接触点に部分的に基づいて触覚効果を決定してもよい。更に、例示の装置において、タッチスクリーンが多くの接触点に関するより複雑な相互作用を検出した場合、プロセッサは接触点の各々に部分的に基づいて触覚効果を決定してもよい。更に、一部の実施形態では、装置は、多数の異なる触覚出力装置（例えば、振動アクチュエータ及びＥＳＦアクチュエータ）を含んでもよい。このような実施形態では、プロセッサは、触覚効果を出力するためにどの触覚出力装置を使用するかを決定するように構成されてもよい。例えば、プロセッサは、触覚効果が多数の触覚出力装置によって出力されるべきであると決定してもよい。
一部の実施形態では、プロセッサは、マルチタッチに関係付けられる多数の要因に基づいて効果を決定してもよい。例えば、一部の実施形態では、マルチタッチは、グラフィカルユーザインターフェースにおける特徴（例えば、ボタン、キー、又はユーザインターフェースにおけるグラフィカルウィジェット）に関係付けられてもよい。このような実施形態では、プロセッサは、こうした特徴に部分的に基づいて触覚効果を決定してもよい。例えば、一実施形態では、ある指が１つの仮想特徴（例えば、ボタン）にタッチし得る一方で、他の指が別の仮想特徴（例えば、スライダ）にタッチする。このような実施形態では、プロセッサは、こうした特徴に部分的に基づいて触覚効果を決定してもよい。例えば、プロセッサは、ボタンがスライダをオーバーライド（ｏｖｅｒｒｉｄｅ）し、それによりボタンに関係付けられる触覚効果を出力することを決定してもよい。
代替的に、プロセッサは、特定の触覚効果が別の触覚効果よりも高い優先度を有しており、それにより高い優先度の効果のみを出力することを決定してもよい。例えば、プロセッサは、グラフィカルユーザインターフェースにおけるオブジェクトのエッジをシミュレートするように構成される触覚効果が他の効果よりも高い優先度を有しており、それによりエッジ効果のみを出力することを決定してもよい。代替的に、プロセッサは、強烈な効果のみが出力されるべきであることを決定してもよい。従って、一部の実施形態では、プロセッサは、低い強度の振動及び高い強度の振動を決定するが、高い強度の振動のみを出力してもよい。更に、一部の実施形態では、プロセッサは、マルチタッチのどの構成要素が効果を感じる可能性が最も高いか、例えば、ユーザのどの指が効果を感じる可能性が最も高いかを決定してもよい。このような実施形態では、プロセッサは、その指の相互作用に関係付けられる触覚効果を出力してもよい。
更に、一部の実施形態では、プロセッサは、マルチタッチに関係付けられる情報に基づいて触覚効果を決定してもよい。例えば、プロセッサは、最初に発生したユーザ相互作用に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサは、最もアクティブなユーザ相互作用（最も大きな移動との相互作用）、最もアクティブでないユーザ相互作用、又は最も大きな圧力を加えるユーザ相互作用に基づいて触覚効果を決定してもよい。
一部の実施形態では、プロセッサは、マルチタッチに関係付けられる各ユーザ相互作用に関係付けられる触覚効果を決定するが、１つの触覚効果だけを出力してもよい。従って、例えば、プロセッサは、触覚効果の平均を決定して、その平均を出力してもよい。更に、一部の実施形態では、プロセッサは、どの触覚効果が最も強烈であるか又は最も高い優先度を有するかを決定してもよい。更に、一部の実施形態では、プロセッサは、マルチタッチに関係付けられるユーザ相互作用の重畳（ｓｕｐｅｒｐｏｓｉｔｉｏｎ）を決定してもよい。例えば、プロセッサは、各接触点に関係付けられる触覚効果を決定してもよい。次に、プロセッサは、こうした触覚効果の各々に重み付けを適用して、出力する触覚効果を決定するためにこれらを組み合わせてもよい。
更に他の実施形態では、ユーザは、どのように触覚効果が決定されるべきかに関するプリファレンスを割り当ててもよい。例えば、特定の効果を割り当て、又は触覚効果を決定する特定のやり方を割り当ててもよい。更に他の実施形態では、プロセッサは、触覚効果を出力しないことを決定してもよい。例えば、プロセッサは、触覚効果がユーザにとって紛らわしい又は誤解を与えるであろうと決定してもよい。
別の実施形態では、プロセッサは、ユーザ相互作用が２人の異なるユーザ（例えば、第１のユーザ及び第２のユーザ）に関係付けられることを決定してもよい。このような実施形態では、プロセッサは、ユーザ相互作用の１つだけに関係付けられる触覚効果（例えば、第１のユーザにのみ関係付けられる効果）を決定してもよい。別の実施形態では、プロセッサは、両方のユーザ相互作用に関係付けられる触覚効果（例えば、第１のユーザ及び第２のユーザの両方の相互作用に関係付けられる触覚効果）を決定してもよい。更に別の実施形態では、プロセッサは、触覚効果が出力されるべきではないことを決定してもよい。
以下に更に詳細に検討されるように、マルチタッチに関係付けられる触覚効果は、様々なやり方で決定されてもよい。更に、以下に検討されるように、こうした方法は、多くの異なるタイプの情報をユーザに提供するために使用されてもよい。
（マルチタッチ型入力に対する触覚効果を決定するための例示のシステム）
図１Ａは、複数接触型入力に対する触覚効果を決定するための例示的なシステム１００を示す。この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。
ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。
Ｉ／Ｏ構成要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの触覚入力を感知するように構成される任意の表面を表す。１つ以上のセンサ１０８は、１つ以上の物体（例えば、指若しくは手等の体の一部、又はスタイラス若しくはブラシ等の構成要素）がタッチ面に接触する場合にタッチ領域におけるタッチを検出して、プロセッサ１０２によって使用される適切なデータを提供するように構成される。１つ以上のセンサ１０８は、単一のタッチ又はマルチタッチ及び単一のタッチ又はマルチタッチの圧力（マルチタッチの中の各タッチの圧力を含む）を感知するように構成されてもよい。任意の適切な数、種類、又は配置のセンサが使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。一部の実施形態では、圧力センサは、マルチタッチの位置又は圧力を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、１つ以上のセンサ１０８は、装置上の多くの位置に関係付けられるマルチタッチを検出するように構成されてもよい。例えば、１つ以上のセンサ１０８は、タッチ面上のタッチと共に装置の筐体上のタッチを検出するように構成されてもよい。更に、１つ以上のセンサ１０８は、こうしたタッチの各々に関係付けられる圧力を検出するように構成されてもよい。
一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上（ｏｖｅｒｔｏｐ）に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
この例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面のテクスチャがシミュレートされてもよく、又は異なる周波数で表面を振動させることによって感知された摩擦係数が変化（例えば、減少又は増加）させられてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。
本明細書には単一の触覚出力装置１１８が示されているが、実施形態は、同じ又は異なるタイプの多数の触覚出力装置を使用して、異なるタイプの効果又は効果の組み合わせ、例えば、振動、ポップ、クリック、表面変形、及び／又は摩擦係数の変化若しくはシミュレートされる表面テクスチャ等の表面ベースの効果を出力してもよい。例えば、一実施形態では、超音波周波数で、例えば、２０ｋＨｚよりも高い周波数で動作しているアクチュエータを使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、振動又は他の触覚効果を与えるために単独で又は同時に使用され得る。
更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面における質感をシミュレートするため又はユーザがタッチ面１１６上で指を動かすときに感じる摩擦係数を変化させるために、例えば、静電表面アクチュエータの使用により、静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える電気振動触覚ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近い又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。
他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力レベルの変化は、タッチ面１１６の表面で動くオブジェクトにおけるシミュレートされるテクスチャを変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させ又は他の効果を出力するために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において異なるテクスチャをシミュレートしてもよい。
当業者であれば、摩擦係数を変化させることに加えて、表面上の質感をシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上げる又は下げることによって変化させられてもよい。
一部の実施形態では、タッチ面１１６に近接した又は接触する体又はオブジェクトの部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８は、マルチタッチ型入力に対する触覚効果を決定するために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、１つ以上のタッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチ（又は複数のタッチ）の存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチ（又は複数のタッチ）の他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。特に、モジュール１２６は、出力する触覚効果を決定するコードを含んでもよい。以下に更に詳細に検討されるように、この決定は、接触の位置、接触の数、接触の時間、接触の圧力、接触の活動、又は触覚効果に関係付けられる特徴、例えば、効果の優先度、効果の強度、又は様々な決定された触覚効果の組み合わせ（例えば、効果の平均又は重畳）等のマルチタッチ及びマルチタッチに関係付けられる特徴に部分的に基づいてもよい。例えば、タッチ面１１６の一部又は全部の領域が、グラフィカルユーザインターフェースにマッピングされてもよい。特徴の対応表現がインターフェースに見られるときに特徴が感じられるように、接触面１１６の表面においてテクスチャをシミュレートすることによって特徴の存在をシミュレートするために、各タッチの場所に基づいて異なる触覚効果が選択されてもよい。しかしながら、触覚効果は、対応要素がインターフェースに表示されなくても、タッチ面１１６を介して与えられてもよい（例えば、インターフェースの境界を横断する場合に、境界が表示されていなくても、触覚効果が与えられてもよい）。
触覚効果生成モジュール１２８は、選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を生成させてアクチュエータ１１８へと送信させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、テクスチャに関する目標座標と共に所望のテクスチャが示されて、表面（及び／又は他の装置要素）の適切な移動を生成してテクスチャを与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、一致協力して特徴をシミュレートするために複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンを押したときの応答をシミュレートする。
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。
図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を含む。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、ディスプレイ１２２を備えるラップトップコンピュータにおけるタッチ可能トラックパッド等、タッチ面１１６及びディスプレイ１２２は同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
図２Ａ−２Ｂは、マルチタッチ型入力に対する触覚効果を決定するためのシステム及び方法の例示的な実施形態を示す。図２Ａは、タッチ可能ディスプレイ２０２を備えるコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を備える。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８、２２２はディスプレイに直接結合されているが、触覚出力装置２１８、２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。例えば、触覚出力装置２１８−１及び２１８−２は、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含んでもよい。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、同様に、異なる場所でタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を特徴としてもよい。
（マルチタッチ型入力に対する触覚効果を決定するための例示のシステム）
次に図３を参照すると、システム３００は、マルチタッチ型入力に対する触覚効果の決定の例示である。図３は、タッチ可能ディスプレイ３０２を備えるコンピュータ装置３０１を含むシステム３００の外観図を示す図面である。一部の実施形態では、コンピュータ装置３０１は、多機能コントローラを備えてもよい。例えば、キオスク、ＡＴＭ、自動車、航空機、サーモスタット又は他の種類のコンピュータ装置で使用されるコントローラである。他の実施形態では、コンピュータ装置３０１は、スマートフォン、タブレット、又は他の種類のコンピュータを含んでもよい。更に、一部の実施形態では、コンピュータ装置３０１は、ディスプレイ３０２上に１つ以上の仮想コントローラを備えてもよい。
図３に示されるように、タッチ可能ディスプレイ３０２は、マルチタッチを検出するように構成される。従って、タッチ可能ディスプレイ３０２は、実質的に同時に発生する１つより多くのユーザ相互作用を検出するように構成される。こうしたマルチタッチ相互作用は、コンピュータ装置３０１の多くの異なる動作を制御してもよい。例えば、マルチタッチ相互作用は、ユーザが、ズームイン、ズームアウト、異なるスクリーンへの変更、画像へのパン、特定のインターフェースとの相互作用（例えば、キーボード、ボタン、スライダ、又は他のインターフェース）、ゲーム環境との相互作用、又はコンピュータ装置３０１で実行されるソフトウェアによって可能にされる他のマルチタッチ相互作用の実行をできるようにしてもよい。
図３は、マルチタッチ相互作用の３つの例、即ち、４本指のピンチ操作３０４、２本指のピンチ操作３０６、及び２本指の逆ピンチ操作３０８を含む。ユーザは、タッチ可能ディスプレイ３０２の表面において、４本の指を互いにピンチすることによって４本指のピンチ操作３０４のジェスチャを行ってもよい。一部の実施形態では、４本指のピンチ操作は、ホームスクリーンに戻る等の動作をコンピュータ装置３０１に行わせてもよい。ユーザは、２本の指、例えば、親指及び人差し指を互いにピンチすることによって２本指のピンチ操作３０６を行ってもよい。一部の実施形態では、２本指のピンチ操作は、画像、ウェブページ、ビデオ、又は他のコンテンツからのズームアウト等の動作をコンピュータ装置３０１に行わせてもよい。ユーザは、２本の指、例えば、親指及び人差し指を押しながら遠ざけることによって２本指の逆ピンチ操作３０８を行ってもよい。一部の実施形態では、２本指の逆ピンチ操作は、画像、ウェブページ、ビデオ、又は他のコンテンツへのズームイン等の動作をコンピュータ装置３０１に行わせてもよい。
上記及び下記に更に詳細に検討されるように、ユーザがタッチ可能ディスプレイ３０２上でマルチタッチジェスチャを行うと、コンピュータ装置３０１は１つ以上の触覚効果を決定する。こうした触覚効果は、マルチタッチに関係付けられる要因に基づく。次に、コンピュータ装置３０１は、１つ以上の触覚出力装置を介してこうした触覚効果を出力する。こうした触覚効果は、ジェスチャの受領の確認として機能してもよい。代替的に、触覚効果は、ユーザへの他の情報、例えば、ユーザの指が境界を過ぎたこと、特定の動作が開始したこと、ディスプレイが変更したこと、又はコンピュータ装置３０１に関係付けられる何らかの他の情報を識別してもよい。
次に図４を参照すると、システム４００は、マルチタッチ型入力に対する触覚効果の決定の例示である。図４は、タッチ可能ディスプレイ４０２を備えるコンピュータ装置４０１を含むシステム４００の外観図を示す図面である。図３に関して記載されたコンピュータ装置３０１と同様に、一部の実施形態では、コンピュータ装置４０１は、多機能コントローラを含んでもよい。例えば、キオスク、ＡＴＭ、自動車、航空機、サーモスタット又は他の種類のコンピュータ装置で使用されるコントローラである。他の実施形態では、コンピュータ装置４０１は、スマートフォン、タブレット、又は他の種類のコンピュータを含んでもよい。例えば、コンピュータ装置４０１は、ミュージックプレーヤを制御するように構成されてもよい。このような実施形態では、コンピュータ装置４０１は、ディスプレイ４０２上に１つ以上の仮想コントローラを備えてもよい。
こうしたコントローラはミュージックプレーヤの機能に関係付けられてもよい。従って、ユーザはミュージックプレーヤの機能を制御するコントローラと相互作用してもよい。例えば、図４に示された実施形態では、コンピュータ装置４０１は、コントローラ４０４及びコントローラ４０６として図４に示された１つ以上のウィジェット又は仮想インターフェースを備える。このような実施形態では、コントローラ４０４は、ミュージックプレーヤの設定を制御するように構成されるノブの画像、例えば、ラジオ局を同調し、新しい曲を選択し、又は音量を調節するためのノブを含んでもよい。同様に、コントローラ４０６は、ミュージックプレーヤの別の特徴を調節するように構成されるスライダの画像を含んでもよい。他の実施形態では、コンピュータ装置４０１は、タッチ可能ディスプレイ上に複数の他の仮想コントローラを含んでもよい。仮想コントローラの各々は、システムの他の側面、例えば、ミュージックプレーヤ又は他のアプリケーションを制御するように構成されてもよい。
一部の実施形態では、コンピュータ装置４０１は、タッチ可能ディスプレイ４０２に焦点を合わせことなくユーザが利用可能な機能を識別できるようにする触覚効果を出力してもよい。例えば、タッチ可能ディスプレイ４０２、ノブ４０４及びスライダ４０６の背景が、別個に関係付けられた触覚効果をそれぞれ含んでもよい。ユーザがタッチ可能ディスプレイ４０２に焦点を合わせなくても、コンピュータ装置４０１はユーザがタッチしている場所を識別するためにこの触覚効果を出力してもよい。コンピュータ装置４０１は、タッチ可能ディスプレイ４０２上でのマルチタッチジェスチャに基づいて触覚効果を決定するように更に構成される（例えば、ユーザが同時にノブ４０４及びスライダ４０６と相互作用するとき）。
コンピュータ装置４０１は、マルチタッチの多くの特徴に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置４０１は、ユーザがタッチする第１のアイコンに基づいて触覚効果を決定してもよい。例えば、ノブ４０４及びスライダ４０６は、異なって関係付けられた触覚効果をそれぞれ含んでもよい。コンピュータ装置４０１は、ユーザによってタッチされる第１のアイコンに関係付けられる触覚効果を出力してもよい。従って、コンピュータ装置４０１は、ユーザがスライダ４０６の前にノブ４０４にタッチすることを決定する場合、ノブ４０４に関係付けられる触覚効果を出力するであろう。
別の実施形態では、コンピュータ装置４０１は、各アイコンに関係付けられる優先度を決定して、最も高い優先度を有するアイコンに関係付けられる触覚効果を出力してもよい。例えば、一実施形態では、ノブ４０４は優先度３を含んでもよく、スライダ４０６は優先度２を含んでもよい。従って、コンピュータ装置は、ノブ４０４に関係付けられる触覚効果ではなくスライダ４０６に関係付けられる触覚効果を出力してもよい。一部の実施形態では、こうした優先度は、ユーザプリファレンスによって設定されてもよい。例えば、コンピュータ装置４０１は、ユーザが各アイコンに対する優先度の値を設定できるようにするプログラミングを含んでもよい。更に、一部の実施形態では、ユーザは、各アイコンに特定の触覚効果を割り当てることが可能であってもよい。
更に他の実施形態では、コンピュータ装置４０１は、２つの別個の触覚効果を決定するが、２つの触覚効果のうち１つだけを出力してもよい。例えば、一部の実施形態では、プロセッサは、最も強烈な触覚効果を決定して、その効果だけを出力してもよい。代替的に、一部の実施形態では、プロセッサは、最も高く関連付けられた優先度を含む触覚効果を出力してもよい。例えば、各触覚効果は、それ自体の優先度を含んでもよい。このような実施形態では、こうした優先度は、設計者によって又はユーザプリファレンスに基づいて割り当てられていてもよい。
更に他の実施形態では、コンピュータ装置４０１は、２つの触覚効果に基づいて第３の触覚効果を決定して、第３の触覚効果を出力してもよい。例えば、一部の実施形態では、第３の触覚効果は、２つの触覚効果の平均を含んでもよい。更に、一部の実施形態では、触覚効果は、２つの触覚効果の重畳を含んでもよい。この重畳は、２つの効果の重み付けされた組み合わせ又は重み付けされた平均を含んでもよい。例えば、コンピュータ装置４０１は、各触覚効果に重み（例えば、２、１、．５、．２５又は０の重み）を割り当ててもよい。次に、コンピュータ装置４０１は２つの重み付けられた触覚効果の組み合わせ又は２つの重み付けされた効果の平均である第３の触覚効果を決定してもよい。
更に、一部の実施形態では、タッチ可能ディスプレイ４０２は、第３、第４、第５又はより多くのユーザ相互作用、例えば、多くの追加の接触によるマルチタッチを受信してもよい。コンピュータ装置４０１は、例えば、最も高い優先度を有する相互作用、マルチタッチの第１の相互作用に基づいてこうしたマルチタッチの各々に関係付けられる触覚効果を決定し、又は各相互作用に関係付けられる効果の組み合わせに基づいて効果を決定するように構成されてもよい。
一部の実施形態では、コンピュータ装置４０１は、複数の触覚出力装置、例えば、振動アクチュエータ及びＥＳＦアクチュエータを含んでもよい。このような実施形態では、コンピュータ装置４０１は、触覚出力装置に部分的に基づいて触覚効果を決定するように構成されてもよい。例えば、一実施形態では、各触覚出力装置は、関連付けられた優先度を含んでもよい。例えば、一部の実施形態では、ＥＳＦアクチュエータによって出力される触覚効果は、他の触覚効果よりも高い優先度を含んでもよい。他の実施形態では、コンピュータ装置４０１は、追加の特徴を考慮してもよい。例えば、一部の実施形態では、ＥＳＦベースの触覚効果は、ユーザが動いている（例えば、作動される表面上で移動している）ときにだけ検出可能である。このような実施形態では、コンピュータ装置４０１は、ＥＳＦアクチュエータによって出力される触覚効果が、低い優先度を有すること、又はユーザ相互作用が表面で移動していない若しくは移動が所定の閾値より低い場合に、出力されるべきではないことを決定してもよい。
更に、一部の実施形態では、コンピュータ装置は、触覚出力装置及び接触の場所に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置は、形状変形機能及びＥＳＦアクチュエータを有する筐体を含んでもよい。このような実施形態では、コンピュータ装置は、ユーザが筐体と接触している場合にだけ、筐体を変形させるように構成される触覚効果を決定してもよい。同様に、コンピュータ装置は、ユーザがＥＳＦアクチュエータに結合されるタッチ面と相互作用している場合にだけ、ＥＳＦベースの触覚効果を決定してもよい。他の実施形態では、コンピュータ装置は、同様の決定に基づいて触覚効果及び触覚出力装置により高い又は低い優先度を割り当ててもよい。
次に図５を参照すると、システム５００は、マルチタッチ型入力に対する触覚効果の決定の例示である。図５は、タッチ可能ディスプレイ５０２を備えるコンピュータ装置５０１を含むシステム５００の外観図を示す図面である。図３に関して記載されたコンピュータ装置３０１と同様に、一部の実施形態では、コンピュータ装置５０１は、複数の異なるタイプの装置又はタブレット、スマートフォン、又は他のハンドヘルド装置等の移動装置を制御するように構成される多機能コントローラを含んでもよい。上記のように、タッチ可能ディスプレイ５０２は、マルチタッチを検出するように構成される。更に、コンピュータ装置５０１は、マルチタッチに部分的に基づいて触覚効果を決定するように構成される。図５は、タッチ可能ディスプレイ５０２の表面における２つのユーザ相互作用５０４及び５０６を示す。図５に示されるように、ユーザ相互作用５０４は、相対的に非アクティブなユーザ相互作用であり、例えば、相対的に小さな移動（短い線として図示されている）である。更に、図５に示されるように、ユーザ相互作用５０６は、相対的にアクティブなユーザ相互作用であり、例えば、相対的に大量の移動（長い線として図示されている）である。
図５に示される実施形態では、コンピュータ装置５０１は、よりアクティブなユーザ相互作用５０６に基づいて触覚効果を決定してもよい。従って、コンピュータ装置５０１は、この特定の相互作用、例えば、この相互作用に関係付けられるタッチ可能ディスプレイ５０２の場所、又は相互作用５０６に関係付けられる他の情報に基づいて触覚効果を決定してもよい。
一部の実施形態では、ＥＳＦ（Ｅｌｅｃｔｒｏｓｔａｔｉｃ Ｆｒｉｃｔｉｏｎ）を使用して生成される触覚効果は、動いているときにだけ、例えば、指がタッチ面を横断しているときに感じられてもよい。従って、一部の実施形態では、ＥＳＦベースの触覚効果は、ユーザが移動しているときにだけ出力されてもよい。代替的に、一部の実施形態では、ＥＳＦ効果は、ユーザが現在移動している場合に高い優先度、及びユーザが移動していない場合に低い優先度が割り当てられてもよい。
次に図６を参照すると、システム６００は、マルチタッチ型入力に対する触覚効果の決定の例示である。図６は、タッチ可能ディスプレイ６０２を備えるコンピュータ装置６０１を含むシステム６００の外観図を示す図面である。図３に関して記載されたコンピュータ装置３０１と同様に、一部の実施形態では、コンピュータ装置６０１は、複数の異なるタイプの装置又はタブレット、スマートフォン、又は他のハンドヘルド装置等の移動装置を制御するように構成される多機能コントローラを含んでもよい。上記のように、タッチ可能ディスプレイ６０２は、マルチタッチを検出するように構成される。更に、コンピュータ装置６０１は、マルチタッチに部分的に基づいて触覚効果を決定するように構成される。図６は、タッチ可能ディスプレイ６０２の表面における２つのユーザ相互作用６０４及び６０６を示す。図６に示されるように、ユーザ相互作用６０４は、相対的に低い圧力のユーザ相互作用、例えば、ユーザがタッチ可能ディスプレイ６０２の表面において相対的に柔らかいタッチを有する相互作用である（小さな楕円として示されている）。更に、ユーザ相互作用６０６は、相対的に高い圧力のユーザ相互作用、例えば、ユーザがタッチ可能ディスプレイ６０２の表面に相対的に大きな圧力を加える相互作用である（大きな楕円として示されている）。
図６に示される実施形態では、コンピュータ装置６０１は、高い圧力のユーザ相互作用６０６に基づいて触覚効果を決定してもよい。従って、コンピュータ装置６０１は、この特定の相互作用、例えば、この相互作用に関係付けられるタッチ可能ディスプレイ６０２の場所、又は相互作用６０６に関係付けられる他の情報に基づいて触覚効果を決定してもよい。
一部の実施形態では、プロセッサは、ユーザ相互作用が２人の異なるユーザ（例えば、第１のユーザ及び第２のユーザ）に関係付けられることを決定してもよい。このような実施形態では、プロセッサは、ユーザ相互作用の１つだけに関係付けられる触覚効果（例えば、第１のユーザにのみ関係付けられる効果）を決定してもよい。別の実施形態では、プロセッサは、両方のユーザ相互作用に関係付けられる触覚効果（例えば、第１のユーザ及び第２のユーザの両方の相互作用に関係付けられる触覚効果）を決定してもよい。一部の実施形態では、装置は２つ以上の触覚出力装置を含んでもよく、プロセッサは１つの触覚出力装置を１人のユーザに割り当て、別の触覚出力装置を別のユーザに割り当ててもよい（例えば、ユーザ１による相互作用はＥＳＦアクチュエータからの効果に関係付けられ、ユーザ２による相互作用は振動アクチュエータからの効果に関係付けられる）。更に別の実施形態では、プロセッサは、このような実施形態において触覚効果が出力されるべきではないことを決定してもよい。
一部の実施形態では、プロセッサは、どのようにユーザが効果を感じるかに部分的に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置は、振動アクチュエータのみを備えてもよい。このような実施形態では、プロセッサは、触覚効果が装置を握っている手を介してより強く感じられるので、筐体とのユーザ相互作用（例えば、筐体の把持）に関係付けられる触覚効果がタッチ面とのユーザ相互作用よりも高い優先度を有することを決定してもよい。同様に、ＥＳＦアクチュエータのみを備えるコンピュータ装置は、触覚効果がタッチ面との相互作用を介して知覚されるので、タッチ面とのユーザ相互作用により高い優先度を割り当ててもよい。
更に他の実施形態では、装置は、複数の触覚出力装置を含んでもよい。このような実施形態では、プロセッサは、複数の触覚出力装置の各々によって同時に出力される触覚効果を決定するように構成されてもよい。例えば、プロセッサは、各ユーザ相互作用及び各触覚出力装置に関係付けられる触覚効果を決定してもよい。プロセッサは、本明細書で検討されるように、こうした効果及び相互作用を重み付けしてもよい。次に、プロセッサは、各触覚出力装置に決定された触覚効果を出力させてもよい。従って、マルチタッチに関係付けられる触覚効果は、多数の触覚出力装置によって生成される複合効果を含んでもよい。
（マルチタッチ型入力に対する触覚効果を決定するための例示的な方法）
図７は、マルチタッチ型入力に対する触覚効果を決定するための例示的な方法７００を示すフローチャートである。一部の実施形態では、図７のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。以下のステップは図１に示されたシステムに関して記載された構成要素を参照して記載される。
方法７００はステップ７０２で開始し、センサ１０８は第１のユーザ相互作用に関係付けられる第１のセンサ信号を送信する。センサ１０８は当技術分野で周知の複数のセンサの１つ以上を含んでもよい。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を決定するためにプロセッサ１０２によって使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。更に他の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーンディスプレイを含んでもよい。更に、第１の相互作用を検出すると、センサ１０８は、その相互作用に関係付けられる信号をプロセッサ１０２に送信してもよい。一部の実施形態では、センサ信号は、ユーザ相互作用の場所を含んでもよい。例えば、タッチ面１１６の表面上の場所である。更に、一部の実施形態では、この場所は上記の種類の仮想インターフェース又は「ウィジェット」に関係付けられてもよい。同様に、一部の実施形態では、センサ信号は、接触の時間、ユーザ相互作用の速さ、圧力又は力に関係付けられるデータを含んでもよい。例えば、センサ信号は、ユーザの指が動いている速さ又はユーザがタッチ面１１６を力で押しているかどうかを示してもよい。
次に、センサ１０８は、第２のユーザ相互作用に関係付けられる第２のセンサ信号を送信する（７０４）。一部の実施形態では、第１のユーザ相互作用及び第２のユーザ相互作用は、実質的に同時に起こってもよい。センサ１０８は当技術分野で周知の複数のセンサの１つ以上を含む。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。更に他の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーンディスプレイを含んでもよい。更に、第１の相互作用を検出すると、センサ１０８は、その相互作用に関係付けられる信号をプロセッサ１０２に送信してもよい。一部の実施形態では、センサ信号は、ユーザ相互作用の場所を含んでもよい。例えば、タッチ面１１６の表面上の場所である。更に、一部の実施形態では、この場所は上記の種類の仮想インターフェース又は「ウィジェット」に関係付けられてもよい。同様に、一部の実施形態では、センサ信号は、接触の時間、ユーザ相互作用の速さ、圧力又は力に関係付けられるデータを含んでもよい。例えば、センサ信号は、ユーザの指が動いている速さ又はユーザがタッチ面１１６を力で押しているかどうかを示してもよい。
次に、プロセッサ１０２は、第１及び第２のセンサ信号を受信する（７０６）。上記のように、プロセッサは、単一のセンサ１０８から、又は異なるタイプのユーザ相互作用を測定するように構成される複数の異なるセンサ（例えば、移動センサ、傾斜センサ、タッチセンサ、ボタン、スライダ、又は他のタイプのセンサ）からセンサ信号を受信してもよい。
方法は続いて、プロセッサ１０２は、第１のユーザ相互作用及び第２のユーザ相互作用に部分的に基づいて触覚効果を決定する（７０８）。プロセッサは、触覚効果を選択又は決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、プロセッサ１０２は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって信号を生成してもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、触覚出力装置１１８によって復号するために触覚出力装置１１８に送信されるデータを含んでもよい。例えば、触覚出力装置１１８自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。
一部の実施形態では、触覚効果は、複数の利用可能なテクスチャの１つであってもよい。例えば、複数のテクスチャは、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉のテクスチャ、又は任意の他の利用可能なテクスチャ、例えば、爆発又は炎に関係付けられるテクスチャの１つ以上を含んでもよい。一部の実施形態では、テクスチャは、ユーザに表示されるウィジェット等のユーザインターフェースの特徴に関係付けられてもよい。例えば、一実施形態では、特定のテクスチャ、例えば、砂のテクスチャが仮想ダイヤルに関係付けられてもよい。更に、このような実施形態では、例えば、ユーザが仮想ダイヤルの角回転を変更することによって仮想ダイヤルと相互作用すると、プロセッサ１０２は異なるテクスチャを出力してもよい。例えば、ユーザが仮想ダイヤルを回すと、触覚効果は、砂の粗さの変化をシミュレートするように構成されてもよい。従って、ユーザが仮想ダイヤルを一方に回すと、ユーザは砂利をシミュレートする触覚効果を感じてもよい。また、ユーザが仮想ダイヤルを他方に回すと、ユーザは粉末の感覚をシミュレートする触覚効果を感じてもよい。更に他の実施形態では、触覚効果は、タッチ可能ディスプレイの表面又は他のタッチ面と相互作用するときにユーザが知覚する摩擦を変化させるように構成される信号又は表面ベースの効果を含んでもよい。
一部の実施形態では、プロセッサは、図８及びフローチャート８００に関して記載された動作に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ１０２は、マルチタッチに関係付けられる多数の要因に基づいて効果を決定してもよい。例えば、一部の実施形態では、マルチタッチは、グラフィカルユーザインターフェースにおける特徴（例えば、ボタン、キー、又はユーザインターフェースにおけるグラフィカルウィジェット）に関係付けられてもよい。このような実施形態では、プロセッサは、こうした特徴に部分的に基づいて触覚効果を決定してもよい。例えば、一実施形態では、ある指が１つの仮想特徴（例えば、ボタン）にタッチし得る一方で、他の指が別の仮想特徴（例えば、背景領域）にタッチする。このような実施形態では、プロセッサは、こうした特徴に部分的に基づいて触覚効果を決定してもよい。例えば、プロセッサ１０２は、ボタンが背景をオーバーライドし、それによりボタンに関係付けられる触覚効果を出力することを決定してもよい。
代替的に、プロセッサ１０２は、特定の触覚効果が別の触覚効果よりも高い優先度を有しており、それにより高い優先度の効果のみを出力することを決定してもよい。例えば、プロセッサ１０２は、グラフィカルユーザインターフェースにおけるオブジェクトのエッジをシミュレートするように構成される触覚効果が他の効果よりも高い優先度を有しており、それによりエッジ効果のみを出力することを決定してもよい。代替的に、プロセッサ１０２は、最も強烈な効果のみが出力されるべきであることを決定してもよい。従って、一部の実施形態では、プロセッサは、低い強度の振動及び高い強度の振動を決定するが、高い強度の振動のみを出力してもよい。
更に、一部の実施形態では、プロセッサ１０２は、マルチタッチに関係付けられる情報に基づいて触覚効果を決定してもよい。例えば、プロセッサ１０２は、最初に発生したユーザ相互作用に基づいて触覚効果を決定してもよい。更に、先に検討されたように、一部の実施形態では、プロセッサは、最もアクティブなユーザ相互作用（最も多くの移動との相互作用）、最もアクティブでないユーザ相互作用、又は最も多くの圧力を加えるユーザ相互作用に基づいて触覚効果を決定してもよい。
次に、ステップ７１０では、プロセッサ１０２は、触覚効果を出力する触覚出力装置１１８に、触覚効果に関係付けられる触覚信号を送信する。一部の実施形態では、プロセッサ１０２は、触覚出力装置１１８に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用してテクスチャをシミュレートする又はタッチ面１１６において知覚された摩擦係数を変化させるように構成される１つ以上の静電アクチュエータを含んでもよい。
一部の実施形態では、センサ１０８は、第３、第４、第５又はより多くのユーザ相互作用、例えば、多くの追加の接触によるマルチタッチを検出してもよい。プロセッサ１０２は、マルチタッチ相互作用のこうした構成要素の各々に部分的に基づいて触覚効果を決定するプログラミングを含んでもよい。例えば、プロセッサ１０２は、タッチの数に関わらず各タッチの優先度を、又はマルチタッチに関係付けられる他の相互作用の数に関わらず第１の相互作用を決定してもよい。更に、一部の実施形態では、プロセッサ１０２は、各相互作用に関係付けられる触覚効果を決定して、その後、こうした効果の各々に部分的に基づいて異なる触覚効果を出力してもよい。
次に図８を参照すると、図８は、マルチタッチ型入力に対する触覚効果を決定するための例示的な方法８００を示すフローチャートである。一部の実施形態では、図８のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。以下のステップは図１に示されたシステムに関して記載された構成要素を参照して記載される。
方法８００は、プロセッサ１０２が第１のセンサ信号に部分的に基づいて第１の触覚効果を決定すると開始する（８０２）。第１のセンサ信号は、第１のユーザ相互作用に関係付けられるデータを含む。プロセッサ１０２は、触覚効果を選択又は決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。
一部の実施形態では、触覚効果は、複数の利用可能なテクスチャの１つであってもよい。例えば、複数のテクスチャは、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉のテクスチャ、又は任意の他の利用可能なテクスチャ、例えば、爆発又は炎に関係付けられるテクスチャの１つ以上を含んでもよい。一部の実施形態では、テクスチャは、ユーザに表示されるウィジェット等のユーザインターフェースの特徴に関係付けられてもよい。例えば、一実施形態では、特定のテクスチャ、例えば、砂のテクスチャが仮想ダイヤルに関係付けられてもよい。更に、このような実施形態では、例えば、ユーザが仮想ダイヤルの角回転を変更することによって仮想ダイヤルと相互作用すると、プロセッサ１０２は異なるテクスチャを出力してもよい。例えば、ユーザが仮想ダイヤルを回すと、触覚効果は、砂の粗さの変化をシミュレートするように構成されてもよい。従って、ユーザが仮想ダイヤルを一方に回すと、ユーザは砂利をシミュレートする触覚効果を感じてもよい。また、ユーザが仮想ダイヤルを他方に回すと、ユーザは粉末の感覚をシミュレートする触覚効果を感じてもよい。他の実施形態では、触覚効果は、タッチ可能ディスプレイの表面又は他のタッチ面と相互作用するときにユーザが知覚する摩擦を変化させるように構成される信号又は表面ベースの効果を含んでもよい。
次に、プロセッサ１０２は、第２のセンサ信号に部分的に基づいて第２の触覚効果を決定する（８０４）。第２のセンサ信号は、第２のユーザ相互作用に関係付けられるデータを含む。プロセッサ１０２は、触覚効果を選択又は決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。
一部の実施形態では、触覚効果は、複数の利用可能なテクスチャの１つであってもよい。例えば、複数のテクスチャは、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉のテクスチャ、又は任意の他の利用可能なテクスチャ、例えば、爆発又は炎に関係付けられるテクスチャの１つ以上を含んでもよい。一部の実施形態では、テクスチャは、ユーザに表示されるウィジェット等のユーザインターフェースの特徴に関係付けられてもよい。例えば、一実施形態では、特定のテクスチャ、例えば、砂のテクスチャが仮想ダイヤルに関係付けられてもよい。更に、このような実施形態では、例えば、ユーザが仮想ダイヤルの角回転を変更することによって仮想ダイヤルと相互作用すると、プロセッサ１０２は異なるテクスチャを出力してもよい。例えば、ユーザが仮想ダイヤルを回すと、触覚効果は、砂の粗さの変化をシミュレートするように構成されてもよい。従って、ユーザが仮想ダイヤルを一方に回すと、ユーザは砂利をシミュレートする触覚効果を感じてもよい。また、ユーザが仮想ダイヤルを他方に回すと、ユーザは粉末の感覚をシミュレートする触覚効果を感じてもよい。他の実施形態では、触覚効果は、タッチ可能ディスプレイの表面又は他のタッチ面と相互作用するときにユーザが知覚する摩擦を変化させるように構成される信号又は表面ベースの効果を含んでもよい。
次に、プロセッサ１０２は、第１の触覚効果及び第２の触覚効果に部分的に基づいて第３の触覚効果を決定する（８０６）。例えば、一部の実施形態では、プロセッサ１０２は、最も強烈な触覚効果を決定して、最も強烈な触覚効果として第３の触覚効果だけを出力してもよい。代替的に、一部の実施形態では、プロセッサ１０２は、最も高く関連付けられた優先度を含む触覚効果を出力してもよい。例えば、各触覚効果は、それ自体の優先度を含んでもよい。このような実施形態では、こうした優先度は、設計者によって又はユーザプリファレンスに基づいて割り当てられていてもよい。
他の実施形態では、プロセッサ１０２は、２つの触覚効果の平均を決定してもよい。次に、プロセッサ１０２は、この平均として第３の触覚効果を出力してもよい。更に、一部の実施形態では、プロセッサ１０２は、２つの触覚効果の重畳を決定してもよい。この重畳は、２つの効果の重み付けされた組み合わせ又は重み付けされた平均を含んでもよい。例えば、プロセッサ１０２は、各触覚効果に重み（例えば、２、１、．５、．２５又は０の重み）を割り当ててもよい。次に、プロセッサ１０２は２つの重み付けされた触覚効果の組み合わせ又は２つの重み付けされた効果の平均である第３の触覚効果を決定してもよい。一部の実施形態では、こうした重みは、例えば、ユーザ相互作用（例えば、ユーザ相互作用の速度、ユーザ相互作用の圧力、又はユーザ相互作用の活動）、触覚効果に関係付けられる触覚出力装置、ユーザ相互作用に関係付けられる位置、相互作用を開始したユーザ（例えば、装置と相互作用しているユーザが２人以上いる場合）、又は触覚効果に関係付けられるユーザ定義の特徴に部分的に基づいて決定されてもよい。
更に、一部の実施形態では、タッチ面１１６は、第３、第４、第５又はより多くのユーザ相互作用、例えば、多くの追加の接触によるマルチタッチを受信してもよい。プロセッサ１０２は、こうしたマルチタッチの各々に関係付けられる触覚効果を決定して、上記のようにこうした触覚効果の各々に基づいて信号触覚効果を出力するように構成されてもよい。
次に、ステップ８０８では、プロセッサ１０２は、触覚効果を出力する触覚出力装置１１８に第３の触覚効果に関係付けられる触覚信号を送信する。一部の実施形態では、プロセッサ１０２は、触覚出力装置１１８に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用してテクスチャをシミュレートする又はタッチ面１１６において知覚された摩擦係数を変化させるように構成される１つ以上の静電アクチュエータを含んでもよい。
（マルチタッチ型入力に対する触覚効果の決定の利点）
マルチタッチ型入力に対する触覚効果の決定には多くの利点がある。現在の殆どの既存の触覚レンダリングアルゴリズムは、単一入力、単一出力である。本開示の実施形態は、こうしたレンダリングアルゴリズムがマルチタッチ環境で使用されることを可能にする。これは、費用のかかるレンダリングアルゴリズムの再開発の必要性を減らし得る。更に、本開示の実施形態は、１つだけの触覚出力装置を含み得る装置でも多数のユーザ入力に関係付けられる触覚効果を出力することを可能にする。これにより、こうした装置はより有益且つ直感的なマルチタッチに関係付けられる触覚効果を出力することができる。
更に、一部の実施形態では、マルチタッチ型入力に対する触覚効果は、ユーザがソフトウェア及びユーザインターフェースをより効果的に使用することを可能にし得る。例えば、ユーザは、ディスプレイに焦点を合わせなくても、プログラムで利用可能な操作に関する判断を行うことができてもよい。これによって全体的なユーザ満足度を向上させることができる。
（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (22)

  1. 各々がタッチ面に触覚効果を出力するように構成される複数の異なるタイプの触覚出力装置であって、前記複数の異なるタイプの触覚出力装置はそれぞれ異なる優先度を有する触覚出力装置と、
    第１のユーザ相互作用を検出して第１のセンサ信号を送信するように構成されるタッチセンサ式入力装置であって、第２のユーザ相互作用を検出して第２のセンサ信号を送信するように更に構成され、前記第１のユーザ相互作用の少なくとも一部が前記第２のユーザ相互作用と同時に起きるタッチセンサ式入力装置と、
    前記タッチセンサ式入力装置と通信するプロセッサであって、
    前記第１のセンサ信号及び前記第２のセンサ信号を受信し、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用に部分的に基づいて触覚効果を決定し、且つ
    前記優先度に基づいて、前記触覚効果に関係付けられる触覚信号を前記複数の異なるタイプの触覚出力装置の１つに送信するように構成されるプロセッサと
    を備える、システム。
  2. 前記触覚効果を決定することは、
    前記第１のセンサ信号に関係付けられる第１の触覚効果を決定すること、及び前記第２のセンサ信号に関係付けられる第２の触覚効果を決定すること
    を含む、請求項１に記載のシステム。
  3. 前記第１の触覚効果及び前記第２の触覚効果のどちらが最も強いか、前記第１の触覚効果及び前記第２の触覚効果のどちらが最も高い優先度であるか、又は前記第１の触覚効果及び前記第２の触覚効果の平均を決定することを更に含む、請求項２に記載のシステム。
  4. 第１の重みを前記第１の触覚効果に適用し、第２の重みを前記第２の触覚効果に適用し、且つ２つの重み付けされた触覚効果を組み合わせることによって、前記第１の触覚効果及び前記第２の触覚効果を重畳することを更に含む、請求項２に記載のシステム。
  5. 前記触覚効果を決定することは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最初に開始したかを決定することにより最先のユーザ相互作用を決定すること、及び
    前記最先のユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１に記載のシステム。
  6. 前記触覚効果を決定することは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最も大きなユーザの移動を含むかを決定することにより最もアクティブなユーザ相互作用を決定すること、及び
    前記最もアクティブなユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１に記載のシステム。
  7. 前記触覚効果を決定することは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最も大きな圧力を含むかを決定することにより最高圧力のユーザ相互作用を決定すること、及び
    前記最高圧力のユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１に記載のシステム。
  8. 前記触覚効果の決定は、ユーザプリファレンスに部分的に基づく、請求項１に記載のシステム。
  9. 前記タッチセンサ式入力装置は、前記タッチ面との第３のユーザ相互作用を検出して前記第３のユーザ相互作用を前記プロセッサに送信するように更に構成され、前記プロセッサは、前記第３のユーザ相互作用に部分的に基づいて前記触覚効果を決定するように更に構成される、請求項１に記載のシステム。
  10. 前記複数の異なるタイプの触覚出力装置は、ＥＳＦアクチュエータ及び振動アクチュエータを含む、請求項１に記載のシステム。
  11. 前記ＥＳＦアクチュエータは、前記第１及び第２のユーザ相互作用の１つが前記タッチ面で移動している場合に前記振動アクチュエータよりも高い優先度を有する、請求項１０に記載のシステム。
  12. 第１のユーザ相互作用に関係付けられる第１のセンサ信号を送信するステップと、
    第２のユーザ相互作用に関係付けられる第２のセンサ信号を送信するステップであって、前記第１のユーザ相互作用の少なくとも一部が前記第２のユーザ相互作用と同時に起きるステップと、
    前記第１のセンサ信号及び前記第２のセンサ信号を受信するステップと、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用に部分的に基づいて触覚効果を決定するステップと、
    優先度に基づいて、前記触覚効果に関係付けられる触覚信号を複数の異なるタイプの触覚出力装置の１つに送信するステップであって、前記複数の異なるタイプの触覚出力装置はそれぞれ異なる優先度を有するステップと
    を含む、方法。
  13. 前記触覚効果を決定するステップは、
    前記第１のセンサ信号に関係付けられる第１の触覚効果を決定すること、及び前記第２のセンサ信号に関係付けられる第２の触覚効果を決定すること
    を含む、請求項１２に記載の方法。
  14. 前記第１の触覚効果及び前記第２の触覚効果のどちらが最も強いか、前記第１の触覚効果及び前記第２の触覚効果のどちらが最も高い優先度であるか、又は前記第１の触覚効果及び前記第２の触覚効果の平均を決定するステップを更に含む、請求項１３に記載の方法。
  15. 第１の重みを前記第１の触覚効果に適用し、第２の重みを前記第２の触覚効果に適用し、且つ２つの重み付けされた触覚効果を組み合わせることによって、前記第１の触覚効果及び前記第２の触覚効果を重畳するステップを更に含む、請求項１３に記載の方法。
  16. 前記触覚効果を決定するステップは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最初に開始したかを決定することにより最先のユーザ相互作用を決定すること、及び
    前記最先のユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１２に記載の方法。
  17. 前記触覚効果を決定するステップは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最も大きなユーザの移動を含むかを決定することにより最もアクティブなユーザ相互作用を決定すること、及び前記最もアクティブなユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１２に記載の方法。
  18. 前記触覚効果を決定するステップは、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用のどちらが最も大きな圧力を含むかを決定することにより最高圧力のユーザ相互作用を決定すること、及び
    前記最高圧力のユーザ相互作用に基づいて前記触覚効果を決定すること
    を含む、請求項１２に記載の方法。
  19. 前記触覚効果の決定は、ユーザプリファレンスに部分的に基づく、請求項１２に記載の方法。
  20. 第３のユーザ相互作用に関係付けられる第３のセンサ信号を送信するステップと、
    前記第３のユーザ相互作用に部分的に基づいて前記触覚効果を決定するステップと
    を更に含む、請求項１２に記載の方法。
  21. プロセッサによって実行されると、前記プロセッサに
    第１のユーザ相互作用に関係付けられる第１のセンサ信号を送信すること、
    第２のユーザ相互作用に関係付けられる第２のセンサ信号を送信することであって、前記第１のユーザ相互作用の少なくとも一部が前記第２のユーザ相互作用と同時に起きること、
    前記第１のセンサ信号及び前記第２のセンサ信号を受信すること、
    前記第１のユーザ相互作用及び前記第２のユーザ相互作用に部分的に基づいて触覚効果を決定すること、及び
    優先度に基づいて、前記触覚効果に関係付けられる触覚信号を複数の異なるタイプの触覚出力装置に送信することであって、前記複数の異なるタイプの触覚出力装置はそれぞれ異なる優先度を有すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
  22. 前記プロセッサによって実行されると、前記プロセッサに
    第３のユーザ相互作用に関係付けられる第３のセンサ信号を送信すること、
    前記第３のユーザ相互作用に部分的に基づいて前記触覚効果を決定すること
    を行わせるように構成されるプログラムコードを更に含む、請求項２１に記載の一時的でないコンピュータ可読媒体。
JP2015142545A 2014-07-21 2015-07-17 マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法 Expired - Fee Related JP6603059B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/336,548 US9710063B2 (en) 2014-07-21 2014-07-21 Systems and methods for determining haptic effects for multi-touch input
US14/336,548 2014-07-21

Publications (2)

Publication Number Publication Date
JP2016024826A JP2016024826A (ja) 2016-02-08
JP6603059B2 true JP6603059B2 (ja) 2019-11-06

Family

ID=53758027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015142545A Expired - Fee Related JP6603059B2 (ja) 2014-07-21 2015-07-17 マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法

Country Status (5)

Country Link
US (3) US9710063B2 (ja)
EP (2) EP2977859B1 (ja)
JP (1) JP6603059B2 (ja)
KR (1) KR20160011148A (ja)
CN (1) CN105278746A (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US10223915B2 (en) * 2011-01-29 2019-03-05 Russell Haines System that warns in advance of occupants exiting or entering a parked vehicle
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
FR3010546B1 (fr) * 2013-09-09 2016-12-23 Dav Interface de commande a retour haptique
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
CN115700434A (zh) 2014-09-02 2023-02-07 苹果公司 用于可变触觉输出的语义框架
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
WO2016141057A1 (en) * 2015-03-03 2016-09-09 Immersion Corporation Wearable device surface haptics interaction
US10739971B2 (en) * 2015-06-05 2020-08-11 Apple Inc. Accessing and displaying information corresponding to past times and future times
US11531462B2 (en) * 2016-04-19 2022-12-20 Nippon Telegraph And Telephone Corporation Pseudo force sense generation apparatus
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
KR102521192B1 (ko) * 2016-06-28 2023-04-13 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN106354317B (zh) * 2016-08-30 2024-04-16 京东方科技集团股份有限公司 一种触控显示面板及显示装置
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
US10725544B1 (en) 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
US10936067B1 (en) 2017-02-13 2021-03-02 Snap, Inc. Generating a response that depicts haptic characteristics
JP2018180740A (ja) * 2017-04-06 2018-11-15 アルプス電気株式会社 入力処理装置
US10921894B2 (en) 2017-04-10 2021-02-16 Mitsubishi Electric Corporation User interface device
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10477298B2 (en) * 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
CN108491106A (zh) * 2018-03-15 2018-09-04 芜湖超源力工业设计有限公司 一种用于电子信息设备的触控输入装置
KR102529458B1 (ko) * 2018-03-23 2023-05-08 현대자동차주식회사 터치 컨트롤 기반 스티어링 휠 조작 장치 및 방법
US10748389B2 (en) * 2018-06-15 2020-08-18 Immersion Corporation Damping for a haptic actuator
US11027822B2 (en) * 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
KR102564250B1 (ko) * 2018-09-11 2023-08-07 삼성디스플레이 주식회사 표시 장치
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
KR102733336B1 (ko) 2019-06-19 2024-11-22 삼성디스플레이 주식회사 표시 장치와 그의 구동 방법
JP7298447B2 (ja) * 2019-11-08 2023-06-27 横河電機株式会社 検出装置、検出方法及び検出プログラム
WO2021145026A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理端末
US12067167B2 (en) * 2020-03-11 2024-08-20 Google Llc Controlling haptic response to contact
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
US20230027217A1 (en) * 2021-07-22 2023-01-26 Dell Products L.P. Dynamic input device surface texture coordinated with information handling system operations
US11983336B1 (en) 2023-06-27 2024-05-14 Dell Products L.P. Magnetic toggle ejector
US11983332B1 (en) 2023-06-27 2024-05-14 Dell Products L.P. Low acoustic keyboard key
US12416982B2 (en) 2023-06-27 2025-09-16 Dell Products L.P. Low acoustic magnetic mouse scroll wheel
US11914796B1 (en) 2023-06-27 2024-02-27 Dell Products L.P. Low acoustic keyboard stabilized key
US12236017B2 (en) 2023-06-27 2025-02-25 Dell Products L.P. Low acoustic keyboard cushioned stabilized key
US12602116B2 (en) 2023-06-27 2026-04-14 Dell Products L.P. Low acoustic mouse scroll wheel
US12032750B1 (en) 2023-06-27 2024-07-09 Dell Products L.P. Low acoustic magnetic keyboard key
US12282610B2 (en) 2023-06-27 2025-04-22 Dell Products L.P. Low acoustic keyboard with audio dampener and liquid drain

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337678B1 (en) * 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US20050231489A1 (en) * 2004-04-15 2005-10-20 Research In Motion Limited System and method for providing dynamic tactile feedback on hand-held electronic devices
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
CN102349042A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于在图形用户界面小部件中使用纹理的系统和方法
JP5735841B2 (ja) * 2011-04-05 2015-06-17 キヤノン株式会社 印刷装置、その制御方法、及びプログラム
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
KR102010206B1 (ko) 2011-09-06 2019-08-12 임머숀 코퍼레이션 햅틱 출력 장치 및 햅틱 출력 장치에서 햅틱 효과를 생성하는 방법
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US20120223880A1 (en) 2012-02-15 2012-09-06 Immersion Corporation Method and apparatus for producing a dynamic haptic effect
JP6032657B2 (ja) * 2012-04-27 2016-11-30 パナソニックＩｐマネジメント株式会社 触感呈示装置、触感呈示方法、駆動信号生成装置および駆動信号生成方法
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9411507B2 (en) * 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects

Also Published As

Publication number Publication date
CN105278746A (zh) 2016-01-27
KR20160011148A (ko) 2016-01-29
EP2977859B1 (en) 2019-04-03
US9710063B2 (en) 2017-07-18
US10013063B2 (en) 2018-07-03
EP3508954A1 (en) 2019-07-10
US20160018891A1 (en) 2016-01-21
EP2977859A1 (en) 2016-01-27
JP2016024826A (ja) 2016-02-08
US20170277263A1 (en) 2017-09-28
US20180275761A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6603059B2 (ja) マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法
JP6274822B2 (ja) 触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法
JP6355642B2 (ja) プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
US10564727B2 (en) Systems and methods for a low profile haptic actuator
JP6546301B2 (ja) 動的な触覚効果を有するマルチタッチデバイス
EP2796964B1 (en) System and Method for a Haptically-Enabled Deformable Surface
JP6017597B2 (ja) 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
JP2015130187A (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP2012520523A (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP2012520519A (ja) 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191010

R150 Certificate of patent or registration of utility model

Ref document number: 6603059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees