JP6566906B2 - ハプティックcaptcha - Google Patents

ハプティックcaptcha Download PDF

Info

Publication number
JP6566906B2
JP6566906B2 JP2016075936A JP2016075936A JP6566906B2 JP 6566906 B2 JP6566906 B2 JP 6566906B2 JP 2016075936 A JP2016075936 A JP 2016075936A JP 2016075936 A JP2016075936 A JP 2016075936A JP 6566906 B2 JP6566906 B2 JP 6566906B2
Authority
JP
Japan
Prior art keywords
haptic
response
user
computer
readable medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016075936A
Other languages
English (en)
Other versions
JP2017062760A (ja
JP2017062760A5 (ja
Inventor
ヴィンセント レヴェスク
ヴィンセント レヴェスク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2017062760A publication Critical patent/JP2017062760A/ja
Publication of JP2017062760A5 publication Critical patent/JP2017062760A5/ja
Application granted granted Critical
Publication of JP6566906B2 publication Critical patent/JP6566906B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2103Challenge-response
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

一実施形態は、概してオンラインシステムを対象とし、詳細には、ユーザの性質を判定するオンラインシステムを対象とする。
「ハプティクス(Haptics)」は、力、振動、及び動きなどのハプティックフィードバック効果(すなわち、「ハプティック効果」)をユーザに適用することによってユーザの触覚を利用する触覚及び力フィードバック技術に関係する。モバイルデバイス、タッチスクリーンデバイス、及びパーソナルコンピュータなどのデバイスは、ハプティック効果を生成するように構成され得る。概して、ハプティック効果を生成することが可能な埋込みハードウェア(アクチュエータなど)への呼出しは、デバイスのオペレーティングシステム(「OS」)内でプログラムされ得る。これらの呼出しは、どのハプティック効果を再生すべきかを指定する。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は何らかの他のコントロールを使用してデバイスと相互作用するとき、デバイスのOSは、制御回路を通して再生コマンドを埋込みハードウェアに送ることができる。埋込みハードウェアは、次いで、適切なハプティック効果を生成する。
一実施形態は、ハプティックチャレンジ応答機能を実施するシステムである。本システムは、1以上のハプティック効果を生成し、ハプティック出力デバイスを介してユーザにハプティックチャレンジ質問として1以上のハプティック効果を提供し、ハプティックチャレンジ質問に対応する返答をユーザから受け取る。本システムは、次いで、人間の知覚のモデルに基づいて、返答がハプティックチャレンジ質問への正しい返答に対応するかどうかを判定する。一実施形態は、ハプティックチャレンジ質問への正しい返答を予測し、正しい返答をユーザから受け取られた返答と比較し、返答が正しい返答に一致するとき、ユーザが人間であると判定する。一実施形態では、予測することは、人間の知覚のモデル、アクチュエータ応答、又はユーザに対するアクチュエータロケーションのうちの1つ又は複数に基づいて実施される。一実施形態は、返答が正しい返答に一致しないとき、生成すること、提供すること、受け取ること、予測すること及び比較することを繰り返す。
本発明の一実施形態に係るコンピュータサーバ/システムのブロック図である。 本発明の実施形態に従ってハプティクス機能を実施するときの、図1のハプティックなコンピュータと人間とを見分けるための完全自動化公開チューリングテスト(「CAPTCHA」)モジュールの動作の流れ図である。 本発明の実施形態に係るハプティックシステムによって実施されるハプティクス機能の流れ図である。 本発明の実施形態に係るハプティックシステムによって実施されるハプティクス機能の流れ図である。 本発明の実施形態に係るハプティックシステムによって実施されるハプティクス機能の流れ図である。
一実施形態は、ウェブサイト又はオンラインサービスのユーザが人間であるか自動であるかを判定するために、ハプティックなコンピュータと人間とを見分けるための完全自動化公開チューリングテスト(「CAPTCHA」)を提供する。ハプティックCAPTCHAは、対応する触感覚についての知識なしには人間ユーザの予想される応答を推測することが難しいハプティックタスクを選択することによって提供され得る。人間ユーザの応答は、人間の知覚、統計的ユーザ情報(例えば、年齢、性別、職業など)、アクチュエータ特性、及び/又はアクチュエータがユーザの範囲内にあるかどうかをモデル化する機能に基づいて予測され得る。要求されたユーザの応答は、ユーザインターフェース(「UI」)、ハプティック入力デバイス、又はユーザから視覚入力、オーディオ入力、ハプティック入力、もしくは任意の他の入力を受け取ることが可能な任意の他のデバイスを介して受け取られ得る。一実施形態は、触感覚に関する情報を収集するために2次ハプティックCAPTCHAをさらに提供する。さらなる実施形態は、ユーザを認証するためにハプティックCAPTCHAを提供する。それに応じて、様々な実施形態は、ユーザに関する情報を取得するためにハプティックチャレンジ応答機構を提供する。
図1は、本発明の一実施形態に係るシステム10のブロック図を示す。一実施形態では、システム10はモバイルデバイスの一部分であり、システム10は、モバイルデバイスにハプティクス機能を提供する。別の実施形態では、システム10は、任意の方法でユーザと接触しているオブジェクト(例えば、家具)に組み込まれるデバイスの一部分であり、システム10は、そのようなデバイスにハプティクス機能を提供する。例えば、一実施形態では、システム10はウェアラブルデバイスの一部分であり、システム10は、ウェアラブルデバイスにハプティクス機能を提供する。ウェアラブルデバイスの例は、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣類に組み込まれたアレイ、又はユーザが体に着用し得るかもしくはユーザによって保持され得る任意の他のタイプのデバイスを含む。いくつかのウェアラブルデバイスは「ハプティック対応」であり得、これは、それらがハプティック効果を生成するための機構を含むことを意味する。別の実施形態では、システム10は、デバイス(例えば、モバイルデバイス又はウェアラブルデバイス)とは別個であり、デバイスにハプティクス機能を遠隔で提供する。
単一のシステムとして示されているが、システム10の機能は分散システムとして実装され得る。システム10は、情報を通信するためのバス12又は他の通信機構と、情報を処理するためのバス12に結合されたプロセッサ22とを含む。プロセッサ22は任意のタイプの汎用又は専用プロセッサであり得る。システム10は、情報と、プロセッサ22によって実行されるべき命令とを記憶するためのメモリ14をさらに含む。メモリ14は、ランダムアクセスメモリ(「RAM」)、読取り専用メモリ(「ROM」)、磁気ディスクもしくは光ディスクなどの静的記憶装置、又は任意の他のタイプのコンピュータ可読媒体の任意の組合せから構成され得る。
コンピュータ可読媒体は、プロセッサ22によってアクセスされ得る任意の利用可能な媒体であり得、揮発性媒体と不揮発性媒体の両方、リムーバブル媒体と非リムーバブル媒体の両方、通信媒体、及び記憶媒体を含み得る。通信媒体は、搬送波又は他のトランスポート機構などの被変調データ信号中にコンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータを含み得、当技術分野で知られている任意の他の形態の情報配信媒体を含み得る。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブル読取り専用メモリ(「EPROM」)、電気的消去可能プログラマブル読取り専用メモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ(「CD−ROM」)、又は当技術分野で知られている任意の他の形態の記憶媒体を含み得る。
一実施形態では、メモリ14は、プロセッサ22によって実行されたときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10に、及び一実施形態ではモバイルデバイスの残部にオペレーティングシステム機能を提供するオペレーティングシステム15を含む。モジュールは、本明細書でより詳細に開示するように、ハプティクス機能を提供するハプティックCAPTCHAモジュール16をさらに含む。いくつかの実施形態では、ハプティックCAPTCHAモジュール16は複数のモジュールを備え得、各モジュールは、ハプティック効果を提供するための特定の個々の機能を提供する。システム10は、典型的には、Immersion社によるIntegrator(商標)ソフトウェアなど、追加の機能を含むための1以上の追加のアプリケーションモジュール18を含む。
システム10は、リモートソースからデータを送信及び/又は受信する実施形態では、赤外線、無線、Wi−Fi、又はセルラーネットワーク通信などのモバイルワイヤレスネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス20をさらに含む。他の実施形態では、通信デバイス20は、イーサネット(登録商標)接続又はモデムなど、ワイヤードネットワーク接続を提供する。
プロセッサ22はさらに、ユーザにグラフィカル表現又はUIを表示するために、バス12を介して、液晶ディスプレイ(「LCD」)などのディスプレイ24に結合される。ディスプレイ24は、プロセッサ22から信号を送信及び受信するように構成された、タッチスクリーンなどのタッチセンシティブ入力デバイスであり得、マルチタッチタッチスクリーンであり得る。
システム10は、一実施形態では、アクチュエータ26をさらに含む。プロセッサ22は、ハプティック効果に関連するハプティック信号をアクチュエータ26に送信し得、アクチュエータ26は、今度は、振動触覚ハプティック効果、静電摩擦ハプティック効果、又は変形ハプティック効果などのハプティック効果を出力する。アクチュエータ26はアクチュエータ駆動回路を含む。アクチュエータ26は、例えば、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(「ERM」)、線形共振アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータなどであり得る。代替実施形態では、システム10は、アクチュエータ26に加えて、(図1に示されていない)1以上の追加のアクチュエータを含み得る。代替又は追加として、アクチュエータ26は、熱表示(例えば、ホット/コールド)、電気触覚刺激(すなわち、電流による触受容器の刺激)、筋肉感覚フィードバックなど、任意の他のハプティック技術に従って動作し得る。また別の代替又は追加の実施形態は、どのような1以上の動作をシステムが彼らに行わせている及び/又は行っているように感じさせているか判定することをユーザに要求するタスクなど、電気的筋肉刺激を実装し得る。
アクチュエータ26は、ハプティック出力デバイスの一例であり、ハプティック出力デバイスは、駆動信号に応答して、振動触覚ハプティック効果、静電摩擦ハプティック効果、変形ハプティック効果など、任意の形態のハプティック効果を出力するように構成されたデバイスである。したがって、代替実施形態では、アクチュエータ26は、静電摩擦(「ESF」)又は超音波表面摩擦(「USF」)を使用するデバイスなどの非機械的又は非振動性デバイス、超音波ハプティックトランスデューサで音響放射圧を誘起するデバイス、ハプティック基板及びフレキシブルもしくは変形可能な表面又は形状変化デバイスを使用し、ユーザの体に取り付けられ得るデバイス、空気ジェットを使用する空気のパフ、レーザベース投射体、音ベース投射体などの投射されるハプティック出力を提供するデバイスなどであり得る、何らかの他のタイプのハプティック出力デバイス(図示せず)で置き換えられ得る。
例えば、一実施形態は、レーザエネルギーが濃縮領域空中の空気分子をイオン化してプラズマ(陽粒子と陰粒子の濃縮された混合)を提供する、レーザベース投射体を提供する。一実施形態では、レーザは、極めて高速で極めて激しいペースでパルスを放出するフェムト秒レーザであり得、レーザが高速であるほど、人間が触れるのがより安全になる。投射体は、ハプティックで相互作用型であるホログラムのように見え得る。プラズマがユーザの皮膚と接触するとき、ユーザは、濃縮領域中の付勢された空気分子の振動を感知し得る。ユーザの皮膚上の感覚は、ユーザが空中のプラズマと相互作用するときに生成される波によって引き起こされる。したがって、ハプティック効果は、そのような濃縮領域にユーザを当てることによってユーザに提供され得る。代替又は追加として、ハプティック効果は、有向音エネルギーによって生成される振動にユーザを当てることによってユーザに提供され得る。
さらに、他の代替実施形態では、システム10はアクチュエータ26又は他のハプティック出力デバイスを含まないことがあり、システム10とは別個のデバイスが、ハプティック効果を生成するアクチュエータ又は別のハプティック出力デバイスを含み、システム10は、生成されたハプティック信号を、通信デバイス20を通してそのデバイスに送る。
システム10は、一実施形態では、スピーカ28をさらに含む。プロセッサ22は、オーディオ信号をスピーカ28に送信し得、スピーカ28は、今度は、オーディオ効果を出力する。スピーカ28は、例えば、ダイナミックラウドスピーカ、動電ラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボン及びプレーナ磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、heil気動トランスデューサ、プラズマアークスピーカ、デジタルラウドスピーカなどであり得る。代替実施形態では、システム10は、スピーカ28に加えて、(図1に示されていない)1以上の追加のスピーカを含み得る。さらに、他の代替実施形態では、システム10はスピーカ28を含まないことがあり、システム10とは別個のデバイスが、オーディオ効果を出力するスピーカを含み、システム10は、オーディオ信号を、通信デバイス20を通してそのデバイスに送る。
システム10は、一実施形態では、センサ30をさらに含む。センサ30は、限定はしないが、音、動き、加速度、生体信号、距離、フロー、力/圧力/歪み/曲げ、湿度、線形位置、配向/傾き、無線周波数、回転位置、回転速度、スイッチ、温度、振動、可視光強度などの操作など、ある形態のエネルギー、又は他の物理的性質を検出するように構成され得る。センサ30は、検出されたエネルギー又は他の物理的性質を、仮想センサ情報を表す電気信号又は任意の信号に変換するようにさらに構成され得る。センサ30は、限定はしないが、加速度計、電気皮膚反応センサ、容量性センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ(又は曲げセンサ)、力敏感抵抗器、ロードセル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計(又はスライダ)、線形可変差動変圧器、コンパス、インクリノメータ、磁気タグ(又は無線周波数識別タグ)、回転エンコーダ、回転電位差計、ジャイロスコープ、オンオフスイッチ、温度センサ(温度計、熱電対、抵抗温度検出器、サーミスタ、温度変換集積回路など)、マイクロフォン、光度計、高度計、生体モニタ、カメラ、光依存抵抗器など、又は心電図、脳波図、筋電図、電気眼球図、電気口蓋曲線描写図、もしくは任意の他の電気生理学的出力を出力する任意のデバイスなど、任意のデバイスであり得る。
代替実施形態では、システム10は、センサ30に加えて、(図1に示されていない)1以上の追加のセンサを含み得る。これらの実施形態のうちのいくつかでは、センサ30及び1以上の追加のセンサは、センサアレイ、又はセンサの何らかの他のタイプの集合/配置の一部分であり得る。さらに、他の代替実施形態では、システム10はセンサ30を含まないことがあり、システム10とは別個のデバイスが、ある形態のエネルギー又は他の物理的性質を検出し、検出されたエネルギー又は他の物理的性質を、仮想センサ情報を表す電気信号又は他のタイプの信号に変換するセンサを含む。デバイスは、次いで、変換された信号を、通信デバイス20を通してシステム10に送り得る。
概して、CAPTCHAは、ネットワーク上のユーザ(例えば、インターネットウェブサイト又は任意のオンラインサービスのユーザ)が人間であるか自動「ボット」(すなわち、ウェブ上で自動タスクを実行しているソフトウェアアプリケーションであるウェブ/インターネットロボット)であるかを判定するための自動テストである。例えば、CAPTCHAは、オンラインサービス上でアカウントを作成しているか又は価格情報を要求しているユーザが、現実の人間であり、自動ボットではないことを検証するために一般的に使用される。CAPTCHAは、タスクを実施することをユーザに要求することによって、チャレンジ応答認証を実装する。例えば、いくつかの知られているシステムは、視覚CAPTCHAを使用し、歪んだ画像中に示された文字及び数字をタイプすることなど、視覚タスクを実施することをユーザに要求する。
いくつかの知られているシステムは、チャレンジ応答テストのために使用される既知のストリングと、情報を収集するために使用される未知のストリングとを含む2つの文字ストリングを識別するようにユーザに依頼するためにCAPTCHAを使用する。例えば、reCAPTCHAシステムは、光学文字認識(「OCR」)における誤りを訂正することによって、スキャンされた書籍の精度を改善するために、第2の文字ストリングを使用する。
視覚CAPTCHAを使用する、知られているシステムの1つの欠点は、コンピュータビジョンアルゴリズムは常に改善されており、視覚CAPTCHAアルゴリズムは、人間にとっては実施するのが容易だがコンピュータにとっては困難な視覚タスクを提供し得るために、ますます複雑になることを強制される。その結果、ユーザは、CAPTCHAの歪んだ単語を識別することが不可能なことがあり、したがって、1つを正しく解くことが可能になる前に複数の単語を要求する必要があり得る。
視覚CAPTCHAを使用する、知られているシステムの別の欠点は、視覚CAPTCHAが、視覚障がいをもつユーザにアクセス可能でないことである。いくつかの知られているシステムは、視覚障がいをもつユーザのために代替のCAPTCHAを使用する。例えば、いくつかの知られているシステムは、そのようなユーザにオーディオベースのソリューションを提供し、及び/又はオペレータを呼ぶことをユーザに要求する。
知られているシステムとは対照的に、本発明の実施形態は、ハプティックCAPTCHAを実装する。すなわち、いくつかの実施形態は、ウェブサイト又はオンラインサービスのユーザが人間であるかどうかを判定するためのテストとしてハプティックタスクを提供する。ハプティックCAPTCHAを提供するために使用されるハプティック効果は、スマートフォン、タブレット、ウェアラブルデバイス、ハプティックマウス、又は本明細書で説明する任意の他のハプティックデバイスもしくは媒体など、ユーザにとってアクセス可能もしくは利用可能であるか又はユーザの近傍にあることが知られているどんなデバイスを通しても生成され得る。さらに、ハプティックCAPTCHAを提供するために使用されるハプティック効果は、振動、変形、圧搾、タッピング、摩擦、投射されるハプティクス、又は本明細書で説明する任意の他のハプティクス動作原理など、どんなハプティクス動作原理にも従い得る。
図2は、本発明の実施形態に従ってハプティクス機能を実施するときの、図1のハプティックCAPTCHAモジュール16の流れ図である。一実施形態では、図2(及び以下の図3〜図5)の流れ図の機能は、メモリ又は他のコンピュータ可読もしくは有形媒体に記憶されるソフトウェアによって実装され、プロセッサによって実行される。他の実施形態では、機能は、(例えば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用による)ハードウェア、又はハードウェアとソフトウェアの任意の組合せによって実施され得る。
202において、1以上のハプティック効果を生成し、204において、ハプティック出力デバイスを介してユーザにハプティックチャレンジ質問として1以上のハプティック効果を提供する。
206において、ハプティックチャレンジ質問に対応する返答をユーザから受け取り、208において、人間の知覚のモデルに基づいて、返答がハプティックチャレンジ質問への正しい返答に対応するかどうかを判定する。一実施形態では、人間の知覚のモデルは、例えば、“Measuring,estimating,and understanding the psychometric function:A commentary”,Stanley A.Klein,Perception&Psychophysics,2001,63(8),1421−1455で与えられる、物理的刺激と主観的応答との間の結びつきを研究する科学分野である、心理物理学に基づく。心理物理学は、物理的刺激のパラメータに応じて、知覚タスクにおけるユーザの主観的応答を予測することを可能にする。主観的応答は、例えば、1つ又は2つの連続する振動パルスが人間によって知覚されるかどうかであり得る。物理的刺激の対応するパラメータは、例えば、2つのパルス間のギャップであり得る。心理物理学は、概して、検出しきい値(例えば、刺激が知覚可能になるポイント)及び識別限界(例えば、2つの刺激が区別され得るポイント)など、知覚のしきい値を研究する。心理物理学的結果はしばしば、心理測定関数に関して表され、横座標は刺激強度であり、縦座標は観察者応答を測定する。心理測定関数は、典型的にはS字形状を有する。
一実施形態では、返答はハプティックフィードバックである。一実施形態では、ハプティックフィードバックは、ハプティックタスク又はジェスチャーベース相互作用である。返答を受け取ると、一実施形態は、ハプティックチャレンジ質問への正しい返答を予測し、正しい返答をユーザから受け取られた返答と比較し、返答が正しい返答に一致するとき、ユーザが人間であると判定する。一実施形態では、予測することは、人間の知覚のモデル、アクチュエータ応答、又はユーザに対するアクチュエータロケーションのうちの1つ又は複数に基づいて実施される。一実施形態では、返答が正しい返答に一致しないとき、生成すること、提供すること、受け取ること、予測すること及び比較することが繰り返される。
一実施形態では、生成することは、ウェブサイトとのユーザの相互作用に応答して実施され、返答が、ハプティックチャレンジ質問に対応する正しい返答に一致するとき、ユーザは、後続の相互作用を進めることを可能にされる。一実施形態では、相互作用はユーザの認証に対応する。
一実施形態は、1以上の2次ハプティック効果をさらに生成し、ハプティック出力デバイスを介してユーザに2次ハプティックチャレンジ質問として1以上の2次ハプティック効果を提供し、2次ハプティックチャレンジ質問に対応する2次返答をユーザから受け取る。一実施形態は、1以上のハプティック効果のうちの少なくとも1つ又は1つもしくは複数の2次ハプティック効果のうちの少なくとも1つをチューニングするために2次応答を使用する。一実施形態は、人間の知覚モデルを構成又は更新するために2次応答を使用する。
一実施形態では、ユーザから返答を受け取ることは、ユーザに複数の返答選択肢を提供することと、複数の返答選択肢の中から返答を選択することをユーザに要求することとを含み、複数の返答選択肢は、ハプティックチャレンジ質問への正しい返答を含む。一実施形態では、複数の返答選択肢は、複数の画像、複数のビデオ記録、複数のオーディオ記録、又は複数のハプティック効果のうちの少なくとも1つを含む。
いくつかの代替又は追加の実施形態は、触感覚に関する情報を収集するために2次ハプティックCAPTCHAを使用する。概して、触感覚に関する情報を収集することは、例えば、実験室環境における制御された実験を通して、ユーザテストによって実施される。さらに、ハプティック知覚情報を収集するために、複数のユーザによって彼らのデバイス上で使用されるべきいくつかのアプリケーション(「アプリ」)が時々リリースされることがある。ハプティック効果はまた、情動性データ(affective data)(例えば、心拍数、生体信号、顔の特徴など、ユーザの感情状態を示すデータ)を測定するセンサに基づいて、ユーザの情動性状態(affective state)(すなわち、幸せな、悲しい、いらいらした、怒った、などの感情状態の表現)を感知することによってチューニングされ得る。しかしながら、一実施形態では、あらかじめ未知/入手不可能であった情報を提供する2次質問に答えるようにユーザに依頼するために2次ハプティックCAPTCHAが使用され得、収集された情報は、例えば、異なるプラットフォームでどのようにハプティック効果が知覚されるかを識別し、それにより、それに応じてハプティック効果のチューニングを改善するために、使用され得る。
一実施形態では、収集された情報は、例えば、その内容が本明細書に組み込まれる米国出願第13/792,754号に記載されている様々な実施形態に従って、ハプティック効果を調整するために使用され得る。例えば、収集された情報は情動性データを示し得(例えば、ユーザに2次ハプティックタスクが提供され、ユーザは、それが彼らをどのように感じさせたかを示すように依頼される)、したがって、2次ハプティックタスクのハプティック効果をチューニングするために使用され得る。例えば、情動性状態は、2次ハプティックタスクのハプティック効果によって引き起こされることが望まれる感情状態又は感情状態の変化を表すあらかじめ定義された情動性状態と比較され得、それに応じて、ハプティック効果の1以上のパラメータが調整され得る。
いくつかの実施形態では、ハプティックCAPTCHAは、対応する触感覚についての知識なしには人間ユーザの応答を推測することが難しいハプティックタスクを選択することによって提供される。例えば、ハプティックCAPTCHAは、ハプティックCAPTCHAを生成するためにアクチュエータに送られる信号の知識を前提として、人間の知覚の理解なしには人間ユーザの応答を推測することが難しいようなハプティックタスクを選択することによって提供され得る。
いくつかの代替又は追加の実施形態は、ハプティックCAPTCHAを生成するためにアクチュエータに送られる信号を攻撃者が検査するのを防止する。例えば、一実施形態は、Immersion社からの「TouchSense(登録商標)」のみが信号を検査し対応するハプティック効果を再生し得るように、アクチュエータに送られる信号波形を暗号化する。一実施形態では、アクチュエータ信号は、受信デバイス/プラットフォームに送られる前に符号化される。例えば、信号波形を送る代わりに、対応するコードが受信デバイス/プラットフォームに送信される。受信デバイス/プラットフォームは、次いで、コードを復号して、対応する波形信号を取得し、波形信号をアクチュエータに供給する。符号化は、信号波形のセットと数字のセットとの間の1対1のマッピングに従い得る。例えば、3つのパルスのシーケンスはある数字にマッピングされ得、その数字は受信デバイス/プラットフォームにデジタル的に転送され得、受信デバイス/プラットフォームは、次いで、ルックアップテーブル又は関数に基づいてその数字を波形信号に逆マッピングすることができる。一実施形態では、波形信号は、最初にパルスコード変調(「PCM」)に従ってデジタル化され、次いで符号化され得る。この実施形態では、符号化されたデジタル化信号を復号した後に、それは、受信デバイス/プラットフォームにおいて信号波形に元に復調され、アクチュエータに供給される。
一実施形態はさらに、年齢、性別、職業など、統計的ユーザ情報をモデル化する機能に基づいて人間ユーザの応答を予測する。一実施形態では、そのようなユーザ情報は、(例えば、オンラインフォームを通して)明示的に収集される。代替又は追加として、そのようなユーザ情報は、図1のセンサ30に関して本明細書で説明したいずれかのセンサを使用することによって判定される。例えば、一実施形態では、ユーザの年齢及び/又は性別は、カメラを通してキャプチャされた画像にコンピュータビジョン及び/又は画像/パターン認識アルゴリズムを適用することによって判定され得る。別の実施形態では、皮膚水和測定を実施することによってユーザの皮膚の性質を判定するために、Courage+Khazaka electronic社からのCorneometerが使用され得る。一実施形態はまた、アクチュエータ特性と、それらがユーザの範囲内にあるかどうかとに関して入手可能な情報をモデル化する。また別の代替又は追加の実施形態は、周囲温度及び/又は体温をモデル化する機能に基づいて人間ユーザの応答を予測する。例えば、冷気は人間ユーザの指をこごえさせ、触感度を低減させ得る。この実施形態では、図1のセンサ30に関して本明細書で説明したように、温度情報を収集するために温度センサが使用され得る。
様々な実施形態では、ユーザは、ハプティック効果の数を計数すること、ハプティック効果によって伝達された感情を判定すること、2つのハプティック効果のうちのより強い方を選ぶこと、ハプティック効果が別の効果(例えば、音効果、視覚効果、又は別のハプティック効果)と同期しているかどうかを判定すること、ハプティック効果が画像又は音に一致するかどうかを判定すること、ハプティック効果が少しでも再生されたかどうかを判定すること、2つのハプティック効果が同じであるかどうかを判定すること、ハプティック効果がユーザ入力(例えば、ボタンを押すなどのアクション)と同期しているかどうかを判定すること、(例えば、ESFを使用して)平面上のオブジェクトを見つけること、ビデオトラックのハプティックトラックがそのコンテンツに一致するかどうかを判定すること、ハプティック効果が感じられるときにアクションを行うことなどを依頼され得る。
いくつかの代替又は追加の実施形態は、ハプティック効果の知覚に関する情報を収集するために2次ハプティックCAPTCHAを使用する。例えば、一実施形態は、その返答が既知である1次タスク、及びその返答が未知である2次タスクという、2つの質問に返答するか又は2つのタスクを実施するようにユーザに依頼し得る。例えば、一実施形態は、再生されるハプティック効果の数を計数するようにユーザに依頼し、次いで、スクリーン上に示されるピクチャ(例えば、爆発)に効果が一致するかどうかを質問し得る。このようにして、本実施形態は、ハプティック効果のカウントに基づいてユーザが人間であることを最初に確認し、次いで、スクリーン上に示されるピクチャにどんなタイプの効果が最も良く一致するか(例えば、どんなハプティック効果タイプが爆発に最も良く一致するか)に関する情報を収集する。
いくつかの代替又は追加の実施形態では、2次質問は、信頼できる1次質問を生成するために後で使用される情報を収集するために構成される。例えば、2次質問は、ハプティック効果を計数するユーザの能力への頻度の影響に関する情報を収集し得る。この情報は、異なる頻度のハプティック効果を計数するようにユーザに依頼するとき、どんな返答を予想すべきかを判定するために、及び次いで、それに応じて将来のハプティックCAPTCHAを生成するために後で使用され得る。いくつかの実施形態では、CAPTCHA機能全体がユーザデバイス上に実装される。ただし、いくつかの代替実施形態では、ハプティック効果はユーザデバイス上に提供され得るが、対応するテスト/確認及び予測機能はクラウドサービス上で実施され得る。例えば、一実施形態では、2次質問によって収集された情報はクラウドサービスに通信され、クラウドサービスは、何人かのユーザからの返答に基づいて知覚モデルを確立する。
一実施形態では、1次ハプティックCAPTCHAと2次ハプティックCAPTCHAの両方を実装するために同じハプティック効果が使用され得る。したがって、この実施形態は、1次ハプティックCAPTCHA機能と2次ハプティックCAPTCHA機能の両方を実装するためにハプティック効果の単一セットに依拠し得る。例えば、一実施形態は、ユーザにハプティック効果のシーケンスを提供し、次いで、彼らがいくつのハプティック効果を感じたか、また(例えば、可能な選択のリストのうち)どんな感情がハプティック効果に最も良く一致するかを示すようにユーザに依頼する。したがって、この実施形態は、第1の質問への返答をすでに予測しているか、又は予測し得(したがって、第1の質問への返答を使用して、ユーザが人間であるかどうかを判定し得)、一方、第2の質問への返答を使用して、以前に知られていなかった情報を収集する。
一実施形態では、CAPTCHAを識別するのに誤りを犯すユーザは、正しい返答に達するために複数の異なるCAPTCHAを再試行し得る。この実施形態では、ユーザエクスペリエンスを改善するために、ハプティックタスクは、高い割合のユーザ(例えば、ユーザの95%)が第1の試行で正しい返答を与えることが可能であるように選択される。したがって、何人かのユーザは間違った返答を依然として与え、再試行する必要があり得るが、たいていのユーザは第1の試行で正しい返答を与えることができる。一実施形態では、ハプティックタスクは、ユーザの応答が、十分な精度で予測され得るが、決定論的である必要がないように構成される。
例えば、一実施形態では、ハプティックCAPTCHAは、再生されているハプティック効果の数を計数するようにユーザに依頼し得る。アクチュエータ信号は、周波数と強度とに応じた振動の知覚しきい値に関する心理物理学的データに基づいて、また、2つの振動パルスが別個のパルスとして知覚されるようなそれらの2つの振動パルス間の必要とされるギャップに基づいて生成され得る。概して、人間は、あるしきい値を上回る周波数の振動に敏感でなく、互いにあまりに近い2つの振動パルスは、知覚的にマージされ、単一のパルスのように感じられる。必要とされる情報は、科学文献から又は心理物理学的実験に基づいて収集され得る。例えば、少なくともかなりの割合のユーザ(例えば、ユーザの95%)が正しくタスクを実施することができるような、2つのパルス間の最小ギャップを判定するために、ユーザテストが実施され得る。信号はまた、コンピュータによって正しい返答を判定することが困難になるように、不明瞭にされ得る。例えば、知覚しきい値を下回る強度をもつ雑音又はスプリアスパルスが加算され得る。一実施形態はさらに、アクチュエータについての知識を使用し、アクチュエータが振動(例えば、アクチュエータが減衰させる周波数の振動)を生成することが不可能になるか歪ませることになる場合、アクチュエータに信号を送り得る。それに応じて、人間ユーザは、ハプティック効果を感じず、したがって、ハプティック効果なしを示す応答を提供することになる。しかしながら、ボットは、それが人間の知覚とアクチュエータ応答の両方の精巧なモデルも有しない限り、正しい応答を(すなわち、人間ユーザによって知覚可能であるハプティック効果がないと)判定することが不可能になる。
再生されているハプティック効果の数を計数するようにユーザに依頼するハプティックCAPTCHAを提供する一実施形態では、ユーザ応答を評価するために人間の知覚のモデルが使用される。人間の知覚のモデルは、1以上の心理測定関数に基づいてユーザ応答を予測する機能を提供し得る。例えば、1つ又は2つの連続する振動パルスが人間によって知覚されるかどうかの主観的応答に対応する心理測定関数では、x軸は、2つのパルス間の時間ギャップのサイズであり得、y軸は、2つの別個のパルスを感じる確率であり得る。したがって、この心理測定関数は、様々なサイズのギャップをもつパルスのシーケンスにおいて別個の効果の数を計数するように依頼されたとき、ユーザが異なるカウントを提供する確率を予測するために使用され得る。例えば、心理測定関数は、応答が50−50に分割される(すなわち、応答の50%が正しい)ポイントなどのしきい値に抽出され得る。
いくつかの実施形態では、人間の知覚のモデルは、パルスの振幅に基づいて検出しきい値を示す心理測定関数、及び2つの別個のパルスを感じるために必要とされる最小ギャップを示す心理測定関数という、2つの心理測定関数に基づいて知覚されるパルスの数を予測するアルゴリズムであり得る。いくつかの実施形態では、これらの2つの変数(すなわち、振幅及びギャップサイズ)は独立でないことがある。例えば、最小ギャップサイズは振幅に依存し得る。それに応じて、一実施形態では、振幅の値ごとに、ギャップサイズを示す異なる心理測定関数が実装される。一実施形態は、心理測定関数の多次元バージョンをも使用し得る。
一実施形態は、予想される応答の所望の分布を提供するチャレンジを生成する。例えば、チャレンジは、対応する心理測定関数において知覚しきい値を下回る及び上回るパラメータ値(例えば、振幅及びギャップサイズ)の範囲にわたるように選択され得る。一実施形態では、返答が常に極端において(すなわち、しきい値から遠く離れて)選ばれる場合、攻撃者は返答を容易に推測することが可能であり得る。例えば、5Vの最大電圧で動作するように格付けされた振動モータでは、4.75V(又は5Vの95%)の振幅を使用するとき、振動パルスは知覚可能になるが、0.25V(又は5Vの5%)を使用するときは知覚不能になることは、明らかであり得る。しかしながら、人間の知覚の詳細なモデルを有しなければ、振幅が2.25Vと2.75Vとの間(又は5Vの45%と55%との間)にあるとき、返答を推測するのはより困難になる。したがって、一実施形態では、パラメータ値(例えば、振幅及びギャップサイズ)は、返答を推測するのが容易でないように、対応するしきい値の近傍において選択される。
一実施形態では、ハプティックCAPTCHAは、ハプティック効果の数を計数するようにユーザに依頼し得るが、ハプティック信号は、Immersion社からのTouchSense(登録商標)のみがそれを解読し得るように暗号化される。したがって、攻撃者は、信号を直接分析することができず、加速度計の読取りに基づいてそれを推定することしかできない。この実施形態では、アクチュエータ信号は、(例えば、雑音を加算することによって)攻撃者の加速度計読取りを解釈するのが難しくなるように構成され得る。
一実施形態は、ハプティック効果が、視覚効果、別のハプティック効果など、別の効果と同期しているかどうかを判定することに基づいてハプティックCAPTCHAを提供する。一実施形態では、ハプティックCAPTCHA機能は、ビデオトラックと同期するハプティックトラックを提供することによって、又は、ハプティックトラックがビデオトラックと同期していないように知覚されるように遅延を導入することによって実装される。遅延は、ハプティックトラック又はビデオトラックのいずれかにおいて導入され得る。本実施形態は、次いで、ハプティックトラックがビデオトラックと同期しているか否かを示すようにユーザに依頼する。したがって、遅延が導入されているか否かの事前知識に基づいて、人間ユーザの応答は予測され得る。しかしながら、そのような情報を有しなければ、攻撃者(例えば、ボット)は、ユーザの返答を推測することが不可能であり得る。
代替又は追加の一実施形態は、ユーザを認証するためにハプティックCAPTCHAを使用する。ハプティックCAPTCHAは、特定のユーザの触感覚のモデルに基づき得る。例えば、特定のハプティックCAPTCHAについて、異なるユーザの応答の間に十分なばらつきがあると仮定すると、本実施形態は、特定のユーザの応答を予測し、その情報を使用してその人を識別し得る。そのような一実施形態は、支払いシステムのためのハプティックCAPTCHAを実装し得る。この実施形態では、ユーザがウェブ上で支払いを行うことを試みるとき、ユーザがそのような支払いを行うことを許可されているかどうかを判定するために彼らにハプティックチャレンジ質問が提供される。ユーザが、支払いを行うために許可されたユーザに関連する応答を提供する場合、ユーザは認証され、支払いを行うことを可能にされる。
一実施形態では、例えば、ユーザは、彼らのスマートフォン上でアカウント(例えば、Gmailアカウント)を作成するために、アンケートに記入していることがある。ユーザが「次に」ボタンを押すと、彼らは、電話上に3つの振動パルスを感じ、いくつの振動が感じられたかを尋ねる質問がポップアップする。ユーザが「3」を応答する場合、アカウントが作成されたという確認が提供される。
一実施形態では、例えば、ユーザは、彼らがブログ上でちょうど読んだ記事に関するコメントを書いていることがある。ユーザが「送信」ボタンを押すと、「あなたが触覚効果を感じるときにクリックしてください」というテキストとともに標的がスクリーン上に現れる。ユーザが2つのハプティック効果を感じるときに自分のマウスで標的をクリックする場合、それらのコメントは受け付けられ、ウェブサイト上に現れる。
一実施形態では、例えば、ユーザは、あるプロジェクトに関する電子メール更新を登録するためにフォームに記入していることがある。ユーザは、フォームの最後において、いくつかのハプティック効果をいくつかの画像に一致させるように彼らに依頼する質問を提示される。例えば、ユーザは、3つのハプティック効果を提供され、それらを、(人間にかろうじて知覚可能であるハプティック効果に対応する)爆発とマシンガンとブランク画像とを含む3つの画像に一致させるように依頼され得る。ユーザがハプティック効果と画像との間の正しい割当てを行う場合、本実施形態は、ユーザがブランク画像に対応するハプティック効果を感じなかったので、ユーザが人間であり、ボットではないことを確認し、同時に、本実施形態は、他の2つのハプティック効果のうちのどれが爆発又はマシンガンにより良く一致するかを識別する。
一実施形態は、ハプティックチャレンジを生成し、ユーザが応答を提供することを可能にするUIを提供し、ハプティックチャレンジへの人間ユーザの応答を予測するモデルを提供する。ハプティックチャレンジは、同じ又は異なるタイプ/形態の複数のハプティックチャレンジから選択され得る。例えば、一実施形態は、再生されているハプティック効果の数を計数するようにユーザに依頼する。本実施形態は、ハプティック効果のカウント、それらの強度、それらの間の時間間隔、ハプティック効果に加算されるハプティック雑音などを変更することによってチャレンジを変化させ得る。これらのパラメータは、ユーザの返答が予測され得る範囲内で変化され得る。ハプティック効果は、振動アクチュエータ、圧搾ウェアラブルなど、いずれかの利用可能なハプティックデバイスを使用してユーザに再生され得る。
本実施形態は、次いで、提供されたハプティック効果への応答を照会する。例えば、一実施形態は、ユーザがハプティックチャレンジへの応答を提供することを可能にする。例えば、スマートフォンは、対応する質問(例えば、「あなたはいくつのハプティック効果を感じましたか?」)をスクリーン上に示し、次いで、ユーザからの返答を受け取ることができるUI(例えば、「1」、「2」、「5より多い」など、知覚されたハプティック効果の数を示すためのUIボタン)を提供し得る。
本実施形態はさらに、ユーザの応答を査定する。例えば、一実施形態は、ユーザの応答を予測するためのモデルを使用する。例えば、一実施形態は、ハプティックチャレンジへの最も確からしい返答を判定するために人間の知覚及びアクチュエータ応答のモデルを使用し得る。例えば、ハプティックチャレンジにおいてあるいくつかのハプティック効果の強度及び間隔を仮定すれば、一実施形態は、ハプティック効果が、1つの長いハプティック効果として感じられる可能性が高いと判定し得る。別の例では、一実施形態は、いくつかのハプティック効果の強度及び/又はそれに加算される雑音が、アクチュエータの応答に影響を及ぼすには不十分であり、したがって、そのようなハプティック効果はハプティック効果のカウントに知覚可能な影響を生じないと判定し得る。したがって、ユーザの応答が、予想される返答に一致しない場合、本実施形態は、ユーザがボットであり得、場合によっては別のハプティックチャレンジを発行し得ると判定する。
一実施形態は、それが正しい返答を知らない2次ハプティックチャレンジをさらに提供する。本実施形態は、次いで、様々な実施形態に関して本明細書で説明するようにユーザ応答を照会し査定することを進めるが、ユーザが人間であるかボットであるかを判定するためにユーザ返答を使用しない。代わりに、返答は後の分析のために収集される。収集されたデータは、2次チャレンジへの予想される返答を識別するために(例えば、人工知能アルゴリズムを使用することによって)分析され得る。収集されたデータはまた、ユーザ応答予測機能を改善するために使用され得る。例えば、一実施形態は、効果のシーケンスの可算性への時間間隔の影響を知り得るが、パルスの強度の影響を無視し得る。本実施形態は、したがって、2次ハプティックチャレンジを使用してユーザ知覚への強度の影響を識別し、ユーザ応答を正確に予測するのに十分な情報が収集されると、このパラメータを1次ハプティックチャレンジに組み込み得る。
一実施形態は、再生されるハプティック効果の数を計数することに基づいてハプティックCAPTCHAを実装し、ユーザは、いくつかの振動パルスを提示され、彼らがいくつを感じたかを示すように依頼される。本実施形態は、ランダム化された性質をもついくつかのパルスを生成する。性質は、例えば、各パルスの周波数、各パルスの振幅、パルス間の間隔などを含み得る。概して、実験データに基づいて、パルスが知覚可能であるためには最小振幅Aminが必要であり、2つの連続するパルスが別個のパルスとして感じられるためには最小間隔Dminが必要である。これらのしきい値は、パルスの性質(例えば、周波数、持続時間など)及び/又はユーザの性質(例えば、性別、年齢など)など、様々なファクタに依存し得る。
パルスを生成すると、本実施形態は、パルスを提供されている人間によって知覚される可能性が高いカウントを判定する。例えば、本実施形態は2つのパルスを生成し得る。いずれのパルスもAmin以上の振幅を有しない場合、知覚されるカウントは「0」であると判定される。両方のパルスがAmin以上の振幅を有し、パルス間の間隔がDmin以上である場合、知覚されるカウントは「2」であると判定される。両方のパルスがAmin以上の振幅を有し、パルス間の間隔がDmin未満である場合、知覚されるカウントは「1」であると判定される。いずれか任意の数のパルスについて知覚されるカウントを判定するために、本実施形態は再帰的に適用され得る。
本実施形態は、擬似ランダム性質を有するために2つのパルスを生成し得、各擬似ランダム性質は、擬似乱数生成器関数(例えば、乱数のシーケンスと同様である性質をもつ数のシーケンスを生成するアルゴリズム)と、対応する範囲とに基づいて生成される。擬似ランダム性質を生成するために使用される範囲は、人間に知覚可能であるパルスを生じるその性質のための値を含み得る。代替的に、擬似ランダム性質を生成するために使用される範囲は、人間に知覚可能でないパルスを生じるその性質のための値をさらに含み得る。それに応じて、生成されたパルスは、人間に知覚可能であるか又は知覚可能でないことがあり、本実施形態は、性質の知覚可能性の知識に基づいて、生成されたパルスについて知覚される効果の計数を実施する。
図3は、上述の実施形態に係る効果計数のための例示的な判定ツリーの流れ図である。図3の実施形態は2つのパルスに基づいてハプティックCAPTCHAを実装するが、代替又は追加の実施形態では、任意の他の数のパルスが同様に実装され得る。
302において、擬似ランダム性質をもつ2つのパルスを生成する。この性質は、周波数、振幅、間隔などを含み得る。各性質は、擬似乱数生成器関数と、対応する範囲とに基づいて生成され得る。304において、第1のパルスの振幅がAmin以上であるかどうかが判定され、そうでない場合、306において、第2のパルスの振幅がAmin以上であるかどうかが判定され、そうでない場合、いずれのパルスもAmin以上の振幅を有さず、したがって、308において、知覚されるカウントは「0」であると判定される。しかしながら、306において、第2のパルスの振幅がAmin以上であると判定される場合、ただ1つのパルスがAmin以上の振幅を有し、したがって、310において、知覚されるカウントは「1」であると判定される。
304において、第1のパルスの振幅がAmin以上であると判定される場合、312において、第2のパルスの振幅がAmin以上であるかどうかが判定され、そうでない場合、ただ1つのパルスがAmin以上の振幅を有し、したがって、314において、知覚されるカウントは「1」であると判定される。
312において、第2のパルスの振幅もAmin以上であると判定される場合、316において、パルス間の間隔がDmin以上であるかどうかが判定され、そうでない場合、両方のパルスはAmin以上の振幅を有するが、パルス間の間隔はDmin未満であり、したがって、318において、知覚されるカウントは「1」であると判定される。しかしながら、316において、パルス間の間隔がDmin以上であると判定される場合、320において、知覚されるカウントは「2」であると判定される。
生成されたパルスのシーケンスについて知覚されるカウントを判定すると、パルスのそのようなシーケンスは、ハプティックCAPTCHAとして提供され得る。ユーザが、知覚されるカウントと同じカウントを識別する場合、彼らは人間であり、ボットではないと見なされ、そうでない場合、異なるハプティック及び/又は他のタイプのCAPTCHAが、再試行のためにユーザに提供され得る。
一実施形態は、いくつかのハプティックチャレンジタスク(例えば、ハプティック効果)を、以前に識別されたいくつかの対応する応答に関係付けるデータベースに基づいてハプティックCAPTCHAを実装する。応答は、例えば、複数の画像/音/ビデオ記録からの画像/音/ビデオ記録の選択を含み得る。本実施形態は、データベース中の過去の応答情報を使用して、ハプティックチャレンジ質問への最も可能性が高い及び最も可能性が低い応答を判定し、次いで、ハプティックチャレンジを受けるユーザに選択肢として少なくとも最も可能性が高い応答を提供し得る。例えば、一実施形態は、ユーザにハプティックトラックを提供し、ハプティックトラックがビデオ広告に対応するかどうか、及びそれのコンテンツに一致するかどうかを彼らに尋ね得る。一代替実施形態は、過去のユーザ返答のデータベースを使用することによるハプティック効果カウントに基づいてハプティックCAPTCHAを実装し得る。
図4は、感情をハプティック効果に関係付けるデータベースに基づいてハプティックCAPTCHAを実装する一実施形態の流れ図であり、ユーザは、ハプティック効果を提示され、次いで、感情のリストから一致する感情を選択するように依頼される。402において、データベースからハプティック効果をランダムに選択する。一実施形態では、データベースは、ハプティック効果を提示されたとき、異なる感情が実験参加者によって選ばれた回数に関する情報をさらに含み得る。一実施形態では、データベースは、実験参加者と、実験を行うために使用されるデバイスとに関する情報をも含み得る。
404において、402において選択されたハプティック効果に基づいてデータベースを照会する。照会は、参加者の年齢及び使用されているデバイスなど、他の関連情報にさらに基づき得る。次いで、406において、様々な感情に関するデータベースに記憶された情報に基づいて、人間によって選択される異なる感情の確率を計算する。408において、選択される可能性が最も高い感情を判定する。410において、選択される可能性が最も低いいくつかの感情(例えば、ユーザによって選択される確率が5%未満である4つの感情)を判定する。
412において、ユーザにハプティック効果を提供し、可能性が最も高い感情及び可能性が最も低い感情、又は任意の他の感情を含むリストから感情を選択するように依頼する。ユーザが、可能性が最も高い感情を識別する場合、彼らは人間であり、ボットではないと見なされ、そうでない場合、異なるハプティック及び/又は他のタイプのCAPTCHAが、再試行のためにユーザに提供され得る。例えば、感情を通信することに同じく基づく異なるハプティックCAPTCHAをユーザに提供するために、ブロック402〜412が繰り返され得る。
図5は、ハプティック効果が、音効果、視覚効果、別のハプティック効果などの別の効果と同期しているかどうかを判定することによってハプティックCAPTCHAを実装する一実施形態の流れ図である。502において、ハプティック効果と、対応する他の効果(例えば、オーディオ/ビデオ信号)とを選択する。504において、ハプティック効果と、対応する他の効果との間のラグを判定する。ラグは、あらかじめ定義された制限内で選択され得る。506において、データベースに照会するか又は数学的モデルを使用して、対応する他の効果(例えば、使用されているオーディオ/ビデオ効果)に基づいてラグの許容できる範囲を判定する。508において、対応する他の効果がハプティック効果と同期しているように知覚されるかどうかを判定する。510において、ユーザにハプティック効果及び対応する他の効果を提供し、それらが同期しているかどうかを示すようにユーザに依頼する。ユーザが正しい返答を与える場合、彼らは人間であり、ボットではないと見なされ、そうでない場合、異なるハプティック及び/又は他のタイプのCAPTCHAが、再試行のためにユーザに提供され得る。例えば、別の効果とのハプティック効果の同期に同じく基づく異なるハプティックCAPTCHAをユーザに提供するために、ブロック502〜510が繰り返され得る。
一実施形態は、対応するハプティック応答/フィードバックを提供することをユーザに要求するハプティックCAPTCHAを実装する。一実施形態では、ハプティックフィードバックは、アクティブ及び抵抗性力フィードバックなど、筋肉感覚フィードバックを含み得る。ハプティックフィードバックは、本明細書で説明するどんなデバイス及び/又はセンサによっても感知され得る。例えば、一実施形態は、ユーザにハプティックチャレンジ質問を提供し、次いで、応答してハプティックタスクを実施すること、例えば、ハプティック入力デバイスを一定回数タップすること、ジェスチャーベース相互作用入力を一定回数与えることなどをユーザに要求し得る。タッピングは、感圧性タッチスクリーン、容量性タッチスクリーン、抵抗性タッチスクリーンなど、又は表面弾性波、表面キャパシタンス、投射キャパシタンス、相互キャパシタンス、自己キャパシタンス、赤外線グリッド、赤外線アクリル投射、光イメージング、分散性信号、音響パルス認識などの任意の他の原理に従って動作するタッチスクリーンなど、任意のタッチスクリーンによって感知され得る。
一実施形態では、ハプティックチャレンジ質問は、いくつの振動が知覚されているかを判定することであり得、対応するハプティック応答は、ハプティック入力デバイスを同じもしくは対応する回数タップする(例えば、ユーザが1つの振動を感じる場合は2回タップし、ユーザが2つの振動を感じる場合は1回タップする)こと、又はジェスチャーベース相互作用を同じ又は対応する回数実施することであり得る。一代替実施形態は、ハプティックチャレンジ質問を提供し、次いで、あるタイプのジェスチャーベース相互作用を実施すること(例えば、ユーザが1つのパルスを感じる場合は押下し、ユーザが2つのパルスを感じる場合はピンチし、ユーザが3つのパルスを感じる場合はシェイクし、ユーザが4つのパルスを感じる場合は特定のパターンの指トレースを実施することなど)をユーザに要求し得る。いくつかの実施形態では、ハプティックフィードバック選択肢は、ハプティックフィードバックを提供しないこと、又は、あるハプティックフィードバックに、ある遅延、持続時間、強度、周波数などを提供することを含み得る。ハプティックフィードバックのタイミングパラメータは、システムタイマーに基づいて測定され得る。ハプティックフィードバックの強度は、加速度計、圧力センサなどに基づいて測定され得る。
一実施形態は、ウェアラブルハプティックデバイスのためにハプティックCAPTCHAを実装する。例えば、一実施形態は、ウェアラブルハプティックデバイスを介して、そのウェアラブルデバイスを着用している人間によって応答されるべきハプティックチャレンジ質問を提供する。一実施形態は、ハプティックチャレンジ質問を提供する前に、人間によってウェアラブルハプティックデバイスが着用されているかどうかを最初に判定し得る。例えば、一実施形態は、ウェアラブルデバイスの着用者の生体信号(例えば、温度、パルス、血圧など)を最初に収集/感知し、このようにして、ハプティックチャレンジ質問を提供する前に、ウェアラブルデバイスが人間によって実際着用又は使用されていると判定し得る。生体信号は、ウェアラブルデバイス自体を介して、あるいは、ウェアラブルデバイスに取り付けられるかもしくは組み込まれる又はウェアラブルデバイスに近接している別個のデバイス/センサを介して収集/検知され得る。
一実施形態では、1次ハプティックCAPTCHAを提供した後に、ハプティックCAPTCHA機能の精度を改善するために1以上の追加のハプティックCAPTCHAも提供され得る。例えば、ユーザに1次ハプティックチャレンジを提供し、応答を受け取った後に、一実施形態は、ユーザに2次ハプティックチャレンジを提供し、次いで、ユーザが人間でありボットではない可能性をより良好に推定するために1次ハプティックチャレンジと2次ハプティックチャレンジの両方への応答を使用する。一実施形態は、ユーザにハプティックチャレンジのシーケンスを提供し、各チャレンジへのそれぞれの応答を受け取る。この実施形態は、ユーザが人間である可能性が一定のしきい値を上回る(すなわち、ユーザが人間である可能性が高いことを示す)と判定されるまで、又は失敗したハプティックチャレンジの数が一定のしきい値を過ぎる(すなわち、ユーザが人間である可能性が低いことを示す)まで、このシーケンスを続ける。
開示するように、実施形態は、触覚に依拠するCAPTCHAを提供することを可能にする。いくつかの実施形態では、ハプティックCAPTCHAはまた、どのくらい確かなハプティック効果が知覚されるか(触感覚)に関する追加の情報を収集するように、又はユーザを認証するように構成され得る。したがって、実施形態は、様々なチャレンジ応答機能を提供するために触覚に依拠する可能性をエンドユーザに提供する。
本明細書では、いくつかの実施形態について具体的に図示及び/又は説明している。しかしながら、開示する実施形態の修正及び変形は、上記の教示によって包含され、本発明の趣旨及び意図された範囲から逸脱することなく添付の特許請求の範囲の範囲内にあることを諒解されよう。

Claims (20)

  1. プロセッサによって実行されたとき、前記プロセッサにハプティックチャレンジ応答機能を実施させる命令を記憶したコンピュータ可読媒体であって、
    1以上のハプティック効果を生成することと、
    ハプティック出力デバイスを介してハプティックチャレンジ質問として前記1以上のハプティック効果を提供することと、
    前記ハプティックチャレンジ質問に対応する返答をユーザから受け取ることと、
    検出しきい値及び識別限界の少なくとも一方を含む知覚しきい値を含む人間の知覚のモデルに基づいて、前記返答が前記ハプティックチャレンジ質問への正しい返答に対応するかどうかを判定することと、
    を含む、コンピュータ可読媒体。
  2. 前記判定することのための命令は、
    前記ハプティックチャレンジ質問への前記正しい返答を予測することと、
    前記正しい返答を前記ユーザから受け取られた前記返答と比較することと、
    前記返答が前記正しい返答に一致するとき、前記ユーザが人間であると判定することと、
    のための命令を含む、請求項1に記載のコンピュータ可読媒体。
  3. 前記予測することのための命令は、人間の知覚の前記モデル、アクチュエータ応答、及び前記ユーザに対するアクチュエータロケーションのうちの1以上に基づいて前記正しい返答を予測することのための命令を含む、請求項2に記載のコンピュータ可読媒体。
  4. 前記返答が前記正しい返答に一致しないとき、前記生成すること、前記提供すること、前記受け取ること、前記予測すること及び前記比較することを繰り返すこと、
    のための命令をさらに含む、請求項2に記載のコンピュータ可読媒体。
  5. 前記生成することのための命令は、ウェブサイトとの前記ユーザの相互作用に応答して1以上のハプティック効果を生成するための命令を含み、前記返答が、前記ハプティックチャレンジ質問に対応する前記正しい返答に一致するとき、前記ユーザは、後続の相互作用を進めることを可能にされる、請求項1に記載のコンピュータ可読媒体。
  6. 前記相互作用は前記ユーザの認証に対応する、請求項5に記載のコンピュータ可読媒体。
  7. 1以上の2次ハプティック効果を生成することと、
    前記ハプティック出力デバイスを介して前記ユーザに2次ハプティックチャレンジ質問として前記1以上の2次ハプティック効果を提供することと、
    前記2次ハプティックチャレンジ質問に対応する2次返答を前記ユーザから受け取ることと、
    のための命令をさらに含む、請求項1に記載のコンピュータ可読媒体。
  8. 前記1以上のハプティック効果のうちの少なくとも1つ、又は前記1以上の2次ハプティック効果のうちの少なくとも1つをチューニングするために前記2次返答を使用すること
    のための命令をさらに含む、請求項7に記載のコンピュータ可読媒体。
  9. 人間の知覚の前記モデルを構成又は更新するために前記2次返答を使用すること
    のための命令をさらに含む、請求項7に記載のコンピュータ可読媒体。
  10. 前記返答はハプティックフィードバックである、請求項1に記載のコンピュータ可読媒体。
  11. 前記ハプティックフィードバックは、ハプティックタスク又はジェスチャーベース相互作用である、請求項10に記載のコンピュータ可読媒体。
  12. 前記受け取ることのための命令は、
    前記ユーザに複数の返答選択肢を提供することと、
    前記ハプティックチャレンジ質問への正しい返答を含む前記複数の返答選択肢の中から前記返答を選択することを前記ユーザに要求することと、
    を含む、請求項1に記載のコンピュータ可読媒体。
  13. 前記複数の返答選択肢は、複数の画像、複数のビデオ記録、複数のオーディオ記録、及び複数のハプティック効果のうちの少なくとも1つを含む、請求項12に記載のコンピュータ可読媒体。
  14. ハプティックチャレンジ応答機能を実施する方法であって、
    1以上のハプティック効果を生成するステップと、
    ハプティック出力デバイスを介してユーザにハプティックチャレンジ質問として前記1以上のハプティック効果を提供するステップと、
    前記ハプティックチャレンジ質問に対応する返答を前記ユーザから受け取るステップと、
    検出しきい値及び識別限界の少なくとも一方を含む知覚しきい値を含む人間の知覚のモデルに基づいて、前記返答が前記ハプティックチャレンジ質問への正しい返答に対応するかどうかを判定するステップと、
    を含む方法。
  15. 前記返答が正しい返答に対応するかどうかを判定するステップは、
    前記ハプティックチャレンジ質問への前記正しい返答を予測するステップと、
    前記正しい返答を前記ユーザから受け取られた前記返答と比較するステップと、
    前記返答が前記正しい返答に一致するとき、前記ユーザが人間であると判定するステップと、
    をさらに含む、請求項14に記載の方法。
  16. 前記予測するステップは、人間の知覚の前記モデル、アクチュエータ応答、及び前記ユーザに対するアクチュエータロケーションのうちの1以上に基づく、請求項15に記載の方法。
  17. 前記返答が前記正しい返答に一致しないとき、前記生成するステップ、前記提供するステップ、前記受け取るステップ、前記予測するステップ及び前記比較するステップを繰り返すステップ
    をさらに含む、請求項15に記載の方法。
  18. 1以上の2次ハプティック効果を生成するステップと、
    前記ハプティック出力デバイスを介して前記ユーザに2次ハプティックチャレンジ質問として前記1以上の2次ハプティック効果を提供するステップと、
    前記2次ハプティックチャレンジ質問に対応する2次返答を前記ユーザから受け取るステップと、
    をさらに含む、請求項14に記載の方法。
  19. 前記1以上のハプティック効果のうちの少なくとも1つ、又は前記1以上の2次ハプティック効果のうちの少なくとも1つをチューニングするために前記2次返答を使用するステップ
    をさらに含む、請求項18に記載の方法。
  20. ハプティックチャレンジ応答機能を実施するためのシステムであって、
    プログラム命令を記憶するように構成されるコンピュータメモリと、
    プロセッサであって、
    1以上のハプティック効果を生成し、
    ハプティック出力デバイスを介してユーザにハプティックチャレンジ質問として前記1以上のハプティック効果を提供し、
    前記ハプティックチャレンジ質問に対応する返答を前記ユーザから受け取り、
    検出しきい値及び識別限界の少なくとも一方を含む知覚しきい値を含む人間の知覚のモデルに基づいて、前記返答が前記ハプティックチャレンジ質問への正しい返答に対応するかどうかを判定する
    ために前記プログラム命令を実行するように構成されるプロセッサと、
    を備える、システム。
JP2016075936A 2015-09-25 2016-04-05 ハプティックcaptcha Expired - Fee Related JP6566906B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/865,373 2015-09-25
US14/865,373 US9990040B2 (en) 2015-09-25 2015-09-25 Haptic CAPTCHA

Publications (3)

Publication Number Publication Date
JP2017062760A JP2017062760A (ja) 2017-03-30
JP2017062760A5 JP2017062760A5 (ja) 2019-03-07
JP6566906B2 true JP6566906B2 (ja) 2019-08-28

Family

ID=55628905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016075936A Expired - Fee Related JP6566906B2 (ja) 2015-09-25 2016-04-05 ハプティックcaptcha

Country Status (5)

Country Link
US (1) US9990040B2 (ja)
EP (1) EP3147753A1 (ja)
JP (1) JP6566906B2 (ja)
KR (1) KR20170037486A (ja)
CN (1) CN106557158A (ja)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DE102017205878A1 (de) * 2017-04-06 2018-10-11 Bundesdruckerei Gmbh Verfahren und System zur Authentifizierung
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) * 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10194078B2 (en) * 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10594836B2 (en) * 2017-06-30 2020-03-17 Microsoft Technology Licensing, Llc Automatic detection of human and non-human activity
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
CN109725824A (zh) * 2017-10-27 2019-05-07 伊姆西Ip控股有限责任公司 用于向存储系统中的盘阵列写入数据的方法和设备
US10513322B2 (en) * 2017-12-08 2019-12-24 Navico Holding As Foot pedal for a trolling motor assembly
US11200303B2 (en) * 2017-12-08 2021-12-14 Apple Inc. Audio accessibility assistance
US10564796B2 (en) * 2017-12-14 2020-02-18 Mastercard International Incorporated Haptic interaction
US10877560B2 (en) * 2017-12-22 2020-12-29 Mastercard International Incorporated Haptic feedback for authentication and security in computer systems
JP7035977B2 (ja) * 2018-02-14 2022-03-15 カシオ計算機株式会社 電子機器、電子機器の制御方法及びプログラム
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11204648B2 (en) 2018-06-12 2021-12-21 Mastercard International Incorporated Handshake to establish agreement between two parties in virtual reality
US10791222B2 (en) * 2018-06-21 2020-09-29 Wells Fargo Bank, N.A. Voice captcha and real-time monitoring for contact centers
CN108875688B (zh) 2018-06-28 2022-06-10 北京旷视科技有限公司 一种活体检测方法、装置、系统及存储介质
WO2020032919A1 (en) 2018-08-06 2020-02-13 Google Llc Captcha automated assistant
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
KR102010360B1 (ko) * 2018-10-08 2019-08-14 넷마블 주식회사 색각 이상 판단 장치 및 방법
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11132432B2 (en) 2018-10-29 2021-09-28 Hewlett Packard Enterprise Development Lp Tactile challenge-response testing for electronic devices
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11875372B2 (en) * 2019-03-29 2024-01-16 Fortunito, Inc. Systems and methods for an interactive online platform
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2020258227A1 (zh) * 2019-06-28 2020-12-30 瑞声声学科技(深圳)有限公司 致动器激励信号处理方法、装置、计算机设备及存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11328047B2 (en) * 2019-10-31 2022-05-10 Microsoft Technology Licensing, Llc. Gamified challenge to detect a non-human user
KR102880317B1 (ko) * 2019-12-19 2025-11-03 삼성전자주식회사 신발형 장치를 위한 감각 역치 정보 결정 방법 및 장치, 신발형 장치와 신발형 장치의 제어 방법
CN111444494B (zh) 2020-03-26 2022-07-08 维沃移动通信有限公司 一种验证方法、电子设备和计算机可读存储介质
US11636193B1 (en) * 2020-05-06 2023-04-25 Amazon Technologies, Inc. Intuition-based challenges
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US12432201B1 (en) * 2021-08-31 2025-09-30 United Services Automobile Association (Usaa) Haptic feedback-based video authentication method and system
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions
US12423393B2 (en) * 2023-08-15 2025-09-23 International Business Machines Corporation Multi-factor captcha with adjunct signals

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0603581D0 (en) 2006-02-23 2006-04-05 Univ Belfast System and method for user authentication
AU2008209429B2 (en) 2007-01-23 2013-03-14 Carnegie Mellon University Controlling access to computer systems and for annotating media files
KR101943287B1 (ko) * 2010-12-29 2019-01-28 마코 서지컬 코포레이션 상당히 안정된 햅틱스를 제공하기 위한 시스템 및 방법
JP5699671B2 (ja) * 2011-02-21 2015-04-15 株式会社リコー 認証システム、認証方法、認証プログラム及び記録媒体
US8776173B2 (en) 2011-03-24 2014-07-08 AYAH, Inc. Method for generating a human likeness score
US20130007875A1 (en) * 2011-06-30 2013-01-03 Ebay, Inc. Interactive CAPTCHA
US20150254448A1 (en) 2012-04-30 2015-09-10 Google Inc. Verifying Human Use of Electronic Systems
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
KR20160016747A (ko) 2013-06-07 2016-02-15 임머숀 코퍼레이션 햅틱 효과 핸드쉐이크 잠금 해제
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9722985B2 (en) * 2014-05-01 2017-08-01 Qualcomm Incorporated Sensory output for image association
US9723005B1 (en) * 2014-09-29 2017-08-01 Amazon Technologies, Inc. Turing test via reaction to test modifications

Also Published As

Publication number Publication date
KR20170037486A (ko) 2017-04-04
JP2017062760A (ja) 2017-03-30
CN106557158A (zh) 2017-04-05
EP3147753A1 (en) 2017-03-29
US20170090569A1 (en) 2017-03-30
US9990040B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
JP6566906B2 (ja) ハプティックcaptcha
JP7580453B2 (ja) スマートリング
US11210376B2 (en) Systems and methods for biometric user authentication
EP2778843B1 (en) Automatic haptic effect adjustment system
US9426139B1 (en) Triggering a request for an authentication
TWI575424B (zh) 用於圖片手勢認證的方法、儲存裝置與系統
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
US20170243452A1 (en) Haptic effects conflict avoidance
JP5713418B1 (ja) 接触付与部分の配置をもって情報を伝達する情報伝達システム及び情報伝達方法
US20180011538A1 (en) Multimodal haptic effects
US9548012B1 (en) Adaptive ergonomic keyboard
US12231897B2 (en) Password-free usable and secure pairing of IoT devices
Sae-Bae et al. Emerging NUI-based methods for user authentication: A new taxonomy and survey
CN118984985A (zh) 手势和语音控制的接口装置
Chen et al. A low latency on-body typing system through single vibration sensor
Gilbert et al. Continuous user authentication on mobile devices
Yao et al. PresSafe: Barometer-based on-screen pressure-assisted implicit authentication for smartphones
US11557227B2 (en) Cortical steganography
Remache-Vinueza et al. Influence of duration and visual feedback on the perception of tactile illusions of motion
JP2018027282A (ja) 生体情報に連動するスマートボードシステム及びその方法
CN113886786B (zh) 生物声学认证
Tamer et al. A low duration vibro-tactile representation of Braille characters
RU2670648C1 (ru) Интерактивный способ биометрической аутентификации пользователя
CN115136627B (zh) 用于确保连接到本地网络的用户设备的功能的方法、数据处理系统和计算机程序
Chen Machine-Augmented Humans as a Privacy Armor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190125

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R150 Certificate of patent or registration of utility model

Ref document number: 6566906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees