JP7765616B2 - 焦点遷移を補強するための注意追跡 - Google Patents

焦点遷移を補強するための注意追跡

Info

Publication number
JP7765616B2
JP7765616B2 JP2024517522A JP2024517522A JP7765616B2 JP 7765616 B2 JP7765616 B2 JP 7765616B2 JP 2024517522 A JP2024517522 A JP 2024517522A JP 2024517522 A JP2024517522 A JP 2024517522A JP 7765616 B2 JP7765616 B2 JP 7765616B2
Authority
JP
Japan
Prior art keywords
user
focus
content
event
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024517522A
Other languages
English (en)
Other versions
JP2024534528A (ja
Inventor
オルワル，アレックス
ドゥ，ルオフェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority claimed from PCT/US2022/076779 external-priority patent/WO2023049746A1/en
Publication of JP2024534528A publication Critical patent/JP2024534528A/ja
Application granted granted Critical
Publication of JP7765616B2 publication Critical patent/JP7765616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

関連出願への相互参照
本出願は、「ＡＴＴＥＮＴＩＯＮ ＴＲＡＣＫＩＮＧ ＴＯ ＡＵＧＭＥＮＴ ＦＯＣＵＳ ＴＲＡＮＳＩＴＩＯＮＳ」という表題の２０２１年９月２１日に出願された米国仮特許出願第６３／２６１，４４９号に対する優先権を主張する、「ＡＴＴＥＮＴＩＯＮ ＴＲＡＣＫＩＮＧ ＴＯ ＡＵＧＭＥＮＴ ＦＯＣＵＳ ＴＲＡＮＳＩＴＩＯＮＳ」という表題の２０２２年９月２０日に出願された米国非仮特許出願第１７／９３３，６３１号の継続出願であり、またそれに対する優先権を主張するものであり、それらの開示は、それらの全体が参照により本明細書に組み込まれる。
本出願はまた、２０２１年９月２１日に出願された米国仮特許出願第６３／２６１，４４９号に対する優先権を主張するものでもあり、その開示は、その全体が参照により本明細書に組み込まれる。
技術分野
本説明は、概して、コンテンツに対するユーザ注意を処理するために使用される方法、デバイス、およびアルゴリズムに関する。
背景
ディスプレイデバイスは、ディスプレイデバイス上で視野内に提示される仮想コンテンツとのユーザインタラクションを可能にし得る。ディスプレイデバイスのユーザは、インタラクションおよび／または他のコンテンツにより中断され得る。そのような中断が発生した後、ユーザが、仮想コンテンツと関連付けられたタスクを再開することは困難であり得る。従来のディスプレイデバイスは、中断に遭遇した後に仮想コンテンツに再度没頭することを試みるときに発生する認知欠損を考慮しない。故に、ディスプレイデバイスで見られる仮想コンテンツと関連付けられたタスクを追跡して、例えば、そのような中断に基づいてユーザに応答するようにディスプレイデバイスをトリガするための機構を提供することが有益であり得る。
概要
ウェアラブルディスプレイデバイスは、物理的世界および拡張コンテンツの両方を見ることができる拡張現実デバイスとして構成され得る。そのようなデバイスを装着しているユーザの視野は、物理的世界で発生する事象により妨害され得る。そのような妨害は、１つまたは複数の感覚の外部刺激（例えば、聴覚、視覚、触覚、嗅覚、味覚、前庭、または固有受容刺激）から生じ得る。例えば、ウェアラブルディスプレイデバイスのユーザへの音声通話、周辺に出現する人、ユーザに触れる人、匂いもしくは味の検知、バランスシフト（例えば、移動中）、または障害物の発見がある。そのような妨害は、焦点のシフトを引き起こすものについてユーザが思い出す、または考えることなど、内的シフトからも生じ得る。電力および熱が断続的なディスプレイスリープまたはオフモードをトリガし得る、画面タイムアウトなど、技術的制約も存在する。そのような妨害のいずれも、ユーザが以前の活動を再開しようとするとき、またはこれに戻ろうとするとき、ユーザに対して認知的課題をもたらし得る。例えば、妨害または中断が発生した後、ユーザは、ウェアラブルディスプレイデバイスの仮想画面上のコンテンツとのエンゲージメントを再開するのに苦労し得る。本明細書に説明されるシステムおよび方法は、例えば、ユーザの焦点を分析し、刺激のタイプを分析し、以前に分析したコンテンツを用いてユーザに再度関わるために特定の焦点遷移マーカ（例えば、視覚コンテンツ、可視化、音声コンテンツ）を生成するように構成され得る。
１つまたは複数のコンピュータのシステムは、動作中にシステムにアクションを実施させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有するおかげで、特定の動作またはアクションを実施するように構成され得る。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると装置にアクションを実施させる命令を含むことにより、特定の動作またはアクションを実施するように構成され得る。
１つの一般的態様において、仮想画面に提示されるコンテンツに対するユーザの注意を追跡すること、コンテンツの第１の領域と関連付けられた焦点外れ事象を検出すること、およびコンテンツの第２の領域と関連付けられた次の合焦事象を決定することを含む、方法が提案され、該決定は、焦点外れ事象およびユーザの追跡された注意に少なくとも部分的に基づく。本方法は、決定した次の合焦事象に基づいて、コンテンツの第２の領域をコンテンツの残部と区別するためのマーカを生成すること、および仮想画面と関連付けられた再合焦事象を検出することに応答して、コンテンツの第２の領域と関連付けられたマーカの実行をトリガすることをさらに含む。制御部を有するマーカを実行することは、仮想画面上に仮想制御要素を伴うマーキングを表示することに関連し得、このときユーザは、仮想画面上で少なくともアクションをトリガするために行動し得る。例えば、ユーザは、マーカの制御部を介して、提示されたコンテンツとインタラクトすることができてもよい。
１つの実施形態例において、コンテンツの第１の領域と関連付けられた焦点外れ事象を検出することは、ユーザがコンテンツの第１の領域に以前に焦点を合わせていて、もはや第１の領域に焦点を合わせていないことを電子的に検出することであり得る（例えば、ユーザの片目またはユーザの両目の注視軌道、および故にユーザの視野焦点によって決定される）。例えば、焦点外れ事象は、ユーザが第１の領域から離れる方を見ることを決定することによって検出され得る。
コンテンツの第２の領域と関連付けられた次の合焦事象を決定することは、ユーザが焦点外れ事象の後に見ている可能性の高いコンテンツの第２の領域を決定することであり得、ユーザが第２の領域に焦点を合わせている可能性、特に可能性スコア、および／または第２の領域は、予測モデルを使用して決定され、この予測モデルには、検出された焦点外れ事象に関する情報（例えば、焦点外れ事象が発生した時間、焦点外れ事象が発生したときのユーザの周囲の音など）、およびユーザの追跡された注意に関する情報（例えば、ユーザが提示されたコンテンツの第１または別の領域に焦点を合わせている持続時間、焦点外れ事象前のとある時間量など）が、入力パラメータとして供給され、またこの予測モデルは、検出された焦点外れ事象およびその状況ならびに提示されたコンテンツに対する以前に追跡されたユーザ注意を前提として、ユーザが焦点外れ事象後のしきい値時間量内で仮想画面上に提示されるコンテンツのどの第２の領域に焦点を合わせるかに関する表示を出力する。
再合焦事象を検出することは、ユーザが仮想画面上に提示されるコンテンツに再び焦点を合わせることを決定することであり得る。ユーザがコンテンツに再び焦点を合わせることは、同じコンテンツと関連付けられた焦点外れ事象の後に発生する。例えば、再合焦事象は、以前に見たコンテンツおよび／またはユーザが焦点外れ事象の前に関わったコンテンツに焦点を合わせた検出された視線を含み得る。故に、再合焦事象は、焦点外れ事象後のしきい値よりも小さい時間量の後に発生する。
第２の領域を区別するためのマーカは、その実行時に視覚的に提示される焦点遷移マーカに関連し得る。故に、対応するマーカが、次の合焦事象を決定した後に生成され得る。しかしながら、例えば、第２の領域とコンテンツの残部との違いを視覚化するため、ならびに／または第２の領域を視覚的、聴覚的に、および／もしくは触覚的に強調するための、仮想画面上でのマーカの実行、ならびに故に、例えば、起動および／または提示は、再合焦事象の検出時に、すなわち、ユーザが仮想画面上に提示されるコンテンツに再び焦点を合わせることを検出した後に、トリガされるだけでもよい。
実装形態は、以下の特徴のいずれかを単独で、または組み合わせて含み得る。
説明された技術の実装形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含み得る。１つまたは複数の実装形態の詳細事項は、添付の図面および以下の説明に明記される。他の特徴は、説明および図面、ならびにクレームから明らかになるものとする。
本開示全体を通して説明される実装形態による、ユーザ注意を追跡し、焦点遷移マーカを生成して、ユーザがウェアラブルコンピューティングデバイスによって提供されるコンテンツに戻ることを支援するためのウェアラブルコンピューティングデバイスの例を示す図である。 本開示全体を通して説明される実装形態による、ユーザ注意をモデル化および追跡し、ユーザ注意に基づいてコンテンツを生成するためのシステムを例証する図である。 本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイスのディスプレイ上のユーザの焦点を追跡し、追跡された焦点に基づいてコンテンツを生成する例を例証する図である。 本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイスのディスプレイ上のユーザの焦点を追跡し、追跡された焦点に基づいてコンテンツを生成する例を例証する図である。 本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイスのディスプレイ上のユーザの焦点を追跡し、追跡された焦点に基づいてコンテンツを生成する例を例証する図である。 本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイスのディスプレイ上のユーザの焦点を追跡し、追跡された焦点に基づいてコンテンツを生成する例を例証する図である。 本開示全体を通して説明される実装形態による、焦点遷移マーカを描写するユーザインターフェースの例を例証する図である。 本開示全体を通して説明される実装形態による、焦点遷移マーカを描写するユーザインターフェースの例を例証する図である。 本開示全体を通して説明される実装形態による、焦点遷移マーカを描写するユーザインターフェースの例を例証する図である。 本開示全体を通して説明される実装形態による、焦点遷移マーカを描写するユーザインターフェースの例を例証する図である。 本開示全体を通して説明される実装形態による、ユーザ焦点を追跡し、ユーザ焦点に応答して焦点遷移コンテンツを生成するためのプロセスの一例を図形化するフローチャートである。 本明細書に説明される技術と共に使用され得る、コンピュータデバイスおよびモバイルコンピュータデバイスの例を例証する図である。
様々な図面内の同じ参照符号は、同じ要素を示す。
詳細な説明
本開示は、モデル化および／または追跡されたユーザ注意（例えば、焦点、注視、および／またはインタラクション）に基づいてユーザインターフェース（ＵＩ）コンテンツ、音声コンテンツ、および／または触覚コンテンツを生成するためのシステムおよび方法を説明する。既存のディスプレイコンテンツのためのＵＩコンテンツまたは効果は、物理的世界からディスプレイ画面（例えば、ウェアラブルコンピューティングデバイスの仮想画面）上のコンテンツへ焦点（例えば、注意）を再獲得することにおいてユーザを支援するために生成され得る。例えば、ユーザが仮想画面から物理的世界へと気がそれるとき、本明細書に説明されるシステムおよび方法は、再合焦事象を予測することができ、また、再合焦事象の発生に応答して、本システムは、ユーザが仮想画面上のコンテンツに再び没入するのを助けるために、仮想画面上への表示のためのコンテンツを生成および／または修正し得る。
本明細書に説明されるＵＩコンテンツ、音声コンテンツ、および／または触覚コンテンツは、ＵＩマーカ、ＵＩ変更、音声出力、触覚フィードバック、提示したＵＩコンテンツの拡張、音声コンテンツの拡張、触覚事象の拡張、および同様のもののうちのいずれかまたはすべてを含み得る焦点遷移マーカとして説明され得る。焦点遷移マーカは、ユーザが、例えば、物理的世界から戻って仮想画面へと素早く遷移するために、仮想画面によりコンテンツを見ることおよび／またはこれにアクセスすることを支援し得る。いくつかの実装形態において、焦点遷移マーカは、バッテリ駆動のコンピューティングデバイスの仮想画面のために構成されるコンピューティングインターフェースの一部であり得る。コンピューティングインターフェースは、コンピューティングインターフェースにアクセスするユーザと関連付けられた注意（例えば、焦点）挙動の特定の側面を分析および／または検出し得る。いくつかの実装形態において、仮想画面（または仮想画面を収容するコンピューティングデバイス）と関連付けられた特定のセンサは、ユーザと関連付けられた注意挙動の特定の側面を分析および／または検出するために使用され得る。
いくつかの実装形態において、触覚効果は、焦点外れ事象中および焦点外れ事象後、しかしながら検出された再合焦事象前に発生していた可能性がある変化を示すために触覚合図を含み得る。いくつかの実装形態において、触覚効果は、ヘッドホンドライバ（例えば、スピーカ信号に基づいた骨伝導信号）によって提供され得る。いくつかの実装形態において、触覚効果は、デバイスの構成要素によって生成される振動によって提供され得る。例えば、触覚効果は、デバイス内に設置され、触覚信号を生成するように構成される線形アクチュエータ（図示せず）によって提供され得る。
いくつかの実装形態において、ユーザの注意（例えば、焦点）は、例えば、ディスプレイ画面（例えば、ＡＲデバイス（例えば、光学シースルー方式のウェアラブルディスプレイデバイス、ビデオシースルー方式のウェアラブルディスプレイデバイス）上の仮想画面）との、および物理的世界との１つまたは複数のインタラクションに関してモデル化および／または追跡され得る。モデル化されたユーザ注意は、仮想画面とのインタラクション中にそのようなＵＩコンテンツ、音声コンテンツ、および／または触覚コンテンツをいつ表示するべきかを決定するために使用され得る。
ユーザの注意（例えば、焦点）をモデル化および／または追跡することは、本明細書に説明されるシステムおよび方法が、ユーザが次に実施し得るアクションおよび／またはインタラクションを予測することを可能にし得る。ユーザの注意および予測アクションは、ＵＩコンテンツの拡張（例えば、可視化）、音声コンテンツの拡張、触覚事象の拡張、および同様のものを表し得る１つまたは複数の焦点遷移マーカを生成するために使用され得る。焦点遷移マーカは、仮想画面内のコンテンツの領域間の違いを示すための特定の可視化技術として生成され得る。いくつかの実装形態において、焦点遷移マーカの提示は、仮想画面の部分においてコンテンツを切り替えるために使用される時間を最小限にするという利点をもたらし得る。
いくつかの実装形態において、焦点遷移マーカは、仮想画面上の焦点領域と物理的世界内の焦点領域とを切り替えることにおいてユーザを支援する働きをし得る。例えば、ユーザが、仮想画面を有する電子デバイスを装着しており（または見ており）、画面から離れて物理的世界を見る場合、本明細書に説明されるシステムは、画面の閲覧を妨害するものを検出し、ユーザによって画面内で実施および／または見られるべき次の見込みタスクを決定し、画面コンテンツの閲覧に戻ることにおいてユーザを支援するために焦点遷移マーカを生成し得る。
焦点遷移マーカを生成して、仮想画面から視線をそらす（および仮想画面に視線を戻す）ことが決定されているユーザに提示することは、ユーザが妨害をされる、および／または仮想画面から物理的世界へと焦点が外れるときにユーザに発生する時間コストおよび／または認知遷移コストを最小限にするという利点をもたらし得る。焦点外れは、ユーザの注意を変化させることを含み得る。焦点遷移マーカは、拡張現実（ＡＲ）ウェアラブルデバイスを通じて、物理的世界を見ることから、例えば、仮想画面の領域を見ることへ、注意（例えば、焦点、インタラクション、視線など）を再獲得するために利用される時間量を最小限にするように設計され得る。
一般に、焦点遷移マーカ（例えば、コンテンツ）は、ウェアラブルコンピューティングデバイスのユーザインターフェースまたは関連音声インターフェースにおける表示および／または実行のために生成され得る。いくつかの実装形態において、焦点遷移マーカは、特定の視覚効果、音声効果、運動効果、または表示もしくは実行されている他のコンテンツアイテムへユーザの注意を引くためにユーザに焦点に合わせることが意図される視覚、音声、および／または触覚コンテンツを含み得る。
本明細書で使用される場合、焦点遷移マーカは、ＵＩコンテンツ、ＵＩ制御部、ＵＩコンテンツ、音声コンテンツ、触覚コンテンツ、および／または触覚事象の変更、アニメーション、コンテンツ巻き戻しおよび再生、空間音響／ビデオ効果、ハイライト効果、強調低減効果、テキストおよび／または画像強調効果、３次元効果、オーバーレイ効果、ならびに同様のもののうちの任意の１つまたは複数（または任意の組み合わせ）を含み得るが、これらに限定されない。
焦点遷移マーカは、いくつかの信号に基づいて表示（または実行）のためにトリガされ得る。信号の例は、任意の１つまたは複数の注視信号（例えば、視線）、頭部トラッキング信号、明示的なユーザ入力、および／または遠隔ユーザ入力（またはその任意の組み合わせ）を含み得る。いくつかの実装形態において、本明細書に説明されるシステムは、焦点遷移マーカが表示される、または画面から除去されるようにトリガするために、上記信号のうちの１つまたは複数における特定の変化を検出し得る。制御部を有するマーカを実行することは、仮想画面上に仮想制御要素を伴うマーキングを表示することに関連し得、このときユーザは、仮想画面上で少なくともアクションをトリガするために行動し得る。例えば、ユーザは、マーカの制御部を介して、提示されたコンテンツとインタラクトすることができてもよい。
いくつかの実装形態において、本明細書に説明されるシステムおよび方法は、ウェアラブルコンピューティングデバイスに搭載の１つまたは複数のセンサを利用し得る。センサは、焦点遷移マーカが表示されること、またはディスプレイから除去されることをトリガし得る信号を検出し得る。そのようなセンサ信号はまた、特定の焦点遷移マーカの形態および／または機能を決定するために使用され得る。いくつかの実装形態において、センサ信号は、特定のコンテンツのための焦点遷移マーカの形態および／または機能を決定し得る機械学習および／または他のモデル化タスクを実行するための入力として使用され得る。
図１は、本開示全体を通して説明される実装形態による、ユーザ注意を追跡し、焦点遷移マーカを生成して、ユーザがウェアラブルコンピューティングデバイス１００によって提供されるコンテンツに戻ることを支援するためのウェアラブルコンピューティングデバイス１００の例である。この例では、ウェアラブルコンピューティングデバイス１００は、ＡＲスマートグラス（例えば、光学シースルー方式のウェアラブルディスプレイデバイス、ビデオシースルー方式のウェアラブルディスプレイデバイス）の形態で描写される（例えば、提示される）。しかしながら、任意の形状因子のバッテリ駆動デバイスが、本明細書に説明されるシステムおよび方法と置き換えられ、またこれと組み合わされ得る。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、１つまたは複数のセンサ、注意入力、機械学習（ＭＬ）モデル、プロセッサ、エンコーダ、および同様のもののいずれかまたはすべてに搭載されてこれらと通信状態にある（またはこれらへの通信アクセスを有する）システムオンチップ（ＳＯＣ）アーキテクチャ（図示せず）を含む。
動作中、ウェアラブルコンピューティングデバイス１００は、仮想画面１０４内にコンテンツ（例えば、コンテンツ１０２ａ、１０２ｂ、および１０２ｃ）のビューを、ならびに仮想画面１０４の背後に物質的世界ビュー１０６のビューを提供し得る。画面１０４上またはその背後に描写されるコンテンツは、物理的コンテンツならびに拡張現実（ＡＲ）コンテンツを含み得る。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、モバイルコンピューティングデバイス、サーバコンピューティングデバイス、トラッキングデバイス、および同様のものなど、他のデバイスと通信可能に結合され得る。
ウェアラブルコンピューティングデバイス１００は、仮想画面１０４上に描写されるコンテンツ（例えば、１０２ａ、１０２ｂ、１０２ｃ）に対するユーザの注意入力１０８（例えば、焦点、注視、注意）を検出するために１つまたは複数のセンサ（図示せず）を含み得る。検出された注意１０８（例えば、焦点）は、どのコンテンツ１０２ａ、１０２ｂ、１０２ｃが見られているかを決定するための基礎として使用され得る。決定されたコンテンツ１０２ａ、１０２ｂ、１０２ｃのいずれかまたはすべては、例えば、デバイス１００が、焦点外れ事象（例えば、ユーザの注意の変化）を検出するとき、および／または焦点外れ事象を検出し、次いで画面１０４上の再合焦事象を検出するとき、焦点遷移マーカ１１０（例えば、コンテンツ効果）を生成するために何らかの形式で修正され得る。
注意入力１０８は、デバイス１００によって生成されるか、デバイス１００によって獲得される任意の数のモデルに提供され得る。モデルは、注意／焦点モデル１１２、リアルタイムユーザモデル１１４、およびコンテンツ認識モデル１１６を含み得る。各モデル１１２～１１６は、ユーザ注意および／またはデバイス１００によりアクセスされるコンテンツの特定の態様を分析して、ユーザが妨害されたタスクまたはコンテンツ閲覧に戻ることを支援し得る特定の焦点遷移マーカを生成するように構成され得る。
注意／焦点モデル１１２は、例えば、デバイス１００によって捕捉されるリアルタイムセンサデータに基づいた、ユーザの注意（例えば、焦点）および／またはインタラクションのリアルタイムモデルを表し得る。モデル１１２は、仮想画面１０４上のユーザ焦点（例えば、注意１０８）を検出および追跡し、ならびに／または、仮想画面１０４とのインタラクションを追跡するだけでなく、焦点および／もしくは注意、および／もしくは物理的世界とのインタラクションも追跡し得る。いくつかの実装形態において、モデル１１２は、そのような焦点および／またはインタラクションを追跡するために特定の信号（例えば、視線追跡またはユーザ入力）を受信または検出し得る。信号は、仮想画面１０４内のコンテンツのどの部分が現在ユーザの焦点であるかを決定するために活用され得る。
簡単に言うと、注意／焦点モデル１１２は、デバイス１００のユーザが仮想画面１０４内のユーザインターフェースコンテンツを注視しているか否か、または代わりに、ユーザインターフェースを超えて物理的世界を注視しているかどうかを決定するために使用され得る。例えば、モデル１１２は、デバイス１００のユーザに提供される視線信号を分析し得る。視線信号は、ユーザの注意のモデルを生成するために使用され得る。例えば、視線信号は、予め定められた時間期間内の視線位置のヒートマップ１１８を生成するために使用され得る。デバイス１００は、予め定められた時間期間にわたって、ヒートマップ１１８が仮想画面１０４の上に重ね合わさる量（例えば、画面１０４のパーセンテージ）を決定し得る。この量が既定のしきい値よりも大きいことが決定される場合、デバイス１００は、ユーザがヒートマップによって示される特定のユーザインターフェースに注意を払っていることをマップが示すことを決定し得る。この量が既定のしきい値よりも小さいことが決定される場合、デバイス１００は、ユーザがユーザインターフェースから気をそらされていることをマップが示すことを決定し得る。
コンテンツ認識モデル１１６は、仮想ディスプレイ上の特定のコンテンツに対する現在および予期されるユーザ注意を表し得る。注意／焦点モデルと同様に、ユーザの焦点および／または注意は、視線に基づいて検出および／または追跡され得る。モデル１１６は、ユーザがコンテンツおよび／または仮想画面１０４に対して実施しようとしている可能性のあるアクションを予測するための基礎として特定の動きの軌道を決定（または推定）し得る。予測は、リアルタイムユーザモデル１１４に提供され得、これは、例えば、ユーザの現在の注意／焦点およびコンテンツとのインタラクションの状態をモデル化するために生成される。モデル１１６は、ユーザがユーザインターフェース（例えば、コンテンツ）へ焦点／注意を戻す際に行い得るタスクを予測するために、コンテンツを描写するユーザインターフェースの状態を決定および予測するために使用され得る。
いくつかの実装形態において、コンテンツ認識モデル１１６は、連続コンテンツ内の動きを予測し得る。例えば、コンテンツ認識モデル１１６は、動きのシーケンスとして説明され得る要素を含むコンテンツをモデル化し得る。そのようなコンテンツを用いて、モデル１１６は、コンテンツへ焦点／注意を戻す際にユーザを誘導するために、ユーザの予測された焦点／および注意を決定し得る。例えば、モデル１１６は、焦点が仮想画面１０４のコンテンツ上に残っていた場合に、ユーザが見ていた可能性のある１つまたは複数の場所をハイライト表示（または別途マーク）するために注視または動きの軌道を推定し得る。例えば、ユーザが、物体が動くことをトリガするアクションを実施する場合、ユーザは、物体の軌道を目で追い得る。ユーザは目を離す（すなわち、コンテンツ上で焦点を外す）が、物体は、軌道内を動き続ける。故に、ユーザがコンテンツに再び焦点を合わせるとき、モデル１１６は、ユーザを物体の現在の位置へ誘導するために焦点遷移マーカを生成およびレンダリングし得る。
いくつかの実装形態において、コンテンツ認識モデル１１６は、連続アクションにおける遷移を予測し得る。すなわち、アクションのシーケンスとして説明され得る要素を有するコンテンツの場合（例えば、ユーザインターフェース内でトリガされる）、焦点遷移マーカは、特定のアクションの結果を強調するために生成され得る。例えば、ボタンをクリックすることが仮想画面１０４上のある場所においてアイコンを露出させる場合、モデル１１６は、そのアクションのシーケンス内のコンテンツおよび／または位置に基づいて、ユーザが妨害から仮想画面へと再び焦点を合わせるとき、アイコンがハイライト表示され得ることを決定し得る。そのようなハイライト表示は、ユーザの注視を変化の方へ誘導し得る。
いくつかの実装形態において、モデル１１２～１１６は、ユーザ入力、注意入力などに基づいて事前訓練を伴うＭＬモデルとして機能し得る。いくつかの実装形態において、モデル１１２～１１６は、リアルタイムユーザ注意データに基づいて機能し得る。いくつかの実装形態において、モデル１１２～１１６は、ＭＬモデルおよびリアルタイムモデルの組み合わせとして機能し得る。
いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、ユーザの特定の検出された焦点または注意の近くで発生し得る焦点外れ事象および再合焦事象を検出し得る。焦点外れおよび再合焦事象は、焦点遷移マーカおよび関連コンテンツを生成するために、モデル１１２～１１６のうちの任意の１つまたは複数の使用をトリガし得る。例えば、ウェアラブルコンピューティングデバイス１００は、そのような事象を検出し、例えば、ユーザが画面１０４内のコンテンツに再び焦点を合わせることを支援するためにどのように焦点遷移コンテンツを生成するかを決定し得る。この決定は、ユーザ焦点を特定の予測した次のアクションと一致させて、更新されたおよびユーザに関連したコンテンツを生成および提供するために、コンテンツアイテムおよび／またはユーザインタラクションを分析することを含み得る。いくつかの実装形態において、焦点遷移コンテンツは、焦点遷移マーカとして追加のコンテンツを生成することなくユーザが特定のコンテンツへ再び焦点を合わせることを支援するために、描写したコンテンツを拡大すること、または描写したコンテンツを縮小することを含む。
非限定的な例において、ユーザは、仮想画面１０４上でコンテンツ１０２ａを見ていてもよい。ウェアラブルコンピューティングデバイス１００は、画面１０４上のコンテンツ１０２ａ（例えば、コンテンツ１０２ａの領域１２０）に対するユーザの焦点を追跡し得る。図１に示されるように、追跡された焦点は、ヒートマップ１１８として描写され得、主な焦点が中心領域１２０にある。故に、この例では、デバイス１００は、ユーザが、作曲アプリケーションによって示される、領域１２０近くの楽譜に焦点を合わせていることを決定し得る。
ある時点で、ユーザは、他のコンテンツによって、または外部の物質的世界ビュー１０６によって、中断、または別途妨害され得る。デバイス１００は、焦点外れ事象が、以前に焦点を合わせていたコンテンツ１０２ａに対して発生したことを決定し得る。ユーザが中断される（例えば、コンテンツ１０２ａから焦点が外れることが決定される）場合、デバイス１００は、例えば、コンテンツ１０２ａの別の領域１２２（または他のコンテンツまたは領域）と関連付けられた次の合焦事象を決定し得る。この決定は、焦点外れ事象、および検出された焦点外れ事象の前の既定の時間期間中に発生した注視軌道に対応するユーザの連続的な追跡された焦点に少なくとも部分的に基づき得る。
例えば、楽譜コンテンツ１０２ａにおいて、デバイス１００は、ユーザがコンテンツ１０２ａ上に（または一般に、仮想画面１０４へ）焦点を戻すとき、ユーザが、領域１２０の近くの（例えば、ユーザによって既に見られていたおよび／または作成されていた可能性のある領域１２０コンテンツの後の）作曲アプリケーションと少なくとも関与することを含む次の合焦事象またはアクションを実施する可能性があり得ることを決定し得る。デバイス１００は、次いで、決定した次の合焦事象に基づいて、焦点遷移コンテンツの形態にある少なくとも１つの焦点遷移マーカを生成して、コンテンツの第２の領域１２２を仮想画面１０４に示されるコンテンツの残部と区別し得る。
別の例では、ユーザが楽譜コンテンツ１０２ａを見ており、楽譜コンテンツ１０２ａを目で追いながら楽器を演奏している場合、ユーザは、楽譜の別の領域へカーソルを戻して、ユーザがあるセクションを再び演奏すること、またはセクションを飛ばすことを可能にし得る。
この例では、焦点遷移コンテンツは、直近の既知の焦点領域１２０ｂに基づいて次の合焦事象を実施するべき強調領域を示す第２の領域１２２ｂの拡大版を、次のステップのためのメニュー１２４と共に含み、これらのすべては、出力コンテンツ１０２ｂとして提示され得る。この例では、焦点遷移マーカは、ユーザが次の楽句を編集する作業を始めることを可能にするために、拡大したコンテンツ領域１２２ｂを含む。次の楽句は、ユーザの直近の焦点領域が１２０ａであったことを決定したコンテンツ認識モデル１１６に基づいて選択され、マーカ１２０ｂとして出力コンテンツ１０２ｂに描写される。メニュー１２４は、ユーザが焦点外れ事象の前に使用した直近のアプリケーションにおいて次のタスクを開始することを可能にするために、焦点遷移マーカ（例えば、コンテンツ）を示す。ここでは、メニューは、ユーザが作曲モードを開くこと、マーカ１２０ｂ（例えば、ブックマーク）まで音楽を演奏すること、および直近のエントリを開くことを可能にする選択肢を含む。他の選択肢も可能である。簡単に言うと、出力コンテンツ１０２ｂは、ユーザが仮想画面１０４上のコンテンツに焦点を取り戻すことを支援するために、焦点遷移マーカと共にコンテンツ１０２ａを示す。
本明細書で使用される場合、焦点外れ事象とは、以前にユーザの焦点（例えば、注意）であったコンテンツへの注意の欠如の検出を指し得る。例えば、焦点外れ事象は、ウェアラブルコンピューティングデバイス１００によって検出されるユーザの視線そらしを含み得る。いくつかの実装形態において、焦点外れ事象は、頭部の回転、頭部を上もしくは下へ向けること、ユーザからのデバイス取り外し（例えば、ウェアラブルコンピューティングデバイスを取り外すこと）、および／またはそれらの任意の組み合わせなど、ユーザ関連の動きを含み得る。いくつかの実装形態において、焦点外れ事象は、ユーザがコンテンツから離脱し、他のコンテンツ、仮想画面上に提示する異なるコンテンツの集合、および／またはそれらの任意の組み合わせへ切り替えることをトリガするデバイス１００によって検出される外部事象を含み得る。
本明細書で使用される場合、再合焦事象とは、同じコンテンツと関連付けられた焦点外れ事象の後に発生するコンテンツへの継続した注意（または焦点）の検出を指し得る。例えば、再合焦事象は、以前に見たコンテンツおよび／またはユーザが焦点外れ事象の前に関わったコンテンツに焦点を合わせた検出された視線を含み得る。故に、再合焦事象は、焦点外れ事象の後のしきい値時間量の後に発生し得る。
本明細書で使用される場合、次の合焦事象とは、ユーザが焦点外れ事象の後に実施することが予測され得る任意の次のステップ、アクション、合焦、または注意を指し得る。次の合焦事象は、本明細書に説明されるモデルによって決定され得る。
動作中、デバイス１００は、注意入力１０８を検出し得、また、デバイス１００がユーザ注意／焦点における変化を検出する１２６とき、注意／焦点モデル１１２、リアルタイムユーザモデル１１４、および／またはコンテンツ認識モデル１１６（または他のユーザ入力またはデバイス１００入力）のうちのいずれかまたはすべてを使用し得る。注意／焦点における変化が決定されると、デバイス１００は、画面１０４と関連付けられた再合焦事象を検出することに応答して仮想画面１０４上への出力１０２ｂの表示をトリガするために、焦点遷移マーカの生成１２８および焦点遷移マーカの実行１３０をトリガし得る。
いくつかの実装形態において、本明細書に説明されるシステムおよび方法は、ウェアラブルコンピューティングデバイスのディスプレイ（例えば、仮想画面）内またはその先のユーザ注意（例えば、焦点、インタラクション、視線など）を追跡および誘導するために、コンテンツ認識焦点遷移マーカ（例えば、ユーザインターフェースにおける拡張）を実装し得る。コンテンツ認識焦点遷移マーカは、２つ以上の焦点領域間で遷移するときにユーザを支援するために、ＵＩ、音声、および／または触覚コンテンツを含み得る。焦点遷移マーカは、仮想世界コンテンツと物理的世界コンテンツとの間の切り替えにおける混乱を少なくするコンテンツ拡張を含み得る。
いくつかの実装形態において、本明細書に説明されるシステムおよび方法は、ユーザがどんなアクションをとろうとしているかを予期するために注視および／または動きの軌道を推定するために、現在および予期したユーザ注意（例えば、焦点、インタラクション、視線など）のコンテンツ認識モデルを生成および使用し得る。この情報は、ユーザの状態のリアルタイムユーザモデルに提供され得、これは、現在のＵＩモデルおよびＵＩ状態と組み合わされ得る。故に、本明細書に説明されるシステムおよび方法は、ユーザが、ある時間期間にわたって視線をそらした後に、どこのおよびどんな領域／コンテンツに戻ることが期待されるかを予測し得る。
複数のモデル１１２～１１６が描写されるが、単一のモデルまたは複数の追加のモデルが、デバイス１００上ですべてのモデル化および予測タスクを実行するために利用され得る。いくつかの実装形態において、各モデル１１２、１１４、および１１６は、例えば、デバイス１００に搭載された、および／またはモバイルデバイスを介してデバイス１００に通信可能に結合される、１つまたは複数のプロセッサ上で実行され得る異なるアルゴリズムまたはコードスニペットを表し得る。
ウェアラブルコンピューティングデバイス１００は、この例では、ＡＲグラスとして描写される。一般に、デバイス１００は、システム１００および／または２００および／または６００のいずれかまたはすべての構成要素を含み得る。ウェアラブルコンピューティングデバイス１００は、眼鏡の形状で設計される光学ヘッドマウントディスプレイデバイスを表すスマートグラスとしても示され得る。例えば、デバイス１００は、装着者がデバイス１００を通じて見るものと一緒に、情報を追加（例えば、ディスプレイを投影）し得るハードウェアおよびソフトウェアを表し得る。
デバイス１００は、本明細書に説明されるウェアラブルコンピューティングデバイスとして示されるが、他のタイプのコンピューティングデバイスも可能である。例えば、ウェアラブルコンピューティングデバイス１００は、光学ヘッドマウントディスプレイ（ＯＨＭＤ）デバイスなどのヘッドマウントディスプレイ（ＨＭＤ）デバイス、透明ヘッドアップディスプレイ（ＨＵＤ）デバイス、拡張現実（ＡＲ）デバイス、または、センサ、ディスプレイ、およびコンピューティング能力を有するゴーグルもしくはヘッドセットなどの他のデバイスを含むが、これらに限定されない、任意のバッテリ駆動デバイスを含み得る。いくつかの例では、ウェアラブルコンピューティングデバイス１００は、代わりに、腕時計、モバイルデバイス、宝飾品、リングコントローラ、または他のウェアラブルコントローラであってもよい。
図２は、本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイス１００と関連付けられた、ユーザ注意をモデル化および追跡し、ユーザ注意に基づいてコンテンツを生成するためのシステム２００を例証する。いくつかの実装形態において、モデル化および／または追跡は、ウェアラブルコンピューティングデバイス１００上で実施され得る。いくつかの実装形態において、モデル化および／または追跡は、１つまたは複数のデバイス間で共有され得る。例えば、モデル化および／または追跡は、部分的にウェアラブルコンピューティングデバイス１００上で完了され、また部分的にモバイルコンピューティングデバイス２０２（例えば、デバイス１００に通信可能に結合されるモバイルコンパニオンデバイスなど）および／またはサーバコンピューティングデバイス２０４上で完了され得る。いくつかの実装形態において、モデル化および／または追跡は、ウェアラブルコンピューティングデバイス１００上で実施され得、そのような処理からの出力は、さらなる分析のためにモバイルコンピューティングデバイス２０２および／またはサーバコンピューティングデバイス２０４に提供される。
いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、１つまたは複数のコンピューティングデバイスを含み、デバイスのうちの少なくとも１つは、人間の皮膚上またはその近くに身に着けることができるディスプレイデバイスである。いくつかの例では、ウェアラブルコンピューティングデバイス１００は、１つもしくは複数のウェアラブルコンピューティングデバイス構成要素であるか、またはこれを含む。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、光学ヘッドマウントディスプレイ（ＯＨＭＤ）デバイスなどのヘッドマウントディスプレイ（ＨＭＤ）デバイス、透明ヘッドアップディスプレイ（ＨＵＤ）デバイス、仮想現実（ＶＲ）デバイス、ＡＲデバイス、または、センサ、ディスプレイ、およびコンピューティング能力を有するゴーグルもしくはヘッドセットなどの他のデバイスを含み得る。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、ＡＲグラス（例えば、スマートグラス）を含む。ＡＲグラスは、眼鏡の形状で設計される光学ヘッドマウントディスプレイデバイスを表す。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、スマートウォッチであるか、またはこれを含む。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、宝飾品であるか、またはこれを含む。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、リングコントローラデバイスまたは他のウェアラブルコントローラであるか、またはこれを含む。いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、イヤバッズ／ヘッドホンまたはスマートイヤバッズ／ヘッドホンであるか、またはこれを含む。
図２に示されるように、システム２００は、モバイルコンピューティングデバイス２０２に通信可能に結合され、任意選択的にサーバコンピューティングデバイス２０４に通信可能に結合される、ウェアラブルコンピューティングデバイス１００を含む。いくつかの実装形態において、通信可能な結合は、ネットワーク２０６を介して発生し得る。いくつかの実装形態において、通信可能な結合は、ウェアラブルコンピューティングデバイス１００、モバイルコンピューティングデバイス２０２、および／またはサーバコンピューティングデバイス２０４の間に直接発生し得る。
ウェアラブルコンピューティングデバイス１００は、１つもしくは複数のマシン可読命令、またはソフトウェア、ファームウェア、もしくはそれらの組み合わせを実行するように構成される基板内に形成され得る１つまたは複数のプロセッサ２０８を含む。プロセッサ２０８は、半導体ベースであり得、デジタル論理を実施し得る半導体材料を含み得る。プロセッサ２０８は、例えばいくつか例を挙げると、ＣＰＵ、ＧＰＵ、および／またはＤＳＰを含み得る。
ウェアラブルコンピューティングデバイス１００は、１つまたは複数のメモリデバイス２１０も含み得る。メモリデバイス２１０は、プロセッサ２０８によって読み出され得る、および／または実行され得る形式で情報を記憶する、任意のタイプのストレージデバイスを含み得る。メモリデバイス２１０は、プロセッサ２０８によって実行されると、特定の動作を実施する、アプリケーション２１２およびモジュールを記憶し得る。いくつかの例では、アプリケーション２１２およびモジュールは、外部ストレージデバイスに記憶され、メモリデバイス２１０内へ読み込まれ得る。
ウェアラブルコンピューティングデバイス１００は、センサシステム２１４を含む。センサシステム２１４は、表示されたコンテンツの、および／またはユーザが見ているコンテンツの画像データを検出および／または獲得するように構成される１つまたは複数の画像センサ２１６を含む。いくつかの実装形態において、センサシステム２１４は、複数の画像センサ２１６を含む。画像センサ２１６は、画像（例えば、画像の画素、フレーム、および／または部分）およびビデオを捕捉および記録し得る。
いくつかの実装形態において、画像センサ２１６は、赤、緑、青（ＲＧＢ）カメラである。いくつかの例では、画像センサ２１６は、パルスレーザセンサ（例えば、ＬｉＤＡＲセンサ）および／または深度カメラを含む。例えば、画像センサ２１６は、画像を作成するために使用される情報を検出および伝達するように構成されるカメラであり得る。いくつかの実装形態において、画像センサ２１６は、例えば、デバイス１００にアクセスするユーザの目の運動を捕捉する視線／注視トラッカ２１８など、視線追跡センサ（またはカメラ）である。
視線／注視トラッカ２１８は、メモリ２１０に記憶される命令を含み、この命令は、プロセッサ２０８によって実行されると、本明細書に説明される注視検出動作をプロセッサ２０８に実施させる。例えば、視線／注視トラッカ２１８は、ユーザの注視が向けられる仮想画面２２６上の場所を決定し得る。視線／注視トラッカ２１８は、センサシステム２１４の撮像デバイス（例えば、センサ２１６および／またはカメラ２２４）によって捕捉される画像内のユーザの瞳孔の場所を識別および追跡することに基づいてこの決定を行い得る。
動作中、画像センサ２１６は、デバイス１００が起動されている間、連続的または周期的に画像データ（例えば、光学センサデータ）を獲得（例えば、捕捉）するように構成される。いくつかの実装形態において、画像センサ２１６は、常時オンのセンサとして動作するように構成される。いくつかの実装形態において、画像センサ２１６は、ユーザと関連付けられた注意／焦点変化または注視変化の検出に応答して起動され得る。いくつかの実装形態において、画像センサ２１６は、目的の物体または領域を追跡し得る。
センサシステム２１４はまた、慣性運動装置（ＩＭＵ）センサ２２０を含み得る。ＩＭＵセンサ２２０は、ウェアラブルコンピューティングデバイス１００の動き、運動、および／または加速を検出し得る。ＩＭＵセンサ２２０は、例えば、加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサなど、様々な異なるタイプのセンサを含み得る。いくつかの実装形態において、センサシステム２１４は、特定のユーザアクション、動きなどを仮想画面から直接的に検出し得る画面埋め込み型センサを含み得る。
いくつかの実装形態において、センサシステム２１４は、ウェアラブルコンピューティングデバイス１００によって受信される音声を検出するように構成される音声センサ２２２も含み得る。センサシステム２１４は、光センサ、距離および／もしくは近接センサ、容量センサなどの接触センサ、タイマ、ならびに／または他のセンサおよび／もしくはセンサの異なる組み合わせなど、他のタイプのセンサを含み得る。センサシステム２１４は、ウェアラブルコンピューティングデバイス１００の位置および／または配向と関連付けられた情報を獲得するために使用され得る。いくつかの実装形態において、センサシステム２１４はまた、音声コンテンツを出力するようにトリガされ得る音声出力デバイス（例えば、１つまたは複数のスピーカ）を含むか、またはこれへのアクセスを有する。
センサシステム２１４は、静止画および／または動画を捕捉することができるカメラ２２４も含み得る。いくつかの実装形態において、カメラ２２４は、カメラ２２４からの外部の物体の距離に関連したデータを収集し得る深度カメラであり得る。いくつかの実装形態において、カメラ２２４は、例えば入力デバイス上の光学マーカまたは画面上の指など、例えば、外部デバイス上の１つまたは複数の光学マーカを検出すること、または追うことができる点追尾カメラであり得る。入力は、例えば、入力検出器２１５によって検出され得る。
ウェアラブルコンピューティングデバイス１００は、仮想画面２２６（例えば、ディスプレイ）を含む。仮想画面２２６は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ディスプレイ（ＯＬＥＤ）、電気泳動ディスプレイ（ＥＰＤ）、またはＬＥＤ光源を採用するマイクロ投影ディスプレイを含み得る。いくつかの例では、仮想画面２２６は、ユーザの視野上へ投影される。いくつかの例では、ＡＲグラスの場合、仮想画面２２６は、ＡＲグラスを装着しているユーザが、仮想画面２２６によって提供される画像だけでなく、投影画像の裏のＡＲグラスの視野に配置される情報も見ることができるように、透明または半透明ディスプレイを提供し得る。いくつかの実装形態において、仮想画面２２６は、物理的に存在するよりも大きい画面画像を生成する仮想モニタを表す。
ウェアラブルコンピューティングデバイス１００は、ＵＩレンダラ２２８も含む。ＵＩレンダラ２２８は、ウェアラブルコンピューティングデバイス１００のユーザに対してユーザインターフェース物体または他のコンテンツを描写するために画面２２６と共に機能し得る。例えば、ＵＩレンダラ２２８は、デバイス１００によって捕捉される画像を受信して、焦点遷移マーカ２３０などの追加のユーザインターフェースコンテンツを生成およびレンダリングし得る。
焦点遷移マーカ２３０は、コンテンツ２３２、ＵＩ効果２３４、音声効果２３６、および／または触覚効果２３８のうちのいずれかまたはすべてを含み得る。コンテンツ２３２は、ＵＩレンダラ２２８によって提供され、仮想画面２２６上に表示され得る。コンテンツ２３２は、モデル２４８、および１つまたは複数のしきい値条件２５４に従うコンテンツ生成器２５２を使用して生成され得る。例えば、コンテンツ２３２は、モデル２４８に基づいてコンテンツ生成器２５２によって生成され、しきい値条件２５４を満たすことに応答して、ＵＩレンダラ２２８によって仮想画面２２６上でレンダリングされ得る。例えば、コンテンツ２３２は、（ある時間期間にわたって焦点外れ事象を検出した後に）仮想画面２２６と関連付けられた再合焦事象を検出することに応答して生成され得る。デバイス１００は、焦点外れ事象後の既定の時間期間に発生した再合焦事象を検出することに基づいて、仮想画面２２６の決定された領域において、焦点遷移マーカ２３０（例えば、コンテンツ２３２）の実行（および／またはレンダリング）をトリガし得る。
コンテンツ２３２は、画面２２６内の既存の表示コンテンツの上に描写される新規コンテンツのうちの任意の１つまたは複数を含み得る。例えば、コンテンツ２３２は、既存のコンテンツもしくはテキストに対する装飾、ハイライト、もしくはフォント変更、符号、矢印、アウトライン、下線、ボールド表示、または既存のコンテンツに対する他の強調を含み得る。同様の様式で、コンテンツの変化がないことは、ユーザが経験した妨害また中断の間（例えば、焦点外れ事象の間）変化が発生しなかったことをユーザに示し得る。
ＵＩ効果２３４は、アニメーション、照明効果、コンテンツのオン／オフのフラッシング、テキストまたは画像の運動、テキストまたは画像の置換、コンテンツを再生するためのビデオスニペット、新規または見逃したコンテンツを強調するためのコンテンツの縮小／拡大、および同様のもののうちの任意の１つまたは複数を含み得る。同様の様式で、表示されたＵＩ効果がないことは、ユーザが経験した妨害また中断の間（例えば、焦点外れ事象の間）変化が発生しなかったことをユーザに示し得る。すなわち、焦点外れ事象と関連付けられた焦点遷移マーカは、仮想画面上に描写されるコンテンツに対する変化（例えば、実質的な変化）が発生しなかったことを決定することに応答して（すなわち、焦点外れ事象の間、および次の合焦事象の前）、抑制され得る。
音声効果２３６は、変化が、焦点外れ事象の間および後、しかしながら検出した再合焦事象の前に発生していた可能性があることを示すために聴覚合図を含み得る。音声効果２３６は、例えば、焦点外れ時間の間にコンテンツを見逃したことを示すためにユーザによって事前設定される音声合図など、仮想画面２２６上での表示のために既に利用可能なコンテンツに追加される音声を含み得る。事前設定された音声合図には、ユーザが焦点を外していた間に発生していた可能性のある任意の変化と関連付けられた視覚または触覚データも提供され得る。いくつかの実装形態において、焦点遷移マーカ２３０は、焦点外れ事象と関連付けられた時間から再合焦事象と関連付けられた時間までの、提示されたコンテンツ内の検出された変化のビデオまたは音声の再生を含む。検出された変化の再生は、検出された変化に対応する視覚または聴覚合図を含み得る。同様の様式で、音声効果がないことは、ユーザが経験した妨害また中断の間（例えば、焦点外れ事象の間）変化が発生しなかったことをユーザに示し得る。
触覚効果２３８は、変化が、焦点外れ事象の間および後、しかしながら検出した再合焦事象の前に発生していた可能性があることを示すために触覚合図を含み得る。いくつかの実装形態において、触覚効果２３８は、ヘッドホンドライバ（例えば、スピーカ信号に基づいた骨伝導信号）によって提供され得る。いくつかの実装形態において、触覚効果２３８は、デバイス１００の構成要素によって生成される振動によって提供され得る。例えば、触覚効果２３８は、デバイス１００内に設置され、触覚信号を生成するように構成される線形アクチュエータ（図示せず）によって提供され得る。
触覚効果は、画面２２６もしくはデバイス１００、またはウェアラブルイヤバッズと関連付けられたスピーカからの振動など、触覚コンテンツを含み得る。触覚効果２３８はまた、画面２２６上に提示されるジェスチャ、するべき選択または焦点外れ時間期間の間に見逃した変化を示すアニメーション、焦点外れ時間期間の間に見逃した変化を示す再生事象などを含み得る。
いくつかの実装形態において、焦点遷移マーカ２３０は、焦点外れ事象と関連付けられた時間から再合焦事象と関連付けられた時間までの、提示されたコンテンツ内の検出された変化のビデオまたは音声の再生を含む。検出された変化の再生は、検出された変化に対応する触覚合図（例えば、効果）を含む。
いくつかの実装形態において、触覚効果は、焦点外れ事象の間に発生した変化に関して指示を提供し得る。例えば、触覚効果２３８は、動きの再生、メニュー提示および選択、ならびに／またはユーザが見逃したコンテンツを見直すためにとり得る他のタイプの選択可能なアクションを示唆するために振動を含み得る。同様の様式で、触覚効果がないことは、ユーザが経験した妨害また中断の間（例えば、焦点外れ事象の間）変化が発生しなかったことをユーザに示し得る。
ウェアラブルコンピューティングデバイス１００は、ウェアラブルコンピューティングデバイス１００の動作を促進するために、様々な制御システムデバイスを含む制御システム２４０も含む。制御システム２４０は、プロセッサ２０８、センサシステム２１４、ならびに／または、ウェアラブルコンピューティングデバイス１００の構成要素に動作可能に結合される任意の数の搭載ＣＰＵ、ＧＰＵＳ、ＤＳＰ、および同様のもの）を利用し得る。
ウェアラブルコンピューティングデバイス１００は、通信モジュール２４２も含む。通信モジュール２４２は、ウェアラブルコンピューティングデバイス１００が、デバイス１００の範囲内の別のコンピューティングデバイスと情報を交換するために通信することを可能にし得る。例えば、ウェアラブルコンピューティングデバイス１００は、アンテナ２４４を介して、例えば、有線接続、例えばＷｉ－ＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）を介したワイヤレス接続、または他のタイプの接続を通じて、通信を促進するために別のコンピューティングデバイスに動作可能に結合され得る。
ウェアラブルコンピューティングデバイス１００は、ワイヤレス信号を介して他のコンピューティングデバイスと通信するように構成される１つまたは複数のアンテナ２４４も含み得る。例えば、ウェアラブルコンピューティングデバイス１００は、１つまたは複数のワイヤレス信号を受信し、そのワイヤレス信号を使用して、モバイルコンピューティングデバイス２０２および／もしくはサーバコンピューティングデバイス２０４などの他のデバイス、またはアンテナ２４４の範囲内の他のデバイスと通信し得る。ワイヤレス信号は、短距離接続（例えば、ブルートゥース（登録商標）接続または近距離通信（ＮＦＣ）接続）またはインターネット接続（例えば、Ｗｉ－Ｆｉまたはモバイルネットワーク）などのワイヤレス接続を介してトリガされ得る。
ウェアラブルコンピューティングデバイス１００はまた、ユーザ許可２４６を含み得るか、またはそこへのアクセスを有し得る。そのような許可２４６は、コンテンツに対するユーザ提供および認証の許可に基づいて予め構成され得る。例えば、許可２４６は、カメラ、コンテンツアクセス、習性、過去の入力および／または挙動、ならびに同様のものに対する許可を含み得る。ユーザは、そのような許可を提供して、デバイス１００が、例えば、次のユーザアクションを予期するために使用され得る、ユーザに関する文脈上の合図を識別することを可能にし得る。ユーザが許可２４６を構成しなかった場合、本明細書に説明されるシステムは、焦点遷移マーカおよびコンテンツを生成しない場合がある。
いくつかの実装形態において、ウェアラブルコンピューティングデバイス１００は、ネットワーク２０６を通じてサーバコンピューティングデバイス２０４および／またはモバイルコンピューティングデバイス２０２と通信するように構成される。サーバコンピューティングデバイス２０４は、いくつかの異なるデバイス、例えば標準サーバ、そのようなサーバのグループ、またはラックサーバシステムの形態をとり得る１つまたは複数のコンピューティングデバイスを表し得る。いくつかの実装形態において、サーバコンピューティングデバイス２０４は、プロセッサおよびメモリなどの構成要素を共有する単一のシステムである。ネットワーク２０６は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラネットワーク、衛星ネットワーク、または他のタイプのデータネットワークなど、インターネットおよび／または他のタイプのデータネットワークを含み得る。ネットワーク２０６は、ネットワーク２０６内でデータを受信および／または送信するように構成される任意の数のコンピューティングデバイス（例えば、コンピュータ、サーバ、ルータ、ネットワークスイッチなど）も含み得る。
入力検出器２１５は、例えば、センサシステム２１４から受信される入力、および／または仮想画面２２６上で受信される明白なユーザ入力を処理し得る。入力検出器２１５は、仮想画面２２６上に描写されるコンテンツに対するユーザの注意入力（例えば、焦点、注視、注意）を検出し得る。検出された注意（例えば、焦点）は、どのコンテンツが見られているかを決定するための基礎として使用され得る。決定されたコンテンツのいずれかまたはすべては、例えば、デバイス１００が、焦点外れ事象を検出するとき、および／または焦点外れ事象を検出し、次いで画面２２６上の再合焦事象を検出するとき、焦点遷移マーカ２３０（例えば、コンテンツ効果）を生成するために何らかの形式で修正され得る。
注意入力は、デバイス１００によって生成されるか、デバイス１００によって獲得される任意の数のモデル２４８に提供され得る。図２に示されるモデル２４８は、注意モデル１１２、リアルタイムユーザモデル１１４、およびコンテンツ認識モデル１１６を含むが、これらに限定されず、これらの各々は、上に詳細に説明される。モデルのいずれかまたはすべては、デバイス１００に搭載された機械学習タスクを実行するためにニューラルネットワーク（ＮＮ）２５０を呼び出すか、またはこれにアクセスし得る。ＮＮは、特定の注意合焦および焦点外れを予測および／または検出するため、ならびにデバイス１００のユーザが仮想画面２２６の領域に焦点を取り戻すことを支援するために焦点遷移マーカ２３０（例えば、コンテンツ２３２、ＵＩ効果２３４、音声効果２３６、および／または触覚効果２３８）を生成するために、機械学習モデルおよび／または動作と共に使用され得る。
いくつかの実装形態において、センサシステム２１４によって獲得されるセンサデータに対して実施される処理は、機械学習（ＭＬ）推論動作と称される。推論動作とは、１つまたは複数の予測を行う（またはこれを導く）ＭＬモデルに関与する画像処理動作、ステップ、またはサブステップを指し得る。ウェアラブルコンピューティングデバイス１００によって実行される特定のタイプの処理は、ＭＬモデルを使用して予測を行い得る。例えば、機械学習は、新規データに関する決定をもたらすために、既存データからデータを学習する統計アルゴリズムを使用し得、これは推論と呼ばれるプロセスである。言い換えると、推論とは、既に訓練されているモデルを取り込み、その訓練済みモデルを使用して予測を行うプロセスを指す。
図３Ａ～図３Ｄは、本開示全体を通して説明される実装形態による、ウェアラブルコンピューティングデバイスのディスプレイ上のユーザの焦点を追跡し、追跡された焦点に基づいてコンテンツを生成する例を例証する。図３Ａは、背景に物質的世界ビュー３０４Ａを伴った仮想画面３０２Ａを描写する。いくつかの実装形態において、仮想画面３０２Ａは示されるが、物質的世界ビュー３０４Ａは示されない。この例では、物質的世界ビュー３０４Ａは、参照のために示されるが、動作中、ユーザは、仮想画面３０２Ａ上のコンテンツを見ているものと検出され得、そのため、物質的世界ビュー３０４Ａは、ユーザが画面３０２Ａ上に描写されるコンテンツに焦点を合わせることを可能にするために、ビュー効果、ぼかし効果、透明効果、または他の効果から除去され得る。
この例では、ウェアラブルコンピューティングデバイス１００は、視線／注視トラッカ２１８（またはセンサシステム２１４と関連付けられた他のデバイス）を介して、デバイス１００を操作しているユーザが、ここでは音楽アプリケーションとして示されるコンテンツ３０６に注意を向けている（例えば、焦点を合わせている）ことを決定し得る。視線／注視トラッカ２１８は、ユーザの視線／注視を追跡し、最も高い強度の注視が注視ターゲット３１０として示されるマップ３０８を生成し得る。マップ３０８は、一般的に、デバイス１００を操作しているユーザが見るために提供されるものではなく、ここでは例証の目的のために示される。しかしながら、マップ３０８は、画面３０２Ａのコンテンツおよび／または物質的世界ビュー３０４Ａのコンテンツに対するユーザの注視（例えば、注意、焦点）を決定するためにセンサシステム２１４によって実施される代表的な注視分析を描写し得る。
デバイス１００は、ユーザがコンテンツ３０６に焦点を合わせていることを検出することから、デバイス１００は、画面３０２Ａのより中心の部分にコンテンツ３０６を置くためにコンテンツ３０６を修正し得る。いくつかの実装形態において、デバイス１００は、コンテンツ３０６を拡大して、ユーザがコンテンツ３０６と関連付けられた追加のコンテンツとインタラクトすることを可能にし得る。注視ターゲット３１０は、ユーザがコンテンツ３１０、３１２、３１４、および／または画面３０２Ａ内への表示のために構成される他のコンテンツとインタラクトすると、次第に変化し得る。加えて、注視ターゲット３１０は、ユーザが物質的世界ビュー３０４Ａからの妨害を受ける場合に変化し得る。例えば、ある時点で、ユーザは、画面３０２Ａの別の領域またはビュー３０４Ａ内のコンテンツへと注意／焦点を変化させ得る。
図３Ｂに示されるように、ユーザは、物理的世界からの妨害を受けていた可能性がある。妨害は、本質的に視覚、聴覚、または触覚であり得る。妨害は、ユーザの視線が、別の焦点へ移ること、または元の焦点（例えば、注視ターゲット）から外されることをトリガし得る。例えば、インジケータ３１８によって示されるように、ユーザは、別のユーザがユーザの名前を呼ぶのを聞き得る。ユーザは、このとき、画面３０２Ｂ内のコンテンツ３０６から焦点を外し得、焦点（例えば、注意、注視ターゲット）は、ユーザの視線変化を描写するマップ３１６によって示されるように、変化し得る。この例では、視線／注視トラッカ２１８は、例えば、ユーザが画面３０２Ｂの先を見ていることを検出し得、デバイス１００上のコンテンツの提示における変化をトリガし始め得る。例えば、デバイス１００は、画面３０２Ｂを通じて物質的世界ビュー３０４Ｂを透過的に示し始める。いくつかの実装形態において、デバイス１００は、ビューから画面３０２Ｂを除去し得るか、または、ユーザが物理的ビュー３０４Ｂ内に描写されるコンテンツに焦点を合わせることを可能にするために、ぼかし得るか、もしくは他の効果を提示し得る。
デバイス１００（例えば、視線／注視トラッカ２１８）が３１０（図３Ａ）から３１６（図３Ｂ）への注視の変化を検出すると、デバイス１００は、図３Ｃに示されるように、既定の時間量の後、画面３０２Ｂの表示をオフにし得る。この例では、デバイス１００は、ユーザがマップ３２２によって示されるように視線／注視を領域３２０へ変化させることによって示されるような、ユーザ焦点の変化を検出し得る。加えて、デバイス１００は、インジケータ３２４によって示されるように、話しているユーザが検出されないことを検出し得る。インジケータ３２４は、デバイス１００のユーザに示されなくてもよく、代わりに、デバイス１００によって決定および／または検出され、物理的環境３０４Ｃからのユーザが話すのをやめたことを示すために入力（例えば、入力検出器２１５を介した）として使用され得る。注視／焦点／注意（例えば、領域３２０への）におけるユーザの変化と組み合わせた、この音声合図は、物理的世界ではなく仮想画面と関連付けられた焦点位置へとユーザを引き戻すために、入力に基づいて焦点遷移マーカ２３０をトリガするようにデバイス１００をトリガし得る。
例えば、視線／注視トラッカ２１８は、ユーザがもはや物質的世界ビュー３０４Ｃに焦点を合わせていないことを検出し得、また、ユーザが仮想画面３０２Ｄとして図３Ｄに示されるような仮想画面に再び焦点を合わせようとしている（例えば、または明らかにアクセスしようとしている）ことを検出し得る。この例では、デバイス１００は、ユーザが以前のインターフェース（３０２Ａ）からのコンテンツ３１２に注意を向け得る次の論理アイテムを決定していてもよい。コンテンツ３１２を選択するためのそのような決定は、ユーザが音楽アプリケーションを修正するためにコンテンツ３１０に以前に焦点を合わせていたが、ユーザの注視が、進行中の方向を伴う地図アプリケーションであるコンテンツ３１２の方へ（マップ３０８によって示されるように）推移し始めていたことに基づき得る。この推移は、検出された焦点外れ事象の前の予め定められた時間期間の間に発生した注視軌道と解釈され得る。
動作中、デバイス１００は、以前のステップまたはアクションに基づいて次のステップまたはアクションを決定するようにモデル２４８をトリガし得る。トリガは、例えば、画面３０２Ａからの焦点外れの時間に発生し得る。デバイス１００が、コンテンツ３１２が見込みの次の注視ターゲットまたはアクションであることを決定すると、システムは、焦点／注意が、図３Ｄでは仮想画面３０２Ｄ内に示されるような、仮想画面へ戻ることが検出されるとき、ユーザが素早くコンテンツ３１２に焦点を合わせることを支援するために、焦点遷移マーカ２３０を生成し得る。
ユーザがコンテンツ３１２にすぐに注意を払うことが予測されることを検出することに応答して、コンテンツ生成器２５２は、ユーザが画面３０２Ｄのコンテンツ３１２へのユーザ注意／焦点に没頭するのを助けるために焦点遷移マーカを生成し得る。焦点遷移マーカは、ここでは、例えば、ユーザが３０４Ｃに注意を払っていた間に受信していた可能性のある、見逃した道順および道順に関するメッセージを示すコンテンツ３２６を含む。ここでは、コンテンツ３２６は、見逃した行先道順３２８および別のユーザからの見逃したメッセージ３３０を含む。コンテンツ３２６は、ユーザが、直近３５秒に発生していた可能性のある任意の他の見逃したコンテンツを見るために、この例では、３５秒の、時間３３４を巻き戻すことを可能にし得る制御部３３２を含む。いくつかの実装形態において、そのような制御部３３２は、コンテンツ３２６が、ユーザが妨害の前に画面３０２Ｃ上で見ていた可能性のあるビデオ、音声、命令、または他の連続コンテンツであるとき、提供され得る。いくつかの実装形態において、時間３３４は、ユーザが任意またはすべての見逃したコンテンツを取り戻す、および／または再生することを可能にするために、焦点外れ事象と再合焦事象との間の正確な時間量へと調節され得る。いくつかの実装形態において、制御部３３２は、ハイライト３３６によって示されるように、選択を示すためにハイライト表示または別途強調され得る。当然ながら、他の可視化も可能である。
いくつかの実装形態において、再生および／または制御部３３２は、見逃したコンテンツを標準速度または加速した速度で再生するオプションを提供し得る。いくつかの実装形態において、再生は、再合焦事象、およびユーザがＵＩの特定の物体、制御部、または領域に焦点を合わせていることを検出されることに基づいて、トリガされ得る。例えば、ユーザは、楽譜の始めを注視しているとき楽譜の再生をトリガし得る。別の例では、ユーザは、教師から目をそらし、また教師に戻した後に再生をトリガすることによって、授業の概要をトリガし得る。このやり方では、ユーザは、ユーザが以前の数秒または数分のコンテンツを見逃したときリアルタイムで使用され得る即時再生機能を有し得る。
いくつかの実装形態において、デバイス１００は、ユーザ入力、ユーザの存在、コンテンツに対するユーザ近接性、ユーザまたはコンテンツまたはデバイス配向、発話活動、注視活動、コンテンツインタラクション、および同様のものなどの特徴を測定または検出することによって、ユーザが現在何に参加している（例えば、焦点を合わせている）かを識別するためにモデル２４８を用い得る。モデル２４８は、ユーザの注意を管理する優先度に関する知識を推測（例えば、決定、予測）するために使用され得る。この知識は、ユーザによって実施される注意および他のインタラクティブな挙動を統計的にモデル化するために使用され得る。モデル２４８は、現在のユーザ活動の文脈において、情報またはアクションの関連性を決定し得る。情報の関連性は、ユーザが能動的に選択し得る、または受動的に関与し得る任意の数のオプションおよび／または焦点遷移マーカ（例えば、コンテンツ）を提示するために使用され得る。したがって、デバイス１００は、ユーザが焦点を合わせていることが決定される領域に提示されるデータおよび／またはコンテンツを強化し得る焦点遷移マーカを生成し得ると同時に、他の周辺または背景の詳細を薄くする。
図４Ａ～図４Ｄは、本開示全体を通して説明される実装形態による、焦点遷移マーカを描写するユーザインターフェースの例を例証する。焦点遷移マーカを生成するため、デバイス１００は、ユーザ注意を表すリアルタイムユーザモデル１１４を生成および使用し得る。例えば、デバイス１００は、仮想画面（例えば、ＨＭＤまたはＡＲグラス内のユーザインターフェース）および物理的世界（例えば、会議での会話の相手）にわたってユーザの焦点（例えば、注意）および／またはインタラクションを追跡し得る。デバイス１００は、画面コンテンツのどの部分（または領域）とユーザがインタラクトしているかを高精度で予測するために、注視追跡または明白なユーザ入力から獲得される検出信号を活用し得る。
図４Ａに示されるように、ビデオ会議が、デバイス１００の仮想画面４０２Ａでホストされており、物質的世界ビュー４０４Ａが背景に示される。ここでは、ユーザは、何人かの他のユーザとの新規通話に参加していてもよい。ある時点で、ユーザは、妨害をされ得、デバイス１００は、画面４０２Ａの特定の領域と関連付けられた焦点外れ事象を検出し得る。焦点外れ事象の間、デバイス１００は、画面４０２Ａの第２の領域と関連付けられた次の合焦事象（または同じ第１の領域と関連付けられた次の合焦事象）を決定し得る。次の合焦事象は、焦点外れ事象、およびユーザの追跡された焦点に少なくとも部分的に基づき得る。ユーザの追跡された焦点は、検出された焦点外れ事象野の前の時間中に発生した注視軌道に対応し得る。例えば、時間は、焦点外れ事象の前の数秒の時間から焦点外れ事象の時間までを含み得る。
デバイス１００は、コンテンツの第２の領域をコンテンツの残部と区別するために、決定された次の合焦事象に基づいて、焦点遷移マーカ２３０（例えば、および／またはコンテンツ）を生成し得る。いくつかの実装形態において、焦点遷移マーカ２３０は、第１の領域と、経時的に発生していた可能性のある第１の領域の更新版とを区別するためのものであり得る。
図４Ｂに示されるように、焦点外れ事象および再合焦事象が発生していた可能性がある。デバイス１００は、ユーザが図４Ａからの以前および進行中のコンテンツへと遷移することを支援するために、マーカ２３０として機能するように仮想画面４０２Ｂ内にコンテンツを生成していてもよい。
いくつかの実装形態において、焦点遷移マーカ２３０は、リアルタイムストリーム内に新規のコンテンツを示すために使用され得る。例えば、ユーザがライブストリーム、転写、翻訳（ｔｒａｎｓｌａｔｉｏｎ）、またはビデオ中に焦点を外すとき（例えば、焦点外れ事象）、デバイス１００は、ライブストリームなどへ戻る再合焦事象を検出する際に現れる新規コンテンツをハイライト表示し得る。再合焦事象が発生すると、システムは、新規コンテンツを旧コンテンツから区別し得る。故に、ハイライトは、ユーザの焦点／注意を画面内の有用および実用的な場所へと導くように機能する焦点遷移マーカであり得る。いくつかの実装形態において、ハイライトは、短いタイムアウト後に徐々に消え得る。いくつかの実装形態において、転写はまた、ユーザの注意が最後に検出された場所までスクロールアップ（例えば、２０秒前にスクロールバック）し得る。
この例では、ユーザが焦点を外していた間、Ｅｌｌａが１２：３２に通話に参加し４０６、会議の録音がトリガされ４０８、Ｓｌａｖｏがさらなる発言をした４１０。デバイス１００は、新規コンテンツ４０６、４０８、および４１０を、画面４０２Ｂの既に見た（ボールド表示ではない）コンテンツから区別するために、ボールド表示の新規コンテンツ４０６、４０８、および４１０としてマーカ２３０を生成した。当然ながら、他の効果が、テキスト修飾のために置き換えられ得る。テキストを修飾することに加えて、デバイス１００は、再び焦点を合わせようとしているユーザにとって変化をより明白にするために、関連のあるコンテンツセットを示すように画面４０２Ｂのコンテンツをサイズ変更した。画面４０２Ｂに示されるコンテンツは、例えば、仮想画面４０２Ｂ（または４０２Ａ）と関連付けられた再合焦事象を検出することに応答して、ＵＩ内での表示（例えば、レンダリング）のために生成、実行、およびトリガされ得る。
いくつかの実装形態において、予め定められた時間量の後、ライブストリームは、図４Ｃに示されるように、画面４０２Ｃおよび物質的世界ビュー４０４Ｃに対して、再び完全に描写される。この例では、ボールド表示のテキストは、マーカ／コンテンツのハイライトなしの元のテキストへと徐々に戻って示される。
ある時点で、ユーザは、焦点を外したり、再び焦点を合わせたりし得る。図４Ｄは、再合焦事象の別の例を描写しており、焦点遷移マーカ２３０が、ユーザを支援するために生成され得る。この例では、ユーザは、妨害により数分のコンテンツを見逃していた可能性があり、見逃したアイテムを見ることを望み得る。ここでは、ユーザは、スクロール可能なコンテンツ４１４のボックスを描写するマーカ４１２として提示される会議の更新を読むことを望まなくてもよい。コンテンツがかなりの量になり得、ユーザが焦点外れ事象の前の直近の既知のコンテンツを見つけることが困難であり得ることをデバイス１００が検出した場合、デバイス１００は、見逃した情報の音声をダウンロードおよび再生するための制御部を含むマーカ４１６などのマーカを生成し得る。ユーザにマーカ４１６が提示され得、ユーザは、焦点外れの時点から音声を開始するためにマーカ４１６を選択し得る。
いくつかの実装形態において、デバイス１００は、動きのシーケンスとして説明され得る要素を有するコンテンツのためのコンテンツ（例えば、焦点遷移マーカ）を生成し得る。例えば、デバイス１００は、センサシステム２１４を利用して、動きのシーケンスを検出し、そのシーケンスおよびそのシーケンス内のＵＩ／コンテンツ／ユーザアクションの状態に基づいてユーザ注意を予期し得る。例えば、注視または動きの軌道は、センサシステム２１４によって検出され、動きのシーケンスのための焦点遷移マーカ２３０を生成するために使用され得る。注視または動きの軌道を推定することによって、デバイス１００は、ユーザが仮想画面に焦点を合わせたままであった場合に、ユーザが見ていた領域または位置を（例えば、予測モデル２４８に基づいて）ハイライト表示し得る。例えば、ユーザが、物体が動くことをトリガするアクションを実施する場合、デバイス１００（およびユーザ）は、物体の軌道を追い得る。ユーザが焦点を外している（例えば、目を離している）間、物体は動き続け、ユーザが再び焦点を合わせる（例えば、視線を戻す）とき、デバイス１００は、コンテンツ、形状、ハイライト、または他のそのようなマーカを使用して物体の現在の位置へとユーザを誘導し得る。
いくつかの実装形態において、デバイス１００は、連続アクションにおける遷移を予測し得る。すなわち、アクションのシーケンスとして説明され得る（例えば、ユーザインターフェース内でトリガされる）要素を有するコンテンツの場合、焦点遷移マーカは、特定のアクションの結果へとユーザを向け得る。例えば、ＵＩボタンを選択することにより仮想画面上のある領域内のアイコンを露出させる場合、アイコンは、ユーザの注視を変化の方へ誘導するため、ユーザが仮想画面に焦点を戻すときにハイライト表示され得る。
いくつかの実装形態において、焦点遷移マーカは、連続コンテンツ内の違いを示し得る。例えば、予測を実施せずに、デバイス１００は、仮想画面上で何が変化したかを簡単にハイライト表示するためにマーカ２３０を生成し得る。別の例では、ユーザが記録物を見ており、ユーザが焦点を外していた（例えば、目を離していた）間にいくつかの言葉が訂正された場合、訂正された言葉は、ユーザが再び焦点を合わせたときにユーザへの表示のためにマーカとしてハイライト表示され得る。空間的な違いの場合、または動きが合図である場合、デバイス１００は、例えば、ストリームラインおよび同様のものと共に運動ベクトルを図示することなど、異なる視覚化技術を使用してハイライト表示し得る。
図５は、本開示全体を通して説明される実装形態による、コンピューティングデバイス上で画像処理タスクを実施するためのプロセス５００の一例を図形化したフローチャートである。いくつかの実装形態において、コンピューティングデバイスは、バッテリ駆動であるウェアラブルコンピューティングデバイスである。いくつかの実装形態において、コンピューティングデバイスは、バッテリ駆動である非ウェアラブルコンピューティングデバイスである。
プロセス５００は、少なくとも１つの処理デバイス、スピーカ、任意選択の表示能力、および命令を記憶するメモリを有するコンピューティングデバイス上で処理システムを利用し得、該命令は、実行されると、クレームに説明される複数の動作およびコンピュータ実装のステップを処理デバイスに実施させる。一般に、コンピューティングデバイス１００、システム２００、および／または６００は、プロセス５００の記述および実行において使用され得る。デバイス１００ならびにシステム２００および／または６００の組み合わせは、いくつかの実装形態において、単一のシステムを表し得る。一般に、プロセス５００は、本明細書に説明されるシステムおよびアルゴリズムを利用してユーザ注意を検出し、そのユーザ注意を使用して、ユーザが注意／焦点を仮想画面へ戻すとき素早く焦点を合わせることを支援するために焦点遷移マーカ（例えば、コンテンツ）を生成および表示する。
ブロック５０２において、プロセス５００は、仮想画面に提示されるコンテンツに対するユーザの焦点を追跡することを含む。追跡された焦点は、注視、注意、インタラクション、および同様のものを含み得る。例えば、センサシステム２１４および／または入力検出器２１５は、仮想画面２２６上への表示のために提示されるコンテンツ（例えば、コンテンツ３１０、３２０など）に対するユーザの焦点および／または注意を追跡し得る。いくつかの実装形態において、追跡は、視線／注視トラッカ２１８によって実施され得る。いくつかの実装形態において、追跡は、画像センサ２１６および／またはカメラ２２４によって実施され得る。いくつかの実装形態において、追跡は、ＩＭＵ２２０によって実施され得る。いくつかの実装形態において、追跡は、任意の１つまたは複数の注視信号（例えば、視線）、頭部追跡信号、明白なユーザ入力、および／または遠隔ユーザ入力（またはその任意の組み合わせ）を含む信号を分析および追跡することを含み得る。いくつかの実装形態において、モデル２４８は、追跡された焦点または関連信号を分析して、次のステップおよび／または次の合焦事象を決定するために使用され得る。上記の任意の組み合わせが、ユーザの焦点を特定および追跡するために使用され得る。
ブロック５０４において、プロセス５００は、コンテンツの第１の領域と関連付けられた焦点外れ事象を検出することを含む。例えば、センサシステム２１４は、ユーザが第１の領域から別の領域の方へと視線を離したこと、またはユーザが物理的世界を見るために焦点または注意を画面から離れる方へ動かしたことを検出し得る。
ブロック５０６において、プロセス５００は、コンテンツの第２の領域と関連付けられた次の合焦事象を決定することを含む。この決定は、焦点外れ事象、および検出された焦点外れ事象の前の既定の時間期間の間に発生した注視軌道に対応するユーザの追跡された焦点に少なくとも部分的に基づき得る。例えば、視線／注視トラッカ２１８は、ユーザが仮想画面２２６上のコンテンツと、および／または物質的世界ビュー３０４Ｃに関与するときに焦点を追跡し得る。トラッカ２１８によって追跡される運動または動きの軌道は、どんなアクション（例えば、事象）をユーザが次に実施し得るかを予測するために、１つまたは複数のしきい値条件２５４および／またはモデル２４８と組み合わせて使用され得る。例えば、リアルタイムユーザモデル１１４およびユーザの注意／焦点の状態は、どの事象／アクションがユーザによって次に実施され得るかを予測するために、検出されたＵＩモデルおよびＵＩ状態と組み合わせて使用され得る。
いくつかの実装形態において、ユーザの焦点は、コンテンツ（例えば、コンテンツ３１０）との検出されたユーザインタラクションに基づいてさらに決定される。次の合焦事象は、検出されたユーザインタラクション、ならびにコンテンツと関連付けられたおよび／または仮想画面２２６に描写されるＵＩと関連付けられアクションのシーケンス内の既定の次のアクションに従って決定され得る。すなわち、デバイス１００は、ユーザ焦点がコンテンツ３１０へ戻る場合、次のアクションは、直前の小節に対して発生している焦点外れ事象に基づいてシーケンス内の次の小節について作曲アプリケーション内で作業することであり得ることを予測し得る。いくつかの実装形態において、第２の領域は、以前のユーザ挙動に関する許可ベースの取得知識に基づいて、ユーザがアプリケーションを変更することが予測される場合、第１の領域とは異なるコンテンツの部分であり得る。いくつかの実装形態において、第２の領域は、一般的な動きの軌道が、他のコンテンツ内で発生する次の事象を決定するためにモデル２４８によって使用される場合、第１の領域とは異なるコンテンツの部分であり得る。
ブロック５０８において、プロセス５００は、決定した次の合焦事象に基づいて、コンテンツの第２の領域をコンテンツの残部と区別するための焦点遷移マーカを生成することを含む。例えば、コンテンツ生成器２５２は、第２の領域に置くべき焦点遷移マーカ２３０の構成および／または見た目を決定するために、センサシステム２１４およびモデル２４８と一緒に機能し得る。例えば、デバイス１００は、第２の領域を仮想画面２２６に描写される他のコンテンツから区別するために、コンテンツ２３２、ＵＩ効果２３４、音声効果２３６、触覚効果２３８、および／または他の可視化を生成するべきかどうかを決定し得る。
いくつかの実装形態において、焦点遷移マーカ２３０は、焦点外れ事象と関連付けられた時間および再合焦事象と関連付けられた時間から、コンテンツ内の検出された変化のビデオまたは音声の再生を表す。一般に、検出された変化の再生は、検出された変化に対応する視覚または聴覚合図を含み得る。例えば、焦点遷移マーカ２３０は、ユーザにより実行されトラッカ２１８により検出される焦点外れ事象と再合焦事象との間で見逃していた可能性のあるコンテンツに基づいた、ビデオ、音声、または生成されたＵＩ遷移のスニペットであり得る。
いくつかの実装形態において、焦点遷移マーカ２３０は、焦点外れ事象と関連付けられた時間および再合焦事象と関連付けられた時間からのコンテンツにおける検出された変化の再生を表し、変化の再生は、変化に対応する触覚合図を含む。例えば、再生は、ユーザが焦点外れ事象と再合焦事象との間に発生した可能性のある変化を見直すために焦点遷移マーカ２３０を選択すべきであることを示すコンテンツを含み得る。
ブロック５１０において、プロセス５００は、仮想画面と関連付けられた再合焦事象を検出することに応答して、第２の領域における、またはこれと関連付けられた焦点遷移マーカの実行をトリガすることを含む。例えば、デバイス１００は、焦点遷移マーカ２３０を生成し得るが、再合焦事象が検出されるまで、第２の領域における、またはこれと関連付けられたマーカを実行および／または表示することを待ち得る。
いくつかの実装形態において、特定の焦点外れ事象と関連付けられた焦点遷移マーカ２３０は、仮想画面上に描写されるコンテンツへの実質的な変化が発生しなかったことを決定することに応答して、抑制されるように構成され得る。例えば、デバイス１００は、仮想画面２２６上に描写されるコンテンツに対して発生したユーザ焦点外れ事象以降、変化が発生していなかった（または最小しきい値レベルの変化しか発生しなかった）ことを検出し得る。それに応じて、デバイス１００は、焦点遷移マーカ２３０を表示しなくてもよい。いくつかの実装形態において、デバイス１００は、代わりに、焦点外れ事象の前に焦点を合わせた直近の決定されたコンテンツを暗くし、次いで明るくすることによって、焦点遷移マーカ２３０の効果を和らげ得る。
いくつかの実装形態において、焦点遷移マーカ２３０は、ハイライト３３６および制御部３３２によって図３Ｄに示されるように、第２の領域の一部分の上に重ね合わされる少なくとも１つの制御部およびハイライト表示されたインジケータを含む。焦点遷移マーカは、再合焦事象の後の既定の時間期間の後ディスプレイから次第に除去され得る。例えば、再合焦コンテンツ／マーカ３２６は、画面３０２Ｄのコンテンツ上へのユーザ再合焦の後に数秒から１分間示され得る。
いくつかの実装形態において、コンテンツは、動きのシーケンスを描写する。例えば、コンテンツは、動くボールを伴うスポーツ競技におけるシーケンスであり得る。第１の領域は、ユーザが試合中に注意／焦点を向けていた動きの第１のシーケンスを表し得る。ある時点で、ユーザは、仮想画面２２６から焦点を外し（例えば、目を離し）得る。第２の領域は、第１のシーケンスの後に発生するように構成される動きの第２のシーケンスを表し得る。ユーザが動きの第１のシーケンスの後に焦点を外した場合、デバイス１００は、動きの第２のシーケンス中コンテンツ（例えば、動くボール）を追跡し続け得る。
ユーザが再び焦点を合わせるとき、デバイス１００は、ユーザが画面２２６上の試合に注意を払っていなかった間、コンテンツ追跡に基づいて焦点遷移マーカ２３０を生成していてもよい。遷移マーカ２３０は、第２の領域内のボールを描写し得るが、焦点外れ事象と再合焦事象との間の時間に試合中何が発生したかをユーザに素早く示すために、第１の領域と第２の領域との間（例えば、動きの第１のシーケンスと動きの第２のシーケンスとの間およびその先）のボールの軌道を示し得る。遷移マーカ２３０は、コンテンツの第２の領域と関連付けられた場所における実行（および／またはレンダリング）のためにトリガされ得る。いくつかの実装形態において、第２の領域と関連付けられた焦点遷移マーカ２３０の実行をトリガすることは、動きの第２のシーケンスで描写される焦点遷移マーカ２３０を用いて実行するように第２のシーケンスをトリガすることを含む。
いくつかの実装形態において、コンテンツは、仮想画面３０２Ａのユーザインターフェース（例えば、コンテンツ３１０、３１２、および３１４によって示される）内に提示される。センサシステム２１４は、ユーザ焦点／注意を検出して、画面３０２Ａに描写されるＵＩと関わった第１の時間期間にわたるユーザの追跡された焦点に基づいてユーザの注意のモデルを生成し得る。デバイス１００は、次いで、ＵＩのためのモデルを獲得し得る。ＵＩのためのモデルは、ＵＩの複数の状態、およびＵＩと関連付けられたユーザインタラクションを規定し得る。ユーザの追跡された焦点、注意のモデル、およびＵＩの複数の状態からの決定された状態に基づいて、デバイス１００は、第２の時間期間にわたって、画面３０２Ｄの第２の領域の少なくとも一部分およびその中のコンテンツの上に重ね合わされる少なくとも１つの焦点遷移マーカ（例えば、マーカ３２６）をレンダリングすることをトリガし得る。
いくつかの実装形態において、仮想画面２２６は、拡張現実ビュー（例えば、画面３０２Ａ）および物質的世界ビュー（例えば、３０４Ａ）を含む視野を提供するように構成される拡張現実デバイス（例えば、ウェアラブルコンピューティングデバイス１００）と関連付けられる。いくつかの実装形態において、ユーザの焦点を追跡することは、ユーザの焦点が、拡張現実ビュー（例えば、画面３０２Ａ）と関連付けられた検出された注視であるか、または物質的世界ビュー（例えば、ビュー３０４Ａ）と関連付けられた検出された注視であるかを決定することを含む。
いくつかの実装形態において、第２の領域と関連付けられた焦点遷移マーカの実行をトリガすることは、ユーザの焦点が拡張現実ビュー（例えば、３０２Ａ）と関連付けられた検出された注視である場合、焦点外れ事象と関連付けられた時間からコンテンツを再開すること（例えば、コンテンツと関連付けられた事象／音声／視覚の順次再生を実施すること）、およびユーザの焦点が物質的世界ビュー（例えば、３０４Ａ）と関連付けられた検出された注視である場合、再合焦事象が検出されるまで、コンテンツを一時停止し、徐々に消すことを含む。
図６は、（例えば、クライアントコンピューティングデバイス６００、サーバコンピューティングデバイス２０４、および／またはモバイルコンピューティングデバイス２０２を実装するために）ここに説明される技術と一緒に使用され得るコンピュータデバイス６００およびモバイルコンピュータデバイス６５０の一例を例証する。コンピューティングデバイス６００は、プロセッサ６０２、メモリ６０４、ストレージデバイス６０６、メモリ６０４および高速拡張ポート６１０に接続する高速インターフェース６０８、ならびに低速バス６１４およびストレージデバイス６０６に接続する低速インターフェース６１２を含む。構成要素６０２、６０４、６０６、６０８、６１０、および６１２の各々は、様々なバスを使用して相互接続され、共通マザーボード上に、または適切な他の様式で取り付けられ得る。プロセッサ６０２は、高速インターフェース６０８に結合されるディスプレイ６１６などの外部入力／出力デバイス上にＧＵＩのためのグラフィック情報を表示するためにメモリ６０４内またはストレージデバイス６０６上に記憶される命令など、コンピューティングデバイス６００内での実行のための命令を処理し得る。他の実装形態において、複数のプロセッサおよび／または複数のバスが、適切な場合、複数のメモリおよびメモリのタイプと一緒に使用され得る。また、複数のコンピューティングデバイス６００が接続され得、各々のデバイスが、（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の部分を提供する。
メモリ６０４は、コンピューティングデバイス６００内に情報を記憶する。１つの実装形態において、メモリ６０４は、揮発性メモリユニット（複数可）である。別の実装形態において、メモリ６０４は、不揮発性メモリユニット（複数可）である。メモリ６０４はまた、磁気または光学ディスクなど、別の形態のコンピュータ可読媒体であってもよい。
ストレージデバイス６０６は、コンピューティングデバイス６００のためのマスストレージを提供することができる。１つの実装形態において、ストレージデバイス６０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、もしくはテープデバイスなどのコンピュータ可読媒体、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成にあるデバイスを含むデバイスのアレイであり得るか、またはこれらを含み得る。コンピュータプログラム製品は、情報担体で有形に具現化され得る。コンピュータプログラム製品はまた、実行されると上に説明されるものなどの１つまたは複数の方法を実施する命令を含み得る。情報担体は、メモリ６０４、ストレージデバイス６０６、またはメモリオンプロセッサ６０２など、コンピュータまたはマシン可読媒体である。
高速コントローラ６０８は、コンピューティングデバイス６００のための帯域幅集中型動作を管理する一方、低速コントローラ６１２は、より低い帯域幅集中型動作を管理する。そのような機能の割り当ては、単に例示である。１つの実装形態において、高速コントローラ６０８は、メモリ６０４、ディスプレイ６１６に（例えば、グラフィックスプロセッサまたはアクセラレータを通じて）、および様々な拡張カード（図示せず）を受容し得る高速拡張ポート６１０に結合される。実装形態において、低速コントローラ６１２は、ストレージデバイス６０６および低速拡張ポート６１４に結合される。様々な通信ポート（例えば、ＵＳＢ、ブルートゥース、イーサネット（登録商標）、ワイヤレスイーサネット）を含み得る低速拡張ポートは、例えば、ネットワークアダプタを通じて、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなど、１つまたは複数の入力／出力デバイスに結合され得る。
コンピューティングデバイス６００は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準サーバ６２０として、またはそのようなサーバのグループ内で複数回、実装され得る。それはまた、ラックサーバシステム６２４の一部として実装され得る。加えて、ラップトップコンピュータ６２２などのパーソナルコンピュータにおいて実装され得る。代替的に、コンピューティングデバイス６００からの構成要素は、デバイス６５０などのモバイルデバイス（図示せず）内の他の構成要素と組み合わせられ得る。そのようなデバイスの各々は、１つまたは複数のコンピューティングデバイス６００、６５０を含み得、システム全体は、互いと通信する複数のコンピューティングデバイス６００、６５０で構成され得る。
コンピューティングデバイス６５０は、数ある構成要素の中でも、プロセッサ６５２、メモリ６６４、ディスプレイ６５４などの入力／出力デバイス、通信インターフェース６６６、および送受信機６６８を含む。デバイス６５０にはまた、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスが設けられ得る。構成要素６５０、６５２、６６４、６５４、６６６、および６６８の各々は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、共通マザーボード上に、または適切な他の様式で取り付けられ得る。
プロセッサ６５２は、メモリ６６４に記憶される命令など、コンピューティングデバイス６５０内の命令を実行し得る。プロセッサは、別個および複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。例えば、プロセッサは、ユーザインターフェースの制御部、デバイス６５０によって実行されるアプリケーション、およびデバイス６５０によるワイヤレス通信など、デバイス６５０の他の構成要素の調整を提供し得る。
プロセッサ６５２は、制御インターフェース６５８、およびディスプレイ６５４に結合されるディスプレイインターフェース６５６を通じてユーザと通信し得る。ディスプレイ６５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）、ＬＥＤ（発光ダイオード）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース６５６は、ユーザにグラフィック情報および他の情報を提示するためにディスプレイ６５４を駆動するための適切な回路を含み得る。制御インターフェース６５８は、ユーザからコマンドを受信し、それらをプロセッサ６５２への提出のために変換し得る。加えて、外部インターフェース６６２が、他のデバイスとのデバイス６５０の近領域通信を可能にするようにプロセッサ６５２と通信状態で提供され得る。例えば、外部インターフェース６６２は、いくつかの実装形態においては、有線通信を、または他の実装形態においては、ワイヤレス通信を提供し得、複数のインターフェースも使用され得る。
メモリ６６４は、コンピューティングデバイス６５０内に情報を記憶する。メモリ６６４は、コンピュータ可読媒体（複数可）、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）のうちの１つまたは複数として実装され得る。拡張メモリ６７４もまた、提供され、拡張インターフェース６７２を通じてデバイス６５０に接続され得、この拡張インターフェース６７２は、例えば、ＳＩＭＭ（シム：Ｓｉｎｇｌｅ Ｉｎ－Ｌｉｎｅ Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ）カードインターフェースを含み得る。そのような拡張メモリ６７４は、デバイス６５０のためのさらなるストレージ空間を提供し得るか、またはデバイス６５０のためのアプリケーションもしくは他の情報も記憶し得る。具体的には、拡張メモリ６７４は、上に説明されるプロセスを実行または補足するために命令を含み得、セキュアな情報も含み得る。故に、例えば、拡張メモリ６７４は、デバイス６５０のためのセキュリティモジュールとして提供され得、デバイス６５０のセキュアな使用を可能にする命令でプログラムされ得る。加えて、セキュアなアプリケーションが、ハッキング不可能な様式でＳＩＭＭカードに識別情報を配置することなど、追加の情報と一緒に、ＳＩＭＭカードを介して提供され得る。
メモリは、例えば、以下に論じられるように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。１つの実装形態において、コンピュータプログラム製品は、情報担体で有形に具現化される。コンピュータプログラム製品は、実行されると上に説明されるものなどの１つまたは複数の方法を実施する命令を含む。情報担体は、例えば、送受信機６６８または外部インターフェース６６２を介して受信され得る、メモリ６６４、拡張メモリ６７４、またはメモリオンプロセッサ６５２などのコンピュータもしくはマシン可読媒体である。
デバイス６５０は、必要な場合デジタル信号処理回路を含み得る通信インターフェース６６６を通じてワイヤレス通信し得る。通信インターフェース６６６は、数ある中でも、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、様々なモードまたはプロトコルの下での通信を提供し得る。そのような通信は、例えば、無線周波数送受信機６６８を通じて発生し得る。加えて、近距離通信は、ブルートゥース、Ｗｉ－Ｆｉ、または他のそのような送受信機（図示せず）を使用するなどして発生し得る。加えて、ＧＰＳ（全地球測位システム）受信機モジュール６７０は、追加のナビゲーション関連および場所関連のワイヤレスデータをデバイス６５０に提供し得、これは、デバイス６５０上で実行するアプリケーションによって適切な場合に使用され得る。
デバイス６５０はまた、ユーザからの発話情報を受信し、それを使用可能なデジタル情報へ変換し得るオーディオコーデック６６０を使用して、音声により通信し得る。オーディオコーデック６６０は、同様に、例えば、デバイス６５０のヘッドセット内の、スピーカを通じてなど、ユーザのために可聴音を生成し得る。そのような音は、電話による音声通話からの音を含み得、録音された音（例えば、ボイスメッセージ、音楽ファイルなど）も含み得、また、デバイス６５０上で動作するアプリケーションによって生成される音も含み得る。
コンピューティングデバイス６５０は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、携帯電話６８０として実装され得る。それはまた、スマートフォン６８２、パーソナルデジタルアシスタント、または他の同様のモバイルデバイスの一部として実装され得る。
ここに説明されるシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特別用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現され得る。これらの様々な実装形態は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するため、およびこれらにデータおよび命令を送信するために結合される、専用または汎用であり得る少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上の実行可能および／または解釈可能である１つまたは複数のコンピュータプログラムでの実装を含み得る。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラム可能なプロセッサのためのマシン命令を含み、また、高レベル手続き型および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／マシン言語で実装され得る。本明細書で使用される場合、用語「マシン可読媒体」、「コンピュータ可読媒体」とは、マシン命令をマシン可読信号として受信するマシン可読媒体を含む、マシン命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置、および／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラム可能な論理デバイス（ＰＬＤ））を指す。用語「マシン可読信号」とは、マシン命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意の信号を指す。
ユーザとのインタラクションを提供するため、ここに説明されるシステムおよび技術は、ユーザに情報を表示するためのディスプレイデバイス（ＬＥＤ（発光ダイオード）、またはＯＬＥＤ（有機ＬＥＤ）、またはＬＣＤ（液晶ディスプレイ）モニタ／画面）、およびユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータ上に実装され得る。他の種類のデバイスも同様に、ユーザとのインタラクションを提供するために使用され得、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得、ユーザからの入力は、音声、発話、または触覚入力を含む任意の形態で受信され得る。
ここに説明されるシステムおよび技術は、バックエンド構成要素を（例えば、データサーバとして）含むか、またはミドルウェア構成要素を（例えば、アプリケーションサーバとして）含むか、もしくはフロントエンド構成要素（例えば、グラフィックユーザインターフェースを有するクライアントコンピュータまたは、ユーザがここに説明されるシステムおよび技術の実装形態とインタラクトすることができるウェブブラウザ）を含む、コンピューティングシステム、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせで実装され得る。システムの構成要素は、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態または媒体によって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般的には、互いから遠隔にあり、典型的には、通信ネットワークを通じてインタラクトする。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行し、互いに対してクライアント－サーバ関係を有するコンピュータプログラムが理由で生じる。
いくつかの実装形態において、図に描写されるコンピューティングデバイスは、物理的空間内の挿入コンテンツを見るための拡張環境を生成するためにＡＲヘッドセット／ＨＭＤデバイス６９０とインターフェースをとるセンサを含み得る。例えば、図に描写されるコンピューティングデバイス６５０または他のコンピューティングデバイス上に含まれる１つまたは複数のセンサは、ＡＲヘッドセット６９０への入力を提供し、または一般に、ＡＲ空間への入力を提供し得る。センサは、限定されるものではないが、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体センサ、温度センサ、湿度センサ、および周囲光センサを含み得る。コンピューティングデバイス６５０は、ＡＲ空間への入力としてその後使用され得るＡＲ空間におけるコンピューティングデバイスの絶対位置および／または検出した回転を決定するためにセンサを使用し得る。例えば、コンピューティングデバイス６５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想物体としてＡＲ空間内へ組み込まれ得る。ＡＲ空間内へ組み込まれるときのユーザによるコンピューティングデバイス／仮想物体の位置付けは、ユーザがＡＲ空間においてとある様式で仮想物体を見るようにコンピューティングデバイスを位置付けることを可能にし得る。
いくつかの実装形態において、ＡＲヘッドセット／ＨＭＤデバイス６９０は、デバイス６００を表し、水盤または導波光学系を使用するものなどのシースルーニアアイディスプレイを含み得るディスプレイデバイス（例えば、仮想画面）を含む。例えば、そのような光学設計は、ディスプレイ源からの光を、４５度の角度で置かれたビームスプリッタとして機能するテレプロンプタガラスの一部分の上へ投影し得る。ビームスプリッタは、ディスプレイ源からの光が部分的に反射される一方で、残りの光が透過される、反射および透過値を可能にし得る。そのような光学設計は、ユーザが、ディスプレイによって生成されるデジタル画像（例えば、ＵＩ要素、仮想コンテンツ、焦点遷移マーカなど）の隣に実世界の物理的アイテムの両方を見ることを可能にし得る。いくつかの実装形態において、導波光学系は、デバイス６００の仮想画面上にコンテンツを描写するために使用され得る。
いくつかの実装形態において、コンピューティングデバイス６５０上に含まれる、またはこれに接続される１つまたは複数の入力デバイスは、ＡＲ空間への入力として使用され得る。入力デバイスは、限定されるものではないが、タッチスクリーン、キーボード、１つもしくは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能を有するイヤホンもしくはイヤホン、ゲームコントローラ、または他の接続可能な入力デバイスを含み得る。コンピューティングデバイスがＡＲ空間に組み込まれるとき、コンピューティングデバイス６５０上に含まれる入力デバイスとインタラクトするユーザは、特定のアクションをＡＲ空間内で発生させ得る。
いくつかの実装形態において、コンピューティングデバイス６５０のタッチスクリーンは、ＡＲ空間内のタッチパッドとしてレンダリングされ得る。ユーザは、コンピューティングデバイス６５０のタッチスクリーンとインタラクトし得る。インタラクションは、ＡＲヘッドセット６９０内で、例えば、ＡＲ空間内のレンダリングされたタッチパッド上の運動として、レンダリングされる。レンダリングされた運動は、ＡＲ空間内の仮想物体を制御し得る。
いくつかの実装形態において、コンピューティングデバイス６５０上に含まれる１つまたは複数の出力デバイスは、ＡＲ空間内のＡＲヘッドセット６９０のユーザに出力および／またはフィードバックを提供し得る。出力およびフィードバックは、視覚、触覚、または音声であり得る。出力および／またはフィードバックは、限定されるものではないが、振動、１つまたは複数の光またはストロボをオンおよびオフにすること、または点滅および／もしくは閃光させること、アラームを鳴らすこと、チャイムを鳴らすこと、歌を再生すること、また音声ファイルの再生を含み得る。出力デバイスは、限定されるものではないが、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含み得る。
いくつかの実装形態において、コンピューティングデバイス６５０は、コンピュータ生成された３Ｄ環境内に別の物体として登場し得る。コンピューティングデバイス６５０とのユーザによるインタラクション（例えば、タッチスクリーンを回転させること、振動させること、これに触れること、タッチスクリーンを指でスワイプすること）は、ＡＲ空間内の物体とのインタラクションと解釈され得る。ＡＲ空間内のレーザポインタの例では、コンピューティングデバイス６５０は、コンピュータ生成された３Ｄ環境内に仮想レーザポインタとして登場する。ユーザがコンピューティングデバイス６５０を操作する際、ＡＲ空間内のユーザは、レーザポインタの移動を目にする。ユーザは、コンピューティングデバイス６５０上またはＡＲヘッドセット６９０上のＡＲ環境内でコンピューティングデバイス６５０とのインタラクションからフィードバックを受信する。コンピューティングデバイスとのユーザのインタラクションは、制御可能なデバイスのためにＡＲ環境内で生成されるユーザインターフェースとのインタラクションへと変換され得る。
いくつかの実装形態において、コンピューティングデバイス６５０は、タッチスクリーンを含み得る。例えば、ユーザは、タッチスクリーンとインタラクトして、制御可能なデバイスのためのユーザインターフェースとインタラクトし得る。例えば、タッチスクリーンは、制御可能なデバイスのプロパティを制御し得るスライダなどのユーザインターフェース要素を含み得る。
コンピューティングデバイス６００は、限定されるものではないが、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含む、様々な形態のデジタルコンピュータおよびデバイスを表すことが意図される。コンピューティングデバイス６５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことが意図される。ここに示される構成要素、それらの接続および関係、ならびにそれらの機能は、単に例であることが意図され、本文書に説明および／または特許請求される主題の実装形態を制限することは意図されない。
いくつかの実施形態が説明されている。それにもかかわらず、様々な修正が、本明細書の趣旨および範囲から逸脱することなくなされ得る。
加えて、図に描写される論理フローは、望ましい結果を達成するために、示される特定の順序または連番を必要としない。加えて、他のステップが提供され得るか、またはステップは、説明されたフローから除外され得、他の構成要素が、説明されたシステムに追加され得るか、またはそこから除去され得る。したがって、他の実施形態は、以下のクレームの範囲内である。
上の説明に付け加えて、ユーザには、本明細書に説明されるシステム、プログラム、または特徴が、ユーザ情報（例えば、ユーザのソーシャルネットワーク、ソーシャルアクション、もしくは活動、職業、ユーザの好み、またはユーザの現在の場所に関する情報）の収集を有効にし得るか否かおよびいつ有効にし得るか、ならびにユーザにサーバからコンテンツまたは通信が送信されるか否かに関して、ユーザが選択を行うことを可能にする制御部が提供され得る。加えて、とあるデータは、個人を特定できる情報が除去されるように、それが記憶または使用される前に１つまたは複数の方式で処理され得る。例えば、ユーザのアイデンティティは、ユーザについて個人を特定できる情報を決定することができないように処理され得るか、または、ユーザの地理的場所は、ユーザの特定の場所を決定することができないように、場所情報が獲得される場合は（例えば、都市、郵便番号、または州レベルへと）一般化され得る。故に、ユーザは、ユーザに関してどんな情報が収集されるか、その情報がどのように使用されるか、およびどんな情報がユーザに提供されるかについての制御を有し得る。
説明された実装形態のとある特徴が、本明細書に説明されるように例証されているが、多くの修正形態、置き換え、変更、および等価物が、当業者にここで想起されるものとする。したがって、添付のクレームは、本実装形態の範囲内に入るようなすべてのそのような修正および変更を網羅することが意図されるということを理解されたい。それらは、限定ではなく単に例として提示されており、形態および詳細において様々な変更がなされ得るということを理解されたい。本明細書に説明される装置および／または方法の任意の部分は、相互に排他的な組み合わせを除き、任意の組み合わせで組み合わされ得る。本明細書に説明される実装形態は、説明される異なる実装形態の機能、構成要素、および／または特徴の様々な組み合わせおよび／または部分組み合わせを含み得る。

Claims (20)

  1. 仮想画面に提示されるコンテンツに対するユーザの注意を識別することと、
    前記コンテンツの第１の領域と関連付けられた焦点外れ事象を検出することと、
    前記コンテンツの第２の領域と関連付けられた次の合焦事象を決定することとを含む、コンピュータで実行される方法であって、
    前記焦点外れ事象は、前記仮想画面から前記ユーザの前記注意がそれることを含み、
    前記次の合焦事象は、前記ユーザが前記焦点外れ事象の後に前記ユーザについて予測されるアクションであり、
    前記第２の領域は、前記第１の領域とは異なる前記コンテンツの部分であり、
    前記決定は、前記焦点外れ事象および前記ユーザの前記識別された注意に基づき、前記方法は、
    前記決定した次の合焦事象に基づいて、前記コンテンツの前記第２の領域を前記コンテンツの残部と区別するためのマーカを生成することと、
    前記仮想画面と関連付けられた再合焦事象を検出することに応答して、前記コンテンツの前記第２の領域と関連付けられた前記マーカの実行をトリガすることと
    をさらに含み、
    前記再合焦事象は、前記焦点外れ事象の後に前記コンテンツに戻る前記ユーザの前記注意を含む、方法。
  2. 前記マーカは、前記第２の領域の一部分の上に重ね合わされる、少なくとも１つの制御部およびハイライト表示されたインジケータを含み、
    前記マーカは、前記再合焦事象後の既定の時間期間に従ってディスプレイから次第に除去される、請求項１に記載の方法。
  3. 前記ユーザの前記注意は、前記コンテンツとの検出したユーザインタラクションに基づいてさらに識別され、
    前記次の合焦事象は、前記検出したユーザインタラクション、および前記コンテンツと関連付けられたアクションのシーケンス内の既定の次のアクションに従ってさらに決定される、請求項１または請求項２に記載の方法。
  4. 前記コンテンツは、動きのシーケンスを描写し、
    前記第１の領域は、動きの第１のシーケンスを表し、
    前記第２の領域は、前記動きの第１のシーケンスの後に発生するように構成される動きの第２のシーケンスを表し、
    前記コンテンツの前記第２の領域と関連付けられた前記マーカの実行をトリガすることは、前記動きの第２のシーケンスで描写される前記マーカを用いて前記第２のシーケンスを実行することをトリガすることを含む、請求項１または請求項２に記載の方法。
  5. 前記焦点外れ事象と関連付けられた前記マーカは、前記仮想画面に描写される前記コンテンツに対する実質的な変化が発生しなかったことを決定することに応答して抑制される、請求項１または請求項２に記載の方法。
  6. 前記マーカは、前記焦点外れ事象と関連付けられた時間から、および前記再合焦事象と関連付けられた時間からの前記コンテンツにおける検出した変化の再生を表し、前記変化の前記再生は、前記変化に対応する触覚合図を含む、請求項１または請求項２に記載の方法。
  7. 前記コンテンツは、前記仮想画面のユーザインターフェース内に提示され、前記方法は、
    第１の時間期間にわたって前記ユーザの前記識別された注意に基づいて前記ユーザの前記注意のモデルを生成することと、
    前記ユーザインターフェースのためのモデルを獲得することとをさらに含み、前記モデルは、前記ユーザインターフェースと関連付けられた複数の状態およびインタラクションを規定し、前記方法は、
    第２の時間期間にわたって、前記第２の領域の少なくとも一部分の上に重ね合わされる少なくとも１つの追加のマーカを、前記ユーザの前記識別された注意、前記注意の前記モデル、および前記ユーザインターフェースの、前記複数の状態からの決定した状態に基づいて、レンダリングすることをトリガすることをさらに含む、請求項１または請求項２に記載の方法。
  8. 前記仮想画面は、拡張現実ビューおよび物質的世界ビューを含む視野を提供するように構成される拡張現実デバイスと関連付けられ、
    前記ユーザの前記注意を識別することは、前記ユーザの前記注意が前記拡張現実ビューと関連付けられるか、または前記物質的世界ビューと関連付けられるかを決定することを含み、
    前記第２の領域と関連付けられた前記マーカの実行をトリガすることは、
    前記ユーザの前記注意が前記拡張現実ビューと関連付けられる場合、前記焦点外れ事象と関連付けられた時間から前記コンテンツを再開すること、または
    前記ユーザの前記注意が前記物質的世界ビューと関連付けられる場合、前記再合焦事象が検出されるまで前記コンテンツを一時停止およびフェードさせることを含む、請求項１または請求項２に記載の方法。
  9. 少なくとも１つの処理デバイスと、
    少なくとも１つのセンサと、
    命令を記憶するメモリと、を備える、ウェアラブルコンピューティングデバイスであって、前記命令は、実行されると、
    前記少なくとも１つのセンサが、仮想画面に対するユーザの焦点を識別することと、
    前記少なくとも１つのセンサが、前記仮想画面の第１の領域と関連付けられた焦点外れ事象を検出することと、
    前記少なくとも１つのセンサが、前記仮想画面の第２の領域と関連付けられた次の合焦事象を決定することとを含み、
    前記焦点外れ事象は、前記仮想画面から前記ユーザの前記焦点がそれることを含み、
    前記次の合焦事象は、前記ユーザが前記焦点外れ事象の後に前記ユーザについて予測されるアクションであり、
    前記第２の領域は、前記第１の領域とは異なる前記仮想画面の部分であり、
    前記決定は、前記焦点外れ事象、および前記ユーザの前記識別された焦点に基づき、
    前記決定した次の合焦事象に基づいて、前記仮想画面の前記第２の領域を前記仮想画面の残部と区別するための焦点遷移マーカの生成をトリガすることと、
    前記少なくとも１つのセンサが、前記仮想画面と関連付けられた再合焦事象を検出することに応答して、前記仮想画面の前記第２の領域と関連付けられた前記焦点遷移マーカの実行をトリガすることとを含む動作を前記ウェアラブルコンピューティングデバイスに実施させ、
    前記再合焦事象は、前記焦点外れ事象の後に前記仮想画面へ前記ユーザの前記焦点が戻ることを含む、ウェアラブルコンピューティングデバイス。
  10. 前記焦点遷移マーカは、前記第２の領域の一部分の上に重ね合わされる、少なくとも１つの制御部およびハイライト表示されたインジケータを含み、
    前記焦点遷移マーカは、前記再合焦事象の後の時間期間に従ってディスプレイから次第に除去される、請求項９に記載のウェアラブルコンピューティングデバイス。
  11. 前記ユーザの前記焦点は、前記仮想画面との検出されたユーザインタラクションに基づいてさらに決定され、
    前記次の合焦事象は、前記検出されたユーザインタラクション、および前記仮想画面と関連付けられたアクションのシーケンス内の既定の次のアクションに従って、さらに決定される、請求項９または請求項１０に記載のウェアラブルコンピューティングデバイス。
  12. 前記仮想画面に対する前記ユーザの前記焦点は、前記仮想画面上に描写されるコンテンツに対する前記ユーザの焦点に対応し、
    前記コンテンツは、動きのシーケンスを描写し、
    前記第１の領域は、動きの第１のシーケンスを表し、
    前記第２の領域は、前記動きの第１のシーケンスの後に発生するように構成される動きの第２のシーケンスを表し、
    前記第２の領域と関連付けられた前記焦点遷移マーカの実行をトリガすることは、前記動きの第２のシーケンスで描写される前記焦点遷移マーカを用いて第２のシーケンスを実行することをトリガすることを含む、請求項９または請求項１０に記載のウェアラブルコンピューティングデバイス。
  13. 前記焦点遷移マーカは、前記焦点外れ事象と関連付けられた時間および前記再合焦事象と関連付けられた時間からの前記コンテンツにおける検出した変化のビデオまたは音声の再生を表し、前記検出した変化の前記再生は、前記検出した変化に対応する視覚または聴覚合図を含む、請求項１２に記載のウェアラブルコンピューティングデバイス。
  14. 前記焦点遷移マーカは、前記焦点外れ事象と関連付けられた時間および前記再合焦事象と関連付けられた時間からの前記コンテンツにおける検出した変化の再生を表し、前記検出した変化の前記再生は、前記検出した変化に対応する触覚合図を含む、請求項１２に記載のウェアラブルコンピューティングデバイス。
  15. 前記コンテンツは、前記仮想画面のユーザインターフェース内に提示され、前記動作は、
    第１の時間期間にわたって前記ユーザの前記識別された焦点に基づいて前記ユーザの注意のモデルを生成することと、
    前記ユーザインターフェースのためのモデルを獲得することとをさらに含み、前記モデルは、前記ユーザインターフェースと関連付けられた複数の状態およびインタラクションを規定し、
    第２の時間期間にわたって、前記第２の領域の少なくとも一部分の上に重ね合わされる少なくとも１つの焦点遷移マーカを、前記ユーザの前記識別された焦点、前記注意の前記モデル、および前記ユーザインターフェースの、前記複数の状態からの決定した状態に基づいて、レンダリングすることをトリガすることとをさらに含む、請求項１２に記載のウェアラブルコンピューティングデバイス。
  16. 前記仮想画面は、拡張現実ビューおよび物質的世界ビューを含む視野を提供するように構成される拡張現実デバイスと関連付けられ、
    前記ユーザの前記焦点を識別することは、前記ユーザの前記焦点が前記拡張現実ビューと関連付けられるか、または前記物質的世界ビューと関連付けられるかを決定することを含む、請求項９または請求項１０に記載のウェアラブルコンピューティングデバイス。
  17. 命令を含むプログラムであって、前記命令は、ウェアラブルコンピューティングデバイスの処理回路によって実行されると、
    仮想画面に提示されるコンテンツに対するユーザの焦点を識別することと、
    前記コンテンツの第１の領域と関連付けられた焦点外れ事象を検出することと、
    前記コンテンツの第２の領域と関連付けられた次の合焦事象を決定することとを前記ウェアラブルコンピューティングデバイスに行わせ、
    前記焦点外れ事象は、前記ユーザの前記焦点が前記仮想画面からそれることを含み、
    前記次の合焦事象は、前記ユーザについて前記焦点外れ事象の後に予測されるアクションであり、
    前記第２の領域は、前記第１の領域とは異なる前記コンテンツの部分であり、
    前記決定は、前記焦点外れ事象、および前記ユーザの前記識別された焦点に基づき、
    前記決定した次の合焦事象に基づいて、前記コンテンツの前記第２の領域を前記コンテンツの残部と区別するための焦点遷移マーカを生成することと、
    前記仮想画面と関連付けられた再合焦事象を検出することに応答して、前記コンテンツの前記第２の領域と関連付けられた前記焦点遷移マーカの実行をトリガすることとを前記ウェアラブルコンピューティングデバイスに行わせ、
    前記再合焦事象は、前記焦点外れ事象の後に前記ユーザの前記焦点が前記コンテンツへ戻ることを含む、プログラム。
  18. 前記焦点遷移マーカは、前記第２の領域の一部分の上に重ね合わされる、少なくとも１つの制御部およびハイライト表示されたインジケータを含み、
    前記焦点遷移マーカは、前記再合焦事象の後の時間期間に従ってディスプレイから次第に除去される、請求項１７に記載のプログラム。
  19. 前記ユーザの前記焦点は、前記コンテンツとの検出されたユーザインタラクションに基づいてさらに決定され、
    前記次の合焦事象は、前記検出したユーザインタラクション、および前記コンテンツと関連付けられたアクションのシーケンス内の既定の次のアクションに従ってさらに決定される、請求項１７または請求項１８に記載のプログラム。
  20. 前記焦点遷移マーカは、前記焦点外れ事象と関連付けられた時間および前記再合焦事象と関連付けられた時間からの前記コンテンツにおける検出した変化のビデオまたは音声の再生を表し、前記検出した変化の前記再生は、前記検出した変化に対応する視覚または聴覚合図を含む、請求項１７または請求項１８に記載のプログラム。
JP2024517522A 2021-09-21 2022-09-21 焦点遷移を補強するための注意追跡 Active JP7765616B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163261449P 2021-09-21 2021-09-21
US63/261,449 2021-09-21
US17/933,631 2022-09-20
US17/933,631 US12167082B2 (en) 2021-09-21 2022-09-20 Attention tracking to augment focus transitions
PCT/US2022/076779 WO2023049746A1 (en) 2021-09-21 2022-09-21 Attention tracking to augment focus transitions

Publications (2)

Publication Number Publication Date
JP2024534528A JP2024534528A (ja) 2024-09-20
JP7765616B2 true JP7765616B2 (ja) 2025-11-06

Family

ID=85573236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024517522A Active JP7765616B2 (ja) 2021-09-21 2022-09-21 焦点遷移を補強するための注意追跡

Country Status (5)

Country Link
US (1) US12167082B2 (ja)
EP (1) EP4405786A1 (ja)
JP (1) JP7765616B2 (ja)
KR (1) KR20240063979A (ja)
CN (1) CN118103801A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116507997A (zh) 2020-09-11 2023-07-28 苹果公司 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
WO2022067302A1 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for navigating user interfaces
CN117555417B (zh) 2020-09-25 2024-07-19 苹果公司 用于调节和/或控制与用户界面相关联的沉浸度的方法
US11994751B1 (en) 2020-12-30 2024-05-28 Snap Inc. Dual system on a chip eyewear
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
CN119960596A (zh) 2021-09-23 2025-05-09 苹果公司 用于内容应用的设备、方法和图形用户界面
US12445591B2 (en) 2021-10-07 2025-10-14 Snap Inc. Dual system on a chip eyewear
US12174379B2 (en) * 2021-10-14 2024-12-24 Snap Inc. Dual system on a chip eyewear
US11997249B2 (en) 2021-10-14 2024-05-28 Snap Inc. Dual system on a chip eyewear
US12372791B2 (en) 2021-10-14 2025-07-29 Snap Inc. Dual system on a chip eyewear
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
CN119404170A (zh) 2022-04-20 2025-02-07 苹果公司 三维环境中的被遮蔽对象
CN120266077A (zh) 2022-09-24 2025-07-04 苹果公司 用于控制三维环境并与之交互的方法
EP4591145A1 (en) 2022-09-24 2025-07-30 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
WO2024163514A1 (en) 2023-01-30 2024-08-08 Apple Inc. Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
US20240350912A1 (en) * 2023-04-19 2024-10-24 Sony Interactive Entertainment LLC Systems and methods for eye tracking, game object rendering control and accessibility modes
EP4652744A4 (en) * 2023-08-18 2026-04-08 Samsung Electronics Co Ltd VIDEO IMAGE RENDERING METHOD IN VR SCENES
US12210679B1 (en) 2024-01-08 2025-01-28 Rockwell Collins, Inc. Attention redirection within AR/XR immersive environments
TW202529869A (zh) * 2024-01-25 2025-08-01 佐臻股份有限公司 敏捷使用者輸入判斷系統及方法
US12608877B2 (en) 2024-06-09 2026-04-21 Apple Inc. Methods of interacting with content in a virtual environment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345335A (ja) 2002-05-28 2003-12-03 Minolta Co Ltd 読取補助画像表示装置
JP5217585B2 (ja) 2008-04-09 2013-06-19 セイコーエプソン株式会社 頭部装着型画像表示装置
JP6015743B2 (ja) 2012-03-07 2016-10-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US20180077345A1 (en) 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
JP6524253B2 (ja) 2015-05-27 2019-06-05 グーグル エルエルシー 仮想現実旅行のためのリーダーデバイスおよび参加者デバイスを含むシステム
JP2020149143A (ja) 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8854282B1 (en) 2011-09-06 2014-10-07 Google Inc. Measurement method
US9955318B1 (en) 2014-06-05 2018-04-24 Steelcase Inc. Space guidance and management system and method
JP2018063523A (ja) * 2016-10-12 2018-04-19 アイシン・エィ・ダブリュ株式会社 表示制御システムおよび表示制御プログラム
JP2018063322A (ja) * 2016-10-12 2018-04-19 アイシン・エィ・ダブリュ株式会社 表示制御システムおよび表示制御プログラム
US10297088B2 (en) 2017-09-26 2019-05-21 Adobe Inc. Generating accurate augmented reality objects in relation to a real-world surface via a digital writing device
WO2019099979A1 (en) 2017-11-20 2019-05-23 Google Llc Directing user attention
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US20210335147A1 (en) * 2020-04-27 2021-10-28 Rally Reader, LLC System and User Interfaces for Monitoring Reading Performance and Providing Reading Assistance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345335A (ja) 2002-05-28 2003-12-03 Minolta Co Ltd 読取補助画像表示装置
JP5217585B2 (ja) 2008-04-09 2013-06-19 セイコーエプソン株式会社 頭部装着型画像表示装置
JP6015743B2 (ja) 2012-03-07 2016-10-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6524253B2 (ja) 2015-05-27 2019-06-05 グーグル エルエルシー 仮想現実旅行のためのリーダーデバイスおよび参加者デバイスを含むシステム
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US20180077345A1 (en) 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
JP2020149143A (ja) 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Takumi Toyama, Daniel Sonntag, Jason Orlosky, and Kiyoshi Kiyokawa，"Attention Engagement and Cognitive State Analysis for Augmented Reality Text Display Functions"，Intelligent User Interfaces，米国，ACM，2015年03月29日，p. 322-332

Also Published As

Publication number Publication date
US12167082B2 (en) 2024-12-10
EP4405786A1 (en) 2024-07-31
KR20240063979A (ko) 2024-05-10
US20230086766A1 (en) 2023-03-23
JP2024534528A (ja) 2024-09-20
CN118103801A (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US12167082B2 (en) Attention tracking to augment focus transitions
US12353672B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
EP3451135A1 (en) Information processing device, information processing method, and program
CN120179076A (zh) 用于与扩展现实体验进行交互的设备、方法和图形用户界面
CN121729667A (zh) 用于控制人工现实设备上动作的手势交互虚拟菜单
US20250147596A1 (en) Pinch Recognition Using Finger Zones
US11354011B2 (en) Snapping range for augmented reality
JP6841232B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2025515090A (ja) 事前視線及びクリック情報に基づいたアイコンのヒットボックスのアルゴリズムによる調整
WO2023049746A1 (en) Attention tracking to augment focus transitions
CN120469577A (zh) 用于基于手势的交互的设备、方法和用户界面
KR20250141177A (ko) 비디오 애플리케이션 그래픽 효과들
CN117178245A (zh) 凝视和头部姿态交互
US20250356683A1 (en) Gating UI Invocation Based on Pinch Gap and Index Finger Occlusion
US20250356612A1 (en) Gating UI Invocation Based on Object or Self Occlusion
US20240402825A1 (en) Active and Inactive Mode Transitions for User Input
US20240331447A1 (en) Pinch Recognition and Rejection
CN119739277A (zh) 针对标记的捏合补偿
CN119065021A (zh) 用于检测接近对象的动态接近边界

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251024

R150 Certificate of patent or registration of utility model

Ref document number: 7765616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150