JP7735543B2 - デジタルアシスタントオブジェクト配置 - Google Patents

デジタルアシスタントオブジェクト配置

Info

Publication number
JP7735543B2
JP7735543B2 JP2024510432A JP2024510432A JP7735543B2 JP 7735543 B2 JP7735543 B2 JP 7735543B2 JP 2024510432 A JP2024510432 A JP 2024510432A JP 2024510432 A JP2024510432 A JP 2024510432A JP 7735543 B2 JP7735543 B2 JP 7735543B2
Authority
JP
Japan
Prior art keywords
digital assistant
location
user
output
cgr environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024510432A
Other languages
English (en)
Other versions
JP2024531408A (ja
Inventor
ガレット エル ワインバーグ
ペドロ マリ
イザール カリ アラソン
ブラッド ケニス ハーマン
シラーズ アクマル
スティーブン オー リメイ
ジェイムズ ジェイ オーウェン
ロドリゲス ミゲル エスタニー
ジェイ ムーン
ザ サード ウィリアム エイ ソレンティーノ
オロリス ホセ アントニオ チェカ
リン アイ ストレヤ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024531408A publication Critical patent/JP2024531408A/ja
Priority to JP2025141089A priority Critical patent/JP2025178252A/ja
Application granted granted Critical
Publication of JP7735543B2 publication Critical patent/JP7735543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

これは、一般的には、デジタルアシスタントに関し、より具体的には、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントを表すオブジェクトを配置することに関する。
デジタルアシスタントは、例えば、発話若しくはタイプされた自然言語、ジェスチャ、又はその他の便利な若しくは直感的な入力モードを使用して、人のユーザとその電子デバイスとの間で有益なインターフェースとして機能することができる。例えば、ユーザは、電子デバイスのデジタルアシスタントに対して自然言語要求を発言できる。デジタルアシスタントは、発話入力からユーザの意図を解釈し、ユーザの意図をタスクに動作可能にすることができる。次いで、タスクは、電子デバイスの１つ以上のサービスを実行することによって実行され、ユーザ要求への関連出力応答をユーザに戻すことができる。
人が電子デバイスを使用せずに相互作用し知覚できる物理的な世界とは異なり、電子デバイスは、全体的又は部分的にシミュレートされたコンピュータ生成現実（ＣＧＲ）環境と相互作用するために、及び／又はそれを知覚するために、使用される。例えば、ＣＧＲ環境は、複合現実（Mixed Reality、ＭＲ）コンテンツ、拡張現実（Augmented Reality、ＡＲ）コンテンツ、仮想現実（Virtual Reality、ＶＲ）コンテンツなどを含み得る。ＣＧＲシステムと相互作用する１つの方法は、人の身体運動のいくつかを追跡し、それに応じて、少なくとも１つの物理の法則に従っているように見えるやり方で、ＣＧＲ環境においてシミュレートされた要素の特性を調整することによる。例えば、ユーザが、ＣＧＲ環境を提示するデバイス及び／又はユーザの頭を動かすと、ＣＧＲシステムは、その動きを検出し、ユーザの視点に従ってグラフィカルコンテンツと聴覚コンテンツを調整して、空間音の効果を生み出すことができる。いくつかの状況では、ＣＧＲシステムは、ボタン入力又は音声コマンドなどのユーザ入力に応じてＣＧＲコンテンツの特性を調整できる。
ヘッドアップディスプレイ（ＨＵＤ）、頭部装着可能システム、投影方式のシステム、ヘッドホン／イヤホン、スピーカーアレイ、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータなど、多くの異なる電子デバイス及び／又はシステムを使用して、ＣＧＲ環境と相互作用でき、及び／又はＣＧＲ環境を知覚できる。例えば、頭部装着可能システムは、１つ以上のスピーカー（例えば、スピーカーアレイ）、一体型又は外部の不透明、半透明、又は透明ディスプレイ、物理的環境の映像を取り込む画像センサ、及び／又は物理的環境の音声を取り込むマイクロフォンを含み得る。ディスプレイは、ｕＬＥＤ、ＯＬＥＤ、ＬＥＤ、シリコン上の液晶、レーザ走査光源、デジタル光投影などを含む様々なディスプレイ技術を使用して実装され得、ユーザの目に光を誘導する媒体として、光導波路、光学反射器、ホログラム媒体、光学式コンバイナ、それらの組み合わせ、又は同様の技術を実装し得る。透明又は半透明のディスプレイを用いる実装形態では、透明又は半透明のディスプレイは不透明になるようにも制御され得る。ディスプレイは、ユーザの網膜上に画像を投影する、及び／又は（例えば、ホログラムとして、又は物理的な表面若しくは物体上にマッピングされる投影として）物理的環境内に仮想ＣＧＲ要素を投影する、投影方式のシステムを実現できる。
電子デバイスは、ＣＧＲ環境におけるデジタルアシスタントの使用を実現するために使用され得る。ＣＧＲ環境においてデジタルアシスタントを実現することは、電子デバイスのユーザがＣＧＲ環境と相互作用するのを支援でき、ユーザがＣＧＲ環境との相互作用を中止する必要なくデジタルアシスタント機能にアクセスすることを可能にすることができる。しかしながら、ＣＧＲ環境のインターフェースは大規模で複雑であり得るので（例えば、ＣＧＲ環境は、ユーザの視野を満たし、且つそれを超えて延在し得る）、ＣＧＲ環境の中でデジタルアシスタントを呼び出してそれと相互作用するのは、困難である、分かりにくい、又はＣＧＲ環境の没入から気を散らす可能性がある。
例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始することと、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供することとを含む。
例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、１つ以上のセンサを用いて第１のユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始させる命令と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供させる命令とを含む。
例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供する命令とを含む。
例示的な電子デバイスは、１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する手段と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供する手段とを備える。
例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、１つ以上のセンサを用いてユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始することと、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供することとを含む。
例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、１つ以上のセンサを用いてユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供することとを含む、開始させる命令とを含む。
例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサ、メモリ、及び１つ以上のプログラムを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、１つ以上のセンサを用いてユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供する命令とを含む。
例示的な電子デバイスは、１つ以上のセンサを用いてユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する手段と、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供する手段とを備える。
例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始することとを含む。
例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始させる命令とを含む。
例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサ、メモリ、及び１つ以上のプログラムを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始する命令とを含む。
例示的な電子デバイスは、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始する手段とを備える。
本明細書で説明されているようにコンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置することは、ＣＧＲ環境の中でデジタルアシスタントと相互作用するための直感的で効率的なユーザインターフェースを提供する。例えば、最初にユーザの視野外にデジタルアシスタントオブジェクトを配置し、デジタルアシスタントオブジェクトのロケーションの指示を提供することは、ユーザの注意をデジタルアシスタントに効率的に引き付け、ユーザが所望の機能にアクセスするために必要な時間及びユーザ入力を削減し、したがって、電力使用量を削減し、デバイスのバッテリ寿命を向上させる。別の実施例として、ユーザの視野外でデジタルアシスタントオブジェクトを初期化し、ユーザの視野内に移動するデジタルアシスタントを動画化することも、ユーザの注意をデジタルアシスタントに効率的に引き付け、ユーザが所望の機能にアクセスするのに必要な時間及びユーザ入力を削減し、したがって、電力使用量を削減し、デバイスのバッテリ寿命を向上させる。
様々な実施例による、様々な拡張現実技術で使用する例示的なシステムを示す。 様々な実施例による、様々な拡張現実技術で使用する例示的なシステムを示す。
様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。
様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。
様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。
様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。 様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。
以下の実施例の説明では、実践することが可能な特定の実施例が例として示される、添付図面を参照する。それら様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。
デジタルアシスタントは、ＣＧＲ環境の中で使用され得る。いくつかの実施形態において、呼び出し時に、ＣＧＲ環境の中であるが、ユーザの現在の視野の外にある第１のロケーションに、デジタルアシスタントを表すデジタルアシスタントオブジェクトが配置され得、デジタルアシスタントオブジェクトのロケーションの指示が提供され得る。いくつかの実施形態において、呼び出し時に、ＣＧＲ環境の中であるが、ユーザの現在の視野の外にある第１のロケーションに、デジタルアシスタントオブジェクトが配置され得、次いで、第１のロケーションから第２の見えるロケーションに移動するように動画化され得る。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施例の範囲から逸脱することなく、第１の入力を第２の入力と呼ぶことが可能であり、同様に、第２の入力を第１の入力と呼ぶことも可能である。第１の入力及び第２の入力は、双方とも入力であり、一部の場合には、別個の異なる入力である。
本明細書で説明される様々な実施例の説明で使用される用語法は、特定の実施例を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施例の説明、及び添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、且つこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
用語「ｉｆ（～の場合には）」は、文脈に応じて、「ｗｈｅｎ（～のとき）」若しくは「ｕｐｏｎ（～すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応答して）」、若しくは「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～の検出に応答して）」を意味するものと解釈することができる。同様に、句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合には）」又は「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ（［記述される条件又はイベント］が検出される場合には）」は、文脈に応じて、「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定すると）」、若しくは「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応じて）」、又は「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［記述される条件又はイベント］を検出すると）」、若しくは「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［記述される条件又はイベント］の検出に応じて）」を意味するものと解釈することができる。
１．ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス
図１Ａ及び図１Ｂは、様々なコンピュータ生成現実技術で使用する例示的なシステム８００を示す。
いくつかの実施例において、図１Ａに示されているように、システム８００は、デバイス８００ａを含む。デバイス８００ａは、プロセッサ（単数又は複数）８０２、ＲＦ回路（単数又は複数）８０４、メモリ（単数又は複数）８０６、画像センサ（単数又は複数）８０８、向きセンサ（単数又は複数）８１０、マイクロフォン（単数又は複数）８１２、ロケーションセンサ（単数又は複数）８１６、スピーカー（単数又は複数）８１８、ディスプレイ（単数又は複数）８２０、及びタッチ感知面８２２などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス８００ａの通信バス（単数又は複数）８５０を介して通信する。
いくつかの実施例において、システム８００の要素は、基地局デバイス（例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス）内に実装され、システム８００の他の要素は、ユーザによって装着されるように設計されたヘッドマウントディスプレイ（ＨＭＤ）デバイス内に実装され、ＨＭＤデバイスは、基地局デバイスと通信する。いくつかの実施例において、デバイス８００ａは、基地局デバイス又はＨＭＤデバイス内に実装される。
図１Ｂに示されているように、いくつかの実施例において、システム８００は、有線接続又は無線接続などを介して通信状態にある２つ（又はそれ以上）のデバイスを含む。第１のデバイス８００ｂ（例えば、基地局デバイス）は、プロセッサ（単数又は複数）８０２、ＲＦ回路（単数又は複数）８０４、及びメモリ（単数又は複数）８０６を含む。これらの構成要素は、任意選択として、デバイス８００ｂの通信バス（単数又は複数）８５０を介して通信する。第２のデバイス８００ｃ（例えば、ヘッドマウントデバイス）は、プロセッサ８０２、ＲＦ回路８０４、メモリ８０６、画像センサ８０８、向きセンサ８１０、マイクロフォン８１２、ロケーションセンサ８１６、スピーカー８１８、ディスプレイ８２０、及びタッチ感知面８２２などの様々な構成要素を含む。これらの構成要素は、任意選択として、デバイス８００ｃの通信バス（単数又は複数）８５０を介して通信する。
システム８００は、プロセッサ（単数又は複数）８０２とメモリ（単数又は複数）８０６とを含む。プロセッサ（単数又は複数）８０２は、１つ以上の汎用プロセッサ、１つ以上のグラフィックプロセッサ、及び／又は１つ以上のデジタル信号プロセッサを含む。いくつかの実施例において、メモリ（単数又は複数）８０６は、後述する技法を実行するためにプロセッサ（単数又は複数）８０２によって実行されるように構成されたコンピュータ可読命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体（例えば、フラッシュメモリ、ランダムアクセスメモリ）である。
システム８００は、ＲＦ回路（単数又は複数）８０４を含む。ＲＦ回路（単数又は複数）８０４は、任意選択的に、電子デバイス、インターネット、イントラネット並びに／又は、セルラーネットワーク及び無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークなどのネットワークと通信するための回路を含む。ＲＦ回路（単数又は複数）８０４は、任意選択的に、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信及び／又は短距離通信を使用して通信するための回路を含む。
システム８００は、ディスプレイ（単数又は複数）８２０を含む。いくつかの実施例において、ディスプレイ（単数又は複数）８２０は、第１のディスプレイ（例えば、左目ディスプレイパネル）と第２のディスプレイ（例えば、右目ディスプレイパネル）とを含み、各ディスプレイがユーザの個別の目に画像を表示する。対応する画像は、第１のディスプレイ及び第２のディスプレイ上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、ディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。いくつかの実施例において、ディスプレイ（単数又は複数）８２０は、単一のディスプレイを含む。対応する画像は、ユーザのそれぞれの目のために、単一のディスプレイの第１の領域及び第２の領域上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、単一のディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。
いくつかの実施例において、システム８００は、タップ入力やスワイプ入力などのユーザ入力を受け取るタッチ感知面（単数又は複数）８２２を含む。いくつかの実施例において、ディスプレイ（単数又は複数）８２０とタッチ感知面（単数又は複数）８２２は、タッチ感知ディスプレイ（単数又は複数）を形成する。
システム８００は、画像センサ（単数又は複数）８０８を含む。画像センサ（単数又は複数）８０８は、任意選択的に、電荷結合素子（ＣＣＤ）センサなどの１つ以上の可視光画像センサ、及び／又は現実環境から物理的オブジェクトの画像を得る働きをする相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む。画像センサ（単数又は複数）はまた、任意選択として、現実環境からの赤外光を検出するための、パッシブＩＲセンサ又はアクティブＩＲセンサなどの１つ以上の赤外線（infrared、ＩＲ）センサ（単数又は複数）を含む。例えば、アクティブＩＲセンサは、赤外光を現実環境に放射するためのＩＲドットエミッタなどのＩＲエミッタを含む。画像センサ（単数又は複数）８０８はまた、任意選択的に、現実環境における物理的オブジェクトの動きをキャプチャするように構成された１つ以上のイベントカメラを含む。画像センサ（単数又は複数）８０８はまた、任意選択的に、システム８００からの物理的オブジェクトの距離を検出するように構成された１つ以上のデプスセンサを含む。いくつかの実施例において、システム８００は、ＣＣＤセンサ、イベントカメラ、及びデプスセンサを組み合わせて使用して、システム８００の周囲の物理的環境を検出する。いくつかの実施例において、画像センサ（単数又は複数）８０８は、第１の画像センサと第２の画像センサとを含む。第１の画像センサ及び第２の画像センサは、任意選択として、２つの異なる透視視点から、現実環境内の物理的オブジェクトの画像をキャプチャするように構成されている。いくつかの実施例において、システム８００は、画像センサ（単数又は複数）８０８を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの実施例において、システム８００は、画像センサ（単数又は複数）８０８を使用して、現実環境におけるシステム８００及び／又はディスプレイ（単数又は複数）８２０のポジション及び向きを検出する。例えば、システム８００は、画像センサ（単数又は複数）８０８を使用して、現実環境内の１つ以上の固定されたオブジェクトに対するディスプレイ（単数又は複数）８２０のポジション及び向きを追跡する。
いくつかの実施例において、システム８００は、マイクロフォン（単数又は複数）８１２を含む。システム８００は、マイクロフォン（単数又は複数）８１２を使用して、ユーザ及び／又はユーザの物理的環境からの音を検出する。いくつかの実施形態において、マイクロフォン（単数又は複数）８１２は、任意選択的に、周囲雑音を特定するために、又は現実環境の空間内の音源の位置を特定するなどのために、協調して動作する（複数のマイクロフォンを含む）マイクロフォンの配列を含む。
システム８００は、システム８００及び／又はディスプレイ（単数又は複数）８２０の向き及び／又は動きを検出する向きセンサ（単数又は複数）８１０を含む。例えば、システム８００は、向きセンサ（単数又は複数）８１０を使用して、現実環境内の物理的オブジェクトなどに対するシステム８００及び／又はディスプレイ（単数又は複数）８２０のポジション及び／又は向きの変化を追跡する。向きセンサ（単数又は複数）８１０は、任意選択的に、１つ以上のジャイロスコープ及び／又は１つ以上の加速度計を含む。
図２Ａ～図２Ｅは、様々な実施形態による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス（例えば、方法１０００）を示す。このプロセスは、例えば、デジタルアシスタントを実現する１つ以上の電子デバイスを使用して実行される。いくつかの実施例において、プロセスはクライアントサーバシステムを使用して実行され、プロセスのステップは、サーバとクライアントデバイスとで任意の方式で分担される。他の実施例において、プロセスのステップは、サーバと複数のクライアントデバイス（例えば、頭部装着可能システム（例えば、ヘッドセット）及びスマートウォッチ）とで分担される。したがって、プロセスの一部は、本明細書ではクライアントサーバシステムの特定のデバイスによって実行されるものとして説明されているが、プロセスがそのように限定されないことは理解されよう。他の実施例において、プロセスは、クライアントデバイスのみ（例えば、デバイス９０６）又は複数のクライアントデバイスのみを使用して実行される。このプロセスでは、いくつかのステップが任意選択的に組み合わされ、いくつかのステップの順序が任意選択的に変更され、いくつかのステップが任意選択的に省略される。いくつかの実施例では、追加のステップが例示されているプロセスと組み合わせて実行され得る。
いくつかの実施形態において、デバイス９０６は、図１Ａ～図１Ｂに示されているように実装され、例えば、デバイス８００ａ又は８００ｃである。いくつかの実施形態において、デバイス９０６は、コンピュータ、モバイルデバイス、スマートホームデバイスなどの１つ以上の他の電子デバイスと、直接的又は間接的に（例えば、ハブデバイス、サーバなどを介して）、（例えば、５Ｇ、ＷｉＦｉ、有線接続などを使用して）通信する。例えば、図２Ａ～図２Ｅに示されているように、デバイス９０６は、スマートウォッチデバイス９１０、スマートスピーカーデバイス９１２、テレビ９１４、及び／又はステレオシステム９１６に直接的又は間接的に接続され得る。いくつかの実施形態において、図１Ａ～図１Ｂに関して説明されているように、デバイス９０６は、（例えば、物理的環境の視覚的コンテンツのキャプチャ、視線検出などのための）画像センサ、向きセンサ、マイクロフォン、ロケーションセンサ、タッチ感知面、加速度計などの１つ以上のセンサを有する（及び／又はそれらを有する他のデバイスと直接的若しくは間接的に通信する）。
図２Ａ～図２Ｅを参照すると、ユーザ９０２は、プロセス９００の様々なステップにおいてデバイス９０６を使用してコンピュータ生成現実（ＣＧＲ）環境９０４に没入しているように示されている。図２Ａ～図２Ｅの右パネルは、デバイス９０６の１つ以上のディスプレイに表示される、プロセス９００のそれぞれのステップにおけるＣＧＲ環境９０４の対応する現在表示されている部分９０８（例えば、ユーザ９０２の現在の視野）をそれぞれ示している。
いくつかの実施形態において、ＣＧＲ環境９０４は、複合現実（ＭＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、仮想現実（ＶＲ）コンテンツなどを含み得る。例えば、図２Ａ～図２Ｅに示されているように、ＣＧＲ環境は、ＭＲコンテンツを含み、物理的オブジェクト及び環境（例えば、物理的デバイス９１０、９１２、９１４、又は９１６、ユーザ９０２が位置する部屋の中の家具又は壁など）並びに仮想オブジェクト９１８Ａ～Ｃ（例えば、椅子、額縁、及び花瓶を含む仮想家具アイテム）の両方をユーザが視認することを可能にする。
ここで図２Ａを参照すると、デバイス９０６は、（例えば、１つ以上のセンサを使用して）ユーザ入力を検出する。現在表示されている部分９０８Ａ（例えば、ユーザ入力を提供している間のユーザ９０２の現在の視野）では、物理的デバイステレビ９１４及びステレオシステム９１６が仮想オブジェクト９１８Ｂとともに見える。
いくつかの実施形態において、ユーザ入力は、トリガフレーズを含む音声入力などの聴覚入力、ユーザが少なくとも閾期間にわたって特定のロケーションに視線を向けるなどの視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを含み得る。例えば、図２Ａに示されているように、デバイス９０６は、ユーザ９０２が「ヘイ、アシスタント」と発言すること、及び／又はユーザ９０２が「上げて話す」ジェスチャで手首を上げることを検出する。口頭入力「ヘイ、アシスタント」と「上げて話す」ジェスチャの両方が提供されるが、（例えば、図２Ｂに関して説明されるように）これらの入力のうちの１つだけでもデジタルアシスタントセッションをトリガするのに十分であり得る。
ここで図２Ｂを参照すると、ユーザ入力がデジタルアシスタントセッションを開始するための１つ以上の基準を満たしているという判断に従って、デジタルアシスタントセッションが開始される。例えば、図２Ｂに示されているように、デジタルアシスタントセッションを開始するための基準は、既定の音声トリガ（例えば、「ヘイ、アシスタント」）を照合するための基準、及び／又は既定のジェスチャトリガ（例えば、「上げて話す」ジェスチャ）を照合するための基準を含み得るしたがって、（図２Ａのように）例示されているようにユーザ９０２が「上げて話す」ジェスチャで自分の手首を上げ、トリガフレーズ「ヘイ、アシスタント」と発言すると、デジタルアシスタントセッションが開始される。
デジタルアシスタントセッションを開始することは、ＣＧＲ環境９０４内の第１のロケーション（例えば、第１のポジション）にデジタルアシスタントオブジェクト９２０を配置することを含む。図２Ｂに示されているように、デジタルアシスタントオブジェクト９２０は、物理的なスマートスピーカーデバイス９１２の近くの第１のロケーションに位置する仮想（例えば、ＶＲ）球体である。しかしながら、デジタルアシスタントオブジェクト９２０の第１のロケーションはユーザ９０２の右側にあり、ユーザ９０２は前方を注視しているので、デジタルアシスタントオブジェクト９２０の第１のポジションは、デジタルアシスタントセッションが開始される時点で現在表示されている部分９０８Ｂの外にある（例えば、その中では見えない）。
いくつかの実施形態において、デジタルアシスタントオブジェクト９２０の第１のロケーションは、物理的環境の特徴、ＣＧＲ環境９０４の特徴、ユーザ９０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。
例えば、デジタルアシスタントオブジェクト９２０の第１のロケーションは、物理的なスマートスピーカーデバイス９１２のロケーションの近くになるように、且つ物理的オブジェクト（物理的なスマートスピーカーデバイス９１２が置かれているテーブルなど）及び／又は仮想オブジェクト９１８Ａ～Ｃ（仮想オブジェクト９１８Ｃなど）との衝突（例えば、視覚的な交差）を回避するように、選択され得る。スマートスピーカーデバイス９１２のロケーションは、事前に特定されたロケーションに基づいて（例えば、スマートスピーカーデバイス９１２のユーザがデバイスロケーションを手動で特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、スマートスピーカーデバイス９１２を認識するために、画像センサ（単数又は複数）８０８からのデータなどの画像センサデータを解析）、他のセンサデータの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る。
いくつかの実施形態において、デバイス９０６は、デジタルアシスタントセッションの状態を示す出力を提供し得る。状態出力は、２つ以上の異なる状態から選択された状態を表す２つ以上の異なる出力から選択され得る。例えば、２つ以上の状態は、アクティブ及びパッシブリスニング状態に更に細分され得るリスニング状態、応答状態、思考（例えば、処理）状態、注意獲得状態などを含み得、これらは視覚、聴覚、及び／又は触覚出力によって示され得る。
例えば、図２Ｂに示されているように、デジタルアシスタントオブジェクト９２０（例えば、仮想球体）の外観は、球体の中央に雲の形状を含み、デジタルアシスタントオブジェクト９２０が注意獲得状態にあることを示している。他の状態出力は、デジタルアシスタントオブジェクト９２０のサイズの変更、動きの動画化（例えば、デジタルアシスタントオブジェクト９２０のホッピング、ホバリングなどを動画化）、聴覚出力（例えば、デジタルアシスタントオブジェクト９２０の現在のロケーションから「発する」指向性音声出力）、照明効果の変化（例えば、デジタルアシスタントオブジェクト９２０によって発せられる照明若しくは光の変更、又はデジタルアシスタントオブジェクト９２０の方向のディスプレイの端に「ピン留めされた」ピクセル若しくは光源の変更）、触覚出力などを含み得る。
デジタルアシスタントセッションを開始することは、ＣＧＲ環境９０４内のデジタルアシスタントオブジェクト９２０の第１のロケーションを示す出力を生成させることを含む。いくつかの実施形態において、出力は、空間音を使用してロケーションを指示する聴覚出力などの聴覚出力、触覚出力、又は視覚的指示を含み得る。例えば、図２Ｂに示されているように、出力は、スマートスピーカーデバイス９１２とステレオシステム９１６から出力される口頭聴覚出力「ええ？」を含む。口頭聴覚出力「ええ？」は、空間音技術を使用して提供され得、スマートスピーカーデバイス９１２から来るオーディオ信号の成分を、ステレオシステム９１６から来るオーディオ信号の成分より大音量で生成することで、出力があたかもデジタルアシスタントオブジェクト９２０の第１のロケーションから（例えば、図２Ｂに示されているようにユーザの右手側から）来ているかのように聞こえるようにする。
別の実施例として、図２Ｂに示されているように、出力は、第１のロケーションがユーザの右にあることを示す、スマートウォッチデバイス９１０からのユーザ９０２の右手首におけるスキンタップ触覚出力を更に含む。
更なる実施例として、出力は、第１のロケーションの視覚的指示（すなわち、現在視野外にあるデジタルアシスタントオブジェクトの表示以外の視覚的指示）を含み得る。視覚出力は、第１のロケーションから放たれる光を示すＣＧＲ環境の照明の変化など、デバイス９０６のディスプレイを使用して提供され得る（例えば、現在表示されている部分９０８Ｂで見える３Ｄ空間における光及び影をレンダリングすること、第１のロケーションの方向で現在表示されている部分９０８Ｂの端に照らされたピクセル又は光源を「ピン留め」すること、及び／又はヘッドアップディスプレイ若しくは２Ｄ照明オーバーレイを表示すること）。視覚出力はまた、第１のロケーションの方向に照らされるエッジ照明（例えば、ＬＥＤなど）などの非表示ハードウェアを使用して提供され得る。照明又は光は、第１のロケーションに更に注意を引くために光度が変化し得る。
ここで図２Ｃを参照すると、いくつかの実施形態において、デジタルアシスタントセッションを開始した後に、第１のロケーションが現在表示されている部分９０８Ｃの中にあるという判断に従って（例えば、第１のロケーションがユーザ９０２の現在の視野内に入るようにユーザ９０２が配置されると）、デジタルアシスタントオブジェクト９２０が（例えば、デバイス９０６のディスプレイに）表示される。
デジタルアシスタントセッションが進むにつれて、デバイス９０６は、デジタルアシスタントセッションの更新された状態を示す更新された出力を提供できる。例えば、図２Ｃに示されているように、デジタルアシスタントセッションがアクティブリスニング状態に入ると、デジタルアシスタントオブジェクト９２０は、球体の中央に渦巻きの形状を含み、デジタルアシスタントオブジェクト９２０がアクティブリスニング状態にあることを示す。
いくつかの実施形態において、デバイス９０６は、（例えば、１つ以上のセンサを使用して）第２のユーザ入力を検出する。次いで、デバイス９０６は、例えば自然言語処理法を用いて、第２のユーザ入力の意図を判断する。例えば、図２Ｃに示されているように、デバイス９０６は、オーディオを再生する意図に相当する要求「ステレオで何か音楽を再生してください」をユーザ９０２が発話していることを検出する。
いくつかの実施形態において、デバイス９０６は、第１のロケーションが現在表示されている部分９０８Ｃ（例えば、ユーザ９０２が第２のユーザ入力を提供した時点におけるユーザ９０２の現在の視野）の中にあるという判断に従って、意図を判断する。すなわち、いくつかの実施形態において、デジタルアシスタントは専ら、ユーザ９０２がデジタルアシスタントオブジェクト９２０に注意を向け（例えば、デジタルアシスタントオブジェクト９２０を見て）、デジタルアシスタントオブジェクト９２０に対応するつもりであるという判断に従って応答する。
ここで図２Ｄを参照すると、いくつかの実施形態において、デバイス９０６は、第２のユーザ入力の意図を判断した後に、判断された意図に基づいて応答出力を提供する。例えば、図２Ｄに示されているように、デバイス９０６は、ユーザ入力「ステレオで何か音楽を再生してください」に応じて、オーディオを再生するという判断された意図に基づいて、ステレオシステム９０６から音楽が再生されるようにする。
いくつかの実施形態において、判断された意図がＣＧＲ環境９０４内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的オブジェクト又は仮想オブジェクトのいずれか）に関連するという判断に従って、応答出力を提供することは、オブジェクトロケーションの近くにデジタルアシスタントオブジェクト９２０を配置することを含む。例えば、図２Ｄに示されているように、ステレオシステム９１６から音楽を再生させることに加えて、デバイス９０６は、デジタルアシスタントオブジェクト９２０をステレオシステム９０６のロケーションの近くに再配置させ、デジタルアシスタントがタスクを遂行していることを示す。加えて、図２Ｄに示されているように、デジタルアシスタントオブジェクト９２０の外観は、図示のように球体の中央に星形状を含めるなど、デジタルアシスタントオブジェクト９２０が応答状態にあることを示すように更新されてよく、又は（例えば、図２Ｂに関して上述されているような）他の何らかの適切な状態出力が提供されてもよい。
ここで図２Ｅを参照すると、いくつかの実施形態において、デジタルアシスタントセッションは、例えば、ユーザ９０２が明示的に（例えば、音声入力、視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを使用して）デジタルアシスタントを退去させる場合に、又は自動的に（例えば、相互作用なしに所定の閾期間の後に）、終了し得る。デジタルアシスタントセッションが終了すると、デバイス９０６は、デジタルアシスタントオブジェクト９２０を退去させる。図２Ｅに示されているように、デジタルアシスタントオブジェクト９２０の現在のロケーションが現在表示されている部分９０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ９０２の現在の視野）の中にある場合、デジタルアシスタントオブジェクト９２０を退去させることは、デジタルアシスタントオブジェクト９２０の表示を中止することを含む。
いくつかの実施形態において、デジタルアシスタントを退去させることは、退去を示す更なる出力を提供することをも含み得る。退去出力は、聴覚出力（例えば、チャイム、口頭出力など）又は視覚出力（例えば、表示されたオブジェクト、ＣＧＲ環境９０４の照明の変更など）などの指示を含み得る。例えば、図２Ｅに示されているように、退去出力は、第１のロケーション（例えば、デジタルアシスタントオブジェクト９２０の初期ロケーション）に配置されたデジタルアシスタントインジケータ９２２を含み、これにより、別のデジタルアシスタントセッションが開始された場合にデジタルアシスタントオブジェクト９２０が再び出現する場所を示す。第１のロケーションは現在表示されている部分９０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ９０２の現在の視野）の中にあるので、デバイス９０６は、デジタルアシスタントインジケータ９２２を表示する。
図２Ａ～図２Ｅを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されているプロセスの作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。
図３Ａ～図３Ｂは、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置する方法１０００の流れ図を示す。方法１０００は、１つ以上のプロセッサとメモリとを有する１つ以上の電子デバイス（例えば、デバイス８００ａ、８０ｂ、８００ｃ、９０６）を使用して実行され得る。いくつかの実施形態において、方法１０００は、クライアントサーバシステムを使用して実行され、方法１０００の作業は、クライアントデバイス（例えば、８００ｃ、９０６）とサーバとで任意の方式で分担される。方法１０００のいくつかの作業は、任意選択的に組み合わされ、いくつかの作業の順序は、任意選択的に変更され、いくつかの作業は、任意選択的に省略される。
方法１０００は、ＣＧＲ環境の少なくとも一部分を表示している間に実行される。すなわち、ある特定の時間に、表示されているＣＧＲ環境の特定の部分は、ユーザ（例えば、クライアントデバイス（単数又は複数）のユーザ）の現在の視野を表し、ＣＧＲ環境のその他の部分（例えば、ユーザの背後又はユーザの周辺視野の外）は表示されない。したがって、方法１０００は、例えば、仮想オブジェクトを配置し、且つ「視覚」出力を生成することに言及するが、仮想オブジェクト及び出力のユーザにとっての実際の可視性は、ＣＧＲ環境の現在表示されている特定の部分に応じて異なり得る。「第１の時間」、「第２の時間」、「第１の部分」、「第２の部分」などの用語は、表示される仮想コンテンツを表示されない仮想コンテンツから区別するために使用され、ＣＧＲ環境の一定の順序又は既定の部分を示すことを意図していない。
いくつかの実施形態において、方法１０００のＣＧＲ環境は、仮想及び／又は物理的コンテンツ（例えば、物理的デバイス９１０、９１２、９１４、又は９１６、ユーザ９０２が位置する部屋の中の家具又は壁、及び図２Ａ～２Ｅに示されている仮想オブジェクト９１８Ａ～Ｃ）を含み得る。ＣＧＲ環境の内容は、静的であり得、又は動的であり得る。例えば、ＣＧＲ環境内の静的な物理的オブジェクトは、物理的な家具、壁、及び天井などを含み得るが、ＣＧＲ環境内の静的な仮想オブジェクトは、ＣＧＲ環境内の一定のロケーションに位置する仮想オブジェクト（例えば、仮想オブジェクト９１８Ａ～Ｃなどの仮想家具）、又はディスプレイに対して一定のロケーションに位置する仮想オブジェクト（例えば、ＣＧＲ環境の表示された部分にオーバーレイされるヘッドアップディスプレイ）を含み得る。ＣＧＲ環境内の動的な物理的オブジェクトは、ユーザ、他のユーザ、ペットなどを含み得、ＣＧＲ環境内の動的な仮想アイテムは、動くオブジェクト（例えば、仮想キャラクタ、アバター、又はペット）、或いはサイズ、形状、又は形態が変化するオブジェクトを含む。
ここで図３Ａを参照すると、ブロック１００２では、方法１０００を実施するデバイス（単数又は複数）の１つ以上のセンサによって第１のユーザ入力が検出される。例えば、１つ以上のセンサは、オーディオセンサ（例えば、マイクロフォン）、振動センサ、運動センサ（例えば、加速度計、カメラなど）、ビジュアルセンサ（例えば、光センサ、カメラなど）、タッチセンサなどを含み得る。
いくつかの実施形態において、第１のユーザ入力は、聴覚入力を含む。例えば、第１のユーザ入力は、トリガフレーズ（例えば、「ヘイ、アシスタント」）を含む音声入力を含み得る。いくつかの実施形態において、第１のユーザ入力は、視線入力を含む。例えば、ユーザは、少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、スマートスピーカー又はデバイスのロケーション）、デジタルアシスタントが支援できるオブジェクトのロケーションなど）に視線を向けることができる。いくつかの実施形態において、第１のユーザ入力は、ジェスチャ（例えば、ユーザの身体の動き）入力を含む。例えば、ユーザは、「上げて話す」ジェスチャで手首を上げることができる。いくつかの実施形態において、第１のユーザは、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力を入力する。例えば、ユーザは、スマートウォッチデバイス９１０のタッチスクリーンを押し続けることができる。
ブロック１００４では、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、デジタルアシスタントセッションが開始される。
例えば、第１のユーザ入力が聴覚入力を含む場合、基準は、十分な信頼度を有する既定の音声トリガ（例えば、「ヘイ、アシスタント」など）を照合することを含み得る。別の実施例として、第１のユーザ入力が視線入力を含む場合、基準は、ユーザが少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、デジタルアシスタントが相互作用することができるオブジェクトのロケーションなど）に視線を向けることを含み得る。別の実施例として、第１のユーザ入力がジェスチャ（例えば、ユーザの身体の動き）入力を含む場合、基準は、十分な信頼度を有する既定のジェスチャトリガ（例えば、「手首を上げて話す」動きなど）を照合することを含み得る。ユーザがデジタルアシスタントセッションを呼び出したか否かを判断するために、１つ以上の可能なトリガ入力が、まとめて、又は単独で、考慮され得る。
ブロック１００４でデジタルアシスタントセッションを開始することは、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にある第１の（例えば、初期）ロケーションにデジタルアシスタントオブジェクトを配置することを含む。すなわち、ブロック１００４を実施する電子デバイスは、デジタルアシスタントセッションが開始されるときにデジタルアシスタントオブジェクトがユーザに見えない（例えば、表示されない、又は「画面外」となる）ように、デジタルアシスタントオブジェクトをＣＧＲ環境内に配置する。
いくつかの実施形態において、ＣＧＲ環境内の第１の（例えば、初期）ロケーションは、ＣＧＲ環境内の所定のロケーションである。例えば、所定のロケーションは、ＣＧＲ環境の座標系内の既定の座標セットであってよい。所定のロケーションは、（例えば、第２のデジタルアシスタントセッションに関して以下で説明するように）以前のデジタルアシスタントセッションでユーザによって決定（例えば、選択）されたものであってもよい。
いくつかの実施形態において、ブロック１００６では、ユーザが作業している物理的環境、ユーザのポジション、又は複数のユーザのポジションなど、１つ以上の環境要因に基づいて、ＣＧＲ環境内の第１の（例えば、初期）ロケーションが判断される。
１つ以上の環境要因は、ＣＧＲ環境の特性を含み得る。例えば、第１のロケーションは、電子デバイス（例えば、図２Ａ～図２Ｅのスマートスピーカーデバイス９１２）の物理的ロケーション、別の物理的オブジェクト（例えば、家具又は部屋に駆け込むペット）の静的又は動的ロケーション、仮想オブジェクト（例えば、図２Ａ～図２Ｅの仮想オブジェクト９１８Ａ～Ｃ）の静的又は動的ロケーションなどに基づいて判断され得る。電子デバイスのロケーションは、事前に特定されたロケーションに基づいて（例えば、ユーザが手動でデバイスロケーションを特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、デバイスを認識又は視覚的に理解するために画像センサデータを解析）、他のセンサ又は接続データの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る。
１つ以上の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの後ろのロケーションであると判断され得る。別の実施例として、第１のロケーションは、ユーザの手首に球体を配置するなど、ユーザの身体上又はその付近のロケーションであると判断され得る。
１つ以上の環境要因はまた、ＣＧＲ環境の複数のユーザの複数のポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、仮想会議室やマルチプレーヤゲームなどの共有ＣＧＲ環境では、第１のロケーションは、各ユーザがどこを向いているか及び／又はどこを注視しているかに基づいて、共有ユーザの大多数にとってデジタルアシスタントオブジェクトの可視性を最小化（又は最大化）するロケーションとなるように判断され得る。
デジタルアシスタントオブジェクトは、デジタルアシスタント（例えば、デジタルアシスタントセッションのアバター）を表す仮想オブジェクトである。例えば、デジタルアシスタントオブジェクトは、仮想の球体、仮想のキャラクタ、仮想の光の玉、アバターなどであってよい。デジタルアシスタントオブジェクトは、デジタルアシスタントセッションを通じて外観及び／又は形態を変えることができ、例えば、外観を、球体から仮想の光の玉に、半透明の球体から不透明の球体に、及び／又は同様に、変えることができる。
ブロック１００８では、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力が提供される。すなわち、第１の（例えば、初期）ロケーションはＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にあるが、第１のロケーションを示す第１の出力は、ユーザがＣＧＲ環境の中でデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のを助け、例えば、ユーザの注意をデジタルアシスタントセッションに迅速且つ直感的に引き付けることによって、デジタルアシスタントセッションの効率と有効性を高める。
いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１の聴覚出力を生成させることを含む。すなわち、方法１０００を実施するデバイスは、（例えば、内蔵スピーカー又はヘッドセットを使用して）第１の聴覚出力そのものを生成し得、及び／又は１つ以上の他の好適な聴覚デバイスに第１の聴覚出力を生成させ得る。例えば、第１の聴覚出力は、口頭出力（例えば、「ええ？」、「はい？」、「お手伝いしましょうか？」など）、別の聴覚出力（例えば、チャイム、ハム音など）、及び／又は聴覚／触覚混合出力（例えば、ユーザが感じることもできる振動から生じるハム音）を含み得る。
いくつかの実施形態において、複数のスピーカー（例えば、スピーカーアレイ又はサラウンドサウンドシステム）を使用して、複数のオーディオ成分（例えば、チャネル）を異なる音量で放ち、全体的な聴覚出力が具体的に特定のロケーションから放たれているように思わせるなど、第１の聴覚出力は空間音技術を使用して提供され得る。例えば、第１の聴覚出力は、複数のスピーカーのうちの第１のスピーカーによって生成される第１のオーディオ成分（例えば、チャネル）と、複数のスピーカーのうちの第２のスピーカーによって生成される第２のオーディオ成分とを含み得る。デジタルアシスタントオブジェクトの第１のロケーションが第１のスピーカーのロケーションに近いか、それとも第２のスピーカーのロケーションに近いかの判断が行われる。第１のロケーションが第１のスピーカーのロケーションにより近いという判断に従って、第１のオーディオ成分が第２のオーディオ成分より大音量で生成される。同様に、第１のロケーションが第２のスピーカーのロケーションにより近いという判断に従って、第２のオーディオ成分が第１のオーディオ成分より大音量で生成される。
いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１の触覚出力を生成させることを含む。すなわち、方法１０００を実施するデバイス（単数又は複数）は、第１の触覚出力そのものを生成し得、及び／又は１つ以上の他の好適な触覚デバイスに第１の触覚出力を生成させ得る。触覚出力は、方法１０００を実施するデバイス（単数又は複数）のユーザによって感じられる振動、タップ、及び／又は他の触知可能な出力を含む。例えば、図２Ｂに示されているように、デバイス９１０は、ユーザ９０２の右手首に振動触覚出力を生成させられ、デジタルアシスタントオブジェクト９２０がユーザ９０２の右側にあることを示す。
いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１のロケーションの視覚的指示を表示することを含む。例えば、視覚的指示は、第１のロケーションから仮想光を放つこと、物理的環境照明のパススルーフィルタリングを変えること、及び／又は適切なホームオートメーションデバイスを使用して物理的環境の照明を変えてＣＧＲ環境を指向的に照らすことを含み得る。別の実施例として、視覚的指示は、デジタルアシスタントオブジェクト以外のインジケータを表示してユーザを第１のロケーションに誘導することを含み得る。
いくつかの実施形態において、ブロック１０１０では、第１のロケーションがＣＧＲ環境の第２の部分（例えば、第２の時間に現在表示されている部分）の中にあるという判断に従って、第１のロケーションに（例えば、方法１０００を実施するデバイスの１つ以上のディスプレイ上に）デジタルアシスタントオブジェクトが表示される。すなわち、デジタルアシスタントオブジェクトが画面外（例えば、開始時にユーザの視野外）に配置された状態で第１のデジタルアシスタントセッションを開始した後に、ユーザが（例えば、別の方向を見ることによって、又は別の入力を提供することによって）視点を変えてデジタルアシスタントオブジェクトのロケーション又はその近くを見ると、デジタルアシスタントオブジェクトがユーザに見えるようになる。
いくつかの実施形態において、ブロック１０１２では、（例えば、第１のデジタルアシスタントセッション開始後の第３の時間に）第２のユーザ入力が検出される。例えば、第２のユーザ入力は、口頭によるコマンド、質問、要求、ショートカットなどの口頭入力を含み得る。別の実施例として、第２のユーザ入力はまた、身ぶりによるコマンド、質問、要求などのジェスチャ入力、ＣＧＲ環境との相互作用を表すジェスチャ（例えば、仮想オブジェクトを「掴む」及び「落とす」）などを含み得る。別の実施例として、第２のユーザ入力は、視線入力を含み得る。
いくつかの実施形態において、ブロック１０１４では、第２のユーザ入力の意図が判断される。意図は、１つ以上のパラメータを使用して実行され得る１つ以上のタスクに対応し得る。例えば、第２のユーザ入力が口頭又は身ぶりによるコマンド、質問、又は要求を含む場合は、図２Ｃに示されている口頭ユーザ入力「ステレオで何か音楽を再生してください」からオーディオを再生する意図を判断するなど、自然言語処理技術を用いて意図が判断され得る。別の実施例として、第２のユーザ入力がジェスチャを含む場合は、ジェスチャのタイプ（単数又は複数）、ジェスチャのロケーション（単数又は複数）、及び／又はＣＧＲ環境内の様々なオブジェクトのロケーションに基づいて、意図が判断され得る。例えば、掴んで落とすタイプのジェスチャは、「掴む」ジェスチャのロケーション又はその近くに配置された仮想オブジェクトを「落とす」ジェスチャのロケーションに移動させる意図に対応し得る。
いくつかの実施形態において、第２のユーザ入力の意図の判断は専ら、デジタルアシスタントオブジェクトの現在のロケーションがＣＧＲ環境の現在表示されている部分の中にあるという判断に従って行われる。すなわち、ユーザが物理的な部屋の中の別の人又はマルチプレーヤゲームの中の別のプレーヤと話すなど、検出されるユーザ入力にはデジタルアシスタントセッションを対象としないものもある。ユーザがデジタルアシスタントオブジェクトを見ている（又はその近くにいる）間に受け取られたユーザ入力のみを処理し、且つそれのみに応答することで、例えば、意図されていない相互作用が生じる見込みが低下し、デジタルアシスタントセッションの効率が向上する。
いくつかの実施形態において、ブロック１０１６では、判断された意図に基づいて第２の出力が提供される。第２の出力を提供することは、判断された意図に対応する１つ以上のタスクを実行させることを含み得る。例えば、図２Ａ～２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対して、第２の出力は、ステレオシステム９１６に何らかの音楽を再生させることを含む。別の実施例として、身ぶりによる入力「今日の天気は？」に対して、第２の出力は、雷雨のアイコンと温度を示すウィジェットを表示することを含み得る。
いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するか否かを判断することを含む。例えば、第２のユーザ入力は、口頭入力「テレビのそばを通ってください」や掴んで落とすジェスチャ入力など、デジタルアシスタントを再配置する明示的な要求を含み得る。別の実施例として、第２のユーザ入力は、デジタルアシスタントオブジェクトの移動を開始するために、「摘まむ」又は「掴む」と組み合わされた、デジタルアシスタントオブジェクトの現在のロケーションを起点とする視線入力を含み得る。
判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、第２のユーザ入力から第２のロケーションが判断される。例えば、口頭入力「テレビのそばを通ってください」から第２のロケーション「テレビのそば」が判断され得、掴んで落とすジェスチャ入力から「落とす」ジェスチャに位置する若しくはその近くに位置する第２のロケーションが判断され得、又は視線入力からユーザの視線のロケーションに位置する若しくはその近くに位置する第２のロケーションが判断され得る。
更に、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、デジタルアシスタントオブジェクトは第２のロケーションに配置される。（例えば、第４の時間に）ＣＧＲ環境の現在表示されている（例えば、第２の）部分の中に第２のロケーションがあるという判断に従って、デジタルアシスタントオブジェクトはＣＧＲ環境内の第２のロケーションに表示される。すなわち、デジタルアシスタントオブジェクトを、第２のユーザ入力が検出されたときのそのロケーションから第２のユーザ入力から判断された第２のロケーションに再配置する間に、デジタルアシスタントオブジェクトは、そのロケーションがユーザの現在の視野内に留まる限りは、表示される（例えば、あるロケーションから別のロケーションへのデジタルアシスタントオブジェクトの移動を動画化することを含む）。
いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図が、ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的又は仮想オブジェクト）に関連するか否かを判断することを含む。判断された意図がＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、デジタルアシスタントはオブジェクトロケーションに近い第３のロケーションに配置される。すなわち、デジタルアシスタントオブジェクトが関連するオブジェクトの近くに移動して、そのオブジェクトとの相互作用を示し、及び／又はそのオブジェクト若しくは相互作用に注意を引く。例えば、図２Ａ～２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対し、あたかもデジタルアシスタントオブジェクト９２０自体がステレオシステム９１６をオンにして、ステレオが関与する要求されたタスクが実行されていることをユーザに示しているかのように、デジタルアシスタントオブジェクト９２０がステレオシステム９１６の近くに移動する。
いくつかの実施形態において、ブロック１０１８では、第２の出力の１つ以上の特性に基づいて、第３の出力が提供される。第２の出力の１つ以上の特性は、第２の出力のタイプ（例えば、視覚、聴覚、又は触覚）、（例えば、ＣＧＲ環境内で実行されるタスクのための）ＣＧＲ環境内の第２の出力のロケーションなどを含み得る。例えば、図２Ａ～図２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対して、第３の出力は、口頭出力「ＯＫ、音楽を再生しています」を含む。別の実施例として、身ぶりによる入力「今日の天気は？」に対して、第３の出力は、表示された天気ウィジェット（例えば、第２の出力）の近くで跳ねる又は小刻みに揺れるデジタルアシスタントオブジェクトを動画化することを含み得る。説明されているように第３の出力を提供することによって、例えば、要求されたタスクの実行及び／又は完了がユーザに直ちに明らかではない場合には、その実行及び／又は完了にユーザの注意を引き付けることによって、デジタルアシスタントセッションの効率が向上する。
いくつかの実施形態において、ブロック１０２０では、２つ以上の異なる出力から選択された第５の出力が提供されて、２つ以上の異なる状態から選択された第１のデジタルアシスタントセッションの状態を示す。第１のデジタルアシスタントセッションの２つ以上の異なる状態は、１つ以上のリスニング状態（例えば、アクティブ又はパッシブリスニング）、１つ以上の応答状態、１つ以上の処理（例えば、思考）状態、１つ以上の失敗状態、１つ以上の注意獲得状態、及び／又は１つ以上の遷移（例えば、移動、出現、又は消失）状態を含み得る。異なる出力と異なる状態との間には一対一の対応関係が存在し得、１つ以上の状態が同じ出力によって表され得、又は１つ以上の出力が同じ状態（又は同じ状態のバリエーション）を表し得る。
例えば、図２Ａ～図２Ｅに示されているように、デジタルアシスタントオブジェクト９２０は、最初にユーザの注意を引き（例えば、初期ロケーションを示す）、ユーザ入力を聞き、ユーザ入力に応答する／ユーザの注意を応答に引き付ける間に、異なる外観を呈する。他の第５の（例えば、状態）出力は、デジタルアシスタントオブジェクトのサイズの変更、動きの動画化、聴覚出力（例えば、デジタルアシスタントオブジェクトの現在のロケーションから「発する」指向性音声出力）、照明効果の変化、他の視覚出力、触覚出力などを含み得る。
第１のデジタルアシスタントセッション中の任意の時点で、（例えば、ユーザが視点を変えるのに応じて）ＣＧＲ環境の現在表示されている部分が更新され、デジタルアシスタントオブジェクトの現在のロケーションが現在表示されている部分にもはや含まれなくなった（例えば、ユーザにもはや見えなくなった）場合は、デジタルアシスタントの現在のロケーションを示す追加の出力が提供され得る。例えば、現在のポジションを示す追加の出力は、ブロック１００８に関して説明されているように提供され得る（例えば、空間聴覚出力、視覚出力、触覚出力など）。
いくつかの実施形態において、第１のデジタルアシスタントセッションは、例えば、ユーザによる明示的な退去の際に、又は相互作用なしに閾期間が経過した後に、終了する。第１のデジタルアシスタントセッションが終了すると、ブロック１０２２でデジタルアシスタントオブジェクトが退去させられる（例えば、ＣＧＲ環境から除去される）。デジタルアシスタントセッションが終了する時点でデジタルアシスタントオブジェクトがＣＧＲ環境の表示されている部分の中に位置する場合、デジタルアシスタントオブジェクトを退去させることは、デジタルアシスタントオブジェクトの表示を中止することを含む。
いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させるときには、デジタルアシスタントオブジェクトの退去を示す第４の出力が提供される。第４の出力は、１つ以上の視覚出力（例えば、かすかな光、ＣＧＲ環境内の照明をデジタルアシスタントセッション前の状態に戻すことなど）、１つ以上の聴覚出力（例えば、「バイ」などの口頭出力、チャイムなど）、１つ以上の触覚出力などを含み得る。例えば、図２Ｅに示されているように、第４の出力を提供することは、第１のロケーションにデジタルアシスタントインジケータ９２２を配置することを含み得る。第４の出力は、第１のデジタルアシスタントセッションが終了したことをユーザに示すことができ、ユーザが後続の呼び出しにおいてより速やかにデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のに役立つことができる。
いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させた後には、第３のユーザ入力が検出される。第３のユーザ入力は、第１のユーザ入力（例えば、第１のデジタルアシスタントセッションを呼び出すユーザ入力）に関して説明されているように、聴覚入力、視線入力、ジェスチャ入力、又はデバイス入力（例えば、ボタン押下、タップ、スワイプなど）であり得る。（例えば、ブロック１００４に関して上述されているように）第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションが開始される。
（例えば、ブロック１０１６に関して上述されているように）デジタルアシスタントオブジェクトを再配置することに関連する第２のユーザ入力が第１のデジタルアシスタントセッション中に受け取られたいくつかの実施形態において、第２のデジタルアシスタントセッションを開始することは、デジタルアシスタントオブジェクトを第２のロケーション（例えば、第２のユーザ入力で要求されたロケーション）に配置することを含む。すなわち、いくつかの実施形態において、ユーザがデジタルアシスタントオブジェクトを明示的に移動させた後には、ユーザによって選択されたロケーションが、後続の呼び出しのときにデジタルアシスタントオブジェクトが出現する新しい「デフォルト」位置になる。
図３Ａ～図３Ｂを参照して上述されている方法は、任意選択的に、図１Ａ～図１Ｂ及び図２Ａ～図２Ｅに示されている構成要素によって実施される。例えば、例示されている方法の作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂ及び図２Ａ～図２Ｅに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。
図４Ａ～図４Ｅは、様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス（例えば、方法１２００）を示す。このプロセスは、例えば、デジタルアシスタントを実現する１つ以上の電子デバイスを使用して実行される。いくつかの実施例において、プロセスはクライアントサーバシステムを使用して実行され、プロセスのステップは、サーバとクライアントデバイスとで任意の方式で分担される。他の実施例において、プロセスのステップは、サーバと複数のクライアントデバイス（例えば、頭部装着可能システム（例えば、ヘッドセット）及びスマートウォッチ）とで分担される。したがって、プロセスの一部は、本明細書ではクライアントサーバシステムの特定のデバイスによって実行されるものとして説明されているが、プロセスがそのように限定されないことは理解されよう。他の実施例において、プロセスは、クライアントデバイス（例えば、デバイス１１０６）のみ、又は複数のクライアントデバイスのみを使用して実行される。このプロセスでは、いくつかのステップが任意選択的に組み合わされ、いくつかのステップの順序が任意選択的に変更され、いくつかのステップが任意選択的に省略される。いくつかの実施例では、追加のステップが例示されているプロセスと組み合わせて実行され得る。
図４Ａ～図４Ｅを参照すると、ユーザ１１０２は、プロセスの様々なステップにおいてデバイス１１０６を使用してコンピュータ生成現実（ＣＧＲ）環境１１０４に没入しているように示されている。図４Ａ～４Ｅの右パネルは、デバイス１１０６の１つ以上のディスプレイに表示される、プロセスのそれぞれのステップにおけるＣＧＲ環境１１０４の対応する現在表示されている部分１１０８（例えば、ユーザ１１０２の現在の視野）を示している。デバイス１１０６は、図１Ａ～１Ｂと図２Ａ～２Ｅのデバイス９０６に関して上述されているように実装され得る。
いくつかの実施形態において、ＣＧＲ環境１１０４は、複合現実（ＭＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、仮想現実（ＶＲ）コンテンツなどを含み得る。例えば、図４Ａ～図４Ｅに示されているように、ＣＧＲ環境１１０４は、ＭＲコンテンツを含み、物理的オブジェクト及び環境（例えば、物理的デバイス１１１０、１１１２、１１１４、又は１１１６、ユーザ１１０２が位置する部屋の中の家具又は壁など）並びに仮想オブジェクト１１１８Ａ～Ｃ（例えば、椅子、額縁、及び花瓶を含む仮想家具アイテム）の両方をユーザが視認することを可能にする。
ここで図４Ａを参照すると、デバイス１１０６は、（例えば、１つ以上のセンサを使用して）ユーザ入力を検出する。現在表示されている部分１１０８Ａ（例えば、ユーザ入力を提供している間のユーザ９０２の現在の視野）では、物理的デバイステレビ１１１４及びステレオシステム１１１６が、仮想オブジェクト１１１８Ｂとともに見える。
いくつかの実施形態において、ユーザ入力は、トリガフレーズを含む音声入力などの聴覚入力、ユーザが少なくとも閾期間にわたって特定のロケーションに視線を向けるなどの視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを含み得る。例えば、図４Ａに示されているように、デバイス１１０６は、ユーザ１１０２が「ヘイ、アシスタント」と発言していることを検出する。ユーザがデジタルアシスタントセッションを呼び出したか否かを判断するために、１つ以上の可能なトリガ入力が、まとめて、又は単独で、考慮され得る。
ここで図４Ｂを参照すると、ユーザ入力がデジタルアシスタントセッションを開始するための１つ以上の基準を満たしているという判断に従って、第１のデジタルアシスタントセッションが開始される。例えば、図４Ｂに示されているように、デジタルアシスタントセッションを開始するための基準は、既定の音声トリガ（例えば、「ヘイ、アシスタント」）を照合する基準を含み得る。したがって、（図４Ａのように）ユーザ１１０２が例示されているようにトリガフレーズ「ヘイ、アシスタント」を発言すると、デジタルアシスタントセッションが開始される。
第１のデジタルアシスタントセッションを開始することは、ＣＧＲ環境１１０４内の第１のロケーション（例えば、第１のポジション）でデジタルアシスタントオブジェクト１１２０のインスタンスを生成することを含む。図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０は、ユーザ１１０２の背後の第１のロケーションに位置する仮想（例えば、ＶＲ）球体である。したがって、デジタルアシスタントオブジェクト１１２０の第１のポジションは、デジタルアシスタントセッションが開始される時点で現在表示されている部分１１０８Ｂの外にある（例えば、その中では見えない）。
いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の第１のロケーションは、物理的環境の特徴、ＣＧＲ環境１１０４の特徴、ユーザ１１０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。例えば、図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０の第１のロケーションは、ユーザ１１０２がＣＧＲ環境の中で立っている場所とユーザ１１０２が見ている方向とに基づいて、ユーザ１１０２が現在見ることができないロケーション（例えば、現在表示されている部分１１０８Ｂの外のロケーション）となるように選択される。
いくつかの実施形態において、デバイス１１０６は、デジタルアシスタントセッションの状態を示す出力を提供し得る。状態出力は、２つ以上の異なる状態から選択された状態を表す２つ以上の異なる出力から選択され得る。例えば、２つ以上の状態は、アクティブ及びパッシブリスニング状態に更に細分され得るリスニング状態、応答状態、思考（例えば、処理）状態、注意獲得状態などを含み得、これらは視覚、聴覚、及び／又は触覚出力によって示され得る。例えば、図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０（例えば、仮想球体）の外観は、球体の中央に渦巻きの形状を含み、デジタルアシスタントオブジェクト１１２０がリスニング状態にあることを示している。図２Ａ～図２Ｅに関して説明されているように、会話の状態が進むにつれて、異なる状態を表す更新された状態出力が提供され得る。
ここで図４Ｂ～４Ｃを参照すると、第１のデジタルアシスタントセッションを開始することは、現在表示されている部分１１０８Ｃの中で第２に移動するデジタルアシスタントオブジェクト１１２０を動画化することを更に含む。すなわち、デジタルアシスタントオブジェクト１１２０は、ＣＧＲ環境１１０４の中を移動してユーザ１１０２に見えるようになる。
いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の再配置を動画化することは、第１のロケーションと現在表示されている部分１１０８Ｃの中にある第２のロケーションとの間の経路の一部分に相当する移動経路を判断することを含む。すなわち、図４Ｃに示されているように、デジタルアシスタントオブジェクト１１２０は、初期（例えば、第１の）ロケーションから「視野内に飛んでいき」、ユーザ１１０２に見える最終（例えば、第２の）ロケーションで止まるように動画化される。
いくつかの実施形態において、移動経路は、ＣＧＲ環境の現在表示されている部分（単数又は複数）１１０８Ｂ及び１１０８Ｃの中に位置する１つ以上のオブジェクト（例えば、物理的又は仮想オブジェクト）を通過しないように判断される。例えば、図４Ｃに示されているように、移動経路は、あたかもデジタルアシスタントオブジェクト１１２０がＣＧＲ環境の中の「素早く身をかわす」オブジェクトであるかのように、ユーザ１１０２が位置する部屋の中の（物理的な）家具と、又はＣＧＲ環境１１０４内の仮想オブジェクト（例えば、仮想オブジェクト１１１８Ｃ）と、交差しない。
いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の第２のロケーションは、物理的環境の特徴、ＣＧＲ環境１１０４の特徴、ユーザ１１０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。例えば、図４Ｃに示されているように、デジタルアシスタントオブジェクト１１２０の第２のロケーションは、（例えば、ユーザ１１０２のポジションに基づいて）ユーザ１１０２に見えるように、且つ物理的オブジェクト（テレビ１１１４など）及び／又は仮想オブジェクト１１１８（仮想オブジェクト１１１８Ｃなど）との衝突（例えば、視覚的な干渉）を回避するように、選択される。
ここで図４Ｃを参照すると、いくつかの実施形態において、デバイス１１０６は、（例えば、１つ以上のセンサを使用して）第２のユーザ入力を検出する。次いで、デバイス１１０６は、例えば自然言語処理法を用いて、第２のユーザ入力の意図を判断する。判断された意図に基づいて応答出力が提供される。例えば、図４Ｃに示されているように、デバイス１１０６は、デジタルアシスタントオブジェクト１１２０を再配置する意図に相当する要求「棚に座ってください」をユーザ１１０２が発話していることを検出する。
ここで図４Ｄを参照すると、判断された意図がデジタルインテントオブジェクト１１２０を再配置することに関連する実施形態において、応答出力を提供することは、第２のユーザ入力から第３のロケーションを判断することを含む。デジタルアシスタントオブジェクト１２０は、次いで、第３のロケーションに配置され、第３のロケーションが現在表示されている部分１１０８Ｄの中にあるという判断に従って、デジタルアシスタントオブジェクト１１２０は、ＣＧＲ環境１１０４内の第３のロケーションに表示される。
例えば、図４Ｃに示されているユーザ入力に基づいて、図４Ｄでは、判断された第３のロケーションは、ＣＧＲ環境１１０４内の（物理的な）棚上のロケーションであり、したがって、デジタルアシスタントオブジェクト１１２０は、（ユーザ１１０２の真正面の）第２のロケーションから棚上の第３のロケーションに移動する。棚は現在表示されている部分１１０８の中にあるので、デバイス１１０６は、棚の上に「座っている」デジタルアシスタントオブジェクト１１２０を表示する。
ここで図４Ｅを参照すると、いくつかの実施形態において、デジタルアシスタントセッションは、例えば、ユーザ１１０２が明示的に（例えば、音声入力、視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを使用して）デジタルアシスタントを退去させる場合に、又は自動的に（例えば、相互作用なしに所定の閾期間の後に）、終了し得る。デジタルアシスタントセッションが終了すると、デバイス１１０６は、デジタルアシスタントオブジェクト１１２０を退去させる。図４Ｅに示されているように、デジタルアシスタントオブジェクト１１２０の第３のロケーションが現在表示されている部分１１０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ１１０２の現在の視野）の中にある場合、デジタルアシスタントオブジェクト１１２０を退去させることは、デジタルアシスタントオブジェクト１１２０の表示を中止することを含む。
いくつかの実施形態において、デジタルアシスタントを退去させることは、退去を示す更なる出力を提供することをも含み得る。退去出力は、聴覚出力（例えば、チャイム、口頭出力など）又は視覚出力（例えば、表示されたオブジェクト、ＣＧＲ環境１１０４の照明の変更など）などの指示を含み得る。例えば、図４Ｅに示されているように、退去出力は、第１のロケーション（例えば、デジタルアシスタントオブジェクト１１２０の初期ロケーション）に配置されたデジタルアシスタントインジケータ１１２２を含み、これにより、別のデジタルアシスタントセッションが開始された場合にデジタルアシスタントオブジェクト９２０が再び出現する場所を示す。第３のロケーションはまだ現在表示されている部分１１０８Ｅ（例えば、第１のデジタルアシスタントセッションが終了した後の時点におけるユーザ１１０２の現在の視野）の中にあるので、デバイス１１０６は、デジタルアシスタントインジケータ１１２２を表示する。
いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０を退去させた後に、デバイス１１０６は、第３のユーザ入力を検出する。例えば、図４Ｆに示されているように、デバイス１１０６は、ユーザ入力「ヘイ、アシスタント」をユーザ１１０２が発話していることを検出する。図４Ａに関して上述されているように、第３の入力がデジタルアシスタントセッションを開始するための基準を満たしている（例えば、既定の音声トリガ、視線トリガ、又はジェスチャトリガに一致する）場合は、第２のデジタルアシスタントセッションが開始される。
しかしながら、図４Ｆに示されているように、ユーザ１１０２は以前にデジタルアシスタントオブジェクト１１２０を棚に再配置していたので、第２のデジタルアシスタントセッションを開始することは、デジタルアシスタントオブジェクトを第３のロケーションに配置することを含む。すなわち、いくつかの実施形態において、デジタルアシスタントセッションの最中にデジタルアシスタントオブジェクト１１２０を手動で再配置した後には、デジタルアシスタントオブジェクト１１２０のデフォルト（例えば、初期）ロケーションがユーザ１１０２の要求に従って変わる。
図４Ａ～図４Ｆを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されているプロセスの作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。
図５Ａ～図５Ｂは、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置する方法１２００を示す流れ図である。方法１２００は、１つ以上のプロセッサとメモリとを有する１つ以上の電子デバイス（例えば、デバイス８００ａ、８００ｂ、８００ｃ、及び／又は１１０６）を使用して実行され得る。いくつかの実施形態において、方法１２００は、クライアントサーバシステムを使用して実行され、方法１２００の作業は、クライアントデバイス（例えば、８００ｃ、１１０６）とサーバとで任意の方式で分担される。方法１２００のいくつかの作業は、任意選択的に組み合わされ、いくつかの作業の順序は、任意選択的に変更され、いくつかの作業は、任意選択的に省略される。
方法１２００は、ＣＧＲ環境の少なくとも一部分を表示している間に実行される。すなわち、ある特定の時間に、表示されているＣＧＲ環境の特定の部分は、ユーザ（例えば、クライアントデバイス（単数又は複数）のユーザ）の現在の視野を表し、ＣＧＲ環境のその他の部分（例えば、ユーザの背後又はユーザの周辺視野の外）は表示されない。したがって、方法１２００は、例えば、仮想オブジェクトを配置し、且つ「視覚」出力を生成することに言及するが、仮想オブジェクト及び出力のユーザにとっての実際の可視性は、ＣＧＲ環境の現在表示されている特定の部分に応じて異なり得る。「第１の時間」、「第２の時間」、「第１の部分」、「第２の部分」などの用語は、表示される仮想コンテンツを表示されない仮想コンテンツから区別するために使用され、ＣＧＲ環境の一定の順序又は既定の部分を示すことを意図していない。
いくつかの実施形態において、方法１２００のＣＧＲ環境は、仮想及び／又は物理的コンテンツ（例えば、物理的デバイス１１１０、１１１２、１１１４、又は１１１６、ユーザ１１０２が位置する部屋の中の家具又は壁、及び図４Ａ～４Ｆに示されている仮想オブジェクト１１８Ａ～Ｃ）を含み得る。ＣＧＲ環境の内容は、静的であり得、又は動的であり得る。例えば、ＣＧＲ環境内の静的な物理的オブジェクトは、物理的な家具、壁、及び天井などを含み得るが、ＣＧＲ環境内の静的な仮想オブジェクトは、ＣＧＲ環境内の一定のロケーションに位置する仮想オブジェクト（例えば、仮想オブジェクト１１１８Ａ～Ｃなどの仮想家具）、又はディスプレイに対して一定のロケーションに位置する仮想オブジェクト（例えば、ＣＧＲ環境の表示された部分にオーバーレイされるヘッドアップディスプレイ）を含み得る。ＣＧＲ環境内の動的な物理的オブジェクトは、ユーザ、他のユーザ、ペットなどを含み得、ＣＧＲ環境内の動的な仮想アイテムは、動くオブジェクト（例えば、仮想キャラクタ、アバター、又はペット）、或いはサイズ、形状、又は形態が変化するオブジェクトを含む。
ここで図５Ａを参照すると、ブロック１２０２にでは、方法１２００を実施するデバイス（単数又は複数）の１つ以上のセンサによって第１のユーザ入力が検出される。例えば、１つ以上のセンサは、オーディオセンサ（例えば、マイクロフォン）、振動センサ、運動センサ（例えば、加速度計、カメラなど）、ビジュアルセンサ（例えば、光センサ、カメラなど）、タッチセンサなどを含み得る。
いくつかの実施形態において、第１のユーザ入力は、聴覚入力を含む。例えば、第１のユーザ入力は、トリガフレーズ（例えば、「ヘイ、アシスタント」）を含む音声入力を含み得る。いくつかの実施形態において、第１のユーザ入力は、視線入力を含む。例えば、ユーザは、少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、デジタルアシスタントが支援できるオブジェクトのロケーションなど）に視線を向けることができる。いくつかの実施形態において、第１のユーザ入力は、ジェスチャ（例えば、ユーザの身体の動き）入力を含む。例えば、ユーザは、「上げて話す」ジェスチャで手首を上げることができる。いくつかの実施形態において、第１のユーザは、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力を入力する。例えば、ユーザは、スマートウォッチデバイス９１０のタッチスクリーンを押し続けることができる。
ブロック１２０４では、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションが開始される。
例えば、第１のユーザ入力が聴覚入力を含む場合、基準は、十分な信頼度を有する既定の音声トリガ（例えば、「ヘイ、アシスタント」など）を照合することを含み得る。別の実施例として、第１のユーザ入力が視線入力を含む場合、基準は、ユーザが少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、デジタルアシスタントが相互作用することができるオブジェクトのロケーションなど）に視線を向けることを含み得る。別の実施例として、第１のユーザ入力がジェスチャ（例えば、ユーザの身体の動き）入力を含む場合、基準は、十分な信頼度を有する既定のジェスチャトリガ（例えば、「手首を上げて話す」動きなど）を照合することを含み得る。
ブロック１２０４でデジタルアシスタントセッションを開始することは、ブロック１２０６にて、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にある第１の（例えば、初期）ロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することを含む。すなわち、ブロック１２０４を実施する電子デバイスは最初に、デジタルアシスタントセッションが開始されるときにデジタルアシスタントオブジェクトがユーザに見えない（例えば、表示されない、又は「画面外」である）ように、デジタルアシスタントオブジェクトをＣＧＲ環境内に配置する。
いくつかの実施形態において、ＣＧＲ環境内の第１の（例えば、初期）ロケーションは、ＣＧＲ環境内の所定のロケーションである。例えば、所定のロケーションは、ＣＧＲ環境の座標系内の既定の座標セットであってよい。所定のロケーションは、（例えば、第２のデジタルアシスタントセッションに関して以下で説明するように）以前のデジタルアシスタントセッションでユーザによって決定（例えば、選択）されたものであってもよい。
いくつかの実施形態において、ブロック１２０８では、ユーザが作業している物理的環境、ユーザのポジション、又は複数のユーザのポジションなど、１つ以上の第１の環境要因に基づいて、ＣＧＲ環境内の第１の（例えば、初期）ロケーションが判断される。１つ以上の第１の環境要因は、例えば、上記で図３Ａのブロック１００６に関して説明されているように、ＣＧＲ環境の特性を含み得る。１つ以上の第１の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの後ろのロケーションであると判断され得る。
デジタルアシスタントオブジェクトは、デジタルアシスタント（例えば、デジタルアシスタントセッションのアバター）を表す仮想オブジェクトである。例えば、デジタルアシスタントオブジェクトは、仮想の球体、仮想のキャラクタ、仮想の光の玉などであってよい。デジタルアシスタントオブジェクトは、デジタルアシスタントセッションを通じて外観及び／又は形態を変えることができ、例えば、外観を、球体から仮想の光の玉に、半透明の球体から不透明の球体に、及び／又は同様に、変えることができる。
ブロック１２１０では、第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中で第２のロケーションに移動するデジタルアシスタントオブジェクトが動画化される。すなわち、第１の（例えば、初期）ロケーションは、ＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にあるが、デジタルアシスタントオブジェクトはポジションを速やかに変えてユーザに見えるようになり、例えば、ＣＧＲ環境への没入度を低下させることなく、ユーザの注意をデジタルアシスタントセッションに迅速且つ直感的に引き付けることによって、デジタルアシスタントセッションの効率と有効性を高める。
いくつかの実施形態において、ブロック１２１２では、ブロック１２０８における第１のロケーションの判断と同様に、１つ以上の第２の環境要因に基づいて第２のロケーションが判断される。
１つ以上の第２の環境要因は、ＣＧＲ環境の特性を含み得る。例えば、第２のロケーションは、ＣＧＲ環境の中の物理的又は仮想オブジェクトの静的又は動的なロケーションに基づいて判断され得、例えば、デジタルアシスタントオブジェクトがそれらの他のオブジェクトと衝突しない（例えば、視覚的に交差しない）ようにする。例えば、第２のロケーションは、電子デバイスのロケーションにあるか又はその近くにあると判断され得る。デバイスロケーションは、事前に特定されたロケーションに基づいて（例えば、ユーザが手動でデバイスロケーションを特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、デバイスを認識又は視覚的に理解するために画像センサデータを解析）、他のセンサ又は接続データの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る
１つ以上の第２の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの正面にある及び／又はユーザに見えるロケーションであると判断され得る。
いくつかの実施形態において、ＣＧＲ環境の第１の部分の中で第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することは、第１のロケーションで消失し、第２のロケーションで再び出現する（例えば、あるロケーションから別のロケーションに、瞬時に、又は所定の遅延を伴って、テレポートする）デジタルアシスタントオブジェクトを動画化することを含む。
いくつかの実施形態において、ブロック１２１４では、移動経路が判断される。いくつかの実施形態において、移動経路は、第１のロケーションと第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中にある第２のロケーションとの間の経路の一部分に相当する。すなわち、第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することは、デジタルアシスタントオブジェクトが第２のロケーションに到達するために取るべき目に見える動きを判断することを含む。例えば、デジタルアシスタントオブジェクトは、単純に最も短い（例えば、最も直接的な）経路を取ってよく、又は滑らかな「飛行」経路など特定の可視効果を達成するより長い経路、跳ねる、上下する、及び曲がりくねるといった異質な動きを伴う経路などを取ってもよい。
いくつかの実施形態において、移動経路は、第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中に位置する少なくとも１つの追加のオブジェクトを移動経路が通過しないように判断される。例えば、デジタルアシスタントオブジェクトの移動経路はコンテキストアウェアであってよく、ＣＧＲ環境の中の他の物理的又は仮想オブジェクトを避ける又はかわすように移動する。デジタルアシスタントオブジェクトはまた、部屋に駆け込む（現実の物理的な）ペット、ＣＧＲ環境の別のユーザ、又は動く仮想オブジェクト（図４Ａ～図４Ｆの仮想オブジェクト１１１８Ａ～Ｃなど）など、動的なオブジェクトをかわすことが可能であり得る。
いくつかの実施形態において、ブロック１２１６では、（例えば、第１のデジタルアシスタントセッションの開始後のある時点に）第２のユーザ入力が検出される。例えば、第２のユーザ入力は、口頭によるコマンド、質問、要求、ショートカットなどの口頭入力を含み得る。別の実施例として、第２のユーザ入力はまた、身ぶりによるコマンド、質問、要求などのジェスチャ入力、ＣＧＲ環境との相互作用を表すジェスチャ（例えば、仮想オブジェクトを「掴む」及び「落とす」）などを含み得る。別の実施例として、第２のユーザ入力は、視線入力を含み得る。
いくつかの実施形態において、ブロック１２１８では、第２のユーザ入力の意図が判断される。意図は、１つ以上のパラメータを使用して実行され得る１つ以上のタスクに対応し得る。例えば、第２のユーザ入力が口頭又は身ぶりによるコマンド、質問、又は要求を含む場合は、図４Ｃに示されている口頭ユーザ入力「棚に座ってください」からオーディオを再生する意図を判断するなど、自然言語処理技術を用いて意図が判断され得る。別の実施例として、第２のユーザ入力がジェスチャを含む場合は、ジェスチャのタイプ（単数又は複数）、ジェスチャのロケーション（単数又は複数）、及び／又はＣＧＲ環境内の様々なオブジェクトのロケーションに基づいて、意図が判断され得る。例えば、掴んで落とすタイプのジェスチャは、「掴む」ジェスチャのロケーション又はその近くに配置された仮想オブジェクトを「落とす」ジェスチャのロケーションに移動させる意図に対応し得る。
いくつかの実施形態において、第２のユーザ入力の意図の判断は専ら、デジタルアシスタントオブジェクトの現在のロケーションが、第２のユーザ入力が受け取られる時点にＣＧＲ環境の現在表示されている部分の中にあるという判断に従って行われる。すなわち、ユーザが物理的な部屋の中の別の人又はマルチプレーヤゲームの中の別のプレーヤと話すなど、検出されるユーザ入力にはデジタルアシスタントセッションを対象としないものもある。ユーザがデジタルアシスタントオブジェクトを見ている（又はその近くにいる）間に受け取られたユーザ入力のみを処理し、且つそれのみに応答することで、例えば、意図されていない相互作用が生じる見込みが低下し、デジタルアシスタントセッションの効率が向上する。
いくつかの実施形態において、ブロック１２２０では、判断された意図に基づいて第１の出力が提供される。第１の出力を提供することは、判断された意図に対応する１つ以上のタスクを実行させることを含み得る。例えば、図４Ａ～図４Ｆに示されているように、口頭ユーザ入力「棚に座ってください」に対して、第２の出力は、ＣＧＲ環境の中でデジタルアシスタントオブジェクト１１２０を棚に再配置することを含む。別の実施例として、身ぶりによる入力「何時ですか？」に対して、第１の出力は、時計の文字盤を示すウィジェットを表示することを含み得る。
いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するか否かを判断することを含む。例えば、第２のユーザ入力は、図４Ａ～図４Ｆに示されている口頭出力「棚に座ってください」や掴んで落とすジェスチャ入力など、デジタルアシスタントを再配置する明示的な要求を含み得る。別の実施例として、第２のユーザ入力は、デジタルアシスタントオブジェクトの現在のロケーションを起点とし、ＣＧＲ環境の表示された部分を横切って移動し、新たなロケーションで止まる、特定の視線入力を含み得る。
判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、第２のユーザ入力から第３のロケーションが判断される。例えば口頭入力「棚に座ってください」から「棚の上」の第３のロケーションが判断され得、掴んで落とすジェスチャ入力から「落とす」ジェスチャに位置する若しくはその近くに位置する第３のロケーションが判断され得、又は視線入力からユーザの視線のロケーションに位置する若しくはその近くに位置する第３のロケーションが判断され得る。
更に、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、デジタルアシスタントオブジェクトは第２のロケーションに配置される。（例えば、第２の時間に）ＣＧＲ環境の現在表示されている（例えば、第２の）部分の中に第３のロケーションがあるという判断に従って、デジタルアシスタントオブジェクトはＣＧＲ環境内の第３のロケーションに表示される。すなわち、デジタルアシスタントオブジェクトを、第２のユーザ入力が検出されたときのそのロケーションから第２のユーザ入力から判断された第３のロケーションに再配置する間に、デジタルアシスタントオブジェクトは、そのロケーションがユーザの現在の視野内に留まる限りは、表示される（例えば、あるロケーションから別のロケーションへのデジタルアシスタントオブジェクトの移動を動画化することを含む）。
いくつかの実施形態において、判断された意図に基づいて第１の出力を提供することは、判断された意図が、ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的又は仮想オブジェクト）に関連するか否かを判断することを含む。判断された意図がＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、デジタルアシスタントはオブジェクトロケーションに近い第４のロケーションに配置される。すなわち、デジタルアシスタントオブジェクトが関連するオブジェクトの近くに移動して、そのオブジェクトとの相互作用を示し、及び／又はそのオブジェクト若しくは相互作用に注意を引く。例えば、図４Ａ～図４Ｆに示されているＣＧＲ環境１１０４において、「コンソールテーブル上には何がありますか？」といった口頭ユーザ入力に対し、デジタルアシスタントオブジェクト１１２０は、コンソールテーブル上の仮想オブジェクト１１１８Ｃの近くに移動でき、その後その仮想オブジェクトに関するより多くの情報を提供する。
いくつかの実施形態において、ブロック１２２２では、第１の出力の１つ以上の特性に基づいて、第２の出力が提供される。第２の出力の１つ以上の特性は、第２の出力のタイプ（例えば、視覚、聴覚、又は触覚）、（例えば、ＣＧＲ環境内で実行されるタスクのための）ＣＧＲ環境内の第２の出力のロケーションなどを含み得る。例えば、図４Ａ～図４Ｆに示されているように、口頭ユーザ入力「棚に座ってください」に対して、第２の出力は、棚への実際の移動とともに口頭出力「Ｏｋ！」を含み得る。別の実施例として、身ぶりによる入力「何時ですか？」に対して、第２の出力は、表示された時計ウィジェット（例えば、第１の出力）の近くで跳ねる又は小刻みに揺れるデジタルアシスタントオブジェクトを動画化することを含み得る。説明されているように第２の出力を提供することによって、例えば、要求されたタスクの実行及び／又は完了がユーザに直ちに明らかではない場合には、その実行及び／又は完了にユーザの注意を引き付けることによって、デジタルアシスタントセッションの効率が向上する。
いくつかの実施形態において、ブロック１２２４では、２つ以上の異なる出力から選択された第４の出力が提供されて、２つ以上の異なる状態から選択された第１のデジタルアシスタントセッションの状態を示す。第１のデジタルアシスタントセッションの２つ以上の異なる状態は、１つ以上のリスニング状態（例えば、アクティブ又はパッシブリスニング）、１つ以上の応答状態、１つ以上の処理（例えば、思考）状態、１つ以上の失敗状態、１つ以上の注意獲得状態、及び／又は１つ以上の遷移（例えば、移動、出現、又は消失）状態を含み得る。異なる出力と異なる状態との間には一対一の対応関係が存在し得、１つ以上の状態が同じ出力によって表され得、又は１つ以上の出力が同じ状態（又は同じ状態のバリエーション）を表し得る。
例えば、図４Ａ～図４Ｆに示されているように、デジタルアシスタントオブジェクト１１２０は、最初にユーザの注意を引き（例えば、第２のロケーションのポジションに移動）、ユーザ入力に応答する／ユーザの注意を応答に引き付ける間に、異なる外観を呈する。他の第４の（例えば、状態）出力は、デジタルアシスタントオブジェクトのサイズの変更、動きの動画化、聴覚出力（例えば、デジタルアシスタントオブジェクトの現在のロケーションから「発する」指向性音声出力）、照明効果の変化、他の視覚出力、触覚出力などを含み得る。
第１のデジタルアシスタントセッション中の任意の時点で、（例えば、ユーザが視点を変えるのに応じて）ＣＧＲ環境の現在表示されている部分が更新され、デジタルアシスタントオブジェクトの現在のロケーションが現在表示されている部分にもはや含まれなくなった（例えば、ユーザにもはや見えなくなった）場合は、デジタルアシスタントの現在のポジションを示す出力が提供され得る。例えば、現在のポジションを示す追加の出力は、図３Ａ～３Ｂとブロック１００８に関して上述されているように提供され得る（例えば、空間聴覚出力、視覚出力、触覚出力など）。
いくつかの実施形態において、第１のデジタルアシスタントセッションは、例えば、ユーザによる明示的な退去の際に、又は相互作用なしに閾期間が経過した後に、終了する。第１のデジタルアシスタントセッションが終了すると、ブロック１２２６でデジタルアシスタントオブジェクトが退去させられる（例えば、ＣＧＲ環境から除去される）。デジタルアシスタントセッションが終了する時点でデジタルアシスタントオブジェクトがＣＧＲ環境の表示されている部分の中に位置する場合、デジタルアシスタントオブジェクトを退去させることは、デジタルアシスタントオブジェクトの表示を中止することを含む。
いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させるときには、デジタルアシスタントオブジェクトの退去を示す第３の出力が提供される。第３の出力は、１つ以上の視覚出力（例えば、かすかな光、ＣＧＲ環境内の照明をデジタルアシスタントセッション前の状態に戻すことなど）、１つ以上の聴覚出力（例えば、「バイ」などの口頭出力、チャイムなど）、１つ以上の触覚出力などを含み得る。例えば、図４Ｅに示されているように、第３の出力を提供することは、第３のロケーションにデジタルアシスタントインジケータ１１２２を配置することを含み得る。第３の出力は、第１のデジタルアシスタントセッションが終了したことをユーザに示すことができ、ユーザが後続の呼び出しにおいてより速やかにデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のに役立つことができる。
いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させた後には、第３のユーザ入力が検出される。第３のユーザ入力は、第１のユーザ入力（例えば、第１のデジタルアシスタントセッションを呼び出すユーザ入力）に関して説明されているように、聴覚入力、視線入力、ジェスチャ入力、又はデバイス入力（例えば、ボタン押下、タップ、スワイプなど）であり得る。（例えば、ブロック１２０４に関して上述されているように）第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションが開始される。
デジタルアシスタントオブジェクトを再配置することに関連する第２のユーザ入力が第１のデジタルアシスタントセッション中に受け取られた実施形態において、第２のデジタルアシスタントセッションを開始することは、第３のロケーション（例えば、第２のユーザ入力で要求されたロケーション）にデジタルアシスタントオブジェクトを配置すること（例えば、そのインスタンスを生成すること）を含む。すなわち、図４Ａ～４Ｆに示されているように、ユーザがデジタルアシスタントオブジェクトを明示的に移動させた後には、ユーザによって選択されたロケーションが、後続の呼び出しのときにデジタルアシスタントオブジェクトが出現する新しい「デフォルト」位置になる。
図５Ａ～図５Ｂを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されている方法の作業は、システム７００を実装するものなど、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。
一部の実装形態によれば、コンピュータ可読記憶媒体（例えば、非一時的コンピュータ可読記憶媒体）が提供され、このコンピュータ可読記憶媒体は、電子デバイスの１つ以上のプロセッサによって実行される１つ以上のプログラムを記憶し、それら１つ以上のプログラムは、本明細書で説明される方法又はプロセスのうちのいずれかを実行する命令を含む。
一部の実装形態によれば、本明細書で説明される方法又はプロセスのうちのいずれかを実行する手段を備える、電子デバイス（例えば、ポータブル電子デバイス）が提供される。
一部の実装形態によれば、本明細書で説明される方法又はプロセスのうちのいずれかを実行するように構成された処理ユニットを備える、電子デバイス（例えば、ポータブル電子デバイス）が提供される。
一部の実装形態によれば、１つ以上のプロセッサと、その１つ以上のプロセッサによって実行するための１つ以上のプログラムを記憶しているメモリとを備え、それら１つ以上のプログラムが、本明細書で説明される方法又はプロセスのうちのいずれかを実行する命令を含む、電子デバイス（例えば、ポータブル電子デバイス）が提供される。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技術の原理、及びそれらの実際の用途を最も良く説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。

Claims (26)

  1. １つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、
    前記電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、
    前記１つ以上のセンサを用いて第１のユーザ入力を検出することと、
    前記第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することと、
    を含み、
    前記第１のデジタルアシスタントセッションを開始することが、
    第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、
    前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することと、
    を含む、方法。
  2. 前記第１のユーザ入力は、聴覚入力を含む、請求項１に記載の方法。
  3. 前記聴覚入力は、トリガフレーズを含む音声入力を含む、請求項２に記載の方法。
  4. 前記第１のユーザ入力は、視線入力を含む、請求項１に記載の方法。
  5. 前記第１のユーザ入力は、ジェスチャ入力を含む、請求項１に記載の方法。
  6. １つ以上の環境要因に基づいて、前記ＣＧＲ環境内の前記第１のロケーションを判断することを更に含む、
    請求項１に記載の方法。
  7. 前記１つ以上の環境要因は、前記ＣＧＲ環境の特性を含む、請求項６に記載の方法。
  8. 前記１つ以上の環境要因は、前記電子デバイスの前記ユーザのポジションを含む、請求項６に記載の方法。
  9. 前記１つ以上の環境要因は、前記ＣＧＲ環境の複数のユーザの複数のポジションを含む、請求項６に記載の方法。
  10. 前記第１のロケーションを示す前記第１の出力を提供することは、第１の聴覚出力を生成させることを含む、請求項１に記載の方法。
  11. 前記第１の聴覚出力は、少なくとも、複数のスピーカーのうちの第１のスピーカーによって生成される第１のオーディオ成分と、前記複数のスピーカーのうちの第２のスピーカーによって生成される第２のオーディオ成分とを含み、前記第１のロケーションを示す前記第１の出力を提供することは、
    前記第１のロケーションが前記複数のスピーカーのうちの前記第１のスピーカーのロケーションに近いか、それとも前記複数のスピーカーのうちの前記第２のスピーカーのロケーションに近いかを判断することと、
    前記第１のロケーションが前記第２のスピーカーの前記ロケーションより前記第１のスピーカーの前記ロケーションに近いという判断に従って、前記第１のオーディオ成分を前記第２のオーディオ成分より大音量で生成することと、
    前記第１のロケーションが前記第１のスピーカーの前記ロケーションより前記第２のスピーカーの前記ロケーションに近いという判断に従って、前記第２のオーディオ成分を前記第１のオーディオ成分より大音量で生成することとを含む、請求項１０に記載の方法。
  12. 前記第１のロケーションを示す前記第１の出力を提供することは、第１の触覚出力を生成させることを含む、請求項１に記載の方法。
  13. 前記第１のロケーションを示す前記第１の出力を提供することは、前記第１のロケーションの視覚的指示を前記ディスプレイに表示することを含む、請求項１に記載の方法。
  14. 第２の時間において、
    前記第１のロケーションが前記第２の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという判断に従って、前記第１のロケーションに前記デジタルアシスタントオブジェクトを表示することとを更に含む、
    請求項１に記載の方法。
  15. 前記１つ以上のセンサを用いて第３の時間に第２のユーザ入力を検出することと、
    前記第２のユーザ入力の意図を判断することと、
    前記判断された意図に基づいて第２の出力を提供することとを更に含む、
    請求項１に記載の方法。
  16. 前記第２のユーザ入力を検出することは、前記デジタルアシスタントオブジェクトが前記第１のロケーションに配置されている間に実行され、前記意図を判断することと前記判断された意図に基づいて前記第２の出力を提供することとは、前記第１のロケーションが前記第３の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという前記判断に従って実行される、請求項１５に記載の方法。
  17. 前記判断された意図に基づいて前記第２の出力を提供することは、
    前記判断された意図が前記デジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、
    前記第２のユーザ入力から第２のロケーションを判断することと、
    前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することと、
    第４の時間において、前記第２のロケーションが前記第４の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという判断に従って、前記ＣＧＲ環境内の前記第２のロケーションに前記デジタルアシスタントオブジェクトを表示することとを含む、請求項１５に記載の方法。
  18. 前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置した後に、前記デジタルアシスタントオブジェクトを退去させることと、
    前記１つ以上のセンサを用いて第３のユーザ入力を検出することと、
    前記第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションを開始することであって、前記第２のデジタルアシスタントセッションを開始することが、前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、開始することとを更に含む、
    請求項１７に記載の方法。
  19. 前記判断された意図に基づいて前記第２の出力を提供することは、
    前記判断された意図が前記ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、前記オブジェクトロケーションの近くの第３のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、請求項１５に記載の方法。
  20. 前記第２の出力を提供している間に、前記第２の出力の１つ以上の特性に基づいて、第３の出力を提供することを更に含む、
    請求項１５に記載の方法。
  21. 前記デジタルアシスタントオブジェクトを退去させることと、
    前記デジタルアシスタントオブジェクトの退去を示す第４の出力を提供することとを更に含む、
    請求項１に記載の方法。
  22. 前記第４の出力を提供することは、
    前記ＣＧＲ環境内の前記第１のロケーションにデジタルアシスタントインジケータを配置することを含む、請求項２１に記載の方法。
  23. 前記第１のデジタルアシスタントセッションの２つ以上の異なる状態から選択された状態を示す２つ以上の異なる出力から選択された第５の出力を提供することを更に含む、
    請求項１に記載の方法。
  24. 請求項１～２３のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
  25. 請求項２４に記載のコンピュータプログラムを記憶したメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行することができる一以上のプロセッサと、を備える電子デバイスであって、
    前記電子デバイスはディスプレイ及び１つ又は２以上のセンサと通信ように構成される、
    電子デバイス。
  26. 請求項１～２３のいずれか一項に記載の方法を実行する手段を備える、
    電子デバイス。
JP2024510432A 2021-08-20 2022-08-15 デジタルアシスタントオブジェクト配置 Active JP7735543B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025141089A JP2025178252A (ja) 2021-08-20 2025-08-27 デジタルアシスタントオブジェクト配置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163235424P 2021-08-20 2021-08-20
US63/235,424 2021-08-20
US202163247557P 2021-09-23 2021-09-23
US63/247,557 2021-09-23
PCT/US2022/040346 WO2023022987A1 (en) 2021-08-20 2022-08-15 Digital assistant object placement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025141089A Division JP2025178252A (ja) 2021-08-20 2025-08-27 デジタルアシスタントオブジェクト配置

Publications (2)

Publication Number Publication Date
JP2024531408A JP2024531408A (ja) 2024-08-29
JP7735543B2 true JP7735543B2 (ja) 2025-09-08

Family

ID=83280089

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2024510432A Active JP7735543B2 (ja) 2021-08-20 2022-08-15 デジタルアシスタントオブジェクト配置
JP2025141089A Pending JP2025178252A (ja) 2021-08-20 2025-08-27 デジタルアシスタントオブジェクト配置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025141089A Pending JP2025178252A (ja) 2021-08-20 2025-08-27 デジタルアシスタントオブジェクト配置

Country Status (5)

Country Link
US (1) US12620179B2 (ja)
EP (1) EP4388394A1 (ja)
JP (2) JP7735543B2 (ja)
KR (1) KR20240034246A (ja)
WO (1) WO2023022987A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US12525241B2 (en) 2022-02-01 2026-01-13 Apple Inc. Keyword detection using motion sensing
US12423917B2 (en) 2022-06-10 2025-09-23 Apple Inc. Extended reality based digital assistant interactions
US12567415B2 (en) 2023-05-09 2026-03-03 Apple Inc. Providing and controlling immersive three-dimensional environments
WO2025023451A1 (ko) * 2023-07-21 2025-01-30 삼성전자주식회사 사용자 시선과의 인터랙션을 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
KR20250030856A (ko) 2023-08-25 2025-03-05 삼성전자주식회사 타겟 객체의 위치를 식별하기 위한 웨어러블 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375683A1 (en) 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
JP2018139143A (ja) 2018-05-15 2018-09-06 カシオ計算機株式会社 情報機器、情報機器におけるオブジェクトの報知方法、及び情報機器のプログラム
US20190026936A1 (en) 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant
JP2019519020A (ja) 2016-04-21 2019-07-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 視野周辺の視覚的背光
US20190332400A1 (en) 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants
JP2020077136A (ja) 2018-11-06 2020-05-21 本田技研工業株式会社 制御装置、エージェント装置及びプログラム
US10802843B1 (en) 2019-05-31 2020-10-13 Apple Inc. Multi-user configuration
US20210104100A1 (en) 2019-10-02 2021-04-08 Magic Leap, Inc. Mission driven virtual character for user interaction

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1275042A2 (en) 2000-03-06 2003-01-15 Kanisa Inc. A system and method for providing an intelligent multi-step dialog with a user
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
CN108014002A (zh) 2011-11-04 2018-05-11 马萨诸塞眼科耳科诊所 自适应视觉辅助装置
US20130204813A1 (en) 2012-01-20 2013-08-08 Fluential, Llc Self-learning, context aware virtual assistants, systems and methods
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130346068A1 (en) 2012-06-25 2013-12-26 Apple Inc. Voice-Based Image Tagging and Searching
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US10824310B2 (en) 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
EP4560630A3 (en) 2013-02-07 2025-08-06 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
KR101857648B1 (ko) 2013-03-15 2018-05-15 애플 인크. 지능형 디지털 어시스턴트에 의한 사용자 트레이닝
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20150162000A1 (en) 2013-12-10 2015-06-11 Harman International Industries, Incorporated Context aware, proactive digital assistant
US9361732B2 (en) 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10163420B2 (en) 2014-10-10 2018-12-25 DimensionalMechanics, Inc. System, apparatus and methods for adaptive data transport and optimization of application execution
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US11416212B2 (en) 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US20180121432A1 (en) 2016-11-02 2018-05-03 Microsoft Technology Licensing, Llc Digital assistant integration with music services
EP3358462B1 (en) 2017-02-06 2025-09-17 Tata Consultancy Services Limited Context based adaptive virtual reality (vr) assistant in vr environments
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
EP3952317B1 (en) 2017-05-16 2025-01-22 Apple Inc. Methods and interfaces for home media control
US10176808B1 (en) 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
US20190025906A1 (en) 2017-07-21 2019-01-24 Pearson Education, Inc. Systems and methods for virtual reality-based assessment
US10901687B2 (en) * 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11106868B2 (en) 2018-03-06 2021-08-31 Samsung Electronics Co., Ltd. System and method for language model personalization
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US12175010B2 (en) 2019-09-28 2024-12-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11270672B1 (en) 2020-11-02 2022-03-08 Microsoft Technology Licensing, Llc Display of virtual assistant in augmented reality
US12136172B2 (en) 2021-09-17 2024-11-05 Apple Inc. Digital assistant for providing visualization of snippet information
WO2023239663A1 (en) 2022-06-10 2023-12-14 Apple Inc. Extended reality based digital assistant interactions
US12379770B2 (en) 2022-09-22 2025-08-05 Apple Inc. Integrated sensor framework for multi-device communication and interoperability
US20240248678A1 (en) 2023-01-24 2024-07-25 Apple Inc. Digital assistant placement in extended reality
US20240386817A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Head mountable display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375683A1 (en) 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
JP2019519020A (ja) 2016-04-21 2019-07-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 視野周辺の視覚的背光
US20190026936A1 (en) 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant
US20190332400A1 (en) 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants
JP2018139143A (ja) 2018-05-15 2018-09-06 カシオ計算機株式会社 情報機器、情報機器におけるオブジェクトの報知方法、及び情報機器のプログラム
JP2020077136A (ja) 2018-11-06 2020-05-21 本田技研工業株式会社 制御装置、エージェント装置及びプログラム
US10802843B1 (en) 2019-05-31 2020-10-13 Apple Inc. Multi-user configuration
US20210104100A1 (en) 2019-10-02 2021-04-08 Magic Leap, Inc. Mission driven virtual character for user interaction

Also Published As

Publication number Publication date
WO2023022987A1 (en) 2023-02-23
JP2024531408A (ja) 2024-08-29
US12620179B2 (en) 2026-05-05
JP2025178252A (ja) 2025-12-05
KR20240034246A (ko) 2024-03-13
EP4388394A1 (en) 2024-06-26
US20240177424A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
US12578835B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11232643B1 (en) Collapsing of 3D objects to 2D images in an artificial reality environment
US12272005B2 (en) System and method of three-dimensional immersive applications in multi-user communication sessions
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7846736B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12148078B2 (en) System and method of spatial groups in multi-user communication sessions
JP7546659B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2025178252A (ja) デジタルアシスタントオブジェクト配置
US11379033B2 (en) Augmented devices
EP3740849B1 (en) Hybrid placement of objects in an augmented reality environment
US20170038837A1 (en) Hover behavior for gaze interactions in virtual reality
US20240281071A1 (en) Simultaneous Controller and Touch Interactions
WO2022066360A1 (en) Selecting multiple virtual objects
WO2022066395A1 (en) Arranging virtual objects
CN118466745A (zh) 促进人工现实环境中的用户界面交互
JP2022515307A (ja) インタラクティブオブジェクト駆動方法、装置、電子デバイス及び記憶媒体
WO2023283154A1 (en) Artificial reality teleportation via hand gestures
CN118131913A (zh) 数字助理对象放置
US12619316B1 (en) Ultra low friction gestural interface for artificial reality
US20260086693A1 (en) Presenting user interfaces for latency mitigation in a three-dimensional environment
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
CN119065543A (zh) 多模式光标移动
CN118672393A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250827

R150 Certificate of patent or registration of utility model

Ref document number: 7735543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150