JP7788511B2 - 三次元環境におけるアバターの提示 - Google Patents

三次元環境におけるアバターの提示

Info

Publication number
JP7788511B2
JP7788511B2 JP2024154177A JP2024154177A JP7788511B2 JP 7788511 B2 JP7788511 B2 JP 7788511B2 JP 2024154177 A JP2024154177 A JP 2024154177A JP 2024154177 A JP2024154177 A JP 2024154177A JP 7788511 B2 JP7788511 B2 JP 7788511B2
Authority
JP
Japan
Prior art keywords
user
avatar
certainty
pose
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024154177A
Other languages
English (en)
Other versions
JP2025000657A (ja
Inventor
ギャリー イアン ブッチャー，
ルパート バートン，
ドリアン ディー． ダーガン，
ニコラス ダブリュ． ヘンダーソン，
ジェイソン リックワルド，
ニコラス スカペル，
ジャンカルロ ヤーキーズ，
クリスティ イー． エス． バウアリー，
アラン シー． ダイ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2025000657A publication Critical patent/JP2025000657A/ja
Priority to JP2025241739A priority Critical patent/JP2026053391A/ja
Application granted granted Critical
Publication of JP7788511B2 publication Critical patent/JP7788511B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/40—Business processes related to social networking or social networking services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

（関連出願の相互参照）
本出願は、２０２０年６月８日に出願された米国特許仮出願第６３／０３６，４１１号、名称「ＰＲＥＳＥＮＴＩＮＧ ＡＶＡＴＡＲＳ ＩＮ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＥＮＶＩＲＯＮＭＥＮＴＳ」に対する優先権を主張するものであり、参照によりその内容が本明細書に組み込まれる。
本開示は、概して、ディスプレイを介して仮想現実体験及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、任意選択的に、コンピュータ生成体験を提供する１つ以上の入力デバイスと、通信しているコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像などの仮想オブジェクト、ビデオ、テキスト、アイコン、並びにボタン及び他のグラフィックなど制御要素を含む。
少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用するいくつかの方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによって、コンピュータシステムのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を任意選択的に補完又は置換する。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び／又は１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ（及び／又はコンピュータシステム）又はユーザの身体に対する空間内のユーザの目及び手の動き、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び／又は非一時的コンピュータ可読記憶媒体、あるいは１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
三次元環境と相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
アバターを使用して三次元環境において他のユーザと相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、アバターを使用して三次元環境において他のユーザと相互作用するための従来の方法をマッピング、補完又は置換する。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示す。
いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示す。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示す。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。 いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。 いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。
いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。 いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。 いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターを示す。
いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を用いて仮想アバターキャラクタを提示する例示的な方法を示すフローチャートである。
いくつかの実施形態による、異なる外観テンプレートに基づく外観を有する仮想アバターを示す。 いくつかの実施形態による、異なる外観テンプレートに基づく外観を有する仮想アバターを示す。
いくつかの実施形態による、異なる外観テンプレートに基づく外観を有する仮想アバターを示す。 いくつかの実施形態による、異なる外観テンプレートに基づく外観を有する仮想アバターを示す。
いくつかの実施形態による、異なる外観テンプレートに基づく外観を有するアバターキャラクタを提示する例示的な方法を示すフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実（computer-generated reality、ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。
いくつかの実施形態では、コンピュータシステムは、ユーザの部分の姿勢の確実性に基づいて外観が変動する表示特性を有する（例えば、ＣＧＲ環境内の）アバターをユーザに提示する。コンピュータシステムは、ユーザの部分の姿勢を表す姿勢データを（例えば、センサから）受信し、（例えば、表示生成コンポーネントを介して）ユーザの部分に対応し、かつ、ユーザの部分の姿勢の確実性を示す可変表示特性を有するアバター特徴を含むアバターを提示させる。コンピュータシステムは、ユーザの部分の姿勢の確実性に依存する可変表示特性の異なる値をアバター特徴が有するようにし、ユーザの部分の姿勢に関するアバターの姿勢の推定された視覚的忠実性の指標がコンピュータシステムのユーザに提供される。
いくつかの実施形態では、コンピュータシステムは、ユーザに、いくつかの実施形態ではユーザが実行している活動に基づいて変化する異なる外観テンプレートに基づく外観を有するアバターを提示する。コンピュータシステムは、１人以上のユーザの現在の活動が第１のタイプの活動（例えば、対話型活動）であることを示すデータを（例えば、センサから）受信する。それに応答して、コンピュータシステムは、第１の外観テンプレート（例えば、キャラクタテンプレート）に基づく第１の外観を有する第１のユーザの表現（例えば、アバター）を（例えば、表示生成コンポーネントを介して）更新する。第１の外観を有する第１のユーザの表現を提示させている間に、コンピュータシステムは、１人以上のユーザの現在の活動を示す第２のデータを（例えば、センサから）受信する。それに応答して、コンピュータシステムは、現在の活動が第１のタイプの活動であるか、あるいは第２のタイプの活動であるかに応じて、第１の外観テンプレートに基づく第２の外観を有する、又は第２の外観テンプレート（例えば、抽象テンプレート）に基づく第３の外観を有する、第１のユーザの表現を（例えば、表示生成コンポーネントを介して）提示させ、それにより、ユーザが第１のタイプの活動を実行しているか、あるいは第２のタイプの活動を実行しているかの指標がコンピュータシステムのユーザに提供される。
図１～図６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｃ及び図８Ａ～図８Ｃは、いくつかの実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を有する仮想アバターキャラクタを示す。図９は、様々な実施形態による、ユーザの姿勢の確実性に基づいて外観が変動する表示特性を用いて仮想アバターキャラクタを提示する例示的な方法を示すフローチャートである。図７Ａ～図７Ｃ及び図８Ａ～図８Ｃは、図９のプロセスを説明するために使用される。図１０Ａ及び図１０Ｂ、並びに図１１Ａ及び図１１Ｂは、いくつかの実施形態による、異なる外観テンプレートに基づく外観を有する仮想アバターを示す。図１２は、いくつかの実施形態による、異なる外観テンプレートに基づく外観を有するアバターキャラクタを提示する例示的な方法を示すフローチャートである。図１０Ａ～図１０Ｂ及び図１１Ａ～図１１Ｂは、図１２のプロセスを説明するために使用される。
更に、１つ以上の条件が満たされていることを１つ以上のステップが前提条件とする本明細書に記載の方法では、反復の過程にわたって、方法のステップが前提条件としている全ての条件が、その方法の異なる反復において満たされているように、記載した方法を複数回反復して繰り返すことができることを理解されたい。例えば、方法が、条件を満たす場合には第１のステップを実行し、条件を満たさない場合には第２のステップを実行することを必要とする場合、当業者には、条件を満たすまでも条件を満たさない間も、特許請求されるステップが順不同で繰り返されることを理解されるであろう。したがって、１つ以上の条件が満たされていることを前提条件とする１つ以上のステップで説明される方法を、方法に記載された条件の各々が満たされるまで繰り返される方法と書き換えてもよい。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件を満たしたことに基づいて前提条件となる動作を実行する命令を含み、したがって、方法のステップが前提条件とする全ての条件を満たすまで、方法のステップを明示的に繰り返すことなく、前提条件を満たしているか否かを判定することが可能である、システム又はコンピュータ可読媒体の請求項を必要としない。また、当業者には、依存するステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、前提条件となるステップの全てが実行されていることを保証するために、必要な回数だけ、方法のステップを繰り返すことができることを理解されるであろう。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮に入れてもよい。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。代替的に、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実施され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザの各グループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４１、トラッキングユニット２４２、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４１は、データ（例えば、提示データ、相互作用データ、センサデータ、場所データなど）を、少なくとも、図１の表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４１は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４２は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４２は、ハンドトラッキングユニット２４４及び／又はアイトラッキングユニット２４３を含む。いくつかの実施形態では、ハンドトラッキングユニット２４４は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４４について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４３は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び動きを追跡するように構成される。アイトラッキングユニット２４３について、図５に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成コンポーネント１２０（例えば、ＨＭＤ）には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成コンポーネント１２０（例えば、ＨＭＤ）は、単一のＣＧＲディスプレイを含む。別の実施例では、表示生成コンポーネント１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、表示生成コンポーネント１２０（例えばＨＭＤ）、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている（かつ、シーンカメラと称されることがある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４４（図２）によって制御されて、ユーザの手の１つ以上の部分の位置、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成コンポーネント１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対するユーザの手の１つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データも）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０６を移動させ、手の姿勢を変更することによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。代替的に、画像センサ４０４（例えば、ハンドトラッキングデバイス）は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄ位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４０４とは別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又は画像センサ４０４（例えば、ハンドトラッキングデバイス）のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、手の骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４３（図２）によって制御されて、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線の位置及び動きを追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、アイトラッキングデバイス１３０（例えば、視線トラッキングデバイス）は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）カメラ又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ光又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ光源又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。アイトラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、６０～１２０フレーム／秒（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目の間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ光又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置してもよい。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素６１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、要素６６０で、追跡状態は、いいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態は、はいに設定され（まだ、はいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント及び（任意選択的に）１つ以上のセンサ（例えば、カメラ）と通信する、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
本開示は、ＣＧＲ環境内のアバターキャラクタとしてユーザを表すための例示的なプロセスに関する。図７Ａ～図７Ｃ、図８Ａ～図８Ｃ、及び図９は、現実環境におけるユーザの物理的身体の姿勢の確実性に基づいて外観が変動する１つ以上の表示特性を有する仮想アバターキャラクタとして、ユーザがＣＧＲ環境内に表される例を示す。図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｂ、及び図１２は、異なる外観テンプレートに基づく外観を有する仮想アバターキャラクタとして、ユーザがＣＧＲ環境内に表される例を示す。本明細書に開示されるプロセスは、上述のように、コンピュータシステム（例えば、図１のコンピュータシステム１０１）を使用して実装される。
図７Ａは、両腕を上げて、ユーザの左手がカップ７０２を保持している状態で現実環境７００に立っているユーザ７０１を示している。いくつかの実施形態では、現実環境７００は、ユーザ７０１の１つ以上の部分の姿勢を判定するために使用することができるデータ（例えば、画像データ及び／又は深度データ）をキャプチャするためのカメラ７０５－１、７０５－２、７０５－３、及び７０５－４を含む、モーションキャプチャスタジオである。これは、本明細書では、ユーザ７０１の部分の姿勢のキャプチャと称されることがある。ユーザ７０１の部分の姿勢は、例えば、アニメーション化された動画セットなど、ＣＧＲ環境内の対応するアバターキャラクタ（例えば、図７Ｃのアバター７２１を参照）の姿勢を決定するために使用される。
図７Ａに示すように、カメラ７０５－１は、ユーザ７０１の部分７０１－１に位置決めされた視野７０７－１を有する。部分７０１－１は、ユーザの首、襟部領域、並びにユーザの右目、右耳、鼻及び口を含むユーザの顔及び頭部の一部を含むが、ユーザの頭部の上部、ユーザの左目、及びユーザの左耳を除外する、ユーザの顔及び頭部の一部を含むユーザ７０１の身体的特徴を含む。カメラの視野７０７－１内に部分７０１－１があるので、カメラ７０５－１は、ユーザ７０１の部分７０１－１を含む身体的特徴の姿勢をキャプチャする。
カメラ７０５－２は、ユーザ７０１の部分７０１－２に位置決めされた視野７０７－２を有する。部分７０１－２は、ユーザの右手、右手首、及びユーザの右手首に隣接するユーザの前腕部の遠位部分を含む、ユーザ７０１の身体的特徴を含む。カメラの視野７０７－２内に部分７０１－２があるので、カメラ７０５－２は、ユーザ７０１の部分７０１－２を含む身体的特徴の姿勢をキャプチャする。
カメラ７０５－３は、ユーザ７０１の部分７０１－３に位置決めされた視野７０７－３を有する。部分７０１－３は、ユーザの左足及び右足、並びに左右の下肢領域を含む、ユーザ７０１の身体的特徴を含む。カメラの視野７０７－３内に部分７０１－３があるので、カメラ７０５－３は、ユーザ７０１の部分７０１－３を含む身体的特徴の姿勢をキャプチャする。
カメラ７０５－４は、ユーザ７０１の部分７０１－４に位置決めされた視野７０７－４を有する。部分７０１－４は、ユーザの左手、左手首、及び手首に隣接するユーザの左前腕部の遠位部分を含む、ユーザ７０１の身体的特徴を含む。カメラの視野７０７－４内に部分７０１－４があるので、カメラ７０５－４は、一般に、ユーザ７０１の部分７０１－４を含む身体的特徴の姿勢をキャプチャする。しかしながら、以下でより詳細に論じるように、ユーザの左手の手のひらなど、部分７０１－４のいくつかの領域は、カップ７０２の後ろに位置決めされるので、カメラ７０５－４から隠れており、したがって視野７０７－４内にないと見なされる。したがって、これらの領域（例えば、ユーザの左手の手のひら）の姿勢は、カメラ７０５－４によってキャプチャされない。
カメラの視野内にないユーザ７０１の部分は、カメラによってキャプチャされないと見なされる。例えば、ユーザの頭部の上部、ユーザの左目、ユーザの上腕部、肘、及びユーザの前腕部の近位端、ユーザの上肢部分及び膝、並びにユーザの胴体は全て、カメラ７０５－１～７０５－４の視野の外側にあり、したがって、ユーザ７０１のこれらの部分の位置又は姿勢は、カメラによってキャプチャされないと見なされる。
カメラ７０５－１～７０５－４は、ユーザ７０１の部分の姿勢をキャプチャするためのデバイス、すなわち、ユーザ７０１の部分の姿勢を判定するために使用することができるデータをキャプチャするためのデバイスの非限定的な例として記載されている。したがって、他のセンサ及び／又はデバイスを、カメラ７０５－１～７０５－４のうちのいずれかに加えて、又はその代わりに使用して、ユーザの部分の姿勢をキャプチャすることができる。例えば、そのようなセンサとして、近接センサ、加速度計、ＧＰＳセンサ、位置センサ、深度センサ、熱センサ、画像センサ、他の種類のセンサ、又はそれらの任意の組み合わせを挙げることができる。いくつかの実施形態では、これらの様々なセンサは、ユーザ７０１上の異なる場所に配置されたウェアラブル位置センサなどのスタンドアロン構成要素であり得る。いくつかの実施形態では、様々なセンサは、例えば、ユーザのスマートフォン、ユーザのタブレット、ユーザのコンピュータ、ユーザ７０１が着用するモーションキャプチャスーツ、ユーザ７０１が着用するヘッドセット（例えば、ＨＭＤ）、スマートウォッチ（例えば、図８Ａのウォッチ８１０）、ユーザ７０１が着用する又は他の方法でユーザ７０１に関連付けられる別のデバイス、あるいはそれらの任意の組み合わせなど、ユーザ７０１に関連付けられる１つ以上のデバイスに統合することができる。いくつかの実施形態では、様々なセンサは、例えば、別のユーザのスマートフォン、別のユーザのタブレット、別のユーザのコンピュータ、別のユーザが着用するヘッドセットデバイス、別のユーザが着用する又は他の方法で別のユーザに関連付けられる別のデバイス、あるいはそれらの任意の組み合わせなど、他のユーザ（ユーザ７０１以外のユーザ）に関連付けられる１つ以上の異なるデバイスに統合することができる。カメラ７０５－１～７０５－４は、図７Ａにおいて、スタンドアロンデバイスとして示されている。しかしながら、カメラのうちの１つ以上は、例えば、上述のセンサ及びデバイスのうちのいずれかなど、他の構成要素と統合されてもよい。例えば、カメラのうちの１つは、現実環境７００に存在する第２のユーザのヘッドセットデバイスと統合されているカメラであってもよい。いくつかの実施形態では、データは、（例えば、深度センサを使用する）顔スキャン、ユーザ７０１の写真及びビデオなどのメディアアイテム、あるいは他の関連するソースから提供され得る。例えば、ユーザが顔認識を使用してパーソナル通信デバイス（例えば、スマートフォン、スマートウォッチ、又はＨＭＤ）をロック解除するときに、ユーザの顔に関連付けられた深度データを収集することができる。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、パーソナル通信デバイスとは別個であり、顔スキャンからのデータは、（例えば、デバイス間でデータを共有すべきか否かをユーザが決定するための１つ以上の選択肢を用いて安全かつ秘密裡に）ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、パーソナル通信デバイスと同じであり、顔スキャンからのデータは、ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される（例えば、顔のスキャンは、ユーザの部分の複製も生成するＨＭＤをロック解除するために使用される）。このデータは、例えば、ユーザ７０１の部分の姿勢の理解を向上させるために、又はセンサ（例えば、カメラ７０５－１～７０５－４）を使用して検出されないユーザ７０１の部分の複製の視覚的忠実性（以下で論じられる）を増大させるために使用することができる。いくつかの実施形態では、このデータを使用して、デバイスをロック解除するときに視認可能であるユーザの部分への変化（例えば、新しいヘアスタイル、新しい眼鏡など）を検出し、それにより、ユーザの外観の変化に基づいてユーザの部分の表現を更新することができる。
本明細書に記載の実施形態では、ユーザの部分の姿勢を判定するために使用することができるデータをキャプチャするための上述したセンサ及びデバイスは、一般に、センサと称される。いくつかの実施形態では、センサを使用して生成されたデータは、センサデータと称される。いくつかの実施形態では、「姿勢データ」という用語は、ユーザの少なくとも一部分の姿勢を判定するために（例えば、コンピュータシステムが）使用することができるデータを指すために使用される。いくつかの実施形態では、姿勢データは、センサデータを含むことができる。
本明細書に開示される実施形態では、コンピュータシステムは、センサデータを使用して、ユーザ７０１の部分の姿勢を判定し、次いで、アバターがユーザ７０１と同じ姿勢を有する状態で、ＣＧＲ環境内にアバターとしてユーザを表す。しかしながら、場合によっては、センサデータは、ユーザの身体のいくつかの部分の姿勢を判定するには十分ではない場合がある。例えば、ユーザの部分がセンサの視野の外側にあることがあり、センサデータが、破損している、不確定である、又は不完全であることがあり、あるいは、ユーザが、センサが姿勢をキャプチャするには速く動き過ぎていることがある。いずれの場合にも、コンピュータシステムは、以下でより詳細に論じられる様々なデータセットに基づいて、ユーザのこれらの部分の姿勢の判定（例えば、推定）を行う。これらの姿勢は推定なので、コンピュータシステムは、ユーザの身体の一部分、特にセンサデータによって十分には表されない部分について判定された各それぞれの姿勢の確実性（判定された姿勢の正確性の信頼性レベル）の推定値を計算する。言い換えれば、コンピュータシステムは、ユーザ７０１の対応する部分の推定される姿勢が、現実環境７００におけるユーザの部分の実際の姿勢の正確な表現であるという確実性の推定値を計算する。確実性の推定は、本明細書では、確実性（又は不確実性）と、あるいはユーザの身体の一部分の推定される姿勢の確実性の量（又はユーザの身体の一部分の推定される姿勢の不確実性の量）と称されることがある。例えば、図７Ａでは、コンピュータシステムは、ユーザの左肘が横に上がり、９０°の角度に曲げられていることを、７５％の確実性で計算する。判定された姿勢の確実性（信頼性）は、図７Ｂに関して以下で論じられる確実性マップ７１０を使用して表される。いくつかの実施形態では、確実性マップ７１０はまた、コンピュータシステムにより判定されたユーザ７０１の姿勢を表す。判定された姿勢は、図７Ｃに関して以下で論じられるアバター７２１を使用して表される。
ここで図７Ｂを参照すると、確実性マップ７１０は、ユーザ７０１の部分に関する、判定された姿勢のコンピュータシステムの確実性の視覚的表現である。言い換えれば、確実性マップ７１０は、コンピュータシステムを使用して判定されるユーザの身体の異なる部分の位置の確実性の計算された推定（例えば、ユーザの身体の一部分の推定される位置が正確である確率）を表す。確実性マップ７１０は、頭部、首、肩、胴体、腕、手、脚、及び足などの基本的な人間の特徴を表す人体のテンプレートである。いくつかの実施形態では、確実性マップ７１０は、指、肘、膝、目、鼻、耳、及び口などの様々なサブ特徴を表す。確実性マップ７１０の人間の特徴は、ユーザ７０１の身体的特徴に対応する。ハッチング７１５は、確実性マップ７１０のそれぞれのハッチング部分に対応するユーザ７０１の身体的部分の判定された位置又は姿勢の不確実性の程度又は量を表すために使用されている。
本明細書で提供される実施形態では、ユーザ７０１のそれぞれの部分及び確実性マップ７１０は、本明細書に開示される様々な実施形態を説明するのに十分な粒度レベルで描写される。しかしながら、これらの特徴は、本開示の趣旨及び範囲から逸脱することなく、ユーザの姿勢及び部分、並びに姿勢の対応する確実性を更に説明する更なる（又はより低い）粒度で描写することができる。例えば、カメラ７０５－４を使用してキャプチャされた部分７０１－４のユーザ特徴は、ユーザの指の先端を含むが、カップ７０２の後ろに位置決めされた指の根元は含まないものとして更に描写することができる。同様に、ユーザの右手の裏側は、カメラ７０５－２から離れる方向を向いており、したがって、カメラ７０５－２を使用して取得された画像データは、ユーザの右手の裏側を直接的にはキャプチャしないので、視野７０７－２の外側にあると見なすことができる。別の例として、確実性マップ７１０は、ユーザの左目に関する１つの確実性の量と、ユーザの左耳又はユーザの頭部に関する上部の異なる確実性の量を表すことができる。しかしながら、簡潔にするために、これらの粒度の変動の詳細は、いかなる場合も説明しない。
図７Ｂに示される実施形態では、確実性マップ７１０は、ユーザ７０１のそれぞれの部分７０１－１、７０１－２、７０１－３、及び７０１－４に対応する部分７１０－１、７１０－２、７１０－３、及び７１０－４を含む。したがって、部分７１０－１は、ユーザの首、襟部領域、並びにユーザの右目、右耳、鼻及び口を含むユーザの顔及び頭部の一部を含むが、ユーザの頭部の上部、ユーザの左目、及びユーザの左耳を含まない、ユーザの顔及び頭部の一部、の姿勢の確実性を表す。部分７１０－２は、ユーザの右手、右手首、及びユーザの右手首に隣接するユーザの前腕部の遠位部分の姿勢の確実性を表す。部分７１０－３は、ユーザの左足及び右足、並びに左右の下肢領域の姿勢の確実性を表す。部分７１０－４は、ユーザの左手、左手首、及び手首に隣接するユーザの左前腕部の遠位部分の姿勢の確実性を表す。図７Ｂに示される実施形態では、コンピュータシステムが、高程度の確実性でユーザ７０１の部分７０１－１、７０１－２、及び７０１－３の身体的特徴の姿勢を判定する（例えば、身体的特徴は、カメラの視野内にあり、移動しないと判定される）ので、部分７１０－１、７１０－２、及び７１０－３は、ハッチングなしで示されている。しかしながら、部分７１０－４は、確実性マップ７１０の、ユーザの左手の手のひらに対応する部分上に、わずかなハッチング７１５－１で示されている。これは、コンピュータシステムが、図７Ａではカップ７０２により隠れているユーザの左手の手のひらの位置において、より低い確実性を有するからである。この例では、ユーザの左手がカップにより隠れているので、コンピュータシステムは、ユーザの左手の姿勢の確実性は低くなる。しかしながら、コンピュータシステムが、判定された姿勢において一定量の不確実性を有し得る他の理由がある。例えば、ユーザの部分が、センサがその姿勢を検出するには速く動き過ぎている、現実環境内の照明が不十分であることがある（例えば、ユーザが背面照明されている）、などである。いくつかの実施形態では、コンピュータシステムが姿勢を判定することができる確実性は、例えば、センサのフレームレート、センサの解像度、及び／又は周囲光レベルなどに基づく。
確実性マップ７１０は、図７Ａのカメラの視野内でキャプチャされたユーザ７０１の部分、並びにカメラの視野内でキャプチャされないユーザ７０１の部分について判定された姿勢の確実性を表す。したがって、確実性マップ７１０は、例えば、ユーザの頭部の上部、ユーザの左目、ユーザの左耳、ユーザの上腕部、肘、及びユーザの前腕部の近位端、ユーザの上肢部分、ユーザの上肢部分及び膝、ユーザの胴体、並びに前述のように、ユーザの左の手のひらなど、カメラ７０５－１～７０５－４の視野の外側にあるユーザ７０１の部分の判定された姿勢の推定におけるコンピュータシステムの確実性を更に表す。ユーザ７０１のこれらの部分は、視野７０７－１～７０７－４の外側にあるので、これらの部分の判定された姿勢の確実性は低くなる。したがって、確実性マップ７１０の対応する領域は、ハッチング７１５で示されており、ユーザ７０１のこれらの部分の各々について判定された姿勢に関連付けられた不確実性の推定される量を示す。
図７Ｂに示される実施形態では、ハッチング７１５の密度は、ハッチングが表す不確実性に正比例する（又はハッチングが表す確実性に反比例する）。したがって、より高い密度のハッチング７１５は、ユーザ７０１の対応する身体的部分の姿勢のより高い不確実性（又はより低い確実性）を示し、より低い密度のハッチング７１５は、ユーザ７０１の対応する身体的部分の姿勢のより低い不確実性（又はより高い確実性）を示す。ハッチングなしは、ユーザ７０１の対応する身体的部分の姿勢の高程度の確実性（例えば、９０％、９５％、又は９９％の確実性）を示す。例えば、図７Ｂに示される実施形態では、ユーザの頭部の上部、ユーザの左目、及びユーザの左耳に対応する確実性マップ７１０の部分７１０－５上にハッチング７１５が位置し、部分７１０－１上にはハッチングがない。したがって、確実性マップ７１０は、図７Ｂでは、ユーザ７０１の部分７０１－１の姿勢の確実性は高いが、ユーザの頭部の上部、ユーザの左目、及びユーザの左耳の姿勢の確実性は低いことを示している。ユーザがヘッドマウントデバイスを着用している（例えば、ユーザの部分の表現が、ヘッドマウントデバイスに一体化によって生成されている、又はヘッドマウントデバイスに統合された若しくは取り付けられたセンサに少なくとも部分的に基づいて生成されている）状況では、ヘッドマウントデバイスによって覆われているユーザの頭部及び顔の外観は不確実であるが、ユーザの頭部及び／又は顔の見えている部分のセンサ測定値に基づいて推定することができる。
上述のように、ユーザ７０１のいくつかの部分は、カメラの視野の外側にあるが、コンピュータシステムは、変動する程度の確実性を有するユーザ７０１のこれらの部分の大まかな姿勢を判定することができる。これらの変動する程度の確実性は、異なる密度のハッチング７１５を示すことによって確実性マップ７１０で表される。例えば、コンピュータシステムは、ユーザの上方頭部領域（ユーザの頭部の上部、ユーザの左目、及びユーザの左耳）の姿勢について高い確実性を推定する。したがって、この領域は、図７Ｂには、ハッチ線間の間隔の量が大きいことによって示されるようにハッチング密度が低い部分７１０－５で示されている。別の例として、コンピュータシステムは、ユーザの右肘の姿勢について、ユーザの右肩の姿勢について推定された確実性よりも低い確実性を推定する。したがって、ハッチ線間の間隔の量が減少していることによって示されるように、右肘部分７１０－６は、右肩部分７１０－７よりも高いハッチング密度で示されている。最終的に、コンピュータシステムは、ユーザの胴体（例えば、ウエスト）の姿勢の確実性の最小量を推定する。したがって、胴体部分７１０－８は、最も高いハッチング密度で示されている。
いくつかの実施形態では、ユーザ７０１のそれぞれの部分の姿勢は、様々なソースからのデータを使用して判定又は推測することができる。例えば、図７Ｂに示される実施形態では、コンピュータシステムは、カメラ７０５－２の視野７０７－２内でユーザのこの部分を検出したことに基づいて、高い確実性でユーザの部分７０１－２の姿勢を判定するが、ユーザの右肘の姿勢は、カメラ７０５－２からのセンサデータのみに基づいても分からない。しかしながら、ユーザの右肘の姿勢を含む視野７０７－２内又はその外側のユーザ７０１の部分の姿勢を判定するために、カメラ７０５－２からのセンサデータを補足することができる。例えば、コンピュータシステムがユーザの首及び襟部領域（部分７１０－１を参照）の姿勢の高い確実性を有する場合、コンピュータシステムは、人体の既知の運動学に基づいて、この例では特に、襟部領域に対する人の右肩の位置の知識に基づいて、ユーザの右肩（部分７１０－７を参照）の姿勢を（例えば、首及び襟部領域よりも低いが）高い確実性で推測することができ、いくつかの実施形態ではアルゴリズムを使用して、ユーザの右腕の上方部分及びユーザの右肘などのユーザの部分の姿勢を近似するために外挿又は内挿することができる。例えば、右肘部分７１０－６の潜在的な姿勢は、右肩部分７１０－７の位置から推測される右上腕部分７１０－９の位置に依存する。更に、右上腕部分７１０－９の位置は、カメラ７０５－１～７０５－４のうちのいずれかの視野の外側にあるユーザの肩関節の関節運動に依存する。したがって、右上腕部分７１０－９の姿勢の不確実性は、右肩部分７１０－７の姿勢よりも高い。同様に、右肘部分７１０－６の姿勢は、右上腕部分７１０－９の推定される姿勢及びユーザの右前腕部の近位端の推定される姿勢に依存する。しかしながら、ユーザの右前腕部の近位端は、カメラの視野内にないが、ユーザの右前腕の遠位領域は、視野７０７－２内にある。したがって、部分７１０－２に示されるように、ユーザの右前腕部の遠位領域の姿勢が高い確実性で分かる。したがって、コンピュータシステムは、この情報を使用して、ユーザの右前腕部の近位端及び右肘部分７１０－６の姿勢を推定する。また、この情報を使用して、右上腕部分７１０－９の推定される姿勢を更に通知することもできる。
いくつかの実施形態では、コンピュータシステムは、補間関数を使用して、例えば、既知の姿勢を有する２つ以上の身体的特徴の間に位置するユーザの部分の姿勢を推定する。例えば、図７Ｂの部分７１０－４を参照すると、コンピュータシステムは、ユーザの左手の指の姿勢、及びユーザの左前腕部の遠位端の姿勢を高い確実性で判定するが、これは、ユーザ７０１のこれらの身体的特徴が視野７０７－４内に位置するからである。しかしながら、ユーザの左の手のひらの姿勢は、カップ７０２により隠れているので、高い確実性では分からない。いくつかの実施形態では、コンピュータシステムは、補間アルゴリズムを使用して、ユーザの指及び左前腕部の既知の姿勢に基づいてユーザの左手の手のひらの姿勢を判定する。左の手のひらに近くにある又は隣接しているユーザの身体的特徴のうちの多くについて姿勢が分かるので、コンピュータシステムは、比較的まばらなハッチング７１５－１によって示されるように、比較的高い確実性で左の手のひらの姿勢を判定する。
上述のように、コンピュータシステムは、ユーザ７０１の姿勢（いくつかの実施形態では、ユーザ７０１の部分の姿勢の集合）を判定し、判定された姿勢（単数又は複数）を有するユーザ７０１を表すアバターをＣＧＲ環境に表示する。図７Ｃは、コンピュータシステムがＣＧＲ環境内に７２０にアバター７２１を表示する例を示している。図７Ｃに示される実施形態では、アバター７２１は、表示生成コンポーネント７３０を使用して表示される仮想ブロックキャラクタとして提示される。表示生成コンポーネント７３０は、上述の表示生成コンポーネント１２０と同様である。
アバター７２１は、部分７２１－２、７２１－３、及び７２１－４を含む。部分７２１－２は、図７Ｂの確実性マップ７１０の部分７０１－２及び図７Ａのユーザ７０１の部分７１０－２に対応する。部分７２１－３は、図７Ｂの確実性マップ７１０の部分７０１－３及び図７Ａのユーザ７０１の部分７１０－３に対応する。部分７２１－４は、図７Ｂの確実性マップ７１０の部分７０１－４及び図７Ａのユーザ７０１の部分７１０－４に対応する。したがって、部分７２１－２は、ユーザの右手、右手首、及びユーザの右手首に隣接するユーザの前腕部の遠位部分の姿勢を表す。部分７２１－３は、ユーザの左足及び右足、並びに左右の下肢領域の姿勢を表す。部分７２１－４は、ユーザの左手、左手首、及び手首に隣接するユーザの左前腕部の遠位部分の姿勢を表す。アバター７２１の他の部分は、ユーザ７０１の対応する部分の姿勢を表し、以下でより詳細に論じられる。例えば、アバター７２１の首及び襟部領域７２７は、以下で論じるように、ユーザ７０１の部分７０１－１に対応する。
コンピュータシステムは、コンピュータシステムにより判定された姿勢の推定される確実性に応じて変動する視覚的表示特性（本明細書では可変表示特性と称される）を有するアバター７２１を表示する。一般に、可変表示特性は、アバター７２１の閲覧者に、ユーザ７０１の姿勢に関する表示されたアバターの視覚的忠実性について、又はユーザ７０１の対応する身体的部分（単数又は複数）の姿勢（単数又は複数）に関するアバターの表示された部分の視覚的忠実性について通知する。言い換えれば、可変表示特性は、閲覧者に、アバター７２１の部分のレンダリングされた姿勢又は外観が現実環境７００内のユーザ７０１の対応する身体的部分の実際の姿勢又は外観に適合する推定される量又は程度について通知し、これは、いくつかの実施形態では、ユーザ７０１の部分のそれぞれの姿勢の推定される確実性に基づいて判定される。いくつかの実施形態では、コンピュータシステムが、可変表示特性なしで、あるいは、ユーザ７０１の対応する部分の姿勢の高い確実性（例えば、７５％、８０％、９０％、９５％の確実性）を示す値を有する可変表示特性を用いてアバター特徴をレンダリングする場合、アバター特徴は、高い忠実性でレンダリングされると言われる。いくつかの実施形態では、コンピュータシステムが、ユーザ７０１の対応する部分の姿勢の高い確実性よりも低いことを示す値を有する可変表示特性を用いて、アバター特徴をレンダリングする場合、アバター特徴は、低い忠実性でレンダリングされると言われる。
いくつかの実施形態では、コンピュータシステムは、それぞれのアバター特徴の可変表示特性の値を調整して、それぞれのアバター特徴によって表されるユーザの部分の姿勢の推定される確実性の変化を伝達する。例えば、ユーザが移動すると、コンピュータシステムは（例えば、連続的に、継続的に、自動的に）、ユーザの姿勢を判定し、それに応じて、ユーザのそれぞれの部分の姿勢の推定される確実性を更新する。コンピュータシステムはまた、ユーザの新しい判定された姿勢に一致するようにアバターの姿勢を修正することによってアバターの外観を変更し、ユーザ７０１の部分の対応する姿勢の確実性の変化に基づいて、アバター特徴の可変表示特性の値を修正する。
可変表示特性は、以下の実施例で論じられるように、アバター７２１の外観（例えば、デフォルトの外観）を改善する、低下させる、又は修正するために使用される１つ以上の視覚的特徴又はパラメータを含むことができる。
いくつかの実施形態では、可変表示特性は、アバター特徴の表示色を含む。例えば、アバターは、緑のデフォルトの色を有することができ、ユーザの部分の姿勢の確実性が変化するにつれて、アバター特徴によって表されるユーザ７０１の部分の姿勢のコンピュータシステムの確実性が低いアバターの部分を表すために、より寒色を使用することができ、アバター特徴によって表されるユーザの部分の姿勢のコンピュータシステムの確実性が高いアバターの部分を表すために、より暖色を使用することができる。例えば、ユーザがカメラの視野から外に手を移動させると、コンピュータシステムは、高程度の確実性を有する姿勢（例えば、位置、向き）（視野内にあるときのユーザの手の姿勢と一致した姿勢）から、ユーザの手の更新された姿勢の判定に基づいて、より低い確実性の姿勢に移動させることによって、アバターの手の外観を修正する。アバターの手が高程度の確実性を有する姿勢から非常にわずかな確実性の姿勢に移動すると、アバターの手は、緑色から青色に移行する。同様に、アバターの手が高程度の確実性を有する姿勢から確実性がわずかに低い姿勢に移動するにつれて、アバターの手は、緑色から赤色に移行する。別の例として、手が、非常にわずかな確実性の姿勢から比較的高い確実性の姿勢に移動するにつれて、手は、確実性の量が高くなる姿勢に手が移動するにつれて、寒色から暖色に移る様々な中間色で、青色から赤色に移行する。更に別の例として、手が、比較的高い確実性の姿勢から非常にわずかな確実性の姿勢に移動するにつれて、手は、確実性の量が減少する姿勢に手が移動するにつれて、暖色から寒色に移る様々な中間色で、赤色から青色に移行する。いくつかの実施形態では、可変表示特性の値の変化は、アバター特徴が不明の姿勢（低い確実性の姿勢）からより高い確実性の姿勢（例えば、既知の姿勢）に移動するときにはより高い速度で起こり、アバター特徴が、より高い確実性の姿勢（例えば、既知の姿勢）からより低い確実性の姿勢に移動するときにはより遅い速度で起こる。例えば、可変表示特性の例が色である状態で継続するために、アバターの手は、赤色（又はデフォルトの緑色）から青色に変化するよりも高い速度で青色から赤色に変化する。いくつかの実施形態では、色の変化は、ユーザがアバターの手に対応する手を移動させている速度よりも高い速度で起こる。
いくつかの実施形態では、可変表示特性は、アバター特徴の表示された部分に適用されるぼかし効果の表示量を含む。逆に、可変表示特性は、アバター特徴の表示された部分に適用される鮮明度の表示量であってもよい。例えば、アバターは、デフォルトの鮮明度を有することができ、ユーザの部分の姿勢の確実性が変化するにつれて、アバター特徴によって表されるユーザ７０１の部分の姿勢のコンピュータシステムの確実性が低いアバターの部分を表すために、増大したぼかし度（又は、減少した鮮明度）を使用することができ、アバター特徴によって表されるユーザの部分の姿勢のコンピュータシステムの確実性が高いアバターの部分を表すために、減少したぼかし度（又は、増大した鮮明度）を使用することができる。
いくつかの実施形態では、可変表示特性は、アバター特徴の表示された部分の不透明度を含む。逆に、可変表示特性は、アバター特徴の表示された部分の透明度であってもよい。例えば、アバターは、デフォルトの不透明度を有することができ、ユーザの部分の姿勢の確実性が変化するにつれて、アバター特徴によって表されるユーザ７０１の部分の姿勢のコンピュータシステムの確実性が低いアバターの部分を表すために、減少した不透明度（又は、増大した透明度）を使用することができ、アバター特徴によって表されるユーザの部分の姿勢のコンピュータシステムの確実性が高いアバターの部分を表すために、増大した不透明度（又は、減少した透明度）を使用することができる。
いくつかの実施形態では、可変表示特性は、アバター特徴の表示された部分を形成する粒子の密度及び／又はサイズを含む。例えば、アバターは、デフォルトの粒子サイズ及び粒子間隔を有することができ、ユーザの部分の姿勢の確実性が変化するにつれて、対応するアバター特徴の粒子サイズ及び／又は粒子間隔が、確実性が増大したか減少したかに基づいて変化する。例えば、いくつかの実施形態では、アバター特徴によって表されるユーザ７０１の部分の姿勢のコンピュータシステムの確実性が低いアバターの部分を表すために、粒子間隔が増大し（粒子密度が減少し）、アバター特徴によって表されるユーザの部分の姿勢のコンピュータシステムの確実性が高いアバターの部分を表すために、粒子間隔が減少する（粒子密度が増大する）。別の例として、いくつかの実施形態では、アバター特徴によって表されるユーザ７０１の部分の姿勢のコンピュータシステムの確実性が低いアバターの部分を表すために、粒子サイズが増大し（より画素化された外観及び／又はより低い解像度の外観を生成し）、アバター特徴によって表されるユーザの部分の姿勢のコンピュータシステムの確実性が高いアバターの部分を表すために、粒子サイズが減少する（より画素化されていない外観及び／又はより高い解像度の外観を生成する）。
いくつかの実施形態では、可変表示特性は、スケール（例えば、フィッシュスケール）、パターン、シェーディング、及びスモーク効果などの１つ以上の視覚効果を含む。実施例は、以下でより詳細に論じられる。いくつかの実施形態では、例えば、可変表示特性の量（例えば、不透明度、粒子サイズ、色、拡散など）をアバターのそれぞれの部分の移行領域に沿って変動させることによって、より高い確実性の領域とより低い確実性の領域との間で滑らかに移行するアバターを表示することができる。例えば、可変表示特性が粒子密度であり、ユーザの前腕部の確実性が、ユーザの肘において高い確実性から低い確実性に移行する場合、高い確実性から低い確実性への移行は、肘における粒子密度が高いアバターを表示し、前腕部に沿って低い粒子密度に滑らかに（漸進的に）移行することによって表すことができる。
可変表示特性は、ハッチング７２５によって図７Ｃに表され、上述の可変表示特性のうちの１つ以上を含むことができる。ハッチング７２５の密度は、ユーザ７０１の対応する身体的部分の実際の姿勢の推定される確実性に基づいて、アバター７２１の部分がレンダリングされる忠実性を示す変動量で使用される。したがって、より高いハッチング密度は、コンピュータシステムがより低い確実性で姿勢を判定したことを示す値を可変表示特性が有するアバター７２１の部分を示すために使用され、より低いハッチング密度は、コンピュータシステムがより高い確実性で姿勢を判定したことを示す値を可変表示特性が示すアバター７２１の部分を示すために使用される。いくつかの実施形態では、アバターの部分の姿勢の確実性が高程度の確実性（例えば、９０％、９５％、又は９９％の確実性）である場合、ハッチングは使用されない。
図７Ｃに示される実施形態では、アバター７２１は、ユーザ７０１と同様の姿勢を有するブロックキャラクタとしてレンダリングされる。上述のように、コンピュータシステムは、ユーザ７０１の姿勢を表すセンサデータに基づいてアバター７２１の姿勢を決定する。姿勢が分かっているユーザ７０１の部分について、コンピュータシステムは、アバター７２１の対応する部分を可変表示特性（例えば、解像度、透明度、粒子サイズ、粒子密度、色）のデフォルト値又はベースライン値を用いて、あるいは、ハッチングなしで示されるように、可変表示特性なし（例えば、パターン又は視覚効果なし）で、レンダリングする。姿勢が所定の確実性閾値を下回る（例えば、姿勢の確実性が１００％、９５％、９０％、８０％未満である）ユーザ７０１の部分について、コンピュータシステムは、アバター７２１の対応する部分をデフォルト又はベースラインから変動する可変表示特性の値を用いて、あるいは、ハッチング７２５によって示されるように、可変表示特性が高い確実性を示すためには表示されない場合には可変表示特性を用いてレンダリングする。
図７Ｃに示される実施形態では、ハッチング７２５の密度は、一般に、図７Ｂのハッチング７１５の密度に対応する。したがって、アバター７２１の可変表示特性の値は、一般に、図７Ｂのハッチング７１５によって表される確実性（又は不確実性）に対応する。例えば、アバター７２１の部分７２１－４は、図７Ｂの確実性マップ７１０の部分７１０－４及び図７Ａのユーザ７０１の部分７０１－４に対応する。したがって、部分７２１－４は、可変表示特性の値がユーザの左の手のひらの姿勢の比較的高い確実性に対応するが、他の部分ほど高くないことを示す、アバターの左の手のひら上のハッチング７２５－１（図７Ｂのハッチング７１５－１と同様）で示され、指及びアバターの左前腕部の遠位端にはハッチングが存在しない（ユーザ７０１の対応する部分の姿勢の高い確実性を示す）。
いくつかの実施形態では、アバターの部分の姿勢の推定される確実性が比較的高い（例えば、９９％、９５％、又は９０％）場合、ハッチングは使用されない。例えば、アバター７２１の部分７２１－２及び部分７２１－３は、ハッチングなしで示されている。ユーザ７０１の部分７０１－２の姿勢は高い確実性で判定されるので、図７Ｃでは、アバター７２１の部分７２１－２はハッチングなしでレンダリングされる。同様に、ユーザ７０１の部分７０１－３の姿勢は高い確実性で判定されるので、図７Ｃでは、アバター７２１の部分７２１－３はハッチングなしでレンダリングされる。
いくつかの実施形態では、ユーザ７０１から導出されない１つ以上のアバター特徴を有するアバター７２１の部分が表示される。例えば、ユーザ７０１のヘアスタイルではなく、アバターキャラクタの視覚的属性に基づいて決定されるアバターの髪７２６を有するアバター７２１がレンダリングされる。別の例として、部分７２１－２のアバターの手及び指は、人間の手又は人間の指ではないブロック状の手及びブロック状の指であるが、図７Ａのユーザの手及び指と同じ姿勢を有する。同様に、ユーザ７０１の鼻とは異なるが同じ姿勢を有する鼻７２２を有するアバター７２１がレンダリングされる。いくつかの実施形態では、異なるアバター特徴は、異なる人間の特徴（例えば、異なる人間の鼻）、人間でないキャラクタからの特徴（例えば、犬の鼻）、又は抽象的な形状（例えば、三角形の鼻）であってもよい。いくつかの実施形態では、異なるアバター特徴は、機械学習アルゴリズムを使用して生成することができる。いくつかの実施形態では、コンピュータシステムは、ユーザの対応する部分に関する高い視覚的忠実性でアバター特徴をレンダリングするために実行される追加の動作を回避することによって、計算リソースを節約するために、ユーザから導出されない特徴を使用してアバター特徴をレンダリングする。
いくつかの実施形態では、ユーザ７０１から導出される１つ以上のアバター特徴を有するアバター７２１の部分が表示される。例えば、図７Ｃでは、図７Ａのユーザ７０１の口と同じである口７２４を有するアバター７２１がレンダリングされる。別の例では、図７Ａのユーザ７０１の右目と同じである右目７２３－１を有するアバター７２１がレンダリングされる。いくつかの実施形態では、そのようなアバター特徴は、仮想アバターキャラクタの三次元モデル上にマッピングされたユーザ７０１の対応する部分のビデオフィードを使用してレンダリングされる。例えば、アバターの口７２４及び右目７２３－１は、カメラ７０５－１の視野７０７－１内でキャプチャされたユーザの口及び右目のビデオフィードに基づいており、（例えば、ビデオパススルーを介して）アバター７２１上に表示される。
いくつかの実施形態では、コンピュータシステムは、コンピュータシステムがユーザの対応する部分の姿勢の高い確実性よりも低いと推定する場合であっても、それらの姿勢の高い（又は増大した）確実性を有するものとして、アバター７２１のいくつかの特徴をレンダリングする。例えば、図７Ｃでは、左目７２３－２は、ハッチングなしで示されており、ユーザの左目の姿勢の高い確実性を示している。しかしながら、図７Ａでは、ユーザの左目は、視野７０７－１の外側にあり、図７Ｂでは、ユーザの左目を含む部分７１０－５の確実性は、ユーザの左目の姿勢の高い確実性よりも低いことをハッチング７１５で示されている。推定される確実性が高よりも低い場合であっても、高い忠実性でいくつかの特徴をレンダリングすることは、場合によっては、アバター７２１を使用した通信の品質を改善するために行われる。例えば、目、手、及び口などのいくつかの特徴は、通信目的にとって重要であると見なされることがあり、可変表示特性を用いてそのような特徴をレンダリングすることは、閲覧してアバター７２１と通信しているユーザを散漫にすることがある。同様に、ユーザ７０１の口が、ユーザの唇、歯、舌などについて十分な姿勢データをキャプチャするには速く動き過ぎている場合、ぼかし、透明度、色、増大した粒子間隔、又は増大した粒子サイズを示す可変表示特性を用いて口をレンダリングすることは散漫にするので、このコンピュータシステムは、口の姿勢の高い確実性を有するものとして、アバターの口７２４をレンダリングすることができる。
いくつかの実施形態では、ユーザの部分の姿勢又は外観の確実性が低い場合（例えば、９９％、９５％、９０％の確実性）、対応するアバター特徴の姿勢及び／又は外観は、異なるソースからのデータを使用して強化され得る。例えば、ユーザの左目の姿勢は不明であるが、例えば、既知であるユーザの右目のミラーリングされた姿勢に基づいて左目７２３－２の姿勢を判定する機械学習アルゴリズムを使用して、アバターの左目７２３－２の姿勢を推定することができる。更に、ユーザの左目が視野７０７－１の外側にあるので、カメラ７０５－１からのセンサデータは、ユーザの左目の外観（例えば、目の色）を判定するためのデータを含まなくてもよい。いくつかの実施形態では、コンピュータシステムは、他のソースからのデータを使用して、アバター特徴の外観を決定するために必要なデータを取得することができる。例えば、コンピュータシステムは、ユーザの目の外観を判定するためのデータを取得するために、パーソナル通信デバイス（例えば、スマートフォン、スマートウォッチ、又はＨＭＤ）に関連付けられたユーザ７０１の以前にキャプチャされた顔スキャンデータ、写真、及びビデオにアクセスすることができる。いくつかの実施形態では、他のアバター特徴は、コンピュータシステムによってアクセスされる追加のデータに基づいて更新され得る。例えば、最近の写真が異なるヘアスタイルのユーザ７０１を示す場合、アバターの髪は、ユーザ７０１の最近の写真のヘアスタイルと一致するように変更され得る。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、パーソナル通信デバイスとは別個であり、顔スキャン、写真及び／又はビデオからのデータは、（例えば、デバイス間でデータを共有すべきか否かをユーザが決定するための１つ以上の選択肢を用いて、安全かつ秘密裡に）ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、パーソナル通信デバイスと同じであり、顔スキャン、写真及び／又はビデオからのデータは、ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される（例えば、顔のスキャンは、ユーザの部分の複製を生成するＨＭＤをロック解除するために使用される）。
いくつかの実施形態では、コンピュータシステムは、対応するユーザ特徴の姿勢が分かる（姿勢が高い確実性で判定される）場合であっても、ユーザの対応する部分に関して低い視覚的忠実性を有するものとしてアバター７２１の部分を表示する。例えば、図７Ｃでは、アバター７２１の首及び襟部領域７２７は、それぞれのアバター特徴が可変表示特性を用いて表示されることを示すハッチング７２５で示されている。しかしながら、アバター７２１の首及び襟部領域は、視野７０７－１内にあるユーザ７０１の部分７０１－１に対応し、かつ、確実性マップ７１０において高い確実性を有するものとして示される部分７１０－１に対応する。いくつかの実施形態では、コンピュータシステムは、別の方法で、対応するアバター特徴の高忠実性表現をレンダリングするために使用される計算リソースを節約するために、ユーザ７０１の対応する部分の姿勢が分かっている（又は高い確実性で判定される）場合であっても、低い視覚的忠実性を有するものとしてアバター特徴を表示する。いくつかの実施形態では、コンピュータシステムは、ユーザ特徴が通信目的にとってあまり重要でないと見なされるときに、この動作を実行する。いくつかの実施形態では、アバター特徴の低忠実性バージョンは、機械学習アルゴリズムを使用して生成される。
いくつかの実施形態では、可変表示特性の値の変化は、ユーザ７０１の対応する部分の移動速度に基づく。例えば、ユーザが手を速く移動するほど、手の姿勢の確実性が低くなり、可変表示特性は手の姿勢のより低い確実性に相応する値で提示される。逆に、ユーザが手を遅く移動するほど、手の姿勢の確実性が高く、可変表示特性は手の姿勢のより高い確実性に相応する値で提示される。可変表示特性がぼかしである場合、例えば、ユーザが手をより速い速度で移動すると、アバターの手はより高いぼかし度でレンダリングされ、ユーザが手をより遅い速度で移動させるとより低いぼかし度でレンダリングされる。
いくつかの実施形態では、表示生成コンポーネント７３０は、ＣＧＲ環境７２０及びコンピュータシステムのユーザのアバター７２５の表示を可能にする。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント７３０を介して、ＣＧＲ環境７２０内に、コンピュータシステムのユーザの外観の表現を含むプレビュー７３５を更に表示する。言い換えれば、プレビュー７３５は、コンピュータシステムのユーザに、ＣＧＲ環境７２０内で、ＣＧＲ環境７２０を閲覧している他のユーザにどのように見えるかを示す。図７Ｃに示される実施形態では、プレビュー７３５は、コンピュータシステムのユーザ（例えば、ユーザ７０１とは異なるユーザ）に、可変表示特性を有する女性のアバターキャラクタとして見えていることを示している。
いくつかの実施形態では、コンピュータシステムは、カメラ７０５－１～７０５－４以外の１つ以上のソースから収集されたデータを使用して確実性の推定値を計算する。例えば、これらの他のソースを使用して、カメラ７０５－１～７０５－４から収集されたセンサデータを補足する、又は場合によっては置換することができる。これらの他のソースは、上記のセンサのうちのいずれかなどの異なるセンサを含むことができる。例えば、ユーザ７０１は、ユーザの腕及び／又は他の身体部分のポジション、動き、又は場所を示すデータを提供するスマートウォッチ又は他のウェアラブルデバイスを着用することがある。別の例として、ユーザ７０１は、ユーザの位置、動き、姿勢を示すデータ、又は他のそのようなデータを提供するスマートフォンをポケットの中に持っていることがある。同様に、現実環境７００内の別の人によって着用されたヘッドセットデバイスは、ユーザ７０１に関連付けられた姿勢、動き、位置、又は他の関連情報を示すデータを提供するカメラなどのセンサを含み得る。いくつかの実施形態では、データは、（例えば、深度センサを使用する）顔スキャン、ユーザ７０１の写真及びビデオなどのメディアアイテム、あるいは前述したような他の関連するソースから提供され得る。
図８Ａ～図８Ｃは、カメラ７０５－１～７０５－４からのセンサデータが、ユーザのスマートウォッチからのデータで補足されている、図７Ａと同様の実施形態を示す。図８Ａでは、ユーザ７０１は、現在、右手が腰にあり、左手は左手首にスマートウォッチ８１０をして壁８０５にぴったりと付けている状態で位置決めされている。例えば、ユーザ７０１は、図７Ａの姿勢から図８Ａの姿勢に移動している。ユーザの右手、右手首、及び右前腕部は、現在、視野７０７－２には位置決めされていない。更に、ユーザの左手は、視野７０７－４内に留まっているが、ユーザの左の手首及び左前腕部は視野７０７－４の外側にある。
図８Ｂでは、確実性マップ７１０は、図８Ａのユーザ７０１の新しい姿勢に基づいて更新されている。したがって、ユーザの右肘、右前腕部、及び右手の姿勢の不確実性を新しい位置に基づいて更新して、これらの領域について増大した密度のハッチング７１５を示す。具体的には、ユーザの右腕全体がカメラの視野のうちのいずれかの外側にあるので、ユーザ７０１のこれらの部分の姿勢の確実性は、図７Ｂの姿勢の確実性から減少する。したがって、確実性マップ７１０は、図８Ｂの確実性マップのこれらの部分の増大したハッチング密度を示す。ユーザの右腕の各サブ特徴の姿勢は、隣接するサブ特徴の位置に依存し、右腕のサブ特徴の全てがカメラ又は他のセンサの視野の外側にあるので、ハッチング密度は、右上腕部分８１１－１から始まって、右肘部分８１１－２まで、右前腕部分８１１－３まで、右手及び指８１１－４まで、連続する各サブ特徴で増大する。
ユーザの左前腕部が視野７０７－４の外側にある間、カメラ７０５－４のセンサデータは、ユーザの左の前腕部の姿勢データを提供するスマートウォッチ８１０のセンサデータによって補足されるので、コンピュータシステムは、ユーザの左前腕部の姿勢を高い確実性で依然として判定する。したがって、確実性マップ７１０は、左前腕部分８１１－５及び（視野７０７－４内にある）左手部分８１１－６を、高程度の確実性でそれぞれの姿勢で示す。
図８Ｃは、図８Ａのユーザ７０１の更新された姿勢に基づく、ＣＧＲ環境７２０内のアバター７２１の更新された姿勢を示す。図８Ｃでは、コンピュータシステムは、左腕８２１にハッチングがないことによって示されるように、アバターの左腕８２１を、高程度の確実性でユーザの左腕でレンダリングする。
いくつかの実施形態では、コンピュータシステムは、ユーザ７０１が相互作用しているオブジェクトの表現と共にアバター７２１をレンダリングする。例えば、ユーザがオブジェクトを保持している、壁にもたれている、椅子に座っている、又は他の場合にはオブジェクトと相互作用している場合、コンピュータシステムは、ＣＧＲ環境７２０内に、オブジェクトの少なくとも一部分（又はその表現）をレンダリングすることができる。例えば、図８Ｃでは、コンピュータシステムは、アバターの左手に隣接して位置決めして示された壁レンダリング８２５を含んでいる。これは、ユーザ７０１が現実環境７００内の表面に左手を置いた姿勢をしていることを閲覧者が理解できるように、ユーザの姿勢のコンテキストを提供する。いくつかの実施形態では、ユーザが相互作用しているオブジェクトは、仮想オブジェクトであってもよい。いくつかの実施形態では、ユーザが相互作用しているオブジェクトは、壁８０５などの物理的オブジェクトであってもよい。いくつかの実施形態では、オブジェクトのレンダリングされたバージョン（例えば、壁レンダリング８２５）は、仮想オブジェクトとしてレンダリングされても、又は現実のオブジェクトのビデオフィードとして表示されてもよい。
上述のように、コンピュータシステムは、ユーザ７０１の姿勢の検出された変化に応答して、アバター７２１の姿勢を更新し、これは、いくつかの実施形態では、姿勢変化に基づいて可変表示特性を更新することに関与する。いくつかの実施形態では、可変表示特性を更新することは、（ハッチング７２５の量又は密度を増大又は減少させることによって表される）可変表示特性の値を増加又は減少させることを含む。いくつかの実施形態では、可変表示特性を更新することは、（ハッチング７２５を導入又は除去することによって表される）可変表示特性を導入又は除去することを含む。いくつかの実施形態では、可変表示特性を更新することは、視覚効果を導入又は除去することを含む。例えば、図８Ｃでは、コンピュータシステムは、ユーザの右腕の姿勢の確実性の比較的低い確実性又は確実性の低減を示すために、スモーク効果８３０を有する右腕を用いてアバター７２１をレンダリングする。いくつかの実施形態では、視覚効果は、それぞれのアバター特徴上に表示されるフィッシュスケールなどの他の効果を含み得る。いくつかの実施形態では、視覚効果を表示することは、図８Ｃに示されるように、それぞれのアバター特徴の表示を表示された視覚効果と置換することを含む。いくつかの実施形態では、視覚効果を表示することは、視覚効果を用いてそれぞれのアバター特徴を表示することを含む。例えば、アバターの右腕は、腕のフィッシュスケールを用いて表示され得る。いくつかの実施形態では、複数の可変表示特性は、例えば、表示される視覚効果など、別の可変表示特性と組み合わせてもよい。例えば、腕の一部分に沿って姿勢の確実性が減少するにつれて、腕のスケールの密度が減少する。
図８Ｃに示される実施形態では、ユーザの右腕の姿勢はスモーク効果８３０によって表されており、これは、アバターの身体の側部に向かって下がっている姿勢を有するアバターの右腕の形状を大まかにとっている。アバターの腕の姿勢は、図８Ａのユーザの右腕の実際の姿勢を正確には表していないが、コンピュータシステムは、ユーザの右腕が下がっており、ユーザの肩の上方にはなく、又は直接側部にはないことを正確に判定した。これは、コンピュータシステムが、カメラ７０５－１～７０５－４から取得されたセンサデータに基づいて、かつユーザの腕の先行姿勢及び動きに基づいて、ユーザの右腕の現在の姿勢を判定したからである。例えば、ユーザが図７Ａの姿勢から図８Ａの姿勢に腕を移動させると、ユーザの右腕は、視野７０７－２から移動するにつれて下向きに移動した。コンピュータシステムは、このデータを使用して、ユーザの右腕の姿勢が上げられていない、又は側部にはなく、したがって、以前よりも下方になければならないと判定する。しかしながら、コンピュータシステムは、ユーザの右腕の姿勢を正確に判定するのに十分なデータを有していない。したがって、コンピュータシステムは、図８Ｂの確実性マップ７１０で示されるように、ユーザの右腕の姿勢の低い確実性（信頼性）を示す。いくつかの実施形態では、ユーザ７０１の部分の姿勢の確実性が閾値を下回る場合、コンピュータシステムは、図８Ｃに示されるように、視覚効果を用いて対応するアバター特徴を表す。
図８Ｃでは、プレビュー７３５は、ＣＧＲ環境７２０内で、コンピュータシステムのユーザの現在の姿勢が手を振っていることを示すように更新される。
いくつかの実施形態では、コンピュータシステムは、アバター７２１がどれくらい表示されるか（例えば、アバター７２１のどの部分又は特徴が表示されるか）をコンピュータシステムのユーザが選択することができる制御特徴を提供する。例えば、制御は、一端において、アバター７２１が、ユーザの対応する部分の姿勢の高い確実性をコンピュータシステムが有するアバター特徴のみを有し、他端では、アバター７２１が、ユーザ７０１の対応する部分の姿勢の確実性に関係なく、全てのアバター特徴を用いて表示される、スペクトルを提供する。
図７Ａ～図７Ｃ及び図８Ａ～図８Ｃに関する追加の説明は、以下の図９に関して記載された方法９００を参照して以下に提供される。
図９は、いくつかの実施形態による、ユーザの身体の姿勢の確実性に基づいて外観が変動する表示特性を用いて仮想アバターキャラクタを提示する例示的な方法９００のフローチャートである。いくつかの実施形態では、方法９００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、図７Ｃ及び図８Ｃの表示生成コンポーネント７３０）（例えば、視覚的出力デバイス、３Ｄディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ、タッチスクリーンなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）（例えば、スマートフォン、タブレットヘッドマウント型表示生成コンポーネント）において実行される。いくつかの実施形態では、方法９００は、非一時的コンピュータ可読記憶媒体に記憶され、かつコンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１の制御ユニット１１０）などのコンピュータシステムの１つ以上のプロセッサによって実行される、命令によって統制される。方法９００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法９００では、コンピュータシステム（例えば、１０１）は、ユーザの少なくとも第１の部分（例えば、７０１－１、７０１－２、７０１－３、７０１－４）（例えば、ユーザの１つ以上の身体的特徴（例えば、ユーザの身体的特徴（例えば、腕、脚、手、頭部、口などのマクロ特徴、及び／又は指、顔、唇、歯、若しくはそれぞれの身体的特徴の他の部分などのミクロ特徴）の姿勢（例えば、物理的位置、向き、ジェスチャ、動き、など）を表す姿勢データ（例えば、深度データ、画像データ、センサデータカメラ（例えば、７０５－１、７０５－２、７０５－３、７０５－４、７０５－５）からの画像データ））を受信する（９０２）。いくつかの実施形態では、姿勢データは、ユーザの部分の判定された姿勢が正確（例えば、現実環境内のユーザの部分の姿勢の正確な表現）であるという確実性（例えば、信頼性）の尺度を示すデータ（例えば、確実性値）を含む。いくつかの実施形態では、姿勢データは、センサデータ（例えば、カメラからの画像データ、加速度計からの移動データ、ＧＰＳセンサからの場所データ、近接センサからのデータ、ウェアラブルデバイス（例えば、ウォッチ８１０）からのデータ）を含む。いくつかの実施形態では、センサは、コンピュータシステムに接続又は統合することができる。いくつかの実施形態では、センサは、外部センサ（例えば、異なるコンピュータシステム（例えば、別のユーザの電子デバイス）のセンサ）であってもよい。
コンピュータシステム（例えば、１０１）は、表示生成コンポーネント（例えば、７３０）を介して、アバター（例えば、７２１）（例えば、仮想アバター、アバターの一部分）（例えば、ユーザの少なくとも一部分の仮想表現である）を（例えば、コンピュータ生成現実環境（例えば、７２０）に）を提示（例えば、表示、提示、投影）させ（９０４）、アバターは、ユーザの第１の部分（例えば、７０１－１、７０１－２、７０１－３、７０１－４）に（例えば、解剖学的に）対応し、かつ、（例えば、ユーザの部分の姿勢に関するそれぞれのアバター特徴の姿勢の推定／予測された視覚的忠実性、（例えば、ユーザの部分の姿勢の確実性に基づいて）変動可能であるアバター特徴のレンダリングの１つ以上の視覚的パラメータのセットを示す）ユーザの第１の部分の姿勢の確実性（例えば、７１０、７１５）を示す可変表示特性（例えば、７２５、８３０）を有する提示（例えば、表示）される、それぞれのアバター特徴（例えば、７２７、７２４、７２３－１、７２３－２、７２２、７２６、７２１－２、７２１－３、７２１－４）を含む。ユーザの第１の部分に対応し、かつ、ユーザの第１の部分の姿勢の確実性を示す可変表示特性を有する提示されるそれぞれのアバター特徴を含む、アバターを提示させることにより、それぞれのアバター特徴によって表されているユーザの部分の姿勢における信頼性を示すフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、それぞれのアバター特徴は、ユーザの対応する部分の上に重ね合わされる（又はその代わりに表示される）。いくつかの実施形態では、可変表示特性は、ユーザの部分の姿勢の確実性（例えば、信頼性）に基づいて変動する。いくつかの実施形態では、ユーザの部分の姿勢の確実性は、確実性値（例えば、ユーザの部分の判定された姿勢が、ユーザの部分の実際の（例えば、現実環境（例えば、７００）における）姿勢の正確な表現であるという確実性（信頼性）を表す値）として表される。いくつかの実施形態では、確実性値は、ある範囲の値、例えば、０％～１００％のパーセント範囲を使用して表され、０％は、それぞれのユーザ特徴（又はその一部分）の姿勢が正確であるという確実性がない（最小限である）ことを示し、１００％は、それぞれのユーザ特徴の推定の確実性が、（例えば、例えばセンサ限界に起因して実際の姿勢が判定できない場合であっても）所定の閾値確実性（例えば、８０％、９０％、９５％、又は９９％）を上回ることを示す。いくつかの実施形態では、コンピュータシステム（例えば、１０１）（又は別の処理デバイス）が、それぞれのユーザ特徴の潜在的な位置又は姿勢を推量するのに十分な有用なデータを有さない場合、確実性は０％であり得る。例えば、それぞれのユーザ特徴は、画像センサ（例えば、７０５－１、７０５－２、７０５－３、７０５－４）の視野（例えば、７０７－１、７０７－２、７０７－３、７０７－４）内にないことがあり、それぞれのユーザ特徴は、いくつかの異なる位置又は姿勢のうちのいずれか１つと同程度に確からしい。あるいは、例えば、近接センサ（又はいくつかの他のセンサ）を使用して生成されたデータは、不確定である、又は他の場合にはそれぞれのユーザ特徴の姿勢を正確に推論するには不十分である。いくつかの実施形態では、コンピュータシステム（又は別の処理デバイス）が、姿勢データを使用してそれぞれのユーザ特徴を明確に識別することができ、姿勢データを使用してそれぞれのユーザ特徴の正しい位置を判定することができる場合、確実性は、高くなり得る（例えば、９９％、９５％、９０％の確実性）。
いくつかの実施形態では、可変表示特性は、ユーザの部分の姿勢の確実性に直接的に相関する。例えば、それぞれのアバター特徴は、ユーザの部分の姿勢における第１の確実性（例えば、低い確実性）を（例えば、閲覧者に）伝達するために、第１の値（例えば、低値）を有する可変表示特性を用いてレンダリングされ得る。逆に、それぞれのアバター特徴は、ユーザの部分の姿勢におけるより高い確実性（例えば、８０％、９０％、９５％、又は９９％など、所定の確実性閾値を上回る確実性などの高い確実性）を伝達するために、第１の値よりも大きい第２の値（例えば、高値）を有する可変表示特性を用いてレンダリングされ得る。いくつかの実施形態では、可変表示特性は、ユーザの部分の姿勢の確実性（例えば、確実性値）に直接的には相関しない。例えば、ユーザの部分の外観が通信目的にとって重要である場合、対応するアバター特徴は、ユーザの部分の姿勢における確実性が低い場合であっても、高い確実性に対応する値を有する可変表示特性を用いてレンダリングされ得る。これは、例えば、それぞれのアバター特徴を、低い確実性に対応する値を有する可変表示特性を用いて表示することが（例えば、閲覧者の）散漫にする場合に行われ得る。例えば、アバターが、ユーザの頭部の上に表示された（例えば、重ね合わされた）アバターヘッドを含み、アバターヘッドが、ユーザの唇の姿勢を表すアバターリップ（例えば、７２４）を含む実施形態について考察する。コンピュータシステム（又は別の処理デバイス）は、ユーザの唇が移動する（例えば、唇が正確な検出には速く動き過ぎる、ユーザの唇が部分的に覆われているなど）際に唇の姿勢における低い確実性を判定するが、低い確実性又は高い（例えば最大の）確実性よりも低い確実性に対応する値を有する可変表示特性を用いてレンダリングされた唇を有するアバターを表示することは散漫にするので、対応するアバターリップは、高い（例えば最大の）確実性に対応する値を有する可変表示特性を用いてレンダリングすることができる。
いくつかの実施形態では、可変表示特性（例えば、７２５、８３０）は、ユーザの第１の部分の姿勢に関するそれぞれのアバター特徴（例えば、７２７、７２４、７２３－１、７２３－２、７２２、７２６、７２１－２、７２１－３、７２１－４）の推定された視覚的忠実性を示す。いくつかの実施形態では、視覚的忠実性は、ユーザの部分の姿勢に関する表示／レンダリングされたアバター（又はその一部分）の信憑性を表す。言い換えれば、視覚的忠実性は、表示／レンダリングされたアバター（又はその一部分）がユーザの対応する部分の実際の姿勢にどのくらい密接に適合すると考えられているかの尺度である。いくつかの実施形態では、可変表示特性の値の増大又は減少が、増大した視覚的忠実性を示すか、減少した視覚的忠実性を示すかどうかは、利用されている可変表示特性のタイプに依存する。例えば、可変表示特性がぼかし効果である場合、より大きな値の可変表示特性（より高いぼかし）は、減少した視覚的忠実性を伝達し、逆もまた同様である。逆に、可変表示特性が粒子密度である場合、より大きな値の可変表示特性（より大きな粒子密度）は、増大した視覚的忠実性を伝達し、逆もまた同様である。
方法９００では、アバター（例えば、７２１）を提示することは、ユーザの第１の部分（例えば、７０１－１、７０１－２、７０１－３、７０１－４）の姿勢が第１の確実性値に関連付けられている（例えば、確実性値が第１の確実性値である）という判定に従って（例えば、姿勢データに基づいて）、コンピュータシステム（例えば、１０１）が、可変表示特性の第１の値を有するそれぞれのアバター特徴（例えば、７２７、７２４、７２３－１、７２３－２、７２２、７２６、７２１－２、７２１－３、７２１－４）を用いてアバター（例えば、７２１）を提示する（９０６）ことを含む（例えば、７２７は、図７Ｃでは、低密度のハッチング７２５を有する；７２１－３、７２１－２、７２３－１、７２３－２、７２２、及び／又は７２４は、図７Ｃでは、ハッチング７２５がない；部分７２１－４は、図７Ｃでは、左手に低いハッチング密度７２５－１を有する）（例えば、ユーザの部分の姿勢に関するそれぞれのアバター特徴の第１の推定された視覚的忠実性を示す第１の可変表示特性値（例えば、ぼかし度量、不透明度、色、減衰／密度、解像度、など）を有するそれぞれのアバター特徴が表示される）。ユーザの第１の部分の姿勢が第１の確実性値に関連付けられているという判定に従って、可変表示特性の第１の値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、それぞれのアバター特徴によって表されているユーザの第１の部分の姿勢がユーザの第１の部分の実際の姿勢に対応する確実性を示すフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、可変表示特性の第１の値を有するそれぞれのアバター特徴を用いてアバターを提示することは、ユーザの部分の姿勢と同じ姿勢を有するそれぞれのアバター特徴を提示することを含む。
方法９００において、アバター（例えば、７２１）を提示することは、ユーザの第１の部分（例えば、７０１－１、７０１－２、７０１－３、７０１－４）の姿勢が第１の確実性値とは異なる（例えば、それよりも大きい）第２の確実性値に関連付けられるという判定に従って、コンピュータシステム（例えば、１０１）が、可変表示特性の第１の値とは異なる可変表示特性の第２の値を有するそれぞれのアバター特徴（例えば、７２７、７２４、７２３－１、７２３－２、７２２、７２６、７２１－２、７２１－３、７２１－４）を用いてアバターを提示すること（９０８）を含む（例えば、７２１－２は、図８Ｃでは、可変表示特性８３０を用いて表示される；アバターの左手は、図８Ｃでは、ハッチングがない；アバターの左肘は、図８Ｃでは、ほとんどハッチング７２５がない）（例えば、ユーザの部分の姿勢に関するそれぞれのアバター特徴の第２の推定された視覚的忠実性を示す第２の可変表示特性値（例えば、ぼかし度量、不透明度、色、減衰／密度、解像度など）を有するそれぞれのアバター特徴が表示され、第２の推定された視覚的忠実性は、第１の推定された視覚的忠実性とは異なる（例えば、第２の推定された視覚的忠実性は、第１の推定された視覚的忠実性よりも高い視覚的忠実性の推定値を示す））。ユーザの第１の部分の姿勢が第２の確実性に関連付けられているという判定に従って、可変表示特性の第１の値とは異なる可変表示特性の第２の値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、それぞれのアバター特徴によって表されているユーザの第１の部分の姿勢がユーザの第１の部分の実際の姿勢に対応する異なる確実性を示すフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、可変表示特性の第２の値を有するそれぞれのアバター特徴を用いてアバターを提示することは、ユーザの部分の姿勢と同じ姿勢を有するそれぞれのアバター特徴を提示することを含む。
いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、ユーザ（例えば、７０１）の少なくとも第２の部分（例えば、７０１－２）（例えば、ユーザの第１の部分とは異なるユーザの部分）の姿勢を表す第２の姿勢データを受信し、表示生成コンポーネント（例えば、７３０）を介して、アバター（例えば、７２１）を提示させる（例えば、提示されたアバターを更新する）。アバターは、ユーザの第２の部分に対応し（例えば、ユーザの第２の部分はユーザの口であり、第２のアバター特徴は、ユーザの口の表現である）、かつ、ユーザの第２の部分の姿勢の確実性を示す第２の可変表示特性（例えば、第１の可変表示特性と同じ可変表示特性）（例えば、第１の可変表示特性とは異なる可変表示特性）を有する提示する、第２のアバター特徴（例えば、７２１－２）を含む（例えば、７２１－２は、７０１－２の姿勢の高い確実性を示すハッチング７２５なしで表示される）。ユーザの第２の部分に対応し、かつ、ユーザの第２の部分の姿勢の確実性を示す第２の可変表示特性を有する提示する、第２のアバター特徴を含むアバターを提示させることにより、第２のアバター特徴によって表されているユーザの第２の部分の姿勢における信頼性を示すフィードバックがユーザに提供され、更に、ユーザの異なる部分の姿勢における変動する信頼性レベルのフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバター（例えば、７２１）を提示することは、ユーザの第２の部分（例えば、７０１－２）の姿勢が第３の確実性値に関連付けられている（例えば、７１０－２は、図７Ｂではハッチング７１５がない）という判定に従って、第２の可変表示特性の第１の値を有する第２のアバター特徴を用いてアバターを提示すること（例えば、７２１－２は、図７Ｃではハッチング７２５がない）を含む。ユーザの第２の部分の姿勢が第３の確実性値に関連付けられているという判定に従って、第２の可変表示特性の第１の値を有する第２のアバター特徴を用いてアバターを提示することにより、第２のアバター特徴によって表されているユーザの第２の部分の姿勢がユーザの第２の部分の実際の姿勢に対応する確実性を示すフィードバックがユーザに提供され、更に、ユーザの異なる部分の姿勢における変動する信頼性レベルのフィードバックが提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバターを提示すること（例えば、７２１）は、ユーザの第２の部分（例えば、７０１－２）の姿勢が、第３の確実性値とは異なる第４の確実性値に関連付けられている（例えば、８１１－３及び８１１－４は、図８Ｂでは、高密度のハッチング７１５を有する）という判定に従って、第２の可変表示特性の第１の値とは異なる第２の可変表示特性の第２の値を有する第２のアバター特徴を用いてアバターを提示することを含む（例えば、アバター７２１は、（例えば、いくつかの実施形態では、ハッチング７２５によって表されるものと同様の）可変表示特性であるスモーク効果８３０を有するアバターの右腕（部分７２１－２を含む）を用いて提示される。ユーザの第２の部分の姿勢が第４の確実性値に関連付けられているという判定に従って、第２の可変表示特性の第１の値とは異なる第２の可変表示特性の第２の値を有する第２のアバター特徴を有するアバターを提示することにより、第２のアバター特徴によって表されているユーザの第２の部分の姿勢がユーザの第２の部分の実際の姿勢に対応する異なる確実性を示すフィードバックがユーザに提供され、更に、ユーザの異なる部分の姿勢における変動する信頼性レベルのフィードバックが提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバター（例えば、７２１）を提示することは、第３の確実性値が、第１の確実性値に対応する（例えば、それと等しい、同じである）（例えば、ユーザの第１の部分の姿勢の確実性が５０％、５５％、又は６０％であり、ユーザの第２の部分の姿勢の確実性もまた５０％、５５％、又は６０％である）（例えば、図７Ｂでは、ユーザの右肘の確実性は、確実性マップ７１０の部分７１０－６に示されるように中程度のハッチング密度を有しており、ユーザの左肘の確実性もまた中程度のハッチング密度を有する）という判定に従って、第２の可変表示特性の第１の値が、可変表示特性の第１の値に対応することを含む（例えば、それと等しい、同じである）（例えば、図７Ｃでは、アバターの左肘と右肘の両方が中程度のハッチング密度を有する）（例えば、可変表示特性と第２の可変表示特性の両方が、ユーザのそれぞれの部分の姿勢の５０％、５５％、又は６０％の確実性を示す値を有する（例えば、可変表示特性の第１の値は、ユーザの第１の部分の姿勢の５０％、５５％、又は６０％の確実性を示し、第２の可変表示特性の第１の値は、ユーザの第２の部分の姿勢の５０％、５５％、又は６０％の確実性を示す））。
いくつかの実施形態では、アバター（例えば、７２１）を提示することは、第４の確実性値が、第２の確実性値に対応する（例えば、それと等しい、同じである）（例えば、ユーザの第１の部分の姿勢の確実性が２０％、２５％、又は３０％であり、ユーザの第２の部分の姿勢の確実性が２０％、２５％、又は３０％である）（例えば、図７Ｂでは、ユーザの右上腕部の確実性は、確実性マップ７１０の部分７１０－９に示されるように低いハッチング密度を有しており、ユーザの左上腕部の確実性もまた低いハッチング密度を有する）という判定に従って、第２の可変表示特性の第２の値が、可変表示特性の第２の値に対応する（例えば、それと等しい、同じである）（例えば、図７Ｃでは、アバターの左上腕部と右上腕部の両方が低いハッチング密度を有する）ことを含む（例えば、可変表示特性と第２の可変表示特性の両方が、ユーザのそれぞれの部分の姿勢の２０％、２５％、又は３０％の確実性を示す値を有する（例えば、可変表示特性の第２の値は、ユーザの第１の部分の姿勢の２０％、２５％、又は３０％の確実性を示し、第２の可変表示特性の第２の値は、ユーザの第２の部分の姿勢の２０％、２５％、又は３０％の確実性を示す））。
いくつかの実施形態では、アバター特徴及びユーザのそれぞれの第１の部分は、確実性と可変表示特性の値（例えば、視覚的忠実性）との間に、第２のアバター特徴及びユーザの第２の部分と同じ関係を有する。例えば、ユーザの第１の部分の姿勢の確実性は、可変表示特性の値に直接的に対応し、また、ユーザの第２の部分の姿勢の確実性は、第２の可変表示特性の値に直接的に対応する。これは、確実性値の異なる変化を例証する以下の実施例に示される。ユーザの第１の部分の姿勢の確実性が５％、７％、又は１０％だけ減少すると、可変表示特性の値は、確実性の５％、７％、又は１０％の減少を示す量だけ調整し（例えば、確実性と可変表示特性の値の間で直接又は比例マッピングされる）、ユーザの第２の部分の姿勢の確実性が１０％、１５％、又は２０％だけ増加すると、第２の表示特性の値は、確実性の１０％、１５％、又は２０％の増加を示す量だけ調整する（例えば、確実性と第２の可変表示特性の値の間で直接又は比例マッピングされる）。
いくつかの実施形態では、方法９００は、第３の確実性値が、第１の確実性値に対応する（例えば、それと等しい、同じである）（例えば、ユーザの第１の部分の姿勢の確実性が５０％、５５％、又は６０％であり、ユーザの第２の部分の姿勢の確実性もまた５０％、５５％、又は６０％である）（例えば、図７Ｂでは、部分７１０－２と部分７１０－１の両方は、確実性マップ７１０に示されるようにハッチングがない）という判定に従って、第２の可変表示特性の第１の値が、可変表示特性の第１の値に対応しないことを含む（例えば、それと等しくない、それとは異なる）（例えば、アバターの部分７２１－２は、ハッチングがなく、アバターの首部分７２７はハッチング７２５有する）（例えば、可変表示特性及び第２の可変表示特性は、ユーザのそれぞれの部分の姿勢の異なる量の確実性を示す値を有する（例えば、可変表示特性の第１の値は、ユーザの第１の部分の姿勢の５０％、５５％、又は６０％の確実性を示し、第２の可変表示特性の第１の値は、ユーザの第２の部分の姿勢の２０％、２５％、又は３０％の確実性を示す））。
いくつかの実施形態では、方法９００は、第４の確実性値が、第２の確実性値に対応する（例えば、それと等しい、同じである）（例えば、ユーザの第１の部分の姿勢の確実性が２０％、２５％、又は３０％であり、ユーザの第２の部分の姿勢の確実性が２０％、２５％、又は３０％である）（例えば、図７Ｂでは、部分７１０－７と部分７１０－５は両方とも、確実性マップ７１０に示されるように低い密度のハッチング７１５を有する）という判定に従って、第２の可変表示特性の第２の値が、可変表示特性の第２の値に対応しない（例えば、それと等しくない、それとは異なる）（例えば、アバターの左目７２３－２はハッチングがなく、アバターの襟部分７２７はハッチング７２５を有する）ことを含む（例えば、可変表示特性及び第２の可変表示特性は、ユーザのそれぞれの部分の姿勢の異なる量の確実性を示す値を有する（例えば、可変表示特性の第２の値は、ユーザの第１の部分の姿勢の２０％、２５％、又は３０％の確実性を示し、第２の可変表示特性の第２の値は、ユーザの第２の部分の姿勢の４０％、４５％、又は５０％の確実性を示す））。
いくつかの実施形態では、第２のアバター特徴及びユーザの第２の部分に関する確実性と可変表示特性の値（例えば、視覚的忠実性）との間の関係は、それぞれのアバター特徴及びユーザの第１の部分に関するものとは異なる。例えば、いくつかの実施形態では、可変表示特性の値は、姿勢の実際の確実性とは異なる確実性を示すように選択される。
例えば、いくつかの実施形態では、可変表示特性の値は、対応するユーザ特徴に実際に関連付けられているよりも高い確実性を示す。これは、例えば、特徴が通信にとって重要であると見なされる場合に行われ得る。この例では、正確な確実度レベルを示す値を有する可変表示特性を用いて対応するアバター特徴をレンダリングすることは散漫にするので、より高い確実性を示す値を有する可変表示特性（例えば、それぞれのアバター特徴の高忠実性表現）を用いて特徴をレンダリングすることは、通信を向上させる。
別の例として、いくつかの実施形態では、可変表示特性の値は、対応するユーザ特徴に実際に関連付けられているよりも低い確実性を示す。これは、例えば、特徴が通信にとって重要ではないと見なされる場合に行われ得る。この例では、より低い確実性を示す値を有する可変表示特性（例えば、それぞれのアバター特徴の低忠実性表現）を用いて特徴をレンダリングすることは、典型的には、高い確実性を示す値を有する可変表示特性（例えば、それぞれのアバター特徴の高忠実性表現）を用いてそれぞれのアバター特徴をレンダリングするときに拡張される計算リソースを確保する。ユーザ特徴は、通信にとって重要ではないと見なされるので、通信の有効性を犠牲にすることなく、計算リソースを確保することができる。
いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、ユーザ（例えば、７０１）の第１の部分（例えば、７０１－１、７０１－２、７０１－３、７０１－４）の姿勢変化を表す更新された姿勢データを受信する。更新された姿勢データを受信したことに応答して、コンピュータシステムは、ユーザの第１の部分の姿勢変化（例えば、その大きさ又は方向のうちの少なくとも１つ）に基づいて、それぞれのアバター特徴の姿勢を更新することを含む、アバター（例えば、７２１）の表現を更新し、（例えば、それぞれのアバター特徴の姿勢は、ユーザの第１の部分の姿勢変化の大きさ及び／又は方向に対応する大きさによって、及び／又は対応する方向において更新される）（例えば、ユーザ７０１の左手が、図７Ａの直立姿勢から図８Ａの壁８０５上の位置に移動すると、アバター７２１の左手が、図７Ｃの直立姿勢から図８Ｃの壁上の位置に移動する）。ユーザの第１の部分の姿勢変化に基づいて、それぞれのアバター特徴の姿勢を更新することにより、ユーザの第１の部分の動きにより、コンピュータシステムがそれに応じてそれぞれのアバター特徴を修正することを示すフィードバックがユーザに提供される。これは、表示生成コンポーネントを使用して仮想アバターを操作及び／又は合成するための制御スキームを提供し、コンピュータシステムは、ユーザの第１の部分を含むユーザの身体的特徴への変化（並びに、それらの変化の大きさ及び／又は方向）の形態の入力を処理し、仮想アバターの外観の形態のフィードバックを提供する。これにより、ユーザの身体的特徴の姿勢変化に関するユーザへの視覚的フィードバックが改善される。これにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、アバターの位置は、ユーザの動きに基づいて更新される。例えば、アバターは、ユーザの動きをミラーリングするためにリアルタイムで更新される。例えば、ユーザが腕を背中に回すと、腕を背中に移動させたアバターが表示されて、ユーザの動きがミラーリングされる。
いくつかの実施形態では、アバター（例えば、７２１）の表現を更新することは、ユーザの第１の部分の姿勢変化中のユーザの第１の部分の姿勢の確実性の変化に応答して、ユーザの第１の部分の姿勢変化に基づいてアバターの少なくとも一部分の位置を変更することに加えて、表示されたそれぞれのアバター特徴の可変表示特性を変更することを含む（例えば、ユーザの右手が、図７Ａの姿勢から図８Ａの姿勢に移動するにつれて、対応するアバター特徴（アバターの右手）が、図７Ｃのハッチングなしから、図８Ｃのスモーク特徴８３０を有するように変化する）。ユーザの第１の部分の姿勢変化に基づいて、アバターの少なくとも一部分の位置を変更することに加えて、表示されたそれぞれのアバター特徴の可変表示特性を変更することにより、それぞれのアバター特徴の姿勢の確実性が、ユーザの第１の部分の姿勢変化による影響を受けるというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバターの表現を更新することは、ユーザの第１の部分の姿勢の確実性が、ユーザの第１の部分の姿勢の変化を表す更新された姿勢データに基づいて増大した（例えば、ユーザの第１の部分が、ユーザの第１の部分の確実性が増大する位置に移動する（例えば、ユーザの手が、センサの視野の外側にある位置（カメラ、又は他のセンサが、手の位置をはっきりとはキャプチャできない）から、センサの視野内の位置（カメラが、手の位置をはっきりとキャプチャできる）に移動する）（例えば、ユーザの手が、カップなどのオブジェクトの後ろからオブジェクトの前に移動する））という判定に従って、ユーザの第１の部分の姿勢における確実性の増大に基づいて、可変表示特性の現在値を修正すること（例えば、可変表示特性のタイプに応じて、増減する）（例えば、可変表示特性を修正すること）を含む（例えば、ユーザの手の位置は、（視野内又はカップの前の）更新された位置では、カメラにより、よりはっきりとキャプチャされるので、ユーザの手の姿勢の確実性は増大し、可変表示特性の値は、それに応じて調整される（例えば、可変表示特性のタイプに応じて、増加又は減少される）。
いくつかの実施形態では、アバターの表現を更新することは、ユーザの第１の部分の姿勢の確実性が、ユーザの第１の部分の姿勢の変化を表す更新された姿勢データに基づいて減少した（例えば、ユーザの第１の部分が、ユーザの第１の部分の確実性が減少する位置に移動する（例えば、ユーザの手が、センサの視野内の位置（カメラ、又は他のセンサが、手の位置をはっきりとキャプチャできる）から、センサの視野の外側にある位置（カメラが、手の位置をはっきりとはキャプチャできない）に移動する）（例えば、ユーザの手が、カップなどのオブジェクトの前からオブジェクトの後ろの移動する）という判定に従って、ユーザの第１の部分の姿勢における確実性の減少に基づいて、可変表示特性の現在値を修正すること（例えば、可変表示特性のタイプに応じて、増減する）（例えば、可変表示特性を修正すること）を含む（例えば、ユーザの手は、センサの視野の外側にある、又は更新された位置にあるカップにより隠れているので、ユーザの手の姿勢の確実性は減少し、可変表示特性の値は、それに応じて調整される（例えば、可変表示特性のタイプに応じて、増加又は減少される））。
いくつかの実施形態では、ユーザの第１の部分（例えば、ユーザの手）の姿勢の確実性は、ユーザの第１の部分が移動するにつれて変化（例えば、増大又は減少）し、可変表示特性の値は、確実性の変化に合わせてリアルタイムで更新される。いくつかの実施形態では、可変表示特性の値の変化は、それぞれのアバター特徴に適用される可変表示特性の滑らかな、漸進的な変化として表される。例えば、ユーザが、センサの視野のフィールドの外側にある位置に又はそこから手を移動させるにつれて確実性値が変化する実施形態を参照すると、可変表示特性が粒子の密度に対応する場合、アバターの手を含む粒子の密度は、ユーザがセンサの視野内へと手を移動させるにつれて、ユーザの手の位置における確実性の増大と調和して漸進的に増大する。逆に、アバターの手を含む粒子の密度は、ユーザがセンサの視野から視野の外側にある位置に手を移動させるにつれて、ユーザの手の位置における確実性の減少と調和して漸進的に減少する。同様に、可変表示特性がぼかし効果である場合、アバターの手に適用されるぼかし量は、ユーザがセンサの視野内に手を移動させるにつれて、ユーザの手の位置における確実性の増大と調和して漸進的に減少する。逆に、アバターの手に適用されるぼかし量は、ユーザがセンサの視野から外に手を移動させるにつれて、ユーザの手の位置における確実性の減少と調和して漸進的に増大する。
いくつかの実施形態では、アバターを提示することは、１）ユーザの第１の部分（例えば、ユーザの手及び／又は顔）が第１のセンサ（例えば、７０５－１、７０５－２、７０５－４）によって検出される（例えば、ユーザの手及び／又は顔が、カメラ又は他のセンサに視認可能である、それによって検出される、又はそれによって識別される）ときに満たされる第１の基準セットを姿勢データが満たすという判定に従って、可変表示特性の第３の値を有するそれぞれのアバター特徴を用いてアバター（例えば、７２１）を提示すること（例えば、７２１－２、７２１－３、７２１－４、７２３－１、７２４、７２２は、図７Ｃでは、ハッチングなしで表示される）（例えば、ユーザの第１の部分はセンサによって検出されるので、それぞれのアバター特徴はより高い忠実性で表される）と、２）第１の基準セットを姿勢データが満たさない（例えば、ユーザの手が図８Ａの視野７０７－２の外側にある）（例えば、ユーザの手及び／又は顔が、カメラ又は他のセンサに視認可能でない、それによって検出されない、又はそれによって識別されない）という判定に従って、可変表示特性の第３の値よりも低い確実性値を示す可変表示特性の第４の値を有するそれぞれのアバター特徴を用いてアバターを提示すること（例えば、アバターの右手は、図８Ｃでは、スモーク効果８３０によって示される可変表示特性を有するように表示される）（例えば、ユーザの第１の部分はセンサによって検出されないので、それぞれのアバター特徴はより低い忠実性で表される）と、を含む。ユーザの第１の部分が第１のセンサによって検出されるかどうかに応じて、可変表示特性の第３の値又は可変表示特性の第４の値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、それぞれのアバター特徴の姿勢の確実性が、ユーザの第１の部分がセンサによって検出されるか否かによる影響を受けるというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、可変表示特性の現在値を有するそれぞれのアバター特徴が提示されている間に（例えば、アバターの手７２１－２は、図７Ｃではハッチングがない）（例えば、可変表示特性の第１の値）（例えば、可変表示特性の第２の値）（例えば、可変表示特性の現在値は、ユーザの第１の部分に関するそれぞれのアバター特徴の現在の視覚的忠実性に対応する）、コンピュータシステム（例えば、１０１）は、ユーザの第１の部分の姿勢の変化を表す更新された姿勢データを受信する（例えば、ユーザが手を移動させる）。
更新された姿勢データを受信したことに応答して、コンピュータシステム（例えば、１０１）は、アバターの表示を更新する。いくつかの実施形態では、アバターの表現を更新することは、更新された姿勢データが、センサの視野内の（例えば、センサの視野内の、センサに視認可能である）第１の位置からセンサの視野の外側の第２の位置への、ユーザの第１の部分の姿勢の変化を表す（例えば、ユーザの右手が、図７Ａの視野７０７－２内から図８Ａの視野７０７－２の外側に移動する）（例えば、センサの視野の外側、センサに視認可能でない）（例えば、手が、センサ（例えば、カメラ）の視野内にある位置からセンサの視野内にない位置に移動する）という判定に従って、可変表示特性の現在値を減少させることを含む（例えば、アバターの手７２１－２は、図７Ｃではハッチングがなく、図８Ｃではスモーク効果８３０によって表されている）（例えば、可変表示特性の減少した値は、ユーザの第１の部分に関するそれぞれのアバター特徴の減少した視覚的忠実性に対応する）（例えば、それぞれのアバター特徴は、ユーザの手の更新された姿勢における確実性の減少を示す表示特性値に移行する）。更新された姿勢データが、センサの視野内の第１の位置からセンサの視野の外側の第２の位置へのユーザの第１の部分の姿勢の変化を表すという判定に従って、可変表示特性の現在値を減少させることにより、センサの視野内からセンサの視野の外側にユーザの第１の部分を移動させることが、それぞれのアバター特徴の姿勢の確実性の変化（例えば、確実性の減少）を引き起こすというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバターの表現を更新することは、更新された姿勢データは、第２の位置から第１の位置へのユーザの第１の部分の姿勢の変化を表す（例えば、手が、センサ（例えば、カメラ）の視野の外側にある位置からセンサの視野内にある位置へと移動する）（例えば、図８Ａの位置から図７Ａの位置へと部分７０１－２を移動させること）という判定に従って、可変表示特性の現在値を増加させることを含む（例えば、アバターの部分７２１－２は、図７Ｃではハッチングなしで表示されており、図８Ｃでは、部分７２１－２は、スモーク効果８３０で置換されている）（例えば、可変表示特性の増加した値は、ユーザの第１の部分に関するそれぞれのアバター特徴の増大した視覚的忠実性に対応する）（例えば、それぞれのアバター特徴は、ユーザの手の更新された姿勢における確実性の減少を示す表示特性値に移行する）（例えば、それぞれのアバター特徴は、ユーザの手の更新された姿勢における確実性の増大を示す表示特性値に移行する）。更新された姿勢データが、第２の位置から第１の位置へのユーザの第１の部分の姿勢の変化を表すという判定に従って、可変表示特性の現在値を増加させることにより、センサの視野の外側からセンサの視野内にユーザの第１の部分を移動させることが、それぞれのアバター特徴の姿勢の確実性の変化（例えば、確実性の増大）を引き起こすというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、可変表示特性の現在値は、第１の速度で減少し（例えば、センサの視野の外側にある位置に手が移動する場合、減少は遅い速度（例えば、手の検出された動きよりも遅い速度）で起こり）、可変表示特性の現在値は、第１の速度よりも高い第２の速度で増加する（例えば、センサの視野内にある位置に手が移動する場合、増大は高速（例えば、減少速度よりも速い速度）で起こる）。第１の速度で可変表示特性の現在値を減少させ、第１の速度よりも高い第２の速度で可変表示特性の現在値を増加させることにより、それぞれのアバター特徴の姿勢における確実性の増大が確認されるタイミングに関するフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、可変表示特性の現在値を減少させることは、第２の場所がユーザの第１の部分の既知の位置に対応する（例えば、ユーザの手が、センサの視野の外側に位置決めされている場合であっても、コンピュータシステムには手の位置が分かる）という判定に従って、第１の速度で可変表示特性の現在値を減少させることを含む（例えば、可変表示特性（例えば、視覚的忠実性）の減少は、センサの視野の外側の既知の位置に手が移動するときに、遅い速度（例えば、手の検出されたい動きよりも遅い）で起こる）。いくつかの実施形態では、ユーザの第１の部分の位置は、例えば、他のデータを使用して位置（又は大まかな位置）を推論することによって判定することができる。例えば、ユーザの手は、センサの視野の外側にあり得るが、ユーザの前腕部は視野内にあり、したがって、前腕部の既知の位置に基づいて、手の位置を判定することができる。別の例として、ユーザの手は、ユーザの背後に、したがってセンサの視野の外側に位置決めされ得るが、ユーザの腕の位置に基づいて、手の位置が（少なくとも大まかに）分かる。いくつかの実施形態では、可変表示特性の現在値を減少させることは、第２の位置がユーザの第１の部分の既知の場所に対応するという判定に従って、第１の速度よりも高い第２の速度で可変表示特性の現在値を減少させることを含む（例えば、可変表示特性（例えば、視覚的忠実性）の減少は、センサの視野の外側の未知の位置に手が移動するときに、高速で（例えば、手の位置が分かっているときよりも速く）起こる）。
いくつかの実施形態では、可変表示特性の第１の値は、可変表示特性の第２の値よりも高い、ユーザの第１の部分の姿勢に関するそれぞれのアバター特徴の視覚的忠実性を表す。いくつかの実施形態では、アバターを提示することは、１）ユーザの第１の部分が身体的特徴のサブセット（例えば、ユーザの腕及び肩）に対応するという判定に従って、ユーザの第１の部分の姿勢を第２の確実性値に関連付けることと（例えば、ユーザの第１の部分がユーザの腕及び／又は肩に対応するので、それぞれのアバター特徴は、より低い忠実性で表される）（例えば、アバターの首及び襟部領域７２７は、図７Ｃでは、ハッチング７２５を用いて提示される）、２）ユーザの第１の部分が身体的特徴のサブセットに対応しないという判定に従って、ユーザの第１の部分の姿勢を第１の確実性値と関連付けることと（例えば、ユーザの第１の部分がユーザの腕及び／又は肩に対応しないので、それぞれのアバター特徴は、より高い忠実性で表される）（例えば、口７２４は、図７Ｃでは、ハッチングなしでレンダリングされる）、を含む。ユーザの第１の部分が身体的特徴のサブセットに対応するかどうかに応じて、ユーザの第１の部分の姿勢を第１の確実性値又は第２の確実性値に関連付けることにより、これらの特徴の確実性が高い場合であっても、これらの特徴が通信目的にとってあまり重要でないときには、高い忠実性で特徴の生成及び表示を取り止めること（例えば、より低い忠実性で特徴をレンダリングすること）によって、計算リソースが節約される（それによって、使用電力が低減され、バッテリ寿命が改善される）。いくつかの実施形態では、ユーザの腕及び肩は、センサの視野内にないときに、又はそれらが通信にとって重要な特徴ではないと見なされるときに、より低い忠実性を示す可変表示特性を用いて（アバターを介して）示される。いくつかの実施形態では、通信にとって重要であると見なされる特徴には、目、口、及び手が含まれる。
いくつかの実施形態では、アバター（例えば、７２１）が、可変表示特性の第１の値を有するそれぞれのアバター特徴を用いて提示されている間、コンピュータシステム（例えば、１０１）は、アバターの表現を更新し、１）ユーザの第１の部分の移動速度がユーザの第１の部分の第１の移動速度であるという判定に従って、（例えば、減少した信頼性値に基づく）可変表示特性の第１の変更された値（例えば、可変表示特性の現在値（例えば、第１の値）に対して減少されている）を有するそれぞれのアバター特徴を用いてアバターを提示することと、２）ユーザの第１の部分の移動速度が第１の移動速度とは異なる（例えば、それよりも低い）、ユーザの第１の部分の第２の移動速度であるという判定に従って、（例えば、増加した信頼性値に基づく）可変表示特性の第２の変更された値（例えば、可変表示特性の現在値（例えば、第１の値）に対して増加している）を有するそれぞれのアバター特徴を用いてアバターを提示することと、を含む。ユーザの第１の部分の移動速度が第１の移動速度である場合、可変表示特性の第１の変更された値を有するそれぞれのアバター特徴を用いてアバターを提示し、ユーザの第１の部分の移動速度が第２の移動速度である場合、可変表示特性の第２の変更された値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、ユーザの第１の部分の移動速度の変動がそれぞれのアバター特徴の姿勢の確実性に影響を与えることを示すというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザの第１の部分の移動速度が増大するにつれて、ユーザの第１の部分の位置の確実性が（例えば、センサの制限、例えば、カメラのフレームレートに基づいて）減少し、可変表示特性の値の対応する変化がもたらされる。例えば、可変表示特性が、それぞれのアバター特徴を含む粒子の密度に対応する場合、確実性値が減少すると、粒子の密度が減少し、ユーザの第１の部分の姿勢における確実性がより低いことが示される。別の例では、可変表示特性が、それぞれのアバター特徴に適用されたぼかし効果である場合、確実性値が減少すると、ユーザの第１の部分の姿勢におけるより低い確実性を示すためにぼかし効果が増大される。いくつかの実施形態では、ユーザの第１の部分の移動速度が減少するにつれて、ユーザの第１の部分の位置の確実性が増大し、可変表示特性の値の対応する変化がもたらされる。例えば、可変表示特性が、それぞれのアバター特徴を含む粒子の密度に対応する場合、確実性値が増加すると、粒子の密度が増大し、ユーザの第１の部分の姿勢における確実性がより高いことが示される。別の例では、可変表示特性が、それぞれのアバター特徴に適用されたぼかし効果である場合、確実性値が増加すると、ユーザの第１の部分の姿勢におけるより高い確実性を示すために、ぼかし効果が減少される。
いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、可変表示特性（例えば、７２５、８３０）の値を変更し、それぞれのアバター特徴の１つ以上の視覚的パラメータを変更すること（例えば、図７Ｃ及び図８Ｃのアバター７２１に関して論じるように、可変表示特性７２５の値及び／又は視覚効果８３０を変更すること）を含む。可変表示特性の値を変更するときに、それぞれのアバター特徴の１つ以上の視覚的パラメータ変更することにより、それぞれのアバター特徴によって表されているユーザの第１の部分の姿勢の信頼性の変化を示すフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、可変表示特性の値を変更することは、１つ以上の視覚的パラメータの値を変更することに対応する（例えば、可変表示特性の値を増加させることは、それぞれのアバター特徴のぼかし度量、画素化、及び／又は色を増大させることに対応することができる）。したがって、本明細書に記載の１つ以上の視覚的パラメータを変更するために本明細書で提供される方法を使用して、可変表示特性を修正、変更、及び／又は調整することができる。
いくつかの実施形態では、１つ以上の視覚的パラメータは、ぼかし度（例えば、又は鮮明度）を含む。いくつかの実施形態では、それぞれのアバター特徴のぼかし度又は鮮明度は、ユーザの第１の部分の姿勢の確実性の増大又は減少を示すように変更される。例えば、ぼかし度を増大させる（鮮明度を減少させる）ことにより、ユーザの第１の部分の姿勢における確実性の減少を示し、ぼかし度を減少させること（鮮明度を増大させること）により、ユーザの第１の部分の姿勢における確実性の増大を示す。例えば、図７Ｃでは、増大した密度のハッチング７２５は、より高いぼかし度を表し、減少したハッチング密度は、より低いぼかし度を表す。したがって、ぼけたウエスト及びあまりぼけていない（より鮮明な）胸部を有するアバター７２１が表示される。
いくつかの実施形態では、１つ以上の視覚的パラメータは、不透明度（例えば、又は透明度）を含む。いくつかの実施形態では、それぞれのアバター特徴の不透明度又は透明度は、ユーザの第１の部分の姿勢の確実性の増大又は減少を示すように変更される。例えば、不透明度を増大させる（透明度を減少させる）ことにより、ユーザの第１の部分の姿勢における確実性の増大を示し、不透明度を減少させること（透明度を増大させること）により、ユーザの第１の部分の姿勢における確実性の減少を示す。例えば、図７Ｃでは、増大した密度のハッチング７２５は、より高い透明度（より低い不透明度）を表し、減少したハッチング密度は、より低い透明度（より高い不透明度）を表す。したがって、より透明なウエスト及びあまり透明でない（より不透明な）胸部を有するアバター７２１が表示される。
いくつかの実施形態では、１つ以上の視覚的パラメータは、色を含む。いくつかの実施形態では、それぞれのアバター特徴の色は、上述したように、ユーザの第１の部分の姿勢の確実性の増大又は減少を示すように変更される。例えば、ユーザの第１の部分の姿勢における確実性の増大を示すために、スキントーンの色を提示することができ、ユーザの第１の部分の姿勢における確実性の減少を示すために、スキントーンでない色（例えば、緑色、青色）を提示することができる。例えば、図７Ｃでは、部分７２１－２など、ハッチング７２５がないアバター７２１の領域は、スキントーンの色（例えば、茶色、黒色、褐色など）を用いて表示され、首及び襟部領域７２７など、ハッチング７２５を有する領域は、スキントーンでない色を用いて表示される。
いくつかの実施形態では、１つ以上の視覚的パラメータは、アバター７２１の様々な可変表示特性に関して上述したように、それぞれのアバター特徴を含む粒子の密度を含む。
いくつかの実施形態では、それぞれのアバター特徴を含む粒子の密度は、それぞれのアバター特徴を含む粒子間の間隔（例えば、平均距離）を含む。いくつかの実施形態では、粒子の密度を増大させることは、それぞれのアバター特徴を含む粒子間の間隔を低減させることを含み、粒子の密度を減少させることは、それぞれのアバター特徴を含む粒子間の間隔を増大させることを含む。いくつかの実施形態では、ユーザの第１の部分の姿勢の確実性の増大又は減少を示すために、粒子の密度が変更される。例えば、密度を増大させる（粒子間の間隔を低減させる）ことにより、ユーザの第１の部分の姿勢における確実性の増大を示し、密度を減少させること（粒子間の間隔を増大させること）により、ユーザの第１の部分の姿勢における確実性の増大を示す。例えば、図７Ｃでは、増大した密度のハッチング７２５は、より大きな粒子間隔を表し、減少したハッチング密度は、より小さな粒子間隔を表す。したがって、この例では、ウエストでは高い粒子間隔を有し、胸部では粒子間隔が小さいアバター７２１が表示される。
いくつかの実施形態では、それぞれのアバター特徴を含む粒子の密度は、それぞれのアバター特徴を含む粒子のサイズを含む。いくつかの実施形態では、粒子の密度を増大させることは、それぞれのアバター特徴を含む粒子のサイズを低減させること（例えば、あまり画素化されていない外観を生成すること）を含み、粒子の密度を減少させることは、それぞれのアバター特徴を含む粒子のサイズを増大させること（例えば、より画素化された外観を生成すること）を含む。いくつかの実施形態では、ユーザの第１の部分の姿勢の確実性の増大又は減少を示すために、粒子の密度が変更される。例えば、密度を増大させることは、それぞれのアバター特徴のより高い詳細度及び／又は解像度を提供するために粒子のサイズを低減することによる、ユーザの第１の部分の姿勢における確実性の増大を示す。同様に、密度を減少させることは、それぞれのアバター特徴のより低い詳細度及び／又は解像度を提供するために粒子のサイズを増大させることによる、ユーザの第１の部分の姿勢における確実性の減少を示す。いくつかの実施形態では、密度は、粒子サイズと間隔との組み合わせであってもよく、これらの因子は、ユーザの第１の部分の姿勢におけるより高い又はより低い確実性を示すように調整することができる。例えば、より小さな離間した粒子は、より大きく間隔が小さい粒子（より高い確実性を示す）と比較して、低減された密度（及び確実性の低減）を示し得る。例えば、図７Ｃでは、増大した密度のハッチング７２５は、より大きな粒子サイズを表し、減少したハッチング密度は、より小さな粒子サイズを表す。したがって、この例では、ウエストでは粒子サイズが大きく（ウエストは、より高度に画素化されて見える）、胸部では粒子サイズがより小さい（胸部は、ウエストよりも画素化されずに見える）アバター７２１が表示される。
いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、可変表示特性の値を変更し、それぞれのアバター特徴に関連付けられた視覚効果（例えば、８３０）を提示すること（例えば、視覚効果の表示を導入すること）を含む。可変表示特性の値を変更するときに、それぞれのアバター特徴に関連付けられた視覚効果を提示することにより、それぞれのアバター特徴によって表されているユーザの第１の部分の姿勢の信頼性が閾値信頼性レベル未満であるというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、視覚効果は、ユーザの対応する部分が閾値確実性値以下であるときに表示され、閾値確実性値を超えると表示されない。例えば、ユーザの対応する部分の姿勢の確実性が１０％の確実性値を下回る場合、それぞれのアバター特徴に関する視覚効果が表示される。例えば、視覚効果は、ユーザの肘がカメラの視野の外側にあるときに、アバターの肘に表示されるスモーク効果又はフィッシュスケールである。
いくつかの実施形態では、ユーザの第１の部分は、第１の身体的特徴（例えば、ユーザの口）及び第２の身体的特徴（例えば、ユーザの耳又は鼻）を含む。いくつかの実施形態では、可変表示特性の第１の値は、可変表示特性の第２の値よりも高い、ユーザの第１の身体的特徴の姿勢に関するそれぞれのアバター特徴の視覚的忠実性を表す。いくつかの実施形態では、可変表示特性の第２の値を有するそれぞれのアバター特徴を用いてアバターを提示することは、ユーザの対応する身体的特徴に基づく第１の身体的特徴のレンダリング（例えば、図７Ｃのアバターの口は、図７Ａのユーザの口７２４と同じである）、及びユーザのものではない対応する身体的特徴に基づく第２の身体的特徴のレンダリング（例えば、図７Ｃのアバターの鼻７２２は、図７Ａのユーザの鼻と同じではない）を用いてアバター（例えば、７２１）を提示することを含む（例えば、アバターは、ユーザの口（例えば、ユーザの口のビデオフィードを使用して提示される）を含み、アバターは、ユーザの耳（又は鼻）ではない耳（又は鼻）を含む（例えば、耳（又は鼻）は、他の人物からである、又は機械学習アルゴリズムに基づいて模倣される））。ユーザの対応する身体的特徴に基づく第１の身体的特徴のレンダリング、及びユーザのものではない対応する身体的特徴に基づく第２の身体的特徴のレンダリングを用いてアバターを提示することにより、これらの特徴の確実性が高い場合であっても、これらの特徴が通信目的にとってあまり重要でないときには、高い忠実性の生成及び表示を取り止めること（例えば、ユーザのものではない対応する身体的特徴に基づくものとして、いくつかの特徴をレンダリングすること）によって、計算リソースが節約される（それによって、使用電力が低減され、バッテリ寿命が改善される）。
いくつかの実施形態では、アバターが、低い忠実性（例えば、低い確実性）を示す可変表示特性を有する提示される場合、通信にとって重要であると見なされるユーザの身体的特徴（例えば、目、口、手）は、ユーザの実際の外観に基づいてレンダリングされ、他の身体的特徴は、ユーザの実際の外観以外のものに基づいてレンダリングされる。すなわち、通信にとって重要な身体的特徴は、例えば、特徴のビデオフィードを使用して高い忠実性で保持され、通信にとって重要ではないと見なされない身体的特徴（例えば、骨格、ヘアスタイル、耳など）は、例えば、アバター特徴のデータベースから選択された同様の特徴を使用して、又は機械学習アルゴリズムに基づいて導出されたコンピュータ生成特徴を使用してレンダリングされる。重要な通信特徴は、ユーザの対応する身体的特徴の外観に基づき、重要でない特徴は、異なる外観に基づくようにして、低い忠実性（例えば、低い確実性）を示す可変表示特性を用いてアバターをレンダリングすることにより、アバターを用いて表されるユーザと効果的に通信する能力を確保しながら、計算リソースが確保される。例えば、計算リソースは、低い忠実性を示す可変表示特性を用いて重要でない特徴をレンダリングすることによって確保される。しかしながら、重要な通信特徴がこのようにしてレンダリングされる場合、その特徴がユーザの対応する身体的特徴と一致しないので通信が阻害され、これにより、散漫にすることがあり、アバターを用いて表されるユーザのアイディンティティを混乱させることすらある。したがって、通信が阻害されないことを保証にするために、重要な通信特徴は、高い忠実性でレンダリングされ、それによって、依然として計算リソースを確保しながら、効果的に通信する能力が確保される。
いくつかの実施形態では、姿勢データは、複数のセンサ（例えば、７０５－１、７０５－２、７０５－３、７０５－４、８１０）から生成される。
いくつかの実施形態では、複数のセンサは、コンピュータシステム（例えば、１０１）に関連付けられた（例えば、コンピュータシステムを含む）１つ以上のカメラセンサ（例えば、７０５－１、７０５－２、７０５－３、７０５－４）を含む。いくつかの実施形態では、コンピュータシステムは、姿勢データをキャプチャするように構成されている１つ以上のカメラを含む。例えば、コンピュータシステムは、ヘッドセットの周りの物理的環境内の１人以上のユーザの姿勢を検出するように位置決めされたカメラを有するヘッドセットデバイスである。
いくつかの実施形態では、複数のセンサは、コンピュータシステムとは別個の１つ以上のカメラセンサを含む。いくつかの実施形態では、姿勢データは、コンピュータシステムとは別個の、ユーザの姿勢を表す姿勢データをキャプチャするように構成された１つ以上のカメラを使用して生成される。例えば、コンピュータシステムとは別個のカメラは、スマートフォンのカメラ、デスクトップのカメラ、及び／又はユーザが着用したヘッドセットデバイスからのカメラを含むことができる。これらのカメラの各々は、ユーザの姿勢をキャプチャすることによって、姿勢データの少なくとも一部分を生成するように構成されてもよい。いくつかの実施形態では、姿勢データは、異なる角度及び視点からのユーザ（又はユーザの部分）の位置又は姿勢を提供する複数のカメラソースから生成される。
いくつかの実施形態では、複数のセンサは、１つ以上の非視覚センサ（例えば、８１０）（例えば、カメラセンサを含まないセンサ）を含む。いくつかの実施形態では、姿勢データは、例えば、スマートウォッチ内の近接センサ又はセンサなどの１つ以上の非視覚センサ（例えば、加速度計、ジャイロスコープなど）を使用して生成される。
いくつかの実施形態では、ユーザの少なくとも第１の部分の姿勢は補間関数を使用して判定される（例えば、図７Ｃの部分７２１－４におけるアバターの左手の姿勢が補間される）。いくつかの実施形態では、ユーザの第１の部分は、オブジェクト（例えば、カップ７０２）により隠れている。例えば、ユーザは、ユーザの指の先端が姿勢データをキャプチャしているセンサに視認可能であるようにコーヒーマグを保持しているが、手及び指の近位領域は、姿勢データをキャプチャしているセンサから隠れるようにマグの後ろに位置決めされる。この例では、コンピュータシステムは、検出された指の先端、ユーザの手首、又はそれらの組み合わせに基づく補間関数を実行して、ユーザの指及び手の背面の大まかな姿勢を判定することができる。この情報を使用して、これらの特徴の姿勢の確実性を増大させることができる。例えば、これらの特徴は、これらの特徴の姿勢の非常に高い確実性（例えば、９９％、９５％、９０％の確実性）を示す可変表示特性を用いて表すことができる。
いくつかの実施形態では、姿勢データは、コンピュータシステム（例えば、１０１）のユーザの外観に関する情報をキャプチャした先行スキャンデータ（例えば、以前の身体スキャン又は顔スキャンからのデータ（例えば、深度データ））から生成されたデータを含む。いくつかの実施形態では、スキャンデータは、ユーザの身体又は顔のスキャンから生成されたデータ（例えば、深度データ）を含む。例えば、これは、デバイス（例えば、スマートフォン、スマートウォッチ、又はＨＭＤ）をロック解除する又はそれにアクセスするための顔スキャンから導出される、あるいは、深度データを含む写真及びビデオを含むメディアライブラリから導出される、データであり得る。いくつかの実施形態では、先行スキャンデータから生成された姿勢データを使用して姿勢データを補足し、ユーザの部分の現在の姿勢（例えば、ユーザの既知の部分の姿勢に基づく）の理解を増大させることができる。例えば、ユーザの前腕部が既知の長さ（長さ２８インチなど）である場合、それにより、肘及び前腕部の一部の位置及びそれらの角度に基づいて、可能性のある手の位置を判定することができる。いくつかの実施形態では、先行スキャンデータから生成された姿勢データを使用して（例えば、目の色、顎の形状、耳の形状などを提供することによって）、コンピュータシステムのセンサには視認可能でないユーザの部分の複製の視覚的忠実性を増大させることができる。例えば、ユーザが耳を覆う帽子を着用している場合、先行スキャンデータを使用して、ユーザの耳の姿勢データを導出するために使用することができる先行スキャンに基づいて、ユーザの耳の姿勢（例えば、位置及び／又は向き）の確実性を増大させることができる。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、デバイス（例えば、スマートフォン、スマートウォッチ、ＨＭＤ）とは別個であり、顔スキャンからのデータは、（例えば、デバイス間でデータを共有すべきか否かをユーザが決定するための１つ以上の選択肢を用いて安全かつ秘密裡に）ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される。いくつかの実施形態では、ユーザの部分の複製を生成するデバイスは、デバイス（例えば、スマートフォン、スマートウォッチ、ＨＭＤ）と同じであり、顔スキャンからのデータは、ユーザの部分の複製を構築する際に使用するために、ユーザの部分の複製を生成するデバイスに提供される（例えば、顔のスキャンは、ユーザの部分の複製を生成するＨＭＤをロック解除するために使用される）。
いくつかの実施形態では、姿勢データは、先行メディアデータ（例えば、ユーザの写真及び／又はビデオ）から生成されたデータを含む。いくつかの実施形態では、先行メディアデータは、画像データを含み、任意選択で、ユーザの以前にキャプチャされた写真及び／又はビデオに関連付けられた深度データを含む。いくつかの実施形態では、先行メディアデータを使用して姿勢データを補足し、ユーザの部分の現在の姿勢の確実性を増大させることができる。例えば、ユーザが姿勢データをキャプチャしているセンサから目を隠す眼鏡を着用している場合、先行メディアデータを使用して、ユーザの目の姿勢データを導出するために（例えば、デバイス間でデータを共有すべきか否かをユーザが決定するための１つ以上の選択肢を用いてセキュアに及び秘密裡に）アクセスすることができる既存の写真及び／又はビデオに基づいて、ユーザの目の姿勢（例えば、位置及び／又は向き）の確実性を増大させることができる。
いくつかの実施形態では、姿勢データは、ユーザの少なくとも第１の部分（例えば、７０１－１）を含むビデオデータ（例えば、ビデオフィード）を含む。いくつかの実施形態では、アバターを提示することは、ユーザの第１の部分を含むビデオデータを使用してレンダリングされたそれぞれのアバター特徴（例えば、アバターの口７２４、アバターの右目７２３－１）を含むモデル化されたアバター（例えば、７２１）（例えば、アバターの三次元コンピュータ生成モデル）を提示することを含む。いくつかの実施形態では、モデル化されたアバターは、三次元コンピュータ生成アバターであり、それぞれのアバター特徴は、モデル化されたアバター上にマッピングされたユーザの第１の部分のビデオフィードとしてレンダリングされる。例えば、アバターは、ユーザの目のビデオフィードとして示される目を含む三次元模倣アバターモデル（例えば、緑色）であってもよい。
いくつかの実施形態では、アバターを提示することは、１）（例えば、アバターを表現させる前、その間、又はその後に）アバターの第１のレンダリング値（例えば、低いレンダリング値）を示す入力を受信したという判定に従って、それぞれのアバター特徴、及びそれぞれのアバター特徴以外の第１の量（例えば、パーセント、量）のアバター特徴を用いてアバターを提示することと、２）（例えば、アバターを表現させる前、その間、又はその後に）第１のレンダリング値とは異なる、アバターの第２のレンダリング値（例えば、高いレンダリング値）を示す入力を受信したという判定に従って、それぞれのアバター特徴、及びそれぞれのアバター特徴以外の、第１の量とは異なる（例えば、それよりも大きい）第２の量（例えば、パーセント、量）のアバター特徴を用いてアバターを提示することと、を含む。第１のレンダリング値とは異なる、アバターの第２のレンダリング値を示し、それぞれのアバター特徴、及び第１の量とは異なる、それぞれのアバターの特徴以外の第２の量のアバター特徴を用いてアバターを提示することにより、それらの特徴の姿勢の確実性が高い場合であっても、それらの特徴の表示が望まれないときには、アバター特徴の生成及び表示を取り止めることによって、計算リソースが節約される（それによって、使用電力が低減され、バッテリ寿命が改善される）。
いくつかの実施形態では、レンダリング値は、ユーザの第１の部分に対応しないアバターの量をレンダリングするというユーザの好みを示す。言い換えれば、レンダリング値は、（それぞれのアバター特徴以外の）表示すべきアバターの量を選択するために使用される。例えば、レンダリング値は、スケールの一端では、ユーザの追跡される特徴（例えば、それぞれのアバター特徴）に対応するもの以外のアバターの部分がレンダリングされず、スケールの他端では、アバターの全体がレンダリングされる、スライドスケールから選択することができる。例えば、ユーザの第１の部分がユーザの手であり、最も低いレンダリング値が選択される場合、アバターは、浮遊している手として現れる（それぞれのアバター特徴は、ユーザの手に対応する手となる）。レンダリング値を選択することにより、ユーザがアバターの外観をカスタマイズして、追跡されるユーザ特徴に対応するアバターの部分とそれに対応しないものとの間のコントラストを増大又は低減することが可能になる。これにより、ユーザは、アバターのどの部分がより信憑性が高いと信頼できるかをより容易に識別することができる。
いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、表示生成コンポーネント（例えば、７３０）を介して、表示生成コンポーネントに関連付けられたユーザ（例えば、上述のユーザ、上述のユーザが表示生成コンポーネントに関連付けられていない場合には、第２のユーザ）の表現（例えば、７３５）を提示させ、表示生成コンポーネントに関連付けられたユーザの表現は、表示生成コンポーネントに関連付けられたユーザ以外の１人以上のユーザに提示される、表示生成コンポーネントに関連付けられたユーザの外観に対応する。１人以上の他のユーザに提示される表示生成コンポーネントに関連付けられたユーザの外観に対応する、表示生成コンポーネントに関連付けられたユーザの表現を提示させることにより、他のユーザにより閲覧されるようなユーザの外観の表示生成コンポーネントに関連付けられたフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、表示生成コンポーネントを閲覧しているユーザはまた、（例えば、異なる表示生成コンポーネント上で）別のユーザに提示される。例えば、２人のユーザは、仮想環境に提示される２つの異なるアバターとして、互いに通信しており、各ユーザは、それぞれの表示生成コンポーネント上で他のユーザを閲覧することができる。この例では、ユーザのうちの１人（例えば、第２のユーザ）の表示生成コンポーネントは、仮想環境内に、他のユーザ（例えば、第１のユーザ）の外観、並びに、他のユーザ（例えば、第１のユーザ）に提示される際の自身の外観を表している自分（例えば、第２のユーザ）の外観を表示する。
いくつかの実施形態では、アバターを提示することは、ユーザの第１の部分の第１の外観に基づく第１の外観を有するそれぞれのアバター特徴を用いてアバターを提示することを含む（例えば、ユーザの顎がきれいに剃られており、それぞれのアバター特徴は、きれいに剃られた外観を有するユーザの顎を表した）。いくつかの実施形態では、コンピュータシステム（例えば、１０１）は、ユーザの第１の部分の更新された外観を示すデータを受信し（例えば、現在、ユーザの顎にはひげがあることを示す最近の写真又はビデオを受信する）（例えば、現在、ユーザの顎にはひげがあることを示す最近の顔スキャンデータを受信する）、表示生成コンポーネント（例えば、７３０）を介して、ユーザの第１の部分の更新された外観に基づく更新された外観を有するそれぞれのアバター特徴を用いてアバター（例えば、７２１）を提示させる（例えば、現在、ユーザの顎にはひげがある）。ユーザの第１の部分の更新された外観に基づく更新された外観を有するそれぞれのアバター特徴を用いてアバターの表現を提示させることにより、アバターを手動で操作すること、又はユーザの第１の部分に更新を組み込む登録プロセスを実行することなく、それぞれのアバター特徴の現在の表現を介して、ユーザの第１の部分の正確な表現が提供される。これは、アバターのカスタム外観を編集又は提示するための改善された制御スキームを提供し、これは、アバターのカスタム外観を作成するために必要な入力を、異なる制御スキーム（例えば、アバターを構築又は訂正するために個々の制御点の操作を必要とする制御スキーム）が使用された場合で必要とされるよりも少なくすることができる。タスクを実行するために必要な入力の数を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、アバターの外観は、最近キャプチャされた画像又はスキャンデータに基づいて、ユーザの更新された外観（例えば、新しいヘアカット、ひげなど）に一致するように更新される。いくつかの実施形態では、ユーザの第１の部分の更新された外観を示すデータは、例えば、デバイスをロック解除するときなど、別個の動作でキャプチャされる。いくつかの実施形態では、データは、コンピュータシステムとは別個のデバイス上で収集される。例えば、データは、ユーザがスマートフォン、タブレット、又は他のコンピュータなどのデバイスをロック解除するときに収集され、データは、データを（デバイス間で）共有すべきか否かをユーザが決定するための１つ以上の選択肢を用いて、その後の使用のために、セキュアに又は秘密裡に）ユーザのデバイスからコンピュータシステムに通信される。そのようなデータは、個人識別可能な情報をセキュアにするための業界標準に準拠している方法で送信され、記憶される。
いくつかの実施形態では、姿勢データは、ユーザの第１の部分に関連付けられたオブジェクト（例えば、７０２、８０５）を更に表す（例えば、ユーザがカップを保持している、ユーザが壁にもたれている、ユーザが椅子に座っている）。いくつかの実施形態では、アバターを提示することは、それぞれのアバター特徴に隣接する（例えば、それに重複している、その前にある、それと接触している、それと相互作用している）オブジェクトの表現と共にアバターを提示することを含む（例えば、図８Ｃの８２５）。それぞれのアバター特徴に隣接するオブジェクトの表現と共にアバターを提示することにより、ユーザの第１の部分の姿勢のコンテキストに関するフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザが相互作用しているオブジェクトの表現を含むように、アバターが修正される（例えば、図８Ｃでは、アバター７２１は、壁レンダリング８２５も含む）。これにより、（ユーザの姿勢に基づき得る）アバターの姿勢のコンテキストを提供することにより通信が改善される。例えば、ユーザがカップを保持している場合、アバターの手にカップの表現を含むように、それぞれのアバター特徴（例えば、アバターの腕）が修正される。別の例として、ユーザが壁にもたれている場合、壁の少なくとも一部分の表現を含むように、それぞれのアバター特徴（例えば、アバターの肩及び／又は腕）が修正される。更に別の例として、ユーザが椅子に座っている又は机に位置決めされる場合、椅子及び／又は机の少なくとも一部分の表現を含むように、それぞれのアバター特徴（例えば、アバターの脚及び／又は腕）が修正される。いくつかの実施形態では、ユーザが相互作用しているオブジェクトは、仮想オブジェクトである。いくつかの実施形態では、ユーザが相互作用しているオブジェクトは、現実のオブジェクトである。いくつかの実施形態では、オブジェクトの表現は、仮想オブジェクトとして表される。いくつかの実施形態では、オブジェクトの表現は、オブジェクトを示しているビデオフィードを使用して表される。
いくつかの実施形態では、ユーザの第１の部分の姿勢は、第５の確実性値に関連付けられる。いくつかの実施形態では、アバター（例えば、７２１）を提示することは、ユーザの第１の部分が第１の特徴タイプである（例えば、７０１－１はユーザの首及び襟部領域を含む）（例えば、通信にとって重要ではないと見なされるタイプの特徴）という判定に従って、第５の確実性値よりも低い確実性値を示す可変表示特性の値を有するそれぞれのアバター特徴を用いてアバターを提示することを含む（例えば、図７Ｃでは、アバターの首及び襟部領域７２７は、ハッチング７２５を用いて表示されている）（例えば、ユーザの第１の部分の姿勢の確実性が高いとしても、それぞれのアバター特徴は、ユーザの第１の部分の姿勢の低い確実性を示す値を有する可変表示特性を用いて提示される）。ユーザの第１の部分が第１の特徴タイプであるときに、第５の確実性値よりも低い確実性値を示す可変表示特性の値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、これらの特徴の姿勢の確実性が高い場合であっても、これらの特徴が通信目的にとってあまり重要でないときには、高い忠実性を有する特徴の生成及び表示を取り止めること（例えば、より低い忠実性で特徴をレンダリングすること）によって、計算リソースが節約される（それによって、使用電力が低減され、バッテリ寿命が改善される）。
いくつかの実施形態では、ユーザ特徴の姿勢の確実性が高いが、特徴が通信にとって重要ではないと見なされる場合、対応するアバター特徴は、低い確実性を示す可変表示特性を用いてレンダリングされる（例えば、可変表示特性を表すアバターの首及び襟部領域７２７は、図７Ｃでは、ハッチング７２５を用いて示される）（又は、少なくとも、ユーザ特徴に実際に関連付けられているよりも低い確実性）。例えば、カメラセンサは、ユーザの膝の位置をキャプチャすることができる（したがって、それらの位置の確実性が高い）が、膝は一般に通信目的にとって重要ではないと見なされるので、アバターの膝は、より低い確実性（例えば、より低い忠実性）を示す可変表示特性を用いて提示される。しかしながら、ユーザ特徴（例えば、ユーザの膝）が通信にとって重要になる場合、それぞれのアバター特徴（例えば、アバターの膝）の可変表示特性（例えば、忠実性）の値は、ユーザ特徴（例えば、膝）の姿勢の確実性を正確に反映するように調整（例えば、増加）される。いくつかの実施形態では、特徴が通信にとって重要ではないと見なされるときにより低い確実性を示す値を有する可変表示特性を用いてそれぞれのアバター特徴をレンダリングすることは、一般に、それぞれのアバター特徴を可変表示特性にレンダリングするときに、それぞれのアバター特徴を、高い確実性を示す値（例えば、それぞれのアバター特徴の高忠実性表現）を有する可変表示特性に拡張される計算リソースを確保する。ユーザ特徴は、通信にとって重要ではないと見なされるので、通信の有効性を犠牲にすることなく、計算リソースを確保することができる。
いくつかの実施形態では、ユーザの第１の部分の姿勢は、第６の確実性値に関連付けられる。いくつかの実施形態では、アバター（例えば、７２１）を提示することは、ユーザの第１の部分が第２の特徴タイプ（例えば、図７Ａのユーザの左目）（例えば、通信にとって重要であると見なされるタイプの特徴（例えば、手、口、目））であるという判定に従って、第６の確実性値よりも高い確実性値を示す可変表示特性の値を有するそれぞれのアバター特徴を用いてアバターを提示することを更に含む（例えば、図７Ｃでは、アバターの左目７２３－２はハッチングなしで提示されている）（例えば、ユーザの第１の部分の姿勢の確実性が高くないとしても、それぞれのアバター特徴は、ユーザの第１の部分の姿勢の高い確実性を示す値を有する可変表示特性を用いて提示される）。ユーザの第１の部分が第２の特徴タイプであるときに、第６の確実性値よりも高い確実性値を示す可変表示特性の値を有するそれぞれのアバター特徴を用いてアバターを提示することにより、アバター特徴（特に、通信目的にとって重要なもの）を比較的低い忠実性でレンダリングすることにより引き起こされる散漫を低減することによって、コンピュータシステムを使用する通信を向上させる。これにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ特徴の姿勢の確実性が高くないが、特徴が通信にとって重要であると見なされる場合、非常に高い確実性を示す値を有する可変表示特性を用いて対応するアバター特徴がレンダリングされる（例えば、アバターの左目７２３－２は、図７Ｃでは、ハッチングなしでレンダリングされている）（又は、少なくとも、ユーザ特徴に実際に関連付けられているよりも高い確実性）。例えば、ユーザの口は、通信にとって重要であると見なされる。したがって、例えば、ユーザの口の姿勢の確実性は７５％、８０％、８５％、９０％であり得るとしても、それぞれのアバター特徴は、高い確実性（例えば、１００％、９７％、９５％の確実性）（例えば、高忠実性）を示す可変表示特性を用いてレンダリングされる。いくつかの実施形態では、正確な確実度レベルを示す値を有する可変表示特性を用いて対応するアバター特徴をレンダリングすることは（例えば、ユーザを散漫にすることによって）通信を阻害するので、より低い確実性にもかかわらず、通信にとって重要であると見なされる特徴は、より高い確実性を示す値を有する可変表示特性（例えば、それぞれのアバター特徴の高忠実性表現）を用いてレンダリングされる。
いくつかの実施形態では、非常に高程度の確実性（又は非常に高い確実性）は、９０％、９５％、９７％、又は９９％の確実性など、所定の（例えば、第１の）確実性閾値を上回る確実性の量を指し得る。いくつかの実施形態では、高程度の確実性（又は高い確実性）は、７５％、８０％、又は８５％の確実性など、所定の（例えば、第２の）確実性閾値を上回る確実性の量を指し得る。いくつかの実施形態では、高程度の確実性は、任意選択的に、非常に高程度確実性よりも低いが、比較的高程度の確実性よりも高い。いくつかの実施形態では、比較的高程度の確実性（又は比較的高い確実性）は、６０％、６５％、又は７０％の確実性など、所定の（例えば、第３の）確実性閾値を上回る確実性の量を指し得る。いくつかの実施形態では、比較的高程度の確実性は、任意選択的に、高程度の確実性及び／又は非常に高い確実性よりも低いが、低程度の確実性よりも高い。いくつかの実施形態では、比較的低程度の確実性（又は比較的低い確実性）は、４０％、４５％、５０％、又は５５％の確実性など、所定の（例えば、第４の）確実性閾値を下回る確実性の量を指し得る。いくつかの実施形態では、比較的低程度の確実性は、比較的高程度の確実性、高程度の確実性、及び／又は非常に高程度の確実性よりも低いが、任意選択的に、低程度の確実性よりも高い。いくつかの実施形態では、低程度の確実性（又は低い確実性、又はわずかな確実性）は、４５％、５０％、５５％、６０％、６５％、７０％、７５％、又は８０％の確実性など、所定の確実性閾値を下回る確実性の量を指し得る。いくつかの実施形態では、低程度の確実性は、比較的低程度の確実性、比較的高程度の確実性、高程度の確実性、及び／又は非常に高程度の確実性よりも低いが、任意選択的に、非常に低程度の確実性よりも高い。いくつかの実施形態では、非常に低程度の確実性（又は非常に低い確実性、又は非常にわずかな確実性）は、５％、１５％、２０％、３０％、４０％、又は４５％の確実性など、所定の（例えば、第５の）確実性閾値を下回る確実性の量を指し得る。いくつかの実施形態では、非常に低程度の確実性は、低程度の確実性、比較的低程度の確実性、比較的高程度の確実性、高程度の確実性、及び／又は非常に高程度の確実性よりも低い。
図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｂ、及び図１２は、異なる外観テンプレートに基づく外観を有する仮想アバターキャラクタとして、ユーザがＣＧＲ環境内に表される例を示す。いくつかの実施形態では、アバターは、キャラクタテンプレート又は抽象テンプレートに基づく外観を有する。いくつかの実施形態では、アバターは、姿勢を変更することによって外観を変更する。いくつかの実施形態では、アバターは、キャラクタテンプレートと抽象テンプレートとの間の移行に基づく外観を有する。本明細書に開示されるプロセスは、上述のように、コンピュータシステム（例えば、図１のコンピュータシステム１０１）を使用して実装される。
図１０Ａは、現実環境に位置する４人の異なるユーザを示す。ユーザＡは現実環境１０００－１内に、ユーザＢは現実環境１０００－２内に、ユーザＣは現実環境１０００－３内に、ユーザＤは現実環境１０００－４内にいる。いくつかの実施形態では、現実環境１０００－１～１０００－４は、異なる現実環境（例えば、異なる場所）である。いくつかの実施形態では、現実環境１０００－１～１０００－４のうちの１つ以上は、同じ環境である。例えば、現実環境１０００－１は、現実環境１０００－４と同じ現実環境であってもよい。いくつかの実施形態では、現実環境１０００－１～１０００－４のうちの１つ以上が、同じ環境内の異なる場所であってもよい。例えば、現実環境１０００－１は、部屋の第１の位置であり得、現実環境１０００－４は、同じ部屋の第２の位置であってもよい。
いくつかの実施形態では、現実環境１０００－１～１０００－４は、現実環境７００と同様であり、かつ、ユーザの１つ以上の部分の姿勢を判定するために使用することができるデータ（例えば、画像データ及び／又は深度データ）をキャプチャするためのカメラ７０５－１～７０５－４と同様のカメラ１００５－１～１００５－５を含む、モーションキャプチャスタジオである。コンピュータシステムは、ユーザの１つ以上の部分の判定された姿勢を使用して、特定の姿勢及び／又は外観テンプレートを有するアバターを表示する。いくつかの実施形態では、コンピュータシステムは、異なる基準に基づいて決定された外観テンプレートを有するアバターとして、ＣＧＲ環境内にユーザを提示する。例えば、いくつかの実施形態では、コンピュータシステムは、（例えば、ユーザの１つ以上の部分の姿勢に基づいて）それぞれのユーザが実行している活動のタイプを判定し、コンピュータシステムは、ユーザが実行している活動のタイプに基づいて決定された外観テンプレートを有するアバターとして、ＣＧＲ環境内にユーザを提示する。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの焦点位置（例えば、視線位置）に基づいて決定された外観テンプレートを有するアバターとして、ＣＧＲ環境内にユーザを提示する。例えば、ユーザが、第２のアバターではなく第１のアバターに焦点を合わせている（例えば、第１のアバターを見ている）とき、第１の外観テンプレート（例えば、キャラクタテンプレート）を有する第１のアバターが提示され、第２の外観テンプレート（例えば、抽象テンプレート）を有する第２のアバターが提示される。ユーザが第２のアバターに焦点を移動させると、第１の外観テンプレートを有する第２のアバターが提示され（第２のアバターは、第２の外観テンプレートから第１の外観テンプレートに移行する）、第２の外観テンプレートを有する第１のアバターが提示される（第１のアバターは、第１の外観テンプレートから第２の外観テンプレートに移行する）。
図１０Ａには、腕を上げ、話している状態の、現実環境１０００－１内のユーザＡが示されている。カメラ１００５－１及び１００５－２は、ユーザＡが会話している際のそれぞれの視野１００７－１及び１００７－２内のユーザＡの部分の姿勢をキャプチャする。テーブル上のアイテム１００６に手を伸ばしている現実環境１０００－２内のユーザＢが示されている。カメラ１００５－３は、ユーザＢがアイテム１００６に手を伸ばしている際に、視野１００７－３内のユーザＢの部分の姿勢をキャプチャする。本１００８を読んでいる現実環境１０００－３のユーザＣが示されている。カメラ１００５－４は、ユーザＣが読書している際に、視野１００７－４内のユーザＣの部分の姿勢をキャプチャする。腕を上げ、話している状態の、現実環境１０００－４内のユーザＤが示されている。カメラ１００５－５は、ユーザＤが会話している際の視野１００７－５内のユーザＤの部分の姿勢をキャプチャする。いくつかの実施形態では、ユーザＡとＤとが、互いと会話している。いくつかの実施形態では、ユーザＡ及びＤは、コンピュータシステムのユーザなどの第三者と会話している。
カメラ１００５－１～１００５－５は、上述のカメラ７０５－１～７０５－４と同様である。したがって、カメラ１００５－１～１００５－５は、図７Ａ～図７Ｃ、図８Ａ～図８Ｃ、及び図９に関して上述したものと同様に、それぞれのユーザＡ、Ｂ、Ｃ、及びＤの部分の姿勢をキャプチャする。簡潔にするために、以下では詳細は繰り返さない。
カメラ１００５－１～１００５－５は、ユーザＡ、Ｂ、Ｃ、及びＤの部分の姿勢をキャプチャするためのデバイスの非限定的な例として記載されている。したがって、他のセンサ及び／又はデバイスを、カメラ１００５－１～１００５－５のうちのいずれかに加えて、又はその代わりに使用して、ユーザの部分の姿勢をキャプチャすることができる。そのような他のセンサ及び／又はデバイスの例は、図７Ａ～図７Ｃ、図８Ａ～図８Ｃ、及び図９に関して上述されている。簡潔にするために、これらの実施例の詳細は、以下では繰り返さない。
ここで図１０Ｂを参照すると、コンピュータシステムは、カメラ１００５－１～１００５－５を使用して生成されたセンサデータを受信し、表示生成コンポーネント１０３０を介して、ＣＧＲ環境１０２０内にアバター１０１０－１～１０１０－４を表示する。いくつかの実施形態では、表示生成コンポーネント１０３０は、表示生成コンポーネント１２０及び表示生成コンポーネント７３０と同様である。
アバター１０１０－１、１０１０－２、１０１０－３、及び１０１０－４は、ＣＧＲ環境１０２０内のユーザＡ、ユーザＢ、ユーザＣ、及びユーザＤをそれぞれ表す。図１０Ｂには、キャラクタテンプレートに基づく外観を有するアバター１０１０－１及びアバター１０１０－４が表示され、抽象テンプレートに基づく外観を有するアバター１０１０－２及びアバター１０１０－３が表示されている。いくつかの実施形態では、キャラクタテンプレートは、アバターの顔、腕、手、又は人体の一部分に対応する他のアバター特徴などの表情特徴を含むが、抽象テンプレートは、そのような特徴を含まない、又はそのような特徴は識別不能である。いくつかの実施形態では、抽象テンプレートに基づく外観を有するアバターは、不定形の形状を有する。
コンピュータシステムは、いくつかの実施形態ではそれぞれのユーザＡ、Ｂ、Ｃ、及びＤの姿勢に基づいて、アバター１０１０－１～１０１０－４の外観を決定する。例えば、いくつかの実施形態では、（例えば、ユーザの姿勢に基づいて）ユーザが第１のタイプの活動を実行しているとコンピュータシステムが判定した場合、コンピュータシステムは、キャラクタテンプレートに基づく外観を有する対応するアバターをレンダリングする。逆に、ユーザが第２の（異なる）タイプの活動を実行しているとコンピュータシステムが判定した場合、コンピュータシステムは、抽象テンプレートに基づく外観を有する対応するアバターをレンダリングする。
いくつかの実施形態では、第１のタイプの活動は、対話型活動（例えば、他のユーザとの相互作用に関与する活動）であり、第２のタイプの活動は、非対話型活動（例えば、他のユーザとの相互作用に関与しない活動）である。いくつかの実施形態では、第１のタイプの活動は、特定の場所（例えば、コンピュータシステムのユーザと同じ場所）で実行される活動であり、第２のタイプの活動は、異なる場所（例えば、コンピュータシステムのユーザから遠隔の場所）において実行される活動である。いくつかの実施形態では、第１のタイプの活動は、マニュアル活動（例えば、オブジェクトに接触すること、オブジェクトを保持すること、オブジェクトを移動すること、又はオブジェクトを使用することなど、ユーザの手に関与する活動）であり、第２のタイプの活動は、非マニュアル活動（例えば、一般にユーザの手に関与しない活動）である。
図１０Ａ及び図１０Ｂに示される実施形態では、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－１として、ＣＧＲ環境１０２０内にユーザＡを表す。いくつかの実施形態では、コンピュータシステムは、図１０ＡのユーザＡの姿勢を検出したことに応答して、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－１、及び任意選択でカメラ１００５－２を使用してキャプチャされた姿勢データに基づいて、ユーザＡが会話していると判定する。いくつかの実施形態では、コンピュータシステムは、会話を対話型活動タイプであると見なし、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。別の例として、いくつかの実施形態では、コンピュータシステムは、姿勢データ（例えば、姿勢データの位置成分）に基づいて、ユーザＡがコンピュータシステムのユーザと同じ場所にいると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。いくつかの実施形態では、コンピュータシステムのユーザがアバター１０１０－１に焦点を合わせている（例えば、アバター１０１０－１を見ている）とコンピュータシステムが判定するので、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。
図１０Ａ及び図１０Ｂに示される実施形態では、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－２として、ＣＧＲ環境１０２０内にユーザＢを表す。いくつかの実施形態では、コンピュータシステムは、図１０ＡのユーザＢの姿勢を検出したことに応答して、抽象テンプレートに基づく外観を有するアバター１０１０－２を提示する。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－３を使用してキャプチャされた姿勢データに基づいて、ユーザＢがオブジェクト１００６に手を伸ばしていると判定する。いくつかの実施形態では、コンピュータシステムは、これを非対話型の活動である（例えば、ユーザＢは、別のユーザとの相互作用以外のことを行っている）と見なし、したがって、抽象テンプレートに基づく外観を有するアバター１０１０－２を提示する。いくつかの実施形態では、コンピュータシステムは、（例えば、現在、ユーザＢの手には何もないので）これを非マニュアル活動であると見なし、したがって、抽象テンプレートに基づく外観を有するアバター１０１０－２を提示する。別の例として、いくつかの実施形態では、コンピュータシステムは、姿勢データ（例えば、姿勢データの位置成分）に基づいて、ユーザＢがコンピュータシステムのユーザから遠隔の場所にいると判定し、したがって、抽象テンプレートに基づく外観を有するアバター１０１０－２を提示する。いくつかの実施形態では、コンピュータシステムのユーザがアバター１０１０－２に焦点を合わせていない（例えば、アバター１０１０－２を見ていない）とコンピュータシステムが判定するので、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－２を提示する。
図１０Ａ及び図１０Ｂに示される実施形態では、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－３として、ＣＧＲ環境１０２０内にユーザＣを表す。いくつかの実施形態では、抽象テンプレートは、異なる抽象的外観を有することができる。したがって、アバター１０１０－２と１０１０－３は両方とも、抽象テンプレートに基づいているが、互いに異なる外観であってもよい。例えば、抽象テンプレートは、不定形の塊又は異なる抽象的形状など、異なる外観を含むことができる。いくつかの実施形態では、異なる抽象的外観を提供する異なる抽象テンプレートが存在し得る。いくつかの実施形態では、コンピュータシステムは、図１０ＡのユーザＣの姿勢を検出したことに応答して、抽象テンプレートに基づく外観を有するアバター１０１０－３を提示する。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－４を使用してキャプチャされた姿勢データに基づいて、ユーザＣが本１００８を読んでいると判定する。いくつかの実施形態では、コンピュータシステムは、読書を非対話型の活動であると見なし、したがって、抽象テンプレートに基づく外観を有するアバター１０１０－３を提示する。別の例として、いくつかの実施形態では、コンピュータシステムは、姿勢データ（例えば、姿勢データの位置成分）に基づいて、ユーザＣがコンピュータシステムのユーザから遠隔の場所にいると判定し、したがって、抽象テンプレートに基づく外観を有するアバター１０１０－３を提示する。いくつかの実施形態では、コンピュータシステムのユーザがアバター１０１０－３に焦点を合わせていない（例えば、アバター１０１０－３を見ていない）とコンピュータシステムが判定するので、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－３を提示する。
図１０Ａ及び図１０Ｂに示される実施形態では、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－４として、ＣＧＲ環境１０２０内にユーザＤを表す。いくつかの実施形態では、コンピュータシステムは、図１０ＡのユーザＤの姿勢を検出したことに応答して、キャラクタテンプレートに基づく外観を有するアバター１０１０－４を提示する。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－５を使用してキャプチャされた姿勢データに基づいて、ユーザＤが会話していると判定する。いくつかの実施形態では、コンピュータシステムは、会話を対話型活動タイプであると見なし、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－４を提示する。別の例として、いくつかの実施形態では、コンピュータシステムは、姿勢データ（例えば、姿勢データの位置成分）に基づいて、ユーザＤがコンピュータシステムのユーザと同じ場所にいると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－４を提示する。いくつかの実施形態では、コンピュータシステムのユーザがアバター１０１０－４に焦点を合わせている（例えば、アバター１０１０－４を見ている）とコンピュータシステムが判定するので、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－４を提示する。
いくつかの実施形態では、キャラクタテンプレートに基づく外観を有するアバターは、対応するユーザの姿勢に基づいて決定される姿勢を有する提示される。例えば、図１０Ｂでは、アバター１０１０－１は、ユーザＡについて判定された姿勢と一致する姿勢を有し、アバター１０１０－４は、ユーザＤについて判定された姿勢と一致する姿勢を有する。いくつかの実施形態では、キャラクタテンプレートに基づく外観を有するアバターの姿勢は、図７Ａ～図７Ｃ、図８Ａ～図８Ｃ、及び図９に関して上述したものと同様に決定される。例えば、視野１００７－１及び１００７－２内で検出されたユーザＡの部分の姿勢に基づいて決定された姿勢を有するアバター１０１０－１が表示される。ユーザＡの身体全体がカメラの視野内にあるので、コンピュータシステムは、図１０Ｂのアバター１０１０－１に破線がないことによって示されるように、最大確実性でアバター１０１０－１の対応する部分の姿勢を決定する。別の例として、カメラ１００５－５の視野１００７－５内で検出されたユーザＤの部分の姿勢に基づいて決定された姿勢を有するアバター１０１０－４が表示される。ユーザＤの脚は視野１００７－５の外側にあるので、コンピュータシステムは、（最大確実性よりも低い）一定程度の不確実性で、アバター１０１０－４の脚の姿勢を決定し、図１０Ｂに示すように、判定された姿勢を有するアバター１０１０－４とアバターの脚に破線１０１５で表される可変表示特性とを提示する。簡潔にするために、アバターの姿勢を決定し、可変表示特性を表示するための更なる詳細は、図１０Ａ、図１０Ｂ、図１１Ａ、及び図１１Ｂに関して論じられる全ての実施形態については繰り返さない。
いくつかの実施形態では、コンピュータシステムは、ユーザの姿勢変化に基づいてアバターの外観を更新する。いくつかの実施形態では、外観の更新は、異なる外観テンプレート間の移行を伴わないアバターの姿勢変化を含む。例えば、ユーザが腕を上げ、次いで下げたことを検出したことに応答して、コンピュータシステムは、対応するアバターの腕を上げ、次いで下げることによって、（例えば、リアルタイムで）ユーザと共に姿勢を変更するアバターキャラクタとして、アバターを提示する。いくつかの実施形態では、アバターの外観の更新は、ユーザの姿勢変化に基づく異なる外観テンプレート間の移行を含む。例えば、第１の活動タイプに対応する姿勢から第２の活動タイプに対応する姿勢にユーザが変化したことを検出したことに応答して、コンピュータシステムは、第１の外観テンプレート（例えば、キャラクタテンプレート）から第２の外観テンプレート（例えば、抽象テンプレート）に移行するアバターを提示する。更新された外観を有するアバターの例は、図１１Ａ及び図１１Ｂに関して以下でより詳細に論じられる。
図１１Ａ及び図１１Ｂは、図１０Ａ及び図１０Ｂと同様であるが、ユーザＡ、ユーザＢ、ユーザＣ、及びユーザＤは、更新された姿勢を有し、対応するアバター１０１０－１～１０１０－４は、更新された外観を有している。例えば、ユーザは、図１０Ａの姿勢から図１１Ａの姿勢に移動し、コンピュータシステムは、それに応答して、図１０Ｂに示される外観から図１１Ｂに示される外観へのアバターの外観を変更した。
図１１Ａを参照すると、依然として会話をしながら、右腕を下げ、頭部を前方に回している状態のユーザＡが示されている。頭部が前に向いている状態でアイテム１００６を保持しているユーザＢが示されている。ユーザＣは、本１００８をユーザＣの横に下げた状態で、手を振り、話している。ユーザＤは、腕を下げた状態で横を見ている。
図１１Ｂでは、コンピュータシステムは、アバター１０１０－１～１０１０－４の外観を更新している。具体的には、キャラクタテンプレートに基づく外観を有するアバター１０１０－１が表示されたままであり、アバター１０１０－２及びアバター１０１０－３は、抽象テンプレートに基づく外観からキャラクタテンプレートに基づく外観に移行しており、アバター１０１０－４は、キャラクタテンプレートに基づく外観から抽象テンプレートに基づく外観に移行している。
いくつかの実施形態では、コンピュータシステムは、図１１ＡのユーザＡの姿勢を検出したことに応答して、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を示す。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－１、及び任意選択でカメラ１００５－２を使用してキャプチャされた姿勢データに基づいて、依然としてユーザＡが会話していると判定する。いくつかの実施形態では、コンピュータシステムは、会話を対話型活動タイプであると見なし、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。別の例として、いくつかの実施形態では、コンピュータシステムは、姿勢データ（例えば、姿勢データの位置成分）に基づいて、ユーザＡがコンピュータシステムのユーザと同じ場所にいると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。いくつかの実施形態では、コンピュータシステムのユーザがアバター１０１０－１に焦点を合わせている（例えば、アバター１０１０－１を見ている）とコンピュータシステムが判定するので、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－１を提示する。
いくつかの実施形態では、コンピュータシステムは、図１１ＡのユーザＢの姿勢を検出したことに応答して、キャラクタテンプレートに基づく外観を有するアバター１０１０－２を示す。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－３を使用してキャプチャされた姿勢データに基づいて、アイテム１００６を振ることによってユーザＢが他のユーザと相互作用していると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－２を提示する。いくつかの実施形態では、コンピュータシステムは、カメラ１００５－３を使用してキャプチャされた姿勢データに基づいて、アイテム１００６を保持することによってユーザＢがマニュアル活動を実行していると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－２を提示する。いくつかの実施形態では、現在、コンピュータシステムのユーザが現在アバター１０１０－２に焦点を合わせている（例えば、アバター１０１０－２を見ている）とコンピュータシステムが判定するので、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－２を提示する。
いくつかの実施形態では、コンピュータシステムは、図１１ＡのユーザＣの姿勢を検出したことに応答して、キャラクタテンプレートに基づく外観を有するアバター１０１０－３を示す。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－４を使用してキャプチャされた姿勢データに基づいて、手を振ること及び／又は話すことによってユーザＣが他のユーザと相互作用していると判定し、したがって、キャラクタテンプレートに基づく外観を有するアバター１０１０－３を提示する。いくつかの実施形態では、現在、コンピュータシステムのユーザが現在アバター１０１０－３に焦点を合わせている（例えば、アバター１０１０－３を見ている）とコンピュータシステムが判定するので、コンピュータシステムは、キャラクタテンプレートに基づく外観を有するアバター１０１０－３を提示する。
いくつかの実施形態では、コンピュータシステムは、図１１ＡのユーザＤの姿勢を検出したことに応答して、抽象テンプレートに基づく外観を有するアバター１０１０－４を示す。例えば、いくつかの実施形態では、コンピュータシステムは、カメラ１００５－５を使用してキャプチャされた姿勢データに基づいて、ユーザＤが手を下ろしているので、目を逸らしているので、及び／又は、もはや話していないので、ユーザＤがもはや他のユーザと相互作用していないと判定する。したがって、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－４を提示する。いくつかの実施形態では、コンピュータシステムのユーザがもはやアバター１０１０－４に焦点を合わせていない（例えば、アバター１０１０－４を見ていない）とコンピュータシステムが判定するので、コンピュータシステムは、抽象テンプレートに基づく外観を有するアバター１０１０－４を提示する。
図１１Ｂに示すように、コンピュータシステムは、図１１Ａで検出されたユーザ姿勢に基づいて、それぞれのアバターの姿勢を更新する。例えば、コンピュータシステムは、図１１ＡのユーザＡの姿勢に一致するようにアバター１０１０－１の姿勢を更新する。いくつかの実施形態では、コンピュータシステムのユーザは、アバター１０１０－１に焦点を合わせていないが、アバター１０１０－１がコンピュータシステムのユーザと同じ場所にいるので、又は、コンピュータシステムのユーザが会話しており、いくつかの実施形態ではコンピュータシステムが対話型活動と見なすので、アバター１０１０－１は依然として、キャラクタテンプレートに基づく外観を有する。
図１１Ｂに示すように、コンピュータシステムはまた、キャラクタテンプレートに基づき、かつ、図１１ＡのユーザＢの姿勢に基づいて決定された姿勢を有する外観を有するように、アバター１０１０－２の外観を更新する。ユーザＢのいくつかの部分は、視野１００７－３の外側にあるので、コンピュータシステムは、アバター１０１０－２の右腕及び両脚の破線１０１５によって示されるように、一定程度の不確実性で、アバター１０１０－２の対応する部分の姿勢を決定する。また、ユーザＢの右腕が視野１００７－３の外側にあるので、図１１ＡのユーザＢの右腕の実際の姿勢とは異なる姿勢を有する右腕が示されており、図１１Ｂに示される姿勢は、コンピュータシステムによって決定（推定）されるアバター１０１０－２の右腕の姿勢である。いくつかの実施形態では、アイテム１００６が視野１００７－３内にあるので、ＣＧＲ環境１０２０内に図１１Ｂの参照１００６'によって示されるようにアイテム１００６が表される。いくつかの実施形態では、アイテム１００６は、ＣＧＲ環境１０２０内に仮想オブジェクトとして表される。いくつかの実施形態では、アイテム１００６は、ＣＧＲ環境１０２０内に物理的オブジェクトとして表される。いくつかの実施形態では、アイテム１００６がユーザＢの手の中にあることをコンピュータシステムが検出するので、アバター１０１０－２の左手、及び任意選択的に、ＣＧＲ環境１０２０内のアイテム１００６の表現は、より高い忠実性で（例えば、アバター１０１０－２及び／又はＣＧＲ環境１０２０内の他のオブジェクトの他の部分よりも高い忠実性で）示される。
図１１Ｂに示すように、コンピュータシステムはまた、キャラクタテンプレートに基づき、かつ、図１１ＡのユーザＣの姿勢に基づいて決定された姿勢を有する外観を有するように、アバター１０１０－３の外観を更新する。ユーザＣのいくつかの部分は、視野１００７－４の外側にあるので、コンピュータシステムは、アバター１０１０－３の左手及び両脚の破線１０１５によって示されるように、一定程度の不確実性で、アバター１０１０－３の対応する部分の姿勢を決定する。いくつかの実施形態では、コンピュータシステムは、図１０Ａの視野１００７－３内では本１００８を検出し、図１１Ａの視野１００７－３内ではもはや、本１００８又はユーザＣの左手を検出しないので、コンピュータシステムは、本１００８がユーザＣの左手にある可能性があると判定し、したがって、ＣＧＲ環境１０２０内に、図１１Ｂの参照１００８'によって示されるように本１００８を表す。いくつかの実施形態では、コンピュータシステムは、任意選択で、現実環境１０００－３内の本１００８の存在及び姿勢の不確実性を示す可変表示特性を有する仮想オブジェクトとして本１００８を表す。
本明細書に記載の実施形態では、コンピュータシステムのユーザについて言及する。いくつかの実施形態では、コンピュータシステムのユーザは、表示生成コンポーネント７３０を使用してＣＧＲ環境７２０を閲覧しているユーザ、又は表示生成コンポーネント１０３０を使用してＣＧＲ環境１０２０を閲覧しているユーザである。いくつかの実施形態では、コンピュータシステムのユーザは、それぞれのアバター７２１、１０１０－１、１０１０－２、１０１０－３、及び１０１０－４について本明細書に開示されたものと同様に、アバター特徴として、ＣＧＲ環境７２０又はＣＧＲ環境１０２０内に表すことができる。例えば、図７Ａ～図７Ｃ及び図８Ａ～図８Ｃに関して論じた実施形態では、コンピュータシステムのユーザは、プレビュー７３５によって示されるような女性のアバターキャラクタとして表される。別の例として、図１０Ａ～図１０Ｂ及び図１１Ａ～図１１Ｂに関して論じた実施形態では、コンピュータシステムのユーザは、現実環境１０００－１～１０００－４内にいるユーザＡ～Ｄのうちのいずれかと同様の、現実環境内のユーザであってもよく、ユーザＡ～Ｄに提示され、ユーザＡ～Ｄと相互作用することができる追加のアバターキャラクタとして、ＣＧＲ環境１０２０内にコンピュータシステムのユーザを示すことができる。例えば、図１１Ｂでは、ユーザＡ～Ｃは、コンピュータシステムのユーザと相互作用しているが、ユーザＤは相互作用しておらず、したがって、アバター１０１０－１、１０１０－２、及び１０１０－３は、キャラクタテンプレートに基づく外観を有するものとして提示されるのに対し、アバター１０１０－４は、抽象テンプレートに基づく外観を有する提示される。
いくつかの実施形態では、ユーザＡ～Ｄの各々は、アバター１０１０－１～１０１０－４を使用してＣＧＲ環境に参加しており、ユーザの各々は、本明細書に記載のコンピュータシステムと同様のコンピュータシステムを使用して他のアバターを表示する。したがって、ＣＧＲ環境１０２０内のアバターは、それぞれのユーザ毎に異なる外観を有することができる。例えば、図１１Ａでは、ユーザＤは、ユーザＡと相互作用していることがあるが、ユーザＢとは相互作用しておらず、したがって、ユーザＡが閲覧しているＣＧＲ環境では、アバター１０１０－４は、キャラクタテンプレートに基づく外観を有することができるのに対し、ユーザＢが閲覧しているＣＧＲ環境では、アバター１０１０－４は、抽象テンプレートに基づく外観を有することができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。例えば、いくつかの実施形態では、図１０Ｂ及び図１１Ｂに関して論じたアバターの外観は、図７Ｃ及び図８Ｃに関して論じたように、変動するレベルの忠実性を有することができる。例えば、アバターに関連付けられたユーザがコンピュータシステムのユーザと同じ場所にいる場合、アバターは、コンピュータシステムのユーザとは異なる（遠隔の）場所に位置するユーザに関連付けられたアバターよりも高い忠実性で提示することができる。
図１０Ａ～図１０Ｂ及び図１１Ａ～図１１Ｂに関する追加の説明は、以下の図１２に関して記載された方法１２００を参照して以下に提供される。
図１２は、いくつかの実施形態による、異なる外観テンプレートに基づく外観を有するアバターキャラクタを提示する例示的な方法１２００のフローチャートである。いくつかの実施形態では、方法１２００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、図１０Ｂ及び図１１Ｂの表示生成コンポーネント１０３０）（例えば、視覚的出力デバイス、３Ｄディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ、タッチスクリーンなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）（例えば、スマートフォン、タブレットヘッドマウント型表示生成コンポーネント）において実行される。いくつかの実施形態では、方法１２００は、非一時的コンピュータ可読記憶媒体に記憶され、かつコンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１の制御ユニット１１０）などのコンピュータシステムの１つ以上のプロセッサによって実行される、命令によって統制される。方法１２００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法１２００において、コンピュータシステム（例えば、１０１）は、１人以上のユーザ（例えば、図１０ＡのユーザＡ、Ｂ、Ｃ、Ｄ）（例えば、コンピュータ生成現実環境内に表された参加者又は物体）の現在の活動が第１のタイプの活動である（例えば、相互作用である（例えば、話している、ジェスチャをしている、移動している）；現実環境内に物理的に存在している；非マニュアル活動を実行している（例えば、移動せずに話している））ことを示す第１のデータを受信する（１２０２）。
現在の活動が第１のタイプの活動であることを示す第１のデータを受信したことに応答して、コンピュータシステム（例えば、１０１）は、表示生成コンポーネント（例えば、１０３０）を介して、第１の外観テンプレートに基づく第１の外観（例えば、アニメーションキャラクタ（例えば、人間；漫画キャラクタ；犬、ロボットなどの人間でないキャラクタの擬人化構成概念のテンプレート）（例えば、第１の仮想表現）を有する第１のユーザの表現（例えば、図１０Ｂの１０１０－１、１０１０－２、１０１０－３、及び／又は１０１０－４）（例えば、１人以上のユーザのうちの１人を表す仮想アバター；１人以上のユーザのうちの１人を表すアバターの部分）を更新する（例えば、コンピュータ生成現実環境（例えば、１０２０）内で））（例えば、ユーザの表現の表示を表示する；仮想的に提示する；投影する；修正する）（１２０４）。第１の外観テンプレートに基づく第１の外観を有する第１のユーザの表現を更新することにより、現在の活動が第１のタイプの活動であることを示す第１のデータを受信したことに応答して、第１のユーザがユーザと対話しているというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第１の外観を有する第１のユーザの表現を更新することは、第１の外観テンプレートに基づく外観を有している間に、第１のタイプの活動を実行する第１のユーザの表現を提示することを含む。例えば、第１のタイプの活動が、話していることなどの対話型活動であり、第１の外観テンプレートが犬のキャラクタである場合、第１のユーザの表現は、話している対話型の犬のキャラクタとして提示される。
第１の外観を有する第１のユーザの表現を提示させている（例えば、アバター１０１０－１が図１０Ｂに提示されている）間に、コンピュータシステム（例えば、１０１）は、１人以上のユーザ（例えば、図１１ＡのユーザＡ、Ｂ、Ｃ、Ｄ）の現在の活動（例えば、アクティブに実行されている活動）を示す第２のデータを受信する（１２０６）。いくつかの実施形態では、第２のデータは、第１のユーザの現在の活動を示す。いくつかの実施形態では、第２のデータは、第１のユーザ以外の１人以上のユーザの現在の活動を示す。いくつかの実施形態では、第２のデータは、第１のユーザを含む１人以上のユーザの現在の活動を示す。いくつかの実施形態では、第２のデータによって現在の活動が示される１人以上のユーザは、第１のデータによって現在の活動が示される１人以上のユーザと同じである。
１人以上のユーザの現在の活動を示す第２のデータを受信したことに応答して、コンピュータシステム（例えば、１０１）は、１人以上のユーザの現在の活動に基づいて、第１のユーザの表現の外観を更新し（１２０８）（例えば、図１１Ｂでは、アバター１０１０－１が更新されている）、現在の活動が第１のタイプの活動である（例えば、現在の活動は対話型アクティビティである）という判定に従って、表示生成コンポーネント（例えば、１０３０）を介して、第１の外観テンプレートに基づく第２の外観を有する第１のユーザの表現を提示させること（１２１０）を含む（例えば、アバター１０１０－１は図１１Ｂでは、依然としてキャラクタテンプレートを使用して表示される間に、第２の姿勢を有する）（例えば、第１の外観とは異なる外観を有する第１のユーザの表現が提示される（例えば、第１の外観とは異なる活動を実行している第１のユーザが提示される）が、第１のユーザの表現は、依然として第１の外観テンプレートに基づいている。現在の活動が第１のタイプの活動であるときに、第１の外観テンプレートに基づく第２の外観を有する第１のユーザの表現を提示させることにより、第１のユーザの外観が変化したとしても、第１のユーザが依然としてユーザと相互作用しているというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第１の外観テンプレートに基づく第２の外観を有する第１のユーザの表現を提示することは、第１の外観テンプレートに基づく外観を有している間に、第１のタイプの現在の活動を実行する第１のユーザの表現を提示することを含む。例えば、現在の活動が、手を用いたジェスチャなどの対話型活動であり、第１の外観テンプレートが犬のキャラクタである場合、第１のユーザの表現は、手を用いてジェスチャをしている対話型の犬のキャラクタとして提示される。
１人以上のユーザの現在の活動を示す第２のデータを受信したことに応答して、コンピュータシステム（例えば、１０１）は、１人以上のユーザの現在の活動に基づいて、第１のユーザ（例えば、アバター１０１０－２、アバター１０１０－３、アバター１０１０－４）の表現の外観を更新し、現在の活動が第１のタイプとは異なる第２のタイプの活動である（例えば、第２のタイプの活動が対話型活動ではない；１人以上のユーザ（例えば、任意選択で、第１のユーザを含む）が現実環境内に物理的に存在しない間に、第２のタイプの活動が実行される）という判定に従って、表示生成コンポーネント（例えば、１０３０）を介して、第１の外観テンプレートとは異なる第２の外観テンプレートに基づく第３の外観を有する第１のユーザの表現を提示させること（１２１２）を含む（例えば、ユーザＢのアバター１０１０－２は、図１０Ｂの抽象テンプレートの使用から、図１１Ｂのキャラクタテンプレートの使用に移行する）（例えば、ユーザＣのアバター１０１０－３は、図１０Ｂの抽象テンプレートの使用から、図１１Ｂのキャラクタテンプレートの使用に移行する）（例えば、ユーザＤのアバター１０１０－４は、図１０Ｂのキャラクタテンプレートの使用から、図１１Ｂの抽象テンプレートの使用に移行する）（例えば、第２の外観テンプレートは、無生物キャラクタ（例えば、植物）のテンプレートである）（例えば、第２の視覚的表現）。現在の活動が第２のタイプの活動であるときに、第２の外観テンプレートに基づく第３の外観を有する第１のユーザの表現を提示させることにより、第１のユーザが、例えばユーザと相互作用していないなど、以前とは異なる活動の実行に移行したというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第３の外観を有する第１のユーザの表現を提示することは、第２の外観テンプレートに基づく外観を有している間に、第２のタイプの現在の活動を実行する第１のユーザの表現を提示することを含む。例えば、第２のタイプの活動が、移動せずに座っているなどの非対話型活動であり、第２の外観テンプレートが不定形の塊である場合、第１のユーザの表現は、例えば、移動しない、又は環境と相互作用しない不定形の塊として提示される。いくつかの実施形態では、第３の外観を有する第１のユーザの表現を提示させることは、第１の外観から第３の外観に移行する第１のユーザの表現を提示することを含む。例えば、第１のユーザの表現は、対話型の犬のキャラクタから非対話型の不定形の塊に移行する。
いくつかの実施形態では、第１のタイプの活動は、第１の位置において実行される第１のユーザ（例えば、ユーザＡ）の活動であり（例えば、第１のユーザは、第２のユーザと同じ会議室に位置する）、第２のタイプの活動は、第１の位置とは異なる第２の位置において実行される第１のユーザの活動である（例えば、第１のユーザは、第２のユーザとは異なる場所にいる）。いくつかの実施形態では、第１のユーザに使用される外観テンプレートは、第１のユーザが表示生成コンポーネントに関連付けられたユーザ（例えば、第２のユーザ）と同じ物理的環境に位置するかどうかに基づいて決定される。例えば、第１のユーザと第２のユーザとが同じ物理的場所（例えば、同じ部屋）にいる場合、第２のユーザの表示生成コンポーネントを使用して、現実性がより高い外観テンプレートを有するものとして第１のユーザが提示される。逆に、第１のユーザと第２のユーザとが異なる物理的場所にいる場合、現実性がより低い外観テンプレートを有する第１のユーザが、提示される。これは、例えば、第１のユーザが物理的に第２のユーザと共に存在することを第２のユーザに伝達するために行われる。更に、これは、物理的にユーザと共に存在しないユーザ（例えば、仮想的に存在するユーザ）とを区別する。これにより、異なるユーザの位置、又は特定のユーザを存在している又は遠隔であるとしてマークするために使用されるタグを識別するインジケータを表示する必要性をなくすことによって、計算リソースが確保され、表示される環境が合理化される。
いくつかの実施形態では、第１のタイプの活動は、第１のユーザ（例えば、ユーザＡ）と１人以上のユーザ（例えば、ユーザＢ、ユーザＣ、ユーザＤ）との間の相互作用（例えば、第１のユーザが、発話、ジェスチャ、移動などによって他のユーザに関わること）を含む。いくつかの実施形態では、第２のタイプの活動は、第１のユーザと１人以上のユーザとの間の相互作用を含まない（例えば、第１のユーザは、他のユーザに関わっていない；例えば、第１のユーザの焦点は、他のユーザ以外のものにシフトされる）。いくつかの実施形態では、第１のユーザが、発話、ジェスチャ、移動などによって他のユーザに関わっている場合、第１のユーザの表現は、第１の外観テンプレートに基づく外観を有する。いくつかの実施形態では、第１のユーザが、他のユーザに関わっていない、又は第１のユーザの焦点が、他のユーザ以外のものにある場合、第１のユーザの表現は、第２の外観テンプレートに基づく外観を有する。
いくつかの実施形態では、第１の外観テンプレートは、第２の外観テンプレート（例えば、図１０Ｂのアバター１０１０－２により表されるものなどの抽象テンプレート）よりも現実性が高い第１のユーザの外観（例えば、図１０Ｂのアバター１０１０－１により表されるものなどのキャラクタテンプレート）に対応する。第２の外観テンプレートよりも現実性が高い第１のユーザの外観である第１の外観を有する第１のユーザの表現を提示することにより、第１のユーザがユーザと相互作用しているというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、例えば、会話、ジェスチャ、移動などの対話型活動を実行することによって、ユーザが他のユーザに関わっているときに、現実性が高い外観（例えば、高解像度又は高忠実性の外観；例えば、対話型仮想アバターキャラクタなどの擬人化形状）を有する第１のユーザが表される（例えば、ユーザＡは、キャラクタテンプレートを使用するアバター１０１０－１によって表される）。いくつかの実施形態では、ユーザが他のユーザに関わっていないときに、ユーザは、現実性が低い外観（例えば、低解像度又は低忠実性の外観；例えば、抽象的形状（例えば、人間特有の特徴が除去されている、表現のエッジをソフト化している））を有するものとして表される。例えば、第１のユーザの焦点は、他のユーザから他のコンテンツ又はオブジェクトにシフトされ、あるいは、第１のユーザは、もはや対話型活動を実行してない（例えば、ユーザは、依然として座っている、話していない、ジェスチャしていない、動いていない、など）。
いくつかの実施形態では、第１のタイプの活動は、非マニュアル活動（例えば、ユーザの手の動きにほとんど又は全く関与しない又は必要としない活動（例えば、会話））である（例えば、図１０ＡのユーザＡ、ユーザＢ、ユーザＤ、図１１ＡのユーザＡ、ユーザＤ）。いくつかの実施形態では、第２のタイプの活動は、マニュアル活動（例えば、典型的にはユーザの手の動きに関与する活動（例えば、おもちゃのブロックを積むこと））である（例えば、図１０ＡのユーザＣ、図１１ＡのユーザＢ）。いくつかの実施形態では、第１のユーザの表現は、第１のユーザの手に対応し、かつ可変表示特性を有する提示されるそれぞれの手部分を含む（例えば、図１０Ｂ及び図１１Ｂのアバター１０１０－２）（例えば、それぞれの手部分のレンダリングの、変動可能な１つ以上の視覚的パラメータ（例えば、ぼかし度量、不透明度、色、減衰／密度、解像度など）のセット）。いくつかの実施形態では、可変表示特性は、第１のユーザの手の姿勢に関するそれぞれの手部分の姿勢の推定／予測された視覚的忠実性を示す。いくつかの実施形態では、第２の外観テンプレートに基づく第３の外観を有する第１のユーザの表現を提示させることは、１）第２のタイプの活動は、マニュアル活動を実行するために第１のユーザの手がオブジェクトと（例えば、物理的環境内又は仮想環境内で）相互作用することを含む（例えば、第１のユーザは、手におもちゃのブロックを保持している）という判定に従って、可変表示特性の第１の値を有するそれぞれの手部分を用いて第１のユーザの表現を提示することと（例えば、ユーザＢが、図１１Ａではアイテム１００６を保持しており、アバター１０１０－２は高忠実性で（例えば、キャラクタテンプレートを用いて）提示され、図１１Ｂではアイテム１００６'を保持している）（例えば、可変表示特性は、第１のユーザの手の姿勢に関してそれぞれの手部分の姿勢の高い視覚的忠実性を示す値を有する）、２）第２のタイプの活動は、マニュアル活動を実行するために第１のユーザの手がオブジェクトと（例えば、物理的環境内又は仮想環境内で）相互作用することを含まない（例えば、第１のユーザが手におもちゃのブロックを保持していない）という判定に従って、可変表示特性の第１の値とは異なる可変表示特性の第２の値を有するそれぞれの手部分を用いて第１のユーザの表現を提示することと（例えば、ユーザＢがアイテム１００６を保持していないとき、図１０Ｂでは抽象テンプレートを使用してアバター １０１０－２を提示する）（例えば、可変表示特性は、第１のユーザの手の姿勢に関するそれぞれの手部分の姿勢の低い視覚的忠実性を示す値を有する）、を含む。第２のタイプの活動は、マニュアル活動を実行するためにユーザの手がオブジェクトと相互作用することを含むかどうかに応じて、可変表示特性の第１の値又は第２の値を有するそれぞれの手部分を有する第１のユーザの表現を提示することにより、手を使用することに関与する活動の実行に第１のユーザが移行したというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、可変表示特性が、ユーザの手がオブジェクト（例えば、物理的オブジェクト又は仮想オブジェクト）と相互作用しているときには、より高い視覚的忠実性を示し、ユーザの手がオブジェクトと相互作用していないときには、より低い視覚的忠実性を示すように、第１のユーザの手の表現がレンダリングされる。
いくつかの実施形態では、第１のタイプの活動は、第１の参加者との相互作用に関連付けられる活動である（例えば、図１０Ａでは、ユーザＡとユーザＤとは通信している）（例えば、一般的には、他者に関わっているアクティブな（例えば、会話中の）参加者であるユーザに関連付けられる活動（例えば、参加者は、発話している、ジェスチャしている、移動している、他のユーザに焦点を合わせている、など））。いくつかの実施形態では、第２のタイプの活動は、第１の参加者との相互作用に関連付けられていない活動である（例えば、図１０Ａでは、ユーザＢとユーザＣとは相互作用している）（例えば、一般的には、他者に関わっていない（例えば、会話中でない）傍観者であるユーザに関連付けられる活動（例えば、傍観者は、発話していない、ジェスチャしていない、移動していない、他のユーザに焦点を合わせていない、など））。
いくつかの実施形態では、第１の外観テンプレートに基づく第２の外観を有する第１のユーザの表現を提示させることは、第１のユーザの表現の第１の視覚的忠実性を示す可変表示特性の第１の値を有する第１のユーザの表現を提示することを含む（例えば、図１０Ｂでは、ユーザＡは、キャラクタテンプレートを使用して、アバター１０１０－１として提示される；図１０Ｂでは、ユーザＤは、キャラクタテンプレートを使用して、アバター１０１０－４として提示される）（例えば、変動可能である第１のユーザの表現のレンダリングの１つ以上の視覚的パラメータのセット（例えば、ぼかし度量、不透明度、色、減衰／密度、解像度など））（例えば、第１のユーザの対応する部分の姿勢に関する第１のユーザの表現の視覚的忠実性）。第１のユーザの表現が第１の外観テンプレートに基づく第２の外観を有するときに、第１のユーザの表現の第１の視覚的忠実性を示す可変表示特性の第１の値を有する第１のユーザの表現を提示することにより、現在の活動への第１のユーザの関連性は、第１のユーザが活動に参加しているのでより高いというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第１のユーザの表現は、第１のユーザの第１の部分に対応する第１の表された部分を含み、第１のユーザの第１の部分の姿勢に関する第１の表された部分の推定された視覚的忠実性を示す可変表示特性を有する提示される。
いくつかの実施形態では、第２の外観テンプレートに基づく第３の外観を有する第１のユーザの表現を提示させることは、第１のユーザの表現の第１の視覚的忠実性よりも低い第１のユーザの表現の第２の視覚的忠実性を示す可変表示特性の第２の値を有する第１のユーザの表現を提示することを含む（例えば、図１０Ｂでは、ユーザＢは、抽象テンプレートを使用して、アバター１０１０－２として表される；図１０Ｂでは、ユーザＣは、抽象テンプレートを使用して、アバター１０１０－３として提示される）（例えば、ユーザの活動が傍観者活動であるとき、より低い視覚的忠実性を示す可変表示特性を有する第１のユーザの表現が提示される）。第１のユーザの表現が第２の外観テンプレートに基づく第３の外観を有するときに、第１のユーザの表現の第１の視覚的忠実性よりも低い第１のユーザの表現の第２の視覚的忠実性を示す可変表示特性の第２の値を有する第１のユーザの表現を提示することにより、現在の活動への第１のユーザの関連性は、第１のユーザが活動に参加していないのでより低いというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザは、活動に基づいて、アクティブな参加者又は傍観者と見なされ、アクティブな参加者と見なされるユーザは、傍観者と見なされるユーザよりも高い視覚的忠実性を有するものとして表される。例えば、アクティブに通信している、ジェスチャしている、移動している、他の参加者及び／又はユーザに焦点を当てているなどのユーザは、（この活動に基づいて）参加者（又はアクティブな参加者）であると見なされ、高い視覚的忠実性を示す可変表示特性値を有するユーザの表現が提示される。逆に、アクティブに通信していない、ジェスチャしていない、移動していない、他の参加者及び／又はユーザに焦点を当てていないなどのユーザは、（この活動に基づいて）傍観者であると見なされ、低い視覚的忠実性を示す可変表示特性値を有するユーザの表現が提示される。
いくつかの実施形態では、表示生成コンポーネント（例えば、１０３０）は、第２のユーザに関連付けられている（例えば、第２のユーザは、表示生成コンポーネントの閲覧者及び／又はユーザである）。いくつかの実施形態では、表示生成コンポーネントを介して、可変表示特性の第１の値を有する第３のユーザの表現（例えば、ユーザＢを表しているアバター１０１０－２）（例えば、第１のユーザの表現）（例えば、代替的には、オブジェクトの表現）を提示している間に（例えば、変動可能である第３のユーザの表現のレンダリングの１つ以上の視覚的パラメータのセット（例えば、ぼかし度量、不透明度、色、減衰／密度、解像度など））、コンピュータシステム（例えば、１０１）は、第２のユーザの焦点位置を示す第３のデータ（例えば、第２のユーザの目が焦点を合わせている物理的環境又はコンピュータ生成環境内の位置又は領域を示すデータ）を受信する。いくつかの実施形態では、第３のデータは、第２のユーザの目の位置を追跡するセンサ（例えば、カメラセンサ）を使用して、かつ、ユーザの目の焦点を判定するプロセッサを使用して生成される。いくつかの実施形態では、焦点位置は、三次元で計算されたユーザの目の焦点を含む（例えば、焦点位置は、深度成分を含み得る）。
いくつかの実施形態では、第２のユーザの焦点位置を示す第３のデータを受信したことに応答して、コンピュータシステム（例えば、１０１）は、表示生成コンポーネントを介して、第２のユーザの焦点位置に基づいて、第３のユーザの表現を更新し（例えば、代替的には、オブジェクトの表現を更新する）、１）第２のユーザの焦点位置が第３のユーザの表現の位置に対応する（例えば、それと一緒に位置する）（例えば、図１１Ａでは、コンピュータシステムのユーザがユーザＢを見ており、したがって、アバター１０１０－２は、キャラクタテンプレートを使用して表示される）（例えば、第２のユーザは、第３のユーザの表現を見ている）（例えば、代替的には、第２のユーザは、オブジェクトの表現を見ている）という判定に従って、第３のユーザの表現の可変表示特性の値を増加させることと（例えば、代替的には、オブジェクトの表現可変表示特性の値を増加させる）、２）第２のユーザの焦点位置が第３のユーザの表現の位置に対応しない（例えば、一緒に位置しない）（例えば、第２のユーザは、第３のユーザの表現を見ていない）（例えば、代替的には、第２のユーザは、オブジェクトの表現を見ていない）という判定に従って、第３のユーザの表現の可変表示特性の値を減少させることと（例えば、図１１Ａでは、コンピュータシステムのユーザは、ユーザＤから遠くを見ており、したがって、アバター１０１０－４は、抽象テンプレートを使用して表示される）（例えば、代替的には、オブジェクトの表現の可変表示特性の値を減少させる）、を含む。第２のユーザの焦点位置が第３のユーザの表現の位置に対応するかどうかに応じて、第３のユーザの表現の可変表示特性の値を増加又は減少させることにより、コンピュータシステムが焦点の位置を検出しているという改善されたフィードバックが第２のユーザに提供され、計算リソースを減少させることによって、ユーザが焦点を合わせていない領域をレンダリングするために処理すべきデータの量をなくす又は低減することによって、計算リソースが低減される。改善されたフィードバックを提供すること及び計算作業量を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、可変表示特性は、表示生成コンポーネントを使用して提示された様々なアイテム又はユーザについて、ユーザがそれらのそれぞれのアイテム又はユーザに焦点を合わせているかどうかに応じて調整される。例えば、ユーザが、ユーザ又はオブジェクトの表現から離れるように焦点をシフトさせるにつれて、ユーザ又はオブジェクトの表現の視覚的忠実性（例えば、解像度、鮮明度、不透明度、及び／又は密度など）が（例えば、ユーザの焦点がユーザの表現から逸れている量に基づいて）減少する。逆に、ユーザ又はオブジェクトの表現にユーザが焦点を合わせるにつれて、ユーザ又はオブジェクトの表現の視覚的忠実性（例えば、解像度、鮮明度、不透明度、及び／又は密度など）が増大する。この視覚効果は、表示生成コンポーネントを使用してユーザにレンダリングすべきデータを低減することによって、計算リソースを確保するのに役立つ。具体的には、ユーザの焦点の外側に提示されるオブジェクト及び／又はユーザは、より低い忠実性でレンダリングできるので、消費される計算リソースが少なくなる。これは、視覚的忠実性に対する修正が人間の目の自然な挙動を模倣するので、視覚的完全性を犠牲にすることなく行うことができる。例えば、人間の目が焦点をシフトさせると、目が焦点を合わせているオブジェクトの外観がより鮮明になる（例えば、忠実性が高くなる）のに対し、目の焦点の外側に位置するオブジェクトはぼける（例えば、忠実性が低くなる）。つまり、ユーザの周辺ビュー内にレンダリングされるオブジェクトは、計算リソースを確保するために、意図的に低い忠実性でレンダリングされる。
いくつかの実施形態では、第１の外観テンプレートは、抽象的形状（例えば、図１０Ｂの１０１０－２、図１０Ｂの１０１０－３、図１１Ｂの１０１０－４）（例えば、いかなる擬人化特性も有さない形状の表現、又は、ユーザが第１のタイプの活動に従事しているときにユーザを表すために使用される擬人化形状よりも少数の擬人化特性を有する形状の表現）に対応する。いくつかの実施形態では、第２の外観テンプレートは、擬人化形状（例えば、図１０Ｂの１０１０－１、図１０Ｂの１０１０－４、図１１Ｂの１０１０－１、図１１Ｂの１０１０－２、図１１Ｂの１０１０－３）に対応する（例えば、人間、動物、又は擬人化形状がユーザの動きを通信することを可能にする顔、目、口、手足などの表情要素を有する他の特徴の表現）。抽象的形状に対応する第１の外観テンプレート又は擬人化形状に対応する第２の外観テンプレートを有する第１のユーザの表現を提示することにより、擬人化形状として提示されたときには、現在の活動への第１のユーザの関連性がより高く、抽象的形状として提示されたときには、現在の活動への関連性が余り高くないというフィードバックがユーザに提供される。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する、及び／又はコンピュータシステムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、方法９００及び１２００の態様及び／又は動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを可能にするために、これらの実施形態を選択し記載した。

Claims (10)

  1. 方法であって、
    表示生成コンポーネントと通信するコンピュータシステムにおいて、
    １人以上のユーザの現在の活動が第１のタイプの活動であることを示す第１のデータを受信することであって、前記第１のタイプの前記活動は、第１のユーザと前記１人以上のユーザとの間の相互作用を含む、ことと、
    前記現在の活動が前記第１のタイプの活動であることを示す前記第１のデータを受信したことに応答して、前記表示生成コンポーネントを介して、第１の外観テンプレートに基づく第１の外観を有する前記第１のユーザの表現を更新することであって、前記第１の外観テンプレートは、顔を含む擬人化形状に対応する、ことと、
    前記第１の外観を有する前記第１のユーザの前記表現を提示させている間に、１人以上のユーザの現在の活動を示す第２のデータを受信することと、
    前記１人以上のユーザの前記現在の活動を示す前記第２のデータを受信したことに応答して、前記１人以上のユーザの前記現在の活動に基づいて、前記第１のユーザの前記表現の前記外観を更新することであって、
    前記現在の活動が前記第１のタイプの活動であるという判定に従って、前記表示生成コンポーネントを介して、前記第１の外観テンプレートに基づく第２の外観を有する前記第１のユーザの前記表現を提示させることと、
    前記現在の活動が前記第１のタイプとは異なる第２のタイプの活動であるという判定に従って、前記表示生成コンポーネントを介して、第２の外観テンプレートに基づいて、第３の外観を有する前記第１のユーザの前記表現を提示させることであって、前記第２の外観テンプレートは、前記第１の外観テンプレートとは異なり、顔を含まない形状に対応しており、前記第２のタイプの前記活動は、前記第１のユーザと前記１人以上のユーザとの間の相互作用を含まない、こととを含む、ことと、
    を含む、方法。
  2. 前記第１のタイプの前記活動は、第１の位置において実行される前記第１のユーザの活動であり、
    前記第２のタイプの前記活動は、前記第１の位置とは異なる第２の位置において実行される前記第１のユーザの活動である、
    請求項１に記載の方法。
  3. 前記第１の外観テンプレートは、前記第２の外観テンプレートよりも現実性が高い前記第１のユーザの外観に対応する、請求項１又は２に記載の方法。
  4. 前記第１のタイプの前記活動は、非マニュアル活動であり、
    前記第２のタイプの前記活動は、マニュアル活動であり、
    前記第１のユーザの前記表現は、前記第１のユーザの手に対応し、かつ、可変表示特性を有する提示されるそれぞれの手部分を含み、
    前記第２の外観テンプレートに基づく前記第３の外観を有する前記第１のユーザの前記表現を提示させることは、
    前記第２のタイプの前記活動は、前記マニュアル活動を実行するために前記第１のユーザの前記手がオブジェクトと相互作用することを含むという判定に従って、前記可変表示特性の第１の値を有する前記それぞれの手部分を用いて前記第１のユーザの前記表現を提示することと、
    前記第２のタイプの前記活動は、前記マニュアル活動を実行するために前記第１のユーザの前記手がオブジェクトと相互作用することを含まないという判定に従って、前記可変表示特性の第１の値とは異なる前記可変表示特性の第２の値を有する前記それぞれの手部分を用いて前記第１のユーザの前記表現を提示することと、を含む、
    請求項１～３のいずれか一項に記載の方法。
  5. 前記第１のタイプの前記活動は、第１の参加者との相互作用に関連付けられる活動であり、
    前記第２のタイプの前記活動は、前記第１の参加者との相互作用に関連付けられない活動であり、
    前記第１の外観テンプレートに基づく前記第２の外観を有する前記第１のユーザの前記表現を提示させることは、前記第１のユーザの前記表現の第１の視覚的忠実性を示す可変表示特性の第１の値を有する前記第１のユーザの前記表現を提示することを含み、
    前記第２の外観テンプレートに基づく前記第３の外観を有する前記第１のユーザの前記表現を提示させることは、前記第１のユーザの前記表現の前記第１の視覚的忠実性よりも低い前記第１のユーザの前記表現の第２の視覚的忠実性を示す前記可変表示特性の第２の値を有する前記第１のユーザの前記表現を提示することを含む、
    請求項１～４のいずれか一項に記載の方法。
  6. 前記表示生成コンポーネントは第２のユーザに関連付けられ、前記方法は、
    前記表示生成コンポーネントを介して、可変表示特性の第１の値を有する第３のユーザの表現を提示している間に、前記第２のユーザの焦点位置を示す第３のデータを受信することと、
    前記第２のユーザの前記焦点位置を示す前記第３のデータを受信したことに応答して、前記表示生成コンポーネントを介して、前記第２のユーザの前記焦点位置に基づいて、前記第３のユーザの前記表現を更新することと、を更に含み、
    前記第２のユーザの前記焦点位置が前記第３のユーザの前記表現の位置に対応するという判定に従って、前記第３のユーザの前記表現の前記可変表示特性の前記値を増加させることと、
    前記第２のユーザの前記焦点位置が前記第３のユーザの前記表現の位置に対応しないという判定に従って、前記第３のユーザの前記表現の前記可変表示特性の前記値を減少させることと、を含む、ことと、を含む、
    請求項１～５のいずれか一項に記載の方法。
  7. 前記第２の外観テンプレートは抽象化形状に対応する、
    請求項１～６のいずれか一項に記載の方法。
  8. 請求項１～７のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
  9. コンピュータシステムであって、
    請求項８に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を備え、前記コンピュータシステムは、表示生成コンポーネントと通信するように構成されている、コンピュータシステム。
  10. 表示生成コンポーネントと通信するように構成されているコンピュータシステムであって、
    請求項１～７のいずれか一項に記載の方法を実行するための手段を備える、コンピュータシステム。
JP2024154177A 2020-06-08 2024-09-06 三次元環境におけるアバターの提示 Active JP7788511B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025241739A JP2026053391A (ja) 2020-06-08 2025-12-08 三次元環境におけるアバターの提示

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063036411P 2020-06-08 2020-06-08
US63/036,411 2020-06-08
JP2022573765A JP7554290B2 (ja) 2020-06-08 2021-05-20 三次元環境におけるアバターの提示
PCT/US2021/033320 WO2021252160A1 (en) 2020-06-08 2021-05-20 Presenting avatars in three-dimensional environments

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022573765A Division JP7554290B2 (ja) 2020-06-08 2021-05-20 三次元環境におけるアバターの提示

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025241739A Division JP2026053391A (ja) 2020-06-08 2025-12-08 三次元環境におけるアバターの提示

Publications (2)

Publication Number Publication Date
JP2025000657A JP2025000657A (ja) 2025-01-07
JP7788511B2 true JP7788511B2 (ja) 2025-12-18

Family

ID=76502815

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022573765A Active JP7554290B2 (ja) 2020-06-08 2021-05-20 三次元環境におけるアバターの提示
JP2024154177A Active JP7788511B2 (ja) 2020-06-08 2024-09-06 三次元環境におけるアバターの提示
JP2025241739A Pending JP2026053391A (ja) 2020-06-08 2025-12-08 三次元環境におけるアバターの提示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022573765A Active JP7554290B2 (ja) 2020-06-08 2021-05-20 三次元環境におけるアバターの提示

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025241739A Pending JP2026053391A (ja) 2020-06-08 2025-12-08 三次元環境におけるアバターの提示

Country Status (7)

Country Link
US (3) US11733769B2 (ja)
EP (2) EP4550280A3 (ja)
JP (3) JP7554290B2 (ja)
KR (2) KR20230003154A (ja)
CN (1) CN115917474A (ja)
AU (3) AU2021290132C1 (ja)
WO (1) WO2021252160A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4366317A3 (en) 2017-05-16 2024-08-07 Apple Inc. Emoji recording and sending
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
US12307066B2 (en) 2020-03-16 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
AU2021290132C1 (en) 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
US12017116B2 (en) * 2020-06-23 2024-06-25 Electronics And Telecommunications Research Institute Apparatus and method for evaluating human motion using mobile robot
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11475652B2 (en) * 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
US12026901B2 (en) 2020-07-01 2024-07-02 Samsung Electronics Co., Ltd. Efficient encoding of depth data across devices
US12125149B2 (en) 2021-02-16 2024-10-22 Apple Inc. Interfaces for presenting avatars in three-dimensional environments
US11683192B2 (en) * 2021-03-30 2023-06-20 Snap Inc. Updating element properties based on distance between elements in virtual conference
US12093655B1 (en) * 2021-08-10 2024-09-17 Wells Fargo Bank, N.A. Systems and methods for communication prosthetic
US12131429B2 (en) 2021-09-24 2024-10-29 Apple Inc. Devices, methods, and graphical user interfaces for displaying a representation of a user in an extended reality environment
WO2023091525A1 (en) * 2021-11-19 2023-05-25 Apple Inc. Intention-based user interface control for electronic devices
KR102810302B1 (ko) * 2021-12-23 2025-05-20 주식회사 케이티앤지 흡연 정보 관리 방법 및 장치
US12307613B2 (en) * 2022-04-05 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for modifying avatars in three-dimensional environments
WO2023196344A1 (en) * 2022-04-05 2023-10-12 Apple Inc. Devices, methods, and graphical user interfaces for modifying avatars in three-dimensional environments
CN114911345A (zh) * 2022-05-16 2022-08-16 深圳市商汤科技有限公司 一种交互方法、终端、设备以及存储介质
CN117308910A (zh) * 2022-06-24 2023-12-29 北京字跳网络技术有限公司 定位方法、装置、电子设备、头戴式显示设备及存储介质
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
CN120491823A (zh) * 2022-09-24 2025-08-15 苹果公司 用于提供计算机生成的体验的设备、方法和图形用户界面
NO348573B1 (en) * 2023-03-14 2025-03-17 Pictorytale As Personalized representation and animation of humanoid characters
US12608981B2 (en) * 2023-05-23 2026-04-21 Apple Inc. Devices, methods, and graphical user interfaces for biometric feature enrollment
US12159338B1 (en) * 2023-10-06 2024-12-03 Htc Corporation Method for controlling avatar in virtual environment by determining a difference in poses between a target object and a reference object, host, and computer readable storage medium
CN121970361A (zh) * 2023-10-06 2026-05-01 交互数字Ce专利控股有限公司 场景描述中的化身规范位姿
US20250117960A1 (en) * 2023-10-06 2025-04-10 Htc Corporation Pose calibrating method, host, and computer readable storage medium
US20250124662A1 (en) * 2023-10-17 2025-04-17 Kyndryl, Inc. Preventing harassment on metaverse environments
US20250135338A1 (en) * 2023-11-01 2025-05-01 Meta Platforms Technologies, Llc Accessing artificial reality content through a handheld device
WO2025254033A1 (en) * 2024-06-07 2025-12-11 Nec Corporation Method and apparatus for tracking movement of object
CN121531163A (zh) * 2025-11-11 2026-02-13 掌盟互动(北京)网络信息有限公司 一种基于ai数字人的多直播间同步直播方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143359A1 (ja) 2009-06-10 2010-12-16 日本電気株式会社 アバター表示システム、装置、方法及びプログラム
JP2014225801A (ja) 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
US20180232934A1 (en) 2015-08-07 2018-08-16 Sensomotoric Instruments Gesellschaft Für Innovative Sensorik Gmbh Communication system and method for providing a bionic virtual meeting room
WO2019176236A1 (ja) 2018-03-13 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Family Cites Families (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516377B2 (ja) * 1996-08-21 2004-04-05 日本電信電話株式会社 多関節構造体の運動像生成方法及びそれを記録した記録媒体及びそれを使った運動像生成装置
JP2918499B2 (ja) 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
AU3639699A (en) 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
JP2001334071A (ja) 2000-03-21 2001-12-04 Sony Computer Entertainment Inc エンタテインメント装置、記憶媒体およびオブジェクト表示方法
US9064344B2 (en) 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
JP2004287558A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置
US7969447B2 (en) 2004-05-06 2011-06-28 Pixar Dynamic wrinkle mapping
JP2006065683A (ja) 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム
JP4760349B2 (ja) 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
WO2007130693A2 (en) 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
JP5219184B2 (ja) 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009067560A1 (en) 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
CN101472158A (zh) 2007-12-27 2009-07-01 上海银晨智能识别科技有限公司 基于人脸检测的网络摄像装置及图像形成方法
NZ587526A (en) 2008-01-31 2013-06-28 Univ Southern California Facial performance synthesis using deformation driven polynomial displacement maps
WO2009101153A2 (en) 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
EP2293855A1 (en) * 2008-06-02 2011-03-16 Nike International Ltd. System and method for creating an avatar
TW201005583A (en) 2008-07-01 2010-02-01 Yoostar Entertainment Group Inc Interactive systems and methods for video compositing
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
KR101596975B1 (ko) * 2008-12-16 2016-02-23 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 정보 표시 장치 및 정보 표시 방법
US20100153847A1 (en) 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
CN101930284B (zh) 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9548228B2 (en) * 2009-08-04 2017-01-17 Lam Research Corporation Void free tungsten fill in different sized features
JP5423379B2 (ja) 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR101651128B1 (ko) 2009-10-05 2016-08-25 엘지전자 주식회사 이동 단말기 이것의 애플리케이션 실행 제어 방법
US20170098122A1 (en) 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
EP2394710B1 (en) * 2010-06-11 2020-06-10 BANDAI NAMCO Entertainment Inc. Image generation system, image generation method, and information storage medium
JP2011258159A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
KR101681096B1 (ko) 2010-07-13 2016-12-01 삼성전자주식회사 얼굴 애니메이션 시스템 및 방법
US20120069028A1 (en) 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8830226B2 (en) 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
US9519396B2 (en) 2010-09-28 2016-12-13 Apple Inc. Systems, methods, and computer-readable media for placing an asset on a three-dimensional model
CN102479388A (zh) 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20120289290A1 (en) 2011-05-12 2012-11-15 KT Corporation, KT TECH INC. Transferring objects between application windows displayed on mobile terminal
KR101558202B1 (ko) 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
CN102999934A (zh) 2011-09-19 2013-03-27 上海威塔数字科技有限公司 计算机三维动画系统及动画方法
KR101301794B1 (ko) 2011-11-04 2013-08-29 (주)카카오 동적 이모티콘을 이용하는 인스턴트 메시징 서비스를 제공하는 방법 및 그 방법을 실행하는 이동 단말
CN103116902A (zh) 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
US20130147933A1 (en) 2011-12-09 2013-06-13 Charles J. Kulas User image insertion into a text message
CN104115503A (zh) 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
JP2013178645A (ja) * 2012-02-28 2013-09-09 Onkyo Corp 電子機器の入力装置
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
CN111275795A (zh) 2012-04-09 2020-06-12 英特尔公司 用于化身生成、渲染和动画的系统和方法
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9083844B2 (en) 2012-06-01 2015-07-14 Nintendo Co., Ltd. Computer-readable medium, information processing apparatus, information processing system and information processing method
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9936165B2 (en) 2012-09-06 2018-04-03 Intel Corporation System and method for avatar creation and synchronization
WO2014042662A1 (en) 2012-09-17 2014-03-20 Google Inc. Bandwidth reduction system and method
US9826286B2 (en) 2012-09-18 2017-11-21 Viacom International Inc. Video editing method and tool
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
KR102013443B1 (ko) 2012-09-25 2019-08-22 삼성전자주식회사 이미지를 전송하기 위한 방법 및 그 전자 장치
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US8867786B2 (en) * 2012-10-31 2014-10-21 Microsoft Corporation Scenario-specific body-part tracking
WO2014094199A1 (en) 2012-12-17 2014-06-26 Intel Corporation Facial movement based avatar animation
KR102049855B1 (ko) 2013-01-31 2019-11-28 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9747716B1 (en) 2013-03-15 2017-08-29 Lucasfilm Entertainment Company Ltd. Facial animation models
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
IL226047A (en) 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
EP2808760B1 (en) * 2013-05-29 2023-08-16 Dassault Systèmes Body posture tracking
WO2014194488A1 (en) 2013-06-05 2014-12-11 Intel Corporation Karaoke avatar animation based on facial motion data
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9317954B2 (en) 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US10528219B2 (en) 2015-08-10 2020-01-07 Tung Inc. Conversion and display of a user input
WO2015070416A1 (en) 2013-11-14 2015-05-21 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US20150172238A1 (en) 2013-12-18 2015-06-18 Lutebox Ltd. Sharing content on devices with reduced user actions
CN103886632A (zh) 2014-01-06 2014-06-25 宇龙计算机通信科技(深圳)有限公司 用户表情头像的生成方法及通信终端
US9477878B2 (en) 2014-01-28 2016-10-25 Disney Enterprises, Inc. Rigid stabilization of facial expressions
CN106104633A (zh) 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US9628416B2 (en) 2014-05-30 2017-04-18 Cisco Technology, Inc. Photo avatars
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US20160191958A1 (en) 2014-12-26 2016-06-30 Krush Technologies, Llc Systems and methods of providing contextual features for digital communication
KR102103939B1 (ko) 2014-07-25 2020-04-24 인텔 코포레이션 머리 회전을 갖는 아바타 얼굴 표정 애니메이션
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
CN105374055B (zh) 2014-08-20 2018-07-03 腾讯科技（深圳）有限公司 图像处理方法及装置
US20160055370A1 (en) 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
CN105139438B (zh) 2014-09-19 2018-01-12 电子科技大学 视频人脸卡通动画生成方法
WO2016045016A1 (en) 2014-09-24 2016-03-31 Intel Corporation Furry avatar animation
US20160292903A1 (en) 2014-09-24 2016-10-06 Intel Corporation Avatar audio communication systems and techniques
WO2016045010A1 (en) 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
WO2016045005A1 (en) 2014-09-24 2016-03-31 Intel Corporation User gesture driven avatar apparatus and method
US20160105388A1 (en) 2014-10-09 2016-04-14 Footspot, Inc. System and method for digital media capture and related social networking
US20160110922A1 (en) 2014-10-16 2016-04-21 Tal Michael HARING Method and system for enhancing communication by using augmented reality
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
CN107004288B (zh) 2014-12-23 2022-03-01 英特尔公司 非面部特征的面部动作驱动的动画
CN107533356A (zh) 2015-03-09 2018-01-02 文塔纳3D有限责任公司 头像控制系统
US10812429B2 (en) 2015-04-03 2020-10-20 Glu Mobile Inc. Systems and methods for message communication
WO2016161553A1 (en) 2015-04-07 2016-10-13 Intel Corporation Avatar generation and animations
KR102450865B1 (ko) 2015-04-07 2022-10-06 인텔 코포레이션 아바타 키보드
US20160350957A1 (en) 2015-05-26 2016-12-01 Andrew Woods Multitrack Virtual Puppeteering
US20170018289A1 (en) 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
US10176619B2 (en) 2015-07-30 2019-01-08 Intel Corporation Emotion augmented avatar animation
US11138207B2 (en) 2015-09-22 2021-10-05 Google Llc Integrated dynamic interface for expression-based retrieval of expressive media content
US20170083524A1 (en) 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for expression-based retrieval of expressive media content
US10489957B2 (en) 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
US10025972B2 (en) 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
KR20170112497A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
JP2018084878A (ja) 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10528801B2 (en) 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
JP6240301B1 (ja) 2016-12-26 2017-11-29 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018109924A (ja) 2017-01-06 2018-07-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20180225263A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Inline insertion viewport
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
EP4366317A3 (en) 2017-05-16 2024-08-07 Apple Inc. Emoji recording and sending
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
JP6401841B1 (ja) * 2017-09-13 2018-10-10 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
US11380039B2 (en) * 2017-12-14 2022-07-05 Magic Leap, Inc. Contextual-based rendering of virtual avatars
US11082463B2 (en) * 2017-12-22 2021-08-03 Hillel Felman Systems and methods for sharing personal information
JP6745852B2 (ja) * 2018-01-24 2020-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
US10643336B2 (en) 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
US11538211B2 (en) 2018-05-07 2022-12-27 Google Llc Puppeteering remote avatar by facial expressions
WO2020112561A1 (en) * 2018-11-30 2020-06-04 Magic Leap, Inc. Multi-modal hand location and orientation for avatar movement
JP2022549853A (ja) * 2019-09-27 2022-11-29 マジック リープ， インコーポレイテッド 共有空間内の個々の視認
DE112019007807T5 (de) 2019-10-10 2022-08-11 Google LLC Rasterbasierte Registrierung zur Gesichtsauthentifizierung
WO2021202783A1 (en) * 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
AU2021290132C1 (en) 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
US12125149B2 (en) 2021-02-16 2024-10-22 Apple Inc. Interfaces for presenting avatars in three-dimensional environments
US20230384860A1 (en) 2022-05-24 2023-11-30 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240372968A1 (en) 2023-05-03 2024-11-07 Apple Inc. Devices, methods, and graphical user interfaces for displaying a representation of a person
US12608981B2 (en) 2023-05-23 2026-04-21 Apple Inc. Devices, methods, and graphical user interfaces for biometric feature enrollment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143359A1 (ja) 2009-06-10 2010-12-16 日本電気株式会社 アバター表示システム、装置、方法及びプログラム
JP2014225801A (ja) 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
US20180232934A1 (en) 2015-08-07 2018-08-16 Sensomotoric Instruments Gesellschaft Für Innovative Sensorik Gmbh Communication system and method for providing a bionic virtual meeting room
WO2019176236A1 (ja) 2018-03-13 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Also Published As

Publication number Publication date
KR20230003154A (ko) 2023-01-05
US20210382544A1 (en) 2021-12-09
EP4139777B1 (en) 2025-04-23
CN115917474A (zh) 2023-04-04
EP4550280A2 (en) 2025-05-07
JP7554290B2 (ja) 2024-09-19
AU2021290132A1 (en) 2023-02-02
WO2021252160A1 (en) 2021-12-16
EP4550280A3 (en) 2025-07-02
AU2024200190A1 (en) 2024-02-01
US20230350489A1 (en) 2023-11-02
US20250216931A1 (en) 2025-07-03
JP2025000657A (ja) 2025-01-07
JP2026053391A (ja) 2026-03-25
KR20250130851A (ko) 2025-09-02
US12282594B2 (en) 2025-04-22
AU2024200190B2 (en) 2025-06-26
AU2021290132B2 (en) 2023-10-12
EP4139777C0 (en) 2025-04-23
AU2021290132C1 (en) 2024-04-18
US11733769B2 (en) 2023-08-22
AU2025226778A1 (en) 2025-09-25
EP4139777A1 (en) 2023-03-01
JP2023529126A (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
JP7788511B2 (ja) 三次元環境におけるアバターの提示
US12125149B2 (en) Interfaces for presenting avatars in three-dimensional environments
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
WO2023096940A2 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
JP7654809B2 (ja) 三次元環境におけるアバターの提示のためのインタフェース
US11893154B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
JP2024537657A (ja) メディア及び三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN117193538A (zh) 用于在三维环境中呈现化身的界面
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251208

R150 Certificate of patent or registration of utility model

Ref document number: 7788511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150