CN119556830A - 用于在环境中显示、选择以及移动对象和容器的方法 - Google Patents

用于在环境中显示、选择以及移动对象和容器的方法 Download PDF

Info

Publication number
CN119556830A
CN119556830A CN202411577421.0A CN202411577421A CN119556830A CN 119556830 A CN119556830 A CN 119556830A CN 202411577421 A CN202411577421 A CN 202411577421A CN 119556830 A CN119556830 A CN 119556830A
Authority
CN
China
Prior art keywords
virtual object
user
input
computer system
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411577421.0A
Other languages
English (en)
Inventor
M·J·森德斯特龙
M·斯陶贝尔
E·克日沃卢奇科
Z·C·泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN119556830A publication Critical patent/CN119556830A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一些实施方案中，计算机系统执行不同的对象选择相关操作。在一些实施方案中，计算机系统基于用户的注意力来将一个或多个对象放置在显示区中的位置处。在一些实施方案中，计算机系统在三维环境中显示具有曲率的容器虚拟对象。

Description

用于在环境中显示、选择以及移动对象和容器的方法
本申请是国际申请号为PCT/US2023/060592，国际申请日为2023年1月12日，进入中国国家阶段日期为2024年9月11日，国家申请号为202380027098.7，发明名称为“用于在环境中显示、选择以及移动对象和容器的方法”的申请的分案申请。
相关申请的交叉引用
本申请要求2022年1月12日提交的美国临时申请63/266,726号的权益，该美国临时申请的内容全文以引用方式并入本文以用于所有目的。
技术领域
本公开整体涉及提供计算机生成的体验的计算机系统，包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于与包括至少一些虚拟元素的环境(例如，应用、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费的时间比必要的要长，从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本计算机、平板计算机或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于与三维环境中的内容进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的内容交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
在一些实施方案中，计算机系统执行不同的对象选择相关操作。在一些实施方案中，计算机系统基于用户的注意力来将对象放置在显示区中的位置处。在一些实施方案中，计算机系统在三维环境中显示具有曲率的容器虚拟对象。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7G示出根据一些实施方案的执行不同的对象选择相关操作的计算机系统的示例。
图8A至图8K是示出根据一些实施方案的执行不同的对象选择相关操作的示例性方法的流程图。
图9A至图9F示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的计算机系统的示例。
图10A至图10J是示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的方法的流程图。
图11A至图11G示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的计算机系统的示例。
图12A至图12L是示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI提供了电子设备促进与三维环境中的对象交互并操纵三维环境中的对象的改进方式。
在一些实施方案中，计算机系统在环境中显示虚拟对象。在一些实施方案中，由用户的第一手部选择和控制虚拟对象中的一个或多个虚拟对象。在一些实施方案中，从用户的第二手部检测被指向除一个或多个对象之外的相应对象的输入。如果来自第二手部的输入具有第一特性，则将相应对象添加到由第一手部选择和控制的一个或多个对象。如果来自第二手部的输入具有第二特性，则由第二手部与第一手部对一个或多个对象的控制分开地控制相应对象。
在一些实施方案中，计算机系统接收将虚拟对象插入区(诸如环境中的区)中的输入。在一些实施方案中，计算机系统基于当接收到输入时用户的注意力被指向何处来在区中的位置处显示虚拟对象。在一些实施方案中，如果用户的注意力的位置被另一对象占据，则计算机系统使显示所插入的虚拟对象的位置选择性地偏移。
在一些实施方案中，计算机系统在环境中显示虚拟对象。在一些实施方案中，计算机系统接收将虚拟对象移动到环境中的特定位置的输入。在一些实施方案中，如果特定位置与环境中的另一对象(例如，物理的或虚拟的)对应，则计算机系统以第一曲率在特定位置处显示虚拟对象。在一些实施方案中，如果特定位置不与环境中的另一对象对应，则计算机系统以第二曲率在特定位置处显示虚拟对象。在一些实施方案中，虚拟对象的曲率附加地或另选地基于虚拟对象与一个或多个视点的距离、有多少视点正在同时共享环境和/或一个或多个视点相对于虚拟对象的相对位置。
图1至图6提供了用于向用户提供XR体验的示例计算机系统的描述(诸如下文相对于方法800、1000和/或1200所描述的)。图7A至图7G示出根据一些实施方案的执行不同的对象选择相关操作的计算机系统的示例。图8A至图8K是示出根据一些实施方案的执行不同的对象选择相关操作的示例性方法的流程图。图7A至图7G中的用户界面用于示出图8A至图8K中的过程。图9A至图9F示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的计算机系统的示例。图10A至图10J是示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的方法的流程图。图9A至图9F中的用户界面用于示出图10A至10J中的过程。图11A至图11G示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的计算机系统的示例。图12A至图12L是示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的方法的流程图。图11A至图11G中的用户界面用于示出图12A至图12L中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相比之下，扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特性的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，发生变化)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如，显示屏幕)的实施方案中，用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的定位和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的该部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相比于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，在该点处虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动第一量时，参考点与虚拟对象之间的距离增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的定位)，并且当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动大于第一量的第二量时，参考点与虚拟对象之间的距离最初增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的定位)，并且接着随着参考点的移动量增加到阈值(例如，“惰性跟随”阈值)以上而减小，因为虚拟对象被计算机系统移动以保持相对于参考点的固定或基本上固定的定位。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的定位包括虚拟对象在一个或多个维度(例如，相对于参考点的定位的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板设备和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文相对于图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供XR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板设备)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元241被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元242被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地相对于跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此，在各种实施方案中，跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于该目的，作为非限制性示例，在一些实施方案中，显示生成部件120(例如，HMD)包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312与全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型对应。在一些实施方案中，一个或多个XR显示器312与衍射、反射、偏振、全息等波导显示器对应。例如，显示生成部件120(例如，HMD)包括单个XR显示器。在另一示例中，显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在显示生成部件120(例如，HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的，在各种实施方案中，XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据生成XR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象以生成扩展现实的物理环境的映射图)。出于所述目的，在各种实施方案中，XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应定位能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用，该应用相应地驱动显示生成部件120。例如，用户可以通过移动他的手部406并改变他的手部位姿来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标与由图像传感器测量的z分量对应。另选地，图像传感器404(例如，手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触碰作为设备(例如，计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手部以预先确定位姿将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于用户的手部的其他手指或部分的移动执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触碰作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手部以预先确定位姿将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的具体实施中，例如，输入手势与用户的手指和/或手部的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手部在与三维环境中的用户界面对象的定位对应的定位(例如，如基于用户的当前视点所确定的)处执行输入手势，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手部的定位不在与用户界面对象在三维环境中的定位对应的该定位处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，用户能够通过在与用户界面对象的显示定位对应的定位处或附近(例如，从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何定位处)(例如，在不与用户界面对象的显示定位对应的定位处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一手部执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手部的定位从第一定位(例如，拖动的开始定位)改变到第二定位(例如，拖动的结束定位)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二定位处)。在一些实施方案中，捏合输入和拖动输入由同一手部执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二定位)。在一些实施方案中，由用户的第一手部执行捏合输入，并且由用户的第二手部执行拖动输入(例如，在用户用用户的第一手部继续捏合输入的同时，用户的第二手部在空中从第一定位移动到第二定位。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，同时或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一手部执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一手部执行捏合输入，使用另一手部(例如，用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中，用户两只手部之间的移动(例如，增大和/或减小用户两只手部之间的距离或相对取向)
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中，基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手部是否具有预先确定的手部形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取手势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的定位中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入作出响应。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器404分开的单元，控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如，手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度映射图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，手部骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户查看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备130(例如，注视跟踪设备)包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区中以比在外围区中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用中的另一个示例使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可维持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素610前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则在元素660处，跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为是(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在一些实施方案中，真实世界环境602的捕获的部分用于向用户提供XR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，XR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由计算机系统的相机和显示器主动地显示或者经由计算机系统的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实系统，其中三维环境基于由计算机系统的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实系统，该计算机系统任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来好像它们存在于由计算机系统显示的三维环境中一样。类似地，该计算机系统任选地能够通过将虚拟对象放置在三维环境中在现实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来好像虚拟对象存在于现实世界(例如，物理环境)中一样。例如，该计算机系统任选地显示花瓶，使得该花瓶看起来好像现实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的相应位置在物理环境中具有对应位置。因此，当计算机系统被描述为在相对于物理对象的相应位置(例如，诸如在用户的手部处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，计算机系统在三维环境中的特定位置处显示虚拟对象，使得看起来好像虚拟对象在物理环境中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中的与物理环境中如果该虚拟对象是该特定位置处的现实对象则将显示该虚拟对象的位置对应的位置处)。
在一些实施方案中，在三维环境中显示的(例如，和/或经由显示生成部件可见的)存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或两只手与三维环境中的虚拟对象交互，好像虚拟对象是物理环境中的真实对象一样。例如，如上文所述，计算机系统的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手部的表示(例如，以类似于在上文所述的三维环境中显示现实世界对象的方式)，或者在一些实施方案中，由于显示生成部件的正显示用户界面的一部分的透明度/半透明度，或由于用户界面到透明/半透明表面上的投影或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影，经由显示生成部件、经由通过用户界面看见物理环境的能力可看到用户的手部。因此，在一些实施方案中，用户的手部在三维环境中的相应位置处显示并且被视为好像它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，好像这些虚拟对象是物理环境中的物理对象一样。在一些实施方案中，计算机系统能够结合用户的手部在物理环境中的移动来更新用户的手部在三维环境中的表示的显示。
在下文所述的实施方案中的一些实施方案中，计算机系统任选地能够确定物理世界中的物理对象和三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正与虚拟对象直接交互(例如，手部是否正触摸、抓取、握持等虚拟对象或处于虚拟对象的阈值距离内)。例如，与虚拟对象直接交互的手部任选地包括以下中的一者或多者：手部的按压虚拟按钮的手指、用户的抓取虚拟花瓶的手部、用户的手部的合在一起并捏合/保持应用的用户界面以及进行本文所述的任何其他类型的交互的两个手指。例如，当确定用户是否正与虚拟对象交互并且/或者用户正如何与虚拟对象交互时，计算机系统任选地确定用户的手部和虚拟对象之间的距离。在一些实施方案中，计算机系统通过确定手部在三维环境中的位置和感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手部和虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，计算机系统任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的定位)处显示该一只或多只手。任选地将手部在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手和虚拟对象之间的距离。在一些实施方案中，计算机系统任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象和虚拟对象之间的距离。例如，当确定用户的一只或多只手和虚拟对象之间的距离时，计算机系统任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位和用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，计算机系统任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理环境。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，以及/或者由用户握持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则计算机系统任选地确定三维环境中的对应定位(例如，注视的虚拟定位)，并且如果虚拟对象位于该对应虚拟定位处，则计算机系统任选地确定用户的注视指向该虚拟对象。类似地，该计算机系统任选地能够基于物理触笔的取向来确定该触笔在物理环境中指向的方向。在一些实施方案中，基于该确定，计算机系统确定三维环境中的与物理环境中触笔指向的位置对应的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可指用户(例如，计算机系统的用户)在三维环境中的位置和/或计算机系统在三维环境中的位置。在一些实施方案中，计算机系统的用户正握持、穿戴或以其他方式位于计算机系统处或附近。因此，在一些实施方案中，计算机系统的位置用作用户的位置的代理。在一些实施方案中，计算机系统和/或用户在物理环境中的位置与三维环境中的相应位置相对应。例如，计算机系统的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向经由显示生成部件可见的物理环境的相应部分，则用户将从该位置看到物理环境中处于与对象由计算机系统的显示生成部件在三维环境中显示或经由该显示生成部件在三维环境中可见的对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则计算机系统和/或用户的位置是用户将从该位置看到物理环境中处于与由计算机系统的显示生成部件在三维环境中显示的虚拟对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和现实世界对象)的这些虚拟对象的定位。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7G示出根据一些实施方案的执行不同的对象选择相关操作的计算机系统的示例。
图7A示出经由计算机系统101的显示生成部件(例如，图1的显示生成部件120)可见的三维环境704，该三维环境704从在俯视图714中示出的用户的视点716可见(例如，面向计算机系统101所位于的物理环境的后壁，并且靠近该物理环境的左后角)。如上参考图1至图6所述，计算机系统101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与计算机系统101交互时计算机系统101能够用来捕获用户或用户的一部分(例如，用户的一只或多只手)的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出和描述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面或三维环境的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图7A中所示，计算机系统101捕获计算机系统101周围的物理环境702(例如，操作环境100)(包括计算机系统101周围的物理环境中的一个或多个对象)的一个或多个图像。在一些实施方案中，计算机系统101在三维环境704中显示物理环境的表示并且/或者物理环境702经由显示生成部件120在三维环境704中可见。例如，经由显示生成部件120可见的三维环境704包括计算机系统101所位于的房间的物理地板以及后壁和侧壁的表示。三维环境704还包括桌子706(经由显示生成部件120并且在俯视图714中示出)。
在图7A中，三维环境704还包括虚拟对象708-1至708-6、虚拟对象710和虚拟对象712。虚拟对象708-1至708-6任选地是应用的用户界面(例如，消息传送用户界面、内容浏览用户界面等)、三维对象(例如，虚拟时钟、虚拟球、虚拟汽车等)或由计算机系统101显示的未被包括在计算机系统101的物理环境中的任何其他元素中的一者或多者。虚拟对象710任选地是包含虚拟对象708-1至708-6的容器或画布对象，如参考方法800、1000和/或1200更详细地描述的。虚拟对象712任选地是用于执行与虚拟对象708-1至708-6和/或710相关的操作的工具选项板对象。例如，元素712包括能够被选择以撤销与虚拟对象708-1至708-6和/或710相关的被执行的最后一个操作的可选择选项714-1；能够被选择以重做与虚拟对象708-1至708-6和/或710相关的被取消或撤销的最后一个操作的可选择选项714-2；能够被选择以编辑虚拟对象708-1至708-6的当前选定对象的可选择选项714-3；能够被选择以将新的虚拟对象添加到对象710的可选择选项714-4；以及能够被选择以使得计算机系统101和/或对象710转变为选择模式的可选择选项714-5，稍后将对此进行更详细地描述。
在一些实施方案中，对象708-1至708-6中的一个或多个对象能够被选择和/或能够被突出显示以将那些对象指定为用于进一步操作(例如，移动操作、拷贝操作或剪切操作)的目标。在一些实施方案中，如现在将描述的，响应于基于空中捏合手势执行的“选取框选择”输入而选择多个虚拟对象。例如，在图7A中，当用户的注视720a被指向对象710的不包括对象的部分时，计算机系统101检测到手部703a执行空中捏合手势，其中手部703a的拇指和食指合在一起并触摸物理环境702中的特定定位。当检测到空中捏合手势时注视720a所指向的对象710中的位置任选地限定选择区域的拐角或边界点(例如，与图7A中的对象710中的虚线矩形的左下角对应)。当手部703a的拇指和食指保持接触(例如，手部703a保持捏合手部形状)时，计算机系统101检测到手部703a在向上和向右方向上移动到图7A中的手部703a的当前位置。当发起空中捏合手势时手部703a远离注视720a位置的移动的量和/或方向任选地分别限定选择区域的第二拐角或边界点(例如，与图7A中的对象710中的虚线矩形的右上角对应)的距离和/或方向。
在一些实施方案中，落入限定选择区域内的任何对象本身变为被选择的。例如，在图7A中，选择对象708-1和708-2，如它们周围的虚线边界所指示的。在一些实施方案中，只要对象708-1和708-2落入选择区域内并且在计算机系统101检测到手部703a释放手部捏合形状(例如，手部703a的拇指和食指分开)之前，就选择这些对象。在一些实施方案中，对象708-1和708-2直到计算机系统101检测到手部703a释放手部捏合形状时才被选择，并且在那时变为被选择的。被选择的对象在俯视图714中被示为具有粗体外观，以与未被选择的对象(其被示为不具有粗体外观)相区分。在一些实施方案中，被选择的二维对象与对象710分开(例如，由针对对象708-1和708-2示出的投影阴影指示)，并且未被选择的二维对象不与对象710分开或者与对象710分开较少(例如，由针对对象708-3至708-6未示出投影阴影指示)。在一些实施方案中，三维对象与对象710分开，而不论是否选择了三维对象(例如，由针对对象708-6示出的投影阴影指示)。在一些实施方案中，与当三维对象未被选择时的情况相比，当选择了三维对象时，三维对象与对象710分开更多；在一些实施方案中，三维对象与对象710的分开不基于是否选择了三维对象而改变。
在图7B中，选定对象708-1和708-2都由手部703a控制。例如，响应于手部703a的移动，计算机系统101将根据这种移动(例如，基于手部703a的移动的量值和/或方向，如参考方法800更详细地描述的)来移动对象708-1和708-2(例如，在对象710内)。对象708-1和708-2任选地响应于计算机系统101在选择了对象708-1和708-2(例如，响应于图7A的输入)时检测到用户的注视720a被指向对象708-1或708-2中的至少一者并且在注视720a被指向该对象时检测到由手部703a执行的空中捏合手势(例如，如先前所描述的)而变为由手部703a控制。例如，当手部703a保持拇指和食指正在触摸的该空中捏合手势时，对象708-1和708-2将由手部703a控制。
当对象708-1和708-2由手部703a控制时，用户的第二手部(手部703b)能够与三维环境704中的其他对象交互。计算机系统101对这种交互的响应取决于由手部703b提供的输入的特性。例如，如果手部703b执行快速捏合空中手势(其中手部703b的拇指和食指在触摸的时间阈值内合在一起并触摸，然后分开以释放捏合手部形状(例如，如参考方法800更详细地描述的))，同时注视720b被指向对象708-4，诸如图7B中所示，则任选地将对象708-4添加到由手部703a控制的对象集合(例如，对象708-1和708-2)。在这种场景中，手部703a的后续移动将使得计算机系统101不仅相应地移动对象708-1和708-2，而且还相应地移动对象708-4。例如，在图7C中，手部703a向左移动，并且作为响应，计算机系统根据手部703a的移动来向左移动对象708-1、708-2和708-4。
相比之下，在图7B中，如果计算机系统101改为检测到手部703b执行长捏合空中手势(其中手部703b的拇指和食指在触摸的时间阈值内合在一起并触摸并且不分开以释放捏合手部形状)，同时注视720b被指向对象708-4，之后是手部703b的移动超过移动阈值(例如，如参考方法800更详细地描述的)，则对象708-4将由手部703b控制，而对象708-1和708-2将继续由手部703a控制。例如，从图7B到图7D，手部703b已经向下移动并且计算机系统101已经相应地向下移动对象708-4，并且手部703a已经向上移动并且计算机系统101已经相应地向上移动对象708-1和708-2。在一些实施方案中，响应于检测到手部703a和/或703b释放手部捏合形状，由那些手部控制的对象保持被选择。在一些实施方案中，响应于检测到手部703a和/或703b释放手部捏合形状，由那些手部控制的对象变为未被选择。
计算机系统101和/或对象710还在具有对上述输入类型的一个或多个不同响应的选择模式下操作。例如，在图7A中，响应于检测到对可选择选项714-5的选择(例如，经由在注视720b被指向可选择选项714-5时由手部703a执行的快速捏合空中手势)，选择模式被激活，如图7E中所示。在选择模式下，任选地将元素712更新为包括可选择选项714-6，该可选择选项能够被选择以退出选择模式。当在选择模式下时，长捏合并拖动空中手势(例如，诸如参考图7A描述的用于限定选择区域)任选地导致滚动通过对象710而不是限定选择区域。例如，在图7E中，计算机系统101检测指向对象710的空部分的注视720以及在向左移动手部703a的情况下由手部703a进行的长捏合并拖动空中手势。应当理解，手部703a任选地为与手部703b相同的手部，或不同的手部。作为响应，如图7F中所示，计算机系统101已经向右滚动通过对象710以隐藏对象708-1至708-6，并且显露对象708-7和708-8。在一些实施方案中，即使注视720被指向图7E中的对象，并且即使选择了该对象(或多个对象)，计算机系统101也将响应于由手部703a进行的长捏合并拖动空中手势而滚动通过对象710，而不是响应于诸如当在选择模式下时的拖动而移动对象。
当在选择模式下时，指向对象的快速捏合空中手势使得该对象变为被选择的。例如，在图7F中，计算机系统101检测到手部703a执行快速捏合空中手势，同时注视720被指向对象708-7。作为响应，如图7F中所示，对象708-7已经变为被选择的。此外，在一些实施方案中，计算机系统101更新可选择选项714-6以指示对象710内的当前选定的对象的数量。例如，在图7F中，计算机系统101已更新可选择选项714-6以指示选择了一个对象。
在图7G中，当选择对象708-7时，计算机系统101检测到手部703a执行快速捏合空中手势，同时注视720被指向对象708-7。响应于当选择了对象708-7时，来自手部703a的输入被指向对象708-7，计算机系统101显示与当前选定对象(例如，对象708-7)相关联的上下文菜单722，如图7G中所示。上下文菜单722任选地包括用于执行与选定选项对应的操作的一个或多个可选择选项。例如，图7G中的上下文菜单722包括能够被选择以拷贝对象708-7(例如，用于稍后粘贴，如参考方法1000更详细地描述的)的选项722-1；能够被选择以剪切对象708-7(例如，用于稍后粘贴，如参考方法1000更详细地描述的)的选项722-2；能够被选择以复制对象708-7(例如，如参考方法1000更详细地描述的)的选项722-3；能够被选择以翻转(例如，水平地和/或垂直地)对象708-7的选项722-4；能够被选择以打开对象708-7(例如，在显示与对象708-7相关联的内容的指定应用中)的选项722-5；以及能够被选择以删除对象708-7的选项722-6。
图8A至图8K是示出根据一些实施方案的执行不同的对象选择相关操作的示例性方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101，诸如平板设备、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法800在与显示生成部件(例如，120)和一个或多个输入设备通信的计算机系统(例如，101)(例如，移动设备(例如，平板设备、智能电话、媒体播放器或可穿戴设备)或计算机)处执行。在一些实施方案中，显示生成部件是与计算机系统集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且向计算机系统传输与该用户输入相关联的信息的计算机系统或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一移动设备(例如，与计算机系统分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手部运动传感器)等。在一些实施方案中，计算机系统与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，当经由显示生成部件显示第一用户界面对象(例如，708-1)和第二用户界面对象(例如，708-4)时(802a)(例如，在显示器上或在三维环境中显示第一用户界面对象和第二用户界面对象。在一些实施方案中，第一用户界面对象和第二用户界面对象是能够由计算机系统访问的应用(诸如文字处理应用、照片管理应用、电子表格应用、演示应用和/或电子邮件应用)的用户界面。在一些实施方案中，第一用户界面对象和第二用户界面对象是同一应用的用户界面或与不同应用的用户界面对应。在一些实施方案中，在方法1200中描述的第一虚拟对象处或第一虚拟对象中显示第一用户界面对象和/或第二用户界面对象。在一些实施方案中，三维环境是计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境。在一些实施方案中，三维环境包括虚拟对象，诸如应用窗口、操作系统元素、除计算机系统的用户之外的用户的表示、计算机系统的物理环境中的物理对象的表示、和/或一个或多个内容项。在一些实施方案中，物理对象的表示是计算机系统的物理环境中的透过显示生成部件的透明部分可见的物理对象的视图(例如，真正或真实透传(passthrough))。在一些实施方案中，计算机系统(例如，经由一个或多个输入设备的图像传感器)捕获计算机系统的物理环境中的一个或多个物理对象的一个或多个图像，并且作为响应，在三维环境中显示一个或多个物理对象的对应虚拟表示(例如，真实表示、简化表示或卡通表示)。在一些实施方案中，计算机系统在三维环境中与计算机系统的物理位置和/或用户在计算机系统的物理环境中的物理位置对应的位置处从用户的视点显示三维环境。在一些实施方案中，从用户的视点显示三维环境包括从与用户的视点在三维环境中的位置相关联的视角显示三维环境。)，当包括第一用户界面对象而不包括第二用户界面对象的第一组一个或多个用户界面对象处于选定状态并且由计算机系统的用户的第一部分(例如，第一手部)控制时，诸如由图7B中的手部703a控制的对象708-1和708-2(例如，第一组一个或多个用户界面对象被一起选择/管理，使得由用户的第一部分(例如，第一手部)执行的动作(诸如方法1000中描述的动作/操作中的一个动作/操作)使得该动作被指向当前包括在第一组一个或多个用户界面对象中的用户界面对象(而不指向当前未被包括在第一组一个或多个用户界面对象中的用户界面对象)。例如，当第一组一个或多个用户界面对象正由用户的第一部分控制时，第一组一个或多个用户界面对象任选地根据用户的第一部分的移动来同时移动到三维环境中的一个或多个新位置。因此，如果计算机系统检测到用户的第一部分向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米，则计算机系统任选地将第一组一个或多个用户界面对象中所包括的用户界面对象向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米(或与这些距离成比例的量)。在一些实施方案中，以与对下面描述的第二用户界面对象和/或其他用户界面对象的选择类似的方式来选择第一组一个或多个用户界面对象。在一些实施方案中，第一组一个或多个用户界面对象响应于计算机系统检测到第一手部的手指不再处于捏合手部形状(例如，当计算机系统检测到捏合手势的释放时)而停止被第一手部控制。)，计算机系统经由一个或多个输入设备检测(802b)指向第二用户界面对象的第一输入，该第一输入包括由计算机系统的用户的与第一部分不同的第二部分(例如，第二手部，任选地同时计算机系统的用户的注视被指向第二用户界面对象。在一些实施方案中，参考方法800描述的第一输入和/或其他输入是或包括空中手势输入。)与计算机系统的用户的第一部分不同的，诸如从图7B中的手部703b指向对象708-4的输入。
在一些实施方案中，计算机系统检测到用户的第二部分执行或正在执行“快速”捏合或“长”捏合手势，同时用户的注视被指向第二用户界面对象。在一些实施方案中，计算机系统响应于检测到用户的第二部分执行“捏合”手部形状/位姿而检测到用户的第二部分执行“快速”捏合手势(例如，用户的手部的两个或更多个手指(诸如拇指和食指)一起移动并彼此触摸或在彼此的阈值距离(例如，0.1厘米、0.2厘米、0.3厘米、0.5厘米、1厘米、2厘米、3厘米或5厘米)内达少于阈值时间量(例如，0.5秒、1秒、2秒、5秒、10秒或20秒)，然后远离彼此移动)。相反，在一些实施方案中，计算机系统响应于检测到用户的第二部分已(或当前)处于“捏合”手部形状/位姿中超过上述阈值时间量(例如，0.5秒、1秒、2秒、5秒、10秒或20秒)而检测到用户的第二部分执行或正在执行“长”捏合手势。在一些实施方案中，当用户的第一部分当前处于“捏合”手部形状和/或正在执行“长”捏合手势(例如，用户的第一部分已处于“捏合”手部形状超过上述阈值时间量，并且用于做出“捏合”形状的手指尚未远离彼此移动)时检测到第一输入。在一些实施方案中，在用户的第一部分执行导致对第一组一个或多个用户界面对象的选择的相应手势之后检测到第一输入(例如，当检测到第一输入时，用户的第一部分不再处于捏合手部形状)，如下面将更详细地描述的。在一些实施方案中，被指向第二用户界面的手势与除“快速”捏合或“长”捏合手势之外的手势(诸如向前指向手势(例如，当用户的手部的一个或多个手指朝向第一用户界面对象延伸时用户的手部的向前移动)或使用用户的手部的手指的轻击手势(例如，由用户的手部的手指进行的向前移动，使得手指触摸第一用户界面对象或在第一用户界面对象的阈值距离内接近))对应。
在一些实施方案中，响应于检测到第一输入(802c)，根据确定第一输入满足一个或多个第一准则，该一个或多个第一准则包括当相应手势的发起(例如，当计算机系统检测到用户的第二部分处于“捏合”手部形状/位姿时，如先前所描述的。在一些实施方案中，当用户的第二手部的两个或更多个手指移动以彼此接触时检测到相应手势的发起。)和相应手势的结束(例如，当计算机系统检测到用户的第二部分的正做出“捏合”手部形状/位姿的手指(例如，拇指和食指)远离彼此移动时)在彼此的阈值时间量(例如，0.5秒、1秒、2秒、5秒、10秒或20秒)内执行时满足的第一准则，计算机系统将第二用户界面对象添加(802d)到处于选定状态并且由计算机系统的用户的第一部分控制的第一组一个或多个用户界面对象，包括根据用户的第一部分的移动来移动第一用户界面对象和第二用户界面对象(例如，在三维环境中)，诸如由图7C中的手部703a对对象708-1、708-2和708-3的控制(例如，不基于用户的第二部分来控制第二用户界面对象，包括放弃根据用户的第二部分的移动来移动三维环境中的第二用户界面对象)。
在一些实施方案中，根据用户的第一部分的移动来移动三维环境中的第一用户界面对象和第二用户界面对象包括基于用户的第一部分的移动的量值和/或方向来移动那些对象。例如，如果用户的第一部分向上和向右移动，则向上和向右移动那些对象，或者如果用户的第一部分向左移动，则向左移动那些对象。那些对象的移动量/量值任选地也由用户的第一部分的移动量值控制。例如，如果用户的第一部分的移动量是12cm，则那些对象被移动第一量(例如，与用户的第一部分的移动(例如，12cm)成比例)，并且如果用户的第一部分的移动量是24cm，则那些对象被移动大于第一量的第二量(例如，与用户的第一部分的移动(例如，24cm)成比例)。例如，响应于检测到用户的第二部分执行“快速”捏合手势，同时用户的注视任选地被指向第二用户界面对象，将第二用户界面对象添加到第一组一个或多个用户界面对象。因此，如果在将第二用户界面对象添加到第一组一个或多个用户界面对象之后，“剪切”或“拷贝”操作被指向第一组一个或多个用户界面对象，则“剪切”或“拷贝”操作将包括对第二用户界面对象的“拷贝”或“剪切”，这是因为第二用户界面对象现在是第一组一个或多个用户界面对象的一部分。类似地，如果计算机系统检测到在三维环境中移动第一组一个或多个用户界面对象的请求，则移动第一组一个或多个用户界面对象将包括移动第二用户界面对象连同第一组一个或多个用户界面对象中的其他用户界面对象，这是因为第二用户界面对象现在是第一组一个或多个用户界面对象的一部分。在一些实施方案中，在经由“快速”捏合手势将第二用户界面对象添加到第一组一个或多个用户界面对象之后，计算机系统任选地检测指向一个或多个其他用户界面对象的一个或多个附加“快速”捏合手势。作为响应，计算机系统还将经由“快速”捏合手势选择的一个或多个其他用户界面对象添加到第一组一个或多个用户界面对象。在一些实施方案中，在第二用户界面对象从处于非选定状态转变为处于选定状态时，第二用户界面对象距用户视点的距离改变。例如，当第二用户界面对象处于选定状态时，与当第二用户界面对象处于非选定状态时的情况相比，第二用户界面对象任选地更靠近用户的视点。在一些实施方案中，与当用户界面对象不处于选定状态(例如，处于非选定状态)时的情况相比，处于选定状态的用户界面对象具有不同的视觉外观，如稍后将更详细地描述。
在一些实施方案中，根据确定第一输入满足与一个或多个第一准则不同的一个或多个第二准则，该一个或多个第二准则包括当相应手势的结束没有在相应手势的发起的阈值时间量内执行时(例如，当计算机系统正检测到用户的第二部分处于“捏合”手部形状/位姿时并且当用户的第二部分已处于“捏合”手部形状/位姿超过上述阈值时间量时)满足的第一准则以及当相应手势包括用户的第二部分的、超过在相应手势的发起之后的移动阈值(例如，0.1厘米、5厘米、10厘米、15厘米、20厘米、30厘米或50厘米)的移动时满足的第二准则(802e)(例如，当用户的第二部分正维持“捏合”手部形状/位姿时检测到用户的第二部分的移动。在一些实施方案中，一个或多个第二准则还包括当相应手势包括用户的第二部分的、超过在阈值时间量之后的移动阈值的移动时满足的第三准则)，计算机系统将第二用户界面对象更新(802f)为处于选定状态，诸如图7D中的对象708-4所示。例如，因为经由“长”捏合手势选择第二用户界面对象，所以独立于第一组一个或多个用户界面对象选择第二用户界面对象(例如，指向第一组一个或多个用户界面的动作/操作将不致使那些动作/操作应用于第二用户界面)。在一些实施方案中，当与第一组一个或多个用户界面对象分开地选择第二用户界面对象时，计算机系统在视觉上指示第二用户界面对象和第一组一个或多个用户界面对象是不同选择的部分。在一些实施方案中，当计算机系统将第二用户界面对象从处于非选定状态更新为处于选定状态时，计算机系统还如上所述更新第二用户界面对象的视觉外观。
在一些实施方案中，计算机系统基于用户的第二部分来控制(802g)第二用户界面对象，包括根据用户的第二部分的移动来移动第二用户界面对象(例如，在三维环境中)，同时基于计算机系统的用户的第一部分来维持第一组用户界面对象的选定状态以及对第一组一个或多个用户界面对象的控制，诸如基于图7D中的手部703b来移动对象708-4，而对象708-1和708-2保持由图7D中的手部703a控制(例如，不基于用户的第一部分来控制第二用户界面对象，包括放弃根据用户的第一部分的移动来移动三维环境中的第二用户界面对象)。
在一些实施方案中，根据用户的第二部分的移动来移动三维环境中的第二用户界面对象包括基于用户的第二部分的移动的量值和/或方向来移动对象。例如，如果用户的第二部分向上和向右移动，则向上和向右移动该对象，或者如果用户的第二部分向左移动，则向左移动该对象。该对象的移动量/量值任选地也由用户的第二部分的移动量值控制。例如，如果用户的第二部分的移动量是12cm，则该对象被移动第一量(例如，与用户的第二部分的移动(例如，12cm)成比例)，并且如果用户的第二部分的移动量是24cm，则该对象被移动大于第一量的第二量(例如，与用户的第二部分的移动(例如，24cm)成比例)。例如，将第二用户界面对象更新为处于选定状态不修改/改变第一组一个或多个用户界面对象的选择状态(例如，继续选择第一组一个或多个用户界面对象)。另外，因为计算机系统在用户的第二部分执行“长”捏合手势时检测到用户的第二部分的移动，所以根据用户的第二部分的移动将第二用户界面对象移动到三维环境中的新位置(例如，如果计算机系统检测到用户的第二部分向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米，则计算机系统任选地将第二用户界面对象向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米(或与那些距离成比例的量))。在一些实施方案中，第一组一个或多个用户界面对象在三维环境中的位置不响应于检测到用户的第二部分的移动而改变，这是因为用户的第二部分不控制第一组一个或多个用户界面对象。在一些实施方案中，当计算机系统正在检测用户的第二部分的移动时，计算机系统还检测用户的第一部分的移动。例如，当计算机系统检测到用户的第二部分向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米时，计算机系统也检测到用户的第一部分向左移动5厘米、10厘米、15厘米、20厘米或25厘米。作为响应，计算机系统任选地在三维环境中将由用户的第一部分控制的用户界面对象(第一组一个或多个用户界面对象)向左移动5厘米、10厘米、15厘米、20厘米或25厘米(或与那些距离成比例的量)，并且还在三维环境中将由用户的第二部分控制的用户界面对象(第二用户界面对象)向右移动1厘米、2厘米、5厘米、10厘米、20厘米或50厘米(或与那些距离成比例的量)。将相应用户界面对象添加到正由用户的第一部分选择和控制的一组用户界面对象或基于由用户的第二部分执行的手势独立于第一组用户界面对象选择相应用户界面对象减少了选择用户界面对象所需的输入的数量。
在一些实施方案中，当经由显示生成部件显示第一用户界面对象和第二用户界面对象时，其中经由显示生成部件显示的用户界面对象均未处于选定状态，诸如在图7E中(例如，第一对象和第二对象处于如本文所描述的选定状态，或者参考方法1200描述的容器或画布对象内所包含的可选择用户界面对象均未处于如本文所描述的选定状态)，计算机系统经由一个或多个输入设备检测(804a)指向第一用户界面对象的第二输入，该第二输入包括由用户的第二部分执行的相应手势，诸如由图7B中的手部703b但在图7E中执行的并且指向对象708-2的手势(例如，如先前在用户的注意力被指向第一用户界面对象时所描述的快速或长捏合空中手势。第二输入任选地具有由用户的第一部分或第二部分执行的第一输入的特性中的一个或特性)。
在一些实施方案中，响应于检测到第二输入，并且根据确定第二输入满足一个或多个第一准则，计算机系统经由显示生成部件显示(804b)与第一用户界面对象相关联的内容，诸如响应于指向图7E中的对象708-2的上述输入而显示与对象708-2相关联的内容(例如，不将第一用户界面对象置于选定状态)。例如，当正在显示的可选择用户界面对象均未处于选定状态时，指向特定用户界面对象的快速捏合“打开”该用户界面对象。例如，如果第一用户界面对象是与照片应用对应的对象，则响应于第二输入而显示的内容任选地是照片应用的用户界面，可从该用户界面浏览和/或查看照片。作为另一个示例，如果第一用户界面对象是与消息传送应用对应的对象，则响应于第二输入而显示的内容任选地是消息传送应用的用户界面，可从该用户界面查看与其他用户的消息传送对话和/或与之交互。基于满足一个或多个第一准则的输入来访问与第一用户界面对象相关联的内容减少了访问这种内容所需的输入的数量。
在一些实施方案中，响应于检测到第一输入，根据确定第一输入满足与一个或多个第一准则和一个或多个第二准则不同的一个或多个第三准则，该一个或多个第三准则包括当相应手势的结束没有在相应手势的发起的阈值时间量(例如，0.5秒、1秒、2秒、5秒、10秒或20秒)内执行时满足的第一准则以及当相应手势包括用户的第二部分的、少于在相应手势的发起之后的移动阈值(例如，0.1厘米、5厘米、10厘米、15厘米、20厘米、30厘米或50厘米)的移动时满足的第三准则(806a)，诸如指向图7B中的对象708-4的这种输入(例如，第一输入是如先前所描述的长捏合输入，该长捏合输入不包括大于移动阈值的移动，而用户的注意力被指向第二对象)，响应于检测到相应手势的结束(例如，当计算机系统检测到用户的第二部分的正在做出“捏合”手部形状/位姿的手指(例如，拇指和食指)远离彼此移动时)，计算机系统将第二用户界面对象添加(806b)到处于选定状态并且由计算机系统的用户的第一部分控制的第一组一个或多个用户界面对象，包括根据用户的第一部分的移动来移动第一用户界面对象和第二用户界面对象(例如，在三维环境中)，诸如添加要由图7B至图7C中的手部703a控制的对象708-4，但在上述长空中捏合手势结束时)。将第二用户界面对象添加到处于选定状态的第一组一个或多个用户界面对象任选地具有先前参考根据所满足的一个或多个第一准则将第二用户界面对象添加到处于选定状态的第一组一个或多个用户界面对象所描述的特性中的一个或多个特性。因此，在一些实施方案中，可响应于快速捏合或具有极少移动的长捏合而将第二对象添加到第一组对象。响应于满足一个或多个第三准则的第一输入而将第二用户界面对象添加到第一组用户界面对象减少了选择用户界面对象所需的输入的数量。
在一些实施方案中，当正基于用户的第二部分来控制第二用户界面对象时(例如，根据确定第一输入满足一个或多个第二准则)，包括根据用户的第二部分的移动来移动第二用户界面对象(例如，在三维环境中)，同时基于计算机系统的用户的第一部分来维持第一组用户界面对象的选定状态以及对第一组一个或多个用户界面对象的控制，诸如在图7D中，计算机系统检测(808a)相应手势的结束，诸如来自图7D中的手部703b的输入的结束(例如，当计算机系统检测到用户的第二部分的正在做出“捏合”手部形状/位姿的手指(例如，拇指和食指)远离彼此移动时)。在一些实施方案中，响应于检测到相应手势的结束，计算机系统将第二用户界面对象放置(808b)在与用户的第二部分的当前位置对应的位置(例如，在三维环境中)处，诸如将对象708-4放置在图7D中的手部703b的输入的结束处的这种位置处。在相应手势结束之后，第二用户界面对象任选地不再被用户的第二部分控制，并且保持不被用户的第一部分控制。在一些实施方案中，第二用户界面对象在被放置在与用户的第二部分的当前位置对应的位置处之后保持于选定状态。在一些实施方案中，第二用户界面对象在被放置在与用户的第二部分的当前位置对应的位置处之后转变为未选定状态。响应于检测到相应手势的结束而放置第二用户界面对象减少了将用户界面对象放置在目标位置处所需的输入的数量。
在一些实施方案中，在检测到第一输入之后并且当第一组一个或多个用户界面对象处于选定状态并且由计算机系统的用户的第一部分(例如，第一手部)控制时(例如，当第二用户界面对象被包括在第一组用户界面对象中时，或者当第二用户界面对象未被包括在第一组用户界面对象中时)，计算机系统经由一个或多个输入设备检测(810a)指向第三用户界面对象(例如，第二用户界面对象或与第一用户界面对象或第二用户界面对象不同的用户界面对象)的第二输入，该第二输入包括由计算机系统的用户的第二部分执行的相应手势，诸如在图7B中指向对象708-4的输入之后，计算机系统101检测到指向对象708-6的输入(例如，第二输入任选地具有第一输入的特性中的一个或多个特性，同时用户的注意力被指向第三用户界面对象，诸如由用户的相应部分执行的空中捏合手势，如先前所描述的)。在一些实施方案中，响应于检测到第二输入(810b)，根据确定第二输入满足一个或多个第一准则，计算机系统将第三用户界面对象添加(810c)到处于选定状态并且由计算机系统的用户的第一部分控制的第一组一个或多个用户界面对象，包括根据用户的第一部分的移动来移动第一用户界面对象和第三用户界面对象(例如，在三维环境中)，诸如除了由手部703a控制的其他对象之外，还基于图7C中的手部703a来控制对象708-6。将第三用户界面对象添加到第一组一个或多个用户界面对象任选地具有将第二用户界面对象添加到先前描述的第一组一个或多个用户界面对象的特性中的一个或多个特性。
在一些实施方案中，根据确定第二输入满足一个或多个第二准则(810d)，计算机系统将第三用户界面对象更新(810e)为处于选定状态。在一些实施方案中，计算机系统基于用户的第二部分来控制(810f)第三用户界面对象，包括根据用户的第二部分的移动来移动第三用户界面对象(例如，在三维环境中)，同时基于计算机系统的用户的第一部分来维持第一组用户界面对象的选定状态以及对第一组一个或多个用户界面对象的控制，诸如基于手部703b来控制对象708-6，类似于如图7D中参考对象708-4所描述的。更新第三用户界面对象以及控制第三用户界面对象任选地具有先前描述的更新第二用户界面对象以及控制第二用户界面对象的特性中的一个或多个特性。因此，如上所述，在一些实施方案中，可将多个不同对象添加到第一组用户界面对象，或基于指向那些对象的输入的特性来单独控制多个不同对象。将相应用户界面对象添加到正由用户的第一部分选择和控制的一组用户界面对象或基于由用户的第二部分执行的手势独立于第一组用户界面对象选择相应用户界面对象减少了选择用户界面对象所需的输入的数量。
在一些实施方案中，显示处于选定状态的第二用户界面对象包括经由显示生成部件显示第二用户界面对象处于选定状态的视觉指示(812)，诸如图7A至图7G中选定对象周围的选择框和/或图7A至图7G中针对选定对象显示的投影阴影。例如，在第二用户界面对象周围显示在第二用户界面对象处于未选定状态时未显示的边框，与当第二对象处于未选定状态时的情况相比，改变第二对象的一个或多个视觉特性(例如，大小、亮度、颜色和/或透明度)和/或利用当第二对象处于未选定状态时不存在的发光或突出显示效果来显示第二用户界面对象。显示第二用户界面对象处于选定状态的视觉指示自动传达第二用户界面对象的选择状态。
在一些实施方案中，当第一组对象处于选定状态并且由用户的第一部分控制，同时用户的第一部分维持相应位姿(例如，当用户的第一部分保持在其中用户的第一部分的食指和拇指正在触摸的捏合手部形状时)时，计算机系统检测(814a)用户的第一部分不再维持相应位姿，诸如在图7C中检测到手部703a停止维持捏合手部形状。例如，检测到用户的食指和拇指分开。在一些实施方案中，响应于检测到用户的第一部分不再维持相应位姿，计算机系统停止(814b)用户的第一部分对第一组对象的控制，同时将第一组对象维持在选定状态，诸如响应于检测到手部703a不再维持捏合手部形状而维持对图7C中的对象708-1、708-2和708-4的选择。例如，第一组对象已经放在其在三维环境中的当前位置处，并且将不再响应于用户的第一部分的移动而被移动。然而，响应于检测到用户的第一部分不再维持位姿并且在第一组对象放在当前位置处之后，第一组对象任选地保持在选定状态(例如，使得指向第一组对象的另外的输入将由计算机系统以本文相对于选定对象所描述的方式来进行响应)。将第一组对象维持在选定状态减少了随后与选定对象交互所需的输入的数量。
在一些实施方案中，当第一组对象处于选定状态并且由用户的第一部分控制，同时用户的第一部分维持相应位姿(例如，当用户的第一部分保持在其中用户的第一部分的食指和拇指正在触摸的捏合手部形状时)时，计算机系统经由一个或多个输入设备检测(816a)用户的第一部分不再维持相应位姿，诸如在图7C中检测到手部703a停止维持捏合手部形状。例如，检测到用户的食指和拇指分开。在一些实施方案中，响应于检测到用户的第一部分不再维持相应位姿，计算机系统停止(816b)用户的第一部分对第一组对象的控制并且将第一组对象更新为处于未选定状态，诸如响应于检测到手部703a不再维持捏合手部形状而不维持对图7C中的对象708-1、708-2和708-4的选择。例如，第一组对象已经放在其在三维环境中的当前位置处，并且将不再响应于用户的第一部分的移动而被移动。此外，响应于检测到用户的第一部分不再维持位姿并且在第一组对象放在当前位置处之后，第一组对象任选地转变为未选定状态(例如，使得指向第一组对象的另外的输入将由计算机系统以本文相对于未选定对象所描述的方式来进行响应)。在一些实施方案中，如果两组一个或多个虚拟对象正由用户的不同手部控制，则两组对象中的对象的选择状态任选地由正在控制这两组对象的相应手部确定(例如，第一组对象中的对象的选择状态由用户的左手以上述方式中的一种或多种方式控制，并且第二组对象中的对象的选择状态由用户的右手以上述方式中的一种或多种方式控制)。停止第一组对象的选定状态减少了针对后续交互选择一组不同的一个或多个对象所需的输入的数量。
在一些实施方案中，计算机系统经由一个或多个输入设备检测(818a)指向不包括用户界面对象的位置的第二输入，该第二输入包括由用户的第一部分执行的第一手势，诸如来自手部703a的与图7A中的注视720a对应的输入。在一些实施方案中，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，第一手势(例如，空中手势)具有相应手势的特性中的一个或多个特性。在一些实施方案中，用户的注意力(例如，作为第二输入的一部分)被指向三维环境中为空(例如，不包括任何对象)的区域和/或位置或三维环境中包括未被选择的对象的位置。
在一些实施方案中，响应于检测到第二输入，根据确定第二输入满足一个或多个第三准则，该一个或多个第三准则包括当第一手势的发起(例如，当计算机系统检测到用户的第一部分处于“捏合”手部形状/位姿时，如先前所描述的。在一些实施方案中，当用户的第一手部的两个或更多个手指移动以彼此接触时，检测到第一手势的发起)之后是用户的第一部分的移动(例如，任选地大于先前描述的移动阈值；任选地，不管该移动是否大于先前描述的移动阈值)，之后是第一手势的结束(例如，当计算机系统检测到用户的第一部分的正做出“捏合”手部形状/位姿的手指(例如，拇指和食指)远离彼此移动时)时满足的第三准则，诸如，手部703a从左下到右上的手势和/或移动，如图7A中所示，其中用户的第一部分的移动限定包括多个用户界面对象的区域(818b)，诸如由图7A中的手部703a限定的矩形区域(例如，第二输入是捏合并拖动输入；任选地，指向三维环境的空部分的捏合输入，之后是在保持/维持捏合手部形状的同时移动用户的第一部分，之后是用户的第一部分释放捏合手部形状)，根据确定多个用户界面对象中的第三用户界面对象处于选定状态，计算机系统将第三用户界面对象更新(818c)为处于未选定状态，诸如如果当限定图7A的矩形区域时，对象708-2处于选定状态，则计算机系统101将任选地将对象708-2置于未选定状态。在一些实施方案中，在第一手势的发起处用户的注意力所指向的位置限定三维环境中的矩形的第一顶点，并且在维持捏合手部形状的同时用户的第一部分的移动限定/控制三维环境中的矩形的对角相对的第二顶点的位置。在检测到第一手势的结束时的矩形任选地限定上面提到的区域。多个用户界面对象任选地是在第一手势结束时包含在该矩形的边界内的那些对象。多个用户界面对象不一定在与矩形相同的平面中，而是被包括在代表性体积内，该代表性体积将是由沿着垂直于矩形平面的方向朝向或远离用户的视点挤出矩形而产生的。
在一些实施方案中，根据确定第三用户界面对象处于未选定状态，诸如如果当限定了图7A的矩形区域时，对象708-2处于选定状态，则计算机系统将第三用户界面对象更新(818d)为处于选定状态，诸如将对象708-2置于选定状态。在一些实施方案中，根据确定多个用户界面对象中的第四用户界面对象处于选定状态，计算机系统将第四用户界面对象更新(818e)为处于未选定状态。在一些实施方案中，根据确定第四用户界面对象处于未选定状态，计算机系统将第四用户界面对象更新(818f)为处于选定状态。因此，计算机系统任选地来回切换被第二输入所限定的区域作为目标的多个用户界面对象的选择状态。在一些实施方案中，在基于第二输入来执行选择之后，针对已经转变为选定状态的多个对象中的各个对象显示各个对象元素，并且/或者针对处于选定状态的多个对象显示群组元素：能够被选择以管理它们的相应对象(例如，以剪切对象、拷贝对象和/或复制对象)的相应元素。在一些实施方案中，检测到注意力被指向第二输入所限定的区域之外并且捏合使得取消选择基于第二输入而选择的对象，而检测到注意力被指向第二输入所限定的区域之外并且捏合使得计算机系统显示与选定对象相关联的上下文菜单(例如，以剪切对象、拷贝对象和/或复制对象)。基于第二输入来回切换多个对象的选择状态减少了来回切换多个对象的选择状态所需的输入的数量。
在一些实施方案中，当多个用户界面对象响应于检测到第二输入而处于选定状态(诸如在图7B中，对象708-1和708-2处于选定状态)时，计算机系统经由一个或多个输入设备检测(820a)指向未被包括在多个用户界面对象中并且处于未选定状态的第三用户界面对象的第三输入，其中第三输入包括由用户的相应部分执行的第二手势，诸如来自手部703b的指向图7B中的对象708-4的输入。在一些实施方案中，第三输入和/或第二手势(例如，空中手势)包括第一输入、第二输入、第一手势和/或相应手势的特性中的一个或多个特性。在一些实施方案中，当检测到第三输入时，用户的注意力被指向第三用户界面对象。在一些实施方案中，响应于检测到第三输入，根据确定第三输入满足一个或多个第一准则(例如，如先前所描述的快速捏合空中手势)，计算机系统将第三用户界面对象更新(820b)为处于选定状态，同时将多个用户界面对象维持在选定状态，诸如图7B中所示，其中除了对象708-1和708-2处于选定状态之外，对象708-4也处于选定状态。例如，将第三用户界面对象添加到基于第二输入而选择的选定对象的群组。
在一些实施方案中，当第三用户界面对象和多个用户界面对象处于选定状态时，计算机系统检测(820c)与第三用户界面对象和多个用户界面对象的移动对应的第四输入，诸如来自图7B中的手部703a的经由注视720a指向对象708-1的输入。例如，指向选定对象中的至少一个选定对象的捏合并拖动输入，包括用户的指向选定对象中的至少一个选定对象的注意力以及由用户的第一部分或第二部分执行的捏合并拖动手势。捏合并拖动空中手势任选地具有先前描述的捏合并拖动输入的特性中的一个或多个特性。
在一些实施方案中，当检测到第四输入时，计算机系统根据第四输入来移动(820d)第三用户界面对象和多个用户界面对象，诸如根据图7C中的手部703a的移动(例如，包括用户的第一部分或第二部分的移动)来移动对象708-1、708-2和708-4。在一些实施方案中，根据用户的第一部分的移动来移动三维环境中的第三用户界面对象和多个用户界面对象包括基于用户的第一部分的移动的量值和/或方向来移动那些对象。例如，如果用户的第一部分向上和向右移动，则向上和向右移动那些对象，或者如果用户的第一部分向左移动，则向左移动那些对象。那些对象的移动量/量值任选地也由用户的第一部分的移动量值控制。例如，如果用户的第一部分的移动量是12cm，则那些对象被移动第一量(例如，与用户的第一部分的移动(例如，12cm)成比例)，并且如果用户的第一部分的移动量是24cm，则那些对象被移动大于第一量的第二量(例如，与用户的第一部分的移动(例如，24cm)成比例)。
在一些实施方案中，响应于检测到第四输入的结束(例如，当计算机系统检测到用户的第一部分或第二部分的正做出“捏合”手部形状/位姿的手指(例如，拇指和食指)远离彼此移动时)，计算机系统将第三用户界面对象更新(820e)为处于未选定状态，同时将多个用户界面对象维持在选定状态，诸如如果计算机系统101检测到来自图7C中的手部703a的输入的结束，则这将任选地导致对象708-1和708-2保持选定，而对象708-4变为未选定(例如，并且将多个用户界面对象和第三用户界面对象放在或放置在它们在三维环境中的当前位置处)。响应于第四输入的结束而将第三用户界面对象返回到未选定状态减少了与处于未选定状态的第三用户界面对象交互所需的输入的数量。
在一些实施方案中，计算机系统经由一个或多个输入设备检测(822a)指向包括处于选定状态的第三用户界面对象的位置的第二输入，其中第二输入包括由用户的第一部分执行的第一手势，诸如来自图7B中的手部703a的经由注视720a指向对象708-1的输入(例如，在一些实施方案中，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，第一手势(例如，空中手势)具有相应手势的特性中的一个或多个特性。在一些实施方案中，用户的注意力(例如，作为第二输入的一部分)被指向包括处于选定状态的用户界面对象的三维环境中的区域和/或位置)，并且当检测到第二输入时，包括第三用户界面对象的一个或多个用户界面对象处于选定状态，诸如当检测到来自手部703a的这种输入时，在图7B中，对象708-1、708-2和708-4处于选定状态。例如，在检测到第二输入时，一个或多个用户界面对象已经处于选定状态，并且第二输入被指向那些用户界面对象中的一个用户界面对象。
在一些实施方案中，响应于检测到第二输入，根据确定第二输入满足一个或多个第三准则，该一个或多个第三准则包括当第一手势的发起之后是用户的第一部分的移动，之后是第一手势的结束时满足的第三准则(822b)，诸如手部703a从图7B到图7C的移动(例如，一个或多个第三准则具有一个或多个第三准则的与先前描述的捏合并拖动输入对应的特性中的一个或多个特性)，计算机系统根据用户的第一部分的移动来移动(822c)一个或多个用户界面对象，诸如基于手部703a从图7B到图7C的移动来移动对象708-1、708-2和708-4。例如，即使输入被指向选定对象中的一个选定对象，选定对象中的其他(或任选地，全部)选定对象也根据用户的第一部分的移动而移动。在一些实施方案中，根据用户的第一部分的移动来移动三维环境中的一个或多个用户界面对象包括基于用户的第一部分的移动的量值和/或方向来移动那些对象。例如，如果用户的第一部分向上和向右移动，则向上和向右移动那些对象，或者如果用户的第一部分向左移动，则向左移动那些对象。那些对象的移动量/量值任选地也由用户的第一部分的移动量值控制。例如，如果用户的第一部分的移动量是12cm，则那些对象被移动第一量(例如，与用户的第一部分的移动(例如，12cm)成比例)，并且如果用户的第一部分的移动量是24cm，则那些对象被移动大于第一量的第二量(例如，与用户的第一部分的移动(例如，24cm)成比例)。响应于相同的第二输入而移动一个或多个选定用户界面对象减少了移动选定对象所需的输入的数量。
在一些实施方案中，计算机系统经由一个或多个输入设备检测(824a)指向处于选定状态的第三用户界面对象的第二输入(例如，第二输入任选地具有第一输入的特性中的一个或多个特性)，其中第二输入满足一个或多个第二准则(例如，第二输入是快速捏合输入，如先前所描述的)，同时用户的注意力(例如，注视、躯干取向和/或肩部取向)被指向第三用户界面对象，诸如来自手部703a的输入和/或指向图7F中的对象708-7的注视720。在一些实施方案中，响应于检测到第二输入，计算机系统经由显示生成部件显示(824b)与第三用户界面对象相关联的上下文菜单，诸如图7G中所示的菜单722。例如，显示包括用于剪切、拷贝和/或复制第三用户界面对象的可选择选项的菜单。菜单任选地具有参考方法1000描述的菜单和上下文菜单的特性中的一个或多个特性。响应于第二输入而显示与选定用户界面对象相关联的上下文菜单减少了执行与选定用户界面对象相关联的一个或多个操作所需的输入的数量。
在一些实施方案中，当计算机系统正在第一操作模式下操作时检测第一输入，在该第一操作模式下，用户界面对象以一种或多种第一方式被置于选定状态或未选定状态(826a)(例如，根据一个或多个第一准则或一个或多个第二准则被满足，如先前所描述，作为用于选择上述对象的其他方法的补充或另选方案)。在一些实施方案中，计算机系统经由显示生成部件显示(826b)可选择选项，该可选择选项能够被选择以发起计算机系统的第二操作模式，在该第二操作模式下，用户界面对象以与一种或多种第一方式不同的一种或多种第二方式被置于选定状态或未选定状态，诸如图7A中所示的选项714-5。在一些实施方案中，响应于检测到对可选择选项的选择，计算机系统从第一操作模式转变为第二操作模式。任选地在与经由显示生成部件显示的对象(选定的或未选定的)相关联的用户界面元素或选项板中显示可选择选项。在第二操作模式下，用户界面对象以与当在第一操作模式下时的情况不同的方式被任选地选择或取消选择，如下面将描述的。可选择选项任选地可响应于检测到由用户的任一只手执行的快速捏合空中手势(如先前所描述的)而被选择，同时用户的注意力被指向可选择选项。在一些实施方案中，选项板附加地包括用于执行撤销操作、重做操作或取消操作的一个或多个可选择选项。在一些实施方案中，选项板附加地或另选地包括“完成的”可选择选项以离开第二模式并转变为第一模式。在一些实施方案中，当在第二操作模式下时，“完成的”可选择选项包括对当前根据第二操作模式选择的用户界面对象的数量的指示。提供用于以不同方式选择对象的不同操作模式提供了对象的更稳健并且更灵活的选择。
在一些实施方案中，计算机系统经由一个或多个输入设备检测(828a)指向处于未选定状态的第三用户界面对象的第二输入，其中第二输入满足一个或多个第二准则，同时用户的注意力被指向第三用户界面对象，诸如来自图7B中的手部703b的指向对象708-4的输入，而对象708-1、708-2和708-4未被选择(例如，第二输入是快速捏合输入，如先前所描述的)。在一些实施方案中，响应于检测到第二输入，根据确定计算机系统正在第一操作模式下操作，计算机系统经由显示生成部件显示(828c)与第三用户界面对象相关联的内容，诸如响应于第二输入而显示与对象708-4相关联的内容(例如，不将第三用户界面对象置于选定状态)。例如，“打开”第三用户界面对象以显示照片应用或消息传送应用的用户界面，如先前所描述的。
在一些实施方案中，根据确定计算机系统正在第二操作模式(诸如图7E至图7F中的操作模式)下操作，计算机系统将第三用户界面对象更新(828d)为处于选定状态，诸如经由图7F中的对象708-7所示(例如，不显示与第三用户界面对象相关联的内容)。在一些实施方案中，在第二操作模式下，指向不同用户界面对象的快速捏合输入来回切换那些用户界面对象的选择状态(例如，选定到未选定，或未选定到选定)。根据操作模式对第三用户界面对象执行不同操作使得能够在不显示附加控件的情况下执行对该对象的选择或与该对象相关联的内容的显示。
在一些实施方案中，在容器用户界面对象内显示一个或多个用户界面对象(830a)，诸如对象710(例如，容器或画布对象，诸如参考方法1000和/或1200所描述的)。在一些实施方案中，计算机系统经由一个或多个输入设备检测(830b)包括用户的相应部分(例如，左手或右手)的移动的第二输入，其中第二输入满足一个或多个第二准则，诸如来自手部703a的从图7B到图7C的输入/移动。例如，第二输入是诸如先前所描述的捏合并拖动输入。在一些实施方案中，当检测到第二输入时，用户的注意力被指向一个或多个用户界面对象中的用户界面对象(例如，选定的或未选定的)。在一些实施方案中，当检测到第二输入时，用户的注意力不被指向一个或多个用户界面对象中的用户界面对象(例如，指向容器用户界面对象的空部分)。
在一些实施方案中，响应于检测到第二输入(830c)，根据确定计算机系统正在第一操作模式下操作，计算机系统根据用户的相应部分的移动(诸如对象708-1、708-2和708-4从图7B到图7C的移动)相对于容器用户界面对象移动(830d)一个或多个用户界面对象。例如，在容器用户界面对象内移动一个或多个用户界面对象(例如，被选择的那些用户界面对象，包括用户的注意力所指向的选定用户界面对象)，而不滚动通过容器用户界面对象。在一些实施方案中，移动一个或多个用户界面对象使得那些一个或多个用户界面对象相对于容器内所包含的其他用户界面对象的相对放置根据用户的相应部分的移动而改变。在一些实施方案中，根据用户的相应部分的移动来移动一个或多个用户界面对象包括基于用户的相应部分的移动的量值和/或方向来移动该对象。例如，如果用户的相应部分向上和向右移动，则向上和向右移动那些对象，或者如果用户的相应部分向左移动，则向左移动那些对象。那些对象的移动量/量值任选地也由用户的相应部分的移动量值控制。例如，如果用户的相应部分的移动量是12cm，则那些对象被移动第一量(例如，与用户的相应部分的移动(例如，12cm)成比例)，并且如果用户的相应部分的移动量是24cm，则那些对象被移动大于第一量的第二量(例如，与用户的相应部分的移动(例如，24cm)成比例)。
在一些实施方案中，根据确定计算机系统正在第二操作模式下操作，计算机系统在不相对于容器用户界面对象移动一个或多个用户界面对象的情况下滚动(830d)通过容器用户界面对象，诸如基于来自手部703a的从图7E到图7F的输入而滚动通过对象710。滚动通过容器用户界面对象任选地显露先前在容器中未显示的一个或多个用户界面对象(例如，滚动到容器的可见部分上)和/或使得先前显示的一个或多个用户界面对象变为隐藏(例如，滚动离开容器的可见部分)。在一些实施方案中，滚动通过容器用户界面对象不会致使容器内所包含的用户界面对象的相对放置相对于彼此改变。容器用户界面对象任选地显示画布的大于容器用户界面对象的部分，并且滚动通过容器用户界面对象任选地使得容器用户界面对象显示画布的与先前显示的部分不同的部分。在一些实施方案中，根据用户的相应部分的移动来滚动通过容器包括基于用户的相应部分的移动的量值和/或方向来滚动通过容器。例如，如果用户的相应部分向右移动，则在向右方向上滚动通过容器(例如，以在容器的左侧上显露画布的部分，并且在容器的右侧上隐藏画布的部分)，或者如果用户的相应部分向左移动，则在向左方向上滚动通过容器(例如，以在容器的右侧上显露画布的部分，并且在容器的左侧上隐藏画布的部分)。滚动量/量值任选地也由用户的相应部分的移动量值控制。例如，如果用户的相应部分的移动量是12cm，则容器滚动第一量(例如，与用户的相应部分的移动(例如，12cm)成比例)，并且如果用户的相应部分的移动量是24cm，则容器滚动大于第一量的第二量(例如，与用户的相应部分的移动(例如，24cm)成比例)。根据操作模式对一个或多个用户界面对象执行不同操作使得能够在不显示附加控件的情况下执行用户界面对象的移动或容器的滚动。
应当理解，对方法800中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
图9A至图9F示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的计算机系统的示例。
图9A示出经由计算机系统101的显示生成部件(例如，图1的显示生成部件120)可见的三维环境904，该三维环境904从在俯视图914中示出的用户的视点916可见(例如，面向计算机系统101所位于的物理环境的后壁，并且靠近该物理环境的左后角)。如上参考图1至图6所述，计算机系统101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与计算机系统101交互时计算机系统101能够用来捕获用户或用户的一部分(例如，用户的一只或多只手)的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出和描述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面或三维环境的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图9A中所示，计算机系统101捕获计算机系统101周围的物理环境902(例如，操作环境100)(包括计算机系统101周围的物理环境中的一个或多个对象)的一个或多个图像。在一些实施方案中，计算机系统101在三维环境904中显示物理环境的表示并且/或者物理环境902经由显示生成部件120在三维环境904中可见。例如，经由显示生成部件120可见的三维环境904包括计算机系统101所位于的房间的物理地板以及后壁和侧壁的表示。三维环境904还包括桌子906(经由显示生成部件120并且在俯视图914中示出)。
在图9A中，三维环境904还包括虚拟对象908-1至908-4、虚拟对象910和虚拟对象912。虚拟对象908-1至908-4任选地是应用的用户界面(例如，消息传送用户界面、内容浏览用户界面等)、三维对象(例如，虚拟时钟、虚拟球、虚拟汽车等)或由计算机系统101显示的未被包括在计算机系统101的物理环境中的任何其他元素中的一者或多者。虚拟对象910任选地是在对象910的组成区中包含虚拟对象908-1至908-4的容器或画布对象，如参考方法800、1000和/或1200更详细地描述的。虚拟对象912任选地是用于执行与虚拟对象908-1至908-4和/或910相关的操作的工具选项板对象。例如，对象912包括能够被选择以撤销与虚拟对象908-1至908-4和/或910相关的被执行的最后一个操作的可选择选项914-1；能够被选择以重做与虚拟对象908-1至908-4和/或910相关的被取消或撤销的最后一个操作的可选择选项914-2；能够被选择以编辑虚拟对象908-1至908-4的当前选定对象的可选择选项914-3；能够被选择以将新的虚拟对象添加到对象910的可选择选项914-4；以及能够被选择以使得计算机系统101和/或对象910转变为选择模式的可选择选项914-5，参考方法800对此进行更详细地描述。
如参考方法800更详细地描述的，对象908-1至908-4中的一个或多个对象能够被选择和/或能够被突出显示以将那些对象指定为用于进一步操作(例如，移动操作、拷贝操作或剪切操作)的目标。例如，在图9A中，选择对象908-2，如其周围的虚线边界所指示的。被选择的对象在俯视图914中被示为具有粗体外观，以与未被选择的对象(其被示为不具有粗体外观)相区分。在一些实施方案中，被选择的二维对象与对象910分开(例如，由针对对象908-2示出的投影阴影指示)，并且未被选择的二维对象不与对象910分开或者与对象910分开较少(例如，由针对对象908-1和908-3未示出投影阴影指示)。在一些实施方案中，三维对象与对象910分开，而不论是否选择了三维对象(例如，由针对对象908-4示出的投影阴影指示)。在一些实施方案中，与当三维对象未被选择时的情况相比，当选择了三维对象时，三维对象与对象910分开更多；在一些实施方案中，三维对象与对象910的分开不基于是否选择了三维对象而改变。
在图9A中，当选择了对象908-2时，计算机系统101在手部903处于就绪状态时检测指向对象908-2的注视920。作为响应，计算机系统101显示选项922(例如，在对象908-2上)，该选项能够被选择以使得计算机系统显示对象908-2的上下文菜单。响应于对选项922的选择，计算机系统101显示图9B中的上下文菜单924a。对选项922的选择任选地响应于当手部903执行空中捏合手势(其中手部903的拇指和食指合在一起并触摸，并且随后远离彼此移动)时，计算机系统101检测到用户的指向选项922的注视920而发生。
如图9B中所示，响应于对选项922的选择，对象908-2任选地保持被选择。此外，图9B中的上下文菜单924a包括能够被选择以拷贝对象908-2(例如，用于稍后粘贴，如参考方法1000更详细地描述的)的选项922-1；能够被选择以剪切对象908-2(例如，用于稍后粘贴，如参考方法1000更详细地描述的)的选项922-2；能够被选择以复制对象908-2(例如，如参考方法1000更详细地描述的)的选项922-3；能够被选择以翻转(例如，水平地和/或垂直地)对象908-2的选项922-4；能够被选择以打开对象908-2(例如，在显示与对象908-2相关联的内容的指定应用中)的选项922-5；以及能够被选择以删除对象908-2的选项922-6。
在图9B中，计算机系统101检测输入选择选项922-1。如上所述，对选项922-1的选择任选地响应于当手部903执行空中捏合手势时，计算机系统101检测到用户的指向选项922-1的注视920而发生。
在图9B中检测到输入之后，在图9C中，计算机系统101检测用于显示与对象910相关联的不同上下文菜单的输入，如现在将描述的。图9C中所示的不同输入和所得的上下文菜单任选地是另选场景或按顺序出现的场景。具体地，响应于检测到由手部903执行的空中捏合手势，如上所述，当用户的注视被指向对象910中的空的空间时，计算机系统101在与当检测到空中捏合手势时用户的注视的位置对应的位置处显示上下文菜单。例如，响应于当注视920a被指向对象910的左上部分时检测到来自手部903的空中捏合手势，计算机系统在注视920a的位置处或附近显示上下文菜单924b。上下文菜单924b包括能够被选择以粘贴对象908-2的拷贝的粘贴选项，该拷贝是响应于图9B中的输入而被拷贝的。计算机系统101任选地以类似方式响应于当注视920b被指向对象910的中心部分时检测到来自手部903的空中捏合手势而显示上下文菜单924c，并且响应于当注视920c被指向对象910的右中部分时检测到来自手部903的空中捏合手势而显示上下文菜单924d。上下文菜单924c和924d还包括如上所述的粘贴选项。
响应于检测到对菜单924b、924c和924d中的相应粘贴选项的选择，计算机系统101任选地在选择了粘贴选项时发起在用户的注视的位置处显示对象908-2的拷贝的过程。响应于当注视920d被指向粘贴选项时检测到来自手部903的空中捏合手势而任选地选择菜单924b中的粘贴选项，响应于当注视920e被指向粘贴选项时检测到来自手部903的空中捏合手势而任选地选择菜单924c中的粘贴选项，并且响应于当注视920f被指向粘贴选项时检测到来自手部903的空中捏合手势而任选地选择菜单924d中的粘贴选项。
图9D示出计算机系统101对图9C中的粘贴选项的选择的响应。例如，参考注视920e，计算机系统101响应于图9C中的输入而在注视920e的位置处显示对象908-6(对象908-2的拷贝)。在一些实施方案中，如图所示，注视920e限定对象908-6的中心点。此外，计算机系统101在对象908-4后面显示对象908-6，这是因为对象908-4是三维对象，并且二维对象(诸如对象908-6)被粘贴在三维对象(诸如对象908-4)后面。相比之下，参考注视920f，计算机系统响应于图9C中的作为二维对象的输入而在对象908-3的前面显示对象908-7(对象908-2的拷贝)，这是因为对象908-7被放置在对象910中，而对象908-3已经在对象910中。此外，因为计算机系统101将对象908-7放置在注视920f的位置处并且注视920f相对靠近对象910的右边界，所以对象908-7被显示为部分地延伸超过对象910的右边界。在一些实施方案中，计算机系统101允许延伸超过对象910的右边界或左边界的对象的这种放置，并且不在对象910内自动地重新定位此类对象。在一些实施方案中，计算机系统101调整对象908-7的延伸超过对象910的右边界或左边界的部分的视觉外观(例如，部分延伸超过边界越远，那些部分的半透明度就增加得越多，并且/或者部分延伸超过边界越远，那些部分的亮度就降低得越多)。
与将对象放置在对象910的左边界和右边界之外相比，计算机系统101任选地不允许将对象放置在对象910中，使得该对象延伸超过对象910的顶部边界和底部边界。例如，参考注视920d，如果计算机系统已经响应于图9C中的输入而显示了以注视920d为中心的对象908-5(对象908-2的拷贝)，则对象908-5将任选地延伸超过对象910的顶部边界。相反，响应于图9C中的输入，计算机系统101已经自动将用于放置对象908-5的位置远离顶部边界朝向对象910的内部偏移，并且将对象908-5放置在与由注视920d限定的位置不同的该偏移位置处，使得当在该位置处显示时，对象908-5不延伸超过对象910的顶部边界。在一些实施方案中，计算机系统101将对象908-5的位置偏移到最近的位置(例如，方向和/或距离)，在该最近的位置处，对象908-5将不延伸超过对象910的顶部边界。计算机系统101任选地执行类似操作以防止对象延伸超过对象910的底部边界。
现在将参考图9E至图9F描述将三维对象插入对象910中。在图9E中，已经拷贝或剪切了三维对象，如参考图9A至图9B中的对象908-2所描述的，例如，已经拷贝或剪切了图9B中的对象908-4。此外，对象910正在显示与图9A至图9D中不同的对象——例如，对象910已经滚动到对象910的与图9A至图9D中所示的不同的部分，诸如参考方法800所描述的。另外，计算机系统101正在显示基于注视920a的菜单924e、基于注视920c的菜单924f以及基于注视920b的菜单924g(例如，响应于与参考图9C所描述的相同或类似的输入)，这些菜单任选地是如先前所描述的另选方案。在图9E中，如先前所描述，计算机系统101分别基于注视920a、920c和920e来检测菜单924e、924f和924g中的粘贴选项的空中捏合选择输入。
响应于在图9E中检测到的输入，计算机系统101任选地以不同方式放置粘贴的三维对象，如参考图9F所描述的。例如，参考注视920f，计算机系统101响应于图9E中的输入而在注视920f的位置处显示对象908-22(对象908-4的拷贝)。在一些实施方案中，如图所示，注视920f限定对象908-22的中心点。此外，计算机系统101在对象908-8前面/以遮挡该对象的方式显示对象908-22，这是因为对象908-8是二维对象，并且因为对象908-22被放置在对象910中，而对象908-8已经在对象910中。
相比之下，计算机系统101任选地不允许将三维对象放置在对象910中，使得该三维对象遮挡其他三维对象或与之冲突。例如，参考注视920d，如果计算机系统已经响应于图9E中的输入而显示了以注视920d为中心的对象908-24(对象908-4的拷贝)，则对象908-24将任选地遮挡作为三维对象的对象908-23和/或与之冲突。相反，响应于图9E中的输入，计算机系统101已经自动将用于放置对象908-24的位置从对象908-23偏移，并且将对象908-24放置在与由注视920d限定的位置不同的该偏移位置处，使得当在该位置处显示时，对象908-24不与对象908-23冲突或不遮挡该对象。在一些实施方案中，计算机系统101将对象908-24的位置(例如，方向和/或距离)偏移到最近的位置，在该最近的位置处，对象908-24将不与对象908-23冲突或不遮挡该对象。在一些实施方案中，如先前参考图9D所描述的，计算机系统101另外避免对象908-24延伸超过对象910的顶部边界或底部边界。
在一些实施方案中，如果在用户的注视的阈值距离(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm、10cm、20cm、50cm或100cm)内不存在三维对象将不与另一个三维对象冲突或不遮挡该另一个三维对象的位置，则计算机系统101不使显示所插入的三维对象的位置偏移。例如，参考定位于多个三维对象908-9至908-20的中间的注视920e，计算机系统101已经响应于图9E中的输入而显示了以注视920e为中心的对象908-21(对象908-4的拷贝)。当在注视920e的位置处显示时，对象908-21任选地与对象908-9至908-20中的一者或多者冲突和/或遮挡该对象中的一者或多者。然而，计算机系统101尚未使显示对象908-21的位置偏移，这是因为在注视920e的上述阈值距离内不存在可以在不与对象908-9至908-20中的一者或多者冲突或不遮挡该对象中的一者或多者的情况下显示对象908-21的位置。
图10A至图10J是示出根据一些实施方案的基于用户的注意力来将对象放置在显示区中的位置处的方法1000的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101，诸如平板设备、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1000在与显示生成部件(例如，120)和一个或多个输入设备通信的计算机系统(例如，101)处执行。在一些实施方案中，计算机系统与上文参考方法800描述的计算机系统相同或类似。在一些实施方案中，一个或多个输入设备与上文参考方法800描述的一个或多个输入设备相同或类似。在一些实施方案中，显示生成部件与上文参考方法800描述的显示生成部件相同或类似。
在一些实施方案中，(例如，当三维环境(例如，诸如方法800和/或1200中描述的三维环境)经由显示生成部件可见时)，当经由显示生成部件显示组成区(诸如对象910的区(例如，如参考方法800、1000和/或1200所描述的三维环境和/或容器或画布用户界面对象的二维或三维区))时，计算机系统经由一个或多个输入设备接收(1002a)与将第一(例如，二维或三维)虚拟对象插入组成区中的请求对应的第一输入，诸如参考图9C中的注视920d、920e和920f描述的输入中的一个输入(例如，将第一虚拟对象添加到三维环境。在一些实施方案中，参考方法1000描述的第一输入和/或其他输入是或包括空中手势输入。在一些实施方案中，在执行与另一个虚拟对象相关联的操作(诸如用于拷贝接着被粘贴为第一虚拟对象的另一虚拟对象的至少一部分的操作)之后检测第一输入)。例如，在“剪切”或“拷贝”另一虚拟对象之后，计算机系统接收“粘贴”第一虚拟对象的请求。在一些实施方案中，在方法1200中描述的第一虚拟对象处或内显示方法1000中描述的第一虚拟对象和/或其他虚拟对象。类似地，在一些实施方案中，显示第一虚拟对象包括在方法1200中描述的第一虚拟对象处或内显示第一虚拟对象。在一些实施方案中，计算机系统在执行第一操作之后停止另一虚拟对象的显示(例如，如果第一操作与“剪切”另一虚拟对象的请求对应)。另选地，在一些实施方案中，计算机系统在执行第一操作之后维持另一虚拟对象的显示(例如，如果第一操作与“拷贝”另一虚拟对象的请求对应)。在一些实施方案中，如果第一操作与“剪切”另一虚拟对象的请求对应，则执行第一操作任选地包括将另一虚拟对象存储在存储器中并且停止另一虚拟对象的显示。在一些实施方案中，如果第一操作与“拷贝”另一虚拟对象的请求对应，则执行第一操作任选地包括创建另一虚拟对象的拷贝并且在不修改/更改另一虚拟对象在三维环境中的显示和/或位置的情况下将另一虚拟对象的拷贝存储在存储器中。在一些实施方案中，第一虚拟对象(例如，新显示的虚拟对象)与由计算机系统最后“剪切”或“拷贝”的用户界面对象对应(例如，具有与由计算机系统最后“剪切”或“拷贝”的用户界面对象相同的特性，诸如大小、形状、颜色、面积、和/或体积)。
在一些实施方案中，响应于接收到第一输入(1002b)，根据当接收到第一输入时确定计算机系统的用户的注意力被指向组成区中的第一位置(例如，在三维环境中)，诸如由图9C中的注视920e所限定(例如，在一些实施方案中，一个或多个输入设备的眼睛跟踪设备确定当接收到第一输入时，用户的注视被指向第一位置(例如，在三维环境中))，计算机系统在第一位置处显示(1002c)第一虚拟对象，诸如经由图9D中的对象908-6(例如，在三维环境中)所示。例如，在三维环境中的第一位置处(例如，在三维环境的相对于用户的视点的右下部分中)显示第一虚拟对象，这是因为当接收到第一输入时，用户的注意力被指向三维环境中的第一位置(例如，当接收到第一输入时，用户的注视被指向三维环境的相对于用户的视点的右下部分)。在一些实施方案中，三维环境中的第一位置与三维环境中的X位置(例如，相对于用户的视点的水平位置)、Y位置(例如，相对于用户的视点的垂直位置)、和/或Z位置(例如，相对于用户的视点的距离)对应。在一些实施方案中，如果当接收到第一输入时，用户的注视被指向三维环境中的第一位置，则在三维环境中从三维环境中的第一位置偏移(例如，1厘米、3厘米、5厘米、7厘米、10厘米、20厘米或30厘米)的X位置处，在三维环境中从三维环境中的第一位置偏移(例如，1厘米、3厘米、5厘米、7厘米、10厘米、20厘米或30厘米)的Y位置处，并且/或者在三维环境中从三维环境中的第一位置偏移(例如，1厘米、3厘米、5厘米、7厘米、10厘米、20厘米或30厘米)的Z位置处显示第二虚拟对象。在一些实施方案中，在第一位置处显示第一虚拟对象包括在三维环境中的第一位置处显示第一虚拟对象的中心。
在一些实施方案中，根据当接收到第一输入时确定计算机系统的用户的注意力被指向组成区中的与第一位置不同的第二位置(例如，在三维环境中)，诸如由图9C中的注视920f所限定(例如，在一些实施方案中，一个或多个输入设备的眼睛跟踪设备确定当接收到第一输入时，用户的注视被指向三维环境中的第二位置)，计算机系统在第二位置处显示(1002d)第一虚拟对象，诸如经由图9D中的对象908-7(例如，在三维环境中)所示。例如，在三维环境中的第二位置处(例如，在三维环境的相对于用户的视点的左上部分中)显示第一虚拟对象，这是因为当接收到第一输入时，用户的注意力被指向三维环境中的第二位置(例如，当接收到第一输入时，用户的注视被指向三维环境的相对于用户的视点的左上部分)。在一些实施方案中，在第二位置处显示第一虚拟对象包括在三维环境中的第二位置处显示第一虚拟对象的中心。在一些实施方案中，在第二位置处显示第一虚拟对象具有上文相对于在第一位置处显示第一虚拟对象所描述的特性中的一个或多个特性。基于用户的注意力来将第一虚拟对象添加到三维环境使得计算机系统自动地确定第一虚拟对象在三维环境中的适当位置。
在一些实施方案中，当显示组成区时，计算机系统经由一个或多个输入设备检测(1004a)第二输入，该第二输入包括在用户的注意力被指向组成区的空部分时执行相应手势的用户的相应部分，诸如参考图9C中的注视920a、920b和920c描述的输入中的一个输入(例如，组成区的不包括虚拟对象(或任何虚拟对象)的部分)。在一些实施方案中，第二输入是如参考方法800所描述的捏合空中手势输入(例如，长捏合或快速捏合)。在一些实施方案中，响应于检测到第二输入，计算机系统经由显示生成部件显示(1004b)与组成区相关联的上下文菜单，诸如菜单924a、924b、924c或924d。上下文菜单任选地包括用于执行如下所述的相对于组成区的操作的一个或多个可选择选项。响应于第二输入而显示上下文菜单减少了访问与组成区相关联的一个或多个操作所需的输入的数量。
在一些实施方案中，上下文菜单包括能够被选择以将虚拟对象粘贴到组成区中的可选择选项(1006)，诸如经由菜单924b、924c和924d所示。在一些实施方案中，第一输入包括对可选择选项的选择。在一些实施方案中，对可选择选项的选择响应于计算机系统检测到空中捏合手势(例如，快速捏合或长捏合)(如先前参考方法800所描述)，同时用户的注意力被指向可选择选项而发生。在一些实施方案中，对选择选项的选择响应于计算机系统检测到选择可选择选项的直接输入(例如，用户的手指寻求并触摸可选择选项)而发生。在一些实施方案中，要被粘贴到组成区中的虚拟对象先前被拷贝或剪切。显示在上下文菜单中粘贴虚拟对象的选项减少了将虚拟对象粘贴到组成区中所需的输入的数量。
在一些实施方案中，上下文菜单包括除能够被选择以将虚拟对象粘贴到组成区中的可选择选项之外的一个或多个可选择选项(1008)，诸如图9B中的菜单924a中的选项922-1至922-6。在一些实施方案中，对可选择选项的选择如先前参考对用于将虚拟对象粘贴到组成区中的可选择选项的选择所描述的那样发生。在一些实施方案中，一个或多个可选择选项包括以下各项中的一者或多者：剪切一个或多个选定虚拟对象的可选择选项(例如，如参考方法800所描述)、复制一个或多个选定虚拟对象的可选择选项(例如，如参考方法800所描述)、使一个或多个选定虚拟对象旋转的可选择选项、水平翻转一个或多个选定虚拟对象的可选择选项、垂直翻转一个或多个选定虚拟对象的可选择选项、将一个或多个选定虚拟对象分组在一起的可选择选项、指定在其中打开一个或多个选定虚拟对象的应用的可选择选项、删除一个或多个选定虚拟对象的可选择选项、和/或临时显示与一个或多个选定虚拟对象相关联的内容的可选择选项。显示用于执行与上下文菜单中的组成区相关联的一个或多个各种操作的各种选项减少了执行与组成区相关联的各种操作所需的输入的数量。
在一些实施方案中，当经由显示生成部件在组成区中显示第二虚拟对象时，计算机系统检测(1010a)用户的指向第二虚拟对象的注意力，诸如指向图9A中的对象908-2的注视920(例如，用户的指向第二虚拟对象的注视、头部、和/或躯干)。在一些实施方案中，响应于检测到用户的指向第二虚拟对象的注意力，根据确定用户的相应部分(例如，用户的手部)处于预定义位姿(诸如，相对于图9A中的手部903)(例如，用户的手部的就绪状态，如先前所描述)，计算机系统经由显示生成部件显示(1010b)能够被选择以显示与第二虚拟对象相关联的菜单的可选择选项，诸如图9A中的选项922。例如，响应于计算机系统检测到用户的指向第二虚拟对象的注意力以及用户的处于就绪状态的手部而显示能够被选择以显示与第二虚拟对象相关联的上下文菜单的按钮。在一些实施方案中，以选择可选择选项的上述方式中的一种或多种方式来选择按钮。在一些实施方案中，除非检测到就绪状态和用户的注意力，否则不显示按钮。在一些实施方案中，按钮被显示为覆盖在第二虚拟对象上。显示用于访问与第二虚拟对象相关联的菜单的可选择选项减少了显示混乱。
在一些实施方案中，当显示能够被选择以显示与第二虚拟对象相关联的菜单的可选择选项时，计算机系统检测(1012a)第二输入，该第二输入包括当用户的注意力被指向可选择选项时执行相应手势的用户的相应部分(例如，用户的手部)，诸如来自手部903的指向图9A中的选项922的输入。在一些实施方案中，第二输入是如参考方法800所描述的捏合空中手势输入(例如，长捏合或快速捏合)。在一些实施方案中，响应于检测到第二输入，计算机系统经由显示生成部件显示(1012b)与第二虚拟对象相关联的菜单，其中与第二虚拟对象相关联的菜单包括一个或多个可选择选项，该一个或多个可选择选项能够被选择以执行与第二虚拟对象相关联的一个或多个操作，诸如图9B中的菜单924a。在一些实施方案中，以选择可选择选项的上述方式中的一种或多种方式来选择菜单中所包括的可选择选项。在一些实施方案中，一个或多个可选择选项包括以下各项中的一者或多者：剪切第二虚拟对象的可选择选项、拷贝第二虚拟对象的可选择选项、和/或将先前拷贝或剪切的虚拟对象粘贴在第二虚拟对象的位置处的可选择选项。显示用于执行与第二虚拟对象相关联的一个或多个操作的可选择选项减少了访问那些一个或多个操作所需的输入的数量。
在一些实施方案中，显示与第二虚拟对象相关联的菜单包括(1014a)根据确定计算机系统先前已经检测到拷贝相应虚拟对象的至少一部分的输入(例如，在第二输入之前——在一些实施方案中，在第二输入之前的时间阈值(诸如1分钟、3分钟、5分钟、20分钟、45分钟、60分钟、120分钟、240分钟或480分钟)内。在一些实施方案中，拷贝相应虚拟对象的至少一部分的输入是剪切相应虚拟对象的至少一部分的输入)，在菜单中显示第一可选择选项，该第一可选择选项能够被选择以将相应虚拟对象的至少一部分粘贴在组成区中(1014b)，诸如，在图9B中包括粘贴选项的菜单924a的情况下。在一些实施方案中，根据确定计算机系统先前尚未检测到拷贝相应虚拟对象的至少一部分的输入，放弃在菜单中显示第一可选择选项(1014c)，诸如图9B中不包括粘贴选项的菜单924。因此，在一些实施方案中，用于第二虚拟对象的上下文菜单仅包括在计算机系统先前(最近)已经检测到剪切或拷贝虚拟对象的输入的情况下粘贴的选项。基于计算机系统先前是否已经检测到拷贝虚拟对象的输入来显示第一可选择选项使得计算机系统自动包括或不包括要在上下文菜单中执行的相关操作。
在一些实施方案中，当经由显示生成部件显示组成区(例如，如参考方法800、1000和/或1200所描述的三维环境和/或容器或画布用户界面对象的二维或三维区)时，计算机系统经由一个或多个输入设备接收(1016a)与将多个虚拟对象插入组成区中的请求对应的第二输入，诸如在图9E中显示对象908-9至908-20之前将这些对象插入对象910中的输入。第二输入任选地是对粘贴先前拷贝或剪切的多个虚拟对象的粘贴选项的选择。在一些实施方案中，多个虚拟对象先前已经被分组在一起(例如，响应于如先前所描述的分组操作)。在一些实施方案中，多个虚拟对象先前已经在尚未被分组在一起的情况下一起处于选定状态(例如，如参考方法800所描述)。
在一些实施方案中，响应于接收到第二输入(1016b)，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第三位置(例如，在三维环境中)，计算机系统在组成区中的空间布置中显示(1016c)多个虚拟对象(例如，多个虚拟对象的空间布置任选地是被拷贝并且多个虚拟对象所基于的对应的多个虚拟对象的相同空间布置)，其中空间布置的特定部分处于组成区中的第三位置处，诸如将对象908-9至908-20插入对象910中，从而导致对象908-9至908-20(比如，图9E中所示的对象)的显示，使得那些对象的布置的中心与第三位置重合。在一些实施方案中，空间布置的特定部分是空间布置的中心(和/或质心)。在一些实施方案中，空间布置的特定部分是空间布置的不同部分。基于用户注意力来将多个虚拟对象放置在组成区中任选地具有基于用户注意力来将第一虚拟对象放置在组成区中的特性中的一个或多个特性。
在一些实施方案中，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的与第三位置不同的第四位置(例如，在三维环境中)，计算机系统在组成区中的空间布置(例如，与当用户的注意力被指向第三位置时相同的空间布置)中显示(1016d)多个虚拟对象，其中空间布置的特定部分处于组成区中的第四位置处，诸如将对象908-9至908-20插入对象910中，从而导致对象908-9至908-20(比如，图9E中所示的对象)的显示，使得那些对象的布置的中心与第四位置重合。因此，在一些实施方案中，用户的注意力控制多个虚拟对象的空间布置的特定部分的位置。基于用户的注意力来将多个虚拟对象添加到组成区使得计算机系统自动确定多个虚拟对象的适当位置。
在一些实施方案中，当经由显示生成部件显示组成区时，计算机系统经由一个或多个输入设备接收(1018a)与将第二虚拟对象插入组成区中的请求对应的第二输入，诸如与图9C中的注视920d相关联的输入。在一些实施方案中，如先前所描述，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，响应于接收到第二输入(1018b)，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第三位置(例如，在三维环境中)，其中第三位置在组成区的下边界的阈值距离(例如，0.1cm、0.2cm、0.5cm、1cm、2cm、3cm、5cm、10cm或20cm)内，诸如如果图9C中的注视920d在对象910的下边界的阈值距离内(例如，组成区的下边缘，任选地与组成区不向下延伸跨过的边界对应)，则计算机系统在组成区中的第四位置处显示(1018c)第二虚拟对象，该第四位置距组成区的下边界比阈值距离更远，类似于当注视920d在上边界的阈值距离内时，计算机系统101在距对象910的上边界比阈值距离更远的位置处显示对象908-5的方式。例如，计算机系统任选地将第二虚拟对象显示在比用户的注意力的位置更向上的位置(例如，计算机系统将第二虚拟对象从下边界向上偏移，使得第二虚拟对象不延伸超过下边界)。在一些实施方案中，阈值距离是基于第二虚拟对象的大小(例如，对于不同大小的虚拟对象是不同的)。在一些实施方案中，阈值距离与第二虚拟对象的垂直尺寸对应，基于第二虚拟对象的垂直尺寸，或与第二虚拟对象的垂直尺寸相同。在一些实施方案中，第四位置的水平定位与第三位置的水平定位相同(例如，第二虚拟对象仅从注意力的位置垂直地偏移)。
在一些实施方案中，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第五位置(例如，在三维环境中)，其中第五位置在组成区的下边界的阈值距离之外，诸如与图9C中的注视920e相关联的输入，计算机系统在组成区中的第五位置处显示(1018d)第二虚拟对象，包括在组成区的下边界内显示第二虚拟对象，而不在组成区的下边界之外显示第二虚拟对象的一部分，诸如图9D中的对象908-6的显示。在一些实施方案中，当在第五位置处显示时，第二虚拟对象完全在组成区内，而不是部分在组成区之外(例如，在组成区的下边界之外)。使第二虚拟对象的位置偏移使得计算机系统自动将第二虚拟对象定位在组成区中的适当位置处。
在一些实施方案中，响应于接收到第二输入(1019a)，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第六位置(例如，在三维环境中)，其中第六位置在组成区的上边界的阈值距离(例如，0.1cm、0.2cm、0.5cm、1cm、2cm、3cm、5cm、10cm或20cm)内，诸如与图9C中的注视920d相关联的输入(例如，组成区的上边缘，任选地与组成区不向上延伸跨过的边界对应)，计算机系统在组成区中的第七位置处显示(1019b)第二虚拟对象，该第七位置距组成区的上边界比阈值距离更远，诸如经由图9D中的对象908-5所示。例如，计算机系统任选地将第二虚拟对象显示在比用户的注意力的位置更向下的位置(例如，计算机系统将第二虚拟对象从上边界向下偏移，使得第二虚拟对象不延伸超过上边界)。在一些实施方案中，第七位置的水平定位与第六位置的水平定位相同(例如，第二虚拟对象仅从注意力的位置垂直地偏移)。使第二虚拟对象的位置偏移使得计算机系统自动将第二虚拟对象定位在组成区中的适当位置处。
在一些实施方案中，当经由显示生成部件显示组成区(例如，如参考方法800、1000和/或1200所描述的三维环境和/或容器或画布用户界面对象的二维或三维区)时，计算机系统经由一个或多个输入设备接收(1020a)与将第二虚拟对象插入组成区中的请求对应的第二输入。在一些实施方案中，如先前所描述，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，响应于接收到第二输入(1020b)，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第三位置(例如，在三维环境中)，其中第三位置在组成区的侧向(例如左或右)边界的阈值距离(例如，0.1cm、0.2cm、0.5cm、1cm、2cm、3cm、5cm、10cm或20cm)内，诸如与图9C中的注视920f相关联的输入，计算机系统在组成区中的第三位置处显示(1020c)第二虚拟对象，包括在组成区的侧向边界之外显示第二虚拟对象的至少一部分，诸如经由图9D中的对象908-7所示。在一些实施方案中，阈值距离是基于第二虚拟对象的大小(例如，对于不同大小的虚拟对象是不同的)。在一些实施方案中，阈值距离与第二虚拟对象的水平或侧向尺寸对应，基于第二虚拟对象的水平或侧向尺寸，或与第二虚拟对象的水平或侧向尺寸相同。在一些实施方案中，当在第三位置处显示时，第二虚拟对象部分在组成区内，并且部分在组成区之外(例如，在组成区的左边界或右边界之外)。
在一些实施方案中，根据当接收到第二输入时确定计算机系统的用户的注意力被指向组成区中的第四位置(例如，在三维环境中)，其中第四位置在组成区的侧向边界的阈值距离之外，诸如与图9C中的注视920e相关联的输入，计算机系统在组成区中的第四位置处显示(1020d)第二虚拟对象，包括在组成区的侧向边界内显示第二虚拟对象，而不在组成区的侧向边界之外显示第二虚拟对象的一部分，诸如经由图9D中的对象908-6所示。在一些实施方案中，当在第四位置处显示时，第二虚拟对象完全在组成区内，而不是部分在组成区之外(例如，在组成区的左边界或右边界之外)。因此，在一些实施方案中，即使在注意力位置处显示第二虚拟对象将致使第二虚拟对象延伸超过组成区的侧向边界，计算机系统也不将第二虚拟对象从注意力位置偏移。这任选地与如先前所描述的组成区的上边界或下边界形成对比。不将第二虚拟对象的位置从组成区的侧向边界偏移向用户提供组成区可水平滚动以滚动到组成区的其他部分的反馈，如参考方法800所描述的。
在一些实施方案中，在组成区中的第一位置处显示第一虚拟对象包括(1022a)根据当接收到第一输入时确定第一位置包括三维虚拟对象并且确定第一虚拟对象是二维虚拟对象，在组成区中的第一位置处的三维虚拟对象后面显示第一虚拟对象(1022b)，诸如经由图9D中的对象908-6和908-7所示。因此，在一些实施方案中，三维对象始终显示在二维对象的前面。以不同显示顺序显示不同类型的虚拟对象向用户提供关于正被显示的对象的类型的反馈。
在一些实施方案中，当经由显示生成部件显示组成区时，计算机系统经由一个或多个输入设备接收(1024a)与将第二虚拟对象插入组成区中的第三位置中的请求对应的第二输入，诸如与图9E中的注视920d相关联的输入。在一些实施方案中，如先前所描述，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，当检测到第二输入时，用户的注意力被指向第三位置。在一些实施方案中，响应于接收到第二输入(1024b)，根据当接收到第二输入时确定第二虚拟对象是第一三维对象并且组成区中的第三位置包括第二三维对象，诸如图9E中的对象908-23，计算机系统在组成区中的与第三位置不同的第四位置处显示(1024c)第二虚拟对象，其中当在第四位置处显示时，第二虚拟对象不与第二三维对象重叠，诸如经由图9F中的对象908-24所示。例如，计算机系统任选地将第二虚拟对象的位置从注意力位置偏移以避免或减少第二虚拟对象与第二三维对象之间的重叠和/或冲突。在一些实施方案中，第四位置是组成区中与第三位置最靠近的点，在该点处避免或减少了第二虚拟对象与第二三维对象之间的重叠和/或冲突。在一些实施方案中，第三位置与第四位置之间的距离和/或相对位置是基于第二虚拟对象和第二三维对象的尺寸。使第二虚拟对象的位置偏移使得计算机系统自动将第二虚拟对象定位在组成区中的适当位置处。
在一些实施方案中，响应于接收到第二输入(1026a)，根据当接收到第二输入时确定第二虚拟对象是二维对象并且组成区中的相应位置包括第二三维对象，诸如图9C中的对象908-4，计算机系统在组成区中的第三位置处显示(1026b)第二虚拟对象，其中当在第三位置处显示时，第二虚拟对象与第二三维对象重叠，诸如经由图9D中的对象908-4后面的对象908-6所示。因此，计算机系统任选地不将被粘贴到组成区中的二维对象的位置从用户的注意力位置偏移。如先前所描述，二维对象任选地粘贴在三维对象后面。不使二维对象的位置偏移避免了当用户不提供该移动时二维对象的过量和/或不必要的移动。
在一些实施方案中，当经由显示生成部件显示组成区时，计算机系统经由一个或多个输入设备接收(1028a)与将第二虚拟对象插入组成区中的第三位置中的请求对应的第二输入，诸如与图9E中的注视920d或920e相关联的输入，其中第二虚拟对象是第一三维对象。在一些实施方案中，如先前所描述，第二输入具有第一输入的特性中的一个或多个特性。在一些实施方案中，当检测到第二输入时，用户的注意力被指向第三位置。在一些实施方案中，响应于接收到第二输入并且根据确定当接收到第二输入时组成区中的第三位置包括第二三维对象(1028b)，诸如图9E中的对象908-23，根据确定在第三位置的阈值距离(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm、10cm、20cm或50cm)内的与第三位置不同的第四位置不包括三维对象(例如，在组成区中在用户的注意力位置的阈值距离内存在可用于显示第二虚拟对象的位置，这是因为它未被三维对象占据和/或将不会导致第二虚拟对象与组成区中的另一个三维对象之间的冲突/重叠)，计算机系统在组成区中的第四位置处显示(1028c)第二虚拟对象，诸如经由图9F中的对象908-24所示(例如，计算机系统将第二虚拟对象从用户的注意力位置偏移)。在一些实施方案中，第四位置是与第三位置最近的位置，在该位置处，第二虚拟对象的显示将不会引起第二虚拟对象与组成区中的另一个三维对象之间的冲突和/或重叠。
在一些实施方案中，根据确定第三位置的阈值距离内没有位置不包括三维对象，诸如，如同图9E中的注视920e的情况一样(例如，在组成区中在用户的注意力位置的阈值距离内不存在可用于显示第二虚拟对象的位置，这是因为阈值距离内的每个位置将导致第二虚拟对象与组成区中的另一个三维对象之间的冲突/重叠)，计算机系统在组成区中的第三位置处显示(1028d)第二虚拟对象，诸如经由图9F中的对象908-21所示(例如，计算机系统不将第二虚拟对象从用户的注意力位置偏移)。在一些实施方案中，在第二三维对象前面显示第二虚拟对象。使第二虚拟对象的位置偏移使得计算机系统自动将第二虚拟对象定位在组成区中的适当位置处，同时避免使第二虚拟对象偏移相对较大的量。
在一些实施方案中，第一输入是诸如经由对图9B中的菜单924a中的选项922-3的选择来复制被包括在组成区中的第二虚拟对象的输入(1030)。在一些实施方案中，复制第二虚拟对象的输入是选择在用于第二虚拟对象的上下文菜单中显示的“复制”可选择选项的输入。第一虚拟对象(例如，其是第二虚拟对象的副本)任选地被放置在组成区中当选择“副本”可选择选项时用户的注意力所指向的位置处，诸如先前参考第一输入描述的。因此，在一些实施方案中，复制虚拟对象以及粘贴虚拟对象(例如，与复制虚拟对象不同)任选地都在基于用户的注意力的位置处将所插入的虚拟对象放置到组成区中。将虚拟对象复制到基于用户的注意力的位置使得计算机系统自动确定所复制的虚拟对象的适当位置。
在一些实施方案中，第一输入是将先前拷贝的虚拟对象粘贴到组成区中的输入(1032a)，诸如对图9C中的菜单924b、924c或924d中的粘贴选项的选择(例如，与复制虚拟对象不同——当将虚拟对象粘贴到组成区中时，计算机系统任选地基于用户的注意力位置来放置所粘贴的虚拟对象，如先前所描述)。在一些实施方案中，当经由显示生成部件在第三位置处显示包括第二虚拟对象的组成区时，计算机系统经由一个或多个输入设备接收(1032b)与复制第二虚拟对象的请求对应的第二输入，诸如经由对图9B中的菜单924a中的选项922-3的选择(例如，如先前所描述，对第二虚拟对象的“复制”选项的选择)。
在一些实施方案中，响应于接收到第二输入，计算机系统在组成区中的第四位置处显示(1032c)第三虚拟对象(第二虚拟对象的副本)，其中第四位置不是基于当检测到第二输入时用户的注意力的，诸如如果计算机系统101复制图9B中的对象908-2并且在不基于注视920位置的位置处将其放置在对象910中(例如，计算机系统不考虑用户在放置副本虚拟对象时的注意力位置)。在一些实施方案中，第四位置是距正被复制的虚拟对象的位置的预定距离或取向(例如，离正被复制的虚拟对象5cm远，对角向下和向右)。在一些实施方案中，第四位置与要复制的虚拟对象分开的量和/或方向是基于要复制的虚拟对象的尺寸和/或形状。因此，在一些实施方案中，计算机系统针对粘贴操作和复制操作以不同方式放置对象。将虚拟对象复制到不基于用户的注意力的位置使得计算机系统自动将所复制的虚拟对象放置在正被复制的虚拟对象附近以便于访问。
应当理解，对方法1000中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
图11A至图11G示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的计算机系统的示例。
图11A示出经由计算机系统101的显示生成部件(例如，图1的显示生成部件120)可见的三维环境1104，该三维环境1104从在俯视图1114中示出的用户的视点1116可见(例如，面向计算机系统101所位于的物理环境的后壁，并且靠近该物理环境的左后角)。如上参考图1至图6所述，计算机系统101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与计算机系统101交互时计算机系统101能够用来捕获用户或用户的一部分(例如，用户的一只或多只手)的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出和描述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面或三维环境的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图11A中所示，计算机系统101捕获计算机系统101周围的物理环境1102(例如，操作环境100)(包括计算机系统101周围的物理环境中的一个或多个对象)的一个或多个图像。在一些实施方案中，计算机系统101在三维环境1104中显示物理环境的表示并且/或者物理环境1102经由显示生成部件120在三维环境1104中可见。例如，经由显示生成部件120可见的三维环境1104包括计算机系统101所位于的房间的物理地板以及后壁和侧壁的表示。三维环境1104还包括桌子1106(经由显示生成部件120并且在俯视图1114中示出)。
在图11A中，三维环境1104还包括虚拟对象1108-1至1108-7、虚拟对象1110和虚拟对象1112。虚拟对象1108-1至1108-7任选地是应用的用户界面(例如，消息传送用户界面、内容浏览用户界面等)、三维对象(例如，虚拟时钟、虚拟球、虚拟汽车等)或由计算机系统101显示的未被包括在计算机系统101的物理环境中的任何其他元素中的一者或多者。虚拟对象1110任选地是包含虚拟对象1108-1至1108-7的容器或画布对象，如参考方法800、1000和/或1200更详细地描述的。虚拟对象1110任选地可水平(例如，右/左)滚动，如稍后将更详细地描述。此外，图11A中的虚拟对象1110包括滚动指示符1126(例如，滚动条)，该滚动指示符包括滚动定位指示符1128；滚动指示符1126内的滚动定位指示符1128的定位任选地与对象1110内的当前滚动定位对应。
虚拟对象1112任选地是用于执行与虚拟对象1108-1至1108-7和/或1110相关的操作的工具选项板对象。例如，对象1112包括能够被选择以撤销与虚拟对象1108-1至1108-7和/或1110相关的被执行的最后一个操作的可选择选项1114-1；能够被选择以重做与虚拟对象1108-1至1108-7和/或1110相关的被取消或撤销的最后一个操作的可选择选项1114-2；能够被选择以编辑虚拟对象1108-1至1108-7的当前选定对象的可选择选项1114-3；能够被选择以将新的虚拟对象添加到对象1110的可选择选项1114-4；以及能够被选择以使得计算机系统101和/或对象1110转变为选择模式的可选择选项1114-5，参考方法800对此进行更详细地描述。
如图11A中所示，在一些实施方案中，对象1110是半透明的，使得在对象1110后面的虚拟和/或物理对象通过对象1110(例如，物理房间的后壁和地板)至少部分地可见。此外，在一些实施方案中，包含在对象1110内的二维对象具有基于对象1110的曲率的曲率(例如，具有与对象1110的曲率相同的曲率)。例如，当被包括在对象1110中时，对象1108-5任选地具有对象1110和/或对象1110的一部分的曲率，对象1108-5位于该部分上/上方。图11A中的对象1108-1、1108-2、1108-3和1108-4也是二维对象，并且因此也具有基于对象1110的曲率。滚动指示符1126任选地还具有基于对象1110的曲率的曲率。
另一方面，三维对象任选地确实具有基于对象1110的曲率的形状、曲率、轮廓或其他尺寸属性。例如，当添加或从对象1110移除三维对象时，它们任选地不在形状、曲率、轮廓、体积或其他尺寸属性方面发生变化。在图11A中，对象1108-6和1108-7是三维对象，并且这些对象的形状、曲率、轮廓、体积或其他尺寸属性不是基于对象1110的曲率的。
如先前所提及，对象1112任选地是对象1110的控制选项板。对象1112任选地与对象1110分开显示；例如，比对象1110更靠近用户的视点(例如，在视觉上与对象1110分开)，并且从用户的视点部分地重叠和/或遮挡对象1110的一部分(例如，底部部分)。在一些实施方案中，计算机系统101根据上述用于显示二维对象的规则来显示对象1112(例如，以基于对象1112的曲率的曲率显示对象1110)。在一些实施方案中，计算机系统101根据上述用于显示三维对象的规则来显示对象1112(例如，对象1110是平坦的和/或并未以基于对象1112的曲率的曲率显示)。
在一些实施方案中，对象不能被放置在对象1110中的定位处，使得那些对象将延伸超过对象1110的顶部边界或底部边界(例如，如参考方法1000更详细地描述的)。在一些实施方案中，对象可以被放置在此类定位处，但是那些对象将在对象1110的顶部边界或底部边界处被剪切掉，使得那些对象的原本将延伸超过对象1110的顶部边界或底部边界的部分不被计算机系统101显示。相比之下，在一些实施方案中，对象可以被放置在对象1110中的定位处，使得那些对象将延伸超过对象1110的左边界或右边界(例如，如参考方法1000更详细地描述的)。此外，计算机系统101将任选地将此类对象的正延伸超过对象1110的左边界或右边界的那些部分显示为悬挂或延伸到那些边界之外。例如，在图11A中，对象1108-7已经被手部1103b(例如，以参考方法800和/或1000描述的方式)放置在对象1110中，并且对象1108-7的右侧部分正延伸超过对象1110的右边界并且由计算机系统101显示。
在一些实施方案中，对象1110的曲率任选地基于同时共享三维环境1104的用户的视点的数量和/或定位，无论是单独的计算机系统101，还是计算机系统101和一个或多个其他计算机系统(例如，具有计算机系统101的特性中的一个或多个特性)。例如，计算机系统101任选地被包括在与一个或多个其他计算机系统的通信会话中，如在方法1200中更详细地描述的。计算机系统101任选地随着存在的视点越少、视点在一起越近和/或视点越靠近对象1110而以越大的曲率显示对象1110，并且随着存在的视点越多、视点距彼此越远和/或视点越远离对象1110而以越小的曲率显示对象1110，如参考方法1200更详细地描述的。以这种方式，针对一个或多个视点改善了对象1110和/或对象1110中所包括的对象的可视性。
例如，在图11A中，三维环境1104由在俯视图1114中示出的位置处的视点1116和视点1120同时共享，并且具有图11A中所示的曲率。在图11B中，除了在俯视图1114中示出的位置处的视点1120和1116之外，对象1110现在另外由视点1122同时共享。因为包括对象1110的三维环境1104现在由比图11A中更多的视点同时共享和/或因为视点1120和1122彼此相对间隔开，所以计算机系统101以比图11A中更小的曲率显示对象1110。如先前所描述，基于对象1110的曲率的对象的曲率也任选地由于对象1110的曲率的减少而减小。对象1110在三维环境1104中的位置(例如，对象1110的特定点的位置，诸如中心点)任选地不响应于对象1110的曲率的变化而改变。
返回到图11A，与可选择选项1121相关联地显示对象1110。选项1121任选地与对象1110分开，在对象1110之外显示，并且/或者与对象1110的拐角相邻地显示。选项1121能够任选地被选择以发起在不改变对象1110的曲率的情况下重新设定对象1110的大小的过程。例如，指向选项1121的空中捏合并拖动输入(例如，手部1103a的拇指和食指合在一起并触摸，之后是手部1103a的移动，同时保持在捏合手部形状)任选地发起重新设定对象1110的大小的过程。手部1103a的水平移动任选地在不改变对象1110的垂直尺寸的情况下增大或减小对象1110的侧向尺寸。例如，手部1103a朝向对象1110的内部的水平移动(例如，向左)任选地减小对象1110的水平尺寸；任选地从对象1110的左侧和右侧两者相等地减小，任选地仅从对象1110的右侧减小。手部1103a远离对象1110的内部的水平移动(例如，向右)任选地类似地增大对象1110的水平尺寸。这种重新设定大小任选地不改变对象1110的曲率。
手部1103a的垂直移动任选地增大或减小对象1110的侧向尺寸和垂直尺寸两者，任选地同时维持对象1110的纵横比。例如，手部1103a的向上移动任选地减小对象1110的侧向尺寸和垂直尺寸；任选地从对象1110的左侧和右侧以及顶侧和底侧相等地减小，任选地仅从与选项1121相邻的对象1110的侧面或拐角(例如，图11A中的底侧和右侧)减小。手部1103a的向下移动任选地类似地增大对象1110的侧向尺寸和垂直尺寸。这种重新设定大小任选地不改变对象1110的曲率。
例如，在图11A中，计算机系统101任选地检测到手部1103a执行指向选项1121的水平和向左空中捏合并拖动手势。作为响应，如图11G中所示，计算机系统101在不调整对象1110的垂直尺寸的情况下根据手部1103a的移动(例如，从对象1110的左侧和右侧两者)来减小对象1110的水平尺寸。图11G中的对象1110的曲率任选地与图11A中的对象1110的曲率相同。如图11G中所示，对象1110的重新设定大小任选地不致使重新设定对象1110中所包括的对象的大小。此外，对象1110中所包括的不再位于对象1110的更新边界内的对象任选地不再由计算机系统101显示(例如，对象1108-1、1108-2、1108-7、1108-3和1108-5)。在图11G中，对象1108-4和1108-6位于对象1110的更新边界内，并且因此仍然如它们在图11A中所显示的那样由计算机系统101显示(例如，在三维环境1104中在相同位置处、以相同取向和/或以相同大小)。
返回到图11B，在一些实施方案中，指向对象1110的空区的空中捏合并拖动手势(例如，如先前所描述)使得计算机系统101根据用户的手部的移动来滚动通过对象1110，如参考方法1200更详细地描述的。例如，在图11B中，计算机系统101检测到手部1103a执行向左的空中捏合并拖动手势，同时用户的注视1124被指向对象1110的空区。作为响应，如图11C中所示，计算机系统101向左滚动通过对象1110，使得对象1108-1至1108-7向左滚动并离开对象1110的当前可见部分，并且对象1108-9至1108-12从右侧滚动到对象1110的当前可见部分上。计算机系统101任选地更新滚动指示符1126以相应地指示更新后的当前滚动定位。
在一些实施方案中，在滚动对象1110期间，计算机系统101改变对象1110中所包括的对象的视觉外观。例如，如图11C中所示，计算机系统101任选地在滚动期间以增加的半透明度、降低的亮度和/或降低的颜色饱和度来显示对象1110中所包括的对象(例如，在对象被显示为移动跨过对象1110、移动到该对象上和/或移离该对象时)。在一些实施方案中，对象1110中所包括的对象的视觉外观的上述改变的量值是基于滚动的量值(例如，速度和/或量)。例如，滚动的量值越大，计算机系统101任选地就越多地改变对象的视觉外观，而滚动的量值越小，该计算机系统就越少地改变对象的视觉外观。在一些实施方案中，在检测到滚动的结束时(例如，手部1103a的移动停止或手部1103a释放空中捏合手势，诸如手部1103a的拇指和食指彼此分开)，计算机系统101任选地将对象1110中所包括的对象的视觉外观恢复到它们在滚动输入之前具有的视觉外观。
在一些实施方案中，诸如图11C中所示，响应于检测到用户的指向滚动指示符1126的注视1124，计算机系统101更新滚动指示符1126的显示以包括对象1110中所包括的内容(例如，对象)的快照或预览或映射图(例如，对象1110的整个画布的快照或预览)，包括对象1110的与除对象1110中的当前滚动定位之外的滚动定位对应的部分(例如，对象1110的画布的当前未显示的部分)。此外，滚动指示符1126包括当前滚动定位指示符1130，该当前滚动定位指示符指示快照或预览或映射图的哪个部分当前正在对象1110内显示。当前滚动定位指示符1130任选地是指示快照或预览或映射图的特定部分的任何视觉指示，诸如该特定部分的轮廓、发光和/或突出显示。
对象1110任选地还可响应于指向当前滚动定位指示符1130的空中捏合并拖动输入而滚动，这根据用户的手部的移动来在滚动指示符1126内移动当前滚动定位指示符1130，并且将对象1110滚动到与滚动指示符1126内的当前滚动定位指示符1130的当前定位对应的滚动定位。对象1110还可任选地响应于指向滚动指示符1126的特定部分的空中捏合并释放输入(例如，无用户的手部的移动)而滚动，这使得计算机系统101将对象1110滚动到与滚动指示符1126的该特定部分对应的滚动定位。参考方法1200来描述上述滚动操作的附加细节。
从图11C到图11D，计算机系统101检测手部1103a在处于捏合手部形状时的进一步向左移动，并且因此，如图11D中所示进一步向左滚动对象1110。如图11D中所示，计算机系统101还相应地更新了当前滚动定位指示符1130在滚动指示符1126内的定位。
在一些实施方案中，计算机系统101响应于特定输入而将对象1110移动得更靠近或更远离视点1116。例如，指向对象1110的空区的空中捏合并拖动输入任选地导致对象1110根据拖动输入来在三维环境1104中朝向或远离视点1116移动。在图11D中，计算机系统101检测手部1103a执行指向对象1110的空区的空中捏合输入，之后是手部1103a以捏合手部形状朝向用户移动。作为响应，如图11E中所示，计算机系统101将对象1110朝向视点1116移动与手部1103a朝向用户的移动的量值对应的量。计算机系统101任选地不响应于图11D中的输入而缩放三维环境1104中的对象1110。然而，出于先前描述的原因，因为对象1110现在已经移动得更靠近视点1116、1120和/或1122，所以计算机系统101在图11E中比在图11D中以更大的曲率显示对象1110。因此，作为在图11D中检测到的输入的结果，对象1108-14和1108-15的曲率已经增加，对象1108-13的形状/轮廓/曲率尚未改变，并且对象1108-14和/或1108-15相对于视点1116的取向已经改变(例如，已经变得相对于视点的法线更加平行)。
在一些实施方案中，计算机系统101响应于对象1110被移动到另一个对象或表面(例如，无论是物理的还是虚拟的)的阈值距离(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm或10cm)内而将对象1110对齐到该对象或表面。当将对象1110对齐到另一个对象或表面时，计算机系统101任选地基于对象或表面的曲率(或缺乏曲率)来显示没有曲率(例如，平坦的)或具有曲率(或平坦的)的对象1110。例如，在图11E中，计算机系统101检测手部1103a执行指向对象1110的空区的空中捏合输入，之后是手部1103a以捏合手部形状远离用户移动。作为响应，如图11F中所示，计算机系统101将对象1110远离视点1116移动与手部1103a远离用户的移动的量值对应的量。计算机系统101任选地不响应于图11E中的输入而缩放三维环境1104中的对象1110。手部1103a从图11E到图11F的远离用户的移动足以将对象1110移动到计算机系统101所位于的物理房间的后壁的阈值距离内。因此，如图11F中所示，计算机系统101已经将对象1110对齐到物理房间的后壁，并且正在显示没有曲率和/或具有基于墙壁的曲率的曲率的对象1110。因此，作为在图11E中检测到的输入的结果，对象1108-14和1108-15的曲率已经减小(例如，减小到零)，对象1108-13的形状/轮廓/曲率尚未改变，并且对象1108-14和/或1108-15相对于视点1116的取向已经改变(例如，已经变得相对于视点的法线更加垂直)。图11F中的对象1110的曲率任选地小于图11D和图11E中的对象1110的曲率。
图12A至图12L是示出根据一些实施方案的在三维环境中显示具有曲率的容器虚拟对象的方法1200的流程图。在一些实施方案中，方法1200在计算机系统(例如，图1中的计算机系统101，诸如平板设备、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1200在与显示生成部件(例如，120)和一个或多个输入设备通信的计算机系统(例如，101)处执行。在一些实施方案中，计算机系统与上文参考方法800和/或1000描述的计算机系统相同或类似。在一些实施方案中，一个或多个输入设备与上文参考方法800和/或1000描述的一个或多个输入设备相同或类似。在一些实施方案中，显示生成部件与上文参考方法800和/或1000描述的显示生成部件相同或类似。
在一些实施方案中，计算机系统经由显示生成部件显示(1202a)第一虚拟对象，诸如对象1110，该第一虚拟对象是三维环境中的第一位置处的虚拟对象，该虚拟对象包括第二对象，诸如三维环境1104中的其他对象(例如，不同的虚拟对象或物理对象)。在一些实施方案中，三维环境具有方法800和/或1000的三维环境的特性中的一个或多个特性。在一些实施方案中，第一对象包括或包含一个或多个对象，诸如参考方法800和/或1000描述的虚拟对象或用户界面对象。在一些实施方案中，第一虚拟对象是具有如下所述的动态曲率的虚拟对象。
在一些实施方案中，当在三维环境中显示第一虚拟对象时，计算机系统经由一个或多个输入设备接收(1202b)与将第一虚拟对象从三维环境中的第一位置移动到与第一位置不同的第二位置的请求对应的第一输入，诸如来自图11D中的手部1103a的输入(在一些实施方案中，参考方法800描述的第一输入和/或其他输入是或包括空中手势输入)。在一些实施方案中，计算机系统响应于计算机系统检测到用户的手部执行选择第一虚拟对象的手势并且检测到用户的手部移动到物理环境中的与第二位置对应的位置，同时第一虚拟对象仍正由用户的手部选择而检测到将第一虚拟对象从第一位置移动到第二位置的请求。例如，计算机系统响应于计算机系统检测到用户的手部通过执行如上文所述的捏合手势来选择第一虚拟对象(任选地，同时用户的注意力被指向第一虚拟对象)并且检测到用户的手部移动到物理环境中的与第二位置对应的位置，同时维持捏合手势而接收将第一虚拟对象从第一位置移动到第二位置的请求。在一些实施方案中，计算机系统响应于计算机系统检测到用户的手部正在经由计算机系统的触摸屏(例如，如果显示生成部件是触摸屏)上的拖动/移动手势来移动第一虚拟对象而接收将第一虚拟对象从第一位置移动到第二位置的请求。
在一些实施方案中，响应于接收到第一输入(1202c)，计算机系统在三维环境中的第二位置处显示(1202d)第一虚拟对象(例如，并且停止第一虚拟对象在第一位置处的显示)，包括根据确定三维环境中的第二位置与三维环境中的第二对象对应(例如，第一虚拟对象在距第二对象的阈值距离内、对齐到该第二对象、以及/或者相对于该第二对象具有预定义位姿)，诸如将对象1110移动到图11F中的三维环境1104中的后壁的输入(例如，第一虚拟对象在距第二对象的第一部分(例如，表面)的阈值距离内，诸如锚定/对齐到用户的物理环境中的物理对象的表面(诸如墙壁或桌子的表面)和/或三维环境中的虚拟对象的表面)，经由显示生成部件以第一曲率量显示第一虚拟对象(1202e)，诸如图11F中的对象1110的曲率量(或缺乏曲率量)。例如，如果计算机系统正在显示“对齐”或“锚定”到相应对象的第一部分的第一虚拟对象，则正以与相应对象的第一部分的曲率对应的曲率显示第一虚拟对象(例如，如果相应对象的第一部分不具有曲率(例如，是平坦的)，则第一虚拟对象不具有曲率(例如，是平坦的)，并且/或者如果相应对象的第一部分具有1度、2度、3度、4度或10度的曲率，则第一虚拟对象具有1度、2度、3度、4度或10度的曲率)。在一些实施方案中，相应对象包括上述第一部分(例如，顶表面)、第二部分(例如，底表面)、和第三部分(例如，侧表面)，并且响应于计算机系统检测到分别在相应对象的第一部分、第二部分或第三部分的阈值距离(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm、10cm、20cm、30cm或50cm)内移动第一虚拟对象的请求，第一虚拟对象变为锚定到第一部分、第二部分或第三部分中的任一者。当第一虚拟对象锚定到相应对象的第二部分时，如果相应的第一部分和第二部分与不同曲率量对应，则任选地以与当第一虚拟对象锚定到相应对象的第一部分时的情况不同的曲率量显示第一虚拟对象。类似地，当第一虚拟对象锚定到相应对象的第三部分时，如果相应对象的第三部分具有与相应对象的第一部分和/或第二部分的曲率不同的曲率，则任选地以与当第一虚拟对象锚定到相应对象的第一部分和/或第二部分时的情况不同的曲率量显示第一虚拟对象。在一些实施方案中，如果第一虚拟对象“对齐”或“锚定”到相应对象的第一部分，则第一虚拟对象的取向与相应对象的第一部分的取向对应。
在一些实施方案中，根据确定三维环境中的第二位置不与三维环境中的第二对象对应(例如，第一对象不在距三维环境和/或物理环境中的任何对象的阈值距离内、不对齐到三维环境和/或物理环境中的任何对象、以及/或者相对于三维环境和/或物理环境中的任何对象不具有预定义位姿——任选地，第二位置不与三维环境和/或物理环境中的任何对象对应)，诸如对象1110在图11E中移动到的位置，经由显示生成部件以与第一曲率量不同的第二曲率量显示第一虚拟对象(1202f)，诸如在图11E中显示对象1110的曲率。例如，如果第一虚拟对象向三维环境中的第二位置的移动不致使第一虚拟对象被“对齐”或“锚定”到计算机系统的三维或物理环境中的相应对象或任何其他对象(例如，没有在第二对象的阈值距离(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm、10cm、20cm、30cm或50cm)内移动)，则计算机系统以与在第一虚拟对象已经锚定/对齐到计算机系统的三维或物理环境中的相应对象的情况不同的曲率量显示第一虚拟对象。在一些实施方案中，当正以第二曲率量显示第一虚拟对象时，第一虚拟对象具有非零曲率量(例如，是不平坦的)。在一些实施方案中，当第一虚拟对象向三维环境中的第二位置的移动不致使第一虚拟对象被锚定/对齐到计算机系统的三维或物理环境中的表面时，第一虚拟对象具有任选地基于三维环境中的用户的数量和/或用户在三维环境中的位置的曲率量，如下面将更详细地描述的。在一些实施方案中，当第一虚拟对象未锚定/对齐到计算机系统的三维或物理环境中的特定对象时，与当第一虚拟对象锚定/对齐到计算机系统的三维或物理环境中的特定对象时的情况相比，计算机系统以更高程度的曲率显示第一虚拟对象。基于第一虚拟对象是否对齐到计算机系统的三维环境或物理环境中的对象来以不同的曲率量显示第一虚拟对象使得计算机系统以适当的曲率量自动显示第一虚拟对象。
在一些实施方案中，第一位置与三维环境中的第三对象对应(例如，以第二位置与第二对象对应的相同或类似的方式)，诸如如果在图11D中，对象1110已经对齐到三维环境1104的另一个墙壁，并且当检测到第一输入时在第一位置处以第一曲率量显示第一虚拟对象(1204)，诸如如果在图11D中在没有曲率的情况下显示了对象1110(例如，当第二位置与第二对象对应时，以相同或类似的方式在第二位置处显示第一虚拟对象)。例如，当检测到第一输入时，第一虚拟对象对齐到表面和/或对象。在第一位置处以第一曲率量显示第一虚拟对象提供了第一虚拟对象对齐到三维环境中的另一个对象的反馈。
在一些实施方案中，当接收到第一输入时并且当在除第一位置和第二位置之外的第三位置(例如，第三位置不与三维环境中的任何对象对应)处显示第一虚拟对象时，以第二曲率量显示第一虚拟对象(1206)，诸如如果对象1110在其正在图11D与图11E之间和/或图11E与图11F之间移动时具有第二曲率量(例如，当第二位置不与第二对象对应时，以相同或类似的方式在第二位置处显示第一虚拟对象)。例如，当第一虚拟对象正在三维环境中的空的空间中移动时(例如，当在两个不同表面之间移动时)，以第二曲率量显示第一虚拟对象。当第一虚拟对象远离第一位置移动时，计算机系统任选地将第一虚拟对象的曲率更新为第二曲率。在第三位置处以第二曲率量显示第一虚拟对象提供了第一虚拟对象在其被移动时未对齐到三维环境中的另一个对象的反馈。
在一些实施方案中，第一位置不与三维环境中的对象对应(例如，第一位置是三维环境中的空的空间)，诸如在图11D或图11E中，并且当检测到第一输入时在第一位置处以第二曲率量显示第一虚拟对象(1208)，诸如在图11D或图11E中(例如，当第二位置不与第二对象对应时，以相同或类似的方式在第二位置处显示第一虚拟对象)。例如，第一虚拟对象任选地维持第二曲率，直至到达第二位置，并且如果第二位置与第二对象对应，则计算机系统将第一虚拟对象对齐到第二对象并且将第一虚拟对象的曲率更新为第二曲率。当检测到第一输入时以第二曲率量显示第一虚拟对象提供了当接收到第一输入时第一虚拟对象未对齐到三维环境中的另一个对象的反馈。
在一些实施方案中，第一位置与能够从中看见三维环境的用户的视点(例如，计算机系统显示三维环境和/或使三维环境可见的视点，包括第一虚拟对象和第二对象)相距第一距离，并且第二位置与用户的视点相距第一距离(1210)，诸如如果对象1110距图11F中的视点1116的距离与其在将对象1110移动到三维环境1104中的房间的后壁的输入的开始时的距离相同。因此，在一些实施方案中，第一位置和第二位置两者与用户的视点的距离相同。在一些实施方案中，第一虚拟对象的曲率(下面描述的其他因素是相等的)是基于第一虚拟对象距用户的视点的距离，并且对于相同距离是相同曲率，即使第一虚拟对象相对于用户的视点的相对位置是不同的(例如，视点的相对左侧相较于视点的相对右侧)也是如此。因此，对于距用户的视点的给定距离，第一虚拟对象的曲率差异任选地指示与第一虚拟对象相关的其他相关因素(例如，该第一虚拟对象是否对齐到另一个对象、查看第一虚拟对象的用户的数量、和/或第一虚拟对象对其可访问的用户的数量、和/或三维环境/第一虚拟对象与其同时共享的用户的数量等，如下所述)。根据第一虚拟对象的位置是否与另一个对象对应来针对距用户的视点的给定距离以不同曲率显示第一虚拟对象提供了关于第一虚拟对象是否对齐到三维环境中的另一个对象的反馈。
在一些实施方案中，当第一虚拟对象处于三维环境中的相应位置处时，在相应位置处显示第一虚拟对象包括(1212a)根据确定第一虚拟对象处于由包括计算机系统的用户的第一数量的用户同时共享的三维环境中(诸如共享图11A中的三维环境1104的两个用户)(例如，计算机系统参与同与至少一个其他用户相关联的至少一个其他计算机系统的通信会话。在一些实施方案中，作为通信会话的一部分，第一虚拟对象由计算机系统和一个或多个其他计算机系统显示或能够由其显示。在一些实施方案中，作为通信会话的一部分，第一虚拟对象能够由计算机系统的用户以及与其他计算机系统相关联的一个或多个其他用户交互)，以第三曲率量显示第一虚拟对象(1212b)，诸如图11A中的对象1110的曲率(例如，与第一曲率量相同、与第二曲率量相同、或与第一曲率量和第二曲率量不同)。
在一些实施方案中，根据确定第一虚拟对象处于由包括计算机系统的用户的与第一数量的用户不同的第二数量的用户同时共享的三维环境中(诸如共享图11B中的三维环境1104的三个用户)，以与第三曲率量不同的第四曲率量显示第一虚拟对象(1212c)，诸如图11B中的对象1110的曲率。在一些实施方案中，在本文所述的其他因素相同的情况下，第一虚拟对象和/或三维环境与其同时共享的用户越多，计算机系统显示第一虚拟对象的曲率就越小，从而便于更多用户查看第一虚拟对象和/或与第一虚拟对象交互。类似地，在本文所述的其他因素相同的情况下，第一虚拟对象和/或三维环境与其同时共享的用户越少，计算机系统显示第一虚拟对象的曲率就越大，从而将查看第一虚拟对象和/或与第一虚拟对象的交互集中到更少数量的用户。基于三维环境/第一虚拟对象与其共享的用户的数量来以不同曲率显示第一虚拟对象使得计算机系统自动地便于相关用户查看第一虚拟对象或与第一虚拟对象交互。
在一些实施方案中，当第一虚拟对象处于三维环境中的相应位置处时，在相应位置处显示第一虚拟对象包括(1214a)根据确定正同时共享三维环境(例如，根据如先前所描述的通信会话)的第一用户(例如，计算机系统的用户，或通信会话中的另一个计算机系统的用户)的视点是第一视点，诸如图11B中所示的用户的视点(例如，在三维环境中的特定位置处，诸如相对于第一虚拟对象的位置的特定位置，包括相对取向或相对距离中的一者或多者)，以第三曲率量显示第一虚拟对象(1214b)，诸如图11B中的对象1110的曲率(例如，与第一曲率量相同、与第二曲率量相同、或与第一曲率量和第二曲率量不同)。在一些实施方案中，根据确定正同时共享三维环境的第一用户的视点是与第一视点不同的第二视点(例如，在三维环境中的不同特定位置或相对位置处)，诸如如果图11B中所示的用户的视点不同，则以与第三曲率量不同的第四曲率量显示第一虚拟对象(1214c)，诸如对象1110的与图11B中所示的不同的曲率。在一些实施方案中，在本文所述的其他因素相同的情况下，查看第一虚拟对象和/或与第一虚拟对象交互的用户的位置有助于第一虚拟对象的不同曲率，从而便于那些用户查看第一虚拟对象和/或与第一虚拟对象交互。例如，如果用户通常以第一虚拟对象为中心，则计算机系统任选地以更大曲率显示第一虚拟对象，并且如果用户通常偏离第一虚拟对象的中心，则计算机系统任选地以更小曲率显示第一虚拟对象。在一些实施方案中，用户的位置越偏离中心，显示第一虚拟对象的曲率就越小。在一些实施方案中，当在三维环境中放置和/或移动第一虚拟对象时，基于当放置和/或移动第一虚拟对象时正同时共享第一虚拟对象的用户的平均位置来设置第一虚拟对象的曲率。在一些实施方案中，第一虚拟对象的曲率在针对第一虚拟对象设置这种曲率之后不改变，即使那些用户随后相对于第一虚拟对象移动也是如此，除非和/或直到再次放置或移动第一虚拟对象。在一些实施方案中，当(任选地，无论何时)用户加入第一虚拟对象的共享或用户停止参与第一虚拟对象的共享时，基于第一虚拟对象与其共享的用户的(例如，平均)位置来更新第一虚拟对象的曲率。基于三维环境/第一虚拟对象与其共享的用户的位置来以不同曲率显示第一虚拟对象使得计算机系统自动地便于相关用户查看第一虚拟对象或与第一虚拟对象交互。
在一些实施方案中，当第一虚拟对象处于三维环境中的相应位置处时，在相应位置处显示第一虚拟对象包括(1216a)根据确定正同时共享三维环境(例如，根据如先前所描述的通信会话)的第一用户(例如，计算机系统的用户，或通信会话中的另一个计算机系统的用户)的视点与第一虚拟对象相距第一距离(诸如图11D中所示的对象1110距用户视点的距离)，以第三曲率量显示第一虚拟对象(1216b)，诸如图11D中的对象1110的曲率(例如，与第一曲率量相同、与第二曲率量相同、或与第一曲率量和第二曲率量不同)。在一些实施方案中，根据确定正同时共享三维环境的第一用户的视点与第一虚拟对象相距与第一距离不同的第二距离(诸如图11E中所示的对象1110距用户视点的距离)，以与第三曲率量不同的第四曲率量显示第一虚拟对象(1216c)，诸如图11E中的对象1110的曲率。在一些实施方案中，在本文所述的其他因素相同的情况下，查看第一虚拟对象和/或与第一虚拟对象交互的用户的距离有助于第一虚拟对象的不同曲率，从而便于那些用户查看第一虚拟对象和/或与第一虚拟对象交互。例如，用户离第一虚拟对象越近，计算机系统任选地以更大曲率显示第一虚拟对象，并且用户离第一虚拟对象越远，计算机系统任选地以更小曲率显示第一虚拟对象。在一些实施方案中，当在三维环境中放置和/或移动第一虚拟对象时，基于当放置和/或移动第一虚拟对象时正同时共享第一虚拟对象的用户的平均距离来设置第一虚拟对象的曲率。在一些实施方案中，第一虚拟对象的曲率在针对第一虚拟对象设置这种曲率之后不改变，即使那些用户随后相对于第一虚拟对象移动也是如此，除非和/或直到再次放置或移动第一虚拟对象。在一些实施方案中，当(任选地，无论何时)用户加入第一虚拟对象的共享或用户停止参与第一虚拟对象的共享时，基于第一虚拟对象与其共享的用户的(例如，平均)距离来更新第一虚拟对象的曲率。基于第一虚拟对象与其共享的用户的距离来以不同曲率显示第一虚拟对象使得计算机系统自动地便于相关用户查看第一虚拟对象或与第一虚拟对象交互。
在一些实施方案中，第二对象是计算机系统的物理环境中的物理对象(例如，墙壁、桌子、门、窗、梳妆台或任何其他物理对象)(1218)，诸如三维环境1104的后壁。因此，在一些实施方案中，第一虚拟对象可对齐到三维环境中的物理对象(的表面)，这致使第一虚拟对象的曲率改变(例如，与物理对象(的表面)的曲率匹配或对应。如先前所描述，在一些实施方案中，物理对象经由被动透传经由三维环境中的显示生成部件(例如，经由半透明或透明显示生成部件)可见。在一些实施方案中，物理对象经由主动透传经由三维环境中的显示生成部件可见和/或显示(例如，计算机系统捕获物理对象的一个或多个图像并且在三维环境中显示物理对象的真实或其他表示)。允许第一虚拟对象对齐到物理对象向用户提供了与三维环境中的对象的一致交互，而不管对象是物理对象还是虚拟对象。
在一些实施方案中，第一虚拟对象包括作为二维对象(例如，在三维环境中不具有厚度或具有小于阈值量(诸如0.01cm、0.05cm、0.1cm、0.3cm、0.5cm、1cm、3cm、5cm或10cm)的厚度的对象，以与三维对象(诸如汽车或建筑物的三维模型)相区分，如下面所引用的)的第二虚拟对象(例如，第二虚拟对象被包含在第一虚拟对象内和/或已经以与参考第一虚拟对象对齐到第二对象所描述的相同或类似的方式对齐到第一虚拟对象)，并且当第一虚拟对象具有第一曲率时，第二虚拟对象具有与第一曲率对应的第三曲率(1220)，诸如图11D中的对象1110中所包括的对象1108-14的曲率(例如，与第一曲率相同或基于第一曲率)。在一些实施方案中，第一虚拟对象中所包括的二维对象的曲率是基于第一虚拟对象的曲率的。在一些实施方案中，如果计算机系统要检测从第一虚拟对象移除第二虚拟对象的输入，则计算机系统将从第一虚拟对象移除第二虚拟对象，并且第二虚拟对象的曲率将与第三曲率不同(例如，将不具有曲率，或将具有不基于第一虚拟对象的曲率的、第二虚拟对象固有的曲率)。使二维对象的曲率基于第一虚拟对象的曲率提供了二维对象被包括在第一虚拟对象中的反馈。
在一些实施方案中，当第一虚拟对象具有第二曲率时，第二虚拟对象具有与第三曲率不同的第四曲率，其中第四曲率与第二曲率对应(1222)，诸如图11E中的对象1110中所包括的对象1108-14的曲率。在一些实施方案中，第一虚拟对象中所包括的二维对象的曲率随着第一虚拟对象的曲率的改变而改变。例如，响应于增大或减小第一虚拟对象的曲率的输入，第一虚拟对象的曲率和第一虚拟对象中所包括的二维对象的曲率根据输入而分别增大或减小。在一些实施方案中，二维对象的曲率与第一虚拟对象的曲率相同或对应。随着第一虚拟对象的曲率的改变而改变二维对象的曲率提供了二维对象被包括在第一虚拟对象中的反馈。
在一些实施方案中，第一虚拟对象包括作为三维对象(例如，在三维环境中具有大于阈值量(诸如0.01cm、0.05cm、0.1cm、0.3cm、0.5cm、1cm、3cm、5cm或10cm)的厚度的对象，以与二维对象(诸如上述二维对象)相区分)的第二虚拟对象(例如，第二虚拟对象被包含在第一虚拟对象内和/或已经以与参考第一虚拟对象对齐到第二对象所描述的相同或类似的方式对齐到第一虚拟对象)，并且不以基于第一虚拟对象的曲率的曲率来显示第二虚拟对象(1224)，诸如对象1108-13的形状、轮廓等不基于对象1110的曲率和/或不在图11D与图11E之间改变。在一些实施方案中，第一虚拟对象中所包括的三维对象的形状或曲率不是基于第一虚拟对象的曲率的。例如，三维对象的形状(例如，汽车的模型、建筑物的模型等)任选地是那些对象所固有的，并且不基于第一虚拟对象的曲率而改变(例如，不随着第一虚拟对象的曲率的改变而改变)。在一些实施方案中，第一虚拟对象中所包括的三维对象与第一虚拟对象在视觉上分开/偏移阈值量(例如，0.1cm、0.3cm、0.5cm、1cm、3cm、5cm、10cm或20cm)。在一些实施方案中，如果计算机系统要检测从第一虚拟对象移除第二虚拟对象的输入，则计算机系统将从第一虚拟对象移除第二虚拟对象，并且第二虚拟对象的形状和/或曲率将保持相同。将三维对象形状维持为独立于第一虚拟对象的曲率提供了对象是三维对象的反馈。
在一些实施方案中，计算机系统与第一虚拟对象同时地显示(1226)用户界面元素(例如，工具选项板)，该用户界面元素包括能够被选择以执行与第一虚拟对象相关联的操作的一个或多个可选择选项，诸如元素1112(例如，能够被选择以执行诸如剪切操作、拷贝操作、粘贴操作、重新设定大小操作、或选择操作的操作的一个或多个可选择选项，诸如参考方法800和/或1000描述的)，其中不以基于第一虚拟对象的曲率的曲率来显示用户界面元素，诸如经由图11A至图11G中的元素1112所示。例如，类似于上述三维对象，工具选项板的形状或曲率不是基于第一虚拟对象的曲率的。在一些实施方案中，工具选项板被包括在第一虚拟对象中(例如，类似于先前描述的二维和三维对象)。在一些实施方案中，工具选项板与第一虚拟对象分开、在三维环境中与工具选项板分开的位置处显示。将工具选项板形状维持为独立于第一虚拟对象的曲率促进与工具选项板的一致交互，而不管第一虚拟对象的曲率如何。
在一些实施方案中，计算机系统与第一虚拟对象同时地显示(1228)用户界面元素(例如，上述工具选项板)，该用户界面元素包括能够被选择以执行与第一虚拟对象相关联的操作的一个或多个可选择选项，诸如元素1112(例如，与工具选项板相关联的上述操作)，其中以基于第一虚拟对象的曲率的曲率来显示用户界面元素，诸如如果以基于对象1110的曲率的曲率来显示元素1112。例如，类似于上述二维对象，工具选项板的形状或曲率是基于第一虚拟对象的曲率的和/或基于第一虚拟对象的曲率的变化而改变。在一些实施方案中，工具选项板被包括在第一虚拟对象中(例如，类似于先前描述的二维和三维对象)。在一些实施方案中，工具选项板与第一虚拟对象分开、在三维环境中与工具选项板分开的位置处显示。以基于第一虚拟对象的曲率的曲率来显示工具选项板指示工具选项板和/或工具选项板中所包括的可选择选项与第一虚拟对象相关联。
在一些实施方案中，用户界面元素不被包含在第一虚拟对象中(1230)，诸如经由图11A至图11G中的元素1112所示。例如，任选地在三维环境中与第一虚拟对象的位置不同的位置处显示工具选项板。在一些实施方案中，工具选项板可在三维环境中与第一虚拟对象分开地移动。在一些实施方案中，与被包括在第一虚拟对象中的二维或三维虚拟对象相比，在与第一虚拟对象的不同间隔和/或相对位置处显示工具选项板。与第一虚拟对象分开地显示工具选项板促进与工具选项板的个性化放置或交互。
在一些实施方案中，第一虚拟对象与可选择选项(诸如图11A中所示的选项1121(例如，在第一虚拟对象的右下角、在第一虚拟对象的边界内、或在第一虚拟对象的边界之外显示的可选择选项))相关联地显示(1232a)，该可选择选项能够被选择以发起改变第一虚拟对象的大小的过程。在一些实施方案中，当显示第一虚拟对象和可选择选项时，其中第一虚拟对象具有第一大小(例如，在呈矩形形状(不论是否弯曲)的第一虚拟对象的情况下为第一面积、第一宽度、和/或第一高度)，计算机系统经由一个或多个输入设备检测(1232b)第二输入，该第二输入包括由计算机系统的用户的相应部分(例如，手部)执行的相应手势，同时用户的注意力(例如，注视)被指向可选择选项，之后是用户的相应部分在处于相应位姿时的移动，诸如来自图11A中的手部1103a的输入。例如，第二输入是参考方法800描述的捏合并拖动输入(例如，空中手势)。
在一些实施方案中，响应于检测到第二输入，计算机系统基于第二输入来显示(1232c)具有与第一大小不同的第二大小的第一虚拟对象，诸如图11G中所示。例如，可选择选项朝向第一虚拟对象的水平和/或垂直中心的移动任选地致使第一虚拟对象基于此移动的量而在大小上减小(例如，移动越多，大小的减小就越多)，并且可选择选项远离第一虚拟对象的水平和/或垂直中心的移动任选地致使第一虚拟对象基于此移动的量而在大小上增大(例如，移动越多，大小的增大就越多)。在一些实施方案中，可选择选项的移动与用户的相应部分的移动相关，诸如参考在方法800中基于用户的手部的移动来移动对象描述的。在一些实施方案中，如所描述的重新设定第一虚拟对象的大小不会致使第一虚拟对象中所包括的虚拟对象在大小上改变(例如，它们保持在其当前大小)。在检测到捏合并拖动输入的结束时(例如，在检测到做出捏合手部形状的手指远离彼此移动时)，第一虚拟对象的大小不再由用户的手部的移动控制。在一些实施方案中，这里引用的第一虚拟对象的大小是第一虚拟对象在三维环境中的大小(例如，第一虚拟对象相对于三维环境的大小)。经由显示生成部件显示第一虚拟对象的大小(例如，由第一虚拟对象消耗的用户的视野的量)任选地基于第一虚拟对象相对于三维环境的大小，并且基于第一虚拟对象相对于用户的视点的相对位置的变化而改变(例如，随着视点的移动和/或随着第一虚拟对象的移动)。在一些实施方案中，第一虚拟对象相对于三维环境的大小不基于第一虚拟对象相对于用户的视点的相对位置的变化而改变。如所描述的重新设定第一虚拟对象的大小减少了重新设定第一虚拟对象的大小所需的输入的数量。
在一些实施方案中，具有第一大小的第一虚拟对象具有沿着第一方向的第一尺寸(例如，第一虚拟对象沿着垂直轴的高度)和沿着第二方向的第二尺寸(1234a)(例如，第一虚拟对象沿着水平轴的宽度)，诸如图11A中的对象1110的高度和宽度。在一些实施方案中，响应于检测到第二输入(1234b)，根据确定用户的相应部分的移动是在第二方向上的(例如，可选择选项向左或向右的移动或在向左或向右的阈值角度(诸如0.5度、1度、5度、10度、20度或30度)内的移动)，具有第二大小的第一虚拟对象具有沿着第一方向的第一尺寸(例如，第一虚拟对象的高度不改变)和沿着第二方向的与第二尺寸不同的第三尺寸(1234c)，诸如经由图11G中的对象1110所示(例如，仅第一虚拟对象的宽度响应于用户的相应部分的向左或向右移动而改变)。在一些实施方案中，第一虚拟对象的宽度的改变量是基于用户的相应部分的移动量的，如先前所描述。在一些实施方案中，第一虚拟对象的高度不响应于用户的相应部分在第二方向上的移动而改变(并且任选地不能改变)。在一些实施方案中，第一虚拟对象的高度不是响应于指向可选择选项的输入或以其他方式来重新设定大小的。如所描述的重新设定第一虚拟对象的一个尺寸的大小有利于对第一虚拟对象的受控的重新设定大小。
在一些实施方案中，响应于检测到第二输入(1236a)，根据确定用户的相应部分的移动是在第一方向上的(例如，可选择选项向上或向下的移动或在向上或向下的阈值角度(诸如0.5度、1度、5度、10度、20度或30度)内的移动)，诸如如果来自图11A至图11G的手部1103a的输入改为包括手部1103a的向上或向下的移动，则具有第二大小的第一虚拟对象具有沿着第一方向的与第一尺寸不同的第四尺寸和沿着第二方向的与第二尺寸不同的第五尺寸(1236b)，诸如如果对象1110在高度和宽度两者上从图11A缩放到图11G。例如，第一虚拟对象的高度和宽度两者任选地响应于用户的相应部分的向上或向下移动而改变。在一些实施方案中，向上移动使得高度和宽度增加(或在一些实施方案中，减小)，并且向下移动使得高度和宽度减小(或在一些实施方案中，增加)。在一些实施方案中，第一虚拟对象的高度和宽度的改变量是基于用户的相应部分的移动量的，如先前所描述。在一些实施方案中，第一虚拟对象的高度与宽度的比例响应于用户的相应部分的向上或向下移动而保持恒定。如所描述的重新设定第一虚拟对象的两个尺寸的大小有利于对第一虚拟对象的灵活的重新设定大小。
在一些实施方案中，第一虚拟对象包括第二虚拟对象(1238a)(例如，如先前所描述的二维或三维对象)，并且根据确定第二虚拟对象的第一部分与第一虚拟对象的第一边界具有第一空间关系(例如，第二对象的第一部分与第一虚拟对象的上边界或下边界相距特定距离)，经由显示生成部件以具有第一值的相应视觉特性来显示第二虚拟对象的第一部分(1238b)，诸如计算机系统101将显示对象1108-1的正在接近和/或延伸超过图11A中的对象1110的底部边界的部分的方式(例如，以特定颜色、强度、亮度、不透明度或模糊性显示第二对象的第一部分)。在一些实施方案中，根据确定第二虚拟对象的第一部分与第一虚拟对象的与第一边界不同的第二边界具有第一空间关系(例如，第二对象的第一部分与第一虚拟对象的左侧或右侧边界相距特定距离)，经由显示生成部件以具有与第一值不同的第二值的相应视觉特性来显示第二虚拟对象的第一部分(1238c)，诸如计算机系统101显示对象1108-7的正在接近和/或延伸超过图11A中的对象1110的右边界的部分的方式(例如，以不同颜色、强度、亮度、不透明度或模糊性显示第二对象的第一部分)。例如，在一些实施方案中，以全色、强度、亮度、不透明度或无模糊性来显示第一虚拟对象的顶部或底部边界附近的虚拟对象或虚拟对象的部分，而与距顶部或底部边界的距离无关(例如，诸如经由那些边界处的硬切除未显示悬挂在第一虚拟对象的顶部或底部边界之外或上方的虚拟对象的任何部分)。相比之下，随着虚拟对象的部分更靠近第一虚拟对象的左边界或右边界，任选地以越来越少的颜色、强度、亮度、和/或不透明度、和/或越来越高的模糊性来显示那些部分。在一些实施方案中，虚拟对象相对于上述边界的相对放置响应于用于相对于第一虚拟对象移动那些虚拟对象的输入而改变(例如，如参考方法800所描述的)。在一些实施方案中，虚拟对象相对于上述边界的相对放置响应于用于重新设定第一虚拟对象的大小的输入而改变，如上所述，这任选地使第一虚拟对象的边界更靠近或更远离第一虚拟对象中所包括的虚拟对象。根据虚拟对象的部分是接近上/下边界还是左/右边界来以不同方式显示那些部分指示第一虚拟对象可滚动的方向(例如，诸如参考方法800描述的)。
在一些实施方案中，计算机系统经由一个或多个输入设备检测(1240a)与将第二虚拟对象放置在第一虚拟对象中的相应位置处的请求对应的第二输入，诸如将对象1108-7放置在图11A中的对象1110中的输入。例如，如参考方法800和/或1000所描述的捏合并拖动输入，同时用户的注意力被指向第二虚拟对象。当第二虚拟对象处于第一虚拟对象中的相应位置处时，计算机系统任选地检测捏合并拖动输入的结束(例如，做出捏合手部形状的手指分开)。在一些实施方案中，计算机系统在第二虚拟对象处于第一虚拟对象的如上所述的对齐阈值距离内时检测到捏合并拖动输入的结束。在一些实施方案中，当检测到第二输入时，第二虚拟对象已经被包括在第一虚拟对象中和/或对齐到第一虚拟对象。在一些实施方案中，当检测到第二输入时，第二虚拟对象未被包括在第一虚拟对象中和/或对齐到第一虚拟对象。
在一些实施方案中，响应于检测到第二输入(1240b)，根据确定第二虚拟对象在相应位置处的放置将使得第二虚拟对象的至少一部分延伸超过第一虚拟对象的第一边界(例如，如上所述，第一虚拟对象的上边界或下边界)，诸如如果放置图11A中的对象1108-7的输入要将其放置成使得它延伸超过对象1110的底部边界，则计算机系统在第一虚拟对象中的与相应位置不同的第二相应位置处显示(1240c)第二虚拟对象，其中当在第二相应位置处显示时，第二虚拟对象不延伸超过第一虚拟对象的第一边界。例如，计算机系统将第二虚拟对象的位置朝向第一虚拟对象的中心偏移以避免第二虚拟对象延伸超过第一边界，诸如参考方法1000描述的。
在一些实施方案中，根据确定第二虚拟对象在相应位置处的放置将使得第二虚拟对象的至少一部分延伸超过第一虚拟对象的与第一虚拟对象的第一边界不同的第二边界(例如，第一虚拟对象的左边界或右边界)，诸如放置如图11A中所示的对象1108-7的输入，其中对象1108-7的右侧部分延伸超过对象1110的右边界，计算机系统在相应位置(诸如在图11A中显示对象1108-7的位置)处显示(1240d)第二虚拟对象。例如，计算机系统任选地允许第二虚拟对象悬挂在第二边界上方和/或超出第二边界并且不使第二虚拟对象的位置移位，诸如参考方法1000描述的。在一些实施方案中，计算机系统在视觉上使第二虚拟对象的进一步超出第二边界的部分比第二虚拟对象的不那么远远超出第二边界的部分更加不重要(例如，降低第二虚拟对象的部分的亮度、不透明度、颜色或强度、和/或增加第二虚拟对象的部分的模糊性)。不将第二虚拟对象的位置从第一虚拟对象的侧向边界偏移向用户提供第一虚拟对象可水平滚动以滚动到第一虚拟对象的其他部分的反馈，如参考方法800所描述的。
在一些实施方案中，当显示第一虚拟对象时，计算机系统经由一个或多个输入设备检测(1240a)第二输入，该第二输入包括由计算机系统的用户的相应部分执行的相应手势，之后是用户的相应部分在处于相应位姿时的移动，诸如从图11B到图11C的来自手部1103a的输入(例如，如参考方法800、1000和/或1200所描述的捏合并拖动输入(例如，捏合并拖动空中手势)，同时用户的注意力被指向第一虚拟对象的不包括第一虚拟对象中所包括的虚拟对象和/或与第一虚拟对象中所包括的虚拟对象对应的部分)。在一些实施方案中，响应于检测到第二输入，计算机系统根据用户的相应部分的移动来滚动(1240b)通过第一虚拟对象，诸如相对于从图11B到图11C的对象1110所示。例如，基于用户的相应部分的移动的方向和/或量值来滚动第一虚拟对象，诸如参考方法800描述的。基于用户的相应部分的移动来滚动第一虚拟对象减少了滚动通过第一虚拟对象所需的输入的数量。
在一些实施方案中，当显示第一虚拟对象时，其中第一虚拟对象包括具有第一视觉特性的第二虚拟对象(例如，第二虚拟对象被包含在第一虚拟对象内和/或已经以与参考第一虚拟对象对齐到第二对象所描述的相同或类似的方式对齐到第一虚拟对象)，该第一视觉特性具有第一值(例如，特定级别的颜色、亮度、强度、不透明度、和/或模糊性)，计算机系统经由一个或多个输入设备检测(1242a)与滚动通过第一虚拟对象的请求对应的第二输入，诸如从图11B到图11C的来自手部1103a的输入(例如，诸如如上所述的捏合并拖动输入(例如，空中手势))，或包括用户的接触第一虚拟对象的表面并且在接触第一虚拟对象的表面时相对于第一虚拟对象向左或向右移动的手指(例如，食指)的直接输入交互的输入。在一些实施方案中，第二输入是用户的指向第一虚拟对象或滚动条持续长于时间阈值(例如，0.1秒、0.3秒、0.5秒、1秒、3秒、5秒、10秒或20秒)的一部分的注视，这任选地使得计算机系统滚动到第一虚拟对象或滚动条的注视部分。在一些实施方案中，当检测到第二输入(1242b)时(例如，当用户的手部正维持捏合手部形状作为滚动输入的一部分时)，计算机系统根据第二输入来滚动(1242c)通过第一虚拟对象，诸如从图11B到图11C所示(例如，如上所述，基于用户的手部的移动的方向和/或量值)。
在一些实施方案中，计算机系统以具有与第一值不同的相应值的第一视觉特性显示(1242d)第二虚拟对象，诸如经由图11C中的对象1108-9至1108-12的改变的视觉外观所示(例如，诸如通过降低颜色、亮度、强度、和/或不透明度的级别和/或增加模糊性来在视觉上削弱第二虚拟对象的重要性)。在一些实施方案中，当滚动输入结束时(例如，如上所述，用户的手部的移动停止和/或手部释放捏合手部形状)，计算机系统恢复到以具有第一值的第一视觉特性显示第二虚拟对象。在一些实施方案中，第一虚拟对象本身的视觉外观(例如，颜色、亮度、强度、不透明度、和/或模糊性)不基于和/或响应于滚动输入而改变。在一些实施方案中，第一虚拟对象是半透明的。在滚动期间在视觉上削弱第一虚拟对象中所包括的虚拟对象的重要性避免了对显示第一虚拟对象的环境的部分的遮挡。
在一些实施方案中，以具有与第一值不同的相应值的第一视觉特性显示第二虚拟对象包括(1244a)根据确定第二输入与第一滚动量(例如，第一滚动速度、第一滚动量值、和/或第一滚动加速度)对应，以具有第二值的第一视觉特性显示第二虚拟对象(1244b)。在一些实施方案中，根据确定第二输入与第二滚动量(例如，第二滚动速度、第二滚动量值、和/或第二滚动加速度)对应，以具有与第二值不同的第三值的第一视觉特性来显示第二虚拟对象(1244c)，诸如如果基于与来自手部1103a的输入对应的滚动量来以不同视觉外观显示图11C中的对象1108-9至1108-12。在一些实施方案中，滚动量越大，第二虚拟对象在视觉上就被削弱得越多，而滚动量越小，第二虚拟对象在视觉上就被削弱得越少。基于滚动量在视觉上削弱第一虚拟对象中所包括的虚拟对象的重要性避免了对以适合于滚动程度的方式显示第一虚拟对象的环境的部分的遮挡。
在一些实施方案中，在第一虚拟对象的背景元素前面显示第二虚拟对象(1246a)(例如，第一虚拟对象的平面和/或背板和/或表面)，并且在检测到第二输入之前，以具有第三值的第二视觉特性显示背景元素(1246b)(例如，特定级别的颜色、亮度、强度、不透明度、和/或模糊性)。在一些实施方案中，当检测到第二输入时，以具有第三值的第二视觉特性显示背景元素(1246c)，诸如在图11A至图11G中利用相同视觉外观来显示对象1110的背景，而不考虑滚动通过对象1110(例如，特定级别的颜色、亮度、强度、不透明度、和/或模糊性)。因此，在一些实施方案中，第一虚拟对象本身的视觉外观不基于第一虚拟对象的滚动而改变。维持第一虚拟对象的视觉外观维持经由显示生成部件可见的环境的空间上下文。
在一些实施方案中，具有第三值的第二视觉特性与以至少某种半透明度显示的背景元素对应(1248)，诸如在图11A至图11G中以某种半透明度显示的对象1110的背景，而不考虑滚动通过对象1110(例如，使得环境的在第一虚拟对象后面的部分(例如，物理对象或虚拟对象)通过第一虚拟对象至少部分地可见)。以至少某种透明度显示第一虚拟对象提供了用户的环境的空间上下文。
在一些实施方案中，当检测到第二输入时，计算机系统经由显示生成部件显示(1250)滚动指示符，该滚动指示符指示滚动通过第一虚拟对象的进展，诸如滚动指示符1126。例如，显示具有当前滚动定位指示符的滚动条。任选地在滚动条内的定位处显示当前滚动定位指示符，该定位与第一虚拟对象内的当前滚动定位对应。在当前滚动定位在滚动期间改变时，当前滚动定位指示符任选地相应地在滚动条内移动。在一些实施方案中，不显示包括当前滚动定位指示符的滚动条，直到检测到如先前所描述的滚动输入。在一些实施方案中，在滚动输入之前和期间显示滚动条。显示滚动指示符有利于适当地滚动通过第一虚拟对象。
在一些实施方案中，当显示滚动指示符时，其中在第一呈现模式(诸如图11A至图11B中所示的滚动指示符1126的呈现模式)下显示滚动指示符(例如，在第一呈现模式下，滚动指示符是具有当前滚动定位指示符的滚动条，如上所述，并且滚动指示符不包括对第一虚拟对象的内容的指示或表示)，计算机系统经由一个或多个输入设备检测(1252a)第三输入，该第三输入包括用户的指向滚动指示符的注意力，诸如指向图11C中的滚动指示符1126的注视1124(例如，计算机系统检测用户的指向滚动条和/或当前滚动定位指示符的注视)。在一些实施方案中，响应于检测到第三输入，计算机系统在第二呈现模式下显示滚动指示符，包括在滚动指示符内显示(1252b)内容的第一表示，该内容的该第一表示在第一虚拟对象中的当前滚动定位处包括在第一虚拟对象中，内容的第一表示与当前显示在第一虚拟对象中的内容对应(1252c)，诸如滚动指示符1126如何在图11C至图11D中显示(例如，第一虚拟对象的当前显示在第一虚拟对象中的内容的部分的快照和/或预览)。在一些实施方案中，内容的第二表示在第一虚拟对象中的不同滚动定位处被包括在第一虚拟对象中，该不同滚动定位与当前滚动定位不同，并且该内容的该第二表示与当前未显示在第一虚拟对象中的内容对应(1252d)，诸如滚动指示符1126如何在图11C至图11D中显示(例如，第一虚拟对象的当前未显示在第一虚拟对象中的，但可响应于滚动到第一虚拟对象中的不同滚动定位而显示在第一虚拟对象中的内容的部分的快照和/或预览)。在一些实施方案中，第一表示和第二表示是比第一虚拟对象的与第一表示和第二表示对应的部分更小的标度/大小。显示第一虚拟对象的部分的表示有利于导航通过第一虚拟对象。
在一些实施方案中，第三输入包括处于与在第二呈现模式下显示滚动指示符相关联的相应状态(例如，就绪状态或捏合状态)(诸如图11C中的手部1103a的状态)的计算机系统的用户的相应部分(例如，手部)(1254)。要求用户的相应部分处于相应状态确保了存在用户滚动意图并且避免了无意的滚动操作。
在一些实施方案中，显示滚动指示符包括(1256a)根据确定第一虚拟对象中的当前滚动定位是第一滚动定位(例如，从第一虚拟对象的左端起滚动通过第一虚拟对象的路径的5％、10％、25％或40％)，在滚动指示符中显示指示第一滚动定位的定位指示符(1256b)，诸如在其在图11C中的位置处示出的定位指示符1130(例如，被显示为覆盖和/或围绕滚动条的部分和/或第一虚拟对象的与显示在25％滚动定位处的第一虚拟对象的内容对应的内容的预览或快照的框、轮廓、突出显示区域和/或其他指示符)。在一些实施方案中，根据确定第一虚拟对象中的当前滚动定位是与第一滚动定位不同的第二滚动定位(例如，从第一虚拟对象的左端起滚动通过第一虚拟对象的路径的60％、75％或90％)，在滚动指示符中显示指示第二滚动定位的定位指示符(1256c)，诸如在其在图11D中的位置处示出的定位指示符1130(例如，被显示为覆盖和/或围绕滚动条的部分和/或第一虚拟对象的与显示在60％、75％或90％滚动定位处的第一虚拟对象的内容对应的内容的预览或快照的框、轮廓、突出显示区域和/或其他指示符)。在一些实施方案中，定位指示符在视觉上将滚动条的与当前滚动定位对应的部分与滚动条的不与当前滚动定位对应的其他部分区分开。显示定位指示符减少了正确地滚动通过第一虚拟对象所需的输入的数量。
在一些实施方案中，当显示滚动指示符时，计算机系统经由一个或多个输入设备检测(1258a)指向滚动指示符的第三输入，该第三输入包括由计算机系统的用户的相应部分执行的相应手势，之后是用户的相应部分在处于相应位姿时的移动，诸如图11C中的来自手部1103a的指向指示符1126的输入(例如，如先前所描述的捏合并拖动输入(例如，空中手势)，任选地，同时用户的注意力被指向滚动指示符)。在一些实施方案中，第三输入必须被指向上述定位指示符；在一些实施方案中，第三输入可被指向滚动指示符的任何部分。在一些实施方案中，响应于检测到第三输入，计算机系统根据第三输入来滚动(1258b)通过第一虚拟对象，诸如将对象1110从图11C滚动到图11D。例如，根据用户的手部的移动的方向和/或量值来滚动通过第一虚拟对象，诸如参考方法800描述的。基于用户的相应部分的指向滚动指示符的移动来滚动第一虚拟对象减少了滚动通过第一虚拟对象所需的输入的数量。
在一些实施方案中，当显示滚动指示符时，计算机系统经由一个或多个输入设备检测(1260a)指向滚动指示符的第三输入，该第三输入包括由计算机系统的用户的相应部分执行的相应手势，诸如来自手部1103a的指向图11C中的滚动指示符1126的输入。例如，由用户的手部执行的捏合空中手势，诸如先前所描述的(例如，用户的手部的食指和拇指合在一起并触摸，任选地之后是用户的手部的食指和拇指在触摸的时间阈值(例如，0.1秒、0.3秒、0.5秒、1秒、3秒、5秒或10秒)内分开的移动)。在一些实施方案中，响应于检测到第三输入(1260b)，根据确定第三输入被指向滚动指示符中的第一位置，诸如如果来自手部1103a的输入是被指向滚动指示符1126中的第一位置的捏合空中手势(例如，根据确定当检测到捏合输入时用户的注意力被指向滚动指示符中的第一位置)，则计算机系统滚动(1260c)到第一虚拟对象中的与第一位置对应的第一滚动定位。例如，如果第三输入被指向滚动条内的与从第一虚拟对象的左端起的10％、25％或40％滚动定位对应的位置，则计算机系统任选地将第一虚拟对象滚动到10％、25％或40％滚动定位。
在一些实施方案中，根据确定第三输入被指向滚动指示符中的与滚动指示符中的第一位置不同的第二位置(例如，根据确定当检测到捏合输入时用户的注意力被指向滚动指示符中的第二位置)，诸如如果来自手部1103a的输入是被指向滚动指示符1126中的第二位置的捏合空中手势，则计算机系统滚动(1260d)到与第一滚动定位不同的、第一虚拟对象中的与第二位置对应的第二滚动定位。例如，如果第三输入被指向滚动条内的与从第一虚拟对象的左端起的60％、75％或90％滚动定位对应的位置，则计算机系统任选地将第一虚拟对象滚动到60％、75％或90％滚动定位。第三输入任选地不包括移动分量(例如，在捏合空中手势期间和/或之后用户的手部的移动)。基于来自用户的相应部分的指向滚动指示符的离散输入来滚动第一虚拟对象减少了滚动通过第一虚拟对象所需的输入的数量。
应当理解，对方法1200中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
在一些实施方案中，方法800、1000和/或1200的方面/操作可在这些方法之间互换、替换和/或添加。例如，方法800、1000和/或1200的虚拟对象、方法800、1000和/或1200的环境、用于重新定位方法800、1000和/或1200的虚拟对象的输入、方法800、1000和/或1200的视点、用于选择和/或控制方法800、1000和/或1200的对象的输入、方法800、1000和/或1200的容器对象、方法800、1000和/或1200的滚动输入、方法800、1000和/或1200的虚拟对象插入输入、以及/或者方法800、1000和/或1200的通信会话任选地在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述，本技术的一个方面在于采集并使用得自各种来源的数据，以改善用户的XR体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地标识或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善用户的XR体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可以用于提供对用户总体健康状况的见解，或者可以用作对使用技术追求健康目标的个人的积极反馈。
本公开预期，负责这样的个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守完善的隐私政策和/或隐私措施。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。这样的政策应该便于用户访问，并应该随着对数据的收集和/或使用的变化而被更新。来自用户的个人信息应该出于合法且合理的实体用途进行收集，并且不得在这些合法用途之外共享或出售。此外，这样的收集/共享应该在接收到用户的知情同意之后进行。另外，这样的实体应该考虑采取任何必要的步骤，以用于保护和保障对这样的个人信息数据的访问，并确保有权访问个人信息数据的其他实体遵守其隐私政策和程序。此外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外，政策和实践应该适应于采集和/或访问的特定类型的个人信息数据，并适应于包括特别管辖范围的考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，对于每个国家中的不同个人数据类型，应该主张不同的隐私措施。
不管前述如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。也就是说，本公开预期硬件元件和/或软件元件，以防止或阻止对这样的个人信息数据的访问。例如，就XR体验而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项以外，本公开还预期提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的意图是个人信息数据应该以最小化无意或未经授权访问或使用的风险的方式来管理和处理。一旦不再需要数据，可以通过限制收集数据和删除数据使风险最小化。此外，并且当适用时，包括在某些健康相关应用中，数据脱离标识可以用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。

Claims (37)

1.一种方法，所述方法包括：
在与显示生成部件和一个或多个输入设备通信的计算机系统处：
经由所述显示生成部件在三维环境中的第一位置处显示第一虚拟对象；
当在所述三维环境中显示所述第一虚拟对象时，经由所述一个或多个输入设备接收对应于将所述第一虚拟对象从所述三维环境中的所述第一位置移动到与所述第一位置不同的第二位置的请求的第一输入；以及
响应于接收到所述第一输入：
在所述三维环境中的所述第二位置处显示所述第一虚拟对象，包括：
根据确定所述三维环境中的所述第二位置与所述计算机系统的用户的当前视点相距第一距离，经由所述显示生成部件以第一曲率量显示所述第一虚拟对象；以及
根据确定所述三维环境中的所述第二位置与所述计算机系统的用户的当前视点相距与第一距离不同的第二距离，经由所述显示生成部件以与所述第一曲率量不同的第二曲率量显示所述第一虚拟对象。
2.根据权利要求1所述的方法，在所述三维环境中的所述第二位置处显示所述第一虚拟对象还包括：
根据确定所述三维环境中的所述第二位置对应于所述三维环境中的所述第二对象，经由所述显示生成部件以所述第三曲率量显示所述第一虚拟对象；以及
根据确定所述三维环境中的所述第二位置不对应于所述三维环境中的所述第二对象，经由所述显示生成部件以与所述第三曲率量不同的第四曲率量显示所述第一虚拟对象。
3.根据权利要求2所述的方法，其中所述第一位置对应于所述三维环境中的第三对象，并且当检测到所述第一输入时，在所述第一位置处以所述第三曲率量显示所述第一虚拟对象。
4.根据权利要求3所述的方法，其中当接收到所述第一输入时并且当在除所述第一位置和所述第二位置之外的第三位置处显示所述第一虚拟对象时，以所述第四曲率量显示所述第一虚拟对象。
5.根据权利要求2所述的方法，其中所述第一位置不对应于所述三维环境中的对象，并且当检测到所述第一输入时，在所述第一位置处以所述第四曲率量显示所述第一虚拟对象。
6.根据权利要求2所述的方法，其中所述第二对象是所述计算机系统的物理环境中的物理对象。
7.根据权利要求1所述的方法，其中当所述第一虚拟对象处于所述三维环境中的相应位置处时，在所述相应位置处显示所述第一虚拟对象包括：
根据确定所述第一虚拟对象处于由包括所述计算机系统的用户的第一数量的用户同时共享的三维环境中，以第三曲率量显示所述第一虚拟对象；以及
根据确定所述第一虚拟对象处于由包括所述计算机系统的所述用户的与所述第一数量的用户不同的第二数量的用户同时共享的三维环境中，以与所述第三曲率量不同的第四曲率量显示所述第一虚拟对象。
8.根据权利要求1所述的方法，其中当所述第一虚拟对象处于所述三维环境中的相应位置处时，在所述相应位置处显示所述第一虚拟对象包括：
根据确定正同时共享所述三维环境的第一用户的视点是第一视点，以第三曲率量显示所述第一虚拟对象；以及
根据确定正同时共享所述三维环境的所述第一用户的所述视点是与所述第一视点不同的第二视点，以与所述第三曲率量不同的第四曲率量显示所述第一虚拟对象。
9.根据权利要求1所述的方法，其中所述第一虚拟对象包括作为二维对象的第二虚拟对象，并且当所述第一虚拟对象具有第一曲率量时，所述第二虚拟对象具有与所述第一曲率量对应的第三曲率量。
10.根据权利要求9所述的方法，其中当所述第一虚拟对象具有第二曲率量时，所述第二虚拟对象具有与所述第三曲率量不同的第四曲率量，其中所述第四曲率量与所述第二曲率量对应。
11.根据权利要求1所述的方法，其中所述第一虚拟对象包括作为三维对象的第二虚拟对象，并且不以基于所述第一虚拟对象的曲率的曲率来显示所述第二虚拟对象。
12.根据权利要求1所述的方法，所述方法还包括：
与所述第一虚拟对象同时地显示用户界面元素，所述用户界面元素包括能够被选择以执行与所述第一虚拟对象相关联的操作的一个或多个可选择选项，其中不以基于所述第一虚拟对象的曲率的曲率来显示所述用户界面元素。
13.根据权利要求1所述的方法，所述方法还包括：
与所述第一虚拟对象同时地显示用户界面元素，所述用户界面元素包括能够被选择以执行与所述第一虚拟对象相关联的操作的一个或多个可选择选项，其中以基于所述第一虚拟对象的曲率的曲率来显示所述用户界面元素。
14.根据权利要求13所述的方法，其中所述用户界面元素不包含在所述第一虚拟对象中。
15.根据权利要求1所述的方法，其中所述第一虚拟对象与可选择选项相关联地显示，所述可选择选项能够被选择以发起改变所述第一虚拟对象的大小的过程，所述方法还包括：
当显示所述第一虚拟对象和所述可选择选项时，其中所述第一虚拟对象具有第一大小，经由所述一个或多个输入设备检测第二输入，所述第二输入包括由所述计算机系统的用户的相应部分执行的相应手势，同时所述用户的注意力被指向所述可选择选项，之后是所述用户的所述相应部分在处于相应位姿时的移动；以及
响应于检测到所述第二输入，基于所述第二输入来显示具有与所述第一大小不同的第二大小的所述第一虚拟对象。
16.根据权利要求15所述的方法，其中具有所述第一大小的所述第一虚拟对象具有沿着第一方向的第一尺寸和沿着第二方向的第二尺寸，并且响应于检测到所述第二输入：
根据确定所述用户的所述相应部分的所述移动是在所述第二方向上的，具有所述第二大小的所述第一虚拟对象具有沿着所述第一方向的所述第一尺寸和沿着所述第二方向的与所述第二尺寸不同的第三尺寸。
17.根据权利要求16所述的方法，其中响应于检测到所述第二输入：
根据确定所述用户的所述相应部分的所述移动是在所述第一方向上的，具有所述第二大小的所述第一虚拟对象具有沿着所述第一方向的与所述第一尺寸不同的第四尺寸和沿着所述第二方向的与所述第二尺寸不同的第五尺寸。
18.根据权利要求1所述的方法，其中所述第一虚拟对象包括第二虚拟对象，并且：
根据确定所述第二虚拟对象的第一部分与所述第一虚拟对象的第一边界具有第一空间关系，经由所述显示生成部件以具有第一值的相应视觉特性来显示所述第二虚拟对象的所述第一部分，并且根据确定所述第二虚拟对象的所述第一部分与所述第一虚拟对象的与所述第一边界不同的第二边界具有所述第一空间关系，经由所述显示生成部件以具有与所述第一值不同的第二值的所述相应视觉特性来显示所述第二虚拟对象的所述第一部分。
19.根据权利要求1所述的方法，所述方法还包括：
经由所述一个或多个输入设备检测与将第二虚拟对象放置在所述第一虚拟对象中的相应位置处的请求对应的第二输入；以及
响应于检测到所述第二输入：
根据确定所述第二虚拟对象在所述相应位置处的放置将使得所述第二虚拟对象的至少一部分延伸超过所述第一虚拟对象的第一边界，在所述第一虚拟对象中的与所述相应位置不同的第二相应位置处显示所述第二虚拟对象，其中当在所述第二相应位置处显示时，所述第二虚拟对象不延伸超过所述第一虚拟对象的所述第一边界；以及
根据确定所述第二虚拟对象在所述相应位置处的放置将使得所述第二虚拟对象的至少一部分延伸超过所述第一虚拟对象的与所述第一虚拟对象的所述第一边界不同的第二边界，在所述相应位置处显示所述第二虚拟对象。
20.根据权利要求1所述的方法，所述方法还包括：
当显示所述第一虚拟对象时，经由所述一个或多个输入设备检测第二输入，所述第二输入包括由所述计算机系统的用户的相应部分执行的相应手势，之后是所述用户的所述相应部分在处于相应位姿时的移动；以及
响应于检测到所述第二输入，根据所述用户的所述相应部分的所述移动来滚动通过所述第一虚拟对象。
21.根据权利要求1所述的方法，所述方法还包括：
当显示所述第一虚拟对象时，其中所述第一虚拟对象包括具有第一视觉特性的第二虚拟对象，所述第一视觉特性具有第一值，经由所述一个或多个输入设备检测与滚动通过所述第一虚拟对象的请求对应的第二输入；以及
在检测到所述第二输入时：
根据所述第二输入来滚动通过所述第一虚拟对象；以及
以具有与所述第一值不同的相应值的所述第一视觉特性显示所述第二虚拟对象。
22.根据权利要求21所述的方法，其中以具有与所述第一值不同的所述相应值的所述第一视觉特性显示所述第二虚拟对象包括：
根据确定所述第二输入与第一滚动量对应，以具有第二值的所述第一视觉特性显示所述第二虚拟对象；以及
根据确定所述第二输入与第二滚动量对应，以具有与所述第二值不同的第三值的所述第一视觉特性显示所述第二虚拟对象。
23.根据权利要求21所述的方法，其中在所述第一虚拟对象的背景元素前面显示所述第二虚拟对象，并且：
在检测到所述第二输入之前，以具有第三值的第二视觉特性显示所述背景元素；并且
当检测到所述第二输入时，以具有所述第三值的所述第二视觉特性显示所述背景元素。
24.根据权利要求23所述的方法，其中具有所述第三值的所述第二视觉特性与以至少某种半透明度显示的所述背景元素对应。
25.根据权利要求21所述的方法，所述方法还包括：
当检测到所述第二输入时，经由所述显示生成部件显示滚动指示符，所述滚动指示符指示滚动通过所述第一虚拟对象的进展。
26.根据权利要求25所述的方法，所述方法还包括：
当显示所述滚动指示符时，其中在第一呈现模式下显示所述滚动指示符，经由所述一个或多个输入设备检测第三输入，所述第三输入包括所述用户的指向所述滚动指示符的注意力；以及
响应于检测到所述第三输入，在第二呈现模式下显示所述滚动指示符，包括在所述滚动指示符内显示：
内容的第一表示，所述内容的所述第一表示在所述第一虚拟对象中的当前滚动定位处包括在所述第一虚拟对象中，所述内容的所述第一表示与当前显示在所述第一虚拟对象中的内容对应；和
内容的第二表示，所述内容的所述第二表示在所述第一虚拟对象中的不同滚动定位处包括在所述第一虚拟对象中，所述不同滚动定位与所述当前滚动定位不同，并且所述内容的所述第二表示与当前未显示在所述第一虚拟对象中的内容对应。
27.根据权利要求26所述的方法，其中所述第三输入包括处于与在所述第二呈现模式下显示所述滚动指示符相关联的相应状态的所述计算机系统的用户的相应部分。
28.根据权利要求25所述的方法，其中显示所述滚动指示符包括：
根据确定所述第一虚拟对象中的当前滚动定位是第一滚动定位，在所述滚动指示符中显示指示所述第一滚动定位的定位指示符；以及
根据确定所述第一虚拟对象中的所述当前滚动定位是与所述第一滚动定位不同的第二滚动定位，在所述滚动指示符中显示指示所述第二滚动定位的所述定位指示符。
29.根据权利要求25所述的方法，所述方法还包括：
当显示所述滚动指示符时，经由所述一个或多个输入设备检测指向所述滚动指示符的第三输入，所述第三输入包括由所述计算机系统的用户的相应部分执行的相应手势，之后是所述用户的所述相应部分在处于相应位姿时的移动；以及
响应于检测到所述第三输入，根据所述第三输入来滚动通过所述第一虚拟对象。
30.根据权利要求25所述的方法，所述方法还包括：
当显示所述滚动指示符时，经由所述一个或多个输入设备检测指向所述滚动指示符的第三输入，所述第三输入包括由所述计算机系统的用户的相应部分执行的相应手势；以及
响应于检测到所述第三输入：
根据确定所述第三输入被指向所述滚动指示符中的第一位置，滚动到所述第一虚拟对象中的与所述第一位置对应的第一滚动定位；以及
根据确定所述第三输入被指向所述滚动指示符中的与所述滚动指示符中的所述第一位置不同的第二位置，滚动到与所述第一滚动定位不同的、所述第一虚拟对象中的与所述第二位置对应的第二滚动定位。
31.根据权利要求1所述的方法，还包括：
当所述三维环境中从所述用户的第一视点以各自的曲率量在所述第二位置处显示所述第一虚拟对象时，检测所述用户的当前视点从所述第一视点改变到与所述第一视点不同的第二视点；以及
响应于检测到所述用户的当前视点的变化，经由所述显示生成部件在三维环境中从所述用户的第二视点以各自曲率量在所述第二位置处显示所述第一虚拟对象。
32.根据权利要求31所述的方法，还包括：
当三维环境中从所述用户的第二视点以各自的曲率量在所述第二位置处显示所述第一虚拟对象时，检测指向三维环境中所述第一虚拟对象的第二输入；以及
响应于检测到所述第二输入，经由所述显示生成部件以不同于各自曲率量的第三曲率量显示所述第一虚拟对象，所述第三曲率量基于三维环境中所述第一虚拟对象与所述用户的第二视点之间的各自距离。
33.根据权利要求1所述的方法，还包括：
在三维环境中以无曲率的状态在各自位置处显示所述第一虚拟对象时，经由所述一个或多个输入设备接收对应于将所述第一虚拟对象从三维环境中的各自位置移动的请求的第二输入；以及
响应于检测到所述第二输入，在三维环境中以有曲率的状态显示所述第一虚拟对象。
34.根据权利要求1所述的方法，其中，所述第一距离大于所述第二距离，并且，所述第一曲率量小于所述第二曲率量。
35.根据权利要求1所述的方法，其中，当所述第一虚拟对象位于三维环境中的各自位置时，在所述各自位置处显示所述虚拟对象包括：
根据确定所述第一虚拟对象处于由一组用户同时共享的三维环境中，且所述一组用户与所述第一虚拟对象相距第一平均距离，以第三曲率量显示所述第一虚拟对象；以及
根据确定所述第一虚拟对象处于由所述一组用户同时共享的三维环境中，且所述一组用户与第一虚拟对象相距与所述第一平均距离不同的所述第二平均距离，以与所述第三曲率量不同的第四曲率量显示所述第一虚拟对象。
36.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至35中任一项所述的方法的指令。
37.一种计算机系统，所述计算机系统与显示生成部件和一个或多个输入设备通信，所述计算机系统包括：
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至35中任一项所述的方法的指令。
CN202411577421.0A 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法 Pending CN119556830A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263266726P 2022-01-12 2022-01-12
US63/266,726 2022-01-12
CN202380027098.7A CN118871875A (zh) 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法
PCT/US2023/060592 WO2023137402A1 (en) 2022-01-12 2023-01-12 Methods for displaying, selecting and moving objects and containers in an environment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202380027098.7A Division CN118871875A (zh) 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法

Publications (1)

Publication Number Publication Date
CN119556830A true CN119556830A (zh) 2025-03-04

Family

ID=85227057

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202411577421.0A Pending CN119556830A (zh) 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法
CN202380027098.7A Pending CN118871875A (zh) 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202380027098.7A Pending CN118871875A (zh) 2022-01-12 2023-01-12 用于在环境中显示、选择以及移动对象和容器的方法

Country Status (4)

Country Link
US (2) US12524977B2 (zh)
EP (1) EP4463754A1 (zh)
CN (2) CN119556830A (zh)
WO (1) WO2023137402A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108431806B (zh) * 2015-10-14 2022-06-28 微软技术许可有限责任公司 辅助搜索查询
US10921975B2 (en) 2018-06-03 2021-02-16 Apple Inc. Devices, methods, and user interfaces for conveying proximity-based and contact-based input events
AU2021349381B2 (en) 2020-09-25 2024-02-22 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
JP7843357B2 (ja) 2022-01-19 2026-04-09 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
TWI851973B (zh) * 2022-03-11 2024-08-11 緯創資通股份有限公司 虛擬視窗配置裝置、虛擬視窗配置方法及虛擬視窗配置系統
EP4511722A1 (en) 2022-04-20 2025-02-26 Apple Inc. Obstructed objects in a three-dimensional environment
US12449947B2 (en) 2022-07-28 2025-10-21 Apple Inc. Devices, methods, and graphical user interfaces for processing inputs to a three-dimensional environment
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
KR20250075620A (ko) 2022-09-24 2025-05-28 애플 인크. 3차원 환경을 제어하고 그와 상호작용하기 위한 방법들
US12524956B2 (en) 2022-09-24 2026-01-13 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
CN120266083A (zh) 2022-09-24 2025-07-04 苹果公司 用于基于注意力与用户界面交互的方法
CN121165940A (zh) 2023-01-30 2025-12-19 苹果公司 用于响应于注视和/或手势输入来显示多组控件的设备、方法和图形用户界面
KR20240146701A (ko) * 2023-03-30 2024-10-08 한국전자통신연구원 Xr 인터랙션 사용자의 가상 태스크 수행 효율성 분석 장치 및 방법
CN121187445A (zh) 2023-06-04 2025-12-23 苹果公司 用于管理重叠窗口和应用视觉效果的方法
USD1087123S1 (en) * 2023-06-04 2025-08-05 Apple Inc. Computer display system or portion thereof showing an animated graphical user interface
WO2025072024A1 (en) * 2023-09-29 2025-04-03 Apple Inc. Devices, methods, and graphical user interfaces for processing inputs to a three-dimensional environment
USD1099133S1 (en) * 2024-02-01 2025-10-21 Apple Inc. Display screen or portion thereof showing a graphical user interface
USD1100929S1 (en) * 2024-02-02 2025-11-04 Apple Inc. Display screen or portion thereof showing a graphical user interface
US20250355485A1 (en) * 2024-05-17 2025-11-20 Apple Inc. Devices, Methods, And Graphical User Interfaces For Interacting With System User Interfaces Within Three-Dimensional Environments
USD1108457S1 (en) 2024-06-09 2026-01-06 Apple Inc. Display screen or portion thereof with animated graphical user interface
US20250378645A1 (en) 2024-06-09 2025-12-11 Apple Inc. Methods of interacting with content in a virtual environment

Family Cites Families (1086)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1173824A (en) 1914-09-15 1916-02-29 Frank A Mckee Drag-saw machine.
US5422812A (en) 1985-05-30 1995-06-06 Robert Bosch Gmbh Enroute vehicle guidance system with heads up display
US5610828A (en) 1986-04-14 1997-03-11 National Instruments Corporation Graphical system for modelling a process and associated method
US5015188A (en) 1988-05-03 1991-05-14 The United States Of America As Represented By The Secretary Of The Air Force Three dimensional tactical element situation (3DTES) display
CA2092632C (en) 1992-05-26 2001-10-16 Richard E. Berry Display system with imbedded icons in a menu bar
JPH064596A (ja) 1992-06-24 1994-01-14 Brother Ind Ltd 電子読書装置
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5619709A (en) 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
EP0661620B1 (en) 1993-12-30 2001-03-21 Xerox Corporation Apparatus and method for executing multiple concatenated command gestures in a gesture based input system
US5515488A (en) 1994-08-30 1996-05-07 Xerox Corporation Method and apparatus for concurrent graphical visualization of a database search and its search history
US5740440A (en) 1995-01-06 1998-04-14 Objective Software Technology Dynamic object visualization and browsing system
US5758122A (en) 1995-03-16 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Immersive visual programming system
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5737553A (en) 1995-07-14 1998-04-07 Novell, Inc. Colormap system for mapping pixel position and color index to executable functions
JP3400193B2 (ja) 1995-07-31 2003-04-28 富士通株式会社 ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置
US5751287A (en) 1995-11-06 1998-05-12 Documagix, Inc. System for organizing document icons with suggestions, folders, drawers, and cabinets
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6112015A (en) 1996-12-06 2000-08-29 Northern Telecom Limited Network management graphical user interface
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US5995102A (en) 1997-06-25 1999-11-30 Comet Systems, Inc. Server system and method for modifying a cursor image
JP2001512261A (ja) 1997-08-01 2001-08-21 ミューズ・テクノロジーズ・インコーポレイテッド 多次元合成環境用の共有複数ユーザー・インターフェース
US5877766A (en) 1997-08-15 1999-03-02 International Business Machines Corporation Multi-node user interface component and method thereof for use in accessing a plurality of linked records
US6108004A (en) 1997-10-21 2000-08-22 International Business Machines Corporation GUI guide for data mining
US5990886A (en) 1997-12-01 1999-11-23 Microsoft Corporation Graphically creating e-mail distribution lists with geographic area selector on map
KR100595926B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
JPH11289555A (ja) 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6295069B1 (en) 1998-08-18 2001-09-25 Alventive, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US6714201B1 (en) 1999-04-14 2004-03-30 3D Open Motion, Llc Apparatuses, methods, computer programming, and propagated signals for modeling motion in computer applications
US6456296B1 (en) 1999-05-28 2002-09-24 Sony Corporation Color scheme for zooming graphical user interface
US20010047250A1 (en) 2000-02-10 2001-11-29 Schuller Joan A. Interactive decorating system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6584465B1 (en) 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
NO20014275L (no) 2000-09-08 2002-03-11 Fraunhofer Ges Forschung Fremgangsmåte for å lage et bilde i et virtuelt studio
US6795806B1 (en) 2000-09-20 2004-09-21 International Business Machines Corporation Method for enhancing dictation and command discrimination
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7035903B1 (en) 2000-11-22 2006-04-25 Xerox Corporation Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message
US20020065778A1 (en) 2000-11-30 2002-05-30 Stephane Bouet Mehtod of and a system for distributing electronic content
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US20030158788A1 (en) 2002-02-12 2003-08-21 Turpin Kenneth A. Color conversion and standardization system and methods of making and using same
US7137074B1 (en) 2002-05-31 2006-11-14 Unisys Corporation System and method for displaying alarm status
US20030222924A1 (en) 2002-06-04 2003-12-04 Baron John M. Method and system for browsing a virtual environment
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
WO2004008073A1 (ja) 2002-07-17 2004-01-22 Xanavi Informatics Corporation ナビゲーション方法、ナビゲーションシステムのための処理方法、地図データ管理装置、地図データ管理プログラム、及びコンピュータプログラム
GB2392285B (en) 2002-08-06 2006-04-12 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
JP2004080382A (ja) 2002-08-19 2004-03-11 Sony Corp 電子機器制御装置および電子機器制御方法
US7334020B2 (en) 2002-09-20 2008-02-19 Goodcontacts Research Ltd. Automatic highlighting of new electronic message address
US8416217B1 (en) * 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US8479112B2 (en) 2003-05-13 2013-07-02 Microsoft Corporation Multiple input language selection
US7373602B2 (en) 2003-05-28 2008-05-13 Microsoft Corporation Method for reading electronic mail in plain text
KR100538948B1 (ko) 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
US7330585B2 (en) 2003-11-06 2008-02-12 Behr Process Corporation Color selection and coordination kiosk and system
US7230629B2 (en) 2003-11-06 2007-06-12 Behr Process Corporation Data-driven color coordinator
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005052751A2 (en) 2003-11-20 2005-06-09 Color Kinetics Incorporated Light system manager
US20050138572A1 (en) 2003-12-19 2005-06-23 Palo Alto Research Center, Incorported Methods and systems for enhancing recognizability of objects in a workspace
US8151214B2 (en) 2003-12-29 2012-04-03 International Business Machines Corporation System and method for color coding list items
US7409641B2 (en) 2003-12-29 2008-08-05 International Business Machines Corporation Method for replying to related messages
US8171426B2 (en) 2003-12-29 2012-05-01 International Business Machines Corporation Method for secondary selection highlighting
JP2005215144A (ja) 2004-01-28 2005-08-11 Seiko Epson Corp プロジェクタ
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US20060080702A1 (en) 2004-05-20 2006-04-13 Turner Broadcasting System, Inc. Systems and methods for delivering content over a network
JP4495518B2 (ja) 2004-05-21 2010-07-07 日本放送協会 番組選択支援装置及び番組選択支援プログラム
JP2006004093A (ja) 2004-06-16 2006-01-05 Funai Electric Co Ltd 切替装置
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
JP4892480B2 (ja) 2004-07-23 2012-03-07 ３シェイプ・アクティーゼルスカブ 適応三次元走査
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
EP1782228A1 (en) 2004-08-03 2007-05-09 Silverbrook Research Pty. Ltd Walk-up printing
JP3832666B2 (ja) 2004-08-16 2006-10-11 船井電機株式会社 ディスク再生装置
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
US8418075B2 (en) 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
JP2006146803A (ja) 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP4297442B2 (ja) 2004-11-30 2009-07-15 富士通株式会社 手書き情報入力装置
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
JP2006295236A (ja) 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
US7298370B1 (en) 2005-04-16 2007-11-20 Apple Inc. Depth ordering of planes and displaying interconnects having an appearance indicating data characteristics
US7580576B2 (en) 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
EP1734169B1 (en) 2005-06-16 2008-02-20 Electrolux Home Products Corporation N.V. Household-type water-recirculating clothes washing machine with automatic measure of the washload type, and operating method thereof
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US7840042B2 (en) 2006-01-20 2010-11-23 3M Innovative Properties Company Superposition for visualization of three-dimensional data acquisition
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
EP2100273A2 (en) 2006-11-13 2009-09-16 Everyscape, Inc Method for scripting inter-scene transitions
US20080132249A1 (en) 2006-12-05 2008-06-05 Palm, Inc. Local caching of map data based on carrier coverage data
US20080186255A1 (en) 2006-12-07 2008-08-07 Cohen Philip R Systems and methods for data annotation, recordation, and communication
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US20080181502A1 (en) 2007-01-31 2008-07-31 Hsin-Ming Yang Pattern recognition for during orientation of a display device
US20080211771A1 (en) 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US8601589B2 (en) 2007-03-05 2013-12-03 Microsoft Corporation Simplified electronic messaging system
JP4858313B2 (ja) 2007-06-01 2012-01-18 富士ゼロックス株式会社 ワークスペース管理方式
US20080310707A1 (en) 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
KR101432812B1 (ko) 2007-07-31 2014-08-26 삼성전자주식회사 이동통신 단말기의 디스플레이 화면에서 아이콘의 좌표를결정하는 좌표결정장치 및 좌표결정방법
US10318110B2 (en) 2007-08-13 2019-06-11 Oath Inc. Location-based visualization of geo-referenced context
US20090146961A1 (en) 2007-12-05 2009-06-11 David Shun-Chi Cheung Digital image editing interface
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
CA2708958A1 (en) 2007-12-14 2009-07-02 France Telecom Method of managing the display or deletion of a user's representation in a virtual environment
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090231356A1 (en) 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
EP2700528A3 (en) 2008-03-19 2014-12-24 Denso Corporation Vehicular manipulation input apparatus
CN102084354A (zh) 2008-04-05 2011-06-01 社会传播公司 基于共享虚拟区域通信环境的装置和方法
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US9164975B2 (en) 2008-06-24 2015-10-20 Monmouth University System and method for viewing and marking maps
US8103441B2 (en) 2008-06-26 2012-01-24 Microsoft Corporation Caching navigation content for intermittently connected devices
US8826174B2 (en) 2008-06-27 2014-09-02 Microsoft Corporation Using visual landmarks to organize diagrams
CN102197649B (zh) 2008-08-29 2014-03-26 皇家飞利浦电子股份有限公司 三维图像数据的动态传送
WO2010026519A1 (en) 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
US8896632B2 (en) 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US20100115459A1 (en) 2008-10-31 2010-05-06 Nokia Corporation Method, apparatus and computer program product for providing expedited navigation
US20100185949A1 (en) 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
US8269821B2 (en) 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20100269145A1 (en) 2009-04-17 2010-10-21 Apple Inc. Accessing radio content from a non-radio source
US9071834B2 (en) 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
JP4676011B2 (ja) 2009-05-15 2011-04-27 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US9070206B2 (en) 2009-05-30 2015-06-30 Apple Inc. Providing a visible light source in an interactive three-dimensional compositing application
JP5620651B2 (ja) 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
CN102132579A (zh) 2009-06-26 2011-07-20 松下电器产业株式会社 通信装置
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9563342B2 (en) 2009-07-22 2017-02-07 Behr Process Corporation Automated color selection method and apparatus with compact functionality
US9639983B2 (en) 2009-07-22 2017-05-02 Behr Process Corporation Color selection, coordination and purchase system
US8319788B2 (en) 2009-07-22 2012-11-27 Behr Process Corporation Automated color selection method and apparatus
EP2278780A1 (en) 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
KR101351487B1 (ko) 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8578295B2 (en) 2009-09-16 2013-11-05 International Business Machines Corporation Placement of items in cascading radial menus
US8970478B2 (en) 2009-10-14 2015-03-03 Nokia Corporation Autostereoscopic rendering and display apparatus
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9681112B2 (en) 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
KR101627214B1 (ko) 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8856992B2 (en) 2010-02-05 2014-10-14 Stryker Corporation Patient/invalid handling support
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110169927A1 (en) 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8436872B2 (en) 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
US8947355B1 (en) 2010-03-25 2015-02-03 Amazon Technologies, Inc. Motion-based character selection
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US8793729B2 (en) 2010-03-31 2014-07-29 Verizon Patent And Licensing, Inc. Preferential program guide
WO2011123178A1 (en) 2010-04-01 2011-10-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
JP2011221604A (ja) 2010-04-05 2011-11-04 Konica Minolta Business Technologies Inc 手書きデータ管理システム及び手書きデータ管理プログラム並びに手書きデータ管理方法
JP5440334B2 (ja) 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2011239169A (ja) 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5055402B2 (ja) 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
KR20110128487A (ko) 2010-05-24 2011-11-30 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 공유 방법
EP2393056A1 (en) 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US11068149B2 (en) 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US20110310001A1 (en) 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
KR20120000663A (ko) 2010-06-28 2012-01-04 주식회사 팬택 3ｄ 객체 처리 장치
US8547421B2 (en) 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
US8593558B2 (en) 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8793753B2 (en) 2010-11-22 2014-07-29 International Business Machines Corporation Transferring a broadcast transmission to a remote device
US9851866B2 (en) 2010-11-23 2017-12-26 Apple Inc. Presenting and browsing items in a tilted 3D space
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
KR101758163B1 (ko) 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
CN103403711B (zh) 2011-01-04 2016-12-14 Ppg工业俄亥俄公司 基于Web的建筑颜色选择系统
US20120194547A1 (en) 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
JP2014077814A (ja) 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US9298334B1 (en) 2011-02-18 2016-03-29 Marvell International Ltd. Method and apparatus for providing a user interface having a guided task flow among a plurality of devices
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
KR101852428B1 (ko) 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3ｄ객체 제어방법
US9142062B2 (en) 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP5741160B2 (ja) 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9779097B2 (en) 2011-04-28 2017-10-03 Sony Corporation Platform agnostic UI/UX and human interaction paradigm
US8930837B2 (en) 2011-05-23 2015-01-06 Facebook, Inc. Graphical user interface for map search
US9396580B1 (en) 2011-06-10 2016-07-19 Disney Enterprises, Inc. Programmable system for artistic volumetric lighting
US20140132633A1 (en) 2011-07-20 2014-05-15 Victoria Fekete Room design system with social media interaction
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
US20130232430A1 (en) 2011-08-26 2013-09-05 Reincloud Corporation Interactive user interface
KR101851630B1 (ko) 2011-08-29 2018-06-11 엘지전자 주식회사 이동 단말기 및 그의 영상 변환 방법
GB201115369D0 (en) 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US9704230B2 (en) 2011-09-30 2017-07-11 Layar B.V. Feedback to user for indicating augmentability of an image
JP2013089198A (ja) 2011-10-21 2013-05-13 Fujifilm Corp 電子コミック編集装置、方法及びプログラム
US20150199081A1 (en) 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
US9183672B1 (en) 2011-11-11 2015-11-10 Google Inc. Embeddable three-dimensional (3D) image viewer
US9526127B1 (en) 2011-11-18 2016-12-20 Google Inc. Affecting the behavior of a user device based on a user's gaze
US20150312561A1 (en) 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
US9389088B2 (en) 2011-12-12 2016-07-12 Google Inc. Method of pre-fetching map data for rendering and offline routing
JP5831193B2 (ja) 2011-12-13 2015-12-09 富士通株式会社 利用者検知装置、方法及びプログラム
US9479568B2 (en) 2011-12-28 2016-10-25 Nokia Technologies Oy Application switcher
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US20130191160A1 (en) 2012-01-23 2013-07-25 Orb Health, Inc. Dynamic Presentation of Individualized and Populational Health Information and Treatment Solutions
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
EP2814000B1 (en) 2012-02-10 2019-07-03 Sony Corporation Image processing apparatus, image processing method, and program
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9773345B2 (en) 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
KR101180119B1 (ko) 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
US9513793B2 (en) 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
JP2013178639A (ja) 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
US20130229345A1 (en) 2012-03-01 2013-09-05 Laura E. Day Manual Manipulation of Onscreen Objects
US10503373B2 (en) 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
JP2013196158A (ja) 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
US8947323B1 (en) 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
KR101717604B1 (ko) 2012-03-29 2017-03-17 인텔 코포레이션 제스처를 이용하는 삼차원 그래픽 생성
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US9448635B2 (en) 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
GB2501471A (en) 2012-04-18 2013-10-30 Barco Nv Electronic conference arrangement
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
WO2013168173A1 (en) 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
TWI555400B (zh) 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
EP2850510A2 (en) 2012-05-18 2015-03-25 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9229621B2 (en) 2012-05-22 2016-01-05 Paletteapp, Inc. Electronic palette system
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9135751B2 (en) 2012-06-05 2015-09-15 Apple Inc. Displaying location preview
US9222787B2 (en) 2012-06-05 2015-12-29 Apple Inc. System and method for acquiring map portions based on expected signal strength of route segments
US9146125B2 (en) 2012-06-05 2015-09-29 Apple Inc. Navigation application with adaptive display of graphical directional indicators
US20130332890A1 (en) 2012-06-06 2013-12-12 Google Inc. System and method for providing content for a point of interest
JP6007600B2 (ja) 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20130328925A1 (en) 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9214137B2 (en) 2012-06-18 2015-12-15 Xerox Corporation Methods and systems for realistic rendering of digital objects in augmented reality
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US20140002338A1 (en) 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
JP6271858B2 (ja) 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP5963584B2 (ja) 2012-07-12 2016-08-03 キヤノン株式会社 電子機器及びその制御方法
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
US20140040832A1 (en) 2012-08-02 2014-02-06 Stephen Regelous Systems and methods for a modeless 3-d graphics manipulator
US20140049462A1 (en) 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9886795B2 (en) 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6099342B2 (ja) 2012-09-19 2017-03-22 大学共同利用機関法人情報・システム研究機構 視線インタフェースを用いた対話的情報探索装置
US8866880B2 (en) 2012-09-26 2014-10-21 Hewlett-Packard Development Company, L.P. Display-camera system with selective crosstalk reduction
US9201500B2 (en) 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US20140092018A1 (en) 2012-09-28 2014-04-03 Ralf Wolfgang Geithner Non-mouse cursor control including modified keyboard input
JP6007712B2 (ja) 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US9007301B1 (en) 2012-10-11 2015-04-14 Google Inc. User interface
US10970934B2 (en) 2012-10-23 2021-04-06 Roam Holdings, LLC Integrated operating environment
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
US9423939B2 (en) 2012-11-12 2016-08-23 Microsoft Technology Licensing, Llc Dynamic adjustment of user interface
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US11137832B2 (en) 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
WO2014093932A1 (en) 2012-12-14 2014-06-19 Biscotti Inc. Mobile presence detection
US20140181683A1 (en) 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd. Method and system for controlling external device
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
KR101494805B1 (ko) 2013-01-28 2015-02-24 주식회사 위피엔피 3차원 컨텐츠 제작 시스템 및 그 방법
US9189611B2 (en) 2013-02-07 2015-11-17 Sony Corporation Adapting content and monitoring user behavior based on facial recognition
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140247208A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US20140258942A1 (en) 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9436357B2 (en) 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US10599328B2 (en) 2013-03-14 2020-03-24 Valve Corporation Variable user tactile input device with display feedback system
WO2014139574A1 (en) 2013-03-14 2014-09-18 Brainlab Ag 3d-volume viewing by controlling sight depth
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US20140282272A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
US9294757B1 (en) 2013-03-15 2016-03-22 Google Inc. 3-dimensional videos of objects
GB2500823B (en) 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9234742B2 (en) 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US20140331187A1 (en) * 2013-05-03 2014-11-06 Barnesandnoble.Com Llc Grouping objects on a computing device
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9489774B2 (en) 2013-05-16 2016-11-08 Empire Technology Development Llc Three dimensional user interface in augmented reality
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
KR102098058B1 (ko) 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
JP6096900B2 (ja) 2013-06-17 2017-03-15 日立マクセル株式会社 情報表示端末
US9338440B2 (en) 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR101844232B1 (ko) 2013-07-02 2018-04-02 엘지전자 주식회사 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
US20150009118A1 (en) 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
EP4411586A3 (en) 2013-08-26 2024-11-20 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US10229523B2 (en) 2013-09-09 2019-03-12 Empire Technology Development Llc Augmented reality alteration detector
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
KR102081935B1 (ko) 2013-09-30 2020-02-26 엘지전자 주식회사 멀티 시선 인식 장치 및 방법
JP6165979B2 (ja) 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
US20150123901A1 (en) 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
US20150123890A1 (en) 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
US9256785B2 (en) 2013-11-12 2016-02-09 Fuji Xerox Co., Ltd. Identifying user activities using eye tracking data, mouse events, and keystrokes
US20150145887A1 (en) 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US20170132822A1 (en) 2013-11-27 2017-05-11 Larson-Juhl, Inc. Artificial intelligence in virtualized framing using image metadata
US9886087B1 (en) 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
US9519999B1 (en) 2013-12-10 2016-12-13 Google Inc. Methods and systems for providing a preloader animation for image viewers
KR20150069355A (ko) 2013-12-13 2015-06-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US9811245B2 (en) 2013-12-24 2017-11-07 Dropbox, Inc. Systems and methods for displaying an image capturing mode and a content viewing mode
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9437047B2 (en) 2014-01-15 2016-09-06 Htc Corporation Method, electronic apparatus, and computer-readable medium for retrieving map
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
AU2015222821B2 (en) 2014-02-27 2020-09-03 Hunter Douglas Inc. Apparatus and method for providing a virtual decorating interface
US9563340B2 (en) 2014-03-08 2017-02-07 IntegrityWare, Inc. Object manipulator and method of object manipulation
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20150262428A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
KR20170021910A (ko) 2014-04-03 2017-02-28 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
JP2015222565A (ja) 2014-04-30 2015-12-10 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置およびプログラム
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US9361732B2 (en) 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR102004990B1 (ko) 2014-05-13 2019-07-29 삼성전자주식회사 영상 처리 장치 및 방법
US10579207B2 (en) 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
EP2947545A1 (en) 2014-05-20 2015-11-25 Alcatel Lucent System for implementing gaze translucency in a virtual scene
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9583105B2 (en) 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US9672588B1 (en) 2014-06-13 2017-06-06 Amazon Technologies, Inc. Approaches for customizing map views
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
WO2015195529A1 (en) 2014-06-20 2015-12-23 Google Inc. Integrating online navigation data with cached navigation data during active navigation
CN105302292A (zh) 2014-06-23 2016-02-03 新益先创科技股份有限公司 便携式电子装置
US9619519B1 (en) 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9473764B2 (en) 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
WO2016003018A1 (ko) 2014-07-02 2016-01-07 엘지전자(주) 이동단말기 및 그 제어방법
US20170153866A1 (en) 2014-07-03 2017-06-01 Imagine Mobile Augmented Reality Ltd. Audiovisual Surround Augmented Reality (ASAR)
US10120431B2 (en) 2014-07-18 2018-11-06 Apple Inc. Raise gesture detection in a device with preheating of a processor
US20160028961A1 (en) 2014-07-23 2016-01-28 Indran Rehan Thurairatnam Visual Media Capture Device For Visual Thinking
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US9838999B2 (en) 2014-08-14 2017-12-05 Blackberry Limited Portable electronic device and method of controlling notifications
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US20160062636A1 (en) 2014-09-02 2016-03-03 Lg Electronics Inc. Mobile terminal and control method thereof
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US9588651B1 (en) 2014-09-24 2017-03-07 Amazon Technologies, Inc. Multiple virtual environments
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9466259B2 (en) 2014-10-01 2016-10-11 Honda Motor Co., Ltd. Color management
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
US9426193B2 (en) 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
US10061486B2 (en) 2014-11-05 2018-08-28 Northrop Grumman Systems Corporation Area monitoring system implementing a virtual environment
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP2016096513A (ja) 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
US9798743B2 (en) 2014-12-11 2017-10-24 Art.Com Mapping décor accessories to a color palette
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
JP6635047B2 (ja) 2014-12-26 2020-01-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US9898078B2 (en) 2015-01-12 2018-02-20 Dell Products, L.P. Immersive environment correction display and method
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
CN107209565B (zh) 2015-01-20 2020-05-05 微软技术许可有限责任公司 用于显示固定大小的增强现实对象的方法和系统
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9779512B2 (en) 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10955924B2 (en) 2015-01-29 2021-03-23 Misapplied Sciences, Inc. Individually interactive multi-view display system and methods therefor
US20160227267A1 (en) 2015-01-30 2016-08-04 The Directv Group, Inc. Method and system for viewing set top box content in a virtual reality device
US10242379B2 (en) 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US9999835B2 (en) 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
AU2016222716B2 (en) 2015-02-25 2018-11-29 Facebook Technologies, Llc Identifying an object in a volume based on characteristics of light reflected by the object
WO2016137139A1 (en) 2015-02-26 2016-09-01 Samsung Electronics Co., Ltd. Method and device for managing item
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10732721B1 (en) 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
US10207185B2 (en) 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
US9857888B2 (en) 2015-03-17 2018-01-02 Behr Process Corporation Paint your place application for optimizing digital painting of an image
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
JPWO2016158014A1 (ja) 2015-03-31 2018-01-25 ソニー株式会社 情報処理装置、通信システム、情報処理方法及びプログラム
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
WO2016164342A1 (en) 2015-04-06 2016-10-13 Scope Technologies Us Inc. Methods and apparatus for augmented reality applications
US20160306434A1 (en) 2015-04-20 2016-10-20 16Lab Inc Method for interacting with mobile or wearable device
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9442575B1 (en) 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
DE202016007736U1 (de) 2015-05-28 2017-01-16 Google Inc. Dynamische Integration von Offline- und Onlinedaten in einer geografischen Anwendung
EP3306571A4 (en) 2015-06-02 2019-01-16 Dentsu Inc. THREE-DIMENSIONAL ADVERTISING SYSTEM, USER DEVICE AND DEFINITION OF THREE-DIMENSIONAL ADVERTISING SURFACES
EP3309708A4 (en) 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
JP2017004354A (ja) 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
EP3109733B1 (en) 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
JP2017021461A (ja) 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
EP3118722B1 (en) 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
JP6611501B2 (ja) 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
KR20170013064A (ko) 2015-07-27 2017-02-06 삼성전자주식회사 화면 운용 방법 및 이를 지원하는 전자 장치
GB2540791A (en) 2015-07-28 2017-02-01 Dexter Consulting Uk Ltd Apparatus, methods, computer programs and non-transitory computer-readable storage media for generating a three-dimensional model of an object
CN107787472A (zh) 2015-08-04 2018-03-09 谷歌有限责任公司 用于虚拟现实中的凝视交互的悬停行为
EP4374942A3 (en) 2015-08-04 2024-07-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
CA2994511C (en) 2015-08-06 2020-01-21 Accenture Global Services Limited Condition detection using image processing
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US20170053383A1 (en) 2015-08-17 2017-02-23 Dae Hoon Heo Apparatus and method for providing 3d content and recording medium
KR101808852B1 (ko) 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US10007352B2 (en) 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
JP6489984B2 (ja) 2015-09-16 2019-03-27 株式会社エクシング カラオケ装置及びカラオケ用プログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
US10540005B2 (en) 2015-10-22 2020-01-21 Lg Electronics Inc. Mobile terminal and control method therefor
KR102400900B1 (ko) 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US11432095B1 (en) 2019-05-29 2022-08-30 Apple Inc. Placement of virtual speakers based on room layout
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
WO2017074435A1 (en) 2015-10-30 2017-05-04 Homer Tlc, Inc. Methods, apparatuses, and systems for material coating selection operations
KR102471977B1 (ko) 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US10706457B2 (en) 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art
KR20170059760A (ko) 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105487782B (zh) 2015-11-27 2019-07-09 惠州Tcl移动通信有限公司 一种基于眼部识别的自动调整滚屏速度的方法及系统
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10140464B2 (en) 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
IL243422B (en) 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
JP2017126009A (ja) 2016-01-15 2017-07-20 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN106993227B (zh) 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10229541B2 (en) 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10067636B2 (en) 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
US11221750B2 (en) 2016-02-12 2022-01-11 Purdue Research Foundation Manipulating 3D virtual objects using hand-held controllers
US10169922B2 (en) 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
CN113532326B (zh) 2016-02-29 2023-11-21 派克赛斯有限责任公司 用于辅助型3d扫描的系统和方法
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10048751B2 (en) 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10754434B2 (en) 2016-04-01 2020-08-25 Intel Corporation Motion gesture capture by selecting classifier model from pose
US10372306B2 (en) 2016-04-16 2019-08-06 Apple Inc. Organized timeline
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US11017257B2 (en) 2016-04-26 2021-05-25 Sony Corporation Information processing device, information processing method, and program
JP6968800B2 (ja) 2016-04-27 2021-11-17 ロヴィ ガイズ， インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
US10019131B2 (en) 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10722800B2 (en) 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3458938B1 (en) 2016-05-17 2025-07-30 Google LLC Methods and apparatus to project contact with real objects in virtual reality environments
US10192347B2 (en) 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
US10545584B2 (en) 2016-05-17 2020-01-28 Google Llc Virtual/augmented reality input device
EP3249497A1 (en) 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10467814B2 (en) 2016-06-10 2019-11-05 Dirtt Environmental Solutions, Ltd. Mixed-reality architectural design environment
US10353550B2 (en) 2016-06-11 2019-07-16 Apple Inc. Device, method, and graphical user interface for media playback in an accessibility mode
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
WO2018005692A1 (en) 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures
US10845511B2 (en) 2016-06-30 2020-11-24 Hewlett-Packard Development Company, L.P. Smart mirror
US10191541B2 (en) 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10019839B2 (en) 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
US10630803B2 (en) 2016-06-30 2020-04-21 International Business Machines Corporation Predictive data prefetching for connected vehicles
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6236691B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
CN109478091A (zh) 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
US10768421B1 (en) 2016-07-18 2020-09-08 Knowledge Initiatives LLC Virtual monocle interface for information visualization
US20180046363A1 (en) 2016-08-10 2018-02-15 Adobe Systems Incorporated Digital Content View Control
IL303843B2 (en) 2016-08-11 2024-06-01 Magic Leap Inc Automatic placement of a virtual object in a three-dimensional space
GB201615382D0 (en) 2016-09-09 2016-10-26 Univ Court Of The Univ Of Edinburgh The And Lothian Health Board A text display method and apparatus
US10448189B2 (en) 2016-09-14 2019-10-15 Magic Leap, Inc. Virtual reality, augmented reality, and mixed reality systems with spatialized audio
US10325407B2 (en) 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
US10817126B2 (en) 2016-09-20 2020-10-27 Apple Inc. 3D document editing system
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10318034B1 (en) 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
US20180095542A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10503349B2 (en) 2016-10-04 2019-12-10 Facebook, Inc. Shared three-dimensional user interface with personal space
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10809808B2 (en) 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
WO2018081125A1 (en) 2016-10-24 2018-05-03 Snap Inc. Redundant tracking system
EP3316075B1 (en) 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
US10515479B2 (en) 2016-11-01 2019-12-24 Purdue Research Foundation Collaborative 3D modeling system
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
US10204448B2 (en) 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
US11487353B2 (en) 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
WO2018090060A1 (en) 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
US10572101B2 (en) 2016-11-14 2020-02-25 Taqtile, Inc. Cross-platform multi-modal virtual collaboration and holographic maps
US20180143693A1 (en) 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
TWI647595B (zh) 2016-11-21 2019-01-11 宏達國際電子股份有限公司 人體姿勢偵測系統、穿戴裝置以及方法
JP2018088118A (ja) 2016-11-29 2018-06-07 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
US20180150997A1 (en) 2016-11-30 2018-05-31 Microsoft Technology Licensing, Llc Interaction between a touch-sensitive device and a mixed-reality device
JP2018092313A (ja) 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10055028B2 (en) 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10147243B2 (en) 2016-12-05 2018-12-04 Google Llc Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US20210248674A1 (en) 2016-12-05 2021-08-12 Wells Fargo Bank, N.A. Lead generation using virtual tours
EP3859495B1 (en) 2016-12-06 2023-05-10 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
JP2018097141A (ja) 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
JP2018101019A (ja) 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US10474336B2 (en) 2016-12-20 2019-11-12 Adobe Inc. Providing a user experience with virtual reality content and user-selected, real world objects
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
JP6969576B2 (ja) 2016-12-22 2021-11-24 ソニーグループ株式会社 情報処理装置、および情報処理方法
EP3559862B1 (en) 2016-12-23 2022-06-15 Magic Leap, Inc. Techniques for determining settings for a content capture device
JP6382928B2 (ja) 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
EP3563215A4 (en) 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US10621773B2 (en) 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
US10410422B2 (en) 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
IT201700008727A1 (it) 2017-01-26 2018-07-26 Gabriele Sorrento Trasformazioni affini di elementi 3D in ambiente virtuale per mezzo di un dispositivo a 6 gradi di libertà
US9854324B1 (en) 2017-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for automatically enabling subtitles based on detecting an accent
EP3580686B1 (en) 2017-02-07 2023-03-15 InterDigital VC Holdings, Inc. System and method to prevent surveillance and preserve privacy in virtual reality
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
WO2018148845A1 (en) 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
KR102391965B1 (ko) 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
KR101891704B1 (ko) 2017-02-28 2018-08-24 메디컬아이피 주식회사 3차원 의료영상 제어 방법 및 그 장치
CN106990838B (zh) 2017-03-16 2020-11-13 惠州Tcl移动通信有限公司 一种虚拟现实模式下锁定显示内容的方法及系统
US10627900B2 (en) 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US20180302686A1 (en) 2017-04-14 2018-10-18 International Business Machines Corporation Personalizing closed captions for video content
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
KR102857458B1 (ko) 2017-04-19 2025-09-09 매직 립, 인코포레이티드 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
WO2018198910A1 (ja) 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
KR102432283B1 (ko) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US10210664B1 (en) 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
JP6969149B2 (ja) 2017-05-10 2021-11-24 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
JP6888411B2 (ja) 2017-05-15 2021-06-16 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
CN117891335A (zh) 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
US10228760B1 (en) 2017-05-23 2019-03-12 Visionary Vr, Inc. System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
JP6342038B1 (ja) 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP6257826B1 (ja) 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
CN117762256A (zh) 2017-05-31 2024-03-26 奇跃公司 眼睛跟踪校准技术
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
CN111033572B (zh) 2017-06-02 2023-09-05 苹果公司 用于检测用作虚拟衬底的平面和/或四叉树的方法和设备
CN110709672B (zh) 2017-06-02 2023-04-14 苹果公司 提供光导航引导
US10499186B2 (en) 2017-06-02 2019-12-03 Apple Inc. User interface for providing offline access to maps
US10775897B2 (en) 2017-06-06 2020-09-15 Maxell, Ltd. Mixed reality display system and mixed reality display terminal
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US11262885B1 (en) 2017-06-27 2022-03-01 William Martin Burckel Multi-gesture context chaining
US20190005055A1 (en) 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Offline geographic searches
EP3646581A1 (en) 2017-06-30 2020-05-06 PCMS Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10303427B2 (en) 2017-07-11 2019-05-28 Sony Corporation Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
US10521020B2 (en) 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
WO2019031005A1 (ja) 2017-08-08 2019-02-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10565448B2 (en) 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
JP7009835B2 (ja) 2017-08-24 2022-01-26 大日本印刷株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
US10803716B2 (en) 2017-09-08 2020-10-13 Hellofactory Co., Ltd. System and method of communicating devices using virtual buttons
US20190088149A1 (en) 2017-09-19 2019-03-21 Money Media Inc. Verifying viewing of content by user
US11989835B2 (en) 2017-09-26 2024-05-21 Toyota Research Institute, Inc. Augmented reality overlay
EP3676745B1 (en) 2017-09-29 2022-06-29 Apple Inc. Privacy screen for computer simulated reality
KR102330655B1 (ko) 2017-09-29 2021-11-23 애플 인크. 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스
CN114924651A (zh) 2017-09-29 2022-08-19 苹果公司 基于注视的用户交互
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10983663B2 (en) 2017-09-29 2021-04-20 Apple Inc. Displaying applications
EP4462253A3 (en) 2017-09-29 2025-01-29 Apple Inc. Computer-generated reality platform
US11861136B1 (en) 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10559126B2 (en) 2017-10-13 2020-02-11 Samsung Electronics Co., Ltd. 6DoF media consumption architecture using 2D video decoder
KR102138412B1 (ko) 2017-10-20 2020-07-28 한국과학기술원 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
US10839576B2 (en) 2017-10-27 2020-11-17 Magic Leap, Inc. Virtual reticle for augmented reality systems
US20190130633A1 (en) 2017-11-01 2019-05-02 Tsunami VR, Inc. Systems and methods for using a cutting volume to determine how to display portions of a virtual object to a user
US10430019B2 (en) 2017-11-08 2019-10-01 Disney Enterprises, Inc. Cylindrical interface for augmented reality / virtual reality devices
US10732826B2 (en) 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10580207B2 (en) 2017-11-24 2020-03-03 Frederic Bavastro Augmented reality method and system for design
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
GB2569139B (en) 2017-12-06 2023-02-01 Goggle Collective Ltd Three-dimensional drawing tool and method
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US10885701B1 (en) 2017-12-08 2021-01-05 Amazon Technologies, Inc. Light simulation for augmented reality applications
DE102018130770A1 (de) 2017-12-13 2019-06-13 Apple Inc. Stereoskopische Wiedergabe von virtuellen 3D-Objekten
US11380039B2 (en) 2017-12-14 2022-07-05 Magic Leap, Inc. Contextual-based rendering of virtual avatars
US20190188918A1 (en) 2017-12-14 2019-06-20 Tsunami VR, Inc. Systems and methods for user selection of virtual content for presentation to another user
EP3503101A1 (en) 2017-12-20 2019-06-26 Nokia Technologies Oy Object based user interface
US10026209B1 (en) 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects
US11082463B2 (en) 2017-12-22 2021-08-03 Hillel Felman Systems and methods for sharing personal information
US10685225B2 (en) 2017-12-29 2020-06-16 Wipro Limited Method and system for detecting text in digital engineering drawings
WO2019135634A1 (en) 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
CA3125730C (en) 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing
US10739861B2 (en) 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
JP2019125215A (ja) 2018-01-18 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7040041B2 (ja) 2018-01-23 2022-03-23 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
KR102666508B1 (ko) 2018-01-24 2024-05-20 애플 인크. 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10523912B2 (en) 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
US11861062B2 (en) 2018-02-03 2024-01-02 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
US20190251884A1 (en) 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views
WO2019165055A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Browser for mixed reality systems
WO2019164514A1 (en) 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
WO2019172678A1 (en) 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11093100B2 (en) 2018-03-08 2021-08-17 Microsoft Technology Licensing, Llc Virtual reality device with varying interactive modes for document viewing and editing
US20190277651A1 (en) 2018-03-08 2019-09-12 Salesforce.Com, Inc. Techniques and architectures for proactively providing offline maps
KR102478031B1 (ko) 2018-03-08 2022-12-16 삼성전자주식회사 외부 장치와의 연결을 위한 전자 장치 및 방법
US10922744B1 (en) 2018-03-20 2021-02-16 A9.Com, Inc. Object identification in social media post
JP7338184B2 (ja) 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
CN108519818A (zh) 2018-03-29 2018-09-11 北京小米移动软件有限公司 信息提示方法及装置
CN114935974B (zh) 2018-03-30 2025-04-25 托比股份公司 用于确定注视关注目标的对物体映射的多线迹注视
JP7040236B2 (ja) 2018-04-05 2022-03-23 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、三次元造形装置、三次元造形システム、及び三次元形状データの編集プログラム
US10523921B2 (en) 2018-04-06 2019-12-31 Zspace, Inc. Replacing 2D images with 3D images
US10908769B2 (en) 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US20190325654A1 (en) 2018-04-24 2019-10-24 Bae Systems Information And Electronic Systems Integration Inc. Augmented reality common operating picture
CN108563335B (zh) 2018-04-24 2021-03-23 网易（杭州）网络有限公司 虚拟现实交互方法、装置、存储介质及电子设备
CN112020731A (zh) 2018-04-24 2020-12-01 苹果公司 3d模型的多设备编辑
WO2019213111A1 (en) 2018-04-30 2019-11-07 Meta View, Inc. System and method for presenting virtual content in an interactive space
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
KR102524586B1 (ko) 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
US10650610B2 (en) 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Seamless switching between an authoring view and a consumption view of a three-dimensional scene
US10504290B2 (en) 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment
US10890968B2 (en) 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
CN118474324A (zh) 2018-05-08 2024-08-09 苹果公司 用于在沉浸水平之间切换的技术
US11595637B2 (en) 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
KR102707428B1 (ko) 2018-05-15 2024-09-20 삼성전자주식회사 Vr/ar 콘텐트를 제공하는 전자 장치
WO2019226691A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US20190361521A1 (en) 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
US11409363B2 (en) 2018-05-30 2022-08-09 West Texas Technology Partners, Llc Augmented reality hand gesture recognition systems
WO2019231893A1 (en) 2018-06-01 2019-12-05 Dakiana Research Llc Method and devices for switching between viewing vectors in a synthesized reality setting
CN110554770A (zh) 2018-06-01 2019-12-10 苹果公司 静态遮挡物
US10782651B2 (en) 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
JP7136931B2 (ja) 2018-06-05 2022-09-13 マジック リープ， インコーポレイテッド 空間３ｄ環境へのコンテンツのマッチング
US10712900B2 (en) 2018-06-06 2020-07-14 Sony Interactive Entertainment Inc. VR comfort zones used to inform an In-VR GUI editor
US11157159B2 (en) * 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US11036984B1 (en) 2018-06-08 2021-06-15 Facebook, Inc. Interactive instructions
US10579153B2 (en) 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN110620946B (zh) 2018-06-20 2022-03-18 阿里巴巴（中国）有限公司 字幕显示方法及装置
US11733824B2 (en) 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN111837174B (zh) 2018-06-25 2023-03-28 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法
CN110634189B (zh) 2018-06-25 2023-11-07 苹果公司 用于在沉浸式混合现实体验期间用户警报的系统和方法
EP3814829A4 (en) 2018-06-27 2022-03-23 Sentiar, Inc. GAZE-BASED USER INTERFACE FOR AUGMENTED REALITY ENVIRONMENT
US10783712B2 (en) 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
US10712901B2 (en) 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
CN110673718B (zh) 2018-07-02 2021-10-29 苹果公司 用于显示系统的基于聚焦的调试和检查
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
US10970929B2 (en) 2018-07-16 2021-04-06 Occipital, Inc. Boundary detection using vision-based feature mapping
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US10607083B2 (en) 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10841174B1 (en) 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface
EP3834065A4 (en) 2018-08-07 2022-06-29 Levi Strauss & Co. Laser finishing design tool
US10916220B2 (en) 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
US10573067B1 (en) 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
US12105869B2 (en) 2018-08-24 2024-10-01 Sony Corporation Information processing apparatus and information processing method
US11803293B2 (en) 2018-08-30 2023-10-31 Apple Inc. Merging virtual object kits
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
GB2576905B (en) 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
KR102582863B1 (ko) 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
US10699488B1 (en) 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
US10855978B2 (en) 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
CN113538652B (zh) 2018-09-19 2022-07-19 阿泰克欧洲公司 具有数据收集反馈的三维扫描器
US11416069B2 (en) 2018-09-21 2022-08-16 Immersivetouch, Inc. Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3857520A4 (en) 2018-09-24 2021-12-01 Magic Leap, Inc. PROCEDURES AND SYSTEMS FOR DIVIDING THREE-DIMENSIONAL MODELS
EP3655928B1 (en) 2018-09-26 2021-02-24 Google LLC Soft-occlusion for computer graphics rendering
US10942577B2 (en) 2018-09-26 2021-03-09 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
US10638201B2 (en) 2018-09-26 2020-04-28 Rovi Guides, Inc. Systems and methods for automatically determining language settings for a media asset
US11417051B2 (en) 2018-09-28 2022-08-16 Sony Corporation Information processing apparatus and information processing method to ensure visibility of shielded virtual objects
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
AU2018443332B9 (en) 2018-09-30 2022-12-08 Huawei Technologies Co., Ltd. Data transfer method and electronic device
US11032532B2 (en) 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content
US10816994B2 (en) 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
WO2020092271A1 (en) 2018-10-29 2020-05-07 Holosports Corporation Racing helmet with visual and audible information exchange
US11181862B2 (en) 2018-10-31 2021-11-23 Doubleme, Inc. Real-world object holographic transport and communication room system
US10929099B2 (en) 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
JP7405093B2 (ja) 2018-11-20 2023-12-26 ソニーグループ株式会社 情報処理装置および情報処理方法
JP2020086939A (ja) 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7293620B2 (ja) 2018-11-26 2023-06-20 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
CN109491508B (zh) 2018-11-27 2022-08-26 北京七鑫易维信息技术有限公司 一种确定注视对象的方法和装置
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US11651567B2 (en) 2018-12-13 2023-05-16 Maxell, Ltd. Display terminal, display control system and display control method
US11604080B2 (en) 2019-01-05 2023-03-14 Telenav, Inc. Navigation system with an adaptive map pre-caching mechanism and method of operation thereof
WO2020146249A1 (en) 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for tele-medicine
US10901495B2 (en) 2019-01-10 2021-01-26 Microsofttechnology Licensing, Llc Techniques for multi-finger typing in mixed-reality
US11320957B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
US11107265B2 (en) 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US10740960B2 (en) 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11099634B2 (en) 2019-01-25 2021-08-24 Apple Inc. Manipulation of virtual objects using a tracked physical object
DE102020101675B4 (de) 2019-01-25 2025-08-28 Apple Inc. Manipulation von virtuellen objekten mittels eines verfolgten physischen objekts
US10708965B1 (en) 2019-02-02 2020-07-07 Roambee Corporation Augmented reality based asset pairing and provisioning
US10782858B2 (en) 2019-02-12 2020-09-22 Lenovo (Singapore) Pte. Ltd. Extended reality information for identified objects
US10866563B2 (en) 2019-02-13 2020-12-15 Microsoft Technology Licensing, Llc Setting hologram trajectory via user input
KR102639725B1 (ko) 2019-02-18 2024-02-23 삼성전자주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
KR102664705B1 (ko) 2019-02-19 2024-05-09 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
WO2020171098A1 (ja) 2019-02-19 2020-08-27 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
US11238656B1 (en) 2019-02-22 2022-02-01 Consumerinfo.Com, Inc. System and method for an augmented reality experience via an artificial intelligence bot
CN109656421B (zh) 2019-03-05 2021-04-06 京东方科技集团股份有限公司 显示装置
US12056826B2 (en) 2019-03-06 2024-08-06 Maxell, Ltd. Head-mounted information processing apparatus and head-mounted display system
US10964122B2 (en) 2019-03-06 2021-03-30 Microsofttechnology Licensing, Llc Snapping virtual object to target surface
CN110193204B (zh) * 2019-03-14 2020-12-22 网易（杭州）网络有限公司 操作单位的编组方法、装置、存储介质及电子装置
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US12505609B2 (en) 2019-03-19 2025-12-23 Obsess, Inc. Systems and methods to generate an interactive environment using a 3D model and cube maps
JP2019169154A (ja) 2019-04-03 2019-10-03 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
WO2020210298A1 (en) 2019-04-10 2020-10-15 Ocelot Laboratories Llc Techniques for participation in a shared setting
US11296906B2 (en) 2019-04-10 2022-04-05 Connections Design, LLC Wireless programming device and methods for machine control systems
WO2020217326A1 (ja) 2019-04-23 2020-10-29 マクセル株式会社 ヘッドマウントディスプレイ装置
US10698562B1 (en) 2019-04-30 2020-06-30 Daqri, Llc Systems and methods for providing a user interface for an environment that includes virtual objects
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
US10762716B1 (en) 2019-05-06 2020-09-01 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11100909B2 (en) 2019-05-06 2021-08-24 Apple Inc. Devices, methods, and graphical user interfaces for adaptively providing audio outputs
CN111913565B (zh) 2019-05-07 2023-03-07 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、系统、终端设备及存储介质
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US11146909B1 (en) 2019-05-20 2021-10-12 Apple Inc. Audio-based presence detection
US20200371673A1 (en) 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
CN112292726B (zh) 2019-05-22 2022-02-22 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质
CN113728301B (zh) 2019-06-01 2024-07-23 苹果公司 用于在2d屏幕上操纵3d对象的设备、方法和图形用户界面
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US20200387214A1 (en) 2019-06-07 2020-12-10 Facebook Technologies, Llc Artificial reality system having a self-haptic virtual keyboard
CN114270312A (zh) 2019-06-21 2022-04-01 奇跃公司 经由模态窗口的安全授权
US11055920B1 (en) 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
EP3991013A1 (en) 2019-06-28 2022-05-04 Sony Group Corporation Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
JP6684952B1 (ja) 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
US11023035B1 (en) 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual pinboard interaction using a peripheral device in artificial reality environments
US20210011556A1 (en) 2019-07-09 2021-01-14 Facebook Technologies, Llc Virtual user interface using a peripheral device in artificial reality environments
US10928975B2 (en) 2019-07-17 2021-02-23 Microsoft Technology Licensing, Llc On-the-fly adjustment of orientation of virtual objects
CN113574849B (zh) 2019-07-29 2025-01-14 苹果公司 用于后续对象检测的对象扫描
KR20190098110A (ko) 2019-08-02 2019-08-21 엘지전자 주식회사 지능형 프레젠테이션 방법
CN110413171B (zh) 2019-08-08 2021-02-09 腾讯科技（深圳）有限公司 控制虚拟对象进行快捷操作的方法、装置、设备及介质
CN115396521A (zh) 2019-08-09 2022-11-25 华为技术有限公司 一种切换通信协议的方法、装置和系统
JP7459462B2 (ja) 2019-08-15 2024-04-02 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
US20210055789A1 (en) 2019-08-22 2021-02-25 Dell Products, Lp System to Share Input Devices Across Multiple Information Handling Systems and Method Therefor
US11120611B2 (en) 2019-08-22 2021-09-14 Microsoft Technology Licensing, Llc Using bounding volume representations for raytracing dynamic units within a virtual space
KR102770643B1 (ko) 2019-09-06 2025-02-19 엘지전자 주식회사 증강현실 기반의 기기 제어 장치 및 그 방법
US10956724B1 (en) 2019-09-10 2021-03-23 Facebook Technologies, Llc Utilizing a hybrid model to recognize fast and precise hand inputs in a virtual environment
CN114365187B (zh) 2019-09-10 2026-04-24 苹果公司 姿态跟踪系统
KR102861526B1 (ko) 2019-09-11 2025-09-19 사반트 시스템즈, 인크. 홈 자동화 시스템을 위한 3차원 가상적 룸-기반 사용자 인터페이스
US11087562B2 (en) 2019-09-19 2021-08-10 Apical Limited Methods of data processing for an augmented reality system by obtaining augmented reality data and object recognition data
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
KR102680342B1 (ko) 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치
US11379033B2 (en) 2019-09-26 2022-07-05 Apple Inc. Augmented devices
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11762457B1 (en) 2019-09-27 2023-09-19 Apple Inc. User comfort monitoring and notification
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102684612B1 (ko) 2019-09-27 2024-07-15 애플 인크. 가상 객체들 제어
CN119065500A (zh) 2019-10-22 2024-12-03 谷歌有限责任公司 可穿戴装置的空间音频
US11494995B2 (en) 2019-10-29 2022-11-08 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11127373B2 (en) 2019-10-30 2021-09-21 Ford Global Technologies, Llc Augmented reality wearable system for vehicle occupants
WO2021096514A1 (en) 2019-11-14 2021-05-20 Google Llc Prioritized provision and retrieval of offline map data
KR102258285B1 (ko) 2019-11-19 2021-05-31 데이터킹주식회사 가상건물 생성과 활용 방법 및 서버
KR102862950B1 (ko) 2019-11-25 2025-09-22 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
FR3104290B1 (fr) 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation
JP7377088B2 (ja) 2019-12-10 2023-11-09 キヤノン株式会社 電子機器およびその制御方法、プログラム、並びに記憶媒体
US11204678B1 (en) 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11875013B2 (en) 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US10936148B1 (en) 2019-12-26 2021-03-02 Sap Se Touch interaction in augmented and virtual reality applications
KR20210083016A (ko) 2019-12-26 2021-07-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102830396B1 (ko) 2020-01-16 2025-07-07 삼성전자주식회사 모바일 디바이스 및 그 동작 방법
US11551422B2 (en) 2020-01-17 2023-01-10 Apple Inc. Floorplan generation based on room scanning
US11017611B1 (en) 2020-01-27 2021-05-25 Amazon Technologies, Inc. Generation and modification of rooms in virtual reality environments
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
JP7731362B2 (ja) 2020-02-26 2025-08-29 マジック リープ， インコーポレイテッド ウェアラブルシステムのための手のジェスチャ入力
US11200742B1 (en) 2020-02-28 2021-12-14 United Services Automobile Association (Usaa) Augmented reality-based interactive customer support
KR102946236B1 (ko) 2020-02-28 2026-03-31 삼성전자주식회사 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
WO2021178247A1 (en) 2020-03-02 2021-09-10 Qsinx Management Llc Systems and methods for processing scanned objects
KR102346294B1 (ko) 2020-03-03 2022-01-04 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20210279967A1 (en) 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
EP4115395A4 (en) 2020-03-06 2024-02-14 Yembo, Inc. IDENTIFICATION OF FLOOD DAMAGE IN AN INDOOR ENVIRONMENT USING A VIRTUAL REPRESENTATION
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11112875B1 (en) 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11237641B2 (en) 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
AU2021242208B2 (en) 2020-03-27 2024-07-11 Apple Inc. Devices, methods, and graphical user interfaces for gaze-based navigation
FR3109041A1 (fr) 2020-04-01 2021-10-08 Orange Acquisition de droit temporaire par transmission d'onde radio en champ proche
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
KR102417257B1 (ko) 2020-04-03 2022-07-06 주식회사 포시에스 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법
WO2021202783A1 (en) 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
CN111475573B (zh) 2020-04-08 2023-02-28 腾讯科技（深圳）有限公司 数据同步方法、装置、电子设备及存储介质
US20220229534A1 (en) 2020-04-08 2022-07-21 Multinarity Ltd Coordinating cursor movement between a physical surface and a virtual surface
US11126850B1 (en) 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US12299340B2 (en) 2020-04-17 2025-05-13 Apple Inc. Multi-device continuity for use with extended reality systems
US11641460B1 (en) 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11348325B2 (en) 2020-05-06 2022-05-31 Cds Visual, Inc. Generating photorealistic viewable images using augmented reality techniques
US12014455B2 (en) 2020-05-06 2024-06-18 Magic Leap, Inc. Audiovisual presence transitions in a collaborative reality environment
CN111580652B (zh) 2020-05-06 2024-01-16 Oppo广东移动通信有限公司 视频播放的控制方法、装置、增强现实设备及存储介质
US11508085B2 (en) 2020-05-08 2022-11-22 Varjo Technologies Oy Display systems and methods for aligning different tracking means
US20210358294A1 (en) 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US12072962B2 (en) 2020-05-26 2024-08-27 Sony Semiconductor Solutions Corporation Method, computer program and system for authenticating a user and respective methods and systems for setting up an authentication
JP7489048B2 (ja) 2020-06-01 2024-05-23 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム
US20210397316A1 (en) 2020-06-22 2021-12-23 Viktor Kaptelinin Inertial scrolling method and apparatus
US11989965B2 (en) 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11360310B2 (en) 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US11233973B1 (en) 2020-07-23 2022-01-25 International Business Machines Corporation Mixed-reality teleconferencing across multiple locations
US11908159B2 (en) 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
US11494153B2 (en) 2020-07-27 2022-11-08 Shopify Inc. Systems and methods for modifying multi-user augmented reality
CN112068757B (zh) 2020-08-03 2022-04-08 北京理工大学 一种用于虚拟现实的目标选择方法及系统
US11899845B2 (en) 2020-08-04 2024-02-13 Samsung Electronics Co., Ltd. Electronic device for recognizing gesture and method for operating the same
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
WO2022055822A1 (en) 2020-09-11 2022-03-17 Sterling Labs Llc Method of interacting with objects in an environment
WO2022055821A1 (en) 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
WO2022056036A2 (en) 2020-09-11 2022-03-17 Apple Inc. Methods for manipulating objects in an environment
US11522925B2 (en) 2020-09-14 2022-12-06 NWR Corporation Systems and methods for teleconferencing virtual environments
WO2022055650A1 (en) 2020-09-14 2022-03-17 Sterling Labs Llc Content playback and modifications in a 3d environment
US11606364B2 (en) 2020-09-15 2023-03-14 Meta Platforms Technologies, Llc Artificial reality collaborative working environments
US11599239B2 (en) 2020-09-15 2023-03-07 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12236546B1 (en) 2020-09-24 2025-02-25 Apple Inc. Object manipulations with a pointing device
EP4218203B1 (en) 2020-09-24 2024-10-16 Apple Inc. Recommended avatar placement in an environmental representation of a multi-user communication session
JP6976395B1 (ja) 2020-09-24 2021-12-08 Kddi株式会社 配信装置、配信システム、配信方法及び配信プログラム
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2022066399A1 (en) 2020-09-24 2022-03-31 Sterling Labs Llc Diffused light rendering of a virtual light source in a 3d environment
US11615597B2 (en) 2020-09-25 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7784422B2 (ja) 2020-09-25 2025-12-11 アップル インコーポレイテッド ユーザインタフェースをナビゲートする方法
EP4697149A3 (en) 2020-09-25 2026-03-11 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
AU2021349381B2 (en) 2020-09-25 2024-02-22 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN117032450B (zh) 2020-09-25 2024-11-08 苹果公司 用于操纵环境中的对象的方法
US11175791B1 (en) 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
US11538225B2 (en) 2020-09-30 2022-12-27 Snap Inc. Augmented reality content generator for suggesting activities at a destination geolocation
US12399568B2 (en) 2020-09-30 2025-08-26 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US12408804B2 (en) 2020-10-07 2025-09-09 Irobot Corporation User feedback on potential obstacles and error conditions detected by autonomous mobile robots
US11750774B2 (en) 2020-10-19 2023-09-05 Sophya Inc. Systems and methods for triggering livestream communications between users based on proximity-based criteria for avatars within virtual environments that correspond to the users
US11694376B2 (en) 2020-10-19 2023-07-04 Adobe Inc. Intuitive 3D transformations for 2D graphics
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11568620B2 (en) 2020-10-28 2023-01-31 Shopify Inc. Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US11669155B2 (en) * 2020-11-03 2023-06-06 Light Wand LLC Systems and methods for controlling secondary devices using mixed, virtual or augmented reality
US11615586B2 (en) 2020-11-06 2023-03-28 Adobe Inc. Modifying light sources within three-dimensional environments by utilizing control models based on three-dimensional interaction primitives
JP7257370B2 (ja) 2020-11-18 2023-04-13 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US11249556B1 (en) 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
US11630509B2 (en) 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
JP7613089B2 (ja) 2020-12-21 2025-01-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11232643B1 (en) 2020-12-22 2022-01-25 Facebook Technologies, Llc Collapsing of 3D objects to 2D images in an artificial reality environment
US11461973B2 (en) * 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11402634B2 (en) 2020-12-30 2022-08-02 Facebook Technologies, Llc. Hand-locked rendering of virtual objects in artificial reality
US20220207846A1 (en) 2020-12-30 2022-06-30 Propsee LLC System and Method to Process and Display Information Related to Real Estate by Developing and Presenting a Photogrammetric Reality Mesh
CN117136371A (zh) 2020-12-31 2023-11-28 苹果公司 在虚拟环境中显示产品的方法
WO2022147457A1 (en) 2020-12-31 2022-07-07 Snap Inc. Recording augmented reality content on an eyewear device
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
WO2022146938A1 (en) 2020-12-31 2022-07-07 Sterling Labs Llc Method of manipulating user interfaces in an environment
WO2022147146A1 (en) 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11307653B1 (en) 2021-03-05 2022-04-19 MediVis, Inc. User input and interface design in augmented reality for use in surgical settings
US20220221976A1 (en) 2021-01-13 2022-07-14 A9.Com, Inc. Movement of virtual objects with respect to virtual vertical surfaces
WO2022153788A1 (ja) 2021-01-18 2022-07-21 古野電気株式会社 Ａｒ操船システム、及びａｒ操船方法
KR20260047292A (ko) 2021-01-20 2026-04-07 애플 인크. 환경 내의 객체들과 상호작용하기 위한 방법
WO2022164644A1 (en) 2021-01-26 2022-08-04 Sterling Labs Llc Displaying a contextualized widget
US12493353B2 (en) 2021-01-26 2025-12-09 Beijing Boe Technology Development Co., Ltd. Control method, electronic device, and storage medium
EP4285206A1 (en) 2021-01-27 2023-12-06 Meta Platforms Technologies, Llc Systems and methods for predicting an intent to interact
CN114911398A (zh) 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 显示图形界面方法、电子设备和计算机程序产品
JP7665161B2 (ja) 2021-02-08 2025-04-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
US11402964B1 (en) 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
EP4295314A4 (en) 2021-02-08 2025-04-16 Sightful Computers Ltd EXTENDED REALITY CONTENT SHARING
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11556169B2 (en) 2021-02-11 2023-01-17 Meta Platforms Technologies, Llc Adaptable personal user interfaces in cross-application virtual reality settings
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
JP7580302B2 (ja) 2021-03-01 2024-11-11 本田技研工業株式会社 処理システム、および処理方法
WO2022192040A1 (en) 2021-03-08 2022-09-15 Dathomir Laboratories Llc Three-dimensional programming environment
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US12028507B2 (en) 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US12244782B2 (en) 2021-03-11 2025-03-04 Quintar, Inc. Augmented reality system for remote presentation for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US20230260240A1 (en) 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US12003806B2 (en) 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11729551B2 (en) 2021-03-19 2023-08-15 Meta Platforms Technologies, Llc Systems and methods for ultra-wideband applications
US12333083B2 (en) 2021-03-22 2025-06-17 Apple Inc. Methods for manipulating objects in an environment
WO2022204664A1 (en) 2021-03-22 2022-09-29 Apple Inc. Devices, methods, and graphical user interfaces for maps
US11523063B2 (en) 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US12504937B2 (en) 2021-03-31 2025-12-23 Maxell, Ltd. Information display apparatus and method
CN112927341B (zh) 2021-04-02 2025-01-10 腾讯科技（深圳）有限公司 光照渲染方法、装置、计算机设备和存储介质
JP7713533B2 (ja) 2021-04-13 2025-07-25 アップル インコーポレイテッド 環境内で没入型体験を提供するための方法
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US12401780B2 (en) 2021-04-19 2025-08-26 Vuer Llc System and method for exploring immersive content and immersive advertisements on television
CN117242497A (zh) 2021-05-05 2023-12-15 苹果公司 环境共享
JP2022175629A (ja) 2021-05-14 2022-11-25 キヤノン株式会社 情報端末システム、情報端末システムの制御方法及びプログラム
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US12449961B2 (en) 2021-05-18 2025-10-21 Apple Inc. Adaptive video conference user interfaces
US11676348B2 (en) 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
US20220391158A1 (en) 2021-06-04 2022-12-08 Apple Inc. Systems and Methods for Interacting with Multiple Display Devices
US20220197403A1 (en) 2021-06-10 2022-06-23 Facebook Technologies, Llc Artificial Reality Spatial Interactions
US20220165013A1 (en) 2021-06-18 2022-05-26 Facebook Technologies, Llc Artificial Reality Communications
US11743215B1 (en) 2021-06-28 2023-08-29 Meta Platforms Technologies, Llc Artificial reality messaging with destination selection
US12141423B2 (en) 2021-06-29 2024-11-12 Apple Inc. Techniques for manipulating computer graphical objects
US12141914B2 (en) 2021-06-29 2024-11-12 Apple Inc. Techniques for manipulating computer graphical light sources
US20230007335A1 (en) 2021-06-30 2023-01-05 Rovi Guides, Inc. Systems and methods of presenting video overlays
US11868523B2 (en) 2021-07-01 2024-01-09 Google Llc Eye gaze classification
JP7809925B2 (ja) 2021-07-26 2026-02-03 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US12288285B2 (en) 2021-07-28 2025-04-29 Apple Inc. System and method for interactive three-dimensional preview
US12242706B2 (en) 2021-07-28 2025-03-04 Apple Inc. Devices, methods and graphical user interfaces for three-dimensional preview of objects
US11902766B2 (en) 2021-07-30 2024-02-13 Verizon Patent And Licensing Inc. Independent control of avatar location and voice origination location within a virtual collaboration space
KR20230022056A (ko) 2021-08-06 2023-02-14 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US20230069764A1 (en) 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
EP4392853A1 (en) 2021-08-27 2024-07-03 Apple Inc. System and method of augmented representation of an electronic device
US11756272B2 (en) 2021-08-27 2023-09-12 LabLightAR, Inc. Somatic and somatosensory guidance in virtual and augmented reality environments
WO2023028570A1 (en) 2021-08-27 2023-03-02 Chinook Labs Llc Displaying and manipulating user interface elements
US11950040B2 (en) 2021-09-09 2024-04-02 Apple Inc. Volume control of ear devices
DE112022004369T5 (de) 2021-09-10 2024-07-18 Apple Inc. Erfassung und wiedergabe von umgebungen
CN117980866A (zh) 2021-09-20 2024-05-03 苹果公司 基于情境提供方向感知指示器
US12124674B2 (en) 2021-09-22 2024-10-22 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4405797A1 (en) 2021-09-23 2024-07-31 Apple Inc. Devices, methods, and graphical user interfaces for content applications
EP4405792A2 (en) 2021-09-23 2024-07-31 Apple Inc. Methods for moving objects in a three-dimensional environment
US12541940B2 (en) 2021-09-24 2026-02-03 The Regents Of The University Of Michigan Visual attention tracking using gaze and visual content analysis
US12131429B2 (en) 2021-09-24 2024-10-29 Apple Inc. Devices, methods, and graphical user interfaces for displaying a representation of a user in an extended reality environment
US11934569B2 (en) 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4388397A1 (en) 2021-09-25 2024-06-26 Apple Inc. Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
KR20240064017A (ko) 2021-09-25 2024-05-10 애플 인크. 전자 디바이스와 상호작용하기 위한 방법들
US11847748B2 (en) 2021-10-04 2023-12-19 Snap Inc. Transferring objects from 2D video to 3D AR
US11776166B2 (en) 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
US20220319134A1 (en) 2021-10-21 2022-10-06 Meta Platforms Technologies, Llc Contextual Message Delivery in Artificial Reality
US12067159B2 (en) 2021-11-04 2024-08-20 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (AR) environment control
US12254571B2 (en) 2021-11-23 2025-03-18 Sony Interactive Entertainment Inc. Personal space bubble in VR environments
WO2023096940A2 (en) 2021-11-29 2023-06-01 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
WO2023122799A1 (en) 2021-12-23 2023-06-29 Apple Inc. Methods for sharing content and interacting with physical devices in a three-dimensional environment
CN119621211A (zh) 2022-01-03 2025-03-14 苹果公司 用于导航并输入或修订内容的设备、方法和图形用户界面
CN119512362A (zh) 2022-01-10 2025-02-25 苹果公司 用于显示与媒体内容相关的用户界面元素的方法
JP7843357B2 (ja) 2022-01-19 2026-04-09 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法
CN118922865A (zh) 2022-01-23 2024-11-08 M·库恩都 用户控制的三维场景
US12175614B2 (en) 2022-01-25 2024-12-24 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230244857A1 (en) 2022-01-31 2023-08-03 Slack Technologies, Llc Communication platform interactive transcripts
US11768544B2 (en) 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12154236B1 (en) 2022-03-11 2024-11-26 Apple Inc. Assisted drawing and writing in extended reality
US20230314801A1 (en) 2022-03-29 2023-10-05 Rovi Guides, Inc. Interaction methods and systems for a head-up display
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment
CN119365840A (zh) 2022-04-11 2025-01-24 苹果公司 用于三维环境的相对操纵的方法
US20230377268A1 (en) 2022-04-19 2023-11-23 Kilton Patrick Hopkins Method and apparatus for multiple dimension image creation
EP4511722A1 (en) 2022-04-20 2025-02-26 Apple Inc. Obstructed objects in a three-dimensional environment
CN119404229A (zh) 2022-04-22 2025-02-07 森迪尔公司 头戴式显示器与电解剖系统之间的双向通信
US11935201B2 (en) 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
US11843469B2 (en) 2022-04-29 2023-12-12 Microsoft Technology Licensing, Llc Eye contact assistance in video conference
US20230368475A1 (en) 2022-05-10 2023-11-16 Apple Inc. Multi-Device Content Handoff Based on Source Device Position
US12283020B2 (en) 2022-05-17 2025-04-22 Apple Inc. Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230377299A1 (en) 2022-05-17 2023-11-23 Apple Inc. Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US12192257B2 (en) 2022-05-25 2025-01-07 Microsoft Technology Licensing, Llc 2D and 3D transitions for renderings of users participating in communication sessions
US20230409807A1 (en) 2022-05-31 2023-12-21 Suvoda LLC Systems, devices, and methods for composition and presentation of an interactive electronic document
US20230394755A1 (en) 2022-06-02 2023-12-07 Apple Inc. Displaying a Visual Representation of Audible Data Based on a Region of Interest
US20230396854A1 (en) 2022-06-05 2023-12-07 Apple Inc. Multilingual captions
US12299252B2 (en) 2022-06-10 2025-05-13 Meta Platforms Technologies, Llc Systems and methods for coordinating operation of a head-wearable device and an electronic device to assist a user in interacting with the electronic device
US12394167B1 (en) 2022-06-30 2025-08-19 Apple Inc. Window resizing and virtual object rearrangement in 3D environments
US11914837B2 (en) 2022-07-08 2024-02-27 Shanghai Lilith Technology Corporation Video acquisition method, electronic device, and storage medium
US12020387B2 (en) 2022-07-25 2024-06-25 Bank Of America Corporation Intelligent data migration via mixed reality
US11988832B2 (en) 2022-08-08 2024-05-21 Lenovo (Singapore) Pte. Ltd. Concurrent rendering of canvases for different apps as part of 3D simulation
US12175580B2 (en) 2022-08-23 2024-12-24 At&T Intellectual Property I, L.P. Virtual reality avatar attention-based services
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
WO2024059755A1 (en) 2022-09-14 2024-03-21 Apple Inc. Methods for depth conflict mitigation in a three-dimensional environment
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12148078B2 (en) 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
US20240094882A1 (en) 2022-09-21 2024-03-21 Apple Inc. Gestures for selection refinement in a three-dimensional environment
US20240103616A1 (en) 2022-09-22 2024-03-28 Apple Inc. User interfaces for gaze tracking enrollment
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US20240152245A1 (en) 2022-09-23 2024-05-09 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US12602865B2 (en) 2022-09-23 2026-04-14 Apple Inc. Methods for depth conflict mitigation in a three-dimensional environment
CN119998764A (zh) 2022-09-23 2025-05-13 苹果公司 用于与三维环境中的窗口控件交互的设备、方法和图形用户界面
US20240103681A1 (en) 2022-09-23 2024-03-28 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
WO2024064925A1 (en) 2022-09-23 2024-03-28 Apple Inc. Methods for displaying objects relative to virtual surfaces
EP4591144A1 (en) 2022-09-23 2025-07-30 Apple Inc. Methods for manipulating a virtual object
EP4573436A1 (en) 2022-09-23 2025-06-25 Apple Inc. Methods for improving user environmental awareness
US20240152256A1 (en) 2022-09-24 2024-05-09 Apple Inc. Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
WO2024064949A2 (en) 2022-09-24 2024-03-28 Apple Inc. User interfaces for supplemental maps
US12524956B2 (en) 2022-09-24 2026-01-13 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
CN120266083A (zh) 2022-09-24 2025-07-04 苹果公司 用于基于注意力与用户界面交互的方法
KR20250075620A (ko) 2022-09-24 2025-05-28 애플 인크. 3차원 환경을 제어하고 그와 상호작용하기 위한 방법들
US12437494B2 (en) 2022-09-24 2025-10-07 Apple Inc. Systems and methods of creating and editing virtual objects using voxels
CN119923555A (zh) 2022-09-24 2025-05-02 苹果公司 离线地图
CN115309271B (zh) 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质
US12469194B2 (en) 2022-10-03 2025-11-11 Adobe Inc. Generating shadows for placed objects in depth estimated scenes of two-dimensional images
CN118102204A (zh) 2022-11-15 2024-05-28 华为技术有限公司 一种行为指引方法、电子设备及介质
US12437471B2 (en) 2022-12-02 2025-10-07 Adeia Guides Inc. Personalized user engagement in a virtual reality environment
US20240193892A1 (en) 2022-12-09 2024-06-13 Apple Inc. Systems and methods for correlation between rotation of a three-dimensional object and rotation of a viewpoint of a user
CN116132905A (zh) 2022-12-09 2023-05-16 杭州灵伴科技有限公司 音频播放方法和头戴式显示设备
US20240221273A1 (en) 2022-12-29 2024-07-04 Apple Inc. Presenting animated spatial effects in computer-generated environments
CN120712546A (zh) 2023-01-24 2025-09-26 苹果公司 用于在三维环境中显示用户界面对象的方法
US12400414B2 (en) 2023-02-08 2025-08-26 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US20240281109A1 (en) 2023-02-17 2024-08-22 Apple Inc. Systems and methods of displaying user interfaces based on tilt
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US20240104870A1 (en) 2023-03-03 2024-03-28 Meta Platforms Technologies, Llc AR Interactions and Experiences
US20240338921A1 (en) 2023-04-07 2024-10-10 Apple Inc. Triggering a Visual Search in an Electronic Device
US12182325B2 (en) 2023-04-25 2024-12-31 Apple Inc. System and method of representations of user interfaces of an electronic device
US12321515B2 (en) 2023-04-25 2025-06-03 Apple Inc. System and method of representations of user interfaces of an electronic device
WO2024226681A1 (en) 2023-04-25 2024-10-31 Apple Inc. Methods for displaying and rearranging objects in an environment
US20240420435A1 (en) 2023-05-18 2024-12-19 Apple Inc. Methods for moving objects in a three-dimensional environment
US20250005864A1 (en) 2023-05-23 2025-01-02 Apple Inc. Methods for optimization of virtual user interfaces in a three-dimensional environment
US20240402800A1 (en) 2023-06-02 2024-12-05 Apple Inc. Input Recognition in 3D Environments
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
WO2024253973A1 (en) 2023-06-03 2024-12-12 Apple Inc. Devices, methods, and graphical user interfaces for content applications
EP4695667A1 (en) 2023-06-03 2026-02-18 Apple Inc. Devices, methods, and graphical user interfaces for displaying views of physical locations
WO2024254095A1 (en) 2023-06-04 2024-12-12 Apple Inc. Locations of media controls for media content and captions for media content in three-dimensional environments
EP4702419A1 (en) 2023-06-04 2026-03-04 Apple Inc. Systems and methods for managing display of participants in real-time communication sessions
CN121187445A (zh) 2023-06-04 2025-12-23 苹果公司 用于管理重叠窗口和应用视觉效果的方法
WO2024253979A1 (en) 2023-06-04 2024-12-12 Apple Inc. Methods for moving objects in a three-dimensional environment
AU2024203762A1 (en) 2023-06-04 2024-12-19 Apple Inc. Devices, methods, and graphical user interfaces for displaying content of physical locations
CN119094689A (zh) 2023-06-04 2024-12-06 苹果公司 在多用户通信会话中管理空间组的系统和方法
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
US20250029328A1 (en) 2023-07-23 2025-01-23 Apple Inc. Systems and methods for presenting content in a shared computer generated environment of a multi-user communication session
US20250031002A1 (en) 2023-07-23 2025-01-23 Apple Inc. Systems, devices, and methods for audio presentation in a three-dimensional environment
KR20260032626A (ko) 2023-07-23 2026-03-09 애플 인크. 통신 세션에서 콘텐츠를 공유하기 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US20250069328A1 (en) 2023-08-25 2025-02-27 Apple Inc. Methods for managing spatially conflicting virtual objects and applying visual effects
US20250077066A1 (en) 2023-08-28 2025-03-06 Apple Inc. Systems and methods for scrolling a user interface element
US20250104367A1 (en) 2023-09-25 2025-03-27 Apple Inc. Systems and methods of layout and presentation for creative workflows
US20250104335A1 (en) 2023-09-25 2025-03-27 Apple Inc. Systems and methods of layout and presentation for creative workflows
US20250106582A1 (en) 2023-09-26 2025-03-27 Apple Inc. Dynamically updating simulated source locations of audio sources
US20250111626A1 (en) 2023-09-28 2025-04-03 Apple Inc. Presenting content associated with a real-world user interface
US20250110605A1 (en) 2023-09-29 2025-04-03 Apple Inc. Systems and methods of boundary transitions for creative workflows
US20250111472A1 (en) 2023-09-29 2025-04-03 Apple Inc. Adjusting the zoom level of content
US12561924B2 (en) 2023-09-29 2026-02-24 Apple Inc. Displaying extended reality media feed using media links
US20250111605A1 (en) 2023-09-29 2025-04-03 Apple Inc. Systems and methods of annotating in a three-dimensional environment
CN117857981A (zh) 2023-12-11 2024-04-09 歌尔科技有限公司 音频播放方法、车辆、头戴设备和计算机可读存储介质
US20250209744A1 (en) 2023-12-22 2025-06-26 Apple Inc. Hybrid spatial groups in multi-user communication sessions
US20250209753A1 (en) 2023-12-22 2025-06-26 Apple Inc. Interactions within hybrid spatial groups in multi-user communication sessions
WO2025151784A1 (en) 2024-01-12 2025-07-17 Apple Inc. Methods of updating spatial arrangements of a plurality of virtual objects within a real-time communication session

Also Published As

Publication number Publication date
US20230334808A1 (en) 2023-10-19
US12524977B2 (en) 2026-01-13
EP4463754A1 (en) 2024-11-20
WO2023137402A1 (en) 2023-07-20
CN118871875A (zh) 2024-10-29
US20260112140A1 (en) 2026-04-23

Similar Documents

Publication Publication Date Title
US12524977B2 (en) Methods for displaying, selecting and moving objects and containers in an environment
US12443273B2 (en) Methods for presenting and sharing content in an environment
US12511009B2 (en) Representations of messages in a three-dimensional environment
CN117032450B (zh) 用于操纵环境中的对象的方法
US12147597B2 (en) Methods for cursor-based interactions with an electronic device
US12506953B2 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US12608890B2 (en) Obstructed objects in a three-dimensional environment
AU2022352756B2 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN119396287A (zh) 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US20260099236A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
CN119512362A (zh) 用于显示与媒体内容相关的用户界面元素的方法
US12481357B2 (en) Devices, methods, for interacting with graphical user interfaces
US20240385858A1 (en) Methods for displaying mixed reality content in a three-dimensional environment
CN119923613A (zh) 用于基于手势的交互的设备、方法和用户界面
US20260056607A1 (en) Devices, methods, for interacting with graphical user interfaces
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
CN117193538A (zh) 用于在三维环境中呈现化身的界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination