CN111402425B - 使用增强模型的增强现实系统 - Google Patents

使用增强模型的增强现实系统 Download PDF

Info

Publication number
CN111402425B
CN111402425B CN201911204103.9A CN201911204103A CN111402425B CN 111402425 B CN111402425 B CN 111402425B CN 201911204103 A CN201911204103 A CN 201911204103A CN 111402425 B CN111402425 B CN 111402425B
Authority
CN
China
Prior art keywords
physical object
model
scan data
computer system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911204103.9A
Other languages
English (en)
Other versions
CN111402425A (zh
Inventor
威廉·大卫·凯尔西
布赖恩·戴尔·劳克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN111402425A publication Critical patent/CN111402425A/zh
Application granted granted Critical
Publication of CN111402425B publication Critical patent/CN111402425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了使用增强模型的增强现实系统。提供了用于可视化信息的方法、装置和系统。一种增强现实系统包括计算机系统和计算机系统中的可视化仪。计算机系统使用通信链路与无人载具通信。可视化仪系统从相对于物理对象移动的无人载具接收物理对象的图像，并从无人载具接收物理对象的一个区域的扫描数据。可视化仪使用图像和扫描数据创建物理对象的增强模型。增强模型中的物理对象的该区域比物理对象的其他区域具有更多的细节。可视化装置将信息发送到便携式计算设备，该信息可由便携式计算设备在物理对象的实况视图上显示。使用物理对象的增强模型来识别该信息。

Description

使用增强模型的增强现实系统
技术领域
本公开涉及增强现实技术领域，更具体地，涉及使用增强模型的增强现实系统。
背景技术
增强现实涉及用计算机系统的信息增强与现实环境的交互体验。该信息显示在通过便携式计算设备看到的真实世界环境的实况视图上。将该信息显示在实况视图上以向用户提供关于实况视图中对象的描述或指示。该信息也被称为增强现实信息。在其他情况下，增强现实信息以无缝交织的方式显示在真实世界环境的实况视图上，使得信息被感知为通过便携式计算设备看到的真实世界环境的一部分。
同步定位与地图构建过程使用锚点来定位周围环境中的便携式计算设备。锚点是一个特征点，其为有关物理对象或物理对象附近环境的区别性位置。锚点用于将物理对象的模型与在物理对象的实况视图中看到的现实世界中的物理对象相对应。
有时，随着增强现实设备到锚点的距离增加，增强现实设备在物理对象的实况视图上显示增强现实信息的精确度降低。
例如，距离超过5米可能导致增强现实设备在物理对象或其附近的位置上显示增强现实信息的精确度水平不尽人意。
随着物理对象的大小增加，以期望的精确度显示信息以增强物理对象的实况视图所需的锚点的数量可能大于一些物理对象可能或可行的锚点的数量。例如，增强大型物体(如飞机、办公楼或水坝)的实况视图可能比期望的更困难。精确度可能不如预期精确，并且使用的处理资源可能大于预期。
发明内容
本公开的实施方式提供了一种增强现实系统，其包括无人航空载具组、计算机系统以及便携式计算设备。无人载具组操作以相对于物理对象移动，生成物理对象的图像，生成描述物理对象的区域的空间点的扫描数据。计算机系统使用通信链路与无人载具组通信，并且操作以从相对于物理对象移动的无人载具组接收物理对象的图像；从相对于物理对象移动的无人载具组中的多个无人载具接收针对物理对象的该区域的扫描数据；以及使用图像和扫描数据创建物理对象的增强模型，其中，增强模型中物理对象的该区域比增强模型中物理对象的其他区域具有更多的细节。便携式计算设备操作以使用增强模型相对于物理对象定位，并在通过便携式计算设备看到的物理对象的实况视图上显示信息。使用物理对象的增强模型来标识该信息。
本公开的另一实施方式提供了一种增强现实系统，其包括计算机系统和计算机系统中的可视化仪。计算机系统在计算机系统操作期间以及无人载具组操作期间使用通信链路与无人载具组通信。可视化仪操作以从相对于物理对象移动的无人载具组接收物理对象的图像，并从相对于物理对象移动的无人载具组中的多个无人载具接收物理对象的区域的扫描数据。可视化仪操作以使用图像和扫描数据创建物理对象的增强模型。增强模型中物理对象的该区域比增强模型中物理对象的其他区域具有更多的细节。可视化仪向便携式计算设备发送信息。该信息可由便携式计算设备显示在通过便携式计算设备看到的物理对象的实况视图上。使用物理对象的增强模型来标识该信息。
本公开的又一实施方式提供了一种用于在物理对象的实况视图上可视化信息的方法。计算机系统从相对于物理对象移动的无人载具组接收物理对象的图像。计算机系统使用通信链路与无人载具组通信。计算机系统接收物理对象的区域的扫描数据。计算机系统使用图像和扫描数据创建物理对象的增强模型。增强模型中该区域比增强模型中物理对象的其他区域具有更多细节。增强模型的至少一部分被计算机系统发送到便携式计算设备，其中，便携式计算设备使用增强模型的至少一部分相对于物理对象定位。可由便携式计算设备显示的信息被计算机系统发送到便携式计算设备。便携式计算设备在通过便携式计算设备看到的物理对象的实况视图上显示信息，并且使用物理对象的增强模型来标识该信息。
这些特征和功能可以在本公开的各种实施方式中独立地实现，或者可以在其他实施方式中组合，参考以下描述和附图可以看到其进一步细节。
附图说明
在所附权利要求中阐述了被认为是实例性实施方式的特征的新颖特征。然而，当结合附图阅读时，通过参考本公开的说明性实施方式的以下详细描述，将最好地理解说明性实施方式及其优选使用模式、其他目的以及其特征，其中：
图1是可以实现说明性实施方式的数据处理系统的网络的图形示意性表示；
图2是根据说明性实施方式的增强现实环境的示意性框图；
图3是示出了根据说明性实施方式的创建增强模型的示意性框图；
图4是示出了根据说明性实施方式的选择物理对象的区域的示意性框图；
图5是根据说明性实施方式的可视化环境的图形表示；
图6是根据说明性实施方式的图形用户界面的图形表示；
图7是根据说明性实施方式的用于在物理对象的实况视图上可视化信息的过程的示意性流程图；
图8是根据说明性实施方式的用于控制无人载具以生成用于创建增强模型的信息的过程的示意性流程图；
图9是根据说明性实施方式的用于创建物理对象的增强模型的过程的示意性流程图；
图10是根据说明性实施方式的用于在物理对象的实况视图上可视化信息的过程的示意性流程图；
图11是根据说明性实施方式的数据处理系统的示意性框图；
图12是根据说明性实施方式的便携式计算设备的示意性框图；
图13是根据说明性实施方式的无人载具设备的示意性框图；
图14是根据说明性实施方式的飞机制造和服务方法的示意性框图；
图15是可以实现说明性实施方式的飞机的示意性框图；以及
图16是根据说明性实施方式的产品管理系统的示意性框图。
具体实施方式
说明性实施方式认识并考虑到一个或多个不同的考虑因素。例如，说明性实施方式认识并考虑到，诸如飞机、建筑物、田野或一些其他大型物理对象的物理对象会使得显示信息以增强这些物理对象的视图比期望的更困难。说明性实施方式认识并考虑到，一个解决方案涉及除了由操作者操作的便携式计算设备之外，附加使用一个或多个计算设备来生成物理对象的模型。说明性实施方式认识并考虑到，这些附加的计算设备可以提供附加信息以用于创建物理对象的模型、关于物理对象定位便携式计算设备或执行其他操作中的至少一个。
例如，说明性实施方式认识并考虑到，便携式计算设备(如无人载具)可用于生成用于创建物理对象的模型的数据。这些无人载具可以包括无人航空载具、无人地面载具或无人水上载具中的至少一个。此外，便携式计算设备收集的数据可以用于生成附加数据，该附加数据与无人载具生成的数据结合使用以生成模型。
如本文所用，当短语“至少一个”与项目列表一起使用时，意味着可以使用所列出的项目中的一个或多个的不同组合，并且可以只需要列表中的每个项目中的一个。换句话说，“至少一个”意味着可以使用列表中的项目和项目数量的任何组合，而不需要列表中的所有项目。该项目可以是特定对象、事物或类别。
例如，但不限于，“项目A、项目B或项目C中的至少一个”可以包括项目A、项目A和项目B、或项目B。该实例还可以包括项目A、项目B和项目C或项目B和项目C。当然，可以存在这些项目的任何组合。在一些说明性实施方式中，“至少一个”可以是例如但不限于两个项目A；一个项目B；以及十个项目C；四个项目B和七个项目C；或其他合适的组合。
此外，说明性实施方式认识并考虑到，随着物理对象的大小增加，扫描整个物理对象以创建物理对象的模型可能比期望更加资源密集。例如，说明性实施方式认识并考虑到，使用三维扫描器生成扫描数据以用于创建物理对象(如飞机或建筑物)的点云，可能需要比期望更多的带宽、处理能力、存储或其他计算资源。这些三维扫描器可以包括激光扫描器、激光雷达系统、红外扫描器或一些其他类型的扫描系统。
说明性实施方式认识并考虑到，图像可以用于创建物理对象的模型。说明性实施方式认识并考虑到，物理对象的模型中的细节量可以少于用于生成点云的扫描中的细节。然而，说明性实施方式认识并考虑到，可以使用三维扫描器来生成其中期望有更高水平细节的一个或多个感兴趣区域的扫描数据。因此，通过使用两种类型的数据来生成物理对象的模型，可以减少带宽量、处理资源、存储或其他计算资源中的至少一个。
因此，说明性实施方式提供了用于在物理对象的实况视图上可视化信息的方法、装置及系统。在一个说明性实施方式中，计算机系统从相对于物理对象移动的无人载具接收物理对象的图像。计算机系统使用通信链路与无人载具通信。计算机系统接收针对物理对象的区域的扫描数据。计算机系统使用图像和扫描数据创建物理对象的增强模型，其中，增强模型中该区域比增强模型中的物理对象的其他区域具有更多细节。计算机系统将增强模型的至少一部分发送到便携式计算设备，其中，便携式计算设备使用增强模型的至少一部分相对于物理对象定位。计算机系统还发送可由便携式计算设备显示的信息。便携式计算设备在通过便携式计算设备看到的物理对象的实况视图上显示信息，其中，使用物理对象的增强模型来标识该信息。
现在参考附图，具体参考图1，示出了可以实现说明性实施方式的数据处理系统网络的图形示意性表示。网络数据处理系统100是可以实现说明性实施方式的计算机网络。网络数据处理系统100包含网络102，网络102是用于在网络数据处理系统100内连接在一起的各种设备和计算机之间提供通信链路的媒介。网络102可包括连接，如有线通信链路或无线通信链路。可以通过空气、真空或水中的至少一种建立无线通信链路。
有线通信链路可以包括电线或光缆中的至少一种。如图所示，有线通信链路会比较庞大或限制无人载具可以行进的距离。与无线通信链路相比，这些类型的通信链路可以增强安全性。这些有线通信链路还可以包括当无人航空载具返回并与补给站或基站接触时可能发生的间歇连接。
在另一实例中，间歇连接可以是受视线、距离或其他因素影响的间歇无线连接。使用这种类型的连接，第一无人航空载具可能失去无线连接。在这种情况下，另一无人航空载具可以相对于第一无人航空载具移动或定位自身，以提供与服务器计算机104的桥接连接。
在所示的实例中，服务器计算机104和服务器计算机106以及存储单元108一起连接到网络102。此外，客户端设备110连接到网络102。如图所示，客户端设备110包括无人航空载具112、无人航空载具114以及无人航空载具116。如图所示，无人航空载具112和无人航空载具114是固定翼飞机。如图所示，无人航空载具116是四旋翼飞机。客户端设备110可以是例如计算机、工作站或网络计算机。在所示的实例中，服务器计算机104向客户端设备110提供信息，如引导文件、操作系统映像以及应用程序等。此外，客户端设备110还可以包括其他类型的客户端设备，如移动电话118、平板计算机120以及智能眼镜122。在该说明性实例中，服务器计算机104、服务器计算机106、存储单元108以及客户端设备110是连接到网络102的网络设备，其中网络102是这些网络设备的通信媒介。一些或全部客户端设备110可以形成物联网(IoT)，其中这些物理设备可以连接到网络102并且通过网络102彼此交换信息。
在该实例中，客户端设备110是服务器计算机104的客户端。网络数据处理系统100可以包括附加的服务器计算机、客户端计算机以及未示出的其他设备。客户端设备110利用有线连接或无线连接中的至少一种连接到网络102。
位于网络数据处理系统100中的程序代码可以存储在计算机可记录存储介质上，并下载到数据处理系统或其他设备以供使用。例如，程序代码可以存储在服务器计算机104上的计算机可记录存储介质上，并通过网络102下载到客户端设备110，以在客户端设备110上使用。在一些实现方式中，处理器检索程序代码并执行指令以初始化、执行或控制本文所述的一些操作。
在所示的实例中，网络数据处理系统100是因特网，其中网络102表示使用传输控制协议/因特网协议(TCP/IP)协议集来彼此通信的网络和网关的总集合。因特网的核心是主节点或主机之间的高速数据通信线路主干网，其由路由数据和消息的成千上万的商业、政府、教育和其他计算机系统组成。当然，网络数据处理系统100也可以使用多种不同类型的网络来实现。例如，网络102可以包括因特网、内联网、局域网(LAN)、城域网(MAN)或广域网(WAN)中的至少一个。作为另一实例，网络102可以是网状网络或自组织点对点移动边缘网络。图1旨在作为实例，而不是作为对不同说明性实施方式的结构限制。
如本文所用，当引用项目使用“多个”时，其指一个或多个项目。例如，“多个不同类型的网络”是一个或多个不同类型的网络。
在说明性实例中，人类操作者124使用智能眼镜122来查看飞机126形式的物理对象。在该说明性实例中，人类操作者124使用智能眼镜122看到飞机126的实况视图。该实况视图可以与使用智能眼镜122看到的实况视图上显示的信息142重叠，以形成飞机126的增强现实视图。
在该说明性实例中，智能眼镜122与位于服务器计算机104中的可视化仪128通信。可视化仪128提供来自参考模型132的信息142，信息142被显示为与通过智能眼镜122看到的飞机126的实况视图重叠。智能眼镜122使用增强模型130相对于飞机126定位其自身。
在该说明性实例中，增强模型130是飞机126的三维模型或地图。在其他实例中，模型或地图可以是不同的物理对象。如图所示，无人航空载具112在相对于飞机126飞行时生成飞机126的图像134。无人航空载具112将图像134发送到可视化仪128。无人航空载具114还生成飞机126的图像136并将其发送到可视化仪128。无人航空载具116生成飞机126的图像138并将其发送到可视化仪128。
可视化仪128使用来自无人航空载具的这些图像来生成飞机126的模型。该模型是飞机126的表面的三维模型，并且可以使用用于从图像生成模型的目前可用的技术来生成。这些技术根据多个图像进行三维构造以创建飞机126的三维模型。以这种方式，可以使用这些图像来绘制飞机126。
在说明性实例中，飞机126的区域144在图像134、图像136或图像138中可能是不可见的。因此，飞机126的模型对于区域144将有洞或缺失部分。在其他情况下，区域144可以包括在图像中。
在该实例中，人类操作者124可能需要比使用图像134、图像136和图像138所能提供的飞机126的区域144的更加详细的模型。换句话说，从图像生成的模型中可能存在区域144，但是区域144的细节可能丢失或者可能不如期望的那么多。因此，显示的有关区域144的信息142可能不如期望的那么精确。
在这种情况下，可以使用一个或多个无人航空载具来生成该区域的更详细的模型。例如，无人航空载具112还可以生成扫描数据140并将扫描数据140发送到可视化仪128。
在该示出的实例中，扫描数据140用于生成飞机126的区域144的点云。该点云然后可以用于修正飞机126的模型中的区域144以形成增强模型130。增强模型130包括飞机126的区域144，与增强模型130中飞机126的其他区域相比，存在区域144的更多细节。
在该说明性实例中，无人航空载具112、无人航空载具114和无人航空载具116提供用于生成增强模型130的两种类型的数据：图像和扫描数据。增强模型130可以用于定位智能眼镜122。可以使用同步定位与地图构建(SLAM)过程来进行定位。
通过使用无人航空载具，操作智能眼镜122，产生图像、扫描数据或其一些组合以创建模型所花费的时间和精力减少。人类操作者124可以集中于执行关于飞机126的任务或其他操作。
在说明性实例中，人类操作者124所花费的时间和精力的减少可以通过使用无人航空载具112、无人航空载具114或无人航空载具116中的至少一个来实现。这些无人航空载具可以提供经可视化仪128处理的图像134、图像136、图像138以及扫描数据140以生成增强模型130。
无人航空载具执行的这些操作可以在人类操作者124查看飞机126之前执行。换言之，无人航空载具预先提供所需的数据，而人类操作者124不需要执行任何操作来生成用于创建增强模型130的数据。无人航空载具也可以在人类操作者124查看飞机126时生成图像134、图像136、图像138以及扫描数据140。
实时或预先获取的附加图像和扫描数据可以用于提供增加增强模型130的精确度或提高区域144之外的其他区域中的细节或粒度中的至少一个。
例如，此外，这些无人航空载具的使用可以以增加增强模型130中信息的粒度的方式来增加为飞机126生成的数据量。在该说明性实例中，无人航空载具112、114或116中的一个可以从各种视点捕获图像以增加或增强用于创建增强模型130的图像。例如，无人航空载具112可以从图像和扫描数据140生成锚点。如本文所用，锚点表示飞机126和参考模型132上的共同特征，其用于将参考模型132与飞机126匹配。无人航空载具112可以移动离开飞机126足够的距离，以在单个参照系中捕获锚点所位于的共同特征。这样，可以减少将模型匹配飞机126所需的锚点的数量。换句话说，增强模型130可以更好地与飞机126匹配。无人航空载具可以从图像和扫描数据140生成锚点。
此外，通过使用无人航空载具，可以提高用于确定飞机126上的位置特征的增强模型130的精确度。如图所示，无人航空载具从不同的视点或位置生成图像和扫描数据。飞机126上的特征(如飞机126上的窗户)可以在图像134、图像136、图像138或扫描数据140中的至少一个中捕获。当从参考模型132显示与窗户相关的信息时，这些不同的视点使得识别窗户的位置的精确度提高。
例如，可以使用来自无人航空载具的不同位置的这些图像和扫描数据来进行三角测量。例如，可视化仪128可以使用计算机视觉三角测量。计算机视觉三角测量是确定三维空间中的点的过程，假定该点的投影在该点的两个或更多图像上。在说明性实例中，当存在更多图像时，存在不同的视点，提高了飞机126上特定点的精确度。作为另一实例，立体摄影测量可用于确定物体(如飞机126)上的点的三维写照。该技术可以使用由无人航空载具从不同位置拍摄的图像134、图像136、图像138来执行。
使用智能眼镜122的人类操作者124可以以这样的方式接近飞机126，使得使用智能眼镜122的人类操作者124可以看见锚点。可以使用增强模型130和通过智能眼镜122看到的锚点来确定人类操作者124的位置。当人类操作者124接近飞机126时，人类操作者124可以通过智能眼镜120看到飞机126上的其他位置，其不包括增强模型130或参考模型132中的锚点。显示来自参考模型132的信息的精确度可以通过参考点来保持，参考点从锚点最初被人类操作者124使用智能眼镜122查看开始来识别。这些参考点可以是飞机126上的特征或元件。
这种类型的模型创建减少了创建物理对象模型所需的时间和精力。这种类型的模型创建对于大型对象(如飞机126、建筑物、田野、城市街区、堤坝或其他类型的物理对象)尤其有用，这些大型对象在创建用于显示物理对象的增强现实视图的信息的模型时可能导致不期望的时间和处理器资源使用。
此外，通过处理物理对象的图像和物理对象的一个或多个区域的扫描数据，减少了处理数据所需的计算资源的量。例如，从扫描数据生成点云并根据点云创建物理对象的模型所使用的的处理器资源减少了，这是因为点云仅用于物理对象的一个区域而不是整个物理对象。作为另一实例，因为增强模型的大小小于使用扫描数据整体生成的模型，所以可以减少存储的资源。
现在参考图2，示出了根据说明性实施方式的增强现实环境的示意框图。在该说明性实例中，可视化环境200包括可以以硬件(如图1中的网络数据处理系统100中示出的硬件)实现的组件。
如图所示，可视化环境200是其中可以由人类操作者206使用便携式计算设备208看到物理对象204的信息202的环境。在该说明性实例中，物理对象204选自由以下组成的组中：飞机、建筑物、桥梁、堤坝、车辆、田野、湖泊、山脉、引擎、机身部分、跑道，以及其他类型的对象。在该说明性实例中，信息202选自以下中的至少一个：任务信息、组装件、视频、不合格指示、工作指令、组装件的分解视图、示意图或关于物理对象204的其他信息。
便携式计算设备208可以采取多种不同的形式。例如，便携式计算设备208可以选自由以下组成的组中：智能眼镜、移动电话、平板计算机、增强现实隐形眼镜、虚拟视网膜显示器、头戴式显示器以及适于提供物理对象204的增强现实视图的其他类型的设备。
如图所示，人类操作者206可以查看在图形用户界面210中显示在物理对象204的实况视图212上的信息202以辅助人类操作者206执行任务214。在该说明性实例中，任务214选自由以下组成的组中：设计任务、制造任务、检查任务、维护任务、试验任务、使用物理对象204的任务，以及在其中使用信息202增强物理对象204的实况视图212以辅助执行有关物理对象204的任务214的其他合适的任务。
在该说明性实例中，增强现实系统216包括多个不同组件。如图所示，增强现实系统216包括计算机系统218、无人载具组220以及便携式计算设备208。
如本文所用，当参考项目使用“组”时，指一个或多个项目。例如，“无人载具组220”是一个或多个无人载具220。
计算机系统218是物理硬件系统并且包括一个或多个数据处理系统。当计算机系统218中存在多于一个数据处理系统时，这些数据处理系统使用通信媒介彼此通信。通信媒介可以是网络。数据处理系统可以选自以下中的至少一个：计算机、服务器计算机、平板计算机或一些其他合适的数据处理系统。
在该说明性实例中，无人载具组220可以采取多种不同的形式。例如，无人载具组220可以选自以下中的至少一个：无人航空载具、无人机、无人地面载具或无人水上载具。无人载具组220操作以相对于物理对象204移动。
无人载具组220生成物理对象204的图像222，并生成描述物理对象204的区域226的空间点的扫描数据224。在该说明性实例中，无人载具组220可以通过使无人载具组220中的多个无人载具220扫描物理对象204来生成扫描数据224。换言之，无人载具组220的全部或子集可以生成扫描数据224。
在该说明性实例中，无人载具组220操作以在人类操作者206通过便携计算设备208查看物理对象204的实况视图212时生成图像222和扫描数据224。例如，无人载具220可以在人类操作者206查看物理对象204的实况视图212之前生成图像222和扫描数据224。在该实例中，无人载具220可以在人类操作者206查看物理对象204的同时继续生成图像222和扫描数据224。在其他实例中，图像222和扫描数据224的生成可以在人类操作者206通过便携式计算设备208看到物理对象204的实况视图212时发生。
如图所示，计算机系统218使用通信链路228与无人载具组220通信。通信链路228可以选自有线通信链路或无线通信链路中的至少一个。有线通信链路包括例如导线、导线电缆、同轴电缆、光纤或光缆中的至少一个。无线通信链路可以选自射频信号、光信号、电磁辐射、微波或其他合适的介质中的至少一个。
在该说明性实例中，可视化仪230位于计算机系统218中。在操作期间，计算机系统218中的可视化仪230从相对于物理对象204移动的无人载具组220接收物理对象204的图像222。
可视化仪230从无人载具组220中相对于物理对象204移动的多个无人载具220接收针对物理对象204的区域226的扫描数据204。可视化仪230使用图像222和扫描数据224创建物理对象204的增强模型232。
增强模型232中物理对象204的区域226比增强模型232中物理对象204的其他区域234具有更多细节。例如，与图像222相比，扫描数据224可以提供区域226的更高分辨率。作为另一实例，扫描数据224还可以提供物理对象204的增强模型232的区域226中的增强的规则性(regularity)。三维扫描器(如激光扫描器)主动地将辐射引向物理对象204。与被动传感器系统(如相机)相比，来自辐射能量的响应可以增加亮度、减少阴影并提供以增强的规则性出现的其他特征。三维扫描器还可以使用其他类型的辐射来进行扫描，如电辐射、光辐射、红外辐射、光谱的其他部分辐射、电磁光谱辐射、声谱辐射或其他类型的扫描辐射。作为又一实例，三维扫描器可包括采用干涉扫描的压力传感设备。
利用可以使用三维扫描器进行的不同类型的扫描，与使用相机的图像相比，可以更容易或更准确地确定特性(如不透明度、反射率、硬度、颜色、色调)的细节或其他特性。这些特性可用于评估物理对象204。例如，可以确定物理对象204的健康、剩余寿命、使用适宜性或其他特性。在说明性实例中，可以使用不同类型的传感器来确定不同类型的不合格。例如，相机检测到的光可以用于识别物理对象204中的结构中的不合格。可以通过将由相机检测到的图像生成的增强模型232中的结构与参考模型202(如计算机辅助设计模型或物理对象204先前生成的增强模型)进行比较来识别这些不合格。超声传感器可以用于识别物理对象204中的复合结构中的空隙。作为又一实例，磁传感器可以用于识别物理对象204中的金属结构中的不一致性。
可视化仪230可以使用这些特性来对属性(如不合格)进行分类。这些不合格可以包括划痕、凹痕、裂纹、少漆、少紧固件或其他类型的不合格中的至少一个。
如图所示，便携式计算设备208使用增强模型232来以相对于物理对象204定位，并且将信息202显示在通过便携式计算设备208看到的物理对象204的实况视图上。
在该说明性实例中，使用物理对象204的增强模型232来识别信息202。例如，信息202可以位于参考模型236中。参考模型236是物理对象204的模型。使用图像配准，增强模型232和参考模型236中相对应的位置可以关联以具有相同的坐标系。此外，便携式计算设备208相对于物理对象204的定位可以使用相同的坐标系。
参考模型236可以采取多种不同的形式。例如，参考模型236可以是物理对象204的计算机辅助设计模型。在另一实例中，参考模型236可以是在先前时间从图像222和扫描数据224创建的物理对象204的模型。例如，参考模型236可以是处于制造状态之前的物理对象204的模型。作为另一实例，参考模型236可以是在先前时间生成的物理对象204的模型。这种类型的参考模型236可以用于与增强模型232进行比较，以确定是否发生了改变。这些改变可以是不合格、构造的改变或其他类型的改变。
在该说明性实例中，计算机系统218中的可视化仪230控制无人载具组220相对于物理对象204移动，并生成物理对象204的图像222和描述物理对象204的区域226的空间点的扫描数据224。
在其他说明性实例中，无人载具组220可以自主地操作，而不使用来自计算机系统218中的可视化仪230的输入。例如，无人载具组220中的每一个可以包括将物理对象204识别为可以为其生成图像222和扫描数据224的对象的程序代码。
在一个说明性实例中，使用便携式计算设备208的人类操作者206还可以贡献数据以生成增强模型232。例如，便携式计算设备208可以生成附加图像238或附加扫描数据240中的至少一个。便携式计算设备208使用通信链路242与计算机系统218通信。通信链路242可以选自射频信号、光信号、电磁辐射、微波或其他合适的媒介中的至少一个。
如图所示，便携式计算设备208可以向计算机系统218中的可视化仪230发送附加图像238或附加扫描数据240中的至少一个。在创建物理对象204的增强模型232时，可视化仪230可以使用图像222、附加图像238、扫描数据224以及附加扫描数据240来创建物理对象204的增强模型232。
可视化仪230可以用软件、硬件、固件或它们的组合来实现。当使用软件时，由可视化仪230执行的操作可以用被配置成在硬件(如处理器单元)上运行的程序代码来实现。当使用固件时，由可视化仪230执行的操作可以用程序代码和数据来实现，并存储在永久存储器中以在处理器单元上运行。当采用硬件时，硬件可以包括操作以在可视化仪230中执行操作的电路。
在说明性实例中，硬件可以采取选自以下各项中的至少一个的形式：电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑器件或配置为执行多个操作的一些其他合适类型的硬件。使用可编程逻辑器件，该器件可以被配置为执行多个操作。该器件可以稍后被重新配置或者可以被永久地配置为执行该多个操作。可编程逻辑器件包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列，以及其他合适的硬件器件。另外，该过程可以在与无机组件集成的有机组件实现并且可以完全由有机组件组成，有机组件不包括人类。例如，该过程可以实现为有机半导体中的电路。
在一个说明性实例中，存在一个或多个技术方案，其克服了显示信息以增强物理对象的实况视图的技术问题，与目前使用的生成物理对象的点云的技术相比，减少了所使用的处理资源量。
因此，一个或多个技术方案可以提供使用两种类型的数据以减少用于创建物理对象的模型的处理资源量的技术效果。在说明性实例中，与仅使用点云的当前技术相比，使用图像和扫描数据减少了所使用的处理资源量。
对于大型物理对象，如商用飞机、堤坝和游轮，由于当前使用的三维扫描器的范围原因，随着距离增加，获得这些类型的物理物体的三维模型会变得更加困难。另外，随着距离增加，随着扫描而出现的立体间隔减小，并且可能不提供所期望的间隔。因此，使用无人载具来生成两种类型的数据，图像和扫描数据提供了许多技术效果。例如，能够放大以查看一个或多个区域的更多细节。另外，使用无人载具允许这些无人载具移动到提供更大间隔的位置。
计算机系统218可以配置为使用软件、硬件、固件或它们的组合来执行不同说明性实例中所描述的步骤、操作或动作中的至少一个。因此，计算机系统218作为专用计算机系统操作，其中计算机系统218中的可视化仪230使得能够使用两种类型的数据来生成增强模型232，其与当前过程相比使用的处理资源更少。具体地，与不具有可视化仪230的目前可用的通用计算机系统相比，可视化仪230使计算机系统218转换为专用计算机系统。
接下来参考图3，示出了根据说明性实施方式的创建增强模型的示意性框图。在说明性实例中，在多于一幅图中可以使用相同的附图标记。在不同附图中重复使用附图标记表示不同附图中的相同元件。
在该说明性实例中，可视化仪230使用从无人载具组220接收的图像222和从多个无人载具220接收的扫描数据224来创建增强模型232。
在创建物理对象204的增强模型232时，可视化仪230使用图像222创建物理对象204的模型300。可视化仪230可以使用对象识别过程来识别图像222中的物理对象204。可视化仪230可以采用物理对象204的三维重建。
可以利用自图像222对物理对象204的识别来进行三维重建以创建模型300，模型300是物理对象204的三维模型。模型300可以是计算机辅助设计(CAD)模型、计算机辅助工程(CAE)模型或一些其他合适类型的模型。
在该示出的实例中，图像222是来自不同视点的物理对象204的图像。换言之，多个无人载具220从不同位置生成物理对象204的图像222。一个位置是无人载具在三维空间中的定位，并且包包括无人载具的方向。
扫描数据224由多个无人载具220针对区域226生成。扫描数据224描述物理对象204的区域226的空间点。区域226可以在图像222中缺失，或者可以是期望比使用图像222提供更多细节的区域。
可视化仪230还从由无人载具组220中的多个无人载具220生成的扫描数据224创建多个点云302。多个点云302描述了区域226中的物理对象204的表面304。可视化仪230使用多个点云302修正物理对象204的模型300以形成增强模型232。
例如，通过目前使用的通常被称为表面重建的过程，多个点云302可以被转换为多边形网格模型、三角形网格模型、非均匀有理B样条(NURBS)表面模型或计算机辅助模型。
此外，还可以使用从便携式计算设备208接收的数据来创建增强模型232。例如，可以针对区域226从便携式计算设备208接收附加扫描数据240，并将其用于生成多个点云302中的点云。作为另一实例，可以从便携式计算设备208接收附加图像238，并将其用于生成模型300。
图4是根据说明性实施方式描绘的物理对象的一个区域的选择的示意性框图。在该说明性实例中，计算机系统218中的可视化仪230选择物理对象204的区域226，并控制无人载具组220中多个无人载具220以生成物理对象204的区域226的扫描数据224。
可以以多种不同的方式选择区域226。例如，可视化仪230可以基于使用便携式计算设备208的人类操作者206的注视点400来选择物理对象204的区域226。注视点400是人类操作者206正在看的地方。在该说明性实例中，便携式计算设备208可以测量人类操作者206的注视点400。注视点400在物理对象204上的位置可以用于确定物理对象204上的区域226。
在另一说明性实例中，可视化仪230可以基于使用便携式计算设备208的人类操作者206执行的任务214的位置402来选择物理对象204的区域226。在该实例中，区域226包围位置402。
通过识别区域226，可视化仪230可以控制多个无人载具220以生成扫描数据224。使用扫描数据224，增强模型232中物理对象204的区域226比增强模型232中物理对象204的其他区域234具有更多细节。
此外，人工智能系统404可以辅助识别区域226。例如，人工智能系统404可以预测人类操作者206将看向何处。换言之，人工智能系统404可以预测人类操作者206的注视点400，并且可以将多个无人载具220引导至物理对象204上的预测区域，以生成扫描数据224并生成或更新增强模型232。这种生成或更新增强模型232可以在人类操作者206将注视点400改变到预测区域之前发生。
另外，便携式计算设备208可以生成附加扫描数据240并将其发送到可视化仪230。在该说明性实例中，附加扫描数据240可以用于注视点400。
图2至图4中所示出的可视化环境200的示意图和可视化环境200中的不同组件并不意味着暗示对可以实现说明性实施方式的方式施加物理限制或结构限制。可以使用除所示组件之外或代替所示组件的其他组件。一些组件可能是不必要的。此外，这些方框被示出以说明一些功能组件。当在说明性实施方式中实现时，这些方框中的一个或多个可以被组合、划分或组合并划分为不同的方框。
例如，除便携式计算设备208之外或代替便携式计算设备208，可视化环境中可以存在一个或多个便携式计算设备以及使用该一个或多个便携式计算设备的一个或多个人类操作者。作为另一实例，尽管已在说明性实例中将增强模型232描述为在增强现实系统216中使用，但是增强模型232可以在其他混合现实系统(如虚拟现实系统)中使用。在虚拟现实系统中，增强模型232可以用于训练以对物理对象204执行动作。例如，人类操作者206可以查看物理对象204的增强模型232，并训练以对物理对象204执行任务214。在另一实例中，除了区域226之外或代替区域226，一个或多个区域可被扫描以创建针对这些一个或多个区域的扫描数据。
例如，可以使用扫描数据224来更新参考模型236而不是创建增强模型232。以此方式，可以更新参考模型236以反映物理对象204随时间发生的改变。
在该实例中，可以扫描物理对象204的区域226，并且可以更新参考模型236中的相应区域。更新参考模型236可以应对物理对象204随时间发生的改变。此外，扫描数据224还可以用于增加参考模型236中区域226中的细节，以在相同细节水平上更准确地反映参考模型236中物理对象204随时间的变化。
在一个说明性实例中，物理对象204中的结构可以再次成形、变形或随时间改变。如果要替换已经改变的结构，则具有该变化结构的当前构造被用于识别或装备替换结构。没有改变的参考模型236不能用于替换该结构。在这种情况下，可以扫描物理对象204中该结构所在的区域226，以生成物理对象204的参考模型236中针对物理对象204的区域226的扫描数据224。
作为另一实例，图像222和扫描数据224的增强模型232可以用于创建参考模型236。当先前不存在参考模型236时，这种类型的过程是有用的。
在另一个说明性实例中，物理对象的类型是已知的，但是可能不知道要使用的参考模型的更多细节标识。例如，对于飞机，对于特定类型的飞机可存在若干参考模型，但飞机的特定模型或飞机的标识号码可能未知。增强模型232可以用于识别特定参考模型以供使用。在一些情况下，识别物理对象的置信度可以小于100％。在这种情况下，可以识别参考模型的子集以供使用。
接下来转到图5，描绘了根据说明性实施方式的可视化环境的图示。在该说明性实例中，可视化环境500是图2中的可视化环境200的实现方式的实例。
在该说明性实例中，可视化环境500包括机身部分502。如图所示，人类操作者504在当前制造阶段对机身部分502进行检查。如图所示，人类操作者504佩戴智能眼镜506，智能眼镜506是一种类型的便携式计算设备。另外，无人航空载具508和无人航空载具510在所描绘的实例中是四翼飞机。
如图所示，无人航空载具508和无人航空载具510生成机身部分502的图像。此外，无人航空载具508和无人航空载具510还可以扫描机身部分502的一个或多个区域以生成扫描数据。例如，无人航空载具508可以扫描包围不合格512的区域520，不合格512的形式是机身部分502中的裂纹。
由无人航空载具508和无人航空载具510生成的图像和扫描数据通过无线通信链路514和无线通信链路516被发送到服务器计算机512。
如图所示，服务器计算机512使用从无人航空载具508和无人航空载具510接收的图像和扫描数据生成增强模型。如图所示，区域520的扫描数据提供包括不合格512的区域520的更高的可视化分辨率。
增强模型的至少一部分通过无线通信链路518发送到智能眼镜506。被发送到智能眼镜506的增强模型的该部分是可以由智能眼镜506渲染并显示以为人类操作者504增强区域520的实况视图的信息。
参考图6，根据说明性实施方式示出了图形用户界面的图示。在该说明性实例中，图形用户界面600显示在图5中的人类操作者504所戴的智能眼镜506上。
在该说明性实例中，图形用户界面600包括机身部分502的实况视图602以及来自用于增强实况视图602的增强模型的信息604。信息604还可以被称为增强现实信息。在该说明性实例中，信息604包括图形指示610，其标识机身部分502的实况视图602中的不合格512。图形指示610使人类操作者504的注意力吸引在机身部分502的实况视图602中的该不合格处。此外，图形指示612突出显示不合格512。除图像之外，使用扫描数据，图形指示612更精确显示出实况视图602的不合格512。此外，信息604还包括显示在实况视图602上的工作指令614，工作指令614标识要对不合格512执行的操作。
接下来转到图7，根据说明性实施方式描绘了用于在物理对象的实况视图上可视化信息的过程的示意流程图。图7中的过程可以用硬件、软件或两者来实现。当以软件实现时，该过程可采取由位于一个或多个计算机系统中的一个或多个硬件装置中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2中的计算机系统218中的可视化仪230中实现。
该过程开始于从相对于物理对象移动的无人载具组接收物理对象的图像(操作700)。在操作700中，通过与无人载具的通信链路接收图像。
该过程接收针对物理对象的一个区域的扫描数据(操作702)。通过多个通信链路从无人载具组中的多个无人载具接收扫描数据。
该过程使用图像和扫描数据创建物理对象的增强模型(操作704)。增强模型中该区域比增强模型中物理对象的其他区域具有更多细节。更多细节可以是增加的分辨率，这有助于提高在物理对象的该区域的实况视图上放置信息时的精确度。
该过程将增强模型的至少一部分发送到便携式计算设备(操作706)。便携式计算设备使用增强模型的至少一部分相对于物理对象定位。
该过程发送可由便携式计算设备显示的信息，其中，便携式计算设备在通过便携式计算设备看到的物理对象的实况视图上显示该信息(操作708)。此后过程终止。
在操作708中，使用物理对象的增强模型来识别信息。例如，通过识别在物理对象的实况视图中看到的物理对象上的位置，可以在增强模型中识别该位置，这可以用于识别包含该信息的物理对象的参考模型中的相应位置。例如，可以对电光(EO)图像或红外(IR)图像进行特征提取和语义场景分割。使用图像分类和对象识别，所获取的图像可以将扫描的信息与参考模型匹配。
在一些情况下，存在可以定义硬(不移动的)或软(主要固定的)路点的其他位置特征或签名。这些位置签名可以是诸如由全球定位系统确定的物理位置以及获取的方向。可替代地，可使用二维条形码或三维条形码中的至少一个来进行自动识别。还可以使用具有预定配置的飞机上的射频标识符、已知标志或已知标识符板进行自动识别。可以从参考模型获得针对参考模型中的期望相应位置的信息。
参照图8，根据说明性实施方式描绘了用于控制无人载具以生成用于创建增强模型的信息的过程的示意流程图。图8中的过程可以用硬件、软件或两者来实现。当以软件实现时，该过程可采取由位于一个或多个计算机系统的一个或多个硬件装置中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2中的计算机系统218中的可视化仪230中实现。
信息包括图像或扫描数据中的至少一个。图像可用于创建物理对象的模型。扫描数据可以用于增强模型的一个或多个区域以具有更多细节，从而形成增强模型。
该过程开始于控制无人载具组相对于物理对象移动(操作800)。该过程控制无人载具组生成物理对象的图像以及针对物理对象的一个区域描述空间点的扫描数据(操作802)。生成图像可以在无人载具相对于物理对象移动时发生。此外，生成图像可以在一个或多个无人载具相对于对象处于固定位置时发生。换言之，可以在无人载具移动时、在无人载具处于特定固定位置时或其某种组合时生成图像。此后过程终止。
参照图9，根据说明性实施方式描绘了用于创建物理对象的增强模型的过程的示意流程图。图9中的过程是图7中的操作704的一个实现方式的实例。
该过程开始于使用图像创建物理对象的模型(操作900)。该过程从由无人载具组中的多个无人载具生成的扫描数据创建多个点云(操作902)。
该过程使用多个点云修正物理对象的模型以形成增强模型(操作904)。此后过程终止。在操作904中，该过程可以用使用多个点云生成的区域的模型来替换模型中该区域的部分。
转向图10，根据说明性实施方式描绘了用于在物理对象的实况视图上可视化信息的过程的示意流程图。图10中的过程可以用硬件、软件或两者来实现。当以软件实现时，该过程可采取由位于一个或多个计算机系统的一个或多个硬件装置中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2中的增强现实系统216中的便携式计算设备208中实现。
该过程开始于使用物理对象的增强模型使便携式计算设备相对于物理对象定位(操作1000)。可以使用在便携式计算设备上运行的同步定位与地图构建(SLAM)过程来执行操作1000中的定位。
该过程在通过便携式计算设备中的显示设备看到的物理对象的实况视图上显示信息，便携式计算设备使用物理对象的增强模型和物理对象的参考模型来定位(操作1002)。在操作1002中，物理对象的实况视图上的位置可以与增强模型上的相应位置相关联。反过来，增强模型中的位置可以与物理对象的参考模型相关联。可以基于参考模型中的位置来识别信息。该信息可以显示在物理对象的实况视图上。可以使用目前可用的图像配准过程来进行这些关联。
操作1002可以使用目前可用的增强现实应用来实现，如Vuforia和PTC公司开发的VuforiaTM增强现实软件。此后过程终止。
所描绘的不同实施方式中的流程图和框图示出了说明性实施方式中的装置和方法的一些可能实现的结构、功能和操作。在这点上，流程图或框图中的每个方框可以表示模块、部分、功能或操作或步骤的一部分中的至少一个。例如，一个或多个方块可以实现为程序代码、硬件或程序代码和硬件的组合。当以硬件实现时，硬件可以例如采取被制造或配置为执行流程图或框图中的一个或多个操作的集成电路的形式。当实现为程序代码和硬件的组合时，该实现可以采取固件的形式。流程图或框图中的每个方框可以使用执行不同操作的专用硬件系统或专用硬件和由专用硬件运行的程序代码的组合来实现。
在说明性实施方式的一些替代实现方式中，在方框中标注的一个或多个功能可以不按附图中标注的顺序发生。例如，在一些情况下，连续示出的两个方框可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。此外，除了流程图或框图中所示的方框之外，还可以添加其他方框。
此外，这些实例是关于由作为实例的图2中的可视化仪230执行的操作来描述的。在其他说明性实例中，这些过程可以由包括图4中的人工智能系统404或图1中的可视化仪128中的至少一个的其他组件来执行。
现在转到图11，根据说明性实施方式描绘了数据处理系统的示意性框图。数据处理系统1100可以用于实现图1中的服务器计算机104、服务器计算机106和客户端设备110。数据处理系统1100还可用于实现图2中的计算机系统218和便携式计算设备208。在该说明性实例中，数据处理系统1100包括通信框架1102，其提供处理器单元1104、存储器1106、永久存储装置1108、通信单元1110、输入/输出(I/O)单元1112以及显示器1114之间的通信。在该实例中，通信框架1102采取总线系统的形式。
处理器单元1104用于执行可以加载到存储器1106中的软件的指令。处理器单元1104包括一个或多个处理器。例如，处理器单元1104可以选自多核处理器、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、网络处理器或一些其他合适类型的处理器中的至少一个。
存储器1106和永久存储装置1108是存储设备1116的实例。存储设备是能够临时地、永久地，或者临时地且永久地存储信息的任何硬件，信息例如但不限于数据、函数形式的程序代码或其他适当信息中的至少一个。在这些说明性实例中，存储设备1116还可以被称为计算机可读存储设备。在这些实例中，存储器1106可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储装置1108可以采取各种形式，这取决于特定实现方式。
例如，永久存储装置1108可以包含一个或多个组件或设备。例如，永久存储装置1108可以是硬盘驱动器、固态驱动器(SSD)、闪存、可重写光盘、可重写磁带或以上的一些组合。永久存储装置1108所使用的介质也可以是可移动的。例如，可移动硬盘驱动器可用于永久存储装置1108。
在这些说明性实例中，通信单元1110提供与其他数据处理系统或设备的通信。在这些说明性实例中，通信单元1110是网络接口卡。
输入/输出单元1112允许与可连接到数据处理系统1100的其他设备输入和输出数据。例如，输入/输出单元1112可以通过键盘、鼠标或一些其他合适的输入设备中的至少一个提供用于用户输入的连接。此外，输入/输出单元1112可将输出发送到打印机。显示器1114提供向用户显示信息的机制。
用于操作系统、应用或程序中的至少一个的指令可以位于存储设备1116中，存储设备1116通过通信框架1102与处理器单元1104通信。不同实施方式的过程可以由处理器单元1104使用计算机实现的指令来执行，这些指令可以位于存储器(如存储器1106)中。
这些指令被称为可由处理器单元1104中的处理器读取并执行的程序代码、计算机可用程序代码或计算机可读程序代码。不同实施方式中的程序代码可以实施在不同的物理或计算机可读存储介质上，如存储器1106或永久存储装置1108。
程序代码1118以函数形式位于计算机可读介质1120上，可以选择性移动并且可以加载或传送到数据处理系统1100以供处理器单元1104执行。在这些说明性实例中，程序代码1118和计算机可读介质1120形成计算机程序产品1122。在说明性实例中，计算机可读介质1120是计算机可读存储介质1124。
在这些说明性实例中，计算机可读存储介质1124是用于存储程序代码1118的物理或有形存储设备，而不是传播或发送程序代码1118的介质。
可替代地，可以使用计算机可读信号介质将程序代码1118传送到数据处理系统1100。计算机可读信号介质可以是例如包含程序代码1118的传播数据信号。例如，计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型的信号中的至少一个。这些信号可在诸如有线通信链路或无线通信链路的连接上传输。有线通信链路可包括使用光缆、同轴电缆、导线或任何其他合适类型的连接进行的连接。
针对数据处理系统1100示出的不同组件并不意味着提供对不同实施方式可以实现的方式的结构限制。在一些说明性实例中，这些组件中的一个或多个可以被并入或以其他方式形成另一个组件的一部分。举例来说，在一些说明性实例中，存储器1106或其部分可以并入处理器单元1104中。不同的说明性实施方式可以在包括除了针对数据处理系统1100示出的组件之外或代替这些组件的组件的数据处理系统中实现。图11中所示的其他组件可以与所示的说明性实例不同。可以使用能够运行程序代码1118的任何硬件设备或系统来实现不同的实施方式。
参考图12，根据说明性实施方式描绘了便携式计算设备的示意性框图。便携式计算设备1200是可以实现图2中的便携式计算设备208的一种方式的实例。该说明性示例中，便携式计算设备1200包括物理硬件组件，如处理器单元1202、通信框架1204、存储器1206、数据存储装置1208、通信单元1210、显示器1212以及传感器系统1214。
通信框架1204允许便携式计算设备1200中的不同组件在连接到通信框架1204时彼此通信。在该说明性实例中，通信框架1204是总线系统。
处理器单元1202处理加载到存储器1206中的软件的程序代码。在该说明性实例中，程序代码可以包括应用，如增强现实应用1205和同步定位与地图构建(SLAM)方法1207。
增强现实应用1205可以操作以在通过便携式计算设备1200中的显示器1212看到的物理对象的实况视图上显示信息，以提供增强现实视图。
同步定位与地图构建方法1207可以操作以创建物理对象的地图或模型。另外，此过程还可以操作以定位或识别便携式计算设备1200相对于物理对象的位置。该过程可用于确定相对于物理对象的实况视图在何处显示信息。
处理器单元1202包括一个或多个处理器。例如，处理器单元1202可以选自多核处理器、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、网络处理器或一些其他合适类型的处理器中的至少一个。
存储器1206通过通信框架1204连接到处理器单元1202。如图所示，存储器1206可以包括随机存取存储器(RAM)、只读存储器(ROM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或其他合适类型的存储器设备或电路中的至少一个。
如图所示，数据存储装置1208连接到通信框架1204并且可以存储数据、程序代码或其他信息。程序代码中的指令可从数据存储装置1208加载到存储器1206中以供处理器单元1202处理。数据存储装置1208可以包括硬盘驱动器、闪存驱动器、固态盘驱动器、光盘驱动器或一些其他合适类型的数据存储设备或系统中的至少一个。
在该说明性实例中，通信单元1210提供与其他数据处理系统或设备的通信。在这些说明性实例中，通信单元1210包括网络接口卡、无线通信设备、通用串行总线端口或其他适当设备中的至少一个。
显示器1212连接到通信框架1204并且提供向用户显示信息的机制。在该实例中，显示器1212可以是触摸屏显示器，其使得能够通过该显示器接收用户输入。
在该说明性实例中，传感器系统1214连接到通信框架1204。如图所示，传感器系统1214可以包括控制传感器系统1214中的相机系统1216和三维扫描器1218的操作的硬件、软件或两者。相机系统1216是包括能够记录或捕获图像的一个或多个相机的物理硬件。相机系统1216是一个或多个数字相机，并且可以包括立体相机、无反射镜相机或一些其他类型的成像设备中的至少一个。相机还可以是例如电光相机或红外相机中的至少一个。图像可以是视频的图像的单独图像。
三维扫描器1218是能够扫描物理对象以生成扫描数据的硬件。扫描数据描述物理对象上的点。扫描数据可以用于生成对象的一个区域的模型，其比使用图像创建的对象的其他区域具有更多的细节。该数据可以与同步定位与地图构建方法1207结合使用以对对象进行地图构建并相对于物理对象定位便携式计算设备1200。三维扫描器1218可以采取多种不同的形式。例如，三维扫描器1218可以选自激光扫描器、激光雷达系统、红外扫描器或一些其他类型的扫描系统中的至少一个。
示出的便携式计算设备1200是可以实现便携式计算设备1200的一种方式的实例。该示意图并不意味着限制便携式计算设备1200可以在其他说明性实例中实现的方式。
参照图13，根据说明性实施方式描绘了无人载具设备的示意性框图。无人载具1300是可以实现图1中的无人航空载具112、图1中的无人航空载具114、图1中的无人航空载具116以及图2中的无人载具220的一种方式的实例。
在该说明性实例中，无人载具1300包括多个组件。如图所示，无人载具1300包括框架1302、推进系统1304、计算机1306、通信系统1308以及传感器系统1310。
框架1302是基于无人载具1300所使用的运动类型而设计的物理结构。例如，如果无人载具1300是无人航空载具，则无人载具1300可以具有空气动力学表面。如果无人载具1300是无人水上载具，则无人载具1300可以是用于水中的船体。在该说明性实例中，推进系统1304、计算机1306、通信系统1308以及传感器系统1310连接到框架1302。
推进系统1304是使无人载具1300移动的硬件系统。例如，当无人载具1300是无人航空载具时，推进系统1304可以包括喷气引擎、转子或其他推进组件。
计算机1306是控制无人载具1300中的组件的操作的硬件。例如，计算机1306可以控制推进系统1304、通信系统1308以及传感器系统1310的操作。
通信系统1308是使用有线通信链路或无线通信链路提供通信的硬件。可以与地面上的或其他无人载具中的远程计算机建立该通信链路。无线通信链路可以使用射频信号或光信号。
传感器系统1310包括硬件、软件或两者。如图所示，传感器系统1310包括相机系统1312和三维扫描器1314。
可以在如图14所示的飞机制造和服务方法1400以及如图15所示的飞机1500的背景下描述本公开的说明性实施方式。首先转到图14，根据说明性实施方式描绘了飞机制造和服务方法的示意性框图。在预生产期间，飞机制造和服务方法1400可以包括图15中飞机1500的规格和设计1402以及材料采购1404。
在生产期间，进行图15中的飞机1500的组件和子组装件制造1406以及系统集成1408。此后，图15中的飞机1500可以经过认证和交付1410以便投入使用1412。在被顾客使用1412时，图15中的飞机1500被安排进行日常维护和服务1414，其可以包括修正、重新配置、翻新以及其他维护或服务。
飞机制造和服务方法1400的每个过程可以由系统集成商、第三方、运营商或其一些组合来进行或执行。在这些实例中，操作者可以是客户。为了描述的目的，系统集成商可以包括但不限于任何数量的飞机制造商和主要系统分包商；第三方可以包括但不限于任何数量的销售商、分包商和供应商；运营商可以是航空公司、租赁公司、军事实体、服务组织等。
现在参考图15，示出了可以实现说明性实施方式的飞机的示意性框图。在该实例中，飞机1500由图14中的飞机制造和服务方法1400生产，并且可以包括具有多个系统1504和内部1506的机身1502。系统1504的实例包括推进系统1508、电气系统1510、液压系统1512以及环境系统1514中的一个或多个。可以包括任何数量的其他系统。尽管示出了航空航天的实例，但是不同的说明性实施方式可以应用于其他工业，如汽车工业。
本文所述的装置和方法可以在图14中的飞机制造和服务方法1400的至少一个阶段期间使用。
在一个说明性实例中，在图14中的组件和子组装件制造1406中生产的组件和子组装件可以以类似于飞机1500在图14中的使用1412时生产的组件和子组装件的方式制作或制造。作为又一实例，可在生产阶段如图14中的组件和子组装件制造1406及系统集成1408期间使用一个或多个装置实施方式、方法实施方式或它们的组合。当飞机1500投入使用1412时、在图14中的维护和服务1414期间、或者在这两者期间，可以使用一个或多个装置实施方式、方法实施方式或它们组合。
例如，图2中的增强现实系统216可以用于提供任务位置的可视化。这些可视化可以包括在任务位置限制要执行的任务信息。增强现实系统216可以在组件和子组装件制造1406、系统集成1408、认证和交付1410或维护和服务1414中的至少一个期间由人类操作者使用。与使用用于增强对象的实况视图的当前技术相比，增强现实系统216可以用于查看更大的对象，如部分组装的飞机。
使用多个不同的说明性实施例可以基本上加速飞机1500的组装、降低飞机1500的成本、或者既加速飞机1500的组装又降低飞机1500的成本。例如，可以减少通知操作所需的处理器资源量，同时减少生成用于对对象(如飞机1500或其一部分)执行操作的模型所需的时间量。
现在转到图16，示出了根据说明性实施方式描绘的产品管理系统的框图。产品管理系统1600是物理硬件系统。在该说明性实例中，产品管理系统1600包括制造系统1602或维护系统1604中的至少一个。
制造系统1602被配置为制造产品，如图15中的飞机1500。如图所示，制造系统1602包括制造设备1606。制造设备1606包括制作设备1608或组装设备1610中的至少一个。
制作设备1608是用于制作用于形成图15中的飞机1500的部件的部件的设备。例如，制作设备1608可以包括机器和工具。这些机器和工具可以是钻头、液压机、熔炉、模具、复合带铺设机、真空系统、车床、图2中的增强现实系统216或其他合适类型的设备中的至少一个。制作设备1608可以用于制作金属部件、复合部件、半导体、电路、紧固件、肋、蒙皮板、翼梁、天线或其他合适类型的部件中的至少一个。
组装设备1610是用于组装部件以形成图15中的飞机1500的设备。具体地，组装设备1610用于组装组件和部件以形成飞机1500。组装设备1610也可以包括机器和工具。这些机器和工具可以是机器人臂、履带车、快速安装系统、基于轨道的钻孔系统、图2中的增强现实系统216或机器人中的至少一个。组装设备1610可以用于组装部件，如座椅、水平尾翼、机翼、引擎、引擎壳体、起落架系统，以及图15中飞飞机1500的其他部件。
在该说明性实例中，维护系统1604包括维护设备1612。维护设备1612可以包括对飞机1500进行维护所需的任何设备。维护设备1612可以包括用于对飞机1500上的部件执行不同操作的工具。这些操作可以包括拆卸部件、整修部件、检查部件、返工部件、制造替换部件，或者用于对图15中的飞机1500进行维护的其他操作中的至少一个。这些操作可以用于日常维护、检查、升级、整修或其他类型的维护操作。
在说明性实例中，维护设备1612可以包括超声检查设备、x射线成像系统、视觉系统、钻机、履带，以及其他合适的设备。在一些情况下，维护设备1612可以包括制作设备1608、组装设备1610或两者，以生产并组装维护所需的部件。
产品管理系统1600还包括控制系统1614。控制系统1614是硬件系统并且还可以包括软件或其他类型的组件。控制系统1614配置为控制制造系统1602或维护系统1604中的至少一个的操作。具体地，控制系统1614可以控制制作设备1608、组装设备1610或维护设备1612中的至少一个的操作。
控制系统1614中的硬件可以使用可包括计算机、电路、网络和其他类型的设备的硬件来实现。该控制可以采取制造设备1606的直接控制形式。例如，机器人、计算机控制的机器以及其他设备可以由控制系统1614控制。在其他说明性实例中，控制系统1614可以管理人类操作者1616在制造或维护飞机1500中执行的操作。例如，控制系统1614可以指派任务、提供指令、显示模型，或执行其他操作来管理由人类操作者1616执行的操作。在这些说明性实例中，图2中的增强现实系统216可以在控制系统1614中实现或用于控制系统1614，以管理图15中的飞机1500的制造或维护中的至少一个。
例如，控制系统1614可以向一个或多个人类操作者1616分配任务，如组装或维护对象，对象如飞机、建筑物、堤坝或一些其他合适的对象。控制系统1614可以向由人类操作者1616佩戴或携带的图2中的增强现实系统216中的便携式计算设备发送任务信息以增强实况视图。
在不同的说明性实例中，人类操作者1616可以操作制造设备1606、维护设备1612或控制系统1614中的至少一个或与其交互。这种交互可以用于制造图15中的飞机1500。
当然，产品管理系统1600可以配置为管理除图15中的飞机1500之外的其他产品。尽管已经针对航空航天工业中的制造描述了产品管理系统1600，但是产品管理系统1600可以配置为管理用于其他工业的产品。例如，产品管理系统1600可以配置为制造汽车工业以及任何其他合适的工业的产品。
此外，本公开包括根据以下项的实施方式：
项1.一种增强现实系统(216)，包括：
无人载具组(220)，其操作以相对于物理对象(204)移动，生成物理对象(204)的图像(222)，生成描述物理对象(204)的区域(226)的空间点的扫描数据(224)；
计算机系统(218)，其使用通信链路(228)与无人载具组(220)通信，其中，计算机系统(218)操作以：
从相对于物理对象(204)移动的无人载具组(220)接收物理对象(204)的图像(222)；
从相对于物理对象(204)移动的无人载具组(220)中的多个无人载具(220)接收针对物理对象(204)的区域(226)的扫描数据(224)；
使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)，其中，增强模型(232)中物理对象(204)的区域(226)比增强模型(232)中物理对象(204)的其他区域(234)具有更多的细节；以及
便携式计算设备(208)，其操作以：
使用增强模型(232)相对于物理对象(204)定位；以及
在通过便携式计算设备(208)看到的物理对象(204)的实况视图(212)上显示信息(202)，其中，使用物理对象(204)的增强模型(232)来识别该信息(202)。
项2.如项1所述的增强现实系统(216)，其中，计算机系统(218)控制无人载具组(220)相对于物理对象(204)移动，并且生成物理对象(204)的图像(222)以及描述物理对象(204)的区域(226)的空间点的扫描数据(224)。
项3.如项1-2中任一项所述的增强现实系统(216)，其中，在使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)时，计算机系统(218)操作以：
使用图像(222)创建物理对象(204)的模型(302)；
从由无人载具组(220)中的多个无人载具(220)生成的扫描数据(224)创建多个点云(302)；以及
使用多个点云(302)修正物理对象(204)的模型(302)以形成增强模型(232)。
项4.如项1-3中任一项所述的增强现实系统(216)，其中，无人载具组(220)操作以在人类操作者(206)通过便携式计算设备(208)查看物理对象(204)的实况视图(212)时生成图像(222)和扫描数据(224)。
项5.如项1-4中任一项所述的增强现实系统(216)，其中，计算机系统(218)选择物理对象(204)的区域(226)，并控制无人载具组(220)中的多个无人载具(220)生成物理对象(204)的区域(226)的扫描数据(224)。
项6.如项5所述的增强现实系统(216)，其中，在选择物理对象(204)的区域(226)时，计算机系统(218)基于使用便携式计算设备(208)的人类操作者(206)的注视点(400)来选择物理对象(204)的区域(226)。
项7.如项5所述的增强现实系统(216)，其中，在选择物理对象(204)的区域(226)时，计算机系统(218)基于使用便携式计算设备(208)的人类操作者(206)执行的任务(214)的位置(402)来选择物理对象(204)的区域(226)，其中，区域(226)包围位置(402)。
项8.如项1-7中任一项所述的增强现实系统(216)，其中，计算机系统(218)从便携式计算设备(208)接收物理对象(204)的附加图像(228)或物理对象(204)的附加扫描数据(240)中的至少一个；并且
其中，在使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)时，计算机系统(218)使用图像(222)、附加图像(228)、扫描数据(224)以及附加扫描数据(240)创建物理对象(204)的增强模型(232)。
项9.如项1-8中任一项所述的增强现实系统(216)，其中，信息(202)选自任务信息、组装件、视频、不合格指示、工作指令、组装件的分解视图或示意图中的至少一个。
项10.如项1-9中任一项所述的增强现实系统(216)，其中，物理对象(204)选自包括飞机、建筑物、桥梁、堤坝、车辆、田野、湖泊、山脉、引擎、机身部分以及跑道的组中。
项11.如项1-10中任一项所述的增强现实系统(216)，其中，便携式计算设备(208)选自包括智能眼镜、移动电话、平板计算机以及头戴式显示器的组中。
项12.如项1-11中任一项所述的增强现实系统，其中，无人载具组(220)选自无人航空载具、无人机、无人地面载具或无人水上载具中的至少一个。
项13.一种增强现实系统(216)，包括：
计算机系统(218)，其中，计算机系统(218)在计算机系统(218)操作期间以及无人载具组(220)操作期间使用通信链路(228)与无人载具组(220)通信；
计算机系统(218)中的可视化仪(230)，其操作以：
从相对于物理对象(204)移动的无人载具组(220)接收物理对象(204)的图像(222)；
从相对于物理对象(204)移动的无人载具组(220)中的多个无人载具(220)接收针对物理对象(204)的区域(226)的扫描数据(224)；
使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)，其中，增强模型(232)中物理对象(204)的区域(226)比增强模型(232)中物理对象(204)的其他区域(234)具有更多的细节；以及
向便携式计算设备(208)发送信息(202)，其中，信息(202)能够由便携式计算设备(208)显示在通过便携式计算设备(208)看到的物理对象(204)的实况视图(212)上，其中，使用物理对象(204)的增强模型(232)来识别信息(202)。
项14.如项13所述的增强现实系统(216)，其中，可视化仪(230)操作以：
控制无人载具组(220)相对于物理对象(204)移动；以及
控制无人载具组(220)生成物理对象(204)的图像(222)以及描述物理对象(204)的区域(226)的空间点的扫描数据(224)。
项15.如项13-14中任一项所述的增强现实系统(216)，其中，可视化仪(230)操作以选择物理对象(204)的区域(226)，并控制无人载具组(220)中的多个无人载具(220)生成物理对象(204)的区域(226)的扫描数据(224)。
项16.如项15所述的增强现实系统(216)，其中，在选择物理对象(204)的区域(226)时，可视化仪(230)操作以基于使用便携式计算设备(208)的人类操作者(206)的注视点(400)来选择物理对象(204)的区域(226)。
项17.如项15所述的增强现实系统(216)，其中，在选择物理对象(204)的区域(226)时，可视化仪(230)操作以基于使用便携式计算设备(208)的人类操作者(206)执行的任务(214)的位置(402)来选择物理对象(204)的区域(226)，其中，区域(226)包围位置(402)。
项18.如前述项中任一项所述的增强现实系统，其中，无人载具组(220)选自无人航空载具、无人机、无人地面载具或无人水上载具中的至少一个。
项19.一种用于在物理对象(204)的实况视图(212)上可视化信息(202)的方法，该方法包括：
由计算机系统(218)从相对于物理对象(204)移动的无人载具组(220)接收物理对象(204)的图像(222)，其中，计算机系统(218)使用通信链路(228)与无人载具组(220)通信；
由计算机系统(218)接收针对物理对象(204)的区域(226)的扫描数据(224)；
由计算机系统(218)使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)，其中，增强模型(232)中区域(226)比增强模型(232)中物理对象(204)的其他区域(234)具有更多的细节；
由计算机系统(218)将增强模型(232)的至少一部分发送到便携式计算设备(208)，其中，便携式计算设备(208)使用增强模型(232)的至少一部分相对于物理对象(204)定位；以及
由计算机系统(218)发送可由便携式计算设备(208)显示的信息(202)，其中，便携式计算设备(208)在通过便携式计算设备(208)看到的物理对象(204)的实况视图(212)上显示信息(202)，并且其中，使用物理对象(204)的增强模型(232)来识别信息(202)。
项20.如项19所述的方法，还包括：
由计算机系统(218)控制无人载具组(220)相对于物理对象(204)移动；以及
控制无人载具组(220)生成物理对象(204)的图像(222)以及描述物理对象(204)的区域(226)的空间点的扫描数据(224)。
项21.如项19-20中任一项所述的方法，其中，使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)包括：
使用图像(222)创建物理对象(204)的模型(302)；
从由无人载具组(220)中的多个无人载具(220)生成的扫描数据(224)创建多个点云(302)；以及
使用用多个点云(302)修正物理对象(204)的模型(302)以形成增强模型(232)。
项22.如项19-21中任一项所述的方法，其中，无人载具组(220)操作以在人类操作者(206)通过便携式计算设备(208)查看物理对象(204)的实况视图(212)时生成图像(222)和扫描数据(224)。
项23.如项19-22中任一项所述的方法，还包括：
由计算机系统(218)选择物理对象(204)的区域(226)；以及
由计算机系统(218)控制无人载具组(220)中的多个无人载具(220)生成物理对象(204)的区域(226)的扫描数据(224)。
项24.如项23所述的方法，其中，由计算机系统(218)选择物理对象(204)的区域(226)包括：
由计算机系统(218)基于使用便携式计算设备(208)的人类操作者(206)的注视点(400)来选择物理对象(204)的区域(226)。
项25.如项23所述的方法，其中，由计算机系统(218)选择物理对象(204)的区域(226)包括：
由计算机系统(218)基于使用便携式计算设备(208)的人类操作者(206)执行的任务(214)的位置(402)来选择物理对象(204)的区域(226)，其中，区域(226)包围位置(402)。
项26.如项19-24中任一项所述的方法，还包括：
由计算机系统(218)从便携式计算设备(208)接收物理对象(204)的附加图像(228)或物理对象(204)的附加扫描数据(240)中的至少一个；以及
其中，由计算机系统(218)使用图像(222)和扫描数据(224)创建物理对象(204)的增强模型(232)包括：
由计算机系统(218)使用图像(222)、附加图像(228)、扫描数据(224)以及附加扫描数据(240)创建物理对象(204)的增强模型(232)。
项27.如项19-26中任一项所述的方法，其中，信息(202)选自任务信息、组装件、视频、不合格指示、工作指令、组装件的分解视图或示意图中的至少一个。
项28.如项19-27中任一项所述的方法，其中，物理对象(204)选自包括飞机、建筑物、桥梁、堤坝、车辆、田野、湖泊、山脉、引擎、机身部分以及跑道的组中。
项29.如项19-28中任一项所述的方法，其中，便携式计算设备(208)选自包括智能眼镜、移动电话、平板计算机以及头戴式显示器的组中。
因此，一个或多个说明性实例克服了显示信息以增强物理对象的实况视图的技术问题，与生成物理对象的点云的目前使用的技术相比，减少了所使用的处理资源量。因此，一个或多个说明性实例可以提供使用两种类型的数据减少用于创建物理对象的模型的计算资源量的技术效果。在说明性实例中，与仅使用点云的当前技术相比，使用图像和扫描数据减少了所使用的计算资源量。
不同说明性实施方式的描述是出于说明和描述的目的而呈现的，并且不旨在是穷尽性的或限于所公开形式的实施方式。不同的说明性实例描述了执行动作或操作的组件。在说明性实施方式中，组件可被配置以执行所描述的动作或操作。例如，组件可具有使组件能够执行在说明性实例中描述为由组件执行的动作或操作的结构的构造或设计。
许多修改和变化对于本领域普通技术人员是显而易见的。与其他期望的实施方式相比，不同的说明性实施方式可以提供不同的特征。选择并描述所选定的一个或多个实施方式是为了最好地解释实施方式的原理、实际应用，并且使本领域的其他普通技术人员能够理解具有适合于预期的特定用途的各种修改的各种实施方式的公开。

Claims (15)

1.一种增强现实系统(216)，包括：
无人载具组(220)，操作以相对于物理对象(204)移动，生成所述物理对象(204)的图像(222)，生成描述所述物理对象(204)的区域(226)的空间点的扫描数据(224)；
计算机系统(218)，使用通信链路(228)与所述无人载具组(220)进行通信，其中，所述计算机系统(218)操作以：
从相对于所述物理对象(204)移动的所述无人载具组(220)接收所述物理对象(204)的所述图像(222)；
从相对于所述物理对象(204)移动的所述无人载具组(220)中的多个无人载具(220)接收针对所述物理对象(204)的所述区域(226)的所述扫描数据(224)；
使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的增强模型(232)，其中，所述增强模型(232)中所述物理对象(204)的所述区域(226)比所述增强模型(232)中所述物理对象(204)的其他区域(234)具有更多的细节；
识别所述区域中的不合格以及基于对所述物理对象的改变结构的扫描更新在所述增强模型之前生成的所述物理对象的模型；
对所述改变结构的所述不合格进行分类；以及
便携式计算设备(208)，操作以：
使用所述增强模型(232)相对于所述物理对象(204)定位；以及
在通过所述便携式计算设备(208)看到的所述物理对象(204)的实况视图(212)上显示信息(202)，其中，使用所述物理对象(204)的所述增强模型(232)来识别所述信息(202)，所述信息(202)识别所述区域中的不合格以及要对所述区域中的所述不合格进行的操作。
2.如权利要求1所述的增强现实系统(216)，其中，所述计算机系统(218)控制所述无人载具组(220)相对于所述物理对象(204)移动，并且生成所述物理对象(204)的所述图像(222)以及描述所述物理对象(204)的所述区域(226)的空间点的所述扫描数据(224)。
3.如权利要求1-2中任一项所述的增强现实系统(216)，其中，在使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的所述增强模型(232)时，所述计算机系统(218)操作以：
使用所述图像(222)创建所述物理对象(204)的模型(300)；
从由所述无人载具组(220)中的多个无人载具(220)生成的所述扫描数据(224)创建多个点云(302)；以及
使用所述多个点云(302)修正所述物理对象(204)的所述模型(300)以形成所述增强模型(232)。
4.如权利要求1-3中任一项所述的增强现实系统(216)，其中，所述无人载具组(220)操作以在人类操作者(206)通过所述便携式计算设备(208)查看所述物理对象(204)的实况视图(212)时生成所述图像(222)和所述扫描数据(224)。
5.如权利要求1-4中任一项所述的增强现实系统(216)，其中，所述计算机系统(218)选择所述物理对象(204)的所述区域(226)，并控制所述无人载具组(220)中的多个无人载具(220)生成所述物理对象(204)的所述区域(226)的所述扫描数据(224)。
6.如权利要求5所述的增强现实系统(216)，其中，在选择所述物理对象(204)的所述区域(226)时，所述计算机系统(218)基于使用所述便携式计算设备(208)的人类操作者(206)的注视点(400)来选择所述物理对象(204)的所述区域(226)。
7.如权利要求5所述的增强现实系统(216)，其中，在选择所述物理对象(204)的所述区域(226)时，所述计算机系统(218)基于使用所述便携式计算设备(208)的人类操作者(206)执行的任务(214)的位置(402)来选择所述物理对象(204)的所述区域(226)，其中，所述区域(226)包围所述位置(402)。
8.如权利要求1-7中任一项所述的增强现实系统(216)，其中，所述计算机系统(218)从所述便携式计算设备(208)接收所述物理对象(204)的附加图像(238)和所述物理对象(204)的附加扫描数据(240)中的至少一个；并且
其中，在使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的所述增强模型(232)时，所述计算机系统(218)使用所述图像(222)、所述附加图像(238)、所述扫描数据(224)以及所述附加扫描数据(240)创建所述物理对象(204)的所述增强模型(232)。
9.如权利要求1-8中任一项所述的增强现实系统(216)，其中，所述信息(202)选自任务信息、组装件、视频、不合格指示、工作指令、组装件的分解视图以及示意图中的至少一个；
其中，所述物理对象(204)选自包括飞机、建筑物、桥梁、堤坝、车辆、田野、湖泊、山脉、引擎、机身部分以及跑道的组中；
其中，所述便携式计算设备(208)选自包括智能眼镜、移动电话、平板计算机以及头戴式显示器的组中；并且，其中，所述无人载具组(220)选自包括无人航空载具、无人机、无人地面载具和无人水上载具中的至少一个。
10.一种用于在物理对象(204)的实况视图(212)上可视化信息(202)的方法，所述方法包括：
由计算机系统(218)从相对于物理对象(204)移动的无人载具组(220)接收所述物理对象(204)的图像(222)，其中，所述计算机系统(218)使用通信链路(228)与所述无人载具组(220)通信；
由所述计算机系统(218)接收所述物理对象(204)的区域(226)的扫描数据(224)；
由所述计算机系统(218)使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的增强模型(232)，其中，所述增强模型(232)中所述区域(226)比所述增强模型(232)中所述物理对象(204)的其他区域(234)具有更多的细节；
由所述计算机系统(218)将所述增强模型(232)的至少一部分发送到便携式计算设备(208)，其中，所述便携式计算设备(208)使用所述增强模型(232)的至少一部分相对于所述物理对象(204)定位；
由所述计算机系统(218)识别所述区域中的不合格以及基于对所述物理对象的改变结构的扫描更新在所述增强模型之前生成的所述物理对象的模型；
由所述计算机系统(218)对所述改变结构的所述不合格进行分类；以及
由所述计算机系统(218)发送能干由所述便携式计算设备(208)显示的所述信息(202)，其中，所述便携式计算设备(208)在通过所述便携式计算设备(208)看到的所述物理对象(204)的实况视图(212)上显示所述信息(202)，并且其中，使用所述物理对象(204)的所述增强模型(232)来识别所述信息(202)，所述信息(202)识别所述区域中的不合格以及要对所述区域中的所述不合格进行的操作。
11.如权利要求10所述的方法，还包括：
由所述计算机系统(218)控制所述无人载具组(220)相对于所述物理对象(204)移动；以及
控制所述无人载具组(220)以生成所述物理对象(204)的所述图像(222)以及描述所述物理对象(204)的所述区域(226)的空间点的所述扫描数据(224)。
12.如权利要求10-11中任一项所述的方法，其中，使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的所述增强模型(232)包括：
使用所述图像(222)创建所述物理对象(204)的模型(300)；
从由所述无人载具组(220)中的多个无人载具(220)生成的所述扫描数据(224)创建多个点云(302)；以及
使用所述多个点云(302)修正所述物理对象(204)的所述模型(300)以形成所述增强模型(232)。
13.如权利要求10-12中任一项所述的方法，还包括：
由所述计算机系统(218)基于以下至少一个来选择所述物理对象(204)的所述区域(226)：使用所述便携式计算设备(208)的人类操作者(206)的注视点(400)，或基于使用所述便携式计算设备(208)的人类操作者(206)执行的任务(214)的位置(402)；以及
由所述计算机系统(218)控制所述无人载具组(220)中的多个无人载具(220)生成所述物理对象(204)的所述区域(226)的所述扫描数据(224)。
14.如权利要求10-13中任一项所述的方法，还包括：
由所述计算机系统(218)从所述便携式计算设备(208)接收所述物理对象(204)的附加图像(238)和所述物理对象(204)的附加扫描数据(240)中的至少一个；以及
其中，由所述计算机系统(218)使用所述图像(222)和所述扫描数据(224)创建所述物理对象(204)的所述增强模型(232)包括：
由所述计算机系统(218)使用所述图像(222)、所述附加图像(238)、所述扫描数据(224)以及所述附加扫描数据(240)创建所述物理对象(204)的所述增强模型(232)。
15.如权利要求10-14中任一项所述的方法，其中，所述信息(202)选自任务信息、组装件、视频、不合格指示、工作指令、组装件的分解视图以及示意图中的至少一个；
其中，所述物理对象(204)选自包括飞机、建筑物、桥梁、堤坝、车辆、田野、湖泊、山脉、引擎、机身部分以及跑道的组中；并且
其中，所述便携式计算设备(208)选自包括智能眼镜、移动电话、平板计算机以及头戴式显示器的组中。
CN201911204103.9A 2019-01-02 2019-11-29 使用增强模型的增强现实系统 Active CN111402425B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/237,841 2019-01-02
US16/237,841 US11030812B2 (en) 2019-01-02 2019-01-02 Augmented reality system using enhanced models

Publications (2)

Publication Number Publication Date
CN111402425A CN111402425A (zh) 2020-07-10
CN111402425B true CN111402425B (zh) 2024-12-13

Family

ID=69137677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911204103.9A Active CN111402425B (zh) 2019-01-02 2019-11-29 使用增强模型的增强现实系统

Country Status (7)

Country Link
US (1) US11030812B2 (zh)
EP (1) EP3678100B1 (zh)
JP (1) JP7500187B2 (zh)
KR (1) KR102645667B1 (zh)
CN (1) CN111402425B (zh)
BR (1) BR102019022477A2 (zh)
CA (1) CA3059940C (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3861387B1 (en) 2018-10-05 2025-05-21 Magic Leap, Inc. Rendering location specific virtual content in any location
US11210851B1 (en) * 2019-06-14 2021-12-28 State Farm Mutual Automobile Insurance Company Systems and methods for labeling 3D models using virtual reality and augmented reality
US11632679B2 (en) 2019-10-15 2023-04-18 Magic Leap, Inc. Cross reality system with wireless fingerprints
CN114600064B (zh) 2019-10-15 2026-04-24 奇跃公司 具有定位服务的交叉现实系统
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES
JP7604478B2 (ja) 2019-10-31 2024-12-23 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
CN114762008A (zh) * 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
US11393176B2 (en) * 2020-02-07 2022-07-19 Krikey, Inc. Video tools for mobile rendered augmented reality game
JP7684321B2 (ja) 2020-02-13 2025-05-27 マジック リープ， インコーポレイテッド 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム
JP7768888B2 (ja) 2020-02-13 2025-11-12 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
CN119984235A (zh) 2020-02-13 2025-05-13 奇跃公司 具有精确共享地图的交叉现实系统
JP7671769B2 (ja) * 2020-02-26 2025-05-02 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
CN113618723A (zh) * 2021-08-18 2021-11-09 东华大学 一种基于增强现实的船舶小组立辅助装配系统
EP4253907A1 (en) * 2022-03-31 2023-10-04 Topcon Corporation Point cloud information generating system, control method of point cloud information generating system, and control program of point cloud information generating system
US11538228B1 (en) * 2022-08-26 2022-12-27 Illuscio, Inc. Systems and methods for augmented reality viewing based on directly mapped point cloud overlays
US12197236B2 (en) 2022-10-20 2025-01-14 Saudi Arabian Oil Company System, apparatus, and method for providing augmented reality assistance to wayfinding and precision landing controls of an unmanned aerial vehicle to differently oriented inspection targets
US20250071251A1 (en) * 2023-08-22 2025-02-27 Spirit Aerosystems, Inc. System and method for locating and visualizing camera images in relation to a large-scale manufacturing product
KR20250034709A (ko) * 2023-09-04 2025-03-11 현대자동차주식회사 프레스 금형용 증강현실 시스템 및 그 제어 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
JP2011146762A (ja) * 2010-01-12 2011-07-28 Nippon Hoso Kyokai <Nhk> 立体モデル生成装置
US8902254B1 (en) * 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality
US10026227B2 (en) * 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US10250821B2 (en) * 2013-11-27 2019-04-02 Honeywell International Inc. Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
CA2932744A1 (en) * 2014-01-08 2015-07-16 Precisionhawk Inc. Method and system for generating augmented reality agricultural presentations
US9335764B2 (en) * 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
US20160085426A1 (en) * 2014-09-18 2016-03-24 The Boeing Company Interactive Imaging System
JP6534296B2 (ja) * 2015-05-19 2019-06-26 株式会社パスコ ３次元モデル生成装置、３次元モデル生成方法、及びプログラム
JP6514973B2 (ja) * 2015-06-30 2019-05-15 株式会社トプコン 現場管理システム、飛行検出方法およびプログラム
US10176520B2 (en) * 2015-07-07 2019-01-08 The Boeing Company Product visualization system
US10110871B2 (en) * 2016-10-31 2018-10-23 Disney Enterprises, Inc. Recording high fidelity digital immersive experiences through off-device computation
EP3566201A4 (en) * 2016-12-22 2020-11-25 Xevo Inc. METHOD AND SYSTEM FOR PROVIDING ARTIFICIAL INTELLIGENCE (AIA) ANALYTICAL SERVICES FOR PERFORMANCE PREDICTION
EP3676656B1 (en) * 2018-01-18 2025-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting augmented reality content
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information

Also Published As

Publication number Publication date
BR102019022477A2 (pt) 2020-07-14
JP7500187B2 (ja) 2024-06-17
EP3678100A1 (en) 2020-07-08
CN111402425A (zh) 2020-07-10
EP3678100B1 (en) 2026-02-04
KR20200084784A (ko) 2020-07-13
US20200211286A1 (en) 2020-07-02
CA3059940A1 (en) 2020-07-02
CA3059940C (en) 2025-09-23
KR102645667B1 (ko) 2024-03-07
JP2020119511A (ja) 2020-08-06
US11030812B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN111402425B (zh) 使用增强模型的增强现实系统
CN111091625B (zh) 用于制造复合部件的增强现实系统
CN106547939B (zh) 对象管理系统、飞机设计系统及管理对象的方法
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP7421895B2 (ja) 物体に対する不適合データを可視化するための拡張現実システム
US9852237B2 (en) Immersive object testing system
CN113524907B (zh) 飞行器喷墨式打印
KR102566700B1 (ko) 액티브 휴대용 앵커를 구비하는 증강 현실 시스템
EP4517674A1 (en) Method and system for accurately constructing one or more complex assets in an industrial environment for rendering the one or more complex assets in a computer simulated environment
Zhang et al. A self-supervised monocular depth estimation approach based on UAV aerial images
CN115797250A (zh) 支持一般目视检查的物体的自动体积图像捕获
Xuan et al. Mini–drone Photogrammetry for 3D Modelization of Aircraft: A Case Study at Vietnam Aviation Academy
CN111754636A (zh) 三维点云处理方法、三维点云处理模型训练方法及装置
Korycki et al. Evaluating geometric accuracy of NeRF reconstructions compared to SLAM method
CN120068283A (zh) 一种基于数字孪生的机务检修辅助方法及系统
Dyachenko et al. Overview of Possible Applications for the Complex 3D Objects Restoration Technologies
CN120279114A (zh) 融合多重约束的无重叠视野相机全局位姿标定方法
Sun et al. 3D Model Reconstruction with Sequence Image of Aircraft

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant