ES2957809T3 - Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos - Google Patents

Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos Download PDF

Info

Publication number
ES2957809T3
ES2957809T3 ES21188467T ES21188467T ES2957809T3 ES 2957809 T3 ES2957809 T3 ES 2957809T3 ES 21188467 T ES21188467 T ES 21188467T ES 21188467 T ES21188467 T ES 21188467T ES 2957809 T3 ES2957809 T3 ES 2957809T3
Authority
ES
Spain
Prior art keywords
fov
camera
user
sensor
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21188467T
Other languages
English (en)
Inventor
Richard M Pinti
Sam Mohan
Greg Piper
John A Cogliandro
Monica L Giffin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Application granted granted Critical
Publication of ES2957809T3 publication Critical patent/ES2957809T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

En un entorno AR en el que la dirección de apuntamiento de la cámara de video está subordinada al movimiento del técnico de campo para capturar una señal de video dentro del campo de visión de la cámara de un objeto a una distancia del brazo extendido del técnico y se superponen gestos con las manos generados remotamente para la manipulación del objeto. en la señal de video para instruir al técnico en la manipulación del objeto, se utiliza un código clave definido por el cliente y limitaciones de FOV para excluir partes de una escena para el cumplimiento de la captura y transmisión de datos. Si la dirección de apuntamiento de la cámara de video no satisface una condición de alineación con un marcador en la escena, la cámara se controla para excluir de la captura dentro de la señal de video al menos una porción del FOV de la cámara que se encuentra fuera de un FOV permitido definido por el usuario. El código clave definido por el cliente incluye al menos identificación del técnico, emparejamiento de marcadores y campos de tolerancia específicos que definen el FOV permitido. El código clave permite al técnico controlar las exclusiones de FOV para protegerlo de capturar y/o transmitir datos en la escena que violarían las políticas o requisitos legales del cliente o del país. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos
ANTECEDENTES DE LA INVENCIÓN
Campo de la invención
Esta invención se refiere a la realidad aumentada (RA), y más particularmente al campo de visión (FOV) y RA limitado por código clave para una interacción segura del usuario en un cumplimiento con la captura y transmisión de datos de entorno restringido.
Descripción de la técnica relacionada
La realidad aumentada (AR) se refiere a la generación de gráficos de video tridimensionales (3D) u otros medios de tal manera que se superpongan y se registren con los objetos circundantes en el entorno. Azuma y sus colegas definen formalmente un sistema de RA como un sistema que "complementa el mundo real con objetos virtuales (generados por ordenador) que parecen coexistir en el mismo espacio que el mundo real". Estos sistemas tienen tres propiedades definitorias: (1) combinan objetos reales y virtuales en un entorno real, (2) funcionan de manera interactiva; y en tiempo real; y (3) registran (alinean) objetos reales y virtuales entre sí. Ver R. Azuma et al. "Recent Advances in Augmented Reality," IEEE Computer Graphics and Applications, 21(6), 2001, pp. 34-37 y S. Henderson et al. "Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret", IEEE International Symposium on Mixed and Augmented Reality 2009 Science and Technology Proceedings del 19 al 22 de octubre, Orlando, Florida.
La aplicación de la RA a tareas en las que un usuario manipula objetos al alcance de la mano con la mano podría hacer posible que el usuario sea entrenado para esas tareas y que se le ayude activamente durante su ejecución, sin necesidad de consultar nunca instrucciones en papel o electrónicas separadas o tener expertos en la materia para instruir a los usuarios. En el objeto de interés pueden superponerse y registrarse gestos con las manos, así como otros textos, formas e instrucciones de audio. La incorporación de la instrucción y la asistencia directamente dentro del dominio de la tarea, y la referencia directa al objeto que el usuario está mirando y manipulando, podría eliminar la necesidad actual de que el personal cambie continuamente su foco de atención entre la tarea y su documentación separada. Tal sistema de RA puede usarse para ensamblar, mantener o reparar equipos industriales o sistemas de armas, realizar procedimientos médicos en pacientes, reentrenar a víctimas de heridas de guerra, reentrenar a víctimas de ataques cerebrales, enseñar a los animales de servicio, permitir que los enfermos "participen" en deportes en una experiencia parcial limitada pero más realista, ayudar con las inspecciones de fábrica, ayudar a los médicos en la formación de estudiantes de medicina y demás.
XMReality Inc. proporciona una solución para la orientación de expertos a distancia en torno a una plataforma de realidad aumentada en la que una "guía" instruye a un "seguidor" remoto para ensamblar, mantener o reparar una pieza de equipo. En algunas industrias, la definición preferida de "guía" es como "experto" y la definición preferida de "seguidor" es "técnico de campo". Un XMServer que ejecuta el software XMReality es responsable de la conexión de "establecimiento de comunicación" entre dos clientes, por ejemplo, un experto y un técnico de campo. El técnico de campo usa gafas de video o sostiene una unidad manual, como una tableta o un teléfono celular, que incluye tanto una cámara de video como una pantalla y ejecuta el software XMReality. El técnico de campo apunta la cámara a un objeto en la escena para capturar y transmitir una señal de video a través de un enlace de comunicaciones a un experto remoto. El experto puede ver la señal de video en una estación de trabajo informática o gafas de video que también ejecutan el software XMReality. En respuesta a la señal de video, el experto realiza gestos con las manos para manipular el objeto directamente o mediante una herramienta. Estos gestos con las manos se capturan y las superposiciones de manos generadas por ordenador se transmiten al técnico de campo donde se registran y se superponen (aumentan) en la pantalla del técnico de campo, para ayudar a explicar una acción o método. También puede generarse y superponerse información textual o de audio adicional en la pantalla. Ver el manual de XMReality 4.4, 2015.
Los "marcadores" artificiales, también conocidos como "fuentes", que tienen una firma única y fácilmente identificable, pueden colocarse en el usuario, en el objeto o en la escena y usarse para varios propósitos. Estos marcadores se han usado para identificar y localizar objetos específicos, para activar la visualización de medios generados por ordenador o para determinar la posición y postura del usuario. Ver Henderson et al; J. Molineros et al. "Computer Vision for Guiding Manual Assembly" Actas del 4° Simposio Internacional de IEEE sobre reuniones y planificación de tareas, Soft Research Park, Fukuoka, Japón 28-19 de mayo, 2001; D. Reiners et al. "Augmented Reality for Construction Tasks: Doorlock Assembly", 1° taller internacional sobre realidad aumentada (IWAR '98), San Francisco, noviembre de 1998 páginas 31-46; y Patente de Estados Unidos N° 7.126.558 titulada "Industrial Augmented Reality".
Las cámaras de video actualmente disponibles para aplicaciones de RA tienen un campo de visión (FOV) máximo de aproximadamente 100 grados correspondiente al<f>O<v>nativo de la cámara. En el Consumer Electronics Show de 2018, una empresa llamada Realmax hizo alarde de un espectáculo con un FoV de 100,8 grados, que competía con los auriculares Dream Glass de Dreamworld, que tienen 100 grados, y el siguiente rival más cercano, Meta 2 de Meta Company, que tiene 90 grados. Se está realizando un esfuerzo considerable para ampliar el FOV para proporcionar una visión periférica que se aproxime a la visión humana o más allá de un entorno totalmente inmersivo. En general, se acepta que aumentar el campo de visión proporcionará una mejor experiencia de RA, incluyendo en el entorno de instrucción de expertos/técnicos de campo.
La industria continúa avanzando en esta área. Una experta en la industria, Devindra Hardawar, escribió en la revista en línea Engadget, el 12 del 3 de 2017, "El Meta 2 también se siente como una experiencia de RA más completa, en comparación con los HoloLens. La gran razón de eso: cuenta con un amplio campo de visión de 90 grados, mientras que HoloLens solo ofrece un FOV estrecho de 30 grados. Eso significa que las imágenes de Meta 2 llenan mucho más su visión, en lugar de ofrecer solamente una pequeña porción de visión aumentada". El programa SBIR - Small Business Innovative Research - dirigido por el gobierno de los Estados Unidos está diseñado para alentar, financiar y entrenar lo último en invenciones tecnológicas para promover tanto los negocios como la maduración de la invención para su eventual uso en el ejército o en una agencia gubernamental. Es, por su estatuto y definición, el promotor de I+D del gobierno competitivo líder y es el responsable de fomentar cada día innumerables innovaciones a lo largo de los años. En agosto de 2017, SBIR lanzó una convocatoria de propuestas en la categoría amplia DoD 3-2017, número de asunto A17-1135 titulado "información de campo de visión de 360 grados en una pantalla de realidad virtual (VR) inmersiva de 120 grados". Esta solicitud de propuesta se unió a muchas similares para impulsar las ventanas de RA y VR FOV más lejos, uniéndose a la industria en un esfuerzo por aumentar el FOV.
En ciertos entornos de RA, una preocupación, principalmente del cliente y que se ve acentuada por el impulso para maximizar el FOV, es que el usuario (ya sea el técnico de campo o el experto, pero principalmente el técnico de campo), puede alejarse del objeto de interés, intencional o involuntariamente, y capturar video de otra parte de la escena que no debe ser capturada o transmitida. Es posible que las demandas de los clientes, las regulaciones de la industria, la seguridad nacional o las leyes específicas del país requieran cierto nivel de cumplimiento de la captura y transmisión de datos para evitar una transmisión del FOV amplia no intencional o intencional. Las técnicas actuales incluyen cubrir físicamente con una tela o lona las áreas alrededor del objeto de interés para evitar la captura en la señal de video o secuestrar el video antes de la transmisión y hacer que un experto en el dominio con autorización de seguridad revise y edite la señal de video después de la captura. Aún más común y más costoso es la retirada del equipo en cuestión a un espacio seguro especializado, como un garaje o hangar vacío para que no haya elementos externos en la escena. En muchos casos, la retirada de equipos, la cobertura física o la edición posterior a la captura no son suficientes para satisfacer los requisitos de cumplimiento o son poco prácticos y costosos de implementar en una situación interactiva casi en tiempo real. En algunas situaciones hay leyes nacionales que evitarían la edición posterior a la captura por razones de seguridad nacional e ITAR - Regulaciones de tráfico de armas internacionales.
La US 2016/026253 A1 divulga sistemas para presentar la realidad virtual y experiencias de RA a los usuarios que comprenden un dispositivo de captura de imágenes para capturar una o más imágenes, la una o más imágenes correspondientes a un campo de visión de un usuario de un dispositivo de RA montado en la cabeza, y un procesador acoplado de forma comunicativa al dispositivo de captura de imágenes para extraer un conjunto de puntos de mapa del conjunto de imágenes, para identificar un conjunto de puntos dispersos y un conjunto de puntos densos del conjunto extraído de puntos del mapa, y para realizar una normalización en el conjunto de puntos del mapa.
La WO 2017/177019 A1 divulga sistemas de telepresencia de RA que admiten funcionalidades de realidad aumentada sincrónicas y asincrónicas. Un método comprende: recibir información de modelo 3D de un primer espacio del mundo real durante una primera sesión de RA interactiva anclada en el primer espacio del mundo real; después de la terminación de la primera sesión de AR: renderizar una representación del primer espacio del mundo real en base a la información del modelo 3D recibida durante la primera sesión de RA interactiva, recibir información referente a la entrada del usuario sobre la colocación de un objeto virtual con respecto a la información del modelo 3D y renderizar, durante una segunda sesión de RA interactiva anclada en el primer espacio del mundo real, el objeto virtual en una posición correspondiente a la información referente a la entrada del usuario de la colocación del objeto virtual con respecto a la información del modelo 3D.
La US 2015/186728 A1 divulga un dispositivo de visualización montado en la cabeza que incluye una unidad de visualización de imágenes que permite al usuario reconocer visualmente la luz de la imagen en base a los datos de la imagen como una imagen virtual y permite al usuario reconocer visualmente un escenario exterior cuando se lleva en la cabeza del usuario, una unidad de imágenes que crea imágenes del escenario exterior, y una unidad de control que, cuando una imagen capturada contiene una imagen de marca como una imagen de una marca específica, permite al usuario reconocer visualmente la imagen virtual específica asociada con una combinación de un tipo de imagen de marca y una forma de la imagen de la marca usando la unidad de visualización de imágenes.
SUMARIO DE LA INVENCIÓN
De acuerdo con la presente invención, se proporciona un método y sistema implementado por ordenador<como se define en las reivindicaciones>1<y>10<.>
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La FIG. 1 es una ilustración de un campo de visión (FOV) y un sistema de RA limitado por código clave para el cumplimiento de la captura y transmisión de datos;
La FIG. 2 es un diagrama de bloques de una realización de una unidad de captura y visualización de vídeo, como gafas o una unidad manual en la que la dirección de apuntado está subordinada al movimiento del usuario al alcance de la mano de un objeto en la escena;
La FIG. 3 es un diagrama de flujo de una realización de RA limitado por código clave y FOV;
La FIG. 4 es un diagrama de flujo de bloques de los requisitos del código clave, la programación y la validación/inicio del sistema;
La FIG 5 es una ilustración del FOV de una cámara y la tolerancia de alineación en la dirección de apuntado de la cámara para satisfacer una condición de alineación;
<Las FIGS:>6<a y>6<b son respectivamente un diagrama de flujo y una ilustración de una realización para calibrar>automáticamente un sistema de RA usando un emparejamiento binario de sensor/marcador; y
Las FIGS. 7a a 7b ilustran el funcionamiento del sistema de RA calibrado en la condición "verde" durante la cual se captura y transmite el video, una condición "amarilla" en la que se emite una advertencia y una condición "roja" en la que la cámara de video está apagada.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
La presente invención está dirigida a entornos de RA en los que puede requerirse cierto nivel de cumplimiento de la transmisión y captura de datos por las demandas de los clientes, las regulaciones de la industria, la seguridad nacional o las leyes específicas del país. En ciertos casos, el cumplimiento puede requerir que partes de una escena u objetos etiquetados específicamente no se puedan incluir dentro de la salida de señal de video por la cámara de video para su visualización o transmisión. En otros entornos más rigurosos, el cumplimiento puede requerir que partes de la escena u objetos etiquetados no puedan ser capturados (detectados) por la propia cámara de video, y mucho menos emitidos en la señal de video. El nivel de cumplimiento requerido puede estar determinado por una serie de diferentes factores y puede cambiar entre o incluso durante la aplicación de la AR. En muchos casos, la retirada de equipos, el recubrimiento físico o la edición posterior a la captura no es suficiente para satisfacer los requisitos de cumplimiento o no es práctico de implementar en una situación interactiva casi en tiempo real.
En este entorno de RA, la dirección de apuntado de la cámara de vídeo está subordinada al movimiento del técnico de campo (por ejemplo, la cabeza del técnico en el caso de las gafas o las manos en el caso de una unidad manual). Se captura una señal de video dentro de un FOV de un objeto en una escena local al alcance de la mano del técnico. El técnico recibe gestos con las manos para la manipulación del objeto de un experto en una localización remota, que se registran y se superponen en la señal de video para crear una realidad aumentada para instruir al usuario en la manipulación del objeto. En diferentes implementaciones, los gestos con las manos se proporcionan cuando un experto ve y responde a la señal de video capturada y transmitida a la localización del campo remota por la cámara de video del técnico en tiempo real, cuando un experto interactúa con una réplica del objeto en tiempo real o cuando un experto genera instrucciones “grabadas” fuera de línea o respondiendo a un vídeo o interactuando con una réplica del objeto.
La preocupación es que el técnico puede alejarse del objeto de interés, intencional o involuntariamente, y capturar video de otra parte de la escena u objeto que no debe ser capturado o transmitido. La presente invención proporciona un sistema y método para controlar automáticamente y bajo el control del técnico/cliente/maestro ("usuario") la cámara de video en un entorno de RA tan restringido para excluir partes de una escena para el cumplimiento con la captura de datos y la transmisión sin interferir con las superposiciones de RA que instruyen al técnico en la manipulación del objeto.
Con referencia a la Figura 1, una realización de un sistema de RA10incluye un dispositivo de captura y visualización de video12como un par de gafas de video o una unidad manual (por ejemplo, una tableta o teléfono celular) cuya dirección de apuntado14está subordinada al movimiento del técnico (por ejemplo, donde un técnico de campo16está mirando o apuntando a la unidad). El técnico de campo16manipula un objeto18en una escena local20para, por ejemplo, realizar el mantenimiento del objeto o recibir instrucciones sobre cómo manejar el objeto. En este ejemplo, el objeto18es un panel de acceso y la escena local incluye un tractor.
El dispositivo12captura imágenes del objeto18en la escena de campo local20y transmite una señal de video26a través de un enlace de comunicaciones28a un sitio remoto, posiblemente en un país diferente. La señal de vídeo26se presenta a un experto30en una estación de trabajo informática32, que está provista de un dispositivo34para capturar los gestos de las manos del experto. El experto30manipula el objeto en el video con sus manos (o mediante una herramienta) para realizar la tarea. El dispositivo34captura los gestos con las manos, que se convierten en gestos con las manos animados36y los transmite a través del enlace de comunicaciones28al usuario16donde se registran y superponen en la pantalla. El experto30puede proporcionar instrucciones adicionales en forma de audio, texto u otros medios para aumentar el entorno de AR. El propio entorno de RA se implementa con el software de aplicación40y los archivos de configuración42y44en los sistemas informáticos remotos y locales32y12y un servidor46.
De acuerdo con la invención, el sistema o método de RA determina si la dirección de apuntado14del dispositivo local de captura y visualización de video12satisface una condición de alineación50con un marcador52(por ejemplo, una distancia o ángulo) en la escena de tal manera que un FOV de la cámara54se encuentra dentro de un FOV admisible definido por el usuario56alrededor del marcador52.El marcador52puede constituir una localización en el objeto o escena posiblemente designada por una etiqueta artificial, características únicas del objeto (por ejemplo, longitud de onda, forma, temperatura, etc.), o una etiqueta artificial con características únicas colocadas en el propio objeto, en la escena local cerca del objeto o en las manos del usuario. Si no se satisface la condición de alineación, el dispositivo de captura y visualización de vídeo12se controla para excluir por lo menos una parte del FOV54de la cámara que se encuentra fuera del FOV admisible56de la captura dentro de la señal de vídeo. Por ejemplo, la cámara de video puede apagarse, vaciando de este modo la señal de video26hasta que se satisfaga la condición de alineación. La cámara de video puede volverse a encender cuando se restablece la condición de alineación, como mediante alineación manual, el seguimiento de la dirección de apuntado de la cámara o la recaptura del marcador mediante un sensor separado. Puede emitirse una señal de advertencia (por ejemplo, audio, video o vibración física) cuando la dirección de apuntado de la cámara está cerca de incumplir la condición de alineación. Se entiende que este escenario también puede duplicarse en ambos extremos o intercambiarse para incluir la aplicación de sensores, marcadores, tolerancias y límites a la transmisión del lado del experto. Para mayor claridad, no se analiza esta alternativa, pero está implícita en los análisis y reivindicaciones restantes.
Se usan uno o más códigos claves de técnico/cliente, maestro o experto60para identificar al técnico/maestro/experto, definir el emparejamiento del marcador y especificar las tolerancias que definen el FOV admisible56.Un código clave permite que el técnico de campo/cliente/maestro o un experto controle la cámara de video para evitar que el técnico de campo capture y/o transmita datos en la escena que violarían las políticas del cliente o del país o los requisitos legales. La tolerancia puede constituir valores introducidos o marcadores adicionales identificados en el código clave colocado en la escena. Por ejemplo, un usuario puede especificar una distancia de 24'', lo que crea un círculo con un radio de 24'' alrededor de los marcadores como el FOV admisible. Alternativamente, el usuario puede especificar más/menos 5 grados de desalineación para la dirección de apuntado, que para la distancia de trabajo del alcance de la mano nominal podría crear, por ejemplo, un círculo con un radio de 12''. En lugar de o además de especificar una distancia o ángulo, el usuario podría especificar y colocar marcadores adicionales en la escena alrededor del marcador que define el límite exterior del FOV admisible. La activación del dispositivo de captura y visualización de video12requeriría un emparejamiento con éxito con por lo menos el marcador principal y posiblemente los marcadores adicionales. Puede proporcionarse otro código clave controlado por un experto en la localización remota al técnico de campo para garantizar que no se transmitan ni reciban datos no conformes en la localización remota. Este código clave se aplica en el sistema de RA del técnico de campo.
La condición de alineación50relaciona la dirección de apuntado de la cámara14con una línea de visión (LOS)55del marcador. Las dos deben permanecer con una desalineación específica57dada como un ángulo o distancia al marcador. La desalineación57puede ser fija, por ejemplo, más o menos 5 grados, establecida por el usuario o calculada en función de la diferencia entre el<f>O<v>admisible56definido por el usuario y el FOV de la cámara54, que a su vez puede ser ajustable.
La distribución del FOV admisible56entre el FOV de la cámara54y la desalineación57puede verse influenciada o determinada por varios factores, incluyendo los requisitos del sistema sobre la desalineación mínima o el FOV mínimo de la cámara, el FOV nativo de la cámara, si el FOV de la cámara es ajustable, el FOV nativo de un sensor y si el FOV del sensor es ajustable, si el emparejamiento de sensor/marcador proporciona una detección binaria o una posición del marcador con respecto a la dirección de apuntado de la cámara, inclusión de marcadores adicionales, etc. Hablando de manera general, cuando mayor sea el FOV de la cámara54, menor será la desalineación admisible57para hacer cumplir el FOV admisible56y viceversa.
En diferentes realizaciones, la cámara/marcador o cámara/sensor/marcador se calibran antes de su uso para establecer el FOV admisible definido por el usuario, el FOV de la cámara y la desalineación de la dirección de apuntado permitida que juntos definen la condición de alineación. En una realización, el técnico dirige la cámara (y el sensor) en la dirección que apunta al marcador para validar el emparejamiento de marcadores especificado en el código clave. El sistema lee y procesa las tolerancias especificadas por el usuario que definen el FOV admisible. Teniendo en cuenta otras entradas, como el FOV nativo de la cámara y el sensor, el FOV mínimo de la cámara, la tolerancia de desalineación mínima, la distancia nominal de la cámara/sensor al marcador (alcance de la mano de, por ejemplo, 16-18'') y cualquier marcador adicional en la escena, el FOV de la sesión y las tolerancias de desalineación y configura la cámara, el sensor y el procesamiento para implementar la condición de alineación.
En referencia ahora a la Figura 2, en una realización, un dispositivo de captura y visualización de video100incluye una cámara de video102,un giroscopio103,un sensor104,una pantalla de video106y un procesador de FOV130. La cámara de video102incluye una fuente de alimentación107,un detector de cámara108con óptica110configurada para aceptar luz (fotones) sobre un ángulo de visión111que define un FOV de la cámara112a una<distancia focal dada f>1<para un marcador y un procesador de video 140. El detector 108 puede ser, por ejemplo, un>sensor CMOS como se usa en la presente o una película de celuloide. El FOV de la cámara112puede ser fijado por el FOV nativo de la cámara, puede reducirse mediante un elemento óptico de mercado secundario que se monta en la óptica110para reducir el ángulo de visión o puede configurarse con un enfoque ajustable114.El detector de cámara108captura la luz dentro de su FOV de la cámara112, que se pasa al procesador de vídeo140para formar y emitir una señal de vídeo142que se transmite al experto remoto. Usando la información de la postura de la cámara proporcionada por el giroscopio103, el procesador de video140superpone los gestos de las manos144y otra información textual o de forma o audio en la señal de video142del experto remoto y presenta el video para instruir al usuario en la manipulación del objeto.
En esta realización, el dispositivo100se configura además con un sensor104y un procesador de FOV130para recibir uno o más códigos de clave del sistema de técnico de campo, experto y maestro132, 134y136y configurar el FOV de la cámara112y la tolerancia de desalineación para implementar la condición de alineación en la dirección de apuntado de la cámara118. Si se cumple la condición de alineación, el procesador de FOV140permite que la cámara de vídeo capture imágenes dentro de su FOV y proceda como de costumbre. Si no se cumple la condición de alineación, el procesador de FOV140controla la cámara de video para excluir por lo menos una parte del FOV de la cámara112que se encuentra fuera de un FOV admisible116desde la captura dentro de la señal de vídeo142. En una realización particular, si no se cumple la condición de alineación, el procesador de vídeo140deshabilita la grabación, por ejemplo, desactivando la alimentación del detector o de toda la cámara. En diferentes realizaciones, la cámara de video puede volver a encenderse realineando manualmente la cámara con el marcador, posiblemente requiriendo la anulación del sistema maestro para reiniciar o mediante la readquisición del marcador por parte del sensor.
El sensor104incluye un detector de sensor120sintonizado a una firma de marcador particular con un FOV del sensor122que se superpone al FOV de la cámara, como un sensor/marcador de infrarrojos, donde puede encontrarse radiación infrarroja entre las regiones visible y de microondas. Las ondas infrarrojas tienen típicamente longitudes de onda entre 0,75 y 1000 μm. Pueden usarse otros sensores, como un VWD - detector de longitud de onda variable, sensores de temperatura, etc.112.Puede incluirse un enfoque ajustable123para establecer un FOV del sensor122. Un procesador del sensor124controla la energía al sensor104hace un seguimiento del marcador y envía señales a un procesador de FOV130de que se ha producido un evento. El "evento" puede ser un 0/1 binario<de no detección o detección del marcador, un ->1</>0/1<trinario que añadiría la capacidad de señalar cuando el sensor>está cerca de perder el marcador, o una posición relativa del marcador en el FOV del sensor. En ciertas configuraciones, las funciones del procesador del sensor124pueden incorporarse con y dentro del procesador de FOV130,que a su vez puede incorporarse en la cámara de vídeo.
En una realización particular, puede usarse el giroscopio103además de, como o en lugar del sensor104para implementar la condición de alineación. La dirección de apuntado de la cámara de video está alineada con el marcador para calibrar el procesador FOV al ángulo de posición generado por el giroscopio. Posteriormente, el procesador de FOV monitoriza la secuencia de ángulos de posición emitidos por el giroscopio para implementar la condición de alineación. Si los ángulos permanecen dentro de la tolerancia de desalineación, la cámara captura imágenes, forma y muestra el entorno de RA inmersivo. Si los ángulos violan la condición de alineación, el procesador de FOV dirige la fuente de energía107para apagar la cámara. Si los ángulos están cerca de infringir la condición de alineación, se emite una señal de advertencia. Este enfoque es atractivo ya que usa un sensor separado distinto de la cámara de video para implementar la condición de alineación, pero lo hace usando otro hardware (es decir, el giroscopio) que típicamente reside en el dispositivo de RA. Todo lo que se requiere es representar el FOV admisible definido por el usuario como una tolerancia angular en la dirección de apuntado de la cámara, calibrar el sistema a la posición de la cámara dirigida al marcador y luego monitorizar los ángulos generados por el giroscopio. Para mejorar la robustez del sistema, el giroscopio puede usarse junto con otro sensor como el sensor104del detector de cámara108.
Aunque las funciones del sensor pueden incorporarse en el detector de la cámara o el giroscopio y el procesador de FOV eliminando por tanto la necesidad de hardware adicional en el detector y la óptica separados, el uso de un sensor separado puede proporcionar ciertas ventajas. Puede ser más fácil adaptar los sistemas de RA existentes con un sensor separado que está configurado para implementar la condición de alineación simplemente encendiendo/apagando la cámara. Además, el sensor y el marcador pueden diseñarse específicamente para emparejarse. El marcador puede ser una etiqueta artificial con una señal única e identificable que está configurada para ser detectada por el sensor. Ya existen parejas de sensor/marcador económicos y robustos y se han usado con otros propósitos en sistemas de AR. Además, el FOV del sensor puede ser diferente del FOV de la cámara y puede configurarse para implementar la condición de alineación directamente. Por ejemplo, si el sensor está configurado para generar un evento de detección binaria, el ajuste de su FOV igual a la tolerancia de desalineación implementa directamente la condición de alineación. Si se detecta el marcador, se cumple la condición. Si no se detecta el marcador, se infringe la condición.
En referencia ahora a las Figuras 3 y 4, un sistema de RA como el de XMReality y el método de superposición de gestos de las manos animados en la pantalla del técnico de campo para instruir al técnico de campo en el desempeño de una tarea en un objeto de interés pueden modificarse o reconfigurarse para el cumplimiento de captura de datos y transmisión. Como se describe, las modificaciones al hardware pueden variar desde añadir un "sensor" que incluye el "Procesador de FOV" que procesa cualquier código clave y realiza el emparejamiento del marcador para encender/apagar la cámara de video con pocos o ningún cambio en el hardware o el software de la cámara de video y el sistema de RA existente, a añadir un sensor pero integrando los controles del software en un procesador de FOV en la cámara de video, usando el giroscopio existente e incorporando controles de software para monitorizar la posición de la cámara, a usar el detector de la cámara existente e incorporar los controles de software en un procesador de FOV en la cámara de vídeo.
Independientemente de los elementos adicionales para garantizar el cumplimiento de la captura y transmisión de datos, se incluyen los pasos para definir la configuración de prioridad del lado del campo (paso200), como la identificación del técnico de campo, un código de país para el sistema de RA local, un código de seguridad, información de emparejamiento de marcador primario, Limitaciones del FOV definidas por el cliente, marcadores secundarios y programación de esos ajustes en el código clave (paso202). El código clave del técnico de campo puede incluir campos para la identificación del cliente, identificación específica del usuario, país de origen, nivel de seguridad, prioridad, emparejamiento de sensor/marcador primario, tolerancia en términos de distancia y/o ángulo máximos desde la LOS hasta el marcador y la dirección de apuntado/punto focal de la cámara, emparejamientos y tolerancias de sensor/marcador secundario, cifrado de seguridad, etc. Ahora se requiere la identificación del técnico no solo para el establecimiento de comunicación/validar con el lado experto del sistema de AR, sino también para permitir la configuración de las limitaciones del FOV definidas por el usuario. El código de país y el código de seguridad pueden traducirse en ciertas limitaciones del FOV, que pueden cambiar dependiendo del nivel actual del código de seguridad. Pueden realizarse configuraciones de prioridad y programación de códigos clave similares en el lado del experto con el código clave de experto transmitido al usuario de campo local. El código clave de experto puede reflejar diferentes requisitos del país en el que reside el experto y puede proporcionar redundancia si el usuario no proporciona las protecciones adecuadas. En otra realización, el código clave se convierte en un comando singular o reducido esclavo de una tabla de búsqueda en V, donde la tabla representa comandos más extensos vinculados a una entrada de usuario simple o código clave. Este método proporciona un código clave o entrada de usuario que solo necesita introducir un parámetro, como un nivel de prioridad 1, 2, 3, etc., que corresponde a múltiples comandos de entrada, limitaciones del FOV, leyes del país, CONOPS (como emergencia o tiempo de guerra en el que muchos límites se relajan, o como investigaciones muy sensibles donde los límites se restringen aún más).
El sistema se somete a un paso de validación/iniciación204que puede incluir múltiples "establecimientos de comunicación" para validar el emparejamiento de la identificación del usuario con el experto y para sincronizar el emparejamiento de sensor/marcador. Como se ha mencionado anteriormente, puede aplicarse una imagen reflejada de estos FOV y controles de código clave en el lado del experto del sistema para garantizar el cumplimiento de la captura y transmisión de datos por parte del experto.
Una vez validado, el sistema realiza una calibración automatizada de la cámara/sensor/marcador(es) para establecer las condiciones bajo las cuales se satisface la condición de alineación (paso206). Por ejemplo, es posible que se requiera que el técnico alinee la dirección de apuntado de la cámara de video (y el sensor) en el marcador primario e inicie la "calibración". El procesador del FOV a su vez podría leer el FOV y la información de longitud focal sobre la cámara de video y el sensor y las limitaciones en el FOV y la tolerancia especificada del código clave u otro material de referencia o entrada del técni
la cámara de video infringe la condición de alineación. El procesador de FOV luego calcula los límites y controles en base a estas entradas e interactúa con el resto del sistema para efectuar estos límites y controles. En una iteración adicional opcional durante la calibración, el sistema realiza un paso de cálculo adicional para limitar aún más el FOV de la cámara usando una parte del FOV nativo de la cámara en los cálculos por el procesador de FOV.
Una vez calibrado, el sistema implementa un FOV sincronizado de captura previa (paso208) para implementar el cumplimiento de captura y transmisión de datos como se especifica en el código clave excluyendo por lo menos aquellas partes del FOV de la cámara de video que se encuentran fuera del FOV admisible definido por el usuario de captura dentro de la señal de video. En una realización preferida, cuando no se cumple la condición de alineación de la cámara de video con el marcador, la cámara de video se apaga. Esto asegura que las imágenes fuera del FOV admisible definido por el usuario no sean capturadas por la cámara de video y mucho menos incluidas en la señal de video de salida que se muestra y posiblemente se transmite.
<En la Figura 5 se representa una realización para la calibración general del sistema. En las Figuras>6<a a>6<c>se ilustra una descripción más detallada de un proceso de calibración para un emparejamiento de marcador binario con un sensor separado.
Como se muestra en la Figura 5, una tolerancia especificada por el usuario300(distancia al marcador, tolerancia angular en la dirección de apuntado proyectada a través de la distancia de trabajo o marcadores adicionales) define un FOV admisible definido por el usuario (AFOV)302sobre un marcador304.En general, un FOV = 2 (Tan (ángulo de visión/2) X Distancia, donde la distancia es la distancia entre un punto focal306y el marcador304.En esta solicitud, se supone que la distancia es una distancia de trabajo nominal "d1"308de un técnico de aproximadamente 16-1''. Por consiguiente, el FOV puede ser equivalente en referencia a la distancia calculada real 'd2'310desde el marcador o como el ángulo de visión312.
El FOV de una cámara (CFOV)314debe ser menor que el AFOV302. De lo contrario, incluso cuando una dirección de apuntado316esté perfectamente alineada con el marcador304, la cámara capturaría imágenes en el límite o fuera del AFOV302lo que no está permitido. La diferencia entre el AFOV302y el CFOV314es la tolerancia de alineación318de la dirección de apuntado de la cámara. La tolerancia de alineación, que de nuevo puede considerarse o como una distancia o un ángulo, es la tolerancia o el error permitido de la dirección del punto316de la cámara al marcador304que satisface la condición de alineación. Cuanto mayor sea el FOV de la cámara314menor será la tolerancia de alineación318y viceversa. La tolerancia de alineación (o FOV de la cámara) puede reducirse para crear un "rango de tolerancia" o "zona de seguridad". Por ejemplo, una tolerancia de alineación máxima de digamos 5 grados puede reducirse a 3 grados para crear un rango de tolerancia de 2 grados. El sistema, o las entradas del usuario, pueden especificar requisitos mínimos o establecidos para uno o ambos del FOV de la cámara y la tolerancia de alineación, y ajustar uno o ambos en consecuencia.
Un enfoque alternativo pero equivalente es hacer que el maestro/cliente/técnico especifique la tolerancia de la dirección de apuntado de la cámara al marcador. La propia cámara de video o un sensor separado monitorizaría si la dirección de apuntado de la cámara con respecto a los marcadores permanece dentro de la tolerancia especificada. Siempre que se satisfaga la condición de alineación, la cámara permanece encendida. Si se infringe la condición de alineación, la cámara se apagará. El sistema requeriría un determinado FOV máximo de la cámara o aceptaría el FOV de la cámara bajo el supuesto de que la distancia de trabajo es relativamente corta y, por lo tanto, si el técnico está mirando el objeto, no debería haber ningún problema con el cumplimiento. Los problemas de cumplimiento se producen generalmente cuando el técnico gira su cabeza o apunta la cámara en la dirección incorrecta, no porque el FOV de la cámara sea demasiado grande si apunta en la dirección de corrección. En este caso, la tolerancia especificada más el FOV de la cámara proporciona el FOV admisible definido por el usuario. En cualquier caso, el maestro/cliente/técnico proporciona una tolerancia que establece el FOV admisible definido por el usuario. Este enfoque puede no ser adecuado para los entornos de cumplimiento y captura de datos más rigurosos, pero puede ser adecuado para ciertas aplicaciones comerciales.
Como se ha descrito anteriormente, hay muchas configuraciones diferentes para implementar la condición de alineación. La función de detección puede ser realizada por la cámara de video, el giroscopio o un sensor adicional o una combinación. La función de detección puede producir un evento de detección binario del marcador que significa si se satisface la condición de alineación o un evento de detección análogo que proporciona la posición del marcador con respecto a la dirección de apuntado de la cámara desde la cual puede determinarse la satisfacción de la condición de alineación.
El uso de la cámara de video para detectar el marcador presenta algunas limitaciones. En el caso binario, el FOV de la cámara es la tolerancia de alineación en la dirección de apuntado de la cámara. Por lo tanto, el FOV de la cámara está limitado a la mitad del tamaño del FOV admisible (o menos) para implementar la condición de alineación. En el caso análogo, el FOV de la cámara debe tener por lo menos el tamaño de la tolerancia de alineación. Esta configuración no puede implementar una condición de alineación en la que el FOV de la cámara sea pequeño y la tolerancia de alineación sea grande.
En las Figuras 6a y 6b se ilustra una realización del proceso de calibración automatizado de una cámara de video400y un sensor402para el marcador primario404para un emparejamiento de sensor/marcador binario para implementar una condición de alineación. Un código clave define un fOv admisible definido por el usuario406sobre el marcador404.En esta realización, la cámara de video400tiene un FOV nativo405que es más grande que el FOV admisible406. El FOV nativo está definido por la lente de la cámara y la anchura del sensor CMOS, altura y tangente del ángulo de visión y distancia al objeto. Los sistemas RA de típicos buscan maximizar y usar todo el campo de visión nativo para proporcionar un entorno inmersivo. El sensor402también tiene un campo de visión ajustable física o algorítmicamente.
Según se prevé, un técnico407se movería a una posición al alcance de la mano, nominalmente 16-18'', desde el marcador primario404(y el objeto409a manipular), apuntaría la cámara400al marcador e iniciaría la calibración, que procedería de manera autónoma Una vez calibrado, el técnico obtendría una "luz verde" para continuar.
En el paso500,las direcciones de apuntado410y412de la cámara y el sensor y el punto focal del sensor414se alinean y coordinan con el marcador primario404. Una vez alineado, el sistema se inicia con un técnico de campo o el código clave del sistema maestro416durante el cual el sensor402se empareja con el marcador y se autentica (paso502).
En el paso504el procesador de FOV recibe como entradas y procesa las tolerancias especificadas (distancias, ángulos o marcadores adicionales417) que definieron el FOV admisible, el FOV nativo de la cámara, el FOV nativo del sensor y el punto focal, el "alcance de la mano" nominal, para calcular un campo de visión de cámara418y un sensor de campo de visión420(equivalente a la tolerancia de desalineación422). En muchos casos, será necesario reducir el FOV nativo de la cámara y/o sensor. Si el FOV de la cámara o del sensor es fijo, el procesador de FOV ajustará los cálculos en consecuencia. Puede usarse una variedad de elementos ópticos de posventa para limitar el FOV de la cámara o del sensor según sea necesario para garantizar que se cumplan las condiciones de alineación y el FOV admisible definido por el usuario. El procesador de FOV también puede calcular condiciones de alineación suplementarias en base a marcadores adicionales, condiciones para generar señales de advertencia, etc. En cierto caso, se usa un emparejamiento de sensor/marcador dedicado en el que el marcador se coloca en un área particularmente sensible de la escena como un seguro a prueba de fallos para garantizar que las imágenes de esa área ni se capturan ni se transmiten. Si el sensor dedicado detecta este marcador dedicado, el sistema de RA se apaga y solo puede reiniciarse mediante el código clave maestro.
En el paso506,según sea necesario, el procesador de FOV reduce el FOV nativo de la cámara al FOV de la cámara418y ajusta el FOV del sensor420para establecer distancias mínimas/máximas fuera de tolerancia para el emparejamiento de sensor/marcador con respecto al FOV de la cámara. El FOV del sensor420puede establecerse en la tolerancia máxima de desalineación o en una tolerancia de desalineación reducida para crear una zona de rango de tolerancia.
Usar un FOV inferior al nativo de tal manera que el FOV de la cámara de trabajo sea menor que el FOV admisible tiene ventajas y puede configurarse para proporcionar una zona de rango de tolerancia alrededor del objeto en la que nunca se registran los fotones (imagen). El límite real de la línea pasa/no pasa es lo que preocupa a algunos usuarios. En la práctica, es casi imposible, y tiene un costo prohibitivo, definir la zona limítrofe con tanta precisión que un fotón de la escena no sea capturado en la cámara CMOS un milímetro más allá de la zona permitida. Los métodos de fotografía típicos capturarían toda la escena, usando todo el FOV, y editarían, bloquearían, recortarían u ofuscarían las imágenes/escenas/píxeles no deseados. Reduciendo el campo de visión antes de la captura de fotones, los cálculos del sistema de zonas de rango de tolerancia, alarmas de advertencia, tolerancias de sensores, interruptores de encendido/apagado conectados al marcador de origen ya tienen un margen de seguridad para evitar la captura fuera de la zona permitida, e incluso en el límite de la zona permitida. Este es un método mucho más práctico y permite el uso de métodos de sensor-marcador pequeños y de bajo coste para encender y apagar la cámara en las zonas limítrofes sin preocuparse de que la línea real del borde esté comprometida o capture una imagen.
En una realización, el giroscopio en las gafas de video se usa como o además del sensor402.El acelerómetro detecta el movimiento en direcciones angulares XYZ y emite un ángulo de posición (por ejemplo, guiñada, cabeceo y balanceo). El ángulo de posición se calibra a la LOS del marcador primario404.El procesador de FOV monitoriza el ángulo de posición para determinar si se satisface la condición de alineación. Esto puede hacerse traduciendo la distancia desde el marcador que define el FOV admisible definido por el usuario al ángulo o traduciendo el ángulo de posición a través de la distancia de trabajo a una distancia al marcador.
En el paso510,el sistema puede opcionalmente encender la cámara y el sensor para ejecutar una prueba incorporada (BIT) para verificar que el FOV de la cámara y el sensor, las advertencias, etc. se han calculado e implementado correctamente.
Como se ilustra en las Figuras 7a-7c, una vez calibrado, el técnico407manipula el objeto transmitiendo video a un usuario remoto y recibiendo gestos de las manos que se superponen en las gafas de RA para instruir al técnico para que utilice, repare o mantenga el objeto. Siempre que el técnico mire en la dirección del marcador (por ejemplo, la dirección de apuntando de la cámara o el ángulo de posición está dentro de una tolerancia para el marcador404), el marcador se captura en el FOV de sensor420y se cumple la condición de alineación ("verde") permitiendo de este modo que la cámara capture imágenes en el FOV de la cámara418. A medida que los ojos del técnico (cámara) comienzan a vagar, el marcador se acerca al borde del sensor FOV420("amarillo"), provocando de este modo que se emita una señal de advertencia (audio, video, vibración) como recordatorio para que el técnico mantenga su atención en el objeto y la tarea en cuestión. La cámara permanece habilitada y el video se captura para su transmisión y visualización. Si el LOS del técnico se aleja demasiado, el FOV pierde el emparejamiento con el marcador404("rojo"), infringiendo de este modo la condición de alineación y provocando que la cámara de video se desactive. En algunos casos, la cámara puede volver a encenderse simplemente mirando hacia atrás en el marcador para satisfacer la condición de alineación. En otros casos, es posible que el maestro necesite inicializar el sistema.
En un ejemplo en el que al usuario se le proporcionan gafas AR, el marcador principal puede estar localizado en las manos (o guantes) del usuario bajo el supuesto de que si el usuario está mirando sus manos, está mirando el objeto. Un marcador secundario podría colocarse (o extraerse) del objeto de interés. Un emparejamiento positivo podría requerir la adquisición de uno de los marcadores primario o secundario o de ambos marcadores primario o secundario.
En otro ejemplo, se usan un sensor secundario y un marcador secundario en casos de seguridad elevada y pueden controlarse mediante un código de clave secundario si se desea. El o los marcadores secundarios se colocan en un objeto o área particularmente problemáticos en la escena. El o los marcadores secundarios son únicos y solo se proporcionan al cliente de campo. El cliente puede estar seguro de que si el sensor secundario adquiere el marcador secundario, la cámara de video se apaga inmediatamente y quizás se inicia un período de revisión del procedimiento. Como mínimo, la cámara de video no puede volverse a encender mientras se adquiere el marcador secundario. Alternativamente, es posible que se requiera la intervención del cliente para reactivar el sistema de RA.
En otra realización, el sensor tiene un FOV que es más grande que el FOV de la cámara y lo abarca por completo. Por ejemplo, el FOV de la cámara es de 30 grados y el FOV del sensor es de 34 grados. La alineación de la cámara y el sensor proporciona 2 grados de FOV del sensor a cada lado del FOV de la cámara. La condición de alineación se define ahora por un marcador primario en el objeto y una pluralidad de marcadores secundarios espaciados entre sí y alrededor del objeto, que esencialmente definen el límite exterior del FOV admisible. La satisfacción de la condición de alineación requiere que el FOV del sensor vea el marcador primario (un emparejamiento positivo) y no vea ninguno de los marcadores secundarios (un emparejamiento negativo). A medida que la dirección de la cámara se mueve dentro del FOV admisible, los bordes exteriores del FOV del sensor verán los marcadores secundarios adicionales antes de que entren en el FOV de la cámara, apagando de este modo el FOV de la cámara. En teoría, esto equivale a ajustar el FOV del sensor más estrecho y solo requiere un emparejamiento positivo con el marcador primario. Sin embargo, en ciertas circunstancias, el técnico/cliente/maestro podría querer asegurarse de colocar los marcadores secundarios para definir el límite del FOV admisible de esta manera.

Claims (15)

REIVINDICACIONES
1. Un método implementado por ordenador para excluir partes de una escena local (20) de una señal de video en un entorno local de realidad aumentada, AR, para el cumplimiento de la captura y transmisión de datos, dicho método comprendiendo:
<subordinar una dirección de apuntado (118) de una cámara de vídeo (>102<) al movimiento del usuario;>capturar la señal de vídeo (26) dentro del campo de visión de una cámara de vídeo, FOV, (54) en una escena local;
antes de capturar la señal de vídeo, determinar si la dirección de apuntado de la cámara de vídeo (14) satisface una condición de alineación (50) con un marcador (52) en la escena local de tal manera que el campo de visión de la cámara de vídeo se encuentre dentro de un campo de visión permisible definido por el usuario (56) basado en el marcador, en donde el marcador está emparejado con un sensor (104), en donde el sensor detecta la presencia del marcador dentro de un FOV (122) del sensor para determinar si la dirección de apuntado de la cámara satisface la condición de alineación; y
si no se satisface la condición de alineación, controlar la cámara para excluir de la captura dentro de la señal de vídeo por lo menos una parte del FOV de la cámara de vídeo que se encuentra fuera del FOV permisible definido por el usuario.
2. El método implementado por ordenador de la reivindicación 1, en donde el paso de controlar la cámara comprende además apagar la cámara de video cuando no se satisface la condición de alineación; más preferiblemente, en donde la cámara de vídeo se apaga de modo que la cámara de vídeo solo capture imágenes dentro del FOV permisible definido por el usuario.
3. El método implementado por ordenador de la reivindicación 1 o la reivindicación 2, en donde el sensor tiene una dirección de apuntado que está subordinada al movimiento del usuario.
4. El método implementado por ordenador de cualquier reivindicación anterior, que comprende además emitir una señal de advertencia a un usuario thc cuando la dirección de apuntado de la cámara está cerca de incumplir la condición de alineación.
5. El método implementado por ordenador de cualquier reivindicación anterior, que comprende además reducir el FOV de la cámara o el FOV del sensor para crear una zona de rango de tolerancia en la que la condición de alineación no se satisface incluso aunque el FOV de la cámara permanezca dentro del FOV permisible definido por el usuario.
6<. El método implementado por ordenador de cualquier reivindicación anterior, en donde el sensor está configurado>para detectar la presencia de un marcador adicional dentro de la escena local con el FOV del sensor para crear una zona de exclusión.
<
7. El método implementado por ordenador de la reivindicación>6<, en donde la detección del marcador adicional>desactiva la cámara de vídeo.
8<. El método implementado por ordenador de la reivindicación 1, en un entorno local de realidad aumentada, AR,>dicho método comprendiendo además:
recibir desde una localización remota instrucciones en forma de medios de audio, texto o video; y
registrar las instrucciones en la señal de vídeo y mostrar una realidad aumentada al usuario para instruir al usuario.
<
9. El método implementado por ordenador de la reivindicación>8<, dicho método comprendiendo además:>subordinar la dirección de apuntado de una cámara de vídeo al movimiento del usuario; en donde las instrucciones son para la manipulación del objeto; y
mostrar la realidad aumentada al usuario es instruir al usuario en la manipulación del objeto.
10. Un sistema de realidad aumentada, AR, para excluir partes de una escena local (20) de una señal de video para el cumplimiento de la captura y transmisión de datos, dicho sistema comprendiendo:
<una cámara de video (>102<) que tiene una dirección de apuntado (118) subordinada al movimiento del usuario,>dicha cámara de video configurada para capturar una señal de video (26) dentro de un campo de visión, FOV, de la cámara (54) en una escena local;
un sensor (104), dicho sensor configurado para determinar si la dirección de apuntado de la cámara satisface una condición de alineación (50) con un marcador (52) en la escena local de tal manera que el campo de visión, FOV, de la cámara se encuentre dentro de un FOV permisible definido por el usuario (54) basado en el marcador, en donde el marcador está emparejado con el sensor, en donde el sensor detecta la presencia del marcador dentro de un FOV del sensor (122) para satisfacer la condición de alineación; y
un procesador (130) configurado para controlar la cámara antes de capturar la señal de vídeo para excluir de la captura dentro de la señal de vídeo por lo menos una parte del FOV de la cámara que se encuentra fuera del FOV permisible definido por el usuario.
11. El sistema de la reivindicación 10, en donde el procesador está configurado para apagar la cámara de vídeo cuando no se satisface la condición de alineación; más preferiblemente, en donde la cámara de vídeo se apaga de tal manera que la cámara de vídeo solo capture imágenes dentro del FOV permisible definido por el usuario.
12. El sistema de la reivindicación 10 o la reivindicación 11, en donde la dirección de apuntado del sensor está subordinada al movimiento del usuario.
13. El sistema de la reivindicación 12, diseñado además para reducir el FOV de la cámara o el FOV del sensor para crear una zona de rango de tolerancia en la que no se satisface la condición de alineación incluso aunque el FOV de la cámara permanezca dentro del FOV permisible definido por el usuario.
14. El sistema de la reivindicación 10, diseñado además para emitir una señal de advertencia a un usuario cuando la dirección de apuntado de la cámara está cerca de incumplir la condición de alineación.
15. El sistema de la reivindicación 10, en donde el sensor está configurado para detectar la presencia de un marcador adicional dentro de la escena local con el FOV del sensor para crear una zona de exclusión.
ES21188467T 2017-10-20 2018-09-25 Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos Active ES2957809T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762575204P 2017-10-20 2017-10-20
US15/907,853 US10403046B2 (en) 2017-10-20 2018-02-28 Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance

Publications (1)

Publication Number Publication Date
ES2957809T3 true ES2957809T3 (es) 2024-01-26

Family

ID=66169979

Family Applications (2)

Application Number Title Priority Date Filing Date
ES18789290T Active ES2899668T3 (es) 2017-10-20 2018-09-25 Realidad aumentada limitada por campo de visión (FOV) y código calve para implementar el cumplimiento de trasmisión y de captura de datos
ES21188467T Active ES2957809T3 (es) 2017-10-20 2018-09-25 Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES18789290T Active ES2899668T3 (es) 2017-10-20 2018-09-25 Realidad aumentada limitada por campo de visión (FOV) y código calve para implementar el cumplimiento de trasmisión y de captura de datos

Country Status (10)

Country Link
US (2) US10403046B2 (es)
EP (2) EP3920007B1 (es)
JP (2) JP6911201B2 (es)
KR (2) KR102662027B1 (es)
AU (1) AU2018351858B2 (es)
CA (1) CA3076505C (es)
ES (2) ES2899668T3 (es)
IL (2) IL273497A (es)
PL (2) PL3698230T3 (es)
WO (1) WO2019079003A1 (es)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
DE102017219441A1 (de) * 2017-10-30 2019-05-02 Robert Bosch Gmbh Verfahren zum Trainieren eines zentralen Künstlichen-Intelligenz-Moduls
JP7191560B2 (ja) * 2018-06-29 2022-12-19 株式会社日立システムズ コンテンツ作成システム
JP7445653B2 (ja) * 2018-11-09 2024-03-07 ベックマン コールター， インコーポレイテッド 選択的データ提供を備えた修理グラス
GB201818357D0 (en) * 2018-11-12 2018-12-26 Forsberg Services Ltd Locating system
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
US20200349737A1 (en) * 2019-05-03 2020-11-05 Fanuc America Corporation Multi-target calibration and augmentation
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11894130B2 (en) * 2019-12-26 2024-02-06 Augmenticon Gmbh Pharmaceutical manufacturing process control, support and analysis
CN111311995A (zh) * 2020-03-23 2020-06-19 宁波视科物电科技有限公司 一种基于增强现实技术的远程教学系统及教学方法
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
CN112907754A (zh) * 2021-01-22 2021-06-04 四川智能小子科技有限公司 Ar导览系统及ar导览方法
JP7160393B1 (ja) 2021-04-22 2022-10-25 博雄 村田 情報表示装置及び情報表示システム並びに情報表示方法
TWI798037B (zh) * 2021-08-31 2023-04-01 宏達國際電子股份有限公司 虛擬影像顯示系統以及其控制器的指向方向的校正方法
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US12335594B2 (en) 2021-10-21 2025-06-17 Raytheon Company Single camera time-delay to enforce data transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
WO2024071681A1 (ko) * 2022-09-26 2024-04-04 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024115227A1 (en) * 2022-11-30 2024-06-06 Koninklijke Philips N.V. Spatial restrictions for augmented reality (ar)/ virtual reality (vr) remote collaboration in a hospital environment
TW202444108A (zh) 2023-04-14 2024-11-01 美商雷神公司 用於在即時及近即時視訊中實施資料傳輸合規性之單攝像機時延
US12470605B2 (en) 2023-04-19 2025-11-11 Raytheon Company Enforcement of offline and real time data capture and transmission compliance using a ground truth map (GTM)

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP2000228741A (ja) 1999-02-05 2000-08-15 Fuji Photo Optical Co Ltd 雲台制御システム
US6356437B1 (en) 1999-03-29 2002-03-12 Siemens Dematic Postal Automation, L.P. System, apparatus and method for providing a portable customizable maintenance support instruction system
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
DE10159610B4 (de) 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
JP4206488B2 (ja) * 2004-07-08 2009-01-14 日本電信電話株式会社 画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体
JP4677269B2 (ja) * 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US20080030575A1 (en) 2006-08-03 2008-02-07 Davies Paul R System and method including augmentable imagery feature to provide remote support
WO2010094065A1 (en) * 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
JP2011097238A (ja) * 2009-10-28 2011-05-12 Nec Corp プライバシー保護画像加工機能を有する端末装置、その方法及びそのプログラム
US9810549B2 (en) * 2011-01-06 2017-11-07 University Of Utah Research Foundation Systems, methods, and apparatus for calibration of and three-dimensional tracking of intermittent motion with an inertial measurement unit
US8761448B1 (en) * 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
JP6393986B2 (ja) 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US9852545B2 (en) * 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10187606B2 (en) 2014-05-09 2019-01-22 Maxell, Ltd. Image pickup apparatus and system that may restrict or permit image pickup or storage
JP2017523817A (ja) * 2014-05-09 2017-08-24 ザ・チルドレンズ・ホスピタル・オブ・フィラデルフィアＴｈｅ Ｃｈｉｌｄｒｅｎ’Ｓ Ｈｏｓｐｉｔａｌ Ｏｆ Ｐｈｉｌａｄｅｌｐｈｉａ 可搬型外科手術の方法、システムおよび装置
EP4206870A1 (en) * 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US20170323062A1 (en) * 2014-11-18 2017-11-09 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
JP6540108B2 (ja) 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
US10600015B2 (en) * 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
WO2017027338A1 (en) * 2015-08-07 2017-02-16 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
JP2017108263A (ja) 2015-12-09 2017-06-15 富士通株式会社 端末、位置関係算出プログラムおよび位置関係算出方法
WO2017177019A1 (en) 2016-04-08 2017-10-12 Pcms Holdings, Inc. System and method for supporting synchronous and asynchronous augmented reality functionalities
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
CN106228544B (zh) * 2016-07-14 2018-11-06 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
ES3037747T3 (en) * 2017-09-21 2025-10-06 Becton Dickinson Co Augmented reality devices for hazardous contaminant testing

Also Published As

Publication number Publication date
US20190122437A1 (en) 2019-04-25
IL273497A (en) 2020-05-31
KR20220062432A (ko) 2022-05-16
EP3920007A1 (en) 2021-12-08
EP3698230B1 (en) 2021-09-08
ES2899668T3 (es) 2022-03-14
CA3076505A1 (en) 2019-04-25
KR102662027B1 (ko) 2024-04-30
US10403046B2 (en) 2019-09-03
EP3920007B1 (en) 2023-07-05
IL278756B (en) 2021-07-29
AU2018351858A1 (en) 2020-03-12
PL3920007T3 (pl) 2024-05-20
US20190272677A1 (en) 2019-09-05
CA3076505C (en) 2024-02-06
PL3698230T3 (pl) 2022-04-25
AU2018351858B2 (en) 2022-08-25
JP7258084B2 (ja) 2023-04-14
KR102395939B1 (ko) 2022-05-11
KR20200068651A (ko) 2020-06-15
IL278756A (en) 2021-01-31
WO2019079003A1 (en) 2019-04-25
JP6911201B2 (ja) 2021-07-28
JP2021177398A (ja) 2021-11-11
US10679425B2 (en) 2020-06-09
EP3698230A1 (en) 2020-08-26
JP2020537230A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
ES2957809T3 (es) Realidad aumentada limitada por campo de visión (FOV) y código clave para implementar el cumplimiento de trasmisión y de captura de datos
US12069233B2 (en) Head-mounted augmented reality near eye display device
US8922589B2 (en) Augmented reality apparatus
US12094595B2 (en) AR/XR headset for military medical telemedicine and target acquisition
US11461936B2 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
US20150084990A1 (en) Augmented reality medical procedure aid
US10510137B1 (en) Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
ES2963737T3 (es) Sistema y procedimiento de seguimiento visual
US12106678B2 (en) Procedure guidance and training apparatus, methods and systems
JP2015192436A (ja) 送信端末、受信端末、送受信システム、およびそのプログラム
US7495198B2 (en) System and method for improving nighttime visual awareness of a pilot flying an aircraft carrying at least one air-to-air missile
US10032386B2 (en) Method for carrying out a real situation simulation test including generation of various virtual contexts
JP6874448B2 (ja) 情報表示システム
US10748440B1 (en) Projectorless simulator with adjustable size canopy