ES3023569T3 - Remote work support system - Google Patents

Remote work support system Download PDF

Info

Publication number
ES3023569T3
ES3023569T3 ES20891306T ES20891306T ES3023569T3 ES 3023569 T3 ES3023569 T3 ES 3023569T3 ES 20891306 T ES20891306 T ES 20891306T ES 20891306 T ES20891306 T ES 20891306T ES 3023569 T3 ES3023569 T3 ES 3023569T3
Authority
ES
Spain
Prior art keywords
support
image
worker
unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20891306T
Other languages
English (en)
Inventor
Yuuko Kuroda
Ashish Busi
Yoshinao Inaba
Taro Kataoka
Masato Fujino
Yuichiro Takezaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Fairy Devices Inc
Original Assignee
Daikin Industries Ltd
Fairy Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd, Fairy Devices Inc filed Critical Daikin Industries Ltd
Application granted granted Critical
Publication of ES3023569T3 publication Critical patent/ES3023569T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Program control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24019—Computer assisted maintenance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32226—Computer assisted repair, maintenance of system components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/10—Telephonic communication systems specially adapted for combination with other electrical systems with dictation recording and playback systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/05—Aspects of automatic or semi-automatic exchanges related to OAM&P
    • H04M2203/053—Aspects of automatic or semi-automatic exchanges related to OAM&P remote terminal provisioning, e.g. of applets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016—Telecontrol

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lifting Devices For Agricultural Implements (AREA)
  • Selective Calling Equipment (AREA)
  • Jib Cranes (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

La presente invención permite a un trabajador que realiza un trabajo reconocer visualmente la información de imagen de un asistente en un lugar remoto, según sea necesario, a la vez que asegura un campo de visión adecuado y garantiza la seguridad. Un sistema de asistencia al trabajo remoto (1) está equipado con un dispositivo portátil (10), un terminal móvil (20) y un terminal de asistente (40). El dispositivo portátil (10) cuenta con una unidad de imagen (11), una unidad de entrada de voz (12) y una unidad de salida de voz (13). El terminal móvil (20) cuenta con una unidad de visualización (21). El terminal de asistente (40) transmite/recibe voz al dispositivo portátil (10), recibe una imagen del dispositivo portátil (10) y la transmite al terminal móvil (20). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistema de soporte de trabajo remoto
Campo técnico
La presente descripción se refiere a un sistema de soporte de trabajo remoto para permitir que un operador de soporte ubicado en una ubicación remota de soporte a un trabajador en un sitio de trabajo.
Antecedentes de la técnica
Se conoce un sistema de soporte de trabajo remoto en el que un trabajador está equipado con un terminal de cámara y un operador de soporte en una ubicación remota opera el terminal de cámara para dar soporte al trabajador. El documento PTL 1 (Publicación de Patente Japonesa Sin Examinar No. 2018-207420) describe un sistema de soporte de trabajo que permite a un trabajador comprobar un objeto a trabajar mediante comunicación de voz sin utilizar un dispositivo de visualización. Ejemplos adicionales de sistemas de soporte de trabajo remoto conocidos se describen en los documentos de patente US2019205010A, US2016269631A y EP1914998A.
Compendio de la invención
<Problema técnico>
También se han ideado varios tipos de dispositivos portátiles. Un dispositivo del tipo de gafas es capaz de mostrar información en o cerca de partes correspondientes a las lentes de gafas. En un caso en donde se usa un dispositivo del tipo de gafas para soportar a un trabajador, la visualización de una imagen o similar transmitida desde un operador de soporte en las lentes de gafas reduce el campo de visión del trabajador, lo que puede reducir la eficiencia del trabajo y provocar peligro. Sin embargo, a la inversa, un terminal de trabajador (dispositivo portátil) sin un dispositivo de visualización muestra un dilema porque no se permite que el trabajador compruebe la imagen transmitida desde el operador de soporte.
<Solución al problema>
El objetivo de la presente invención es proporcionar un sistema de soporte de trabajo remoto, un terminal del operador de soporte y un servidor que mejoran el estado de la técnica indicado anteriormente. Este propósito se consigue mediante el sistema de soporte de trabajo remoto, el terminal del operador de soporte y el servidor según las reivindicaciones adjuntas correspondientes.
Un sistema de soporte de trabajo remoto según un primer aspecto incluye un dispositivo portátil, un terminal móvil y un terminal del operador de soporte. El dispositivo portátil ha de ser llevado por un trabajador del sitio. El dispositivo portátil incluye una unidad de captura de imágenes, una unidad de entrada de voz, y una unidad de emisión de voz. El dispositivo portátil transmite una imagen y transmite y recibe voz. El terminal móvil ha de ser transportado por el trabajador del sitio por separado del dispositivo portátil. El terminal móvil incluye una unidad de visualización que muestra una imagen recibida. El terminal del operador de soporte ha de ser utilizado por un operador de soporte que soporta remotamente al trabajador del sitio. El terminal del operador de soporte incluye una unidad de entrada de voz, una unidad de emisión de voz y una unidad de visualización. El terminal del operador de soporte transmite y recibe voz hacia y desde el dispositivo portátil, recibe una imagen desde el dispositivo portátil y transmite una imagen al terminal móvil.
En el sistema de soporte de trabajo remoto según el primer aspecto, el dispositivo portátil no incluye ningún dispositivo de visualización, y el trabajador del sitio puede asegurar un campo de visión suficiente y realizar el trabajo de manera segura. Por otra parte, puede mostrarse una imagen en el terminal móvil cuando sea necesario. Esto permite al trabajador del sitio ver el contenido de una instrucción procedente del operador de soporte remoto en una pantalla de la unidad de visualización.
Un sistema de soporte de trabajo remoto según un segundo aspecto es el sistema según el primer aspecto, en donde el dispositivo portátil es un dispositivo montado en el cuello.
En el sistema de soporte de trabajo remoto según el segundo aspecto, el dispositivo portátil es un dispositivo montado en el cuello, que permite que el trabajador del sitio trabaje con ambas manos libres y también realice un trabajo de manera eficiente sin interferencia con el campo de visión.
Un sistema de soporte de trabajo remoto según un tercer aspecto es el sistema según el primer aspecto o el segundo aspecto, en el que la unidad de visualización del terminal del operador de soporte muestra una imagen en movimiento y una imagen fija que son capturadas con la unidad de captura de imágenes del dispositivo portátil.
Un sistema de soporte de trabajo remoto según un cuarto aspecto es el sistema según cualquiera del primer aspecto al tercer aspecto, en el que una imagen capturada con la unidad de captura de imágenes del dispositivo portátil es seleccionada, procesada o proporcionada adicionalmente con información usando el terminal del operador de soporte, es transmitida al terminal móvil y es mostrada en la unidad de visualización del terminal móvil.
El uso del sistema de soporte de trabajo remoto según el cuarto aspecto permite al trabajador del sitio recibir soporte usando una imagen del sitio que se procesa y se proporciona adicionalmente con información, sin capturar una imagen con conciencia particular. Por lo tanto, se aumenta la eficiencia del trabajo.
Un sistema de soporte de trabajo remoto según un quinto aspecto es el sistema según cualquiera del primer aspecto al cuarto aspecto, en donde una expresión del trabajador del sitio y una expresión del operador de soporte se someten a reconocimiento de voz y se muestran en la unidad de visualización del terminal del operador de soporte como información de texto.
En el sistema de soporte de trabajo remoto según el quinto aspecto, el operador de soporte puede realizar el soporte mientras comprueba una conversación telefónica con el trabajador del sitio usando información de texto. Por lo tanto, el operador de soporte puede trabajar de manera eficiente sin tener que tomar una nota.
Un sistema de soporte de trabajo remoto según un sexto aspecto es el sistema según el quinto aspecto, en el que la información de texto se muestra adicionalmente en la unidad de visualización del terminal móvil.
En el sistema de soporte de trabajo remoto según el sexto aspecto, el trabajador del sitio puede comprobar una conversación telefónica con el operador de soporte por texto.
Un sistema de soporte de trabajo remoto según un séptimo aspecto es el sistema según cualquiera del primer aspecto al sexto aspecto, que incluye una primera línea y una segunda línea. La primera línea conecta el terminal del operador de soporte y el dispositivo portátil. La segunda línea conecta el terminal del operador de soporte y el terminal móvil. La primera línea se usa continuamente mientras el trabajador del sitio trabaja. La segunda línea está conectada, según sea necesario, mientras el trabajador del sitio trabaja.
En el sistema de soporte de trabajo remoto según el séptimo aspecto, la primera línea y la segunda línea se usan selectivamente, y la segunda línea se usa solo cuando sea necesario, lo que elimina la necesidad de que el trabajador del sitio opere el terminal móvil más de lo necesario porque la segunda línea se puede usar solo cuando sea necesario.
Un sistema de soporte de trabajo remoto según un octavo aspecto es el sistema según cualquiera del primer aspecto al séptimo aspecto, en el que el progreso del trabajo realizado por el trabajador del sitio se extrae automáticamente a partir de una imagen capturada con la unidad de captura de imágenes y/o a partir de una expresión del trabajador del sitio y de una expresión del operador de soporte. Se estima un estado de progreso del trabajo o un tiempo de finalización del trabajo a partir de la imagen o voz extraída automáticamente. El estado de progreso o tiempo de finalización estimados se muestra en la unidad de visualización del terminal del operador de soporte.
El sistema de soporte de trabajo remoto según el octavo aspecto permite al operador de soporte monitorizar el estado de progreso del trabajo.
Un sistema de soporte de trabajo remoto según un noveno aspecto es el sistema según cualquiera del primer aspecto al octavo aspecto, en donde el terminal del operador de soporte accede a una base de datos que almacena información de soporte de trabajo del sitio, extrae y procesa la información de soporte de trabajo del sitio, y transmite la información de soporte de trabajo del sitio extraída y procesada al terminal móvil.
El uso del sistema de soporte de trabajo remoto según el noveno aspecto permite que el trabajador del sitio reciba información de soporte de trabajo del sitio extraída y procesada y, por lo tanto, prosiga de manera eficiente con el trabajo.
Un sistema de soporte de trabajo remoto según un décimo aspecto es el sistema según cualquiera del primer aspecto al noveno aspecto, en el que el soporte para el trabajador del sitio a través del terminal del operador de soporte incluye uno cualquiera o una combinación de soporte por voz, soporte con una imagen procesada, soporte por entrada de texto desde el terminal del operador de soporte, y soporte por caracteres obtenidos convirtiendo una expresión del operador de soporte en texto.
Un sistema de soporte de trabajo remoto según un undécimo aspecto es el sistema según cualquiera del primer aspecto al décimo aspecto, que incluye una pluralidad de dispositivos conectables a un servidor idéntico. La pluralidad de dispositivos incluye el dispositivo portátil, el terminal móvil y el terminal del operador de soporte. El servidor designa al menos uno o más dispositivos entre la pluralidad de dispositivos según una condición predeterminada, y llama a un dispositivo objetivo de conexión según la designación.
Un sistema de soporte de trabajo remoto según un duodécimo aspecto es el sistema según el undécimo aspecto, en el que el servidor adquiere información de entorno de un sitio de trabajo del trabajador del sitio. El servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base a la información del entorno.
Un sistema de soporte de trabajo remoto según un decimotercer aspecto es el sistema según el undécimo aspecto, en donde el servidor gestiona el progreso del trabajo realizado por el trabajador del sitio. El servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base al progreso del trabajo.
Un sistema de soporte de trabajo remoto según un decimocuarto aspecto es el sistema según el undécimo aspecto, en el que el servidor realiza el reconocimiento de voz de una expresión del trabajador del sitio y una expresión del operador de soporte. El servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base a una palabra clave adquirida a través del reconocimiento de voz.
Un sistema de soporte de trabajo remoto según un decimoquinto aspecto es el sistema según cualquiera del undécimo aspecto al decimocuarto aspecto, en el que el servidor acepta además, desde el terminal del operador de soporte, la designación de al menos uno o más dispositivos entre la pluralidad de dispositivos que son usados por el trabajador del emplazamiento.
Un sistema de soporte de trabajo remoto según un decimosexto aspecto es el sistema según cualquiera del primer aspecto al decimoquinto aspecto, en el que la pluralidad de dispositivos, son capaces de comunicarse entre sí.
Un terminal del operador de soporte según un decimoséptimo aspecto es para ser utilizado por un operador de soporte que soporta de manera remota a un trabajador del sitio. El terminal del operador de soporte incluye una unidad de entrada de voz, una unidad de emisión de voz y una unidad de visualización. El terminal del operador de soporte transmite y recibe voz hacia y desde un dispositivo portátil y recibe una imagen desde el dispositivo portátil. El trabajador del sitio debe usar el dispositivo portátil e incluye una unidad de captura de imágenes, una unidad de entrada de voz y una unidad de emisión de voz. El dispositivo portátil transmite una imagen y transmite y recibe voz. El terminal del operador de soporte transmite una imagen al terminal móvil. El terminal móvil debe ser transportado por el trabajador del sitio por separado del dispositivo portátil. El terminal móvil incluye una unidad de visualización que muestra una imagen recibida por una unidad de recepción de imagen.
Un servidor según un decimoctavo aspecto es un servidor que ha de conectarse a una pluralidad de dispositivos. La pluralidad de dispositivos incluye un dispositivo portátil, un terminal móvil y un terminal del operador de soporte. El dispositivo portátil debe ser llevado por un trabajador del sitio, incluye una unidad de captura de imágenes, una unidad de entrada de voz y una unidad de emisión de voz, transmite una imagen y transmite y recibe voz. El terminal móvil debe ser llevado por el trabajador del sitio por separado del dispositivo portátil e incluye una unidad de visualización que muestra una imagen recibida por una unidad de recepción de imagen. El terminal del operador de soporte ha de ser utilizado por un operador de soporte que soporta de manera remota al trabajador del sitio e incluye una unidad de entrada de voz, una unidad de emisión de voz y una unidad de visualización. El servidor designa al menos uno o más dispositivos entre la pluralidad de dispositivos según una condición predeterminada, y llama a un dispositivo objetivo de comunicación según la designación.
Breve descripción de los dibujos
La Fig. 1 es una vista en perspectiva de un dispositivo portátil 10 según una primera realización.
La Fig. 2 es un diagrama esquemático general de un sistema 1 de soporte de trabajo remoto según la primera realización.
La Fig. 3 es un diagrama que ilustra un ejemplo de una pantalla de visualización en una unidad 43 de visualización de un terminal 40 de operador de soporte según la primera realización.
La Fig. 4 es un diagrama que ilustra esquemáticamente un sistema de soporte de trabajo remoto según una segunda realización.
Descripción de realizaciones
<Primera Realización>
(1) Configuración general
Como se ilustra en la Fig. 2, un sistema 1 de soporte de trabajo remoto según una primera realización incluye un dispositivo portátil 10, un terminal móvil 20, un servidor 30, un terminal 40 del operador de soporte y una base 50 de datos. El dispositivo portátil 10 y el terminal móvil 20 son sostenidos por cada uno de los trabajadores "AAA_aaa" "BBB_bbb" y "CCC_ccc" del sitio. Los trabajadores del sitio son una pluralidad de trabajadores enviados a una pluralidad de sitios separados. En la Fig. 2, tres trabajadores son distribuidos a tres sitios. Sin embargo, el número de sitios y el número de trabajadores no se limitan a estos. El terminal 40 del operador de soporte está dispuesto para ser utilizado por un operador de soporte situado remotamente de los trabajadores del sitio.
El dispositivo portátil 10, el terminal 20 móvil, el servidor 30, el terminal 40 del operador de soporte y la base 50 de datos están conectados a una red común y son capaces de comunicarse entre sí.
En esta memoria descriptiva, los trabajadores del sitio se denominan a veces trabajadores, y ambos tienen el mismo significado.
En esta memoria descriptiva, el término "trabajo" se refiere a cualquiera de reparación y mantenimiento de un dispositivo, investigación del sitio para la instalación de un dispositivo, e instalación y montaje de un dispositivo.
(2) Configuración detallada
(2-1) Dispositivo portátil 10
Como se ilustra en la Fig. 1, el dispositivo portátil 10 es un dispositivo montado en el cuello. El dispositivo portátil 10 está conformado en un bucle, una parte del cual está abierta. El dispositivo portátil 10 es llevado en el cuello de un trabajador usando la parte abierta de manera que la parte abierta esté ubicada en la parte delantera del cuerpo del trabajador.
El dispositivo portátil 10 es un dispositivo montado en el cuello, que permite que el trabajador trabaje con ambas manos libres incluso mientras lleva puesto el dispositivo portátil 10. Además, contrariamente al tipo de gafas, el campo de visión no se ve afectado.
El dispositivo portátil 10 incluye un cuerpo principal 19, una unidad 11 de captura de imágenes, una unidad 12 de entrada de voz, una unidad 13 de emisión de voz, un sensor 14 de gestos, una unidad 15 de control, una unidad 16 de comunicación y un interruptor de alimentación (no ilustrado).
El cuerpo principal 19 tiene ambos extremos en los que se disponen la unidad 11 de captura de imágenes y el sensor 14 de gestos.
La unidad 11 de captura de imágenes es una cámara. La cámara captura continuamente imágenes de un área delante del trabajador mientras el trabajador trabaja. Las imágenes capturadas son imágenes en movimiento. Las imágenes pueden ser imágenes fijas. Las imágenes capturadas se envían al servidor 30 desde la unidad 16 de comunicación a través de la red. Las imágenes enviadas al servidor 30 se guardan en una unidad 32 de almacenamiento del servidor 30. Las imágenes enviadas al servidor 30 se muestran simultáneamente en una unidad 43 de visualización del terminal 40 del operador de soporte.
El sensor 14 de gestos tiene una función de un interruptor. El usuario (trabajador) muestra una seña delante del sensor de gestos, pudiendo operar así el dispositivo portátil. La operación puede ser, por ejemplo, encender o apagar la captura de una imagen con la unidad 11 de captura de imágenes. El sensor 14 de gestos puede ser utilizado por el trabajador para pedir a un operador de soporte que utilice el terminal 40 del operador de soporte. El dispositivo portátil 10 puede incluir un interruptor mecánico o electrónico en lugar del sensor 14 de gestos o junto con el sensor 14 de gestos.
La unidad 12 de entrada de voz es un micrófono. El micrófono tiene direccionalidad y recoge preferentemente la voz generada por el usuario. La unidad 12 de entrada de voz puede ser utilizada por el trabajador, en lugar del sensor 14 de gestos o junto con el sensor 14 de gestos, para pedir al operador de soporte que utilice el terminal 40 del operador de soporte. Por ejemplo, el trabajador pronuncia la expresión "Ayuda, por favor". A continuación, la expresión llega al servidor 30 y es sometida a reconocimiento de voz y convertida en texto por el servidor 30. El servidor 30 identifica que el trabajador solicita soporte a partir de datos de voz convertidos en texto, y parpadea el nombre del trabajador, "AAA aaa", en la información 112 de identificación de trabajador en el terminal 40 del operador de soporte. Por consiguiente, se informa al operador de soporte de que el trabajador "AAA aaa" solicita soporte.
La unidad 13 de emisión de voz es un altavoz. La unidad 13 de emisión de voz está dispuesta en una parte del dispositivo portátil 10 detrás del cuerpo del usuario (trabajador).
El dispositivo portátil 10 según esta realización incluye la unidad 12 de entrada de voz, la unidad 13 de emisión de voz y la unidad 16 de comunicación que transmite y recibe voz. Esto permite al trabajador que lleva puesto el dispositivo portátil 10 que tenga una conversación telefónica con el operador de soporte usando el dispositivo como un teléfono.
La unidad 16 de comunicación está conectada a la red a través de una primera línea T1. La entrada de voz a través de la unidad 12 de entrada de voz y una imagen capturada con la unidad 11 de captura de imágenes se pueden transmitir a la red como datos electrónicos. Además, la unidad 16 de comunicación recibe voz como datos electrónicos procedentes de la red.
La unidad 15 de control es un ordenador. La unidad 15 de control incluye un procesador y una unidad de almacenamiento. La unidad 15 de control controla la unidad 11 de captura de imágenes, la unidad 12 de entrada de voz, la unidad 13 de emisión de voz, el sensor 14 de gestos y la unidad 16 de comunicación. La unidad 15 de control recibe una entrada de comando de control al sensor 14 de gestos y ejecuta el comando de control. La unidad 15 de control ejecuta un comando procedente del servidor 30 y un comando introducido por el operador de soporte que opera el terminal 40 del operador de soporte.
(2-2) Terminal móvil 20
El terminal móvil 20 es llevado o sostenido por el trabajador. El terminal móvil 20 puede ser un teléfono inteligente, una tableta, un PC o similar. El terminal móvil 20 incluye una unidad 21 de visualización, una unidad 22 de comunicación y una unidad 23 de control. El terminal móvil 20 está conectado a la red a través de una segunda línea T2.
La unidad 22 de comunicación recibe una imagen procedente de la red. La imagen puede ser una imagen en movimiento o una imagen fija.
La unidad 21 de visualización es un dispositivo de visualización. La unidad 21 de visualización muestra una imagen recibida de la red. Una imagen procesada por el operador de soporte usando el terminal 40 del operador de soporte es transmitida al terminal móvil 20 a través de la red y se muestra en la unidad 21 de visualización. La imagen puede ser una imagen en movimiento o una imagen fija.
La unidad 23 de control es un ordenador. La unidad 23 de control incluye un procesador y una unidad de almacenamiento. La unidad 23 de control controla la unidad 21 de visualización y la unidad 22 de comunicación.
A diferencia del dispositivo portátil 10, el terminal móvil 20 no necesita estar siempre conectado al terminal 40 del operador de soporte (o al servidor 30) mientras el trabajador trabaja. El terminal móvil 20 puede conectarse al terminal 40 del operador de soporte solo cuando se envía una imagen (incluida la información de texto) desde el terminal 40 del operador de soporte al terminal móvil 20.
(2-3) Servidor 30
El servidor 30 es un ordenador. El servidor 30 incluye un procesador 31 y una unidad 32 de almacenamiento. La unidad 32 de almacenamiento guarda aplicaciones y datos. En esta realización, una aplicación para el sistema 1 de soporte de trabajo remoto, que se almacena en la unidad 32 de almacenamiento, es leída y ejecutada por el procesador 31. La aplicación para el sistema 1 de soporte de trabajo remoto es una aplicación web. El terminal 40 del operador de soporte y el terminal móvil 20 activan cada uno un navegador y acceden a la aplicación para el sistema 1 de soporte de trabajo remoto a través del navegador.
Cuando el trabajador activa el dispositivo portátil 10, el dispositivo portátil 10 se conecta al servidor 30 y transmite una imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10 al servidor 30. La imagen capturada se acumula en la unidad 32 de almacenamiento del servidor 30. La imagen capturada es simultáneamente visible en la unidad 43 de visualización del terminal 40 del operador de soporte en respuesta a la activación del navegador del terminal 40 del operador de soporte.
Además, la aplicación para el sistema 1 de soporte de trabajo remoto permite establecer una conversación telefónica bidireccional entre el trabajador y el operador de soporte en respuesta a una solicitud de conexión del dispositivo portátil 10 o a una solicitud de conexión del terminal 40 del operador de soporte mientras el trabajador trabaja.
El servidor 30 convierte la voz adquirida desde el dispositivo portátil 10 y la voz adquirida desde el terminal 40 del operador de soporte en información de texto mediante reconocimiento de voz. La información de texto se almacena en la unidad 32 de almacenamiento para cada elemento de trabajo. Además, la información de texto se transmite al terminal 40 del operador de soporte y se muestra en la unidad 43 de visualización del terminal 40 del operador de soporte. La información de texto también se transmite al terminal móvil 20 y se muestra en la unidad 21 de visualización del terminal móvil 20, según sea necesario.
El servidor 30 recopila datos de voz de todos los dispositivos portátiles 10 que están en comunicación y guarda los datos de voz en la unidad 32 de almacenamiento como información de texto. Si la voz del trabajador "BBB bbb'', que está conectado actualmente al terminal 40 del operador de soporte pero no está soportado, incluye textos que solicitan soporte, el servidor 30 parpadea el nombre del trabajador, "BBB bbb”, en la información 112 de identificación del trabajador en el terminal 40 del operador de soporte.
El servidor 30 puede tener también una función de traducción automática. Los datos de voz sometidos a reconocimiento de voz se traducen a otro idioma. Por ejemplo, cuando el trabajador del sitio habla en inglés y el operador de soporte en la ubicación remota habla en japonés, las palabras habladas por el trabajador del sitio en inglés pueden comunicarse al operador de soporte por voz en japonés. Alternativamente, las palabras pueden ser mostradas en japonés en un registro 116 de expresiones en la unidad 43 de visualización del terminal 40 del operador de soporte. El texto en inglés y el texto en japonés pueden mostrarse juntos.
Una imagen e información de voz convertida en texto, que se generan durante el soporte de trabajo, y una imagen procesada por el operador de soporte se guardan en la unidad 32 de almacenamiento del servidor 30. Estos fragmentos de información pueden ser almacenados en cualquier otra ubicación. Por ejemplo, estos fragmentos de información pueden ser almacenados en la base 50 de datos. Estas informaciones pueden almacenarse en una unidad de almacenamiento del terminal 40 del operador de soporte.
(2-4) Base 50 de datos
La base 50 de datos incluye una unidad de almacenamiento que guarda datos electrónicos. La base 50 de datos está conectada a la red. En esta realización, la base 50 de datos almacena información de soporte de trabajo del sitio utilizada para la reparación o mantenimiento de dispositivos. El almacenamiento de la información de soporte de trabajo del sitio no está limitado a la base 50 de datos. La información de soporte de trabajo del sitio puede almacenarse en la unidad 32 de almacenamiento del servidor 30. La información de soporte de trabajo del sitio puede almacenarse en la unidad de almacenamiento del terminal 40 del operador de soporte.
(2-5) Terminal 40 del Operador de Soporte
El terminal 40 del operador de soporte es utilizado por el operador de soporte que soporta remotamente al trabajador del sitio. El terminal 40 del operador de soporte puede ser un PC. El terminal 40 del operador de soporte incluye una unidad 41 de entrada de voz, una unidad 42 de emisión de voz, una unidad 43 de visualización, una unidad 44 de comunicación y una unidad 45 de control.
La unidad 41 de entrada de voz es un micrófono. La unidad 42 de emisión de voz es un altavoz. El terminal 40 del operador de soporte según esta realización incluye la unidad 41 de entrada de voz, la unidad 42 de emisión de voz y la unidad 44 de comunicación que transmite y recibe voz. Esto permite al operador de soporte tener una conversación telefónica con el trabajador del sitio utilizando el terminal 40 del operador de soporte como un teléfono.
La unidad 44 de comunicación está conectada a la red. La unidad 44 de comunicación recibe voz como datos electrónicos desde la red. La unidad 44 de comunicación recibe además información de texto, que es obtenida por el servidor 30 sometiendo la voz a reconocimiento de voz y convirtiendo la voz en texto. La unidad 44 de comunicación recibe una imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10. Por otra parte, la unidad 44 de comunicación es capaz de transmitir entrada de voz a través de la unidad 41 de entrada de voz y una imagen procesada por el operador de soporte usando el terminal 40 del operador de soporte a la red como datos electrónicos.
La unidad 43 de visualización es un dispositivo de visualización.
La unidad 45 de control es un ordenador. La unidad 45 de control incluye un procesador y una unidad de almacenamiento. La unidad 45 de control controla la unidad 41 de entrada de voz, la unidad 42 de emisión de voz, la unidad 43 de visualización y la unidad 44 de comunicación. La unidad de almacenamiento de la unidad 45 de control almacena un navegador (programa). La unidad 45 de control lee y ejecuta un programa navegador. Si la aplicación para el sistema 1 de soporte de trabajo remoto ha sido ejecutada por el servidor 30, la unidad 45 de control del terminal 40 del operador de soporte es capaz de usar el navegador para soportar trabajo usando el terminal 40 del operador de soporte.
La comunicación entre el dispositivo portátil 10, el terminal móvil 20, el servidor 30, el terminal 40 del operador de soporte, etc., según esta realización, puede realizarse usando selectivamente una pluralidad de protocolos de comunicación.
En esta realización, por ejemplo, se usa WebRTC como protocolo de comunicación para imágenes en movimiento y voz. WebRTC es un protocolo estándar y tiene la característica de ser seguro pero no flexible en diseño (capaz de cambiar solo parámetros tales como resolución). Pueden usarse HTTPS, MQTT o WebSocket como protocolo de comunicación para imágenes fijas. Estos protocolos de comunicación tienen características de ser diseñados flexiblemente y compatibles con cualquier cosa tal como imágenes en movimiento, texto e imágenes fijas e incrementar el nivel de diseño en el lado del servidor.
(2-5-1) Pantalla de Visualización en la Unidad 43 de Visualización del Terminal 40 del Operador de Soporte
La Fig. 3 ilustra un ejemplo de una pantalla de visualización en el navegador de la unidad 43 de visualización del terminal 40 del operador de soporte cuando se está ejecutando la aplicación para el sistema 1 de soporte de trabajo remoto.
La pantalla en la unidad 43 de visualización presenta un progreso 111 de trabajo, información 112 de identificación del trabajador, una imagen 113 en vivo del sitio, una imagen 114 procesada por operador de soporte, una lista 115 de documentos de referencia y un registro 116 de expresiones.
El progreso 111 de trabajo representa el número de sitios de trabajo (o el número de trabajadores) en los que el operador de soporte que usa el terminal del operador de soporte está acoplado "hoy". El ejemplo indica que dos elementos de trabajo se han completado "hoy".
El progreso 111 de trabajo puede mostrar el estado de progreso del trabajo (que puede expresarse como %) o el tiempo de finalización predicho del trabajo. Con este fin, a través de la extracción automática desde la imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10 y/o las expresiones de los trabajadores y del operador de soporte, el servidor 30 puede estimar automáticamente el estado de progreso del trabajo o el tiempo de finalización del trabajo.
La información 112 de identificación del trabajador describe "principiante en línea actual". Esto significa un trabajador que está usando actualmente el dispositivo portátil 10 conectado al terminal 40 del operador de soporte. En este caso, se muestran un icono (fotografía) del trabajador y el nombre del trabajador, "AAA aaa". A continuación, se muestra la señal "EN VIVO" junto con el icono del trabajador "AAA aaa". La visualización de la señal "EN VIVO" indica que la conexión entre el terminal 40 del operador de soporte y el dispositivo portátil 10 está activa. El término "estar activo" se refiere a un estado en donde la imagen 113 en vivo del trabajador "AAA aaa" se está mostrando en la pantalla y se ha establecido una conexión de voz entre el operador de soporte y el trabajador "AAA aaa" de modo que se pueda establecer una conversación telefónica entre ellos.
Aunque la información 112 de identificación del trabajador en la Fig. 3 muestra cinco trabajadores, algunos de los trabajadores que no están activos pueden ocultarse y pueden mostrarse mediante desplazamiento. Alternativamente, el trabajador que está activo puede mostrarse en gran tamaño, y algunos o todos los nombres de los otros trabajadores pueden ocultarse.
La información 112 de identificación del trabajador no se limita al icono o al nombre del trabajador, y puede incluir el número de ID del trabajador, la dirección del sitio, el número de modelo o el número de ID de un dispositivo (aquí, un acondicionador de aire) en donde está trabajando el trabajador, el ID del trabajo, etc. La información 112 de identificación del trabajador es información mediante la cual el operador de soporte puede identificar al trabajador o al trabajo.
Además, el método para visualizar un trabajador que está activo no se limita a la visualización de la señal "EN VIVO". Es suficiente que el operador de soporte que usa el terminal 40 del operador de soporte identifique un trabajador que esté activo. La información de identificación del trabajador bajo conexión puede mostrarse en tamaño grande, en modo parpadeo, con cambios de color o en una ventana emergente.
La imagen 113 en directo indica vídeo en directo con respecto al trabajador que está activo, que está siendo capturado con la unidad 11 de captura de imágenes del dispositivo portátil 10 del trabajador, en concreto, el trabajador "AAA aaa". La Fig. 3 ilustra una imagen de una unidad exterior del acondicionador de aire. En el estado activo, se ha establecido una conexión de voz con el trabajador "AAA aaa", y por lo tanto el operador de soporte puede proporcionar instrucciones por voz para dar instrucciones al trabajador para mover en consecuencia la posición de la unidad 11 de captura de imágenes del dispositivo portátil 10 para cambiar a una imagen diferente.
La imagen 114 procesada por el operador de soporte se obtiene extrayendo y procesando una imagen de la imagen 113 en vivo. En la imagen 114 procesada por el operador de soporte en la Fig. 3, una parte central de un diagrama que muestra un ventilador está marcada con un círculo, así como la instrucción "Abrir el ventilador desde aquí" dada por escritura a mano. La instrucción es dada por el operador de soporte introduciendo caracteres o símbolos en el terminal 40 del operador de soporte usando un lápiz táctil. La imagen 114 procesada por el operador de soporte se transmite al terminal móvil 20 del trabajador y se muestra en la unidad 21 de visualización, pudiendo soportar de este modo eficientemente al trabajador.
La lista 115 de documentos de referencia es una lista de documentos de referencia (información de soporte de trabajo de sitio) a los que hace referencia el operador de soporte para proporcionar soporte. La información de soporte de trabajo del sitio puede incluir elementos de comprobación de investigación del sitio, un manual de procedimiento de trabajo de construcción, o información de mantenimiento. El operador de soporte puede extraer un documento necesario para la construcción desde dentro de la información de soporte de trabajo del sitio guardada en la base 50 de datos, extraer además una porción necesaria desde dentro del documento, marcar la porción extraída, según sea necesario, y luego transmitir la porción al terminal móvil 20 del trabajador.
El registro 116 de expresiones muestra el texto de una expresión del trabajador "AAA aaa", que está activo, y el texto de una expresión del operador de soporte de una manera distinguible.
(3) Descripción del Soporte para Trabajador de Sitio utilizando el Sistema 1 de Soporte de Trabajo Remoto
A continuación, se describirá un método para soportar un trabajador usando el sistema 1 de soporte de trabajo remoto según esta realización.
El trabajador llega al sitio y comienza el trabajo para la reparación o mantenimiento de un dispositivo. Se supone que el dispositivo es aquí un acondicionador de aire. Al inicio del trabajo, el trabajador del sitio lleva el dispositivo portátil 10 en su cuerpo y enciende el interruptor de alimentación.
En primer lugar, el trabajador muestra una seña delante del sensor 14 de gestos para activar la unidad 11 de captura de imágenes. La unidad 11 de captura de imágenes comienza a capturar una imagen. Además, el dispositivo portátil 10 está conectado a la aplicación para el sistema 1 de soporte de trabajo remoto en el servidor 30. La imagen capturada se envía desde la unidad 16 de comunicación al servidor 30 a través de la red y se acumula en la unidad 32 de almacenamiento del servidor 30.
Para iniciar el soporte, el operador de soporte activa el navegador en el terminal 40 del operador de soporte y conecta el terminal 40 del operador de soporte a la aplicación para el sistema 1 de soporte de trabajo remoto en el servidor 30.
El encendido del dispositivo portátil 10 y la conexión del terminal 40 del operador de soporte a la aplicación para el sistema 1 de soporte de trabajo remoto en el servidor 30 no necesitan realizarse simultáneamente. Cualquiera de ellos puede realizarse primero. En respuesta a que la unidad 11 de captura de imágenes del dispositivo portátil 10 se activa y el terminal 40 del operador de soporte se conecta a la aplicación para el sistema 1 de soporte de trabajo remoto en el servidor 30 a través del navegador, ambos se conectan.
El operador de soporte que usa el terminal 40 del operador de soporte selecciona adecuadamente un trabajador y comienza el soporte.
Para solicitar al operador de soporte que dé soporte, el trabajador muestra un gesto delante del sensor 14 de gestos para indicar que el trabajador desea ser soportado. La solicitud de soporte puede realizarse mediante otro método tal como por voz. La solicitud de soporte procedente del trabajador se realiza haciendo parpadear el nombre del trabajador, "AAA aaa", en la información 112 de identificación del trabajador en la pantalla de la unidad 43 de visualización del terminal 40 del operador de soporte. Para aprobar la solicitud de soporte procedente del trabajador, el operador de soporte hace clic sobre el nombre "AAA aaa" para hacer que la conexión con el trabajador "AAA aaa" se active. En otras palabras, el trabajador "AAA aaa" en la información 112 de identificación del trabajador se marca con el signo "En Vivo", una imagen capturada por el dispositivo portátil 10 se muestra en vivo en la imagen 113 en vivo, y se puede establecer una conversación telefónica entre el trabajador "AAA aaa" y el operador de soporte.
El operador de soporte comprueba la imagen en movimiento transmitida desde el dispositivo portátil 10 del trabajador "AAA aaa" y examina el contenido del soporte de trabajo mientras tiene una conversación telefónica con el trabajador "AAA aaa".
Para acceder al trabajador desde el lado del operador de soporte, el operador de soporte hace clic sobre el nombre del trabajador "AAA aaa" en la información 112 de identificación del trabajador para hacer que la conexión con el trabajador "AAA aaa" se active para mostrar una imagen capturada por el dispositivo portátil 10 en vivo en la imagen 113 en vivo, y se puede establecer una conversación telefónica entre el trabajador "AAA aaa" y el operador de soporte.
Como el método de soporte más simple, el operador de soporte proporciona asesoramiento al trabajador mientras tiene una conversación telefónica con el trabajador "AAA aaa". El contenido de las expresiones del trabajador y del operador de soporte es sometido a reconocimiento de voz y convertido en texto por el servidor 30, y almacenado en la unidad 32 de almacenamiento del servidor 30. El contenido de las expresiones es presentado simultáneamente en el registro 116 de expresiones en la unidad 43 de visualización del terminal 40 del operador de soporte. El operador de soporte revisa el contenido del soporte y proporciona asesoramiento mientras comprueba el contenido de las expresiones en el registro 116 de expresiones. Alternativamente, el contenido de la expresión del operador de soporte o el contenido de la conversación telefónica puede ser convertido en texto, que es transmitido al terminal móvil 20 del trabajador "AAA aaa" y mostrado en la unidad 21 de visualización, para realizar soporte.
Además, el operador de soporte selecciona (corta) apropiadamente una imagen de la imagen 113 en vivo como una imagen fija (instantánea), y muestra la imagen fija en la imagen 114 procesada por el operador de soporte. El operador de soporte procesa adicionalmente la imagen mostrada. Específicamente, el operador de soporte corta una porción necesaria, marca la porción, o escribe caracteres en la porción. La imagen en donde el operador de soporte escribe caracteres se transmite al terminal móvil 20 del trabajador "AAA aaa". El trabajador "AAA aaa" comprueba la unidad 21 de visualización del terminal móvil 20 para comprobar la imagen transmitida por el operador de soporte. De esta manera, el trabajador prosigue con el trabajo mientras es soportado por el operador de soporte.
Aunque se ha descrito anteriormente un caso en donde la imagen procesada por el operador de soporte creada por el operador de soporte es una imagen fija, la imagen procesada por el operador de soporte puede ser una imagen en movimiento.
La información de soporte proporcionada por el operador de soporte puede ser no solo una imagen capturada en el dispositivo portátil 10 y procesada como se describió anteriormente, sino también una imagen o caracteres (instantánea) extraídos desde un documento de referencia (información de soporte de trabajo en el sitio) o procesados. La información de soporte de trabajo del sitio puede ser mostrada en la lista 115 de documentos de referencia en la pantalla o puede ser obtenida buscando desde una ventana en la lista 115 de documentos de referencia. Lo que se obtiene buscando en la lista 115 de documentos de referencia se almacena en la base 50 de datos. Por ejemplo, cuando el operador de soporte determina que el manual de instrucciones necesita ser comprobado para el soporte, el operador de soporte hace clic en el manual de instrucciones en la lista 115 de documentos de referencia. A continuación, aparece una nueva ventana, y se muestra una página del manual de instrucciones. El operador de soporte selecciona una página predeterminada del manual de instrucciones, corta una porción necesaria y muestra la imagen recortada (instantánea) en la imagen 114 procesada por el operador de soporte. Aquí, el operador de soporte procesa una imagen (instantánea) de la página predeterminada del manual de instrucciones para marcar la imagen (instantánea), escribir caracteres en la imagen (instantánea) o realizar otra operación. La imagen procesada es transmitida al terminal móvil 20 del trabajador como una imagen procesada por el operador de soporte de una manera similar a la de una imagen capturada por el dispositivo portátil 10 y seleccionada y procesada. El trabajador puede proseguir con el trabajo con referencia a la imagen procesada por el operador de soporte.
En lo anterior, se ha dado una descripción de un caso en donde la información de soporte de trabajo se almacena en la base 50 de datos. La información de soporte de trabajo del sitio puede guardarse en la unidad 32 de almacenamiento del servidor 30. Alternativamente, la información de soporte de trabajo del sitio puede ser guardada en la unidad de almacenamiento del terminal 40 de operador de soporte. La información de soporte de trabajo del sitio puede obtenerse de cualquier otra fuente. Por ejemplo, la información de soporte de trabajo del sitio puede ser información sobre un sitio web.
Como se ha descrito anteriormente, el operador de soporte prosigue con trabajo de soporte para el trabajador "AAA aaa". Cuando el trabajador "BBB bbb" realiza una solicitud de apoyo después de que se complete el soporte para el trabajador "AAA aaa" o mientras se está realizando el soporte para el trabajador "AAA aaa", parpadea el nombre del trabajador, "BBB bb", en la información 112 de identificación del trabajador en la pantalla del dispositivo de visualización en el navegador del terminal 40 de operador de soporte. El operador de soporte que visualiza el nombre parpadeando hace clic sobre el nombre del trabajador, "BBB bbb", si el operador de soporte está listo para comenzar a dar soporte al trabajador "BBB bbb". A continuación, se activa la conexión con el trabajador “BBB bbb". En otras palabras, el trabajador "BBB bbb" en la información 112 de identificación de trabajador se marca con el signo "En Vivo", una imagen capturada por el dispositivo portátil 10 es mostrada en vivo en la imagen 113 en vivo, y se puede establecer una conversación telefónica entre el trabajador "BBB bbb" y el operador de soporte.
De la manera descrita anteriormente, se realiza el soporte de trabajo para una pluralidad de trabajadores. A través del trabajo realizado usando el sistema 1 de soporte de trabajo remoto según esta realización, las imágenes capturadas por los dispositivos portátiles 10, voz que incluye conversaciones telefónicas entre los trabajadores y el operador de soporte, imágenes procesadas por el operador de soporte creadas por el operador de soporte, etc., se acumulan en la unidad 32 de almacenamiento del servidor 30. Estos se almacenan para cada elemento de trabajo. El servidor 30 puede crear automáticamente un informe sobre la base de la información almacenada.
(4) Características
(4-1)
Un sistema 1 de soporte de trabajo remoto según esta realización incluye un dispositivo portátil 10, un terminal móvil 20 y un terminal 40 del operador de soporte. El dispositivo portátil 10 es usado siendo llevado por un trabajador del sitio. El dispositivo portátil 10 incluye una unidad 11 de captura de imágenes y es capaz de transmitir una imagen capturada de los alrededores del trabajador al terminal 40 del operador de soporte. Además, el dispositivo portátil 10 y el terminal 40 del operador de soporte pueden usarse como teléfonos para establecer una conversación telefónica entre ellos.
El dispositivo portátil 10 no incluye ninguna unidad de visualización. Cuando un dispositivo portátil incluye una unidad de visualización, por ejemplo, como un dispositivo del tipo de gafas, el trabajador puede tener un campo de visión limitado, lo que puede presentar un peligro para el trabajador. La ausencia de una unidad de visualización proporciona la ventaja de que es menos probable que ocurra dicho problema.
Además, dado que el trabajador está llevando el terminal móvil 20, la información sobre el soporte del operador de soporte puede mostrarse en la unidad 21 de visualización del terminal móvil 20, según sea necesario. (4-2)
El dispositivo portátil 10 según esta realización es un dispositivo montado en el cuello. Esto permite al trabajador trabajar con ambas manos libres.
(4-3)
La imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10 es una imagen en movimiento o una imagen fija.
La captura de una imagen en movimiento permite visualizar continuamente la imagen 113 en vivo en la unidad 43 de visualización del terminal 40 del operador de soporte.
El operador de soporte puede crear más fácilmente una imagen procesada por el operador de soporte usando una imagen fija.
(4-4)
La imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10 es seleccionada, procesada o proporcionada adicionalmente con información usando el terminal 40 del operador de soporte. La imagen resultante se transmite al terminal móvil 20 y se muestra en la unidad 21 de visualización del terminal móvil 20.
El uso tanto del dispositivo portátil 10 como del terminal móvil 20 elimina la necesidad de que el trabajador vea la información de soporte del operador de soporte más de lo necesario, y permite que el trabajador vea la información de soporte en el terminal 20 móvil cuando sea necesario.
(4-5)
Las expresiones del trabajador y del operador de soporte son sometidas a reconocimiento de voz y son mostradas en el registro 116 de expresiones en la unidad 43 de visualización del terminal 40 de operador de soporte como información de texto.
Dado que el registro de expresión se muestra en el terminal 40 de operador de soporte como información de texto, el operador de soporte comprueba fácilmente el contenido de la conversación telefónica y puede dar soporte al trabajador usándolo. Además, la grabación del contenido de las expresiones como información de texto también puede utilizarse para crear un informe.
(4-6)
La información de texto descrita anteriormente también puede mostrarse en la unidad 21 de visualización del terminal móvil 20. También es útil que el trabajador pueda comprobar, en la unidad 21 de visualización, la conversación con el operador de soporte en texto. Alternativamente, el texto del contenido de una expresión importante puede ser extraído por el operador de soporte y mostrado en el terminal móvil 20 del trabajador.
(4-7)
El sistema 1 de soporte de trabajo remoto incluye una primera línea T1 que conecta el terminal 40 de operador de soporte y el dispositivo portátil 10, y una segunda línea T2 que conecta el terminal 40 de operador de soporte y el terminal móvil 20. La primera línea T1 se usa continuamente mientras el trabajador trabaja, y la segunda línea T2 se conecta, según sea necesario, mientras el trabajador trabaja.
Esto permite al trabajador trabajar sin visualizar constantemente la pantalla.
(4-8)
El servidor 30 del sistema 1 de soporte de trabajo remoto almacena una imagen capturada con la unidad 11 de captura de imágenes del dispositivo portátil 10 en la unidad 32 de almacenamiento del servidor 30. Además, las expresiones del trabajador y del operador de soporte son sometidas a reconocimiento de voz y convertidas en texto, que se almacena en la unidad 32 de almacenamiento del servidor 30. El servidor 30 puede estimar el estado de progreso del trabajo y el tiempo de finalización del trabajo a partir de la imagen, los caracteres de texto, etc., y mostrar el estado de progreso y el tiempo de finalización en la unidad 43 de visualización del terminal 40 del operador de soporte. El estado de progreso del trabajo puede estimarse y mostrarse en una forma tal como un xx % de finalización. De esta manera, el operador de soporte puede ser informado del progreso del trabajo.
(4-9)
El terminal 40 del operador de soporte muestra la lista 115 de documentos de referencia en la unidad 43 de visualización. Los documentos de referencia son información de soporte de trabajo del sitio. La información de soporte de trabajo del sitio se guarda en una base 50 de datos en una red. El operador de soporte puede acceder al contenido de la información de soporte de trabajo del sitio desde la lista 115 de documentos de referencia. El operador de soporte extrae y procesa el contenido de la información de soporte de trabajo del sitio y transmite la información de soporte de trabajo del sitio al terminal móvil 20.
El operador de soporte procesa la información de soporte del trabajo y transmite la información de soporte del trabajo procesada al trabajador de la manera descrita anteriormente, lo que elimina la necesidad de que el trabajador vea una gran cantidad de materiales y aumenta la eficiencia del trabajador.
(4-10)
El soporte de trabajo realizado usando el sistema 1 de soporte de trabajo remoto según esta realización incluye soporte realizado por diversos medios. En otras palabras, el soporte de trabajo incluye uno cualquiera o una combinación de soporte por voz, soporte con una imagen procesada, soporte por caracteres introducidos desde un terminal del operador de soporte, y soporte por caracteres obtenidos convirtiendo una expresión del operador de soporte en texto.
El soporte por voz es el mismo que el soporte por teléfono.
El soporte con una imagen procesada incluye el soporte que usa una imagen capturada por el dispositivo portátil 10 y el soporte que usa información de soporte de trabajo en el sitio procesada.
El soporte por caracteres introducidos desde el terminal 40 del operador de soporte se implementa como sigue: El operador de soporte introduce caracteres a través del terminal 40 del operador de soporte, y los caracteres se transmiten al terminal móvil 20 y se muestran en la unidad 21 de visualización.
El soporte por caracteres obtenidos convirtiendo una expresión del operador de soporte en texto es soporte en el que una expresión del operador de soporte es convertida en texto y la información convertida en texto es enviada al terminal móvil 20 del trabajador. El trabajador puede no oír la expresión del operador de soporte u olvidar la expresión del operador de soporte. Por consiguiente, una expresión importante es convertida en texto, y el texto es transmitido, lo que puede conducir a un soporte efectivo.
(5) Modificaciones
(5-1) Modificación 1A
En la primera realización, como se ilustra en la Fig. 3, solo la imagen 113 en vivo del trabajador "AAA aaa", que está activo, se muestra en la unidad 43 de visualización. En la modificación 1A, las imágenes en vivo de todos los trabajadores conectados "AAA aaa", "BBB bbb'', "CCC ccc", "DDD ddd" y ''eee de EEE" se muestran en la imagen 113 en vivo. En otras palabras, el vídeo en directo de un trabajador que no está activo también se muestra simultáneamente en la imagen 113 en vivo. Obsérvese que el vídeo del trabajador "AAA aaa", que está activo, se muestra en tamaño grande en una parte superior, mientras que el vídeo de los trabajadores "BBB bbb", "CCC ccc", "DDD ddd" y "EEE eee", que no están activos, se muestra en tamaño pequeño en una parte inferior. De esta manera, la unidad 43 de visualización según la modificación 1A permite al operario de soporte conocer el comportamiento aproximado de un trabajador que no está activo, o de un trabajador que no está siendo soportado. Con este fin, por ejemplo, el operador de soporte puede alertar a un trabajador que intenta realizar un comportamiento no deseado.
(5-2) Modificación 1B
En la primera realización, la voz es sometida a reconocimiento de voz y convertida en texto por el servidor 30. En la modificación 1B, el reconocimiento de voz y la conversión en texto son realizados por el dispositivo portátil 10 o el terminal 40 del operador de soporte. Por consiguiente, el dispositivo portátil 10 o el terminal 40 de operador de soporte transmiten tanto datos de audio de voz como datos de texto de voz a la red. Además, el dispositivo portátil 10 o el terminal 40 de operador de soporte pueden tener una función de traducción además de la función de reconocimiento de voz.
(5-3) Modificación 1C
En la primera realización, el dispositivo portátil 10 es un dispositivo montado en el cuello. El dispositivo portátil 10 puede ser de cualquier otro tipo. El dispositivo portátil 10 es preferiblemente un dispositivo que se lleva en el cuerpo mientras deja ambas manos libres. El dispositivo portátil 10 según la modificación 1C se lleva puesto en la cabeza. Específicamente, el dispositivo portátil 10 es de tipo casco, de tipo sombrero o de tipo banda para el pelo.
(5-4) Modificación 1D
En el sistema 1 de soporte de trabajo remoto según la primera realización, el trabajador del sitio sostiene y usa el dispositivo portátil 10 y el terminal móvil 20. El sistema 1 de soporte de trabajo remoto puede usar además otro dispositivo. El otro dispositivo puede estar conectado al terminal 40 del operador de soporte a través de la red. El otro dispositivo puede estar conectado al servidor 30.
En la modificación 1D, el otro dispositivo es una cámara de red diferente de la unidad 11 de captura de imágenes del dispositivo portátil 10, que es usada por el trabajador del sitio. La cámara de red transmite una imagen capturada de una ubicación diferente de la de la unidad 11 de captura de imágenes del dispositivo portátil 10 o una imagen de la misma ubicación, que es capturada desde un ángulo diferente, al terminal del operador de soporte a través de la red.
(5-5) Modificación 1E
En la primera realización, el dispositivo portátil 10 y el terminal móvil 20 están conectados cada uno independientemente a la red a través de la primera línea (T1) o de la segunda línea (T2). En la modificación 1E, el dispositivo portátil 10 y el terminal móvil 20 están conectados entre sí a través de P2P.
En la modificación 1E, el dispositivo portátil 10 puede conectarse a la red (o al terminal 40 de operador de soporte) a través de la primera línea, o el dispositivo portátil 10 y el terminal móvil 20 pueden comunicarse entre sí a través de P2P y, a continuación, el terminal móvil 20 puede conectarse a la red a través de la segunda línea.
(5-6) Modificación 1F
Otro dispositivo de comunicación puede conectarse al dispositivo portátil 10 a través de tecnología de comunicación inalámbrica de corto alcance. La tecnología de comunicación inalámbrica de corto alcance puede ser Bluetooth (marca registrada), comunicación por infrarrojos o Wi-Fi.
(5-7) Modificación 1G
En la primera realización, la voz generada por el operador de soporte es transmitida al dispositivo portátil 10, y una imagen que es transmitida desde el terminal 40 del operador de soporte es transmitida al terminal móvil 20.
En la modificación 1G, el trabajador del sitio puede usar el dispositivo portátil 10, el terminal móvil 20, que es un teléfono inteligente, y un PC como un dispositivo diferente.
Cuando se envía una imagen desde el terminal 40 del operador de soporte, el operador de soporte puede seleccionar el terminal móvil 20 o un PC y transmitir la imagen.
Alternativamente, puede proporcionarse una configuración en la que el servidor 30 controle la transmisión de una imagen desde el terminal 40 del operador de soporte al trabajador, el terminal 40 del operador de soporte emite un comando para designar un dispositivo del trabajador al que se ha de transmitir la imagen, y el servidor 30 acepta el comando.
(5-8) Modificación 1H
El sistema de soporte del trabajador según esta realización puede usarse para otros fines, por ejemplo, con fines de entrenamiento.
El contenido del entrenamiento se refiere a trabajos en el sitio tales como reparación o mantenimiento de un dispositivo. Una persona a entrenar participa como trabajador. El número de personas a entrenar (trabajadores) es preferiblemente de uno o dos. El entrenamiento es realizado preferiblemente por un número mínimo de personas requeridas para realizar trabajo experimentado.
El entrenador del entrenamiento es un operador de soporte. Preferiblemente, una pluralidad de entrenadores enseña a cada persona a entrenar a partir de diferentes formas de vista. Por lo tanto, los entrenadores comprueban diferentes puntos o comprueban un punto idéntico desde diferentes ángulos. Por ejemplo, un entrenador que esté familiarizado con el propio trabajo desea comprobar el trabajo realizado con las manos de la persona a entrenar. Una persona que esté especializada en el equipo desea comprobar generalmente el estado de todo el equipo, incluyendo la persona a entrenar, o también comprobar un dispositivo de medición tal como un medidor incluido en el equipo.
El entrenador (operador de soporte) solicita al alumno (trabajador) que conmute al dispositivo portátil 10 o al terminal móvil 20, tal como un teléfono inteligente capaz de capturar una imagen de una ubicación que se desea verificar o una imagen del campo de visión, o añadir dicho dispositivo. Por consiguiente, la persona a entrenar (trabajador) puede ser soportado y entrenado por los entrenadores para que el trabajo sea realizado por la persona a entrenar (trabajador) desde diferentes puntos de vista o ángulos.
<Segunda realización>
(6) Sistema de soporte de Trabajo Remoto según la Segunda Realización
La Fig. 4 es un diagrama que describe esquemáticamente un sistema de soporte de trabajo remoto según una segunda realización.
El sistema de soporte de trabajo remoto según la segunda realización incluye sustancialmente la misma configuración que la del sistema 1 de soporte de trabajo remoto según la primera realización. En otras palabras, el sistema de soporte de trabajo remoto según la segunda realización incluye un dispositivo portátil 10, un terminal 20 móvil, un servidor 30, un terminal 40 del operador de soporte y una base 50 de datos. Como en la primera realización, el sistema de soporte de trabajo remoto realiza soporte de trabajo y, como resultado, acumula una imagen capturada por el dispositivo portátil 10, texto obtenido realizando reconocimiento de voz de una expresión de un trabajador y de una expresión de un operador de soporte y convirtiendo las expresiones en texto, una imagen de soporte creada por el operador de soporte, un informe de trabajo, etc. Para un trabajo tal como la reparación de un fallo que se ha producido recientemente, el servidor 30 según la segunda realización compara datos tales como una imagen capturada por el dispositivo portátil 10 con datos acumulados previamente y determina automáticamente que se ha producido una anomalía o fallo en un dispositivo similar. De esta manera, el sistema 1 de soporte de trabajo remoto según esta realización es capaz de diagnosticar una anomalía o fallo de un dispositivo.
Si el servidor 30 ha diagnosticado con éxito una anomalía o fallo de un dispositivo, el servidor 30 propone un método de soporte apropiado similar al método de soporte anterior al operador de soporte. Alternativamente, se propone directamente al trabajador un método de soporte apropiado similar al método de soporte anterior.
Además, el sistema de soporte de trabajo remoto según esta realización predice un fallo futuro de un dispositivo.
(7) Modificaciones
(7-1) Modificación 2A
Una configuración de la modificación 2A es sustancialmente la misma que la de la segunda realización. En la modificación 2A, el servidor 30 acumula datos de soporte de trabajo, lo que puede dar como resultado la identificación automática de puntos inapropiados en un manual de operación del dispositivo o un manual de reparación y mantenimiento. En este caso, el servidor 30 propone una corrección y una optimización del manual de funcionamiento o del manual de reparación y mantenimiento.
<Tercera Realización>
(8) Sistema de soporte de Trabajo Remoto según la Tercera Realización
La configuración de un sistema 1 de soporte de trabajo remoto según una tercera realización es la misma que la configuración del sistema 1 de soporte de trabajo remoto según la primera realización, como se ilustra en la Fig. 2. El sistema 1 de soporte de trabajo remoto incluye una pluralidad de dispositivos. La pluralidad de dispositivos incluye un dispositivo portátil 10, un terminal móvil 20 y un terminal 40 del operador de soporte. La pluralidad de dispositivos puede incluir además otro dispositivo. El otro dispositivo puede ser un dispositivo que es usado por un trabajador además del dispositivo portátil 10 y del terminal móvil 20 y que soporta la introducción o emisión de voz o de una imagen. Los ejemplos específicos del otro dispositivo pueden incluir una cámara, un teléfono inteligente, un reloj inteligente, gafas inteligentes, un auricular y un dispositivo portátil. El otro dispositivo puede ser una cámara web similar a la de la Modificación 1D o un dispositivo de comunicación similar al de la Modificación 1F.
También en esta realización, el servidor 30 está conectado a la pluralidad de dispositivos, y la información recogida por la pluralidad de dispositivos es recogida por el servidor y acumulada en la unidad 32 de almacenamiento. La información es, por ejemplo, una imagen capturada por el dispositivo portátil 10 y voz recogida por el dispositivo portátil 10 o el terminal 40 de operador de soporte.
En esta realización, el servidor 30 designa al menos uno o más dispositivos entre la pluralidad de dispositivos en una condición predeterminada y llama a un dispositivo objetivo de conexión según la designación. El servidor 30 puede usar tecnología de IA para realizar la determinación de la condición predeterminada.
En esta realización, el servidor 30 adquiere información de entorno del sitio de trabajo del trabajador del sitio y acumula la información de entorno en la unidad 32 de almacenamiento. La información de entorno es información tal como la iluminación del sitio de trabajo, el nivel de ruido en el sitio de trabajo, la temperatura y la humedad del sitio de trabajo, y si el trabajo es trabajo en un lugar alto. El servidor 30 puede solicitar al trabajador que use o seleccione un dispositivo según la información del entorno y puede llamar al dispositivo seleccionado.
Por ejemplo, el servidor 30 adquiere información que indica que el trabajador está en un entorno ruidoso, tal como una fábrica, usando información de voz transmitida desde el dispositivo portátil 10. En este caso, el servidor 30 solicita al trabajador que use un dispositivo que incluye un micrófono direccional, distinto del dispositivo portátil 10. En respuesta a que el trabajador enciende la alimentación al dispositivo que incluye un micrófono direccional, el servidor 30 llama al dispositivo que incluye un micrófono direccional.
En otro ejemplo, el servidor 30 adquiere información que indica que el trabajador está en un lugar oscuro usando información de imagen transmitida desde el dispositivo portátil 10. En este caso, el servidor 30 solicita al trabajador que use una cámara equipada con luz (tal como el terminal móvil 20 u otra cámara digital) distinta del dispositivo portátil 10. El trabajador prepara una cámara equipada con luz, y el servidor 30 llama a la cámara equipada con luz.
(9) Modificaciones
(9-1) Modificación 3A
En la modificación 3A, el servidor 30 gestiona el progreso del trabajo realizado por un trabajador del sitio y almacena el progreso del trabajo en la unidad 32 de almacenamiento. El servidor 30 llama al menos a uno o más dispositivos entre la pluralidad de dispositivos descritos anteriormente según el progreso del trabajo.
Por ejemplo, cuando el trabajador está realizando trabajos usando gafas inteligentes, tras determinar que el siguiente trabajo es trabajo en un lugar alto a partir del progreso del trabajo, el servidor 30 solicita al trabajador que se quite las gafas inteligentes porque el trabajador con las gafas inteligentes tiene un campo de visión estrecho.
En otro ejemplo, tras determinar que el trabajo requiere comprobaciones desde dos o más puntos de vista del progreso del trabajo, el servidor 30 solicita al trabajador que use dos cámaras, a saber, una cámara que captura toda el área y una cámara que recorre el área alrededor de las manos. Cuando el trabajador está listo para las dos cámaras, el servidor 30 llama a las dos cámaras.
(9-2) Modificación 3B
En la Modificación 3B, el servidor 30 realiza el reconocimiento de voz de expresiones del trabajador del sitio y del operador de soporte. El servidor 30 llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base a una palabra clave adquirida por el reconocimiento de voz.
Por ejemplo, cuando una conversación entre el trabajador y el operador de soporte incluye palabras "subir" o "por escalón", el servidor 30 solicita al trabajador que use un auricular. Cuando el trabajador lleva los auriculares, el servidor 30 llama a los auriculares.
Cuando la conversación entre el trabajador y el operador de soporte incluye palabras tales como "no puedo oír" o "en voz baja", el servidor 30 solicita al trabajador que use un dispositivo equipado con un micrófono direccional. Cuando el trabajador está listo para usar el dispositivo equipado con un micrófono direccional, el servidor 30 llama al dispositivo equipado con un micrófono direccional.
Cuando la conversación entre el trabajador y el operador de soporte incluye las palabras "no transparente" o "ampliación", el servidor 30 solicita al trabajador que use un teléfono inteligente o gafas inteligentes. Cuando el trabajador está listo para usar el teléfono inteligente o las gafas inteligentes, el servidor 30 llama al teléfono inteligente o a las gafas inteligentes.
(9-3) Modificación 3C
En la modificación 3C, como en la modificación 1H, el sistema 1 de soporte de trabajo remoto se usa con fines de entrenamiento. En esta realización, además de la modificación 1H, además, el servidor 30 acepta, desde el terminal 40 del operador de soporte, la designación de al menos uno o más dispositivos entre una pluralidad de dispositivos usados por el trabajador del sitio.
Aunque se han descrito realizaciones de la presente descripción, se entenderá que las formas y detalles pueden cambiarse de diversas maneras sin apartarse del alcance de la presente descripción tal como se expone en las reivindicaciones.
Lista de signos de referencia
I sistema de soporte de trabajo remoto
10 dispositivo portátil
I I unidad de captura de imágenes
12 unidad de entrada de voz
13 unidad de emisión de voz
20 terminal móvil
21 unidad de visualización
22 unidad de comunicación
40 terminal del operador de soporte
41 unidad de entrada de voz
42 unidad de emisión de voz
43 unidad de visualización
T1 primera línea
T2 segunda línea
Lista de citas
Bibliografía de patentes
PTL 1: publicación de solicitud de patente japonesa sin examinar No. 2018-207420

Claims (19)

REIVINDICACIONES
1. Un sistema de soporte de trabajo remoto que comprende:
un dispositivo portátil (10) que ha de ser llevado por un trabajador del sitio, incluye una unidad (11) de captura de imágenes, una unidad (12) de entrada de voz y una unidad (13) de emisión de voz, una unidad (16) de comunicación, conectada a una red a través de una primera línea (T1) de comunicación para transmitir una imagen capturada por la unidad de captura de imágenes, y para transmitir y recibir voz, no teniendo el dispositivo portátil dispositivos de visualización de imágenes;
un terminal móvil (20) que ha de ser llevado por el trabajador del sitio por separado del dispositivo portátil e incluye una unidad (22) de recepción de imagen, conectada a la red a través de una segunda línea (T2) de comunicación, diferente de la primera línea de comunicación, estando configurada la unidad de recepción de imagen para recibir una imagen, y una unidad (21) de visualización configurada para mostrar la imagen recibida; y
un terminal (40) del operador de soporte que ha de ser utilizado por un operador de soporte que soporta de manera remota al trabajador del emplazamiento, incluye una unidad (41) de entrada de voz, una unidad (42) de emisión de voz y una unidad (43) de visualización, estando configurado el terminal del operador de soporte para transmitir y recibir voz hacia y desde el dispositivo portátil y para recibir una imagen procedente del dispositivo portátil a través de la primera línea de comunicación, y para transmitir una imagen al terminal móvil a través de la segunda línea de comunicación.
2. El sistema de soporte de trabajo remoto según la reivindicación 1, en donde
el dispositivo portátil es un dispositivo montado en el cuello.
3. El sistema de soporte de trabajo remoto según la reivindicación 1 o 2, en donde
la unidad de visualización del terminal del operador de soporte muestra una imagen en movimiento y una imagen fija que son capturadas con la unidad de captura de imágenes del dispositivo portátil.
4. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 3, en donde una imagen capturada con la unidad de captura de imágenes del dispositivo portátil se selecciona, procesa o proporciona adicionalmente con información usando el terminal del operador de soporte, se transmite al terminal móvil y se muestra en la unidad de visualización del terminal móvil.
5. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 4, en donde una expresión del trabajador del sitio y una expresión del operador de soporte se someten a reconocimiento de voz y se muestran en la unidad de visualización del terminal del operador de soporte como información de texto.
6. El sistema de soporte de trabajo remoto según la reivindicación 5, en donde
la información de texto se muestra además en la unidad de visualización del terminal móvil.
7. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 6,
en donde la primera línea (T1) conecta el terminal del operador de soporte y el dispositivo portátil; y la segunda línea (T2) conecta el terminal del operador de soporte y el terminal móvil, en donde la primera línea se utiliza continuamente mientras trabaja el trabajador del sitio, y
la segunda línea está conectada, según sea necesario, mientras trabaja el trabajador del sitio.
8. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 7, en donde el progreso de trabajo realizado por el trabajador del sitio se extrae automáticamente a partir de una imagen capturada con la unidad de captura de imágenes y/o a partir de una expresión del trabajador del sitio y una expresión del operador de soporte, se estima un estado de progreso del trabajo o un tiempo de finalización del trabajo, y el estado de progreso o el tiempo de finalización se muestra en la unidad de visualización del terminal del operador de soporte.
9. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 8, en donde el terminal del operador de soporte accede a una base (50) de datos que almacena información de soporte de trabajo del sitio, extrae y procesa la información de soporte de trabajo del sitio, y transmite la información de soporte de trabajo del sitio extraída y procesada al terminal móvil.
10. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 9, en donde el soporte para el trabajador del sitio a través del terminal del operador de soporte incluye uno cualquiera o una combinación de soporte por voz, soporte con una imagen procesada, soporte por caracteres introducidos desde el terminal del operador de soporte, y soporte por caracteres obtenidos convirtiendo una expresión del operador de soporte en texto.
11. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 1 a 10, en donde el sistema de soporte de trabajo remoto comprende una pluralidad de dispositivos conectados a un servidor idéntico,
la pluralidad de dispositivos incluye el dispositivo portátil, el terminal móvil y el terminal del operador de soporte, y
el servidor designa al menos uno o más dispositivos entre la pluralidad de dispositivos según una condición predeterminada, y llama a un dispositivo objetivo de conexión según la designación.
12. El sistema de soporte de trabajo remoto según la reivindicación 11, en donde
el servidor adquiere información de entorno de un sitio de trabajo del trabajador del sitio, y
el servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base a la información de entorno.
13. El sistema de soporte de trabajo remoto según la reivindicación 11, en donde
el servidor gestiona el progreso del trabajo realizado por el trabajador del sitio, y
el servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base al progreso del trabajo.
14. El sistema de soporte de trabajo remoto según la reivindicación 11, en donde
el servidor realiza un reconocimiento de voz de una expresión del trabajador del sitio y de una expresión del operador de soporte, y
el servidor llama al menos a uno o más dispositivos entre la pluralidad de dispositivos en base a una palabra clave adquirida a través del reconocimiento de voz.
15. El sistema de soporte de trabajo remoto según una cualquiera de las reivindicaciones 11 a 14, en donde el servidor acepta además, procedente del terminal del operador de soporte, la designación de al menos uno o más dispositivos entre la pluralidad de dispositivos que son usados por el trabajador del sitio.
16. El sistema de soporte de trabajo remoto (1) según una cualquiera de las reivindicaciones 1 a 15, en donde la pluralidad de dispositivos es capaz de comunicarse entre sí.
17. El sistema (1) de soporte de trabajo remoto según la reivindicación 1, en donde el dispositivo portátil comprende además una unidad (15) de control, configurada para controlar la unidad de comunicación que transmite imágenes que incluyen imágenes en movimiento capturadas por la unidad de captura de imágenes al terminal del operador de soporte.
18. El sistema (1) de soporte de trabajo remoto según cualquiera de las reivindicaciones anteriores, en donde el dispositivo portátil incluye además un cuerpo principal (19), un sensor de gestos y un interruptor de alimentación, en donde la unidad de captura y el sensor de gestos están dispuestos en extremos del cuerpo principal, teniendo el sensor de gestos una función de interruptor.
19. Un terminal (40) del operador de soporte que ha de ser utilizado por un operador de soporte que soporta remotamente un trabajador del sitio, comprendiendo el terminal (40) del operador de soporte una unidad (41) de entrada de voz, una unidad (42) de emisión de voz y una unidad (43) de visualización, en donde
el terminal (40) del operador de soporte está configurado para transmitir y recibir voz hacia y desde un dispositivo portátil (10) que ha de ser llevado por el trabajador del sitio, a través de una primera línea (T1) de comunicación, incluyendo el dispositivo portátil una unidad (11) de captura de imágenes, una unidad (12) de entrada de voz y una unidad (13) de emisión de voz, una unidad (16) de comunicación, conectada a una red a través de la primera línea (T1) de comunicación, para transmitir una imagen capturada por la unidad de captura de imágenes, y para transmitir y recibir voz, no teniendo el dispositivo portátil ninguna imagen que muestre el terminal del operador de soporte que está configurado para recibir una imagen desde el dispositivo portátil a través de la primera línea (T1) de comunicación, y
estando configurado el terminal (40) del operador de soporte para transmitir una imagen a un terminal móvil (20) que ha de ser llevado por el trabajador del sitio por separado del dispositivo portátil, a través de una segunda línea (T2) de comunicación, diferente de la primera línea (T1) de comunicación, incluyendo el terminal móvil una unidad (22) de recepción de imagen, conectada a la red a través de la segunda línea de comunicación, estando configurada la unidad de recepción de imagen para recibir una imagen, y una unidad (21) de visualización configurada para visualizar la imagen recibida por la unidad (22) de recepción de imagen.
ES20891306T 2019-11-20 2020-09-30 Remote work support system Active ES3023569T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019209987 2019-11-20
PCT/JP2020/037310 WO2021100331A1 (ja) 2019-11-20 2020-09-30 遠隔作業支援システム

Publications (1)

Publication Number Publication Date
ES3023569T3 true ES3023569T3 (en) 2025-06-02

Family

ID=75966362

Family Applications (1)

Application Number Title Priority Date Filing Date
ES20891306T Active ES3023569T3 (en) 2019-11-20 2020-09-30 Remote work support system

Country Status (7)

Country Link
US (1) US12223102B2 (es)
EP (1) EP4064694B1 (es)
JP (2) JP7270154B2 (es)
CN (1) CN114731389B (es)
AU (1) AU2020385740B2 (es)
ES (1) ES3023569T3 (es)
WO (1) WO2021100331A1 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7382372B2 (ja) * 2021-09-27 2023-11-16 株式会社 日立産業制御ソリューションズ 作業支援装置、作業支援システム及び作業支援プログラム
JP7361438B2 (ja) * 2021-10-18 2023-10-16 Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 情報処理システム
JP7740772B2 (ja) * 2022-03-28 2025-09-17 株式会社サンタ・プレゼンツ 遠隔指示システム
JP7482459B2 (ja) * 2022-09-05 2024-05-14 ダイキン工業株式会社 システム、支援方法、サーバ装置及び通信プログラム
CN116189694A (zh) * 2022-12-29 2023-05-30 联想(北京)有限公司 音频处理方法、装置及电子设备
TWI845192B (zh) * 2023-03-06 2024-06-11 國立臺灣大學 操作輔助系統
WO2024190673A1 (ja) * 2023-03-16 2024-09-19 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及び情報処理プログラム
JP2024171573A (ja) 2023-05-30 2024-12-12 株式会社Ｓｃｒｅｅｎホールディングス 作業支援方法および作業支援システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110034A (ja) 1997-09-30 1999-04-23 Hitachi Ltd 遠隔地プラントの作業支援方法及びその支援システム
JPH11345021A (ja) 1998-06-01 1999-12-14 Mori Seiki Co Ltd 工作機械の保守支援システム
JP3680269B2 (ja) 2001-07-25 2005-08-10 株式会社トーエネック 設備保守システム
JP4275459B2 (ja) 2003-05-27 2009-06-10 株式会社タムラ製作所 マイクセット
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP2008123366A (ja) 2006-11-14 2008-05-29 Nec Corp 遠隔作業支援システム、遠隔作業支援プログラム、及びサーバ
JP2011034180A (ja) 2009-07-30 2011-02-17 Idemitsu Kosan Co Ltd プラント等の運転操作支援システム
JP2011039996A (ja) * 2009-08-18 2011-02-24 Chugoku Electric Power Co Inc:The 作業支援システム
JP2015228009A (ja) 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
FR3024583B1 (fr) 2014-07-29 2017-12-08 Airbus Surveillance d'une intervention de maintenance sur un aeronef
JP6503559B2 (ja) 2014-10-20 2019-04-24 ソニー株式会社 音声処理システム
KR101662689B1 (ko) 2014-11-26 2016-10-17 아바드(주) 원활하게 커뮤니케이션할 수 있는 넥 밴드 타입의 단말기
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
JP2016171477A (ja) * 2015-03-13 2016-09-23 株式会社日立製作所 遠隔作業支援装置、モニタリングシステム、および、遠隔作業支援方法
JP2016181767A (ja) * 2015-03-23 2016-10-13 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ及びウェアラブルカメラシステム
JP6585929B2 (ja) * 2015-06-02 2019-10-02 キヤノン株式会社 システム、システムの制御方法
WO2017169909A1 (ja) 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
JP2018092478A (ja) * 2016-12-06 2018-06-14 矢崎総業株式会社 作業指示システム
EP3333688B1 (en) * 2016-12-08 2020-09-02 LG Electronics Inc. Mobile terminal and method for controlling the same
CN106920071B (zh) * 2017-02-23 2018-03-27 广东电网有限责任公司教育培训评价中心 变电站现场作业辅助方法和系统
JP7171990B2 (ja) * 2017-04-24 2022-11-16 トーヨーカネツ株式会社 遠隔支援システム
JP2018207420A (ja) 2017-06-09 2018-12-27 キヤノン株式会社 遠隔作業支援システム
CN110999327B (zh) 2017-07-31 2022-01-14 索尼公司 信息处理装置、信息处理方法以及程序
CN108156033A (zh) * 2017-12-22 2018-06-12 成都才智圣有科技有限责任公司 无人机穿戴式维修保障支持系统
CN107862760A (zh) 2017-12-22 2018-03-30 国网湖南省电力有限公司 用于变电检修移动巡检作业的可穿戴装备及其应用方法
JP7080636B2 (ja) * 2017-12-28 2022-06-06 Ｄｙｎａｂｏｏｋ株式会社 システム
US11326886B2 (en) * 2018-04-16 2022-05-10 Apprentice FS, Inc. Method for controlling dissemination of instructional content to operators performing procedures at equipment within a facility
CN110166752A (zh) 2019-06-05 2019-08-23 南昌百瑞实业有限公司 远程支持系统

Also Published As

Publication number Publication date
EP4064694B1 (en) 2025-04-09
CN114731389B (zh) 2026-05-01
AU2020385740A1 (en) 2022-07-07
US12223102B2 (en) 2025-02-11
CN114731389A (zh) 2022-07-08
EP4064694A1 (en) 2022-09-28
AU2020385740B2 (en) 2023-05-25
JP2022145707A (ja) 2022-10-04
WO2021100331A1 (ja) 2021-05-27
EP4064694A4 (en) 2023-01-11
US20220276701A1 (en) 2022-09-01
JP7270154B2 (ja) 2023-05-10
JP2021083079A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US12223102B2 (en) Remote work support system
US11231897B2 (en) Display system, display device, information display method, and program
US10642564B2 (en) Display system, display device, information display method, and program
US9369760B2 (en) Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US11757947B2 (en) Asymmetric collaborative virtual environments
US10873724B1 (en) Virtual environment generation for collaborative building assessment
EP3429133A1 (en) Mobile device and method for recognising and remotely controlling wireless devices
US20130289971A1 (en) Instant Translation System
EP2981070A1 (en) Information processing device, notification state control method, and program
US20140368980A1 (en) Technical Support and Remote Functionality for a Wearable Computing System
CN103869470A (zh) 显示装置及其控制方法、头戴式显示装置及其控制方法
JP2017508193A (ja) ユーザ設定可能な発話コマンド
JP2018174003A (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
US20150220506A1 (en) Remote Document Annotation
CN106031135A (zh) 可穿戴设备和通信控制方法
ES2958814T3 (es) Método de procesamiento del habla y terminal móvil
Dogan et al. Trial of a special end user terminal that aids field operators during emergency rescue operations
EP4492801A1 (en) Moving image transmission/reception system, transmission terminal, program, and method
CN119603767A (zh) 定位信息显示的方法、可穿戴设备、xr设备及存储介质
JP2023045784A (ja) ヘルメット、及び現場対応システム
CN116046677A (zh) 一种用于航空器检修的辅助设备及航空器检修方法
JP2021043629A (ja) 端末制御プログラム、端末装置、端末制御方法および情報通信方法