WO2021230181A1 - 情報処理方法、情報処理装置、プログラム、及び情報処理システム - Google Patents

情報処理方法、情報処理装置、プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2021230181A1
WO2021230181A1 PCT/JP2021/017643 JP2021017643W WO2021230181A1 WO 2021230181 A1 WO2021230181 A1 WO 2021230181A1 JP 2021017643 W JP2021017643 W JP 2021017643W WO 2021230181 A1 WO2021230181 A1 WO 2021230181A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
information processing
moving image
server
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/017643
Other languages
English (en)
French (fr)
Inventor
太郎 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to US17/998,390 priority Critical patent/US12100424B2/en
Priority to CN202180034495.8A priority patent/CN115552913A/zh
Priority to EP21803455.1A priority patent/EP4152242A4/en
Publication of WO2021230181A1 publication Critical patent/WO2021230181A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85403—Content authoring by describing the content as an MPEG-21 Digital Item
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • This disclosure relates to information processing methods, information processing devices, programs, and information processing systems.
  • Patent Document 1 Conventionally, a technique for displaying texts and animations to support the work of workers is known (see, for example, Patent Document 1).
  • the purpose of this disclosure is to provide technology that can appropriately support the work of workers.
  • the information processing apparatus captures a moving image of the object when the object is changed from the first state to the second state, and the object is in the second state.
  • the process of regenerating the object when the object is returned to the first state is executed. As a result, the work of the worker can be appropriately supported.
  • the second aspect of the present disclosure is the information processing method according to the first aspect, and in the regenerating process, a predetermined operation is performed by the user while the moving image is being photographed.
  • the reproduction position of the moving image is determined based on at least one of the time point and the time point when a predetermined utterance is made by the user.
  • the third aspect of the present disclosure is the information processing method according to the first or second aspect, and in the reproduction process, the moving image for a predetermined period is reproduced in the reverse direction.
  • the fourth aspect of the present disclosure is the information processing method according to the third aspect, and in the reproduction process, it is estimated based on the utterance by the user and at least one of the moving images. Based on the period during which the predetermined work is performed, the section for reproducing the moving image in the reverse direction is determined.
  • the fifth aspect of the present disclosure is the information processing method according to the fourth aspect, and in the regenerating process, the predetermined operation is different from the disassembling procedure and the assembling procedure. If, the user is presented with information indicating the assembly procedure.
  • the sixth aspect of the present disclosure is the information processing method according to any one of the first to fifth aspects, and the reproduction process is based on at least one of the utterance by the user and the moving image. Information indicating the predetermined work estimated above is presented to the user.
  • a seventh aspect of the present disclosure is the information processing method according to any one of the first to sixth aspects, wherein the information processing apparatus puts the object in the second state based on the moving image. The process of presenting an error in the work of returning to the first state is executed.
  • the eighth aspect of the present disclosure is the information processing method according to any one of the first to seventh aspects, and in the reproduction process, the procedure of the user's work recognized based on the moving image. If the procedure is different from the set procedure, information indicating the set procedure is presented to the user.
  • the ninth aspect of the present disclosure is the information processing method according to any one of the first to eighth aspects, in which the reproduction time of the period during which the state of the object does not change is set in the reproduction process. Shorten and play.
  • the tenth aspect of the present disclosure is the information processing method according to any one of the first to ninth aspects, and in the regenerating process, the area where the state of the object is changed is expanded. Display on the screen.
  • the information processing apparatus captures a moving image taken by the object when the object is changed from the first state to the second state, and the object is the second state to the second state. 1 Performs the process of playing back when returning to the state.
  • the information processing apparatus is provided with a moving image in which the object is captured when the object is changed from the first state to the second state, and the object is in the second state.
  • the process of regenerating the object when the object is returned to the first state is executed.
  • the information processing system is an information processing system including a server and a terminal, and the server is such that when the object is changed from the first state to the second state, the object is changed.
  • the moving image taken by the terminal is transmitted to the terminal with information to be reproduced when the object is returned from the second state to the first state, and the terminal is based on the information received from the server. , The moving image is reproduced and displayed on the screen.
  • FIG. 1 is a diagram showing an example of a system configuration of the communication system 1 according to the embodiment.
  • the communication system 1 includes a server 10, a terminal 20A, a terminal 20B, and a terminal 20C (hereinafter, simply referred to as "terminal 20" when it is not necessary to distinguish them).
  • the number of servers 10 and terminals 20 is not limited to the example of FIG.
  • the server 10 and the terminal 20 may communicate with each other via a network N such as a LAN (Local Area Network), a wireless LAN, the Internet, and a mobile phone network.
  • the mobile phone network may comply with communication standards such as 5G (fifth generation mobile communication system), 4G, and LTE (Long Term Evolution).
  • the terminal 20 is, for example, an information processing device having a camera for taking a moving image, a microphone for collecting sound, a display, and a communication device.
  • the terminal 20 may include a plurality of information processing devices.
  • the terminal 20 may include, for example, a wearable device having a camera or the like and an information processing device having a display or the like.
  • the information processing device having a display or the like may be, for example, a tablet terminal, a smartphone, a notebook PC (Personal Computer), or the like.
  • the wearable device may be connected to the network N via a tablet terminal or the like, or may be connected to the network N without going through a tablet terminal or the like.
  • the terminal 20 may be, for example, an augmented reality wearable computer (smart glasses) of a head-mounted display type that can be attached to the head of a worker (user).
  • an augmented reality wearable computer smart glasses
  • head-mounted display type that can be attached to the head of a worker (user).
  • the server 10 saves the moving image (moving image) taken by the terminal 20, and displays the content based on the saved moving image or the like on the terminal 20.
  • the server 10 for example, at the work site of a worker who uses the terminal 20, the article (equipment, installation object) to be worked on the site, and the object (object) such as the facility at the site are in the first state (original state).
  • a moving image taken by the terminal 20 when the state is changed from the second state to the second state (hereinafter, also referred to as a “moving image at the time of change” as appropriate) is saved.
  • the server 10 transfers the moving image to the terminal 20 when the work of returning the object to be worked from the second state to the first state (restoration to the original state, restoration to the original state, restoration, restoration, repair) is performed by the worker.
  • Playback reverse playback, reverse playback
  • forward forward
  • forward forward
  • forward forward
  • normal playback forward
  • the work of disassembling the device, removing the wiring of the component inside the device, replacing the component with a new component, reconnecting the wiring, and reassembling the device can be appropriately supported.
  • the server 10 may allow each worker of each terminal 20 to specify in advance whether to play the moving image in reverse or in order by operating each worker on each terminal 20.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the server 10 and the terminal 20 according to the embodiment.
  • the server 10 will be described as an example, but the hardware configuration of the terminal 20 may be the same as the hardware configuration of the server 10.
  • the server 10 has a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random Access Memory) 103.
  • the CPU 101, ROM 102, and RAM 103 form a so-called computer.
  • the server 10 has an auxiliary storage device 104, a display device 105, an operation device 106, an I / F (Interface) device 107, and a drive device 108.
  • the hardware of the server 10 is connected to each other via the bus B.
  • the CPU 101 is an arithmetic device that executes various programs (for example, a machine learning program) installed in the auxiliary storage device 104.
  • ROM 102 is a non-volatile memory.
  • the ROM 102 functions as a main storage device, and stores various programs, data, and the like necessary for the CPU 101 to execute various programs installed in the auxiliary storage device 104.
  • the ROM 102 stores boot programs such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • RAM 103 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 103 functions as a main storage device and provides a work area to be expanded when various programs installed in the auxiliary storage device 104 are executed by the CPU 101.
  • the auxiliary storage device 104 stores various programs and information used when various programs are executed.
  • the display device 105 is a display device that displays various types of information.
  • the operation device 106 is an operation device for receiving various operations.
  • the I / F device 107 is a communication device that communicates with an external device.
  • the drive device 108 is a device for setting the recording medium 110.
  • the recording medium 110 referred to here includes a medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like that optically, electrically, or magnetically records information. Further, the recording medium 110 may include a semiconductor memory or the like for electrically recording information such as a ROM or a flash memory.
  • the various programs installed in the auxiliary storage device 104 are installed, for example, by setting the distributed recording medium 110 in the drive device 108 and reading the various programs recorded in the recording medium 110 by the drive device 108. Will be done.
  • various programs installed in the auxiliary storage device 104 may be installed by being downloaded from a network (not shown).
  • FIG. 3 is a diagram showing an example of the functional configuration of the server 10 according to the embodiment.
  • the server 10 has an acquisition unit 11, a storage unit 12, a control unit 13, and a display control unit 14. Each of these parts may be realized, for example, by the cooperation of one or more programs installed in the server 10 and hardware such as the CPU 101 of the server 10.
  • the acquisition unit 11 acquires various information from the terminal 20.
  • the storage unit 12 stores various types of information.
  • the storage unit 12 has, for example, a work DB (database) 121.
  • the control unit 13 controls each unit of the server 10.
  • the display control unit 14 transmits information to be displayed on the terminal 20 to the terminal 20 and controls the display screen displayed on the terminal 20.
  • FIG. 4 is a sequence diagram showing an example of the processing of the communication system 1 according to the embodiment.
  • FIG. 5A is a diagram illustrating an example of the work DB 121 according to the embodiment.
  • FIG. 5B is a diagram illustrating an example of a tag group according to an embodiment.
  • FIG. 6 is a diagram illustrating an example of a display screen of the terminal 20 according to the embodiment.
  • the terminal 20 receives user authentication and the like by the worker ID and password from the server 10, logs in to the server 10, and performs the following communication by an encrypted communication session using HTTPS (Hypertext Transfer Protocol Secure) or the like. You may.
  • HTTPS Hypertext Transfer Protocol Secure
  • step S1 when the object is changed from the first state to the second state, the terminal 20 takes a moving image of the object as a subject. Subsequently, the terminal 20 transmits the captured moving image to the server 10 (step S2).
  • the terminal 20 may transmit, for example, a moving image being captured to the server 10 in real time. Further, the terminal 20 may, for example, transmit the captured and recorded moving image to the server 10 in response to the operation of the worker.
  • the control unit 13 of the server 10 records the received moving image in the work DB 121 of the storage unit 12 (step S3).
  • the server 10 records the received moving image in association with the tag.
  • work information, moving images, and a set (data set) of a tag group are recorded in association with the worker ID and the work ID.
  • the worker ID is the identification information of the worker who uses the terminal 20.
  • the work ID is identification information of the work performed by the worker.
  • the work information is various information related to the work.
  • the work information may include, for example, information indicating the date and time, place, customer name, work target device, work content, and the like when the work was performed.
  • the server 10 may receive and record the work information input to the worker at the terminal 20 from the terminal 20.
  • each tag included in the tag group A1211 associated with the moving image of FIG. 5A contains a set of data of a work item, a start time, and an end time.
  • the work item is information indicating each item to be carried out in the work.
  • the start time and the end time are the start time and the end time of the work period corresponding to each item, respectively.
  • the control unit 13 of the server 10 may receive and record the tag input to the worker at the terminal 20 from the terminal 20. Further, the control unit 13 of the server 10 may generate a tag based on at least one of the moving image and the sound received from the terminal 20.
  • the server 10 may generate a tag based on the utterance of the worker of the terminal 20.
  • the server 10 may recognize the voice received from the terminal 20, for example, and generate a tag based on the time when the voice is uttered and the result of the voice recognition.
  • a tag is added at the time instructed by the worker. Can be done.
  • the server 10 may estimate the period during which the work of a predetermined work item is performed, for example, based on the utterance of the worker of the terminal 20.
  • the server 10 recognizes the voice of the worker "starting movement of on-site goods" by AI (Artificial Intelligence), generates a work item of "movement of on-site goods", and the voice is uttered.
  • the time may be recorded as the start time of the work item.
  • the server 10 may recognize the voice of "end” by the worker by AI and record the time when the voice is spoken as the end time of the work item. Further, for example, when the start time of another work item is recorded in a state where the end time of one work item is not recorded, the server 10 sets the time based on the start time of the other work item. It may be recorded as the end time of one work item.
  • the server 10 may generate a tag based on the input operation of the worker of the terminal 20.
  • the server 10 may generate a tag based on the information input to the worker of the terminal 20, for example.
  • the terminal 20 may accept, for example, an operation of designating a work item, an operation of designating the current date and time as the start time, or an operation of designating the current date and time as the end time.
  • the server 10 estimates the period during which the work of the predetermined work item is performed based on at least one of the utterances made by the worker of the terminal 20 and the moving image taken by the terminal 20, and generates a tag. You may. In this case, the server 10 may recognize (infer) the work item, the start time, and the end time based on the moving image by AI using machine learning such as deep learning. Further, the server 10 may recognize at least one of the work item, the start time, and the end time by the AI based on the utterance by the worker of the terminal 20.
  • control unit 13 of the server 10 determines the content to be delivered to the terminal 20 (step S4).
  • the server 10 may cause the terminal 20 to play the content, for example, when the object is returned from the second state to the first state.
  • the server 10 may determine the reproduction position of the moving image based on the tag designated by the worker in the process of step S4.
  • the terminal 20 may accept an operation of specifying a tag from the worker when the worker returns the object from the second state to the first state.
  • the server 10 may, for example, display a list of each tag included in the tag group recorded in the work DB 121 of FIG. 5A on the terminal 20 and let the worker select one tag. Further, the server 10 may recognize the voice spoken by the worker and determine the tag of the work item designated by the voice.
  • the server 10 refers to the work DB 121 of FIG. 5A, and based on the start time and the end time of the designated tag, the server 10 has a start position (reproduction start position) and an end position (reproduction end position) of the section for reproducing the moving image. Position) and may be determined.
  • the server 10 may set the start time and the end time of the designated tag as the reproduction start position and the reproduction end position of the moving image to be reproduced by the terminal 20, respectively.
  • the server 10 sets the end time and the start time of the designated tag as the reproduction start position and the reproduction end position of the moving image to be reproduced by the terminal 20, respectively, and causes the terminal 20 to play back the moving image in reverse. May be good.
  • the worker can reverse-play and view the moving image when the disassembled device is disassembled. Therefore, the procedure for assembling the device to its original state can be appropriately grasped from the moving image showing the reverse of the procedure for disassembling the device.
  • the server 10 may present the worker with information indicating the work item associated with the moving image (an example of "information indicating the work").
  • the server 10 may superimpose the character data of the work item of the designated tag on the moving image and display it.
  • the worker can grasp the contents of the work item to be performed from now on when the reverse reproduction of the moving image is started.
  • the server 10 may cause the terminal 20 to reproduce the voice.
  • the server 10 may present the worker with information indicating the assembly procedure.
  • the worker can appropriately grasp the procedure for assembling the device to the original state based on the assembly procedure manual or the like. Therefore, for example, it can be assembled by a more appropriate procedure.
  • the designated work item is "equipment assembly” and the device to be worked on is a model in which the disassembly procedure and the assembly procedure are different from each other, it is registered in the server 10 in advance. 10 may display the data of the assembly procedure manual of the model on the terminal 20.
  • the server 10 may present the worker with information indicating the procedure set as the model. good. Thereby, for example, when the worker takes time to disassemble the device and performs unnecessary procedures, the procedure of the assembly work set as a model can be presented to the worker.
  • the server 10 may recognize the order in which the worker changes from the first state to the second state based on the moving image, for example, by AI or the like. Then, when the degree of deviation between the recognized procedure and the procedure set as the model is equal to or greater than the threshold value, the server 10 may reproduce the moving image of the procedure set as the model.
  • the server 10 may set, for example, a procedure recognized based on a moving image of work performed by a highly proficient worker as a model.
  • the server 10 works when, for example, the value of the ratio of the time required for the disassembly work of the device to be worked by the worker A and the time required for the disassembly work for the device by the worker B is equal to or more than the threshold value.
  • the procedure by the member B may be presented to the worker A.
  • the display control unit 14 of the server 10 distributes the determined content to the terminal 20 (step S5). Subsequently, the terminal 20 displays the received content (step S6).
  • the server 10 may shorten the reproduction time during the period when the state of the article to be worked is not changed and reproduce it. As a result, for example, it is possible to save time for the moving image when the work has not progressed at the time of disassembly to be reproduced at the time of assembly.
  • the server 10 may, for example, skip (skip) the moving image during the period when the worker's hand is not shown and play it back. Further, the server 10 may recognize the arrangement of each article by AI based on the moving image, skip the moving image during the period in which the arrangement is not changed, and reproduce the moving image.
  • the server 10 may enlarge the area where the state of the article to be worked is changing and display it on the screen. Thereby, for example, the area where the worker was working at the time of disassembly can be enlarged and presented to the worker.
  • the server 10 may, for example, enlarge (zoom) the area of the moving image in which the worker's hand is reflected and reproduce it. Further, the server 10 may recognize the arrangement of each article based on the moving image by AI, and may enlarge and reproduce the area where the arrangement is changed.
  • the server 10 is in the work of returning the work target article from the second state to the first state based on the moving image at the time of change and the moving image when the work target article is returned from the second state to the first state.
  • the error may be presented to the worker. Thereby, for example, the worker can grasp that there is a part different from the original state.
  • the server 10 may first detect, for example, that the work item currently being performed by the worker has been completed.
  • the server 10 works based on, for example, a moving image currently taken by the terminal 20 and transmitted from the terminal 20 to the server 10 in real time (hereinafter, also appropriately referred to as a “current moving image”). It may be detected that the item is completed.
  • the server 10 may determine that the work item has been completed when, for example, the server 10 detects that the lid of the housing of the device to be worked is closed by the worker based on the moving image.
  • the server 10 may detect that the work item has been completed based on the voice from the worker or the manual operation.
  • the server 10 determines that an error has occurred when the arrangement of each subject in the moving image at the time of change is different from the arrangement of each subject in the moving image when the work item is completed. good.
  • the server 10 enlarges / reduces, rotates, and translates the first still image when the disassembly work is started, and matches the second still image when the assembly work is completed.
  • the situation may be determined, and it may be determined that an error has occurred when the number of pixels whose RGB value difference is equal to or greater than the threshold value is equal to or greater than the threshold value in the matching situation.
  • the server 10 may cause the worker's terminal 20 to output an alarm message and a voice. Further, the server 10 causes the terminal 20 to reproduce a moving image or a still image for a predetermined period including the time when the arrangement of the subject in which the error is detected is changed among the moving images at the time of change, as shown in FIG. In addition, a predetermined display object may be superimposed and displayed on a moving image or a still image in association with the subject.
  • the server 10 is associated with the connector 602 of the cable before the change in the moving image at the time of the change, and an error with that before the disassembly was detected at the time of assembly.
  • a display object 603 containing a message indicating the above is displayed.
  • the server 10 may reproduce the moving image at the time of change according to the state of each subject of the moving image when the worker returns the article to be worked from the second state to the first state. Thereby, for example, each time the worker executes each procedure, the worker can present a moving image showing the next procedure to the worker.
  • the server 10 may first determine the order of each subject whose state has been changed based on the moving image at the time of change. Then, when the server 10 detects that the first subject has been returned from the second state to the first state based on the current moving image, the moving image at the time of change is larger than the first subject. The moving image when the state of the second subject changed immediately before may be changed may be reproduced. As a result, for example, if the condition of the cable currently being photographed by the terminal 20 becomes the same as the situation at the start when the cable is removed, the moving image when the cable to be connected next is removed is played in reverse. It can be presented to the worker by such means.
  • Each functional unit of the server 10 may be realized by cloud computing provided by, for example, one or more computers. Further, each process of the server 10 may be executed by the terminal 20. In this case, the terminal 20 may execute at least a part of the processing of the storage unit 12, the control unit 13, and the display control unit 14. Further, the storage unit 12, the control unit 13, and the display control unit 14 may be provided in the terminal 20 so as to have no server 10 (stand-alone type).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理装置が、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。

Description

情報処理方法、情報処理装置、プログラム、及び情報処理システム
　本開示は、情報処理方法、情報処理装置、プログラム、及び情報処理システムに関する。
　従来、テキストやアニメーションを表示させて、作業員の作業を支援する技術が知られている（例えば、特許文献１を参照）。
特開２０１６－１４４８４６号公報
　しかしながら、従来技術では、例えば、作業員の作業を適切に支援することが困難な場合がある。
　本開示は、作業員の作業を適切に支援することができる技術を提供することを目的とする。
　本開示の第１の態様による情報処理方法は、情報処理装置が、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。これにより、作業員の作業を適切に支援することができる。
　また、本開示の第２の態様は、第１の態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像が撮影されている間に、ユーザにより所定の操作がされた際の時点、及びユーザにより所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する。
　また、本開示の第３の態様は、第１または２の態様に記載の情報処理方法であって、前記再生させる処理では、所定の期間の前記動画像を逆方向に再生させる。
　また、本開示の第４の態様は、第３の態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定する。
　また、本開示の第５の態様は、第４の態様に記載の情報処理方法であって、前記再生させる処理では、さらに、前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する。
　また、本開示の第６の態様は、第１から５のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業を示す情報をユーザに提示する。
　また、本開示の第７の態様は、第１から６のいずれかの態様に記載の情報処理方法であって、前記情報処理装置が、前記動画像に基づいて、前記オブジェクトを前記第２状態から前記第１状態に戻す作業の誤りを提示する処理を実行する。
　また、本開示の第８の態様は、第１から７のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像に基づいて認識されたユーザの作業の手順と、設定されている手順とが異なる場合、設定されている手順を示す情報をユーザに提示する。
　また、本開示の第９の態様は、第１から８のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化していない期間の再生時間を短縮して再生させる。
　また、本開示の第１０の態様は、第１から９のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化している領域を拡大して画面に表示させる。
　また、本開示の第１１の態様による情報処理装置は、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。
　また、本開示の第１２の態様によるプログラムは、情報処理装置に、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行させる。
　また、本開示の第１３の態様による情報処理システムは、サーバと端末とを含む情報処理システムであって、前記サーバは、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが前記端末により撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる情報を前記端末に送信し、前記端末は、前記サーバから受信した情報に基づいて、前記動画像を再生させて画面に表示させる。
実施形態に係る通信システムのシステム構成の一例を示す図である。 実施形態に係るサーバ、及び端末のハードウェア構成の一例を示す図である。 実施形態に係るサーバの機能構成の一例を示す図である。 実施形態に係る通信システムの処理の一例を示すシーケンス図である。 実施形態に係る作業ＤＢの一例について説明する図である。 実施形態に係るタグ群の一例について説明する図である。 実施形態に係る端末の表示画面一例について説明する図である。
　以下、各実施形態について図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　＜システム構成＞
　はじめに、通信システム１のシステム構成について説明する。図１は、実施形態に係る通信システム１のシステム構成の一例を示す図である。図１に示すように、通信システム１は、サーバ１０、及び端末２０Ａ、端末２０Ｂ、端末２０Ｃ（以下で、区別する必要がない場合は、単に、「端末２０」と称する。）を有する。なお、サーバ１０、及び端末２０の数は、図１の例に限定されない。
　サーバ１０と端末２０とは、例えば、ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、及び携帯電話網等のネットワークＮを介して通信を行ってもよい。なお、携帯電話網は、例えば、５Ｇ（第５世代移動通信システム）、４Ｇ、及びＬＴＥ（Long Term Evolution）等の通信規格に準拠していてもよい。
　端末２０は、例えば、動画像を撮影するカメラ、音声を集音するマイク、ディスプレイ、及び通信装置を有する情報処理装置である。端末２０は、複数の情報処理装置を含んでもよい。この場合、端末２０は、例えば、カメラ等を有するウェアラブルデバイスと、ディスプレイ等を有する情報処理装置とを含んでもよい。この場合、ディスプレイ等を有する情報処理装置は、例えば、タブレット端末、スマートフォン、及びノートＰＣ（Personal Computer）等でもよい。この場合、ウェアラブルデバイスは、タブレット端末等を介してネットワークＮに接続してもよいし、タブレット端末等を介さずにネットワークＮに接続してもよい。
　また、端末２０は、例えば、作業員（ユーザ）の頭部に装着可能なヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータ（スマートグラス）でもよい。
　サーバ１０は、端末２０で撮影された動画像（動画）を保存し、保存している動画像等に基づいたコンテンツを端末２０に表示させる。サーバ１０は、例えば、端末２０を使用する作業員の作業現場において、現場の作業対象の物品（機器、設置物）、及び現場の施設等のオブジェクト（物体）が第１状態（元の状態）から第２状態に変化される際に端末２０により撮影された動画像（以下で、適宜「変更時の動画像」とも称する。）を保存する。そして、サーバ１０は、作業対象のオブジェクトを第２状態から第１状態に戻す（原状回復、原状復帰、復旧、復元、修理）作業が作業員により行われる際に、当該動画像を端末２０に逆方向（前方）に再生（逆再生、リバース再生）、または順方向（後方）に再生（順再生、通常の再生）させる。これにより、例えば、現場に設置されている物品を移動（撤去）させて養生や足場を設置し、工事等が完了した後に養生や足場を撤去して当該物品を元の配置に戻す作業を適切に支援できる。また、例えば、機器を分解し、機器内部の部品の配線を取り外して当該部品を新しい部品に交換した後、配線を再度接続し、当該機器を再度組み立てる作業を適切に支援できる。
　なお、以下では、適宜、逆再生、及び順再生を、単に「再生」とも称する。なお、サーバ１０は、各端末２０の作業員毎に、動画像を逆再生するか順再生するかを各端末２０での各作業員の操作により予め指定できるようにしてもよい。
　＜サーバ１０、及び端末２０のハードウェア構成＞
　次に、実施形態に係るサーバ１０、及び端末２０のハードウェア構成について説明する。図２は、実施形態に係るサーバ１０、及び端末２０のハードウェア構成の一例を示す図である。以下では、サーバ１０を例として説明するが、端末２０のハードウェア構成もサーバ１０のハードウェア構成と同様でもよい。
　図２に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３は、いわゆるコンピュータを形成する。また、サーバ１０は、補助記憶装置１０４、表示装置１０５、操作装置１０６、Ｉ／Ｆ（Interface）装置１０７、ドライブ装置１０８を有する。サーバ１０の各ハードウェアは、バスＢを介して相互に接続される。
　ＣＰＵ１０１は、補助記憶装置１０４にインストールされている各種プログラム（例えば、機械学習プログラム等）を実行する演算デバイスである。ＲＯＭ１０２は、不揮発性メモリである。ＲＯＭ１０２は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムをＣＰＵ１０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ１０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
　ＲＡＭ１０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１０３は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムがＣＰＵ１０１によって実行される際に展開される作業領域を提供する。
　補助記憶装置１０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。
　表示装置１０５は、各種の情報を表示する表示デバイスである。操作装置１０６は、各種操作を受け付けるための操作デバイスである。Ｉ／Ｆ装置１０７は、外部の機器と通信する通信デバイスである。
　ドライブ装置１０８は記録媒体１１０をセットするためのデバイスである。ここでいう記録媒体１１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置１０４にインストールされる各種プログラムは、例えば、配布された記録媒体１１０がドライブ装置１０８にセットされ、該記録媒体１１０に記録された各種プログラムがドライブ装置１０８により読み出されることでインストールされる。あるいは、補助記憶装置１０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることで、インストールされてもよい。
　＜機能構成＞
　次に、図３を参照し、実施形態に係るサーバ１０の機能構成について説明する。図３は、実施形態に係るサーバ１０の機能構成の一例を示す図である。
　サーバ１０は、取得部１１、記憶部１２、制御部１３、及び表示制御部１４を有する。これら各部は、例えば、サーバ１０にインストールされた１以上のプログラムと、サーバ１０のＣＰＵ１０１等のハードウェアとの協働により実現されてもよい。
　取得部１１は、各種の情報を端末２０から取得する。記憶部１２は、各種の情報を記憶する。記憶部１２は、例えば、作業ＤＢ（データベース）１２１を有する。
　制御部１３は、サーバ１０の各部を制御する。表示制御部１４は、端末２０に表示させる情報を端末２０に送信し、端末２０で表示される表示画面を制御する。
　＜処理＞
　次に、図４から図６を参照し、実施形態に係る通信システム１の処理の一例について説明する。図４は、実施形態に係る通信システム１の処理の一例を示すシーケンス図である。図５Ａは、実施形態に係る作業ＤＢ１２１の一例について説明する図である。図５Ｂは、実施形態に係るタグ群の一例について説明する図である。図６は、実施形態に係る端末２０の表示画面一例について説明する図である。
　なお、端末２０は、作業員ＩＤとパスワードによるユーザ認証等をサーバ１０から受けてサーバ１０にログインし、ＨＴＴＰＳ (Hypertext Transfer Protocol Secure)等を用いた暗号化された通信セッションにより以下の通信を行ってもよい。
　ステップＳ１において、端末２０は、オブジェクトが第１状態から第２状態に変化される際に、当該オブジェクトが被写体とされた動画像を撮影する。続いて、端末２０は、撮影した動画像をサーバ１０に送信する（ステップＳ２）。ここで、端末２０は、例えば、撮影している動画像をリアルタイムでサーバ１０に送信してもよい。また、端末２０は、例えば、作業員の操作に応答して、撮影して記録していた動画像をサーバ１０に送信してもよい。
　続いて、サーバ１０の制御部１３は、受信した動画像を記憶部１２の作業ＤＢ１２１記録する（ステップＳ３）。ここで、サーバ１０は、図５Ａに示す作業ＤＢ（データベース）１２１の例では、受信した動画像にタグを対応付けて記録している。図５Ａの例では、作業員ＩＤ及び作業ＩＤに対応付けて、作業情報、動画像及びタグ群の組（データセット）が記録されている。
　作業員ＩＤは、端末２０を使用する作業員の識別情報である。作業ＩＤは、当該作業員が行う作業の識別情報である。作業情報は、当該作業に関する各種の情報である。作業情報には、例えば、当該作業が行われた日時、場所、客先名称、作業対象の機器、及び作業内容等を示す情報が含まれてもよい。サーバ１０は、端末２０にて作業員に入力された作業情報を、端末２０から受信して記録してもよい。
　図５Ｂの例では、図５Ａの動画像に対応付けられたタグ群Ａ１２１１に含まれる各タグには、作業項目、開始時刻、及び終了時刻の組のデータが含まれている。作業項目は、作業にて実施される各項目を示す情報である。開始時刻、及び終了時刻は、それぞれ、各項目に対応する作業期間の開始時刻、及び終了時刻である。サーバ１０の制御部１３は、端末２０にて作業員に入力されたタグを、端末２０から受信して記録してもよい。また、サーバ１０の制御部１３は、端末２０から受信した動画像、及び音声の少なくとも一方に基づいて、タグを生成してもよい。
　（発話に基づくタグの生成）
　サーバ１０は、端末２０の作業員の発話に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０から受信した音声を認識し、当該音声が発話された時点と、音声認識の結果とに基づいて、タグを生成してもよい。これにより、動画像において、オブジェクトが第１状態から第２状態に変化される際（「動画像が撮影されている間」の一例。）に作業員に指示された時点にタグを付加することができる。
　サーバ１０は、例えば、端末２０の作業員の発話に基づいて、所定の作業項目の作業が行われている期間を推定してもよい。この場合、サーバ１０は、例えば、作業員による「現場物品の移動開始」との音声をＡＩ（Artificial Intelligence）により認識して、「現場物品移動」の作業項目を生成し、当該音声が発話された時刻を当該作業項目の開始時刻として記録してもよい。そして、サーバ１０は、例えば、作業員による「終了」との音声をＡＩにより認識して、当該音声が発話された時刻を当該作業項目の終了時刻として記録してもよい。また、サーバ１０は、例えば、一の作業項目の終了時刻が記録されていない状態で、他の作業項目の開始時刻が記録された場合、当該他の作業項目の開始時刻に基づく時刻を、当該一の作業項目の終了時刻として記録してもよい。
　（作業者の入力操作に基づくタグの生成）
　サーバ１０は、端末２０の作業員の入力操作に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０の作業員に入力された情報に基づいて、タグを生成してもよい。この場合、端末２０は、例えば、作業項目を指定する操作と、現在日時を開始時刻として指定する操作、または現在日時を終了時刻として指定する操作とを受け付けてもよい。
　（動画像等に基づくタグの生成）
　また、サーバ１０は、端末２０の作業員による発話、及び端末２０で撮影された動画像の少なくとも一つに基づいて、所定の作業項目の作業が行われている期間を推定し、タグを生成してもよい。この場合、サーバ１０は、例えば、ディープラーニング等の機械学習を用いたＡＩにより、動画像に基づいて、作業項目、開始時刻、及び終了時刻を認識（推論）してもよい。また、サーバ１０は、ＡＩにより、端末２０の作業員による発話に基づいて、作業項目、開始時刻、及び終了時刻の少なくとも一つを認識してもよい。
　続いて、サーバ１０の制御部１３は、端末２０に配信するコンテンツを決定する（ステップＳ４）。ここで、サーバ１０は、例えば、オブジェクトが第２状態から第１状態に戻される際に、コンテンツを端末２０に再生させるようにしてもよい。
　（作業員に指定されたタグに基づく再生位置の決定）
　サーバ１０は、ステップＳ４の処理で、作業員に指定されたタグに基づいて、動画像の再生位置を決定してもよい。この場合、端末２０は、作業員がオブジェクトを第２状態から第１状態に戻す際に、タグを指定する操作を作業員から受け付けてもよい。なお、サーバ１０は、例えば、図５Ａの作業ＤＢ１２１に記録されているタグ群に含まれる各タグの一覧を端末２０に表示させ、一のタグを作業員に選択させてもよい。また、サーバ１０は、作業員に発話された音声を認識し、当該音声で指定された作業項目のタグを判定してもよい。
　そして、サーバ１０は、図５Ａの作業ＤＢ１２１を参照し、指定されたタグの開始時刻と終了時刻とに基づいて、動画像を再生させる区間の開始位置（再生開始位置）と終了位置（再生終了位置）とを決定してもよい。ここで、サーバ１０は、指定されたタグの開始時刻と終了時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置としてもよい。
　また、サーバ１０は、指定されたタグの終了時刻と開始時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置とし、当該動画像を端末２０に逆再生させてもよい。これにより、作業員は、例えば、分解した機器を組み立てて元に戻す際に、当該機器を分解した際の動画像を逆再生して閲覧することができる。そのため、機器を分解した手順の逆を表す動画像により、機器を元の状態に組み立てる手順を適切に把握することができる。
　また、サーバ１０は、動画像を端末２０に再生させる際、当該動画像に対応付けられた作業項目を示す情報（「作業を示す情報」の一例。）を作業員に提示してもよい。この場合、サーバ１０は、例えば、指定されたタグの作業項目の文字データを当該動画像に重畳させて表示させてもよい。これにより、例えば、作業員は、動画像の逆再生が開始された際に、これから行う作業項目の内容を把握することができる。また、サーバ１０は、当該タグが作業員の音声に基づいて生成されたタグである場合、当該音声を端末２０に再生させてもよい。
　（組み立ての手順の提示）
　サーバ１０は、作業員に指定されたタグの作業項目が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報を作業員に提示してもよい。これにより、作業員は、分解の手順と組み立ての手順とが異なる場合は、組み立て手順書等に基づいて、機器を元の状態に組み立てる手順を適切に把握することができる。そのため、例えば、より適切な手順で組み立てることができる。
　この場合、例えば、指定された作業項目が「機器組み立て」であり、作業対象の機器が、分解の手順と組み立ての手順とが異なる機種であることがサーバ１０に予め登録されている場合、サーバ１０は、当該機種の組み立て手順書のデータを端末２０に表示させてもよい。
　（モデル手順の提示）
　サーバ１０は、動画像に基づいて認識された作業員の作業の手順と、モデルとして設定されている手順とが異なる場合、モデルとして設定されている手順を示す情報を作業員に提示してもよい。これにより、例えば、作業員が機器の分解等の作業に手間取り、不要等の手順を行っていた等の場合に、モデルとして設定されている組み立て作業の手順を作業員に提示できる。
　この場合、サーバ１０は、例えば、ＡＩ等により、動画像に基づいて、作業員による第１状態から第２状態に変化される際の順番を認識してもよい。そして、サーバ１０は、認識した手順と、モデルとして設定されている手順との乖離度が閾値以上の場合、モデルとして設定されている手順の動画像を再生してもよい。
　なお、サーバ１０は、例えば、習熟度の高い作業員により行われた作業の動画像に基づいて認識した手順を、モデルとして設定してもよい。この場合、サーバ１０は、例えば、作業員Ａによる作業対象の機器に対する分解作業の所要時間と、作業員Ｂによる当該機器に対する分解作業の所要時間との比の値が閾値以上である場合、作業員Ｂによる手順を作業員Ａに提示してもよい。
　続いて、サーバ１０の表示制御部１４は、決定したコンテンツを端末２０に配信する（ステップＳ５）。続いて、端末２０は、受信したコンテンツを表示させる（ステップＳ６）。
　ステップＳ５の処理で、サーバ１０は、作業対象の物品の状態が変化していない期間の再生時間を短縮して再生させるようにしてもよい。これにより、例えば、分解時に作業が進捗していなかった際の動画像が組み立て時に再生される時間を省くことができる。
　この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っていない期間の動画像をスキップさせて（飛ばして）再生させてもよい。また、サーバ１０は、動画像に基づいてＡＩにより各物品の配置を認識し、配置が変更されていない期間の動画像をスキップさせて再生させてもよい。
　また、サーバ１０は、作業対象の物品の状態が変化している領域を拡大して画面に表示させてもよい。これにより、例えば、分解時に作業員が作業していた領域を拡大して、作業員に提示することができる。
　この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っている領域を拡大（ズーム）して再生させてもよい。また、サーバ１０は、ＡＩにより、動画像に基づいて各物品の配置を認識し、配置が変化している領域を拡大して再生させてもよい。
　（原状回復作業の誤りの提示）
　サーバ１０は、変更時の動画像と、作業対象の物品を第２状態から第１状態に戻す際の動画像とに基づいて、作業対象の物品を第２状態から第１状態に戻す作業における誤りを作業員に提示してもよい。これにより、例えば、作業員は、元の状態と異なる部分があることを把握することができる。
　この場合、サーバ１０は、例えば、まず、作業員により現在行われていた作業項目が完了したことを検出してもよい。ここで、サーバ１０は、例えば、端末２０にて現在撮影され、端末２０からリアルタイムでサーバ１０に送信されている動画像（以下で、適宜「現在の動画像」とも称する。）に基づいて作業項目が完了したことを検出してもよい。この場合、サーバ１０は、例えば、動画像に基づいて作業対象の機器の筐体の蓋が作業員により閉じられたこと検出した場合に、作業項目が完了したと判定してもよい。
　また、サーバ１０は、作業員からの音声、または手動操作に基づいて作業項目が完了したことを検出してもよい。
　そして、サーバ１０は、変更時の動画像における変更前の各被写体の配置と、当該作業項目が完了した際の動画像における各被写体の配置とが異なる場合、誤りが発生したと判定してもよい。この場合、サーバ１０は、例えば、分解作業が開始された際の第１静止画を拡大・縮小、回転、及び平行移動させて、組み立て作業が終了された際の第２静止画と最も一致する状況を判定し、当該一致する状況でＲＧＢ値の差が閾値以上である画素の数が閾値以上である場合に、誤りが発生したと判定してもよい。
　そして、サーバ１０は、作業員の端末２０に警報のメッセージ、及び音声を出力させてもよい。また、サーバ１０は、変更時の動画像のうち、誤りが検出された被写体の配置が変更された時点を含む所定の期間の動画像または静止画像を端末２０に再生させ、図６に示すように、当該被写体に対応付けて所定の表示オブジェクトを動画像または静止画像に重畳して表示させてもよい。
　図６の例では、サーバ１０は、端末２０の表示画面６０１において、変更時の動画像のうち、変更前のケーブルのコネクタ６０２に対応付けて、組み立て時に分解前との誤りが検出された旨を示すメッセージを含む表示オブジェクト６０３を表示させている。
　（各被写体の状態に応じた再生）
　サーバ１０は、作業員が作業対象の物品を第２状態から第１状態に戻す際の動画像の各被写体の状態に応じて、変更時の動画像を再生させてもよい。これにより、例えば、作業員は各手順を実行する毎に、次の手順を表す動画像を作業員に提示することができる。
　この場合、サーバ１０は、まず、変更時の動画像に基づいて、状態が変化させられた各被写体の順番を判定してもよい。そして、サーバ１０は、現在の動画像に基づいて、第１被写体が、第２状態から第１状態に戻されたことを検出した場合、変更時の動画像のうち、当該第１被写体よりも一つ前に変化させられた第２被写体の状態が変化された際の動画像を再生してもよい。これにより、例えば、端末２０で現在撮影されているケーブルの状況が、当該ケーブルを取り外す際の開始時点と同様の状況になったら、次に接続するケーブルが取り外された際の動画像を逆再生等して作業員に提示することができる。
　＜変形例＞
　サーバ１０の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、サーバ１０の各処理を、端末２０にて実行する構成としてもよい。この場合、記憶部１２、制御部１３、及び表示制御部１４の少なくとも一部の処理を端末２０にて実行する構成としてもよい。また、記憶部１２、制御部１３、及び表示制御部１４を端末２０に設け、サーバ１０を有しない構成（スタンドアローン型）としてもよい。
　以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
　また、本国際出願は、２０２０年５月１４日に出願された日本国特許出願２０２０－８４９１０に基づく優先権を主張するものであり、日本国特許出願２０２０－８４９１０の全内容を本国際出願に援用する。
１　通信システム
１０　サーバ
１１　取得部
１２　記憶部
１３　制御部
１４　表示制御部
２０　端末

Claims (13)

  1. 　情報処理装置が、
    　オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する、
    情報処理方法。
  2. 　前記再生させる処理では、
    　前記動画像が撮影されている間に、ユーザにより所定の操作がされた際の時点、及びユーザにより所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する、
    請求項１に記載の情報処理方法。
  3. 　前記再生させる処理では、
    　所定の期間の前記動画像を逆方向に再生させる、
    請求項１または２に記載の情報処理方法。
  4. 　前記再生させる処理では、
    　ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定する、
    請求項３に記載の情報処理方法。
  5. 　前記再生させる処理では、さらに、
    　前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する、
    請求項４に記載の情報処理方法。
  6. 　前記再生させる処理では、
    　ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業を示す情報をユーザに提示する、
    請求項１から５のいずれか一項に記載の情報処理方法。
  7. 　前記情報処理装置が、
    　前記動画像に基づいて、前記オブジェクトを前記第２状態から前記第１状態に戻す作業の誤りを提示する処理を実行する、
    請求項１から６のいずれか一項に記載の情報処理方法。
  8. 　前記再生させる処理では、
    　前記動画像に基づいて認識されたユーザの作業の手順と、設定されている手順とが異なる場合、設定されている手順を示す情報をユーザに提示する、
    請求項１から７のいずれか一項に記載の情報処理方法。
  9. 　前記再生させる処理では、
    　前記オブジェクトの状態が変化していない期間の再生時間を短縮して再生させる、
    請求項１から８のいずれか一項に記載の情報処理方法。
  10. 　前記再生させる処理では、
    　前記オブジェクトの状態が変化している領域を拡大して画面に表示させる、
    請求項１から９のいずれか一項に記載の情報処理方法。
  11. 　オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する、
    情報処理装置。
  12. 　情報処理装置に、
    　オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行させる、
    プログラム。
  13. 　サーバと端末とを含む情報処理システムであって、
    　前記サーバは、
    　オブジェクトが第１状態から第２状態に変化される際に前記端末により前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる情報を前記端末に送信し、
    　前記端末は、
    　前記サーバから受信した情報に基づいて、前記動画像を再生させて画面に表示させる、
    情報処理システム。
PCT/JP2021/017643 2020-05-14 2021-05-10 情報処理方法、情報処理装置、プログラム、及び情報処理システム Ceased WO2021230181A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/998,390 US12100424B2 (en) 2020-05-14 2021-05-10 Information processing method, information processing apparatus, program, and information processing system
CN202180034495.8A CN115552913A (zh) 2020-05-14 2021-05-10 信息处理方法、信息处理装置、程序及信息处理系统
EP21803455.1A EP4152242A4 (en) 2020-05-14 2021-05-10 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING APPARATUS, PROGRAM AND INFORMATION PROCESSING SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-084910 2020-05-14
JP2020084910A JP6997996B2 (ja) 2020-05-14 2020-05-14 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Publications (1)

Publication Number Publication Date
WO2021230181A1 true WO2021230181A1 (ja) 2021-11-18

Family

ID=78510541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017643 Ceased WO2021230181A1 (ja) 2020-05-14 2021-05-10 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Country Status (5)

Country Link
US (1) US12100424B2 (ja)
EP (1) EP4152242A4 (ja)
JP (2) JP6997996B2 (ja)
CN (1) CN115552913A (ja)
WO (1) WO2021230181A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023098494A (ja) * 2021-12-28 2023-07-10 セコム株式会社 店舗運営支援システムおよび店舗運営支援方法
US11815895B2 (en) * 2022-01-30 2023-11-14 Xtend Ai Inc. Method of offline operation of an intelligent, multi-function robot
JP7470466B1 (ja) 2023-08-08 2024-04-18 株式会社G-ant ブロックオブジェクトの設計図を生成する方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028046A (ja) * 1999-07-15 2001-01-30 Sharp Corp 画像認識装置
JP2016004179A (ja) * 2014-06-18 2016-01-12 株式会社アーテック 授業支援システム
JP2016144846A (ja) 2015-02-09 2016-08-12 株式会社日立製作所 組立ナビゲーションシステム及び組立ナビゲーション方法
JP2019176423A (ja) * 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
JP2020052664A (ja) * 2018-09-26 2020-04-02 キヤノン株式会社 作業管理装置、その制御方法、およびプログラム
JP2020084910A (ja) 2018-11-28 2020-06-04 マツダ株式会社 エンジンの制御装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546598A (en) 1993-02-04 1996-08-13 Matsushita Electric Industrial Co., Ltd. Working situation management apparatus
JP2004030623A (ja) 1993-02-04 2004-01-29 Matsushita Electric Ind Co Ltd 作業状況管理装置
JP3689226B2 (ja) * 1997-03-13 2005-08-31 富士通株式会社 分解経路生成装置
JP2002056406A (ja) 2000-08-08 2002-02-22 Clim Ncd:Kk 組立工程支援システム及びそのデータを記録した記録媒体
DE10161570A1 (de) * 2001-12-14 2003-07-03 Fette Wilhelm Gmbh Verfahren zur Instruktion einer Bedienperson bei Wartungs- und Reparaturarbeiten an einer Tablettenpresse
WO2004109602A1 (ja) 2003-06-03 2004-12-16 Toyota Jidosha Kabushiki Kaisha 工程アニメーションの自動生成方法及びシステム
JP2008289083A (ja) 2007-05-21 2008-11-27 Funai Electric Co Ltd 映像記録再生装置および映像表示システム
JP4767216B2 (ja) * 2007-06-05 2011-09-07 パナソニック株式会社 ダイジェスト生成装置、方法及びプログラム
JP5595849B2 (ja) * 2010-09-27 2014-09-24 株式会社東芝 画像記録装置と動画像データの記録方法
JP5653174B2 (ja) 2010-10-29 2015-01-14 株式会社キーエンス 動画追尾装置、動画追尾方法および動画追尾プログラム
JP5637385B2 (ja) 2010-12-27 2014-12-10 清水建設株式会社 施工状況記録システム
JP6075180B2 (ja) * 2013-04-18 2017-02-08 オムロン株式会社 作業管理システムおよび作業管理方法
WO2017056263A1 (ja) * 2015-09-30 2017-04-06 富士通株式会社 製造状態表示システム、製造状態表示方法および製造状態表示プログラム
JP6304293B2 (ja) * 2016-03-23 2018-04-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR102314370B1 (ko) * 2017-05-17 2021-10-19 엘지전자 주식회사 이동 단말기
EP3701355A1 (en) * 2017-10-23 2020-09-02 Koninklijke Philips N.V. Self-expanding augmented reality-based service instructions library
US11074292B2 (en) * 2017-12-29 2021-07-27 Realwear, Inc. Voice tagging of video while recording
CN108322831A (zh) * 2018-02-28 2018-07-24 广东美晨通讯有限公司 视频播放控制方法、移动终端及计算机可读存储介质
US10796153B2 (en) * 2018-03-12 2020-10-06 International Business Machines Corporation System for maintenance and repair using augmented reality
JP6965844B2 (ja) 2018-08-08 2021-11-10 オムロン株式会社 制御システム、解析装置および制御方法
JP7564609B2 (ja) 2018-09-11 2024-10-09 株式会社小松製作所 端末装置、作業車両システム、情報処理方法、およびサーバ装置
US11209795B2 (en) * 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
US11442609B1 (en) * 2020-04-08 2022-09-13 Gopro, Inc. Interface for setting speed and direction of video playback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028046A (ja) * 1999-07-15 2001-01-30 Sharp Corp 画像認識装置
JP2016004179A (ja) * 2014-06-18 2016-01-12 株式会社アーテック 授業支援システム
JP2016144846A (ja) 2015-02-09 2016-08-12 株式会社日立製作所 組立ナビゲーションシステム及び組立ナビゲーション方法
JP2019176423A (ja) * 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
JP2020052664A (ja) * 2018-09-26 2020-04-02 キヤノン株式会社 作業管理装置、その制御方法、およびプログラム
JP2020084910A (ja) 2018-11-28 2020-06-04 マツダ株式会社 エンジンの制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4152242A4

Also Published As

Publication number Publication date
US12100424B2 (en) 2024-09-24
JP2022043130A (ja) 2022-03-15
US20230186952A1 (en) 2023-06-15
CN115552913A (zh) 2022-12-30
EP4152242A4 (en) 2023-11-08
JP6997996B2 (ja) 2022-01-18
JP2021180408A (ja) 2021-11-18
JP7389423B2 (ja) 2023-11-30
EP4152242A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
JP7389423B2 (ja) 情報処理方法、情報処理装置、プログラム、及び情報処理システム
JP7052062B2 (ja) ナレッジ情報抽出システムおよびナレッジ情報抽出方法
KR20210040882A (ko) 동영상을 생성하기 위한 방법 및 장치
CN115858049B (zh) Rpa流程组件化编排方法、装置、设备和介质
US12531922B2 (en) Method and processing unit for creating and rendering synchronized content for content rendering environment
CN117939190A (zh) 生成带配乐的视频内容、音乐内容的方法及电子设备
CN115499610B (zh) 视频生成方法、视频生成装置、电子设备和存储介质
CN118781239A (zh) 一种动态说话人脸生成方法、装置、设备及其存储介质
JP2021037117A (ja) 処理システム及びプログラム
JP4326753B2 (ja) 映像情報インデキシング支援システム、プログラム及び記憶媒体
CN115633195A (zh) 一种数据安全保护方法、装置、计算机设备及存储介质
US10979777B2 (en) Processing system for performing reverse video content output generation
CN114116290A (zh) 存储系统的故障定位方法及装置
TWI775232B (zh) 用於製作基於擴增實境的影音教材的系統和方法
US20260018081A1 (en) Information processing system, information processing method, and non-transitory computer-readable storage medium storing information processing program
JP4041316B2 (ja) 映像編集再生システムおよびコンピュータプログラム
JP4549325B2 (ja) 映像情報インデキシング支援装置、プログラム及び記憶媒体
EP3598742B1 (en) Recording device and recording method
CN118474455A (zh) 一种自动生成视频并循环播放演示的方法、系统及介质
CN120956848A (zh) 回溯方法、装置、计算机设备、可读存储介质和程序产品
CN121864927A (zh) 图像处理方法及其装置
CN118778862A (zh) 基于图文操作示范下流程的创建方法以及设备
CN121527742A (zh) 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN116863955A (zh) 一种基于音视频运维的疲劳状态的检测方法、装置及系统
WO2024154303A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803455

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202217069675

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021803455

Country of ref document: EP

Effective date: 20221214

WWG Wipo information: grant in national office

Ref document number: 202217069675

Country of ref document: IN