WO2020003545A1 - コンテンツ作成システム - Google Patents

コンテンツ作成システム Download PDF

Info

Publication number
WO2020003545A1
WO2020003545A1 PCT/JP2018/031352 JP2018031352W WO2020003545A1 WO 2020003545 A1 WO2020003545 A1 WO 2020003545A1 JP 2018031352 W JP2018031352 W JP 2018031352W WO 2020003545 A1 WO2020003545 A1 WO 2020003545A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
information
content
dimensional
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/031352
Other languages
English (en)
French (fr)
Inventor
貴之 藤原
慎太郎 土屋
健太郎 大西
克朗 菊地
賀仁 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to US16/626,014 priority Critical patent/US12051340B2/en
Priority to EP18923949.4A priority patent/EP3637330B1/en
Priority to EP22201336.9A priority patent/EP4138006B1/en
Publication of WO2020003545A1 publication Critical patent/WO2020003545A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching program in response to a wrong answer, e.g. repeating the question or supplying a further explanation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a content creation system, and more particularly, to a content creation system that creates training content including 3DCG for executing a simulation work.
  • a worker performing maintenance work, etc. attaches or carries an information terminal capable of acquiring images, sounds, and the like, and works from the management server on contents such as images and sounds that support the work of the worker.
  • a system for transmitting and presenting support information is known.
  • the work support system recognizes the work target and the work situation based on the sensor information from the information terminal device on the worker side according to the above-described rule, and provides the work support information corresponding to the recognition result.
  • the information is transmitted and output to the information terminal device on the user side.
  • the work support system can be used as a training system that allows a worker to perform a simulated work to acquire and master maintenance work and the like, but in such a case, the know-how of a skilled person is used in a training manual. And precautionary statements, and standards for evaluating the results of the training were not included.
  • An object of the present invention is to provide a content creation system that can contribute to reduction of the number of creation steps and can create content that can be effectively used for training result determination.
  • the content creation system of the present invention presents training content based on the information on the three-dimensional shape of the work target device and the work procedure to the trainee (R2), and performs simulation work of virtual reality or augmented reality.
  • a content creation system for creating training content to be executed a motion measuring device (1) for acquiring, as measurement information, a three-dimensional work motion of a model worker (R1) executing the work of the work procedure;
  • An evaluation criterion creation device (2) for creating evaluation criterion information for the work in the work procedure based on the measurement information of the three-dimensional work movement, and measurement information of the three-dimensional work movement, the evaluation criterion information, and the work target device
  • the work motion in a specific stage of the work procedure for the three-dimensional shape included in the presentation information is grasped as the three-dimensional distance information, Based on the distance information, evaluation criterion information on the work of the trainee in the predetermined work procedure based on the measurement information of the three-dimensional work motion is created.
  • the evaluation criterion creation device may be configured to detect the predetermined body movement of the model worker as a change in voice information or image information or a change in three-dimensional measurement information. it can.
  • the evaluation criterion creation device when detecting the predetermined body movement of the model worker, converts the work movement in the specific stage into a three-dimensional region of the specific attention site of the model worker. Monitoring as measurement information including the displacement and the time of the movement. Further, the content generation device may be configured to, when the predetermined physical movement of the model worker is detected, update the training content so that the work operation at the specific stage can be evaluated by the evaluation criterion information. You can also.
  • the content presentation system presents training content based on the three-dimensional shape information of the work target device and the work procedure to the trainee (R2), and follows the work procedure in a virtual or augmented reality simulated work space.
  • a content presentation system for executing a simulation work comprising: a storage unit (46) for storing the training content including the three-dimensional shape information; and an output unit (43) for outputting the training content to the trainee so as to be presented.
  • a content output device (4) having the three-dimensional operation of the model worker performing the operation in advance as measurement information, and based on distance information of the three-dimensional operation with respect to the three-dimensional shape,
  • An evaluation criterion creation device (2) for creating evaluation criterion information for a work operation at a specific stage in the work;
  • a work evaluation device (44) that acquires the three-dimensional work operation of the specific stage as the measurement information, evaluates the three-dimensional work operation of the specific stage during the simulation work based on the evaluation criterion information, and outputs the result of the evaluation as information. , 45).
  • the work operation at a specific stage important in the work procedure is clarified as three-dimensional operation information, and the beginning and the time of the work operation at the specific stage can be grasped.
  • the trainee can accurately judge the trainee's simulated work movements based on the evaluation criterion information for the work movements at the specific stage where the know-how and danger avoidance techniques possessed by the model workers appear, and train the training content.
  • a content presentation system that can be effectively used for determining the result is provided.
  • ADVANTAGE OF THE INVENTION According to this invention, important work operation
  • a content creation system capable of creating content that can be effectively used can be provided.
  • FIG. 1 is a schematic block diagram showing the overall configuration of a manual content presentation system including a content creation system according to an embodiment of the present invention.
  • 1 is a schematic block configuration diagram of an information terminal on a worker side in a manual content presentation system according to an embodiment of the present invention.
  • FIG. 2 is a schematic block configuration diagram of a work management server in the manual content presentation system according to one embodiment of the present invention. It is a schematic block configuration diagram of a training management server in a manual contents presentation system concerning one embodiment of the present invention. It is a schematic block configuration diagram of an information terminal of a trainee side in a manual contents presentation system concerning one embodiment of the present invention.
  • FIG. 1 is a schematic block diagram showing the overall configuration of a manual content presentation system including a content creation system according to an embodiment of the present invention.
  • 1 is a schematic block configuration diagram of an information terminal on a worker side in a manual content presentation system according to an embodiment of the present invention.
  • FIG. 2 is a schematic block configuration diagram of a work management server
  • FIG. 11 is an explanatory diagram of progress table contents indicating the progress of a plurality of works managed by the work management server in the manual content presentation system according to one embodiment of the present invention.
  • FIG. 6 is an explanatory diagram of a procedure table content exemplifying a content data material to be presented to a trainee including a report from a skilled person at each stage of the first procedure among the plurality of tasks shown in FIG. It is.
  • FIG. 8 is an explanatory diagram of a measurement data sheet for collecting the content data material shown in FIG. 7 from a skilled person.
  • a manual content presentation system when a skilled worker performs a work operation of a specific stage in accordance with a work procedure with a predetermined physical movement according to a work instruction from a work management server, and records the work operation. It is a sequence diagram showing a processing procedure.
  • the training content is distributed from the training management server to the training support terminal, and the execution of each stage of the work operation in accordance with the work procedure and the training result of the specific stage of the work operation are performed.
  • FIG. 9 is a sequence diagram showing a processing procedure in the case of performing the judgment processing of and performing the update processing of the training manual selectively on the training result. Description of a display screen when a training content is delivered from a training management server to a training support terminal in a manual content presentation system according to an embodiment of the present invention, and a work operation at a specific stage in a work procedure and a determination process thereof are executed. It is an explanatory view showing an example of a message display in a training support terminal.
  • FIGS. 9 to 12 show contents creation in the manual content presentation system according to one embodiment.
  • 3 shows a schematic processing procedure.
  • a manual content presentation system including the content creation system of the present embodiment includes a work information collection terminal 1 arranged on a work site so that information can be input, and a progress of work on the work site.
  • the work information collection terminal 1 is composed of, for example, an information terminal capable of presenting information to a worker who performs maintenance work on a system, equipment, or device to be maintained and managed, for example, a head-mounted display that is a wearable terminal.
  • the work information collection terminal 1 includes a sound acquisition unit 11 a and a video acquisition unit 11 b capable of acquiring physical information and a work operation of a worker as audio information and video information, and acquisition information of the video acquisition unit 11 b.
  • a control unit 14 having a microcomputer configuration and bus-connected to the units 11a, 11b, and 12.
  • the work information collecting terminal 1 also includes a memory 15 such as a RAM, a ROM, and a flash memory; a storage 16 such as an SSD (Solid State Drive); a communication unit 17 capable of local or wide area wireless communication;
  • the terminal 1 includes a power supply unit 18 for supplying power to each unit, and a bus 19 for connecting the power supply units 18 to each other so as to enable information communication.
  • the image acquisition unit 11b has a three-dimensional camera or a plurality of cameras capable of acquiring an image of the visual field as 3D CG, and has a function of photographing and visualizing the location of a maintenance work or a hand so that the position can be measured. ing.
  • the display unit 13 may be a non-transmissive type that is arranged in a part of the field of view.
  • the communication unit 17 has a function of transmitting and outputting a video signal being displayed and audio acquired by the microphone of the audio acquisition unit 11a to the outside by a predetermined transmission method.
  • the memory 15 includes a plurality of control programs for storing measurement information from the audio acquisition unit 11a and the video acquisition unit 11b for performing predetermined operation measurement processing as operation information, a communication processing program for processing data transmitted and received by the communication unit 17, Are stored, and an audio recording processing unit 15a, a video recording processing unit 15b, an operation recording processing unit 15c, and an information transmission / reception processing unit 15d are configured as functional units according to the control programs.
  • the storage 16 has a built-in control program for exhibiting a database function.
  • the function of the control program allows the work information recording database 16a to store various work information input via the communication unit 17,
  • a work operation record database 16b for recording work information processed by each of the 15 recording processing units 15a to 15c in association with a work time is configured.
  • the work management server 2 includes a display unit 23 that can superimpose and display a maintenance work area from the work information collection terminal 1 and necessary support information, a control unit 24 that controls the entire server, A memory 25, a storage 26, a communication unit 27 capable of local or wide area wireless communication, a power supply unit 28 for supplying power to each unit of the work management server 2, and a bus connecting these to each other so as to enable information communication. 29.
  • a plurality of control programs are stored in the memory 25 and the storage 26.
  • the control unit 24 cooperates with the audio acquisition unit 11a, the video acquisition unit 11b, and the memory 15 of the work information collection terminal 1 to
  • the maintenance work area corresponding to the one visual field area is recognized as 3DCG and voice information, and as described above, the three-dimensional work operation of the model worker R1 such as a skilled worker performing the work of the predetermined work procedure is measured information. It functions as a motion measuring device that acquires the information as
  • a plurality of control programs are stored in the memory 25 and the storage 26, and the memory 25 is obtained from the work information collection terminal 1 as a functional unit based on the control programs cooperating with the control unit 24.
  • An image recognition processing unit 25a and a voice recognition processing unit 25b capable of recognizing a maintenance work area and a worker's physical information and work operation as 3DCG information and voice information, respectively, and a video acquisition unit 11b of the work information collection terminal 1.
  • An information superimposition processing unit 25c for executing a process of superimposing and displaying a marker display and other necessary support information in the visual field region recognized by the image recognition processing unit 25a, and a video information acquired by the video acquisition unit 11b from the work information collection terminal 1.
  • the necessary support information to be received or superimposed on the visual field of the work information collection terminal 1 is transmitted to the work information collection terminal 1.
  • the storage 26 includes a work information management database 26a that manages information on the three-dimensional shape of the work target device and various kinds of work information for creating training contents based on work procedures, and a work instruction content creation processing unit 25e.
  • a work procedure management database 26b that manages a work procedure corresponding to the created work instruction content as a part of the manual content, and physical information and each work operation recognized by the image recognition processing unit 25a and the voice recognition processing unit 25b.
  • a work operation record database 26c for recording dimension information and the like together with time information.
  • the work information management database 26a of the storage 26 includes, for example, information of a worker who performs the maintenance and inspection work, identification information of a device that performs the maintenance and inspection work, maintenance schedule information including the date and time of the maintenance and inspection work, and maintenance and inspection work. At least maintenance and inspection information indicating the contents of the information is recorded.
  • the control unit 24 of the work management server 2 includes the 3DCG and the voice of the maintenance work area recognized by the image recognition processing unit 25a and the voice recognition processing unit 25b, and the 3DCG and the voice of the worker's physical information and the work operation on the work target. It is determined whether or not each stage of the work procedure is a specific stage that requires an evaluation determination based on the above, and the three-dimensional work operation of the specific stage is performed based on the operator's line of sight and arms (neck, hand, finger, foot).
  • the work object (a fixed work object or a movable work object can be movably supported) based on the movement of a feature point to which a marker is attached, etc. It can be measured as the relative movement with respect to the work object) and the work time accompanying the movement.
  • the control unit 24 of the work management server 2 also detects a predetermined body movement of the model worker R1 such as a skilled worker through the work information collection terminal 1 as at least one of a line of sight, a sound, and a three-dimensional movement. Then, as a change in voice information or visual field image information or a change in three-dimensional measurement information following the predetermined operation before or after the predetermined operation, a work operation at a specific stage in a predetermined work procedure is detected. ing. Then, the control unit 24 creates the evaluation criteria for the above-described specific-stage work operation based on the measurement information of the three-dimensional work operation via the work information collection terminal 1.
  • the predetermined body movement referred to here is, for example, a body movement in which a skilled person performing a model work makes a word or a voice such as “Be careful here” or “Here is an important work”. May include gestures, such as pointed by, or a signal that signals a particular stage.
  • the predetermined physical movement may include an operation that signals the end of the specific stage when the work operation in the specific stage of the work procedure ends.
  • the work time of the work operation at the specific stage is set in advance as the work time required for the work operation corresponding to the model work at the stage.
  • the evaluation criteria of the work operation at the specific stage are, for the work operation for the work target device in the virtual or augmented reality simulated work space, which is a training work, for example, a viewpoint position, an arm movement position, and a feature point.
  • the position and the like of the marker are set such that the closer they are to the model worker R1 such as a skilled worker during the work operation, the higher the evaluation is.
  • this evaluation criterion is to compare the work operation position for each equal division time during the required time of the work operation at the specific stage between the model worker R1 and the trainee R2, and to determine the time required for the work operation at the specific stage. Compare the length, add a weight to the measured value corresponding to the difference between the two work motion positions, or use a motion sensor or biometric sensor that can be detected by the motion sensor or biological sensor during the time required for the work motion at a specific stage. It is also set by comparing the body movements.
  • the work instruction content creation processing unit 25e Based on the work-related information, work procedure information, and work operation record information accumulated in the storage 26, the work instruction content creation processing unit 25e adds, in addition to the model manual work, model work, its know-how, and points to be noted, The work instruction content including the evaluation criteria of the work operation at the specific stage is created.
  • the work management server 2 of the present embodiment configured as described above functions as an evaluation criterion creation device according to the present invention, and when detecting a predetermined physical movement of the model worker R1, performs the work operation at a specific stage. This can be monitored as measurement information including the three-dimensional displacement and time of a specific attention site of the exemplary worker.
  • the work instruction content created by the work instruction content creation processing unit 25e of the work management server 2 is transmitted to the training management server 3 via the information transmission / reception processing unit 25d.
  • the training management server 3 includes a display unit 33 capable of displaying the work instruction content from the work management server 2 on a screen, a control unit 34 for controlling training management, a memory 35, 36, a communication unit 37 capable of local or wide area wireless communication, a power supply unit 38 for supplying power to each unit of the work management server 2, and a bus 39 for connecting these to each other for information communication. ing.
  • the training support terminal 4 performs a work procedure based on the acquired information of the audio acquisition unit 41a and the video acquisition unit 41b, which can acquire the physical information and work operation of the trainee as audio information and video information, and the video acquisition unit 41b.
  • An operation acquisition unit 42 that acquires a proper work operation as three-dimensional information
  • a display unit 43 that can superimpose a virtual 3DCG on a transmission screen, for example, and acquisition units 41a, 41b, and 42 of these information.
  • a control unit 44 of a microcomputer connected to a bus.
  • the video acquisition unit 41b of the training support terminal 4 has a three-dimensional camera or a plurality of cameras that can acquire an image of the visual field area as 3D CG, and photographs and visualizes the site and hand of the maintenance work area in a position-measurable manner. Has a function.
  • the display unit 43 may be a non-transmissive type that is disposed in a part of the field of view.
  • the training support terminal 4 supplies power to the memory 45 such as a RAM, a ROM, and a flash memory, a storage 46 such as an SSD, a communication unit 47 capable of local or wide area wireless communication, and power to each unit of the training support terminal 4. It has a power supply section 48 for supplying power and a bus 49 for connecting the power supply sections 48 so that they can communicate with each other.
  • the communication unit 47 has a function of transmitting and outputting a video signal being displayed and audio acquired by the microphone of the audio acquisition unit 41a to the outside by a predetermined transmission method.
  • a plurality of control programs are stored in the memory 35 and the storage 36 of the training management server 3, and the training management server 3 uses the control programs in cooperation with the control unit 34 to provide training support.
  • the maintenance work area corresponding to the visual field area of the terminal 4 is recognized as 3DCG and voice information, and the work area in the recognized visual field area or one of the recognized work areas is displayed on the display unit 33 based on the work instruction content from the work management server 2.
  • the work support information is superimposed on the section.
  • the training management server 3 uses these control programs in cooperation with the control unit 34 to set the target position, which is the three-dimensional work operation position of the model worker, for the viewpoint position, arm operation position, feature point position, and the like.
  • the target position which is the three-dimensional work operation position of the model worker
  • the viewpoint position for the viewpoint position, arm operation position, feature point position, and the like.
  • the point of interest of the work operation corresponding to the trainee R2 approaches within a certain distance range of each target position, for example, the next target point for each of the above-mentioned equal division times is displayed. I do.
  • the operation speed of the immediately preceding work operation is evaluated, the difference between each point of interest during the operation and that of the corresponding model worker is detected, and the work evaluation is performed based on the evaluation criteria.
  • the determination process is performed such that the smaller the time and space deviation from the evaluation reference for each predetermined work operation is, the higher the evaluation value is.
  • Such an evaluation may be based on only the length of the operation time of the specific stage depending on the content of the operation of the specific stage such as the content of the maintenance operation.
  • a plurality of control programs are stored in the memory 35 and the storage 36 of the training management server 3, and the memory 35 is, for example, a functional unit based on the control programs cooperating with the control unit 34.
  • the contents of the work instruction contents from the work management server 2, for example, the work operation at a specific stage in the model work, are added to the existing training manual contents of the predetermined work procedure including the device identification information, the maintenance schedule information, the maintenance inspection information, and the like. It has a generation unit 35a that generates manual content reflecting work time and the like.
  • the memory 35 also transmits manual contents to the training support terminal 4 and stores information such as 3DCG and voice of work operation acquired by the training support terminal 4 as a functional unit based on those control programs in cooperation with the control unit 34.
  • a work instruction content creation processing unit 35e for updating or correcting the content.
  • the storage 36 stores, for example, a work procedure corresponding to the work instruction content created, updated, or corrected by the work instruction content creation processing unit 35e as one of the manual contents. It has a work procedure management database 36b managed as a unit, and a work operation record database 36c that records physical information recognized by the training support terminal 4, three-dimensional information of each work operation, and the like together with time information.
  • the training management server 3 of the present embodiment configured as described above functions as the content generation device according to the present invention, and when a predetermined physical movement of the model worker R1 is detected, the training content is transferred to the work in the specific stage.
  • the operation can be updated so that it can be evaluated based on the evaluation reference information.
  • the training support terminal 4 has a plurality of man-machine interfaces for storing measurement information during training as motion information and for determining the degree of proficiency of a specific work motion during training based on the aforementioned evaluation criteria. And a plurality of control programs, etc., are stored in the training support terminal 4 by these functions, as shown in FIG. 5, the audio recording processing unit 45a and the video recording processing unit 45b. , An operation recording processing unit 45c, an information transmission / reception processing unit 45d, a soundness determination processing unit 45f, a video determination processing unit 45g, and an operation determination processing unit 45h.
  • the voice acquisition unit 41a and the video acquisition unit 41b of the training support terminal 4 have a function of acquiring a body motion and a work motion during the training work of the trainee as a voice and a three-dimensional image.
  • the movement of the arm, the movement of the feature point, etc. are measured.
  • the operation recording processing unit 45c specifies a work operation at each stage from the video and audio information acquired by the audio acquisition unit 41a and the video acquisition unit 41b in accordance with the operation procedure specified in the manual content.
  • the information transmission / reception processing unit 45d transmits information acquired by the audio acquisition unit 41a, the video acquisition unit 41b, and the operation recording processing unit 45c to the training management server 3, and receives manual content and its update information from the training management server 3. Or you can.
  • the audio determination processing unit 45f, the video determination processing unit 45g, and the operation determination processing unit 45h determine whether the video recorded by the recording processing units 45a to 45c of the memory 45 is Based on information such as voice, it has a function of specifying a work operation at each stage of the work procedure specified in the manual content, and performing a judgment evaluation related to the work time of the specific stage work operation. .
  • the evaluation method of the work operation is as described above.
  • the storage 46 has a built-in control program for exerting a database function, and the function of the control program stores a variety of information related to the training of the trainee input via the communication unit 47.
  • the training operation record database 46c is configured to record the determination results of the recording processing units 45a to 45c and the determination units 45f to 45h of the memory 45 in association with the work time.
  • the scheduled execution dates, start and end times of the plurality of works, the corresponding work names, and the results thereof are shown together with the index numbers in the scheduled work order.
  • the first work of the work is the completed work of “Index 1 and the replacement of the electric circuit” of Index1
  • the next work is the ongoing work of “Index and control of the air conditioning and replacement of the base” of Index 2
  • the following work Is a work that has not been implemented for Index3: “Air conditioning centralized control unit, wiring inspection”.
  • the procedure table content shown in FIG. 7 exemplifies a procedure corresponding to the first work of the progress table content shown in FIG. 6, and the Index of each stage of the work procedure is indicated by a number, and the work operation in a plurality of stages is performed.
  • the work name of the work is displayed, and the work operation of each stage is shown as a procedure together with the corresponding content data material.
  • the training support terminal 4 displays a picture (item.jpg) or 3DCG (item.fbx) for identifying a work target area or a work target during the index 1 work operation.
  • An explanation display (manual_1.txt) is displayed on the precautions in the work operation and the like.
  • the work information collection terminal 1 when creating the training manual content accompanied by the information presentation as exemplified above, before or during the creation of the manual content incorporating the work procedure, the work information collection terminal 1 Have a skilled worker wearing a model perform a model work according to a predetermined work procedure, specify at least a work operation of a specific stage at which the expert's know-how should be utilized or alerted, and the work operation of the specific stage should be performed. Acquires information on the work operation of the model work, which is an evaluation criterion for.
  • FIG. 8 shows a measurement data sheet of the content data material when collecting information on such a model work.
  • Measurement data including a line-of-sight change, a change in arm movement, a change in a feature point to be noted, and a change in voice with respect to an object are collected in association with the respective measurement start or end time information.
  • a viewpoint monitoring technique using an eye camera for example, see Table 2016/002056
  • a technique of mapping a difference between measured values onto a three-dimensional space for example, see Japanese Patent Application Laid-Open No. 2018-10630
  • the line-of-sight change (in FIG. 8, start_eye.csv) is, for example, a change in the angle of the line-of-sight direction with respect to the center direction of the visual field image of the work information collecting terminal 1 and the work information collecting terminal based on a fixed object in the work target area. 1, which may include the angle of the visual field image center direction itself and the change in the viewpoint position, and are measured at the start of the work in each work period or at the start of the work and the work operation position for each of the above-mentioned equal division times.
  • a change in arm motion (start_arm.csv in FIG. 8) and a change in feature point (start_featurepoint.csv in FIG. 8) can be performed by various known motion analysis methods (for example, see Japanese Unexamined Patent Publication No. 2015/189994). Can be measured.
  • the content creation system of the present embodiment that performs three-dimensional work operation measurement creates evaluation criterion information for work in a work procedure based on measurement information of three-dimensional work operation via the work information collection terminal 1.
  • Management server 2 that functions as an evaluation criterion creating device, and a content creating device that creates and updates training content based on measurement information of three-dimensional work operation, evaluation criterion information, and information on the three-dimensional shape of the work target device.
  • the work management server 2 as an evaluation criterion creating device includes at least a predetermined line-of-sight change, a voice change, and a three-dimensional work operation, which are predetermined body movements of the model worker R1.
  • the content presentation system of the present embodiment using the training content created by the content creation system of the present embodiment presents the training content based on the three-dimensional shape information of the work target device and the work procedure to the trainee R2,
  • a simulation work is executed in a virtual or augmented reality simulation work space in accordance with a work procedure.
  • the storage 46 for storing training contents including three-dimensional shape information and the training contents are output so as to be presented to the trainee R2.
  • the three-dimensional movement of the three-dimensional operation of the work object is obtained as measurement information by acquiring the three-dimensional movement of the work of the model worker R1 that preliminarily performs the work in accordance with the work procedure with the phrase support terminal 4 having the display unit 43 that performs the work.
  • a work management service that creates evaluation criterion information for work operations at a specific stage in a series of works based on distance information of work operations.
  • the three-dimensional work operation during the simulation work for training of the trainer R2 and the trainee R2 is acquired as measurement information, and the three-dimensional work operation at a specific stage during the simulation work is evaluated based on the aforementioned evaluation criterion information.
  • a control unit 44 and a memory 45 are provided as a work evaluation device that outputs the result of the evaluation as information.
  • a work instruction for collecting information on a model work is issued from the work management server 2 to the work information collection terminal 1 (step S11).
  • the start of work recording is detected on the work information collection terminal 1 side (Yes in step S21)
  • the activity information of the worker according to the work procedure is recorded in the storage 16 of the work information collection terminal 1 (step S21). S22).
  • step S23 when it is detected by operation analysis, switch operation input, voice input, or the like that the recording of the work operation at each stage has been completed from the time point at which the start of the work record is detected (Yes in step S23), the work record is recorded.
  • the information is transmitted from the work information collection terminal 1 to the work management server 2 (step S24), and stored as a work operation record in the storage 26 of the work management server 2 (step S12).
  • step S31 when the work operation record is distributed from the work management server 2 to the training management server 3 (step S31), the existing manual recorded in the storage 36 of the training management server 3 is read (step S31).
  • step S41 the contents of the work instruction content from the work management server 2 are reflected in the items described in the existing training manual contents, that is, in addition to the model work, its know-how, points to be noted, and the like, the work of the specific stage described above.
  • Manual content including the operation evaluation criteria is generated by the generation unit 35a of the training management server 3 (step S42).
  • the generated manual content is displayed on the display unit 33 of the training management server 3 or further on the display unit 23 of the work management server 2 (step S43), and when the change is approved by the administrator as the user ( If Yes in step S44), the generated manual content is stored in the storage 36 (step S45).
  • step S51 when the training content is distributed from the training management server 3 to the training support terminal 4 (step S51), the training content is started to be executed in the training support terminal 4, and each of the training contents according to the work procedure is started.
  • the work operation of the stage is presented to the trainee in a perceptible manner together with the support information.
  • step S63 when the training support screen for executing the work operation in the specific stage of the work procedure is reached (Yes in step S62), a determination process based on the evaluation criteria for the work operation in the specific stage is executed (step S63).
  • step S64 when the training support screen for executing the work operation at the specific stage in the work procedure ends (Yes in step S64), the training result is stored (step S65), and the training result is transmitted from the training support terminal 4. It is transmitted to the training management server 3 (step S66).
  • the training management server 3 updates the training result information so as to include at least the training result information.
  • the process is executed (Step S52).
  • a message and a voice message indicating “Start training. Attach necessary sensors.” are displayed in advance at the training support terminal 4.
  • the determination result display on the arm movement, the gaze movement, and the like is displayed on the training support terminal 4. The screen is displayed.
  • a predetermined body movement of the model worker R1 when a predetermined body movement of the model worker R1 is detected, for example, a voice saying “This is an important work”, the work movement at a specific stage is performed as the three-dimensional distance information as work time. Based on the distance information, evaluation criterion information on the work of the trainee R2 in a predetermined work procedure based on the measurement information of the three-dimensional work motion is created.
  • the body movements to be measured to grasp the beginning and the time of a particular stage important in the work procedure should be set as, for example, a voice uttering a specific word, a hand movement, a change in a line of sight, a movement of a neck, etc.
  • a content creation system that can create training content that can be effectively used for determining training results based on the evaluation criterion information is provided.
  • the work management server 2 as the evaluation criterion creation device detects a predetermined body movement of the model worker as a change in voice information or image information or a change in three-dimensional measurement information. Therefore, accurate measurement information of important or noteworthy work operations during the model work can be obtained in a timely and accurate manner from the line of sight, speech, hand movements, etc. of the model worker R1 such as a skilled worker. As a result, the number of man-hours required for the specification can be reliably reduced, and effective evaluation criterion information can be created.
  • the work operation at a specific stage that is important in the work procedure is clarified as three-dimensional operation information, and The beginning and time of the work operation can be grasped, and the work operation at a specific stage in which the know-how possessed by the model worker R1 and the method of avoiding danger appear is evaluated while quantitatively grasping the simulated work operation of the trainee R2. Accurate judgment can be made based on the reference information, and the training content can be effectively used for judging the training result.
  • the work management server 2 of the present embodiment pre-stores the existing manual content, and immediately after detecting a specific physical movement, performs a specific work operation of a model work, which is an expert of a field work, by using its voice. , Movement, line of sight, etc., but a training manual or a pre-training manual is prepared based on the recorded information from the work information collection terminal 1 at each stage which is input from a state where there is no existing manual content. Can also be created.
  • the content generation apparatus may convert the existing training content into a work criterion of a specific stage in the work procedure.
  • the information can be updated so that it can be evaluated.
  • the training support terminal 4 compares the work operations of the trainee and the model worker only for the work operation at a specific stage when performing the manual content, and determines the work ability based on the training result. Needless to say, it is possible to make a pass / fail judgment based on an evaluation judgment criterion for a work operation at a specific stage, and to judge the result of the entire training by simulated work.
  • a training manual can be created and updated by using the work of a skilled person as a criterion of the degree of mastery, and the manual creation cost can be reduced, and know-how that has not been written can be clarified.
  • the present invention provides a content creation system that can easily and surely reflect important work operations in the model work and evaluation criteria thereof in training content, and contribute to a reduction in content creation man-hours.
  • a content creation system capable of creating content that can be effectively used for training result determination.
  • the present invention as described above is generally useful for a content creation system that creates training content including 3DCG for executing a simulation work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Manufacturing & Machinery (AREA)

Abstract

重要な作業動作やその評価基準を作業支援可能な訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供するため、作業手順の作業を実行する模範作業者Ｒ１の３次元作業動作を測定情報として取得する作業情報収集端末１と、３次元作業動作の測定情報に基づいて作業手順の作業についての評価基準情報を作成する作業管理サーバ２と、３次元作業動作の測定情報および評価基準情報および作業対象機器の３次元形状の情報に基づいて訓練用コンテンツを作成し更新する訓練管理サーバ３と、を備え、作業管理サーバ２は、模範作業者Ｒ１の所定の身体動作が検出されたことを条件に、３次元形状に対する作業手順の特定段階の３次元作業動作の距離情報に基づいて評価基準情報を作成する。

Description

コンテンツ作成システム
　本発明は、コンテンツ作成システムに関し、特に模擬作業を実行させるための３ＤＣＧを含む訓練用コンテンツを作成するコンテンツ作成システムに関する。
　保守作業等を行う作業者に、画像や音声等の取得が可能な情報端末を装着したり携帯したりさせながら、その作業者の作業を支援する画像や音声等のコンテンツを、管理サーバから作業支援情報として送信し、提示するシステムが知られている。
　そのような作業支援情報としてのコンテンツは、通常、作業の手順や注意事項等を記述したマニュアルに基づいて作成されており、従来、例えばそのマニュアルに含まれる用語や見出し、項目、表、図、画像その他の要素を関連付けて作業対象や作業状況の判定条件をルール化したものが知られている（例えば、特許文献１参照）。
　この場合、作業支援システムは、前述のルールに則し、作業者側の情報端末デバイスからのセンサ情報に基づいて作業対象や作業状況を認識して、その認識結果に対応する作業支援情報を作業者側の情報端末デバイスに送信出力するようになっている。
特許第６３２１８７９号
　しかしながら、前述のような従来のコンテンツ作成を行う作業支援システムにおいては、マニュアルが存在しない機器の保守作業等について、熟練者の模範的な作業動作をマニュアル化したいような場合には、その熟練者へのインタビュー、作業対象物や作業者の写真、作業動作やその説明の映像等から、作業上重要な情報を把握して、マニュアルコンテンツを作成する必要があり、コンテンツ作成に工数がかかるという問題があった。
　また、作業支援システムを、作業者に模擬作業を実行させて保守作業等の習得や習熟を図る訓練システムとして利用することができるが、そのような場合に、訓練用のマニュアルに熟練者のノウハウや注意事項を的確に盛り込んだり、その訓練の成果を評価する基準を盛り込んだりすることができていなかった。
　本発明は、前述のような従来の課題を解決すべく、熟練者等による模範作業のうち重要な作業動作やその評価基準を作業支援可能な訓練用コンテンツに容易にかつ確実に反映でき、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することを目的とする。
　本発明のコンテンツ作成システムは、上記目的達成のため、作業対象機器の３次元形状の情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業を実行させる訓練用コンテンツを作成するコンテンツ作成システムであって、前記作業手順の作業を実行する模範作業者（Ｒ１）の３次元作業動作を測定情報として取得する動作測定装置（１）と、前記３次元作業動作の測定情報に基づいて前記作業手順の作業についての評価基準情報を作成する評価基準作成装置（２）と、前記３次元作業動作の測定情報および前記評価基準情報および前記作業対象機器の３次元形状の情報に基づいて前記訓練用コンテンツを作成し更新するコンテンツ作成装置（３）と、を備え、前記評価基準作成装置は、前記模範作業者の所定の身体動作が検出されたことを条件に、前記３次元形状に対する前記作業手順の特定段階の３次元作業動作の距離情報に基づいて、前記評価基準情報を作成することを特徴とする。
　この構成により、本発明では、模範作業者の所定の身体動作が検出されると、提示情報に含まれる３次元形状に対する作業手順の特定段階の作業動作がその３次元の距離情報として把握され、その距離情報に基づいて、３次元作業動作の測定情報に基づく訓練者の所定の作業手順の作業についての評価基準情報が作成される。したがって、作業手順上で重要な特定段階の始期やその時間を把握するために測定する身体動作を設定することで、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作が自動的に定量的に把握可能となり、重要な作業動作の明確化によりコンテンツ作成工数の削減に貢献でき、しかも評価基準情報により訓練結果の判定にも有効活用可能な訓練用コンテンツを作成できるコンテンツ作成システムとなる。
　本発明のコンテンツ作成システムにおいては、前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を、音声情報または画像情報の変化または３次元測定情報の変化として検出する構成とすることができる。
　このようにすると、模範作業中の重要なあるいは注意すべき作業動作の的確な測定情報を熟練者等の模範作業者の視線や発言、手先の動き等から適時に精度良く取得でき、重要な作業動作の特定に要する工数が確実に削減されるとともに、その効果的な評価基準情報の作成が可能なものとなる。
　本発明のコンテンツ作成システムにおいて、前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を検出したとき、前記特定段階の作業動作を、前記模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタするものとすることができる。また、前記コンテンツ生成装置は、前記模範作業者の前記所定の身体動作が検出されたとき、前記訓練用コンテンツを前記特定段階の作業動作について前記評価基準情報により評価可能に更新する構成とすることもできる。
　本発明に係るコンテンツ提示システムは、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って模擬作業を実行させるコンテンツ提示システムであって、前記３次元形状情報を含む前記訓練用コンテンツを記憶する記憶部（４６）および前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部（４３）を有するコンテンツ出力装置（４）と、前記作業を予め実行する模範作業者の作業の３次元動作を測定情報として取得し、前記３次元形状に対する前記３次元作業動作の距離情報に基づいて、前記作業のうち特定段階の作業動作についての評価基準情報を作成する評価基準作成装置（２）と、前記訓練者の前記模擬作業中の３次元作業動作を測定情報として取得するとともに、前記模擬作業中の前記特定段階の３次元作業動作を前記評価基準情報に基づいて評価し、該評価の結果を情報出力する作業評価装置（４４、４５）と、を備えることを特徴とするものである。
　この構成により、本発明のコンテンツ提示システムでは、作業手順上で重要な特定段階の作業動作が３次元動作情報として明確化されるとともに、その特定段階の作業動作の始期やその時間が把握可能となり、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作について、訓練者の模擬作業動作を定量的に把握しつつ評価基準情報により的確に判定でき、訓練用コンテンツを訓練結果の判定に有効活用することができるコンテンツ提示システムとなる。
　本発明によれば、熟練者等による模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。
本発明の一実施形態に係るコンテンツ作成システムを含むマニュアルコンテンツ提示システムの全体構成を示す概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業者側の情報端末の概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業管理サーバの概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける訓練管理サーバの概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける訓練者側の情報端末の概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業管理サーバで管理される複数の作業の進行状況を示す進行表コンテンツの説明図である。 図６に示す複数の作業のうち最初の作業の作業手順とその作業手順上の各段階で熟練者からの収報を含み訓練者に提示されるコンテンツデータ素材を例示する手順表コンテンツの説明図である。 図７に示すコンテンツデータ素材を熟練者から収集するための測定データシートの説明図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて作業管理サーバからの作業指示に従って熟練作業者に作業手順に則した特定段階の作業動作を所定の身体動作を伴って実行させ、記録するときの処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて作業管理サーバから訓練管理サーバに作業動作記録を配信し、その配信情報を基に訓練用コンテンツの素材を生成し、確認および保存するときの処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて訓練管理サーバから訓練支援端末に訓練用コンテンツを配信し、作業手順に則した各段階の作業動作の実行と特定段階の作業動作についての訓練結果の判定処理とを実行し、訓練結果を選択的に訓練用マニュアルの更新処理を行う場合の処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて訓練管理サーバから訓練支援端末に訓練用コンテンツを配信し、作業手順上の特定段階の作業動作とその判定処理を実行させる際の表示画面の説明図であって、訓練支援端末におけるメッセージ表示の例を示す説明図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて訓練管理サーバから訓練支援端末に訓練用コンテンツを配信し、作業手順上の特定段階の作業動作とその判定処理を実行させる際の表示画面の説明図であって、訓練支援端末における判定結果表示画面の例を示す説明図である。
　以下、本発明を実施するための形態について、図面を参照しつつ説明する。
　図１～図８は、本発明の一実施形態に係るコンテンツ作成システムを含むマニュアルコンテンツ提示システムの構成を示しており、図９～図１２は、一実施形態に係るマニュアルコンテンツ提示システムにおけるコンテンツ作成の概略処理手順を示している。
　まず、構成について説明する。
　図１に示すように、本実施形態のコンテンツ作成システムを含むマニュアルコンテンツ提示システムは、作業現場側に情報入力可能に配置される作業情報収集端末１と、その作業現場側での作業の進行を管理するための作業管理サーバ２と、作業管理サーバ２にネットワーク接続された訓練管理サーバ３と、訓練管理サーバ３からの訓練用コンテンツを訓練者Ｒ２に提示可能な訓練支援端末４とを備えている。
　作業情報収集端末１は、例えば所定の保守管理対象のシステムや設備、機器について保守作業を行う作業者に対して情報提示可能な情報端末、例えばウェアラブル端末であるヘッドマウントディスプレイで構成されている。
　図２に示すように、作業情報収集端末１は、作業者の身体情報や作業動作を音声情報および映像情報として取得可能な音声取得部１１ａおよび映像取得部１１ｂと、映像取得部１１ｂの取得情報に基づいて作業手順に則した作業動作を３次元情報として取得する動作取得部１２と、例えば透過型のスクリーン上に仮想の３ＤＣＧを重畳表示することができる表示部１３と、これらの情報の取得部１１ａ、１１ｂ、１２とバス接続されたマイクロコンピュータ構成の制御部１４と、を含んで構成されている。
　作業情報収集端末１は、また、ＲＡＭやＲＯＭ、フラッシュメモリ等のメモリ１５と、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ１６と、局所または広域の無線通信が可能な通信部１７と、作業情報収集端末１の各部に電源を供給する電源供給部１８と、これらを相互に情報通信可能に接続するバス１９とを有している。
　なお、映像取得部１１ｂは、視野領域の画像を３ＤＣＧとして取得できる３次元カメラまたは複数のカメラを有しており、保守作業の現場や手先を位置測定可能に撮影し映像化する機能を有している。表示部１３は、視界の一部に配置される非透過型のものであってもよい。通信部１７は、表示中の映像の信号や音声取得部１１ａのマイクで取得した音声を所定の伝送方式で外部に送信出力する機能を有している。
　メモリ１５には、所定の動作測定処理を行う音声取得部１１ａおよび映像取得部１１ｂからの測定情報を動作情報として記憶させる複数の制御プログラムと、通信部１７による送受信データを処理する通信処理プログラムとが記憶格納されており、それら制御プログラムによる機能部として、音声記録処理部１５ａ、映像記録処理部１５ｂ、動作記録処理部１５ｃおよび情報送受信処理部１５ｄが構成されている。
　ストレージ１６には、データベース機能を発揮させるための制御プログラムが内蔵されており、その制御プログラムの機能により、通信部１７を介して入力される各種作業情報を記憶する作業情報記録データベース１６ａと、メモリ１５の各記録処理部１５ａ－１５ｃで処理された作業情報を作業時間と関連付けて記録する作業動作記録データベース１６ｂとが構成されている。
　図３に示すように、作業管理サーバ２は、作業情報収集端末１からの保守作業領域や必要な支援情報を重畳表示することができる表示部２３と、サーバ全体を制御する制御部２４と、メモリ２５と、ストレージ２６と、局所または広域の無線通信が可能な通信部２７と、作業管理サーバ２の各部に電源を供給する電源供給部２８と、これらを相互に情報通信可能に接続するバス２９とを有している。
　メモリ２５およびストレージ２６には複数の制御プログラムが格納されており、制御部２４は、作業情報収集端末１の音声取得部１１ａ、映像取得部１１ｂおよびメモリ１５と協働して、作業情報収集端末１の視野領域に対応する保守作業領域を３ＤＣＧおよび音声の情報として認識するとともに、前述の通り、所定の作業手順の作業を実行する熟練者等の模範作業者Ｒ１の３次元作業動作を測定情報として取得する動作測定装置として機能するようになっている。
　具体的には、メモリ２５およびストレージ２６には複数の制御プログラムが格納されており、制御部２４と協働するそれら制御プログラムによる機能部として、メモリ２５は、作業情報収集端末１から取得される保守作業領域や作業者の身体情報および作業動作をそれぞれの３ＤＣＧ情報および音声情報として認識可能な画像認識処理部２５ａおよび音声認識処理部２５ｂと、作業情報収集端末１の映像取得部１１ｂで取得され画像認識処理部２５ａで認識された視野領域中にマーカー表示その他の必要な支援情報を重畳表示する処理を実行する情報重畳処理部２５ｃと、作業情報収集端末１から映像取得部１１ｂで取得された画像を受信したり、作業情報収集端末１の視野領域に重畳表示すべき必要な支援情報を作業情報収集端末１に送信したりする情報送受信処理部２５ｄと、作業情報収集端末１に送信する作業指示コンテンツを作成処理する作業指示コンテンツ作成処理部２５ｅとを有している。
　また、ストレージ２６は、作業対象機器の３次元形状の情報や作業手順に基づく訓練用コンテンツを作成するための各種の作業情報を管理する作業情報管理データベース２６ａと、作業指示コンテンツ作成処理部２５ｅで作成された作業指示コンテンツに対応する作業手順をマニュアルコンテンツの一部として管理する作業手順管理データベース２６ｂと、画像認識処理部２５ａおよび音声認識処理部２５ｂで認識された身体情報や各作業動作の３次元情報等を時間情報と共に記録する作業動作記録データベース２６ｃと、を有している。
　このストレージ２６の作業情報管理データベース２６ａには、例えば保守点検作業を実施する作業者の情報、保守点検作業を実施する機器の識別情報、保守点検作業の実施日時を含む保守日程情報、保守点検作業の内容を示す保守点検情報等が少なくとも記録されている。
　作業管理サーバ２の制御部２４は、画像認識処理部２５ａおよび音声認識処理部２５ｂで認識した保守作業領域の３ＤＣＧや音声等と、作業者の身体情報および作業対象物に対する作業動作の３ＤＣＧおよび音声等とに基づいて、作業手順の各段階が評価判定を要する特定段階か否かを判定して、特定段階の３次元の作業動作を、作業者の視線や腕（首、手、指、足等他の体の一部でもよい）の動き、マーカーを装着した特徴点の動き等に基づいて、作業対象物（固定された作業対象物または可動の作業対象物を可動に支持する支持側の作業対象物）に対する相対的な移動およびその移動を伴う作業時間として測定することができる。
　作業管理サーバ２の制御部２４は、また、熟練作業者等の模範作業者Ｒ１の所定の身体動作を作業情報収集端末１を介して少なくとも視線、音声および３次元の動作のうちいずれかとして検出し、その所定の動作に前後する、例えば所定の動作に続く音声情報または視野画像情報の変化または３次元測定情報の変化として、所定の作業手順のうち特定段階の作業動作を検出するようになっている。そして、制御部２４は、作業情報収集端末１を介した３次元作業動作の測定情報に基づいて、前述の特定段階の作業動作の評価基準を併せて作成するようになっている。
　ここにいう所定の身体動作は、例えば模範作業を行う熟練者が「ここは全員気を付けること」や「ここは重要な作業」等といった言葉や声を出す身体動作であり、それと併せて指で指し示すようなゼスチャ、あるいは、特定段階に入る合図となる動作を含み得る。この所定の身体動作は、作業手順の特定段階の作業動作が終了する時点でその特定段階終了の合図となる動作を含んでもよい。特定段階の作業動作の作業時間は、段階の模範作業の対応する作業動作に要する作業時間として予め設定されている。
　また、特定段階の作業動作の評価基準は、訓練の作業である仮想現実または拡張現実の模擬作業空間内での作業対象機器に対する作業動作について、例えば視点の位置、腕の動作位置、特徴点となるマーカーの位置等が、熟練作業者等の模範作業者Ｒ１の作業動作中のそれらに近いほど高い評価となるように設定される。
　例えば、この評価基準は、特定段階の作業動作の所要時間中における等分割時間毎の作業動作位置を、模範作業者Ｒ１と訓練者Ｒ２について比較したり、その特定段階の作業動作の所要時間の長短を比較したり、両者の作業動作位置の差に対応する測定値に重み付を加えたりして、あるいは、さらに特定段階の作業動作の所要時間中にモーションセンサや生体センサで検出可能な他の身体動作をも比較して、設定される。
　作業指示コンテンツ作成処理部２５ｅは、ストレージ２６に蓄積された作業関連情報、作業手順情報および作業動作記録情報に基づいて、既存のマニュアル記載事項に模範作業やそのノウハウや注意点等に加えて、前述の特定段階の作業動作の評価基準を含めた作業指示コンテンツを作成するようになっている。
　このように構成された本実施形態の作業管理サーバ２は、本発明にいう評価基準作成装置として機能し、模範作業者Ｒ１の所定の身体動作を検出したときに、特定段階の作業動作を、模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタすることができるものである。
　作業管理サーバ２の作業指示コンテンツ作成処理部２５ｅで作成された作業指示コンテンツは、情報送受信処理部２５ｄを介して訓練管理サーバ３に送信される。
　図４および図５に示すように、訓練管理サーバ３は、作業管理サーバ２からの作業指示コンテンツを画面表示可能な表示部３３と、訓練管理を制御する制御部３４と、メモリ３５と、ストレージ３６と、局所または広域の無線通信が可能な通信部３７と、作業管理サーバ２の各部に電源を供給する電源供給部３８と、これらを相互に情報通信可能に接続するバス３９とを有している。
　また、訓練支援端末４は、訓練者の身体情報や作業動作を音声情報および映像情報として取得可能な音声取得部４１ａおよび映像取得部４１ｂと、映像取得部４１ｂの取得情報に基づいて作業手順に則した作業動作を３次元情報として取得する動作取得部４２と、例えば透過型のスクリーン上に仮想の３ＤＣＧを重畳表示することができる表示部４３と、これらの情報の取得部４１ａ、４１ｂ、４２とバス接続されたマイクロコンピュータ構成の制御部４４と、を含んで構成されている。
　訓練支援端末４の映像取得部４１ｂは、視野領域の画像を３ＤＣＧとして取得できる３次元カメラまたは複数のカメラを有しており、保守作業領域の現場や手先を位置測定可能に撮影し映像化する機能を有している。表示部４３は、視界の一部に配置される非透過型のものであってもよい。
　さらに、訓練支援端末４は、ＲＡＭやＲＯＭ、フラッシュメモリ等のメモリ４５と、ＳＳＤ等のストレージ４６と、局所または広域の無線通信が可能な通信部４７と、訓練支援端末４の各部に電源を供給する電源供給部４８と、これらを相互に情報通信可能に接続するバス４９とを有している。通信部４７は、表示中の映像の信号や音声取得部４１ａのマイクで取得した音声を所定の伝送方式で外部に送信出力する機能を有している。
　図４に示すように、訓練管理サーバ３のメモリ３５およびストレージ３６には複数の制御プログラムが格納されており、制御部３４と協働するそれらの制御プログラムにより、訓練管理サーバ３は、訓練支援端末４の視野領域に対応する保守作業領域を３ＤＣＧおよび音声の情報として認識するとともに、表示部３３に作業管理サーバ２からの作業指示コンテンツに基づいて、認識した視野領域中の作業領域またはその一部に作業支援情報を重畳表示させるようになっている。
　また、制御部３４と協働するそれらの制御プログラムにより、訓練管理サーバ３は、視点の位置、腕の動作位置、特徴点の位置等について、模範作業者の３次元の作業動作位置である目標位置を示すマーカー等で表示するとともに、訓練者Ｒ２の対応する作業動作の注目点位置がそれぞれの目標位置の一定距離範囲内に近付くと、例えば前述の等分割時間毎の次の目標点を表示する。そして、直前の作業動作についての動作速度を評価するとともに、その動作中の各注目点の対応する模範作業者のそれとの差を検出し、評価基準を基にした作業評価を行う。つまり、所定の作業動作ごとの評価基準からの時間的および空間的なずれが小さいほど評価値が高くなる判定処理を行うようになっている。このような評価は、保守作業の内容な特定段階の作業の内容によっては、その特定段階の作業時間の長さのみで評価してもよい。
　具体的には、訓練管理サーバ３のメモリ３５およびストレージ３６には、複数の制御プログラムが格納されており、制御部３４と協働するそれら制御プログラムによる機能部として、メモリ３５は、例えば作業対象の機器識別情報、保守日程情報および保守点検情報等を含んだ所定の作業手順の既存の訓練マニュアルコンテンツに、作業管理サーバ２からの作業指示コンテンツの内容、例えば模範作業における特定段階の作業動作の作業時間等を反映したマニュアルコンテンツを生成する生成部３５ａを有している。
　メモリ３５は、また、制御部３４と協働するそれら制御プログラムによる機能部として、訓練支援端末４にマニュアルコンテンツを送信したり訓練支援端末４で取得された作業動作の３ＤＣＧや音声等の情報を受信したりする情報送受信処理部３５ｄと、作業管理サーバ２からの作業指示コンテンツの更新情報に基づいてあるいは訓練支援端末４からの判定処理結果等のフィードバック情報に基づき、生成部３５ａで用いる作業指示コンテンツを更新したり補正したりする作業指示コンテンツ作成処理部３５ｅと、を有している。
　また、制御部３４と協働する内蔵制御プログラムによる機能部として、ストレージ３６は、例えば作業指示コンテンツ作成処理部３５ｅで作成、更新または補正された作業指示コンテンツに対応する作業手順をマニュアルコンテンツの一部として管理する作業手順管理データベース３６ｂと、訓練支援端末４で認識された身体情報や各作業動作の３次元情報等を時間情報と共に記録する作業動作記録データベース３６ｃとを有している。
　このように構成された本実施形態の訓練管理サーバ３は、本発明にいうコンテンツ生成装置として機能し、模範作業者Ｒ１の所定の身体動作が検出されたとき、訓練用コンテンツを特定段階の作業動作について評価基準情報により評価可能に更新することができるものとなっている。
　訓練支援端末４には、訓練中の測定情報を動作情報として記憶させたり訓練中の特定の作業動作の習熟度合い等を前述の評価基準に基づいて判定したりするためのマンマシニンターフェースとして複数の映像および音声の入出力デバイスや複数の制御プログラム等が格納されており、これらの機能により、図５に示すように、訓練支援端末４には、音声記録処理部４５ａ、映像記録処理部４５ｂ、動作記録処理部４５ｃおよび情報送受信処理部４５ｄ、音性判定処理部４５ｆ、映像判定処理部４５ｇおよび動作判定処理部４５ｈが構成されている。
　訓練支援端末４の音声取得部４１ａおよび映像取得部４１ｂは、訓練者の訓練作業中の身体動作および作業動作を音声および３次元映像として取得する機能を有しており、例えば訓練者の視線、腕の動作、特徴点の動き等を測定する。
　動作記録処理部４５ｃは、マニュアルコンテンツで規定される作業手順に従って音声取得部４１ａおよび映像取得部４１ｂで取得される映像および音声の情報から各段階の作業動作を特定するようになっている。
　情報送受信処理部４５ｄは、音声取得部４１ａ、映像取得部４１ｂおよび動作記録処理部４５ｃで取得された情報を訓練管理サーバ３に送信したり訓練管理サーバ３からマニュアルコンテンツやその更新情報を受信したりすることができる。
　音声判定処理部４５ｆ、映像判定処理部４５ｇおよび動作判定処理部４５ｈは、前述の特定段階の作業動作についての評価基準に照らし、メモリ４５の各記録処理部４５ａ－４５ｃで記録処理された映像および音声等の情報に基づいて、マニュアルコンテンツで規定される作業手順の各段階の作業動作を特定するとともに、特定段階の作業動作についてはその作業時間と関連付けた判定評価を行う機能を有している。作業動作の評価手法は、前述の通りである。
　ストレージ４６には、データベース機能を発揮させるための制御プログラムが内蔵されており、その制御プログラムの機能により、通信部４７を介して入力される訓練者の訓練に関する各種情報を記憶する訓練情報記録データベース４６ａと、メモリ４５の各記録処理部４５ａ－４５ｃおよび各判定部４５ｆ－４５ｈでの判定結果を作業時間と関連付けて記録する訓練動作記録データベース４６ｃとが構成されている。
　次に、図６ないし図８に示すような、複数の作業のマニュアルコンテンツに含まれる進行表コンテンツ、手順表コンテンツおよびコンテンツデータ素材の測定データシートを用いて、より具体的なマニュアルコンテンツに基づく情報提示内容について説明する。
　図６に示す進行表コンテンツにおいては、複数の作業の実施予定日、開始・終了時刻および該当する作業名とその結果が作業の予定順のＩｎｄｅｘ番号と併せて示されている。その作業のうち例えば最初の作業は、Ｉｎｄｅｘ１の完了した作業「空調機、電気回路交換」であり、次の作業は、Ｉｎｄｅｘ２の進行中の作業「空調集中コントロール機、基盤交換」であり、次の作業は、Ｉｎｄｅｘ３の未実施の作業「空調集中コントロール機、配線点検」である。
　図７に示す手順表コンテンツは、図６に示す進行表コンテンツの最初の作業に対応する手順を例示しており、作業手順の各段階のＩｎｄｅｘが番号で示されるとともに、複数段階の作業動作による作業の作業名が表示され、各段階の作業動作が対応するコンテンツデータ素材と共に、手順として示されている。
　この手順表コンテンツにおいては、同図に示す作業名「空調機、電気回路の回路交換」について、複数段階の作業動作が、ｉｎｄｅｘ１の作業動作「対象物を確認する」から、ｉｎｄｅｘ２の作業動作「カバーを開ける」、ｉｎｄｅｘ３の作業動作「回路を取り外す」、ｉｎｄｅｘ４の作業動作「回路を取り付ける」、ｉｎｄｅｘ５の作業動作「カバーを取り付ける」へと順に進行し、ｉｎｄｅｘ６の「動作に問題ないことを確認する」という作業動作で終了する。
　そして、この進行表コンテンツに基づき、訓練支援端末４においては、ｉｎｄｅｘ１の作業動作中に、作業対象領域や作業対象物を特定するための写真（ｉｔｅｍ．ｊｐｇ）や３ＤＣＧ（ｉｔｅｍ．ｆｂｘ）と現作業動作上の注意点等について説明表示（ｍａｎｕａｌ＿１．ｔｘｔ）がなされる。
　また、ｉｎｄｅｘ２の作業動作中には、カバーを開けるために、カバーの写真（Ｃｏｖｅｒ．ｊｐｇ）や３ＤＣＧ（Ｃｏｖｅｒ．ｆｂｘ）の表示がなされるとともに、現作業動作内容を説明する音声付の動画（ｉｎｓｔｒｕｃｔｉｏｎ＿２．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿２．ｔｘｔ）がなされ、ｉｎｄｅｘ３の作業動作中には、交換前の電気回路を取り外すために、その電気回路基板等の写真（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｊｐｇ）やその装着部位周辺の３ＤＣＧ（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｆｂｘ）が表示されるとともに、現作業動作内容を説明する音声付き動画（ｉｎｓｔｒｕｃｔｉｏｎ＿３．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿３．ｔｘｔ）がなされる。
　次のｉｎｄｅｘ４の作業動作中には、新しい電気回路を交換対象部位に取り付けるために、その電気回路基板等の写真（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｊｐｇ）やその装着部位周辺の３ＤＣＧ（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｆｂｘ）が表示されるとともに、現作業動作内容を説明する音声付き動画（ｉｎｓｔｒｕｃｔｉｏｎ＿４．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿４．ｔｘｔ）がなされる。
　次のｉｎｄｅｘ５の作業動作中には、カバーを装着するために、そのカバーの写真（Ｃｏｖｅｒ．ｊｐｇ）や３ＤＣＧ（Ｃｏｖｅｒ．ｆｂｘ）の表示がなされるとともに、現作業動作内容を説明する音声付の動画（ｉｎｓｔｒｕｃｔｉｏｎ＿５．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿５．ｔｘｔ）がなされ、最後のｉｎｄｅｘ６の作業動作中には、一連作業手順における各段階の作業動作に問題ないことを確認するべく、作業後の作業対象領域や作業対象物を特定するための写真（Ｉｔｅｍ．ｊｐｇ）や３ＤＣＧ（ｉｔｅｍ．ｆｂｘ）と現作業動作上の注意点等についての説明表示（ｍａｎｕａｌ＿６．ｔｘｔ）がなされる。
　一方、本実施形態においては、以上に例示したような情報提示を伴う訓練用のマニュアルコンテンツを作成するに際して、その作業手順を盛り込んだマニュアルコンテンツの作成前あるいはその作成途中に、作業情報収集端末１を装着した熟練作業者に所定の作業手順で模範作業をしてもらい、その作業のうち少なくとも熟練者のノウハウ活用や注意喚起を行うべき特定段階の作業動作を特定し、その特定段階の作業動作についての評価基準となる模範作業の作業動作の情報を取得する。
　図８は、そのような模範作業の情報取集を行う際のコンテンツデータ素材の測定データシートを示している。
　この測定データシートにおいては、マニュアル記述内容に則した作業手順に従って熟練者による模範作業の作業動作が順次実行され、各段階の作業動作がＩｎｄｅｘ番号および実施日と共に、作業対象領域中の固定の対象物を基準とした視線変化、腕の動作の変化および注目すべき特徴点の変化ならびに音声変化を含む測定データが、それぞれの測定開始または終了時刻情報と関連付けて収集されている。
　ここで、視線測定には、例えばアイカメラを用いる視点監視技術（例えば、再表２０１６／００２０５６号公報参照）を用いることができ、視線や腕、特徴点の動きの変化量の測定には、例えば測定値の差分の３次元空間上へのマッピング技術（例えば、特開２０１８－１０６３０号公報参照）を用いることができる。
　視線変化（図８中では、ｓｔａｒｔ＿ｅｙｅ．ｃｓｖ）は、例えば作業情報収集端末１の視野画像中心方向に対する視線方向の角度変化と、作業対象領域中の固定の対象物を基準とした作業情報収集端末１の視野画像中心方向自体の角度および視点位置の変化とを含み得るものであり、各段階の作業期間の作業開始時あるいはその作業開始時および前述の等分割時間毎の作業動作位置について測定される。また、腕動作変化（図８中では、ｓｔａｒｔ＿ａｒｍ．ｃｓｖ）や特徴点変化（同図中では、ｓｔａｒｔ＿ｆｅａｔｕｒｅｐｏｉｎｔ．ｃｓｖ）は、公知の各種の動作分析手法（例えば、再表２０１５／１８９９９４号公報参照）で測定することができる。
　このように、３次元の作業動作測定を行う本実施形態のコンテンツ作成システムは、作業情報収集端末１を介した３次元作業動作の測定情報に基づいて作業手順の作業についての評価基準情報を作成する評価基準作成装置として機能する作業管理サーバ２と、３次元作業動作の測定情報、評価基準情報および作業対象機器の３次元形状の情報に基づいて訓練用コンテンツを作成し更新するコンテンツ作成装置として機能する訓練管理サーバ３とを備えており、評価基準作成装置としての作業管理サーバ２は、模範作業者Ｒ１の所定の身体動作である少なくとも所定の視線変化、音声変化および３次元作業動作のうちいずれかが検出されたことを条件に、作業対象物の３次元形状に対する特定段階の３次元作業動作位置の距離情報に基づいて、評価基準情報を作成するものであり、訓練用コンテンツをコンテンツ提示システムにより訓練者Ｒ２に提示するのに先立って、熟練者等の模範作業者Ｒ１の模範作業のうち重要な作業動作やその評価基準を作業支援可能な訓練用コンテンツに反映することができるものとなっている。
　また、本実施形態のコンテンツ作成システムで作成した訓練用コンテンツを用いる本実施形態のコンテンツ提示システムは、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者Ｒ２に提示し、仮想現実または拡張現実の模擬作業空間内で作業手順に従って模擬作業を実行させるものであり、３次元形状情報を含む訓練用コンテンツを記憶するストレージ４６および訓練用コンテンツを訓練者Ｒ２に提示可能に出力する表示部４３を有する句連支援端末４と、作業手順に則した作業を予め実行する模範作業者Ｒ１の作業の３次元動作を測定情報として取得し、作業対象物の３次元形状に対する３次元作業動作の距離情報に基づいて一連の作業のうち特定段階の作業動作についての評価基準情報を作成する作業管理サーバ２と、訓練者Ｒ２の訓練のための模擬作業中の３次元作業動作を測定情報として取得するとともに、その模擬作業中の特定段階の３次元作業動作を前述の評価基準情報に基づいて評価し、その評価の結果を情報出力する作業評価装置としての制御部４４およびメモリ４５とを備えるものとなっている。
　次に、動作について説明する。
　本実施形態のコンテンツ作成システムを含む作業提示システムにおいては、図９に示すように、作業管理サーバ２から作業情報収集端末１に模範作業の情報収集のための作業指示が出され（ステップＳ１１）、作業情報収集端末１側で作業記録の開始が検出されると（ステップＳ２１でＹｅｓ）、作業手順に従った作業者の活動情報が、作業情報収集端末１のストレージ１６に記録される（ステップＳ２２）。
　次いで、作業記録の開始が検出された時点から各段階の作業動作の記録が終了したことが、動作分析やスイッチ操作入力、音声入力等で検出されると（ステップＳ２３でＹｅｓ）、作業記録の情報が、作業情報収集端末１から作業管理サーバ２に送信され（ステップＳ２４）、作業管理サーバ２のストレージ２６に作業動作記録として保存される（ステップＳ１２）。
　図１０に示すように、次いで、作業管理サーバ２から訓練管理サーバ３に作業動作記録が配信されると（ステップＳ３１）、訓練管理サーバ３のストレージ３６に記録されている既存マニュアルが読み込まれ（ステップＳ４１）、その既存の訓練マニュアルコンテンツの記載事項に作業管理サーバ２からの作業指示コンテンツの内容を反映した、すなわち、模範作業とそのノウハウ、注意点等に加えて、前述の特定段階の作業動作の評価基準を含めたマニュアルコンテンツが、訓練管理サーバ３の生成部３５ａにより生成される（ステップＳ４２）。
　次いで、生成されたマニュアルコンテンツが訓練管理サーバ３の表示部３３に、あるいは更に作業管理サーバ２の表示部２３に表示され（ステップＳ４３）、変更点がユーザである管理者に承認されると（ステップＳ４４でＹｅｓの場合）、生成されたマニュアルコンテンツがストレージ３６に保存される（ステップＳ４５）。
　図１１に示すように、次いで、訓練管理サーバ３から訓練支援端末４に訓練コンテンツが配信されると（ステップＳ５１）、訓練支援端末４ではその訓練コンテンツが実行開始され、作業手順に則した各段階の作業動作が、支援情報と併せて訓練者に知覚可能に提示される。
　次いで、作業手順のうち特定段階の作業動作を実行させる訓練支援画面になると（ステップＳ６２でＹｅｓの場合）、特定段階の作業動作についての評価基準に基づく判定処理が実行される（ステップＳ６３）。
　次いで、作業手順のうち特定段階の作業動作を実行させる訓練支援画面が終了すると（ステップＳ６４でＹｅｓの場合）、訓練結果が保存されるとともに（ステップＳ６５）、その訓練結果が訓練支援端末４から訓練管理サーバ３に送信される（ステップＳ６６）。
　そして、その訓練結果の内容に応じて、訓練管理サーバ３により少なくとも訓練実績情報を含めるように更新され、さらには、一定数以上の訓練実績や外部からの更新情報を考慮して、必要な更新処理が実行される（ステップＳ５２）。
　このような訓練が行われる際には、図１２Ａに例示するように、訓練支援端末４にて予め「訓練を開始します。必要なセンサを取り付けて下さい。」との開始のメッセージ表示および音声出力が実行され、訓練結果が訓練支援端末４から訓練管理サーバ３に送信されるときには、図１２Ｂに例示するように、訓練支援端末４にて腕の動作や視線の動き等についての判定結果表示画面が表示される。
　このように、本実施形態においては、模範作業者Ｒ１の所定の身体動作、例えば「ここは重要な作業」という音声が検出されると、特定段階の作業動作がその３次元距離情報として作業時間と関連付けて把握され、その距離情報に基づいて、３次元作業動作の測定情報に基づく訓練者Ｒ２の所定の作業手順の作業についての評価基準情報が作成される。
　したがって、作業手順上で重要な特定段階の始期やその時間を把握するために測定する身体動作を、例えば特定の言葉を発する声、手の動き、視線の変化、首の動き等として設定することで、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作が自動的に定量的に把握可能となり、重要な作業動作の明確化によりコンテンツ作成工数の削減に貢献でき、しかも評価基準情報により訓練結果の判定にも有効活用可能な訓練用コンテンツを作成できるコンテンツ作成システムとなる。
　また、本実施形態では、評価基準作成装置としての作業管理サーバ２は、模範作業者の所定の身体動作を、音声情報または画像情報の変化または３次元測定情報の変化として検出するようにしているので、模範作業中の重要なあるいは注意すべき作業動作の的確な測定情報を、熟練者等の模範作業者Ｒ１の視線や発言、手先の動き等から適時に精度良く取得でき、重要な作業動作の特定に要する工数が確実に削減されるとともに、その効果的な評価基準情報の作成が可能なものとなる。
　以上のように、本実施形態においては、熟練者等による模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。
　そして、このコンテンツ作成システムで作成した訓練用コンテンツを用いる本実施形態のコンテンツ提示システムは、作業手順上で重要な特定段階の作業動作が３次元動作情報として明確化されるとともに、その特定段階の作業動作の始期やその時間が把握可能となり、模範作業者Ｒ１の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作について、訓練者Ｒ２の模擬作業動作を定量的に把握しつつ評価基準情報により的確に判定でき、訓練用コンテンツを訓練結果の判定に有効活用することができるものとなる。
　なお、本実施形態の作業管理サーバ２は、既存のマニュアルコンテンツを予め記録したものとし、特定の身体動作の検出直後に、現場作業の熟練者である模範作業の特定の作業動作を、その音声、動作、視線などの変化として記録するものとしたが、既存のマニュアルコンテンツを持たない状態から、入力される各段階の作業情報収集端末１からの記録情報に基づいて訓練マニュアルや事前訓練マニュアルを作成することもできる。
　勿論、前述の一実施形態のように、コンテンツ生成装置は、模範作業者の所定の身体動作が検出されたときに、既存の訓練用コンテンツをその作業手順における特定段階の作業動作について、評価基準情報により評価可能に更新処理することができる。
　また、訓練支援端末４は、マニュアルコンテンツの実行時に、特定段階の作業動作についてのみ、訓練者と模範作業者の作業動作を比較して、その訓練結果の作業能力判定を行うようにしていたが、特定段階の作業動作についての評価判定基準に基づく合否判定を行い、模擬作業による訓練全体の結果判定を行うことができることはいうまでもない。
　そのようにしても、熟練者の作業を習熟度合いの判定基準として、訓練マニュアルを作成・更新でき、マニュアル作成コスト削減、および明文化されていなかったノウハウを明確化することができる。
　以上の説明のように、本発明は、模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるコンテンツ作成システムを提供でき、併せて、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。このような本発明は、模擬作業を実行させるための３ＤＣＧを含む訓練用コンテンツを作成するコンテンツ作成システムに全般に有用である。
　１　作業情報収集端末（動作測定装置、現場作業支援端末）
　２　作業管理サーバ（評価基準作成装置）
　３　訓練管理サーバ（コンテンツ作成装置）
　４　訓練支援端末（コンテンツ出力装置）
　１１ａ、４１ａ　音声取得部
　１１ｂ、４１ｂ　映像取得部
　１２、４２　動作取得部
　１３、２３、３３　表示部
　１４、２４、３４　制御部
　１５、２５、３５　メモリ
　１５ａ、４５ａ　音声記録処理部
　１５ｂ、４５ｂ　映像記録処理部
　１５ｃ、４５ｃ　動作記録処理部
　１５ｄ、４５ｄ　情報送受信処理部
　１６、２６、３６　ストレージ
　１６ａ　作業情報記録データベース
　１６ｂ　作業動作記録データベース
　１７、２７、３７、４７　通信部
　１８、２８、３８、４８　電源供給部
　１９、２９、３９、４９　バス
　２５ａ　画像認識処理部
　２５ｂ　音声認識処理部
　２５ｃ　情報重畳処理部
　２５ｄ、３５ｄ　情報送受信処理部
　２５ｅ、３５ｅ　作業指示コンテンツ作成処理部
　２６ａ　作業情報管理データベース
　２６ｂ、３６ｂ　作業手順管理データベース
　２６ｃ、３６ｃ　作業動作記録データベース
　３５ａ　生成部
　４３　表示部（出力部）
　４４　制御部（作業評価装置）
　４５　メモリ（作業評価装置）
　４５ｆ　音声判定処理部
　４５ｇ　映像判定処理部
　４５ｈ　動作判定処理部
　４６　ストレージ（記憶部）
　４６ａ　訓練情報記録データベース
　４６ｃ　訓練動作記録データベース
　Ｒ１　模範作業者（熟練者）
　Ｒ２　訓練者

Claims (5)

  1. 　作業対象機器の３次元形状の情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業を実行させる訓練用コンテンツを作成するコンテンツ作成システムであって、
    　前記作業手順の作業を実行する模範作業者（Ｒ１）の３次元作業動作を測定情報として取得する動作測定装置（１）と、
    　前記３次元作業動作の測定情報に基づいて前記作業手順の作業についての評価基準情報を作成する評価基準作成装置（２）と、
    　前記３次元作業動作の測定情報および前記評価基準情報および前記作業対象機器の３次元形状の情報に基づいて前記訓練用コンテンツを作成し更新するコンテンツ作成装置（３）と、を備え、
    　前記評価基準作成装置は、前記模範作業者の所定の身体動作が検出されたことを条件に、前記３次元形状に対する前記作業手順の特定段階の３次元作業動作の距離情報に基づいて、前記評価基準情報を作成することを特徴とするコンテンツ作成システム。
  2. 　前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を、音声情報または画像情報の変化または３次元測定情報の変化として検出することを特徴とする請求項１に記載のコンテンツ作成システム。
  3. 　前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を検出したとき、前記特定段階の作業動作を、前記模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタすることを特徴とする請求項１または２に記載のコンテンツ提示システム。
  4. 　前記コンテンツ生成装置は、前記模範作業者の前記所定の身体動作が検出されたとき、前記訓練用コンテンツを前記特定段階の作業動作について前記評価基準情報により評価可能に更新することを特徴とする請求項１ないし３のいずれか一項に記載のコンテンツ提示システム。
  5. 　作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って模擬作業を実行させるコンテンツ提示システムであって、
    　前記３次元形状情報を含む前記訓練用コンテンツを記憶する記憶部（４６）および前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部（４３）を有するコンテンツ出力装置（４）と、
    　前記作業を予め実行する模範作業者の作業の３次元動作を測定情報として取得し、前記３次元形状に対する前記３次元作業動作の距離情報に基づいて、前記作業のうち特定段階の作業動作についての評価基準情報を作成する評価基準作成装置（２）と、
    　前記訓練者の前記模擬作業中の３次元作業動作を測定情報として取得するとともに、前記模擬作業中の前記特定段階の３次元作業動作を前記評価基準情報に基づいて評価し、該評価の結果を情報出力する作業評価装置（４４、４５）と、を備えることを特徴とするコンテンツ提示システム。 
PCT/JP2018/031352 2018-06-29 2018-08-24 コンテンツ作成システム Ceased WO2020003545A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/626,014 US12051340B2 (en) 2018-06-29 2018-08-24 Content creation system
EP18923949.4A EP3637330B1 (en) 2018-06-29 2018-08-24 Content creation system
EP22201336.9A EP4138006B1 (en) 2018-06-29 2018-08-24 Content creation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-124688 2018-06-29
JP2018124688A JP7191560B2 (ja) 2018-06-29 2018-06-29 コンテンツ作成システム

Publications (1)

Publication Number Publication Date
WO2020003545A1 true WO2020003545A1 (ja) 2020-01-02

Family

ID=68985378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/031352 Ceased WO2020003545A1 (ja) 2018-06-29 2018-08-24 コンテンツ作成システム

Country Status (4)

Country Link
US (1) US12051340B2 (ja)
EP (2) EP3637330B1 (ja)
JP (1) JP7191560B2 (ja)
WO (1) WO2020003545A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200414B1 (ja) 2022-03-03 2023-01-06 旭国際テクネイオン株式会社 情報処理装置及び保全支援システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210169B2 (ja) * 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
JP7440352B2 (ja) * 2020-06-17 2024-02-28 株式会社日立製作所 教育コンテンツ作成システム及び方法
JP7600675B2 (ja) * 2020-12-24 2024-12-17 セイコーエプソン株式会社 ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム
US20240071245A1 (en) * 2021-03-09 2024-02-29 Mitsubishi Electric Corporation Ar content display device, ar content display system, ar content display method and program
JP7753028B2 (ja) * 2021-09-30 2025-10-14 株式会社日立プラントコンストラクション 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム
JP2024055651A (ja) * 2022-10-07 2024-04-18 東芝Ｉｔサービス株式会社 Ａｒコンテンツ更新システム、およびａｒコンテンツ更新方法
JP7798823B2 (ja) * 2023-02-17 2026-01-14 株式会社日立製作所 制御装置、及び情報提示方法
CN121039724A (zh) * 2023-04-11 2025-11-28 三菱电机株式会社 技能评价装置和技能评价方法
JP7750567B1 (ja) 2024-06-26 2025-10-07 日昌電気制御株式会社 情報処理システム、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6321879B2 (ja) 1980-03-07 1988-05-09 Hitachi Ltd
JP2003167613A (ja) * 2001-11-30 2003-06-13 Sharp Corp 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
JP2011164694A (ja) * 2010-02-04 2011-08-25 Nec Corp 標準作業実行支援装置、および標準作業実行支援方法
WO2015189994A1 (ja) 2014-06-13 2015-12-17 株式会社日立システムズ 作業記録装置、作業記録システム、作業記録プログラムおよび作業記録方法
WO2016002056A1 (ja) 2014-07-03 2016-01-07 株式会社日立システムズ 静的テスト支援システム
JP2018010630A (ja) 2016-06-30 2018-01-18 株式会社日立システムズ 被写体異常有無調査システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000038117A1 (en) * 1998-12-23 2000-06-29 Washington State University Research Foundation Method and system for a virtual assembly design environment
CA2482240A1 (en) * 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
JP4752721B2 (ja) 2006-10-24 2011-08-17 オムロン株式会社 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
US20080124698A1 (en) * 2006-11-28 2008-05-29 Ebensberger Jason M Virtual coatings application system with structured training and remote instructor capabilities
WO2009146359A1 (en) * 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
US9483959B2 (en) * 2008-08-21 2016-11-01 Lincoln Global, Inc. Welding simulator
US9318026B2 (en) * 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US9773429B2 (en) * 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9384675B2 (en) * 2010-04-08 2016-07-05 Vrsim, Inc. Simulator for skill-oriented training
WO2012088443A1 (en) * 2010-12-24 2012-06-28 Kevadiya, Inc. System and method for automated capture and compaction of instructional performances
US9786193B2 (en) * 2011-09-01 2017-10-10 L-3 Communications Corporation Adaptive training system, method and apparatus
JP5839553B2 (ja) 2011-10-28 2016-01-06 株式会社日立製作所 作業支援システム、作業支援方法、および、作業用端末
US9368045B2 (en) * 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
US20150147734A1 (en) * 2013-11-25 2015-05-28 International Business Machines Corporation Movement assessor
US9911351B2 (en) * 2014-02-27 2018-03-06 Microsoft Technology Licensing, Llc Tracking objects during processes
US10755222B2 (en) 2014-06-13 2020-08-25 Hitachi Systems, Ltd. Work management apparatus, work defect prevention program, and work defect prevention method
WO2017014733A1 (en) 2015-07-17 2017-01-26 Ivd Mining Virtual reality training
US20180374026A1 (en) * 2016-01-08 2018-12-27 Mitsubishi Electric Corporation Work assistance apparatus, work learning apparatus, and work assistance system
US10748444B2 (en) * 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
JP6769847B2 (ja) 2016-11-29 2020-10-14 ケーディーアイコンズ株式会社 情報処理装置
CN107331220A (zh) 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CA3075640C (en) * 2017-09-14 2023-09-12 Vrsim, Inc. Simulator for skill-oriented training
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
JP6321879B1 (ja) 2017-12-20 2018-05-09 グレイステクノロジー株式会社 作業支援システム及び作業支援プログラム
US20190239850A1 (en) * 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam
WO2020005907A1 (en) * 2018-06-25 2020-01-02 Pike Enterprises, Llc Virtual reality training and evaluation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6321879B2 (ja) 1980-03-07 1988-05-09 Hitachi Ltd
JP2003167613A (ja) * 2001-11-30 2003-06-13 Sharp Corp 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
JP2011164694A (ja) * 2010-02-04 2011-08-25 Nec Corp 標準作業実行支援装置、および標準作業実行支援方法
WO2015189994A1 (ja) 2014-06-13 2015-12-17 株式会社日立システムズ 作業記録装置、作業記録システム、作業記録プログラムおよび作業記録方法
WO2016002056A1 (ja) 2014-07-03 2016-01-07 株式会社日立システムズ 静的テスト支援システム
JP2018010630A (ja) 2016-06-30 2018-01-18 株式会社日立システムズ 被写体異常有無調査システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200414B1 (ja) 2022-03-03 2023-01-06 旭国際テクネイオン株式会社 情報処理装置及び保全支援システム
JP2023128471A (ja) * 2022-03-03 2023-09-14 旭国際テクネイオン株式会社 情報処理装置及び保全支援システム

Also Published As

Publication number Publication date
JP2020003707A (ja) 2020-01-09
US12051340B2 (en) 2024-07-30
EP4138006B1 (en) 2025-05-07
EP3637330B1 (en) 2023-07-19
US20220051579A1 (en) 2022-02-17
EP3637330C0 (en) 2023-07-19
EP4138006A1 (en) 2023-02-22
EP3637330A1 (en) 2020-04-15
JP7191560B2 (ja) 2022-12-19
EP3637330A4 (en) 2020-12-30
EP4138006C0 (en) 2025-05-07

Similar Documents

Publication Publication Date Title
WO2020003545A1 (ja) コンテンツ作成システム
JP7506224B2 (ja) コンテンツ提示システム
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
US20120293506A1 (en) Avatar-Based Virtual Collaborative Assistance
WO2012142250A1 (en) Augumented reality system
US11455750B2 (en) Operator characteristic-based visual overlays
JP2020003708A (ja) コンテンツ提示システムおよびコンテンツ提示方法
JPWO2020235120A1 (ja) 作業支援システムおよび作業支援方法
US20190355281A1 (en) Learning support system and recording medium
US11688107B2 (en) Systems and methods for modifying context-based data provided for an industrial automation system
US12242256B2 (en) Systems and methods for providing time-based user experiences for an industrial automation system
US11829126B2 (en) Systems and methods for providing context-based data for an industrial automation system based on a virtual coordinate system
JP2024036699A (ja) 訓練システム、方法及びプログラム
US20230093660A1 (en) Systems and methods for providing context-based data for an industrial automation system
CN121033337A (zh) 基于深度学习的交互式生物学虚拟实验教学系统
CN111373449B (zh) 用于辅助在产品上执行任务的辅助方法和辅助系统
US12315384B2 (en) Augmented-reality-system for teaching a user of an application
US20230089251A1 (en) Systems and methods for providing context-based data for an industrial automation system
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
JP2023055313A (ja) 準備体操評価装置、準備体操評価方法、及び準備体操評価プログラム
US20250252385A1 (en) Systems and methods for using artificial intelligence and machine learning to generate optimized operating parameters for a work tool based on track haptic feedback and quality of job performed
KR20230079932A (ko) 객체인식을 이용한 휴대용 군정비 교육 시스템
CN121075197A (zh) 竹编工艺实操错误实时纠正培训方法
WO2025230828A1 (en) Systems and methods for using artificial intelligence and machine learning to generate optimized operating parameters for a work tool based on track haptic feedback and quality of job performed

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018923949

Country of ref document: EP

Effective date: 20200109

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE