WO2017122274A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2017122274A1
WO2017122274A1 PCT/JP2016/050674 JP2016050674W WO2017122274A1 WO 2017122274 A1 WO2017122274 A1 WO 2017122274A1 JP 2016050674 W JP2016050674 W JP 2016050674W WO 2017122274 A1 WO2017122274 A1 WO 2017122274A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control unit
procedure
display device
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/050674
Other languages
English (en)
French (fr)
Inventor
潤 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Suncorporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suncorporation filed Critical Suncorporation
Priority to US16/069,378 priority Critical patent/US20190034733A1/en
Priority to EP16884877.8A priority patent/EP3404609A4/en
Priority to CN201680078584.1A priority patent/CN108463833A/zh
Priority to PCT/JP2016/050674 priority patent/WO2017122274A1/ja
Priority to JP2017561087A priority patent/JP6655633B2/ja
Publication of WO2017122274A1 publication Critical patent/WO2017122274A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the technology disclosed in this specification relates to an image display device that is used while being worn on a user's head.
  • Patent Document 1 Japanese Patent Laying-Open No. 2014-93050 discloses an image display device used by being mounted on a user's head.
  • This type of image display apparatus displays a display unit that displays an image in a range corresponding to a user's field of view (ie, a real image) and an object image that represents an object related to the image displayed on the display unit.
  • a computer that displays the synthesized real image.
  • augmented reality a technique for augmenting and expanding the real world perceived by humans by a computer is known as augmented reality (AR).
  • AR augmented reality
  • the image display device cannot determine whether the target article is actually handled according to the procedure indicated by the manual. It cannot be confirmed whether it was handled or not.
  • This specification discloses a technology that allows a user or the like to confirm whether or not a target article has been handled according to the procedure indicated by the manual.
  • the image display device disclosed in this specification is used by being worn on the user's head.
  • the image display device includes a display unit, a first camera that captures a specific range corresponding to a user's view range, and a second camera that captures the specific range while being provided at a position different from the first camera.
  • a sensor capable of detecting the attitude of the image display device, a control unit, and a memory for storing a manual related to handling of the target article.
  • the control unit determines a feature of the space around the image display device based on the first calibration image acquired from the first camera and the second calibration image acquired from the second camera.
  • Spatial information for specifying, spatial information, a first captured image acquired from the first camera, a second captured image acquired from the second camera, and an image display detected by the sensor Based on the posture of the device, the position and posture of the image display device in the space are specified, and when the target article is included in the specific range, the first for handling the target article according to the manual in the memory
  • a first instruction screen including a first object image showing the procedure of the first instruction image on which the first object image is displayed in accordance with the target article is displayed on the display unit, and the display unit On the second
  • the operation actually performed by the user on the target article within the specific range based on the first photographed image and the second photographed image while the instruction screen is displayed is as follows. It is determined whether or not the procedure is followed, and the determination result is stored in the memory.
  • the control unit while the first instruction screen is displayed on the display unit, is based on the first photographed image and the second photographed image, and the target article within the specific range. It is determined whether the operation actually performed by the user follows the first procedure, and the determination result is stored in the memory. Therefore, the user or the like can confirm whether or not the target article has been handled according to the procedure indicated by the manual by confirming the determination result stored in the memory.
  • first photographed image may be the same image as the first calibration image or a different image.
  • second photographed image may be the same image as the second calibration image or a different image.
  • handling of the target article includes any work for handling the target article, such as assembly, disassembly, use, and repair of the target article.
  • first object image includes both still images and moving images.
  • control method a control method, a computer program, and a computer-readable recording medium storing the computer program for realizing the image display device are also novel and useful.
  • An outline of a communication system is shown. 2 shows a block diagram of the communication system of FIG.
  • the flowchart of a display apparatus process is shown.
  • An example of a calibration screen is shown.
  • An example of real-time processing is shown.
  • An example of a menu object image is shown.
  • An example of manual processing is shown.
  • An example of an article table is shown.
  • An example of a procedure list is shown.
  • the other example of a procedure list is shown.
  • An example of the target article is shown.
  • An example (1) of the instruction screen is shown.
  • An example (2) of the instruction screen is shown.
  • the example of the object article after work completion is shown.
  • the external appearance of the image display apparatus of 2nd Example is shown.
  • the second object image indicating the second procedure to be executed after the first procedure according to the manual in the memory when it is determined that the operation follows the first procedure.
  • the second instruction screen including the second instruction screen in which the second object image is displayed in accordance with the target article may be displayed on the display unit instead of the first instruction screen.
  • the “second object image” includes both still images and moving images.
  • the control unit can prevent the second instruction screen from being displayed on the display unit when it is determined that the operation does not follow the first. Therefore, there is a high possibility that the user can appropriately handle the target article according to the procedure indicated by the manual.
  • the image display apparatus may further include a receiving unit that receives operation information related to the operation content of the tool from the tool.
  • the operation may include an operation using a tool.
  • the control unit performs an operation based on the first captured image, the second captured image, and the operation information acquired from the receiving unit while the first instruction screen is displayed on the display unit. It may be determined whether the first procedure is being followed.
  • control unit determines whether the operation follows the first procedure based on the operation information acquired from the tool via the receiving unit in addition to the first captured image and the second captured image. Judging. Therefore, according to said structure, the control part can judge more appropriately whether operation follows the 1st procedure.
  • the image display device may further include a transmission unit for transmitting information to an external server.
  • the control unit may transmit the work information including the determination result stored in the memory to the external server via the transmission unit.
  • control unit transmits the work information including the determination result stored in the memory to the external server via the transmission unit.
  • work information is accumulated in the external server.
  • An administrator or the like of the external server can confirm whether or not the target article has been handled appropriately by looking at the work information stored in the external server.
  • the present specification also discloses a computer program for a terminal device capable of communicating with an external server that stores work information transmitted by the image display device.
  • the terminal device includes a display unit and a computer.
  • the computer program causes the computer to execute processing for communicating with an external server to receive work information from the external server and processing for displaying a browsing screen represented by the received work information on the display unit.
  • the user of the terminal device can confirm whether or not the target article has been appropriately handled by the user of the image display device by looking at the browsing screen displayed on the display unit.
  • the communication system 2 includes an image display device 10, a tool 40, a server 50, and an external PC (abbreviation for personal computer) 70.
  • the image display device 10, the server 50, and the external PC 70 can perform wireless communication (specifically, Wi-Fi communication) with each other via the Internet 4 (see solid arrows in the figure).
  • the image display apparatus 10 and the tool 40 can execute Bluetooth (registered trademark) communication (hereinafter referred to as “BT communication”) (see the broken line arrow in the figure).
  • BT communication registered trademark
  • the image display device 10 is an image display device (a so-called head mounted display) used by being mounted on a user's head. As shown in FIG. 1, the image display device 10 includes a support 12, display units 14 a and 14 b, projection units 15 a and 15 b, a first camera 16, a second camera 18, and a control box 19. It has.
  • the support 12 is a spectacle frame-shaped member.
  • the user can wear the image display device 10 on the head by wearing the support 12 like wearing glasses.
  • the display units 14a and 14b are translucent display members, respectively. When the user wears the image display device 10 on the head, the display unit 14a is disposed at a position facing the user's right eye, and the display unit 14b is disposed at a position facing the left eye.
  • the left and right display units 14a and 14b may be collectively referred to as the display unit 14.
  • the projection units 15a and 15b are members that project images onto the display units 14a and 14b.
  • the projection units 15a and 15b are provided on the side portions of the display units 14a and 14b.
  • the left and right projection units 15a and 15b may be collectively referred to as the projection unit 15.
  • the projection unit 15 projects a predetermined object image on the display unit 14 in accordance with an instruction from the control unit 26.
  • the user can view the real-world object or / and space as if the object image was synthesized at a predetermined position in the real-world object or / and space that can be visually recognized by the user through the display unit 14. And the object image.
  • control unit 26 displays a desired screen on the display unit 14 by instructing the projection unit 15 to project an image
  • the operation of the projection unit 15 will be described. It may be omitted and simply expressed as “the control unit 26 causes the display unit 14 to display a desired image”.
  • the first camera 16 is a camera arranged on the support 12 at a position above the display unit 14a (that is, a position corresponding to the right eye of the user).
  • the 2nd camera 18 is a camera arrange
  • Each of the first camera 16 and the second camera 18 can capture a range corresponding to the field of view of the user wearing the image display device 10 (hereinafter referred to as a “specific range”) from different angles.
  • the control box 19 is a box attached to a part of the support 12.
  • the control box 19 accommodates each element that controls the control system of the image display apparatus 10. Specifically, as shown in FIG. 2, the control box 19 accommodates a sensor 20, a BT interface 22, a Wi-Fi interface 24, a control unit 26, and a memory 28.
  • the interface is described as “I / F”.
  • Sensor 20 is a three-axis acceleration sensor.
  • the sensor 20 detects acceleration of three axes of X, Y, and Z.
  • the control unit 26 can specify the posture and motion state of the image display device 10.
  • BTI / F 22 is an I / F for executing BT communication with an external device (for example, tool 40).
  • the Wi-Fi I / F 24 is an I / F for executing Wi-Fi communication with an external device (for example, the server 50) via the Internet 4.
  • the control unit 26 executes various processes according to the program stored in the memory 28. The contents of the processing executed by the control unit 26 will be described in detail later.
  • the control unit 26 is electrically connected to the display unit 14, the projection unit 15, the first camera 16, the second camera 18, the sensor 20, the BTI / F 22, the Wi-Fi I / F 24, and the memory 28. The operation of each of these elements can be controlled.
  • the memory 28 stores various programs.
  • the program includes various application programs such as a manual application program 30.
  • the manual application program 30 is displayed as “manual application 30”.
  • the manual application may be simply referred to as “manual application”.
  • the “manual application” is an application for instructing how to handle an article (for example, assembly, disassembly, use, repair, etc.) using a real image and an object image (that is, a virtual image).
  • the control unit 26 executes manual processing (see FIG. 6) described later according to the manual application 30.
  • the manual application 30 includes an article table 32 (see FIG. 8) and manual data 34.
  • the article table 32 includes data related to articles whose handling method is instructed according to the manual application 30.
  • the manual data 34 includes a manual for explaining how to handle the article for each of the plurality of articles.
  • the memory 28 also has a list storage area 36 for storing a procedure list (see FIGS. 8 and 9) generated along with manual processing (see FIG. 6) described later.
  • the memory 28 also stores an ID assigned to the image display device 10. As shown in FIGS. 1 and 2, the ID of the image display apparatus 10 of the present embodiment is “D1”.
  • image display device 10 In the example of FIG. 1, only one image display device 10 is illustrated, but a plurality of image display devices 10 may exist in the actual communication system 2. In that case, a different ID is assigned to each image display device 10.
  • the tool 40 is a screwdriver tool (so-called driver) that is gripped and used by a user.
  • the tool 40 includes a control unit 42, a memory 44, and a BTI / F 46.
  • the BTI / F 46 is an I / F for executing BT communication with an external device (for example, the image display device 10).
  • the control unit 42 executes processing for transmitting operation information related to the operation content of the tool to the image display device 10 via the BTI / F 46 according to the program stored in the memory 44. Specifically, the control unit 42 executes a process of detecting a torque value when tightening the screw and transmitting operation information including the detected torque value to the image display device 10 via the BTI / F 46.
  • the memory 44 stores various programs.
  • the server 50 in FIGS. 1 and 2 is a server installed by an administrator of the image display apparatus 10 (for example, a company that provides the image display apparatus 10).
  • the server 50 manages the handling results of articles by the user of the image display device 10.
  • the server 50 includes a display unit 52, an operation unit 54, a Wi-Fi I / F 56, a control unit 58, and a memory 60.
  • the display unit 52 is a display capable of displaying various information.
  • the operation unit 54 includes a keyboard and a mouse.
  • the user of the server 50 can input various instructions to the server 50 by operating the operation unit 54.
  • the Wi-Fi I / F 56 is an I / F for performing Wi-Fi communication with external devices (for example, the image display device 10 and the external PC 70) via the Internet 4.
  • the control unit 58 executes various processes according to programs stored in the memory 60.
  • the memory 60 stores various programs. Further, the memory 60 stores work information received from the image display device 10 when the image display device 10 executes manual processing (see FIG. 7).
  • the external PC 70 in FIGS. 1 and 2 is a PC used by an administrator of the image display apparatus 10 (for example, a company that provides the image display apparatus 10).
  • the external PC 70 is used to access the server 50 and browse the handling results of articles by the user of the image display device 10.
  • the external PC 70 also includes a display unit 71, an operation unit 72, a Wi-Fi I / F 73, a control unit 74, and a memory 75.
  • the display unit 71 is a display capable of displaying various information.
  • the operation unit 72 includes a keyboard.
  • the user of the external PC 70 can input various instructions to the server 50 by operating the operation unit 72.
  • the Wi-Fi I / F 73 is an I / F for executing Wi-Fi communication with the server 50 via the Internet 4.
  • the control unit 74 executes various processes according to programs stored in the memory 75.
  • the memory 75 stores various programs. In the present embodiment, in particular, the memory 75 stores a browsing program 76 for allowing the external PC 70 to communicate with the server 50 and browsing work information stored in the server 50.
  • Display device processing FIG. 3
  • the display device process executed by the control unit 26 of the image display device 10 will be described.
  • the control unit 26 starts the display device processing of FIG.
  • the control unit 26 displays a predetermined calibration screen on the display unit 14.
  • the calibration screen is a screen for allowing the user to perform calibration.
  • “calibration” is a process for specifying spatial information (that is, calibration data) for specifying the characteristics of the space around the image display device 10.
  • the “characteristic of the space around the image display device 10” includes, for example, when the image display device 10 is present indoors, the distance between the wall and the own device, the direction of the wall, the distance between the ceiling and the own device, the ceiling Various information for characterizing the indoor space, such as the height of the room, the floor area, the position of the furniture, and the distance to the furniture.
  • the “characteristics of the space around the image display device 10” are various types for characterizing the space around the own device such as the distance to the surrounding target. Contains information.
  • Figure 4 shows an example of the calibration screen.
  • the calibration screen includes a pointer P and a message for prompting the user to follow the pointer with a line of sight.
  • the control unit 26 moves the pointer P in the display unit 14 so that the user can follow the pointer P with a line of sight so that the entire space around the image display device 10 can be put into view.
  • the control unit 26 monitors that the identification of the spatial information is completed.
  • the user follows the pointer P with a line of sight (that is, the user moves his / her head in accordance with the movement of the pointer P).
  • Each direction of the surrounding space is photographed by the first camera 16 and the second camera 18.
  • the control unit 26 acquires, from the first camera 16, a first calibration image that is an image of a specific range (that is, a range corresponding to the user's view range) captured by the first camera 16.
  • a second calibration image that is an image in a specific range photographed by the second camera 18 is acquired from the second camera 18.
  • the control unit 26 calculates a distance between the feature point and the image display device 10 by identifying a feature point common to the first calibration image and the second calibration image and performing triangulation. be able to. Furthermore, the control unit 26 can also specify the coordinates of the position of the feature point based on the coordinates of the initial position of the pointer P. The control unit 26 performs the same processing for each of a plurality of feature points existing in all directions around the image display device 10. When the distance from the feature point and the coordinates of the feature point are specified for each of a plurality of feature points existing in all directions around the image display device 10, the control unit 26 determines YES in S12. Proceed to S14. That is, the “spatial information for specifying the features of the space around the image display device 10” in S12 means the distance to each feature point and the coordinates of each feature point.
  • control unit 26 starts real-time processing (see FIG. 5).
  • the control unit 26 repeatedly executes the real-time process until the image display apparatus 10 is powered off.
  • the control unit 26 proceeds to S16.
  • the control unit 26 acquires, from the first camera 16, a first captured image that is an image in a specific range captured by the first camera 16 at the time of S30, and the second The second captured image that is an image in a specific range captured by the second camera 18 at the time of S30 is acquired from the first camera 18. That is, the first captured image and the second captured image acquired in S30 are both real-time captured images corresponding to the current visual field range of the user.
  • the control unit 26 calculates a distance between a specific feature point common to the first captured image and the second captured image and the image display device 10.
  • the “feature point” referred to here is, for example, one of a plurality of feature points included in the spatial information (in the case of YES in S12 of FIG. 3).
  • the distance between the feature point and the image display device 10 is calculated by performing triangulation using the first captured image and the second captured image, as in the above case.
  • the control unit 26 calculates the attitude of the image display device 10 at this time based on the detection value of the sensor 20. Specifically, the control unit 26 determines whether the gravity direction is 0 ° based on the detection values of the sensor 20 (that is, accelerations in the X-axis, Y-axis, and Z-axis directions). The tilt angles ( ⁇ x, ⁇ y, ⁇ z) of the axis and the Z axis are calculated, and the attitude of the image display device 10 at the time of S10 (that is, the tilt with respect to the horizontal plane) is calculated based on these tilt angles.
  • control unit 26 determines the distance between the spatial information identified in the case of YES in S12 of FIG. 3 and the feature point calculated in S32, the attitude of the image display device 10 calculated in S34, and Is used to specify the position and orientation of the image display device 10 in the space where the image display device 10 exists.
  • control unit 26 When S36 is finished, the control unit 26 returns to S30 and repeatedly executes each process of S30 to S36. That is, the control unit 26 can specify the position and orientation of the image display device 10 in the space where the image display device 10 exists in real time by repeatedly executing the processes of S30 to S36.
  • the control unit 26 starts real-time processing (see FIG. 5) in S14 of FIG. 3, the control unit 26 proceeds to S16.
  • the control unit 26 generates a menu object image representing the main menu object and associates it with a predetermined position.
  • the control unit 26 generates a menu object image and virtually arranges it at a predetermined position.
  • “the menu object image is virtually arranged at a predetermined position” means that the menu is displayed when the predetermined range is included in the specific range (that is, the imaging range of the first camera 16 and the second camera 18).
  • the menu object image is associated with a predetermined position so that a screen in a state where the object image is arranged at a predetermined position in the space is displayed on the display unit 14.
  • the control unit 26 virtually arranges the menu object image by designating the position in front of the user's field of view as the predetermined position. Therefore, at the time of the process of S16, the predetermined position is included in the specific range (that is, the user's view range). Therefore, as shown in FIG. 6, the display unit 14 displays a screen in a state where the menu object image 80 indicating the menu object is arranged in the space.
  • the display unit 14 is a translucent display, the user can display an aspect in which the menu object image 80 is combined with an actual article (that is, an indoor scene) that can be viewed through the display unit 14. Can see.
  • the menu object image 80 represents the main menu.
  • six selectable icons 82 to 92 are displayed. Each icon corresponds to each application.
  • icon 82 indicates a mail application
  • icon 84 indicates a movie application
  • icon 86 indicates a browser application
  • icon 88 indicates a photo application
  • icon 90 indicates a manual application
  • icon 92 indicates a music application.
  • the user can activate an application corresponding to a desired icon by performing a gesture of touching the desired icon within a specific range.
  • the control unit 26 monitors the detection of a user operation within a specific range.
  • “user operation within a specific range” is a gesture that the user performs on an object image such as a menu object image (for example, a gesture for instructing movement or size change of an image, an instruction to end display of an image) Gestures, a gesture for selecting an icon, a gesture for instructing power-off of the image display apparatus 10), movement of the user in the space, change of the user's viewing direction, and the like.
  • the control unit 26 determines the user within a specific range based on the first captured image from the first camera 16, the second captured image from the second camera 18, and the detection value of the sensor 20. It is determined whether or not an operation has been performed. When it is detected that the user has performed an operation within the specific range, the control unit 26 determines YES in S18 and proceeds to S20.
  • the control unit 26 determines whether or not the operation performed by the user is a predetermined gesture (hereinafter referred to as “end gesture”) instructing to turn off the image display device 10.
  • end gesture a predetermined gesture
  • the control unit 26 determines YES in S20, proceeds to S24, and turns off the power of the image display apparatus 10. In this case, the display device process in FIG. 3 ends. In this case, the real-time processing of FIG.
  • the control unit 26 determines NO in S20 and proceeds to S22.
  • the control unit 26 executes processing according to the operation. For example, when the operation performed by the user is an operation for moving the display position of the menu object image 80 (see FIG. 6), the control unit 26 changes the display position of the menu object image 80 according to the user's operation. In that case, the display unit 14 displays a screen in which the menu object image 80 is arranged at the changed position. For example, as illustrated in FIG. 6, when the operation performed by the user is an operation of selecting the manual application icon 90 in the menu object image 80 (for example, an operation of touching the icon 90), the control unit 26 activates the manual application according to the user's operation. When the manual application is activated, the control unit 26 starts the manual process of FIG. The contents of manual processing will be described in detail later.
  • control unit 26 When the control unit 26 finishes S22, the control unit 26 returns to S18 and monitors that the user operation is performed again. Thereby, whenever the user performs a gesture within a specific range or the user performs an operation of changing the direction of the line of sight, the control unit 26 displays the object image and the guide image displayed on the display unit 14 according to the operation. The display position and display mode are changed. The control unit 26 repeatedly executes each process of S18 to S22 until the end gesture is performed (YES in S20).
  • the control unit 26 based on the first photographed image from the first camera 16 and the second photographed image from the second camera 18, is an article (hereinafter referred to as “ In some cases, it may be referred to as “target article”. Specifically, in S50, the control unit 26 determines the characteristics (for example, shape, color, material) of the target article based on the images of the target article included in the first captured image and the second captured image. Etc.).
  • the control unit 26 specifies the article ID of the target article having the feature recognized in S50. Specifically, in S ⁇ b> 52, the control unit 26 determines whether or not the article having the feature recognized in S ⁇ b> 50 is included in the article table 32 in the memory 28. As shown in FIG. 8, the article table 32 includes a plurality of combination information 102, 104, 106, and the like in which an article ID (for example, “article P1”) is associated with feature data.
  • the feature data includes data for characterizing the article, such as the shape, material, and color of the article corresponding to the article ID.
  • the control unit 26 specifies combination information including feature data indicating similar features.
  • control unit 26 specifies an article ID included in the specified combination information. If control part 26 specifies article ID, it will progress to S54. On the other hand, when the article ID cannot be specified in S52 (that is, when the article having the feature recognized in S50 is not included in the article table 32), the control unit 26 ends the manual process with an error.
  • the control unit 26 when the target article is the resin-made white casing 400 having the shape shown in FIG. 11, in S52, the control unit 26 includes a combination including feature data indicating features similar to the features of the casing 400. Information 102 is specified. Then, the control unit 26 specifies the article ID “P1” included in the specified combination information 102.
  • the control unit 26 reads a manual corresponding to the article ID specified in S52 from the manual data 34 (see FIG. 2).
  • the manual data 34 includes a plurality of manuals.
  • the manual data 34 includes a manual for explaining a method of handling an article corresponding to the article ID (for example, an assembly method, a disassembly method, a repair method, etc.) for each article ID.
  • control unit 26 In subsequent S55, the control unit 26 generates a procedure list using the manual read in S54. 9 and 10 show examples of procedure lists.
  • the procedure list 200 in FIG. 9 is an example when the article ID “P1” (see the combination information 102 in FIG. 8) is specified in S52.
  • the procedure list 200 includes the ID “D1” of the image display device 10, the creation date and time of the procedure list 200 (“2015.Dec.18 10:00”), and the last update date and time of the procedure list 200 (“2015.Dec.18 10”). : 25 ”).
  • the procedure list 200 includes a procedure column indicating procedures for handling the article with the article ID “P1” (“cover”, “screw”, etc.), and operations according to those procedures. It includes a procedure table 202 combined with a result column indicating a result of “No” (“OK”, “NG”, etc.). At the time when the procedure list 200 is created in S55, each result column includes “NG” indicating that the operation according to the corresponding procedure has not been executed.
  • the procedure list 300 includes a procedure table 302 in which a procedure column indicating a procedure for handling an item with the item ID “P2” and a result column indicating whether or not those procedures are completed are combined. .
  • the contents of each procedure included in the procedure table 302 are different from the contents of each procedure included in the procedure table 202 of FIG.
  • the control unit 26 displays a procedure list at an arbitrary timing according to the user's operation even before the work is completed. Can be displayed on the display unit 14.
  • the control unit 26 determines whether or not the arrangement direction of the target article existing in the specific range matches the specific arrangement direction specified by the manual read in S54. When the arrangement direction of the target article matches the specific arrangement direction, the control unit 26 determines YES in S56 and proceeds to S58. On the other hand, when the arrangement direction of the target article does not coincide with the specific arrangement direction, the control unit 26 determines NO in S56 and proceeds to S57. In S57, the control unit 26 displays on the display unit 14 a message for prompting the user to change the arrangement direction of the target article to a specific arrangement direction. When S57 ends, the control unit 26 returns to the determination of S56.
  • control unit 26 causes the display unit 14 to display an instruction screen for instructing the first procedure according to the procedure list created in S55.
  • the target article is the casing 400 shown in FIG.
  • the first procedure is “cover”. Therefore, as shown in FIG. 12, in S58, when the target article (that is, the casing 400) is present in the specific range, the control unit 26 adds “the lid to the article image (that is, the actual image) of the target article.
  • An instruction screen in which an object image 500 for explaining the “cover” procedure is incorporated is displayed on the display unit 14. As illustrated in FIG.
  • the object image 500 includes an image virtually showing a lid and an image of an arrow for instructing the virtual lid to cover the opening of the housing 400.
  • the image of the lid is displayed in a color different from that of the housing 400 so that the user can easily see it.
  • the instruction screen in FIG. 12 is a screen for instructing to “cover” the opening of the casing 400 that is the target article.
  • the control unit 26 monitors that an operation in accordance with a procedure instructed on the instruction screen displayed in S58 (hereinafter may be referred to as “specific procedure”) is actually performed. .
  • the control unit 26 determines whether or not an operation according to a specific procedure has been performed based on at least one of the first captured image, the second captured image, and the operation information received from the tool 40. To do.
  • the control unit 26 determines YES in S60 and proceeds to S62.
  • the control unit 26 does not determine YES in S60 while determining that the operation according to the specific procedure is not performed.
  • the control unit 26 determines that “the operation according to the specific procedure is not performed”, for example, when the component to be attached is incorrect, when the screw tightening torque value is lower than a predetermined value, This includes various cases such as when an operation is performed.
  • the control unit 26 causes the housing 400 to It is monitored that a cover (see reference numeral 600 in FIG. 13) is actually put on the opening. The user can put an actual lid over the opening of the housing 400 while viewing the instruction screen of FIG. If the control unit 26 determines that the cover is actually covered on the opening of the housing 400 as instructed on the instruction screen based on the first and second captured images, YES in S60. Judge, and proceed to S62.
  • control unit 26 updates the procedure list. That is, the control unit 26 records in the procedure list created in S55 that the operation according to the procedure instructed on the instruction screen in S58 has been performed.
  • the control unit 26 causes the procedure list 200 ( In the procedure table 202 of FIG. 9), the result corresponding to the “cover” procedure is changed from “NG” to “OK”. Further, the control unit 26 updates the last update date / time.
  • the control unit 26 determines whether or not all the procedures are completed. Specifically, the control unit 26 determines whether all the procedures indicated by the procedure list created in S55 have been completed (that is, whether “OK” is included in the result column). If all the procedures indicated by the procedure list created in S55 have been completed, the control unit 26 determines YES in S64 and proceeds to S66. On the other hand, if all the procedures indicated by the procedure list created in S55 are not completed at the time of S64, the control unit 26 determines NO in S64 and returns to S58. In this case, the control unit 26 repeatedly executes each process of S58 to S62 until it determines YES in S64.
  • ⁇ H6 and an object image 800 for indicating a screw to be screwed in are displayed.
  • the object image 700 is displayed together with the characters “H1” to “H6” so that the screw holes H1 to H6 can be distinguished.
  • the object image 800 is displayed together with the letters “A” or “B” so that the type of screw (screw A, screw B) can be discriminated.
  • the control unit 26 monitors whether screws are actually screwed into the screw holes H1 to H6.
  • the user can screw an actual screw into each of the screw holes H1 to H6 using the tool 40 while viewing the instruction screen of FIG.
  • the user inserts a screw (screw A or screw B) of a type suitable for each of the screw holes H1 to H6.
  • the screw A is adapted to the screw holes H1, H2, H5, and H6, and the screw B is adapted to the screw holes H3 and H4.
  • the tool 40 detects a torque value when the user tightens the screw, and transmits operation information including the detected torque value to the image display device 10 via the BTI / F 46.
  • the control unit 26 receives operation information via the BTI / F 22. Based on the first photographed image, the second photographed image, and the operation information, the control unit 26 determines whether or not the screws are correctly screwed into the screw holes H1 to H6 with a predetermined tightening torque value. To do. If the control unit 26 determines that the screws are correctly screwed into the screw holes H1 to H6 with a predetermined tightening torque based on the first photographed image, the second photographed image, and the operation information, in S60. It judges YES and progresses to S62. In this case, as shown in FIG. 14, a cover 600 is placed on the casing 400, and the target article screwed by the six screws 900 is completed.
  • the control unit 26 changes each result corresponding to the “screw tightening” procedure from “NG” to “OK” in the procedure table 202 of the procedure list 200 (FIG. 9). To do.
  • the control unit 26 changes the result of each result column from “NG” to “OK”.
  • the control part 26 updates the last update date.
  • the procedure list 200 in which “OK” is recorded in all the result columns of the procedure table 202 is completed.
  • the control unit 26 determines YES in the subsequent second S64, and proceeds to S66.
  • control unit 26 stores the completed procedure list in the list storage area 36 of the memory 28.
  • control unit 26 In subsequent S68, the control unit 26 generates work information including the procedure list stored in the list storage area 36, and transmits the work information to the server 50 via the Wi-Fi I / F 24.
  • the work information includes various information (for example, transmission date and time) in addition to the procedure list.
  • the control unit 26 interrupts the process and forcibly proceeds to S66 regardless of which process of S55 to S64 is being executed.
  • the control unit 26 stores the procedure list at this time in the list storage area 36 of the memory 28.
  • the control unit 26 stores a procedure list including “NG” in the result column in the list storage area 36 as in the procedure list 300 of FIG.
  • the control unit 26 generates work information including the procedure list stored in the list storage area 36, and transmits the work information to the server 50 via the Wi-Fi I / F 24. And the control part 26 complete
  • the procedure list is stored in the list storage area 36 of the memory 28 by executing the manual processing of FIG.
  • the user of the image display device 10 can perform an operation for browsing the procedure list in the list storage area 36 within a specific range.
  • the control unit 26 can read out the procedure list designated by the user from the list storage area 36 and cause the display unit 14 to display a screen representing the procedure list.
  • the user can confirm whether or not the target article has been appropriately handled by looking at the procedure list displayed on the display unit 14.
  • the user of the server 50 can input a browsing request for browsing the work information in the memory 60 to the server 50 by operating the operation unit 54.
  • the control unit 58 reads the work information designated by the browsing request from the memory 60 and causes the display unit 52 to display a screen represented by the work information.
  • the screen represented by the work information includes information similar to the procedure list (see FIGS. 9 and 10).
  • the user of the server 50 can confirm whether or not the target article has been appropriately handled by the user of the image display device 10 by looking at the screen displayed on the display unit 52.
  • the user of the external PC 70 can input an operation for browsing the work information in the server 50 to the external PC 70 by operating the operation unit 72.
  • the control unit 74 of the external PC 70 can transmit a request signal for browsing work information in the memory 60 to the server 50 via the Wi-Fi I / F 73.
  • the control unit 58 receives the request signal via the Wi-Fi I / F 56. Then, the control unit 58 reads out the work information specified by the request signal from the memory 60 and transmits the read work information to the external PC 70 via the Wi-Fi I / F 56.
  • the control unit 74 of the external PC 70 receives the work information via the Wi-Fi I / F 73.
  • the control unit 74 can cause the display unit 71 to display a browsing screen represented by the received work information.
  • the browsing screen represented by the work information includes information similar to the procedure list (see FIGS. 9 and 10).
  • the user of the external PC 70 can also check whether or not the target article has been appropriately handled by the user of the image display device 10 by looking at the browsing screen displayed on the display unit 71.
  • the control unit 26 of the image display device 10 is configured to display the first captured image and the second captured image while the instruction screen (for example, see FIG. 12) is displayed on the display unit 14. Based on the image, it is determined whether or not the operation actually performed by the user on the target article within the specific range is in accordance with the procedure instructed on the instruction screen (S60 in FIG. 7).
  • the control unit 26 can record the result in the procedure list and store it in the memory 28 (S66). Therefore, the user of the image display device 10 can check whether or not the target article has been handled according to the procedure indicated by the manual by browsing the procedure list stored in the memory 28.
  • the control unit 26 of the image display device 10 follows the specific procedure.
  • An instruction screen (see FIG. 13) for instructing the procedure is displayed on the display unit 14. That is, when it is determined that the specific procedure is not completed (NO in S60), the control unit 26 does not display the instruction screen for instructing the execution of the next procedure on the display unit 14. Therefore, there is a high possibility that the user of the image display apparatus 10 can appropriately handle the target article according to the procedure indicated by the manual.
  • the control unit 26 of the image display device 10 receives operation information including a torque value when the user tightens the screw from the tool 40 via the BTI / F 22. Therefore, the control unit 26 adds screws to the screw holes H1 to H6 with a predetermined tightening torque value based on the operation information received from the tool 40 in addition to the first captured image and the second captured image. It is determined whether or not the screw has been correctly inserted (S60). Therefore, the control unit 26 can appropriately determine whether or not the screw is correctly screwed into each of the screw holes H1 to H6 with a predetermined tightening torque.
  • control unit 26 of the image display device 10 generates work information including a procedure list stored in the list storage area 36 and transmits the work information to the server 50 via the Wi-Fi I / F 24 ( S68). As a result, work information is accumulated in the server 50.
  • the user of the server 50, the user of the external PC 70, and the like can confirm whether or not the target article has been handled appropriately by looking at the screen displayed according to the work information stored in the server 50.
  • the “cover cover” procedure in the procedure table 202 of FIG. 9 is an example of the “first procedure”.
  • An object image 500 in FIG. 12 is an example of a “first object image”.
  • the instruction screen of FIG. 12 is an example of a “first instruction screen”.
  • the “tightening screw” procedure in the procedure table 202 of FIG. 9 is an example of the “second procedure”.
  • the object images 700 and 800 in FIG. 13 are examples of the “second object image”.
  • the instruction screen of FIG. 13 is an example of a “second instruction screen”.
  • the BTI / F 22 is an example of a “reception unit”.
  • Wi-Fi I / F 24 is an example of a “transmission unit”.
  • an image display device 1010 of the second embodiment will be described focusing on differences from the first embodiment.
  • This embodiment is different from the first embodiment in that the display unit 1014 is a light-shielding display and blocks the user's field of view when the user wears the image display device 1010.
  • Other components are almost the same as those in the first embodiment.
  • the control unit 26 sets the first area in the region facing the right eye of the user.
  • a captured image that is, a captured image of the first camera 16
  • a second captured image that is, a captured image of the second camera 18
  • the control unit 26 displays a screen in which the menu object image 80 is combined with the first captured image and the second captured image. To display.
  • the control unit 26 displays the first captured image in a region facing the user's right eye, and the second captured image in the region facing the user's left eye. Is displayed. Without being limited thereto, the control unit 26 may display only one of the first captured image and the second captured image on the display unit 1014. Further, the control unit 26 may display an image obtained by combining the first captured image and the second captured image on the display unit 1014.
  • the control unit 26 monitors whether a user operation within a specific range is detected. Is not limited to gestures performed on an object image such as a menu object image, movement of a user in a space, change of a user's visual field direction, and the like, including operations that a user inputs via input means (such as input keys) But you can.
  • the image display apparatuses 10 and 1010 may further include an input unit.
  • the control unit 26 starts real-time processing (S14) after executing calibration (YES in S10 and S12 in FIG. 3).
  • the present invention is not limited to this, and the control unit 26 may start real-time processing along with the execution of calibration.
  • the “first calibration image” and the “first photographed image” may be the same image, or the “second calibration image” and the “second photographed image” are the same image. It may be.
  • each of the image display devices 10 and 1010 has a substantially glasses-like support frame, and can be worn on the user's head like wearing glasses. It is.
  • the image display device is not limited to this, and may have an arbitrary support frame such as a hat shape or a helmet shape as long as the image display device can be mounted on the user's head.
  • the image display device includes a first camera 16 and a second camera 18 in eyewear (glasses, sunglasses, etc.) generally used for purposes such as vision correction and eye protection. And by attaching the control box 19. In that case, the lens portion of the eyewear may be used as the display unit.
  • the control unit 26 recognizes the feature of the target article based on the first photographed image and the second photographed image (S50 in FIG. 7), and then recognized.
  • the product ID of the target product having characteristics is specified based on the product table 32 (see FIG. 8) (S52).
  • the method by which the control unit 26 specifies the item ID of the target item is not limited to this, and any method can be adopted. For example, an information code in which an article ID is recorded on the target article is attached in advance, and the control unit 26 decodes the information code included in the first photographed image and the second photographed image, thereby the article. An ID may be specified.
  • the tool 40 is not limited to a screwdriver tool (so-called driver) that is gripped and used by the user, and may be any other type of tool (for example, a spanner, a caliper, etc.). Even in this case, the tool 40 only needs to be able to transmit operation information to the image display device 10.
  • driver screwdriver tool
  • the tool 40 only needs to be able to transmit operation information to the image display device 10.
  • the various object images of the menu object image 80 (FIG. 6) and the object images 500, 700, and 800 (FIGS. 12 and 13) are all displayed as still images.
  • the present invention is not limited to this, and various object images may be displayed as moving images (that is, images in which at least a part is animated).
  • Modification 9 In each of the embodiments described above, when it is determined that the specific procedure is not completed (NO in S60 of FIG. 7), the control unit 26 instructs to specify the specific procedure.
  • the screen that is, the screen including the object image
  • the control unit 26 is not limited to this. Even when it is determined that the specific procedure is not completed, the control unit 26 satisfies the predetermined condition (for example, when a predetermined time has elapsed from the start of display of the instruction screen, The display of the instruction screen may be terminated when at least part of the specific procedure is completed).
  • This modification is also an example in which the control unit 26 “displays the instruction screen on the display unit”.
  • control unit 26 monitors that the operation indicated by the specific procedure is actually performed (that is, completed).
  • the control unit 26 is not limited to this, and in S60 of FIG. 7, the control unit 26 determines whether the operation indicated by the specific procedure has been completed or not, and the operation stage of the operation indicated by the specific procedure (for example, unworked, working, completed Etc.) may be determined at the same time.
  • the procedure tables 202 and 302 in the procedure lists 200 and 300 are the procedures for handling the article having the article ID “P1” (“cover the cover”). ”,“ Tighten screws ”, etc.) and a result column showing the result (“ OK ”,“ NG ”, etc.) indicating whether or not an operation according to these procedures has been performed.
  • a remarks column may be further combined in addition to the procedure column and the result column. In the remarks column, for example, various information such as a reason when the result is “NG” may be recorded. In this case, in S60 of FIG.
  • the control unit 26 determines that the operation indicated by the specific procedure is not completed, the reason for determining that the operation indicated by the specific procedure is not completed (for example, screwing). It is also possible to determine whether the screw to be inserted does not exist in the surroundings, the torque when tightening the screw is less than a predetermined value, or the like. In that case, the control unit 26 may record the reason for determining that the operation indicated by the specific procedure is not completed in the remarks column of the procedure tables 202 and 302. In this modification, the work information generated in S68 of FIG. 7 may further include information recorded in the remarks column.
  • the control unit 26 instructs the execution of the next procedure. Is not displayed on the display unit 14.
  • the present invention is not limited to this, and the control unit 26 may display an instruction screen for instructing execution of the next procedure on the display unit 14 according to a user operation even before the specific procedure is completed. Good.
  • the control unit 26 displays an instruction screen for a previous procedure that has already been completed in response to a user operation even while an instruction screen for instructing execution of a specific procedure is displayed on the display unit 14. May be redisplayed.
  • a skippable procedure that is, a procedure that does not affect the handling of the target article even if it is not completed. It may be.
  • the skippable procedures include, for example, incidental procedures such as “clean the surroundings between operations” and “apply a decorative sticker on the surface of the target article”.
  • the control unit 26 displays an instruction screen for instructing a skippable procedure on the display unit 14, even before the skippable procedure is completed, according to a user operation.
  • An instruction screen for instructing execution of the next procedure may be displayed on the display unit 14.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manufacturing & Machinery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

画像表示装置１０の制御部２６は、表示部１４に、対象物品を取り扱うための手順を示す指示画面が表示されている間に、第１のカメラ１６から取得される第１の撮影画像と、第２のカメラ１８から取得される第２の撮影画像と、に基づいて、対象物品に対してユーザが実際に行った操作が、指示画面によって指示された手順に従っているか否かを判断する。制御部２６は、その結果を手順リストに記録し、その手順リストをメモリ２８に記憶させることができる。

Description

画像表示装置
　本明細書によって開示される技術は、ユーザの頭部に装着して用いられる画像表示装置に関する。
　例えば、特開２０１４－９３０５０号公報（以下、特許文献１という）には、ユーザの頭部に装着して用いられる画像表示装置が開示されている。この種の画像表示装置は、ユーザの視界に対応する範囲の画像（即ち、現実画像）を表示する表示部と、表示部に表示される画像に関連するオブジェクトを表すオブジェクト画像を表示部に表示されている現実画像に合成して表示させるコンピュータと、を備える。このように、人間が知覚する現実世界をコンピュータによって増強及び拡張する技術は、拡張現実（ＡＲ：Augumented Reality）として知られている。
　特許文献１の画像表示装置において、対象物品の物品画像が表示部に表示されている間に、対象物品の取り扱いに関係するマニュアルを示すオブジェクト画像を併せて表示部に表示させることも想定し得る。
　しかしながら、その場合であっても、画像表示装置は、実際にマニュアルが示す手順に従って対象物品が取り扱われたか否かを判定することができないため、ユーザ等が、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することはできない。
　本明細書では、ユーザ等が、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる技術を開示する。
　本明細書によって開示される画像表示装置は、ユーザの頭部に装着して用いられる。画像表示装置は、表示部と、ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、第１のカメラとは異なる位置に設けられるとともに、特定範囲を撮影する第２のカメラと、画像表示装置の姿勢を検出可能なセンサと、制御部と、対象物品の取り扱いに関係するマニュアルを記憶するメモリと、を有している。制御部は、第１のカメラから取得される第１のキャリブレーション画像と、第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、空間情報と、第１のカメラから取得される第１の撮影画像と、第２のカメラから取得される第２の撮影画像と、センサが検出する画像表示装置の姿勢と、に基づいて、空間内における画像表示装置の位置及び姿勢を特定し、特定範囲に対象物品が含まれている場合に、メモリ内のマニュアルに従って、対象物品を取り扱うための第１の手順を示す第１のオブジェクト画像を含む第１の指示画面であって、第１のオブジェクト画像が対象物品に合わせて表示されている第１の指示画面を、表示部に表示させ、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、第１の手順に従っているか否かを判断し、判断の結果をメモリに記憶させる。
　上記の構成によると、制御部は、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、第１の手順に従っているか否かを判断し、判断の結果をメモリに記憶させる。そのため、ユーザ等は、メモリに記憶された判断の結果を確認することにより、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる。
　ここで、「第１の撮影画像」は、第１のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。同様に、「第２の撮影画像」は、第２のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。ここで、「対象物品の取り扱い」とは、対象物品の組立て、解体、使用、修理等、対象物品を取り扱うための任意の作業を含む。「第１のオブジェクト画像」は、静止画、動画のどちらの画像も含む。
　なお、上記の画像表示装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能記録媒体も、新規で有用である。
通信システムの概要を示す。 図１の通信システムのブロック図を示す。 表示装置処理のフローチャートを示す。 キャリブレーション画面の例を示す。 リアルタイム処理の例を示す。 メニューオブジェクト画像の例を示す。 マニュアル処理の例を示す。 物品テーブルの例を示す。 手順リストの例を示す。 手順リストの他の例を示す。 対象物品の例を示す。 指示画面の例（１）を示す。 指示画面の例（２）を示す。 作業完了後の対象物品の例を示す。 第２実施例の画像表示装置の外観を示す。
　以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。
（特徴１）制御部は、操作が第１の手順に従っていると判断される場合に、メモリ内のマニュアルに従って、第１の手順の後に実行されるべき第２の手順を示す第２のオブジェクト画像を含む第２の指示画面であって、第２のオブジェクト画像が対象物品に合わせて表示されている第２の指示画面を、第１の指示画面に代えて表示部に表示させてもよい。「第２のオブジェクト画像」は、静止画、動画のどちらの画像も含む。
　この構成によると、操作が第１の手順に従っていると判断される場合に、第２の指示画面が表示部に表示される。すなわち、制御部は、操作が第１の従っていないと判断される場合に、第２の指示画面を表示部に表示させないようにし得る。そのため、ユーザが、対象物品をマニュアルが示す手順に従って適切に取り扱うことができる可能性が高くなる。
（特徴２）画像表示装置は、工具から、工具の動作内容に関係する動作情報を受信する受信部をさらに有していてもよい。操作は、工具を利用する操作を含んでもよい。制御部は、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、受信部から取得される動作情報と、に基づいて、操作が第１の手順に従っているか否かを判断してもよい。
　この構成によると、制御部は、第１の撮影画像と第２の撮影画像に加えて、工具から受信部を介して取得される動作情報に基づいて、操作が第１の手順に従っているか否かを判断する。そのため、上記の構成によると、制御部は、操作が第１の手順に従っているか否かをより適切に判断し得る。
（特徴３）画像表示装置は、外部サーバに情報を送信するための送信部をさらに備えていてもよい。制御部は、メモリに記憶されている判断の結果を含む作業情報を、送信部を介して外部サーバに送信してもよい。
　この構成によると、制御部は、メモリに記憶されている判断の結果を含む作業情報を、送信部を介して外部サーバに送信する。これにより、外部サーバには作業情報が蓄積される。外部サーバの管理者等は、外部サーバに蓄積された作業情報を見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。
　また、本明細書では、上記の画像表示装置によって送信された作業情報を記憶する外部サーバと通信可能な端末装置のためのコンピュータプログラムも開示する。端末装置は、表示部と、コンピュータを備える。コンピュータプログラムは、コンピュータに、外部サーバと通信を行って外部サーバから作業情報を受信する処理と、受信された作業情報によって表される閲覧画面を表示部に表示させる処理と、を実行させる。
　この構成によると、端末装置のユーザは、表示部に表示された閲覧画面を見ることにより、画像表示装置のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。
（第１実施例）
（通信システム２の構成；図１、図２）
　図１、図２に示すように、通信システム２は、画像表示装置１０と、工具４０と、サーバ５０と、外部ＰＣ（Personal Computerの略）７０とを備える。画像表示装置１０と、サーバ５０と、外部ＰＣ７０は、インターネット４を介して相互に無線通信（具体的には、Ｗｉ－Ｆｉ通信）を実行可能である（図中の実線矢印参照）。また、画像表示装置１０と工具４０は、相互にＢｌｕｅｔｏｏｔｈ（登録商標）通信（以下では「ＢＴ通信」と呼ぶ）を実行可能である（図中の破線矢印参照）。
（画像表示装置１０の構成）
　画像表示装置１０は、ユーザの頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。図１に示すように、画像表示装置１０は、支持体１２と、表示部１４ａ、１４ｂと、投影部１５ａ、１５ｂと、第１のカメラ１６と、第２のカメラ１８と、コントロールボックス１９とを備えている。
　支持体１２は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するように支持体１２を装着することによって、画像表示装置１０を頭部に装着することができる。
　表示部１４ａ、１４ｂは、それぞれ、透光性の表示部材である。ユーザが画像表示装置１０を頭部に装着すると、ユーザの右眼に対向する位置に表示部１４ａが配置され、左眼に対向する位置に表示部１４ｂが配置される。以下、左右の表示部１４ａ、１４ｂを総称して表示部１４と呼ぶ場合がある。
　投影部１５ａ、１５ｂは、表示部１４ａ、１４ｂに画像を投影する部材である。投影部１５ａ、１５ｂは、表示部１４ａ、１４ｂの側部に設けられている。以下、左右の投影部１５ａ、１５ｂを総称して投影部１５と呼ぶ場合がある。本実施例では、投影部１５は、制御部２６の指示に従って、所定のオブジェクト画像を表示部１４に投影する。これにより、ユーザは、表示部１４越しにユーザが視認可能な現実世界の対象物又は／及び空間の所定の位置に、上記オブジェクト画像が合成されたかの様に、現実世界の対象物又は／及び空間とオブジェクト画像とを見ることができる。以下、本明細書では、制御部２６が、投影部１５に画像の投影を指示することによって、表示部１４に所望の画面を表示させることを説明する場合に、投影部１５の動作の説明を省略し、単に「制御部２６が表示部１４に所望の画像を表示させる」などと表現する場合がある。
　第１のカメラ１６は、支持体１２のうち、表示部１４ａの上方位置（即ち、ユーザの右眼に対応する位置）に配置されているカメラである。一方、第２のカメラ１８は、支持体１２のうち、表示部１４ｂの上方位置（即ち、ユーザの左眼に対応する位置）に配置されているカメラである。第１のカメラ１６と第２のカメラ１８のそれぞれによって、画像表示装置１０を装着するユーザの視界範囲に対応する範囲（以下では「特定範囲」と呼ぶ）を異なる角度から撮影することができる。
　コントロールボックス１９は、支持体１２の一部に取り付けられている箱体である。コントロールボックス１９には、画像表示装置１０の制御系統を司る各要素が収容されている。具体的に言うと、図２に示すように、コントロールボックス１９には、センサ２０と、ＢＴインターフェース２２と、Ｗｉ－Ｆｉインターフェース２４と、制御部２６と、メモリ２８とが収容されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。
　センサ２０は、３軸加速度センサである。センサ２０は、Ｘ，Ｙ，Ｚの３軸の加速度を検出する。センサ２０の検出値を用いて、制御部２６は、画像表示装置１０の姿勢、及び、運動状態を特定することができる。
　ＢＴＩ／Ｆ２２は、外部の装置（例えば工具４０）とＢＴ通信を実行するためのＩ／Ｆである。
　Ｗｉ－ＦｉＩ／Ｆ２４は、インターネット４を介して、外部の装置（例えば、サーバ５０）とＷｉ－Ｆｉ通信を実行するためのＩ／Ｆである。
　制御部２６は、メモリ２８に記憶されているプログラムに従って様々な処理を実行する。制御部２６が実行する処理の内容は後で詳しく説明する。また、制御部２６は、表示部１４、投影部１５、第１のカメラ１６、第２のカメラ１８、センサ２０、ＢＴＩ／Ｆ２２、Ｗｉ－ＦｉＩ／Ｆ２４、及び、メモリ２８と電気的に接続されており、これらの各要素の動作を制御することができる。
　メモリ２８は、様々なプログラムを記憶している。プログラムは、マニュアルアプリケーションプログラム３０等の各種アプリケーションプログラムを含む。図２では、マニュアルアプリケーションプログラム３０のことを「マニュアルアプリ３０」と表示している。以下では、マニュアルアプリケーションのことを単に「マニュアルアプリ」と呼ぶ場合がある。ここで、「マニュアルアプリ」とは、物品の取り扱い（例えば、組立て、解体、使用、修理等）方法を、現実画像とオブジェクト画像（即ち、仮想画像）とを用いて指示するためのアプリケーションである。制御部２６は、マニュアルアプリ３０に従って、後述のマニュアル処理（図６参照）を実行する。マニュアルアプリ３０は、物品テーブル３２（図８参照）と、マニュアルデータ３４とを含む。物品テーブル３２は、マニュアルアプリ３０に従って取り扱い方法が指示される物品に関するデータを含んでいる。物品テーブル３２の内容は後で詳しく説明する。マニュアルデータ３４は、複数個の物品のそれぞれについて、当該物品の取り扱い方法を説明するマニュアルを含んでいる。さらに、メモリ２８は、後述のマニュアル処理（図６参照）に伴って生成される手順リスト（図８、図９参照）を格納するためのリスト記憶領域３６も有している。また、メモリ２８には、画像表示装置１０に割り当てられたＩＤも記憶されている。図１、図２に示すように、本実施例の画像表示装置１０のＩＤは「Ｄ１」である。
　図１の例では、１台の画像表示装置１０のみを図示しているが、実際の通信システム２内には複数台の画像表示装置１０が存在していてもよい。その場合、画像表示装置１０毎に異なるＩＤが割り当てられる。
（工具４０の構成）
　図１に示すように、工具４０は、ユーザが把持して利用するねじ回し用工具（いわゆるドライバー）である。図２に示すように、工具４０は、制御部４２と、メモリ４４と、ＢＴＩ／Ｆ４６とを備えている。
　ＢＴＩ／Ｆ４６は、外部の装置（例えば画像表示装置１０）とＢＴ通信を実行するためのＩ／Ｆである。制御部４２は、メモリ４４に記憶されているプログラムに従って、工具の動作内容に関係する動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する処理を実行する。具体的には、制御部４２は、ねじを締める際のトルク値を検出し、検出したトルク値を含む動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する処理を実行する。メモリ４４は、様々なプログラムを記憶している。
　図１の例では、１台の工具４０のみを図示しているが、実際の通信システム２内には複数台の工具４０が存在していてもよい。
（サーバ５０の構成）
　図１、図２のサーバ５０は、画像表示装置１０の管理者（例えば、画像表示装置１０を提供する企業等）によって設置されるサーバである。サーバ５０は、画像表示装置１０のユーザによる物品の取り扱い実績を管理する。サーバ５０は、表示部５２と、操作部５４と、Ｗｉ－ＦｉＩ／Ｆ５６と、制御部５８と、メモリ６０とを備える。
　表示部５２は、様々な情報を表示可能なディスプレイである。操作部５４は、キーボード及びマウスを備える。サーバ５０のユーザは、操作部５４を操作することによって様々な指示をサーバ５０に入力することができる。Ｗｉ－ＦｉＩ／Ｆ５６は、インターネット４を介して、外部の装置（例えば、画像表示装置１０、外部ＰＣ７０）とＷｉ－Ｆｉ通信を実行するためのＩ／Ｆである。制御部５８は、メモリ６０に記憶されているプログラムに従って様々な処理を実行する。メモリ６０は、様々なプログラムを記憶する。また、メモリ６０は、画像表示装置１０がマニュアル処理（図７参照）を実行することによって画像表示装置１０から受信される作業情報を記憶している。
（外部ＰＣ７０の構成）
　図１、図２の外部ＰＣ７０は、画像表示装置１０の管理者（例えば、画像表示装置１０を提供する企業等）が使用するＰＣである。外部ＰＣ７０は、サーバ５０にアクセスして、画像表示装置１０のユーザによる物品の取り扱い実績を閲覧するために利用される。外部ＰＣ７０も、サーバ５０と同様に、表示部７１と、操作部７２と、Ｗｉ－ＦｉＩ／Ｆ７３と、制御部７４と、メモリ７５とを備える。
　表示部７１は、様々な情報を表示可能なディスプレイである。操作部７２は、キーボードを備える。外部ＰＣ７０のユーザは、操作部７２を操作することによって様々な指示をサーバ５０に入力することができる。Ｗｉ－ＦｉＩ／Ｆ７３は、インターネット４を介して、サーバ５０とＷｉ－Ｆｉ通信を実行するためのＩ／Ｆである。制御部７４は、メモリ７５に記憶されているプログラムに従って様々な処理を実行する。メモリ７５は、様々なプログラムを記憶する。本実施例では、特に、メモリ７５は、外部ＰＣ７０がサーバ５０と通信を行い、サーバ５０に記憶された作業情報を閲覧するための閲覧プログラム７６を記憶している。
（表示装置処理；図３）
　図３を参照して、画像表示装置１０の制御部２６が実行する表示装置処理について説明する。ユーザが画像表示装置１０を自身の頭部に装着し、画像表示装置１０の電源をオンすると、制御部２６は、図３の表示装置処理を開始する。
　Ｓ１０では、制御部２６は、表示部１４に、所定のキャリブレーション画面を表示する。キャリブレーション画面は、ユーザにキャリブレーションを行わせるための画面である。ここで、「キャリブレーション」は、画像表示装置１０の周囲の空間の特徴を特定するための空間情報（即ちキャリブレーションデータ）を特定するための処理である。また、「画像表示装置１０の周囲の空間の特徴」は、例えば、画像表示装置１０が室内に存在する場合、壁と自機との距離、壁の方向、天井と自機との距離、天井の高さ、床の面積、家具類の位置、家具類との距離等、室内空間を特徴づけるための各種情報を含む。一方、例えば、画像表示装置１０が屋外に存在する場合、「画像表示装置１０の周囲の空間の特徴」は、周囲の目標物との距離等、自機の周囲の空間を特徴づけるための各種情報を含む。
　図４にキャリブレーション画面の例を示す。図４の例に示すように、キャリブレーション画面には、ポインタＰと、ポインタを視線で追うようにユーザに促すためのメッセージが含まれている。制御部２６は、ユーザがポインタＰを視線で追うことにより、画像表示装置１０の周囲の空間を全て視界に入れられるように、表示部１４内でポインタＰを動かす。
　続くＳ１２では、制御部２６は、空間情報の特定が完了することを監視する。上記の通り、Ｓ１０で表示部１４にキャリブレーション画面（図４参照）が表示された後に、ユーザがポインタＰを視線で追う動作を行う（即ち、ユーザがポインタＰの動きに合わせて頭部を動かす）ことにより、第１のカメラ１６及び第２のカメラ１８によって周囲の空間の各方向が撮影される。この際、制御部２６は、第１のカメラ１６から、第１のカメラ１６によって撮影された特定範囲（即ち、ユーザの視界範囲に対応する範囲）の画像である第１のキャリブレーション画像を取得するとともに、第２のカメラ１８から、第２のカメラ１８によって撮影された特定範囲の画像である第２のキャリブレーション画像を取得する。制御部２６は、第１のキャリブレーション画像と第２のキャリブレーション画像とに共通する特徴点を特定し、三角測量を行うことによって、特徴点と画像表示装置１０との間の距離を算出することができる。さらに、制御部２６は、ポインタＰの初期位置の座標を基準とする上記特徴点の位置の座標を特定することもできる。制御部２６は、画像表示装置１０の周囲の全方向に存在する複数個の特徴点のそれぞれについて、同様の処理を実行する。制御部２６は、画像表示装置１０の周囲の全方向に存在する複数個の特徴点のそれぞれについて、当該特徴点との距離と当該特徴点の座標を特定した場合、Ｓ１２でＹＥＳと判断してＳ１４に進む。即ち、Ｓ１２における「画像表示装置１０の周囲の空間の特徴を特定するための空間情報」は、各特徴点との距離と各特徴点の座標とを意味する。
　Ｓ１４では、制御部２６は、リアルタイム処理（図５参照）を開始する。Ｓ１４でリアルタイム処理が開始されると、制御部２６は、画像表示装置１０の電源がオフされるまで、リアルタイム処理を繰り返し実行する。制御部２６は、Ｓ１４でリアルタイム処理を開始すると、Ｓ１６に進む。以下、図５を参照して、リアルタイム処理の内容を説明する。
（リアルタイム処理；図５）
　図５のＳ３０では、制御部２６は、第１のカメラ１６から、Ｓ３０の時点で第１のカメラ１６によって撮影されている特定範囲の画像である第１の撮影画像を取得するとともに、第２のカメラ１８から、Ｓ３０の時点で第２のカメラ１８によって撮影されている特定範囲の画像である第２の撮影画像とを取得する。即ち、Ｓ３０で取得される第１の撮影画像及び第２の撮影画像は、いずれも、ユーザの現時点の視界範囲に相当するリアルタイムの撮影画像である。
　続くＳ３２では、制御部２６は、第１の撮影画像と第２の撮影画像とに共通する特定の特徴点と画像表示装置１０との間の距離を算出する。ここで言う「特徴点」は、例えば、空間情報（図３のＳ１２でＹＥＳの場合）に含まれる複数個の特徴点のうちの１つである。特徴点と画像表示装置１０との間の距離は、上記の場合と同様に、第１の撮影画像と第２の撮影画像を用いて三角測量を行うことによって算出される。
　続くＳ３４では、制御部２６は、センサ２０の検出値に基づいて、この時点での画像表示装置１０の姿勢を算出する。具体的には、制御部２６は、センサ２０の検出値（即ち、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向の加速度）に基づいて、重力方向を０°とした場合のＸ軸、Ｙ軸、Ｚ軸の傾斜角（θｘ、θｙ、θｚ）を算出し、それらの傾斜角に基づいて、Ｓ１０の時点における画像表示装置１０の姿勢（即ち、水平面に対する傾き）を算出する。
　続くＳ３６では、制御部２６は、図３のＳ１２でＹＥＳの場合に特定された空間情報と、Ｓ３２で算出された特徴点との距離と、Ｓ３４で算出された画像表示装置１０の姿勢と、を用いて、画像表示装置１０が存在する空間内における画像表示装置１０の位置及び姿勢を特定する。
　Ｓ３６を終えると、制御部２６は、Ｓ３０に戻り、Ｓ３０～Ｓ３６の各処理を繰り返し実行する。即ち、制御部２６は、Ｓ３０～Ｓ３６の処理を繰り返し実行することにより、画像表示装置１０が存在する空間内における画像表示装置１０の位置及び姿勢をリアルタイムで特定することができる。
（表示装置処理の続き；図３のＳ１６以降）
　上記の通り、制御部２６は、図３のＳ１４でリアルタイム処理（図５参照）を開始すると、Ｓ１６に進む。Ｓ１６では、制御部２６は、メインメニューオブジェクトを表すメニューオブジェクト画像を生成し、所定位置に対応付ける。言い換えると、制御部２６は、メニューオブジェクト画像を生成し、所定位置に仮想的に配置する。ここで、「メニューオブジェクト画像を所定位置に仮想的に配置する」とは、特定範囲（即ち、第１のカメラ１６及び第２のカメラ１８の撮像範囲）に所定位置が含まれる場合に、メニューオブジェクト画像が空間内の所定位置に配置された状態の画面が表示部１４に表示されるように、メニューオブジェクト画像を所定位置に対応付けることを意味する。なお、Ｓ１６では、制御部２６は、ユーザの視界の正面の位置を所定位置として指定して、メニューオブジェクト画像を仮想的に配置する。そのため、Ｓ１６の処理の時点では、特定範囲（即ちユーザの視界範囲）に所定位置が含まれる。そのため、図６に示すように、表示部１４には、メニューオブジェクトを示すメニューオブジェクト画像８０が空間内に配置された状態の画面が表示される。本実施例では、表示部１４は透光性のディスプレイであるため、ユーザは、表示部１４越しに視認できる現実の物品（即ち、室内の光景）にメニューオブジェクト画像８０が合わされた態様の表示を見ることができる。
　図６に示すように、メニューオブジェクト画像８０は、メインメニューを表している。メニューオブジェクト画像８０は、選択可能な６個のアイコン８２～９２が表示されている。各アイコンは、各アプリケーションに対応している。例えば、アイコン８２はメールアプリを示し、アイコン８４は映画アプリを示し、アイコン８６はブラウザアプリを示し、アイコン８８は写真アプリを示し、アイコン９０はマニュアルアプリを示し、アイコン９２は音楽アプリを示す。ユーザは、特定範囲内で所望のアイコンにタッチするジェスチャーを行うことにより、所望のアイコンに対応するアプリケーションを起動させることができる。
　続くＳ１８では、制御部２６は、特定範囲内におけるユーザの操作を検出することを監視する。ここで、「特定範囲内におけるユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー（例えば、画像の移動やサイズ変更を指示するジェスチャー、画像の表示の終了を指示するジェスチャー、アイコンを選択するジェスチャー、画像表示装置１０の電源オフを指示するジェスチャー等）、空間内でのユーザの移動、ユーザの視界方向の変化等、各種の動作を含む。Ｓ１８では、制御部２６は、第１のカメラ１６からの第１の撮影画像、第２のカメラ１８からの第２の撮影画像、及び、センサ２０の検出値に基づいて、特定範囲内でユーザが操作を行ったか否かを判断する。制御部２６は、特定範囲内でユーザが操作を行ったことが検出されると、Ｓ１８でＹＥＳと判断し、Ｓ２０に進む。
　Ｓ２０では、制御部２６は、ユーザによって行われた操作が、画像表示装置１０の電源オフを指示する所定のジェスチャー（以下では「終了ジェスチャー」と呼ぶ）であるか否かを判断する。制御部２６は、ユーザによって行われた操作が所定の終了ジェスチャーであると判断すると、Ｓ２０でＹＥＳと判断し、Ｓ２４に進み、画像表示装置１０の電源をオフする。この場合、図３の表示装置処理が終了する。この場合、図５のリアルタイム処理も併せて終了する。一方、制御部２６は、ユーザによって行われた操作が所定の終了ジェスチャー以外の操作であると判断すると、Ｓ２０でＮＯと判断し、Ｓ２２に進む。
　Ｓ２２では、制御部２６は、操作に応じた処理を実行する。例えば、ユーザによって行われた操作が、メニューオブジェクト画像８０（図６参照）の表示位置の移動操作である場合、制御部２６は、ユーザの操作に従って、メニューオブジェクト画像８０の表示位置を変更する。その場合、表示部１４には、変更後の位置にメニューオブジェクト画像８０が配置された状態の画面が表示される。また、例えば、図６に示すように、ユーザによって行われた操作が、メニューオブジェクト画像８０中のマニュアルアプリのアイコン９０を選択する操作（例えば、アイコン９０をタッチする操作）である場合、制御部２６は、ユーザの操作に従って、マニュアルアプリを起動させる。マニュアルアプリが起動すると、制御部２６は、図７のマニュアル処理を開始する。マニュアル処理の内容は後で詳しく説明する。
　制御部２６は、Ｓ２２を終えると、Ｓ１８に戻り、再びユーザの操作が行われることを監視する。これにより、ユーザが特定範囲内でジェスチャーを行ったり、ユーザが視線の方向を変えたりする操作を行う毎に、制御部２６は、操作に応じて表示部１４に表示されるオブジェクト画像、ガイド画像の表示位置及び表示態様を変更する。制御部２６は、終了ジェスチャーが行われる（Ｓ２０でＹＥＳ）まで、Ｓ１８～Ｓ２２の各処理を繰り返し実行する。
（マニュアル処理；図７）
　図７を参照して、画像表示装置１０の制御部２６が実行するマニュアル処理について説明する。上記の通り、ユーザの操作によってマニュアルアプリが起動されると、制御部２６は、マニュアル処理を開始する。
　Ｓ５０では、制御部２６は、第１のカメラ１６からの第１の撮影画像、及び、第２のカメラ１８からの第２の撮影画像に基づいて、特定範囲内に存在する物品（以下では「対象物品」と呼ぶ場合がある）の特徴を認識する。具体的には、Ｓ５０では、制御部２６は、第１の撮影画像及び第２の撮影画像に含まれている対象物品の画像に基づいて、当該対象物品の特徴（例えば、形状、色、素材等）を認識する。
　続くＳ５２では、制御部２６は、Ｓ５０で認識された特徴を有する対象物品の物品ＩＤを特定する。具体的には、Ｓ５２では、制御部２６は、Ｓ５０で認識された特徴を有する物品が、メモリ２８内の物品テーブル３２内に含まれるのか否かを判断する。図８に示すように、物品テーブル３２には、物品ＩＤ（例えば「物品Ｐ１」）と、特徴データとが対応付けられた複数の組合せ情報１０２、１０４、１０６等が含まれている。特徴データは、物品ＩＤに対応する物品の形状、素材、色等、当該物品を特徴づけるためのデータを含んでいる。制御部２６は、Ｓ５０で認識された特徴に基づいて、同様の特徴を示す特徴データを含む組合せ情報を特定する。そして、制御部２６は、特定された組合せ情報に含まれる物品ＩＤを特定する。制御部２６は、物品ＩＤを特定すると、Ｓ５４に進む。一方、制御部２６は、Ｓ５２において物品ＩＤを特定できなかった場合（即ち、Ｓ５０で認識された特徴を有する物品が物品テーブル３２に含まれていなかった場合）、マニュアル処理をエラー終了する。
　例えば、対象物品が、図１１に示す形状であって樹脂製の白色の筐体４００である場合、Ｓ５２では、制御部２６は、筐体４００の特徴と同様の特徴を示す特徴データを含む組合せ情報１０２を特定する。そして、制御部２６は、特定された組合せ情報１０２に含まれる物品ＩＤ「Ｐ１」を特定する。
　Ｓ５４では、制御部２６は、Ｓ５２で特定された物品ＩＤに対応するマニュアルをマニュアルデータ３４（図２参照）から読み出す。上記の通り、マニュアルデータ３４は、複数個のマニュアルを含んでいる。マニュアルデータ３４内には、物品ＩＤごとに、当該物品ＩＤに対応する物品の取り扱い方法（例えば、組立て方法、解体方法、修理方法等）を説明するためのマニュアルが含まれている。
　続くＳ５５では、制御部２６は、Ｓ５４に読み出されたマニュアルを用いて、手順リストを生成する。図９、図１０はそれぞれ手順リストの例を示す。
　図９の手順リスト２００は、Ｓ５２で物品ＩＤ「Ｐ１」（図８の組合せ情報１０２参照）が特定された場合の例である。手順リスト２００は、画像表示装置１０のＩＤ「Ｄ１」、手順リスト２００の作成日時（「2015.Dec.18 10:00」）と、手順リスト２００の最終更新日時（「2015.Dec.18 10:25」）を含む。さらに、手順リスト２００は、物品ＩＤ「Ｐ１」の物品を取り扱うための手順（「蓋をかぶせる」、「ねじをしめる」等）を示す手順欄と、それらの手順に従った操作が行われた否かの結果（「ＯＫ」、「ＮＧ」等）を示す結果欄とが組み合わされた手順表２０２を含む。Ｓ５５で手順リスト２００が作成された時点では、各結果欄には、対応する手順に従った操作が未実行であることを意味する「ＮＧ」が含まれる。
　図１０の手順リスト３００は、Ｓ５２で物品ＩＤ「Ｐ２」（図８の組合せ情報１０４参照）が特定された場合の例である。手順リスト３００の基本的な構成は図９の手順リスト２００と共通している。手順リスト３００は、物品ＩＤ「Ｐ２」の物品を取り扱うための手順を示す手順欄と、それらの手順が完了したか否かの結果を示す結果欄とが組み合わされた手順表３０２を含んでいる。手順表３０２に含まれる各手順の内容は、図９の手順表２０２に含まれる各手順の内容とは異なっている。
　図７には示していないが、Ｓ５５で手順リストが生成された後は、制御部２６は、ユーザの操作に応じて、作業完了前であっても、任意のタイミングで、手順リストを表す画面を表示部１４に表示させることができる。
　続くＳ５６では、制御部２６は、特定範囲内に存在する対象物品の配置方向が、Ｓ５４で読み出されたマニュアルが指定する特定の配置方向と一致しているか否かを判断する。対象物品の配置方向が特定の配置方向と一致している場合、制御部２６は、Ｓ５６でＹＥＳと判断してＳ５８に進む。一方、対象物品の配置方向が特定の配置方向と一致していない場合、制御部２６は、Ｓ５６でＮＯと判断し、Ｓ５７に進む。Ｓ５７では、制御部２６は、表示部１４に、対象物品の配置方向を特定の配置方向に変更すべきであることをユーザに促すためのメッセージを表示する。Ｓ５７を終えると、制御部２６は、Ｓ５６の判断に戻る。
　Ｓ５８では、制御部２６は、Ｓ５５で作成された手順リストに従って、最初の手順を指示するための指示画面を表示部１４に表示させる。
　例えば、Ｓ５２で物品ＩＤ「Ｐ１」（図８の組合せ情報１０２参照）が特定された場合、対象物品は、図１１に示す筐体４００である。この場合、図９の手順リスト２００の手順表２０２に示すように、最初の手順は「蓋をかぶせる」である。そのため、図１２に示すように、Ｓ５８では、制御部２６は、特定範囲に対象物品（即ち筐体４００）が存在する場合に、対象物品の物品画像（即ち現実の画像）に、「蓋をかぶせる」手順を説明するためのオブジェクト画像５００が組み込まれている指示画面を表示部１４に表示させる。図１２に示すように、オブジェクト画像５００は、蓋を仮想的に示す画像と、その仮想的な蓋を筐体４００の開口部に被せるように指示するための矢印の画像と、を含む。蓋の画像は、ユーザが視認しやすいように、筐体４００とは異なる色で表示されている。このように、図１２の指示画面は、対象物品である筐体４００の開口部に「蓋をかぶせる」ことを指示するための画面である。
　次いで、Ｓ６０では、制御部２６は、Ｓ５８で表示された指示画面において指示されている手順（以下では「特定の手順」と呼ぶ場合がある）に従った操作が実際に行われることを監視する。制御部２６は、第１の撮影画像、第２の撮影画像、工具４０から受信される動作情報のうちの少なくとも１つに基づいて、特定の手順に従った操作が行われた否かを判断する。制御部２６は、特定の手順に従った操作が行われたと判断すると、Ｓ６０でＹＥＳと判断してＳ６２に進む。制御部２６は、特定の手順に従った操作が行われていないと判断する間は、Ｓ６０でＹＥＳと判断しない。ここで、制御部２６が「特定の手順に従った操作が行われていない」と判断する場合は、例えば、取り付ける部品が誤っている場合、ねじの締め付けトルク値が所定値より低い場合、誤った操作が実行された場合等、様々な場合を含む。
　例えば、Ｓ５８において図１２の指示画面が表示された場合（即ち、筐体４００の開口部に「蓋をかぶせる」ことが指示されている場合）、Ｓ６０では、制御部２６は、筐体４００の開口部に蓋（図１３の符号６００参照）が実際に被せられることを監視する。ユーザは、図１２の指示画面を見ながら、筐体４００の開口部に現実の蓋を被せることができる。制御部２６は、第１の撮影画像及び第２の撮影画像に基づいて、指示画面で指示している通りに筐体４００の開口部に蓋が実際に被せられたと判断すると、Ｓ６０でＹＥＳと判断し、Ｓ６２に進む。
　Ｓ６２では、制御部２６は、手順リストを更新する。即ち、制御部２６は、Ｓ５８の指示画面で指示された手順に従った操作が行われたことを、Ｓ５５で作成された手順リストに記録する。
　例えば、Ｓ５８において図１２の指示画面が表示された場合（即ち、筐体４００の開口部に「蓋をかぶせる」ことが指示されている場合）、Ｓ６２では、制御部２６は、手順リスト２００（図９）の手順表２０２のうち、「蓋をかぶせる」手順に対応する結果を「ＮＧ」から「ＯＫ」に変更する。さらに、制御部２６は、最終更新日時を更新する。
　続くＳ６４では、制御部２６は、全ての手順が完了した否かを判断する。具体的には、制御部２６は、Ｓ５５で作成された手順リストが示す全ての手順が完了したか（即ち、結果欄に「ＯＫ」が含まれているか）を判断する。制御部２６は、Ｓ５５で作成された手順リストが示す全ての手順が完了している場合、Ｓ６４でＹＥＳと判断し、Ｓ６６に進む。一方、制御部２６は、Ｓ６４の時点で、Ｓ５５で作成された手順リストが示す全ての手順が完了していない場合、Ｓ６４でＮＯと判断し、Ｓ５８に戻る。この場合、制御部２６は、Ｓ６４でＹＥＳと判断するまで、Ｓ５８～Ｓ６２の各処理を繰り返し実行する。
　具体例に沿って詳しく説明する。例えば、Ｓ６２において、手順リスト２００（図９）の手順表２０２のうち、「蓋をかぶせる」手順に対応する結果が「ＮＧ」から「ＯＫ」に変更された場合、Ｓ６４の時点では、手順リスト２００が示す全ての手順はまだ完了していない。そのため、制御部２６は、Ｓ６４でＮＯと判断し、Ｓ５８に戻る。２回目のＳ５８では、制御部２６は、手順リスト２００（図９参照）に基づいて、「蓋をかぶせる」手順の次の手順である「ねじをしめる」手順を説明するための指示画面（図１３参照）を表示部１４に表示させる。図１３に示すように、この指示画面では、対象物品（この場合、筐体４００と蓋６００）の物品画像に、ねじ孔Ｈ１～Ｈ６を強調表示するためのオブジェクト画像７００と、各ねじ孔Ｈ１～Ｈ６に螺入されるべきねじを指示するためのオブジェクト画像８００とが組み込まれて表示されている。オブジェクト画像７００は、各ねじ孔Ｈ１～Ｈ６を判別できるように、「Ｈ１」～「Ｈ６」の文字と共に表示される。オブジェクト画像８００は、ねじの種類（ねじＡ、ねじＢ）を判別できるように、「Ａ」又は「Ｂ」の文字とともに表示される。
　この場合、続く２回目のＳ６０では、制御部２６は、各ねじ孔Ｈ１～Ｈ６にねじが実際に螺入されることを監視する。ユーザは、図１３の指示画面を見ながら、工具４０を用いて、各ねじ孔Ｈ１～Ｈ６に現実のねじを螺入することができる。この際、ユーザは、各ねじ孔Ｈ１～Ｈ６に適合する種類のねじ（ねじＡ又はねじＢ）を螺入する。この例では、ねじ孔Ｈ１、Ｈ２、Ｈ５、Ｈ６にはねじＡが適合し、ねじ孔Ｈ３、Ｈ４にはねじＢが適合する。この際、工具４０は、ユーザがねじを締める際のトルク値を検出し、検出したトルク値を含む動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する。制御部２６は、ＢＴＩ／Ｆ２２を介して、動作情報を受信する。制御部２６は、第１の撮影画像、第２の撮影画像、及び、動作情報に基づいて、各ねじ孔Ｈ１～Ｈ６に、所定の締め付けトルク値でねじが正しく螺入されたか否かを判断する。制御部２６は、第１の撮影画像、第２の撮影画像、及び、動作情報に基づいて、各ねじ孔Ｈ１～Ｈ６に、所定の締め付けトルクでねじが正しく螺入されたと判断すると、Ｓ６０でＹＥＳと判断し、Ｓ６２に進む。この場合、図１４に示すように、筐体４００に蓋６００がかぶせられ、６本のねじ９００によってねじ止めされた対象物品が完成する。
　この場合、続く２回目のＳ６２では、制御部２６は、手順リスト２００（図９）の手順表２０２のうち、「ねじをしめる」手順に対応する各結果を「ＮＧ」から「ＯＫ」に変更する。図９の手順表２０２では、ねじ孔ごとに結果欄が設けられているため、制御部２６は、各結果欄の結果を「ＮＧ」から「ＯＫ」に変更する。また、制御部２６は、最終更新日時を更新する。これにより、図９に示すように、手順表２０２のすべての結果欄に「ＯＫ」が記録された手順リスト２００が完成する。この場合、制御部２６は、続く２回目のＳ６４でＹＥＳと判断し、Ｓ６６に進む。
　Ｓ６６では、制御部２６は、完成した手順リストをメモリ２８のリスト記憶領域３６に記憶させる。
　続くＳ６８では、制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ－ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する。作業情報は、手順リストに加え、様々な情報（例えば、送信日時等）を含む。Ｓ６８を終えると、制御部２６は、図７のマニュアル処理を終了する。
　なお、図７には示していないが、Ｓ５５で手順リストが生成された後であって、Ｓ６４でＹＥＳと判断される前（即ち、全ての手順が完了する前）に、ユーザが特定範囲内で所定の終了操作を行ったり、対象物品を特定範囲外に移動させる等して作業を中断させたりする場合がある。そのような場合、制御部２６は、Ｓ５５～Ｓ６４のどの処理を実行中であっても、処理を中断して強制的にＳ６６に進む。この場合、Ｓ６６では、制御部２６は、この時点における手順リストをメモリ２８のリスト記憶領域３６に記憶させる。例えば、制御部２６は、図１０の手順リスト３００のように、結果欄に「ＮＧ」が含まれている手順リストをリスト記憶領域３６に記憶させる。そして、Ｓ６８では、制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ－ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する。そして、制御部２６は、図７のマニュアル処理を終了する。
　上記の通り、図７のマニュアル処理が実行されることにより、メモリ２８のリスト記憶領域３６に手順リストが記憶される。画像表示装置１０のユーザは、特定範囲内で、リスト記憶領域３６内の手順リストを閲覧するための操作を行うことができる。その場合、制御部２６は、ユーザによって指定された手順リストをリスト記憶領域３６から読み出し、手順リストを表す画面を表示部１４に表示させることができる。ユーザは、表示部１４に表示された手順リストを見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。
（サーバ５０の制御部５８の処理）
　続いて、サーバ５０の制御部５８が実行する処理について説明する。上記の通り、画像表示装置１０の制御部２６がマニュアル処理（図７参照）を実行することにより、画像表示装置１０からサーバ５０に作業情報が送信される。サーバ５０の制御部５８は、Ｗｉ－ＦｉＩ／Ｆ５６を介して、作業情報を受信する。制御部５８は、受信した作業情報をメモリ６０に記憶させる。
　また、サーバ５０のユーザは、操作部５４を操作することによって、メモリ６０内の作業情報を閲覧するための閲覧要求をサーバ５０に入力することができる。閲覧要求が入力されると、制御部５８は、閲覧要求によって指定された作業情報をメモリ６０から読み出し、作業情報によって表される画面を表示部５２に表示させる。この場合、作業情報によって表される画面は、手順リスト（図９、図１０参照）と同様の情報を含む。
　これにより、サーバ５０のユーザは、表示部５２に表示された画面を見ることにより、画像表示装置１０のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。
　また、外部ＰＣ７０のユーザは、操作部７２を操作して、サーバ５０内の作業情報を閲覧するための操作を外部ＰＣ７０に入力することができる。その場合、外部ＰＣ７０の制御部７４は、メモリ６０内の作業情報を閲覧するための要求信号をＷｉ－ＦｉＩ／Ｆ７３を介してサーバ５０に送信することができる。この場合、制御部５８は、Ｗｉ－ＦｉＩ／Ｆ５６を介して、要求信号を受信する。そして、制御部５８は、要求信号によって指定された作業情報をメモリ６０から読み出し、読み出された作業情報を、Ｗｉ－ＦｉＩ／Ｆ５６を介して外部ＰＣ７０に送信する。
　外部ＰＣ７０の制御部７４は、Ｗｉ－ＦｉＩ／Ｆ７３を介して作業情報を受信する。そして、制御部７４は、受信された作業情報によって表される閲覧画面を表示部７１に表示させることができる。この場合も、作業情報によって表される閲覧画面は、手順リスト（図９、図１０参照）と同様の情報を含む。これにより、外部ＰＣ７０のユーザも、表示部７１に表示された閲覧画面を見ることにより、画像表示装置１０のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。
（本実施例の効果）
　以上、本実施例の通信システム２の構成、動作について説明した。上記の通り、本実施例では、画像表示装置１０の制御部２６は、表示部１４に指示画面（例えば図１２参照）が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、指示画面によって指示された手順に従っているか否かを判断する（図７のＳ６０）。制御部２６は、その結果を手順リストに記録し、メモリ２８に記憶させることができる（Ｓ６６）。そのため、画像表示装置１０のユーザ等は、メモリ２８に記憶された手順リストを閲覧することにより、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる。
　本実施例では、画像表示装置１０の制御部２６は、指示画面（図１２参照）で指示されている特定の手順に従った操作が行われると（Ｓ６０でＹＥＳ）、特定の手順の次の手順を指示するための指示画面（図１３参照）を表示部１４に表示させる。即ち、制御部２６は、特定の手順が完了していないと判断される場合には（Ｓ６０でＮＯ）、次の手順の実行を指示するための指示画面を表示部１４に表示させない。そのため、画像表示装置１０のユーザが、対象物品をマニュアルが示す手順に従って適切に取り扱うことができる可能性が高くなる。
　また、本実施例では、画像表示装置１０の制御部２６は、ＢＴＩ／Ｆ２２を介して、工具４０から、ユーザがねじを締める際のトルク値を含む動作情報を受信する。そのため、制御部２６は、第１の撮影画像と第２の撮影画像に加えて、工具４０から受信される動作情報に基づいて、各ねじ孔Ｈ１～Ｈ６に、所定の締め付けトルク値でねじが正しく螺入されたか否かを判断する（Ｓ６０）。そのため、制御部２６は、各ねじ孔Ｈ１～Ｈ６に、所定の締め付けトルクでねじが正しく螺入されたか否かを適切に判断し得る。
　また、本実施例では、画像表示装置１０の制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ－ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する（Ｓ６８）。これにより、サーバ５０には作業情報が蓄積される。サーバ５０のユーザ、外部ＰＣ７０のユーザ等は、サーバ５０に蓄積された作業情報に従って表示される画面を見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。
（対応関係）
　図９の手順表２０２中の「蓋をかぶせる」手順が「第１の手順」の一例である。図１２のオブジェクト画像５００が「第１のオブジェクト画像」の一例である。図１２の指示画面が「第１の指示画面」の一例である。図９の手順表２０２中の「ねじをしめる」手順が「第２の手順」の一例である。図１３のオブジェクト画像７００、８００が「第２のオブジェクト画像」の一例である。図１３の指示画面が「第２の指示画面」の一例である。ＢＴＩ／Ｆ２２が「受信部」の一例である。Ｗｉ－ＦｉＩ／Ｆ２４が「送信部」の一例である。
（画像表示装置の第２実施例）
　図１５を参照して、第２実施例の画像表示装置１０１０について、第１実施例と異なる点を中心に説明する。本実施例では、表示部１０１４が遮光性のディスプレイであって、ユーザが画像表示装置１０１０を装着した際に、ユーザの視界を遮るものである点において、第１実施例とは異なる。その他の構成要素は第１実施例とほぼ同様である。
　上記の通り、本実施例では、表示部１０１４が遮光性のディスプレイであるため、画像表示装置１０１０の電源がオンされると、制御部２６は、ユーザの右眼に対向する領域に第１の撮影画像（即ち、第１のカメラ１６の撮影画像）を表示させ、ユーザの左眼に対向する領域に第２の撮影画像（即ち、第２のカメラ１８の撮影画像）を表示させる。そして、例えば、特定範囲にメニューオブジェクト画像８０の配置位置が含まれる場合に、制御部２６は、第１の撮影画像及び第２の撮影画像に、メニューオブジェクト画像８０を合成した画面を表示部１０１４に表示させる。
　以上、実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。
（変形例１）上記の第２実施例では、制御部２６は、ユーザの右眼に対向する領域に第１の撮影画像を表示させ、ユーザの左眼に対向する領域に第２の撮影画像を表示させる。これに限られず、制御部２６は、表示部１０１４に、第１の撮影画像と第２の撮影画像のうちの一方のみを表示してもよい。また、制御部２６は、表示部１０１４に、第１の撮影画像と第２の撮影画像とを合成した画像を表示してもよい。
（変形例２）上記の各実施例では、図３のＳ１８において、制御部２６は、特定範囲内におけるユーザの操作を検出することを監視するが、ここに言う「ユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー、空間内でのユーザの移動、ユーザの視界方向の変化等に限られず、ユーザが入力手段（入力キー等）を介して入力する操作を含んでもよい。その場合、画像表示装置１０、１０１０は入力手段をさらに有していてもよい。
（変形例３）上記の各実施例では、制御部２６は、キャリブレーションを実行した後に（図３のＳ１０、Ｓ１２でＹＥＳ）、リアルタイム処理（Ｓ１４）を開始する。これに限られず、制御部２６は、キャリブレーションの実行とともにリアルタイム処理を開始してもよい。この場合、「第１のキャリブレーション画像」と「第１の撮影画像」が同一の画像であってもよいし、「第２のキャリブレーション画像」と「第２の撮影画像」が同一の画像であってもよい。
（変形例４）上記の各実施例では、画像表示装置１０、１０１０は、いずれも、略眼鏡状の支持枠を有しており、眼鏡を装着するようにユーザの頭部に装着可能なものである。これに限られず、画像表示装置は、ユーザの頭部に装着可能であれば、帽子状、ヘルメット状等、任意の支持枠を有していてもよい。
（変形例５）画像表示装置は、視力矯正、目の保護等の用途のために一般的に使用されているアイウェア（眼鏡、サングラス等）に、第１のカメラ１６、第２のカメラ１８、及び、コントロールボックス１９を装着することによって形成されてもよい。その場合、アイウェアのレンズ部分が表示部として利用されてもよい。
（変形例６）上記の各実施例では、制御部２６は、第１の撮影画像及び第２の撮影画像に基づいて対象物品の特徴を認識し（図７のＳ５０）、次いで、認識された特徴を有する対象物品の物品ＩＤを、物品テーブル３２（図８参照）に基づいて特定する（Ｓ５２）。制御部２６が対象物品の物品ＩＤを特定する手法は、これには限られず、任意の手法を採り得る。例えば、対象物品に物品ＩＤが記録された情報コードを予め付しておき、制御部２６が、第１の撮影画像及び第２の撮影画像に含まれている情報コードをデコードすることによって、物品ＩＤが特定されてもよい。
（変形例７）工具４０は、ユーザが把持して利用するねじ回し用工具（いわゆるドライバー）に限られず、他の任意の種類の工具（例えば、スパナ、ノギス等）であってもよい。その場合も、工具４０は、動作情報を画像表示装置１０に送信可能であればよい。
（変形例８）上記の各実施例では、メニューオブジェクト画像８０（図６）、オブジェクト画像５００、７００、８００（図１２、図１３）の各種オブジェクト画像はいずれも静止画像として表示されている。これに限られず、各種オブジェクト画像は動画（即ち、少なくとも一部がアニメーション動作する画像）として表示されてもよい。
（変形例９）上記の各実施例では、制御部２６は、特定の手順が完了していないと判断される場合には（図７のＳ６０でＮＯ）、特定の手順を指示するための指示画面（即ち、オブジェクト画像を含む画面）を継続して表示させる。これに限られず、制御部２６は、特定の手順が完了していないと判断される場合であっても、所定条件が満たされる場合（例えば、指示画面の表示開始から所定時間が経過した場合、特定の手順のうちの少なくとも一部の操作が完了した場合）に、指示画面の表示を終了させるようにしてもよい。この変形例も、制御部２６が「指示画面を表示部に表示させる」ことの一例である。
（変形例１０）上記の各実施例では、図７のＳ６０において、制御部２６は、特定の手順が示す操作が実際に行われる（即ち、完了する）ことを監視する。これに限られず、図７のＳ６０において、制御部２６は、特定の手順が示す操作が完了したか否かに加え、特定の手順が示す操作の作業段階（例えば、未作業、作業中、完了等）がどの段階にあるのかを併せて判断してもよい。
（変形例１１）上記の各実施例では、手順リスト２００、３００（図９、図１０）中の手順表２０２、３０２は、物品ＩＤ「Ｐ１」の物品を取り扱うための手順（「蓋をかぶせる」、「ねじをしめる」等）を示す手順欄と、それらの手順に従った操作が行われた否かの結果（「ＯＫ」、「ＮＧ」等）を示す結果欄とが組み合わされている。手順表２０２、３０２は、手順欄、結果欄に加え、備考欄がさらに組み合わされていてもよい。備考欄には、例えば、結果が「ＮＧ」である場合における理由等、各種情報が記録されていてもよい。その場合、図７のＳ６０で、制御部２６は、特定の手順が示す操作が完了していないと判断する場合において、特定の手順が示す操作が完了していないと判断する理由（例えば、螺入されるべきねじが周囲に存在しない、ねじを締める際のトルクが所定値に満たない、等）を併せて判断するようにしてもよい。その場合、制御部２６は、手順表２０２、３０２の備考欄に、特定の手順が示す操作が完了していないと判断する理由を記録するようにしてもよい。この変形例では、図７のＳ６８で生成される作業情報は、備考欄に記録された情報をさらに含んでもよい。
（変形例１２）上記の各実施例では、制御部２６は、特定の手順が完了していないと判断される場合には（図７のＳ６０でＮＯ）、次の手順の実行を指示するための指示画面を表示部１４に表示させない。これに限られず、制御部２６は、特定の手順が完了する前であっても、ユーザの操作に応じて、次の手順の実行を指示するための指示画面を表示部１４に表示させてもよい。また、制御部２６は、特定の手順の実行を指示するための指示画面が表示部１４に表示されている間であっても、ユーザの操作に応じて、既に完了した以前の手順の指示画面を再表示させてもよい。
（変形例１３）マニュアルによって示される対象物品の取り扱い方法に示される複数の手順の中には、スキップ可能な手順（即ち、完了しなくても対象物品の取り扱いに影響を及ぼさない手順）が含まれていてもよい。スキップ可能な手順は、例えば、「作業と作業の間に周囲を清掃する」、「対象物品の表面に装飾用のステッカーを貼付する」等、付随的な手順が含まれる。この場合、制御部２６は、スキップ可能な手順を指示するための指示画面を表示部１４に表示している間に、スキップ可能な手順が完了する前であっても、ユーザの操作に応じて、次の手順の実行を指示するための指示画面を表示部１４に表示させてもよい。
　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (5)

  1. 　ユーザの頭部に装着して用いられる画像表示装置であって、
    　表示部と、
    　前記ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、
    　前記第１のカメラとは異なる位置に設けられるとともに、前記特定範囲を撮影する第２のカメラと、
    　前記画像表示装置の姿勢を検出可能なセンサと、
    　制御部と、
    　対象物品の取り扱いに関係するマニュアルを記憶するメモリと、
    　を有しており、
    　前記制御部は、
    　　前記第１のカメラから取得される第１のキャリブレーション画像と、前記第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、前記画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、
    　　前記空間情報と、前記第１のカメラから取得される第１の撮影画像と、前記第２のカメラから取得される第２の撮影画像と、前記センサが検出する前記画像表示装置の姿勢と、に基づいて、前記空間内における前記画像表示装置の位置及び姿勢を特定し、
    　　前記特定範囲に前記対象物品が含まれている場合に、前記メモリ内の前記マニュアルに従って、前記対象物品を取り扱うための第１の手順を示す第１のオブジェクト画像を含む第１の指示画面であって、前記第１のオブジェクト画像が前記対象物品に合わせて表示されている前記第１の指示画面を、前記表示部に表示させ、
    　　前記表示部に前記第１の指示画面が表示されている間に、前記第１の撮影画像と、前記第２の撮影画像と、に基づいて、前記特定範囲内の前記対象物品に対して前記ユーザが実際に行った操作が、前記第１の手順に従っているか否かを判断し、
    　　判断の結果を前記メモリに記憶させる、
    　画像表示装置。
  2. 　前記制御部は、
    　　前記操作が前記第１の手順に従っていると判断される場合に、前記メモリ内の前記マニュアルに従って、前記第１の手順の後に実行されるべき第２の手順を示す第２のオブジェクト画像を含む第２の指示画面であって、前記第２のオブジェクト画像が前記対象物品に合わせて表示されている前記第２の指示画面を、前記第１の指示画面に代えて前記表示部に表示させる、
    　請求項１に記載の画像表示装置。
  3. 　前記画像表示装置は、
    　工具から、前記工具の動作内容に関係する動作情報を受信する受信部をさらに有しており、
    　前記操作は、前記工具を利用する操作を含み、
    　前記制御部は、前記表示部に前記第１の指示画面が表示されている間に、前記第１の撮影画像と、前記第２の撮影画像と、前記受信部から取得される前記動作情報と、に基づいて、前記操作が前記第１の手順に従っているか否かを判断する、
    　請求項１又は２に記載の画像表示装置。
  4. 　前記画像表示装置は、
    　前記メモリに記憶されている前記判断の結果を含む作業情報を外部サーバに送信する送信部をさらに備えている、
    　請求項１から３のいずれか一項に記載の画像表示装置。
  5. 　請求項４に記載の前記画像表示装置によって送信された前記作業情報を記憶する前記外部サーバと通信可能な端末装置のためのコンピュータプログラムであって、
    　前記端末装置は、表示部と、コンピュータを備え、
    　前記コンピュータプログラムは、前記コンピュータに、
    　　前記外部サーバと通信を行って前記外部サーバから前記作業情報を受信する処理と、
    　　受信された前記作業情報によって表される閲覧画面を前記表示部に表示させる処理と、
    　を実行させるコンピュータプログラム。
PCT/JP2016/050674 2016-01-12 2016-01-12 画像表示装置 Ceased WO2017122274A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/069,378 US20190034733A1 (en) 2016-01-12 2016-01-12 Image display device
EP16884877.8A EP3404609A4 (en) 2016-01-12 2016-01-12 IMAGE DISPLAY DEVICE
CN201680078584.1A CN108463833A (zh) 2016-01-12 2016-01-12 图像显示装置
PCT/JP2016/050674 WO2017122274A1 (ja) 2016-01-12 2016-01-12 画像表示装置
JP2017561087A JP6655633B2 (ja) 2016-01-12 2016-01-12 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050674 WO2017122274A1 (ja) 2016-01-12 2016-01-12 画像表示装置

Publications (1)

Publication Number Publication Date
WO2017122274A1 true WO2017122274A1 (ja) 2017-07-20

Family

ID=59311122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050674 Ceased WO2017122274A1 (ja) 2016-01-12 2016-01-12 画像表示装置

Country Status (5)

Country Link
US (1) US20190034733A1 (ja)
EP (1) EP3404609A4 (ja)
JP (1) JP6655633B2 (ja)
CN (1) CN108463833A (ja)
WO (1) WO2017122274A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019217574A (ja) * 2018-06-18 2019-12-26 京都機械工具株式会社 作業支援装置、作業支援方法、作業支援プログラム、締付工具
JP2021002310A (ja) * 2019-06-25 2021-01-07 三菱電機株式会社 作業支援装置及び作業支援管理システム
JP2021173727A (ja) * 2020-04-30 2021-11-01 株式会社トプコン 作業管理システム，作業管理方法，そのための作業管理プログラム
JP2023160579A (ja) * 2022-04-22 2023-11-02 富士電機株式会社 情報処理装置、情報処理方法及びプログラム
US11875705B1 (en) * 2022-11-22 2024-01-16 Hyundai Mobis Co., Ltd. Apparatus and method for supporting equipment manufacturing process

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
JP7562282B2 (ja) * 2019-06-28 2024-10-07 キヤノン株式会社 撮像表示装置、およびウェアラブルデバイス
US12423882B2 (en) 2022-04-12 2025-09-23 Kabushiki Kaisha Toshiba Processing device, processing system, head mounted display, processing method, and storage medium
JP2025066520A (ja) * 2023-10-11 2025-04-23 株式会社東芝 クロスリアリティデバイス、処理装置、生成方法、処理方法、プログラム、及び記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2007164446A (ja) * 2005-12-13 2007-06-28 Tohoku Ricoh Co Ltd 製造工程管理システム
JP2010140259A (ja) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及びプログラム
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
JP2014106656A (ja) * 2012-11-27 2014-06-09 Hitachi Ltd 計画管理システム及び計画管理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2007164446A (ja) * 2005-12-13 2007-06-28 Tohoku Ricoh Co Ltd 製造工程管理システム
JP2010140259A (ja) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及びプログラム
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
JP2014106656A (ja) * 2012-11-27 2014-06-09 Hitachi Ltd 計画管理システム及び計画管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3404609A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019217574A (ja) * 2018-06-18 2019-12-26 京都機械工具株式会社 作業支援装置、作業支援方法、作業支援プログラム、締付工具
JP7125101B2 (ja) 2018-06-18 2022-08-24 京都機械工具株式会社 作業支援装置、作業支援方法、作業支援プログラム、締付工具
JP2021002310A (ja) * 2019-06-25 2021-01-07 三菱電機株式会社 作業支援装置及び作業支援管理システム
JP7350530B2 (ja) 2019-06-25 2023-09-26 三菱電機株式会社 作業支援装置及び作業支援管理システム
JP2021173727A (ja) * 2020-04-30 2021-11-01 株式会社トプコン 作業管理システム，作業管理方法，そのための作業管理プログラム
JP7491730B2 (ja) 2020-04-30 2024-05-28 株式会社トプコン 作業管理システム，作業管理方法，そのための作業管理プログラム
JP2023160579A (ja) * 2022-04-22 2023-11-02 富士電機株式会社 情報処理装置、情報処理方法及びプログラム
JP7826824B2 (ja) 2022-04-22 2026-03-10 富士電機株式会社 情報処理装置、情報処理方法及びプログラム
US11875705B1 (en) * 2022-11-22 2024-01-16 Hyundai Mobis Co., Ltd. Apparatus and method for supporting equipment manufacturing process

Also Published As

Publication number Publication date
JP6655633B2 (ja) 2020-02-26
EP3404609A4 (en) 2019-07-03
US20190034733A1 (en) 2019-01-31
CN108463833A (zh) 2018-08-28
EP3404609A1 (en) 2018-11-21
JPWO2017122274A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6655633B2 (ja) 画像表示装置
EP4342196B1 (en) Beacons for localization and content delivery to wearable devices
US11557134B2 (en) Methods and systems for training an object detection algorithm using synthetic images
US11954268B2 (en) Augmented reality eyewear 3D painting
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
CN106462231A (zh) 计算机实现的视线交互方法和装置
CN108027987B (zh) 信息处理方法、信息处理装置及信息处理系统
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
WO2017122270A1 (ja) 画像表示装置
CN110045935A (zh) 处理装置、显示系统以及记录介质
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
EP4488801A1 (en) Information processing device and floor height adjustment method
US10095029B2 (en) Electronic apparatus and method for displaying virtual environment image
US11061469B2 (en) Head mounted display system and rotation center correcting method thereof
JP7030075B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2016192096A (ja) 物体認識選択装置、物体認識選択方法及びプログラム
US20250093952A1 (en) Information processing apparatus and adjustment screen display method
US12505633B2 (en) Systems and methods of guided instructions or support using a virtual object
EP3832374A1 (en) Head mounted display system and rotation center correcting method thereof
JP2025066520A (ja) クロスリアリティデバイス、処理装置、生成方法、処理方法、プログラム、及び記憶媒体
CN116991235A (zh) 用于确定头戴显示设备位置和姿态的方法与系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884877

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017561087

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016884877

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016884877

Country of ref document: EP

Effective date: 20180813