WO2013167523A1 - Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes - Google Patents

Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes Download PDF

Info

Publication number
WO2013167523A1
WO2013167523A1 PCT/EP2013/059366 EP2013059366W WO2013167523A1 WO 2013167523 A1 WO2013167523 A1 WO 2013167523A1 EP 2013059366 W EP2013059366 W EP 2013059366W WO 2013167523 A1 WO2013167523 A1 WO 2013167523A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
electronic device
image
target equipment
electrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2013/059366
Other languages
English (en)
Inventor
Carine Glas
Frédéric Waterlot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Industries SAS
Original Assignee
Schneider Electric Industries SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Industries SAS filed Critical Schneider Electric Industries SAS
Publication of WO2013167523A1 publication Critical patent/WO2013167523A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Definitions

  • the invention relates to a method for displaying, on a screen, an information device relating to a target device on a screen of an electronic device, a computer program product, an electronic device and associated electrical equipment.
  • a device information relating to a target device, the electronic device comprising an image sensor, the screen, on-screen data display means, and an information processing unit.
  • the display method comprises the following steps:
  • the modification by the processing unit, of the image acquired in an enriched image, by superimposition on the acquired image of the information relating to the identified target equipment, and
  • the display by the display means, of the enriched image on the screen.
  • the invention also relates to a computer program product comprising software instructions intended to implement such a method.
  • the invention also relates to an electronic device and electrical equipment for implementing such a display method.
  • Document WO 2008/1 12149 A2 discloses a display method of the aforementioned type. Such a method of displaying, on the screen of the electronic device, an image enriched with information relating to the equipment, from an image of said equipment acquired by the image sensor of the electronic device, is generally known as augmented reality.
  • the target equipment has different signal acquisition sensors relating to the environment around the target equipment.
  • the target equipment also includes a positioning sensor of the target equipment with respect to the electronic device. Signals relating to the environment of the target equipment and the position of the target equipment relative to the electronic device are then transmitted to an information processing unit processing the images to be displayed later on the device screen. electronic.
  • the processing performed by the processing unit associated with the electronic device is relatively long, and the image displayed on the screen of the electronic device has a certain latency compared to what the user observes by elsewhere. In other words, the response time of the system and the display method is not optimal.
  • the object of the invention is therefore to propose a display method making it possible to improve the response time for displaying the enriched image with respect to the initial acquisition of the image of the equipment via the sensor. images.
  • the subject of the invention is a display method of the aforementioned type, characterized in that it further comprises the following step:
  • the target equipment is recognized via a unique code associated with the equipment
  • the information superimposed on the acquired image is furthermore positioned relative to the determined characteristic points.
  • the display method comprises one or more of the following characteristics, taken separately or in any technically possible combination:
  • an image of the unique code associated with the equipment such as a QR code or a barcode, is acquired by the image sensor, and the processing unit identifies the equipment by recognizing the code using the acquired code image;
  • the target equipment is identified in the absence of the location of the electronic device by means of a positioning sensor contained in the electronic device;
  • the characteristic points of the target equipment are determined by recognizing the outline of the equipment and / or the position of the element (s) of the equipment;
  • the positioning of the superimposed information is carried out using a first coordinate reference linked to the target equipment, a second coordinate reference linked to the superimposed information, and a third coordinate reference linked to the electronic device;
  • the electronic device further comprises first means of communication with a remote server via a first data link, and the information relating to the target device comprises data received from the remote server via the first communication means;
  • the electronic device further comprises second means of communication with the target equipment via a second data link, and the target equipment information includes data, including data relating to the operation of the target equipment, received from the target equipment via the second communication means;
  • the target equipment is electrical equipment
  • the information relating to the electrical equipment comprises at least one of the group consisting of: the electrical wiring diagram; the date of commissioning; the date of last revision; the history of the revisions made; the reference of each of the electrical appliances constituting the equipment; the electrical power consumed, the electrical voltage and the temperature for each electrical appliance constituting the equipment; the presence of a defect for each of the electrical equipment constituting the equipment, the state of each of the electrical protection devices belonging to the equipment, such as closed or open contact and device tripped or not, and the list of actions to perform to correct a fault of an electrical device of the equipment.
  • the invention also relates to a computer program product comprising software instructions which, when implemented by an information processing unit integrated with an electronic device, implements the method as defined above.
  • the invention also relates to an electronic device comprising an image sensor, a screen, means for displaying data on the screen, and an information processing unit comprising means for identifying a device. target, means for modifying an image acquired by the image sensor in an enriched image, the modifying means being capable of superimposing, on the acquired image, information relating to the identified target equipment, the means for modifying the image; display being suitable for displaying the enriched image on the screen,
  • the information processing unit further comprises means for determining characteristic points of the target equipment in the acquired image
  • the identification means are able to recognize the target equipment via a unique code associated with the equipment
  • the modifying means are able to position, with respect to the determined characteristic points, the information superimposed on the acquired image.
  • the electronic device is a mobile phone or an electronic tablet.
  • the invention also relates to an electrical equipment comprising a protection cabinet, at least one electrical device disposed in the cabinet, a database capable of storing data relating to the operation of the or each electrical apparatus, and means for transmitting data to an external electronic device,
  • the transmission means are adapted to send, to said external device, the data relating to operation stored in the database, said data being intended to be superimposed on an image of the equipment acquired by the external device to form a an enriched image displayed on a screen of said external device.
  • the electrical equipment comprises the following characteristic:
  • the unique code is one of the group consisting of the following elements: a QR code, a barcode and an identification code contained in an electronic identification key arranged on the outside face, the electronic identification key being able to communicate the identification code via a near-field communication.
  • FIG. 1 is a schematic representation of an electronic device according to the invention, comprising an image sensor, a screen, on-screen data display means and an information processing unit, and communicating with a target equipment according to the invention,
  • FIG. 2 is a flowchart of the display method according to the invention.
  • FIG. 3 is a schematic view showing coordinate marks associated with the target equipment and the electronic device of FIG. 1, in order to position information to be superimposed in augmented reality on an image of the target equipment acquired by the sensor. images of the electronic device, and
  • FIGS. 4 to 12 are views of different images displayed on the screen of the electronic device during the implementation of the display method according to the invention.
  • an electronic device 10 is for displaying an augmented reality enhanced image I e of a target device 12, it enriched the e being capable of being obtained by superposition, to an image acquired by the electronic device, information relating to the target equipment 12.
  • the electronic device 10 is connected to the target equipment 12 by a first data link 14.
  • the electronic device 10 is connected to a remote server 16 by a second data link 18.
  • the electronic device 10 comprises a screen 20, means 22 for displaying data on the screen 20, an image sensor 24 and an information processing unit 26.
  • the electronic device 10 comprises a radio transceiver 28.
  • the electronic device 10 also comprises means 30 for supplying electrical energy to the constituent elements of the electronic device, in particular the screen 20, the display means 22, the image sensor 24, the processing unit of the electronic device. information 26 and in addition to the radio transceiver 28.
  • the electronic device 10 is preferably a portable electronic device.
  • the electronic device 10 is, for example, a mobile phone, such as a smartphone (from English smartphoné).
  • the electronic device 10 is an electronic tablet (pad English).
  • the target equipment 12 comprises a unique code 32, arranged on an outer face 34 of the equipment and adapted to allow the identification of the equipment 12 by the electronic device 10, external to the target equipment.
  • the target equipment 12 is, for example, an electrical equipment.
  • the electrical equipment 12 comprises a protection cabinet 36 and a plurality of electrical devices 38 arranged in the cabinet 36.
  • the electrical equipment 12 comprises a first database 40 and first data transmission means 42 intended for the electronic device 10.
  • the electrical equipment 12 is, for example, an electrical transformer station, and comprises a plurality of electrical conductors 44 corresponding to the arrivals or departures.
  • the first data link 14 is, for example, a data radio link.
  • the first data link 14 conforms to the ZigBee communication protocol based on the IEEE-802.15.4 standard.
  • the first data link 14 conforms to the IEEE-802.15.1 standard or the IEEE-802.15.2 standard.
  • the first data link 14 complies with the IEEE-802.1 1 standard.
  • the remote server 16 includes a second database 46 and second means 48 for transmitting data to the electronic device 10.
  • the second data link 18 is, for example, a data radio link.
  • the second link 18 complies with the ZigBee communication protocol based on the IEEE-802.15.4 standard.
  • the second data link 18 complies with the IEEE-802.15.1 standard or the IEEE-802.15.2 standard.
  • the second data link 18 complies with the IEEE-802.1 1 standard.
  • the second data link 18 is partly formed by the Internet, when the remote server 16 is a server connected to the Internet.
  • the screen 20 is, for example, a touch screen, such as a capacitive touch screen.
  • the screen 20 has dimensions allowing easy visualization of the target equipment 12 and the relative information superimposed in augmented reality, such as a diagonal length greater than 5 inches, preferably greater than 7 inches, more preferably greater than 9 inches.
  • the display means 22 are adapted to display any type of image on the screen 20 of the device, including the image acquired by the image sensor 24 and directly on the screen, or the enhanced picture e .
  • the image sensor 24 is suitable for acquiring one or more successive images of the target device 12.
  • the image sensor 24 is a matrix sensor, such as a CCD (Charge-Coupled Devicé) sensor. a CMOS sensor (English Complementary Metal Oxide Semi-conductor).
  • the image sensor 24 is able to deliver to the information processing unit 26 an image of the target equipment 12, or a video formed of successive images of said target equipment 12.
  • the information processing unit 26 comprises a processor 50 and a memory 52 associated with the processor 50.
  • the radio transceiver 28 is analogous to the first and second data links 14, 18, according to the ZigBee communication protocol based on the IEEE-802.15.4 standard. In a variant, the radio transceiver 28 complies with the IEEE-802.15.1 standard or the IEEE-802.15.2 standard. In another variant, the radio transceiver 28 complies with the IEEE-802.1 1 standard.
  • the power supply means 30 comprise an electric battery, not shown, for autonomously supplying the constituent elements of the electronic device 10.
  • the electric battery is preferably rechargeable.
  • the unique code 32 is, for example, a QR code (Quick Responsé English), also called matrix code.
  • the QR code consists of black modules arranged in a square with a white background.
  • the unique code 32 is a bar code.
  • the unique code 32 is an identification code contained in an identification electronic key arranged on the outer face 34, the electronic identification key being able to communicate the identification code via a near-field communication. , also called NFC (Near Field Communication).
  • the unique code 32 is, for example, glued close to the upper right corner of the outer face 34.
  • the outer face 34 of the target equipment on which the unique code 32 is disposed is a visible face and easily accessible to the user.
  • Electrical devices 38 are known per se and are devices such as circuit breakers, disconnectors, contactors, relays or devices for measuring voltage, current, power or electrical energy commonly used in electrical equipment.
  • the first database 40 is able to store data relating to the electrical equipment 12, including data relating to the operation of each electrical apparatus 38.
  • the data relating to operation are regularly refreshed in the first database 40 during the operation of electrical equipment 12.
  • the data relating to the operation of the equipment 12 suitable for being stored in the first database 40 are data such as the electrical power consumed, the electrical voltage and the temperature for each of the electrical devices 38, as well as the presence or absence of a malfunction for each electrical appliance 38.
  • the first transmission means 42 are able to send to the electronic device 10 the data relating to the operation of the equipment 12, stored in the first database 40, said data being intended to be superimposed on the image of the equipment. acquired by the image sensor 24 to form an enriched image I to be displayed on the screen 20 of the electronic device.
  • the second database 46 is also suitable for storing data relating to the target equipment 12, such as the wiring diagram of the electrical equipment 12, the manufacturer data and the reference of each of the electrical devices 38, the list of corrective actions to be taken to correct a possible defect in an electrical appliance 38.
  • the second database 46 is suitable for storing data such as the date of bringing into use of the equipment 12, the date of last revision of the equipment 12 and the history of the revisions made for said equipment. .
  • the second transmission means 48 are adapted to send to the electronic device 10 the data relating to the target device 12, stored in the second database 46, said data being intended to be superimposed on the image of the equipment has acquired by the image sensor 24 to form the enriched image l e intended to be displayed on the screen 20 of the device.
  • the memory 52 of the electronic device of the information processing unit is adapted to store software 54 for identifying the target device, software 56 for determining in the image acquired the equipment has the feature point target 58 and a software modification of the acquired image has enriched the picture by e overlay the acquired image has the information on the target device 12 identified.
  • the identification software 54, the determination software 56 and the modification software 58 form a display application 59 actually augmented with information relating to the target equipment 12
  • the identification means 54, the determination means 56 and the modification means 58 are made in the form of programmable logic circuits or in the form of dedicated integrated circuits.
  • the memory 52 is able to store a first software 60 for communication with the target device 12 via the first data link 14 and a second software 62 for communication with the remote server 16 via the second data link 18.
  • the augmented reality display application 59 includes the first communication software 60 and the second communication software 62.
  • the first communication means 60 and the second communication means 62 are implemented in the form of programmable logic circuits or in the form of dedicated integrated circuits.
  • the identification software 54 is able to recognize the target equipment 12 using the unique code 32 associated with the equipment.
  • the determination software 56 is able to determine the characteristic points of the target equipment 12 by recognizing the contour C of the equipment 12 and / or the position P of the electrical devices 38.
  • the modification software 58 is able to position, with respect to the characteristic points determined by the determination software 56, the information superimposed on the acquired image 1 a .
  • FIG. a flowchart of the display method according to the invention of FIG. 3 representing various coordinate references used for the positioning of the superimposed information, and FIGS. 4 to 12 illustrating various images displayed on the screen 20 of the device during the implementation of the display method.
  • the augmented reality display application 59 is launched on the electronic device 10 by the user.
  • the augmented reality display application 59 then starts to display a greeting message 102 on the screen 20 by means of the display means 22, as shown in FIG. 4.
  • the greeting 102 indicates the user that the first step is to identify the target equipment 12, that is to say, to recognize the electrical panel in the embodiment described.
  • the greeting 102 also prompts the user to press a first touch button 104 to initiate the identification step 1 10, and then to film the unique code 32, such as the QR code, using the image sensor 24 during the identification step 1 10.
  • an image of the unique code 32 associated with the equipment 12 is acquired by the image sensor 24, and the identification software 54 then identifies the equipment 12 by recognizing the code unique 32 using the acquired code image.
  • the image of the code is, for example, acquired when the user films the QR code 32.
  • the target equipment 12 is identified, in the absence of the location of the electronic device 10 by means of a positioning sensor contained in the electronic device 10.
  • the augmented reality display application 59 does not require any location data of the electronic device 10 with respect to the target equipment 12, unlike the method for displaying the status of the device. technical.
  • the augmented reality display application 59 does not require, for example, positioning data from a GPS (Global Positioning System) system.
  • the identification software 54 displays, with the aid of the display means 22, a first confirmation message 1 12, as shown in FIG. 5.
  • the first confirmation message 1 12 indicates to the user that the unique code 32 has been recognized, and invites him to press in the touch zone corresponding to the first confirmation message 1 12, in order to activate the display of the augmented reality display application main menu 59.
  • the augmented reality display application 59 displays, during step 120, a main menu allowing the user to select the type of data, that is to say the type of information relating to the target equipment 12, which he wishes to access via the augmented reality display.
  • the image sensor 24 then performs acquiring at least one image I has the target device 12 at step 130.
  • the acquisition step 130 consists, for example, for the user, filming the target equipment 12 using the image sensor 24.
  • step 140 after acquiring the image I has the image sensor 24, determination of the software 56 determines characteristic points of the target device 12 in the image acquired the a.
  • the determination of the characteristic points of the target equipment 12 is, for example, carried out by recognizing the contour C of the equipment and / or the position P of each of the electrical devices 38 of the equipment, as represented in FIG.
  • the characteristic points of the target equipment 12 are defined in a first coordinate reference frame R1 linked to the target equipment 12.
  • a second coordinate mark R2 is linked to the information superimposed on the acquired image and a third coordinate mark R3 is linked to the electronic device 10, as shown in Figure 3.
  • the characteristic points of the target equipment 12, also called attachment points of the superimposed information, are, for example, vertices of the contour C, or the positions P of the centroids of the electrical devices 38 in the first reference frame R1.
  • step 150 After determining the attachment points of information superimposed on the image acquired the a, actually display application increased 59 changes, in step 150, using the editing software 58, the acquired image l has in the enriched image I e by superimposition to the acquired image l has information relating to the target equipment 12 identified previously in step 1 10, as shown in FIGS. 6 to 12.
  • the modification software 58 positions said information relating to the target equipment 12 with respect to the attachment points determined previously during of step 140, then this information superimposed to the image acquired in a computed position.
  • the positioning of the superimposed information is performed using the first, second and third pins R1, R2, R3, visible in Figure 3, in order to scale and in perspective said information relating to the target equipment on the acquired image l a .
  • the first reference R1 is a fixed reference related to the equipment
  • the second reference R2 is linked to the displayable information superimposed on the image acquired l a
  • the third reference R3 is attached to the mobile electronic device 10.
  • the first mark R1 is located on the target equipment 12 with respect to the characteristic points determined previously.
  • the position of the second and third pins R2 and R3 is recalculated regularly on the three axes relative to the first fixed reference R1.
  • the mobile electronic device 10 therefore constantly knows the relative position of the three marks R1, R2, R3, which enables it to adjust the scale and the location of the information displayed on the screen 20 in superposition on the image acquired l a .
  • the information relating to the target equipment 12 includes data stored in the memory 52 of the electronic device.
  • the information relating to the target equipment 12 includes data stored in the first database 40 and received from the target equipment 12 via the first communication software 60 and the first transmission means 42.
  • the information relating to the target equipment 12 comprises data stored in the second database 46 and received from the remote server 16 via the second communication software 62 and the second transmission means 48.
  • the information relating to the target equipment 12 comprises, as will be described in more detail below with reference to FIGS. 6 to 12, at least one element from the group consisting of: the electrical wiring diagram of the equipment target 12; the date of commissioning of the target equipment 12; the date of last revision of the target equipment 12; the revision history for the target equipment 12; the reference of each of the electrical devices 38 constituting the target equipment 12; the electrical power consumed, the voltage and the temperature for each of the electrical appliances 38 constituting the target equipment 12; the presence of a defect for each of the electrical devices 38 constituting the target equipment 12; the state of each of the electrical protection devices belonging to the target equipment 12, the state being, for example, equal to closed or open contact, or to apparatus that has been tripped or not; and the list of actions to be performed to correct a defect of an electrical apparatus 38 of the target equipment 12.
  • the actually increased display application 59 displays Finally, in step 160, the enriched image e on the screen 20 of the electronic device, as shown in Figures 6 to 12.
  • the information relating to the equipment 12 includes the electrical wiring diagram 170 of the electrical equipment 12, which enables the user to see very quickly how the different electrical appliances 38 are connected to each other.
  • the electrical wiring diagram 170, a second 172 and a third 174 touch buttons are also displayed on the screen 20 so to allow the user, if he wishes, to simulate a fault, and respectively to display more detailed information relating to each of the electrical devices 38.
  • the information relating to the electrical equipment 12 has data for each of the appliances 38, including the reference each device 38.
  • This image the e enriched with data Apparatus 38 is displayed when the user has, for example, previously pressed the third touch button 174.
  • each of the devices 38 are displayed in first bubbles 176, each first bubble 176 being positioned, in the enriched image I e , close to the electrical apparatus 38 to which the data it contains are associated.
  • the information relating to the target equipment 12 includes a first curve 178 representing the electrical power consumed by the electrical apparatus 38 associated with this superimposed information, a second curve 180 representing the temperature said electrical apparatus 38 and a third curve 182 representing the electrical voltage across said electrical apparatus 38.
  • the actually increased display application 59 displays the expanded image I e with the contour of an electrical device 38 is highlighted, and also displays a fourth touch button 184, to to propose to the user to recognize this electrical device 38, that is to say to display augmented reality the reference of this device 38, or in addition to additional data relating to this device 38.
  • the information relating to the target equipment item 12 includes the date of bringing into use, the date of the last revision and the history of the revisions made for the target equipment item 12. being displayed in the enhanced image I e at the inner of a second bubble 186 superimposed on the equipment 12.
  • the augmented reality display application 59 also displays a fifth touch button 188 enabling the user to go into a mode, referred to as device mode, visible in FIG. 7, for which the data associated with each of the devices 38 are displayed superimposed in the image enriched l e.
  • the augmented reality display application 59 displays in the enriched image 1 e the information relating to the presence or absence of a fault for each of the electrical devices 38 constituting the equipment 12.
  • a sign 190 shown in dashed lines in FIG. 11, is superimposed on the acquired image, for example in order to indicate a defect of a generator.
  • This fault is further indicated by the display of a second confirmation message 192 indicating to the user that a fault of the generator has been diagnosed and inviting him to press in the touch zone corresponding to this second confirmation message 192 , so that it is specified the corrective actions to be taken to resolve this defect.
  • Table 194 includes the corrective actions to be performed and the status of each of the actions, updated as the actions are performed, the status being filled in using data relating to the operation of the apparatus 38 concerned, or more generally of the target equipment 12, received via the first communication software 60 and the first transmission means 42.
  • the resolution of a defect is thus particularly simple to implement for the user, since it is informed of each of the successive actions to be performed, as well as the positive result or not the actions performed.
  • the augmented reality display application 59 also displays a third confirmation message 196 when the defect has been resolved, in order to inform the user thereof.
  • the augmented reality display method according to the invention is therefore particularly useful and effective for the user, who is thus very quickly able to consult various data relating to the target equipment 12, as described previously with reference to FIGS. .
  • the display method is also particularly reactive, since after identifying the target equipment 12, the information relating to the equipment 12 is superimposed and positioned with respect to the acquired image using the characteristic points of the equipment. the target equipment 12, determined regularly by the determination software 56.
  • the processing operations implemented by the information processing unit 26 are relatively short, since they do not require receiving signals, such as positioning signals, from a system external to the electronic device 10 and to the equipment target 12, unlike the display method of the state of the art which requires to regularly acquire the position of the electronic device with respect to the target equipment, via a satellite positioning system, which implies relatively long treatments.
  • the display method of the invention improves the response time for displaying the enhanced image I e with respect to the initial acquisition of the image has the equipment 12 via the image sensor 24.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Description

Procédé d'affichage en réalité augmentée d'une information relative à un équipement cible sur un écran d'un dispositif électronique, produit programme d'ordinateur, dispositif électronique et équipement électrique associés La présente invention concerne un procédé d'affichage, sur un écran d'un dispositif, d'une information relative à un équipement cible, le dispositif électronique comportant un capteur d'images, l'écran, des moyens d'affichage de données à l'écran, et une unité de traitement d'informations.
Le procédé d'affichage comprend les étapes suivantes :
- l'acquisition, par le capteur d'images, d'au moins une image de l'équipement cible,
- l'identification de l'équipement cible par l'unité de traitement,
- la modification, par l'unité de traitement, de l'image acquise en une image enrichie, par superposition à l'image acquise de l'information relative à l'équipement cible identifié, et
- l'affichage, par les moyens d'affichage, de l'image enrichie à l'écran.
L'invention concerne également un produit programme d'ordinateur comportant des instructions logicielles destinées à mettre en œuvre un tel procédé.
L'invention concerne également un dispositif électronique et un équipement électrique pour la mise en œuvre d'un tel procédé d'affichage.
On connaît du document WO 2008/1 12149 A2 un procédé d'affichage du type précité. Un tel procédé d'affichage, à l'écran du dispositif électronique, d'une image enrichie avec des informations relatives à l'équipement, à partir d'une image dudit équipement acquise par le capteur d'images du dispositif électronique, est généralement connu sous le nom de réalité augmentée.
L'équipement cible comporte différents capteurs d'acquisition de signaux relatifs à l'environnement autour de l'équipement cible. L'équipement cible comporte également un capteur de positionnement de l'équipement cible par rapport au dispositif électronique. Les signaux relatifs à l'environnement de l'équipement cible et la position de l'équipement cible par rapport au dispositif électronique sont ensuite transmis à une unité de traitement d'informations traitant les images destinées à être affichées ultérieurement à l'écran du dispositif électronique.
Toutefois, les traitements effectués par l'unité de traitement associée au dispositif électronique sont relativement longs, et l'image affichée à l'écran du dispositif électronique présente une certaine latence par rapport à ce que l'utilisateur observe par ailleurs. Autrement dit, le temps de réponse du système et du procédé d'affichage n'est pas optimal.
Le but de l'invention est donc de proposer un procédé d'affichage permettant d'améliorer le temps de réponse pour l'affichage de l'image enrichie par rapport à l'acquisition initiale de l'image de l'équipement via le capteur d'images.
A cet effet, l'invention a pour objet un procédé d'affichage du type précité, caractérisé en ce qu'il comprend en outre l'étape suivante :
- la détermination, par l'unité de traitement, de points caractéristiques de l'équipement cible dans l'image acquise, et en ce que
lors de l'étape d'identification, l'équipement cible est reconnu via un code unique associé à l'équipement, et
lors de l'étape de modification, l'information superposée à l'image acquise est en outre positionnée par rapport aux points caractéristiques déterminés.
Suivant d'autres aspects avantageux de l'invention, le procédé d'affichage comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- lors de l'étape d'identification, une image du code unique associé à l'équipement, tel qu'un code QR ou un code à barres, est acquise par le capteur d'images, et l'unité de traitement identifie l'équipement par reconnaissance du code à l'aide de l'image du code acquise ;
- lors de l'étape d'identification, l'équipement cible est identifié en l'absence de la localisation du dispositif électronique à l'aide d'un capteur de positionnement contenu dans le dispositif électronique ;
- lors de l'étape de détermination, les points caractéristiques de l'équipement cible sont déterminés par reconnaissance du contour de l'équipement et/ou de la position d'élément(s) de l'équipement ;
- lors de l'étape de modification, le positionnement de l'information superposée est effectué à l'aide d'un premier repère de coordonnées lié à l'équipement cible, d'un deuxième repère de coordonnées lié à l'information superposée et d'un troisième repère de coordonnées lié au dispositif électronique ;
- le dispositif électronique comporte en outre des premiers moyens de communication avec un serveur distant via une première liaison de données, et l'information relative à l'équipement cible comporte des données reçues depuis le serveur distant via les premiers moyens de communication ;
- le dispositif électronique comporte en outre des deuxièmes moyens de communication avec l'équipement cible via une deuxième liaison de données, et l'information relative à l'équipement cible comporte des données, notamment des données relatives au fonctionnement de l'équipement cible, reçues depuis l'équipement cible via les deuxièmes moyens de communication ; et
- l'équipement cible est un équipement électrique, et l'information relative à l'équipement électrique comporte au moins un élément parmi le groupe constitué de : le schéma de câblage électrique ; la date de mise en service ; la date de dernière révision ; l'historique des révisions effectuées ; la référence de chacun des appareils électriques constituant l'équipement ; la puissance électrique consommée, la tension électrique et la température pour chacun des appareils électriques constituant l'équipement ; la présence d'un défaut pour chacun des appareils électriques constituant l'équipement, l'état de chacun des appareils électriques de protection appartenant à l'équipement, tel que contact fermé ou ouvert et appareil déclenché ou non, et la liste des actions à réaliser pour corriger un défaut d'un appareil électrique de l'équipement.
L'invention a également pour objet un produit programme d'ordinateur comportant des instructions logicielles qui, lorsque mises en œuvre par une unité de traitement d'informations intégrée à un dispositif électronique, met en œuvre le procédé tel que défini ci-dessus.
L'invention a également pour objet un dispositif électronique comprenant un capteur d'images, un écran, des moyens d'affichage de données à l'écran, et une unité de traitement d'informations comportant des moyens d'identification d'un équipement cible, des moyens de modification d'une image acquise par le capteur d'images en une image enrichie, les moyens de modification étant propres à superposer, à l'image acquise, une information relative à l'équipement cible identifié, les moyens d'affichage étant propres à afficher l'image enrichie à l'écran,
caractérisé en ce que l'unité de traitement d'informations comporte en outre des moyens de détermination de points caractéristiques de l'équipement cible dans l'image acquise,
en ce que les moyens d'identification sont propres à reconnaître l'équipement cible via un code unique associé à l'équipement, et
en ce que les moyens de modification sont propres positionner, par rapport aux points caractéristiques déterminés, l'information superposée à l'image acquise.
Suivant un autre aspect avantageux de l'invention, le dispositif électronique est un téléphone portable ou une tablette électronique.
L'invention a également pour objet un équipement électrique comprenant une armoire de protection, au moins un appareil électrique disposé dans l'armoire, une base de données apte à stocker des données relatives au fonctionnement du ou de chaque appareil électrique, et des moyens de transmission de données à destination d'un dispositif électronique externe,
caractérisé en ce qu'il comprend en outre un code unique agencé sur une face extérieure de l'armoire et propre à permettre l'identification de l'équipement par le dispositif électronique externe, et
en ce que les moyens de transmission sont propres à envoyer, audit dispositif externe, les données relatives au fonctionnement stockées dans la base de données, lesdites données étant destinées à être superposées à une image de l'équipement acquise par le dispositif externe pour former une image enrichie affichée sur un écran dudit dispositif externe.
Suivant un autre aspect avantageux de l'invention, l'équipement électrique comprend la caractéristique suivante :
- le code unique est un élément parmi le groupe constitué des éléments suivants : un code QR, un code à barres et un code d'identification contenu dans une clé électronique d'identification agencée sur la face extérieure, la clé électronique d'identification étant propre à communiquer le code d'identification via une communication en champ proche.
Ces caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
- la figure 1 est une représentation schématique d'un dispositif électronique selon l'invention, comportant un capteur d'images, un écran, des moyens d'affichage de données à l'écran et une unité de traitement d'informations, et communiquant avec un équipement cible selon l'invention,
- la figure 2 est un organigramme du procédé d'affichage selon l'invention,
- la figure 3 est une vue schématique représentant des repères de coordonnées associés à l'équipement cible et au dispositif électronique de la figure 1 , afin de positionner une information à superposer en réalité augmentée à une image de l'équipement cible acquise par le capteur d'images du dispositif électronique, et
- les figures 4 à 12 sont des vues de différentes images affichées à l'écran du dispositif électronique lors de la mise en œuvre du procédé d'affichage selon l'invention.
Sur la figure 1 , un dispositif électronique 10 est destiné à afficher en réalité augmentée une image enrichie le d'un équipement cible 12, l'image enrichie le étant propre à être obtenue par superposition, à une image la acquise par le dispositif électronique, d'une information relative à l'équipement cible 12. En complément, le dispositif électronique 10 est relié à l'équipement cible 12 par une première liaison de données 14.
En complément, le dispositif électronique 10 est relié à un serveur distant 16 par une deuxième liaison de données 18.
Le dispositif électronique 10 comprend un écran 20, des moyens 22 d'affichage de données à l'écran 20, un capteur d'images 24 et une unité de traitement d'informations 26.
En complément, le dispositif électronique 10 comprend un émetteur-récepteur radioélectrique 28.
Le dispositif électronique 10 comprend également des moyens 30 d'alimentation en énergie électrique des éléments constitutifs du dispositif électronique, notamment de l'écran 20, des moyens d'affichage 22, du capteur d'images 24, de l'unité de traitement d'informations 26 et en complément de l'émetteur- récepteur radioélectrique 28.
Le dispositif électronique 10 est de préférence un dispositif électronique portatif. Le dispositif électronique 10 est, par exemple, un téléphone portable, tel qu'un ordiphone (de l'anglais smartphoné). En variante, le dispositif électronique 10 est une tablette électronique (de l'anglais pad).
L'équipement cible 12 comprend un code unique 32, agencé sur une face extérieure 34 de l'équipement et propre à permettre l'identification de l'équipement 12 par le dispositif électronique 10, externe à l'équipement cible.
L'équipement cible 12 est, par exemple, un équipement électrique.
L'équipement électrique 12 comprend une armoire de protection 36 et une pluralité d'appareils électriques 38 disposés dans l'armoire 36.
En complément, l'équipement électrique 12 comprend une première base de données 40 et des premiers moyens 42 de transmission de données à destination du dispositif électronique 10.
L'équipement électrique 12 est, par exemple, un poste de transformation électrique, et comporte une pluralité de conducteurs électriques 44 correspondant aux arrivées ou aux départs.
La première liaison de données 14 est, par exemple, une liaison radioélectrique de données. La première liaison de données 14 est conforme au protocole de communication ZigBee basé sur la norme IEEE-802.15.4. En variante, la première liaison de données 14 est conforme à la norme IEEE-802.15.1 ou à la norme IEEE-802.15.2. En variante encore, la première liaison de données 14 est conforme à la norme IEEE-802.1 1 . Le serveur distant 16 comporte une deuxième base de données 46 et des deuxièmes moyens 48 de transmission de données à destination du dispositif électronique 10.
La deuxième liaison de données 18 est, par exemple, une liaison radioélectrique de données. La deuxième liaison 18 est conforme au protocole de communication ZigBee basé sur la norme IEEE-802.15.4. En variante, la deuxième liaison de données 18 est conforme à la norme IEEE-802.15.1 ou à la norme IEEE-802.15.2. En variante encore, la deuxième liaison de données 18 est conforme à la norme IEEE-802.1 1 .
En complément, la deuxième liaison de données 18 est en partie formée par le réseau Internet, lorsque le serveur distant 16 est un serveur connecté à Internet.
L'écran 20 est, par exemple, un écran tactile, tel qu'un écran tactile capacitif. L'écran 20 présente des dimensions permettant une visualisation aisée de l'équipement cible 12 et de l'information relative superposée en réalité augmentée, telle qu'une diagonale de longueur supérieure à 5 pouces, de préférence supérieure à 7 pouces, de préférence encore supérieure à 9 pouces.
Les moyens d'affichage 22 sont propres à afficher tout type d'image à l'écran 20 du dispositif, notamment une image la acquise par le capteur d'images 24 et directement affichée à l'écran, ou bien l'image enrichie le.
Le capteur d'images 24 est propre à acquérir une ou plusieurs images successives de l'équipement cible 12. Le capteur d'images 24 est un capteur matriciel, tel qu'un capteur CCD (de l'anglais Charge-Coupled Devicé) ou un capteur CMOS (de l'anglais Complementary Métal Oxide Semi-conductor).
Le capteur d'images 24 est propre à délivrer à l'unité de traitement d'informations 26 une image de l'équipement cible 12, ou bien une vidéo formée d'images successives dudit équipement cible 12.
L'unité de traitement d'informations 26 comporte un processeur 50 et une mémoire 52 associée au processeur 50.
L'émetteur-récepteur radioélectrique 28 est, de manière analogue aux première et deuxième liaisons de données 14, 18, conforme au protocole de communication ZigBee basé sur la norme IEEE-802.15.4. En variante, l'émetteur-récepteur radioélectrique 28 est conforme à la norme IEEE-802.15.1 ou à la norme IEEE-802.15.2. En variante encore, l'émetteur-récepteur radioélectrique 28 est conforme à la norme IEEE-802.1 1 .
Les moyens d'alimentation 30 comportent une batterie électrique, non représentée, afin d'alimenter de manière autonome les éléments constitutifs du dispositif électronique 10. La batterie électrique est de préférence rechargeable. Le code unique 32 est, par exemple, un code QR (de l'anglais Quick Responsé), également appelé code matriciel. Le code QR est constitué de modules noirs disposés dans un carré à fond blanc.
En variante, le code unique 32 est un code à barres. En variante encore, le code unique 32 est un code d'identification contenu dans une clé électronique d'identification agencée sur la face extérieure 34, la clé électronique d'identification étant propre à communiquer le code d'identification via une communication en champ proche, également appelée NFC (de l'anglais Near Field Communication).
Le code unique 32 est, par exemple, collé à proximité du coin supérieur droit de la face extérieure 34.
La face extérieure 34 de l'équipement cible sur laquelle est disposé le code unique 32 est une face visible et facilement accessible pour l'utilisateur.
Les appareils électriques 38 sont connus en soi et sont des appareils tels que des disjoncteurs, des sectionneurs, des contacteurs, des relais ou des dispositifs de mesure de tension, de courant, de puissance ou d'énergie électrique couramment utilisés dans des équipements électriques.
La première base de données 40 est apte à stocker des données relatives à l'équipement électrique 12, notamment des données relatives au fonctionnement de chaque appareil électrique 38. Les données relatives au fonctionnement sont régulièrement rafraîchies dans la première base de données 40 au cours du fonctionnement de l'équipement électrique 12.
Les données relatives au fonctionnement de l'équipement 12 propres à être stockées dans la première base de données 40 sont des données telles que la puissance électrique consommée, la tension électrique et la température pour chacun des appareils électriques 38, ainsi que la présence ou non d'un défaut de fonctionnement pour chacun des appareils électriques 38.
Les premiers moyens de transmission 42 sont propres à envoyer au dispositif électronique 10 les données relatives au fonctionnement de l'équipement 12, stockées dans la première base de données 40, lesdites données étant destinées à être superposées à l'image de l'équipement la acquise par le capteur d'images 24 pour former l'image enrichie le destinée à être affichée à l'écran 20 du dispositif électronique.
La deuxième base de données 46 est également propre à stocker des données relatives à l'équipement cible 12, telles que le schéma de câblage de l'équipement électrique 12, les données constructeur et la référence de chacun des appareils électriques 38, la liste des actions correctives à réaliser pour corriger un éventuel défaut d'un appareil électrique 38. En complément, la deuxième base de données 46 est propre à stocker des données telles que la date de mise en service de l'équipement 12, la date de dernière révision de l'équipement 12 et l'historique des révisions effectuées pour ledit équipement 12.
Les deuxièmes moyens de transmission 48 sont propres à envoyer au dispositif électronique 10 les données relatives à l'équipement cible 12, stockées dans la deuxième base de données 46, lesdites données étant destinées à être superposées à l'image de l'équipement la acquise par le capteur d'images 24 pour former l'image enrichie le destinée à être affichée sur l'écran 20 du dispositif.
La mémoire 52 de l'unité de traitement d'informations du dispositif électronique est apte à stocker un logiciel 54 d'identification de l'équipement cible, un logiciel 56 de détermination dans l'image acquise la de points caractéristiques de l'équipement cible, et un logiciel 58 de modification de l'image acquise la en l'image enrichie le par superposition à l'image acquise la de l'information relative à l'équipement cible 12 identifié.
Le logiciel d'identification 54, le logiciel de détermination 56 et le logiciel de modification 58 forment une application 59 d'affichage en réalité augmentée d'une information relative à l'équipement cible 12
En variante, les moyens d'identification 54, les moyens de détermination 56 et les moyens de modification 58 sont réalisés sous forme de circuits logiques programmables ou encore sous forme de circuits intégrés dédiés.
En complément, la mémoire 52 est apte à stocker un premier logiciel 60 de communication avec l'équipement cible 12 via la première liaison de données 14 et un deuxième logiciel 62 de communication avec le serveur distant 16 via la deuxième liaison de données 18.
En complément, l'application d'affichage en réalité augmentée 59 comporte le premier logiciel de communication 60 et le deuxième logiciel de communication 62.
En variante, les premiers moyens de communication 60 et les deuxièmes moyens de communication 62 sont réalisés sous forme de circuits logiques programmables ou encore sous forme de circuits intégrés dédiés.
Le logiciel d'identification 54 est propre à reconnaître l'équipement cible 12 à l'aide du code unique 32 associé à l'équipement.
Le logiciel de détermination 56 est propre à déterminer les points caractéristiques de l'équipement cible 12 par reconnaissance du contour C de l'équipement 12 et/ou de la position P des appareils électriques 38. Le logiciel de modification 58 est propre à positionner, par rapport aux points caractéristiques déterminés par le logiciel de détermination 56, l'information superposée à l'image acquise la.
Le fonctionnement du dispositif électronique 10, de l'équipement cible 12 et du serveur distant 16 pour l'affichage en réalité augmentée de l'information relative à l'équipement cible 12 va désormais être expliqué à l'aide de la figure 2 représentant l'organigramme du procédé d'affichage selon l'invention, de la figure 3 représentant différents repères de coordonnées utilisés pour le positionnement de l'information superposée, et des figures 4 à 12 illustrant différentes images affichées à l'écran 20 du dispositif lors de la mise en œuvre du procédé d'affichage.
Lors de l'étape initiale 100, l'application d'affichage en réalité augmentée 59 est lancée sur le dispositif électronique 10 par l'utilisateur.
L'application d'affichage en réalité augmentée 59 commence alors par afficher un message d'accueil 102 à l'écran 20 à l'aide des moyens d'affichage 22, comme représenté sur la figure 4. Le message d'accueil 102 indique à l'utilisateur que la première étape consiste à identifier l'équipement cible 12, c'est-à-dire à reconnaître le tableau électrique, dans le mode de réalisation décrit.
Le message d'accueil 102 invite aussi l'utilisateur à appuyer sur un premier bouton tactile 104 afin de lancer l'étape d'identification 1 10, puis à filmer le code unique 32, tel que le code QR, à l'aide du capteur d'images 24 au cours de l'étape d'identification 1 10.
Lors de l'étape d'identification 1 10, une image du code unique 32 associé à l'équipement 12 est acquise par le capteur d'images 24, et le logiciel d'identification 54 identifie alors l'équipement 12 par reconnaissance du code unique 32 à l'aide de l'image du code acquise. L'image du code est, par exemple, acquise lorsque l'utilisateur filme le code QR 32.
Lors de l'étape d'identification 1 10, l'équipement cible 12 est identifié, en l'absence de la localisation du dispositif électronique 10 à l'aide d'un capteur de positionnement contenu dans le dispositif électronique 10.
L'homme du métier notera en effet que l'application d'affichage en réalité augmentée 59 ne nécessite aucune donnée de localisation du dispositif électronique 10 par rapport à l'équipement cible 12, contrairement au procédé d'affichage de l'état de la technique. L'application d'affichage en réalité augmentée 59 ne nécessite, par exemple, pas de données de positionnement issues d'un système GPS (de l'anglais Global Positioning System).
A l'issue de l'étape d'identification 1 10, le logiciel d'identification 54 affiche, à l'aide des moyens d'affichage 22, un premier message de confirmation 1 12, comme représenté sur la figure 5. Le premier message de confirmation 1 12 indique à l'utilisateur que le code unique 32 a été reconnu, et l'invite à appuyer dans la zone tactile correspondant au premier message de confirmation 1 12, afin d'activer l'affichage du menu principal de l'application d'affichage en réalité augmentée 59.
Lorsque l'utilisateur a appuyé sur la zone tactile correspondant au premier message de confirmation 1 12, visible sur la figure 5, l'application d'affichage en réalité augmentée 59 affiche, lors de l'étape 120, un menu principal permettant à l'utilisateur de sélectionner le type de données, c'est-à-dire le type d'information relative à l'équipement cible 12, auquel il souhaite accéder via l'affichage en réalité augmentée.
Le capteur d'images 24 effectue ensuite l'acquisition d'au moins une image la de l'équipement cible 12 lors de l'étape 130. L'étape d'acquisition 130 consiste, par exemple, pour l'utilisateur, à filmer l'équipement cible 12 à l'aide du capteur d'images 24.
Lors de l'étape 140, après l'acquisition de l'image la par le capteur d'images 24, le logiciel de détermination 56 détermine des points caractéristiques de l'équipement cible 12 dans l'image acquise la.
La détermination des points caractéristiques de l'équipement cible 12 est, par exemple, effectuée par reconnaissance du contour C de l'équipement et/ou de la position P de chacun des appareils électriques 38 de l'équipement, comme représenté sur la figure 3. Les points caractéristiques de l'équipement cible 12 sont définis dans un premier repère de coordonnées R1 lié à l'équipement cible 12.
Comme cela sera décrit plus en détail par la suite pour l'étape de modification 150, un deuxième repère de coordonnées R2 est lié à l'information superposée à l'image acquise et un troisième repère de coordonnées R3 est lié au dispositif électronique 10, tel que représenté sur la figure 3.
Les points caractéristiques de l'équipement cible 12, également appelés points d'accrochage de l'information superposée, sont, par exemple, des sommets du contour C, ou encore les positions P des barycentres des appareils électriques 38 dans le premier repère R1 .
Après avoir déterminé les points d'accrochage de l'information à superposer à l'image acquise la, l'application d'affichage en réalité augmentée 59 modifie, lors de l'étape 150, à l'aide de son logiciel de modification 58, l'image acquise la en l'image enrichie le par superposition à l'image acquise la de l'information relative à l'équipement cible 12 identifié précédemment lors de l'étape 1 10, comme représenté sur les figures 6 à 12.
Pour ce faire, le logiciel de modification 58 positionne ladite information relative à l'équipement cible 12 par rapport aux points d'accrochage déterminés précédemment lors de l'étape 140, puis superpose cette information à l'image acquise la en la position calculée.
Le positionnement de l'information superposée est effectué à l'aide des premier, deuxième et troisième repères R1 , R2, R3, visibles sur la figure 3, afin de mettre à l'échelle et en perspective ladite information relative à l'équipement cible sur l'image acquise la.
Le premier repère R1 est un repère fixe lié à l'équipement, le deuxième repère R2 est lié aux informations affichables en superposition sur l'image acquise la, et le troisième repère R3 est lié au dispositif électronique mobile 10. Le premier repère R1 est localisé sur l'équipement cible 12 par rapport aux points caractéristiques déterminés précédemment. La position des deuxième et troisième repères R2 et R3 est recalculée régulièrement sur les trois axes par rapport au premier repère fixe R1 . Le dispositif électronique mobile 10 connaît donc en permanence la position relative des trois repères R1 , R2, R3, ce qui lui permet d'ajuster l'échelle et l'emplacement des informations affichées à l'écran 20 en superposition sur l'image acquise la.
L'information relative à l'équipement cible 12 comporte des données stockées dans la mémoire 52 du dispositif électronique.
En variante ou en complément, l'information relative à l'équipement cible 12 comporte des données stockées dans la première base de données 40 et reçues depuis l'équipement cible 12 via le premier logiciel de communication 60 et les premiers moyens de transmission 42.
En variante ou en complément, l'information relative à l'équipement cible 12 comporte des données stockées dans la deuxième base de données 46 et reçues depuis le serveur distant 16 via le deuxième logiciel de communication 62 et les deuxièmes moyens de transmission 48.
L'information relative à l'équipement cible 12 comporte, tel que cela sera décrit plus en détail par la suite en regard des figures 6 à 12, au moins un élément parmi le groupe constitué de : le schéma de câblage électrique de l'équipement cible 12 ; la date de mise en service de l'équipement cible 12 ; la date de dernière révision de l'équipement cible 12 ; l'historique des révisions effectuées pour l'équipement cible 12 ; la référence de chacun des appareils électriques 38 constituant l'équipement cible 12 ; la puissance électrique consommée, la tension électrique et la température pour chacun des appareils électriques 38 constituant l'équipement cible 12 ; la présence d'un défaut pour chacun des appareils électriques 38 constituant l'équipement cible 12 ; l'état de chacun des appareils électriques de protection appartenant à l'équipement cible 12, l'état étant par exemple égal à contact fermé ou ouvert, ou encore à appareil déclenché ou non ; et la liste des actions à réaliser pour corriger un défaut d'un appareil électrique 38 de l'équipement cible 12.
L'application d'affichage en réalité augmentée 59 affiche enfin, lors de l'étape 160, l'image enrichie le à l'écran 20 du dispositif électronique, comme représenté sur les figures 6 à 12.
Dans l'exemple de réalisation de la figure 6, l'information relative à l'équipement 12 comporte le schéma de câblage électrique 170 de l'équipement électrique 12, ce qui permet à l'utilisateur de voir très rapidement comment les différents appareils électriques 38 sont connectés entre eux.
Lorsque l'application de l'affichage en réalité augmentée 59 affiche, à l'aide des moyens d'affichage 22, le schéma de câblage électrique 170, un deuxième 172 et un troisième 174 boutons tactiles sont également affichés à l'écran 20 afin de permettre à l'utilisateur, s'il le souhaite, de simuler un défaut, et respectivement d'afficher des informations plus détaillées relatives à chacun des appareils électriques 38.
Dans l'exemple de réalisation de la figure 7, l'information relative à l'équipement électrique 12 comporte des données relatives à chacun des appareils électriques 38, notamment la référence de chacun des appareils 38. Cette image le enrichie avec les données relatives aux appareils 38 est affichée lorsque l'utilisateur a, par exemple, précédemment appuyé sur le troisième bouton tactile 174.
Les données associées à chacun des appareils 38 sont affichées dans des premières bulles 176, chaque première bulle 176 étant positionnée, dans l'image enrichie le, à proximité de l'appareil électrique 38 auquel les données qu'elle contient sont associées.
Ceci est également très utile pour l'utilisateur qui dispose ainsi d'une vue globale des données associées à chacun des appareils électriques 38, sans avoir besoin de s'approcher de chacun des appareils 38 afin de déterminer plus précisément de quel appareil il s'agit.
Dans l'exemple de réalisation de la figure 8, l'information relative à l'équipement cible 12 comporte une première courbe 178 représentant la puissance électrique consommée par l'appareil électrique 38 associé à cette information superposée, une deuxième courbe 180 représentant la température dudit appareil électrique 38 et une troisième courbe 182 représentant la tension électrique aux bornes dudit appareil électrique 38.
Dans l'exemple de réalisation de la figure 9, l'application d'affichage en réalité augmentée 59 affiche l'image enrichie le avec le contour d'un appareil électrique 38 en surbrillance, et affiche également un quatrième bouton tactile 184, afin de proposer à l'utilisateur de reconnaître cet appareil électrique 38, c'est-à-dire d'afficher en réalité augmentée la référence de cet appareil 38, voire en complément des données additionnelles relatives à cet appareil 38.
Dans l'exemple de réalisation de la figure 10, l'information relative à l'équipement cible 12 comporte la date de mise en service, la date de dernière révision et l'historique des révisions effectuées pour l'équipement cible 12, ces informations étant affichées dans l'image enrichie le à l'intérieure d'une deuxième bulle 186 superposée à l'équipement 12.
L'application d'affichage en réalité augmentée 59 affiche en outre un cinquième bouton tactile 188 permettant à l'utilisateur d'aller dans un mode, dit mode appareils, visible sur la figure 7, pour lequel les données associées à chacun des appareils 38 sont affichées en superposition dans l'image enrichie le.
Dans l'exemple de réalisation de la figure 1 1 , l'application d'affichage en réalité augmentée 59 affiche dans l'image enrichie le l'information relative à la présence ou non d'un défaut pour chacun des appareils électriques 38 constituant l'équipement 12. Une signalétique 190, représentée en traits pointillés sur la figure 1 1 , est superposée en surbrillance à l'image acquise, par exemple afin de signaler un défaut d'un générateur.
Ce défaut est en outre signalé par l'affichage d'un deuxième message de confirmation 192 indiquant à l'utilisateur qu'un défaut du générateur a été diagnostiqué et l'invitant à appuyer dans la zone tactile correspondant à ce deuxième message de confirmation 192, afin que lui soient précisées les actions correctives à effectuer pour résoudre ce défaut.
Dans l'exemple de réalisation de la figure 12, lorsque l'utilisateur a précédemment appuyé dans la zone tactile correspondant au deuxième message de confirmation 192, visible sur la figure 1 1 , les actions correctives à effectuer pour résoudre le défaut sont affichées en réalité augmentée dans un tableau 194.
Le tableau 194 comporte les actions correctives à effectuer et le statut de chacune des actions, réactualisé au fur et à mesure que les actions sont effectuées, le statut étant renseigné à l'aide des données relatives au fonctionnement de l'appareil 38 concerné, ou plus généralement de l'équipement cible 12, reçues via le premier logiciel de communication 60 et les premiers moyens de transmission 42.
La résolution d'un défaut est ainsi particulièrement simple à mettre en œuvre pour l'utilisateur, puisque celui-ci est informé de chacune des actions successives à effectuer, ainsi que du résultat positif ou non des actions effectuées.
L'application d'affichage en réalité augmentée 59 affiche en outre un troisième message de confirmation 196 lorsque le défaut a été résolu, afin d'en informer l'utilisateur. Le procédé d'affichage en réalité augmentée selon l'invention est donc particulièrement utile et efficace pour l'utilisateur, qui est susceptible consulter ainsi très rapidement différentes données relatives à l'équipement cible 12, comme décrit précédemment en regard des figures 6 à 12.
Le procédé d'affichage est en outre particulièrement réactif, puisqu'après avoir identifié l'équipement cible 12, l'information relative à l'équipement 12 est superposée et positionnée par rapport à l'image acquise à l'aide de points caractéristiques de l'équipement cible 12, déterminés de manière régulière par le logiciel de détermination 56.
Les traitements mis en œuvre par l'unité de traitement d'informations 26 sont relativement courts, car ils ne nécessitent pas de recevoir des signaux, tels que des signaux de positionnement, d'un système externe au dispositif électronique 10 et à l'équipement cible 12, contrairement au procédé d'affichage de l'état de la technique qui nécessite d'acquérir de manière régulière la position du dispositif électronique par rapport à l'équipement cible, par l'intermédiaire d'un système de positionnement par satellite, ce qui implique des traitements relativement longs.
On conçoit ainsi que le procédé d'affichage selon l'invention permet d'améliorer le temps de réponse pour l'affichage de l'image enrichie le par rapport à l'acquisition initiale de l'image la de l'équipement 12 via le capteur d'images 24.

Claims

REVENDICATIONS
1 . - Procédé d'affichage, sur un écran (20) d'un dispositif électronique (10), d'une information relative à un équipement cible (12), le dispositif électronique (10) comportant un capteur d'images (24), l'écran (20), des moyens (22) d'affichage de données à l'écran (20), et une unité de traitement d'informations (26),
le procédé comprenant les étapes suivantes :
- l'acquisition (130), par le capteur d'images (24), d'au moins une image (la) de l'équipement cible (12),
- l'identification (1 10) de l'équipement cible (12) par l'unité de traitement (26, 54),
- la modification (150), par l'unité de traitement (26, 58), de l'image acquise (la) en une image enrichie (le), par superposition à l'image acquise (la) de l'information relative à l'équipement cible (12) identifié, et
- l'affichage (160), par les moyens d'affichage (22), de l'image enrichie (le) à l'écran (20),
le procédé étant caractérisé en ce qu'il comprend en outre l'étape suivante :
- la détermination (140), par l'unité de traitement (26, 56), de points caractéristiques de l'équipement cible (12) dans l'image acquise (la), et en ce que
lors de l'étape d'identification (1 10), l'équipement cible (12) est reconnu via un code unique (32) associé à l'équipement (12), et
lors de l'étape de modification (150), l'information superposée à l'image acquise (la) est en outre positionnée par rapport aux points caractéristiques déterminés, le positionnement de l'information superposée étant effectué à l'aide d'un premier repère de coordonnées (R1 ) lié à l'équipement cible (12), d'un deuxième repère de coordonnées (R2) lié à l'information superposée et d'un troisième repère de coordonnées (R3) lié au dispositif électronique (10).
2. - Procédé selon la revendication 1 , dans lequel, lors de l'étape d'identification (1 10), une image du code unique (32) associé à l'équipement (12), tel qu'un code QR ou un code à barres, est acquise par le capteur d'images (24), et l'unité de traitement (26, 54) identifie l'équipement (12) par reconnaissance du code (32) à l'aide de l'image du code acquise.
3. - Procédé selon la revendication 1 ou 2, dans lequel, lors de l'étape d'identification (1 10), l'équipement cible (12) est identifié en l'absence de la localisation du dispositif électronique (10) à l'aide d'un capteur de positionnement contenu dans le dispositif électronique (10).
4. - Procédé selon l'une quelconque des revendications précédentes, dans lequel, lors de l'étape de détermination (140), les points caractéristiques de l'équipement cible
(12) sont déterminés par reconnaissance du contour (C) de l'équipement et/ou de la position (P) d'élément(s) (38) de l'équipement (12).
5. - Procédé selon l'une quelconque des revendications précédentes, dans lequel le dispositif électronique (10) comporte en outre des premiers moyens (60) de communication avec l'équipement cible (12) via une première liaison de données (14), et dans lequel l'information relative à l'équipement cible (12) comporte des données, notamment des données relatives au fonctionnement de l'équipement cible (12), reçues depuis l'équipement cible (12) via les premiers moyens de communication (60).
6. - Procédé selon l'une quelconque des revendications précédentes, dans lequel le dispositif électronique (10) comporte en outre des deuxièmes moyens (62) de communication avec un serveur distant (16) via une deuxième liaison de données (18), et dans lequel l'information relative à l'équipement cible (12) comporte des données reçues depuis le serveur distant (16) via les deuxièmes moyens de communication (62).
7. - Procédé selon l'une quelconque des revendications précédentes, dans lequel l'équipement cible (12) est un équipement électrique, et l'information relative à l'équipement électrique (12) comporte au moins un élément parmi le groupe constitué de : le schéma de câblage électrique ; la date de mise en service ; la date de dernière révision ; l'historique des révisions effectuées ; la référence de chacun des appareils électriques (38) constituant l'équipement ; la puissance électrique consommée, la tension électrique et la température pour chacun des appareils électriques (38) constituant l'équipement (12); la présence d'un défaut pour chacun des appareils électriques (38) constituant l'équipement (12) ; l'état de chacun des appareils électriques (38) de protection appartenant à l'équipement (12), tel que contact fermé ou ouvert et appareil déclenché ou non ; et la liste des actions à réaliser pour corriger un défaut d'un appareil électrique (38) de l'équipement (12).
8.- Produit programme d'ordinateur comportant des instructions logicielles qui, lorsque mises en œuvre par une unité de traitement d'informations (26) intégrée à un dispositif électronique (10), met en œuvre le procédé selon l'une quelconque des revendications précédentes.
9. - Dispositif électronique (10) comprenant :
- un capteur d'images (24),
- un écran (20),
- des moyens (22) d'affichage de données à l'écran (20), et
- une unité de traitement d'informations (26) comportant des moyens (54) d'identification d'un équipement cible (12), des moyens (58) de modification d'une image acquise (la) par le capteur d'images (24) en une image enrichie (le), les moyens de modification (58) étant propres à superposer, à l'image acquise (la), une information relative à l'équipement cible (12) identifié,
les moyens d'affichage (22) étant propres à afficher l'image enrichie (le) à l'écran
(20),
caractérisé en ce que l'unité de traitement d'informations (26) comporte en outre des moyens (56) de détermination de points caractéristiques de l'équipement cible (12) dans l'image acquise (la),
en ce que les moyens d'identification (54) sont propres à reconnaître l'équipement cible (12) via un code unique (32) associé à l'équipement (12), et
en ce que les moyens de modification (58) sont propres à positionner, par rapport aux points caractéristiques déterminés, l'information superposée à l'image acquise (la), le positionnement de l'information superposée étant effectué à l'aide d'un premier repère de coordonnées (R1 ) lié à l'équipement cible (12), d'un deuxième repère de coordonnées (R2) lié à l'information superposée et d'un troisième repère de coordonnées (R3) lié au dispositif électronique (10).
10. - Dispositif électronique (10) selon la revendication 9, dans lequel le dispositif électronique (12) est un téléphone portable ou une tablette électronique.
1 1 .- Equipement électrique (12) comprenant :
- une armoire de protection (36),
- au moins un appareil électrique (38) disposé dans l'armoire (36),
- une base de données (40) apte à stocker des données relatives au fonctionnement du ou de chaque appareil électrique (38), et
- des moyens (42) de transmission de données à destination d'un dispositif électronique (10) externe, caractérisé en ce qu'il comprend en outre un code unique (32) agencé sur une face extérieure (34) de l'armoire (36) et propre à permettre l'identification de l'équipement (12) par le dispositif électronique (10) externe, et
en ce que les moyens de transmission (42) sont propres à envoyer, audit dispositif externe (10), les données relatives au fonctionnement stockées dans la base de données (40), lesdites données étant destinées à être superposées à une image de l'équipement (12) acquise par le dispositif externe (10) pour former une image enrichie (le) affichée sur un écran (20) dudit dispositif externe (10), le dispositif électronique externe (10) étant conforme à la revendication 9 ou 10.
12.- Equipement électrique (12) selon la revendication 1 1 , dans lequel le code unique (32) est un élément parmi le groupe constitué des éléments suivants : un code QR, un code à barres et un code d'identification contenu dans une clé électronique d'identification agencée sur la face extérieure (34), la clé électronique d'identification étant propre à communiquer le code d'identification via une communication en champ proche.
PCT/EP2013/059366 2012-05-07 2013-05-06 Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes Ceased WO2013167523A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1254179 2012-05-07
FR1254179A FR2990286B1 (fr) 2012-05-07 2012-05-07 Procede d'affichage en realite augmentee d'une information relative a un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes

Publications (1)

Publication Number Publication Date
WO2013167523A1 true WO2013167523A1 (fr) 2013-11-14

Family

ID=48407509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/059366 Ceased WO2013167523A1 (fr) 2012-05-07 2013-05-06 Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes

Country Status (2)

Country Link
FR (1) FR2990286B1 (fr)
WO (1) WO2013167523A1 (fr)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200459A (zh) * 2014-08-04 2014-12-10 联想(北京)有限公司 一种信息处理方法及电子设备
US20150109332A1 (en) * 2013-10-17 2015-04-23 Fmr Llc Real-time visualizations of components in a modular instrumentation center
CN104898996A (zh) * 2015-05-04 2015-09-09 联想(北京)有限公司 信息处理方法及电子设备
US20160232687A1 (en) * 2015-02-05 2016-08-11 Schneider Electric Industries Sas Display management method and associated computer program product and electronic device
CN106920071A (zh) * 2017-02-23 2017-07-04 广东电网有限责任公司教育培训评价中心 变电站现场作业辅助方法和系统
CN109598177A (zh) * 2017-09-30 2019-04-09 施耐德电气工业公司 用于识别电气设备的状态的方法和装置
CN114554152A (zh) * 2022-02-22 2022-05-27 正泰电气股份有限公司 变电站的智能监控方法
EP3147738B1 (fr) * 2015-09-25 2023-08-02 Yokogawa Electric Corporation Dispositif d'assistance aux travaux de visite, système d'assistance aux travaux de visite et procédé d'assistance aux travaux de visite

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014012185A1 (de) 2014-08-20 2016-02-25 Sig Technology Ag Bedienterminal für Verarbeitungsanlagen
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
FR3044123B1 (fr) * 2015-11-24 2019-04-05 Electricite De France Dispositif pour le pilotage a distance d'au moins un equipement electrique
FR3065561B1 (fr) * 2017-04-24 2019-04-19 Safran Aircraft Engines Systeme et procede d'inspection d'un systeme mecanique base sur la realite augmentee
KR102434402B1 (ko) * 2017-09-19 2022-08-22 한국전자통신연구원 혼합현실 콘텐츠를 제공하는 장치 및 방법
EP3647911A1 (fr) * 2018-11-05 2020-05-06 Primetals Technologies Germany GmbH Surveillance d'un produit supportée par la réalité augmentée
TWI700644B (zh) * 2019-04-02 2020-08-01 精英電腦股份有限公司 板件構件的即時定位裝置與方法
FR3117642B1 (fr) * 2020-12-16 2023-05-05 Schneider Electric Ind Sas Procédé pour la configuration et l’affichage en réalité augmentée ou mixte ou étendue des informations relatives à un équipement installé dans un site réel, produit programme d’ordinateur et dispositif électronique associés

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167464A (en) * 1998-09-23 2000-12-26 Rockwell Technologies, Llc Mobile human/machine interface for use with industrial control systems for controlling the operation of process executed on spatially separate machines
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20110115816A1 (en) * 2009-11-16 2011-05-19 Alliance For Sustainable Energy, Llc. Augmented reality building operations tool
US20120038458A1 (en) * 2010-07-28 2012-02-16 Toepke Todd M Handheld field maintenance tool with improved diagnostics
US20120105447A1 (en) * 2010-11-02 2012-05-03 Electronics And Telecommunications Research Institute Augmented reality-based device control apparatus and method using local wireless communication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167464A (en) * 1998-09-23 2000-12-26 Rockwell Technologies, Llc Mobile human/machine interface for use with industrial control systems for controlling the operation of process executed on spatially separate machines
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
WO2008112149A2 (fr) 2007-03-08 2008-09-18 Itt Manufacturing Enterprises, Inc. Système de réalité augmentée et procédé permettant de représenter l'emplacement du personnel et de capteurs à l'intérieur de structures fermées, et d'avoir une meilleure connaissance de la situation
US20110115816A1 (en) * 2009-11-16 2011-05-19 Alliance For Sustainable Energy, Llc. Augmented reality building operations tool
US20120038458A1 (en) * 2010-07-28 2012-02-16 Toepke Todd M Handheld field maintenance tool with improved diagnostics
US20120105447A1 (en) * 2010-11-02 2012-05-03 Electronics And Telecommunications Research Institute Augmented reality-based device control apparatus and method using local wireless communication

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUGO ALVAREZ ET AL: "Providing guidance for maintenance operations using automatic markerless Augmented Reality system", MIXED AND AUGMENTED REALITY (ISMAR), 2011 10TH IEEE INTERNATIONAL SYMPOSIUM ON, IEEE, 26 October 2011 (2011-10-26), pages 181 - 190, XP032201450, ISBN: 978-1-4577-2183-0, DOI: 10.1109/ISMAR.2011.6092385 *
REITMAYR G ET AL: "Semi-automatic Annotations in Unknown Environments", MIXED AND AUGMENTED REALITY, 2007. ISMAR 2007. 6TH IEEE AND ACM INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 13 November 2007 (2007-11-13), pages 67 - 70, XP031269876, ISBN: 978-1-4244-1749-0 *
SANGHOON LEE ET AL: "Augmented reality-based computational fieldwork support for equipment operations and maintenance", AUTOMATION IN CONSTRUCTION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 20, no. 4, 4 November 2010 (2010-11-04), pages 338 - 352, XP028194601, ISSN: 0926-5805, [retrieved on 20101111], DOI: 10.1016/J.AUTCON.2010.11.004 *
WARREN ROBINETT ET AL: "The visual display transformation for virtual reality", PRESENCE: TELEOPERATORS AND VIRTUAL ENVIRONMENTS 4.1 (1995): 1-23., vol. 4, no. 1, 1 January 1995 (1995-01-01), pages 1 - 23, XP055076429 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109332A1 (en) * 2013-10-17 2015-04-23 Fmr Llc Real-time visualizations of components in a modular instrumentation center
CN104200459A (zh) * 2014-08-04 2014-12-10 联想(北京)有限公司 一种信息处理方法及电子设备
US9805477B2 (en) * 2015-02-05 2017-10-31 Schneider Electric Industries Sas Display management method and associated computer program product and electronic device
US20160232687A1 (en) * 2015-02-05 2016-08-11 Schneider Electric Industries Sas Display management method and associated computer program product and electronic device
CN105867612A (zh) * 2015-02-05 2016-08-17 施耐德电器工业公司 显示管理方法和关联计算机程序产品及电子设备
CN105867612B (zh) * 2015-02-05 2020-06-19 施耐德电器工业公司 显示管理方法和关联计算机程序产品及电子设备
CN104898996A (zh) * 2015-05-04 2015-09-09 联想(北京)有限公司 信息处理方法及电子设备
EP3147738B1 (fr) * 2015-09-25 2023-08-02 Yokogawa Electric Corporation Dispositif d'assistance aux travaux de visite, système d'assistance aux travaux de visite et procédé d'assistance aux travaux de visite
CN106920071A (zh) * 2017-02-23 2017-07-04 广东电网有限责任公司教育培训评价中心 变电站现场作业辅助方法和系统
CN106920071B (zh) * 2017-02-23 2018-03-27 广东电网有限责任公司教育培训评价中心 变电站现场作业辅助方法和系统
CN109598177A (zh) * 2017-09-30 2019-04-09 施耐德电气工业公司 用于识别电气设备的状态的方法和装置
CN109598177B (zh) * 2017-09-30 2023-12-01 施耐德电气工业公司 用于识别电气设备的状态的方法和装置
CN114554152A (zh) * 2022-02-22 2022-05-27 正泰电气股份有限公司 变电站的智能监控方法

Also Published As

Publication number Publication date
FR2990286B1 (fr) 2019-09-06
FR2990286A1 (fr) 2013-11-08

Similar Documents

Publication Publication Date Title
FR2990286B1 (fr) Procede d'affichage en realite augmentee d'une information relative a un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes
US10509619B2 (en) Augmented reality quick-start and user guide
US20230284000A1 (en) Mobile information terminal, information presentation system and information presentation method
US9551597B2 (en) Measurement system with image capture capabilities
KR20110026068A (ko) 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
CN104423367A (zh) 用于从现场设备为移动设备提供数据的方法、用于执行该方法的计算机程序及布置
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
EP3739824B1 (fr) Procédé et appareil de traitement de message,dispositif électronique et support d'informations lisible par machine
JPWO2020039605A1 (ja) ガス検出装置、情報処理装置およびプログラム
JP2020013592A (ja) プログラム、点検支援端末及び点検支援方法
JP5266416B1 (ja) テストシステム及びテストプログラム
CN104640062B (zh) 信息传输方法及装置
JP2009282868A (ja) 自動販売機
US10705614B2 (en) Method and apparatus for generating vibration patterns
US10037450B2 (en) Information code image display system, information code image display terminal, information code image display program, server, and information code image generating program
US10617234B2 (en) Device for interaction of an object exhibited with the aid of a robotic arm
US20150220811A1 (en) Assisted product identification
CN115701297A (zh) 热成像资产检查系统和方法
JP5897407B2 (ja) 電子機器、撮像処理方法、およびプログラム
JP2021128683A (ja) 情報処理装置
JP5544570B2 (ja) 情報提示システム、情報提示プログラム、及び情報提示方法
CN114462645B (zh) 车辆配件推送系统、方法和设备
CN113711582A (zh) 信息处理装置、信息处理方法和程序
EP3046061B1 (fr) Procédé d'obtention d'au moins un paramètre de fonctionnement d'un composant de sous-station électrique
CN106506789A (zh) 一种快速建立会话的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13721686

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13721686

Country of ref document: EP

Kind code of ref document: A1