WO2017155085A1 - 電気刺激装置及び電気刺激システム - Google Patents
電気刺激装置及び電気刺激システム Download PDFInfo
- Publication number
- WO2017155085A1 WO2017155085A1 PCT/JP2017/009707 JP2017009707W WO2017155085A1 WO 2017155085 A1 WO2017155085 A1 WO 2017155085A1 JP 2017009707 W JP2017009707 W JP 2017009707W WO 2017155085 A1 WO2017155085 A1 WO 2017155085A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- electrode
- electrical stimulation
- finger
- host
- muscle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1104—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb induced by stimuli or drugs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ or muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6825—Hand
- A61B5/6826—Finger
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36003—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of motor muscles, e.g. for walking assistance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/3603—Control systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0462—Apparatus with built-in sensors
- A61B2560/0468—Built-in electrodes
Definitions
- the present invention relates to an electrical stimulation apparatus that applies an electrical stimulation signal to a human arm muscle and detects a displacement of the arm muscle with a sensor, and an electrical stimulation system that combines the information processing apparatus.
- the inventors of the present application previously proposed an electrical stimulation device as described in Patent Document 1.
- the electrical stimulation apparatus proposed in Patent Document 1 is an apparatus that applies electrical stimulation to muscles of the forearm by attaching a plurality of electrodes to a band worn on the user's forearm.
- a user who wears the electrical stimulation device proposed in Patent Document 1 moves his / her finger or hand when electrical stimulation is applied to the muscles of the forearm by an external command. For example, it is known in advance which muscle of the forearm to move when five fingers are stimulated, and the finger corresponding to the muscle moves by stimulating a specific muscle with an electrode attached to the electrical stimulator. .
- the band-shaped electrical stimulation device includes a plurality of electrodes, but it is necessary to detect which muscle each electrode corresponds to.
- a calibration operation is first performed to output an electrical stimulation signal from each electrode and confirm in advance which finger moves. I need it. That is, when the user wears the band-shaped electrical stimulation device, it is necessary for the electrical stimulation device to accurately know in advance which muscle each electrode disposed on the electrical stimulation device faces. For this reason, calibration work is extremely important.
- the thickness of a person's arm varies greatly depending on individual differences such as age, sex, and weight. For this reason, in order to absorb individual differences in the thickness of the arm with only one electrical stimulation device, it is necessary to provide electrodes and sensors that exceed the number of five fingers. Then, an electrode that does not correspond to the movement of the finger is generated in the electrode. That is, in order for the electrical stimulation apparatus to operate correctly, it is necessary to clarify in advance the calibration relationship between the muscles that actually move the finger and the electrodes.
- An object of the present invention is to provide an electrical stimulation device capable of driving a target finger with high accuracy and an electrical stimulation system using the electrical stimulation device.
- an electrical stimulation device selects a band wound around a user's arm, a plurality of electrodes disposed on one surface of the band, and one electrode from the plurality of electrodes.
- a short-range wireless receiving unit that receives a command to move a finger from the host, an electrode probability matrix in which the correspondence between the movement of the finger and a plurality of electrodes is described by probability, and a command to move the finger
- An electrode showing the maximum probability is specified from the probability matrix, and a finger electrode corresponding conversion unit that controls the multiplexer and selects the specified electrode is provided.
- the present invention it is not affected by the state worn on the user's arm or individual differences, the correspondence between the movement of the finger and the electrode is clarified in a short time, the malfunction is extremely small, and the target finger can be driven with high accuracy.
- An electrical stimulation device and an electrical stimulation system using the electrical stimulation device can be provided. Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
- An explanatory diagram of the finger behavior matrix showing the movement of the finger with respect to the electrical stimulus, a diagram showing the procedure for selecting an effective electrical stimulus from the finger behavior matrix, and a flag matrix showing the result of selecting an effective electrical stimulus from the finger behavior matrix It is explanatory drawing and the figure which shows the electrode probability matrix produced
- FIG. 4 is a diagram showing a matrix in which this electrode probability matrix is rearranged. It is a figure which shows an example of the generalized electrode probability matrix.
- FIG. 1 is an external perspective view of an electrical stimulation apparatus 100 that is an example of an embodiment of the present invention.
- the electrical stimulation device 100 includes a V-shaped band 101.
- the band 101 is made of a flexible resin sheet such as silicone rubber. Both wing parts of the band 101 are inclined by equal inclination angles ⁇ 1 and ⁇ 2 from the horizontal line L105.
- the inclination angles ⁇ 1 and ⁇ 2 are, for example, 32 °.
- a rectangular circuit storage box 103 is provided at the center of the surface side of the band 101.
- the circuit storage box 103 incorporates an arithmetic processing unit 150 (see FIG. 4) described later, a secondary battery, and the like.
- a first serial interface terminal 104 is provided on the side surface of one short side of the circuit storage box 103.
- the first serial interface terminal 104 is, for example, a microUSB terminal.
- the electrical stimulation device 100 charges a secondary battery (not shown) incorporated therein through the first serial interface terminal 104. Further, it is possible to expand functions such as connecting the first serial interface terminal 104 to a personal computer or the like and updating firmware as a component of the arithmetic processing unit.
- the back surface (the lower surface in FIG. 1) opposite to the surface on which the circuit storage box 103 of the band 101 is attached is an electrode arrangement surface 100a which will be described later with reference to FIG.
- the electrical stimulation device 100 is worn by the user by winding an electrode placement surface 100a, which is the back surface of the band 101, around the user's forearm, as will be described in the wearing example of FIGS. 3A and 3B described later.
- FIG. 2 is a plan view of the electrode arrangement surface 100a.
- the electrode placement surface 100a includes electrodes 201 to 208 for applying electrical stimulation signals to the muscles of the user's forearm, and electrodes 211 to 213, 216, and 217 that are ground electrodes used in pairs with the electrodes 201 to 208, Is provided. However, since the ground electrode is used in common for a plurality of opposing electrodes, the numbers of the electrodes 201 to 208 and the electrodes 211 to 213, 216, and 217 do not match.
- the electrode placement surface 100a includes muscle displacement sensors 221 to 228 that detect the movement of muscles of the user's forearm.
- the right electrode arrangement place 231 is provided on the right side (left side in the drawing) of the electrode arrangement surface 100a, and four electrodes 201, 202, 211, and 212 are arranged in the right electrode arrangement place 231.
- the electrode 201 is a first electrode
- the electrode 202 is a second electrode.
- the electrode 211 is a ground electrode facing the electrode 201
- the electrode 212 is a ground electrode facing the electrode 202.
- the electrodes 201 and 211 are electrodes for stimulating the forearm muscles, and are arranged adjacent to the longitudinal direction L of the arm when worn.
- the electrodes 202 and 212 are also electrodes for stimulating the muscles of the forearm, and are substantially rectangular electrodes arranged in an inclined state at an inclination angle ⁇ 2 with respect to the circumferential direction H.
- the electrode 202 and the electrode 212 are disposed adjacent to the longitudinal direction L of the arm.
- a central electrode arrangement location 232 is provided at the center of the electrode arrangement surface 100a, and five electrodes 203, 204, 205, 208, 213 are arranged at the central electrode arrangement location 232.
- the electrode 203 is a third electrode
- the electrode 204 is a fourth electrode
- the electrode 205 is a fifth electrode.
- These three electrodes 203, 204, and 205 extend in the longitudinal direction of the arm and are arranged side by side in substantially parallel to the circumferential direction of the arm.
- the electrode 208 is an eighth electrode.
- the electrode 208 is an electrode that extends long in the circumferential direction of the arm.
- the electrode 213 is a ground electrode commonly used facing the electrodes 203, 204, 205, and 208.
- the electrode 203, the electrode 204, and the electrode 205 are electrodes for stimulating different muscles of the forearm for each channel, and the electrode 213 is commonly used as a ground electrode.
- the three electrodes 203, 204, 205 are arranged side by side in the circumferential direction H of the arm, and the electrode 213, which is a common ground electrode arranged adjacent to the three electrodes 203, 204, 205 in the longitudinal direction L, A rectangular electrode extending in the circumferential direction H of the arm.
- the electrode 208 is a rectangular electrode that is adjacent to the electrode 213 and extends long in the circumferential direction H of the arm.
- the electrode 213 is also used as the ground potential of the electrode 208. Note that the electrode 208 is a spare electrode, and the electrode 208 extends long in the circumferential direction H of the arm, so that a plurality of muscles of the arm can be simultaneously stimulated.
- a left electrode arrangement portion 233 is provided on the left side portion 102 (right side in FIG. 2) of the electrode arrangement surface 100a, and four electrodes 206, 207, 216, and 217 are arranged in the left electrode arrangement portion 233.
- the electrode 216 is a ground electrode facing the electrode 206
- the electrode 217 is a ground electrode facing the electrode 207.
- the electrodes 206 and 216 are electrodes for stimulating the muscles of the forearm, and are substantially rectangular electrodes arranged in an inclined state at the same angle ⁇ 1 as the inclination angle ⁇ 1 of the left side portion 102 with respect to the circumferential direction H.
- the electrodes 207 and 217 are electrodes that stimulate the forearm muscles and are disposed adjacent to the longitudinal direction L of the arm when worn.
- the muscle displacement sensors 221 and 222 are arranged at two locations in the vicinity of the right electrode arrangement location 231 on the electrode arrangement surface 100a.
- Muscle displacement sensors 223, 224, 225, and 226 are arranged at four locations in the vicinity of the central electrode arrangement location 232 on the electrode arrangement surface 100a.
- Muscle displacement sensors 227 and 228 are arranged at two positions in the vicinity of the left electrode arrangement place 233 on the electrode arrangement surface 100a.
- the eight muscle displacement sensors 221 to 228 are well-known photo reflectors. These muscle displacement sensors are composed of infrared light emitting elements 221a to 228a and infrared light receiving elements 221b to 228b (see FIG. 6), respectively, and detect changes in the distance from the surface of the muscle displacement sensor to the surface of the arm muscle. To do.
- the infrared light emitting elements 221a to 228a are, for example, near infrared LEDs, and the infrared light receiving elements 221b to 228b are, for example, phototransistors.
- the photoreflector detects the intensity of near-infrared reflected light caused by the change in distance with a phototransistor.
- Near-infrared rays have the property of transmitting through the skin surface and are therefore suitable for detecting the state of muscle bulge.
- a resin material (not shown) having adhesiveness is arranged at locations other than the right electrode arrangement location 231, the central electrode arrangement location 232, and the left electrode arrangement location 233 on the electrode arrangement surface 100 a, and the adhesive property of the resin material
- the electrode placement surface 100a can be worn around the forearm.
- FIG. 3A is a diagram showing a state immediately before the electrical stimulation device 100 is mounted on the forearm.
- FIG. 3B is a diagram illustrating a state immediately after the electrical stimulation device 100 is mounted on the forearm.
- the center portion of the electrode arrangement surface 100a (FIG. 2) of the band 101 is in contact with a position near the wrist of the forearm RA of the user's right arm.
- the circuit storage box 103 at the center of the substantially V-shaped band 101 is set to face the palm side.
- the user performs an operation of winding both wings of the band 101 around the wrist as indicated by arrows F1 and F2.
- the electrical stimulation device 100 is worn while being wound around the forearm RA.
- the state of being wound around the forearm RA is maintained by the adhesiveness of the adhesive resin material arranged on the electrode arrangement surface 100a.
- the state of being wrapped around the forearm RA only by the adhesiveness of the resin material is merely an example.
- some kind of clip mechanism may be provided at both ends of the band 101 so that the two remain overlapped.
- the electrical stimulation apparatus 100 can be easily mounted because the band 101 is wound around the forearm RA. Since the band 101 is substantially V-shaped, the user can easily understand the mounting direction, and can be securely mounted in the determined direction as shown in FIG. 3B. Although FIG. 3 shows an example in which the electrical stimulation device 100 is worn on the user's right arm, the electrical stimulation device 100 may be worn on the left arm.
- the electrical stimulation device 100 is wound around a portion of the user's forearm RA near the wrist.
- the forearm RA is not provided with an index that allows the electrical stimulation device 100 to be positioned at the home position of the user's forearm RA. That is, every time the user wears the electrical stimulation device 100 on the forearm RA, the wearing position often deviates slightly. Then, each time the user wears the electrical stimulation device 100 on the forearm, the relative positional relationship between the electrode provided on the electrode placement surface 100a of the electrical stimulation device 100, the muscle displacement sensor, and the muscle of the user's arm is changed. It will shift.
- the present invention has been conceived for the purpose of correctly understanding the correspondence between the electrode and the movement of the finger in response to this “deviation”.
- FIG. 4 is a schematic diagram illustrating an electrical stimulation system 400 having the electrical stimulation device 100, which is an example of a usage pattern of the electrical stimulation device 100.
- the electrical stimulation device 100 has a short-range wireless communication function such as Bluetooth (registered trademark) described later.
- the electrical stimulation device 100 is connected to a personal computer with a short-range wireless communication function equivalent to that of the electrical stimulation device 100 or a peripheral device that provides a short-range wireless communication function. Establish two-way communication with.
- a personal computer that establishes two-way communication with the electrical stimulation apparatus 100 through short-range wireless communication is referred to as a host 401.
- a short-range wireless communication unit 402 is connected to the host 401 and establishes bidirectional communication with the electrical stimulation apparatus 100.
- an application program such as a shooting game is running. Then, in response to the user's operation on the application program, the host 401 transmits a command for applying electrical stimulation to the user's predetermined muscle to the electrical stimulation apparatus 100 through short-range wireless communication.
- the electrical stimulation device 100 applies electrical stimulation to a desired muscle of the user based on the electrical stimulation command received from the host 401. Further, the electrical stimulation device 100 transmits the displacement information of the muscles of the user's arm to the host 401 as digital data by the above-described muscle displacement sensor.
- the driving of the muscle displacement sensor is accompanied by relatively large power consumption, including the light emission driving of the infrared LED. Therefore, the application program of the host 401 is configured to drive the muscle displacement sensor in the electrical stimulation device 100 according to the state of the application program in order to acquire the displacement information of the arm muscles from the electrical stimulation device 100 with the minimum power consumption. Send a command to stop. That is, while executing the application program, the host 401 does not cause the electrical stimulation device 100 to drive the muscle displacement sensor until the application program is in a situation that requires information on the displacement of the user's arm muscles.
- a command for driving the muscle displacement sensor is transmitted from the host 401 to the electrical stimulation device 100 at that time.
- the electrical stimulation device 100 drives the muscle displacement sensor to acquire the displacement information of the arm muscles.
- the host 401 transmits a command to the electrical stimulation apparatus 100 to stop driving the muscle displacement sensor when the acquisition of the displacement information of the arm muscles required by the application program is completed.
- the electrical stimulation device 100 stops driving the muscle displacement sensor.
- the electrical stimulation device 100 functions as an input device that collects displacement information of the user's arm muscles and an output device that applies displacement to the arm muscles to the host 401. It can also be said that the electrical stimulation device 100 is a terminal for the host 401 and / or an application program.
- the electrode arrangement surface 100a of the electrical stimulation device 100 has eight electrodes excluding the ground electrode.
- a human hand has five fingers. This is because the number of electrodes exceeding the number of five fingers is provided in order to absorb individual differences in the thickness of a person's arm with only one electrical stimulation device 100. That is, the eight electrodes include electrodes that do not correspond to finger movements.
- the position of the muscle relative to the electrode may often shift due to the displacement of the wearing position. In order to allow the electrodes to correspond to muscles even if such a shift occurs, it is preferable to provide more electrodes than the number of five fingers.
- the operation mode of the electrical stimulation apparatus 100 in order for the electrical stimulation apparatus 100 to operate correctly, it is necessary to clarify the correspondence relationship between the muscle that moves the actual finger, the electrode, and the muscle displacement sensor by a calibration operation. Therefore, as the operation mode of the electrical stimulation apparatus 100 according to the embodiment of the present invention, the normal mode that operates as a terminal of the application program, and the correspondence between the muscle that moves the actual finger, the electrode, and the muscle displacement sensor are clarified.
- a calibration mode for performing a calibration operation for the purpose In addition, in the block diagram explaining the software function mentioned later, it demonstrates by dividing into normal mode and calibration mode. Of these, the present invention relates to a calibration mode.
- FIG. 5 is a block diagram illustrating a hardware configuration of the host 401.
- the host 401 formed of a general personal computer includes the CPU 501, ROM 502, RAM 503, nonvolatile storage 504, display unit 505, operation unit 506, and short-range wireless communication unit 402 connected to the bus 507.
- the short-range wireless communication unit 402 is hardware for performing short-range wireless communication with the electrical stimulation device 100.
- the nonvolatile storage 504 stores an OS and an application program for operating the personal computer as the host 401 of the electrical stimulation apparatus 100.
- FIG. 6 is a block diagram illustrating a hardware configuration of the electrical stimulation apparatus 100.
- the CPU 602, ROM 603, RAM 604, A / D converter 605, and second serial interface 606 (abbreviated as “second serial I / F” in FIG. 6) connected to the bus 601 are connected to a well-known one-chip microcomputer 607.
- the anodes of the infrared light emitting elements 221a, 222a,... 228a which are infrared LEDs constituting the muscle displacement sensors 221, 222,... 228, are connected to the power supply voltage node + Vcc.
- the cathodes of the infrared light emitting elements 221a, 222a... 228a are connected to one end of a current limiting resistor R609 through a first multiplexer 608. The other end of the current limiting resistor R609 is grounded.
- the collectors of the infrared light receiving elements 221b, 222b,... 228b which are phototransistors constituting the muscle displacement sensors 221, 222,... 228, are connected to the power supply voltage node + Vcc.
- the emitters of the infrared light receiving elements 221b, 222b,... 228b are connected to the A / D converter 605 through the second multiplexer 610 and grounded through the resistors R611a, R611b,.
- the first multiplexer 608 and the second multiplexer 610 receive control signals from the second serial interface 606 and are periodically switched and controlled, so that the A / D converter 605 has eight muscle displacement sensors in time division. Voltage signals 221, 222,... 228 are input.
- the first multiplexer 608 and the second multiplexer 610 can be collectively referred to as a sensor multiplexer that selects one of the plurality of muscle displacement sensors 221, 222,.
- a well-known 6-axis sensor 612 and a short-range wireless communication unit 613 are also connected to the bus 601 of the one-chip microcomputer 607, and posture information and acceleration information output from the 6-axis sensor 612 are obtained through the A / D converter 605. Are transmitted to the host 401 through the short-range wireless communication unit 613 together with the information of the eight muscle displacement sensors 221, 222.
- a first serial interface 614 (abbreviated as “first serial I / F” in FIG. 6) is further connected to the bus 601 of the one-chip microcomputer 607. The first serial interface 614 is used to supply power to a storage battery (not shown) and to update firmware stored in the ROM 603.
- a booster circuit 615 including a known choke coil, a capacitor, and a transistor switch is connected to the second serial interface 606. Then, a rectangular wave pulse signal having a voltage substantially equal to the power supply voltage + Vcc at 100 kHz, for example, is supplied from the second serial interface 606 to the booster circuit 615. This rectangular wave pulse signal controls on / off of a transistor switch (not shown) in the booster circuit 615. The voltage of the rectangular wave pulse signal is boosted twice by the booster circuit 615. The electrical stimulation voltage output from the booster circuit 615 is supplied to the electrodes 201, 202... 208 through the PWM switch 616 and the third multiplexer 617.
- the PWM switch 616 is controlled by the second serial interface 606, and applies PWM modulation to the electrical stimulation voltage boosted by the booster circuit 615. Since the duty ratio of the electrical stimulation voltage is changed by PWM modulation, the electrical stimulation voltage applied to the muscle is changed to a desired voltage.
- the third multiplexer 617 is also controlled through the second serial interface 606, selects an electrode specified in the command received from the host 401 through the short-range wireless communication unit 613, and a PWM-modulated electrical stimulation voltage is applied to the electrode.
- the third multiplexer 617 can also be referred to as an electrode multiplexer that selects one of the plurality of electrodes 201, 202.
- FIG. 7 is a block diagram showing software functions of the electrical stimulation apparatus 100 and the host 401 in the normal mode.
- the electrical stimulation device 100 transmits the user's arm muscle fluctuations, the posture and acceleration of the electrical stimulation device 100 itself to the host 401, and the command received from the host 401.
- An input / output terminal device having a function of applying electrical stimulation to muscles. That is, the analog signals output from the eight muscle displacement sensors 221 to 228 are converted into muscle displacement information by the A / D converter 605, and together with the posture information and acceleration information output from the 6-axis sensor 612, the input / output control unit 701. And transmitted to the host 401 through the short-range wireless transmission unit 702.
- the host 401 When the host 401 receives the muscle displacement information, the posture information, and the acceleration information from the electrical stimulation apparatus 100 through the short-range wireless reception unit 711, the host 401 supplies them to the input / output control unit 712.
- the input / output control unit 712 supplies the muscle displacement information, posture information, and acceleration information received from the electrical stimulation apparatus 100 to the information processing unit 713 that is a predetermined application program such as a game, and the information processing unit 713 outputs the information. Based on the drawing information, predetermined screen drawing information is output to the display unit 505. Further, the input / output control unit 712 transmits the electrical stimulation information output from the information processing unit 713 to the electrical stimulation device 100 through the short-range wireless transmission unit 714.
- the finger electrode correspondence conversion unit 703 of the electrical stimulation apparatus 100 receives the electrical stimulation execution command output from the host 401 through the short-range wireless reception unit 704, the finger electrode correspondence conversion unit 703 refers to the electrode probability matrix 705 stored in the RAM 604. Then, the finger number specified in the command is converted into an electrode number, the PWM switch 616 and the third multiplexer 617 are controlled, and the electrical stimulation voltage is applied to the desired electrodes 201 to 208. Details of the electrode probability matrix 705 will be described later with reference to FIG.
- the input / output control unit 701 for controlling the operation timing of the first multiplexer 608 and the second multiplexer 610 for performing the switching operation of the muscle displacement sensors 221 to 228 and the operation timing of the third multiplexer 617 for performing the electrode switching operation are controlled.
- the finger electrode corresponding conversion unit 703 is completely asynchronous. For this reason, in FIG. 7, the input / output control unit 701 and the finger electrode corresponding conversion unit 703 are illustrated as separate functional blocks.
- FIG. 8 is a block diagram illustrating software functions of the electrical stimulation apparatus 100 and the host 401 in the calibration mode.
- the function of the 6-axis sensor 612 that is unnecessary in the calibration mode is stopped.
- the input / output control unit 712 of the host 401 stores sensor values in the sensor value storage unit 801 provided in the RAM 503 or the non-volatile storage 504, creates an electrode probability matrix 705, and updates it.
- the electrical stimulation device 100 applies electrical stimulation to the selected electrode based on a command transmitted from the host 401, and scans the muscle displacement sensors 221 to 228 in synchronization therewith.
- the input / output control unit 701 of the electrical stimulation device 100 activates the built-in timer 803 after applying electrical stimulation to the electrode based on a command transmitted from the host 401. After a predetermined time elapses, the muscle displacement sensors 221 to 228 are scanned.
- the input / output control unit 712 of the host 401 acquires the calculation result of the probability calculation unit 802 based on the information of the muscle displacement sensors 221 to 228 received from the electrical stimulation device 100, creates the electrode probability matrix 705, Or update. Then, the electrode probability matrix 705 that has been created or updated is transmitted to the electrical stimulation device 100 through the short-range wireless transmission unit 714. Further, the input / output control unit 712 of the host 401 displays the progress of the calibration mode and the like on the display unit 505 with a predetermined message or the like during the operation of the calibration mode.
- the electrode probability matrix 705 is matrix data indicating the correspondence between the movement of the electrode and the finger corresponding to the muscle that moves the user's finger.
- FIG. 17 shows a generalized example of the electrode probability matrix 705.
- the vertical (row) of the electrode probability matrix 705 represents the electrode, and the horizontal (column) represents the movement of the finger.
- Each element stores a Bayesian posterior probability based on Bayesian estimation.
- the finger electrode corresponding conversion unit 703 of the electrical stimulation apparatus 100 refers to the electrode probability matrix 705 according to the finger information designated from the host 401. That is, the electrode probability matrix 705 designated by the host 401 corresponding to the finger information is viewed. Then, the probabilities for each electrode are stored in the elements constituting the row. Among these elements, the electrode corresponding to the element showing the highest probability is the electrode most likely to move the finger. As described above, the finger electrode correspondence conversion unit 703 converts the finger specified by the host 401 into an electrode number, and controls the third multiplexer 617 using this information.
- the electrode arrangement surface 100a of the electrical stimulation device 100 is provided with eight electrodes excluding the ground electrode and eight muscle displacement sensors.
- the reason for providing eight electrodes and eight muscle displacement sensors for five fingers is to absorb individual differences in the thickness of a person's arm with only one electrical stimulation device 100. Because. Then, an electrode that does not correspond to the movement of the finger is generated in the electrode. That is, in order for the electrical stimulation apparatus 100 to operate correctly, it is necessary to clarify the correspondence between the actual finger movement and the electrode by calibration work.
- FIG. 9 is a time chart showing the flow of the calibration operation executed by the electrical stimulation device 100 and the host 401 in the calibration mode.
- the muscle displacement sensor detects that the user's skin is close to the detection region of the muscle displacement sensor.
- the input / output control unit 701 of the electrical stimulation device 100 detects that the electrical stimulation device 100 is worn on the user's arm (S901)
- the host 401 is requested to establish communication through the short-range wireless communication unit 613. (S902).
- the host 401 receives a communication request from the electrical stimulation device 100 and returns a status message indicating the establishment of communication (S903).
- the electrical stimulation device 100 receives the status message from the host 401, and returns a status message indicating that the establishment of communication is recognized to the host 401 (S904).
- the input / output control unit 712 of the host 401 When the input / output control unit 712 of the host 401 receives a status message indicating that the establishment of communication has been recognized from the electrical stimulation apparatus 100 through the short-range wireless reception unit 704, the input / output control unit 712 starts the calibration process of the muscle displacement sensor. First, the moving image data “stationary state guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulation apparatus 100 (S905). “Stand-by state guidance video” is video data that displays an illustration of a hand with no power applied with the electrostimulator 100 attached to the upper arm and a message “Please wait with no force applied to the hand” It is.
- the electrical stimulation device 100 When receiving the command from the host 401, the electrical stimulation device 100 returns data of all muscle displacement sensors to the host 401 (S906).
- the value of the muscle displacement sensor at this time is the value of the muscle displacement sensor in a state where the user is not putting force on the finger, and is a value serving as a basis for detecting whether or not force is applied to the muscle.
- the host 401 When the host 401 receives the data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores the data as “stationary state data” (S907). Next, the moving image data “first operation guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. Then, a command for collecting the data of the muscle displacement sensor is transmitted to the electrical stimulation device 100 (S908). “First motion guide video” refers to an illustration of a hand with the electric stimulator 100 attached to the upper arm with the thumb bent and a message saying “Please wait with the thumb bent” It is data.
- the electrical stimulation apparatus 100 When receiving the command from the host 401, the electrical stimulation apparatus 100 returns data of all muscle displacement sensors to the host 401 (S909). The value of the muscle displacement sensor at this time is the value of the muscle displacement sensor when the user puts force on the thumb.
- the host 401 When the host 401 receives the data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores it as “first motion state data” (S910). Next, the moving image data “second operation guidance video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulation apparatus 100 (S911).
- the “second motion guide video” is a video that displays an illustration of a hand with the electrical stimulation device 100 attached to the upper arm, with the index finger bent, and a message “Please wait with the index finger bent” It is data.
- step S911 operations corresponding to steps S908, S909, and S910 are performed a total of eight times from step S908.
- moving image data reproduced by the host 401 and data received by the host 401 from the electrical stimulation device 100 and stored in the sensor value storage unit 801 are as follows. “First motion guidance video”: motion guidance with the thumb bent, and first motion status data are stored. “Second motion guidance video”: Stores motion guidance with the index finger bent and second motion status data. “Third motion guide video”: Stores motion guide with the middle finger bent and third motion state data. “Fourth operation guide video”: Stores the operation guide and fourth operation state data when the ring finger or little finger is bent.
- “Fifth motion guidance video” Stores motion guidance and fifth motion state data in a state where the wrist is bent straight toward the palm with the hand straightened (palm flexion). “Sixth motion guidance video”: Stores motion guidance and sixth motion state data in a state where the wrist is bent straight toward the back of the hand (dorsiflexion) with the hand straightened. “Seventh motion guide video”: Stores motion guide and seventh motion state data in a state where the wrist is bent in the direction of the thumb with the hand extended straight (flexion). “Eighth motion guidance video”: Stores motion guidance and eighth motion state data in a state where the wrist is bent in the direction of the little finger with the hand stretched straight (scaled).
- the host 401 Upon receiving the data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores this as “seventh motion state data” (S912). Next, the moving image data “eighth operation guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulator 100 (S913).
- the “eighth motion guide video” is an illustration of a hand with the electrostimulator 100 attached to the upper arm, with the hand stretched straight and the wrist bent in the direction of the little finger (scaled), Is a moving image data that displays a message “Please wait with your wrist straightened and your wrist bent in the direction of the little finger”.
- the electrical stimulation device 100 When receiving the command from the host 401, the electrical stimulation device 100 returns data of all muscle displacement sensors to the host 401 (S914).
- the value of the muscle displacement sensor at this time is the value of the muscle displacement sensor in a crooked state in which the user bends the wrist in the direction of the little finger.
- the host 401 receives the data of the muscle displacement sensor from the electrical stimulation device 100, the host 401 stores it as “eighth motion state data” (S915). As described above, from step S905 to step S915, the host 401 has grasped the correspondence between the change in the value of the muscle displacement sensor and the movement of the finger.
- step S915 the input / output control unit 712 of the host 401 calculates the relative value of each muscle displacement sensor. Specifically, the stationary state data is subtracted from the first operating state data to obtain a first reference value relating to a state where the thumb is bent. The stationary state data is subtracted from the second operation state data to obtain a second reference value relating to the state where the index finger is bent. In the same manner, the third reference value relating to the bent middle finger, the fourth reference value relating to the bent or little finger bent, the fifth reference value relating to the palm flexion state, and the sixth reference value relating to the dorsiflexion state. , The seventh reference value relating to the bent state, and the eighth reference value relating to the bent state.
- first to eighth reference values are a set of relative values of the eight muscle displacement sensors.
- the input / output control unit 712 of the host 401 stores these first to eighth reference values in the sensor value storage unit 801.
- the input / output control unit 712 of the host 401 multiplies the first to eighth reference values by a predetermined ratio to obtain a threshold value.
- the ratio of multiplying the first to eighth reference values is, for example, 50%.
- the input / output control unit 712 of the host 401 also stores these threshold values in the sensor value storage unit 801.
- the intensity of reflected light detected by the phototransistor of the muscle displacement sensor depends on factors such as the condition of the user's skin and muscle relative to the muscle displacement sensor and the relative positional relationship between the muscle displacement sensor and the user's skin. It varies greatly depending on the element. Therefore, the input / output control unit 712 of the host 401 stores the values of the muscle displacement sensors in the state in which the user hardly applies force to the finger and the state in which the user has bent a specific finger, as the sensor value storage unit 801. And the difference is calculated. Since the obtained reference value is a relative variation value of the muscle displacement sensor, the influence of uncertain factors can be eliminated.
- An A / D converter 605 that digitizes an analog signal output from the muscle displacement sensor is, for example, a 10-bit unsigned integer (0 to 1023).
- the relative fluctuation value obtained from the muscle displacement sensor that detected the displacement of the muscle was about 300 to 900.
- step S916 which will be described later, all the data of the muscle displacement sensor received by the host 401 from the electrical stimulation device 100 is converted into a relative value of the muscle displacement sensor by subtracting the stationary state data. Then, the input / output device compares the relative value of the muscle displacement sensor with a threshold value and determines whether or not a predetermined finger has moved.
- step S915 the host 401, which has grasped the correspondence between the change in the value of the muscle displacement sensor and the finger movement, next enters an operation for grasping the correspondence between the electrode and the finger movement.
- the input / output control unit 712 of the host 401 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the first electrode to the electrical stimulation device 100 (S916).
- the electrical stimulation device 100 receives a command from the host 401, it applies an electrical stimulation voltage to the first electrode (S917), collects data of the muscle displacement sensor after a predetermined time has elapsed, and sends this back to the host 401 ( S918).
- the input / output control unit 712 of the host 401 When receiving the muscle displacement sensor data from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores the data in the sensor value storage unit 801 as sensor value data for the first electrode (S919). Next, the input / output control unit 712 of the host 401 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the second electrode to the electrical stimulation device 100 (S920).
- step S920 operations corresponding to steps S916, S917, S918, and S919 are performed a total of eight times from step S916.
- the command that the host 401 transmits to the electrical stimulation device 100 and the data that the host 401 receives from the electrical stimulation device 100 and stores in the sensor value storage unit 801 are as follows.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the first electrode Store sensor value data at the first electrode.
- Command to collect muscle displacement sensor data after applying electrical stimulation voltage to the second electrode store sensor value data at the second electrode.
- Command to collect muscle displacement sensor data after applying electrical stimulation voltage to the third electrode Store sensor value data at the third electrode.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the fourth electrode Store sensor value data at the fourth electrode.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the fifth electrode Store sensor value data at the fifth electrode.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the sixth electrode Store sensor value data at the sixth electrode.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the seventh electrode Store sensor value data at the seventh electrode.
- Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the eighth electrode Store sensor value data at the eighth electrode.
- the input / output control unit 712 of the host 401 When receiving the muscle displacement sensor data from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores the data in the sensor value storage unit 801 as sensor value data for the seventh electrode (S921). Next, the input / output control unit 712 of the host 401 transmits a command for collecting data of the muscle displacement sensor after applying the electrical stimulation voltage to the eighth electrode to the electrical stimulation device 100 (S922). When the electrical stimulation device 100 receives a command from the host 401, it applies an electrical stimulation voltage to the eighth electrode (S923), collects the data of the muscle displacement sensor after a predetermined time has elapsed, and sends this back to the host 401 ( S924).
- the input / output control unit 712 of the host 401 When receiving the data of the muscle displacement sensor from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores this in the sensor value storage unit 801 as sensor value data for the eighth electrode (S925). Next, the input / output control unit 712 of the host 401 stores the first to eighth operation state data corresponding to the movement of each finger and the steps S916 to S925 stored in the series of operations from step S905 to S915. The sensor value data at each electrode stored or generated in a series of operations is generated or updated. If the electrode probability matrix 705 exists in the host 401 as a result of the execution of the first learning mode (described later in FIG. 10 and subsequent figures), the electrode probability matrix 705 is also updated through the probability calculation unit 802. Do.
- the input / output control unit 712 of the host 401 transmits the generated or updated electrode probability matrix 705 to the electrical stimulation device 100 (S926). Then, the electrical stimulation apparatus 100 stores the electrode probability matrix 705 received from the host 401 in the RAM 503 (S927), and ends a series of processing.
- Steps S905 to S915 in FIG. 9 are muscle displacement sensor calibration modes for clarifying the correlation between the muscle displacement sensor and the movement of the finger.
- the input / output control unit 712 of the host 401 executes the muscle displacement sensor calibration mode, it becomes clear from the data obtained from the muscle displacement sensors 221 to 228 which finger is currently moving.
- steps S916 to S927 surrounded by a broken line in FIG. 9 are learning modes in which the correlation between the electrode and the finger movement is clarified by creating and updating the electrode probability matrix 705. .
- the input / output control unit 712 of the host 401 executes the learning mode, it becomes clear to which electrode of the electrodes 201 to 208 the electrical stimulation voltage should be applied in order to move a desired finger. That is, the calibration mode includes a muscle displacement sensor calibration mode and a learning mode.
- the learning mode will be described with reference to FIG.
- FIG. 10 is a flowchart showing the flow of the operation in the first learning mode executed by the host 401 when the user first wears the electrical stimulation device 100.
- the input / output control unit 712 of the host 401 first initializes the counter variable i to 1 and initializes all elements of the electrode probability matrix 705 to “0” (S1002).
- the subsequent processing is a loop.
- the input / output control unit 712 of the host 401 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the i-th electrode to the electrical stimulation device 100 (S1003).
- a difference value is calculated from the data of the muscle displacement sensor received from the electrical stimulation device 100, and compared with a threshold value, it is checked whether or not there has been a finger movement (S1004). If it is determined that any finger has moved due to the electrical stimulation by the i-th electrode (YES in S1005), the input / output control unit 712 of the host 401 causes the x-th detected motion in the electrode probability matrix 705. “1” is stored in the element of the i-th column corresponding to the i-th electrode in the x-row corresponding to the finger (S1006).
- step S1006 After executing step S1006 or when it is determined in step S1005 that none of the fingers is moved by electrical stimulation by the i-th electrode (NO in S1005), the input / output control unit 712 of the host 401 sets the counter variable i to It is confirmed whether or not the maximum value of i, that is, the total number of electrodes has been reached. If the counter variable i has not reached the total number of electrodes (NO in S1007), the input / output control unit 712 of the host 401 increments the counter variable i by 1 (S1008) and repeats the processing from step S1003 again.
- step S1007 when the counter variable i reaches the total number of electrodes (YES in S1007), the input / output control unit 712 of the host 401 stores the created electrode probability matrix 705 in the nonvolatile storage 504, and at the same time, The data is transmitted to the stimulation device 100 (S1009), and the series of processing is terminated (S1010).
- FIG. 11 is a time chart for explaining the electrical stimulation, the contraction state of the muscle, and the operation of the muscle displacement sensor.
- A an electrical stimulus applied to the electrode from above
- B a muscle contraction state
- C a gate signal in the input / output control unit 712 indicating the operation period of the muscle displacement sensor
- D (E) operation period of the second muscle displacement sensor
- F operation period of the third muscle displacement sensor
- G operation period of the seventh muscle displacement sensor
- H The operation period of the eighth muscle displacement sensor.
- the vertical axis represents the amount of displacement of muscle contraction only in the contraction state of muscle, and all other values are logical values.
- the muscle begins to contract.
- the gate signal indicates logic true, and in response, the scan of the muscle displacement sensor starts.
- the time required for data collection of one muscle displacement sensor is about several msec to several tens msec.
- the logic of the gate signal is inverted to false, and at the same time, the application of the electrical stimulation voltage to the electrodes is also completed.
- the operation of applying the electrical stimulation voltage to the electrodes and scanning the muscle displacement sensors 221 to 228 shown in FIG. 11 is executed for all eight electrodes.
- a margin time of 0.2 seconds is provided in anticipation of the margin. The margin time is from time T1101 when the electrical stimulation voltage shown in FIG. 11 is applied to time T1102 when the muscle contraction is stabilized.
- FIG. 12A is an explanatory diagram of a matrix showing the movement of fingers with respect to electrical stimulation.
- this matrix is referred to as a finger behavior matrix.
- FIG. 12B is a diagram illustrating a procedure for selecting an effective electrical stimulus from the finger behavior matrix.
- FIG. 12C is an explanatory diagram of a matrix showing a result of selecting an effective electrical stimulus from the finger behavior matrix. This matrix is called a flag matrix.
- FIG. 12D is a diagram showing an electrode probability matrix 705 generated from the flag matrix.
- step S1004 the input / output control unit 712 calculates a difference value of the muscle displacement sensor. Then, a difference value of the muscle displacement sensor corresponding to the movement of the finger is derived. When there is only one muscle displacement sensor corresponding to a certain finger movement, the difference value is adopted as it is. In the case of a combination of two or more muscle displacement sensors corresponding to a certain finger movement, the average value of the difference values of each muscle displacement sensor is adopted. In this way, numerical values as shown in FIG. 12A are stored as elements of the finger behavior matrix.
- the row of the finger behavior matrix shown in FIGS. 12A and 12B, the row of the flag matrix shown in FIG. 12C, and the row of the electrode probability matrix 705 shown in FIG. 12D are as follows from the top.
- First line The thumb is bent, that is, the thumb is bent.
- Second line the index finger is bent, that is, the index finger is bent.
- Third line the middle finger is bent, that is, the middle finger is bent.
- Fourth line A state where the ring finger or the little finger is bent, that is, a ring finger or a little finger is bent.
- 5th line A state where the wrist is bent in the direction of the palm with the hand stretched straight (palm flexion), that is, a wrist palm flexion state.
- 6th line A state in which the wrist is bent in the direction of the back of the hand (dorsiflexion) in a state where the hand is straightened out, that is, a wrist dorsiflexion state.
- Seventh line a state where the wrist is bent in the direction of the thumb with the hand straightened (flexion), that is, the wrist is flexed.
- Eighth line A state where the wrist is bent in the direction of the little finger with the hand straightened out (scale bending), that is, the wrist is bent.
- the column of the finger behavior matrix shown in FIGS. 12A and 12B, the column of the flag matrix shown in FIG. 12C, and the column of the electrode probability matrix 705 shown in FIG. 12D are from the first electrical stimulus to the eighth electrical stimulus. It is.
- the procedure for determining whether or not the finger has moved in step S1004 of FIG. 10 will be described. Focusing on the elements from the 1st row and the 1st column to the 8th row and 1st column of the finger behavior matrix shown in FIG. 12B, it is composed of elements “595 115 92 0 0 0 0 0” in order from the top. Among the elements in this row, the element indicating the maximum value is “595” in one row and one column. This value is stored in the maximum value array 1201.
- the maximum value array 1201 is an array that stores the maximum value of each column.
- the position of the element “595” is (1, 1) of the finger behavior matrix, and the row (one row) corresponds to the thumb flexion state.
- this value “595” exceeds the thumb flexion state threshold.
- the threshold value since it is determined that the threshold value is exceeded, it is assumed that the element in the 1st row and 1st column of the finger behavior matrix is valid, and the logical truth is stored in the flag array 1202. In FIG. 12B, it is marked with “ ⁇ ”. In this way, the maximum value is selected for each row of the finger behavior matrix and stored in the maximum value array 1201. And it compares with the threshold value in the operation
- the electrode probability matrix 705 is a matrix indicating which hand moves with a certain probability when an electrical stimulation voltage is applied to a certain electrode.
- the probability stored as an element of the electrode probability matrix 705 is a posterior probability such as Bayesian estimation. That is, the creation of the electrode probability matrix 705 in the flowchart of FIG. 10 is the first learning of Bayesian estimation. At the time when the flowchart of FIG. 10 is executed, since it is still the first learning, only 0 or 1 exists. These values fluctuate in the second and subsequent learning modes described below.
- FIG. 13 and FIG. 14 are flowcharts showing the flow of operations in the second and subsequent learning modes that are executed by the host 401 when the user wears the electrical stimulation device 100 for the second and subsequent times.
- the input / output control unit 712 of the host 401 first initializes the counter variable j to 1 and initializes the flag variable MFflag to logic false (S1302).
- the flag variable MFflag is a flag for recording that a state in which a finger has moved due to electrical stimulation has occurred.
- the subsequent processing is a loop.
- the input / output control unit 712 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the jth electrode to the electrical stimulation device 100 (S1303). Then, a difference value is calculated from the data of the muscle displacement sensor received from the electrical stimulation device 100, and compared with a threshold value, it is checked whether or not there has been a finger movement (S1304). Steps S1303 and S1304 have the same processing contents as steps S1003 and S1004 of FIG.
- the input / output control unit 712 determines whether or not the flag variable MFflag is logic false, that is, Confirm whether or not the finger has moved for the first time at this point. If it is determined that the finger has moved for the first time at this time (YES in S1306), the electrode probability matrix 705 stored in the nonvolatile storage 504 of the host 401 is read into the RAM 503, and the electrode probability matrix 705 on the RAM 503 is read. Are moved for each row and / or for each column (S1307). In this way, by moving the elements of the electrode probability matrix 705, the relative positional relationship between the electrodes and the muscles of the electrical stimulation device 100 currently worn on the user's arm is reflected in the electrode probability matrix 705. .
- the input / output control unit 712 operates the probability calculation unit 802 to perform a Bayesian posterior probability that the finger has not moved for the elements of the electrode probability matrix 705 corresponding to the first to j ⁇ 1th electrodes. “P (x
- FIG. 15A is a schematic diagram for explaining an arrangement relationship between arm muscles and electrodes when the user first wears the electrical stimulation apparatus 100 on the arm.
- FIG. 15B is a schematic diagram for explaining an arrangement relationship between arm muscles and electrodes when the user puts the electrical stimulation apparatus 100 on the arm again.
- the electrode 1501 is away from the muscle 1502.
- An electrode 1503 is close to the muscle 1502.
- An electrode 1505 is close to the muscle 1504.
- the electrode 1506 is a ground electrode commonly used by the electrode 1501, the electrode 1503, and the electrode 1505.
- FIG. 15B Comparing FIG. 15A and FIG. 15B, in FIG. 15B, the relative positional relationship between the user's arm and the electrode arrangement surface 100a of the electrical stimulation device 100 is shifted. For this reason, the electrode 1501 is close to the muscle 1502, and the electrode 1503 is close to the muscle 1504. The electrode 1505 is away from the muscle 1504. As described above, when the relative positional relationship between the user's arm and the electrode arrangement surface 100a of the electrical stimulation device 100 is shifted, the arrangement of the electrodes relative to the muscle also changes. This phenomenon appears as a shift of the elements of the finger behavior matrix and the flag matrix created based on this. For this reason, it is necessary to match the elements of the electrode probability matrix 705 previously stored in the nonvolatile storage 504 with the detected finger behavior matrix.
- FIG. 16A is an example of a finger behavior matrix created by the second and subsequent learning modes.
- FIG. 16B is a virtual electrode probability matrix 705 created based on the finger behavior matrix of FIG. 16A.
- FIG. 16C is the electrode probability matrix 705 of FIG. 12D.
- FIG. 16D is a matrix in which the electrode probability matrix 705 of FIG. 16C is rearranged.
- the electrode probability matrix 705 in FIG. 16C is matrix data created in the first learning mode as described in FIG. 12D.
- the virtual electrode probability matrix 705 shown in FIG. 16B is matrix data created by the second learning mode.
- the electrode probability matrix 705 is matrix data representing the correlation between the electrode and the movement of the finger as a probability.
- the probability applies the Bayesian posterior probability by Bayesian estimation.
- the difference between the relative positional relationship between the user's arm and the electrical stimulation device 100 at the time of previous use and the current relative positional relationship between the user's arm and the electrical stimulation device 100 is If it appears in the electrode probability matrix 705, the accuracy of learning will be significantly reduced. Therefore, the input / output control unit 712 of the host 401 matches the electrode probability matrix 705 read from the non-volatile storage 504 and held in the RAM 503 with a matrix according to the relative positional relationship between the current user's arm and the electrical stimulation device 100. Swap elements of.
- the column of the electrode probability matrix 705 in FIG. 16C is set to 1 in the right direction so that the position (1, 1) of the element P1603 is the same position as the position (1, 2) of the element P1601 in FIG. Shift columns. Then, the element group A 1604 in FIG. 16C is arranged at the same position as the element group A 1602 in FIG. 16B, and the element group A 1605 in FIG. 16C is ejected with the movement of the element group A 1604 and left. Arranged in one row. This is the electrode probability matrix 705 of FIG. 16D. Note that the process of step S1308 is a process of updating the element group A 1605 in FIG. 16D.
- step S1307 in FIG. 13 for the sake of simplicity, the process of searching for an element indicating an effective electrical stimulation that exists in the upper left of the electrode probability matrix 705 is performed by applying the electrical stimulation voltage sequentially to the electrodes.
- the electrode probability matrix 705 is constructed on the premise that the movement of the finger with the smallest number occurs. However, since this is convenient, an electrical stimulation voltage is sequentially applied to the electrodes, and elements of the electrode probability matrix 705 corresponding to the first detected finger movement may be referred to.
- any electrode causes a bent state of the thumb in the relative positional relationship between the current user's arm and the electrical stimulation device 100. I'm not letting you. That is, the arrangement of the electrodes fails to flex the thumb. In such a case, the element in the same row of the electrode probability matrix 705 corresponding to the finger that has moved for the first time is referred to. That is, the first line indicating the thumb bending state of the electrode probability matrix 705 is ignored.
- the electrode probability matrix 705 is rearranged only in column units, and is not rearranged in row units.
- step S1309 or when the flag variable MFflag is logically true in step S1306 (NO in S1306), the process proceeds to FIG.
- the input / output control unit 712 operates the probability calculation unit 802 to indicate that the finger has moved with respect to the element in which the finger has moved with respect to the element of the electrode probability matrix 705 corresponding to the j-th electrode.
- j)” is calculated.
- j)” indicating that the finger has not moved is calculated, and the corresponding element in the electrode probability matrix 705 is updated (S1410).
- the input / output control unit 712 confirms whether or not the counter variable j has reached the maximum value of j, that is, the total number of electrodes. If the counter variable j has not reached the total number of electrodes (NO in S1411), the input / output control unit 712 increments the counter variable j by 1 (S1412) and repeats the processing from step S1303 again. If the counter variable j reaches the total number of electrodes in step S1411 (YES in S1411), the input / output control unit 712 stores the created electrode probability matrix 705 in the non-volatile storage 504 and sends it to the electrical stimulation apparatus 100. Transmit (S1413), and the series of processing ends (S1414).
- step S1305 if no finger is moving in step S1305 (NO in S1305), then the input / output control unit 712 determines whether or not the flag variable MFflag is logically false, that is, at this time. It is confirmed whether or not the finger has not moved yet (S1415). If the finger has not moved yet (YES in S1415), the counter variable j is checked in step S1411 without doing anything. In step S1415, if the flag variable MFflag is logically true, that is, if the finger has already moved at this time (NO in S1415), the input / output control unit 712 sets the probability calculation unit 802.
- j)” indicating that the finger has not moved is calculated for all elements of the electrode probability matrix 705 corresponding to the j-th electrode, and the corresponding of the electrode probability matrix 705
- the element to be updated is updated (S1416).
- the counter variable j is checked.
- the determination in step S1415 is a process for determining whether or not the electrode probability matrix 705 has been rearranged in step S1307. If the electrode probability matrix 705 indicating the relative positional relationship between the user's arm and the electrical stimulation device 100 at the time of previous use is not matched with the relative positional relationship between the current user's arm and the electrical stimulation device 100, the electrode Learning based on Bayesian estimation cannot be correctly performed on the probability matrix 705. Accordingly, the Bayesian estimation calculation is not performed until the process of Step S1307 is completed (YES in S1415), but after the process of Step S1307 is completed, the Bayesian estimation calculation is performed (NO from S1308, S1410, and S1415 to S1416). ).
- the electrical stimulation device 100 is configured by eight muscle displacement sensors and eight electrodes, but the number of muscle displacement sensors and electrodes is not necessarily eight. Rather, the greater the number of muscle displacement sensors and electrodes, the more precisely the detection of muscle contraction and the control of muscle contraction can be performed.
- FIG. 17 is a diagram illustrating an example of a generalized electrode probability matrix 705.
- the electrical stimulation device 100 is repeatedly attached to and detached from the user's arm each time. That is, every time the electrical stimulation apparatus 100 is attached to or detached from the user's arm, the learning mode is executed. When the learning mode is repeatedly executed, as a result, a correlation between a certain electrode and a finger movement is determined.
- Each element of the electrode probability matrix 705 stores a Bayesian posterior probability “P (x
- the embodiment of the present invention described above can be applied as follows. (1) It is assumed that one electrical stimulator 100 is introduced into the family. Dad, mom, and child have different arm thicknesses. Therefore, when one electrical stimulation apparatus 100 is shared by a plurality of users, it is preferable to provide a user authentication function in the host 401 and associate the electrode probability matrix 705 with a user ID.
- the user authentication may be any means having a function for uniquely identifying a user.
- biometric authentication such as fingerprints, veins, and irises can be used.
- a biometric unit using fingerprints or veins is convenient to use when stored in the circuit storage box 103 of the electrical stimulation device 100.
- this user authentication function is integrated with the user authentication function of the information processing unit 713, which is an application program
- the user authentication of the electrical stimulation device 100 and the user authentication of the application program can be unified, so that the usability is further improved. You can expect to improve.
- the user ID is associated with the user data of the information processing unit 713 and the electrode probability matrix 705 of the electrical stimulation device 100. That is, a user authentication function is included in the device driver program of the electrical stimulation apparatus 100 installed in the host 401, and the application program uses the user authentication function of the device driver program. Centralized user authentication can be realized.
- step S1307 in FIG. 13 is indispensable also at that time.
- Bayesian estimation is adopted as the learning algorithm, but the learning algorithm is not limited to this.
- other supervised learning algorithms such as support vector machines may be used.
- the electrical stimulation device 100 and the electrical stimulation system 400 have been disclosed.
- the host 401 creates an electrode probability matrix 705 in which a Bayesian posterior probability indicating which finger movement corresponds to the electrode is described as an element.
- the element in which the finger movement existing at the upper left of the electrode probability matrix 705 has occurred are rearranged, and the columns of the electrode probability matrix 705 are rearranged as necessary.
- the electrical stimulation device 100 and the host 401 By configuring the electrical stimulation device 100 and the host 401 in this way, the correspondence between the movement of the finger and the electrode is clarified in a short time regardless of the state worn on the user's arm, and there is very little malfunction and high accuracy. Thus, the electrical stimulation device 100 and the electrical stimulation system 400 that can drive the target finger can be realized.
- Each of the above-described configurations, functions, processing units, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software for interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files that realize each function must be held in a volatile or non-volatile storage such as a memory, hard disk, or SSD (Solid State Drive), or a recording medium such as an IC card or an optical disk. Can do.
- the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
- DESCRIPTION OF SYMBOLS 100 Electrical stimulation apparatus, 101 ... Band, 102 ... Left side part, 103 ... Circuit storage box, 104 ... First serial interface terminal, 150 ... Arithmetic processing part, 201, 202, 203, 204, 205, 206, 207, 208 211, 212, 213, 216 ... electrodes, 217 ... electrodes, 221, 223, 227 ... muscle displacement sensors, 231 ... right electrode placement locations, 232 ... central electrode placement locations, 233 ... left electrode placement locations, 400 ... electrical stimulation System 401 ... Host 402 ... Near Field Communication Unit 501 ... CPU 502 ... ROM 503 ... RAM 504 ... Non-volatile Storage 505 ...
- Display Unit 506 ... Operation Unit 507 ... Bus 601 ... Bus 602... CPU, 603... ROM, 604... RAM, 605... A / D converter, 606. Al interface, 607 ... One-chip microcomputer, 608 ... First multiplexer, 610 ... Second multiplexer, 612 ... Six-axis sensor, 613 ... Short-range wireless communication unit, 614 ... First serial interface, 615 ... Booster circuit, 616 ... PWM Switch 617... Third multiplexer 701 Input / output control unit 702 Short range wireless transmission unit 703 Finger electrode corresponding conversion unit 704 Short range wireless reception unit 705 Electrode probability matrix 711 Short range wireless Reception unit, 712 ... Input / output control unit, 713 ... Information processing unit, 714 ... Short-range wireless transmission unit, 801 ... Sensor value storage unit, 802 ... Probability calculation unit, 803 ... Timer, 1201 ... Maximum value array, 1202 ... Flag Array
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
ユーザーの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置と、これを用いる電気刺激システムを提供する。 電極がどの手指の動きに該当するのかを示すベイズ事後確率が要素として記述された電極確率行列をホストで更新する際、電極確率行列の左上に存在する手指の動きが生じた要素の位置を比較して、必要ならば電極確率行列の列を並べ替える。
Description
本発明は、電気刺激信号を人の腕の筋肉に与えると共に、腕の筋肉の変位をセンサーで検出する電気刺激装置と、これと情報処理装置とを組み合わせた電気刺激システムに関する。
従来、人(ユーザー)の前腕に複数の電極を装着し、その電極から前腕の筋肉に電気刺激信号を与えることで、外部からの指令で、ユーザーの指又は手を動かそうとする試みが行われている。たとえば、手指のリハビリテーション、トレーニング、動きの補助などを、外部からの指令で行うことが考えられている。また、ヘッドマウントディスプレイなどを使用して、ユーザーに仮想空間の映像を提示する仮想現実処理(Virtual Reality)や、現実の空間映像に仮想的なオブジェクト画像を重畳する拡張現実処理(Argumented Reality)を実行する際に、外部からの指令で、仮想空間等の映像に合わせて手指を動かすことで、リアリティ性を高めることなども提案されている。
本願の発明者らは、先に特許文献1に記載されるような電気刺激装置を提案した。この特許文献1で提案した電気刺激装置は、ユーザーの前腕に装着されるバンドに複数の電極を取り付けて、前腕の筋肉に電気刺激を与える装置である。
特許文献1で提案した電気刺激装置を装着したユーザーは、外部からの指令により前腕の筋肉に電気刺激が与えられることで、指又は手が動くようになる。たとえば5本の指は、前腕のどの筋肉を刺激すれば動くかが予め判っており、電気刺激装置に取り付けられた電極によって、特定の筋肉を刺激することで、その筋肉に対応した指が動く。
ここで、ユーザーがバンド形状の電気刺激装置を前腕に装着した状況を想定する。このとき、バンド形状の電気刺激装置は複数の電極を備えるが、それぞれの電極がどの筋肉に対応しているのかを検知する必要がある。この検知を行うために、ユーザーがバンド形状の電気刺激装置を装着した際には、最初に較正作業を行って、電気刺激信号を各電極から出力させ、どの指が動くのかを予め確かめることが必要になる。
つまり、バンド形状の電気刺激装置をユーザーが装着した際に、電気刺激装置に配置された各々の電極がどの筋肉に対向しているのかを、電気刺激装置が予め正確に把握する必要がある。このため、較正作業は極めて重要な意味を持つ。
つまり、バンド形状の電気刺激装置をユーザーが装着した際に、電気刺激装置に配置された各々の電極がどの筋肉に対向しているのかを、電気刺激装置が予め正確に把握する必要がある。このため、較正作業は極めて重要な意味を持つ。
一方、人の腕の太さは、年齢、性別、体重などの個人差で大きく異なる。このため、一つの電気刺激装置だけで腕の太さにおける個人差を吸収するには、5本の指の数を超える数だけ、電極とセンサーを設ける必要がある。すると、電極の中には指の動きに対応しない電極が生じることとなる。すなわち、電気刺激装置を正しく動作させるためには、実際の指を動かす筋肉と、電極の対応関係を較正作業によって予め明らかにする必要がある。
本発明は係る課題に鑑みてなされたものであり、ユーザーの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置と、これを用いる電気刺激システムを提供することを目的とする。
上記課題を解決するために、本発明の電気刺激装置は、ユーザーの腕に巻き付けられるバンドと、バンドの一方の面に配置されている複数の電極と、複数の電極から一の電極を選択するマルチプレクサと、ホストから手指を動かす命令を受信する近距離無線受信部と、手指の動きと複数の電極との対応関係が確率で記述されている電極確率行列と、手指を動かす命令に基づき、電極確率行列から最大の確率を示す電極を特定して、マルチプレクサを制御して特定した電極を選択する指電極対応変換部とを具備する。
本発明により、ユーザーの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置と、これを用いる電気刺激システムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図1は、本発明の実施形態の例である電気刺激装置100の外観斜視図である。
電気刺激装置100はV字形状のバンド101を備える。このバンド101はシリコーンゴム等の柔軟性を有する樹脂シートで構成されている。バンド101の両翼部分は、水平線L105から等しい傾斜角度θ1及びθ2だけ傾斜した形状である。傾斜角度θ1及びθ2は例えば32°である。バンド101の表面側の中心部分には長方形形状の回路収納ボックス103が設けられている。回路収納ボックス103には、後述する演算処理部150(図4参照)や二次電池などが内蔵されている。
電気刺激装置100はV字形状のバンド101を備える。このバンド101はシリコーンゴム等の柔軟性を有する樹脂シートで構成されている。バンド101の両翼部分は、水平線L105から等しい傾斜角度θ1及びθ2だけ傾斜した形状である。傾斜角度θ1及びθ2は例えば32°である。バンド101の表面側の中心部分には長方形形状の回路収納ボックス103が設けられている。回路収納ボックス103には、後述する演算処理部150(図4参照)や二次電池などが内蔵されている。
回路収納ボックス103の、一方の短辺側の側面には、第一シリアルインターフェース端子104が設けられている。第一シリアルインターフェース端子104は例えばmicroUSBの端子である。電気刺激装置100はこの第一シリアルインターフェース端子104を通じて、内蔵する不図示の二次電池を充電する。また、第一シリアルインターフェース端子104をパソコン等に接続して、演算処理部の構成要素であるファームウェアをアップデートする等の機能拡張が可能である。
バンド101の回路収納ボックス103が取り付けられた面とは反対側の裏面(図1の下側の面)は、図2にて後述する電極配置面100aである。
電気刺激装置100は、後述する図3A及び図3Bの装着例で説明するように、バンド101の裏面である電極配置面100aをユーザーの前腕に巻き付けることで、ユーザーに装着される。
電気刺激装置100は、後述する図3A及び図3Bの装着例で説明するように、バンド101の裏面である電極配置面100aをユーザーの前腕に巻き付けることで、ユーザーに装着される。
図2は、電極配置面100aの平面図である。
電極配置面100aには、ユーザーの前腕の筋肉に電気刺激信号を与えるための電極201~208と、その電極201~208とペアで使用される接地電極である電極211~213,216,217とを備える。但し、接地電極については対向する複数の電極について共通で使用するため、電極201~208と電極211~213,216,217の数は一致しない。
加えて、電極配置面100aは、ユーザーの前腕の筋肉の動きを検出する筋変位センサー221~228を備える。
電極配置面100aには、ユーザーの前腕の筋肉に電気刺激信号を与えるための電極201~208と、その電極201~208とペアで使用される接地電極である電極211~213,216,217とを備える。但し、接地電極については対向する複数の電極について共通で使用するため、電極201~208と電極211~213,216,217の数は一致しない。
加えて、電極配置面100aは、ユーザーの前腕の筋肉の動きを検出する筋変位センサー221~228を備える。
電極配置面100aの右側(図中の左側)には、右側電極配置箇所231が設けられており、右側電極配置箇所231には4個の電極201,202,211,212が配置される。4個の電極201,202,211,212の内で、電極201は第一の電極であり、電極202は第二の電極である。また、電極211は電極201に対向する接地電極であり、電極212は電極202に対向する接地電極である。
電極201と電極211は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極202と電極212も前腕の筋肉に刺激を与える電極であり、周方向Hに対して傾斜角度θ2で、傾斜した状態で配置されたほぼ長方形の電極である。電極202と電極212とは、腕の長手方向Lに隣接して配置される。
電極202と電極212も前腕の筋肉に刺激を与える電極であり、周方向Hに対して傾斜角度θ2で、傾斜した状態で配置されたほぼ長方形の電極である。電極202と電極212とは、腕の長手方向Lに隣接して配置される。
電極配置面100aの中央には、中央電極配置箇所232が設けられており、中央電極配置箇所232には5個の電極203,204,205,208,213が配置される。5個の電極203,204,205,208,213の内で、電極203は第三の電極であり、電極204は第四の電極であり、電極205は第五の電極である。これら3個の電極203,204,205は、腕の長手方向に伸びて、腕の周方向にほぼ平行に並んで配置されている。また、電極208は第八の電極である。この電極208は、腕の周方向に長く伸びた電極である。電極213は、電極203,204,205,208に対向して共通に使用される接地電極である。
電極203と電極204と電極205とは、それぞれのチャンネルごとに前腕のそれぞれ別の筋肉に刺激を与える電極であり、接地電極として電極213が共通に使用される。3つの電極203,204,205は、腕の周方向Hに並んで配置され、この3つの電極203,204,205と長手方向Lに隣接して配置される共通の接地電極である電極213は、腕の周方向Hに長く伸びた長方形の電極である。
電極208は、電極213に隣接して、腕の周方向Hに長く伸びた長方形の電極である。電極213は、電極208の接地電位としても使用される。なお、電極208は予備に使用される電極であり、この電極208は腕の周方向Hに長く伸びているため、腕の複数の筋肉に同時に刺激を与えることができる。
電極208は、電極213に隣接して、腕の周方向Hに長く伸びた長方形の電極である。電極213は、電極208の接地電位としても使用される。なお、電極208は予備に使用される電極であり、この電極208は腕の周方向Hに長く伸びているため、腕の複数の筋肉に同時に刺激を与えることができる。
電極配置面100aの左側部102(図2中の右側)には、左側電極配置箇所233が設けられており、左側電極配置箇所233には4個の電極206,207,216,217が配置される。4個の電極206,207,216,217の内で、電極206は第六の電極であり、電極207は第七の電極である。また、電極216は電極206に対向する接地電極であり、電極217は電極207に対向する接地電極である。
電極206と電極216は前腕の筋肉に刺激を与える電極であり、周方向Hに対して左側部102の傾斜角度θ1と同じ角度θ1で、傾斜した状態で配置されたほぼ長方形の電極である。
電極207と電極217は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極207と電極217は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極配置面100aの右側電極配置箇所231の近傍には、2箇所に筋変位センサー221,222が配置されている。電極配置面100aの中央電極配置箇所232の近傍には、4箇所に筋変位センサー223,224,225,226が配置されている。電極配置面100aの左側電極配置箇所233の近傍には、2箇所に筋変位センサー227,228が配置されている。
8個の筋変位センサー221~228は周知のフォトリフレクターである。これらの筋変位センサーはそれぞれ赤外線発光素子221a~228aと赤外線受光素子221b~228b(図6参照)とで構成されており、筋変位センサー配置面から腕の筋肉の表面までの距離の変化を検出する。赤外線発光素子221a~228aは例えば近赤外線LEDであり、赤外線受光素子221b~228bは例えばフォトトランジスタである。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる隆起によって、フォトリフレクターと筋肉の表面部分との距離が変動する。フォトリフレクターはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の隆起状態を検出することに適している。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる隆起によって、フォトリフレクターと筋肉の表面部分との距離が変動する。フォトリフレクターはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の隆起状態を検出することに適している。
なお、電極配置面100aの右側電極配置箇所231、中央電極配置箇所232、左側電極配置箇所233を除く箇所には、粘着性を有する樹脂材(不図示)が配置され、その樹脂材の粘着性で、電極配置面100aを前腕に巻き付けた状態に装着できるようにしている。
[電気刺激装置100の装着例]
図3Aは、電気刺激装置100を前腕に装着する直前の状態を示す図である。
図3Bは、電気刺激装置100を前腕に装着した直後の状態を示す図である。
図3Aに示すように、ユーザーの右腕の前腕RAの手首寄りの箇所に、バンド101の電極配置面100a(図2)の中央部分が触れた状態とする。このときには、図3Aに示すように手のひらが上側となった位置とする。また、ほぼV字形状をしたバンド101の中央にある回路収納ボックス103が、手のひら側を向くようにする。
図3Aは、電気刺激装置100を前腕に装着する直前の状態を示す図である。
図3Bは、電気刺激装置100を前腕に装着した直後の状態を示す図である。
図3Aに示すように、ユーザーの右腕の前腕RAの手首寄りの箇所に、バンド101の電極配置面100a(図2)の中央部分が触れた状態とする。このときには、図3Aに示すように手のひらが上側となった位置とする。また、ほぼV字形状をしたバンド101の中央にある回路収納ボックス103が、手のひら側を向くようにする。
そして、ユーザーは、バンド101の両翼を、矢印F1と矢印F2で示すように手首に巻き付ける作業を行う。
このようにして、図3Bに示すように、電気刺激装置100が前腕RAに巻き付いた状態で装着される。このときには、電極配置面100aに配置した粘着性を有する樹脂材の粘着性で、前腕RAに巻き付いた状態が維持される。
なお、樹脂材の粘着性だけで前腕RAに巻き付いた状態とするのは一例であり、例えばバンド101の両端に何らかのクリップ機構を設けて、両者が重なった状態で留まるようにしてもよい。
このようにして、図3Bに示すように、電気刺激装置100が前腕RAに巻き付いた状態で装着される。このときには、電極配置面100aに配置した粘着性を有する樹脂材の粘着性で、前腕RAに巻き付いた状態が維持される。
なお、樹脂材の粘着性だけで前腕RAに巻き付いた状態とするのは一例であり、例えばバンド101の両端に何らかのクリップ機構を設けて、両者が重なった状態で留まるようにしてもよい。
このように電気刺激装置100は、バンド101を前腕RAに巻き付けて装着するため、簡単に装着することができる。そして、バンド101がほぼV字形状をしているため、ユーザーは装着方向が判りやすく、確実に図3Bに示すような決められた方向に装着できるようになる。
なお、図3ではユーザーの右腕に電気刺激装置100を装着する例を示したが、左腕に電気刺激装置100を装着してもよい。
なお、図3ではユーザーの右腕に電気刺激装置100を装着する例を示したが、左腕に電気刺激装置100を装着してもよい。
ところで、図3A及び図3Bに図示されているように、本発明の実施形態に係る電気刺激装置100は、ユーザーの前腕RAの手首寄りの箇所に巻きつける。しかし、その際、電気刺激装置100がユーザーの前腕RAの定位置に定まるような指標が、前腕RAには設けられていない。つまり、ユーザーが電気刺激装置100を前腕RAに装着する度、その装着位置が微妙にずれることが往々にして生じる。すると、ユーザーが電気刺激装置100を前腕に装着する度に、電気刺激装置100の電極配置面100aに設けられている電極と筋変位センサーと、ユーザーの腕の筋肉との相対的な位置関係がずれることとなる。
本発明はこの「ズレ」に対応して、電気刺激装置100が電極と手指の動きとの対応関係を正しく把握することを目的として想到されたものである。
本発明はこの「ズレ」に対応して、電気刺激装置100が電極と手指の動きとの対応関係を正しく把握することを目的として想到されたものである。
[電気刺激装置100の使用形態]
図4は、電気刺激装置100の使用形態の一例である、電気刺激装置100を有する電気刺激システム400を示す模式図である。
電気刺激装置100は、後述するBluetooth(登録商標)等の近距離無線通信機能を有する。一方、電気刺激装置100と同等の近距離無線通信機能を内蔵するパソコンか、近距離無線通信機能を提供する周辺機器をパソコンに接続する等で、電気刺激装置100はパソコンとの近距離無線通信による双方向通信を確立する。これ以降、電気刺激装置100と近距離無線通信にて双方向通信を確立するパソコンをホスト401と呼ぶ。図4中、ホスト401には近距離無線通信部402が接続されており、電気刺激装置100との間で双方向通信を確立する。
図4は、電気刺激装置100の使用形態の一例である、電気刺激装置100を有する電気刺激システム400を示す模式図である。
電気刺激装置100は、後述するBluetooth(登録商標)等の近距離無線通信機能を有する。一方、電気刺激装置100と同等の近距離無線通信機能を内蔵するパソコンか、近距離無線通信機能を提供する周辺機器をパソコンに接続する等で、電気刺激装置100はパソコンとの近距離無線通信による双方向通信を確立する。これ以降、電気刺激装置100と近距離無線通信にて双方向通信を確立するパソコンをホスト401と呼ぶ。図4中、ホスト401には近距離無線通信部402が接続されており、電気刺激装置100との間で双方向通信を確立する。
ホスト401には、例えばシューティングゲーム等のアプリケーションプログラムが稼働している。そして、このアプリケーションプログラムに対するユーザーの操作に応じて、ホスト401は電気刺激装置100に対し、ユーザーの所定の筋肉へ電気刺激を与える命令を近距離無線通信にて送信する。電気刺激装置100は、ホスト401から受信した電気刺激の命令に基づき、ユーザーの所望の筋肉へ電気刺激を与える。
また、電気刺激装置100は前述の筋変位センサーにてユーザーの腕の筋肉の変位情報をデジタルデータとしてホスト401に送信する。
また、電気刺激装置100は前述の筋変位センサーにてユーザーの腕の筋肉の変位情報をデジタルデータとしてホスト401に送信する。
ところで、筋変位センサーの駆動には赤外線LEDの発光駆動を始め、比較的大きな電力消費を伴う。そこで、ホスト401のアプリケーションプログラムは必要最小限の電力消費で腕の筋肉の変位情報を電気刺激装置100から取得するべく、アプリケーションプログラムの状態に応じて、電気刺激装置100に筋変位センサーの駆動と停止を命じるコマンドを送信する。すなわち、ホスト401は、アプリケーションプログラムを実行中に、アプリケーションプログラムがユーザーの腕の筋肉の変位情報を必要とする状況になるまでは、電気刺激装置100に筋変位センサーを駆動させない。アプリケーションプログラムがユーザーの腕の筋肉の変位情報を必要とする状況に至ったら、その時点でホスト401から電気刺激装置100へ筋変位センサーを駆動するためのコマンドを送信する。このホスト401からのコマンドを受けて、電気刺激装置100は、腕の筋肉の変位情報を取得するべく筋変位センサーを駆動する。
そしてホスト401は、アプリケーションプログラムが必要な腕の筋肉の変位情報の取得を終了した時点で、筋変位センサーの駆動を停止するよう、電気刺激装置100へコマンドを送信する。このホスト401からのコマンドを受けて、電気刺激装置100は、筋変位センサーの駆動を停止する。
すなわち、電気刺激装置100は、ホスト401に対して、ユーザーの腕の筋肉の変位情報を収集する入力装置として、そして腕の筋肉に変位を与える出力装置として、機能する。また、電気刺激装置100は、ホスト401及び/またはアプリケーションプログラムに対する端末であるともいえる。
すなわち、電気刺激装置100は、ホスト401に対して、ユーザーの腕の筋肉の変位情報を収集する入力装置として、そして腕の筋肉に変位を与える出力装置として、機能する。また、電気刺激装置100は、ホスト401及び/またはアプリケーションプログラムに対する端末であるともいえる。
図2で説明したように、電気刺激装置100の電極配置面100aには、接地電極を除く電極が8個存在する。一方、人間の手には5本の指が存在する。これは、人の腕の太さにおける個人差を一つの電気刺激装置100だけで吸収するために、5本の指の数を超える数だけ、電極を設けていることによる。つまり、8個の電極の中には指の動きに対応しない電極も含まれることとなる。また、ユーザーの腕に電気刺激装置100を装着した状態によっては、装着位置のずれに起因して、電極に相対する筋肉の位置がずれることが往々にして生じ得る。このようなずれが生じても筋肉に電極が対応できるようにするためには、5本の指の数を超える数の電極を設けることが好ましい。
また、電気刺激装置100を正しく動作させるためには、実際の指を動かす筋肉と、電極と、筋変位センサーの対応関係を較正作業によって明らかにする必要がある。
このため、本発明の実施形態に係る電気刺激装置100の動作モードとしては、アプリケーションプログラムの端末として動作する通常モードと、実際の指を動かす筋肉と電極及び筋変位センサーとの対応関係を明らかにするための較正作業を遂行する較正モードとの、二種類の動作モードが存在する。
なお、後述するソフトウェア機能を説明するブロック図では、通常モードと較正モードに分けて説明する。本発明は、このうち特に較正モードに関する発明である。
このため、本発明の実施形態に係る電気刺激装置100の動作モードとしては、アプリケーションプログラムの端末として動作する通常モードと、実際の指を動かす筋肉と電極及び筋変位センサーとの対応関係を明らかにするための較正作業を遂行する較正モードとの、二種類の動作モードが存在する。
なお、後述するソフトウェア機能を説明するブロック図では、通常モードと較正モードに分けて説明する。本発明は、このうち特に較正モードに関する発明である。
[ホスト401のハードウェア構成]
図5は、ホスト401のハードウェア構成を示すブロック図である。
前述のように一般的なパソコンよりなるホスト401は、バス507に接続された、CPU501、ROM502、RAM503、不揮発性ストレージ504、表示部505、操作部506及び近距離無線通信部402を備える。近距離無線通信部402は、電気刺激装置100と近距離無線通信を行うためのハードウェアである。不揮発性ストレージ504にはOSと、パソコンを電気刺激装置100のホスト401として動作させるためのアプリケーションプログラムが格納されている。
図5は、ホスト401のハードウェア構成を示すブロック図である。
前述のように一般的なパソコンよりなるホスト401は、バス507に接続された、CPU501、ROM502、RAM503、不揮発性ストレージ504、表示部505、操作部506及び近距離無線通信部402を備える。近距離無線通信部402は、電気刺激装置100と近距離無線通信を行うためのハードウェアである。不揮発性ストレージ504にはOSと、パソコンを電気刺激装置100のホスト401として動作させるためのアプリケーションプログラムが格納されている。
[電気刺激装置100のハードウェア構成]
図6は、電気刺激装置100のハードウェア構成を示すブロック図である。 バス601に接続されているCPU602、ROM603、RAM604、A/D変換器605、そして第二シリアルインターフェース606(図6中「第二シリアルI/F」と略記)は、周知のワンチップマイコン607を構成する。
筋変位センサー221、222…228を構成する赤外線LEDである赤外線発光素子221a、222a…228aのアノードは電源電圧ノード+Vccに接続されている。赤外線発光素子221a、222a…228aのカソードは第一マルチプレクサ608を通じて電流制限抵抗R609の一端に接続されている。電流制限抵抗R609の他端は接地されている。
図6は、電気刺激装置100のハードウェア構成を示すブロック図である。 バス601に接続されているCPU602、ROM603、RAM604、A/D変換器605、そして第二シリアルインターフェース606(図6中「第二シリアルI/F」と略記)は、周知のワンチップマイコン607を構成する。
筋変位センサー221、222…228を構成する赤外線LEDである赤外線発光素子221a、222a…228aのアノードは電源電圧ノード+Vccに接続されている。赤外線発光素子221a、222a…228aのカソードは第一マルチプレクサ608を通じて電流制限抵抗R609の一端に接続されている。電流制限抵抗R609の他端は接地されている。
筋変位センサー221、222…228を構成するフォトトランジスタである赤外線受光素子221b、222b…228bのコレクタは電源電圧ノード+Vccに接続されている。赤外線受光素子221b、222b…228bのエミッタは第二マルチプレクサ610を通じてA/D変換器605に接続されていると共に、抵抗R611a、R611b、…R611hを通じて接地されている。
第一マルチプレクサ608及び第二マルチプレクサ610が、第二シリアルインターフェース606から制御信号を受けて、周期的に切り替え制御されることで、A/D変換器605には時分割で8個の筋変位センサー221、222…228の電圧信号が入力される。この第一マルチプレクサ608及び第二マルチプレクサ610は、複数の筋変位センサー221、222…228のうちの1個を選択する、センサー用マルチプレクサと総称することができる。
ワンチップマイコン607のバス601には周知の6軸センサー612と近距離無線通信部613も接続されており、6軸センサー612が出力する姿勢情報及び加速度情報は、A/D変換器605を通じて得られた8個の筋変位センサー221、222…228の情報と共に、近距離無線通信部613を通じてホスト401へ送信される。
ワンチップマイコン607のバス601には更に、第一シリアルインターフェース614(図6中「第一シリアルI/F」と略記)が接続されている。なお、この第一シリアルインターフェース614は、不図示の蓄電池に電力を供給するため、及びROM603に格納されているファームウェアをアップデートする際に用いられる。
ワンチップマイコン607のバス601には更に、第一シリアルインターフェース614(図6中「第一シリアルI/F」と略記)が接続されている。なお、この第一シリアルインターフェース614は、不図示の蓄電池に電力を供給するため、及びROM603に格納されているファームウェアをアップデートする際に用いられる。
第二シリアルインターフェース606には更に、周知のチョークコイルとコンデンサとトランジスタスイッチよりなる昇圧回路615が接続されている。そして、第二シリアルインターフェース606から昇圧回路615に、例えば100kHzで、ほぼ電源電圧+Vccに等しい電圧の矩形波パルス信号が供給される。この矩形波パルス信号は、昇圧回路615内の不図示のトランジスタスイッチをオン・オフ制御する。
そして、昇圧回路615によって矩形波パルス信号の電圧は2倍に昇圧される。昇圧回路615が出力する電気刺激電圧は、PWMスイッチ616と第三マルチプレクサ617を通じて電極201、202…208に供給される。
そして、昇圧回路615によって矩形波パルス信号の電圧は2倍に昇圧される。昇圧回路615が出力する電気刺激電圧は、PWMスイッチ616と第三マルチプレクサ617を通じて電極201、202…208に供給される。
PWMスイッチ616は第二シリアルインターフェース606によって制御され、昇圧回路615によって昇圧された電気刺激電圧にPWM変調を施す。電気刺激電圧は、PWM変調にてデューティ比が変化されるため、筋肉に与える電気刺激電圧が所望の電圧に変更される。第三マルチプレクサ617も第二シリアルインターフェース606を通じて制御され、ホスト401から近距離無線通信部613を通じて受信した命令に指定された電極を選択して、その電極にPWM変調された電気刺激電圧が印加される。
第三マルチプレクサ617は、複数の電極201、202…208のうちの1個を選択する、電極用マルチプレクサということもできる。
第三マルチプレクサ617は、複数の電極201、202…208のうちの1個を選択する、電極用マルチプレクサということもできる。
[通常モードにおける電気刺激装置100とホスト401のソフトウェア機能] 図7は、通常モードにおける電気刺激装置100とホスト401のソフトウェア機能を示すブロック図である。
電気刺激装置100は、ホスト401に対し、ユーザーの腕の筋肉の変動と電気刺激装置100自体の姿勢と加速度をホスト401へ送信する機能と、ホスト401から受信した命令に従って、ユーザーの湯での筋肉に電気刺激を与える機能を有する、入出力端末装置である。
すなわち、8個の筋変位センサー221~228が出力するアナログ信号はA/D変換器605によって筋変位情報に変換され、6軸センサー612が出力する姿勢情報及び加速度情報と共に、入出力制御部701及び近距離無線送信部702を通じてホスト401へ送信される。
電気刺激装置100は、ホスト401に対し、ユーザーの腕の筋肉の変動と電気刺激装置100自体の姿勢と加速度をホスト401へ送信する機能と、ホスト401から受信した命令に従って、ユーザーの湯での筋肉に電気刺激を与える機能を有する、入出力端末装置である。
すなわち、8個の筋変位センサー221~228が出力するアナログ信号はA/D変換器605によって筋変位情報に変換され、6軸センサー612が出力する姿勢情報及び加速度情報と共に、入出力制御部701及び近距離無線送信部702を通じてホスト401へ送信される。
ホスト401は、電気刺激装置100から近距離無線受信部711を通じて筋変位情報と姿勢情報及び加速度情報を受信すると、これらを入出力制御部712に供給する。入出力制御部712は、電気刺激装置100から受信した筋変位情報と姿勢情報及び加速度情報を、ゲーム等の所定のアプリケーションプログラムである情報処理部713に供給すると共に、情報処理部713が出力する描画情報に基づいて表示部505に所定の画面描画情報を出力する。また、入出力制御部712は、情報処理部713が出力する電気刺激情報を、近距離無線送信部714を通じて電気刺激装置100に送信する。
電気刺激装置100の指電極対応変換部703は、近距離無線受信部704を通じて、ホスト401から出力される電気刺激実行コマンドを受信すると、RAM604に保持されている電極確率行列705を参照する。そして、コマンドに指定されている指番号を電極番号に変換して、PWMスイッチ616と第三マルチプレクサ617を制御し、所望の電極201~208に電気刺激電圧を印加する。
なお、電極確率行列705の詳細については図9以降に後述する。
なお、電極確率行列705の詳細については図9以降に後述する。
なお、筋変位センサー221~228の切り替え動作を行う第一マルチプレクサ608及び第二マルチプレクサ610の動作タイミングを制御する入出力制御部701と、電極の切り替え動作を行う第三マルチプレクサ617の動作タイミングを制御する指電極対応変換部703は、完全に非同期である。このため、図7では入出力制御部701と指電極対応変換部703は別々の機能ブロックとして図示されている。
[較正モードにおける電気刺激装置100とホスト401のソフトウェア機能]
図8は、較正モードにおける電気刺激装置100とホスト401のソフトウェア機能を示すブロック図である。
図8に示す電気刺激装置100とホスト401のソフトウェア機能の、図7との相違点は、
<1>較正モードにおいて不要である6軸センサー612の機能を停止させていること、
<2>ホスト401の入出力制御部712はRAM503または不揮発性ストレージ504に設けられるセンサー値記憶部801にセンサーの値を記憶して、電極確率行列705を作成し、またこれを更新して、電気刺激装置100へ電極確率行列705を送信すること、
<3>電気刺激装置100は、ホスト401から送信されるコマンドに基づき、選択した電極に電気刺激を与え、これに同期して筋変位センサー221~228をスキャンすること
である。
図8は、較正モードにおける電気刺激装置100とホスト401のソフトウェア機能を示すブロック図である。
図8に示す電気刺激装置100とホスト401のソフトウェア機能の、図7との相違点は、
<1>較正モードにおいて不要である6軸センサー612の機能を停止させていること、
<2>ホスト401の入出力制御部712はRAM503または不揮発性ストレージ504に設けられるセンサー値記憶部801にセンサーの値を記憶して、電極確率行列705を作成し、またこれを更新して、電気刺激装置100へ電極確率行列705を送信すること、
<3>電気刺激装置100は、ホスト401から送信されるコマンドに基づき、選択した電極に電気刺激を与え、これに同期して筋変位センサー221~228をスキャンすること
である。
特に、上記の<3>のため、電気刺激装置100の入出力制御部701はホスト401から送信されるコマンドに基づき、電極に電気刺激を与えた後、内蔵するタイマー803を起動する。そして所定時間が経過した後、筋変位センサー221~228をスキャンする。
一方、ホスト401の入出力制御部712は、電気刺激装置100から受信した筋変位センサー221~228の情報に基づき、確率演算部802の演算結果を取得して、電極確率行列705を作成し、または更新する。そして、作成または更新が完了した電極確率行列705を近距離無線送信部714を通じて電気刺激装置100へ送信する。また、ホスト401の入出力制御部712は、較正モードの動作中、表示部505に較正モードの進捗状況等を所定のメッセージ等にて表示する。
一方、ホスト401の入出力制御部712は、電気刺激装置100から受信した筋変位センサー221~228の情報に基づき、確率演算部802の演算結果を取得して、電極確率行列705を作成し、または更新する。そして、作成または更新が完了した電極確率行列705を近距離無線送信部714を通じて電気刺激装置100へ送信する。また、ホスト401の入出力制御部712は、較正モードの動作中、表示部505に較正モードの進捗状況等を所定のメッセージ等にて表示する。
[較正モードにおけるホスト401のソフトウェア動作]
電極確率行列705とは、ユーザーの指を動かす筋肉に対応する、電極と手指の動きの対応関係を示す行列データである。図17に、電極確率行列705の一般化した一例を示す。電極確率行列705の縦(行)は電極を表し、横(列)は手指の動きを表す。各要素にはベイズ推定に依るベイズ事後確率が格納されている。
電極確率行列705とは、ユーザーの指を動かす筋肉に対応する、電極と手指の動きの対応関係を示す行列データである。図17に、電極確率行列705の一般化した一例を示す。電極確率行列705の縦(行)は電極を表し、横(列)は手指の動きを表す。各要素にはベイズ推定に依るベイズ事後確率が格納されている。
通常モードにおいて、ホスト401から所望の手指を動かす命令を受けると、電気刺激装置100の指電極対応変換部703は、ホスト401から指定された手指の情報により、電極確率行列705を参照する。つまり、手指の情報に対応する、ホスト401に指定された電極確率行列705の行を見る。すると、その行を構成する要素には電極毎の確率が格納されている。これら要素のうち、最大の確率を示す要素に該当する電極が、当該手指を動かす可能性が最も高い電極である。このように、指電極対応変換部703はホスト401から指定された手指を電極の番号に変換し、この情報を以って第三マルチプレクサ617を制御する。
ある電極に電気刺激電圧を与えると、所定の筋肉が刺激され、この筋肉に対応する指が動く。そしてその筋肉の変位をある筋変位センサーが検出し、センサー値記憶部801に記憶されている対応データを参照して、どの指が曲がったかを判定する。すなわち、手指の動きと電極との関係は、1:1に対応させている。
図2において、電気刺激装置100の電極配置面100aには、接地電極を除く8個の電極と、8個の筋変位センサーが設けられていると説明した。前述の通り、5本の指に対して8個の電極と8個の筋変位センサーが設けられている理由は、人の腕の太さにおける個人差を一つの電気刺激装置100だけで吸収するためである。すると、電極の中には指の動きに対応しない電極が生じることとなる。すなわち、電気刺激装置100を正しく動作させるためには、実際の手指の動きと、電極との対応関係を較正作業によって明らかにする必要がある。
図2において、電気刺激装置100の電極配置面100aには、接地電極を除く8個の電極と、8個の筋変位センサーが設けられていると説明した。前述の通り、5本の指に対して8個の電極と8個の筋変位センサーが設けられている理由は、人の腕の太さにおける個人差を一つの電気刺激装置100だけで吸収するためである。すると、電極の中には指の動きに対応しない電極が生じることとなる。すなわち、電気刺激装置100を正しく動作させるためには、実際の手指の動きと、電極との対応関係を較正作業によって明らかにする必要がある。
図9は、較正モードにおける、電気刺激装置100とホスト401が実行する較正動作の流れを示すタイムチャートである。
電気刺激装置100がユーザーの腕に装着されると、筋変位センサーはユーザーの皮膚が筋変位センサーの検出領域に近接したことを検出する。電気刺激装置100の入出力制御部701は、電気刺激装置100がユーザーの腕に装着されたことを検出すると(S901)、近距離無線通信部613を通じて、ホスト401に対し、通信の確立を要求する(S902)。ホスト401は電気刺激装置100から通信の要求を受けて、通信の確立を示すステータスメッセージを返信する(S903)。電気刺激装置100はホスト401からステータスメッセージを受信して、通信の確立を認識した旨のステータスメッセージをホスト401へ返信する(S904)。
電気刺激装置100がユーザーの腕に装着されると、筋変位センサーはユーザーの皮膚が筋変位センサーの検出領域に近接したことを検出する。電気刺激装置100の入出力制御部701は、電気刺激装置100がユーザーの腕に装着されたことを検出すると(S901)、近距離無線通信部613を通じて、ホスト401に対し、通信の確立を要求する(S902)。ホスト401は電気刺激装置100から通信の要求を受けて、通信の確立を示すステータスメッセージを返信する(S903)。電気刺激装置100はホスト401からステータスメッセージを受信して、通信の確立を認識した旨のステータスメッセージをホスト401へ返信する(S904)。
ホスト401の入出力制御部712は、近距離無線受信部704を通じて電気刺激装置100から通信の確立を認識した旨のステータスメッセージを受信すると、筋変位センサーの較正作業に入る。先ず、ホスト401の不揮発性ストレージ504に格納されている、「静止状態案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S905)。「静止状態案内ビデオ」とは、電気刺激装置100が上腕に装着された、力が入っていない手のイラストと、「手に力を入れない状態でそのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S906)。この時点の筋変位センサーの値は、ユーザーが手指に力を入れていない状態における筋変位センサーの値であり、筋肉に力が入っているか否かを検出するための基礎となる値である。
ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「静止状態データ」として記憶する(S907)。次に、ホスト401の不揮発性ストレージ504に格納されている「第一の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S908)。「第一の動作案内ビデオ」とは、電気刺激装置100が上腕に装着された、親指を曲げた状態の手のイラストと、「親指を曲げた状態でそのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S909)。この時点の筋変位センサーの値は、ユーザーが親指に力を入れた状態における筋変位センサーの値である。
ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「第一の動作状態データ」として記憶する(S910)。次に、ホスト401の不揮発性ストレージ504に格納されている「第二の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S911)。「第二の動作案内ビデオ」とは、電気刺激装置100が上腕に装着された、人差指を曲げた状態の手のイラストと、「人差指を曲げた状態でそのままお待ち下さい」というメッセージを表示する動画データである。
ステップS911以降、ステップS908、S909、S910に相当する動作が、ステップS908から合計8回行われる。その際、ホスト401が再生する動画データと、ホスト401が電気刺激装置100から受信してセンサー値記憶部801に記憶するデータは以下の通りである。
「第一の動作案内ビデオ」:親指を曲げた状態の動作案内、第一の動作状態データを記憶する。
「第二の動作案内ビデオ」:人差指を曲げた状態の動作案内、第二の動作状態データを記憶する。
「第三の動作案内ビデオ」:中指を曲げた状態の動作案内、第三の動作状態データを記憶する。
「第四の動作案内ビデオ」:薬指または小指を曲げた状態の動作案内、第四の動作状態データを記憶する。
「第五の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態の動作案内、第五の動作状態データを記憶する。
「第六の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態の動作案内、第六の動作状態データを記憶する。
「第七の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態の動作案内、第七の動作状態データを記憶する。
「第八の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態の動作案内、第八の動作状態データを記憶する。
「第一の動作案内ビデオ」:親指を曲げた状態の動作案内、第一の動作状態データを記憶する。
「第二の動作案内ビデオ」:人差指を曲げた状態の動作案内、第二の動作状態データを記憶する。
「第三の動作案内ビデオ」:中指を曲げた状態の動作案内、第三の動作状態データを記憶する。
「第四の動作案内ビデオ」:薬指または小指を曲げた状態の動作案内、第四の動作状態データを記憶する。
「第五の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態の動作案内、第五の動作状態データを記憶する。
「第六の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態の動作案内、第六の動作状態データを記憶する。
「第七の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態の動作案内、第七の動作状態データを記憶する。
「第八の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態の動作案内、第八の動作状態データを記憶する。
ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「第七の動作状態データ」として記憶する(S912)。次に、ホスト401の不揮発性ストレージ504に格納されている「第八の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S913)。「第八の動作案内ビデオ」とは、電気刺激装置100が上腕に装着され、手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態の手のイラストと、「手をまっすぐに伸ばし、手首を小指の方向へ曲げた状態で、そのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S914)。この時点の筋変位センサーの値は、ユーザーが手首を小指の方向へ曲げた尺屈状態における筋変位センサーの値である。
ホスト401は、電気刺激装置100から筋変位センサーのデータを受信すると、これを「第八の動作状態データ」として記憶する(S915)。
以上、ステップS905からステップS915にかけて、ホスト401は筋変位センサーの値の変動と、手指の動作との対応関係を把握したことになる。
ホスト401は、電気刺激装置100から筋変位センサーのデータを受信すると、これを「第八の動作状態データ」として記憶する(S915)。
以上、ステップS905からステップS915にかけて、ホスト401は筋変位センサーの値の変動と、手指の動作との対応関係を把握したことになる。
ステップS915が終了した時点で、ホスト401の入出力制御部712は、各々の筋変位センサーの相対値を計算する。具体的には、第一の動作状態データから静止状態データを減算して、親指を曲げた状態に係る第一の基準値を得る。第二の動作状態データから静止状態データを減算して、人差指を曲げた状態に係る第二の基準値を得る。以下同様に、中指を曲げた状態に係る第三の基準値、薬指または小指を曲げた状態に係る第四の基準値、掌屈状態に係る第五の基準値、背屈状態に係る第六の基準値、撓屈状態に係る第七の基準値及び尺屈状態に係る第八の基準値を得る。これら第一から第八の基準値は、8個の筋変位センサーの相対値の集合である。ホスト401の入出力制御部712は、これら第一から第八の基準値をセンサー値記憶部801に記憶する。
次に、ホスト401の入出力制御部712は、これら第一から第八の基準値に対し、所定の比率を乗算して、閾値を得る。ここで第一から第八の基準値に乗算する比率は例えば50%である。ホスト401の入出力制御部712は、これら閾値もセンサー値記憶部801に記憶する。
次に、ホスト401の入出力制御部712は、これら第一から第八の基準値に対し、所定の比率を乗算して、閾値を得る。ここで第一から第八の基準値に乗算する比率は例えば50%である。ホスト401の入出力制御部712は、これら閾値もセンサー値記憶部801に記憶する。
筋変位センサーのフォトトランジスタが検出する反射光の強度は、筋変位センサーに相対するユーザーの皮膚及び筋肉の状態や、筋変位センサーとユーザーの皮膚との相対的な位置関係等の要因(不確定要素)によって、大きく異なる。そこで、ホスト401の入出力制御部712は、ユーザーが手指に殆ど力を入れていない状態と、ユーザーが特定の手指を曲げた状態との、それぞれの筋変位センサーの値をセンサー値記憶部801に記憶して、その差分を計算する。得られた基準値は筋変位センサーの相対的な変動値であるので、不確定要素の影響を排除できる。
筋変位センサーが出力するアナログ信号をデジタル化するA/D変換器605は、例えば10ビット符号なし整数(0~1023)である。発明者らが試験的に電気刺激装置100を作成した際、筋肉の変位を検出した筋変位センサーから得られる相対的な変動値は凡そ300~900前後であることが判った。
後述するステップS916以降、ホスト401が電気刺激装置100から受信した筋変位センサーのデータは、全て静止状態データを減算して、筋変位センサーの相対値に変換される。そして入出力装置は、筋変位センサーの相対値を閾値と比較して、所定の手指が動いたか否かを判定する。
後述するステップS916以降、ホスト401が電気刺激装置100から受信した筋変位センサーのデータは、全て静止状態データを減算して、筋変位センサーの相対値に変換される。そして入出力装置は、筋変位センサーの相対値を閾値と比較して、所定の手指が動いたか否かを判定する。
ステップS905からステップS915にかけて、筋変位センサーの値の変動と手指の動作との対応関係を把握したホスト401は、次に、電極と、手指の動作との対応関係を把握するための作業に入る。
ホスト401の入出力制御部712は、電気刺激装置100へ、第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S916)。 電気刺激装置100はホスト401からコマンドを受信すると、第一の電極に電気刺激電圧を印加して(S917)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S918)。
ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第一の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S919)。次に、ホスト401の入出力制御部712は、電気刺激装置100へ、第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S920)。
ホスト401の入出力制御部712は、電気刺激装置100へ、第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S916)。 電気刺激装置100はホスト401からコマンドを受信すると、第一の電極に電気刺激電圧を印加して(S917)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S918)。
ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第一の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S919)。次に、ホスト401の入出力制御部712は、電気刺激装置100へ、第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S920)。
ステップS920以降、ステップS916、S917、S918、S919に相当する動作が、ステップS916から合計8回行われる。その際、ホスト401が電気刺激装置100へ送信するコマンドと、ホスト401が電気刺激装置100から受信してセンサー値記憶部801に記憶するデータは以下の通りである。
第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第一の電極におけるセンサー値データを記憶する。
第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第二の電極におけるセンサー値データを記憶する。
第三の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第三の電極におけるセンサー値データを記憶する。
第四の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第四の電極におけるセンサー値データを記憶する。
第五の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第五の電極におけるセンサー値データを記憶する。
第六の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第六の電極におけるセンサー値データを記憶する。
第七の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第七の電極におけるセンサー値データを記憶する。
第八の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第八の電極におけるセンサー値データを記憶する。
第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第一の電極におけるセンサー値データを記憶する。
第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第二の電極におけるセンサー値データを記憶する。
第三の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第三の電極におけるセンサー値データを記憶する。
第四の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第四の電極におけるセンサー値データを記憶する。
第五の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第五の電極におけるセンサー値データを記憶する。
第六の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第六の電極におけるセンサー値データを記憶する。
第七の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第七の電極におけるセンサー値データを記憶する。
第八の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第八の電極におけるセンサー値データを記憶する。
ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第七の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S921)。次に、ホスト401の入出力制御部712は、電気刺激装置100へ、第八の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S922)。
電気刺激装置100はホスト401からコマンドを受信すると、第八の電極に電気刺激電圧を印加して(S923)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S924)。
電気刺激装置100はホスト401からコマンドを受信すると、第八の電極に電気刺激電圧を印加して(S923)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S924)。
ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第八の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S925)。次に、ホスト401の入出力制御部712は、ステップS905からS915迄の一連の動作で記憶した、各手指の動きに対応する第一から第八の動作状態データと、ステップS916からS925迄の一連の動作で記憶した、各電極におけるセンサー値データの生成または更新を行う。
なお、既に1回目の学習モード(図10以降で後述)が実行された結果、ホスト401に電極確率行列705が存在する場合には、確率演算部802を通じて電極確率行列705についても、その更新を行う。ホスト401の入出力制御部712は、生成または更新された電極確率行列705を電気刺激装置100に送信する(S926)。そして、電気刺激装置100は、ホスト401から受信した電極確率行列705をRAM503に記憶して(S927)、一連の処理を終了する。
なお、既に1回目の学習モード(図10以降で後述)が実行された結果、ホスト401に電極確率行列705が存在する場合には、確率演算部802を通じて電極確率行列705についても、その更新を行う。ホスト401の入出力制御部712は、生成または更新された電極確率行列705を電気刺激装置100に送信する(S926)。そして、電気刺激装置100は、ホスト401から受信した電極確率行列705をRAM503に記憶して(S927)、一連の処理を終了する。
図9のステップS905からステップS915までは、筋変位センサーと手指の動きとの相関関係を明らかにする、筋変位センサー較正モードである。ホスト401の入出力制御部712が筋変位センサー較正モードを実行することで、筋変位センサー221~228から得られたデータにより、現在どの手指が動いているのかが明らかになる。
そして、図9の破線で囲まれている、ステップS916からステップS927までは、電極と手指の動きとの相関関係を、電極確率行列705を作成し更新することで明らかにする、学習モードである。ホスト401の入出力制御部712が学習モードを実行することで、所望の手指を動かすために、電極201~208のどの電極に電気刺激電圧を印加すればよいのかが明らかになる。
すなわち、較正モードは筋変位センサー較正モードと学習モードを含む。以下、図10を参照して学習モードについて説明する。
そして、図9の破線で囲まれている、ステップS916からステップS927までは、電極と手指の動きとの相関関係を、電極確率行列705を作成し更新することで明らかにする、学習モードである。ホスト401の入出力制御部712が学習モードを実行することで、所望の手指を動かすために、電極201~208のどの電極に電気刺激電圧を印加すればよいのかが明らかになる。
すなわち、較正モードは筋変位センサー較正モードと学習モードを含む。以下、図10を参照して学習モードについて説明する。
図10は、ユーザーが初めて電気刺激装置100を装着した際にホスト401で実行される、初回の学習モードの動作の流れを示すフローチャートである。
処理を開始すると(S1001)、ホスト401の入出力制御部712は、先ずカウンタ変数iを1に初期化すると共に、電極確率行列705の全ての要素を「0」に初期化する(S1002)。
これ以降の処理はループである。ホスト401の入出力制御部712は、電気刺激装置100に対し、i番目の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S1003)。そして、電気刺激装置100から受信した筋変位センサーのデータから差分値を算出し、閾値と比較して、手指の動きがあったか否かを調べる(S1004)。もし、何れかの手指がi番目電極による電気刺激によって動いたと判定した場合には(S1005のYES)、ホスト401の入出力制御部712は、電極確率行列705の、動きを検出したx番目の手指に該当するx行の、i番目の電極に該当するi列の要素に「1」を記憶する(S1006)。
処理を開始すると(S1001)、ホスト401の入出力制御部712は、先ずカウンタ変数iを1に初期化すると共に、電極確率行列705の全ての要素を「0」に初期化する(S1002)。
これ以降の処理はループである。ホスト401の入出力制御部712は、電気刺激装置100に対し、i番目の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S1003)。そして、電気刺激装置100から受信した筋変位センサーのデータから差分値を算出し、閾値と比較して、手指の動きがあったか否かを調べる(S1004)。もし、何れかの手指がi番目電極による電気刺激によって動いたと判定した場合には(S1005のYES)、ホスト401の入出力制御部712は、電極確率行列705の、動きを検出したx番目の手指に該当するx行の、i番目の電極に該当するi列の要素に「1」を記憶する(S1006)。
ステップS1006を実行した後、またはステップS1005において何れの手指もi番目電極による電気刺激によって動いていないと判定した場合には(S1005のNO)、ホスト401の入出力制御部712はカウンタ変数iがiの最大値、すなわち電極の合計数に至ったか否かを確認する。カウンタ変数iが電極の合計数に至っていない場合には(S1007のNO)、ホスト401の入出力制御部712はカウンタ変数iを1インクリメントして(S1008)、再度ステップS1003から処理を繰り返す。
ステップS1007において、カウンタ変数iが電極の合計数に達した場合には(S1007のYES)、ホスト401の入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存するとともに、電気刺激装置100へ送信して(S1009)、一連の処理を終了する(S1010)。
ステップS1007において、カウンタ変数iが電極の合計数に達した場合には(S1007のYES)、ホスト401の入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存するとともに、電気刺激装置100へ送信して(S1009)、一連の処理を終了する(S1010)。
続いて、ステップS1003の動作について、説明を加える。
図11は、電気刺激と筋肉の収縮状態と筋変位センサーの動作を説明するタイムチャートである。
図11中、上から(A)電極に印加される電気刺激、(B)筋肉の収縮状態、(C)筋変位センサーの動作期間を示す、入出力制御部712内のゲート信号、(D)第一の筋変位センサーの動作期間、(E)第二の筋変位センサーの動作期間、(F)第三の筋変位センサーの動作期間、(G)第七の筋変位センサーの動作期間、(H)第八の筋変位センサーの動作期間、である。(B)筋肉の収縮状態のみ縦軸は筋肉収縮の変位量であり、それ以外は全て論理値である。
図11は、電気刺激と筋肉の収縮状態と筋変位センサーの動作を説明するタイムチャートである。
図11中、上から(A)電極に印加される電気刺激、(B)筋肉の収縮状態、(C)筋変位センサーの動作期間を示す、入出力制御部712内のゲート信号、(D)第一の筋変位センサーの動作期間、(E)第二の筋変位センサーの動作期間、(F)第三の筋変位センサーの動作期間、(G)第七の筋変位センサーの動作期間、(H)第八の筋変位センサーの動作期間、である。(B)筋肉の収縮状態のみ縦軸は筋肉収縮の変位量であり、それ以外は全て論理値である。
時点T1101で、電極に電気刺激電圧が印加されると、筋肉は収縮を始める。筋肉の収縮が安定した時点T1102から、ゲート信号が論理の真を示し、これに呼応して筋変位センサーのスキャンが始まる。1個の筋変位センサーのデータ収集に要する時間は凡そ数msec~数十msecで終了する。全ての筋変位センサー221~228のスキャンが終了した時点T1103で、ゲート信号の論理が偽に反転し、同時に電極に対する電気刺激電圧の印加も終了する。
図11に示した、電極に電気刺激電圧を印加して筋変位センサー221~228をスキャンする動作は、8個の電極全てに対して実行される。
図11に示した、電極に電気刺激電圧を印加して筋変位センサー221~228をスキャンする動作は、8個の電極全てに対して実行される。
人間の筋肉は、外部から電極を通じて電気刺激電圧を与えると収縮する。その際、電気刺激電圧を与えてから筋肉が所定の収縮量まで収縮して安定するまでに、凡そ0.1秒程度の時間がかかる。本発明の実施形態に係る電気刺激装置100では、更にマージンを見越して、0.2秒のマージンタイムを設けている。図11の電気刺激電圧が印加される時点T1101から筋肉の収縮が安定する時点T1102までが、そのマージンタイムである。
次に、ステップS1003からS1008までの処理で作成される電極確率行列705について説明する。
図12Aは、電気刺激に対する手指の動きを示す行列の説明図である。これ以降、この行列を手指挙動行列と呼ぶ。
図12Bは、手指挙動行列から、有効な電気刺激を選択する手順を示す図である。
図12Cは、手指挙動行列から、有効な電気刺激を選択した結果を示す行列の説明図である。この行列をフラグ行列と呼ぶ。
図12Dは、フラグ行列から生成した、電極確率行列705を示す図である。
図12Aは、電気刺激に対する手指の動きを示す行列の説明図である。これ以降、この行列を手指挙動行列と呼ぶ。
図12Bは、手指挙動行列から、有効な電気刺激を選択する手順を示す図である。
図12Cは、手指挙動行列から、有効な電気刺激を選択した結果を示す行列の説明図である。この行列をフラグ行列と呼ぶ。
図12Dは、フラグ行列から生成した、電極確率行列705を示す図である。
ステップS1004において、入出力制御部712は、筋変位センサーの差分値を算出する。そして、手指の動きに対応する筋変位センサーの差分値を導き出す。ある手指の動きに対応する筋変位センサーが1個だけの場合は、そのまま当該差分値を採用する。ある手指の動きに対応する筋変位センサーが2個以上の組み合わせの場合は、各々の筋変位センサーの差分値の平均値を採用する。こうして、図12Aに示すような数値が、手指挙動行列の要素として記憶される。
図12A及び図12Bに示す手指挙動行列の行、図12Cに示すフラグ行列の行、図12Dに示す電極確率行列705の行は、上から以下の通りである。
1行目:親指を曲げた状態、すなわち親指屈曲状態。
2行目:人差指を曲げた状態、すなわち人差指屈曲状態。
3行目:中指を曲げた状態、すなわち中指屈曲状態。
4行目:薬指または小指を曲げた状態、すなわち薬指または小指屈曲状態。
5行目:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態、すなわち手首掌屈状態。
6行目:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態、すなわち手首背屈状態。
7行目:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態、すなわち手首撓屈状態。
8行目:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態、すなわち手首尺屈状態。
図12A及び図12Bに示す手指挙動行列の列、図12Cに示すフラグ行列の列、図12Dに示す電極確率行列705の列は、左から右へ、第一の電気刺激から第八の電気刺激である。
1行目:親指を曲げた状態、すなわち親指屈曲状態。
2行目:人差指を曲げた状態、すなわち人差指屈曲状態。
3行目:中指を曲げた状態、すなわち中指屈曲状態。
4行目:薬指または小指を曲げた状態、すなわち薬指または小指屈曲状態。
5行目:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態、すなわち手首掌屈状態。
6行目:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態、すなわち手首背屈状態。
7行目:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態、すなわち手首撓屈状態。
8行目:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態、すなわち手首尺屈状態。
図12A及び図12Bに示す手指挙動行列の列、図12Cに示すフラグ行列の列、図12Dに示す電極確率行列705の列は、左から右へ、第一の電気刺激から第八の電気刺激である。
次に、図10のステップS1004における、手指が動いたか否かの判定手順を説明する。
図12Bに示す手指挙動行列の、1行1列から8行1列までの要素に着目すると、上から順に「595 115 92 0 0 0 0 0」という要素で構成されている。この行の要素のうち、最大値を示す要素は1行1列の「595」である。この値を最大値配列1201に格納する。最大値配列1201は、各列の最大値を格納する配列である。
要素「595」の位置は手指挙動行列の(1,1)であり、その行(1行)は親指屈曲状態に該当する。そこで、この値「595」が、親指屈曲状態の閾値を超えているか否かを判定する。判定した結果、閾値を超えていると判ったので、手指挙動行列の1行1列の要素は有効であるとして、フラグ配列1202に論理の真を格納する。図12Bでは、「○」で記されている。
このように、手指挙動行列の各行について最大値を選んで、最大値配列1201に格納する。そして、それら要素の位置から、その要素が属する手指の動作における閾値と比較する。比較した結果、最大値が閾値以上の値であれば、フラグ配列1202に論理の真を格納する。そして、フラグ配列1202に論理の真が付された最大値配列1201の要素の位置について、フラグ行列の同じ位置に存在する要素を論理の真とする。これが図12Cのフラグ行列である。
フラグ行列の、論理が真の要素について、その要素を100%(=1)の確率とする。これが図12Dの電極確率行列705である。
図12Bに示す手指挙動行列の、1行1列から8行1列までの要素に着目すると、上から順に「595 115 92 0 0 0 0 0」という要素で構成されている。この行の要素のうち、最大値を示す要素は1行1列の「595」である。この値を最大値配列1201に格納する。最大値配列1201は、各列の最大値を格納する配列である。
要素「595」の位置は手指挙動行列の(1,1)であり、その行(1行)は親指屈曲状態に該当する。そこで、この値「595」が、親指屈曲状態の閾値を超えているか否かを判定する。判定した結果、閾値を超えていると判ったので、手指挙動行列の1行1列の要素は有効であるとして、フラグ配列1202に論理の真を格納する。図12Bでは、「○」で記されている。
このように、手指挙動行列の各行について最大値を選んで、最大値配列1201に格納する。そして、それら要素の位置から、その要素が属する手指の動作における閾値と比較する。比較した結果、最大値が閾値以上の値であれば、フラグ配列1202に論理の真を格納する。そして、フラグ配列1202に論理の真が付された最大値配列1201の要素の位置について、フラグ行列の同じ位置に存在する要素を論理の真とする。これが図12Cのフラグ行列である。
フラグ行列の、論理が真の要素について、その要素を100%(=1)の確率とする。これが図12Dの電極確率行列705である。
電極確率行列705は、ある電極に電気刺激電圧を与えると、どの手指がどの程度の確率で動くのかを示す行列である。電極確率行列705の要素として格納される確率は、ベイズ推定等の事後確率である。すなわち、図10のフローチャートにおける電極確率行列705の作成は、ベイズ推定の初回の学習である。
図10のフローチャートを実行した時点では、未だ初回の学習であるため、0または1の何れかしか存在しない。これらの値は、これより説明する2回目以降の学習モードにおいて、変動する。
図10のフローチャートを実行した時点では、未だ初回の学習であるため、0または1の何れかしか存在しない。これらの値は、これより説明する2回目以降の学習モードにおいて、変動する。
図13及び図14は、ユーザーが2回目以降に電気刺激装置100を装着した際にホスト401にて実行される、2回目以降の学習モードの動作の流れを示すフローチャートである。
処理を開始すると(S1301)、ホスト401の入出力制御部712は、先ずカウンタ変数jを1に初期化すると共に、フラグ変数MFflagを論理の偽に初期化する(S1302)。フラグ変数MFflagは、電気刺激によって手指が動いた状態が生じたことを記録するためのフラグである。
処理を開始すると(S1301)、ホスト401の入出力制御部712は、先ずカウンタ変数jを1に初期化すると共に、フラグ変数MFflagを論理の偽に初期化する(S1302)。フラグ変数MFflagは、電気刺激によって手指が動いた状態が生じたことを記録するためのフラグである。
これ以降の処理はループである。入出力制御部712は、電気刺激装置100に対し、j番目の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S1303)。そして、電気刺激装置100から受信した筋変位センサーのデータから差分値を算出し、閾値と比較して、手指の動きがあったか否かを調べる(S1304)。ステップS1303及びS1304は、図10のステップS1003及びS1004と処理内容が同じである。
もし、何れかの手指がj番目電極による電気刺激によって動いたと判定した場合には(S1305のYES)、入出力制御部712は次に、フラグ変数MFflagが論理の偽であるか否か、すなわち「この時点で初めて手指が動いたのか否か」を確認する。もし、この時点で初めて手指が動いたと判定した場合には(S1306のYES)、ホスト401の不揮発性ストレージ504に保存してある電極確率行列705をRAM503に読み出して、RAM503上の電極確率行列705の要素を行ごと及び/または列ごとに移動する(S1307)。このように、電極確率行列705の要素を移動させることで、現在ユーザーの腕に装着されている電気刺激装置100の、電極と筋肉との相対的な位置関係を、電極確率行列705に反映させる。
次に入出力制御部712は確率演算部802を稼働させて、1番目からj-1番目までの電極に対応する、電極確率行列705の要素に対し、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1308)。そして、フラグ変数MFflagを論理の真に転換し(S1309)、図14のステップS1410へ移行する。すなわち、これ以降、ステップS1005で何れかの手指が動いたと判断した後(S1005のYES)は、ステップS1006でMFflagが論理の真に転換しているので、ステップS1307、S1308及びS1309の処理を行わず、図14のステップS1410へ移行する。
次に、ステップS1307の、電極確率行列705の要素を移動することについて、図15A及び図15Bを参照して詳述する。
図15Aは、ユーザーが電気刺激装置100を初めて腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Bは、ユーザーが電気刺激装置100を再び腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Aにおいて、電極1501は、筋肉1502から離れている。筋肉1502には電極1503が近接している。筋肉1504には電極1505が近接している。なお、電極1506は電極1501、電極1503、電極1505が共通して利用する接地電極である。
図15Aは、ユーザーが電気刺激装置100を初めて腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Bは、ユーザーが電気刺激装置100を再び腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Aにおいて、電極1501は、筋肉1502から離れている。筋肉1502には電極1503が近接している。筋肉1504には電極1505が近接している。なお、電極1506は電極1501、電極1503、電極1505が共通して利用する接地電極である。
図15Aと図15Bを比べると、図15Bでは、ユーザーの腕と電気刺激装置100の電極配置面100aとの相対的な位置関係がずれている。このため、電極1501が筋肉1502に近接し、筋肉1504には電極1503が近接している。そして電極1505は筋肉1504から離れている。
このように、ユーザーの腕と電気刺激装置100の電極配置面100aとの相対的な位置関係がずれると、筋肉に相対する電極の配置も変わる。そして、この現象は手指挙動行列及びこれを基に作成されたフラグ行列の要素のずれとなって現れる。このため、先に不揮発性ストレージ504に記憶していた電極確率行列705の要素を、検出した手指挙動行列に合わせ込む必要が生じる。
このように、ユーザーの腕と電気刺激装置100の電極配置面100aとの相対的な位置関係がずれると、筋肉に相対する電極の配置も変わる。そして、この現象は手指挙動行列及びこれを基に作成されたフラグ行列の要素のずれとなって現れる。このため、先に不揮発性ストレージ504に記憶していた電極確率行列705の要素を、検出した手指挙動行列に合わせ込む必要が生じる。
図16Aは、2回目以降の学習モードによって作成された、手指挙動行列の例である。
図16Bは、図16Aの手指挙動行列に基づいて作成された、仮想的な電極確率行列705である。
図16Cは、図12Dの電極確率行列705である。
図16Dは、図16Cの電極確率行列705を並べ替えた行列である。
先ず、図16Cの電極確率行列705は、図12Dにおいて説明したように、第一回目の学習モードにおいて作成された行列データである。これに対し、図16Bに示す仮想的な電極確率行列705は、第二回目の学習モードによって作成された行列データである。
図16Bは、図16Aの手指挙動行列に基づいて作成された、仮想的な電極確率行列705である。
図16Cは、図12Dの電極確率行列705である。
図16Dは、図16Cの電極確率行列705を並べ替えた行列である。
先ず、図16Cの電極確率行列705は、図12Dにおいて説明したように、第一回目の学習モードにおいて作成された行列データである。これに対し、図16Bに示す仮想的な電極確率行列705は、第二回目の学習モードによって作成された行列データである。
一見すると、行列データを見比べるだけでは、第二回目の学習モードにおけるユーザーの腕と電気刺激装置100との相対的な位置関係(図16B)が、第一回目の学習モードにおけるユーザーの腕と電気刺激装置100との相対的な位置関係(図16C)に対してどれだけずれたのかが判らないようにも思える。しかし、この行列データの左上の、手指が動いた要素(「1」の要素)に注目すると、第一回目の学習モードにおいて、初めて手指が動いた時点の要素の位置(P1603)と、第二回目の学習モードにおいて、初めて手指が動いた時点の要素の位置(P1601)とで、位置にずれが生じていることが明確に判る。すなわち、前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係と、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係とのずれが、要素の位置のずれとして明確に判る。
先に説明したように、電極確率行列705は、電極と手指の動きとの相関関係を確率で表す行列データである。確率はベイズ推定によるベイズ事後確率を適用する。しかし、ベイズ推定以前に、前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係と、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係とのずれが、電極確率行列705に現れたままでは、学習の精度が著しく落ちてしまう。そこでホスト401の入出力制御部712は、不揮発性ストレージ504から読み出してRAM503に保持した電極確率行列705を、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係に合わせて、行列の要素を入れ替える。図16Cの場合、要素P1603の位置(1,1)が、図16Bの要素P1601の位置(1,2)と同じ位置になるように、図16Cの電極確率行列705の列を右方向に1列ずらす。すると、図16Cの要素群A1604が、図16Bの要素群A1602と同じ位置に配置され、図16Cの要素群A1605は要素群A1604の移動に伴い弾き出され、空白となった電極確率行列705の左端1列に配置される。これが図16Dの電極確率行列705である。
なお、ステップS1308の処理は、図16Dにおける要素群A1605を更新する処理である。
なお、ステップS1308の処理は、図16Dにおける要素群A1605を更新する処理である。
図13のステップS1307における、電極確率行列705の左上に存在する、有効な電気刺激を示す要素を探す、という処理は、わかりやすさのために、電極に対して順番に電気刺激電圧を印加すると、最初に最も小さい番号の手指の動きが生じる前提で、電極確率行列705を構成していた。但し、これは便宜的なものであるので、電極に対して順番に電気刺激電圧を印加して、最初に検出した手指の動きに該当する電極確率行列705の要素を参照すればよい。
なお、図13のステップS1306にて、初めて動いた手指が親指屈曲状態ではない場合、現在のユーザーの腕と電気刺激装置100との相対的な位置関係において、何れの電極も親指屈曲状態を生じさせてない。すなわち、電極の配置が親指の屈曲に失敗している。このような場合には、初めて動いた手指に対応する、電極確率行列705の同じ行の要素を参照する。つまり、電極確率行列705の親指屈曲状態を示す1行目を無視する。電極確率行列705は列単位でのみ並べ替えを行い、行単位での並べ替えは行わない。
再び、図13及び図14に戻って、フローチャートの説明を続ける。
ステップS1309の後、またはステップS1306でフラグ変数MFflagが論理の真であった場合(S1306のNO)、図14の処理に移行する。
図14に示すように、入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する電極確率行列705の要素に対し、手指が動いた要素については手指が動いた旨のベイズ事後確率「P(x|j)」を演算する。また、手指が動かなかった要素については、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1410)。
ステップS1309の後、またはステップS1306でフラグ変数MFflagが論理の真であった場合(S1306のNO)、図14の処理に移行する。
図14に示すように、入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する電極確率行列705の要素に対し、手指が動いた要素については手指が動いた旨のベイズ事後確率「P(x|j)」を演算する。また、手指が動かなかった要素については、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1410)。
そして、入出力制御部712はカウンタ変数jがjの最大値、すなわち電極の合計数に至ったか否かを確認する。カウンタ変数jが電極の合計数に至っていない場合には(S1411のNO)、入出力制御部712はカウンタ変数jを1インクリメントして(S1412)、再度ステップS1303から処理を繰り返す。
ステップS1411においてカウンタ変数jが電極の合計数に至っている場合には(S1411のYES)、入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存して、電気刺激装置100へ送信して(S1413)、一連の処理を終了する(S1414)。
ステップS1411においてカウンタ変数jが電極の合計数に至っている場合には(S1411のYES)、入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存して、電気刺激装置100へ送信して(S1413)、一連の処理を終了する(S1414)。
図13に戻って、ステップS1305において何れの手指も動いていない場合には(S1305のNO)、次に入出力制御部712はフラグ変数MFflagが論理の偽であるか否か、すなわちこの時点でまだ手指が動いていないのか否かを確認する(S1415)。まだ手指が動いていない場合には(S1415のYES)、そのまま何もせずにステップS1411の、カウンタ変数jの確認を行う。
ステップS1415において、フラグ変数MFflagが論理の真である、すなわちこの時点で既に手指が動いていたのであれば(S1415のNO)、入出力制御部712は入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する全ての電極確率行列705の要素に対し、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1416)。そして、ステップS1411の、カウンタ変数jの確認を行う。
ステップS1415において、フラグ変数MFflagが論理の真である、すなわちこの時点で既に手指が動いていたのであれば(S1415のNO)、入出力制御部712は入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する全ての電極確率行列705の要素に対し、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1416)。そして、ステップS1411の、カウンタ変数jの確認を行う。
ステップS1415の判定は、ステップS1307における電極確率行列705の並べ替えが行われたか否かを判定するための処理である。前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係を示す電極確率行列705を、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係に合わせなければ、電極確率行列705に対し、ベイズ推定による学習を正しく遂行できない。したがって、ステップS1307の処理が完遂するまでは、ベイズ推定演算を行わない(S1415のYES)が、ステップS1307の処理が完遂した後は、ベイズ推定演算を行う(S1308、S1410、S1415のNOからS1416)。
本発明の実施形態に係る電気刺激装置100は、8個の筋変位センサーと8個の電極で構成しているが、筋変位センサーと電極の個数は必ずしも8個である必要はない。むしろ、筋変位センサーと電極の数は多ければ多い程、筋肉の収縮状態の検出と、筋肉の収縮制御を、より精緻に遂行できる。
図17は、一般化した電極確率行列705の一例を示す図である。ユーザーが電気刺激装置100を繰り返し使用すると、その度にユーザーの腕に対する電気刺激装置100の着脱が繰り返される。すなわち、電気刺激装置100をユーザーの腕に着脱する都度、学習モードが実行される。そして、その学習モードが繰り返し実行されると、結果として、ある電極と手指の動きとの相関関係が定まることとなる。電極確率行列705の各要素は、x行j列についてベイズ事後確率「P(x|j)」が格納される。
図17は、一般化した電極確率行列705の一例を示す図である。ユーザーが電気刺激装置100を繰り返し使用すると、その度にユーザーの腕に対する電気刺激装置100の着脱が繰り返される。すなわち、電気刺激装置100をユーザーの腕に着脱する都度、学習モードが実行される。そして、その学習モードが繰り返し実行されると、結果として、ある電極と手指の動きとの相関関係が定まることとなる。電極確率行列705の各要素は、x行j列についてベイズ事後確率「P(x|j)」が格納される。
以上に説明した本発明の実施形態は、以下の様な応用が可能である。
(1)一家に1台、電気刺激装置100を導入することを仮定する。お父さん、お母さん、子供のそれぞれ、腕の太さは異なる。したがって、1台の電気刺激装置100を複数のユーザーで共有する場合には、ホスト401にユーザー認証の機能を設け、電極確率行列705をユーザーIDと紐付けることが好ましい。
ユーザー認証は、ユーザーを一意に識別する機能を有する手段であれば何でもよい。例えば、キーボードを用いた一般的なパスワード認証の他、指紋、静脈、虹彩等の生体認証等が利用可能である。指紋や静脈を用いた生体認証のユニットは、電気刺激装置100の回路収納ボックス103に収納すると使い勝手がよい。
また、このユーザー認証機能は、アプリケーションプログラムであるところの情報処理部713のユーザー認証機能と統合されていると、電気刺激装置100のユーザー認証とアプリケーションプログラムのユーザー認証を一元化できるので、更に使い勝手がよくなることが期待できる。この場合、ユーザーIDが、情報処理部713のユーザーデータと、電気刺激装置100の電極確率行列705と紐付くこととなる。
すなわち、ホスト401にインストールされる電気刺激装置100のデバイスドライバプログラムにユーザー認証機能を含め、アプリケーションプログラムがこのデバイスドライバプログラムのユーザー認証機能を利用することで、電気刺激装置100の複数ユーザー共有化と、ユーザー認証の一元化が実現できる。
(1)一家に1台、電気刺激装置100を導入することを仮定する。お父さん、お母さん、子供のそれぞれ、腕の太さは異なる。したがって、1台の電気刺激装置100を複数のユーザーで共有する場合には、ホスト401にユーザー認証の機能を設け、電極確率行列705をユーザーIDと紐付けることが好ましい。
ユーザー認証は、ユーザーを一意に識別する機能を有する手段であれば何でもよい。例えば、キーボードを用いた一般的なパスワード認証の他、指紋、静脈、虹彩等の生体認証等が利用可能である。指紋や静脈を用いた生体認証のユニットは、電気刺激装置100の回路収納ボックス103に収納すると使い勝手がよい。
また、このユーザー認証機能は、アプリケーションプログラムであるところの情報処理部713のユーザー認証機能と統合されていると、電気刺激装置100のユーザー認証とアプリケーションプログラムのユーザー認証を一元化できるので、更に使い勝手がよくなることが期待できる。この場合、ユーザーIDが、情報処理部713のユーザーデータと、電気刺激装置100の電極確率行列705と紐付くこととなる。
すなわち、ホスト401にインストールされる電気刺激装置100のデバイスドライバプログラムにユーザー認証機能を含め、アプリケーションプログラムがこのデバイスドライバプログラムのユーザー認証機能を利用することで、電気刺激装置100の複数ユーザー共有化と、ユーザー認証の一元化が実現できる。
(2)図10、図13及び図14に示したフローチャートでは、電極に電気刺激を与えた後、筋変位センサーのデータを取り込み、手指の動きを調べてから逐次的に判定及び学習処理を進めたが、先ず電極に電気刺激を与え、筋変位センサーのデータを取り込む作業を全ての電極に対して実行し、予め手指挙動行列を作成してから、判定及び学習処理を行ってもよい。勿論、その際にも図13のステップS1307は必須である。
(3)本発明の実施形態に係る電気刺激装置100では、学習アルゴリズムにベイズ推定を採用したが、学習アルゴリズムはこれに限られない。例えば、サポートベクターマシン等、他の教師あり学習アルゴリズムを用いてもよい。
本実施形態においては、電気刺激装置100及び電気刺激システム400を開示した。
電極による電気刺激と手指の動きとの相関関係を明らかにするため、電極がどの手指の動きに該当するのかを示すベイズ事後確率が要素として記述された電極確率行列705をホスト401で作成して、電気刺激装置100へ転送する。2回目以降の学習モードでは、直前の電極確率行列705を現在のユーザーの腕における電気刺激装置100の装着状態に合わせ込むために、電極確率行列705の左上に存在する手指の動きが生じた要素の位置を比較して、必要に応じて電極確率行列705の列を並べ替える。
このように電気刺激装置100とホスト401を構成することで、ユーザーの腕に装着した状態にかかわらず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置100と、電気刺激システム400が実現できる。
電極による電気刺激と手指の動きとの相関関係を明らかにするため、電極がどの手指の動きに該当するのかを示すベイズ事後確率が要素として記述された電極確率行列705をホスト401で作成して、電気刺激装置100へ転送する。2回目以降の学習モードでは、直前の電極確率行列705を現在のユーザーの腕における電気刺激装置100の装着状態に合わせ込むために、電極確率行列705の左上に存在する手指の動きが生じた要素の位置を比較して、必要に応じて電極確率行列705の列を並べ替える。
このように電気刺激装置100とホスト401を構成することで、ユーザーの腕に装着した状態にかかわらず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置100と、電気刺激システム400が実現できる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の揮発性あるいは不揮発性のストレージ、または、ICカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100…電気刺激装置、101…バンド、102…左側部、103…回路収納ボックス、104…第一シリアルインターフェース端子、150…演算処理部、201、202、203、204、205、206、207、208、211、212、213、216…電極、217…電極、221、223、227…筋変位センサー、231…右側電極配置箇所、232…中央電極配置箇所、233…左側電極配置箇所、400…電気刺激システム、401…ホスト、402…近距離無線通信部、501…CPU、502…ROM、503…RAM、504…不揮発性ストレージ、505…表示部、506…操作部、507…バス、601…バス、602…CPU、603…ROM、604…RAM、605…A/D変換器、606…第二シリアルインターフェース、607…ワンチップマイコン、608…第一マルチプレクサ、610…第二マルチプレクサ、612…6軸センサー、613…近距離無線通信部、614…第一シリアルインターフェース、615…昇圧回路、616…PWMスイッチ、617…第三マルチプレクサ、701…入出力制御部、702…近距離無線送信部、703…指電極対応変換部、704…近距離無線受信部、705…電極確率行列、711…近距離無線受信部、712…入出力制御部、713…情報処理部、714…近距離無線送信部、801…センサー値記憶部、802…確率演算部、803…タイマー、1201…最大値配列、1202…フラグ配列
Claims (4)
- ユーザーの腕に巻き付けられるバンドと、
前記バンドの一方の面に配置されている複数の電極と、
前記複数の電極から一の電極を選択するマルチプレクサと、
ホストから手指を動かす命令を受信する近距離無線受信部と、
手指の動きと前記複数の電極との対応関係が確率で記述されている電極確率行列と、
前記手指を動かす命令に基づき、前記電極確率行列から最大の確率を示す電極を特定して、前記マルチプレクサを制御して前記特定した電極を選択する指電極対応変換部と
を具備する、電気刺激装置。 - 更に、
前記バンドの、前記複数の電極が配置されている面に、前記複数の電極に隣接して複数個配置されて、前記ユーザーの腕の筋肉の変位を検出する筋変位センサーと、
前記筋変位センサーから得られる、前記ユーザーの腕の筋肉の変位に係る信号をデジタル化して前記ホストに送信する近距離無線送信部と
を具備する、請求項1に記載の電気刺激装置。 - 電気刺激装置と、
前記電気刺激装置に電気刺激を生じる命令を送信するホストと
を有する電気刺激システムであって、
前記電気刺激装置は、
ユーザーの腕に巻き付けられるバンドと、
前記バンドの一方の面に配置されて前記ユーザーの腕の筋肉の変位を検出する複数の筋変位センサーと、
前記複数の筋変位センサーから一の筋変位センサーを選択するセンサー用マルチプレクサと、
前記バンドの、前記複数の筋変位センサーが配置されている面に、前記複数の筋変位センサーに隣接して複数個配置されている電極と、
前記複数の電極から一の電極を選択する電極用マルチプレクサと、
前記ホストから手指を動かす命令を受信する近距離無線受信部と、
前記筋変位センサーから得られる、前記ユーザーの腕の筋肉の変位に係る信号をデジタルデータに変換して前記ホストに送信する近距離無線送信部と、
手指の動きと前記複数の電極との対応関係が確率で記述されている電極確率行列と、
前記手指を動かす命令に基づき、前記電極確率行列から最大の確率を示す電極を特定して、前記マルチプレクサを制御して前記特定した電極を選択する指電極対応変換部と
を具備し、
前記ホストは、
前記電気刺激装置から前記筋変位センサーのデータを受信する近距離無線受信部と、
前記電極確率行列と、
前記筋変位センサーのデータを前記ユーザーの手指の動きに変換した上で、現在の前記ユーザーの腕と前記電気刺激装置の相対的な位置関係のずれを検出して前記電極確率行列の要素を並べ替えた上で、前記電極確率行列の要素を更新する入出力制御部と、
更新した前記電極確率行列を前記電気刺激装置へ送信する近距離無線送信部と
を具備する、電気刺激システム。 - 前記ホストは更に、
前記電極確率行列の要素を、学習アルゴリズムに基づく事後確率を計算して更新する確率演算部と
を具備する、請求項3に記載の電気刺激システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201780015484.9A CN108697894B (zh) | 2016-03-10 | 2017-03-10 | 电刺激装置和电刺激系统 |
| US16/081,849 US10500396B2 (en) | 2016-03-10 | 2017-03-10 | Electrical stimulation system |
| CN201910398242.3A CN110124194B (zh) | 2016-03-10 | 2017-03-10 | 电刺激装置及其电极概率矩阵的校准方法和电刺激系统的肌肉位移传感器校准方法 |
| EP17763425.0A EP3427793B1 (en) | 2016-03-10 | 2017-03-10 | Electrical stimulation system |
| US16/680,586 US11389651B2 (en) | 2016-03-10 | 2019-11-12 | Electrical stimulation system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-047583 | 2016-03-10 | ||
| JP2016047583A JP6334588B2 (ja) | 2016-03-10 | 2016-03-10 | 電気刺激システム |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/081,849 A-371-Of-International US10500396B2 (en) | 2016-03-10 | 2017-03-10 | Electrical stimulation system |
| US16/680,586 Continuation US11389651B2 (en) | 2016-03-10 | 2019-11-12 | Electrical stimulation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017155085A1 true WO2017155085A1 (ja) | 2017-09-14 |
Family
ID=59790421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/009707 Ceased WO2017155085A1 (ja) | 2016-03-10 | 2017-03-10 | 電気刺激装置及び電気刺激システム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10500396B2 (ja) |
| EP (1) | EP3427793B1 (ja) |
| JP (1) | JP6334588B2 (ja) |
| CN (2) | CN108697894B (ja) |
| WO (1) | WO2017155085A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020121816A1 (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 電気刺激装置 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3498332B1 (en) | 2013-01-21 | 2021-07-14 | Cala Health, Inc. | Devices for controlling tremor |
| US12453853B2 (en) | 2013-01-21 | 2025-10-28 | Cala Health, Inc. | Multi-modal stimulation for treating tremor |
| AU2015271774B2 (en) | 2014-06-02 | 2020-04-16 | Cala Health, Inc. | Systems and methods for peripheral nerve stimulation to treat tremor |
| CN119565022A (zh) | 2015-06-10 | 2025-03-07 | 卡拉健康公司 | 用于外周神经刺激以利用可拆卸治疗和监测单元治疗震颤的系统和方法 |
| WO2017023864A1 (en) | 2015-07-31 | 2017-02-09 | Cala Health, Inc. | Systems, devices, and method for the treatment of osteoarthritis |
| EP3352843B1 (en) | 2015-09-23 | 2021-06-23 | Cala Health, Inc. | Device for peripheral nerve stimulation in the finger to treat hand tremors |
| WO2017132067A2 (en) | 2016-01-21 | 2017-08-03 | Cala Health, Inc. | Systems, methods and devices for peripheral neuromodulation for treating diseases related to overactive bladder |
| CN109803717B (zh) | 2016-08-25 | 2024-01-09 | 卡拉健康公司 | 通过周围神经刺激治疗心脏机能障碍的系统和方法 |
| EP3544495A4 (en) * | 2016-11-25 | 2020-08-19 | Kinaptic, LLC | HAPTIC HUMAN-MACHINE INTERFACE AND METHODS AND APPARATUS WITH PORTABLE ELECTRONIC ELEMENTS |
| EP3606604A4 (en) | 2017-04-03 | 2020-12-16 | Cala Health, Inc. | PERIPHERAL NEUROMODULATION SYSTEMS, METHODS AND DEVICES FOR THE TREATMENT OF DISEASES ASSOCIATED WITH BLADDER HYPERACTIVITY |
| US11857778B2 (en) | 2018-01-17 | 2024-01-02 | Cala Health, Inc. | Systems and methods for treating inflammatory bowel disease through peripheral nerve stimulation |
| US12251560B1 (en) | 2019-08-13 | 2025-03-18 | Cala Health, Inc. | Connection quality determination for wearable neurostimulation systems |
| JP7281810B2 (ja) * | 2019-09-10 | 2023-05-26 | H2L株式会社 | 映像表示システム |
| US11890468B1 (en) | 2019-10-03 | 2024-02-06 | Cala Health, Inc. | Neurostimulation systems with event pattern detection and classification |
| CN110694171B (zh) * | 2019-10-11 | 2020-11-06 | 北京京一合符医药科技发展有限公司 | 基于主动循环运动的肌肉电刺激快速自适应控制方法 |
| US12031982B2 (en) | 2020-04-19 | 2024-07-09 | John J. Daniels | Using exhaled breath condensate for testing for a biomarker of COVID-19 |
| US12369816B2 (en) | 2020-04-19 | 2025-07-29 | John J. Daniels | Mask-based diagnostic system using exhaled breath condensate |
| US12442726B2 (en) | 2020-04-19 | 2025-10-14 | John J. Daniels | Mask-based testing system for detecting biomarkers in exhaled breath condensate, aerosols and gases |
| US12533047B2 (en) | 2020-04-19 | 2026-01-27 | John J. Daniels | Mask-based diagnostic system using exhaled breath condensate |
| WO2022113225A1 (ja) * | 2020-11-26 | 2022-06-02 | 日本電信電話株式会社 | 触覚装置およびシステム |
| CN114602057B (zh) * | 2022-03-07 | 2025-08-15 | 杭州范斯凯科技有限公司 | 多路电极微型电刺激系统及缓解震颤手环 |
| KR102833115B1 (ko) * | 2022-11-25 | 2025-07-11 | 주식회사 메리핸드 | 중주파 fes를 이용한 손가락 재활훈련 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7184837B2 (en) * | 2003-09-15 | 2007-02-27 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using bayesian networks |
| US20110264002A1 (en) * | 2008-12-05 | 2011-10-27 | Koninklijke Philips Electronics N.V. | Electrical stimulation device for locating an electrical stimulation point and method |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6244873B1 (en) * | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
| US7162305B2 (en) * | 2002-10-23 | 2007-01-09 | The Hong Kong Polytechnic University | Functional electrical stimulation system |
| US7725175B2 (en) * | 2002-12-04 | 2010-05-25 | Kinetic Muscles, Inc. | System and method for neuromuscular reeducation |
| CN1819855A (zh) * | 2003-05-13 | 2006-08-16 | 萨瓦柯公司 | 检测、诊断和治疗心血管疾病的系统和方法 |
| WO2004106570A1 (en) | 2003-05-28 | 2004-12-09 | Pechiney Rolled Products | New al-cu-li-mg-ag-mn-zr alloy for use as stractural members requiring high strength and high fracture toughness |
| CN1846805B (zh) * | 2005-04-11 | 2011-09-07 | 香港理工大学 | 功能电刺激系统及其方法 |
| US7593776B2 (en) * | 2006-07-05 | 2009-09-22 | University Of Southern California | Flexible communication and control protocol for a wireless sensor and microstimulator network |
| CN101041101A (zh) * | 2007-03-15 | 2007-09-26 | 南京航空航天大学 | 便携式自适应功能电刺激系统及电刺激方法 |
| US9757266B2 (en) * | 2010-06-01 | 2017-09-12 | Saebo, Inc. | Orthotic device |
| KR20140013043A (ko) * | 2011-03-24 | 2014-02-04 | 캘리포니아 인스티튜트 오브 테크놀로지 | 신경자극기 |
| CN102526874A (zh) * | 2012-01-06 | 2012-07-04 | 上海交通大学 | 精确控制手指活动的佩戴式辅助电刺激系统 |
| JP6234669B2 (ja) | 2012-11-29 | 2017-11-22 | H2L株式会社 | 電気刺激装置 |
| EP3498332B1 (en) | 2013-01-21 | 2021-07-14 | Cala Health, Inc. | Devices for controlling tremor |
| JP6251302B2 (ja) * | 2016-01-27 | 2017-12-20 | H2L株式会社 | 電気刺激装置 |
-
2016
- 2016-03-10 JP JP2016047583A patent/JP6334588B2/ja active Active
-
2017
- 2017-03-10 WO PCT/JP2017/009707 patent/WO2017155085A1/ja not_active Ceased
- 2017-03-10 EP EP17763425.0A patent/EP3427793B1/en active Active
- 2017-03-10 CN CN201780015484.9A patent/CN108697894B/zh active Active
- 2017-03-10 CN CN201910398242.3A patent/CN110124194B/zh active Active
- 2017-03-10 US US16/081,849 patent/US10500396B2/en active Active
-
2019
- 2019-11-12 US US16/680,586 patent/US11389651B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7184837B2 (en) * | 2003-09-15 | 2007-02-27 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using bayesian networks |
| US20110264002A1 (en) * | 2008-12-05 | 2011-10-27 | Koninklijke Philips Electronics N.V. | Electrical stimulation device for locating an electrical stimulation point and method |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3427793A4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020121816A1 (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 電気刺激装置 |
| JP2020092762A (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 電気刺激装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017158895A (ja) | 2017-09-14 |
| JP6334588B2 (ja) | 2018-05-30 |
| US20190076647A1 (en) | 2019-03-14 |
| CN108697894A (zh) | 2018-10-23 |
| EP3427793A1 (en) | 2019-01-16 |
| CN110124194A (zh) | 2019-08-16 |
| US10500396B2 (en) | 2019-12-10 |
| CN108697894B (zh) | 2019-05-03 |
| US11389651B2 (en) | 2022-07-19 |
| EP3427793A4 (en) | 2019-11-13 |
| CN110124194B (zh) | 2023-07-28 |
| US20200147373A1 (en) | 2020-05-14 |
| EP3427793B1 (en) | 2020-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6334588B2 (ja) | 電気刺激システム | |
| CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
| US10758158B2 (en) | System and method for rehabilitation exercise of the hands | |
| US20150109202A1 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
| US9612661B2 (en) | Closed loop feedback interface for wearable devices | |
| Shen et al. | Self‐powered smart gloves based on triboelectric nanogenerators | |
| US20140134575A1 (en) | Wearable device to represent braille and control method thereof | |
| EP3660633A1 (en) | Hand-worn data-input device | |
| KR20090026977A (ko) | 휴대용 단말기의 조작제어장치 및 그 방법 | |
| JP6344032B2 (ja) | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム | |
| KR102347725B1 (ko) | 웨어러블 장치 | |
| JP6620329B2 (ja) | 電気刺激装置、電気刺激装置の電極確率行列を較正する方法及びセンサーシステムの筋変位センサー較正方法 | |
| HK1259927A1 (en) | Electrical stimulation device and electrical stimulation system | |
| HK1259927B (en) | Electrical stimulation device and electrical stimulation system | |
| CN111176422B (zh) | 智能穿戴设备及其操作方法、计算机可读存储介质 | |
| CN116820237A (zh) | 手势控制方法、可穿戴设备、计算机可读介质 | |
| KR20220017340A (ko) | 제스처를 인식하는 전자 장치 및 그 동작 방법 | |
| KR20240000207A (ko) | 제스처 감지 센서, 리더모듈, 및 제스처 감지 시스템 | |
| KR101771927B1 (ko) | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 | |
| KR20190097789A (ko) | 대전과 정전기 유도 현상을 이용한 웨어러블 입출력 장치 | |
| CN116360592A (zh) | 智能仿生手的控制方法、设备、智能仿生手及存储介质 | |
| KR20220127514A (ko) | 전극을 이용하여 기능을 수행하는 방법 및 이를 지원하는 전자 장치 | |
| CN121116043A (zh) | 智能指环及控制方法、智能系统 | |
| KR20250118737A (ko) | 투사 화면 제공 방법 및 이를 수행하는 링 전자 장치 | |
| KR20260032118A (ko) | 개인 의료 정보에 기반해서 웨어러블 장치를 제어하는 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2017763425 Country of ref document: EP |
|
| ENP | Entry into the national phase |
Ref document number: 2017763425 Country of ref document: EP Effective date: 20181010 |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17763425 Country of ref document: EP Kind code of ref document: A1 |