WO2022176221A1 - 信号処理装置、信号処理システムおよび信号処理プログラム - Google Patents

信号処理装置、信号処理システムおよび信号処理プログラム Download PDF

Info

Publication number
WO2022176221A1
WO2022176221A1 PCT/JP2021/018307 JP2021018307W WO2022176221A1 WO 2022176221 A1 WO2022176221 A1 WO 2022176221A1 JP 2021018307 W JP2021018307 W JP 2021018307W WO 2022176221 A1 WO2022176221 A1 WO 2022176221A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
electrocardiogram
vibration signal
biological vibration
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018307
Other languages
English (en)
French (fr)
Inventor
正巳 鐘ケ江
久一 新関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Health Sensing Co ltd
Original Assignee
Health Sensing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Health Sensing Co ltd filed Critical Health Sensing Co ltd
Priority to US17/613,362 priority Critical patent/US11730397B2/en
Priority to EP21926650.9A priority patent/EP4176801B1/en
Priority to JP2021560207A priority patent/JP7121893B1/ja
Priority to JP2022129439A priority patent/JP7302928B2/ja
Publication of WO2022176221A1 publication Critical patent/WO2022176221A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1102—Ballistocardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/319—Circuits for simulating ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/35—Detecting specific parameters of the electrocardiograph cycle by template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/353—Detecting P-waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/355—Detecting T-waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present invention relates to a signal processing device, a signal processing system, and a signal processing program that output a signal conforming to an electrocardiogram based on a biological vibration signal containing vibrations derived from heartbeats.
  • PVDF polyvinylidene fluoride
  • a PVDF material which is a piezoelectric polymer, generates electric polarization when the displacement of ions arranged in lattice crystals increases due to pressure or deformation.
  • the piezoelectric element is sandwiched between a positive electrode and a negative electrode in the thickness direction. An electrical signal is extracted from the piezoelectric element by current-voltage conversion of the charge accumulated in the positive electrode and the negative electrode.
  • this piezoelectric sensor can acquire the biological vibration signal.
  • the biological vibration signals to be acquired include pulse wave (pressure pulse wave), vibration due to ballistocardiography, vibration due to respiration, vibration due to body movement, vibration due to vocalization, vibration due to snoring, and the like (see, for example, Non-Patent Document 1). .
  • Patent Literature 1 describes a blood pressure estimation device that estimates blood pressure using a convolutional neural network (CNN).
  • Non-Patent Document 2 describes sleep stage classification from heart rate variability using an LSTM (Long short-term memory) neural network.
  • An electrocardiogram indicates the electrical activity of the heart, and the heartbeat interval and heart rate can be obtained from the signal of the electrocardiogram.
  • ECG electrocardiogram
  • the electrodes of the electrocardiograph must be attached to the extremities, chest, and the like. Therefore, it is a heavy burden to continuously measure an electrocardiogram on a daily basis.
  • a piezoelectric sensor is installed, for example, on a bed or chair to unrestrain the person to be measured, or attached to a wristband, belt, wristwatch, ring, headband, etc., which is worn by the person to be measured to generate a biological vibration signal. can be obtained.
  • the bio-vibration signal obtained from the piezoelectric sensor contains vibrations due to pulse waves (pressure pulse waves) and ballistic motion.
  • pulse waves and ballistocardiography are derived from heartbeats, their waveforms are not as sharp as the R waves of an electrocardiogram.
  • Several methods have been known for obtaining heartbeat intervals from pulse wave and ballistocardiographic signals. For example, pulse wave and ballistocardiographic signals are subjected to full-wave rectification integration and then obtained from changes in instantaneous phase. There are methods, etc.
  • the waveform of the pulse wave and the ballistocardiogram may be distorted, and the heartbeat interval and heart rate cannot be determined by the conventional method.
  • An object of the present invention is to provide a signal processing apparatus and a signal processing system for outputting a signal conforming to an electrocardiogram signal based on a biovibration signal including vibrations derived from heartbeats, and which is easy to determine heartbeat interval and heartbeat rate. and to provide a signal processing program.
  • the signal processing device of the present invention includes: An electrocardiogram signal of a sample acquired by an electrocardiograph is used as teacher data, and a biovibration signal of the sample acquired by a biovibration signal acquisition device at the same time as the electrocardiogram signal, and a pulsation vibration signal derived from heartbeats is used.
  • an estimation model generated by machine learning by inputting a model input signal that has been subjected to predetermined processing to the biological vibration signal including the biological vibration signal, and the biological vibration signal acquired from the estimation target by the biological vibration signal acquisition device
  • An estimating unit that outputs an estimated electrocardiogram signal of an electrocardiogram estimated by the estimation model when a model input signal obtained by subjecting the vibration signal to the predetermined processing is input to the estimation model.
  • the signal processing device of the present invention comprises
  • the model input signal is the biological vibration signal, a differential signal of the biological vibration signal, a pulsating vibration signal extracted from the biological vibration signal, or a differential signal of the pulsating vibration signal, or any of the above is a signal obtained by applying an absolute value to the signal of .
  • the signal processing device of the present invention comprises The predetermined processing includes processing to pass the biological vibration signal, processing to pass the biological vibration signal through a high-pass filter having a cutoff frequency of 0.5 Hz, and setting a frequency suitable for extracting a heart sound signal from the biological vibration signal as a cutoff frequency.
  • a high-pass filter or processing of passing through a band-pass filter (BPF) whose passband of the biological vibration signal is 0.5 Hz to 40 Hz, either or both of differentiation and absolute value , and finally normalization.
  • BPF band-pass filter
  • the signal processing device of the present invention comprises A high-pass filter suitable for extracting a heart sound signal from the biological vibration signal has a cutoff frequency of 20 Hz to 40 Hz.
  • the signal processing device of the present invention comprises a post-processing unit that obtains a heartbeat interval based on the estimated electrocardiogram signal output by the estimating unit, and deletes a heartbeat part that is the abnormal interval from the estimated electrocardiogram signal if the heartbeat interval is abnormal; .
  • the signal processing device of the present invention comprises
  • the biological vibration signal acquisition device is a piezoelectric sensor.
  • the signal processing device of the present invention comprises
  • the biological vibration signal acquisition device is an acceleration sensor.
  • the signal processing device of the present invention comprises
  • the biological vibration signal acquisition device is a piezoelectric plethysmograph or a photoplethysmograph.
  • the signal processing device of the present invention comprises
  • the biological vibration signal acquisition device is a phonocardiograph.
  • the signal processing system of the present invention is a signal processing device as described above; an electrocardiograph for obtaining an electrocardiogram signal of the sample; a biological signal acquisition device that acquires a biological vibration signal from the sample and the estimation target; The electrocardiogram signal of the sample acquired by the electrocardiograph is used as teacher data, and the bio-vibration signal of the sample acquired by the bio-vibration signal acquisition device at the same time as the electrocardiogram signal, the pulsatile vibration derived from the beating of the heart.
  • an estimation model generating device having a learning unit that generates the estimation model by inputting the model input signal that has been subjected to the predetermined processing to the biological vibration signal containing the signal and performing machine learning; Prepare.
  • the signal processing program of the present invention is The computer uses an electrocardiogram signal of a sample acquired by an electrocardiograph as training data, and a biological vibration signal of the sample acquired by a biological vibration signal acquisition device at the same time as the electrocardiogram signal, and the pulsatile vibration derived from the heartbeat It has an estimation model generated by machine learning by inputting a model input signal that has been subjected to predetermined processing to the biological vibration signal including the signal, and is acquired from the estimation target by the biological vibration signal acquisition device. estimating means for outputting an estimated electrocardiogram signal of an electrocardiogram estimated by the estimation model when the model input signal obtained by subjecting the biological vibration signal to the predetermined processing to the estimation model is input to the estimation model; function as
  • the present invention it is possible to generate a signal that is similar to an electrocardiogram signal and that makes it easy to determine the heartbeat interval and heart rate, based on a biological vibration signal that includes vibrations derived from heartbeats.
  • FIG. 3 is a diagram showing a model input signal of an estimation target A, waveforms of measured electrocardiogram signals of the estimation target A, and waveforms of estimated electrocardiogram signals;
  • FIG. 3(A) shows the model input signal of the estimation target A.
  • FIG. 3B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target A.
  • FIG. FIG. 3 is a diagram showing a model input signal of an estimation target A, waveforms of measured electrocardiogram signals of the estimation target A, and waveforms of estimated electrocardiogram signals;
  • FIG. 3(A) shows the model input signal of the estimation target A.
  • FIG. 3B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target A.
  • FIG. 10 is a diagram showing a heartbeat interval (RRI) obtained from an actually measured electrocardiogram signal and a heartbeat interval (BBI) obtained from an estimated electrocardiogram when the model input signal is a beat vibration signal for an estimation target A; . 3 is a diagram showing a model input signal of an estimation target B, waveforms of measured electrocardiogram signals and waveforms of estimated electrocardiogram signals of the estimation target B; FIG. FIG. 5A shows the model input signal of the estimation target B.
  • FIG. FIG. 5B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target B.
  • FIG. 10 is a diagram showing a heartbeat interval (RRI) obtained from an actually measured electrocardiogram signal and a heartbeat interval (BBI) obtained from an estimated electrocardiogram when the model input signal is a beat vibration signal for an estimation target B; . 3 is a diagram showing a model input signal of an estimation target C, waveforms of measured electrocardiogram signals of the estimation target C, and waveforms of estimated electrocardiogram signals; FIG. FIG. 7A shows the model input signal of the estimation target C.
  • FIG. FIG. 7B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target C.
  • FIG. 10 is a diagram showing a heartbeat interval (RRI) obtained from a measured electrocardiogram signal and a heartbeat interval (BBI) obtained from an estimated electrocardiogram when the model input signal is a beat vibration signal for an estimation target C; .
  • They are a model input signal waveform, a model input signal waveform obtained by differentiating a biological vibration signal and subjecting it to absolute value processing, and waveforms of an estimated electrocardiogram signal in each case.
  • the pulse wave (pressure pulse wave) and the ballistocardiogram obtained by the piezoelectric sensor originate from the vibration of the heart (heartbeat).
  • a pulse wave is a wave in which arterial pulsation propagates through a blood vessel wall, and reflects the contraction and expansion of the blood vessel.
  • Ballistocardiography on the other hand, reflects vibrations propagating from the heart through the body surface and tissue. Therefore, when the piezoelectric sensor is brought into close contact with arteries such as the superficial artery, the brachial artery, and the radial artery, the piezoelectric sensor detects the pressure pulse wave.
  • the piezoelectric sensor detects the ballistocardiogram.
  • pulse wave vibration and/or ballistocardiographic vibration obtained using a piezoelectric sensor is referred to as pulsatile vibration.
  • a waveform of the pulsating vibration is called a pulsating vibration waveform, and a signal of the pulsating vibration is called a pulsating vibration signal.
  • a signal processing system according to an embodiment of the present invention will be described in detail below with reference to the drawings.
  • symbol is attached
  • An electrocardiogram shows the electrical activity of the heart, and pulsatile oscillations are derived from the heart beat.
  • electrocardiographic signals hereafter referred to as electrocardiographic signals
  • pulsatile oscillatory signals are associated with contraction and expansion of the heart. Therefore, it is considered that there is a correlation between the electrocardiogram waveform and the pulsating vibration waveform. Therefore, the inventors of the present invention use a human electrocardiogram signal as training data, and perform machine learning using a data set of a plurality of people whose input is a pulsating vibration signal obtained from the same person at the same time.
  • an estimation model can be obtained that estimates an electrocardiogram corresponding to the human pulse vibration signal and outputs a signal conforming to the electrocardiogram signal.
  • an electrocardiogram estimated by this estimation model is called a presumed electrocardiogram (pECG)
  • a signal conforming to the electrocardiogram signal is called a presumed electrocardiogram signal.
  • the pulse wave arrival time is the time difference from the peak time of the R wave in the electrocardiogram to the rise time of the pulse wave at the measurement position.
  • the same information as the PAT can be obtained if the arrival time of the heart vibration including the ballistocardiography reaches the position of the piezoelectric sensor as the pulsation vibration arrival time.
  • the pulsatile vibration arrival time is the time difference from the peak time of the R wave in the electrocardiogram to the rising time of the pulsatile vibration waveform at the measurement position by the piezoelectric sensor. Therefore, the rise of the pulsatile vibration waveform is delayed by the pulsatile vibration arrival time from the time when the R wave is generated in the electrocardiogram.
  • the estimation model reflects the time at which the R wave is generated in the electrocardiogram and the rise time of the pulsatile vibration waveform.
  • the inventors of the present invention have found that the R wave in the estimated electrocardiogram (hereinafter referred to as the estimated R wave) does not occur at the rising time of the pulsatile vibration waveform, but as shown in FIG. It was predicted to occur at the time before the rise time of the waveform by the arrival time of the pulsating vibration. That is, the inventors of the present invention predicted that in an estimated ECG, an estimated R-wave would occur at the estimated time that an R-wave would occur in the ECG if measured by an ECG machine.
  • FIG. 2 shows an example of the configuration of the signal processing system 1 according to the embodiment of the invention.
  • the signal processing system 1 has an estimation model creation device 10 , a signal processing device 20 , an electrocardiograph 30 , and a piezoelectric sensor 40 .
  • the estimation model creation device 10 is connected to the electrocardiograph 30 and the piezoelectric sensor 40 by wire or wirelessly.
  • the estimation model creation device 10 may be connected to the electrocardiograph 30 and/or the piezoelectric sensor 40 via a network.
  • the signal processing device 20 is connected to the piezoelectric sensor 40 by wire or wirelessly.
  • the signal processing device 20 may be connected to the piezoelectric sensor 40 via a network.
  • the estimation model generation device 10 and the signal processing device 20 are connected by wire or wirelessly.
  • the estimation model creation device 10 and the signal processing device 20 may be connected via a network. Also, the estimation model generating device 10 and the signal processing device 20 may be the same device.
  • the estimation model creation device 10 includes a CPU (Central Processing Unit), a main memory configured such as a RAM (Random Access Memory), and a storage unit configured such as a hard disk.
  • the estimation model creation device 10 can be realized by a computer.
  • the estimation model creation device 10 can be realized by a server, personal computer, tablet PC, smart phone, or the like.
  • the estimation model creation device 10 can be realized by, for example, cloud computing.
  • the storage unit of the estimation model generation device 10 stores an estimation model generation program.
  • the functions of the input unit 11, the preprocessing unit 12, and the learning unit 13 are realized by the CPU of the estimation model generation device 10 reading the estimation model generation program from the storage unit into the main memory and executing it.
  • the signal processing device 20 includes a main memory composed of a CPU, a RAM, etc., and a storage part composed of a hard disk, etc.
  • FIG. The signal processor 20 can be implemented by a computer.
  • the signal processing device 20 can be implemented by a server, personal computer, tablet PC, smart phone, or the like.
  • the signal processing device 20 can be realized by, for example, cloud computing.
  • a signal processing program is stored in the storage unit of the signal processing device 20 .
  • the CPU of the signal processing device 20 reads out the signal processing program from the storage unit to the main memory and executes it, so that the input unit 21, the preprocessing unit 22, the estimating unit 23, the postprocessing unit 25, and the output unit 26 The function of each part of is realized.
  • the estimation unit 23 has an estimation model 24 .
  • the estimation model 24 is created by the learning unit 13 of the estimation model creation device 10 .
  • the estimation model generation device 10 and the signal processing device 20 can also be realized by the same computer.
  • the estimation model creation device 10 and the signal processing device 20 can be realized by the same server, personal computer, tablet PC, smart phone, or the like.
  • Electrocardiograph 30 acquires a human or animal electrocardiogram.
  • the piezoelectric sensor 40 is a piezoelectric sensor using a sheet-like piezoelectric element made of polyvinylidene fluoride (PVDF), for example.
  • the piezoelectric sensor 40 acquires human or animal biological vibrations.
  • the biological vibrations to be acquired include pulsatile vibrations originating from heartbeats and propagated from the heart to the piezoelectric sensor 40 .
  • the pulsatile vibration signal is a signal indicating vibration due to a pulse wave (pressure pulse wave) or ballistocardiography.
  • Biological vibrations include, in addition, vibrations caused by breathing, vibrations caused by body movement, vibrations caused by vocalization, vibrations caused by snoring, etc.
  • the piezoelectric sensor 40 can be installed on a surface or the like. Also, the piezoelectric sensor 40 can be attached to, for example, a wristband, belt, wristwatch, ring, headband, or the like, and placed in close contact with the body surface of a person's head, fingers, arms, legs, or the like. That is, the piezoelectric sensor 40 acquires biological vibrations at a predetermined position of a human or animal.
  • the piezoelectric sensor 40 is an example of the biological vibration signal acquisition device of the present invention.
  • An administrator or the like of the estimation model generating device 10 uses the electrocardiograph 30 to obtain an electrocardiogram of the sample, and simultaneously uses the piezoelectric sensor 40 to obtain the biological vibration of the sample.
  • the sample is human or animal.
  • the sample is one or more persons or one or more animals. Simultaneously means that the measurement start time and the measurement time of the electrocardiogram signal and the biological vibration signal are the same. Then, by acquiring the electrocardiogram signal and the biological vibration signal at the same time, learning is performed such that the time difference between the electrocardiogram signal and the biological vibration signal or the pulsating vibration signal is corrected, that is, the correlation between the two is high, and the pECG is obtained.
  • An estimation model can be generated that estimates well.
  • the input unit 11 receives an electrocardiogram signal of each sample from the electrocardiograph 30 .
  • the input unit 11 also receives the biological vibration signal of each sample from the piezoelectric sensor 40 .
  • the input unit 11 passes the received electrocardiogram signal and biological vibration signal to the preprocessing unit 12 .
  • the input unit 11 temporarily stores the electrocardiogram signal and the biological vibration signal in the storage unit of the estimation model generating device 10, and reads the electrocardiogram signal and the biological vibration signal from the storage unit when the learning unit 13 performs machine learning on the estimation model 24. It may be extracted and passed to the preprocessing unit 12 .
  • the preprocessing unit 12 generates a model input signal by performing a predetermined process described below on the biological vibration signal, and passes it to the learning unit 13 . That is, for example, the preprocessing unit 12 passes the biological vibration signal itself to the learning unit 13 as a model input signal. Alternatively, for example, the preprocessing unit 12 differentiates the biological vibration signal. Then, the preprocessing unit 12 passes the differential signal of the biological vibration signal to the learning unit 13 as a model input signal.
  • the biological vibration signal includes vibration derived from heartbeat (pulsation vibration signal), vibration due to respiration, vibration due to body movement, vibration due to vocalization, vibration due to snoring, and the like.
  • the preprocessing unit 12 filters the bio-vibration signal with a high-pass filter with a cut-off frequency of 0.5 Hz, a high-pass filter with a cut-off frequency (20 Hz to 40 Hz) suitable for extracting a heart sound signal from the bio-vibration signal.
  • the pulsating vibration signal is separated and extracted from the biological vibration signal by passing through a filter or a bandpass filter (BPF) with a passband of 0.5 Hz to 40 Hz.
  • BPF bandpass filter
  • the preprocessing unit 12 subjects the pulsating vibration signal extracted from the biological vibration signal to one or both of differentiation and absolute value conversion. Then, the preprocessing unit 12 passes the signal subjected to these processes to the learning unit 13 as a model input signal.
  • the biological vibration signal itself, the differential signal of the biological vibration signal, the pulsating vibration signal extracted from the biological vibration signal, the differential signal of the pulsating vibration signal, the pulsating vibration signal, or the differential signal of the pulsating vibration signal
  • a valued signal is an example of a model input signal of the present invention.
  • the model input signal may be another pulsating vibration signal generated by subjecting the biological vibration signal to predetermined processing.
  • the preprocessing unit 12 obtains the ratio of the deviation to the average of all data and the standard deviation ((value of each electrocardiogram signal ⁇ average value)/standard deviation) for electrocardiogram signals acquired in a predetermined period (for example, 30 seconds). normalize by Similarly, the preprocessing unit 12 calculates the ratio of the deviation to the average of all data and the standard deviation ((value of each model input signal ⁇ average value)/ standard deviation) and normalize.
  • the preprocessing unit 12 passes the non-normalized electrocardiogram signal and the model input signal to the learning unit 13, and the learning unit 13 uses the electrocardiogram signal as teacher data and performs machine learning on the model input signal to obtain an estimation model. 24 may be generated.
  • the learning unit 13 Upon receiving the electrocardiogram signal of each sample and the model input signal from the preprocessing unit 12, the learning unit 13 uses the electrocardiogram signal of each sample as teacher data, inputs the model input signal, and performs machine learning to generate an estimation model 24. do. After completing the machine learning, the learning unit 13 passes the estimation model 24 to the estimation unit 23 of the signal processing device 20 .
  • Examples of neural networks used in machine learning include a convolutional neural network (CNN), a recurrent neural network (RNN), and a long short-term memory (LSTM). A neural network etc. are mentioned. In order to capture long-term trends in electrocardiogram signals and biological vibration signals, it is desirable to use neural networks with recursive connections (RNN or LSTM).
  • the input unit 21 receives the biological vibration signal to be estimated from the piezoelectric sensor 40 and transfers it to the preprocessing unit 22 .
  • the putative subject is human if the sample is human and animal if it is animal.
  • the preprocessing unit 22 Upon receiving the biological vibration signal from the input unit 21 , the preprocessing unit 22 applies the same processing to the biological vibration signal as the preprocessing unit 12 of the estimation model generation device 10 to generate a model input signal, and outputs the model input signal to the estimation unit 23 . hand over. That is, for example, the preprocessing unit 22 passes the biological vibration signal itself to the estimating unit 23 as a model input signal. Alternatively, for example, the preprocessing unit 22 differentiates the biological vibration signal. Then, the preprocessing unit 22 passes the differential signal of the biological vibration signal to the estimating unit 23 as a model input signal.
  • the preprocessing unit 22 includes a high-pass filter whose cutoff frequency is 0.5 Hz, a high-pass filter whose cutoff frequency is a frequency (20 Hz to 40 Hz) suitable for extracting the heart sound signal from the biological vibration signal, or a pass filter.
  • a pulsating vibration signal is extracted from the biological vibration signal by passing the biological vibration signal through a bandpass filter (BPF) having a band of 0.5 Hz to 40 Hz. Then, the preprocessing unit 22 passes the pulsating vibration signal to the estimating unit 23 as a model input signal.
  • BPF bandpass filter
  • the preprocessing unit 22 extracts a pulsating vibration signal from the biological vibration signal, and performs one or both of differentiation and absolute value processing on the extracted pulsating vibration signal. Then, the preprocessing unit 22 passes the signal subjected to these processes to the learning unit 13 as a model input signal.
  • the biological vibration signal itself, the differential signal of the biological vibration signal, the pulsating vibration signal extracted from the biological vibration signal, or the differential signal of the pulsating vibration signal, which is subjected to absolute value conversion, is the model of the present invention. It is an example of an input signal.
  • the model input signal may be another pulsating vibration signal generated by subjecting the biological vibration signal to predetermined processing. As in the case of learning, it is preferable to normalize the model input signal before passing the model input signal to the estimation unit 23 .
  • the estimation unit 23 Upon receiving the model input signal from the preprocessing unit 22 , the estimation unit 23 inputs it to the estimation model 24 .
  • the estimation model 24 performs calculations to find the state of the electrocardiogram with the highest likelihood.
  • the estimating model 24 obtains an estimated electrocardiogram with the most likely electrocardiogram state as the estimation result, and outputs the estimated electrocardiogram signal to the post-processing unit 25 .
  • the estimated electrocardiogram signal is a signal conforming to the electrocardiogram signal, and its waveform includes at least an estimated R wave (hereinafter referred to as an estimated R wave). Therefore, the heartbeat interval and heart rate can be obtained based on the estimated R wave.
  • the estimated beat intervals may be abnormal (eg, adjacent estimated R waves may be too long or too short).
  • the post-processing unit 25 determines, for example, whether or not the abnormality is due to an estimation error in the estimation model 24 by referring to the heartbeat intervals in the sample electrocardiograms used when the estimation model 24 is trained. For example, determine whether the heartbeat interval estimated based on the normal value of the heartbeat interval is normal or abnormal, and if it is determined to be abnormal, delete the heartbeat portion where the heartbeat interval is abnormal. Post-processing may be performed. However, for example, when implementing the present invention in an application field in which a human can determine from the display of the heartbeat interval that the heartbeat interval has become abnormal due to an error in the estimation in the estimation model 24, the post-processing is You don't have to.
  • the output unit 26 displays the estimated electrocardiogram signal output from the post-processing unit 25 on the display of the signal processing device 20, records it in the storage unit of the signal processing device 20, or stores it in the storage unit of the signal processing device 20. send to the terminal.
  • Example 1 The inventors of the present invention conducted a demonstration experiment using 13 human subjects.
  • a seat to which the piezoelectric sensor 40 was attached was placed on the seat surface of a chair.
  • An electrocardiogram electrode was attached to the chest of each subject, and an electrocardiogram signal of each subject was acquired by the electrocardiograph 30 through bipolar leads.
  • the piezoelectric sensor 40 acquired a biological vibration signal at the buttocks of each subject sitting on a chair.
  • the measurement time was 30 seconds for each subject.
  • the learning unit 13 machine-learned the estimation model 24 by a leave-one-out method.
  • a bidirectional LSTM (BiLSTM) neural network that propagates learning data to a bidirectional long-term memory layer was used. Specifically, first, for each of the 13 subjects, the ratio of the deviation to the average of all data and the standard deviation for the electrocardiogram signal acquired in 30 seconds ((value of each electrocardiogram signal - average value) / standard deviation) was normalized by finding . Similarly, for each of the 13 subjects, the ratio of the deviation to the average of all data and the standard deviation ((value of each electrocardiogram signal - average value) / standard deviation) for the model input signal acquired for 30 seconds was calculated. Normalized.
  • each normalized electrocardiogram signal of the other 12 subjects is used as teacher data
  • each normalized model input signal is input
  • a bidirectional LSTM neural network is generated.
  • generated an estimation model 24 consisting of
  • the normalized model input signal was input to the estimation model 24
  • the estimated electrocardiogram signal of the estimated electrocardiogram was output to the estimation model 24 .
  • model input signals the biological vibration signal itself, the pulsating vibration signal extracted by passing the biological vibration signal through a 0.5 Hz high-pass filter, and the differential signal of the biological vibration signal.
  • the estimated electrocardiogram signal output from the estimation model 24 was not post-processed.
  • FIG. 3(A) shows the model input signal of the estimation target A.
  • FIG. The top row shows the waveform of the biological vibration signal.
  • the middle row shows the waveform of the pulsating vibration signal.
  • the lowest stage shows the waveform of the differentiated signal of the biological vibration signal.
  • FIG. 3B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target A.
  • the top row shows the waveform of the electrocardiogram signal actually measured.
  • the second row from the top shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • the third row from the top shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the pulsation vibration signal is input to the estimation unit 23 as the model input signal.
  • the bottom row shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the differential signal of the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • the model input signal (for example, the pulsating vibration signal) has two peaks very close after 9 seconds. Note, however, that only one estimated R-wave occurs in the estimated ECG of the pulsatile oscillatory signal.
  • FIG. 4 shows the heartbeat interval (RRI) obtained from the actually measured electrocardiogram signal and the heartbeat interval (BBI) obtained from the estimated electrocardiogram when the model input signal is the pulsation vibration signal for the estimation target A.
  • RRI and BBI fluctuate with a period of about 5 seconds, and this fluctuation is caused by respiration.
  • the interval between heart beats shortens when breathing in (inspiratory) and lengthens when breathing out (expiratory) due to respiratory arrhythmias. Therefore, the heartbeat interval fluctuates in a period similar to the breathing pattern due to the influence of respiration.
  • the BBI that is, the estimated R-wave interval
  • estimation errors occur very rarely in estimated electrocardiograms.
  • FIG. 5A shows the model input signal of the estimation target B.
  • FIG. 5A Similar to FIG. 3A, the uppermost part of FIG. 5A shows the waveform of the biological vibration signal.
  • the middle part of FIG. 5A shows the waveform of the pulsating vibration signal.
  • the bottom part of FIG. 5A shows the waveform of the differential signal of the biological vibration signal.
  • FIG. 5B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target B.
  • FIG. Similar to FIG. 3(B) the uppermost part of FIG. 5(B) shows the waveform of the electrocardiogram signal actually measured.
  • FIG. 5B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • the third row from the top in FIG. 5B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the pulsation vibration signal is input to the estimation unit 23 as the model input signal.
  • the bottom part of FIG. 5B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the differential signal of the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • FIG. 6 shows the heartbeat interval (RRI) obtained from the measured electrocardiogram signal and the heartbeat interval (BBI) obtained from the estimated electrocardiogram when the model input signal is the pulsation vibration signal for the estimation target B.
  • RRI heartbeat interval
  • BBI heartbeat interval
  • FIG. 5B the estimated electrocardiogram when the model input signal is the biological vibration signal (second row from the top) and the estimated electrocardiogram when the model input signal is the differential signal of the biological vibration signal (bottom row) , the estimated R wave is missing in the section indicated by the arrow.
  • the model input signal is a pulsating vibration signal (the third row from the top)
  • the estimated R wave of the estimated oscillatory diagram substantially matches the R wave of the measured electrocardiogram.
  • the heartbeat interval (RRI) of the measured electrocardiogram signal and the heartbeat interval (BBI) of the estimated electrocardiogram agree well.
  • the signal processing device 20 according to the present invention it is possible to easily obtain the heartbeat interval (BBI) based on the estimated R wave even from such a biological vibration signal.
  • FIG. 7A shows the model input signal of the estimation target C.
  • FIG. 7A Similar to FIG. 3(A), the uppermost part of FIG. 7(A) shows the waveform of the biological vibration signal.
  • the middle part of FIG. 7A shows the waveform of the pulsating vibration signal.
  • the lowermost part of FIG. 7A shows the waveform of the differentiated signal of the biological vibration signal.
  • FIG. 7B shows the waveform of the measured electrocardiogram signal and the waveform of the estimated electrocardiogram signal of the estimation target C.
  • FIG. similar to FIG. 3(B) the uppermost part of FIG. 7(B) shows the waveform of the electrocardiogram signal actually measured.
  • FIG. 7B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • the third row from the top in FIG. 7B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the pulsation vibration signal is input to the estimation unit 23 as the model input signal.
  • the bottom part of FIG. 7B shows the waveform of the estimated electrocardiogram signal output by the estimation model 24 when the differential signal of the biological vibration signal is input to the estimation unit 23 as the model input signal.
  • FIG. 8 shows the heartbeat interval (RRI) obtained from the actually measured electrocardiogram signal and the heartbeat interval (BBI) obtained from the estimated electrocardiogram when the model input signal is the pulsation vibration signal for the estimation target C.
  • the estimated R wave is missing in the sections indicated by the arrows in all of the three types of model input signals.
  • double estimated R waves occur in the section surrounded by the dashed circle.
  • most of the estimated R-waves occur almost simultaneously with the R-waves of the measured ECGs.
  • obtaining the heartbeat interval (BBI) from a bio-vibration signal such as the estimation object C shown in FIG.
  • the heartbeat interval (BBI) can be obtained based on the estimated R wave even from the biological vibration signal such as the estimation object C.
  • the inventors of the present invention placed a sheet to which the piezoelectric sensor 40 was attached on a bed mat, and used 18 human subjects as subjects in the prone position, the supine position, the left lateral position, and the right lateral position.
  • the learning unit 13 machine-learned the estimation model 24 by a leave-one-out method.
  • a neural network a bidirectional LSTM (BiLSTM) neural network that propagates learning data to a bidirectional long-term memory layer was used.
  • An electrocardiogram electrode was attached to the chest of each subject, and an electrocardiogram signal of each subject was acquired by the electrocardiograph 30 through bipolar leads.
  • the piezoelectric sensor 40 acquired biological vibration signals in the prone, supine, left lateral, and right lateral positions of each subject lying on the bed.
  • the measurement time was 30 seconds for each subject.
  • the electrocardiogram signals acquired for 30 seconds were normalized by calculating the ratio of the deviation to the average of all data and the standard deviation ((value of each electrocardiogram signal - average value) / standard deviation).
  • the ratio of the deviation to the average of all data and the standard deviation ((value of each model input signal - average value) / standard deviation) for the model input signal acquired in 30 seconds was obtained.
  • each normalized electrocardiogram signal of the other 17 subjects is used as teacher data
  • each normalized model input signal is input
  • a bidirectional LSTM neural network is generated. generated an estimation model 24 consisting of The model input signal was obtained by passing the biological vibration signal obtained from each subject through a 0.5 Hz high-pass filter, passing it through a 20 Hz high-pass filter and subjecting it to absolute value processing, and a high-pass filter with a cutoff frequency of 30 Hz. and subjected to absolute value processing, and differentiated and subjected to absolute value processing.
  • the normalized model input signal was input to the estimation model 24 , and the estimated electrocardiogram signal of the estimated electrocardiogram was output to the estimation model 24 .
  • FIG. 9 shows signals such as an estimated electrocardiogram in the supine and prone positions of a certain subject.
  • the top row shows the waveform of the actually measured electrocardiogram signal (ECG), and the second row from the top shows the waveform of the biological vibration signal (BCG).
  • ECG actually measured electrocardiogram signal
  • BCG biological vibration signal
  • A is a model input signal waveform obtained by passing a biological vibration signal through a high-pass filter of 0.5 Hz
  • B is a model input signal waveform obtained by passing a high-pass filter of 20 Hz and subjected to absolute value processing
  • C is passed through a high-pass filter of 30 Hz.
  • D is the model input signal waveform obtained by differentiating the biological vibration signal and applying the absolute value processing.
  • each model input signal is the waveform (pECG) of the estimated electrocardiogram signal output by the estimation model 24 in each case.
  • FIG. 10 shows a signal such as an estimated electrocardiogram in the prone position of a certain subject.
  • the top row shows the waveform of the actually measured electrocardiogram signal (ECG), and the second row from the top shows the waveform of the biological vibration signal (BCG).
  • ECG actually measured electrocardiogram signal
  • BCG biological vibration signal
  • A is a model input signal waveform obtained by passing a biological vibration signal through a high-pass filter of 0.5 Hz
  • B is a model input signal waveform obtained by passing a high-pass filter of 20 Hz and subjected to absolute value processing
  • C is passed through a high-pass filter of 30 Hz.
  • D is the model input signal waveform obtained by differentiating the biological vibration signal and applying the absolute value processing.
  • each model input signal is the waveform of the estimated electrocardiogram signal output by the estimation model 24 in each case.
  • FIG. 11 shows signals such as an estimated electrocardiogram in the left lateral decubitus position of a certain subject.
  • the top row shows the waveform of the actually measured electrocardiogram signal (ECG), and the second row from the top shows the waveform of the biological vibration signal (BCG).
  • ECG actually measured electrocardiogram signal
  • BCG biological vibration signal
  • A is a model input signal waveform obtained by passing a biological vibration signal through a high-pass filter of 0.5 Hz
  • B is a model input signal waveform obtained by passing a high-pass filter of 20 Hz and subjected to absolute value processing
  • C is passed through a high-pass filter of 30 Hz.
  • D is the model input signal waveform obtained by differentiating the biological vibration signal and applying the absolute value processing.
  • each model input signal is the waveform of the estimated electrocardiogram signal output by the estimation model 24 in each case.
  • FIG. 12 shows signals such as an estimated electrocardiogram in the left lateral decubitus position of a certain subject.
  • the top row shows the waveform of the actually measured electrocardiogram signal (ECG), and the second row from the top shows the waveform of the biological vibration signal (BCG).
  • ECG actually measured electrocardiogram signal
  • BCG biological vibration signal
  • A is a model input signal waveform obtained by passing a biological vibration signal through a high-pass filter of 0.5 Hz
  • B is a model input signal waveform obtained by passing a high-pass filter of 20 Hz and subjected to absolute value processing
  • C is passed through a high-pass filter of 30 Hz.
  • D is the model input signal waveform obtained by differentiating the biological vibration signal and applying the absolute value processing.
  • each model input signal is the waveform of the estimated electrocardiogram signal output by the estimation model 24 in each case.
  • FIG. 13 shows the heartbeat interval (BBI) obtained from the estimated electrocardiogram estimated from the model input signal passed through the high-pass filter of 30 Hz and subjected to absolute value processing, among the data shown in FIGS. 9 to 12. and Bland-Altman Plot of RRI obtained from the measured electrocardiogram.
  • the RRI obtained from the actually measured electrocardiogram and the heartbeat interval (BBI) obtained from the estimated electrocardiogram waveform are in good agreement, and almost no systematic error exists.
  • the model input signal to be input to the learning unit 13 and the estimating unit 23 is obtained by passing the biological vibration signal through a high-pass filter of 30 Hz, and the harmonic components of the pulsating vibration signal obtained are subjected to the process of absolute value conversion.
  • favorable results were obtained in which the estimated ECG signal and the actually measured ECG signal were highly consistent in all of the supine, prone, left and right lateral decubitus positions.
  • FIG. 14 shows the measured electrocardiogram signal waveform (ECG), the biological vibration signal waveform (BCG), and the biological vibration signal in the prone position, which are passed through high-pass filters of 5 Hz, 10 Hz, 15 Hz, 20 Hz, 25 Hz, 30 Hz, 35 Hz, and 40 Hz. and a waveform (diff) obtained by differentiating the biological vibration signal.
  • ECG electrocardiogram signal waveform
  • BCG biological vibration signal waveform
  • diff a waveform obtained by differentiating the biological vibration signal.
  • a heart sound with a large amplitude indicated by a mark ⁇ in the figure can be seen from around 20 Hz of the cut-off frequency of the high-pass filter.
  • FIG. 15 shows the power spectrum of the data in FIG. 14, in which the heartbeat fundamental frequency (near 1 Hz), the first harmonic, and the second harmonic are observed. It is also possible to obtain a heart sound signal seen from around 20 Hz of the cutoff frequency of the high-pass filter shown in FIG. 14 with a phonocardiograph.
  • Example 3
  • the inventors of the present invention conducted a demonstration experiment using a fingertip piezoelectric plethysmograph as a piezoelectric sensor using three human subjects.
  • the learning unit 13 machine-learned the estimation model 24 by a leave-one-out method.
  • a bidirectional LSTM (BiLSTM) neural network that propagates learning data to a bidirectional long-term memory layer was used.
  • An electrocardiograph 30 with chest bipolar leads was attached to the chest of each subject, and the electrocardiogram signal of each subject was acquired by the electrocardiograph 30 .
  • a piezoelectric plethysmograph as the piezoelectric sensor 40 was attached to the fingertip of the subject to acquire the biological vibration signal.
  • the measurement time was 30 seconds for each subject.
  • the electrocardiogram signals acquired for 30 seconds were normalized by calculating the ratio of the deviation to the average of all data and the standard deviation ((value of each electrocardiogram signal ⁇ mean value)/standard deviation).
  • the ratio of the deviation and standard deviation to the average of all data for the model input signal acquired for 30 seconds ((value of each model input signal - average value) / standard deviation) is normalized. did.
  • each normalized electrocardiogram signal of another subject is used as teacher data
  • each normalized model input signal is input, and a bidirectional LSTM neural network is constructed. generated an estimated model 24 that The model input signal was the biological vibration signal itself obtained from each subject.
  • the normalized model input signal was input to the estimation model 24
  • the estimated electrocardiogram signal of the estimated electrocardiogram was output to the estimation model 24 .
  • FIG. 16 shows signals such as estimated electrocardiograms in estimation target A, estimation target B, and estimation target C.
  • FIG. The upper parts of (A), (B) and (C) of FIG. 16 are actually measured electrocardiogram signals (ECG). (A), (B) and (C) in FIG.
  • 16A, 16B and 16C show the waveform of the estimated electrocardiogram signal (pECG) output by the estimation model 24 when the above biological vibration signal is directly used as the model input signal.
  • pECG estimated electrocardiogram signal
  • bio-vibration signals were acquired by a piezoelectric sensor placed on the buttocks.
  • the pulsatile vibration contained in the bio-oscillation signal in the buttocks is an aggregate of pressure pulse waves that have propagated from the heart through the arterial blood vessels to the buttock tissue, and oscillates up and down depending on the arterial pressure gradient of the superior and inferior aortas. considered to be a signal.
  • the pulsating vibration contained in the biological vibration signal in the buttocks is attenuated due to, for example, the pressure pulse wave being absorbed by the body tissue.
  • BBI heartbeat interval
  • the biological vibration signal is passed through a high-pass filter with a cutoff frequency of 20 Hz to 30 Hz, and the harmonic component of the pulsating vibration signal is converted to an absolute value.
  • a cutoff frequency of 20 Hz to 30 Hz As shown in FIGS. 9, 10, 11, and 12, it was confirmed that good estimated electrocardiogram signals could be obtained in any of the prone, left, and right lateral decubitus positions.
  • the cutoff frequency of the high-pass filter does not need to be strictly 20 Hz to 30 Hz if heart sounds are recognized.
  • the piezoelectric sensor 40 is a piezoelectric plethysmograph, a clear biological vibration signal can be obtained, so it was confirmed that a good electrocardiogram signal can be estimated using the biological vibration signal itself as a model input signal.
  • the number of subjects (samples) and the time for acquiring the biological vibration signal are limited.
  • the accuracy of estimation is improved, and the waveform of the estimated electrocardiogram is compared to that of the actual electrocardiogram. It is considered that the waveform can be approximated.
  • an estimation model dedicated to an individual may be created with the sample and the estimation target being the same individual.
  • separate estimation models may be created according to physical conditions such as gender, age, height, sitting height, weight, degree of obesity, and the like.
  • the piezoelectric sensor is installed on the seat surface of the chair as in the above-described embodiment, and the piezoelectric sensor acquires the bio-vibration signal of the buttocks, if the person has the same sitting height, the heart and the buttocks Distances are often the same. Therefore, by creating an estimation model according to the sitting height, it is considered possible to improve the estimation accuracy and bring the waveform of the estimated electrocardiogram closer to the waveform of the measured electrocardiogram.
  • a separate estimation model may be created for each location where the piezoelectric sensor is installed, such as the seating surface of a chair, under bedding such as a bed mat or futon, and on top of bedding.
  • a separate estimation model may be created for each position of the body where the piezoelectric sensors are attached.
  • the present invention has been described as an example of a piezoelectric sensor using a sheet-shaped piezoelectric element made of polyvinylidene fluoride (PVDF).
  • PVDF polyvinylidene fluoride
  • the present invention can also be implemented with piezoelectric sensors.
  • the present invention can be practiced even with a piezoelectric sensor using a piezoelectric element made of a polymeric piezoelectric material (polyolefin material).
  • the material of the piezo element for example, a porous polypropylene electret film (ElectroMechanical Film (EMFI)), or polyvinylidene fluoride and ethylene trifluoride copolymer (P(VDF-TrFE)), or polyfluoride
  • EMFI ElectroMechanical Film
  • PVDF-TrFE polyvinylidene fluoride and ethylene trifluoride copolymer
  • the present invention can be practiced even with a piezoelectric sensor using a piezoelectric element made of vinylidene and tetrafluoroethylene copolymer (P(VDF-TFE)).
  • the present invention can be implemented with an acceleration sensor.
  • the present invention can be implemented even with a volume pulse wave measured by a photoplethysmograph.
  • the acceleration sensor and the photoplethysmograph are examples of the biological vibration signal acquisition device of the present invention, and the vibration due to the volume pulse wave acquired by the photoplethysmograph is an example of the pulsating vibration of the present invention.
  • the present invention can be implemented in a heartbeat monitor.
  • a signal corresponding to an electrocardiogram signal which has at least an estimated R wave, is based on a biological vibration signal including vibrations derived from heart beats, and heart beats are generated. It is possible to generate a signal that is easy to determine intervals and heart rate.
  • Various attempts have also been made to estimate blood pressure based on ballistocardiographic waveforms and pulse waveforms. In such blood pressure estimation, heartbeat interval and pulse arrival time (PAT) are important parameters. Heartbeat intervals can be obtained from the estimated electrocardiogram. Also, the PAT can be obtained from the time of the estimated R wave of the estimated electrocardiogram and the rising time of the pulsating vibration signal.
  • the blood pressure can be estimated by the piezoelectric sensor or the photoelectric plethysmograph.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

心電図計(30)は、サンプルの心電図信号を取得する。心電図計(30)が心電図信号を取得する時、同時に、圧電センサ(40)はサンプルの生体振動信号を取得する。生体振動信号は、心臓の拍動に由来する拍動振動信号を含む。推定モデル作成装置(10)の学習部(13)は、心電図信号を教師データとし、生体振動信号に所定の処理が施されたモデル入力信号を入力して機械学習することにより推定モデル(24)を生成する。学習部(13)は、信号処理装置(20)の推定部(23)に推定モデル(24)を渡す。推定モデル(24)は、圧電センサ(40)によって推定対象から取得された生体振動信号に所定の処理が施されたモデル入力信号が推定モデル(24)に入力されるとき、推定モデル(24)によって推定された心電図の推定心電図信号を出力する。

Description

信号処理装置、信号処理システムおよび信号処理プログラム
　本発明は、心臓の拍動に由来する振動を含む生体振動信号に基づいて心電図に準ずる信号を出力する信号処理装置、信号処理システムおよび信号処理プログラムに関する。
　フッ素系の有機強誘電体材料であるポリフッ化ビニリデン（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅ　ｆｌｕｏｒｉｄｅ、ＰＶＤＦ）を材料とするシート状の圧電素子を用いる圧電センサが知られている。高分子圧電体であるＰＶＤＦ材料は、格子状結晶中に配置されたイオンの位置ずれが圧力や変形で大きくなるとき、電気分極を生ずる。圧電素子は厚み方向に正電極と負電極で挟まれている。正電極と負電極に蓄積される電荷を電流−電圧変換することで圧電素子から電気信号が取り出される。
　この圧電センサをベッドマットや布団のような寝具の上や下、椅子の座面等に設置したり、人の頭部や腕、足等の体表面に密着させたりすることにより、この圧電センサで生体振動信号を取得することができる。取得される生体振動信号は、脈波（圧脈波）や心弾動による振動、呼吸による振動、体動による振動、発声による振動、鼾による振動等を含む（例えば、非特許文献１参照）。
　また、最近では、ニューラルネットワークを用いて様々な人体に関する情報を取得する試みが行われている。
　例えば、特許文献１には、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて血圧の推定を行う血圧推定装置が記載されている。
　また、例えば、非特許文献２には、ＬＳＴＭ（Ｌｏｎｇ　ｓｈｏｒｔ−ｔｅｒｍ　ｍｅｍｏｒｙ，長・短期記憶）ニューラルネットワークを用いた心拍変動からの睡眠段階の分類について記載されている。
特開２０２０−９２７３８号公報
新関久一著、「生体情報センシングと人の状態推定への応用、第２章第３節（心拍、呼吸の無拘束計測技術と睡眠状態の推定）」、技術情報協会、２０２０年７月３１日発行、Ｐ．１４５−１５２ Ｍｕｓｔａｆａ　Ｒａｄｈａ，Ｐｅｄｒｏ　Ｆｏｎｓｅｃａ，Ａｒｎａｕｄ　Ｍｏｒｅａｕ，Ｍａｒｃｏ　Ｒｏｓｓ，Ａｎｄｒｅａｓ　Ｃｅｒｎｙ，Ｐｅｔｅｒ　Ａｎｄｅｒｅｒ，Ｘｉ　Ｌｏｎｇ　＆　Ｒｏｎａｌｄ　Ｍ．Ａａｒｔｓ，″Ｓｌｅｅｐ　ｓｔａｇｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｆｒｏｍ　ｈｅａｒｔ−ｒａｔｅ　ｖａｒｉａｂｉｌｉｔｙ　ｕｓｉｎｇ　ｌｏｎｇ　ｓｈｏｒｔ−ｔｅｒｍ　ｍｅｍｏｒｙ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ″，［ｏｎｌｉｎｅ］Ｓｃｉｅｎｔｉｆｉｃ　Ｒｅｐｏｒｔｓ，［ｒｅｔｒｉｅｖｅｄ　ｏｎ　２０２１−０１−３０］．Ｒｅｔｒｉｅｖｅｄ　ｆｒｏｍ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ：＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０３８／ｓ４１５９８−０１９−４９７０３−ｙ＞
　心電図（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ，ＥＣＧ）は、心臓の電気的な活動を示し、心電図の信号から心拍間隔や心拍数を求めることができる。しかし、心電図を測定している間、心電図計の電極を四肢や胸部等に取り付けなければならない。このため、日常的に継続して心電図を測定することは負担が大きい。
　一方、圧電センサは、例えばベッドや椅子に設置して測定対象者を非拘束で、またはリストバンド、ベルト、腕時計、指輪、ヘッドバンド等に取り付け、それらを測定対象者に装着させて生体振動信号を取得することができる。このため、圧電センサによる生体振動信号の取得は、測定対象者の負担が小さい。そして、圧電センサから取得される生体振動信号には脈波（圧脈波）や心弾動による振動が含まれている。
　しかし、脈波や心弾動は心臓の拍動に由来するが、その波形は心電図のＲ波のように尖鋭なものではない。脈波や心弾動の信号から心拍間隔を求める方法は、従来からいくつか知られており、例えば、脈波や心弾動の信号に対して全波整流積分した後に瞬時位相の変化から求める方法等がある。しかしながら、圧電センサの位置や人によっては、脈波や心弾動の波形が乱れており、従来の方法では心拍間隔や心拍数を求めることができない場合があった。
　本発明の目的は、心臓の拍動に由来する振動を含む生体振動信号に基づいて心電図の信号に準ずる信号であって心拍間隔や心拍数を求めやすい信号を出力する信号処理装置、信号処理システムおよび信号処理プログラムを提供することである。
　上記目的を達成するために、本発明の信号処理装置は、
　心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に所定の処理が施されたモデル入力信号を入力して機械学習することにより生成された推定モデルを有しており、前記生体振動信号取得装置によって推定対象から取得された生体振動信号に前記所定の処理が施されたモデル入力信号が前記推定モデルに入力されるとき、前記推定モデルによって推定された心電図の推定心電図信号を出力する推定部を備える。
　好ましくは、本発明の信号処理装置は、
　前記モデル入力信号が、前記生体振動信号、前記生体振動信号の微分信号、前記生体振動信号から抽出された拍動振動信号、または前記拍動振動信号の微分信号のいずれかの信号または前記いずれかの信号に絶対値化を施した信号である。
　好ましくは、本発明の信号処理装置は、
　前記所定の処理が、前記生体振動信号を通過させる処理、遮断周波数が０．５Ｈｚであるハイパスフィルタを通過させる処理、前記生体振動信号から心音信号を抽出するのに適した周波数を遮断周波数とするハイパスフィルタを通過させる処理、前記生体振動信号の通過帯域が０．５Ｈｚ~４０Ｈｚであるバンドパスフィルタ（ＢＰＦ）を通過させる処理のいずれかの処理の後に、微分と絶対値化のいずれかまたは両方の処理を行い、最後に正規化を行う処理である。
　好ましくは、本発明の信号処理装置は、
　前記生体振動信号から心音信号を抽出するのに適したハイパスフィルタの遮断周波数が２０Ｈｚ~４０Ｈｚである。
　好ましくは、本発明の信号処理装置は、
　前記推定部によって出力された推定心電図信号に基づいて心拍の間隔を求め、当該心拍の間隔が異常である場合に当該推定心電図信号から当該異常な間隔である心拍部分を削除する後処理部を備える。
　好ましくは、本発明の信号処理装置は、
　前記生体振動信号取得装置が、圧電センサである。
　好ましくは、本発明の信号処理装置は、
　前記生体振動信号取得装置が、加速度センサである。
　好ましくは、本発明の信号処理装置は、
　前記生体振動信号取得装置が、圧電脈波計または光電脈波計である。
　好ましくは、本発明の信号処理装置は、
　前記生体振動信号取得装置が、心音計である。
　また、本発明の信号処理システムは、
　上述した信号処理装置と、
　前記サンプルの心電図信号を取得する心電図計と、
　前記サンプルと前記推定対象から生体振動信号を取得する生体信号取得装置と、
　前記心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に前記生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に前記所定の処理が施されたモデル入力信号を入力して機械学習することにより前記推定モデルを生成する学習部を有する推定モデル作成装置と、
　を備える。
　また、本発明の信号処理プログラムは、
　コンピュータを
　心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に所定の処理が施されたモデル入力信号を入力して機械学習することにより生成された推定モデルを有しており、前記生体振動信号取得装置によって推定対象から取得された生体振動信号に前記所定の処理が施されたモデル入力信号が前記推定モデルに入力されるとき、前記推定モデルによって推定された心電図の推定心電図信号を出力する推定手段、
　として機能させる。
　本発明によれば、心臓の拍動に由来する振動を含む生体振動信号に基づいて、心電図の信号に準ずる信号であって、心拍間隔や心拍数を求めやすい信号を生成することができる。
拍動振動波形と推定心電図波形の一例を示す図である。 本発明の実施形態に係る信号処理システムの構成の一例を示す図である。 推定対象Ａのモデル入力信号と、推定対象Ａの実測心電図信号の波形および推定心電図信号の波形とを示す図である。図３（Ａ）は、推定対象Ａのモデル入力信号を示す。図３（Ｂ）は、推定対象Ａの実測心電図信号の波形および推定心電図信号の波形を示す。 推定対象Ａについて、実測心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す図である。 推定対象Ｂのモデル入力信号と、推定対象Ｂの実測心電図信号の波形および推定心電図信号の波形とを示す図である。図５（Ａ）は、推定対象Ｂのモデル入力信号を示す。図５（Ｂ）は、推定対象Ｂの実測心電図信号の波形および推定心電図信号の波形を示す。 推定対象Ｂについて、実測心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す図である。 推定対象Ｃのモデル入力信号と、推定対象Ｃの実測心電図信号の波形および推定心電図信号の波形とを示す図である。図７（Ａ）は、推定対象Ｃのモデル入力信号を示す。図７（Ｂ）は、推定対象Ｃの実測心電図信号の波形および推定心電図信号の波形を示す。 推定対象Ｃについて、実測心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す図である。 背臥位における、実測心電図信号の波形、生体振動信号を遮断周波数０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、遮断周波数が２０Ｈｚおよび３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、生体振動信号を微分し絶対値化処理を施したモデル入力信号波形とそれぞれの場合の推定心電図信号の波形である。 伏臥位における、実測心電図信号の波形、生体振動信号を遮断周波数０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、遮断周波数が２０Ｈｚおよび３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、生体振動信号を微分し絶対値化処理を施したモデル入力信号波形とそれぞれの場合の推定心電図信号の波形である。 左側臥位における、実測心電図信号の波形、生体振動信号を遮断周波数０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、遮断周波数が２０Ｈｚおよび３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、生体振動信号を微分し絶対値化処理を施したモデル入力信号波形とそれぞれの場合の推定心電図信号の波形である。 右側臥位における、実測心電図信号の波形、生体振動信号を遮断周波数０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、遮断周波数が２０Ｈｚおよび３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、生体振動信号を微分し絶対値化処理を施したモデル入力信号波形とそれぞれの場合の推定心電図信号の波形である。 背臥位、伏臥位、左側臥位、右側臥位における生体振動信号を遮断周波数３０Ｈｚのハイパスフィルタを通過させ絶対値化を施した信号をモデル入力信号とした場合の推定心電図信号波形から求めたＲＲＩのＢｌａｎｄ−Ａｌｔｍａｎ　Ｐｌｏｔである。 伏臥位における、実測心電図信号の波形、生体振動信号波形、生体振動信号を５Ｈｚ、１０Ｈｚ、１５Ｈｚ、２０Ｈｚ、２５Ｈｚ、３０Ｈｚ、３５Ｈｚ、４０Ｈｚのハイパスフィルタを通過させた波形、生体振動信号を微分した波形である。 図１４のデータのパワースペクトルである。 ３人の被験者（推定対象Ａ、推定対象Ｂおよび推定対象Ｃ）における、圧電センサが指尖圧電脈波計である場合の、実測心電図信号の波形、モデル入力信号波形および推定心電図信号の波形である。
　圧電センサで取得される脈波（圧脈波）と心弾動は、心臓の振動（心拍動）に由来する。脈波は、動脈の脈動が血管壁を伝搬していく波であり血管の収縮拡張を反映する。一方、心弾動は、心臓から生体表面や生体組織を通って伝搬してくる振動を反映する。従って、圧電センサを浅頭骨動脈や上腕動脈、橈骨動脈等の動脈部位に密着させて計測した場合に圧電センサは圧脈波を検出する。一方、圧電センサを動脈部位ではない体表面に装着したり、例えば圧電センサを寝具の下に設置したりした場合には、圧電センサは心弾動を検出する。本発明の実施形態では、圧電センサを用いて取得された脈波による振動および／または心弾動による振動を拍動振動という。また、拍動振動の波形を拍動振動波形といい、拍動振動の信号を拍動振動信号という。
　以下、本発明の実施形態に係る信号処理システムについて図面を参照しながら詳細に説明する。なお、実施形態を説明する全図において共通の構成要素には同一の符号を付し、以下では繰り返しの説明を省略する。
　最初に、本発明の発明者らが本発明に至った着想について説明する。
　心電図（ＥＣＧ）は心臓の電気的な活動を示し、拍動振動は心臓の拍動に由来する。心電図の信号（以下、心電図信号という。）と拍動振動信号は両方とも心臓の収縮と拡張に関連して生じる。このため、心電図の波形と拍動振動波形は相関があると考えられる。
　そこで、本発明の発明者らは、ヒトの心電図信号を教師データとし、そのヒトと同一人から同時に取得された拍動振動信号を入力とする複数人のデータセットで機械学習させることにより、不特定のヒトの拍動振動信号が入力されるとき、そのヒトの拍動振動信号に対応した心電図を推定して心電図信号に準ずる信号を出力する推定モデルを得ることができると予測した。以下では、この推定モデルによって推定される心電図を推定心電図（ｐＥＣＧ）といい、心電図信号に準ずる信号を推定心電図信号という。
　ただし、図１に示すように、心臓の左心室の電気的興奮（心電図のＲ波）が生じてから、心室が収縮し血液を大動脈に拍出する過程で振動が生じ、その振動が圧電センサの位置に達するまで到達時間を要する。この到達時間は、脈波では脈波到達時間（Ｐｕｌｓｅ　Ａｒｒｉｖａｌ　Ｔｉｍｅ，ＰＡＴ）と呼ばれる。例えば、脈波到達時間は心電図におけるＲ波のピークの時刻から測定位置における脈波の立ち上がり時刻までの時間差である。本実施形態では、心弾動も含めて心臓の振動が圧電センサの位置に達するまでの到達時間を拍動振動到達時間とすれば、ＰＡＴと同じ情報が得られる。すなわち、例えば、拍動振動到達時間は心電図におけるＲ波のピークの時刻から圧電センサによる測定位置における拍動振動波形の立ち上がり時刻までの時間差である。
　従って、拍動振動波形の立ち上がりは、心電図においてＲ波が生じた時刻から拍動振動到達時間だけ遅れる。しかし、機械学習の過程において、推定モデルには心電図においてＲ波が生じた時刻と拍動振動波形の立ち上がり時刻とが反映される。このため、本発明の発明者らは、推定心電図におけるＲ波（以下、推定Ｒ波という。）は、拍動振動波形の立ち上がり時刻に生じるのではなく、図１に示すように、拍動振動波形の立ち上がり時刻から拍動振動到達時間だけ前の時刻に生じると予測した。すなわち、本発明の発明者らは、推定心電図では、もし心電図計によって計測されたならば心電図においてＲ波が生じるであろうと推定される時刻に推定Ｒ波が生じると予測した。
　図２は、本発明の実施形態に係る信号処理システム１の構成の一例を示す。
　信号処理システム１は、推定モデル作成装置１０と、信号処理装置２０と、心電図計３０と、圧電センサ４０とを有する。
　推定モデル作成装置１０は、心電図計３０および圧電センサ４０と有線または無線で接続されている。推定モデル作成装置１０は、ネットワークを介して心電図計３０および／または圧電センサ４０と接続されていてもよい。
　信号処理装置２０は、圧電センサ４０と有線または無線で接続されている。信号処理装置２０は、ネットワークを介して圧電センサ４０と接続されていてもよい。
　推定モデル作成装置１０と信号処理装置２０は、有線または無線で接続されている。推定モデル作成装置１０と信号処理装置２０は、ネットワークを介して接続されていてもよい。また、推定モデル作成装置１０と信号処理装置２０は同一の装置であってもよい。
　推定モデル作成装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成される主メモリと、ハードディスク等で構成される記憶部とを備える。推定モデル作成装置１０は、コンピュータで実現することができる。例えば、推定モデル作成装置１０は、サーバやパーソナルコンピュータ、タブレットＰＣ、スマートフォン等で実現することができる。また、推定モデル作成装置１０は、例えば、クラウドコンピューティングで実現することができる。
　推定モデル作成装置１０の記憶部には、推定モデル作成プログラムが記憶されている。推定モデル作成装置１０のＣＰＵが記憶部から主メモリに推定モデル作成プログラムを読み出して実行することにより、入力部１１と、前処理部１２と、学習部１３との各部の機能が実現される。
　信号処理装置２０は、ＣＰＵとＲＡＭ等で構成される主メモリと、ハードディスク等で構成される記憶部とを備える。信号処理装置２０は、コンピュータで実現することができる。例えば、信号処理装置２０は、サーバやパーソナルコンピュータ、タブレットＰＣ、スマートフォン等で実現することができる。また、信号処理装置２０は、例えば、クラウドコンピューティングで実現することができる。
　信号処理装置２０の記憶部には、信号処理プログラムが記憶されている。信号処理装置２０のＣＰＵが記憶部から主メモリに信号処理プログラムを読み出して実行することにより、入力部２１と、前処理部２２と、推定部２３と、後処理部２５と、出力部２６との各部の機能が実現される。推定部２３は推定モデル２４を有する。後述するように、推定モデル２４は、推定モデル作成装置１０の学習部１３によって作成される。
　推定モデル作成装置１０と信号処理装置２０は、同一のコンピュータで実現することもできる。例えば、推定モデル作成装置１０と信号処理装置２０は、同一のサーバやパーソナルコンピュータ、タブレットＰＣ、スマートフォン等で実現することもできる。
　心電図計３０は、ヒトまたは動物の心電図を取得する。
　圧電センサ４０は、例えば、ポリフッ化ビニリデン（ＰＶＤＦ）を材料とするシート状の圧電素子を用いる圧電センサである。圧電センサ４０は、ヒトまたは動物の生体振動を取得する。取得される生体振動は、心臓の拍動に由来し、心臓から圧電センサ４０まで伝搬した拍動振動を含む。拍動振動信号は、脈波（圧脈波）や心弾動による振動を示す信号である。生体振動は、その他に、呼吸による振動、体動による振動、発声による振動、鼾による振動等を含む
　シート型の圧電センサ４０は、ベッドマットや布団のような寝具の上や下、椅子の座面等に設置することができる。また、圧電センサ４０は、例えばリストバンド、ベルト、腕時計、指輪、ヘッドバンド等に取り付けて、人の頭部や指、腕、足等の体表面に密着させて設置することができる。すなわち、圧電センサ４０は、ヒトまたは動物の所定の位置における生体振動を取得する。
　なお、圧電センサ４０は、本発明の生体振動信号取得装置の例である。
　次に、推定モデル作成装置１０の各部の詳細について説明する。
　推定モデル作成装置１０の管理者等は、心電図計３０を用いてサンプルの心電図を取得するとともに、同時に圧電センサ４０を用いてそのサンプルの生体振動を取得する。
　ここで、サンプルは、ヒトまたは動物である。サンプルは、一人以上または一匹以上である。
　同時にとは、心電図信号と生体振動信号の計測開始時刻と計測時間が同じであるということである。そして、心電図信号と生体振動信号を同時に取得することで、心電図信号と生体振動信号または拍動振動信号の時間差を補正するような、すなわち両者の相関が高くなるような学習をして、ｐＥＣＧをうまく推定するような推定モデルを生成することができる。
　入力部１１は、心電図計３０から各サンプルの心電図信号を受け取る。また、入力部１１は、圧電センサ４０からその各サンプルの生体振動信号を受け取る。入力部１１は、受け取った心電図信号と生体振動信号を前処理部１２に渡す。なお、入力部１１は、心電図信号と生体振動信号を一旦推定モデル作成装置１０の記憶部に蓄積し、学習部１３が推定モデル２４を機械学習させる時に心電図信号と生体振動信号を記憶部から読みだして前処理部１２に渡してもよい。
　前処理部１２は、以下に説明する所定の処理を生体振動信号に施してモデル入力信号を生成し、学習部１３に渡す。
　すなわち、例えば、前処理部１２は、モデル入力信号として生体振動信号そのものを学習部１３に渡す。
　または、例えば、前処理部１２は、生体振動信号を微分する。そして、前処理部１２は、モデル入力信号として生体振動信号の微分信号を学習部１３に渡す。
　また、生体振動信号は、心臓の拍動に由来する振動（拍動振動信号）、呼吸による振動、体動による振動、発声による振動、鼾による振動等を含む。例えば、前処理部１２は、生体振動信号を、遮断周波数が０．５Ｈｚであるハイパスフィルタ、遮断周波数が前記生体振動信号から心音信号を抽出するのに適した周波数（２０Ｈｚ~４０Ｈｚ）であるハイパスフィルタ、または通過帯域が０．５Ｈｚ~４０Ｈｚであるバンドパスフィルタ（ＢＰＦ）を通過させて、生体振動信号から拍動振動信号を分離・抽出する。前処理部１２は、このようにして、生体振動信号から拍動振動信号を抽出し、モデル入力信号として学習部１３に渡す。
　または、例えば、前処理部１２は、生体振動信号から抽出された拍動振動信号に、微分と絶対値化のいずれかまたは両方の処理を施す。そして、前処理部１２は、モデル入力信号としてこれらの処理を施した信号を学習部１３に渡す。
　なお、生体振動信号そのもの、生体振動信号の微分信号、生体振動信号から抽出された拍動振動信号、および拍動振動信号の微分信号、その拍動振動信号または拍動振動信号の微分信号に絶対値化を施した信号は本発明のモデル入力信号の例である。モデル入力信号は、生体振動信号に所定の処理を施して生成される他の拍動振動信号であってもよい。
　学習部１３に渡される心電図信号とモデル入力信号とは、正規化されていることが望ましい。前処理部１２は、所定の期間（例えば、３０秒間）に取得した心電図信号について全データの平均に対する偏差と標準偏差との比（（各心電図信号の値−平均値）／標準偏差）を求めて正規化する。同様に、前処理部１２は、所定の期間（例えば、３０秒間）に取得したモデル入力信号について全データの平均に対する偏差と標準偏差との比（（各モデル入力信号の値−平均値）／標準偏差）を求めて正規化する。正規化された心電図信号とモデル入力信号を使用することにより、サンプルや推定対象の個体差を埋めてより推定モデル２４の汎用性を高めることができ、また、推定精度が向上する。
　ただし、正規化すると、後述する推定部２３においてリアルタイムで心電図を推定することができなくなる。このため、前処理部１２は正規化されていない心電図信号とモデル入力信号を学習部１３に渡し、学習部１３はその心電図信号を教師データとし、そのモデル入力信号について機械学習することにより推定モデル２４を生成してもよい。
　学習部１３は、前処理部１２から各サンプルの心電図信号とモデル入力信号を受け取ると、各サンプルの心電図信号を教師データとし、モデル入力信号を入力して機械学習することにより推定モデル２４を生成する。
　機械学習が終了すると、学習部１３は、推定モデル２４を信号処理装置２０の推定部２３に渡す。
　機械学習に用いられるニューラルネットワークの例としては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）や、長・短期記憶（ＬＳＴＭ：Ｌｏｎｇ　Ｓｈｏｒｔ−Ｔｅｒｍ　Ｍｅｍｏｒｙ）ニューラルネットワーク等が挙げられる。心電図信号と生体振動信号の長期に渡る傾向を捉えるためには、再帰的な結合をもつニューラルネットワーク（ＲＮＮやＬＳＴＭ）を用いることが望ましい。
　次に、信号処理装置２０の各部の詳細について説明する。
　入力部２１は、圧電センサ４０から推定対象の生体振動信号を受け取り、前処理部２２に渡す。推定対象は、サンプルがヒトであった場合にはヒトであり、動物であった場合には動物である。
　前処理部２２は、入力部２１から生体振動信号を受け取ると、推定モデル作成装置１０の前処理部１２と同一の処理をその生体振動信号に施してモデル入力信号を生成し、推定部２３に渡す。
　すなわち、例えば、前処理部２２は、モデル入力信号として生体振動信号そのものを推定部２３に渡す。
　または、例えば、前処理部２２は、生体振動信号を微分する。そして、前処理部２２は、モデル入力信号として生体振動信号の微分信号を推定部２３に渡す。
　または、例えば、前処理部２２は、遮断周波数が０．５Ｈｚであるハイパスフィルタ、遮断周波数が前記生体振動信号から心音信号を抽出するのに適した周波数（２０Ｈｚ~４０Ｈｚ）であるハイパスフィルタまたは通過帯域が０．５Ｈｚ~４０Ｈｚであるバンドパスフィルタ（ＢＰＦ）を生体振動信号に通過させて生体振動信号から拍動振動信号を抽出する。そして、前処理部２２は、モデル入力信号として拍動振動信号を推定部２３に渡す。
　または、例えば、前処理部２２は、生体振動信号から拍動振動信号を抽出し、抽出された拍動振動信号に、微分と絶対値化のいずれかまたは両方の処理を施す。そして、前処理部２２は、モデル入力信号として、これらの処理を施した信号を学習部１３に渡す。
　なお、生体振動信号そのもの、生体振動信号の微分信号、生体振動信号から抽出された拍動振動信号、または拍動振動信号の微分信号のいずれかに絶対値化を施した信号は本発明のモデル入力信号の例である。モデル入力信号は、生体振動信号に所定の処理を施して生成される他の拍動振動信号であってもよい。
　なお、モデル入力信号を推定部２３に渡す前に、モデル入力信号に正規化を施すことが好ましいことは、学習の場合と同様である。
　推定部２３は、前処理部２２からモデル入力信号を受け取ると、それを推定モデル２４に入力する。推定モデル２４は、モデル入力信号が入力されると、最も尤度の高い心電図の状態を求めるために演算する。推定モデル２４は、演算の結果、最も尤度の高かった心電図の状態を推定結果として推定心電図を求め、推定された推定心電図信号を後処理部２５に出力する。推定心電図信号は、心電図信号に準ずる信号であり、その波形は少なくても推定されたＲ波（以下、推定Ｒ波という。）を含む。このため、推定Ｒ波に基づいて心拍間隔と心拍数を求めることができる。
　推定心電図では、推定された心拍の間隔が異常となる場合がある（例えば、隣接した推定Ｒ波の間隔が長過ぎたり、短過ぎたりする場合がある）。後処理部２５は、例えば、推定モデル２４の学習時に用いられたサンプルの心電図における心拍間隔を参照してこの異常が推定モデル２４における推定の誤りによるか否かを判別する。例えば、心拍間隔の正常値に基づいて推定された心拍間隔が正常かまたは異常かを判別し、異常であると判別された場合には心拍が異常な間隔である心拍部分を削除するというような後処理をおこなってもよい。
　ただし、例えば、推定モデル２４における推定の誤りによって心拍の間隔が異常となったことを、ヒトが心拍の間隔の表示を見て判断できる応用分野で本発明を実施する場合には、後処理は行わなくてもよい。
　出力部２６は、後処理部２５から出力される推定心電図信号を信号処理装置２０のディスプレイに表示したり、信号処理装置２０の記憶部に記録したり、信号処理装置２０の管理者が所持する端末に送信したりする。
実施例１
　本発明の発明者らは、１３人のヒトを被験者として実証実験を行った。実証実験では、圧電センサ４０が取り付けられたシートを椅子の座面に設置した。各被験者の胸部に心電図用電極を貼付し、双極誘導により心電図計３０で各被験者の心電図信号を取得した。そして、その心電図信号取得と同時に、圧電センサ４０によって椅子に腰かけた各被験者の臀部において生体振動信号を取得した。計測時間は各被験者について３０秒であった。
　学習部１３は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法で推定モデル２４を機械学習させた。ニューラルネットワークとして、双方向長短期記憶層に学習データを伝搬する双方向ＬＳＴＭ（ＢｉＬＳＴＭ）ニューラルネットワークを用いた。
　具体的には、まず、１３人の各被験者について、３０秒間に取得された心電図信号について全データの平均に対する偏差と標準偏差との比（（各心電図信号の値−平均値）／標準偏差）を求めて正規化した。同様に、１３人の各被験者について、３０秒間に取得されたモデル入力信号について全データの平均に対する偏差と標準偏差との比（（各心電図信号の値−平均値）／標準偏差）を求めて正規化した。
　次に、推定対象の被験者毎に、他の１２人の被験者（サンプル）の正規化された各心電図信号を教師データとし、正規化された各モデル入力信号を入力して、双方向ＬＳＴＭニューラルネットワークで構成される推定モデル２４を生成した。
　そして、推定対象の被験者について、正規化されたモデル入力信号を推定モデル２４に入力し、推定された心電図の推定心電図信号を推定モデル２４に出力させた。モデル入力信号は、生体振動信号そのもの、生体振動信号を０．５Ｈｚハイパスフィルタを通過させて抽出された拍動振動信号、および生体振動信号の微分信号の３種類であった。
　なお、本実証実験では、推定モデル２４から出力された推定心電図信号について後処理は行っていない。
　実証実験の結果、１３人の被験者（推定対象）全員について、実測心電図のＲ波と推定心電図の推定Ｒ波とがほぼ同時に生じたことを確認した。
　以下では、図３~図８を参照して、３人の被験者（推定対象Ａと推定対象Ｂと推定対象Ｃ）における実証実験の結果について説明する。
　図３（Ａ）は、推定対象Ａのモデル入力信号を示す。最上段は生体振動信号の波形を示す。中段は拍動振動信号の波形を示す。最下段は生体振動信号の微分信号の波形を示す。
　図３（Ｂ）は、推定対象Ａの実測心電図信号の波形および推定心電図信号の波形を示す。最上段は実測された心電図信号の波形を示す。上から２段目は、生体振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。上から３段目は、拍動振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。最下段は、生体振動信号の微分信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。
　図３（Ｂ）から分かるように、３種類の推定心電図において実測心電図のＲ波と推定心電図の推定Ｒ波とはほぼ同時に生じている。
　特に、例えば、図３（Ａ）と図３（Ｂ）に矢印で示したように、９秒過ぎにモデル入力信号（例えば、拍動振動信号）ではごく近くにピークが２つ生じている。しかし、拍動振動信号の推定心電図では推定Ｒ波は１つのみ生じていることに注意されたい。
　図４は、推定対象Ａについて、実測された心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す。
　図４から分かるように、ＲＲＩとＢＢＩは約５秒の周期で変動しているが、この変動は呼吸に基因して生じる。心拍の間隔は、呼吸性不整脈により、息を吸ったとき（吸気時）に短くなり、息を吐いたとき（呼気時）に長くなる。このため、心拍の間隔は呼吸の影響により呼吸パターンと類似の周期で変動する。
　図３（Ｂ）と図４から分かるように、例えば拍動振動信号がモデル入力信号である場合にＢＢＩ（すなわち、推定Ｒ波の間隔）は５秒付近で大きく乱れている。このように、推定心電図では、ごくまれに推定の誤りが生じる。
　図５（Ａ）は、推定対象Ｂのモデル入力信号を示す。図３（Ａ）と同様に、図５（Ａ）の最上段は生体振動信号の波形を示す。図５（Ａ）の中段は拍動振動信号の波形を示す。図５（Ａ）の最下段は生体振動信号の微分信号の波形を示す。
　図５（Ｂ）は、推定対象Ｂの実測心電図信号の波形および推定心電図信号の波形を示す。図３（Ｂ）と同様に、図５（Ｂ）の最上段は実測された心電図信号の波形を示す。図５（Ｂ）の上から２段目は、生体振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。図５（Ｂ）の上から３段目は、拍動振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。図５（Ｂ）の最下段は、生体振動信号の微分信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。
　図６は、推定対象Ｂについて、実測された心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す。
　図５（Ｂ）において、モデル入力信号が生体振動信号である場合（上から２段目）の推定心電図と、モデル入力信号が生体振動信号の微分信号である場合（最下段）場合の推定心電図では、矢印で示す区間において推定Ｒ波が抜けている。しかし、図５（Ｂ）において、モデル入力信号が拍動振動信号である場合（上から３段目）の推定振動図の推定Ｒ波は、実測心電図のＲ波とほぼ一致している。図６でも、実測心電図信号の心拍間隔（ＲＲＩ）と推定心電図の心拍間隔（ＢＢＩ）は良く一致している。
　従来の方法では、図５（Ａ）に示される推定対象Ｂのような生体振動信号から心拍間隔（ＢＢＩ）を求めることは困難であった。しかし、本発明に係る信号処理装置２０を用いれば、このような生体振動信号からでも推定Ｒ波に基づいて心拍間隔（ＢＢＩ）を容易に求めることができる。
　図７（Ａ）は、推定対象Ｃのモデル入力信号を示す。図３（Ａ）と同様に、図７（Ａ）の最上段は生体振動信号の波形を示す。図７（Ａ）の中段は拍動振動信号の波形を示す。図７（Ａ）の最下段は生体振動信号の微分信号の波形を示す。
　図７（Ｂ）は、推定対象Ｃの実測心電図信号の波形および推定心電図信号の波形を示す。図３（Ｂ）と同様に、図７（Ｂ）の最上段は実測された心電図信号の波形を示す。図７（Ｂ）の上から２段目は、生体振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。図７（Ｂ）の上から３段目は、拍動振動信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。図７（Ｂ）の最下段は、生体振動信号の微分信号がモデル入力信号として推定部２３に入力された場合に、推定モデル２４が出力する推定心電図信号の波形を示す。
　図８は、推定対象Ｃについて、実測された心電図信号から求められた心拍の間隔（ＲＲＩ）と、モデル入力信号が拍動振動信号である場合の推定心電図から求められた心拍の間隔（ＢＢＩ）とを示す。
　図７（Ｂ）では、３種類のモデル入力信号全てにおいて矢印で示す区間で推定Ｒ波が抜けている。また、３種類のモデル入力信号全てにおいて破線の丸で囲った区間で推定Ｒ波が２重に生じている。しかし、３種類の推定心電図において、大部分の推定Ｒ波は実測心電図のＲ波とほぼ同時に生じている。
　従来の方法では、図７（Ａ）に示される推定対象Ｃのような生体振動信号から心拍間隔（ＢＢＩ）を求めることは、図５（Ａ）に示される推定対象Ｂのような生体振動信号から心拍間隔（ＢＢＩ）を求めるよりも更に困難であった。しかし、本発明に係る信号処理装置２０を用いれば、推定対象Ｃのような生体振動信号からでも推定Ｒ波に基づいて心拍間隔（ＢＢＩ）を求めることができる。
実施例２
　次に、本発明の発明者らは、圧電センサ４０が取り付けられたシートをベッドマットの上に設置し、１８人のヒトを被験者として、伏臥位、背臥位、左側臥位、右側臥位での実証実験を行った。
　学習部１３は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法で推定モデル２４を機械学習させた。ニューラルネットワークとして、双方向長短期記憶層に学習データを伝搬する双方向ＬＳＴＭ（ＢｉＬＳＴＭ）ニューラルネットワークを用いた。
　各被験者の胸部に心電図用電極を貼付し、双極誘導により心電図計３０で各被験者の心電図信号を取得した。そして、その心電図信号取得と同時に、圧電センサ４０によって、ベッドに横たわった各被験者の伏臥位、背臥位、左側臥位、右側臥位における生体振動信号を取得した。計測時間は各被験者について３０秒であった。
　１８人の各被験者について、３０秒間に取得された心電図信号について全データの平均に対する偏差と標準偏差との比（（各心電図信号の値−平均値）／標準偏差）を求めて正規化した。同様に、１８人の各被験者について、３０秒間に取得されたモデル入力信号について全データの平均に対する偏差と標準偏差との比（（各モデル入力信号の値−平均値）／標準偏差）を求めて正規化した。
　次に、推定対象の被験者毎に、他の１７人の被験者（サンプル）の正規化された各心電図信号を教師データとし、正規化された各モデル入力信号を入力して、双方向ＬＳＴＭニューラルネットワークで構成される推定モデル２４を生成した。
　モデル入力信号は、各被験者から得た生体振動信号を０．５Ｈｚのハイパスフィルタを通過させたもの、２０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したもの、遮断周波数が３０Ｈｚであるハイパスフィルタを通過させ絶対値化処理を施したもの、微分し絶対値化処理を施したものであった。
　そして、推定対象の被験者について、正規化されたモデル入力信号を推定モデル２４に入力し、推定された心電図の推定心電図信号を推定モデル２４に出力させた。
　図９はある被験者の背臥位と伏臥位における推定心電図等の信号を示す。
　最上段は、実測心電図信号の波形（ＥＣＧ）、上から２段目は生体振動信号の波形（ＢＣＧ）である。Ａは生体振動信号を０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、Ｂは２０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｃは３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｄは生体振動信号を微分し絶対値化処理を施したモデル入力信号波形である。各モデル入力信号の上側は、それぞれの場合において推定モデル２４が出力する推定心電図信号の波形（ｐＥＣＧ）である。
　図１０はある被験者の伏臥位における推定心電図等の信号を示す。
　最上段は、実測心電図信号の波形（ＥＣＧ）、上から２段目は生体振動信号の波形（ＢＣＧ）である。Ａは生体振動信号を０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、Ｂは２０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｃは３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｄは生体振動信号を微分し絶対値化処理を施したモデル入力信号波形である。各モデル入力信号の上側は、それぞれの場合において推定モデル２４が出力する推定心電図信号の波形である。
　図１１はある被験者の左側臥位における推定心電図等の信号を示す。
　最上段は、実測心電図信号の波形（ＥＣＧ）、上から２段目は生体振動信号の波形（ＢＣＧ）である。Ａは生体振動信号を０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、Ｂは２０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｃは３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｄは生体振動信号を微分し絶対値化処理を施したモデル入力信号波形である。各モデル入力信号の上側は、それぞれの場合において推定モデル２４が出力する推定心電図信号の波形である。
　図１２はある被験者の左側臥位における推定心電図等の信号を示す。
　最上段は、実測心電図信号の波形（ＥＣＧ）、上から２段目は生体振動信号の波形（ＢＣＧ）である。Ａは生体振動信号を０．５Ｈｚのハイパスフィルタを通過させたモデル入力信号波形、Ｂは２０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｃは３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号波形、Ｄは生体振動信号を微分し絶対値化処理を施したモデル入力信号波形である。各モデル入力信号の上側は、それぞれの場合において推定モデル２４が出力する推定心電図信号の波形である。
　図１３は図９~図１２に示したデータのうち、Ｃすなわち、３０Ｈｚのハイパスフィルタを通過させ絶対値化処理を施したモデル入力信号から推定した推定心電図から得られた心拍の間隔（ＢＢＩ）と実測心電図から得られたＲＲＩのＢｌａｎｄ−Ａｌｔｍａｎ　Ｐｌｏｔである。実測した心電図から得られたＲＲＩと推定された心電図波形から得られた心拍の間隔（ＢＢＩ）がよく一致しており、系統的な誤差もほとんど存在しないことが分かる。
　このように、学習部１３および推定部２３に入力するモデル入力信号を、生体振動信号を３０Ｈｚのハイパスフィルタを通過させて取得した拍動振動信号の高調波成分を絶対値化の処理を施したものとすることにより、背臥位、伏臥位、左側臥位、右側臥位のいずれにおいても推定心電図信号と実測された心電図信号の一致度が高いという良好な結果が得られた。
　図１４は、伏臥位における、実測心電図信号の波形（ＥＣＧ）、生体振動信号波形（ＢＣＧ）、生体振動信号を５Ｈｚ、１０Ｈｚ、１５Ｈｚ、２０Ｈｚ、２５Ｈｚ、３０Ｈｚ、３５Ｈｚ、４０Ｈｚのハイパスフィルタを通過させた波形、生体振動信号を微分した波形（ｄｉｆｆ）である。ハイパスフィルタの遮断周波数２０Ｈｚ辺りから心電図のＴ波の直後に、図中○印で示す振幅の大きい心音が見られるようになる。
　これらと、図９~図１２を照らし合わせると、２０Ｈｚ~３０Ｈｚのハイパスフィルタを通過させた生体振動信号に絶対値化を施して得たモデル入力信号を使って学習をし、推定をする場合に、良好な推定心電図信号の波形が得られると言うことができる。
　図１５は図１４のデータのパワースペクトルであり、心拍の基本周波数（１Ｈｚ近傍）、第一高調波、第二高調波が認められる。
　なお、図１４に示す、ハイパスフィルタの遮断周波数２０Ｈｚ辺りから見られる心音信号を心音計で得ることもできる。
実施例３
　本発明の発明者らは、３人のヒトを被験者として、圧電センサとして指尖圧電脈波計を使用して実証実験を行った。
　学習部１３は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法で推定モデル２４を機械学習させた。ニューラルネットワークとして、双方向長短期記憶層に学習データを伝搬する双方向ＬＳＴＭ（ＢｉＬＳＴＭ）ニューラルネットワークを用いた。
　各被験者の胸部に胸部双極誘導による心電図計３０を取りつけ、その心電図計３０で各被験者の心電図信号を取得した。そして、その心電図信号取得と同時に、圧電センサ４０として圧電脈波計を被験者の指先に取り付け、生体振動信号を取得した。計測時間は各被験者について３０秒であった。
　各被験者について、３０秒間に取得された心電図信号について全データの平均に対する偏差と標準偏差との比（（各心電図信号の値−平均値）／標準偏差）を求めて正規化した。同様に、各被験者について、３０秒間に取得されたモデル入力信号について全データの平均に対する偏差と標準偏差との比（（各モデル入力信号の値−平均値）／標準偏差）を求めて正規化した。
　次に、推定対象の被験者毎に、他の被験者（サンプル）の正規化された各心電図信号を教師データとし、正規化された各モデル入力信号を入力して、双方向ＬＳＴＭニューラルネットワークで構成される推定モデル２４を生成した。
　モデル入力信号は、各被験者から得た生体振動信号そのものであった。
　そして、推定対象の被験者について、正規化されたモデル入力信号を推定モデル２４に入力し、推定された心電図の推定心電図信号を推定モデル２４に出力させた。
　図１６は、推定対象Ａ、推定対象Ｂおよび推定対象Ｃにおける推定心電図等の信号を示す。
　図１６の（Ａ）、（Ｂ）および（Ｃ）の上段は、実測された心電図信号（ＥＣＧ）である。
　図１６の（Ａ）、（Ｂ）および（Ｃ）の下段は圧電脈波計で取得した生体振動信号波形（Ｐｕｌｓｅ）であるが、明白な信号であり、そのまま正規化することでモデル入力信号とすることができた。
　図１６の（Ａ）、（Ｂ）および（Ｃ）の中段は上記の生体振動信号をそのままモデル入力信号とした場合に、推定モデル２４が出力した推定心電図信号（ｐＥＣＧ）の波形を示す。
　なお、光電脈波計を使っても、図１６の（Ａ）、（Ｂ）および（Ｃ）の下段に示す指尖圧電脈波計で取得した生体振動信号波形（Ｐｕｌｓｅ）と同じくらい明白な生体振動信号波形が得られ、良好なｐＥＣＧの波形が得られる。
　本実証実験では、臀部に配置された圧電センサによって生体振動信号を取得した。臀部における生体振動信号に含まれる拍動振動は、心臓から動脈血管を臀部組織まで伝搬してきた圧脈波の集合体であり、上大動脈と下大動脈の動脈圧勾配に依存して上下に振動する信号であると考えられる。また、臀部における生体振動信号に含まれる拍動振動は、圧脈波が体組織に吸収されるなどして減衰していると考えられる。本実証実験によって、図３（Ａ）、図５（Ａ）、図７（Ａ）に示すように波形の乱れた生体振動信号であっても心拍間隔（ＢＢＩ）を求めることができることを確認できた。
　生体振動信号を遮断周波数が２０Ｈｚ~３０Ｈｚであるハイパスフィルタを通過させて取得した拍動振動信号の高調波成分を絶対値化して心音が認められる信号をモデル入力信号とすることにより、背臥位、伏臥位、左側臥位、右側臥位のいずれにおいても、図９、図１０、図１１、図１２に示すように、良好な推定心電図信号が得られることを確認できた。
　なお、図１４を勘案するに、心音が認められるのであれば、ハイパスフィルタの遮断周波数は厳密に２０Ｈｚ~３０Ｈｚである必要はない。
　圧電センサ４０が圧電脈波計の場合は、明白な生体振動信号を取得できるので、生体振動信号そのものをモデル入力信号として良好な心電図信号を推定できることを確認できた。
　なお、上述した実施例では被検者数（サンプル）や生体振動信号を取得する時間が限られている。被検者数（サンプル）や生体振動信号を取得する時間を増やして（すなわち、ビッグデータで）学習させて推定モデルを作ることにより、推定の精度を向上させ、推定心電図の波形を実測心電図の波形に近づけることができると考えられる。
　また、サンプルと推定対象を同一の個人として、個人専用の推定モデルを作ってもよい。
　更に、性別、年齢、身長や座高、体重、肥満度等の身体的条件に応じて別々の推定モデルを作ってもよい。
　例えば、上述した実施例のように、椅子の座面に圧電センサが設置されており、圧電センサが臀部の生体振動信号を取得する場合、座高が同程度のヒトであれば、心臓と臀部の距離も同程度である場合が多い。このため、座高に応じた推定モデルを作ることにより、推定の精度を向上させ、推定心電図の波形を実測心電図の波形に近づけることができると考えられる。
　また、椅子の座面、ベッドマットや布団のような寝具の下、寝具の上等の圧電センサが設置される場所毎に別々の推定モデルを作ってもよい。
　また、手首、腕、足、こめかみ等のヒトの身体に圧電センサが取り付けられる場合、圧電センサが取り付けられる身体の位置毎に別々の推定モデルを作ってもよい。
　また、上述した実施形態では、ポリフッ化ビニリデン（ＰＶＤＦ）を材料とするシート状の圧電素子を用いる圧電センサを例として本発明を説明したが、生体振動信号を計測できる圧電センサであれば他の圧電センサであっても本発明を実施することができる。
　例えば、高分子圧電体（ポリオレフィン系材料）を材料とする圧電素子を用いる圧電センサであっても本発明を実施することができる。また、ピエゾ素子の素材としては、例えば、多孔性ポリプロピレンエレクトレットフィルム（ＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌ　Ｆｉｌｍ（ＥＭＦＩ））、または、またはポリフッ化ビニリデンと三フッ化エチレン共重合体（Ｐ（ＶＤＦ−ＴｒＦＥ））、またはポリフッ化ビニリデンと四フッ化エチレン共重合体（Ｐ（ＶＤＦ−ＴＦＥ））を材料とする圧電素子を用いる圧電センサであっても本発明を実施することができる。
　また、例えば、加速度センサでも本発明を実施することができる。
　また、光電脈波計により計測された容積脈波であっても本発明を実施することができる。
　なお、加速度センサと光電脈波計は本発明の生体振動信号取得装置の例であり、光電脈波計によって取得される容積脈波による振動は本発明の拍動振動の例である。
　また、例えば、心音計でも本発明を実施することができる。
　以上説明したように、本発明によれば、心臓の拍動に由来する振動を含む生体振動信号に基づいて、心電図の信号に準ずる信号であって、少なくとも推定Ｒ波を有しており、心拍間隔や心拍数を求めやすい信号を生成することができる。
　また、心弾動の波形や脈波の波形に基づいて血圧を推定する様々な試みがなされている。そのような血圧の推定では、心拍間隔と脈波到達時間（ＰＡＴ）が重要なパラメータである。心拍間隔は推定心電図から求めることができる。また、ＰＡＴは、推定心電図の推定Ｒ波の時刻と拍動振動信号の立ち上がり時刻から求めることができる。従って、本発明によれば、１個の圧電センサまたは１個の光電脈波計を心臓からある程度離れた位置に配置することにより、その圧電センサまたは光電脈波計によって血圧を推定することができる。
　以上、本発明の実施形態について説明したが、設計または製造上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれる。
１…信号処理システム、１０…推定モデル作成装置、１１…入力部、１２…前処理部、１３…学習部、２０…信号処理装置、２１…入力部、２２…前処理部、２３…推定部、２４…推定モデル、２５…後処理部、２６…出力部、３０…心電図計、４０…圧電センサ

Claims (11)

  1. 　心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に所定の処理が施されたモデル入力信号を入力して機械学習することにより生成された推定モデルを有しており、前記生体振動信号取得装置によって推定対象から取得された生体振動信号に前記所定の処理が施されたモデル入力信号が前記推定モデルに入力されるとき、前記推定モデルによって推定された心電図の推定心電図信号を出力する推定部を備える信号処理装置。
  2. 　前記モデル入力信号が、前記生体振動信号、前記生体振動信号の微分信号、前記生体振動信号から抽出された拍動振動信号、若しくは前記拍動振動信号の微分信号のいずれかの信号または前記いずれかの信号に絶対値化を施した信号である請求項１に記載の信号処理装置。
  3. 　前記所定の処理が、前記生体振動信号を通過させる処理、遮断周波数が０．５Ｈｚであるハイパスフィルタを通過させる処理、前記生体振動信号から心音信号を抽出するのに適した周波数を遮断周波数とするハイパスフィルタを通過させる処理、前記生体振動信号の通過帯域が０．５Ｈｚ~４０Ｈｚであるバンドパスフィルタ（ＢＰＦ）を通過させる処理のいずれかの処理の後に、微分と絶対値化のいずれかまたは両方の処理を行い、最後に正規化を行う処理である請求項１に記載の信号処理装置。
  4. 　前記ハイパスフィルタの遮断周波数が２０Ｈｚ~４０Ｈｚである請求項３に記載の信号処理装置。
  5. 　前記推定部によって出力された推定心電図信号に基づいて心拍の間隔を求め、当該心拍の間隔が異常である場合に当該推定心電図信号から当該異常な間隔である心拍部分を削除する後処理部を備える請求項１ないし４のいずれか１項に記載の信号処理装置。
  6. 　前記生体振動信号取得装置が、圧電センサである請求項１ないし５のいずれか１項に記載の信号処理装置。
  7. 　前記生体振動信号取得装置が、加速度センサである請求項１ないし５のいずれか１項に記載の信号処理装置。
  8. 　前記生体振動信号取得装置が、圧電脈波計または光電脈波計である請求項１ないし５のいずれか１項に記載の信号処理装置。
  9. 　前記生体振動信号取得装置が、心音計である請求項１ないし５のいずれか１項に記載の信号処理装置。
  10. 　請求項１ないし７のいずれか１項に記載の信号処理装置と、
    　前記サンプルの心電図信号を取得する心電図計と、
    　前記サンプルと前記推定対象から生体振動信号を取得する生体信号取得装置と、
    　前記心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に前記生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に前記所定の処理が施されたモデル入力信号を入力して機械学習することにより前記推定モデルを生成する学習部を有する推定モデル作成装置と、
    　を備える信号処理システム。
  11. 　コンピュータを
    　心電図計によって取得されたサンプルの心電図信号を教師データとし、当該心電図信号と同時に生体振動信号取得装置によって取得された当該サンプルの生体振動信号であって心臓の拍動に由来する拍動振動信号を含む当該生体振動信号に所定の処理が施されたモデル入力信号を入力して機械学習することにより生成された推定モデルを有しており、前記生体振動信号取得装置によって推定対象から取得された生体振動信号に前記所定の処理が施されたモデル入力信号が前記推定モデルに入力されるとき、前記推定モデルによって推定された心電図の推定心電図信号を出力する推定手段、
    　として機能させるための信号処理プログラム。
PCT/JP2021/018307 2021-02-16 2021-05-06 信号処理装置、信号処理システムおよび信号処理プログラム Ceased WO2022176221A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/613,362 US11730397B2 (en) 2021-02-16 2021-05-06 Signal processing apparatus, signal processing system, and signal processing program
EP21926650.9A EP4176801B1 (en) 2021-02-16 2021-05-06 Signal processing device, signal processing system, and signal processing program
JP2021560207A JP7121893B1 (ja) 2021-02-16 2021-05-06 信号処理装置、信号処理システムおよび信号処理プログラム
JP2022129439A JP7302928B2 (ja) 2021-02-16 2022-07-27 信号処理装置、信号処理システムおよび信号処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-065009 2021-02-16
JP2021065009 2021-02-16

Publications (1)

Publication Number Publication Date
WO2022176221A1 true WO2022176221A1 (ja) 2022-08-25

Family

ID=82931272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018307 Ceased WO2022176221A1 (ja) 2021-02-16 2021-05-06 信号処理装置、信号処理システムおよび信号処理プログラム

Country Status (4)

Country Link
US (1) US11730397B2 (ja)
EP (1) EP4176801B1 (ja)
JP (1) JP7302928B2 (ja)
WO (1) WO2022176221A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230097790A1 (en) * 2021-09-24 2023-03-30 Apple Inc. System and method for capturing cardiopulmonary signals
TWI808755B (zh) * 2022-05-11 2023-07-11 國立臺灣科技大學 一種血壓測量方法及血壓測量系統
JPWO2025028305A1 (ja) * 2023-08-02 2025-02-06
WO2025219489A1 (en) * 2024-04-17 2025-10-23 Lighthearted Ai Health Limited System and method for determining calibrated blood pressure from biophotonic signals using machine learning
WO2026038468A1 (ja) * 2024-08-13 2026-02-19 株式会社村田製作所 生体信号センサーモジュール

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09135819A (ja) * 1995-09-13 1997-05-27 Seiko Epson Corp 健康状態管理装置
JPH10295657A (ja) * 1997-04-24 1998-11-10 Matsushita Electric Ind Co Ltd 血圧測定装置
JP2012065713A (ja) * 2010-09-21 2012-04-05 Gifu Univ 心電図データの異常心拍及びトレンドの除去方法、自律神経モニタ装置、及び敗血症発症警告装置
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
JP2018082931A (ja) * 2016-11-24 2018-05-31 本田技研工業株式会社 覚醒度処理方法および覚醒度処理装置
JP2020092738A (ja) 2018-12-10 2020-06-18 株式会社アルム 血圧推定装置、血圧推定システム、および血圧推定プログラム
JP2020188963A (ja) * 2019-05-22 2020-11-26 トヨタテクニカルディベロップメント株式会社 心電波形推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5941837A (en) 1995-12-18 1999-08-24 Seiko Epson Corporation Health management device and exercise support device
US11311201B2 (en) * 2018-11-02 2022-04-26 Samsung Electronics Co., Ltd. Feature selection for cardiac arrhythmia classification and screening
EP4299148A3 (en) * 2019-09-06 2024-03-27 Sports Data Labs, Inc. System for generating simulated animal data and models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09135819A (ja) * 1995-09-13 1997-05-27 Seiko Epson Corp 健康状態管理装置
JPH10295657A (ja) * 1997-04-24 1998-11-10 Matsushita Electric Ind Co Ltd 血圧測定装置
JP2012065713A (ja) * 2010-09-21 2012-04-05 Gifu Univ 心電図データの異常心拍及びトレンドの除去方法、自律神経モニタ装置、及び敗血症発症警告装置
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
JP2018082931A (ja) * 2016-11-24 2018-05-31 本田技研工業株式会社 覚醒度処理方法および覚醒度処理装置
JP2020092738A (ja) 2018-12-10 2020-06-18 株式会社アルム 血圧推定装置、血圧推定システム、および血圧推定プログラム
JP2020188963A (ja) * 2019-05-22 2020-11-26 トヨタテクニカルディベロップメント株式会社 心電波形推定装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KYUICHI NIIZEKI: "Biological information sensing and application to prediction of human conditions", 31 July 2020, TECHNICAL INFORMATION INSTITUTE CO., LTD, article "unrestrained measurement technologies for heartbeats and respiration and prediction of sleep condition", pages: 145 - 152
MUSTAFA RADHAPEDRO FONSECAARNAUD MOREAUMARCO ROSSANDREAS CERNYPETER ANDERERXI LONGRONALD M.AARTS: "Sleep stage classification from heart-rate variability using long short-term memory neural networks", SCIENTIFIC REPORTS, 30 January 2021 (2021-01-30), Retrieved from the Internet <URL:https://doi.org/10.1038/s41598-019-49703-y>
See also references of EP4176801A4

Also Published As

Publication number Publication date
EP4176801A4 (en) 2023-11-01
EP4176801B1 (en) 2024-11-06
EP4176801A1 (en) 2023-05-10
JP2022169643A (ja) 2022-11-09
JP7302928B2 (ja) 2023-07-04
US11730397B2 (en) 2023-08-22
US20230086376A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
JP7302928B2 (ja) 信号処理装置、信号処理システムおよび信号処理プログラム
KR101656611B1 (ko) 무구속적으로 측정한 생체신호를 이용하여 산소탈포화지수를 획득하는 방법
Pinheiro et al. Theory and developments in an unobtrusive cardiovascular system representation: ballistocardiography
JP6767059B2 (ja) 生体情報取得装置及び信号処理方法
CN108697390B (zh) 睡眠状态测定装置、相位相干性计算装置及压力状态测定装置
US11197616B2 (en) Multisensor physiological monitoring systems and methods
Shin et al. Non-constrained monitoring of systolic blood pressure on a weighing scale
JP5529796B2 (ja) 移動式生理学的モニタリングからのデータを処理する方法及びシステム
CN107137071B (zh) 一种分析心冲击信号用来计算短期心率值的方法
US10092268B2 (en) Method and apparatus to monitor physiologic and biometric parameters using a non-invasive set of transducers
Šprager et al. Heartbeat and respiration detection from optical interferometric signals by using a multimethod approach
JP7107531B2 (ja) 血圧算出方法及び装置
CN104144636B (zh) 处理表示生理节律的信号的方法
Yi et al. Non-invasive in-home sleep stage classification using a ballistocardiography bed sensor
JP2009540953A (ja) うっ血性心不全患者の携帯型自動モニタリング
Niizeki et al. Unconstrained cardiorespiratory and body movement monitoring system for home care
JP2020075136A (ja) 生体振動信号検出装置
CN110115574A (zh) 心率监测的方法和装置
Gilaberte et al. Heart and respiratory rate detection on a bathroom scale based on the ballistocardiogram and the continuous wavelet transform
Kurihara et al. Development of unconstrained heartbeat and respiration measurement system with pneumatic flow
Su et al. Pulse rate estimation using hydraulic bed sensor
KR101885981B1 (ko) 무구속적으로 측정된 심폐신호를 이용한 수면효율의 예측방법
JP7121893B1 (ja) 信号処理装置、信号処理システムおよび信号処理プログラム
WO2020232604A1 (zh) 一种心脏舒张功能评估方法、设备和系统
Hsiao et al. Design and implementation of auscultation blood pressure measurement using vascular transit time and physiological parameters

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021560207

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926650

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021926650

Country of ref document: EP

Effective date: 20230131

NENP Non-entry into the national phase

Ref country code: DE