WO2024252442A1 - 患者状態推定装置、患者状態推定方法、およびプログラム - Google Patents

患者状態推定装置、患者状態推定方法、およびプログラム Download PDF

Info

Publication number
WO2024252442A1
WO2024252442A1 PCT/JP2023/020751 JP2023020751W WO2024252442A1 WO 2024252442 A1 WO2024252442 A1 WO 2024252442A1 JP 2023020751 W JP2023020751 W JP 2023020751W WO 2024252442 A1 WO2024252442 A1 WO 2024252442A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
information
tremor
feature
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/020751
Other languages
English (en)
French (fr)
Inventor
芳陸 謝
基宏 高木
仁志 瀬下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/020751 priority Critical patent/WO2024252442A1/ja
Priority to JP2025525421A priority patent/JPWO2024252442A1/ja
Publication of WO2024252442A1 publication Critical patent/WO2024252442A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons

Definitions

  • One aspect of the present invention relates to a patient condition estimation device, a patient condition estimation method, and a program.
  • Tremors occur through a variety of mechanisms. Not only do people tremble in response to cold, but they can also tremble unconsciously (involuntary movement) when they have a fever or feel fear. Tremors are also known to be one of the main symptoms of essential tremor, Parkinson's disease, dystonia, and other conditions. Tremors have various characteristics, so technology is being developed that processes images of videotaped human movements and classifies tremors into multiple categories to provide warning signs to undiagnosed patients (see, for example, non-patent document 1).
  • Non-Patent Document 1 makes it possible to extract appropriate tremor features by utilizing information on the relationships between the human skeleton, making it possible to identify Parkinsonian tremor (PT, non-tremor) at low cost.
  • PT Parkinsonian tremor
  • FT functional tremor
  • This invention was made with the above in mind, and aims to provide technology that can identify a patient's condition with high accuracy.
  • a patient condition estimation device includes a memory unit that stores a program, and a processor that executes instructions of the program.
  • the memory unit stores a physical behavior dictionary in which medical information features are organized into a database.
  • the processor includes an upper limb behavior information extraction unit, a trembling feature extraction unit, a patient information extraction unit, a patient feature generation unit, and a patient condition estimation unit.
  • the upper limb behavior information extraction unit extracts upper limb behavior information from video data of the patient.
  • the trembling feature extraction unit extracts the trembling features of the patient from the upper limb behavior information.
  • the patient information extraction unit extracts patient information of the patient from the video data.
  • the patient feature generation unit generates patient features by reflecting the medical information features of the physical behavior dictionary in the patient information.
  • the patient condition estimation unit estimates the patient condition based on the trembling features and the patient features.
  • FIG. 1 is a functional block diagram showing an example of a patient condition estimating device according to an embodiment.
  • FIG. 2 is a flowchart showing an example of a learning processing routine performed by the patient condition estimating device 100.
  • FIG. 3 is a diagram for explaining the neural network used in the patient condition estimating apparatus 100.
  • FIG. 4 is a flowchart showing an example of an estimation processing routine performed by the patient condition estimation device 100.
  • FIG. 5 is a diagram for explaining the neural network used in the patient condition estimating apparatus 100.
  • FIG. 6 is a diagram for explaining the relationship between the patient condition estimating device 100 of the embodiment and SPAPNet.
  • FIG. 7 is a diagram showing an example of the GNN block shown in FIG.
  • FIG. 8 is a diagram for explaining an example of physical behavior in the medical and nursing industry.
  • FIG. 9 is a block diagram showing an example of a hardware configuration of the patient condition estimating apparatus 100.
  • Fig. 1 is a functional block diagram showing an example of a patient condition estimation device according to an embodiment.
  • the patient condition estimation device 100 includes an upper limb action information extraction unit 1, a tremor feature extraction unit 2, a patient information extraction unit 3, a patient feature generation unit 4, a patient condition estimation unit 5, a storage unit 6 that stores external knowledge data 6a, a storage unit 7 that stores parameters 7a, a parameter update unit 8, and an output unit 9.
  • These are processing functions realized by a processor that executes instructions of a program stored in the storage unit.
  • the patient condition estimation device 100 is a computer equipped with a storage unit and a processor.
  • the storage unit 6 stores a program (not shown) and external knowledge data 6a.
  • the external knowledge data 6a includes a physical action dictionary that is a database of medical information features. In the embodiment, for example, a physical action dictionary in the medical and nursing industry is used.
  • the upper limb behavior information extraction unit 1 extracts upper limb behavior information of a patient from the video data of the patient.
  • the upper limb behavior information extraction unit 1 extracts the upper limb behavior information of the patient using a first neural network that has been trained (learned) using learning video data and correct answer labels.
  • the tremor feature extraction unit 2 extracts the tremor features of the patient from the upper limb action information output from the upper limb action information extraction unit 1.
  • the tremor feature extraction unit 2 extracts the tremor features using a second neural network that is trained (learned) using the upper limb action information for learning and the correct answer label.
  • the patient information extraction unit 3 extracts the patient information of the patient from the video data of the patient.
  • the patient information extraction unit 3 extracts the patient information of the patient using a third neural network that is trained (learned) using the learning video data and the correct answer label.
  • the patient feature generation unit 4 generates patient features by reflecting the medical information features of the physical behavior dictionary included in the external knowledge data 6a to the patient information from the patient information extraction unit 3.
  • the patient condition estimation unit 5 estimates the patient condition based on the tremor features from the tremor feature extraction unit 2 and the patient features from the patient feature generation unit 4. In an embodiment, the patient condition estimation unit 5 estimates the patient condition using a fourth neural network that has been trained (learned) using the tremor features for learning, the patient features, and the correct answer label. In an embodiment, the patient condition estimation unit 5 identifies the type of involuntary movement of the patient as the patient's condition. The involuntary movement is, for example, tremor.
  • Involuntary movement labels include no convincing tremor (non-tremor), Parkinsonian tremor (PT), essential tremor (ET), dystonic tremor (DT), and functional tremor (FT).
  • Patient condition labels include severity of tremor (e.g. no tremor, mild tremor, moderate tremor, severe tremor, very severe tremor), movement (e.g. sitting, clapping, playing piano), symptoms (e.g. continuous tremor, sudden tremor, dancing movements, whole body twitching), and pathophysiology/condition (e.g. blood pressure, fever, temperature).
  • severity of tremor e.g. no tremor, mild tremor, moderate tremor, severe tremor, very severe tremor
  • movement e.g. sitting, clapping, playing piano
  • symptoms e.g. continuous tremor, sudden tremor, dancing movements, whole body twitching
  • pathophysiology/condition e.g. blood pressure, fever, temperature
  • the parameters 7a are parameters (hyperparameters) of the first, second, third, and fourth neural networks.
  • the parameter update unit 8 updates the parameters 7a in the process of training the first, second, third and fourth neural networks.
  • the output unit 9 outputs the patient condition identified by the patient condition estimating unit 5 .
  • FIG. 2 is a flowchart showing an example of a learning processing routine by the patient condition estimation device 100.
  • the patient condition estimation device 100 extracts upper limb behavior information from video data of a patient (step S101), and also extracts patient information from video data of the same patient (step S103).
  • the patient condition estimation device 100 extracts tremor features from the upper limb behavior information (step S102) and applies the medical information features to the patient information to generate patient features (step S104).
  • the patient condition estimation device 100 estimates an involuntary movement label and a patient feature label from the tremor feature and the patient feature (step S105).
  • the patient condition estimation device 100 calculates the tremor feature loss and the patient feature loss (step S106).
  • the patient condition estimation device 100 updates the parameters of the second neural network of the tremor feature extraction unit 2, the parameters of the third neural network of the patient information extraction unit 3, and the parameters of the fourth neural network of the patient condition estimation unit 5 based on the tremor feature loss and the patient feature loss (step S107).
  • FIG. 3 is a diagram for explaining the neural network used in the patient condition estimation device 100.
  • the learning process will be explained with reference to FIG. 3.
  • video image data of a patient is provided to an upper limb action information extraction unit 1 and a patient information extraction unit 3.
  • the upper limb action information extraction unit 1 extracts upper limb action information using a trained model (first neural network) proposed in OpenPose, for example.
  • the upper limb action information is passed to a tremor feature extraction unit 2, and tremor features are extracted by a second neural network.
  • the neural network here corresponds to the first half of SPAPNet in Non-Patent Document 1.
  • the patient information extraction unit 3 extracts vectors of patient condition labels (tremor severity/symptoms/movement/pathophysiology/condition, etc.) from the video data using a third neural network.
  • the patient feature generation unit 4 reflects external knowledge, i.e., a physical behavior dictionary in the medical and nursing industry, in the vector of the patient condition label, and generates an external knowledge vector as a patient feature, with weighting around nodes related to the patient.
  • the patient features are passed to the patient condition estimation unit 5 together with the tremor features.
  • the patient condition estimation unit 5 estimates the patient condition using a fourth neural network that receives the patient features and tremor features as input, and outputs an involuntary movement label result and a patient condition label result.
  • the neural network here corresponds to the latter half of SPAPNet in Non-Patent Document 1.
  • the parameters of the second neural network in the tremor feature extraction unit 2 Based on the losses (tremor feature losses, patient feature losses) that occur during the learning process, the parameters of the second neural network in the tremor feature extraction unit 2, the parameters of the third neural network in the patient information extraction unit 3, and the parameters of the fourth neural network in the patient condition estimation unit 5 are updated.
  • FIG. 4 is a flowchart showing an example of an estimation processing routine by the patient condition estimation device 100.
  • steps S201, S202, S203, and S204 correspond to steps S101, S102, S103, and S104 in FIG. 2, respectively.
  • the patient condition estimation device 100 estimates an involuntary movement label and a patient feature label from the tremor feature and the patient feature (step S205), and outputs the involuntary movement label and the patient feature label (step S206).
  • Fig. 5 is a diagram for explaining the neural networks used in the patient condition estimation device 100. The estimation process will be described with reference to Fig. 5. In the estimation process, all of the neural networks have already been trained, and there is no need to update parameters due to tremor feature loss or patient feature loss.
  • FIG. 6 is a diagram for explaining the relationship between the patient condition estimation device 100 of the embodiment and SPAPNet.
  • a neural network is trained from upper limb skeleton information (Human Pose features) obtained from the patient's video image data, and an involuntary movement label is identified from the tremor features of the upper limbs.
  • the neural network includes a Graph Neural Network (GNN) block, a Pyramidal Channel Squeezing-Fusion block, an Average Pooling Layer, a Fully-Connected Layer, and an Output Classification.
  • the Pyramidal Channel Squeezing-Fusion block includes a Channel Squeezing block and a Channel Fusion block that uses the Channel Squeezing block's output as input.
  • the Pyramidal Channel Squeezing-Fusion block adjusts the weights of the nodes of each skeleton like an inverted triangle, and increases the weights between nearby nodes (e.g., the left hand and left elbow).
  • the output of the channel fusion block is input to the next average pooling layer.
  • external knowledge data is reflected in the output of the Channel fusion block.
  • an external knowledge vector with weighting around nodes related to patients is generated as patient features.
  • FIG 7 is a diagram showing an example of the GNN block shown in Figure 6.
  • the GNN block includes, for example, an LCN Layer, a Batch Norm Layer, a Leaky ReLu Layer, and a Dropout Layer.
  • FIG. 8 is a diagram for explaining an example of physical actions in the medical and nursing industry.
  • An action called “checking vital signs” includes, for example, the actions of "measuring body temperature” and “measuring blood pressure.”
  • the action of "measuring body temperature” includes the actions of “holding a thermometer” and “placing the thermometer.”
  • the action of "measuring blood pressure” includes the action of "holding a blood pressure monitor.”
  • the physical action dictionary of the external knowledge data 6a is generated by storing these actions in a database.
  • FIG 9 is a block diagram showing an example of the hardware configuration of the patient condition estimation device 100.
  • the patient condition estimation device 100 includes a CPU (Central Processing Unit) 20A, a bridge circuit 102, memory 30, a GPU (Graphics Processing Unit) 20B connected to a display 104, a BIOS-ROM 107, storage 109, a USB connector 110, and an input unit 112.
  • CPU Central Processing Unit
  • bridge circuit 102 memory 30
  • GPU Graphics Processing Unit
  • the storage 109 is a non-volatile storage medium (block device), such as a hard disk drive (HDD) or a solid state drive (SSD).
  • the storage 109 stores basic programs such as an operating system (OS) 35 and device drivers, as well as a program 34 for realizing the functions of the patient condition estimation device 100.
  • OS operating system
  • device drivers device drivers
  • Memory 30 includes ROM (Read Only Memory) and RAM (Random Access Memory).
  • CPU 20A and GPU 20B are arithmetic elements related to processor 20.
  • CPU 20A mainly controls patient condition estimation device 100.
  • GPU 20B mainly performs calculations related to image processing (such as multiply-and-accumulate operations) at high speed.
  • CPU 20A executes BIOS (basic input/output system) stored in BIOS-ROM 107.
  • BIOS-ROM 107 basic input/output system
  • CPU 20A also loads program 34 from storage 109 into memory 30 and executes it. The same is true for GPU 20B.
  • the bridge circuit 102 relays data transmission between the CPU 20A and GPU 20B and each component.
  • the bridge circuit 102 is interposed between the CPU 20A and GPU 20B and hardware devices connected to a PCI (Peripheral Component Interconnect) bus or PCIe bus (not shown), relaying communication between them.
  • PCI Peripheral Component Interconnect
  • the USB connector 110 connects a USB device, etc.
  • the program 34 may be installed in the patient condition estimation device 100 via a USB device.
  • the input unit 112 connects the patient condition estimation device 100 to a communication network such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the program 34 and various data may be stored in a removable storage medium other than the storage 109, and may be read by the CPU 20A from a disk drive or the like.
  • the program 34 and various data may be stored in another computer connected via a communication network, and may be read by the CPU 20A via the input unit 112.
  • a physical behavior dictionary from the medical and nursing industry is used, and medical information features are input into SPAPNet to classify the patient's tremor. That is, according to the embodiment, it is possible to identify the patient's tremor by utilizing a physical behavior dictionary from the medical and nursing industry and taking into account the severity of the tremor, the patient's symptoms, movements, and pathophysiology/condition, etc. With existing technology, medical information is not referenced, so it has to be said that the accuracy is high only for certain types of tremor.
  • tremor by taking into account the severity of the tremor, the person's symptoms, movements, and pathophysiology/condition, etc., it is possible to identify many types of tremor (PT, ET, DT, FT, non-tremor) with high accuracy.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

この発明の一態様に係る患者状態推定装置は、プログラムを記憶する記憶部と、プログラムの命令を実行するプロセッサとを具備する。記憶部は、医学情報特徴をデータベース化した身体行動辞書を記憶する。プロセッサは、上肢行動情報抽出部と、震え特徴抽出部と、患者情報抽出部と、患者特徴生成部と、患者状態推定部とを備える。上肢行動情報抽出部は、患者の動画像データから上肢行動情報を抽出する。震え特徴抽出部は、上肢行動情報から患者の震え特徴を抽出する。患者情報抽出部は、動画像データから患者の患者情報を抽出する。患者特徴生成部は、患者情報に身体行動辞書の医学情報特徴を反映して患者特徴を生成する。患者状態推定部は、震え特徴と患者特徴とに基づいて患者状態を推定する。

Description

患者状態推定装置、患者状態推定方法、およびプログラム
　この発明の一態様は、患者状態推定装置、患者状態推定方法、およびプログラムに関する。
　人の震えは、様々な機序で発生する。寒さへの反応だけでなく、熱があるときや、恐怖を感じた時にも無意識に震えてしまう（不随意運動）。さらに、本態性振戦、パーキンソン病、ジストニアなどの主要症状の１つとしても知られている。震えには様々な特徴があることから、ビデオ撮影された人の動きを画像処理し、震えを複数に分類することで、未診断の患者に警告サインを提供する技術が検討されている（例えば非特許文献１を参照）。
Haozheng Zhang, Edmond S. L. Ho, Xiatian Zhang, and Hubert P. H. Shum, "Pose-based Tremor Classification for Parkinson’s Disease Diagnosis from Video", ［online］, 14 Jul 2022, arXiv:2207.06828v1, [令和５年５月１０日検索], インターネット<URL: https://arxiv.org/pdf/2207.06828.pdf>
　非特許文献１の技術によれば、人体スケルトンの関係性の情報を活用して適切な震え特徴を抽出できることから、パーキンソン震え（PT, non-tremor）を低コストで識別することができる。しかしながら、Essential tremor（ET）, Dystonic tremor（DT）, Functional tremor（FT）なども含めた多種類の震え（PT, ET, DT, FT, non-tremor）に対する識別精度は高くないと言わざるを得ない。
　この発明は、上記事情に着目してなされたもので、患者の状態を高い精度で識別することの可能な技術を提供しようとするものである。
　この発明の一態様に係る患者状態推定装置は、プログラムを記憶する記憶部と、プログラムの命令を実行するプロセッサとを具備する。記憶部は、医学情報特徴をデータベース化した身体行動辞書を記憶する。プロセッサは、上肢行動情報抽出部と、震え特徴抽出部と、患者情報抽出部と、患者特徴生成部と、患者状態推定部とを備える。上肢行動情報抽出部は、患者の動画像データから上肢行動情報を抽出する。震え特徴抽出部は、上肢行動情報から患者の震え特徴を抽出する。患者情報抽出部は、動画像データから患者の患者情報を抽出する。患者特徴生成部は、患者情報に身体行動辞書の医学情報特徴を反映して患者特徴を生成する。患者状態推定部は、震え特徴と患者特徴とに基づいて患者状態を推定する。
　この発明の一態様によれば、患者の状態を高い精度で識別することが可能になる。
図１は、実施形態に係わる患者状態推定装置の一例を示す機能ブロック図である。 図２は、患者状態推定装置１００による学習処理ルーチンの一例を示すフローチャートである。 図３は、患者状態推定装置１００で用いられるニューラルネットワークについて説明するための図である。 図４は、患者状態推定装置１００による推定処理ルーチンの一例を示すフローチャートである。 図５は、患者状態推定装置１００で用いられるニューラルネットワークについて説明するための図である。 図６は、実施形態の患者状態推定装置１００とSPAPNetとの関係を説明するための図である。 図７は、図６に示されるＧＮＮブロックの一例を示す図である。 図８は、医療看護業界における身体行動の一例について説明するための図である。 図９は、患者状態推定装置１００のハードウェア構成の一例を示すブロック図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　図１は、実施形態に係わる患者状態推定装置の一例を示す機能ブロック図である。図１において、患者状態推定装置１００は、上肢行動情報抽出部１、震え特徴抽出部２、患者情報抽出部３、患者特徴生成部４、患者状態推定部５、外部知識データ６ａを記憶する記憶部６、パラメータ７ａを記憶する記憶部７、パラメータ更新部８、および、出力部９を備える。これらは、記憶部に記憶されたプログラムの命令を実行するプロセッサにより実現される、処理機能である。すなわち患者状態推定装置１００は、記憶部とプロセッサとを具備する、コンピュータである。
　記憶部６は、プログラム（図示せず）、および外部知識データ６ａを記憶する。外部知識データ６ａは、医学情報特徴をデータベース化した身体行動辞書を含む。実施形態では、例えば医療看護業界における身体行動辞書を採り上げる。
　上肢行動情報抽出部１は、患者の動画像データから、当該患者の上肢行動情報を抽出する。実施形態において、上肢行動情報抽出部１は、学習用の動画像データと正解ラベルとを用いて訓練（学習）された第１のニューラルネットワークを用いて、患者の上肢行動情報を抽出する。
　震え特徴抽出部２は、上肢行動情報抽出部１から出力された上肢行動情報から、患者の震え特徴を抽出する。実施形態において、震え特徴抽出部２は、学習用の上肢行動情報と正解ラベルとを用いて訓練（学習）された第２のニューラルネットワークを用いて、震え特徴を抽出する。
　患者情報抽出部３は、患者の動画像データから、当該患者の患者情報を抽出する。実施形態において、患者情報抽出部３は、学習用の動画像データと正解ラベルとを用いて訓練（学習）された第３のニューラルネットワークを用いて、患者の患者情報を抽出する。
　患者特徴生成部４は、患者情報抽出部３からの患者情報に、外部知識データ６ａに含まれる身体行動辞書の医学情報特徴を反映して、患者特徴を生成する。
　患者状態推定部５は、震え特徴抽出部２からの震え特徴と、患者特徴生成部４からの患者特徴とに基づいて、患者状態を推定する。実施形態において、患者状態推定部５は、学習用の震え特徴および患者特徴と正解ラベルとを用いて訓練（学習）された第４のニューラルネットワークを用いて、患者状態を推定する。実施形態において、患者状態推定部５は、患者の状態として、当該患者の不随意運動の種別を識別する。不随意運動は、例えば震えである。
　不随意運動ラベルとしては、No convincing tremor（non-tremor）のほか、パーキンソン振戦（Parkinsonian tremor（PT））、本態性振戦（Essential tremor（ET））、ジストニア症（Dystonic tremor（DT））、機能性振戦（Functional tremor（FT））などを挙げることができる。
　患者状態ラベルとしては、震えひどさ（no tremor, mild tremor, moderate tremor, severe tremor, very severe tremorなど）、動き（座っている、手を叩く、ピアノを弾くなど）、症状（継続的な震え、突然な震え、踊っているような動き、全身ビクッとなるなど）、病態生理・状態（血圧、発熱、体温など）が挙げられる。
　パラメータ７ａは、第１、第２、第３、第４のニューラルネットワークのパラメータ（ハイパーパラメータ）である。
　パラメータ更新部８は、第１、第２、第３、第４のニューラルネットワークを学習させる過程においてパラメータ７ａを更新する。
　出力部９は、患者状態推定部５により識別された患者状態を出力する。
　図２は、患者状態推定装置１００による学習処理ルーチンの一例を示すフローチャートである。図１において、患者状態推定装置１００は、患者の動画像データから上肢行動情報を抽出する（ステップＳ１０１）とともに、同じ患者の動画像データから患者情報を抽出する（ステップＳ１０３）。
　次に、患者状態推定装置１００は、上肢行動情報から震え特徴を抽出する（ステップＳ１０２）とともに、患者情報に医学情報特徴を適用して患者特徴を生成する（ステップＳ１０４）。
　次に、患者状態推定装置１００は、震え特徴と患者特徴から、不随意運動ラベルと患者特徴ラベルを推定する（ステップＳ１０５）。次に、患者状態推定装置１００は、震え特徴ロスと患者特徴ロスを計算する（ステップＳ１０６）。そして、患者状態推定装置１００は、震え特徴ロスと患者特徴ロスとに基づいて、震え特徴抽出部２の第２のニューラルネットワークのパラメータと、患者情報抽出部３の第３のニューラルネットワークのパラメータと、患者状態推定部５の第４のニューラルネットワークのパラメータとをそれぞれ更新する（ステップＳ１０７）。
　図３は、患者状態推定装置１００で用いられるニューラルネットワークについて説明するための図である。図３を参照して、学習処理について説明する。図３において、患者の動画像データが上肢行動情報抽出部１、および患者情報抽出部３に与えられる。上肢行動情報抽出部１は、例えばOpenPoseで提案された学習済みモデル（第１のニューラルネットワーク）により上肢行動情報を抽出する。上肢行動情報は、震え特徴抽出部２に渡されて第２のニューラルネットワークにより震え特徴が抽出される。ここでのニューラルネットワークは、非特許文献１のSPAPNetの前半部分に対応する。
　患者情報抽出部３は、動画像データから第３のニューラルネットワークにより患者状態ラベル（震えひどさ／症状／動き／病態生理・状態など）のベクトルを抽出する。患者特徴生成部４は、外部知識、すなわち、医療看護業界における身体行動辞書を患者状態ラベルのベクトルに反映させて、患者に関連するノードの周りを重くした外部知識ベクトルを患者特徴として生成する。
　患者特徴は、震え特徴とともに患者状態推定部５に渡される。患者状態推定部５は、患者特徴および震え特徴を入力とする第４のニューラルネットワークを用いて、患者状態を推定し、不随意運動ラベル結果と、患者状態ラベル結果とを出力する。ここでのニューラルネットワークは、非特許文献１のSPAPNetの後半部分に対応する。
　学習の過程において生じるロス（震え特徴ロス、患者特徴ロス）に基づいて、震え特徴抽出部２の第２のニューラルネットワークのパラメータと、患者情報抽出部３の第３のニューラルネットワークのパラメータと、患者状態推定部５の第４のニューラルネットワークのパラメータがそれぞれ更新される。
　図４は、患者状態推定装置１００による推定処理ルーチンの一例を示すフローチャートである。図４において、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４はそれぞれ図２におけるステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４に相当する。
　震え特徴および患者特徴が生成されると、患者状態推定装置１００は、震え特徴と患者特徴から、不随意運動ラベルと患者特徴ラベルを推定し（ステップＳ２０５）、不随意運動ラベルと患者特徴ラベルとを出力する（ステップＳ２０６）
　図５は、患者状態推定装置１００で用いられるニューラルネットワークについて説明するための図である。図５を参照して、推定処理について説明する。推定処理においては、いずれのニューラルネットワークも既に学習済みであり、震え特徴ロス、患者特徴ロスによるパラメータの更新は実施する必要は無い。
　図６は、実施形態の患者状態推定装置１００とSPAPNetとの関係を説明するための図である。患者の動画像データから得られた上肢スケルトン情報（Human Pose features）からニューラルネットワークを学習させ、上肢の震え特徴から不随意運動ラベルを識別する。
　ニューラルネットワーク（Classification Network）は、ＧＮＮ（Graph Neural Network）ブロック（block）、Pyramidal Channel Squeezing-Fusion block、Average pooling layer、Fully-connected layer、および、Output classification を含む。Pyramidal Channel Squeezing-Fusion blockは、Channel squeezing blockと、その出力を入力とするChannel fusion blockとを含む。Pyramidal Channel Squeezing-Fusion blockでは、各スケルトンのノードの重みを逆三角形のように調整し、近いノード間（例：左手と左肘）の重みを重くする。
　Channel fusion blockの出力は、次段のAverage pooling layerに入力される。
　ここで、実施形態においては、外部知識データをChannel fusion blockの出力に反映させる。すなわち、医療看護業界における身体行動辞書を患者状態ラベルのベクトルに反映させることにより、患者に関連するノードの周りを重くした外部知識ベクトルを患者特徴として生成する。
　図７は、図６に示されるＧＮＮブロックの一例を示す図である。ＧＮＮブロックは、例えば、LCN Layer（層）、Batch Norm層、Leaky ReLu層、および、Dropout層を備える。
　図８は、医療看護業界における身体行動の一例について説明するための図である。「バイタルチェック」という行動には、例えば「体温を測定する」行動と、「血圧を測定する」行動が含まれる。「体温を測定する」行動には、「体温計を持つ」行動と、「体温計を置く」行動が含まれる。「血圧を測定する」行動には、「血圧計を持つ」行動が含まれる。外部知識データ６ａの身体行動辞書は、これらの行動をデータベース化して生成される。
　図９は、患者状態推定装置１００のハードウェア構成の一例を示すブロック図である。図９に示すように、患者状態推定装置１００は、ＣＰＵ（Central Processing Unit）２０Ａ、ブリッジ回路１０２、メモリ３０、ディスプレイ１０４に接続されたＧＰＵ（Graphics Processing Unit）２０Ｂ、ＢＩＯＳ－ＲＯＭ１０７、ストレージ１０９、ＵＳＢコネクタ１１０、および、入力部１１２を備える。
　このうちストレージ１０９は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の、不揮発性の記憶媒体（ブロックデバイス）である。ストレージ１０９は、ＯＳ（Operating System）３５やデバイスドライバなどの基本プログラム、および患者状態推定装置１００の機能を実現するためのプログラム３４を記憶する。
　メモリ３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む。ＣＰＵ２０Ａ、ＧＰＵ２０Ｂは、プロセッサ２０に係わる演算素子である。ＣＰＵ２０Ａは、患者状態推定装置１００を主に制御する。ＧＰＵ２０Ｂは、主に画像処理に係わる演算（積和演算などに）を高速で行う。ＣＰＵ２０Ａは、ＢＩＯＳ－ＲＯＭ１０７に格納されたＢＩＯＳ（basic input/output system）を実行する。また、ＣＰＵ２０Ａは、プログラム３４をストレージ１０９からメモリ３０にロードし、実行する。ＧＰＵ２０Ｂも同様である。
　ブリッジ回路１０２は、ＣＰＵ２０ＡおよびＧＰＵ２０Ｂと、各部とのデータの授受を中継する。例えば、ブリッジ回路１０２は、ＰＣＩ（Peripheral Component Interconnect）バスやＰＣＩｅバス（図示せず）に接続されたハードウェアデバイスと、ＣＰＵ２０ＡおよびＧＰＵ２０Ｂとの間に介在して互いの通信を中継する。
　ＵＳＢコネクタ１１０は、ＵＳＢ機器等を接続する。例えば、ＵＳＢ機器を介して、プログラム３４を患者状態推定装置１００にインストールしてもよい。入力部１１２は、患者状態推定装置１００を、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワークに接続する。
　プログラム３４、および各種データは、ストレージ１０９に限らず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ等からＣＰＵ２０Ａにより読み出されてもよい。あるいは、通信ネットワークを介して接続された他のコンピュータに記憶され、入力部１１２を介してＣＰＵ２０Ａによって読み出されてもよい。
　以上述べたように実施形態では、医療看護業界における身体行動辞書を利用し、医学情報特徴をSPAPNetに入力して、患者の震えを分類するようにした。すなわち実施形態によれば、医療看護業界における身体行動辞書を活用し、震えひどさ、患者の症状、動きと病態生理・状態などを考慮して、患者の震えを識別することが可能になる。既存の技術では医学情報が参照されないため、特定の震えに対する精度だけが高いと言わざるを得なかった。これに対し実施形態によれば、震えひどさ、人の症状、動きと病態生理・状態などを考慮したことで、多種類の震え（PT, ET, DT, FT, non-tremor）を高い精度で識別することができる。
　これにより、患者の状態を高い精度で識別することの可能な患者状態推定装置、患者状態推定方法、およびプログラムを提供することができる。ひいては、震えの種類によらず、高い精度で震えを識別することが可能になる。
　なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　　１…上肢行動情報抽出部
　　２…震え特徴抽出部
　　３…患者情報抽出部
　　４…患者特徴生成部
　　５…患者状態推定部
　　６…記憶部
　　６ａ…外部知識データ
　　７…記憶部
　　７ａ…パラメータ
　　８…パラメータ更新部
　　９…出力部
　　２０…プロセッサ
　　２０Ａ…ＣＰＵ
　　３０…メモリ
　　３４…プログラム
　　１００…患者状態推定装置
　　１０２…ブリッジ回路
　　１０４…ディスプレイ
　　１０９…ストレージ
　　１１０…ＵＳＢコネクタ
　　１１２…入力部。

 

Claims (5)

  1. 　プログラムを記憶する記憶部と、前記プログラムの命令を実行するプロセッサとを具備し、
    　　前記記憶部は、
    　医学情報特徴をデータベース化した身体行動辞書を記憶し、
    　　前記プロセッサは、
    　患者の動画像データから上肢行動情報を抽出する上肢行動情報抽出部と、
    　前記上肢行動情報から前記患者の震え特徴を抽出する震え特徴抽出部と、
    　前記動画像データから前記患者の患者情報を抽出する患者情報抽出部と、
    　前記患者情報に前記身体行動辞書の前記医学情報特徴を反映して患者特徴を生成する患者特徴生成部と、
    　前記震え特徴と前記患者特徴とに基づいて患者状態を推定する患者状態推定部とを具備する、患者状態推定装置。
  2. 　前記患者状態推定部は、前記患者の不随意運動の種別を識別する、請求項１に記載の患者状態推定装置。
  3. 　前記不随意運動は、震えである請求項２に記載の患者状態推定装置。
  4. 　プログラムを記憶する記憶部と、前記プログラムの命令を実行するプロセッサとを具備するコンピュータによる患者状態推定方法であって、
    　前記コンピュータが、患者の動画像データから上肢行動情報を抽出する過程と、
    　前記コンピュータが、前記上肢行動情報から前記患者の震え特徴を抽出する過程と、
    　前記コンピュータが、前記動画像データから前記患者の患者情報を抽出する過程と、
    　前記コンピュータが、前記患者情報に身体行動辞書の医学情報特徴を反映して患者特徴を生成する過程と、
    　前記コンピュータが、前記震え特徴と前記患者特徴とに基づいて患者状態を推定する過程とを具備する、患者状態推定方法。
  5. 　コンピュータを、請求項１乃至３のいずれかに記載の患者状態推定装置として機能させる命令を含む、プログラム。
PCT/JP2023/020751 2023-06-05 2023-06-05 患者状態推定装置、患者状態推定方法、およびプログラム Ceased WO2024252442A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/020751 WO2024252442A1 (ja) 2023-06-05 2023-06-05 患者状態推定装置、患者状態推定方法、およびプログラム
JP2025525421A JPWO2024252442A1 (ja) 2023-06-05 2023-06-05

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/020751 WO2024252442A1 (ja) 2023-06-05 2023-06-05 患者状態推定装置、患者状態推定方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024252442A1 true WO2024252442A1 (ja) 2024-12-12

Family

ID=93795167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020751 Ceased WO2024252442A1 (ja) 2023-06-05 2023-06-05 患者状態推定装置、患者状態推定方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252442A1 (ja)
WO (1) WO2024252442A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147678A1 (ja) * 2015-03-13 2016-09-22 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JP2017533790A (ja) * 2014-09-09 2017-11-16 ノバルティス アーゲー 運動タスク解析のシステムおよび方法
JP2020512224A (ja) * 2017-02-10 2020-04-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 車両運転中の低血糖事象の始まりを警告するシステム
US20220280098A1 (en) * 2021-03-02 2022-09-08 International Business Machines Corporation Assessing parkinson's disease symptoms
JP7223103B1 (ja) * 2021-11-09 2023-02-15 株式会社電通国際情報サービス 錐体外路症状診断装置及び錐体外路症状診断プログラム
JP2023513424A (ja) * 2020-01-22 2023-03-31 コーニンクレッカ フィリップス エヌ ヴェ 患者が自分で抜管する尤度を決定すること

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533790A (ja) * 2014-09-09 2017-11-16 ノバルティス アーゲー 運動タスク解析のシステムおよび方法
WO2016147678A1 (ja) * 2015-03-13 2016-09-22 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JP2020512224A (ja) * 2017-02-10 2020-04-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 車両運転中の低血糖事象の始まりを警告するシステム
JP2023513424A (ja) * 2020-01-22 2023-03-31 コーニンクレッカ フィリップス エヌ ヴェ 患者が自分で抜管する尤度を決定すること
US20220280098A1 (en) * 2021-03-02 2022-09-08 International Business Machines Corporation Assessing parkinson's disease symptoms
JP7223103B1 (ja) * 2021-11-09 2023-02-15 株式会社電通国際情報サービス 錐体外路症状診断装置及び錐体外路症状診断プログラム

Also Published As

Publication number Publication date
JPWO2024252442A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
US12182699B2 (en) Training device and training method that perform inference processing using a fusion DNN model
Wang et al. Rvseg-net: An efficient feature pyramid cascade network for retinal vessel segmentation
JP7384201B2 (ja) デジタルツイン演算装置、デジタルツイン演算方法及びプログラム
US20210249138A1 (en) Disease risk prediction device, disease risk prediction method, and disease risk prediction program
US20200097814A1 (en) Method and system for enabling interactive dialogue session between user and virtual medical assistant
JP2021523468A (ja) ニューラルネットワークの勾配型敵対的訓練
KR102239163B1 (ko) 인공 신경망을 이용하여 질병 유무를 예측하는 방법 및 장치
WO2024255641A1 (zh) 一种模型的训练方法、训练数据的获取方法及相关设备
CN117610608A (zh) 基于多阶段特征融合的知识蒸馏方法、设备及介质
US12605109B2 (en) Apparatus and method for determining brain language area invasion based on speech data
JP7544338B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2024252442A1 (ja) 患者状態推定装置、患者状態推定方法、およびプログラム
KR102417448B1 (ko) 머신 러닝 기반 잠복기별 치매 예측 방법, 그리고 이를 구현하기 위한 장치
CN118201554A (zh) 认知功能评估系统和训练方法
Kumari et al. Automated diabetic retinopathy grading based on the modified capsule network architecture
WO2022249407A1 (ja) アセスメント支援システム、アセスメント支援方法、及び記録媒体
CN115830716B (zh) 一种基于衍生数据蒸馏的骨架人体行为识别方法、装置及设备
JP7852772B2 (ja) 情報処理装置、情報処理サーバ、情報処理方法、およびコンピュータにより読み取り可能な非一時的な記憶媒体
CN114449701B (zh) 基于病历信息的灯光类型调控方法、装置及电子设备
CN114999001B (zh) 用于预测冻结步态的方法、设备和计算机可读存储介质
KR102828269B1 (ko) 이미지 변환 모델 제공 방법, 서버 및 컴퓨터 프로그램
KR102807689B1 (ko) 시공간 특징 퓨전 모델을 통해 수술 중 출혈을 검출하는 방법 및 장치
KR102917763B1 (ko) 치매 홈 케어 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
US20250166827A1 (en) Multimodal foundation model for patient risk stratification
JP7839122B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525421

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE