以下、本開示の情報処理方法、プログラム、情報処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
患者の状態から、当該患者に誤嚥が発生しているか否かを予測して、医師、看護職員及び介護職員等の医療従事者に提示する情報処理装置について説明する。本実施形態では、自然滴下によって、又は経腸栄養ポンプを使用して胃に直接栄養剤を投与する経管栄養が実施されている患者について、誤嚥の発生を予測する。従って、本実施形態では、胃食道逆流による誤嚥の発生を予測する。なお、経管栄養は、鼻から挿入したチューブを用いて栄養剤を投与する経鼻胃管栄養、及び、腹部に空けた瘻孔に挿入したチューブを用いて栄養剤を投与する胃瘻栄養を含む。
図1は情報処理装置の構成例を示すブロック図である。情報処理装置10は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置10は、複数台設けられて分散処理する構成でもよく、1台の装置内に設けられた複数の仮想マシンによって実現されてもよい。情報処理装置10は、例えば医療機関内に設置されて利用される。情報処理装置10をサーバコンピュータで構成する場合、情報処理装置10は、医療機関内に設置されたローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。
情報処理装置10は、患者の状態を示す状態情報に基づいて、当該患者に誤嚥が発生している可能性を複数段階で予測し、予測した可能性が高い場合にアラートで通知する処理を行う。具体的には後述のように、情報処理装置10は、所定の訓練データを学習する機械学習を行い、患者の状態情報を入力として、胃食道逆流による誤嚥が発生している可能性を出力する学習モデル12M(図3参照)を予め用意してある。情報処理装置10は、患者の状態情報を学習モデル12Mに入力し、胃食道逆流による誤嚥の発生可能性を学習モデル12Mから取得する。なお、患者の状態情報は、体温、血中酸素飽和度、痰の量、喘鳴の有無、表情に関する情報、口腔内のにおいの有無、口腔内の酸性レベル、口腔内の糖の有無等のうちのいずれか複数を含む。
情報処理装置10は、制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又はAIチップ(AI用半導体)等の1又は複数のプロセッサを有する。制御部11は、記憶部12に記憶してあるプログラム12Pを適宜実行することにより、情報処理装置10が行うべき種々の情報処理、制御処理等を行う。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行するプログラム12P(プログラム製品)及びプログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11がプログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、例えば機械学習によって訓練データを学習済みの学習モデル12Mを記憶している。学習モデル12Mは、患者の状態情報が入力された場合に、胃食道逆流による誤嚥が発生している可能性(胃食道逆流物の誤嚥の発症に関する発症情報)を出力するように学習された学習済みモデルである。学習モデル12Mは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル12Mは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、この演算を規定する関数の係数や閾値等のデータが学習モデル12Mとして記憶される。また記憶部12は、後述する電子カルテDB12aを記憶している。電子カルテDB12aは、情報処理装置10に接続された他の記憶装置に記憶されてもよく、情報処理装置10が通信可能な他の記憶装置に記憶されてもよい。
通信部13は、有線通信又は無線通信によって、インターネット又はLAN(Local Area Network)等のネットワークに接続するための通信モジュールであり、ネットワークを介して他の装置との間で情報の送受信を行う。入力部14は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。なお、入力部14及び表示部15は必須ではなく、情報処理装置10は、接続された端末装置を通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶されるプログラム12P(プログラム製品)及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶されるプログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
図2は電子カルテDB12aの構成例を示す模式図である。電子カルテDB12aは、医療機関を利用する患者の電子カルテデータ(診療記録)を格納するデータベースである。図2に示す電子カルテDB12aは、患者ID列、患者情報列、状態情報列等を含む。患者ID列は、各患者を識別するための識別情報(患者ID、患者コード)を記憶する。患者IDは例えば医療機関で発行された診察券の診察券番号であってもよい。患者情報列は、患者IDに対応付けて、患者に関する患者情報を記憶する。患者情報は、例えば患者の年齢及び性別を含む属性情報、既往歴、診断名、身長及び体重等を含む。また患者情報は、患者に発生した症状に関する情報を含んでおり、例えば患者に誤嚥が発生したことを示す情報を含む。なお、誤嚥は、胃の内容物が食道を逆流して気管に侵入する胃食道逆流による誤嚥、及び口腔内容物が気管に侵入する誤嚥を含む。
状態情報列は、患者IDに対応付けて、患者の状態に関する状態情報を記憶する。状態情報は、患者から計測した体温、血圧、心拍数、呼吸数等のバイタルデータを含む。また状態情報は、血中酸素飽和度、痰の量、喘鳴の有無、口腔内のにおいの有無、表情レベル、口腔内の酸性レベル、口腔内の糖の有無等を含む。血中酸素飽和度は、パルスオキシメータを用いて計測される。痰の量は、吸引器を用いて患者の口腔内、咽頭部及び喉頭部から吸引した分泌物(痰及び唾液等)の量である。痰の吸引は、例えば経管栄養で栄養剤が投与された後に実施される。喘鳴の有無は、患者が呼吸する際に喉がガラガラ、ヒューヒュー、ゼーゼー等の音が発生するか否かを示す。喘鳴の有無は、例えば医療従事者が患者の口元の音を聴取して判断してもよく、患者の口元の音をマイクで収集し、収集した音声が、喘鳴で発生する音に一致するか否かに基づいて判断してもよい。口腔内のにおいの有無は、患者の口腔内で、患者に投与した栄養剤のにおい(例えば甘いにおい)がするか否かを示す。においの有無は、例えば医療従事者が患者の口元のにおいを嗅いで判断してもよく、においを検知できる装置を用いて患者の口元のにおいを検知し、検知したにおいが、投与中の栄養剤のにおいに一致するか否かに基づいて判断してもよい。表情レベルは、例えば患者を日々観察している医療従事者が患者の顔を確認して判断してもよく、例えば入院時に各患者の顔写真を撮影しておき、入院時の顔写真と、検査タイミングで撮影した患者の顔写真とを比較することによって判断してもよい。表情レベルは、例えば普段の表情に対して苦しそうであるか、又は意思疎通が可能であるかを示しており、例えば普段通りの正常な表情をレベル1とし、苦しそうな状態又は意思疎通ができない状態が悪化するほど高いレベルとし、例えば5段階(レベル1~レベル5)で表される。これらのデータは例えば計測日時に対応付けて各列に記憶され、各データの計測は1日に所定回数(例えば3回~5回程度)行われる。口腔内の酸性レベルは、食道内pHモニタリング検査によって計測される食道内のpH値である。口腔内の糖の有無は、例えば尿糖試験紙を用いて計測される。なお、胃の内容物(胃液)が食道内に逆流していれば食道内が低いpH値となるので、食道内のpH値に基づいて胃食道逆流の発生有無を判定できる。また、胃の内容物(食べ物、栄養剤)が口腔内まで逆流していれば、口腔内に胃の内容物中の糖が検出されるので、口腔内の糖の有無に基づいて胃食道逆流の発生有無を判定できる。各データは、時間的変化を示すグラフで表されてもよく、グラフのデータは、例えば計測日時と計測した値との組を、計測を行うたびに記録した一連のデータである。
電子カルテDB12aの記憶内容は図2に示す例に限定されず、患者に実施した血液検査及び尿検査等の各種検査に関する検査情報、治療に関する治療情報、手術に関する手術情報、薬の服用歴、医師等が入力したコメント等、患者に関する各種の情報が記憶されてもよい。なお、検査情報は、X線画像、超音波画像、CT(Computed Tomography:コンピュータ断層撮影法)画像、MRI(Magnetic Resonance Imaging:磁気共鳴画像法)画像、PET(Positron Emission Tomography:陽電子放出断層撮影法)画像等の医用画像を含んでもよい。
図3は学習モデル12Mの構成例を示す模式図である。図3に示す学習モデル12Mは、患者の状態情報(体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無)を入力とし、入力されたデータに基づいて、当該患者に胃食道逆流による誤嚥が発生している可能性を判別する演算を行い、演算した結果(胃食道逆流による誤嚥の発生可能性)を出力するように学習してある。学習モデル12Mは、例えば深層学習によって生成されるニューラルネットワークモデルであるCNN(Convolutional Neural Network)で構成される。なお、学習モデル12Mは、CNNのほかに、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、決定木、ランダムフォレスト、SVM(Support Vector Machine)等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。情報処理装置10は、所定の訓練データを学習する機械学習を行って学習モデル12Mを事前に生成しておく。そして情報処理装置10は、電子カルテDB12aに登録してある患者の状態情報を学習モデル12Mに入力し、学習モデル12Mからの出力情報に基づいて、患者に胃食道逆流による誤嚥が発生している可能性を予測する。学習モデル12Mに入力される各データは、定期的に計測された時系列データであってもよい。
図3に示す学習モデル12Mは3つの出力ノードを有しており、各出力ノードには、胃食道逆流による誤嚥の発生可能性が高い、中程度、低い状態がそれぞれ対応付けられており、各出力ノードから、対応付けられた状態であると判別すべき確率を出力する。なお、発生可能性が低い状態とは、発生可能性がほぼ無い正常な状態であることを意味する。図3に示す例では、出力ノード0は、胃食道逆流による誤嚥が発生している可能性が高いと判別すべき確率を出力し、出力ノード1は、胃食道逆流による誤嚥が発生している可能性が中程度と判別すべき確率を出力し、出力ノード2は、胃食道逆流による誤嚥が発生している可能性が低いと判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、学習モデル12Mは、患者の状態情報が入力された場合に、患者に胃食道逆流による誤嚥が発生している可能性(高・中・低の各可能性に対する判別確率)を出力する。
情報処理装置10は、上述した学習モデル12Mにおいて、例えば、各出力ノードからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応付けられている可能性を、予測すべき可能性に特定する。なお、学習モデル12Mは、それぞれの可能性に対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い可能性を出力する1個の出力ノードを有する構成でもよい。
学習モデル12Mは、訓練用の状態情報と、胃食道逆流による誤嚥が発生している可能性を示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、胃食道逆流が発生した患者の状態情報に対して、胃食道逆流による誤嚥の発生可能性が高いことを示す情報(胃食道逆流物の誤嚥の発症に関する発症情報)が付与されて生成される。また、訓練データは、胃食道逆流が発生していない患者の状態情報に対して、胃食道逆流による誤嚥の発生可能性が低いことを示す情報が付与されて生成されてもよい。患者の状態情報、及び胃食道逆流が発生したか否かの情報は、電子カルテDB12aに記憶してある情報から取得することができる。
学習モデル12Mは、訓練用の状態情報が入力された場合に、正解ラベルが示す可能性に対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。学習処理において学習モデル12Mは、入力された状態情報に基づく演算を行い、各出力ノードからの出力値を算出する。そして学習モデル12Mは、算出した各出力ノードの出力値と正解ラベルに応じた値(正解ラベルが示す可能性に対応する出力ノードに対しては1、それ以外の出力ノードに対しては0)とを比較し、各出力値がそれぞれ正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。当該パラメータは、学習モデル12Mにおけるニューロン間の重み等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、患者の状態情報が入力された場合に、胃食道逆流による誤嚥が発生している可能性を予測し、予測結果を出力するように学習された学習モデル12Mが得られる。
学習モデル12Mの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル12Mは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から情報処理装置10にダウンロードされて記憶部12に記憶される。学習モデル12Mは、図3に示す構成に限定されない。学習モデル12Mは、胃食道逆流による誤嚥の発生及び誤嚥性肺炎の発生を予測する際に用いられる患者の状態に関する情報が入力される構成とすることができる。例えば、図3に示す各データに加えて、患者の口腔内の酸性レベル又は口腔内の糖の有無を示す情報が入力される構成でもよい。また、学習モデル12Mに入力される各データは時系列データであってもよく、例えば定期的に計測される計測結果及び定期的に判定される判定結果の時系列データであってもよい。この場合、例えば患者の直近の1日分又は数日分の各データが学習モデル12Mに入力されるように構成することができる。
以下に、訓練データを学習して学習モデル12Mを生成する処理について説明する。図4は学習モデル12Mの生成処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って行うが、他の学習装置で行われてもよい。
情報処理装置10の制御部11はまず、訓練データに用いる患者の情報を電子カルテDB12aから取得して訓練データを生成し、生成した訓練データを用いて学習モデル12Mの学習を行う。例えば制御部11は、電子カルテDB12aに記憶してある各患者の情報に基づいて、胃食道逆流による誤嚥が発生したことがある患者がいるか否かを判断する(S11)。胃食道逆流による誤嚥が発生したことがある患者がいると判断した場合(S11:YES)、制御部11は、当該患者の状態情報を電子カルテDB12aから取得する(S12)。例えば制御部11は、当該患者の状態情報のうち、胃食道逆流による誤嚥が発生した前後の所定期間に計測又は判定された、体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無に関する各データを電子カルテDB12aから読み出す。制御部11は、取得した状態情報に対して、胃食道逆流による誤嚥の発生可能性が「高」を示す正解ラベルを付けて訓練データを生成し、記憶部12に記憶する(S13)。
制御部11は、ステップS11の処理に戻り、胃食道逆流による誤嚥が発生したことがある他の患者がいるか否かを判断し、いると判断する都度(S11:YES)、ステップS12~S13の処理を行って訓練データを生成する。制御部11は、胃食道逆流による誤嚥が発生したことがある患者がいないと判断するまでステップS12~S13の処理を繰り返す。これにより、胃食道逆流による誤嚥が発生したことがある患者の情報に基づいて、学習モデル12Mの学習に用いる訓練データを生成して蓄積できる。制御部11は、胃食道逆流による誤嚥が発生したことがある患者がいないと判断した場合(S11:NO)、胃食道逆流による誤嚥が発生したことがない患者(胃食道逆流の未発生患者)がいるか否かを判断する(S14)。未発生患者がいると判断した場合(S14:YES)、制御部11は、当該患者の状態情報を電子カルテDB12aから取得する(S15)。ここでは制御部11は、ステップS12と同様のデータを電子カルテDB12aから読み出す。そして、制御部11は、取得した状態情報に対して、胃食道逆流による誤嚥の発生可能性が「低」を示す正解ラベルを付けて訓練データを生成し、記憶部12に記憶する(S16)。
制御部11は、ステップS14の処理に戻り、胃食道逆流による誤嚥が発生したことがない他の患者がいるか否かを判断し、いると判断する都度(S14:YES)、ステップS15~S16の処理を行って訓練データを生成して蓄積する。制御部11は、胃食道逆流による誤嚥が発生したことがない患者がいないと判断するまでステップS15~S16の処理を繰り返す。これにより、胃食道逆流による誤嚥が発生したことがない患者の情報に基づいて、学習モデル12Mの学習に用いる訓練データを生成して蓄積できる。なお、上述した処理では、胃食道逆流による誤嚥が発生したことがない患者の情報に基づいて、発生可能性が「低」を示す正解ラベルが対応付けられた訓練データを生成するが、この構成に限定されない。例えば、胃食道逆流による誤嚥が発生したことがある患者の情報のうちで、胃食道逆流による誤嚥が発生していない状態での状態情報に基づいて、発生可能性が「低」を示す正解ラベルが対応付けられた訓練データを生成してもよい。
制御部11は、胃食道逆流による誤嚥が発生したことがない患者がいないと判断した場合(S14:NO)、蓄積した訓練データを用いて学習モデル12Mの学習処理を行う(S17)。ここでは、制御部11は、訓練データに含まれる状態情報を学習モデル12Mに入力し、各出力ノードからの出力値を取得する。制御部11は、各出力ノードの出力値と、正解ラベルに応じた値(正解の可能性に対応する出力ノードに対しては1、その他の出力ノードに対しては0)とを比較し、両者が近似するように、例えば誤差逆伝播法を用いて、学習モデル12Mにおけるニューロン間の重み等のパラメータを最適化する。
制御部11は、ステップS13,S16で蓄積した訓練データのうちで、学習処理が行われていない訓練データ(未処理のデータ)があるか否かを判断する(S18)。未処理のデータがあると判断した場合(S18:YES)、制御部11は、ステップS17の処理に戻り、学習処理が未処理の訓練データを用いて学習処理を繰り返す。未処理のデータがないと判断した場合(S18:NO)、制御部11は一連の処理を終了する。
上述した処理により、患者の状態情報が入力された場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を出力するように学習された学習モデル12Mが生成される。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル12Mを更に最適化することができる。また、既に学習済みの学習モデル12Mについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル12Mを生成できる。
以下に、上述した処理によって生成された学習モデル12Mを用いて、医療従事者が患者の状態を観察した結果を電子カルテに入力した場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を予測してアラートを出力する処理について説明する。図5は胃食道逆流による誤嚥発生の予測処理手順の一例を示すフローチャート、図6及び図7は画面例を示す説明図である。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って行う。
医療現場において看護職員は、1日に所定回数、入院患者の様子を観察する巡視業務を行っている。その際、看護職員は、患者の体温、血圧、心拍数、及び血中酸素飽和度等を計測して電子カルテに入力する。また看護職員は、患者に喘鳴が発生しているか否か、口腔内で所定のにおいがするか否か、表情のレベル等を判定し、喘鳴の有無、においの有無、及び表情レベル等を電子カルテに入力する。また看護職員又は介護職員は、経管栄養によって栄養剤を投与した後の所定のタイミングで、吸引器を用いて患者の口腔内等から分泌物を吸引する処置を行い、吸引した分泌物の量(痰の量)を電子カルテに入力する。なお、電子カルテに入力する痰の量には、痰及び唾液に加えて、吸引する際に使用した洗浄水が含まれていてもよい。
以下では説明の簡略化のため、看護職員等の医療従事者は、情報処理装置10の入力部14を介して患者の情報を入力して電子カルテを更新する処理を例に説明する。しかし、医療従事者は、情報処理装置10と通信可能なスタッフ端末(図示せず)を用いて電子カルテを更新してもよい。この場合、医療従事者は、入力部及び表示部を有するスタッフ端末を用いて、情報処理装置10の電子カルテDB12aにアクセスする。このような構成の場合、電子カルテを表示する電子カルテ画面が情報処理装置10からスタッフ端末へ送信されてスタッフ端末で表示され、電子カルテ画面を介して入力された各データがスタッフ端末から情報処理装置10へ送信されて電子カルテDB12aに登録される。
情報処理装置10の制御部11は、入力部14を介して電子カルテの起動を指示された場合、指定された患者の電子カルテのデータを表示する電子カルテ画面を表示部15に表示する(S21)。図6は電子カルテ画面例を示しており、図6に示す電子カルテ画面は、患者の患者ID、氏名、年齢、及び性別を表示している。これらの情報は、電子カルテDB12aから読み出されて電子カルテ画面に表示される。図6に示す画面は、現在時刻を表示し、現在時刻に計測された当該患者の体温、血中酸素飽和度、痰の量、喘鳴の有無、口腔内のにおいの有無、表情レベルを入力するための入力欄を有する。また図6に示す画面は、各入力欄に入力されたデータに基づいて、患者に胃食道逆流による誤嚥が発生している可能性を判定する処理の実行を指示するための誤嚥判定ボタンを有する。体温、血中酸素飽和度、及び痰の量の入力欄は、例えば任意の数値が入力できる構成であり、喘鳴の有無及びにおいの有無の入力欄は、有又は無のいずれかを選択できるラジオボタンが設けられた構成であり、表情レベルの入力欄は、レベル1~レベル5のいずれかを選択できる構成である。図6に示す画面は、上述した入力欄に加えて、口腔内の酸性レベルを入力するための入力欄、口腔内の糖の有無を入力するための入力欄等を有する構成でもよい。
医療従事者は、図6に示す画面中の各入力欄に対して、患者の状態を示す各データを入力し、胃食道逆流による誤嚥の発生可能性を判定したい場合に誤嚥判定ボタンを操作する。情報処理装置10において、制御部11は、図6に示す画面中の各入力欄を介して、患者の状態情報の入力を受け付けたか否かを判断しており(S22)、受け付けていないと判断した場合(S22:NO)、待機する。制御部11(取得部)は、患者の状態情報の入力を受け付けたと判断した場合(S22:YES)、入力された状態情報をそれぞれの入力欄に表示する(S23)。
制御部11は、図6に示す画面中の誤嚥判定ボタンが操作されたか否かを判断し(S24)、操作されていないと判断した場合(S24:NO)、ステップS22の処理に戻り、各入力欄に対するデータの入力受付を継続する。誤嚥判定ボタンが操作されたと判断した場合(S24:YES)、制御部11は、入力された状態情報に基づいて、当該患者に胃食道逆流による誤嚥が発生している可能性を予測する(S25)。具体的には、制御部11は、図6に示す画面を介して入力された状態情報を学習モデル12Mに入力し、学習モデル12Mからの出力値に基づいて、胃食道逆流による誤嚥の発生可能性を予測する。例えば制御部11は、学習モデル12Mからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードを特定し、特定した出力ノードに対応付けられている可能性を、当該患者の可能性に特定する。
制御部11は、予測結果に基づいて、発生可能性が高いことを予測したか否かを判断する(S26)。そして制御部11(出力部)は、発生可能性が高いことを予測したと判断した場合(S26:YES)、発生可能性が高いことを通知するためのアラートを出力する(S27)。例えば制御部11は、図7Aに示すように、胃食道逆流による誤嚥の発生可能性が高いことと、医師による確認が必要であることとを通知するメッセージを電子カルテ画面に表示してアラートを出力する。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が高いことを把握できる。上述した処理では、胃食道逆流による誤嚥の発生可能性を高中低で判定しているが、例えば80%以上、60%以上80%未満、40%以上60%未満、20%以上40%未満、20%未満のような数値で判定する構成でもよい。このような場合、例えば予測した発生可能性が所定値以上(例えば60%以上)であった場合にアラートを出力するように構成することができる。情報処理装置10がスピーカ等の音声出力部を有する場合、制御部11は、アラートメッセージの表示に加えて、アラートメッセージを音声出力することによりアラートを出力する構成でもよい。
図7Aに示すようなアラートが出力された場合、例えば看護職員は、医師に、胃食道逆流による誤嚥の発生有無の確認を依頼する。医師は、患者の状態を観察し、必要に応じて胸部のX線画像、CT画像、血液検査等を行い、検査結果に基づいて確定診断を行う。また医師は、患者の観察の結果又は確定診断の結果、患者に対して必要な処置があれば、処置の実施を看護職員等に指示する。ここでの処置は、例えば栄養剤の投与速度を遅くする処置、栄養剤の投与時及び投与後に患者の上半身を起こすギャッチアップの時間を延ばす処置、栄養剤の種類を変更する処置、経鼻胃管栄養から胃瘻栄養に変更する処置等を含む。栄養剤の種類を変更する処置は、例えば液体の栄養剤から半固形の栄養剤又は粘度可変型栄養剤への変更、消化態栄養剤又は半消化態栄養剤の使用等を含む。
発生可能性が高いことを予測していないと判断した場合(S26:NO)、制御部11は、発生可能性が低いことを予測したか否かを判断する(S28)。発生可能性が低いことを予測していないと判断した場合(S28:NO)、即ちここでは発生可能性が中程度であることを予測した場合、制御部11は、胃食道逆流による誤嚥の発生を予防するためのアドバイスを出力する(S29)。例えば制御部11は、図7Bに示すように、胃食道逆流による誤嚥の発生可能性が中程度であることと、推奨される対応処置とを通知するメッセージを電子カルテ画面に表示してアドバイスを出力する。推奨される対応処置は、例えば栄養剤の投与時及び投与後のギャッチアップの時間を延ばす処置、栄養剤の投与速度を遅くする処置等を含む。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が中程度であることを把握できると共に、胃食道逆流による誤嚥の発生を抑制するための対応処置を把握できる。ここでも、制御部11は、アドバイスメッセージの表示に加えて、アドバイスメッセージを音声出力することによりアドバイスを出力する構成でもよい。
図7Bに示すようなアドバイスが出力された場合、例えば看護職員はアドバイスに従った処置を行う。制御部11は、発生可能性が低いことを予測したと判断した場合(S28:YES)、即ち発生可能性がほぼ無い正常な状態であることを予測した場合、ステップS29の処理をスキップして一連の処理を終了する。なお、制御部11は、胃食道逆流による誤嚥の発生可能性が低いこと、又は発生可能性がほぼ無い正常な状態であることを通知するメッセージを表示部15に表示してもよい。制御部11は、電子カルテ画面を介して入力された情報(電子カルテデータ)を電子カルテDB12aに記憶しておく。
上述した処理により、看護職員及び介護職員等の医療従事者が、患者の状態に関する情報を電子カルテに入力した際に、胃食道逆流による誤嚥の発生可能性が予測されて通知される。よって、例えば看護職員が入院患者の状態を観察する巡視業務を行った際に、医師による確認が必要であるか否か、患者に行うべき処置があるか否かを把握できる。これにより、例えば経験の浅い看護職員であっても、看護職員が行う通常業務において医師に確認すべきか否かを判断できるので、胃食道逆流による誤嚥の発生の見落としを抑制して早期に発見することが可能となる。また本実施形態では、学習モデル12Mを用いて、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測するので、膨大な訓練データを学習させた学習モデル12Mを用いる場合には、より正確に予測することが可能となる。
本実施形態では、図6に示す電子カルテ画面を介して患者の状態情報を医療従事者が入力する構成であるが、この構成に限定されない。例えば、情報処理装置10が、体温計、パルスオキシメータ、及び吸引器との間で情報の送受信を行える場合、体温計から患者の体温を受信し、パルスオキシメータから血中酸素飽和度を受信し、吸引器から吸引された痰の量を受信する構成でもよい。この場合、情報処理装置10の制御部11は、受信した各データを図6に示す画面の各入力欄に表示する。また、患者の口元の音声をマイクで収集して情報処理装置10へ送信し、情報処理装置10が、受信した音声データに基づいて患者に喘鳴が発生しているか否かを判定してもよい。また、患者の口元のにおいをにおいセンサで検知して情報処理装置10へ送信し、情報処理装置10が、受信したにおいデータに基づいて所定のにおいが有るか否かを判定してもよい。また、患者の顔画像をカメラで撮影して情報処理装置10へ送信し、情報処理装置10が、受信した顔画像データに基づいて患者の表情が苦しそうであるか否かに応じた表情レベルを判定してもよい。患者の顔画像から表情レベルを判定する場合、例えば各表情レベルに対応するテンプレート画像を予め用意しておき、テンプレート画像を用いたパターンマッチングによって患者の表情レベルを判定してもよい。また、例えば患者の入院時に顔画像を撮影して顔画像の特徴量を登録しておき、入院時の顔画像の特徴量との比較結果に基づいて患者の表情レベルを判定してもよい。患者の顔画像を撮影するカメラは、例えば病室内に設けられた監視カメラ、医療従事者が装着するAR(Augmented Reality)グラスに設けられたカメラ、医療従事者が携帯するスタッフ端末に設けられたカメラ等を用いることができる。このような場合、情報処理装置10の制御部11は、判定した各データを図6に示す画面の各入力欄に表示する。
本実施形態では、情報処理装置10が学習モデル12Mを用いて胃食道逆流による誤嚥の発生可能性を予測する処理をローカルで行う構成について説明したが、この構成に限定されない。例えば、情報処理装置10をサーバコンピュータで構成し、学習モデル12Mを用いた胃食道逆流による誤嚥の発生可能性の予測処理をサーバコンピュータで行うように構成してもよい。この場合、サーバコンピュータは、例えばネットワーク経由で接続してある医療従事者が用いるスタッフ端末から患者の状態情報を取得し、予測した発生可能性を含むアラート又はアドバイスをスタッフ装置へ出力して表示するように構成されていてもよい。このような構成とした場合であっても、上述した本実施形態と同様の処理が可能であり、同様の効果が得られる。
(実施形態2)
専用の検査機器を用いて、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測して提示する構成について説明する。図8は検査機器の外観例を示す模式図である。検査機器20は、板状の外形を有しており、図8Aは検査機器20の一面(例えば表面)の例を示し、図8Bは検査機器20の他面(例えば裏面)の例を示す。図8に示すように、検査機器20の一面にはタッチパネル24が設けられており、他面にはマイク25及びカメラ26が設けられている。図9は検査機器20の構成例を示すブロック図である。検査機器20は、制御部21、記憶部22、通信部23、タッチパネル24、マイク25、カメラ26等を含み、これらの各部はバスを介して相互に接続されている。検査機器20の制御部21、記憶部22、通信部23は、実施形態1の情報処理装置10の制御部11、記憶部12、通信部13と同様の構成を有するので詳細な説明は省略する。なお、検査機器20の記憶部22は、制御部21が実行するプログラム22P、学習モデル22M、喘鳴認識モデル22M1、及び表情認識モデル22M2を記憶している。
タッチパネル24は、ユーザによる操作入力を受け付ける入力部と、液晶ディスプレイ又は有機ELディスプレイ等の表示部とが一体として構成されたものである。マイク25は、制御部21からの指示に従って周囲の音声を収集する集音部であり、取得した音声データを記憶部22へ送出して記憶させる。カメラ26は、制御部21からの指示に従って撮影する撮影部であり、取得した撮影画像(画像データ)を記憶部22へ送出して記憶させる。
図10は実施形態2の学習モデルの構成例を示す模式図である。図10Aに示すように、本実施形態は、図3に示す実施形態1の学習モデル12Mと同様の構成を有する学習モデル22Mに加えて、喘鳴認識モデル22M1及び表情認識モデル22M2を有する。本実施形態の学習モデル22Mも、患者の状態情報(体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無)が入力された場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を出力する構成を有する。本実施形態の学習モデル22Mには、患者の口元の音声に基づいて喘鳴認識モデル22M1が判定した喘鳴の有無、及び、患者の顔画像に基づいて表情認識モデルが判定した表情レベルが入力される。
図10Bは喘鳴認識モデル22M1の構成例を示しており、図10Bに示す喘鳴認識モデル22M1は、患者の口元から収集した音声データを入力とし、入力された音声データに基づいて、当該患者に喘鳴が発生しているか否かを判別する演算を行い、演算した結果(喘鳴の有無)を出力するように学習してある。喘鳴認識モデル22M1は、例えばCNN、RNN等のアルゴリズムを用いて構成され、複数のアルゴリズムを組み合わせて構成されてもよい。図10Bに示す喘鳴認識モデル22M1は2つの出力ノードを有しており、出力ノード0は、喘鳴が発生していると判別すべき確率を出力し、出力ノード1は、喘鳴が発生していないと判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、喘鳴認識モデル22M1は、患者の口元の音声データが入力された場合に、患者に喘鳴が発生しているか否かを示す情報(喘鳴有り又は喘鳴無しに対する判別確率)を出力する。情報処理装置10は、上述した喘鳴認識モデル22M1において、各出力ノードからの出力値のうちで最大(大きい方)の出力値(判別確率)を出力した出力ノードに対応付けられている喘鳴状態を、予測すべき喘鳴状態に特定する。なお、喘鳴認識モデル22M1は、喘鳴の有無のそれぞれに対する判別確率を出力する2つの出力ノードを有する代わりに、判別確率が最も高い喘鳴状態(喘鳴有り又は無し)を出力する1つの出力ノードを有する構成でもよい。
喘鳴認識モデル22M1は、訓練用の音声データと、喘鳴が発生しているか否かを示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、喘鳴が発生している患者の口元の音声データに対して、喘鳴有りを示す情報が付与されて生成される。また、訓練データは、喘鳴が発生していない患者の口元の音声データに対して、喘鳴無しを示す情報が付与されて生成される。患者の音声データは、検査機器20のマイク25を用いて収集してもよく、電子カルテDB12aに記憶してある場合には電子カルテDB12aから取得してもよい。喘鳴の有無の情報は、電子カルテDB12aに記憶してある情報から取得できる。喘鳴認識モデル22M1は、訓練用の音声データが入力された場合に、正解ラベルが示す喘鳴の状態(喘鳴の有無)に対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。ここでも、喘鳴認識モデル22M1は、ニューロン間の重み等を、誤差逆伝播法、最急降下法等を用いて最適化して学習処理を行う。これにより、患者の音声データが入力された場合に、喘鳴が発生しているか否かを予測し、予測結果を出力するように学習された喘鳴認識モデル22M1が得られる。
図10Cは表情認識モデル22M2の構成例を示しており、図10Cに示す表情認識モデル22M2は、患者の顔を撮影して得られた顔画像データを入力とし、入力された顔画像データに基づいて、当該患者の表情レベルを判別する演算を行い、演算した結果(表情レベル)を出力するように学習してある。表情レベルは、実施形態1と同様に5段階(レベル1~レベル5)で表され、普段通りの正常な表情をレベル1とし、苦しそうな状態又は意思疎通ができない状態が悪化するほど高いレベルとする。表情認識モデル22M2は、例えばCNN、RNN等のアルゴリズムを用いて構成され、複数のアルゴリズムを組み合わせて構成されてもよい。図10Cに示す表情認識モデル22M2は5つの出力ノードを有しており、出力ノード0~4はそれぞれ、表情レベル5~1と判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、表情認識モデル22M2は、患者の顔画像データが入力された場合に、各表情レベルに対する判別確率を出力する。情報処理装置10は、上述した表情認識モデル22M2において、各出力ノードからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応付けられている表情レベルを、予測すべき表情レベルに特定する。なお、表情認識モデル22M2は、各表情レベルに対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い表情レベルを出力する1つの出力ノードを有する構成でもよい。
表情認識モデル22M2は、訓練用の顔画像データと、該顔画像データの撮影対象の患者の表情レベル(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、患者の顔画像データに対して、該顔画像データに基づいて医療従事者等が判定した患者の表情レベルが付与されて生成される。患者の顔画像データは、検査機器20のカメラ26を用いて撮影してもよく、電子カルテDB12aに記憶してある場合には電子カルテDB12aから取得してもよい。患者の表情レベルは、電子カルテDB12aに記憶してある情報から取得してもよい。表情認識モデル22M2は、訓練用の顔画像データが入力された場合に、正解ラベルが示す表情レベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。ここでも、表情認識モデル22M2は、ニューロン間の重み等を、誤差逆伝播法、最急降下法等を用いて最適化して学習処理を行う。これにより、患者の顔画像データが入力された場合に、撮影対象の患者の表情レベルを予測し、予測結果を出力するように学習された表情認識モデル22M2が得られる。
本実施形態の検査機器20は、上述した実施形態1の情報処理装置10と同様に、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測する処理を行う。具体的には、検査機器20の制御部21は、図5に示す処理と同様の処理の実行が可能である。なお、図5中のステップS21において、検査機器20の制御部21は、電子カルテ画面の代わりに、図11Aに示すような画面をタッチパネル24に表示する。図11は検査機器20の画面例を示す模式図である。図11Aに示す画面は患者の状態情報を入力するための入力画面であり、図6に示す画面と同様の構成を有する。
検査機器20の制御部21は、図11Aに示す入力画面を介して、患者の状態情報の入力を受け付け、入力された各情報をそれぞれの入力欄に表示する(S22~S23)。なお、入力画面に対する各情報の入力は、看護職員等がタッチパネル24を操作することによって行われてもよく、検査機器20が他の検査機器から受信してもよい。例えば検査機器20が、体温計、パルスオキシメータ、及び吸引器との間で情報の送受信を行うように構成されている場合、検査機器20の制御部21は、体温計、パルスオキシメータ、及び吸引器からそれぞれ患者の体温、血中酸素飽和度、及び痰の量を受信する。この場合、制御部21は、受信した各データを図11Aに示す画面の各入力欄に表示する。
また検査機器20の制御部21は、マイク25にて患者の口元の音声を収集し、得られた音声データに基づいて、喘鳴認識モデル22M1を用いて喘鳴の発生の有無を判定し、判定結果(喘鳴の有無)を取得する。この場合、制御部21は、取得した判定結果を、図11Aに示す画面中の喘鳴の入力欄に表示する。また制御部21は、カメラ26にて患者の顔画像を撮影し、得られた顔画像データに基づいて、表情認識モデル22M2を用いて表情レベルを判定し、判定結果を取得する。この場合、制御部21は、取得した判定結果を、図11Aに示す画面中の表情レベルの入力欄に表示する。患者の顔画像から表情レベルを判定する処理は、表情認識モデル22M2を用いる構成のほかに、各表情レベルに対応するテンプレート画像を予め用意しておき、テンプレート画像を用いたパターンマッチングによって行われてもよい。また、例えば患者の入院時に顔画像を撮影して顔画像の特徴量を登録しておき、入院時の顔画像の特徴量との比較結果に基づいて患者の表情レベルを判定してもよい。
また、検査機器20は、においセンサを有し、においセンサにて患者の口元のにおいを検知して所定のにおいがあるか否かを判定するように構成されていてもよい。この場合、制御部21は、においセンサにて患者の口元のにおいを検知し、所定のにおい(患者に投与した栄養剤のにおい)の有無を判定する。そして、制御部21は、判定結果を、図11Aに示す画面中の口腔内のにおいの入力欄に表示する。
そして、検査機器20の制御部21は、図11Aに示す入力画面中の誤嚥判定ボタンが操作された場合に、入力画面を介して入力された患者の情報に基づいて、当該患者の胃食道逆流による誤嚥の発生可能性を予測する(S24~S25)。そして制御部21は、胃食道逆流による誤嚥の発生可能性が高いことを予測したと判断した場合(S26:YES)、図11Bに示すようなメッセージをタッチパネル24に表示してアラートを出力する(S27)。図11Bに示す画面は、図7Aに示す画面と同様の構成を有する。これにより、本実施形態においても、医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が高いことを把握できる。なお、図11Bに示すアラートメッセージはリセットボタンを有しており、リセットボタンが操作された場合、制御部21は、アラートメッセージの表示を終了すると共に、画面中の各入力欄に入力されたデータを消去してリセットする。
また、本実施形態においても、制御部21は、胃食道逆流による誤嚥の発生可能性が低いことを予測していないと判断した場合(S28:NO)、胃食道逆流による誤嚥の発生を予防するためのアドバイスを出力する(S29)。図示は省略するが、ここでは、図11Bに示すアラートメッセージの代わりに、図7Bに示すようなアドバイスメッセージがタッチパネル24に表示される。これにより、医療従事者は、胃食道逆流による誤嚥の発生を抑制するための対応処置を把握できる。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、専用の検査機器20を用いて、胃食道逆流による誤嚥の発生可能性を判定できるので、看護職員及び介護職員等が手軽に検査を行うことができる。
(実施形態3)
患者の状態情報に基づいて、胃食道逆流による誤嚥の発生可能性に加えて、口腔内容物の誤嚥の発生可能性を予測して提示する情報処理装置について説明する。本実施形態では、経管栄養が実施されている患者に加えて、経口摂取が可能な患者について、誤嚥の発生を予測する。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての説明は省略する。
図12は実施形態3の誤嚥発生の予測処理手順の一例を示すフローチャート、図13は実施形態3の画面例を示す模式図である。図12に示す処理は、図5に示す処理において、ステップS28~S29の代わりにステップS31~S33を追加したものである。図5と同じステップについては説明を省略する。
本実施形態の情報処理装置10の制御部11は、図5中のステップS21~S27と同様の処理を行う。これにより、電子カルテ画面を介して患者の状態情報が入力された場合に、状態情報に基づいて胃食道逆流による誤嚥の発生可能性が予測され、発生可能性が高いことが予測された場合に、アラートが出力されて医療従事者に通知される。
本実施形態の情報処理装置10の制御部11は、胃食道逆流による誤嚥の発生可能性が高いことを予測していないと判断した場合(S26:NO)、即ち胃食道逆流による誤嚥の発生可能性が高くない場合、口腔内容物の誤嚥の発生可能性を予測する(S31)。例えば制御部11は、電子カルテDB12aに記憶してある電子カルテデータから、当該患者が経口摂取した食べ物の摂取量及び摂取時刻、咳及び痰の発生状態、口腔内の衛生状態等の情報を読み出し、読み出した情報に基づいて、口腔内容物の誤嚥の発生可能性を予測する。例えば経口摂取した食べ物の摂取量が所定量以上である場合、摂取時刻からの経過時間が所定時間内である場合、咳及び痰の発生量が増加している場合、口腔内のケアが不十分である場合等には、制御部11は、口腔内容物の誤嚥の発生可能性が高いことを予測する。例えば制御部11は、電子カルテDB12aから読み出した各データに基づいて、口腔内容物の誤嚥の発生可能性を示すスコアを算出することにより、発生可能性が高いか否かを予測する。
制御部11は、予測結果に基づいて、口腔内容物の誤嚥の発生可能性が高いことを予測したか否かを判断する(S32)。例えば口腔内容物の誤嚥の発生可能性を示すスコアを算出している場合、制御部11は、算出したスコアが所定値以上であるか否かを判断する。口腔内容物の誤嚥の発生可能性が高いことを予測したと判断した場合(S32:YES)、制御部11は、発生可能性が高いことを通知するためのアラートを出力する(S33)。例えば制御部11は、図13に示すように、口腔内容物の誤嚥の発生可能性が高いことと、医師による確認が必要であることとを通知するメッセージを電子カルテ画面に表示してアラートを出力する。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された口腔内容物の誤嚥の発生可能性が高いことを把握できる。なお、図13に示すアラートメッセージに、例えば口腔内のケアを行うこと、嚥下に関するリハビリ又はトレーニングを行うこと等のアドバイスを含めてもよい。
図13に示すようなアラートが出力された場合、例えば看護職員は、医師に、口腔内容物の誤嚥の発生有無の確認を依頼する。また看護職員は医師に確認した後に、口腔内のケア、嚥下のリハビリ又はトレーニングを患者に行う。制御部11は、口腔内容物の誤嚥の発生可能性が高いことを予測していないと判断した場合(S32:NO)、即ち口腔内容物の誤嚥の発生可能性が低い場合、ステップS33の処理をスキップして一連の処理を終了する。ここでは制御部11は、誤嚥の発生可能性が低いこと、又は誤嚥の発生可能性がほぼ無い正常な状態であることを通知するメッセージを表示部15に表示してもよい。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、胃食道逆流による誤嚥の発生可能性に加えて、口腔内容物の誤嚥の発生可能性を予測して医療従事者に提示できる。よって、医師は、提示された予測結果に基づいて、必要に応じて胸部のX線画像又はCT画像の撮影、及び血液検査等の精密検査を行って確定診断を行う。
本実施形態の構成は、実施形態1の情報処理装置10に適用可能であり、実施形態2の検査機器20にも適用可能であり、実施形態1の情報処理装置10又は実施形態2の検査機器20に適用した場合であっても同様の効果が得られる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。