JP7699105B2 - 情報処理方法、プログラムおよび情報処理システム - Google Patents

Description

本発明は、情報処理方法、プログラムおよび情報処理システムに関する。

カテーテル治療は、医師、看護師、臨床検査技師、臨床工学技師および放射線技師等の様々な職種のスタッフの協力により実施される。治療の進捗状況および今後の見通しに関する情報をリアルタイムで共有することにより、それぞれのスタッフが効率よく職責を果たせる。これにより、治療をスムーズに進められる。

手術室内に設置された複数の機械それぞれの活殺状態に基づいて、手術の終了時刻が予定よりも遅くなることを手術室外のスタッフ等に告知する装置が提案されている（特許文献１）。

特開２０１４－１８４１２６号公報

しかしながら、特許文献１の装置では、治療に参加しているスタッフ同士の情報共有に関する支援は行えない。

情報処理方法は、カテーテル治療を受ける患者に関する患者情報を取得し、前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、前記アクションが画像を取得するアクションである場合、画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる処理をコンピュータに実行させる。

治療に参加しているスタッフ同士の情報共有を支援する情報処理方法等を提供できる。

情報処理システムの構成を説明する説明図である。 情報処理装置の構成を説明する説明図である。 端末装置の構成を説明する説明図である。 ログＤＢのレコードレイアウトを説明する説明図である。 待機デバイスＤＢのレコードレイアウトを説明する説明図である。 薬剤累積量ＤＢのレコードレイアウトを説明する説明図である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 時系列情報欄の変形例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 端末装置が表示する画面の例である。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 実施の形態２の端末装置が表示する画面の例である。 第１モデルの構成を説明する説明図である。 実施の形態２のプログラムの処理の流れを説明するフローチャートである。 第２モデルの構成を説明する説明図である。 第３モデルの構成を説明する説明図である。 実施の形態３のプログラムの処理の流れを説明するフローチャートである。 実施の形態４の訓練ＤＢのレコードレイアウトを説明する説明図である。 実施の形態４のプログラムの処理の流れを説明するフローチャートである。 実施の形態５の訓練ＤＢのレコードレイアウトを説明する説明図である。 実施の形態６の訓練ＤＢのレコードレイアウトを説明する説明図である。 実施の形態７の情報処理システムの機能ブロック図である。 実施の形態８の情報処理装置の構成を説明する説明図である。

［実施の形態１］
図１は、情報処理システム１０の構成を説明する説明図である。本実施の形態の情報処理システム１０は、カテーテル室およびカテーテル室に隣接する操作室で使用される。カテーテル室と操作室との間には、図示を省略するドアおよび窓が設けられている。なお、図１は情報処理システム１０を模式的に示す。各構成要素の配置および数は、図１に限定するものではない。なお、カテーテル室は、情報処理システム１０が使用される場所の例示である。情報処理システム１０は、手術室等で使用されてもよい。

情報処理システム１０は、情報処理装置２０、端末装置３０、表示装置１２、カテーテル制御装置１３、マイク１７、カメラ１１、ベッドサイドモニタ１６、バーコードリーダ１５、画像診断装置１４および電子カルテシステム１９を含む。それぞれの装置等はＨＩＳ（Hospital Information System）等のネットワークを介して、有線または無線により接続されている。一部の装置同士は、ネットワークを介さずに直接接続されていてもよい。

情報処理装置２０および電子カルテシステム１９は、カテーテル室および操作室の外に配置されていてもよい。各構成要素は、必要に応じてカテーテル室に搬入され、カテーテル室から搬出されてもよい。

本実施の形態の情報処理システム１０は、カテーテル室で実施されるカテーテル治療を支援するシステムである。カテーテル治療を受ける患者は、検査台１８の上に横臥する。

端末装置３０は、主に不潔域を担当するスタッフまたは見学者がカテーテル室内等で使用する装置である。端末装置３０は、情報処理装置２０と協働して本実施の形態のプログラムを実行する。情報処理装置２０および端末装置３０の詳細については後述する。端末装置３０は第１表示装置の例示である。

表示装置１２は、たとえば大型の液晶表示装置または有機ＥＬ（Electro Luminescence）表示装置等の大型表示装置である。カテーテル室内には、複数の表示装置１２が設置されている。表示装置１２は、たとえば３台が横一列に並んだ状態でカテーテル室の天井から吊り下げられており、カテーテル治療を担当する医師が見やすい向きに調整されている。さらに表示装置１２は、カテーテル室の壁面およびカテーテル室に隣接する操作室等にも配置されている。表示装置１２は、第２表示装置の例示である。

たとえば血管内のカテーテル治療を行なう場合、カテーテル治療を担当する医師が見やすい状態に配置された複数の表示装置１２のうちの１台には、Ｘ線血管撮影装置により撮影された最新の画像が常時表示される。その他の表示装置１２に表示される情報については、後述する。

カテーテル制御装置１３には、ＭＤＵ１３１および画像診断用カテーテル１３２が接続されている。画像診断用カテーテル１３２は、管腔器官に挿入して使用される。画像診断用カテーテル１３２が挿入される管腔器官は、たとえば血管、膵管、胆管または気管支等である。画像診断用カテーテル１３２は、血管を介して心房内、心室内等、心臓の内部に挿入される場合もある。

画像診断用カテーテル１３２は、たとえばＩＶＵＳ（Intravascular Ultrasound）用カテーテル、ＯＣＴ（Optical Coherence Tomography）用カテーテル、またはＯＦＤＩ（Optical Frequency Domain Imaging）用カテーテル等である。画像診断用カテーテル１３２は、ＩＶＵＳ用、ＯＣＴ用、およびＯＦＤＩ用のセンサのうちの２個または３個を組み合わせて搭載していてもよい。

画像診断用カテーテル１３２を用いて、血管壁等の管腔器官壁に加えて、たとえば赤血球等の管腔器官の内部に存在する反射体、および、心外膜、心臓等の管腔器官の外側に存在する臓器を含む断層像を生成できる。

画像診断用カテーテル１３２は、管腔器官の内壁を光学的に観察する際に用いられる、血管用内視鏡であってもよい。

マイク１７は、音声入力を受け付ける。ベッドサイドモニタ１６は、カテーテル治療を受ける患者の心電図、血圧、心拍数、および、経皮的動脈血酸素飽和度（ＳＰＯ₂：Peripheral Oxygen Saturation）等のバイタルサインを測定して、表示する装置である。ベッドサイドモニタ１６には、心電図測定用の電極等が接続されている。

カメラ１１は、カテーテル室内の状況を撮影する。撮影された映像は、たとえば操作室内の表示装置１２に表示される。撮影された映像は、後述するログＤＢ６５（図２参照）に記録されてもよい。カメラ１１は、ジェスチャ入力の受付に使用されてもよい。

バーコードリーダ１５は、カテーテル治療に使用する画像診断用カテーテル１３２、ガイディングカテーテル、ガイドワイヤ、バルーンカテーテルおよびステント等の器材の梱包材に設けられたバーコードの読み取りに使用される。バーコードには、器材の品種、シリアルナンバー等に関する情報が記録されている。バーコードには、器材の詳細仕様等に関する情報にアクセス可能なＵＲＬ（Uniform Resource Locator）が記録されていてもよい。

画像診断装置１４は、たとえばＸ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置である。

電子カルテシステム１９には、患者の氏名、生年月日、カテーテル治療に先立ち行なわれた各種検査のデータおよび病歴に関する情報等が、患者に固有に付与された患者ＩＤ（Identifier）に関連づけて記録されている。電子カルテシステム１９には、本実施の形態の情報処理システム１０を用いて実施したカテーテル治療に関する情報が記録される。

以下の説明では、カテーテル制御装置１３により撮影された画像と、画像診断装置１４により撮影された画像とを包括して、医用画像と記載する場合がある。

図２は、情報処理装置２０の構成を説明する説明図である。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、ログＤＢ（Database）６５、待機デバイスＤＢ６６、薬剤累積量ＤＢ６７およびプログラムの実行に必要な各種データが保存される。ログＤＢ６５、待機デバイスＤＢ６６および薬剤累積量ＤＢ６７は、情報処理装置２０に接続された外部の大容量記憶装置等に保存されていても良い。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。

情報処理装置２０は、汎用のパソコン、タブレット、大型計算機、または、大型計算機上で動作する仮想マシンである。情報処理装置２０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置２０は、クラウドコンピューティングシステムまたは量子コンピュータにより構成されても良い。

図３は、端末装置３０の構成を説明する説明図である。端末装置３０は、制御部３１、主記憶装置３２、補助記憶装置３３、通信部３４、タッチパネル３５およびバスを備える。タッチパネル３５は、液晶パネルまたは有機ＥＬパネル等の表示部３５１と、表示部３５１の表面に積層された入力部３５２とを含む。

端末装置３０の制御部３１は、情報処理装置２０の制御部２１と協働して本実施の形態のプログラムを実行する演算制御装置である。制御部３１には、一または複数のＣＰＵ、ＧＰＵまたはマルチコアＣＰＵ等が使用される。制御部３１は、バスを介して端末装置３０を構成するハードウェア各部と接続されている。

主記憶装置３２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の記憶装置である。主記憶装置３２には、制御部３１が行なう処理の途中で必要な情報および制御部３１で実行中のプログラムが一時的に保存される。

補助記憶装置３３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置３３には、制御部３１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。通信部３４は、端末装置３０とネットワークとの間の通信を行なうインターフェイスである。

端末装置３０は、タブレット、スマートフォンまたはタブレット等の汎用の情報機器である。端末装置３０は、本実施の形態の情報処理システム１０専用の情報機器であってもよい。端末装置３０は、看護師等のスタッフが個々に携帯しても、壁等に設置されていてもよい。

図４は、ログＤＢ６５のレコードレイアウトを説明する説明図である。ログＤＢ６５は、患者ＩＤと、カテーテル治療を行なった日付と、カテーテル治療の経過とを関連づけた、カテーテル治療ログを記録するＤＢである。ログＤＢ６５は、患者ＩＤフィールド、日付フィールドおよび経過フィールドを有する。経過フィールドは、時刻フィールド、アクションフィールド、ファイルフィールド、患者状態フィールド、バイタルフィールドおよび戦略フィールドを有する。

患者ＩＤフィールドには、患者ＩＤが記録されている。日付フィールドには、カテーテル治療を行なった日付が記録されている。時刻フィールドには時刻が記録されている。アクションフィールドには、カテーテル治療中に行なわれたアクションが記録されている。

ファイルフィールドには、カテーテル制御装置１３または画像診断装置１４から取得した画像、マイク１７から取得し音声メモ等のファイルが記録されている。ファイルフィールドには、これらのファイルへのリンクが記録され、ファイル自体は図示を省略するファイルサーバ等に記録されていてもよい。ファイルフィールドには、カテーテル制御装置１３または画像診断装置１４から取得した動画が記録されていてもよい。

患者状態フィールドには、患者状態が「Ａ」、「Ｂ」等の符号で記録されている。患者状態の詳細については後述する。バイタルフィールドには、医師がバイタルを確認した際のバイタルが記録されている。なお、バイタルフィールドの記録とは別に、各種バイタルのログデータがベッドサイドモニタ１６により記録されている。

戦略フィールドには、カテーテル治療中に立案された治療戦略に関するファイルが記録されている。治療戦略の詳細については、後述する。アクションフィールド、各フィールドの空欄は、対応する情報がログＤＢ６５に記録されていないことを示す。

たとえば、１０時５分には、「ヘパリンＸＸＸＸユニット」を患者に投与したアクションが記録されている。投与時の患者状態およびバイタルが記録されているが、ファイルおよび戦略は記録されていない。１０時３５分には患者状態が記録されており、アクション等は記録されていない。ログＤＢ６５へのデータ記録方法の詳細については、後述する。

図５は、待機デバイスＤＢ６６のレコードレイアウトを説明する説明図である。待機デバイスＤＢ６６は、カテーテル室で使用する器材と使用回数とを関連づけて記録するＤＢである。待機デバイスＤＢ６６は、器材情報フィールドおよび使用回数フィールドを有する。器材情報フィールドは、品種フィールドおよび種類フィールドを有する。

品種フィールドには、それぞれの器材の品種が記録されている。種類フィールドには器材の種類が記録されている。たとえば、「ＧＷ」はガイドワイヤ（Guide Wire)を、「ＢＤＣ」はバルーンダイラテーションカテーテル（Balloon dilatation catheter）を、ＩＶＵＳはＩＶＵＳ用カテーテルをそれぞれ示す。

器材の品種は、器材の外径、長さ等の仕様に関する情報を含む場合がある。たとえば「ＢＤＣ」のレコードに記録されている「＊＊＊＊＊３．０ｍｍ×１０ｍｍ」は、拡張時の直径が３．０ｍｍ、長さが１０ｍｍのバルーンであることを示す。使用回数フィールドには、本手術中において器材を体内に挿入した回数が記録されている。

器材情報フィールドへのデータ記録方法の概要を説明する。カテーテル治療に使用する器材がカテーテル室に搬入される。スタッフがバーコードリーダ１５を操作して、それぞれの器材の梱包材に取り付けられたバーコードを読み取る。前述のとおり、バーコードには器材の品種等の情報が記録されている。バーコードリーダ１５は、ネットワークを介して情報処理装置２０に読み取った情報を送信する。

制御部２１は、待機デバイスＤＢ６６に新規レコードを作成する。制御部２１は、バーコードリーダ１５が読み取ったバーコードに記録されている品種に基づいて、器材の種類を判定する。制御部２１は、品種を器材メーカのＷＥＢサイト等に送信して、器材の種類を受信してもよい。制御部２１は、品種フィールドに器材の品種を、種類フィールドに器材の種類をそれぞれ記録する。制御部２１は、使用回数フィールドを初期値「０」に設定する。

カテーテル治療中に、器材が追加で搬入された場合も、同様にして待機デバイスＤＢ６６に新規レコードが記録される。使用回数フィールドに記録された情報の更新については、後述する。

図６は、薬剤累積量ＤＢ６７のレコードレイアウトを説明する説明図である。薬剤累積量ＤＢ６７は、薬剤の名称と、累積投与量とを関連づけて記録するＤＢである。薬剤累積量ＤＢ６７は、薬剤フィールドおよび投与量フィールドを有する。薬剤フィールドには薬剤の名称が記録されている。投与量フィールドには、薬剤の累積投与量が記録されている。投与量フィールドの初期値は「０」である。

図７および図８は、端末装置３０が表示する画面の例である。図７は、カテーテル治療の支援を担当するスタッフが使用する端末装置３０のタッチパネル３５に表示される画面の例を示す。

図７に示す画面は、患者情報欄５１、時系列情報欄５２、デバイスボタン５３、投薬ボタン５４、バイタルボタン５５および患者状態入力欄５６を含む。画面の右上には、日付および現在時刻が表示されている。

患者情報欄５１には、患者の氏名、生年月日および病歴の概要等の患者情報が表示されている。ユーザがタップ操作等により患者情報欄５１を選択した場合、制御部３１は電子カルテシステム１９にアクセスしてさらに詳細な患者情報を取得し、タッチパネル３５に表示する。詳細な患者情報の項目例を表１に示す。

表１はユーザが患者情報欄５１を選択した場合に端末装置３０の制御部３１が表示部３５に表示する患者情報の例示である。制御部３１は、カテーテル治療に先立ち撮影されたＸ線ＣＴ画像等、電子カルテシステム１９に記録されたデータをタッチパネル３５に表示してもよい。それぞれの端末装置３０を使用するユーザの職種等により、詳細情報の項目が異なるように設定されていてもよい。

時系列情報欄５２には、カテーテル治療に関する各種アクションとアクションの発生時刻とが時系列で表示されている。それぞれの制御部３１は、ログＤＢ６５に基づいて所定の書式で時系列情報欄５２を表示する。それぞれの制御部３１は、ログＤＢ６５に逐次アクセスして、時系列情報欄５２の表示を更新する。どの端末装置３０の時系列情報欄５２にも最新の状態が表示される。

たとえば、１０時５分には、ヘパリンがＸＸＸＸユニット投与されている。ヘパリン投与時に医師が患者のバイタルを確認したことが、バイタル確認マーク５２４により表示されている。ヘパリン投与時に、患者が痛み等を感じておらず良好な状態であることが、笑顔を示す患者状態マーク５２３により表示されている。

１０時１２分には、Ｘ線血管撮影装置を用いて冠動脈造影（ＣＡＧ：Coronary Angiography）が行なわれている。冠動脈造影により撮影された画像を縮小したサムネイル画像５２２が時系列情報欄５２内に表示されている。サムネイル画像は、縮小画像の例示である。

同様に、１０時３０分には、ＩＶＵＳ用カテーテルにより断層像が撮影されている。撮影された断層像を縮小したサムネイル画像５２２が時系列情報欄５２内に表示されている。時系列情報欄５２の下端に、次の項目の入力を受け付ける入力欄５２６が表示されている。図７に示す画面を用いた情報処理システム１０の操作方法については後述する。

図８は、端末装置３０が表示する画面の例である。図８は、操作室のスタッフが使用する端末装置３０に表示される画面の例を示す。制御部２１は、図８に示す画面を一部の表示装置１２に表示させてもよい。

図８に示す画面は、患者情報欄５１、時系列情報欄５２、およびサムネイル欄５２７を含む。画面の右上には、日付および現在時刻が表示されている。サムネイル欄５２７には、画像診断装置１４またはカテーテル制御装置１３により撮影された医用画像のサムネイル画像５２２が表示されている。サムネイル欄５２７には、カテーテル治療を行なう日よりも過去に撮影された画像のサムネイルが表示されていてもよい。サムネイル欄５２７に表示されているサムネイル画像５２２は、時系列情報欄５２に表示されているサムネイル画像５２２よりも大きい。

図９は、時系列情報欄５２の変形例である。図９においては、時系列情報欄５２の左端に時刻が表示されている。図９においては、各時刻におけるアクションが「薬剤投与」等の大項目の列と、「ヘパリン ＸＸＸＸ単位」等の小項目の列とに分けて表示されている。小項目の列にはバルーンおよびステントを拡張した際のバルーン拡張圧力またはステント拡張圧力と、拡張時間とが表示されている。

１４時２９分には、バルーンダイラテーションカテーテルを用いて狭窄部を拡張するバルーン拡張が実施されている。バルーン拡張中、またはその前後に冠動脈造影血管造影により撮影された医用画像のサムネイル画像５２２により、バルーン拡張が行なわれた場所が表示されている。

１４時３７分には、ステントの留置が実施されている。ステントの留置は、目的の場所でステントを内側から拡張されることにより実施される。ステント拡張中、またはその前後に冠動脈造影血管造影により撮影された医用画像のサムネイル画像５２２により、ステント拡張が行なわれた場所が表示されている。

一部の端末装置３０には、図７に示す時系列情報欄５２が表示され、別の端末装置３０には図９に示す時系列情報欄５２が表示されてもよい。情報処理装置２０の制御部２１は、いずれかの端末装置３０に表示されている画面と同一の画面を、一部の表示装置１２に表示させてもよい。

ユーザが、所定の端末装置３０に表示されたサムネイル画像５２２をタップした場合、端末装置３０の制御部３１と情報処理装置２０の制御部２１とが連携してタップ操作を受け付けたサムネイル画像５２２の元画像を表示装置１２に表示させる。ユーザは、大きな画面で画像を確認できる。

どの表示装置１２に元画像を表示するかは、あらかじめ設定されている。情報処理装置２０の制御部２１または端末装置３０の制御部３１は、元画像を表示する画像診断装置１４を選択する指示をユーザから受け付けてもよい。

ユーザが、他の端末装置３０に表示されたサムネイル画像５２２をタップした場合、制御部３１はログＤＢ６５または電子カルテシステム１９から元画像を取得して、タッチパネル３５に表示する。たとえば学生等の見学者が、実際にカテーテル治療を行なっているスタッフの作業に影響を与えることなく、元画像を確認できる。

図１０から図２０は、端末装置３０が表示する画面の例である。図１０は、デバイスボタン５３の選択を受け付けた場合に制御部３１が表示する画面の例を示す。デバイスボタン５３の隣に、器材リスト欄５３９が表示されている。

器材リスト欄５３９に、待機デバイスＤＢ６６に記録されている各器材に対応する、デバイスアイコン５３１が表示されている。デバイスアイコン５３１は、器材の種類および主な仕様を容易に識別できるデザインであることが望ましい。

デバイスアイコン５３１の隣に、使用回数欄５３２が表示されている。使用回数欄５３２には、待機デバイスＤＢ６６の使用回数フィールドに記録されている使用回数が表示されている。

ユーザは、器材リスト欄５３９により使用準備が整っている器材と、その器材を使用した回数とを確認できる。医師が器材を選択して使用開始した場合、スタッフが選択された器材に対応するデバイスアイコン５３１を時系列情報欄５２にドラッグアンドドロップする。スタッフは、ドラッグアンドドロップ操作の代わりにダブルタップ操作等を行なってもよい。ドラッグアンドドロップ操作およびダブルタップ操作は、器材リスト欄５３９からユーザが機材を選択する選択操作の例示である。

ユーザは、音声入力等により、器材の使用に関する追加情報を入力してもよい。情報処理装置２０の制御部２１は、入力された追加情報を選択された器材に関する情報とともにログＤＢ６５に記録する。

端末装置３０の制御部３１は、ドラッグアンドドロップ操作されたデバイスアイコン５３１に関する情報を情報処理装置２０に送信する。情報処理装置２０の制御部２１は、ログＤＢ６５に新規レコードを作成して、使用された器材と使用を開始した時刻とを記録する。制御部２１は、ドラッグアンドドロップ操作された器材に対応するレコードを待機デバイスＤＢ６６から抽出し、使用回数フィールドに１を加算する。

図１１は、投薬ボタン５４の選択を受け付けた場合に端末装置３０の制御部３１が表示する画面の例を示す。投薬ボタン５４の下に、薬剤リスト欄５４９が表示されている。薬剤リスト欄５４９には、カテーテル検査で使用される薬剤と投与量との組み合わせに対応する薬剤ボタン５４１が表示される。医師が薬剤を投与した場合、スタッフは対応する薬剤ボタン５４１をタップ操作する。薬剤をポンプ等を用いて患者に投与する場合には、ポンプの種類または設定等に関する情報がログＤＢ６５に登録されてもよい。

端末装置３０の制御部３１は、タップ操作された投薬ボタン５４に関する情報を情報処理装置２０に送信する。制御部２１は、タップ操作された薬剤に対応するレコードを薬剤累積量ＤＢ６７から抽出し、投与量フィールドに投与量を加算する。制御部２１は、ログＤＢ６５に新規レコードを作成して、投与された薬剤と、投与量と、累積投与量とを記録する。

図１２は、バイタルボタン５５の選択を受け付けた場合に端末装置３０の制御部３１が表示する画面の例を示す。バイタルボタン５５の下に、バイタルグラフ欄５５１が表示されている。バイタルグラフ欄５５１には、たとえばベッドサイドモニタ１６の画面と同様のグラフが表示されている。バイタルグラフ欄５５１は、患者のバイタル情報の例示である。

医師がバイタルの状態を確認した場合、スタッフはバイタルグラフ欄５５１をタップ操作する。制御部２１は、制御部３１を介してバイタルボタン５５のタップ操作を受け付けて、ログＤＢ６５のバイタルフィールドにバイタルを記録する。

時系列情報欄５２のバイタル確認マーク５２４は、バイタルフィールドにバイタルが記録されていることを示す。たとえば、操作室のスタッフもバイタル確認マーク５２４により医師がバイタルを確認したことを把握し、医師からの直接的な指示を待たずに患者のバイタルの状態に注目できる。

端末装置３０の制御部３１は、バイタル確認マーク５２４の代わりにログＤＢ６５のバイタルフィールドに記録されたバイタルを時系列情報欄５２に表示してもよい。制御部２１は、バイタル確認マーク５２４の代わりにバイタルフィールドに記録されたバイタルが正常範囲内であるか、異常値であるかを識別可能なマークを表示してもよい。

操作室にある表示装置１２または端末装置３０等に表示されたバイタル情報に手書き等で書き込まれた注目ポイントが、カテーテル室内の端末装置３０のバイタルグラフ欄５５１にも同じように表示されてもよい。執刀医が気づいていないバイタルの変化等を操作室から指摘して、注意喚起できる。操作室からの入力はタッチパネルを介して行なわれても良いし、マウスまたはキーボードを介して行なわれても良い。

図１３は、変形例の画面を示す。バイタルボタン５５が選択されていない場合、画面にバイタル数値欄５５２が表示される。バイタル数値欄５５２には、ベッドサイドモニタ１６が取得したバイタルの値が常時表示されている。

医師がバイタルの状態を確認した場合、スタッフはバイタル数値欄５５２をタップ操作する。情報処理装置２０の制御部２１は、端末装置３０の制御部３１を介してバイタルボタン５５のタップ操作を受け付けて、ログＤＢ６５のバイタルフィールドにバイタルを記録する。

看護師等は、患者から痛みの有無等を聴取して患者状態を判断する。看護師は、患者を観察して、患者状態を判断してもよい。看護師は、患者状態入力欄５６に表示された複数の患者状態アイコンの中から適切な患者状態アイコンをタップ操作する。

情報処理装置２０の制御部２１は、端末装置３０の制御部３１を介して患者状態アイコンのタップ操作を受け付けて、ログＤＢ６５の患者状態フィールドに選択された患者状態アイコンに対応する符号を記録する。時系列情報欄５２の患者状態マーク５２３は、患者状態を示す。

図１４は、医師またはスタッフが音声メモを入力した場合の画面を示す。１０時３４分に音声メモが入力されたことが、マイクアイコンにより表示されている。音声メモが入力された場合、制御部２１は、ログＤＢ６５に新規レコードを作成し、音声メモのデータをファイルフィールドに記録する。

戦略マーク５２５について説明する。たとえば、ＩＶＵＳを使用してプルバック操作を行なった場合、カテーテル制御装置１３は縦断層像、横断層像を生成する。カテーテル制御装置１３は断層像に基づいて病変部を検出する機能、および、検出した病変に関する根拠を表示する機能を有してもよい。

医師は、カテーテル制御装置１３が生成した断層像および過去に行なった検査等の情報に基づいて、治療戦略を立案する。医師は、冠動脈造影を行なったときに治療戦略を立案してもよい。立案した治療戦略と、参照した画像等のデータをまとめた戦略ファイルが、ログＤＢ６５の戦略フィールドに記録される。時系列情報欄５２中の戦略マーク５２５は、ログＤＢ６５に戦略ファイルが記録されていることを意味する。戦略ファイルは、電子カルテシステム１９に記録されてもよい。

ユーザが戦略マーク５２５をタップ操作した場合、タッチパネル３５または表示装置１２に戦略ファイルが表示される。ユーザは、医師の判断およびその根拠を確認して、次の作業に向けた準備を行なえる。

具体例を挙げて説明する。図１５は、医師が「ステント留置」を行なう旨の治療戦略を立案した場合の戦略ファイルの例を示す。カテーテル制御装置１３は、断層像に基づいて「解離」を検出するとともに、「解離」を検出した根拠をＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）により出力する。画像からの病変を自動的に検出する機能については、実施の形態３で説明する。

医師は、カテーテル制御装置１３が生成した画像等に基づいて「ステント留置」を行なう旨の治療戦略を決定し、戦略ファイルに記録する。治療戦略と、医師が参照した画像とが戦略ファイルにまとめられている。

なお、カテーテル制御装置１３は病変を検出する機能を有さなくてもよい。医師は断層像に基づいて「解離」があることを判断するとともに、「ステント留置」を行なう方針を決定する。医師の指示に基づいて、スタッフが判断の根拠である部位にマーキングを行なう。

図１６は、医師が留置するステントの寸法を決定した場合の戦略ファイルの例を示す。医師の指示に基づき、スタッフが断層像から狭窄部の長さおよび血管径を測定する。医師は、測定結果に基づいて使用するステントを選択し、戦略ファイルに記録する。

図１７は、カテーテル治療が終了した後、カテーテル治療を担当した医師がログＤＢ６５に補足情報を記録する際に使用する画面の例を示す。医師は、端末装置３０またはパソコンの画面等に図１７に示す画面を表示する。患者情報欄５１および時系列情報欄５２が表示されている。図１７は、時系列情報欄５２に患者状態マーク５２３は表示されない例を示す。時系列情報欄５２に、患者状態マーク５２３が表示されてもよい。

情報処理システム１０にログオン中のユーザの名前が、画面下部のユーザ名欄５２９に表示されている。画面の上部に、修正ボタン５７１、承認ボタン５７２および出力ボタン５７３が表示されている。

医師は、カテーテル治療中には記録できなかった補足情報を、追加コメント欄５２８に記録する。医師は、キーボード操作または音声入力により、任意のコメントを追加コメント欄５２８に記入できる。追加コメント欄５２８は、たとえばプルダウンメニュー等により典型的なコメント文の選択を受け付けてもよい。

入力終了後、医師は修正ボタン５７１を選択する。追加コメント欄５２８に入力されたコメントが、ログＤＢ６５に反映される。医師が出力ボタン５７３を選択した場合、図１７に示す画面が印刷される。所定の承認者がログオンして承認ボタン５７２を選択した場合、ログＤＢ６５に記録されたデータが電子カルテシステム１９に記録される。

図１８は、カテーテル治療が終了した後、看護師がログＤＢ６５に補足情報を記録する際に使用する画面の例を示す。図１７の承認ボタン５７２の代わりに、確認ボタン５７６が表示されている。時系列情報欄５２に、患者状態マーク５２３が表示されている。

看護師は、キーボード操作または音声入力により、任意のコメントを追加コメント欄５２８に記入できる。入力終了後、看護師は修正ボタン５７１を選択する。追加コメント欄５２８に入力されたコメントが、補助記憶装置２３に仮に記録される。カテーテル治療を担当した医師が確認ボタン５７６を選択した場合、追加コメント欄５２８に入力されたコメントがログＤＢ６５に反映される。

臨床検査技師、臨床工学技士等も、それぞれの担当業務に基づいて追加コメントを入力する。以上により、各職種のスタッフによる記録を、ログＤＢ６５に集約できる。それぞれの職種のスタッフが、同じ情報を重複して入力する必要がないため、スタッフの負荷を低減可能な情報処理システム１０を提供できる。

ログＤＢ６５に記録された情報を、各職種のスタッフが確認して追加情報を記録するため、多角的な視点に基づいてカテーテル治療ログを記録可能な情報処理システム１０を提供できる。

図１９および図２０は、カテーテル治療ログに基づいて、カテーテル治療に関するワークフロー分析を行なう画面の例を示す。図１９に示す画面は端末装置３０またはＨＩＳに接続されたパソコン等に表示される。図１９および図２０に示す画面には、分析結果欄５７８およびコメント入力ボタン５７５が表示されている。

図１９の分析結果欄５７８は、時系列図５８および凡例欄５８９を含む。時系列図５８は、左から右に時間の経過を示し、それぞれの時刻に行なった作業をハッチングで示す図である。なお、図示の都合上、一部のハッチングの種類が重複している。それぞれのハッチングで示される工程は、凡例欄５８９に文字で表示されている。

時系列図５８の下側に、画像診断装置１４に記録された放射線照射ログに基づいて、Ｘ線を照射した時間が表示されている。なお、ログデータに基づいて時系列図５８を作成する方法は公知であるため、説明を省略する。

図１９の画面により、ユーザはどの作業にどの程度の時間を要したのかを確認できる。ユーザは、コメント入力ボタン５７５を選択することにより、コメントを入力できる。入力済のコメントが、たとえば画面の下部に表示されてもよい。

図２０の分析結果欄５７８は、第１時系列図５８１および第２時系列図５８２を含む。第１時系列図５８１は、実際の症例の時系列を示す。第２時系列図５８２は、同様の治療手技に関する標準手技時間の時系列を示す。標準手技時間は、たとえば過去の症例に基づいて統計的に作成されている。

図２０の画面により、ユーザは標準手技時間と、実際の手技に要した時間とを対比できる。ユーザは、たとえば標準手技時間よりも長時間を要した作業について考察したコメントを入力できる。

ワークフロー分析結果は、表形式、グラフ形式等、任意の形式で表示されてもよい。ログＤＢ６５に記録されたカテーテル治療ログを用いてワークフロー分析を行なうことにより、たとえば手技時間を短縮する方法を検討できる。手技時間を短縮することにより、患者の身体に対する負担を低減する情報処理システム１０を提供できる。

図２１から図２６は、プログラムの処理の流れを説明するフローチャートである。図２１は、待機デバイスＤＢ６６に器材を記録するプログラムを示す。

前述のとおり、カテーテル治療に使用する器材がカテーテル室に搬入される。スタッフがバーコードリーダ１５を操作して、それぞれの器材の梱包材に取り付けられたバーコードを読み取る。バーコードリーダ１５は、読み取ったバーコード情報を情報処理装置２０に送信する。その後、図２１に示すプログラムが実行される。

情報処理装置２０の制御部２１は、バーコードリーダ１５から送信されたバーコード情報を受信する（ステップＳ５０１）。制御部２１は、バーコード情報に基づいて器材の品種および種類に関する器材情報を取得する（ステップＳ５０２）。器材情報は、たとえばバーコード情報に含まれている。器材情報は、バーコード情報に示されるＵＲＬにアクセスすることにより取得されてもよい。

制御部２１は、待機デバイスＤＢ６６に新規レコードを作成する。制御部２１は、品種フィールドおよび種類フィールドにステップＳ５０２で取得した品種および種類を記録する。制御部２１は、使用回数フィールドに初期値である０を記録する。以上により、搬入された器材が待機デバイスＤＢ６６に記録される（ステップＳ５０３）。制御部２１は処理を終了する。

なお、待機デバイスＤＢ６６にバーコードから読み取られたシリアル番号およびバーコードが読み取られた時刻等が記録されてもよい。

図２２は、カテーテル制御装置１３または画像診断装置１４により医用画像が撮影された場合に起動するプログラムを示す。

ユーザが医用画像を撮影する操作を行なった場合、カテーテル制御装置１３または画像診断装置１４は撮影された画像データ、または、画像データの保存先を示すリンク情報を情報処理装置２０に送信する。その後、図２２に示すプログラムが実行される。

情報処理装置２０の制御部２１は、撮影された画像データを取得する（ステップＳ５１１）。制御部２１は、ステップＳ５１１で取得した画像を縮小して、サムネイル画像を作成する（ステップＳ５１２）。制御部２１は、カテーテル制御装置１３または画像診断装置１４で作成されたサムネイル画像を取得してもよい。

制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５１１で取得した画像およびステップＳ５１２で作成したサムネイル画像のファイルを記録する（ステップＳ５１３）。

画像を撮影する前後に、患者状態の入力が行なわれた場合、制御部２１は患者状態フィールドに患者状態を記録する。同様に、バイタルの確認が行なわれた場合、制御部２１はバイタルフィールドにバイタルを記録する。撮影された画像に基づいて治療戦略が立案された場合、制御部２１は治療戦略を記録したファイルを戦略フィールドに記録する。その後、制御部２１は処理を終了する。

図２３は、タッチパネル３５に表示されたサムネイル画像５２２のタップを受け付けた場合に起動するプログラムを示す。端末装置３０の制御部３１は、サムネイル画像５２２のタップを受け付けた場合に元画像を表示装置１２に表示するように設定されている端末装置３０であるか否かを判定する（ステップＳ６２１）。

設定されていると判定した場合（ステップＳ６２１でＹＥＳ）、端末装置３０の制御部３１はタップされたサムネイル画像５２２に関する情報を情報処理装置２０に送信する（ステップＳ６２２）。サムネイル画像５２２に関する情報は、たとえばサムネイル画像が撮影された時刻である。制御部３１は処理を終了する。

情報処理装置２０の制御部２１は、タップされたサムネイル画像に関する情報を受信する（ステップＳ５２１）。制御部２１はログＤＢ６５を検索して、元画像を取得する（ステップＳ５２２）。制御部２１は、所定の表示装置１２に元画像を送信する（ステップＳ５２３）。以上により、表示装置１２に元画像が表示される。

元画像を表示装置１２に表示するように設定されていないと判定した場合（ステップＳ６２１でＮＯ）、端末装置３０の制御部３１はタップされたサムネイル画像５２２に関する情報を情報処理装置２０に送信する（ステップＳ６２３）。

情報処理装置２０の制御部２１は、タップされたサムネイル画像に関する情報を受信する（ステップＳ５２４）。制御部２１はログＤＢ６５を検索して、元画像を取得する（ステップＳ５２５）。制御部２１は、サムネイル画像５２２に関する情報を送信した端末装置３０に元画像を送信する（ステップＳ５２６）。

端末装置３０の制御部３１は元画像を受信する（ステップＳ６２４）。制御部３１は、タッチパネル３５に元画像を表示する（ステップＳ６２５）。制御部３１は処理を終了する。

図２４は、ユーザによりデバイスボタン５３が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、デバイスボタン５３が選択されたことを示す情報を情報処理装置２０に送信する（ステップＳ６３１）。情報処理装置２０の制御部２１は情報を受信する（ステップＳ５３１）。制御部２１は、待機デバイスＤＢ６６を端末装置３０に送信する（ステップＳ５３２）。

端末装置３０の制御部３１は、待機デバイスＤＢ６６を受信する（ステップＳ６３２）。制御部３１は、図１０を使用して説明したように器材リスト欄５３９を表示する（ステップＳ６３３）。制御部３１は、デバイスアイコン５３１のドラッグアンドドロップ操作等の選択操作を受け付ける（ステップＳ６３４）。制御部３１は、選択操作を受け付けた器材に関する情報を情報処理装置２０に送信する（ステップＳ６３５）。

情報処理装置２０の制御部２１は、選択操作を受け付けた器材に関する情報を受信する（ステップＳ５３３）。制御部２１は、待機デバイスＤＢ６６を更新する（ステップＳ５３４）。具体的には、制御部２１はステップＳ５３３で受信した器材に関するレコードを待機デバイスＤＢ６６から抽出する。制御部２１は使用回数フィールドに１を加算する。

制御部２１は、ログＤＢ６５に新規レコードを作成する（ステップＳ５３５）。制御部２１は、時刻フィールドに選択操作を受け付けた時刻を、アクションフィールドに選択操作を受け付けた器材に関する情報をそれぞれ記録する。

制御部２１は、選択を受け付けた器材が画像診断用カテーテル１３２であるか否かを判定する（ステップＳ５３６）。画像診断用カテーテル１３２ではないと判定した場合（ステップＳ５３６でＮＯ）、制御部２１は次の入力を待つ待機状態になる。画像診断用カテーテル１３２であると判定した場合（ステップＳ５３６でＹＥＳ）、制御部２１はカテーテル制御装置１３が画像を記録したか否かを判定する（ステップＳ５３７）。

画像を記録していないと判定した場合（ステップＳ５３７でＮＯ）、制御部２１は次の入力を待つ待機状態になる。画像を記録したと判定した場合（ステップＳ５３７でＹＥＳ）、制御部２１は画像記録のサブルーチンを起動する（ステップＳ５３８）。画像記録のサブルーチンは、図２２を使用して説明したプログラムと同様の処理を行なうプログラムである。相違点は、ステップＳ５１３において新規レコードを作成せずに、ステップＳ５３５で作成したレコードのファイルフィールドにファイルを記録する点である。

端末装置３０の制御部３１は、器材リスト欄５３９の表示を終了するか否かを判定する（ステップＳ６３６）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１は器材リスト欄５３９の表示を終了すると判定する。

終了しないと判定した場合（ステップＳ６３６でＮＯ）、制御部３１はステップＳ６３４に戻る。終了すると判定した場合（ステップＳ６３６でＹＥＳ）、制御部３１は器材リスト欄５３９を非表示の状態にする（ステップＳ６３７）。制御部３１は処理を終了する。

図２５は、ユーザにより投薬ボタン５４が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、図１１を使用して説明したように薬剤リスト欄５４９を表示する（ステップＳ６４１）。制御部３１は、薬剤ボタン５４１の選択を受け付ける（ステップＳ６４２）。制御部３１は、選択を受け付けた薬剤の種類および投与量を情報処理装置２０に送信する（ステップＳ６４３）。

情報処理装置２０の制御部２１は、選択を受け付けた薬剤の種類および投与量を受信する（ステップＳ５４１）。制御部２１は、薬剤累積量ＤＢ６７を更新する（ステップＳ５４２）。具体的には、制御部２１はステップＳ５４１で受信した薬剤に関するレコードを薬剤累積量ＤＢ６７から抽出する。制御部３１は投与量フィールドにステップＳ５４１で受信した投与量を加算する。

制御部２１は、ログＤＢ６５に新規レコードを作成する（ステップＳ５４３）。制御部２１は、時刻フィールドに選択操作を受け付けた時刻を、アクションフィールドに選択操作を受け付けた薬剤に関する情報をそれぞれ記録する。

端末装置３０の制御部３１は、薬剤リスト欄５４９の表示を終了するか否かを判定する（ステップＳ６４４）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１は薬剤リスト欄５４９の表示を終了すると判定する。

終了しないと判定した場合（ステップＳ６４４でＮＯ）、制御部３１はステップＳ６４２に戻る。終了すると判定した場合（ステップＳ６４４でＹＥＳ）、制御部３１は薬剤リスト欄５４９を非表示の状態にする（ステップＳ６４５）。制御部３１は処理を終了する。

図２６は、ユーザによりバイタルボタン５５が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、ベッドサイドモニタ１６にバイタルデータの送信開始指示時を送信する（ステップＳ６５１）。

ベッドサイドモニタ１６は送信開始指示を受信する（ステップＳ７５１）。ベッドサイドモニタ１６は、端末装置３０へのバイタルデータの送信を開始する（ステップＳ７５２）。バイタルデータは、たとえばベッドサイドモニタ１６が表示する画面を示す画像データである。バイタルデータは、ベッドサイドモニタ１６が表示するそれぞれの項目の値を示す数値データであってもよい。ステップＳ７５２以降、ベッドサイドモニタ１６はバイタルデータを端末装置３０に逐次送信する。

端末装置３０の制御部３１はバイタルデータを受信する（ステップＳ６５２）。制御部３１は、図１２を使用して説明したようにバイタルグラフ欄５５１を表示する（ステップＳ６５３）。制御部３１は、バイタルグラフ欄５５１のタップ操作等を受け付けたか否かを判定する（ステップＳ６５４）。

受け付けたと判定した場合（ステップＳ６５４でＹＥＳ）、制御部３１はタップ操作を受け付けた際にタッチパネル３５に表示されていたバイタルを情報処理装置２０に送信する（ステップＳ６５５）。制御部２１は、バイタルを受信する（ステップＳ５５１）。

情報処理装置２０の制御部２１は、受信したバイタルをログＤＢ６５に記録する（ステップＳ５５２）。たとえば、薬剤投与等のアクションの前後にバイタルの確認が行なわれた場合には、制御部２１は当該アクションを記録したレコードのバイタルフィールドにバイタルを記録する。他のアクションが行なわれていない場合には、制御部２１はログＤＢ６５に新規レコードを作成してバイタルを記録する。

操作を受け付けていないと判定した場合（ステップＳ６５４でＮＯ）、またはステップＳ６５５の終了後、端末装置３０の制御部３１はバイタルグラフ欄５５１の表示を終了するか否かを判定する（ステップＳ６５６）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１はバイタルグラフ欄５５１の表示を終了すると判定する。

終了しないと判定した場合（ステップＳ６５６でＮＯ）、制御部３１はステップＳ６５２に戻る。終了すると判定した場合（ステップＳ６５６でＹＥＳ）、制御部３１はバイタルの送信終了指示をベッドサイドモニタ１６に送信する（ステップＳ６５７）。制御部２１は、バイタルグラフ欄５５１を非表示の状態にする（ステップＳ６５８）。制御部２１は処理を終了する。

ベッドサイドモニタ１６は送信終了指示を受信する（ステップＳ７５３）。ベッドサイドモニタ１６は、端末装置３０へのバイタルデータの送信を終了する（ステップＳ７５４）。

端末装置３０の制御部３１は、タッチパネル３５の代わりに、端末装置３０に内蔵されたマイク、またはマイク１７を介して音声入力による操作を受け付けてもよい。清潔操作中の医師および看護師が、端末装置３０に触れずに、自分で端末装置３０を操作できる。

本実施の形態によると、治療に参加しているスタッフ同士の情報共有を支援する情報処理方法等を提供できる。本実施の形態によると、カテーテル治療ログを記録し、リアルタイムで共有できる情報処理システム１０を提供できる。

本実施の形態によると、器材の使用および薬剤の投与をカテーテル治療ログに容易に記録できる情報処理システム１０を提供できる。本実施の形態によると、患者状態を容易に記録できる情報処理システム１０を提供できる。本実施の形態によると、医師等がバイタルに注目したことを容易に記録できる情報処理システム１０を提供できる。

本実施の形態によると、図１０を使用して説明した画面により、使用準備が整っている器材と、使用済の回数とを確認できる情報処理システム１０を提供できる。

本実施の形態によると、カテーテル制御装置１３および画像診断装置１４等を使用して得た新たな情報に基づいて医師が判断した治療戦略を、カテーテル治療ログに記録する情報処理システム１０を提供できる。

本実施の形態によると、カテーテル治療に参加しているスタッフおよび見学者等が、医師が立案した治療戦略および撮影済の画像等をリアルタイムで閲覧できる情報処理システム１０を提供できる。

本実施の形態によると、カテーテル治療の終了後に、それぞれの職種のスタッフがカテーテル治療ログにコメント等を追記できる情報処理システム１０を提供できる。本実施の形態によると、ワークフロー解析に活用できるカテーテル治療ログを自動的に記録する情報処理システム１０を提供できる。

［実施の形態２］
本実施の形態は、元画像に基づいて生成したオブジェクト配置像のサムネイル画像５２２を表示する情報処理システム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図２７は、実施の形態２の端末装置３０が表示する画面の例である。図２７に示す画面は、図７を使用して説明した画面の代わりに表示される画面である。１０時３０分にＩＶＵＳにより撮影された画像のサムネイル画像５２２と、戦略マーク５２５との間に、オブジェクト配置像のサムネイル画像５２２が表示されている。

図２８は、第１モデル６１の構成を説明する説明図である。第１モデル６１は、元画像を受け付けて元画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像を出力するモデルである。第１モデル６１は、機械学習により生成されている。オブジェクト配置像は、元画像を変換した変換画像の例示である。オブジェクト配置像のサムネイルは、変換画像を縮小した縮小変換画像の例示である。

図２８に示すオブジェクト配置像において、縦線のハッチングは、「画像診断用カテーテル１３２の断面」を、右下がりのハッチングは「管腔器官の内部」を、太い左下がりのハッチングは「心外膜」をそれぞれ示す。

図２８中のハッチングは、それぞれのオブジェクトを異なる色で塗り分けていることを模式的に示す。オブジェクトの塗り分けは、それぞれのオブジェクトを区別して表示する方法の一例である。それぞれのオブジェクトの外縁を囲む等の任意の態様により、他のオブジェクトと識別可能に表示してもよい。

図２８においてはオブジェクト配置像のうち上記に列挙したオブジェクト以外の部分には、横断層像を表示している。制御部２１は、オブジェクト配置像の全面をたとえば「管腔器官壁」、「プラーク」、「石灰化」、「ガイドワイヤ」等、なんらかのオブジェクトに分類して、塗り分けて表示してもよい。

第１モデル６１は、たとえばセマンテックセグメンテーションモデルであり、入力層と、ニューラルネットワークと、出力層とを備える。ニューラルネットワークは、セマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造を有する。Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。セマンテックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対して、オブジェクトの種類を示すラベルが付与される。

第１モデル６１は、元画像を撮影する装置ごとに生成されている。第１モデル６１は、さらに撮影する部位ごとに生成されていてもよい。第１モデル６１は補助記憶装置２３に記録されている。第１モデル６１は情報処理システム１０に接続された大容量装置等に記録されていてもよい。

オブジェクト配置像は、カテーテル制御装置１３または画像診断装置１４で生成されて、元画像と共に出力されてもよい。

図２７に戻って説明を続ける。ユーザがオブジェクト配置像のサムネイル画像をタップ操作した場合、元のサイズのオブジェクト配置像が表示装置１２またはタッチパネル３５に表示される。

図２９は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。図２９のプログラムは、カテーテル制御装置１３または画像診断装置１４により画像が撮影された場合に、図２２を使用して説明したプログラムの代わりに実行される。

ユーザが画像を撮影する操作を行なった場合、カテーテル制御装置１３および画像診断装置１４は撮影された画像データ、または、画像データの保存先を示すリンク情報を情報処理装置２０に送信する。その後、図２９に示すプログラムが実行される。

制御部２１は、撮影された画像データを取得する（ステップＳ５６１）。制御部２１は、ステップＳ５６１で取得した画像を縮小して、サムネイル画像を作成する（ステップＳ５６２）。カテーテル制御装置１３または画像診断装置１４がオブジェクト配置像を生成した場合には、ステップＳ５６２においてオブジェクト配置像のサムネイル画像も作成される。制御部２１は、カテーテル制御装置１３または画像診断装置１４で作成されたサムネイル画像を取得してもよい。

制御部２１は、オブジェクト配置像への変換を行なうか否かを判定する（ステップＳ５６３）。具体的には、ステップＳ５６１で受信した画像データの変換に対応する第１モデル６１が存在する場合に、制御部２１は変換を行なうと判定する。

変換を行なわないと判定した場合（ステップＳ５６３でＮＯ）、制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５６１で取得した画像およびステップＳ５６２で作成したサムネイル画像のファイルを記録する（ステップＳ５６４）。制御部２１は処理を終了する。

変換を行なうと判定した場合（ステップＳ５６３でＹＥＳ）、制御部２１はステップＳ５６１で受信した画像データに対応する第１モデル６１を選択する（ステップＳ５６５）。制御部２１は、ステップＳ５６１で取得した画像データをステップＳ５６５で選択した第１モデル６１に入力して、出力されるオブジェクト配置像を取得する（ステップＳ５６６）。制御部２１は、取得したオブジェクト配置像を縮小して、サムネイル画像を作成する（ステップＳ５６７）。

制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５６１で取得した画像、ステップＳ５６２で作成したサムネイル画像、ステップＳ５６６で取得したオブジェクト配置像およびステップＳ５６７で作成したサムネイル画像のファイルを記録する（ステップＳ５６８）。制御部２１は処理を終了する。

第１モデル６１は、元画像をオブジェクト配置像に変換するモデルに限定しない。たとえば、元画像をエッジ強調またはコントラスト変換等の任意の処理を行なった画像に変換するモデルであってもよい。

本実施の形態によると、オブジェクト配置像を表示する情報処理システム１０を提供できる。ユーザは、オブジェクト配置像を参照することにより、カテーテル制御装置１３または画像診断装置１４により撮影された画像を容易に読影できる。

［実施の形態３］
本実施の形態は、病変の検出および治療戦略の作成を自動的に行なう情報処理システム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図３０は、第２モデル６２の構成を説明する説明図である。第２モデル６２は、医用画像の入力を受け付けて、病変の種類を出力するモデルである。第２モデル６２は、複数の医用画像の入力を受け付けて、病変の種類を出力するモデルであってもよい。複数の医用画像は、たとえば同一の装置を用いて異なるタイミングまたは異なる撮影条件で撮影された画像である。複数の医用画像は、異なる装置を用いて撮影した画像であってもよい。

第２モデル６２は、医用画像を撮影した装置、および、医用画像が撮影された部位ごとに生成されて、補助記憶装置２３または外部の大容量記憶装置に記録されている。第２モデル６２は、たとえばＣＮＮ（Convolutional Neural Networks）またはＹＯＬＯ（You only look once）等の、画像分類アルゴリズムを用いて生成された学習モデルである。

図３１は、第３モデル６３の構成を説明する説明図である。第３モデル６３は、カテーテル制御装置１３または画像診断装置１４により撮影された医用画像を受け付けて、治療戦略を出力するモデルである。

第３モデル６３が出力する治療戦略は、たとえば図１５を使用して説明した「ステント留置」のような、治療手技の種類である。第３モデル６３が出力する治療戦略は、図１６を使用して説明したステントの寸法のような、治療手技に用いる器材の仕様であってもよい。

第３モデル６３は、医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変、および、医用画像を撮影した時期ごとに生成されて、補助記憶装置２３または外部の大容量記憶装置に記録されている。医用画像を撮影した時期は、たとえばカテーテル治療の開始直後、バルーン拡張後、ステント留置後等の、一連のカテーテル治療中の時期を示す。第３モデル６３は、たとえばＣＮＮまたはＹＯＬＯのアルゴリズムを用いて生成されたモデルである。

第３モデル６３は、医用画像に加えて患者情報、病変部位または医用画像を撮影するまでの間に記録されたカテーテル治療ログの入力を受け付けて、治療戦略を出力するモデルであってもよい。

図３２は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図３２のプログラムは、医師が治療戦略の立案を指示した場合に実行される。なお、治療戦略の立案を指示する際に、医師は使用する医用画像を指定する。

情報処理装置２０の制御部２１は、医師により指定された医用画像を撮影した装置、および、医用画像が撮影された部位に基づいて、使用する第２モデル６２を選択する（ステップＳ５７１）。制御部２１は、医師により指定された医用画像をステップＳ５７１で選択した第２モデル６２に入力して、病変の種類を取得する（ステップＳ５７２）。制御部２１は、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）のアルゴリズムにより、ステップＳ５７２で取得した病変の種類に関する根拠領域を取得する（ステップＳ５７３）。

たとえば図１５を使用して説明した治療戦略では、左側の横断層像の下に「解離あり」が、ステップＳ５７２で取得した病変の種類であり、右側の横断層像に表示されたヒートマップがステップＳ５７２で取得した根拠領域である。

制御部２１は、医師により指定された医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変および医用画像が撮影された時期に基づいて、使用する第３モデル６３を選択する（ステップＳ５７４）。制御部２１は、医師により指定された医用画像をステップＳ５７４で選択した第３モデルに入力して、治療戦略を取得する（ステップＳ５７５）。たとえば図１５を使用して説明した治療戦略では、下部に表示された「ステント留置」が、ステップＳ５７５で取得した治療戦略である。

制御部２１は取得した治療戦略をログＤＢ６５に記録する（ステップＳ５７６）。制御部２１は、処理を終了する。

本実施の形態によると、病変の種類を判定し、治療戦略を立案する情報処理システム１０を提供できる。

第２モデル６２は、Ｒ－ＣＮＮ（Regions withまたはＭａｓｋ Ｒ－ＣＮＮ等の物体の種類と位置との双方を検出可能なアルゴリズムを用いて生成されたモデルであってもよい。Ｇｒａｄ ＣＡＭを用いずに、第２モデル６２の出力に基づいて病変の位置を表示する情報処理システム１０を提供できる。

第２モデル６２を使用する代わりに、制御部２１はユーザにより入力された病変の種類を受け付けてもよい。第３モデル６３を使用する代わりに、制御部２１はユーザにより入力された治療戦略を受け付けてもよい。

［実施の形態４］
本実施の形態は、図２８を使用して説明した第１モデルを生成する方法に関する。実施の形態２と共通する部分については、説明を省略する。

図３３は、実施の形態４の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。

入力データフィールドには、医用画像が記録されている。出力データフィールドには、医用画像を医師等の専門家がそれぞれのオブジェクトごとに異なる色で塗分けた塗分け画像が記録されている。すなわち、出力データフィールドには、医用画像を構成するそれぞれの画素が対応するオブジェクトが記録されている。訓練ＤＢには、医用画像と、専門家等が塗分けた塗分け画像との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影する装置と、撮影する部位との組み合わせごとに用意されている。

図３４は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて第１モデル６１の機械学習を行なう場合を例にして説明する。

図３４のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した第１モデル６１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた第１モデル６１を、複数の情報処理装置２０で使用できる。

図３４のプログラムの実行に先立ち、たとえばセマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。前述のとおり、Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。図３４のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。

情報処理装置２０の制御部２１は、訓練ＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ８１１）。制御部２１は、モデルの入力層に入力データが入力された場合に、出力層層から出力データが出力されるように、モデルのパラメータを調整する（ステップＳ８１２）。

制御部２１は、処理を終了するか否かを判定する（ステップＳ８１３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練ＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

処理を終了しないと判定した場合（ステップＳ８１３でＮＯ）、制御部２１はステップＳ８１１に戻る。処理を終了すると判定した場合（ステップＳ８１３でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ８１４）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。

本実施の形態によると、機械学習により第１モデル６１を生成できる。

［実施の形態５］
本実施の形態は、図３０を使用して説明した第２モデル６２を生成する方法に関する。実施の形態３と共通する部分については、説明を省略する。

図３５は、実施の形態５の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。

入力データフィールドには、医用画像が記録されている。出力データフィールドには、医用画像を医師等の専門家が読影して判定した病変が記録されている。訓練ＤＢには、医用画像と、専門家等が判定した病変との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影する装置と、撮影する部位との組み合わせごとに用意されている。

本実施の形態の第２モデル６２の生成方法の概要を説明する。第２モデル６２の生成に先立ち、たとえば畳込み層とプーリング層との繰り返しと、全結合層と、ソフトマックス層とを備えるＣＮＮ構造を有する未学習のモデルが準備されている。用意されているモデルの構造が異なる他は、図３４のフローチャートを使用して説明した処理と同様の処理の流れにより、学習済の第２モデル６２が生成される。

本実施の形態によると、機械学習により第２モデル６２を生成できる。

［実施の形態６］
本実施の形態は、図３１を使用して説明した第３モデル６３を生成する方法に関する。実施の形態５と共通する部分については、説明を省略する。

図３６は、実施の形態６の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。入力データフィールドには、医用画像が記録されている。出力データフィールドには、カテーテル治療の経験を十分に積んだ専門家が判定した、治療方法、または、使用する器材の仕様等の治療戦略が記録されている。訓練ＤＢには、医用画像と、治療戦略との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変および医用画像が撮影された時期の組み合わせごとに用意されている。

本実施の形態の第３モデル６３の生成方法の概要を説明する。第３モデル６３の生成に先立ち、たとえば畳込み層とプーリング層との繰り返しと、全結合層と、ソフトマックス層とを備えるＣＮＮ構造を有する未学習のモデルが準備されている。用意されているモデルの構造が異なる他は、図３４のフローチャートを使用して説明した処理と同様の処理の流れにより、学習済の第３モデル６３が生成される。

本実施の形態によると、機械学習により第３モデル６３を生成できる。

［実施の形態７］
図３７は、実施の形態７の情報処理システム１０の機能ブロック図である。情報処理システム１０は、患者情報取得部８１、アクション取得部８２および表示部８３を備える。

患者情報取得部８１は、カテーテル治療を受ける患者に関する患者情報を取得する。アクション取得部８２は、患者に対するカテーテル治療に関連するアクションと、アクションが行なわれた時刻とを関連づけて逐次取得する。表示部８３は、患者情報取得部８１が取得した患者情報と、アクション取得部８２が取得したアクションを時系列に配列した時系列情報とを第１表示装置に表示させる。

［実施の形態８］
図３８は、実施の形態８の情報処理装置２０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。

コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。

プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

プログラム９７のうち、コンピュータ９０で実行される部分は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。プログラム９７のうち端末装置３０で実行される部分は、ネットワークを介して送信されて端末装置３０の制御プログラムとしてインストールされる。これにより、端末装置３０は情報処理装置２０と協働して上述した機能を果たす。

コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 情報処理システム
１１ カメラ
１２ 表示装置
１３ カテーテル制御装置
１３１ ＭＤＵ
１３２ 画像診断用カテーテル
１４ 画像診断装置
１５ バーコードリーダ
１６ ベッドサイドモニタ
１７ マイク
１８ 検査台
１９ 電子カルテシステム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２９ 読取部
３０ 端末装置
３１ 制御部
３２ 主記憶装置
３３ 補助記憶装置
３４ 通信部
３５ タッチパネル
３５１ 表示部
３５２ 入力部
５１ 患者情報欄
５２ 時系列情報欄
５２２ サムネイル画像
５２３ 患者状態マーク
５２４ バイタル確認マーク
５２５ 戦略マーク
５２６ 入力欄
５２７ サムネイル欄
５２８ 追加コメント欄
５２９ ユーザ名欄
５３ デバイスボタン
５３１ デバイスアイコン
５３２ 使用回数欄
５３９ 器材リスト欄
５４ 投薬ボタン
５４１ 薬剤ボタン
５４９ 薬剤リスト欄
５５ バイタルボタン
５５１ バイタルグラフ欄
５５２ バイタル数値欄
５６ 患者状態入力欄
５７１ 修正ボタン
５７２ 承認ボタン
５７３ 出力ボタン
５７５ コメント入力ボタン
５７６ 確認ボタン
５７８ 分析結果欄
５８ 時系列図
５８１ 第１時系列図
５８２ 第２時系列図
５８９ 凡例欄
６１ 第１モデル
６２ 第２モデル
６３ 第３モデル
６５ ログＤＢ
６６ 待機デバイスＤＢ
６７ 薬剤累積量ＤＢ
８１ 患者情報取得部
８２ アクション取得部
８３ 表示部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

Claims (19)

1. カテーテル治療を受ける患者に関する患者情報を取得し、
   前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、
   取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、
   前記アクションが画像を取得するアクションである場合、
   画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
   前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる
   処理をコンピュータに実行させる情報処理方法。
2. 前記縮小画像の選択を受け付けた場合、前記縮小画像に対応する前記画像を第２表示装置に表示させる
   請求項１に記載の情報処理方法。
3. 器材リストを表示し、
   前記アクションは、表示した器材リストから器材の選択を受け付けるアクションであり、
   選択を受け付けた器材と選択を受け付けた時刻とを前記第１表示装置に表示させる
   請求項１または請求項２に記載の情報処理方法。
4. 前記器材リストは、それぞれの器材を示すアイコンの配列により表示される
   請求項３に記載の情報処理方法。
5. 器材と使用回数とを関連づけて記録したデータベースから、前記器材リストに含まれるそれぞれの器材の使用回数を取得し、
   前記器材リストに、それぞれの器材を使用した回数を表示する
   請求項３または請求項４に記載の情報処理方法。
6. 薬剤リストを表示し、
   前記アクションは、表示した薬剤リストから薬剤の選択を受け付けるアクションであり、
   選択を受け付けた薬剤と選択を受け付けた時刻とを前記第１表示装置に表示させる
   請求項１から請求項５のいずれか一つに記載の情報処理方法。
7. 前記アクションが、ステント拡張を行なうアクションである場合、ステント拡張を行なった時刻と関連づけて、ステント拡張圧力、拡張時間および拡張場所を表示する
   請求項１から請求項６のいずれか一つに記載の情報処理方法。
8. 前記アクションが、バルーン拡張を行なうアクションである場合、バルーン拡張を行なった時刻と関連づけて、バルーン拡張圧力、拡張時間および拡張場所を表示する
   請求項１から請求項７のいずれか一つに記載の情報処理方法。
9. 前記患者のバイタル情報を取得し、
   取得した前記バイタル情報を前記第１表示装置に表示させる
   請求項１から請求項８のいずれか一つに記載の情報処理方法。
10. 前記アクションと、前記時刻とを関連づけた時系列情報を記録する
    請求項１から請求項９のいずれか一つに記載の情報処理方法。
11. 前記時系列情報を表示し、
    前記時系列情報に対する追記または修正を受け付け、
    受け付けた追記または修正を反映させた前記時系列情報を記録する
    請求項１０に記載の情報処理方法。
12. 前記時系列情報に基づいて、時間の経過と、それぞれの時刻に行なった作業とを示す時系列図を出力する
    請求項１０または請求項１１に記載の情報処理方法。
13. 画像を入力した場合に治療戦略を出力する第２モデルに取得した前記画像を入力して前記第２モデルから出力された治療戦略を表示する
    請求項１から請求項４のいずれか一つに記載の情報処理方法。
14. 前記時系列情報に、前記治療戦略が出力された時刻と関連づけて前記治療戦略を表示させるアイコンを表示させる
    請求項１３に記載の情報処理方法。
15. 前記変換画像は、前記画像に含まれるオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像である
    請求項１に記載の情報処理方法。
16. 前記オブジェクトは、管腔器官壁、プラーク、石灰化およびガイドワイヤの少なくとも一つを含む
    請求項１５に記載の情報処理方法。
17. カテーテル治療を受ける患者に関する患者情報を取得し、
    前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、
    取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、
    前記アクションが画像を取得するアクションである場合、
    画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
    前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる
    処理をコンピュータに実行させるプログラム。
18. カテーテル治療を受ける患者に関する患者情報を取得する患者情報取得部と、
    前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得するアクション取得部と、
    前記患者情報取得部が取得した前記患者情報と、前記アクション取得部が取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させる表示部と、
    画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得する変換画像取得部とを備え、
    前記アクションが画像を取得するアクションである場合、前記表示部は、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを前記時系列情報に含める
    情報処理システム。
19. 情報処理装置と端末装置とを有する情報処理システムであって、
    前記情報処理装置は、
    カテーテル治療を受ける患者と、前記カテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけた時系列情報を記録し、
    前記アクションが画像を取得するアクションである場合、
    画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
    前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを含め、
    前記端末装置は、
    前記患者に関する患者情報を取得し、
    前記情報処理装置から前記患者に関連付けられた時系列情報を逐次取得し、
    取得した前記患者情報と、取得した前記時系列情報とを表示する
    情報処理システム。

Images