以下、図面を参照しながら、診断支援装置及び診断支援システムの実施形態について詳細に説明する。
図1は、実施形態に係る診断支援システムの構成例を示す概略図である。
図1は、実施形態に係る診断支援システム1を示す。診断支援システム1は、実施形態に係る診断支援装置10、画像提供装置11、及び第2のモダリティ装置12を備える。診断支援装置10、画像提供装置11、及び第2のモダリティ装置12は、LAN(Local Area Network)等のネットワークNを介して相互に通信可能である。
ここで、画像提供装置11は、第1の医用画像を生成するX線CT(Computed Tomography)装置又はMRI(Magnetic Resonance Imaging)装置等の第1のモダリティ装置であるか、又は、第1のモダリティ装置から第1の医用画像を取得して管理するPACS(Picture Archiving and Communication Systems)等の医用画像管理装置である。以下、画像提供装置11が第1のモダリティ装置、例えばX線CT装置であり、第1の医用画像としてCT画像を生成する場合について説明する。
また、第2のモダリティ装置12は、撮像に当たり撮像方向を定義でき、第2の医用画像を生成する装置である。以下、第2のモダリティ装置12が、例えばX線診断装置であり、第2の医用画像としてX線画像を生成する場合について説明する。X線診断装置は、単純X線装置、アンギオ装置(X線透視撮影装置)、マンモグラフィ装置、及びテレスコープ撮像装置等を含む。
診断支援装置10は、医用画像管理装置や、ワークステーションや、読影端末等であり、ネットワークNを介して接続されたシステム上に設けられる。なお、診断支援装置10は、オフラインの装置であってもよい。その場合、診断支援装置10は、可搬型の記録媒体を介してX線CT装置11から第1の医用画像、つまり、CT画像を取得すると共に、可搬型の記録媒体を介してX線診断装置12から第2の医用画像、つまり、X線画像を取得する。
ここで、診断支援装置10と、X線CT装置11及びX線診断装置12とにより、クライアントサーバシステムが構成されてもよい。具体的には、診断支援装置10が、データを提供するサーバ装置に含まれる一方、X線CT装置11がデータを利用する第1のクライアント装置に含まれ、X線診断装置12がデータを利用する第2のクライアント装置に含まれる。
診断支援装置10は、処理回路21、記憶回路22、入力インターフェース23、ディスプレイ24、及びネットワークインターフェース25、決定支援手段26、及び検出支援手段27を備える。なお、入力インターフェース23、ディスプレイ24、ネットワークインターフェース25、決定支援手段26、及び検出支援手段27は、診断支援装置10に必須の機能ではない。
処理回路21は、専用又は汎用のCPU(Central Processing Unit)又はMPU(Micro Processor Unit)の他、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、及び、プログラマブル論理デバイス等の処理回路を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:Simple Programmable Logic Device)、複合プログラマブル論理デバイス(CPLD:Complex Programmable Logic Device)、及び、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)等の回路が挙げられる。処理回路21は、記憶回路22に記憶された、又は、処理回路21内に直接組み込まれたプログラムを読み出し実行することで後述する機能を実現する。
また、処理回路21は、単一の回路によって構成されてもよいし、複数の独立した処理回路要素の組み合わせによって構成されてもよい。後者の場合、記憶回路22の複数の記憶回路要素が複数の処理回路要素の機能に対応するプログラムをそれぞれ記憶するものであってもよいし、記憶回路22の1個の記憶回路要素が複数の処理回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路21は、制御部の一例である。
処理回路21がプログラムを実行することによって、診断支援装置10は、第1の画像取得機能31、決定機能32、撮像条件提供機能33、第2の画像取得機能34、及び検出機能35を実現する。なお、機能31~35の全部又は一部は、診断支援装置10にASIC等の回路として実現されるものであってもよい。また、機能33~35は、診断支援装置10に必須の機能ではない。
第1の画像取得機能31は、ネットワークインターフェース25を介してX線CT装置11から、該当患者に係るCT画像を取得する機能である。CT画像としては、ボリュームデータ、特定断面のスライスデータ、又は、ボリュームデータから任意に切り出された1又は複数のスライスデータ等が挙げられる。
決定機能32は、第1の画像取得機能31により取得された第1の画像から、X線診断装置12により該当患者の第2の画像を生成するための該当患者の撮像方向を含む撮像条件を決定する機能である。なお、第2のモダリティ装置12が、X線診断装置である場合、撮像条件は、X線撮像条件を意味し、患者に対するX線の照射角度である撮像方向を少なくとも含むものとする。なお、X線撮像条件は、撮像方向の他、管電流、管電圧、撮像時間、及び距離(SID:Source to Image Distance)等のうち少なくとも1個を含む。
撮像条件提供機能33は、決定機能32により決定されたX線撮像条件を、ネットワークインターフェース25を介してX線診断装置12に提供する機能である。X線診断装置12は、撮像条件提供機能33により提供されたX線撮像条件に従って、該当患者に対するX線撮像を実行する。
第2の画像取得機能34は、決定機能32により決定されたX線撮像条件によってX線診断装置12のX線撮像による該当患者に係るX線画像を、ネットワークインターフェース25を介してX線診断装置12から取得する機能である。
検出機能35は、第1の画像取得機能31により取得された該当患者の第1の画像と、第2の画像取得機能34により取得された該当患者の第2の画像とに基づいて、該当患者の病変部の状態を検出する機能である。また、検出機能35は、検出された該当患者の病変部の状態をディスプレイ24に表示させることもできる。
なお、機能31~35の具体的な動作については、図4~図14を用いて後述する。
記憶回路22は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク、及び光ディスク等によって構成される。記憶回路22は、USB(Universal Serial Bus)メモリ及びDVD(Digital Video Disk)等の可搬型メディアによって構成されてもよい。記憶回路22は、処理回路21において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(Operating System)等も含まれる)や、プログラムの実行に必要なデータ等を記憶する。また、OSに、診断医等の操作者に対するディスプレイ24への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース23によって行うことができるGUI(Graphical User Interface)を含めることもできる。なお、記憶回路22は、記憶部の一例である。
入力インターフェース23は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、走査面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路21に出力する。なお、診断支援装置10は、入力デバイスがディスプレイ24と一体に構成されたタッチパネルを備えてもよい。なお、入力インターフェース23は、入力部の一例である。
ディスプレイ24は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機EL(Electro Luminescence)パネル等の表示デバイスである。ディスプレイ24は、処理回路21の制御に従って生成された医用画像を表示する。なお、ディスプレイ24は、表示部の一例である。
ネットワークインターフェース25は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。ネットワークインターフェース25は、各規格に応じた通信制御を行い、電話回線を通じてネットワークに接続することができる機能を有しており、これにより、診断支援装置10をネットワークに接続させることができる。なお、ネットワークインターフェース25は、通信部の一例である。
決定支援手段26は、決定機能32からのデータを入力し、所定のデータを取得して決定機能32に出力する。
例えば、決定支援手段26は、GPU(Graphics Processing Unit)及びデータベース等から成る装置である。決定支援手段26は、X線CT装置11のCT撮像により取得された複数(大量)のCT画像によりデータベースを構成する。決定支援手段26は、X線CT装置11のCT撮像により過去に取得された複数のCT画像を第1の学習用データとし、例えばCNN(畳み込みニューラルネットワーク)、畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)、再構成型トポグラフィック独立成分分析(TICA:Topographic Independent Component Analysis)等の機械学習に利用することでパラメータが成熟された第1のAI(Artificial Intelligence)を構築する。そして、決定支援手段26は、決定機能32から供給された、該当患者に係るCT画像を第1のAIに入力することで、出力を決定機能32に提供する。
図2は、決定機能32の動作例を示す図である。図2(A)は、第1のAIの構築における第1の訓練データを示す図である。図2(B)は、X線撮像条件を決定するための構成を示すブロック図である。図2(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の決定支援手段26に入力される。一方で、入力インターフェース23を介して決定支援手段26に、m個のCT画像Fmのそれぞれに対応するように、がん等の病変部の検出能を考慮した適切なX線撮像条件Pmが入力される。これにより、決定支援手段26は、m個のCT画像Fmを第1の学習用データとし、m個のX線撮像条件Pmを第1の教師データとして第1のAIを構築する(図2(A)に図示)。なお、決定支援手段26は、第1のAIとして、撮像部位毎に複数のAIを構築することが好適である。
図2(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像fを、決定支援手段26に提供する。これにより、決定支援手段26は、CT画像fを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係るX線撮像条件pを決定機能32に提供する。
決定機能32は、決定支援手段26から、第1のAIの出力、つまり、X線撮像条件pを受け、X線撮像条件pに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。ここでは、決定機能32は、決定支援手段26からのX線撮像条件pそのものを、該当患者に係る適切なX線撮像条件として決定する。
図1の説明に戻って、検出支援手段27は、検出機能35からのデータを入力し、所定のデータを取得して検出機能35に出力する。例えば、検出支援手段27は、GPU及びデータベース等から成る装置である。検出支援手段27は、X線CT装置11のCT撮像により取得された複数のCT画像と、X線診断装置12のX線撮像により取得された複数のX線画像との組み合わせによりデータベースを構成する。検出支援手段27は、X線CT装置11のCT撮像により過去に取得された複数のCT画像と、X線診断装置12のX線撮像により過去に取得された複数のX線画像との組み合わせを第2の学習用データとして機械学習に利用することでパラメータが成熟された第2のAIを構築する。そして、検出支援手段27は、該当患者に係るCT画像及びX線画像の組み合わせを第2のAIに入力することで、出力を検出機能35に提供する。
図3は、検出機能35の動作例を示す図である。図3(A)は、第2のAIの構築における第2の訓練データを示す図である。図3(B)は、X線撮像条件を決定するための構成を示すブロック図である。図3(C)は、病変部の状態を決定するためのデータの流れを示す図である。病変部の状態は、例えば、がん等の病変部の有無、変化量(位置及びサイズ)等を意味する。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の検出支援手段27に入力される。X線診断装置12から患者に因らないm個のX線画像Gmが診断支援装置10の検出支援手段27に入力される。一方で、入力インターフェース23を介して検出支援手段27に、m個のCT画像及びm個のX線画像の組み合わせのそれぞれに対応するように、適切な病変部の状態Qmが入力される。これにより、検出支援手段27は、m個のCT画像Fm及びm個のX線画像Gmの組み合わせを第2の学習用データとし、m個の病変部の状態Qmを第2の教師データとして第2のAIを構築する(図3(A)に図示)。なお、検出支援手段27は、第2のAIとして、撮像部位毎に複数のAIを構築することが好適である。
図3(B),(C)に示すように、検出機能35は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からの該当患者に係るX線画像gとを、検出支援手段27に提供する。これにより、検出支援手段27は、CT画像f及びX線画像gの組み合わせを第2のAIに入力し、第2のAIの出力、つまり、該当患者に係る病変部の状態qを検出機能35に提供する。
検出機能35は、検出支援手段27から、第2のAIの出力、つまり、病変部の状態qを受け、病変部の状態qに基づいて、該当患者に係る病変部の適切な状態を検出する。ここでは、検出機能35は、検出支援手段27からの病変部の状態qそのものを、該当患者に係る病変部の適切な状態として検出する。また、検出機能35は、該当患者に係る病変部の適切な状態をディスプレイ24に表示させる。
図1の説明に戻って、X線CT装置11は、患者に対してCT撮像を実行することで、CT画像を生成し、ネットワークNを介して診断支援装置10に提供する。ここで、X線CT装置(第1のクライアント装置)11は、診断支援装置(サーバ装置)10に該当患者に係るCT画像を送信する送信手段を設ける。
X線診断装置12は、診断支援装置10から提供されたX線撮像条件に従ってX線撮像を実行してX線画像を生成し、ネットワークNを介して診断支援装置10に提供する。ここで、X線診断装置12は、診断支援装置10に当該患者に係るX線撮像条件を要求し、その要求に応じてX線撮像条件を取得してもよい。その場合、X線診断装置(第2のクライアント装置)12は、診断支援装置(サーバ装置)10に該当患者に係るX線撮像条件を要求する要求手段と、要求手段による要求に応じて診断支援装置10からX線撮像条件を取得する取得手段とを設ける。
図4は、診断支援システム1の動作をフローチャートとして示す図である。図4において、「ST」に数字を付した符号はフローチャートの各ステップを示す。
がん等の病変部の治療や予後の経過観察のために、CT画像等の医用画像により診断医等の操作者が病変部の進行具合を観察するワークフローが存在する。診断支援システム1は、例えば、病変部の治療や予後の経過観察における該当患者のフォローアップに使用されるものである。
第1の画像取得機能31は、ネットワークインターフェース25を介してX線CT装置11から、病変部を有する該当患者に係るCT画像を取得する(ステップST1)。ここで、ステップST1によって取得されたCT画像の収集時からの病変部の経過観察を行うために、同一モダリティ装置であるX線CT装置を用いてCT画像を生成することが一般的である。しかし、該当患者がX線CT装置を備えた大きい病院に行きCT撮像を行うには手間がかかりすぎるし、また、CT撮像では患者の被ばくも大きい。
一方で、ステップST1によって取得されたCT画像の収集時からの病変部の経過観察を行うために、同一モダリティ装置ではないモダリティ装置、例えば、患者に身近な医療機関でも保有することができるX線診断装置を用いてX線画像を生成することも有り得る。その場合、患者に身近な医療機関で手軽に比較画像を取得することができ、かつ、患者の被ばくも比較的少ない一方で、CT画像と比較して検出能が劣る。
そこで、ステップST1によって取得されたCT画像の収集時からの病変部の経過観察を行うために、同一モダリティ装置ではないX線診断装置12を用い、病変部の検出能が高いX線画像を生成することを考える。決定機能32は、X線CT装置11のCT撮像により取得されたCT画像から、X線診断装置12により該当患者のX線画像を収集するための適切なX線撮像条件を決定する(ステップST2)。なお、X線撮像条件は、少なくとも撮像方向を含むものとする。
例えば、決定機能32は、決定支援手段26を制御することで、該当患者のX線画像を収集するための適切なX線撮像条件を決定する。決定支援手段26は、上述したように、X線CT装置11のCT撮像により過去に取得された複数のCT画像を学習用データとして機械学習に利用することで第1のAIを構築する。そして、決定支援手段26は、決定機能32から供給された、該当患者に係るCT画像を第1のAIに入力することで、該当患者に係るCT画像に対応するX線撮像条件を第1のAIの出力として取得し、決定機能32に出力する。決定機能32は、決定支援手段26の出力、つまり、X線撮像条件に基づいて、該当患者に係る適切なX線撮像条件を決定する。
撮像条件提供機能33は、ステップST2により決定されたX線撮像条件をX線診断装置12に提供する(ステップST3)。X線診断装置12は、ステップST3によって提供されたX線撮像条件に従って、該当患者に対するX線撮像を行う(ステップST4)。なお、該当患者に係るCT画像と、決定されたX線撮像条件とは、訓練データとして第1のAIに入力される。
このように、適切なX線撮像条件の提供により、X線診断装置12は、ステップST4において、該当患者に係るCT画像と比較可能な程度である病変部の検出能の高いX線画像を生成することができる。
第2の画像取得機能34は、ステップST2により決定されたX線撮像条件によってX線診断装置12で撮像された該当患者のX線画像を、ネットワークインターフェース25を介してX線診断装置12から取得する(ステップST5)。検出機能35は、X線CT装置11のCT撮像により取得された該当患者に係るCT画像と、X線診断装置12のX線撮像により取得されたX線画像とに基づいて、該当患者に係る病変部の状態を検出する(ステップST6)。
例えば、検出機能35は、検出支援手段27を制御することで、該当患者に係る適切な病変部の変化を検出する。検出支援手段27は、上述したように、X線CT装置11のCT撮像により過去に取得された複数のCT画像と、X線診断装置12のX線撮像により過去に取得された複数のX線画像との組み合わせを学習用データとして機械学習に利用することで第2のAIを構築する。そして、検出支援手段27は、検出機能35から供給された、該当患者に係るCT画像及びX線画像の組み合わせを第2のAIに入力することで、該当患者に係る病変部の状態を第2のAIの出力として取得し、検出機能35に出力する。検出機能35は、検出支援手段27の出力、つまり、該当患者の病変部の状態に基づいて、該当患者に係る病変部の適切な状態を検出する。病変部の変化は、例えば、がん等の病変部の有無、変化量(位置及びサイズ)等を意味する。
検出機能35は、ステップST6によって検出された該当患者に係る病変部の変化をディスプレイ24に表示させる(ステップST7)。検出機能35は、ステップST7において、病変部の変化を、該当患者に係るX線画像にオーバーレイ表示させてもよいし、文字情報にて表示させてもよい。なお、該当患者に係るCT画像及びX線画像の組み合わせと、検出された病変部の状態とは、訓練データとして第2のAIに入力される。
このように、診断支援装置10は、ステップST7において、該当患者に係るCT画像と、該当患者に係る、病変部の適度な検出能を有するX線画像とに基づいて、該当患者に係る適切な自動診断結果(病変部の状態)を診断医等の操作者に提示することができる。操作者は、ディスプレイ24を介して提示された病変部の変化に基づいて、該当患者に係る精度の高い自動診断結果を視認することができる。
以上のように、診断支援システム1の決定機能32によれば、該当患者に係るCT画像の病変部に応じて適切なX線撮像条件をX線診断装置12に提供することができる。また、診断支援システム1の検出機能35によれば、該当患者に係るCT画像及びX線画像の組み合わせに応じて適切な病変部の状態を検出し操作者に提示することができる。
1.決定機能32の動作の変形例
図1~図4を用いて、決定機能32が、該当患者に係るCT画像に基づいて、該当患者に係る適切なX線撮像条件を決定する場合について説明した。しかし、その場合に限定されるものではない。以下、図5~図10を用いて、決定機能32の動作の変形例について説明する。
1-1.決定機能32の動作の第1変形例
決定機能32は、決定支援手段26Aを利用して、CT画像に加え、CT画像の付帯情報を用いて適切なX線撮像条件を決定する。
図5は、決定機能32の動作例を示す図である。図5(A)は、第1のAIの構築における第1の訓練データを示す図である。図5(B)は、X線撮像条件を決定するための構成を示すブロック図である。図5(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fm及びその付帯情報Rmが診断支援装置10の決定支援手段26Aに入力される。付帯情報は、医用画像に付帯されるDICOM(Digital Imaging and Communications in Medicine)データに含まれる所見、病変部の位置、及びオーバーレイ情報等を意味する。一方で、入力インターフェース23を介して決定支援手段26Aに、m個のCT画像のそれぞれに対応するように、m個のX線撮像条件Pmが入力される。これにより、決定支援手段26Aは、m個のCT画像Fm及びm個の付帯情報Rmの組み合わせを第1の学習用データとし、m個のX線撮像条件Pmを第1の教師データとして第1のAIを構築する(図5(A)に図示)。
図5(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像f及びその付帯情報rを、決定支援手段26Aに提供する。これにより、決定支援手段26Aは、CT画像f及び付帯情報rを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係るX線撮像条件pを決定機能32に提供する。
決定機能32は、決定支援手段26Aから、第1のAIの出力、つまり、X線撮像条件pを受け、X線撮像条件pに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。ここでは、決定機能32は、決定支援手段26AからのX線撮像条件pそのものを、該当患者に係る適切なX線撮像条件として決定する。
以上のように、図5に示す決定機能32の動作によれば、該当患者に係るCT画像のみに基づいてX線撮像条件を決定する場合に比べて、該当患者に係るX線撮像条件の出力精度が向上する。
1-2.決定機能32の動作の第2変形例
決定機能32は、決定支援手段26Bを利用して、CT画像に加え、X線撮像により生成されたX線画像を用いて、再撮像に係る適切なX線撮像条件を決定する。
図6は、決定機能32の動作の第2変形例を示す図である。図6(A)は、第1のAIの構築における第1の訓練データを示す図である。図6(B)は、X線撮像条件を決定するための構成を示すブロック図である。図6(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の決定支援手段26Bに入力される。一方で、X線診断装置12から患者に因らないm個のX線撮像条件Pm及びm個のX線画像Gmが診断支援装置10の決定支援手段26Bに入力される。m個目のCT画像Fm及びm個目のX線画像Gmの組み合わせは、それぞれ、m個目のX線撮像条件Pmに対応付けられる。決定支援手段26は、m個のCT画像Fm及びm個のX線画像Gmの組み合わせを第1の学習用データとし、m個のX線撮像条件Pmを第1の教師データとして第1のAIを構築する(図6(A)に図示)。
図6(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からの該当患者に係るX線画像gとを、診断支援装置10の決定支援手段26Bに提供する。X線画像gは、例えば、上述の決定機能32,32Aにより決定されたX線撮像条件による該当患者のX線撮像により生成されたものである。これにより、決定支援手段26Bは、CT画像f及びX線画像gを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係るX線撮像画像pを決定機能32に提供する。
決定機能32は、決定支援手段26Bから、第1のAIの出力、つまり、X線撮像条件pを受け、X線撮像条件pに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。ここでは、決定機能32は、決定支援手段26BからのX線撮像条件pそのものを、該当患者に係る適切なX線撮像条件として決定する。
以上のように、図6に示す決定支援手段26Bの動作によれば、該当患者に係る最適なX線撮像条件を求めることで、該当患者の再撮像における適切なX線撮像条件をX線診断装置12に提供することができる。
図1~図6を用いて、決定支援手段26~26Bが直接的にX線撮像条件を取得して決定機能32~32Bに出力し、決定機能32~32Bが決定支援手段26~26Bの出力であるX線撮像条件そのものを適切なX線撮像条件として決定する場合について説明した。しかし、その場合に限定されるものではない。例えば、決定支援手段が、適切なX線撮像条件を決定するための複数のパラメータを生成して決定機能32に出力し、決定機能32が決定支援手段の出力である複数のパラメータに基づいて適切なX線撮像条件を決定する場合であってもよい。その場合について、図7~図10を用いて説明する。
1-3.決定機能32の動作の第3変形例
決定機能32は、決定支援手段26Cを利用して、適切なX線撮像条件を決定するための複数のパラメータとして複数の仮想的なX線画像を生成し、複数の仮想的なX線画像に基づいて、適切なX線撮像条件を決定する。
図7は、決定機能32の動作の第3変形例を示す図である。図7(A)は、第1のAIの構築における第1の訓練データを示す図である。図7(B)は、X線撮像条件を決定するための構成を示すブロック図である。図7(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の決定支援手段26Cに入力される。一方で、X線診断装置12から患者に因らないm個のX線撮像条件Pm及びm個のX線画像Gmが診断支援装置10の決定支援手段26Cに入力される。m個のCT画像Fm及びm個のX線撮像条件Pmは、それぞれ、m個のX線画像Gmに対応付けられる。決定支援手段26Cは、m個のCT画像Fm及びm個のX線撮像条件Pmの組み合わせを第1の学習用データとし、m個のX線画像Gmを第1の教師データとして第1のAIを構築する(図7(A)に図示)。
図7(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像fと、入力インターフェース23を介して任意に設定されたX線撮像条件pとを、決定支援手段26Cに入力する。これにより、決定支援手段26Cは、CT画像f及びX線撮像条件pを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係る第3の医用画像(仮想X線画像)hを決定機能32に提供する。また、決定支援手段26Cは、異なる複数のX線撮像条件によりループで第1のAIを利用することで、適切なX線撮像条件を決定するための複数のパラメータとして、複数の仮想X線画像hを生成することができる。
決定機能32は、決定支援手段26Cから、第1のAIの出力、つまり、複数のX線撮像条件に対応する複数の仮想X線画像hを受け、複数の仮想X線画像hに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。例えば、操作者が、複数の仮想X線画像hを参照しながら、入力インターフェース23を操作して複数の仮想X線画像hの中から所要の仮想X線画像を選択することで、決定支援手段26Cは、選択された仮想X線画像に対応する条件を適切なX線撮像条件として決定する。また、例えば、決定支援手段26Cは、複数の仮想X線画像hの中から画像の品質情報が最大の仮想X線画像に対応する条件を適切なX線撮像条件として決定する。品質情報は、画像のS/N(Signal to Noise)及びCNR比(Contrast to Noise Ratio)等に基づく指標(例えば、1点~10点)を意味する。
以上のように、図7に示す決定機能32の動作によれば、適切なX線撮像条件を決定するためのパラメータとして仮想X線画像を生成し、仮想X線画像に基づいて適切なX線撮像条件を設定することができる。
1-4.決定機能32の動作の第4変形例
決定機能32は、決定支援手段26Dを利用して、適切なX線撮像条件を決定するための複数のパラメータとして複数の品質情報を生成し、複数の品質情報に基づいて、適切なX線撮像条件を決定する。品質情報は、画像のS/N(Signal to Noise)及びCNR比(Contrast to Noise Ratio)等に基づく指標(例えば、1点~10点)を意味する。
図8は、決定機能32の動作の第4変形例を示す図である。図8(A)は、第1のAIの構築における第1の訓練データを示す図である。図8(B)は、X線撮像条件を決定するための構成を示すブロック図である。図8(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の決定支援手段26Dに入力される。X線診断装置12から患者に因らないm個のX線画像Gmが診断支援装置10の決定支援手段26Dに入力される。また、CT画像及びX線画像に基づいて生成された患者に因らないm個の品質情報Smが決定支援手段26Dに入力される。m個目のCT画像Fm及びm個目のX線画像Gmの組み合わせは、それぞれ、m個目の品質情報Smに対応付けられる。決定支援手段26Dは、m個のCT画像Fm及びm個のX線画像Gmの組み合わせを第1の学習用データとし、m個の品質情報Smを第1の教師データとして第1のAIを構築する(図8(A)に図示)。
図8(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からの該当患者に係るX線画像gとを、診断支援装置10の決定支援手段26Dに入力する。これにより、決定支援手段26Dは、CT画像f及びX線画像gを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係る品質情報sを決定機能32に提供する。また、決定支援手段26Dは、異なる複数のCT画像及びX線画像によりループで第1のAIを利用することで、適切なX線撮像条件を決定するための複数のパラメータとして、複数の品質情報sを生成することができる。
決定機能32は、決定支援手段26Dから、第1のAIの出力、つまり、複数のX線撮像条件に対応する複数の品質情報sを受け、複数の品質情報sに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。例えば、操作者が、複数の品質情報sを参照しながら、入力インターフェース23を操作して複数の品質情報sの中から所要の品質情報を選択することで、決定支援手段26Dは、選択された品質情報に対応する条件を適切なX線撮像条件として決定する。また、例えば、決定支援手段26Dは、最大の品質情報に対応する条件を適切なX線撮像条件として決定する。
以上のように、図8に示す決定機能32の動作によれば、適切なX線撮像条件を決定するためのパラメータとして画像の品質情報を生成し、画像の品質情報に基づいて適切なX線撮像条件を設定することができる。
1-5.決定機能32の動作の第5変形例
決定機能32は、決定支援手段26Eを利用して、適切なX線撮像条件を決定するための複数のパラメータとして複数の品質情報を生成し、複数の品質情報に基づいて、適切なX線撮像条件を決定する。
図9は、決定機能32の動作の第5変形例を示す図である。図9(A)は、第1のAIの構築における第1の訓練データを示す図である。図9(B)は、X線撮像条件を決定するための構成を示すブロック図である。図9(C)は、X線撮像条件を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の決定支援手段26Eに入力される。X線診断装置12から患者に因らないm個のX線撮像条件Pmが診断支援装置10の決定支援手段26Eに入力される。また、CT画像及びX線画像に基づいて生成された患者に因らないm個の品質情報Smが決定支援手段26Eに入力される。m個目のCT画像Fm及びm個目のX線撮像条件Pmの組み合わせは、それぞれ、m個目の品質情報Smに対応付けられる。決定支援手段26Eは、m個のCT画像Fm及びm個のX線撮像条件Pmの組み合わせを第1の学習用データとし、m個の品質情報Smを第1の教師データとして第1のAIを構築する(図9(A)に図示)。
図9(B),(C)に示すように、決定機能32は、X線CT装置11からの該当患者に係るCT画像fと、入力インターフェース23を介して任意に設定されたX線撮像条件pとを、診断支援装置10の決定支援手段26Eに入力する。これにより、決定支援手段26Eは、CT画像f及びX線撮像条件pを第1のAIに入力し、第1のAIの出力、つまり、該当患者に係る適切な品質情報sを検出機能32に提供する。また、決定支援手段26Eは、異なる複数のX線撮像条件によりループで第1のAIを利用することで、適切なX線撮像条件を決定するための複数のパラメータとして、複数の品質情報sを生成することができる。
決定機能32は、決定支援手段26Eから、第1のAIの出力、つまり、複数のX線撮像条件に対応する複数の品質情報sを受け、複数の品質情報sに基づいて、該当患者に係る適切なX線撮像条件を決定し、それをX線診断装置12に提供する。例えば、操作者が、複数の品質情報sを参照しながら、入力インターフェース23を操作して複数の品質情報sの中から所要の品質情報を選択することで、決定支援手段26Eは、選択された品質情報に対応する条件を適切なX線撮像条件として決定する。また、例えば、決定支援手段26Eは、最大の品質情報に対応する条件を適切なX線撮像条件として決定する。
以上のように、図9に示す決定機能32の動作によれば、適切なX線撮像条件を決定するためのパラメータとして画像の品質情報を生成し、画像の品質情報に基づいて適切なX線撮像条件を設定することができる。
以上において、決定機能32が、5個の決定支援機能26~26E、つまり、5個のAIのいずれかを用いてX線撮像条件を決定する場合について説明したが、その場合に限定されるものではない。例えば、決定機能32は、3個の決定支援機能26C~26E、つまり、3個のAIを用いてX線撮像条件を決定することもできる。
図10は、決定機能32の動作の第6変形例を示す図である。図10は、複数のAIを利用する場合のデータの流れを示す図である。
図10に示すように、決定機能32は、決定支援手段26Cから複数のX線撮像条件に対応する複数の仮想X線画像h(図7に図示)を受け、決定支援手段26Dから複数のX線撮像条件に対応する複数の品質情報s(図8に図示)を受け、決定支援手段26Eから複数のX線撮像条件に対応する複数の品質情報s(図8に図示)を受ける。操作者が、複数の仮想X線画像hに対応する品質情報や複数の品質情報sを参照しながら、入力インターフェース23を操作して複数の品質情報の中から所要の品質情報を選択することで、決定機能32は、選択された品質情報に対応する条件を適切なX線撮像条件として決定する。また、例えば、決定機能32は、複数の仮想X線画像hに対応する品質情報を含む複数の品質情報の中から最大の品質情報に対応する条件を適切なX線撮像条件として決定する。
以上のように、図10に示す決定機能32の動作によれば、適切なX線撮像条件を決定するためのパラメータとして仮想X線画像や画像の品質情報を生成し、仮想X線画像や画像の品質情報に基づいて適切なX線撮像条件を決定することができる。
2.検出機能35の動作の変形例
図1~図4を用いて、検出機能35が、該当患者に係るCT画像及びX線画像に基づいて、該当患者に係る病変部の適切な状態を検出する場合について説明した。しかし、その場合に限定されるものではない。以下、図11~図14を用いて、検出機能35の動作の変形例について説明する。
2-1.検出機能35の動作の第1変形例
検出機能35は、検出支援手段27Aを利用して、CT画像及びX線画像に加えX線撮像条件に基づいて、病変部の適切な状態を検出するための複数のパラメータとして複数の位置情報を生成し、複数の位置情報に基づいて、病変部の適切な状態を検出する。
図11は、検出機能35の動作の第1変形例を示す図である。図11(A)は、第2のAIの構築における第2の訓練データを示す図である。図11(B)は、病変部の状態を決定するための構成を示すブロック図である。図11(C)は、病変部の状態を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の検出支援手段27Aに入力される。X線診断装置12から患者に因らないm個のX線撮像条件Pm及びm個のX線画像Gmの組み合わせが診断支援装置10の検出支援手段27Aに入力される。また、入力インターフェース23を介してm個の病変部の位置Tmが検出支援手段27Aに入力される。又は、CT画像を画像解析することにより病変部を自動的に検出するCADにより、病変部の位置Tmが特定され検出支援手段27Aに入力される。m個目のCT画像Fm、m個目のX線画像Gm、及びm個目のX線撮像条件Pmの組み合わせは、それぞれ、m個目の病変部の状態Qmに対応付けられる。検出支援手段27Aは、m個のCT画像Fm、m個のX線画像Gm、及びm個のX線撮像条件Pmの組み合わせを第2の学習用データとし、m個の病変部の状態Qmを第2の教師データとして第2のAIを構築する(図11(A)に図示)。
図11(B),(C)に示すように、検出機能35は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からのX線撮像条件p及びX線画像gの組み合わせとを、診断支援装置10の検出支援手段27Aに入力する。これにより、検出支援手段27Aは、CT画像f、X線画像g、及びX線撮像条件pの組み合わせを第2のAIに入力し、第2のAIの出力、つまり、該当患者に係る病変部の位置tを検出機能35に提供する。検出支援手段27Aは、該当患者に係る病変部の位置情報をもつCT画像fと、該当患者に係る最新画像であるX線画像(投影画像)gとに基づいて、該当患者に係る病変部の現在の位置情報(病変部の候補領域)を取得することができる。また、検出支援手段27Aは、異なる複数のX線撮像条件によりループで第2のAIを利用することで、病変部の適切な状態を検出するための複数のパラメータとして、病変部に係る複数の位置を生成することもできる。
検出機能35は、検出支援手段27Aから、第2のAIの出力、つまり、病変部の位置tを受け、病変部の位置tに基づいて、該当患者に係る病変部の適切な状態(病変部の有無、変化量(位置及びサイズ))を検出し、それをディスプレイ24に表示させる。
以上のように、図11に示す検出機能35の動作によれば、該当患者に係るCT画像及びX線画像のみに基づいて病変部の状態を検出する場合に比べて、該当患者に係る病変部の状態の出力精度が向上する。
2-2.検出機能35の動作の第2変形例
検出機能35は、検出支援手段27Bを利用して、CT画像、X線画像、及びX線撮像条件に加え仮想X線画像に基づいて、病変部の適切な状態を検出するための複数のパラメータとして複数の位置情報を生成し、複数の位置情報に基づいて、病変部の適切な状態を検出する。
図12は、検出機能35の動作の第2変形例を示す図である。図12(A)は、第2のAIの構築における第2の訓練データを示す図である。図12(B)は、病変部の状態を決定するための構成を示すブロック図である。図12(C)は、病変部の状態を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の検出支援手段27Bに入力される。X線診断装置12から患者に因らないm個のX線撮像条件Pm及びX線画像Gmの組み合わせが診断支援装置10の検出支援手段27Bに入力される。また、入力インターフェース23を介してm個の病変部の位置Tmが検出支援手段27Bに入力される。又は、CT画像を画像解析することにより病変部を自動的に検出するCADにより、病変部の位置Tmが特定され検出支援手段27Bに入力される。さらに、決定支援手段26C(図7に図示)から仮想X線画像Hmが診断支援装置10の検出支援手段27Bに入力される。
m個目のCT画像Fm、m個目のX線画像Gm、m個目のX線撮像条件Pm、及びm個目のX線画像Hmの組み合わせは、それぞれ、m個目の病変部の状態Qmに対応付けられる。検出支援手段27Bは、m個のCT画像Fm、m個のX線画像Gm、m個のX線撮像条件Pm、及びm個の仮想X線画像Hmの組み合わせを第2の学習用データとし、m個の病変部の位置Tmを第2の教師データとして第2のAIを構築する(図12(A)に図示)。
図12(B),(C)に示すように、検出機能35は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からのX線撮像条件p及びX線画像gの組み合わせと、決定支援手段26Cからの仮想X線画像hとを入力する。これにより、検出支援手段27Bは、CT画像f、X線画像g、X線撮像条件p、及び仮想X線画像hの組み合わせを第2のAIに入力し、第2のAIの出力、つまり、該当患者に係る適切な病変部の位置tを検出機能35に提供する。検出支援手段27Bは、該当患者に係る病変部の位置情報をもつCT画像fと、該当患者に係る最新画像であるX線画像(投影画像)gとに基づいて、該当患者に係る病変部の現在の位置情報(病変部の候補領域)を取得することができる。また、検出支援手段27Bは、異なる複数のX線撮像条件によりループで第2のAIを利用することで、病変部の適切な状態を検出するための複数のパラメータとして、病変部に係る複数の位置を生成することもできる。
検出機能35は、検出支援手段27Bから、第2のAIの出力、つまり、病変部の位置tを受け、病変部の位置tに基づいて、該当患者に係る病変部の適切な状態を検出し、それをディスプレイ24に表示させる。
以上のように、図12に示す検出機能35の動作によれば、該当患者に係るCT画像、X線画像、及びX線撮像条件のみに基づいて病変部の状態を検出する場合に比べて、該当患者に係る病変部の状態の出力精度が向上する。
2-3.検出機能の動作の第3変形例
検出機能35は、検出支援手段27Cを利用して、CT画像及びX線画像に加え仮想X線画像に基づいて、病変部の適切な状態を検出する。
図13は、検出機能35の動作の第3変形例を示す図である。図13(A)は、第2のAIの構築における第2の訓練データを示す図である。図13(B)は、病変部の状態を決定するための構成を示すブロック図である。図13(C)は、病変部の状態を決定するためのデータの流れを示す図である。
X線CT装置11から患者に因らない複数、例えばm個のCT画像Fmが診断支援装置10の検出支援手段27Cに入力される。X線診断装置12から患者に因らないm個のX線画像Gmが診断支援装置10の検出支援手段27Cに入力される。また、入力インターフェース23を介してm個の病変部の状態Smが検出支援手段27Cに入力される。さらに、決定支援手段26C(図7に図示)から仮想X線画像Hmが検出支援手段27Cに入力される。
m個目のCT画像Fm及びm個目のX線画像Gmの組み合わせは、それぞれ、m個目の病変部の状態Smに対応付けられる。m個目のCT画像Fm及びm個目の仮想X線画像Hmの組み合わせは、それぞれ、m個目の病変部の状態Smに対応付けられる。検出支援手段27Cは、m個のCT画像Fm及びm個のX線画像Gmを第2の学習用データとし、m個の病変部の状態Smを第2の教師データとして第2のAIを構築する(図13(A)に図示)。
図13(B),(C)に示すように、検出機能35は、X線CT装置11からの該当患者に係るCT画像fと、X線診断装置12からのX線画像gとを、診断支援装置10の検出支援手段27Cに入力する。これにより、検出支援手段27Cは、CT画像f及びX線画像gの組み合わせを第2のAIに入力し、第2のAIの出力、つまり、該当患者に係る病変部の状態sを検出機能35に供給することができる。一方で、検出機能35は、X線CT装置11からの該当患者に係るCT画像fと、決定支援手段26Cからの仮想X線画像hとを検出支援手段27Cに入力する。これにより、検出支援手段27Cは、CT画像f及び仮想X線画像hの組み合わせを第2のAIに入力し、第2のAIの出力、つまり、該当患者に係る病変部の状態sを検出機能35に供給することができる。
検出機能35は、検出支援手段27Cから、第2のAIの出力、つまり、病変部に係る複数の状態sを受け、病変部に係る複数の状態sに基づいて、該当患者に係る病変部の適切な状態を検出し、それをディスプレイ24に表示させる。ここでは、検出機能35は、検出支援手段27Cからの病変部に係る複数の状態sの代表値そのものを、該当患者に係る病変部の適切な状態として検出すればよい。
以上のように、図13に示す検出機能35の動作によれば、病変部の位置tの変化を操作者に提示することができる。
以上において、検出機能35が、4個の検出支援機能27~27C、つまり、4個のAIのいずれかを用いて病変部の状態を検出する場合について説明したが、その場合に限定されるものではない。例えば、検出機能35は、2個の検出支援機能27B~27C、つまり、2個のAIを用いて病変部の状態を検出することもできる。
2-4.検出機能の動作の第4変形例
図14は、検出機能35の動作の第4変形例を示す図である。図14は、複数のAIを利用する場合のデータの流れを示す図である。
図14に示すように、検出機能35は、検出支援手段27A、検出支援手段27Bから複数の病変部の位置tを受ける。操作者が、複数の病変部の位置tを参照しながら、入力インターフェース23を操作して複数の病変部の位置tの中から所要の病変部の位置を選択することで、検出機能35は、選択された病変部の位置を病変部の適切な状態として検出する。
以上のように、図14に示す検出機能35の動作によれば、病変部の適切な状態を検出するためのパラメータとして病変部の位置を生成し、病変部の位置に基づいて病変部の適切な状態を検出することができる。
3.診断支援システム1の構成の変形例
3-1.第1のモダリティ装置11の変形例
図1では、診断支援システム1の第1のモダリティ装置11が、1種類のモダリティ装置(X線CT装置)である場合について説明したが、その場合に限定されるものではない。第1のモダリティ装置11は、複数種類、例えば、2種類のX線CT装置及びMRI装置であってもよい。その場合、決定支援手段26は、過去に取得された複数のCT画像及びMRI画像の組み合わせを第1の学習用データとし、各組み合わせに対応するX線撮像条件を第1の教師データとし、機械学習に利用することで第1のAIを構築する。そして、決定機能32は、該当患者に係るCT画像及びMRI画像を第1のAIに入力することで、該当患者に係るCT画像及びMRI画像に対応する適切なX線撮像条件を決定してX線診断装置12に提供する。
以上のような第1のモダリティ装置11の構成によれば、該当患者に係るCT画像のみを第1のAIに入力する場合に比べて、該当患者に係るX線撮像条件の出力精度が向上する。
3-2.第2のモダリティ装置12の変形例
図1では、診断支援システム1の第2のモダリティ装置12が、1種類のモダリティ装置(X線診断装置)である場合について説明したが、その場合に限定されるものではない。第2のモダリティ装置12は、複数種類、例えば、2種類のX線診断装置及び超音波診断装置であってもよい。その場合、決定支援手段26は、過去に取得された複数のCT画像を第1の学習用データとし、各CT画像に対応するX線撮像条件及び超音波のスキャン条件を第1の教師データとし、機械学習に利用することで第1のAIを構築する。そして、決定機能32は、該当患者に係るCT画像を第1のAIに入力することで、該当患者に係るCT画像に対応する適切なX線撮像条件及び超音波のスキャン条件を決定してX線診断装置及び超音波診断装置にそれぞれ提供する。超音波のスキャン条件は、超音波の送信周波数、パルス繰り返し周波数(PRF:Pulse Repetition Frequency)、及びフレームレート等を意味する。
以上のような第2のモダリティ装置12の構成によれば、該当患者に係るCT画像のみに基づいてX線撮像条件を決定する場合に比べて、該当患者に係るX線撮像条件の出力精度が向上する。
また、第2のモダリティ装置12が2種類のX線診断装置及び超音波診断装置である場合、決定支援手段26は、過去に取得された複数のCT画像を第1の学習用データとし、各CT画像に対応するモダリティ装置の種別を第1の教師データとし、機械学習に利用することで第1のAIを構築する。そして、決定機能32は、該当患者に係るCT画像を第1のAIに入力することで、該当患者に係るCT画像に対応する適切なモダリティ装置の種別を決定して該当するX線診断装置又は超音波診断装置に提供することもできる。
以上説明した少なくとも1つの実施形態によれば、第1の画像に基づいて、生成予定の第2の画像を収集するための適切な撮像条件を提供することができる。
なお、第1の画像取得機能31は、画像取得手段及び第1の画像取得手段の一例である。決定機能32は、決定手段の一例である。撮像条件提供機能33は、撮像条件提供手段の一例である。第2の画像取得機能34は、第2の画像取得手段の一例である。検出機能35は、検出手段の一例である。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。