JP7645614B2 - データ処理装置及びデータ処理方法 - Google Patents

Description

本明細書に開示の実施形態は、データ処理装置及びデータ処理方法に関する。

例えば、畳み込みニューラルネットワークなどの深層学習アルゴリズムを用いてセグメンテーションタスクを行うことが知られている。例えば、深層学習アルゴリズムは、医用画像データボリュームのボクセルの２つまたはそれより多くのクラスへのセグメンテーションを行うために用いられる。各クラスは、それぞれの組織のタイプを示す。

一般的に、深層学習アルゴリズムは、確率値を出力する。深層学習アルゴリズムは、画像ボリュームにおける各ボクセルについて、そのボクセルが１つまたは複数のクラスに属する確率を備える確率ボリュームとしてのボリュームデータを出力することができる。

実行されるべき分類分けタスクが、例えば２つの組織タイプである２つのクラスへの分類分けであるバイナリ分類分けタスクである場合を考える。深層学習アルゴリズムは、確率値のセットを備える確率ボリュームを出力する。そして、閾値が、バイナリマスクを得るために、確率ボリュームに適用される。バイナリマスクは、第１のクラスにあるとして分類されるボクセルを含むが、第２のクラスにあるとして分類されるボクセルを除外する。

確率ボリュームに閾値を適用することは、深層学習アルゴリズムからバイナリマスクを得るための非常に一般的な方法である。確率ボリュームにおける確率値は、各々、２つのクラスの第１のクラスまたは第２のクラスとしての分類を得るために閾値が適用される。例えば、閾値は、０．５の確率に設定されてよい。０．５より大きい確率値を有するボクセルが、第１のクラスに属するとして分類され、バイナリマスクに含まれる。すべての他のボクセルが、第２のクラスに属するとして分類され、バイナリマスクから除外される。

通常、確率値に適用されるべき閾値は、１回だけ選択される。閾値選択の１つの一般的な方法は、上述のように、確率値＝０．５である中間点を使用するものである。また、他の閾値選択の他の方法として、受信者操作特性（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ：ＲＯＣ）曲線上の最適分類子（ｏｐｔｉｍａｌ ｃｌａｓｓｉｆｉｅｒ）からの距離を用いる手法、ヨーデン指標（Ｙｏｕｄｅｎ‘ｓ ｉｎｄｅｘ）を用いて閾値を選択する等がある。

しかしながら、従来のボリュームデータの閾値の選択方法では、種々の臨床的なシナリオに適応できない可能性がある。

米国特許出願公開第２０１９／０１９２８６号明細書

本明細書等に開示の実施形態が解決しようとする課題の一つは、ボリュームデータに対して、種々の臨床的な事象に適応可能な閾値の選択を実現することである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置づけることもできる。

実施形態に開示のデータ処理装置は、決定部と、処理部とを備える。前記決定部は、患者に特有な臨床情報に応じた少なくとも一つの閾値を決定する。前記処理部は、前記患者の医用データセットに対して前記少なくとも一つの閾値を用いた処理を実行する。

図１は、実施形態に係る装置の概略図である。 図２は、実施形態の方法を概略で示したフローチャートである。 図３は、実施形態に従ったトレーニング方法を概略で示したフローチャートである。

以下、図面を参照しながら、本実施形態に関する装置及び方法について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

実施形態に係るデータ処理装置１０が、図１に概略的に図示される。データ処理装置１０は、この例ではパーソナルコンピュータ（ＰＣ）またはワークステーションである、コンピューティング装置１２を備える。コンピューティング装置１２は、データ記憶部２０を介して、スキャナ１４に接続される。

データ処理装置１０は、更に、１つまたは複数のディスプレイ画面１６、１つまたは複数の入力装置（例えば、コンピュータキーボード、マウス、または、トラックボール）を備える。

本実施形態において、スキャナ１４は、例えば、冠動脈血管造影（ＣＴＡ）スキャンなどの、ボリュームＣＴスキャンを得るように構成されるコンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナである。他の実施形態では、スキャナ１４は、医用撮像を行うように構成される任意のスキャナであってよい。スキャナ１４は、患者または他の対象の少なくとも一つの解剖学的領域を表す画像データを生成するように構成される。

スキャナ１４は、任意の撮像診断法において、２次元、３次元、または、４次元の画像データを取得するように構成される。例えば、スキャナ１４は、磁気共鳴（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ：ＭＲ）スキャナ、ＣＴ（コンピュータ断層撮影）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、または、超音波スキャナを備えてもよい。

本実施形態では、スキャナ１４によって取得される画像データセットは、データ記憶部２０に記憶され、その後、コンピューティング装置１２に提供される。代わりの実施形態では、画像データセットは、遠隔のデータ記憶部（図示されず）から供給される。データ記憶部２０、または、遠隔のデータ記憶部は、任意の形態のメモリストレージを備えてよい。いくつかの実施形態では、データ処理装置１０は、スキャナに結合されない。

コンピューティング装置１２は、データの処理のためのデータ処理部２２を備える。データ処理部２２は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）とグラフィック処理ユニット（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）とを備える。データ処理部２２は、画像データセットを自動的にまたは半自動で処理するための処理資源を提供する。

データ処理部２２は、確率回路２４と、閾値適用回路２６と、画像レンダリング回路２８とを備える。確率回路２４は、確率ボリュームを得るために、深層学習モデルを用いてデータを処理するように構成される。なお、確率回路２４は、データ出力部の一例である。閾値適用回路２６は、後述する患者に特有な臨床情報に応じた少なくとも一つの閾値を決定し、決定された閾値を医用データセットとしての確率ボリュームに適用するように構成される。なお、閾値適用回路２６は、決定部、処理部の一例である。画像レンダリング回路２８は、閾値が適用された確率を用いて画像をレンダリングするように構成される。本実施形態では、データ処理部２２は、更に、閾値関数をトレーニングするためのトレーニング回路２９を備える。なお、トレーニング回路２９は、取得部、トレーニング部の一例である。他の実施形態では、これらの様々な回路は、２つまたはそれより多くの装置上で提供されてもよい。例えば、閾値適用回路２６は、決定部に対応する第１の回路と、処理部に対応する第２の回路とで構成されてもよい。また、この場合、第１の回路及び第２の回路の少なくとも一方は、コンピューティング装置１２とネットワークを介して通信可能な装置に設けることもできる。また、トレーニング回路２９は、コンピューティング装置１２とネットワークを介して通信可能な装置に設けることもできる。

他の実施形態では、処理されるデータは、撮像データを備えなくてもよい。例えば、処理されるデータは、任意の医用データを備えてよい。

確率回路２４は、連続的に値を有した出力を有する任意のプロセスを実行するように構成されてよい。他の実施形態では、確率回路２４は、例えば、単調な離散値のセットを備える出力など、複数の値を有した出力を有する任意のプロセスを実行するように構成されてよい。更なる実施形態では、複数の値を有した、または、連続的に値を有した出力を有する任意のプロセスであってよい。いくつかの実施形態では、複数の値を有した、または、連続的に値を有した出力は、確率を備えなくてもよい。

本実施形態では、確率回路２４、閾値適用回路２６、画像レンダリング回路２８、トレーニング回路２９は、各々、本実施形態の方法を実行するように実行可能であるコンピュータによって読み出し可能な命令を有するコンピュータプログラムによって、ＣＰＵ及びＧＰＵの少なくとも一方に実装される。他の実施形態では、それらの様々な部分は、１つまたは複数の用途特定集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。

また、コンピューティング装置１２は、ハードディスクドライブ、および、ＲＡＭ、ＲＯＭ、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックカードを含むハードウェアデバイスといったものを含むＰＣの他のコンポーネントを有する。そのようなコンポーネントは、明瞭にするために、図１には示されない。

図１の装置は、図２に示されるような医用撮像データ（医用画像診断装置によって取得されたデータ）を処理する方法を実行するように構成される。他の実施形態では、図１の装置は、医用撮像データを含む任意の医用データセットを処理するように構成されてよい。

図２において、ステージ３０で、確率回路２４は、ボリューム医用撮像データのセットを取得する。医用撮像データのセットは、患者の解剖学的領域をスキャンすることにより、スキャナ１４によって取得されたものである。医用撮像データのセットは、その後、データ記憶部２０に記憶され、データ記憶部２０から確率回路２４に渡される。他の実施形態では、医用撮像データは、任意の好適なデータ記憶部から、または、スキャナ１４から直接に、受け取られてもよい。医用撮像データのセットは、例えば、２次元、３次元、４次元の医用撮像データといった、任意の好適な医用撮像データを備えてよい。

図２の実施形態において、医用撮像データのセットは、患者の脳の非造影ＣＴ（Ｎｏｎ・Ｃｏｎｔｒａｓｔ ＣＴ：ＮＣＣＴ）スキャンから取得される。患者が脳卒中を経験していることが疑われるため、患者の脳がスキャンされた。他の実施形態では、医用撮像データは、任意の好適な画像化方法を用いて患者の任意の解剖学的領域をスキャンすることによって取得されていてもよい。更なる実施形態では、医用撮像データは、光学的な撮像によって取得されていてもよい。例えば、医用撮像データは、写真によって取得されていてもよい。医用撮像データは、内視鏡検査によって取得されていてもよい。医用撮像データは、例えば、病理学での使用のためなどに、顕微鏡検査によって取得されていてもよい。他の実施形態では、任意の好適な医用データが用いられてよい。

確率回路２４は、連続的若しくは離散的な確率からなる確率ボリュームとしての医用データセット、又は複数の段階的な値からなる段階ボリュームとしての医用データセットを、医用撮像データから出力する。ここで、連続的若しくは離散的な確率からなる確率ボリュームとは、各ボクセルが、例えば、確率としての０から１の間の連続値又は離散値、又は確率としての０から１００の間の連続値又は離散値を有するボリュームデータである。また、複数の段階的な値からなる段階ボリュームとは、各ボクセルが、複数の段階的な値（例えば、各ボクセルが１、２、３の３段階のうちのいずれかの値）を有するボリュームデータである。なお、本実施形態においては、説明を具体的にするため、確率回路２４が確率ボリュームとしての医用データセットを医用撮像データから出力する場合を例とする。すなわち、ステージ３２において、確率回路２４は、医用撮像データにセグメンテーションプロセスを適用する。また、セグメンテーションプロセスを適用することは、医用撮像データにトレーニングされたモデルを適用することを備える。トレーニングされたモデルは、セグメンテーションタスクを実行するようにトレーニングされている深層学習モデルである。本実施形態において、深層学習モデルは、畳み込みニューラルネットワークを備える。他の実施形態では、任意のタイプの深層学習モデルが用いられてよい。更なる実施形態では、任意の好適なセグメンテーションプロセスが用いられてよく、セグメンテーションプロセスは、深層学習を備えても、備えなくてもよい。更なる実施形態において、複数の値を有した、または、連続的に値を有した出力を生成する任意の好適なプロセスが適用されてよい。

また、確率回路２４が実行するセグメンテーション処理は、医用データセットに含まれるボクセルが、少なくとも一つの解剖学的特徴及び少なくとも一つの病変のうち少なくとも一方に属する確率を決定する処理を含む。確率回路２４は、確率か決定された医用データセットを出力する。すなわち、確率回路２４は、セグメンテーションプロセスの結果、確率ボリューム３４を出力する。確率ボリューム３４は、ヒートマップ（ｈｅａｔ ｍａｐ）とも呼ばれる。確率ボリューム３４は、医用撮像データにおける１セットの位置の各々について、当該位置における組織が第１のクラスの組織に属する確率を備える。例えば、位置はボクセル位置であってよい。本実施形態では、第１のクラスの組織は、虚血の兆候を示す組織である。各確率値は、０と１の間の値である。

いくつかの実施形態では、確率ボリューム３４は、例えば、組織の複数のクラスの各々についてのそれぞれの確率など、各位置について複数の確率を備えてもよい。

確率回路２４は、確率ボリューム３４を、閾値適用回路２６に渡す。

ステージ３８において、閾値適用回路２６は、患者情報を受け取る。患者情報は、医用撮像データのセットを取得するためにスキャンされた患者に関連付けられる。なお、患者情報は、患者に特有な臨床情報を含む。

本実施形態において、患者に特有な臨床情報は、脳卒中の症状の発症からの時間を含む。いくつかの状況では、発症からの時間は、患者が正常であると最後に認知されて以来の時間として概算されてもよい。

他の実施形態では、患者に特有な臨床情報は、確率ボリュームの閾値に関連し得る任意の情報を含むことができる。

また、患者に特有な臨床情報は、患者の医療記録、または、患者の医療記録の一部を含むことができる。例えば、いくつかの実施形態では、患者に特有な臨床情報は、人口統計学的属性情報（例えば、年齢、性別、民族的帰属のうちの少なくとも一つ）、バイタルサイン情報（例えば、血圧情報）、または、患者の過去または現在の医学的な状態についての情報（患者の医学的な状態に関する情報）の少なくとも一つを含むことができる。患者に特有な臨床情報は、アルコール摂取に関する情報、喫煙などの生活様式ファクタについての情報（患者の生活様式に関する情報）を含んでもよい。また、患者に特有な臨床情報は、現在または過去の病状についての情報、現在または過去の診断についての情報を含むこともできる。

患者に特有な臨床情報は、例えば、医用撮像データセットを形成する画素の強度値（ピクセル、ボクセルの値）だけでなく、医用撮像データセットを形成する画素の強度値以外の情報（付帯情報等）等、患者に関係する任意の情報を含むことができる。いくつかの実施形態では、患者に特有な臨床情報は、医用撮像データのセットに関連付けられるメタデータの中に見出されてもよい。例えば、患者の年齢や性別は、ＤＩＣＯＭに準拠したデータセットから取得されてもよい。

患者に特有な臨床情報は、任意の好適な方法によって取得されてよい。いくつかの実施形態では、患者に特有な臨床情報は、ユーザによって入力することもできる。いくつかの実施形態では、患者に特有な臨床情報は、機械学習モデルを用いて取得される。機械学習モデルは、例えば、患者の医療記録から患者の情報の所望の項目を抽出することなど、データセットから患者に特有な臨床情報を抽出するようにトレーニングされる。モデルトレーニングプロセスの例が、図３を参照して、以下に記載される。

ステージ４０において、閾値適用回路２６は、患者に特有な臨床情報に基づいて閾値を決定する。閾値は、０と１の間の確率の値である。本実施形態において、患者に特有な臨床情報は、発症からの時間である。閾値適用回路２６は、脳卒中の症状の発症の時間の関数として閾値を与える閾値関数を用いて、閾値を決定する。閾値関数４２が図２に示される。

閾値適用回路２６は、患者に特有な発症からの時間を閾値関数４２に対して入力することによって、患者に特有な閾値を決定する。

本実施形態において、閾値関数は、マニュアルで定義される。閾値関数は、経験則（ｈｅｕｒｉｓｔｉｃｓ）（臨床的な知見）を用いて定義される。

いくつかの実施形態において、閾値関数は、最小値と最大値との間の線形補間によって定義される。発症からの時間が、補間量を決定するために用いられてもよい。閾値関数は、補間レート（ｉｎｔｅｒｐｏｌａｔｉｏｎ ｒａｔｅ）を決定するために患者に特有な臨床情報を用いて予め決められた値の間を補間することによって作用してよい。代わりの実施形態では、任意の好適な補間関数、例えば、高次の補間関数、が用いられてよい。

他の実施形態では、閾値関数は、データから学習される。データからの閾値関数の学習が、図３を参照して以下に記載される。

いくつかの実施形態では、おおよその閾値が最初に決められてよく、閾値は、おおよその閾値を修正することによって得られる。例えば、閾値適用回路２６は、受信者操作特性（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ：ＲＯＣ）解析を用いて、おおよその閾値のための値を決定することができる。他の実施形態において、任意の好適な方法が、おおよその閾値を得るために用いられてよい。いくつかの実施形態において、固定のデフォルトの閾値が、おおよその閾値として用いられてよい。

いくつかの実施形態において、有効範囲が、閾値が決定される前に、閾値について設定される。例えば、閾値が臨床的に有効な結果を与えることを確実にするために、最大値及び最小値の少なくとも一方が、閾値を制限するために用いられる。本実施形態の閾値関数４２を生成するために用いられている臨床的に考慮すべき事項を考慮に入れる。

急性脳卒中が疑われる場合、通常、患者の脳のＮＣＣＴスキャンが取得される。ＮＣＣＴスキャンは、臨床的な決定の基調をなすために使用される。特に、ＮＣＣＴスキャンは、組織プラビノーゲン活性化因子（ｔｉｓｓｕｅ Ｐｌａｓｍｉｎｏｇｅｎ Ａｃｔｉｖａｔｏｒ：ｔＰＡ）が患者に投与されるべきであるか否かの決定の基調をなすために用いられる。

ｔＰＡを投与するとの決定は、慎重に考えられなければならない。ある状況では、ｔＰＡの投与は、出血に因る悪影響を生じさせる可能性がある。

ｔＰＡは、発症からの時間が大きい（例えば、４．５時間）場合に禁忌となる。発症からの時間が増すにつれ、ｔＰＡの副作用が効能に勝り始めることが予期される。

ｔＰＡは、梗塞が大きい（例えば、７より上のＡＳＰＥＣＴＳ（Ａｌｂｅｒｔａ Ｓｔｒｏｋｅ Ｐｒｏｇｒａｍｍｅ Ｅａｒｌｙ ＣＴ Ｓｃｏｒｅ）のスコア）の場合に禁忌となる。

虚血性梗塞は、低吸収シグナル（ｈｙｐｏｄｅｎｓｅ ｓｉｇｎａｌ）としてＮＣＣＴスキャン上に現れる。発症からの時間が増すほど、低吸収シグナルがより容易に見ることができるようになることが、典型的な症例である。

ＣＴモダリティ上の虚血の可視的なサインを検出する感度は、発症後３時間以内で４０％から６０％であり（Ｐａｔｅｌ ｅｔ ａｌ, “Ｌａｃｋ ｏｆ ｃｌｉｎｉｃａｌ ｓｉｇｎｉｆｉｃａｎｃｅ ｏｆ ｅａｒｌｙ ｉｓｃｈｅｍｉｃ ｃｈａｎｇｅｓ ｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｉｎ ａｃｕｔｅ ｓｔｒｏｋｅ”, ＪＡＭＡ. ２００１ Ｄｅｃ １２；２８６（２２）：２８３０・８）、いくつかのサインについて６時間以内で７５％に増加する（Ｂｒｏｄｅｒｉｃｋ, “Ｒｅｃａｎａｌｉｚａｔｉｏｎ ｔｈｅｒａｐｉｅｓ ｆｏｒ ａｃｕｔｅ ｉｓｃｈｅｍｉｃ ｓｔｒｏｋｅ”, Ｓｅｍｉｎ Ｎｅｕｒｏｌ １９９８；１８（４）：４７１・４８４）。

本実施形態では、確率ボリュームのための所望の閾値が、異なる臨床的なシナリオにおいて異なってよい。

発症から多くの時間が経過した場合、臨床医は、ｔＰＡ投与のリスクを出血の可能性とバランスさせることを望む。臨床医は、一般的に、彼らの決定を確信できるように、確信のある予見を望む。更に、より強い低吸収シグナルが経時的に得られることが期待される。虚血性梗塞は、おそらく、より強い吸収性シグナルを有する。従って、発症から多くの時間の経過では、より高い閾値が望ましい。より高い閾値は、より高い信頼性を与えると考えてよい。

発症から少ない時間の場合には、臨床医は、虚血性脳卒中が起こっていると確信できない。一般的に、臨床医は、脳卒中が進行しているであろうという何らかの兆候を欲する。臨床医は、脳卒中らしくみえた他疾患（ｓｔｒｏｋｅ ｍｉｍｉｃｓ）を除外することを望む。臨床医は、おそらく、彼らが自信が決定なすことができるように、すべての可能性のある虚血領域を見ることを望む。発症から少ない時間経過の場合には、大きな閾値は、臨床医が梗塞を何も見られないという結果を生じる可能性がある。従って、発症から少ない時間では、より低い閾値が好ましい。より低い閾値は、より低い信頼性を与えると考えられる。

患者に応じた閾値が得られると、閾値適用回路２６は、患者に応じた閾値を、確率回路２４によって出力された確率ボリュームに対して適用する。閾値適用回路は、バイナリマスクを取得するために、患者に応じた閾値を確率ボリュームに対して適用する。

図２は、同じ確率ボリュームに対して異なる閾値を適用することによって得られる異なるバイナリマスク４４、４６、４８を示す。異なる閾値が、発症からの異なる時間に対応するように選択される。

バイナリマスク４４は、発症からの時間が１時間に対応する。低い閾値が、発症からの少ない時間に従って選択される。低い閾値は、大きな領域が虚血として分類されるという結果になる。

バイナリマスク４６は、発症からの時間が２時間に対応する。より高い閾値が選択され、より小さい領域が虚血として分類されるという結果になる。

バイナリマスク４８は、発症からの時間が３時間に対応する。更により高い閾値が選択され、更により小さい領域が虚血として分類されるという結果になる。

図２の実施形態において、閾値適用回路２６は、１つのバイナリマスクを取得するために用いられる１つの閾値を出力する。異なるバイナリマスク４４、４６、４８が、図２の方法において異なる閾値に対応する異なる例として示される。他の実施形態では、閾値適用回路２６は、任意の好適な数のバイナリマスクを取得するために用いられる、任意の好適な数の閾値を出力してよい。

ステージ５０において、画像が、修正された閾値を用いて、臨床医に示される。画像レンダリング回路２８は、ステージ３０で取得された医用撮像データのセットから画像をレンダリング（描画）する。画像は、閾値適用回路２６によって出力される閾値に対応するバイナリマスクを用いてレンダリングされる。レンダリングされた画像は、臨床医に対して表示される。

虚血として分類される領域は、レンダリングされた画像において可視的に区別される。例えば、虚血と分類される脳の領域は、脳の残りの部分とは異なる色を用いてハイライトされる。虚血と分類された領域は輪郭が描かれてもよい。虚血と分類された領域は、レンダリングされた画像においてラベル付けがされてもよい。

画像は、確率の値を表すヒートマップを備えてよい。閾値を適用することによって決定されている領域が、ヒートマップとともに提示されてよい。例えば、閾値が適用された領域がヒートマップ上に重ねられる。

発症から短い時間では、臨床医は、虚血の兆候を有するかもしれない大きな領域の組織を示される。そして、臨床医は、可能性のある兆候について、この大きな領域をレビューすることができる。この時点では、虚血の可視的な兆候は、非常にかすかである可能性がある。

発症からより長い時間では、臨床医は、より高い信頼性をもって、組織のより小さい領域を示される。この時点で、虚血の兆候は、より見ることができるようになっている可能性がある。臨床医がｔＰＡを用いることを考えている場合、臨床医が虚血の高い確信をもっていることが重要である。

ステージ５２において、臨床医は、閾値の制御を提供される。臨床医は、彼らが望む任意の閾値を選択することができる。画像レンダリング回路２８は、臨床医によって選ばれた閾値を用いて、医用撮像データから画像をレンダリングする。新たな閾値に従って虚血と分類される領域が、レンダリングされた画像において可視的に区別される。

臨床医は、閾値関数によって取得された閾値に対して、異なる閾値を選択してよい。臨床医は、彼らが望む場合、情報の全てを見てもよい。例えば、表示は、予めコンピュータ処理された感度、特異度、他のパラメータのうち少なくとも一つについての値を示してよい。

多くの場合において、閾値は、自動的に決定されるだけであってもよい。臨床医は、閾値を調節する必要がない。ステージ５２は、オプションであると考えられてもよい。

上記記載において、概略的に、臨床医を引き合いに出した。しかし、図２に説明されたような方法は、例えば、任意の医者、放射線技師、または、研究者など、任意のユーザによって使用されることができる。

閾値を選択するために患者の情報を用いることにより、異なる閾値が各患者に適用される。急性脳卒中虚血検出の場合では、発症からの時間が、なされなければならない臨床的な決定（この場合には、ｔＰＡを投与するか否かの決定）に合致するように閾値を調節するために用いられる。

ある状況において、例えば、セグメンテーションアルゴリズムなどの機械学習アルゴリズムに対する入力として患者情報を含めることは難しいかもしれない。図２の実施形態において、閾値を適用するステップは、最初のセグメンテーションと組み合わせて患者情報が取り入れられる２次的なステージとして用いられる。従って、患者に特有な臨床情報に応じた結果が得られる。

図２の方法は、虚血の兆候が初期の段階では非常にかすかであるので、虚血において特に有用である。他の実施形態では、図２の方法に類似の方法が、他の病気または病状の兆候に適用されてよい。例えば、患者に特有な臨床情報が、結果についてのアルゴリズムの確実性、セグメンテーションのサイズに影響するような任意のセグメンテーションタスクにおいて、図２の方法は有用である。図２の方法は、区分けされるべきターゲットの境界が明瞭でない場合に、特に有用である。

図２の実施形態において、閾値関数は、発症の時間に基づいて閾値を取得するために用いられる。他の実施形態において、閾値関数は、任意の好適な患者に特有な臨床情報に基づいて閾値を決定してよい。閾値関数は、例えば、発症からの時間と年齢と性別とを合わせたような、患者に特有な臨床情報に含まれる複数の項目に基づいて閾値を決定してよい。

いくつかの実施形態において、図２の方法は、肝線維症のセグメンテーションに適用される。閾値を決定するために用いられる患者に特有な臨床情報は、例えば、患者がアルコール乱用の経歴を有するか否かについての情報、または、アルコール乱用の患者の履歴の細目（例えば、アルコール乱用の期間）を含んでもよい。アルコール乱用についての情報は、肝線維症のセグメンテーションのために確率ボリュームを区分けするために用いられる。

いくつかの実施形態において、図２の方法は、動脈石灰化または動脈硬化のセグメンテーションに適用される。閾値を決定するために用いられる患者に特有な臨床情報は、例えば、喫煙の患者の履歴（喫煙に関する情報）、患者の体重変化に関する情報、動脈石灰化または動脈硬化の存在に関連するファクタに関連する情報を含んでよい。

いくつかの実施形態において、図２の方法は、内臓脂肪のセグメンテーションに適用される。閾値を決定するために用いられる患者に特有な臨床情報は、例えば、患者の民族的帰属ついての情報を含んでよい。

いくつかの実施形態において、図２の方法は、前立腺のセグメンテーションに適用される。閾値を決定するために用いられる患者に特有な臨床情報は、例えば、患者の年齢についての情報を含んでよい。

例えば、図２の方法は、臓器などの解剖学的特徴、癌腫瘍などの病変のセグメンテーションに適用される。閾値決定に用いられる患者に特有な臨床情報は、例えば、癌のタイプについての情報、患者に与えられている治療法についての情報を含んでよい。

ある状況において、腫瘍は、撮像において見られる特徴が腫瘍の真の変化に合致しない、みかけの奏効（ｐｓｅｕｄｏｒｅｓｐｏｎｓｅ）または偽性進行（ｐｓｅｕｄｏｐｒｏｇｒｅｓｓｉｏｎ）を示す可能性がある。例えば、みかけの奏効または偽性進行は、最近の治療に因るものである可能性がある。最近の治療の知識は、例えば、みかけの奏効または偽性進行を明らかにするため、閾値を調節するために用いられてよい。異なる閾値、または、閾値を変えることは、アルゴリズムにおける不確実性を明らかにするために用いられてよい。閾値適用回路２６は、この様に決定された少なくとも一つの閾値を用いて医用データセットを処理し、少なくとも一つの解剖学的特徴及び少なくとも一つの病変のうち少なくとも一方が存在するか否かの情報を含む医用データセット（例えば、閾値によってセグメンテーションされた画像）を生成する。

図２の実施形態において、１つの画像がユーザに対して表示される。閾値関数は、発症の時間に基づいて１つの閾値を得るために用いられる。閾値適用回路２６は、複数の閾値を取得（決定）する。閾値適用回路２６は、患者の医用データセットに対して複数の閾値を用いた処理を実行する。例えば、閾値適用回路２６は、患者の医用データセットに対して少なくとも一つの閾値を用いたセグメンテーション処理を実行し、セグメンテーション処理の結果を可視化するための医用データセットを生成する。例えば閾値が一つである場合には、１つの画像が、１つの閾値を用いて得られたバイナリマスクとしての医用データセットを使用してレンダリングされる。

他の実施形態において、複数の閾値が、１つの医用撮像データセットから決定される。例えば、異なる閾値が、異なる臨床的利用または用途のために適用可能である。いくつかの実施形態において、閾値適用回路２６は、好ましい閾値の周辺のある範囲の閾値を取得する。いくつかの実施形態では、ある範囲のあらかじめ定められた閾値が用いられてよい。

例えば、閾値適用回路２６は、患者の医用データセットに対して複数の閾値のそれぞれに対応するセグメンテーション処理を実行し、各セグメンテーション処理を可視化するための医用データセットを生成する。生成された医用データセットを用いたレンダリング画像により、複数の閾値の各々に対応する領域がユーザに対して表示される。複数の異なる領域は、例えば、異なる色またはパターンを用いることによって、１つの画像の中に可視的に示すことができる。複数の領域は、複数の層として示されてよい。複数の領域は、複数の輪郭線を有する地形図のように示されてもよい。

いくつかの実施形態では、閾値適用回路２６は、異なる信頼度レベルに対応する閾値を取得する。レンダリングされた画像は、信頼度の隔たりを可視的に示す。信頼度の隔たりは、例えば、色または輪郭間の距離のような可視的な標示を用いて示される。

また、他の実施形態では、画像の各々が複数の閾値の異なる１つに対応する領域を示した、複数の画像がレンダリングされる。例えば、閾値適用回路２６は、複数のプロセスに対応する複数の閾値を取得（決定）する。閾値適用回路２６は、患者の医用データセットに対して複数の閾値のそれぞれに対応するセグメンテーション処理を実行し、複数のプロセスのそれぞれに対応するセグメンテーション処理を可視化する医用データセットを生成する。画像レンダリング回路２８は、生成された医用データセットを用いて、複数のプロセスに対応した、セグメンテーション処理が可視化された複数のレンダリング画像を生成する。

いくつかの実施形態では、ユーザは、複数の画像を示す１画面を提供される。また、ユーザは、複数の画像の各々について、関連付けられた閾値を示されてもよい。ユーザは、彼らが画像のどれを検査したいかを選択することができる。例えば、ユーザは、画像の１つの上をクリックして、それを拡大することができる。画像上をクリックすることにより、ユーザは、複数の閾値の１つを選択すると考えられる。

いくつかの実施形態では、閾値適用回路２６は、ユーザ入力に応答して、少なくとも一つの閾値を調整する。閾値適用回路２６は、患者の医用データセットに対して調整された閾値を用いて、医用データセットに対してセグメンテーション処理等を実行する。また、少なくとも一つの閾値を調整するための入力インタフェースとして、スライダを表示することもできる。すなわち、各画像は、その画像をレンダリングするために用いられた閾値、各閾値を調整するためのスライダを提供される。スライダ位置を調節することは、閾値を調節するという効果を示す。

いくつかの実施形態では、ディスプレイは、アルゴリズムにおける不確実性の程度の可視的な標示を提供するために、複数の閾値を使用できる。複数の閾値は、可能性のある結果の範囲を示すために用いられる。複数の閾値は、異なる仮定の下での結果（例えば、疑われるみかけの奏効または偽性進行を有した結果、または、疑われるみかけの奏効または偽性進行を有さない結果）を示すために用いられてよい。

いくつかの実施形態では、閾値は、患者情報パラメータの臨床的に有効な範囲の最大値と最小値について決定される。レンダリングされた画像または複数の画像は、最大値と最小値についての区分された領域を示す。また、レンダリングされた画像または複数の画像は、当該パラメータについての実際の患者に特有な値について予測された領域、ユーザによって選択された閾値についての領域を示してもよい。最大と最小の領域は、例えば、点線の輪郭などによって、可視的に示される。

レンダリングされた画像における区分けされた領域の各々は、当該領域を得るために用いられた閾値を示す、関連付けられた標示（例えば、ラベルまたは鍵）を有してよい。区分けされた領域の各々は、区分けされた当該領域を得るために用いられた患者に特有な臨床情報（例えば、発症の時間）を示す、関連付けられた標示を有してもよい。区分けされた領域の各々は、例えば、推定された感度、特異度など、当該領域についての少なくとも一つの統計的な程度のための推定値を示す、関連付けられた標示を有してもよい。

いくつかの実施形態では、臨床データの複数の項目が閾値の計算において考慮される。計算は、データの個々の項目が無視されることができるように設計される。複数の閾値が計算されてよく、各々の値は、臨床情報の異なる組み合わせに対応する。例えば、閾値の計算は、年齢、性別、喫煙歴を考慮に入れてよい。第１の閾値は、性別と喫煙歴を考慮に入れることなく、患者の年齢のみに基づいて決定される。第２の閾値は、年齢または喫煙歴を考慮に入れることなく、性別のみに基づいて決定される。第３の閾値は、年齢または性別を考慮に入れることなく、喫煙歴のみに基づいて決定される。更なる閾値は、年齢、性別、喫煙歴の異なる組み合わせにもとづいて決定されてよい。これは、データの可能な組み合わせの各々について１つである複数のセグメンテーションを効果的に生じる。

これらのオプションの中で、もっとも重要なものは、患者に特有な全てのデータを考慮するセグメンテーションと、患者に特有なデータのどれをも考慮しないセグメンテーションである。

ユーザは、臨床情報の異なる項目を考慮から除外する能力を与えられてもよい。例えば、ユーザは、データの各項目に対応するチェックボックスを提供される。チェックボックスにチェックを入れるか、チェックを入れないかによって、ユーザは、情報のどの項目が閾値の決定において考慮され、従って、区分けされた領域において考慮されることを望むかを示すことができる。従って、ユーザは、異なる臨床情報の空間を探索し、その臨床情報が考慮されるか、または、考慮されない場合に、セグメンテーションがどのように変化するかを容易に探索することができる。

いくつかの実施形態では、ディスプレイ上の可視的な標示は、ユーザに、医用用途が患者に特有な臨床情報に基づいて適合された閾値を用いることを伝えることができる。可視的な標示は、ユーザに、患者に特有などの情報が閾値のために用いられているのかを伝えることができる。例えば、可視的な標示は、ユーザに、閾値が発症の時間に基づいて選択されていることを伝える。ディスプレイは、表示された結果が閾値の変化に大きく依存していることを説明する警告表示を含んでもよい。

図２の実施形態において、閾値関数はマニュアルで定義される。他の実施形態では、閾値関数はデータから学習される。図３は、閾値関数をトレーニングする方法を概略で示したフローチャートである。

ステージ６０において、トレーニング回路２９は、トレーニングデータを受け取る。トレーニングデータは、セグメンテーションプロセスを有する医用アプリケーションのリアルタイムでの使用を通じて収集されている。医用アプリケーションにおいて、臨床医は閾値を選択することができ、それを用いて、セグメンテーションプロセスの結果を見る。臨床医は、彼らがより有用であると考える閾値をかなり頻繁に選択すると仮定する。トレーニング回路２９または他の回路は、関連付けられた症例についての患者に特有な臨床情報とともに、決定をした場合に臨床医が最も有用であると判断した閾値を追跡する。

複数のトレーニングデータは、複数のデータサンプルを備える。各データサンプルは、医用撮像データのセットに関連する患者に特有な臨床情報を備える。例えば、複数のトレーニングデータのそれぞれは、入力データとしての患者に特有な臨床情報と、教師データとしての、選択された少なくとも一つの閾値を教師データとを含む。例えば、患者に特有な臨床情報は、発症の時間を備えてもよい。また、各データサンプルは、医用撮像データの当該セットを見る場合に使用するために臨床医によって選択された少なくとも一つの閾値を備える。いくつかの実施形態では、データサンプルは、また、医用撮像データの当該セットを備える。更なる実施形態では、データサンプルは、患者の成果についてのデータを備える。例えば、データサンプルは、ｔＰＡが患者に投与されたか否かについての情報を備えてよい。データサンプルは、患者がｔＰＡの投与に良い反応を示したか、または、不十分な反応を示したかについての情報を備えてもよい。

臨床医によって選択された閾値は、トレーニングにおける使用のためのグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）を提供する。

ステージ６２において、トレーニング回路２９は、トレーニングデータに依存して、閾値関数をトレーニングする。閾値関数をトレーニングする任意の好適な方法が使用されてよい。図３の実施形態において、閾値関数は、発症からの時間に依存して閾値を出力するようにトレーニングされる。更なる実施形態において、閾値関数は、追加または代わりの患者に特有な臨床情報に依存して閾値を出力するようにトレーニングされてもよい。更なる実施形態において、臨床的な成果を表す結果変数に依存して閾値を出力するようにトレーニングされてもよい。

ステージ６４において、閾値適用回路２６は、トレーニングデータの一部を形成しない新たな確率ボリュームに閾値を適用するために、トレーニングされた閾値関数を使用する。閾値適用回路２６は、トレーニングされた閾値関数に、患者に特有な臨床情報を入力する。トレーニングされた閾値関数は、少なくとも一つの閾値を出力する。

ステージ６２の１つの単純な実施形態において、トレーニング回路２９は、患者に特有な臨床情報の１つまたは複数の項目についての値に対して、選択された閾値をプロットする。トレーニング回路２９は、結果としてのプロットに曲線を適合させる。

より複雑な実施形態では、トレーニング機能は、例えば、畳み込みニューラルネットワークといった、機械学習モデルを備える。トレーニング回路２９は、機械学習モデルへの入力としてトレーニングデータを与える。この場合、ステージ６２の出力は、トレーニングされたモデルである。ステージ６４において、閾値適用回路２６は、患者に特有な臨床情報をそのトレーニングされたモデルに与える。トレーニングされたモデルは、少なくとも一つの閾値を出力する。

いくつかの実施形態において、トレーニングデータは、グラウンドトゥルースデータを含まない。トレーニング回路２９は、教師なし学習プロセス（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｐｒｏｃｅｓｓ）を用いて閾値関数をトレーニングする。他の実施形態において、トレーニングデータは、いくらかのラベリング（ｌａｂｅｌｌｉｎｇ）、アノテーション（ａｎｎｏｔａｔｉｏｎ）を含むが、グラウンドトゥルース閾値を含まない。弱い教師あり（ｗｅａｋ ｓｕｐｅｒｖｉｓｉｏｎ）が閾値関数をトレーニングすることにおいて使用されてよい。

上述された実施形態において、セグメンテーションプロセスは、スキャナでスキャンすることによって取得される医用撮像データに適用される。

他の実施形態において、医用撮像データは、任意の好適なタイプの医用撮像データを備えてよい。例えば、医用撮像データは、例えば写真からの、光学的データであってよい。医用撮像データは、病理データであってよい。医用データは、例えば、腹腔鏡検査といった、撮像装置が患者の体内に挿入される処置から取得されてよい。

更なる実施形態において、図２を参照して上述されたような方法は、例えば、任意の好適な機械学習プロセスなど、複数の値を有した、または、連続的に値を有した出力を生成する任意の好適なプロセスを実行するために用いられてよい。プロセスはセグメンテーションを備えなくてもよい。プロセスは、複数の値を有した、または、連続的に値を有した任意の出力を得るために、データセットの任意の好適なデータ項目を処理することを備えてよい。出力は確率でなくてもよい。任意の好適な閾値が、出力に適用されることができる。

図２の方法は、人間または動物の任意の対象に関する医用データを用いて実行されてよい。図２の方法は、任意の好適な病気または病状の検出及び診断の少なくとも一方において使用されてよい。例えば、図２の方法は、心臓発作により引き起こされている心臓に対する損傷を見るために用いられてよい。

更なる実施形態において、図２の方法は、複数の値を有した出力、または、連続的に値を有した出力をもった任意の好適なプロセスの出力の閾値適用を行うために用いられる。プロセスは、データセットにおける任意のデータ項目を処理することを備えてよい。閾値を適用することは、データ項目の部分を形成しない任意の好適な入力に基づいてよい。

ある実施形態は、医用撮像データを処理する方法を提供する。この方法は、連続的に値を有したセグメンテーション出力を得るために、医用撮像データにセグメンテーションプロセスを適用することと； 患者に特有な臨床情報に応じて少なくとも一つの閾値を決定することと； 閾値を適用されたセグメンテーション出力を得るために、決定された少なくとも一つの閾値を、連続的に値を有したセグメンテーション出力に適用することと； を備える。

ある実施形態は、医用撮像装置を提供する。この医用撮像装置は、連続的な出力をもったセグメンテーションアルゴリズムと； アルゴリズム出力をグループ分けするために使用される特定のレンジ（閾値）と； 患者に特有な臨床情報に応じた閾値算出と； を備える。

セグメンテーションアルゴリズムは、畳み込みニューラルネットワークであってよい。閾値算出は、機械学習アルゴリズム（又は機械学習モデル）をトレーニングすることによって決定されてよい。機械学習アルゴリズムは、何らかの方法でアルゴリズム出力に依存する結果変数を最大化するようにトレーニングされてよい。複数の閾値が、出力を複数のグループにグループ分けするために用いられてよい。

結果は、医用イメージングアプリケーションの中で見ることができる。元の数的な結果も見ることができる。閾値はマニュアルで調節されてよい。グループ分けされた結果は、連続値の指標（例えば、ヒートマップ）を含んでよい。

閾値関数は、補間レートを決定するために、患者に特有な臨床情報を用いて予め定められた値の間を補間することによって作用する。

アルゴリズムは、脳卒中虚血を予測することをであってよい。患者に特有な臨床情報は、脳卒中の発症からの時間を含む。

特定の回路が本明細書に記載されているが、代わりの実施形態では、これらの回路の１つまたは複数の機能は、１つのプロセッシングリソースまたは他のコンポーネントによって提供されることができる。または、１つの回路によって提供される機能は、２つまたはそれより多くのプロセッシングリソースまたは他のコンポーネントを組み合わせることによって提供されることができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのような複数のコンポーネントがお互いに離れているか否かにかかわらない。また、複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

以上説明した少なくとも実施形態および変形例等によれば、ボリュームデータに対して、種々の臨床的な事象に適応可能な閾値の選択を実現することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ データ処理装置
１２ コンピューティング装置
１４ スキャナ
１６ ディスプレイ装置
１８ 入力装置
２０ データ記憶部
２２ データ処理部
２４ 確率回路
２６ 閾値適用回路
２８ 画像レンダリング回路
２９ トレーニング回路

Claims (12)

1. 患者に特有な情報であって脳卒中の発症からの時間を含む臨床情報に応じた少なくとも一つの閾値を、閾値関数による学習済モデルを用いて、脳卒中の発症からの経過時間から決定する決定部と、
   前記患者の医用データセットに対して前記少なくとも一つの閾値を用いた処理を実行する処理部と、
   連続的若しくは離散的な確率からなる確率ボリュームとしての前記医用データセット、又は複数の段階的な値からなる段階ボリュームとしての前記医用データセットを、医用撮像データから出力するデータ出力部と、を備え、
   前記データ出力部は、前記医用データセットに含まれるボクセルが、少なくとも一つの解剖学的特徴及び少なくとも一つの病変のうち少なくとも一方に属する確率又は値を決定する処理を実行し、
   前記処理部は、前記確率又は前記値が決定された前記医用データセットに対して前記少なくとも一つの閾値を用いた処理を実行する、
   データ処理装置。
2. 前記処理部は、前記少なくとも一つの閾値を用いて、前記少なくとも一つの解剖学的特徴及び前記少なくとも一つの病変のうち少なくとも一方が存在するか否かを示す情報を含む前記医用データセットを生成する、
   請求項１に記載のデータ処理装置。
3. 前記病変は、脳卒中虚血を含む、
   請求項２に記載のデータ処理装置。
4. 患者に特有な前記臨床情報は、人口統計学的な属性情報、年齢、性別、民族的帰属、身長、体重、血圧情報、バイタルサイン情報、患者の医学的な状態に関する情報、診断についての情報、医療処置に関する情報、患者の生活様式に関する情報、アルコール摂取に関する情報、喫煙に関する情報の少なくとも一つ含む、
   請求項１乃至３のうちいずれか一項に記載のデータ処理装置。
5. 前記閾値の決定は、機械学習アルゴリズムをトレーニングすることによって得られる前記学習済モデルを用いて実行される、請求項１乃至４のうちいずれか一項に記載のデータ処理装置。
6. 前記決定部は、複数の前記閾値を決定し、
   前記処理部は、前記患者の医用データセットに対して複数の前記閾値を用いた処理を実行する、
   請求項１乃至５のうちいずれか一項に記載のデータ処理装置。
7. 前記処理部は、前記患者の医用データセットに対して前記少なくとも一つの閾値を用いたセグメンテーション処理を実行し、前記セグメンテーション処理の結果を可視化する前記医用データセットを生成する、
   請求項１乃至６のうちいずれか一項に記載のデータ処理装置。
8. 前記処理部は、前記患者の医用データセットに対して複数の前記閾値のそれぞれに対応するセグメンテーション処理を実行し、複数の前記セグメンテーション処理を可視化する前記医用データセットを生成する、
   請求項７に記載のデータ処理装置。
9. 前記決定部は、複数のプロセスに対応する複数の前記閾値を決定し、
   前記処理部は、前記患者の医用データセットに対して複数の前記閾値のそれぞれに対応するセグメンテーション処理を実行し、前記複数のプロセスのそれぞれに対応するセグメンテーション処理を可視化する前記医用データセットを生成する、
   請求項８に記載のデータ処理装置。
10. 前記処理部は、ユーザ入力に応答して、前記少なくとも一つの閾値を調整する、
    請求項１乃至９のうちいずれか一項に記載のデータ処理装置。
11. 前記ユーザ入力は、閾値の選択、閾値を調整するスライダの移動、複数の閾値に対応する複数の画像からの画像選択、患者に特有な臨床情報の少なくとも一つの項目の選択のうち、少なくとも一つを含む、
    請求項１０に記載のデータ処理装置。
12. 患者に特有な情報であって脳卒中の発症からの時間を含む臨床情報に応じた少なくとも一つの閾値を、閾値関数による学習済モデルを用いて、脳卒中の発症からの経過時間から決定し、
    前記患者の医用データセットに対して前記少なくとも一つの閾値を用いた処理を実行し、
    連続的若しくは離散的な確率からなる確率ボリュームとしての前記医用データセット、又は複数の段階的な値からなる段階ボリュームとしての前記医用データセットを、医用撮像データから出力すること、を備えるデータ処理方法であって、
    前記医用データセットに含まれるボクセルが、少なくとも一つの解剖学的特徴及び少なくとも一つの病変のうち少なくとも一方に属する確率又は値を決定する処理を実行し、
    前記確率又は前記値が決定された前記医用データセットに対して前記少なくとも一つの閾値を用いた処理を実行すること、
    をさらに備えるデータ処理方法。
    

Images