JP2011508917A - クロスモダリティによる事例ベースのコンピュータ支援診断のための方法及びシステム - Google Patents

Abstract

クロスモダリティによる事例ベースのコンピュータ支援診断のためのシステム及び方法は、複数の事例を格納することを有する。各事例は、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む。当該システム及び方法は更に、第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングすること、及び該関係を格納することを有する。

Description

本出願は概して、クロスモダリティによる事例ベースのコンピュータ支援診断（“ＣＡＤｘ”）のためのシステム及び方法に関する。具体的には、該システム及び方法は、ＣＡＤｘシステムのユーザが異なる複数の撮像モダリティにまたがって類似事例を検索することを可能にし得る。

事例ベースのＣＡＤｘシステムは、臨床医が経験によって、また、以前に見た事例を参照することによって、知識を取得するという概念に基づく。臨床医が例えば肺癌のＣＴスキャン（又は、Ｘ線、磁気共鳴撮像（ＭＲＩ）、超音波、陽電子放出型断層撮影（ＰＥＴ）などのその他のモダリティスキャン）に基づいて診断を下す際に意思決定支援システムが臨床医を支援することが可能な一手法は、既に診断され且つ問題の事例と類似する以前の事例を提供することである。事例ベースの１つの考え方は、診断すべき肺結節に類似する肺結節が、既に診断された結節のデータベースから検索され、放射線医に提示されるというものである。これが事例ベースＣＡＤｘシステムの基本的な前提である。

事例ベースのＣＡＤｘは典型的に、データベースから、例えば病状すなわち悪性であるか良性であるかが知られた腫瘍又は病変などの、疾患に関する情報を取り出すことを必要とする。この情報は典型的に、診断すべき腫瘍の診断スキャンと視覚的に比較するための、既に診断された腫瘍の診断スキャンを含む。腫瘍は、例えば、患者の肺の中とし得る。腫瘍の診断スキャンは、数多くの撮像技術のうちの何れか１つによって捕捉され得る。撮像技術の幾つかは上述した。スキャンから、各特徴が腫瘍の特定の視覚的特徴を表すような腫瘍の特徴群が計算され得る。診断すべき腫瘍、及びデータベースの腫瘍群は、共通の特徴空間、すなわち、各次元がＮ個の測定される特徴のうちのそれぞれの１つを表すＮ次元空間、に配置されることができる。データベースの何れかの腫瘍と診断すべき腫瘍との間の類似性を、特徴空間内での２つの腫瘍の近接性に基づいて、暫定的且つ客観的に調査することができる。典型的に、データベースから、最も近接する複数の腫瘍が類似腫瘍として取り出される。取り出された実例は、視覚的な比較のため、診断すべき腫瘍と並べて表示され得る。事例ベースのＣＡＤｘはまた、様々な実感を診断することに関して医療関係者を訓練することにも有用である。

事例ベースのコンピュータ支援診断のための方法及びシステムを提供する。

本発明は、複数の事例を格納するステップであり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、格納するステップと、第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングするステップと、前記関係を格納するステップとを有する方法を対象とする。他の一態様において、当該方法は更に、原画像から特徴を抽出するステップと、抽出された特徴と前記特徴関係とに基づいて少なくとも１つの事例を検索するステップと、原画像と検索された事例とを同時に表示するステップとを有する。

システムは、複数の事例を格納するメモリであり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、メモリと、第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングし、該特徴関係を前記メモリに格納するプロセッサとを有する。他の一態様において、プロセッサは更に、原画像から特徴を抽出し、抽出された特徴と前記特徴関係とに基づいて、格納された前記複数の事例のうちの少なくとも１つのを検索し、且つ原画像と検索された事例とを同時に表示する。

システムは、複数の事例を格納する手段であり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、格納する手段と、第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングし、該関係をメモリに格納する手段とを有する。

本発明に従った、乳癌を有する患者とその患者が受けた撮像スキャンとで構成された、クロスモダリティ事例ベースＣＡＤｘシステム用のデータベースの一典型例を示す図である。 本発明に従った、複数の撮像モダリティにまたがっての相対的な特徴比のＣＡＤｘシステムデータベースの一典型例を示す図である。 １つの画像モダリティと他の１つの画像モダリティとの間で、多項式関数を用いて特徴を見積もった一典型例を示す図である。 本発明の典型的な一実施形態に従ったマルチモダリティ画像を検索する方法の一典型例を示す図である。 本発明の典型的な一実施形態に従ったマルチモダリティ画像を検索する方法の更なる一典型例を示す図である。 本発明の他の一実施形態に従ったマルチモダリティ画像を検索する方法の一典型例を示す図である。

以下の典型的な実施形態の説明、及び関連する添付図面を参照することにより、本発明は更に理解され得る。図面において、同様の要素には同一の参照符号を付する。本発明の典型的な実施形態は、事例ベースコンピュータ支援診断（ＣＡＤｘ）システムを用いて、単一のモダリティの画像に基づいて、問題としている事例に類似する以前に診断された事例であってマルチモダリティ画像（例えば、ＣＴスキャン、ＭＲＩ、超音波など）及び患者情報を含む事例を検索するシステム及び方法に関する。具体的には、典型的なシステム及び方法は、事例ベースＣＡＤｘシステムのユーザ（例えば、臨床医、医師、放射線医など）が、問題としている患者の原モダリティ（オリジナルモダリティ）のスキャン（分析されるスキャン）に類似するマルチモダリティ画像を有する事例を、原モダリティにおける特徴のその他のモダリティにおける特徴へのマッピングに基づいて検索することを可能にし得る。検索された事例は、比較のため、問題としている事例と同時に表示され得る。

クロスモダリティ事例ベースＣＡＤｘシステムは、特定の疾患又は病気の患者のデータベースを構築することによって作成される。図１は、乳癌を有する患者及びその患者が受けた撮像スキャンのデータベースの一典型例を示している。データベースは、患者の画像スキャンと画像以外に基づく情報とを含むことができ、例えば患者識別情報、デモグラフィック（人口統計学データ）情報（例えば、年齢、性別）、患者臨床履歴（例えば、過去及び現在の疾患、主な訴え）、家族歴、人口動態統計（血圧、体重など）などの入力項目（エントリー）を含む。様々な画像スキャンモダリティは、例えば、フィルム・マンモグラム、超音波、ＭＲＩ、デジタル・マンモグラムなどとし得る。例えば、患者１はフィルム・マンモグラム及びＭＲＩスキャンを受けているが、超音波は受けていない。患者２はフィルム・マンモグラム、超音波及びＭＲＩスキャンを受けているが、デジタル・マンモグラムは受けていない。異なる癌及び病気に関して同様のデータベースが作成されてもよく、そのデータベースは、例えばＣＴスキャン、Ｘ線、ＰＥＴスキャンなどの更なる画像モダリティを含んでいてもよい。

システムは更に、１つのモダリティから別のモダリティへの特徴マッピングを見出すため、相異なるモダリティにまたがって関心ボリューム（“ＶＯＩ”）を分析する。この情報は、１つのモダリティと別のモダリティとの間での特徴値の比及びマッピングを与える表（テーブル）にデータ投入するために用いられる。例えば、そのようなマッピング方法の１つは因子分析と呼ぶことができ、それは、１つのモダリティの画像に基づく情報を別のモダリティの画像に基づく情報にマッピングするために使用され得る。１つのモダリティから別のモダリティに画像ベースの特徴をマッピングするため、画像から抽出され得る可能な限りの画像ベースの特徴のリストが生成される。これらの特徴は、特徴群が複数の異なる種類の画像モダリティに対応するようなコンテンツ・マトリクスを形成するために使用される。そして、コンテンツ・マトリクスは、利用可能な患者事例に基づいてマッピングされる。利用可能な患者事例は、画像以外に基づく非画像ベースの特徴（例えば、年齢、性別、病気）、及び利用可能な画像モダリティの種類を指し示してもよい。

因子分析は、変数の組を、より少ない数の変数又は因子の組へと削減するために使用され得る統計的手法である。因子分析は、複数の変数間の相互相関のパターンを検査し、互いに高く相関するがその他のサブセット又は因子とは低い相関を示すサブセット（部分集合）が存在するかを決定する。小さい相違を有する特徴は排除され、１つのモダリティの画像特徴と別のモダリティの画像特徴との間でのマッピングが生成された概念値マトリクスが作成される。故に、因子分析から得られた結果に基づいて、原モダリティの画像からの抽出特徴が与えられて事例ベースマルチモダリティ画像を生成するアルゴリズムが設計され得る。

特定の疾患に関して多数のＶＯＩが特定されると、複数のモダリティにおける全ての画像ベースの特徴が計算される。そして、異なる複数のモダリティにおける特徴の傾向を推測するため、因子分析が用いられる。さらには、異なる複数の特徴が複数のモダリティにまたがって関連付けられてもよい。例えば、１つのモダリティにおける密度が、別のモダリティにおけるテクスチャに比例することがある。しかしながら、当業者に理解されるように、因子分析は複数の変数間の相互相関を分析する単なる１つの方法であり、異なる複数のモダリティにおける特徴の傾向を推測するために特徴を分析することが可能である限り、如何なる分析方法が用いられてもよい。代替的な一分析方法は、一組の特徴を別の一組の特徴にマッピングするために多変数回帰を用いるものである。

図２は、特定の疾患又は病気に関しての、複数の撮像モダリティにまたがっての典型的な相対特徴比のテーブルを示している。上述のように、この特徴テーブルは、因子分析、多変数回帰又はその他の特徴分析方法の結果に基づいてデータ投入され得る。この情報が構築されると、１つのモダリティのＶＯＩが、その他のモダリティにおける類似事例を検索するために使用され得る。ＶＯＩから抽出された画像特徴ベクトルが、同一モダリティ内での類似病変の初期検索を可能にする。画像特徴ベクトルは、その他の所望のモダリティに関する画像特徴ベクトルへと変換される。

図２に例示したテーブルにおいては、特徴マッピングを作成するように、ＣＴモダリティ特徴が、様々な画像モダリティ（例えば、超音波、ＭＲＩ、Ｘ線）における対応する特徴に対して指標化されている。特徴マッピングは、異なる複数の画像モダリティにおける同一の特徴又は異なる特徴の間の特徴関係をもたらす。例えば、超音波の棘形成特徴は、ＣＴスキャンから計算されたその特徴の０．２倍であるが、ＭＲＩスキャンから計算された棘形成特徴はＣＴスキャンのそれの５．０倍である。故に、図２に例示した値に従って、棘形成をＣＴスキャンから超音波に変換するためには、ＣＴから計算された特徴値が０．２倍され、ＭＲＩ棘形成値に変換するためには、同一のＣＴ棘形成値が５倍される。残りの特徴（例えば、密度、テクスチャ、平均階調値など）についても同様の変換が為され得る。故に、図２の例において、マッピングは、異なる画像モダリティ間での特徴値の単純な比に基づく。しかしながら、当業者に理解されるように、特定のモダリティにおける未知の特徴値を見積もるために複数の特徴が用いられてもよい。また、上述のケースで、複数のモダリティにおいて棘形成に関連性がなく、超音波スキャンにおけるＶＯＩの棘形成特徴を見積もるために全く異なる特徴が用いられることも生じ得る。

図３は、１つのモダリティにおける特徴を別のモダリティにおける特徴から見積もるために、多項式関数をフィッティングすることによって異なる複数のモダリティ間で特徴を変換する代替的な一手法を示している。図３の例において、画像ベースの特徴は、１つの画像モダリティから計算された特徴を表すｘ軸と、別の画像モダリティからの同一の特徴を表すｙ軸とを有する２次元グラフ上にグラフ化され得る。図３のグラフは、例えば、ｘ軸としてＣＴスキャンにおける棘形成、ｙ軸としてＭＲＩスキャンにおける棘形成を有するとし得る。そして、例示したグラフは、２次の多項式モデルでフィッティングされ得る。図３のカーブの値に基づく例示の２次多項式は：棘形成_ＭＲＩ＝０．４９８１＋１．０２３１×棘形成_ＣＴ−０．２９４２×［棘形成_ＣＴ］^２となり得る。そして、この多項式モデルの方程式が、１つの画像モダリティの特徴を別の画像モダリティにおける同一の特徴にマッピングするために用いられてもよい。

故に、異なる複数の画像モダリティの特徴のマッピングが（例えば、図２−３を参照して説明したようにして）完了した後、問題としている事例に対応する異なるモダリティの画像又は事例が検索され得る。これは、先ず問題としている患者のスキャンから画像ベースの特徴を抽出し、それをマッピングすることによって達成され得る。そして、これらの特徴は、マルチモダリティ画像のデータベース内に含まれるマッピングされた特徴と比較される。画像特徴がマッピングされると、その他の撮像モダリティによるスキャンを含む事例群を検索するアルゴリズムが用いられ得る。このアルゴリズムは、原画像からの特徴を、同一種類の画像における対応する特徴と（例えば、ＣＴ特徴をＣＴ特徴と）、また異なるモダリティからの対応する特徴と（例えば、ＣＴ特徴をＭＲＩ特徴と）比較する。そのようなアルゴリズムの１つが、米国特許出願第６０／８０４，９５５号明細書（Ａｇｎｉｈｏｔｒｉ等の“Ｃｌｉｎｉｃｉａｎ Ｄｒｉｖｅｎ Ｅｘａｍｐｌｅ Ｂａｓｅｄ ＣＡＤｘ”）にて開示されている。しかしながら、当業者に一般的に理解されるように、その他の撮像モダリティによるスキャンを有する事例を検索するために如何なるアルゴリズムが用いられてもよい。例えば、診断すべき事例が患者のＣＴスキャンを用いてのみ達成されるとき、マルチモダリティＣＡＤｘシステムはデータベースから、類似のＣＴスキャンとともに、ＭＲＩ、超音波、及びその他のスキャンを検索してもよい。

図４は、マルチモダリティＣＡＤｘシステムにおける方法１００の一典型例を示しており、ステップ１１０にて、診断対象の患者の単一モダリティスキャンがオリジナルの画像モダリティにて行われる。ステップ１２０にて、原画像上で、画像ベースの特徴の抽出が行われる。そして、ステップ１３０にて、抽出された特徴が、原モダリティの画像からマルチモダリティの画像にマッピングされる。例えば、原患者スキャンがＸ線スキャンである場合、特徴（例えば、密度、テクスチャなど）は抽出されて、Ｘ線スキャンからその他のマルチモダリティ画像（例えば、ＣＴ、ＭＲＩ、超音波など）にマッピングされる。上述のように、異なる複数の画像モダリティにおける特徴間の関係が、例えば、図２に示したような比によって、あるいは図３に示したように、特徴を見積もるために多項式関数をフィッティングすることによって構築され得る。そして、ステップ１３０にて、特徴のこれらの関係が用いられ、診断すべき患者の原モダリティの画像ベース特徴に基づいて、同一あるいは異なるモダリティによる画像を有するその他の事例が検索される。

そして、ステップ１４０にて、問題としている患者の画像ベースの特徴（原モダリティからの画像ベースの特徴、及びマッピングされた特徴）と非画像ベースの情報とが組み合わされる。すなわち、原モダリティからの特徴が、同様のモダリティの画像から計算された特徴、及び異なるモダリティによる画像から計算された特徴と（例えば、問題としている患者のＣＴスキャンから計算された特徴が、検索された画像からのＭＲＩ特徴と）組み合わされ得る。例えば、図１に関連して説明したように、例えば患者の年齢、性別、主な訴え、現在及び過去の該患者の疾患、家族歴、生活スタイル、喫煙歴など、その他の患者データが、検索された様々な画像に関連付けられてもよい。ステップ１４０では、これらその他の非画像ベースの特徴が、画像ベースの特徴と組み合わされてもよい。利用可能な全ての画像モダリティと患者の画像以外の臨床情報とにわたって組み合わされたこれらの特徴は、ステップ１５０にて、事例ベースのマルチモダリティＣＡＤｘを作り出すために使用され得る。故に、ステップ１１０からの単一モダリティ（例えば、Ｘ線）画像を用いることによって、ステップ１５０にて、医師に、類似の特徴を有する更なるＸ線、類似の特徴を有するＣＴ、ＭＲＩ、マンモグラムなど、及び検索されたこれら更なる事例に関する非画像の患者データが提示され得る。

図５は、典型的な他の一実施形態に係るマルチモダリティＣＡＤｘシステムにおける方法２００を示している。方法２００は、方法１００のステップ１３０及び１４０にて実行されるサブステップとし得る。方法２００においては、ステップ２１０にて、原モダリティに基づく類似事例を検索するため、原モダリティに基づく事例ベースＣＡＤｘが作り出される。例えば、問題としている患者のスキャンがＸ線スキャンである場合、システム２００は、問題としている患者のＸスキャンから抽出された特徴と、データベース内の事例の対応する特徴とに基づいて、類似の、以前に診断されたＸ線スキャンを検索する。ステップ２２０にて、原モダリティでないモダリティの画像が検索される。上述のように、以前に分析されたデータに基づいて、１つのモダリティからの特徴が、その他のモダリティの対応する特徴にマッピングされる。原Ｘ線から抽出された特徴は、その他のモダリティにおける特徴にマッピングされ得る（例えば、原Ｘ線における特徴に関する値が、別のモダリティ（ＣＴ、ＭＲＩなど）における対応する特徴の値に変換される）。そして、対応する特徴を用いて、原モダリティでないモダリティからの類似事例が検索される。例えば、原Ｘ線スキャンを用いて、類似の、以前に診断された例えば超音波、ＭＲＩなどのスキャンが検索される。ステップ２３０にて、原画像における特徴に基づく最終的な類似事例の検索のため、原モダリティからの類似事例２１０と原モダリティでないモダリティからの類似事例２２０とが組み合わされる。ステップ２３０は、ステップ２１０及び２２０の２つの結果を組み合わせるために如何なる方法を用いてもよい。距離計算により、画像モダリティにかかわらず、提示されたスキャンに最も近い特徴を有する事例を検索することができる。故に、Ｘ線スキャンが提示された場合、距離計算によって、提示されたスキャンに最も近い特徴を有するＭＲＩが検索され得る。

図６は、更なる一実施形態に係るマルチモダリティＣＡＤｘシステムにおける方法３００を示している。方法３００も、方法１００のステップ１３０及び１４０にて実行されるサブステップとし得る。ステップ３１０にて、図４のステップ１３０に関して説明したのと同様にして、原画像の特徴がその他のモダリティにおける特徴にマッピングされる。しかしながら、ステップ３２０においては、これらマッピングされた特徴は、マルチモダリティ画像に対する距離を計算するために使用され得る。距離計算により、その結合画像が原モダリティの単一の画像より近い距離を有し得るような患者データが検索され得る。例えば、ステップ３２０は、患者のＸ線スキャン及びＭＲＩスキャンを組み合わせたものが、別のＸ線単独より近い距離を有する事例を検索してもよい。当業者に理解されるように、例えば画像の種類、関連ある診断などといった多様な因子に基づき得る異なる複数の特徴に基づいて距離を見出す方法は数多く存在し得る。

上記の典型的な方法及びシステムの使用により、臨床医は、単一モダリティ画像に基づいて、異なる撮像モダリティを有する類似事例を検索することができる。このようなシステムは、臨床医が、経験による知識と、診断が既知である過去事例のデータベースの事例を参照することによる知識とを取得することを可能にする。故に、様々なモダリティにまたがる画像を有する事例を探索して取り出すことができることは、臨床医の診断及び治療計画作成において臨床医の助けとなる。

当業者に明らかなように、本発明には、本発明の主旨及び範囲を逸脱することなく、様々な変更が為され得る。故に、本発明への変更及び変形が添付の請求項の範囲又はその均等範囲に入る限り、本発明はそのような変更及び変形にも及ぶものである。

Claims (20)

1. 複数の事例を格納するステップであり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、格納するステップ；
   第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングするステップ；及び
   前記特徴関係を格納するステップ；
   を有する方法。
2. 原画像から特徴を抽出するステップ；及び
   抽出された特徴と前記特徴関係とに基づいて少なくとも１つの事例を検索するステップ；
   を更に有する請求項１に記載の方法。
3. 前記マッピングするステップは：
   前記第１のモダリティの画像から、及び前記第２のモダリティの画像からの関心ボリュームを分析するステップ
   を含む、請求項１に記載の方法。
4. 前記非画像情報は、患者識別情報、デモグラフィック情報、患者臨床情報、及び家族歴のうちの１つを含む、請求項１に記載の方法。
5. 前記特徴関係の前記マッピングは、因子分析及び多変数回帰分析のうちの一方に基づく、請求項１に記載の方法。
6. 前記原画像と検索された事例とを同時に表示するステップ、
   を更に有する請求項２に記載の方法。
7. 検索された事例は、前記第１のモダリティの画像及び前記第２のモダリティの画像のうちの少なくとも一方を含む、請求項２に記載の方法。
8. 前記原画像の前記抽出された特徴と前記複数の事例からの対応する特徴との間の距離を計算するステップ、
   を更に有する請求項２に記載の方法。
9. 前記第１のモダリティは、フィルム・マンモグラム、超音波、ＣＴスキャン、ＭＲＩスキャン、ＰＥＴスキャン、Ｘ線、及びデジタル・マンモグラムのうちの１つである、請求項１に記載の方法。
10. 前記第１のモダリティの画像からの特徴は、病変部の、棘形成、密度特性、テクスチャ特性、平均階調値、形状特性、及び表面特性のうちの１つである、請求項１に記載の方法。
11. 複数の事例を格納するメモリであり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、メモリ；及び
    第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングし、該特徴関係を前記メモリに格納するプロセッサ；
    を有するシステム。
12. 前記プロセッサは更に、原画像から特徴を抽出し、抽出された特徴と前記特徴関係とに基づいて、格納された前記複数の事例のうちの少なくとも１つの事例を検索する、請求項１１に記載のシステム。
13. 前記プロセッサは、前記第１のモダリティの画像から、及び前記第２のモダリティの画像からの関心ボリュームを分析する、請求項１１に記載のシステム。
14. 前記プロセッサは、因子分析及び多変数回帰分析のうちの一方を用いて、前記第１のモダリティの画像からの特徴を前記第２のモダリティの画像からの特徴にマッピングする、請求項１１に記載のシステム。
15. 前記プロセッサは、抽出された特徴と前記複数の事例の対応する特徴との間の距離を計算することに基づいて、前記少なくとも１つの事例を検索する、請求項１２に記載のシステム。
16. 前記プロセッサは、前記原画像と検索された事例とを同時に表示する、請求項１２に記載のシステム。
17. 検索された事例は、前記第１のモダリティの画像及び前記第２のモダリティの画像のうちの少なくとも一方を含む、請求項１２に記載のシステム。
18. 前記第１のモダリティは、フィルム・マンモグラム、超音波、ＣＴスキャン、ＭＲＩスキャン、ＰＥＴスキャン、Ｘ線、及びデジタル・マンモグラムのうちの１つである、請求項１１に記載のシステム。
19. 前記第１のモダリティの画像からの特徴は、病変部の、棘形成、密度特性、テクスチャ特性、平均階調値、形状特性、及び表面特性のうちの１つである、請求項１１に記載のシステム。
20. 複数の事例を格納する手段であり、各事例が、複数のモダリティのうちの１つの少なくとも１つの画像と、非画像情報とを含む、格納する手段；及び
    第１のモダリティの画像からの特徴と第２のモダリティの画像からの特徴との間の特徴関係をマッピングし、該関係を前記メモリに格納する手段；
    を有するシステム。

Images