JP7846422B2 - スキャンの高速評価のための結合された肋骨及び脊椎の画像処理 - Google Patents

Description

本発明は、医用画像の分野に関し、特に、肋骨及び脊椎の視覚表現を自動的に生成する方法及び装置に関する。

医療専門家は、一般に、患者の解剖学的構造を視覚化するために、医用画像を使用し、この場合、視覚表現データが、疾患又は損傷を診断するために使用される。外傷の状況では、医療従事者は、診断目的、例えば肋骨骨折の検出のために、コンピュータトモグラフィ（ＣＴ）スキャンの形態の医用画像データに依存することができる。

胸部又は全身の３次元（３Ｄ）ＣＴスキャンをスライスごとに見ることは、特に、標的解剖学的構造が複数のスライス（例えば、２４個の個々の肋骨をトレースする）にまたがる場合、多くの場合、時間のかかるプロセスである。

画像スキャン、より具体的には、外傷又は救急部門のスキャンを読影することは、重要な所見を見落とすことを避けるために、高い注意を払って行われる必要がある時間的に重要なタスクである。多くの場合、これらの設定では、イメージングは全身スキャンに基づいており、その結果、徹底的に検査しなければならない大量の画像データが生成されることになる。肋骨及び脊椎は、評価されるべき特に重要な構造である。これらは、検査にかなりの時間を要する反復構造であり、脊椎の場合、これらの構造は神経学的観点から重要である。

直感的な方法で患者の解剖学的構造及び特定の重要な構造を視覚化することは、現在必要とされている時間のかかる検査を単純化することができる。患者の解剖学的構造及び重要な構造の視覚化及び評価を単純化するためのいくつかのアプローチが提案されており、特に、胸郭の視覚化を目的とするアプローチが提案されている。いくつかの利点を提供する一方で、現在のアプローチは、明確な基本的な制限を伴う。

よく知られている視覚化スキームの１つに、「フィレット（filet）ビュー」又は「フィッシュボーン（fishbone）ビュー」がある。このビューは、（例えば、深層畳み込みニューラルネットワークを使用して）肋骨をセグメンテーションした後、中心線抽出器を使用して視野内の肋骨のペアをラベリングするというものである。各肋骨は、そのトレースに沿ってサンプリングされ、それにより、正規化され及び直線化された態様（曲面平面リフォーマット（curved planar reformat））で各肋骨及び全ての肋骨を視覚化することを可能にする。このビューにより、医療専門家は、全ての肋骨が直線化され及び検査キャンバス上のユニークな位置に配置される正規化されたビュー（リフォーマットされたビュー）において、肋骨中心線を正確に検査することができる。

しかしながら、このタイプのビューにはいくつかの欠点がある。このタイプのビューでの１つの欠点は、各肋骨を独立して処理する性質が肋骨間の不連続性につながり、これは、肋骨形状に現れる隣接する肋骨からの画像アーチファクトにつながりうることである。加えて、このビューは、肋骨のみに限定され、脊椎などのコンテキスト情報を追加することは、別個に行われる必要がある追加のステップ及び画像処理を必要とする。

別の可視化スキームは、内臓腔ビューである。このビューでは、（例えばモデルベースのアプローチを使用する）セグメンテーションアルゴリズムが、円筒マニホールドの変形に関して、胸郭の内側をセグメンテーションするために適用される。セグメンテーションが行われると、マニホールドをアンラップ（unwrap、展開する）されることができ、表面近傍の最大強度投影（ＭＩＰ）を計算することができる。このビューにより、ユーザは、検査キャンバス上の連続的な視覚表現に関して、胸郭全体を検査することができる。

このタイプのビューの欠点の１つは、相対的な肋骨の長さが維持されないことである。円筒マニホールドをアンラップする性質上、正しい肋骨長さを可視化することは可能ではない。例えば、第１肋骨は、他の肋骨に対して長すぎるように見える。加えて、ＭＩＰ視覚表現の性質上、微小骨折の検出できないことがある。例えば、ＭＩＰ視覚表現では、生成されたビューにおいて小さな肋骨骨折が見えなくなり、検出できなくなる可能性がある。もう１つの欠点は、このビューによって、生成された内臓腔ビューの臨床的信頼性を制限する、非現実的な大きな歪み（波状の肋骨）が追加されることである。

したがって、これらのビューに関連する欠点を伴わずに、フィレットビュー及び内臓腔ビューの利点を組み合わせた革新的な可視化スキームが必要とされている。

本発明の目的は、既存の視覚化スキームの欠点を克服する新しいマニホールドビューを生成する技術を提供することである。

本技術は、ＣＴ、ＣＴアーム、単一光子放出コンピュータトモグラフィＣＴ（ＳＰＥＣＴ-ＣＴ）、磁気共鳴ＣＴ（ＭＲ-ＣＴ）、陽電子放出断層撮影ＣＴ（ＰＥＴ-ＣＴ）、及び磁気共鳴撮像（ＭＲＩ）システムを含む、いくつかの撮像システムに適用されることができる。

本発明の第１の態様によれば、画像処理装置が提供される。前記画像処理装置は、コンピュータ実行可能命令を記憶するように構成されたメモリと、コンピュータ実行可能命令を実行して、対象の肋骨及び脊椎を含む３次元診断画像を表わすデータを受信するステップを画像処理装置に実行させる少なくとも１つのプロセッサとを有する。コンピュータ実行可能命令は、画像処理装置に、３次元診断画像を表わす受信データに従って肋骨及び脊椎をセグメンテーションするステップと、肋骨セグメンテーションから肋骨中心線を検出しラベリングするステップと、脊椎セグメンテーションから椎体中心ランドマークを検出しラベリングするステップと、リフォーマットされた画像を表示するための視覚化キャンバスを表わす２次元マニホールド平面を規定するステップと、を実行させる。コンピュータ実行可能命令は、画像処理装置に、３次元診断画像を表わす受信データに対応する、肋骨中心線及び椎体中心ランドマークの各３次元位置を、規定された２次元平面上の２次元位置にマッピングするステップと、規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、２次元マニホールド平面が検出された肋骨中心線及び椎体中心ランドマークとアラインするように該２次元マニホールド平面を変形させることを含む、ステップと、変形された２次元マニホールド平面の各座標における画像強度を、３次元診断画像空間からサンプリングするステップと、を実行させる。サンプリングされた画像強度から、リフォーマットされた画像が、マニホールドスライスとして生成され、マニホールドスライスは、胸郭と脊椎の連続的かつ直線化された視覚表現を表示する。変形された２次元マニホールド平面は、その法線方向に沿ってシフトされ、サンプリングが繰り返されることにより、胸郭の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成する。胸郭及び椎体中心の３次元視覚表現は、胸郭全体をカバーするマニホールドのスタックとして生成される。

本発明の第２の態様では、３次元画像を処理する方法が提供される。本方法は、対象の肋骨及び脊椎を含む３次元診断画像を表わすデータを受信するステップと、３次元診断画像を表わす受信されたデータに従って肋骨及び脊椎をセグメンテーションするステップと、肋骨のセグメンテーションから肋骨中心線を検出してラベリングするステップと、脊椎のセグメンテーションから椎体中心ランドマークを検出してラベリングするステップと、リフォーマットされた画像を表示するための視覚化キャンバスを表わす２次元マニホールド平面を規定するステップと、を有する。本方法は、３次元診断画像を表わす受信データに対応する肋骨中心線及び椎体中心ランドマークの各３次元位置を、規定された２次元平面上の２次元位置にマッピングするステップと、規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、前記２次元マニホールド平面が検出された肋骨中心線及び椎体中心ランドマークとアラインするように該２次元マニホールドを変形させることを含む、ステップと、変形された２次元マニホールド平面の各座標における画像強度を、３次元診断画像空間からサンプリングするステップと、を有する。リフォーマットされた画像は、サンプリングされた画像強度からマニホールドスライスとして生成され、マニホールドスライスは、胸郭及び脊椎の連続的且つ直線化された視覚表現を表示する。変形された２次元マニホールド平面がその法線方向に沿ってシフトされて、サンプリングが繰り返されて、胸郭の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成する。胸郭及び椎体中心の３次元視覚表現は、胸郭全体をカバーするマニホールドのスタックとして生成される。

本発明の第３の態様では、処理回路にプロセスを実行させるための命令を記憶した非一時的コンピュータ可読媒体が提供される。前記プロセスは、対象の肋骨及び脊椎を含む３次元診断画像を受信するステップと、３次元診断画像を表わす受信されたデータに従って肋骨及び脊椎をセグメンテーションするステップと、肋骨セグメンテーションから肋骨中心線を検出してラベリングするステップと、脊椎セグメンテーションから椎体中心ランドマークを検出してラベリングするステップと、リフォーマット画像を表示するための可視化キャンバスを表わす２次元マニホールド平面を規定するステップであって、前記２次元マニホールド平面は、検出された肋骨中心線及び椎体中心ランドマークとアラインするように変形される、ステップと、を有する。前記プロセスは更に、３次元診断画像を表わす受信されたデータに対応する肋骨中心線及び椎体中心ランドマークの各３次元位置を、規定された２次元平面上の２次元位置にマッピングするステップと、規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、前記２次元マニホールド平面が検出された肋骨中心線及び椎体中心ランドマークとアラインするように該２次元マニホールド平面を変形させることを含む、ステップと、を有する。変形された２次元マニホールド平面の各座標における画像強度は、３次元診断画像空間からサンプリングされる。サンプリングされた画像強度から、リフォーマットされた画像が、マニホールドスライスとして生成され、マニホールドスライスは、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する。変形された２次元マニホールド平面がその法線方向に沿ってシフトされ、サンプリングが繰り返されることで、胸郭の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成する。胸郭及び椎体中心の３次元視覚表現は、胸郭全体をカバーするマニホールドのスタックとして生成される。

好ましい実施形態では、肋骨及び脊椎のセグメンテーションは、機械学習又はディープラーニング技法を用いて実行される。機械学習又はディープラーニング技法は、ニューラルネットワーク、ロジスティック回帰、ランダムフォレスト、最近傍、及びクラスタ又は多変量解析のうちの少なくとも１つを含む。ディープラーニングを用いたセグメンテーションアプローチは、肋骨及び脊椎をセグメンテーションし、そののち肋骨中心線を抽出し、椎体中心ランドマークを検出するために適用される。その結果、全ての肋骨ペア及び椎体重心が正確に検出され、自動化されたやり方でラベリングされる。

リフォーマットされた画像を表示するための視覚表現キャンバスを表示するために使用される２次元マニホールド平面が規定される。検出された肋骨中心線及び椎体中心ランドマークの各３次元位置は、アンフォールド（展開、unfolded）された肋骨を可視化する可視化キャンバス上の２次元位置にマッピングされる。すなわち、２次元空間から３次元空間への座標対応が規定される。

２次元座標から３次元座標への対応が確立されると、２次元空間内の残りのピクセルからの対応は、依然として遅れている。本発明の一態様では、この情報がまだ利用可能でないこのような領域において、３次元空間から２次元空間へのｘ／ｙ／ｚ座標対応を補間する補間スキームが実現される。

好ましい実施形態では、補間は、薄板スプライン技術を用いて実行される。薄板スプラインは、もともと薄い２次元金属板の変形をモデル化するため、補間技術のための良好な選択肢である。変形された２次元マニホールド平面の各座標における画像強度は、３次元診断画像空間からサンプリングされる。したがって、リフォーマットされた画像が、サンプリングされた画像強度からマニホールドスライスとして生成され、マニホールドスライスは、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する。

本発明の一態様では、変形された２次元マニホールド平面の各位置におけるサンプリングされた画像強度は、肋骨間の組織の領域及び肋骨に隣接する組織の領域のうちの少なくとも１つに対応する。

本発明の一態様では、補間された２次元多断面再構成（multiplanar reconstructions、ＭＰＲ）のスタックは、２次元平面上の各点の法線方向を計算し、マニホールド表面をマニホールド面の内側及び外側の方向へ複数回シフト又は移動させることによって、生成される。次いで、胸郭及び脊椎の３次元画像が、２次元ＭＰＲのスタックに基づいて生成される。

例示的な撮像システムの図。 「フィレットビュー(filet view)」又は「フィッシュボーンビュー(fishbone view)」による胸郭のビューを示す図。 胸郭の内臓腔を示す図。 いくつかの実施形態による、複合肋骨及び脊椎ビューを生成する方法を示すフローチャート。 いくつかの実施形態による、３次元空間から２次元空間へのマッピングを示す図。 いくつかの実施形態による処理ワークフローを示す図。 いくつかの実施形態による肋骨及び脊椎の３次元ビューを示す図。

図１は、コンピュータトモグラフィ（ＣＴ）撮像システムなどの撮像システム１００を示す。撮像システム１００は、概して静止ガントリ１０２及び回転ガントリ１０４を有する。回転ガントリ１０４は、固定ガントリ１０２によって回転可能に支持され、縦長手軸又はｚ軸を中心に検査領域１０６の周りを固定ガントリ１０２に対して回転する。

治療台などの患者支持体１１２は、検査領域１０６において、人間の患者などの対象又は被検者を支持する。患者支持体１１２は、ローディング、スキャン、及びアンローディングのために対象又は被検体を移動させるように構成される。

Ｘ線管のような放射線源１０８は、回転ガントリ１０４によって回転可能に支持される。放射線源１０８は、回転ガントリ１０４と共に回転し、検査領域１０６を横断する放射線を放出する。

放射線感受性検出器アレイ１１０は、検査領域１０６を横切って放射線源１０８の反対側に角度弧をなす。検出器アレイ１１０は、ｚ軸方向に沿って延在し、検査領域１０６を横断する放射線を検出し、検出した放射線を示す投影データを生成する検出器の１つ又は複数の行を有する。

汎用コンピューティングシステム又はコンピュータは、オペレータコンソール１１４として機能し、マウス、キーボード、及び／又は同様のものなどの入力装置１１６と、ディスプレイモニタ、フィルマなどの出力装置１２０とを有する。コンソール１１４は、オペレータがシステム１００の動作を制御することを可能にする。これは、画像処理装置１１８の制御を含む。画像処理装置１１８は、撮像システム１００によって生成された３次元（３Ｄ）診断画像を表わすデータを受信し、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示するリフォーマット画像を生成することができる。リフォーマットされた画像は、医療従事者による読影のために出力装置１２０に出力されることができる。

画像処理装置１１８の処理は、物理メモリ及び他の非一時的媒体のようなコンピュータ可読記憶媒体上に符号化され又は埋め込まれる実行可能コードのようなコンピュータ可読命令を実行するプロセッサ及び／又は処理回路を介して実現されることができることが理解される。付加的に又は代替的に、（１又は複数の）プロセッサ及び／又は処理回路は、搬送波、信号、及び他の一時的（又は非一時的）媒体によって伝播されるコンピュータ可読命令を実行することができる。

図２は、「フィレットビュー」又は「フィッシュボーンビュー」可視化スキームによる胸郭の図を示す。このビューは、医療専門家が正規化されたビュー（リフォーマットされたビュー）において肋骨中心線を正確に検査することを可能にし、該ビューにおいて、全ての肋骨が直線化され、検査キャンバス上のユニークな位置に配置されることが分かる。

このビューの１つの欠点は、各肋骨を独立して処理する性質上、肋骨間に不連続性が現れ、これが、２０２で識別されるように隣接する肋骨から肋骨形状に現れる画像アーチファクトをもたらしうることである。別の欠点は、視野が肋骨のみに限定されることである。

図３は、内臓腔の図を示す。この視覚的スキームでは、例えば、モデルベースのアプローチを使用するセグメンテーションアルゴリズムが、円筒形マニホールドの変形に関して胸郭の内側をセグメンテーションするために適用される。セグメンテーションが行われると、マニホールドが、アンラップされることができ、表面の近接に近い最大強度投影（ＭＩＰ）が計算されることができる。

このビューにより、ユーザは、検査キャンバス上の連続的な視覚表現に関して、胸郭全体を検査することができる。図３に見られる内臓腔ビューの欠点の１つは、相対的な肋骨の長さが維持されないことである。例えば、第１肋骨は、他の肋骨に対して非常に長く見える。加えて、ＭＩＰ視覚化の性質上、微小骨折が検出可能でないことがある。例えば、ＭＩＰ視覚化は、生成されたビューにおいて小さな肋骨骨折を見えなくし、検出不可能にすることがある。別の欠点は、このビューが、生成された内臓腔ビューにおける臨床的信頼度を制限する著しい非現実的な歪み（波状肋骨）を追加することである。

図４は、リフォーマットされた医用画像を生成する方法を表わすフローチャートである。実施される医用イメージングのタイプは、例えば、人間の患者の３次元ＣＴ画像を生成するＣＴスキャンであってもよい。

ブロック４０２において、３次元診断画像が受信される。一例として、３次元診断画像は、ＣＴ撮像システムスキャンであってもよい。ブロック４０４において、スキャンされた患者の肋骨及び脊椎が自動的にセグメンテーションされる。セグメンテーションは、機械学習又はディープラーニング技法を使用して実行され得る。一例として、畳み込みニューラルネットワーク（ＣＮＮ）は、肋骨及び脊椎をセグメンテーションするために使用されることができるディープラーニング技法である。Ｕ-Ｎｅｔ及びＶ-ＮｅｔなどのＣＮＮアーキテクチャが、セグメンテーションタスクに適応されることもできる。何百ものスキャンからのデータセットを使用する、ディープラーニングベースのトレーニングを使用して、肋骨及び脊椎の高速かつ正確なセグメンテーションを達成することが示されるアルゴリズムを開発することができる。

プロセスの一部として、ブロック４０６において、肋骨が検出され、肋骨中心線が抽出され、ラベリングされ、ブロック４０８において、椎体中心ランドマークが検出され、ラベリングされる。ブロック４１０において、２次元（２Ｄ）マニホールド平面が規定される。２Ｄマニホールド平面は、後に生成されるリフォーマットされた画像の視覚化キャンバスを表現するように規定される。２Ｄマニホールド平面は、リフォーマットされた画像の可視化キャンバスが胸郭の標準化された視覚化であるように規定される。したがって、胸郭の標準化された視覚表現は、標準化されたビューが既にレジストレーション（位置合わせ）されているので、画像レジストレーションを必要とせずに、フォローアップスキャンと比較するために使用されることができる。言い換えれば、１つの空間内の座標と別の空間内の座標との間の１対１のマッピングは、２つの空間内の点が同じ解剖学的点に対応するように決定される。

ブロック４１２において、３次元診断画像を表わす受信されたデータであるスキャン画像データに対応する肋骨中心線及び椎体中心ランドマークの各３次元（３Ｄ）位置が、規定された２次元マニホールド平面上の２Ｄ位置にマッピングされる。肋骨及び椎骨の位置は３Ｄ空間において知られているので、全ての肋骨中心線及び全ての椎体中心ランドマークに対する相関が構築されることができる。すなわち、３Ｄ空間から２Ｄ空間への座標対応は、マッピング関数として規定されることができる。３Ｄから２Ｄへの対応が確立又はセットアップされると、規定された２Ｄ空間内の残りのピクセルからの対応又は相関が欠けていることがある。

したがって、この情報が欠けている領域については、ブロック４１４において、補間スキームが、３Ｄ空間から、規定された２Ｄ空間へのｘ／ｙ／ｚ座標対応を補間するように実現される。この情報は、肋骨間の組織領域及び肋骨に隣接する組織領域を含みうる。この情報は、気胸及び血胸が共存する場合に極めて重要となる可能性がある肺の部分をも含むことができる。補間スキームは、規定された２Ｄマニホールドが検出された肋骨中心線及び椎体中心ランドマークとアラインするように、規定された２Ｄマニホールドを変形させる。薄板スプラインは、もともと薄い２Ｄ金属板の変形をモデル化しているため、補間方式として使用するのに良い選択肢である。弾性体スプライン（ＥＢＳ）は、医用画像解析に適したマッピング又は座標変換の別の手法である。

ブロック４１６において、３Ｄ診断画像空間からの画像強度が、変形された２Ｄマニホールド平面の各座標においてサンプリングされる。変形された２Ｄマニホールド平面の各座標において３Ｄ診断画像空間から画像強度をサンプリングすることは、最終的に胸郭をアンラップし、リフォーマットされた画像をもたらす。画像強度のサンプリングは、マッピング関数として、３Ｄ空間から２Ｄ空間への座標対応に基づくことができる。すなわち、サンプリングは、マッピングされ補間された位置に対応する座標マッピング関数に従って実行される。

ブロック４１８において、リフォーマットされた画像が、サンプリングされた画像強度から、マニホールドスライスとして生成される。マニホールドスライスとして生成されたリフォーマット画像は、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する。リフォーマットされた画像は、フィレットビュー及び内蔵腔ビューの両方の利点を組み合わせて、相対的な肋骨長を維持しながら正規化され及び直線化された肋骨ビューを表示し、リフォーマットされた画像は、肋骨間の不連続性、隣接する肋骨位置から現れる撮像アーチファクト、不正確な肋骨長、及びＭＩＰによる不可視の骨折及び歪みを含む、フィレットビュー及び内臓腔ビューの両方の欠点を回避する。ブロック４１８において生成されるリフォーマットされた画像は、診断目的で医療専門家に出力されることができる。

更なる検査及び診断を容易にするために、２Ｄマニホールドスライスのスタックが生成されることができる。ブロック４２０において、２Ｄマニホールド平面は、マニホールド平面の内側及び外側に向かってその法線方向に沿ってシフトされ、ブロック４２２において、マニホールドスライスのスタックを生成するように、サンプリングが、法線方向に沿った各インクリメントシフトについて繰り返される。マニホールドスライスのスタックは、胸郭及び脊椎の完全な３Ｄ視覚表現をカバーする。

ブロック４２４において、完全な胸郭及び椎体中心をカバーする３Ｄ視覚表現が、完全な胸郭をカバーするマニホールドのスタックとして生成される。ブロック４２２において生成されたマニホールドスライスのスタックは、補間された２Ｄ多断面再構成（ＭＰＲ）のスタックでありえ、ブロック４２４において、２次元ＭＰＲのスタックに基づいて、胸郭及び脊椎の３Ｄ画像が生成されることができる。胸郭全体及び椎体中心をカバーする生成された３Ｄ視覚表現は、全体として全ての肋骨を含むことを可能にする。これにより、医療専門家は、胸郭を容易にブラウズして胸郭を迅速に目視検査し、胸郭及び脊椎骨折を探すことができる。

図５は、３Ｄ空間から２Ｄ空間へのマッピングを示す。肋骨及び椎骨の位置は、３Ｄ空間において知られている。３Ｄ空間における肋骨中心線及び椎体中心ランドマークの各位置は、規定された２Ｄマニホールド平面の対応する位置にマッピングされる。規定された２Ｄマニホールド平面は、後に生成される２Ｄマニホールド画像の視覚化キャンバスである。本質的に、肋骨はトレースされ、各肋骨中心線及び椎体中心ランドマークが２Ｄマニホールドに現れる画素位置にマッピングされる。説明を容易にするために、３つの肋骨及び椎体中心のランドマークのみを図５に示す。しかしながら、３Ｄ空間において知られている肋骨及び椎体中心ランドマークに対応する全ての肋骨及び椎体中心ランドマークが、規定された２Ｄマニホールド平面内の位置にマッピングされていることを理解されたい。

図６は、いくつかの実施形態による処理ワークフローを示す。６０２において、肋骨中心線及び椎体中心ランドマークが、自動化されたセグメンテーションスキームに従って検出され、ラベリングされる。画像セグメンテーションスキームは、機械学習又はディープラーニング技法に基づくことができる。結果的に得られるリフォーマットされたビューを示す２次元マニホールドが規定される。６０４において、補間スキームは、検出された肋骨中心線及び椎体中心ランドマークとアラインするように、２次元マニホールドを変形させる。薄板スプライン又は任意の適切な補間スキームが使用されることができる。６０４に示すように、規定された２Ｄマニホールドは、３Ｄ空間から２Ｄ変形マニホールドの２Ｄ空間にマッピングされる検出された肋骨中心線及び椎体中心ランドマークとアラインするように変形される。

例えばＣＴスキャンからの３Ｄ画像である３Ｄ画像空間からの画像強度が、変形された２Ｄマニホールドの各座標においてサンプリングされ、６０６に示されるように、欠けている３Ｄ座標を完成させ又は埋める。欠けている３Ｄ座標は、肋骨間の組織の領域及び肋骨に隣接する組織の領域、又は肋骨間の組織の領域と肋骨に隣接する組織の領域との任意の組み合わせに対応し得る。これは、変形された２Ｄマニホールドがアンフォールドされることを可能にする。

アンフォールド（展開）された２Ｄマニホールドが、６０８に図示されている。リフォーマットされた画像として６０８に示される新しいマニホールドビューは、フィレットビュー及び内臓腔ビューの両方の欠点を回避しながら、フィレットビュー及び内臓腔ビューの両方の利点を組み合わせる。６０８において、相対的な肋骨長さを維持しながら、肋骨の正規化され及び直線化されたビューが表示されることが分かる。肋骨間の不連続性、隣接する肋骨位置から現れる画像アーチファクト、不正確な肋骨長、及びＭＩＰに起因する目に見えない骨折及び歪みが回避される。

図７は、いくつかの実施形態による、肋骨及び脊椎の３Ｄビューを示す。胸郭及び椎体中心の３Ｄ視覚表現は、変形された２Ｄマニホールド平面をその法線方向に沿ってマニホールド平面の内側及び外側に向かって複数回シフト又は移動させて、サンプリングを繰り返し、２Ｄマニホールドスライスのスタックを生成することによって、生成されることができる。これは、完全な胸郭をカバーするマニホールドのスタックとしての３Ｄ画像をもたらす。図７は、結果的に得られる３Ｄ画像が、全体として全ての肋骨を含むことを可能にすることを示す。

スタック又はマニホールドスライスは、補間された２次元多断面再構成（ＭＰＲ）のスタックでありえ、胸郭及び脊椎の３Ｄ画像は、２次元ＭＰＲのスタックに基づいて生成されることができる。生成された３Ｄレンダリングは、７０２で示される。７０４でのビューは、約３０度回転されており、７０６でのビューは、９０度よりわずかに小さい角度回転される。

本発明は、図面及び前述の説明において詳細に図示され説明されてきたが、そのような図示及び説明は、説明的又は例示的であり、限定的ではないと考えられるべきである。本発明は開示された実施形態に限定されるものではない。

開示された実施形態に対する他の変形は、図面、開示、及び添付の請求項の検討から、請求項に記載された発明を実施する際に当業者によって理解され、実施されることができる。

請求項において、単語「有する、含む（comprising）」は、他の構成要素又はステップを排除せず、不定冠詞「a」又は「an」は複数性を排除しない。

単一のプロセッサ、装置、又は他のユニットが、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

取得、決定、取得、出力、提供、記憶、計算、シミュレーション、受信、警告、及び停止などの動作は、コンピュータプログラムのプログラムコード手段として、及び／又は専用ハードウェアとして実現されることができる。コンピュータプログラムは、他のハードウェアと共に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上で記憶及び／又は配布され得るが、インターネット又は他の有線もしくは無線電気通信システムなどの他の形態で配信されることもできる。

Claims (15)

1. 画像処理装置であって、
   コンピュータ実行可能命令を記憶するメモリと、
   コンピュータ実行可能命令を実行する少なくとも１つのプロセッサと、
   を有し、前記コンピュータ実行可能命令は、前記画像処理装置に、
   対象の肋骨及び脊椎を含む３次元診断画像を表わすデータを受信するステップと、
   前記３次元診断画像を表わす前記受信されたデータに従って肋骨及び脊椎をセグメンテーションするステップと、
   肋骨セグメンテーションから肋骨中心線を検出しラベリングするステップと、
   脊椎セグメントテーションから椎体中心ランドマークを検出しラベリングするステップと、
   リフォーマットされた画像を表示するための視覚化キャンバスを表わす２次元マニホールド平面を規定するステップと、
   前記３次元診断画像を表わす前記受信されたデータに対応する前記肋骨中心線及び前記椎体中心ランドマークの各３次元位置を、前記規定された２次元マニホールド平面上の２次元位置にマッピングするステップと、
   前記規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、前記２次元マニホールド平面が前記検出された肋骨中心線及び椎体中心ランドマークとアラインするように前記２次元マニホールド平面を変形させることを含む、ステップと、
   前記変形された２次元マニホールド平面の各座標における画像強度を、３次元診断画像空間からサンプリングするステップと、
   前記サンプリングされた画像強度から、前記リフォーマットされた画像をマニホールドスライスとして生成するステップであって、前記マニホールドスライスは、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する、ステップと、
   前記変形された２次元マニホールド平面をその法線方向に沿ってシフトして、前記サンプリングを繰り返し、胸郭及び脊椎の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成するステップと、
   胸郭全体をカバーするマニホールドのスタックとして、胸郭及び椎体中心の３次元視覚表現を生成するステップと、
   を実行させる画像処理装置。
2. 前記肋骨及び前記脊椎のセグメンテーションは、ニューラルネットワーク、ロジスティック回帰、ランダムフォレスト、最近傍、及びクラスタ又は多変量解析のうちの少なくとも１つを含む機械学習又はディープラーニング技術によって実行される、請求項１に記載の画像処理装置。
3. 前記補間は、薄板スプライン技法により実施される、請求項１に記載の画像処理装置。
4. 前記プロセッサは更に、前記コンピュータ実行可能命令を実行して、前記画像処理装置に、前記２次元マニホールド平面上の各点ごとに法線方向を計算させる、請求項１に記載の画像処理装置。
5. 前記生成されるマニホールドスライスのスタックは、補間された２次元多断面再構成のスタックである、請求項１に記載の画像処理装置。
6. 前記プロセッサは更に、前記コンピュータ実行可能命令を実行して、前記２次元多断面再構成のスタックに基づいて前記胸郭及び脊椎の３次元画像を生成するように更に構成される、請求項５に記載の画像処理装置。
7. 前記変形された二次元マニホールド平面の各位置における前記サンプリングされた画像強度は、前記肋骨間の組織の領域及び前記肋骨に隣接する組織の領域のうちの少なくとも一方に対応する、請求項１に記載の画像処理装置。
8. ３次元画像を処理するコンピュータ実施方法であって、
   対象の肋骨及び脊椎を含む３次元診断画像を表わすデータを受信するステップと、
   前記３次元診断画像を表わす前記受信されたデータに従って肋骨及び脊椎をセグメンテーションするステップと、
   肋骨のセグメンテーションから肋骨中心線を検出しラベリングするステップと、
   脊椎のセグメンテーションから椎体中心ランドマークを検出しラベリングするステップと、
   リフォーマットされた画像を表示するための視覚化キャンバスを表わす２次元マニホールド平面を規定するステップと、
   前記３次元診断画像を表わす前記受信されたデータに対応する前記肋骨中心線及び前記椎体中心ランドマークの各３次元位置を、前記規定された２次元平面上の２次元位置にマッピングするステップと、
   前記規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、前記２次元マニホールド平面が前記検出された肋骨中心線及び椎体中心ランドマークとアラインするように該２次元マニホールド平面を変形させることを含む、ステップと、
   前記変形された２次元マニホールド平面の各座標において、３次元診断画像空間から画像強度をサンプリングするステップと、
   前記サンプリングされた画像強度から、リフォーマットされた画像をマニホールドスライスとして生成するステップであって、前記マニホールドスライスは、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する、ステップと、
   前記変形された２次元マニホールド平面をその法線方向に沿ってシフトし、前記サンプリングを繰り返して、胸郭及び脊椎の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成するステップであって、前記胸郭及び椎体中心の３次元視覚表現を、完全な胸郭をカバーするマニホールドのスタックとして生成する、ステップと、
   を有する方法。
9. 前記セグメンテーションは、機械学習又はディープラーニング技法を用いて実行され、前記機械学習又はディープラーニング技法は、ニューラルネットワーク、ロジスティック回帰、ランダムフォレスト、最近傍、及びクラスタ又は多変量解析のうちの少なくとも１つを含む、請求項８に記載の方法。
10. 前記補間は、薄板スプライン技術により実施される、請求項８に記載の方法。
11. 前記２次元平面上の各点について前記法線方向を計算するステップを更に有する、請求項８に記載の方法。
12. 前記生成されたマニホールドスライスのスタックは、補間された２次元多断面再構成のスタックである、請求項８に記載の方法。
13. 前記補間された２次元多断面再構成のスタックに基づいて、胸郭及び脊椎の３次元画像を生成するステップを更に有する、請求項１２に記載の方法。
14. 前記変形された２次元マニホールド平面の各位置における前記サンプリングされた画像強度は、前記肋骨の間の組織の領域及び前記肋骨に隣接する組織の領域のうち少なくとも一方に対応する、請求項８に記載の方法。
15. 処理回路にプロセスを実行させる命令を記憶した非一時的コンピュータ可読媒体であって、前記プロセスは、
    対象の肋骨及び脊椎を含む３次元診断画像を表わすデータを受信するステップと、
    前記３次元診断画像を表わす前記受信されたデータに従って肋骨及び脊椎をセグメンテーションするステップと、
    肋骨セグメンテーションから肋骨中心線を検出しラベリングするステップと、
    脊椎セグメンテーションから椎体中心ランドマークを検出しラベリングするステップと、
    リフォーマットされた画像を表示するための視覚化キャンバスを表わす２次元マニホールド平面を規定するステップであって、前記２次元マニホールド平面は、それが前記検出された肋骨中心線及び椎体中心ランドマークとアラインするように変形される、ステップと、
    前記３次元診断画像を表わす前記受信されたデータに対応する前記肋骨中心線及び椎体中心ランドマークの各３次元位置を、前記規定された２次元平面上の２次元位置にマッピングするステップと、
    前記規定された２次元マニホールド平面上で欠けている３次元位置座標を補間するステップであって、前記２次元マニホールド平面が前記検出された肋骨中心線及び椎体中心ランドマークとアラインするように該２次元マニホールド平面を変形させることを含む、ステップと、
    前記変形された２次元マニホールド平面の各座標において、３次元診断画像空間から画像強度をサンプリングするステップと、
    前記サンプリングされた画像強度から、前記リフォーマットされた画像をマニホールドスライスとして生成するステップであって、前記マニホールドスライスは、胸郭及び脊椎の連続的かつ直線化された視覚表現を表示する、ステップと、
    前記変形された２次元マニホールド平面をその法線方向に沿ってシフトして、前記サンプリングを繰り返し、胸郭全体の完全な３次元視覚表現をカバーするマニホールドスライスのスタックを生成するステップと、
    胸郭全体をカバーするマニホールドのスタックとして胸郭及び椎体中心の３次元視覚表現を生成するステップと、
    を有するコンピュータ可読媒体。