JP6873131B2 - セグメンテーションにおけるユーザインタラクションの最適化 - Google Patents

Description

本発明は、画像の中のオブジェクトのセグメンテーション（segmentation）のためのシステムおよびコンピュータ実装方法に関する。本発明は、さらに、システムを含むワークステーションおよび画像化装置に関し、そして、プロセッサシステムに本方法を実行させるためのインストラクションを含むコンピュータプログラム製品に関する。

画像、例えば医用画像、の中のオブジェクトのセグメンテーションは、様々なシナリオにおいて重要であり、そして、一般的には、望ましい定量測定（quantitative measurements）を可能にし得る。放射線治療計画において、例えば、臓器のセグメンテーション、描写（delineation）または注釈（annotation）としても呼ばれるもの、は、ターゲット部位および危機にある臓器について線量（dose）の計算を可能にし得る。別の例は、ネオアジュバント化学療法（neo-adjuvant chemotherapy）のアセスメントのための腫瘍セグメンテーションであり得る。多くのアプリケーションにおいては、臓器を分割するために自動アルゴリズムが使用されてよい。しかしながら、非常にしばしば、自動的に生成された結果を修正するために手動及び／又は半自動式のインタラクションが必要とされることがあり、または、他の理由により自動セグメンテーションよりも手動セグメンテーションが好まれることがある。様々なパラメータを伴う様々なセグメンテーションツールを含むいくつかの異なるグラフィカルセグメンテーションインターフェイスが利用可能である。

グラフィカルセグメンテーションインターフェイスを使用して、ユーザがそうした手動または半自動的なセグメンテーションを効率的に得られるようにすることが望ましいであろう。

米国特許出願公開第2015/0155010号は、医用画像化システムの処理ユニットのユーザインターフェイスにおいて示される医用画像に関する情報を検索する方法を説明している。本方法は、処理ユニットに保管されて、ユーザインターフェイスの中に統合された少なくとも１つのビデオに対する参照の表示と、ユーザによるビデオの参照および選択のアクティブ化、およびビデオの再生を含む。本ビデオは、ユーザのための、需要特定的およびコンテキスト関連の情報及び／又は操作手順が含まれている。医用画像化システムの処理ユニットも、また、開示されている。一つの実施形態において、処理ユニットは、メモリユニットと、メモリユニットの中に保管されたプログラムコードとを含む。プログラムコードは、患者の医用画像が処理ユニットのユーザインターフェイスにおいて出力されるように実施される。

実際上、米国特許出願公開第2015/0155010号は、ユーザインターフェイスの操作方法に関するビデオベースの指示をユーザに示すことによって、セグメンテーションにおいてユーザを効率的にさせることを目的としている。米国特許出願公開第2015/0155010号の方法の問題は、説明された方法を使用するときに、ユーザが依然として不十分に効率的なことである。

画像の中のオブジェクトの手動または半自動的なセグメンテーションをユーザがより効率的に得られるようにするためのシステムまたはコンピュータで実施される方法を有することは、有利であろう。

この問題をより上手く取り扱うために、本発明の第１の態様は、画像の中のオブジェクトをセグメント化するためのシステムを提供する。本システムは、
−ユーザインターフェイスサブシステムであり、
ｉ）ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立するためのディスプレイ出力であり、グラフィカルセグメンテーションインターフェイスは、画像の中のオブジェクトの第１セグメンテーションをユーザが獲得できるようにするためのセグメンテーションツールのセットを含み、第１セグメンテーションはセグメンテーションデータによって表されている、ディスプレイ出力と、
ｉｉ）ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するように構成されたユーザ入力インターフェイスであり、インタラクションデータは、それによりオブジェクトの第１セグメンテーションが獲得された、ユーザのグラフィカルセグメンテーションインタフェイスに対するユーザインタラクションのセットを示している、ユーザ入力インターフェイスと、を含む、
ユーザインターフェイスサブシステムと、
−インストラクションのセットを表すインストラクションデータを含むメモリと、
−ユーザ入力インターフェイスおよびメモリと通信するように、かつ、インストラクションのセットを実行するように構成されたプロセッサであり、インストラクションのセットがプロセッサによって実行されると、
ｉ）ユーザインタラクションの最適化されたセットを決定するためにセグメンテーションデータおよびインタラクションデータを分析し、ユーザインタラクションの最適化されたセットは、グラフィカルセグメンテーションインタフェイスを使用してユーザによって実行される場合に、第１セグメンテーションに類似する第２セグメンテーションを獲得するものであり、
ユーザインタラクションの最適化されたセットは、
ｊ）第１セグメンテーションに類似するセグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成すること、
ｊｊ）時間メトリックに基づいて、グラフィカルセグメンテーションインタフェイスを使用してユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定することであり、時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数の関数であること、および、
ｊｊｊ）最小である時間の推定に基づいて、ユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうち１つを選択すること、によって決定され、
ｉｉ）ディスプレイを介してユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするために、ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成する、
プロセッサと、を含む。

上記の手段は、グラフィカルセグメンテーションインタフェイスを使用してユーザが医用画像の中のオブジェクトをセグメント化できるようにすることを含む。その目的のために、ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するためのユーザ入力インターフェイスを含むユーザインタフェイスサブシステムが提供される。さらに、ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立するためのディスプレイ出力が提供される。グラフィカルセグメンテーションインターフェイスは、セグメンテーションのために使用され得るセグメンテーションツールのセットを含む。セグメンテーションツールを使用することによって、ユーザは、画像の中のオブジェクトの第１セグメンテーションを獲得することができる。オブジェクトは、例えば、医用画像における解剖学的構造であってよい。画像データによって形成される画像は、例えば、２次元表面画像、２次元投影画像、３次元ボリューメトリック画像（volumetric image）であってよく、または、画像スライスのスタックによって構成されてよく、そして、コンピュータトモグラフィ（CT）および磁気共鳴イメージング（MRI）といった様々な画像化モダリティによって取得されてよい。

ユーザは、グラフィカルセグメンテーションインターフェイスの適切なセグメンテーションツールを選択することによって、第１セグメンテーションを獲得するために１つまたはそれ以上のセグメンテーション方法を画像に対して適用することができる。既知のセグメンテーション方法の例は、閾値処理（thresholding）、クラスタリング、領域拡大、またはモデルベースのセグメンテーションを含む。第１セグメンテーションを獲得するためのセグメンテーションツールに対するユーザインタラクションは、インタラクションデータを獲得するように記録されてよい。ユーザインタラクションの例は、ユーザの選択動作、異なるセグメンテーションツール間の切り替え、ズーム動作、パン動作、等を含む。そうであるから、インタラクションデータは、それによりオブジェクトの第１セグメンテーションが獲得された、ユーザのグラフィカルセグメンテーションインターフェイスに対するユーザインタラクションのセットを示すことができる。例えば、インタラクションデータは、セグメンテーションツール、それらのパラメータ、およびそれらの順序を選択することを示し得る。ツールの順序は、ツールの使用のシーケンスを参照してよい。ツールのパラメータは、セグメンテーションツールを定義している特性、機能、または測定可能なファクタであってよい。例えば、ペンシルツールについては、ストローク幅がツールパラメータとしてみなされてよい。

上記の手段は、さらに、セグメンテーションデータおよびインタラクションデータを分析するためのインストラクションを表しているインストラクションデータによって構成されるプロセッサを含み、グラフィカルセグメンテーションインタフェイスを使用してユーザによって実行される場合に、第１セグメンテーションに類似する第２セグメンテーションを獲得するユーザインタラクションの最適化されたセットを決定する。第２セグメンテーションは、第２セグメンテーションの体積、表面、または形状といった少なくとも類似性クライテリアが第１セグメンテーションのものと十分に近い値をもたらす場合に、第１セグメンテーションに類似するとみなされてよい。例えば、３次元オブジェクトの３次元セグメンテーションにおいて、第２セグメンテーションのボリュームが、例えば、第１セグメンテーションのボリュームの９０％、９５％、または９９％を超える場合に、セグメンテーションは類似であるとみなされてよい。

上記の手段は、さらに、第１セグメンテーションに類似するセグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成することを含む。ユーザインタラクションの候補セットは、インタラクションに関連するパラメータの変更に基づいて、及び／又は、インタラクションの変更順序に基づいて生成され得る。候補セットは、既知の最適化方法を使用して生成されてよく、そこでは、類似性クライテリアがコスト関数としてみなされてよく、そして、例えば、インタラクションの順序、セグメンテーションツールのパラメータ、等が最適化パラメータとして考えられてよい。

上記の手段は、さらに、複数の候補セットのうちそれぞれ１つをユーザが実行するために必要とされる時間を推定すること、および、ユーザインタラクションの最適化されたセットとしてユーザインタラクションの複数の候補セットのうち１つを選択することを含む。ユーザインタラクションの最適化されたセットは、ユーザインタラクションの他の候補セットと比較してより迅速な第２セグメンテーションの獲得をユーザに提供している。時間メトリックを確立してから、ユーザインタラクションの最適化されたセットが既知の最適化方法を使用して選択されてよく、第２セグメンテーションを獲得するためのユーザインタラクションの時間がコスト関数としてみなされてよい。

セグメンテーションの複雑度は、また、セグメンテーション時間にかかわらず、最適化のコスト関数として考えられてもよいことに留意する。例えば、第２セグメンテーションは、同一またはより多くの時間で獲得され得るが、ユーザは、より複雑でないタスクおよびインタラクションを用いて第２セグメンテーションを獲得することができる。例えば、第２セグメンテーションを得るために必要とされる時間にかかわらず、請求されるシステムは、ユーザが、例えば、異なる画像ビューまたはセグメンテーションツール間のより少ない数の切り替えを用いて第２セグメンテーションを獲得し、かつ、セグメンテーションツールのパラメータの変更だけをできるようにしてよい。これは、ユーザのためにより複雑でないものであり得る。そうであるから、上記の手段は、複雑度メトリック（complexity metric）に基づいてグラフィカルセグメンテーションインターフェイスを使用してユーザインタラクションの複数の候補セットのそれぞれ１つをユーザが実行するのに必要とされる時間を推定することを含んでよい。上記の方法は、次いで、最小である複雑度の推定値に基づいてユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうちの１つを選択することを含んでよい。より複雑なユーザインタラクション、例えば複雑なセグメンテーションのために必要とされるものは、自然とより多くの時間がかかり得るので、時間メトリックは、また、本質的にユーザのインタラクションの複雑度も表し得ることに留意する。そうであるから、請求されるシステムおよび方法は、時間メトリックに基づいてユーザのインタラクションの複雑度を暗黙的に説明することができる。

上記の手段は、さらに、ディスプレイを介してユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするために、ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成することを含む。例えば、最適化されたインタラクションデータは、使用されているセグメンテーションツール、セグメンテーションツールのパラメータ、及び／又は、セグメンテーションツールの使用順序、等を示すことができる。

本発明は、請求されるシステムおよび方法が、所望の第１セグメンテーションを獲得することにおいてユーザがより効率的になれるようにするという洞察に基づくものであり、より少ない時間で第１セグメンテーションに類似する第２セグメンテーションを獲得するようにユーザに指示し得る、ユーザインタラクションの最適化されたセットを決定することによるものである。ユーザインタラクションの最適化されたセットは、第１セグメンテーションを獲得するためにユーザによって既に実行されたユーザインタラクションを表すセグメンテーションデータを分析することによって決定され得る。ユーザインタラクションの最適化されたセットは、所定のセグメンテーションツールを使用してユーザが既に生成した第１セグメンテーションに類似する第２セグメンテーションを獲得することに基づいて決定されるので、ユーザインタラクションの最適化されたセットは、ユーザが目指すものに対して直接的に関連し得る。そうであるから、請求されるシステムおよび方法は、所望のセグメンテーションをユーザがより迅速に獲得することにおいて効率的であることを可能にする。

インタラクションの最適化されたセットは、ディスプレイを介してユーザに提示されてよい。それにより、ユーザは、例えば、セグメンテーションツールの最適なパラメータ、または、第１セグメンテーション生成のためにユーザが使用しなかった利用可能なツールを有利に通知され得る。さらに、ユーザは、所定のシーケンスにおいて複数のセグメンテーションツールを使用するようにガイドされ得る。インタラクションの最適化されたセットをユーザに通知することに加えて、グラフィカルセグメンテーションインタフェイスのセグメンテーションツールのデフォルトパラメータも、また、最適化されたインタラクションデータに基づいて最適化され得ることに留意する。

任意的に、ユーザインタラクションのセットは、セグメンテーションツールを適用しているユーザを表すユーザインタラクションを含み、そして、プロセッサによって実行されると、ユーザインタラクションの異なる候補セットを生成するように、プロセッサにセグメンテーションツールのパラメータを変更させる。ユーザは、従って、請求されるシステムおよび方法によってだけ所望のセグメンテーションを獲得できるようになり、異なるツールを使用する必要なしにセグメンテーションツールのより最適なパラメータを決定する。有利なことに、このことは、所望のセグメンテーションを獲得することにおいて、ユーザをより効率的にすることができる。

任意的に、ユーザインタラクションのセットは、ユーザインタラクションのシーケンスを含み、そして、プロセッサによって実行されると、ユーザインタラクションの異なる候補セットを生成するように、プロセッサにユーザインタラクションのシーケンスを変更させる。ユーザは、従って、請求されるシステムおよび方法によってだけ所望のセグメンテーションを獲得できるようになり、異なるツールを使用する必要なしにセグメンテーションツールのより最適なパラメータを決定する。有利なことに、このことは、所望のセグメンテーションを獲得することにおいて、ユーザをより効率的にすることができる。

任意的に、グラフィカルセグメンテーションインターフェイスは、第１セグメンテーションを獲得するためにユーザによって使用されない少なくとも１つの未使用セグメンテーションツールを含み、そして、少なくとも１つの未使用セグメンテーションツールを使用してユーザインタラクションの複数の候補セットが生成される。ユーザは、第１セグメンテーションを取得するためにユーザが使用しなかったセグメンテーションツールを使用することによって、有利なことに、より効率的に所望のセグメンテーションを獲得することができる。例えば、ユーザが存在するツールを知らなかったため、または、ユーザがツール機能又はその最適化されたパラメータを認識していなかったためである。

任意的に、時間メトリックは、少なくとも１つのパラメータを含み、パラメータは、ユーザの選択動作、異なるセグメンテーションツール間の切り替え、異なる画像スライス間の切り替え、ズーム動作、およびパン動作に係るリストから選択された動作を示す。リストに記載されたものといった主要なユーザアクションを含めて、グラフィカルセグメンテーションインタフェイスをベースに使用してユーザインタラクションの複数の候補セットのうちそれぞれ１つをユーザが実行するために必要とされる時間をより正確に推定することができる。時間のより正確な推定は、ユーザインタラクションの最適化されたセットのより正確な選択を可能にし、そして、従って、所望のセグメンテーションを獲得するためのユーザの効率を有利にも高めることができる。

任意的に、時間メトリックは、それぞれの候補セットにおけるユーザインタラクションのタイプの関数である。ユーザインタラクションの数に加えてユーザインタラクションのタイプを説明することにより、より最適なユーザインタラクションのセットを提供することができる。なぜなら、例として、ユーザインタラクションのいくつか、例えばズームは、ユーザインタラクションの他のタイプ、例えば異なる画像スライス間での切り替え、と比べて、ユーザが実行するのが容易になり得るからである。そうであるから、ユーザインタラクションのタイプに重み付けすることにより、ユーザインタラクションの最適化されたセットをより最適に選択することができる。

任意的に、サブシステムを分析することは、オブジェクトの幾何学的複雑度を計算し、そして、時間メトリックは、オブジェクトの幾何学的複雑度の関数である。オブジェクトの幾何学的複雑度を説明することにより、ユーザインタラクションの最適化されたセットのより最適な選択をすることができる。なぜなら、例として、オブジェクトが複雑な幾何学的形状を有する場合には、例えば、ユーザインタラクションのシーケンスの変更だけと比較して、例えば、セグメンテーションツールのパラメータを洗練すること（refining）によって、第２セグメンテーションを獲得することがより最適になり得るからである。そうであるから、オブジェクトの幾何学的複雑度は、オブジェクトのセグメンテーションを獲得するために必要とされる時間消費として解釈され得る。例として、良好に定義されたボーダー（boarder）を用いて円状構造体（circle-like structure）、例えば２次元マンモグラフィにおける嚢胞（cyst）、を正確にセグメント化するためには、所望のセグメンテーションを獲得するためのパラメータ設定が十分であり得る。しかしながら、２次元マンモグラフィにおいて推測されたマス（mass）をセグメント化するためには、より大きい直径のブラシを伴うペイントツールを使用することによりセグメント化され得る領域が存在し、一方で、他の領域は非常に小さなブラシを使用してセグメント化される必要があり、そして、従って、より多くの時間を消費し得る。

任意的に、時間メトリックは、画像の画像特徴の関数である。オブジェクトの形状特性に加えて、例えば、エッジ、画像輝度、画像テクスチャ、等の画像特徴を説明することにより、ユーザインタラクションの最適化されたセットをより最適に選択することができる。例として、関心領域の位置が、例えば、複数の画像スライスにわたり分散されている場合に、ユーザインタラクションのシーケンスを変更することは、例えば、セグメンテーションツールのパラメータを変更することよりも多く、ユーザに必要とされる時間に影響し得る。

任意的に、インストラクションセットは、プロセッサによって実行されると、プロセッサに、ユーザインタラクションの最適化されたセットを視覚的に示すビデオを生成することによって、ユーザインタラクションの最適化されたセットをユーザに対して示すようにさせる。ビデオを使用して視覚的にユーザインタラクションの最適化されたセットを示すことによって、ユーザは、既知の方法、例えば米国特許出願公開第2015/0155010号、よりも効果的に、そして、よりユーザフレンドリー、かつ、より包括的な方法において、有利にもガイドされ得る。任意的に、ビデオは、第１セグメンテーションを獲得するためにユーザが使用したオリジナル画像に適用されているユーザインタラクションの最適化されたセットによってユーザが提示されるように、ビデオが生成され得ることに留意する。

本発明のさらなる態様において、画像の中のオブジェクトをセグメント化するためのコンピュータで実施される方法が提供される。本方法は、
−ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立するステップであり、グラフィカルセグメンテーションインターフェイスは画像の中のオブジェクトの第１セグメンテーションをユーザが獲得できるようにするためのセグメンテーションツールのセットを含み、第１セグメンテーションはセグメンテーションデータによって表されている、ステップと、
−ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するステップであり、インタラクションデータは、それによりオブジェクトの第１セグメンテーションが獲得された、ユーザのグラフィカルセグメンテーションインターフェイスに対するユーザインタラクションのセットを示している、ステップと、
−ユーザインタラクションの最適化されたセットを決定するためにセグメンテーションデータおよびインタラクションデータを分析するステップであり、ユーザインタラクションの最適化されたセットは、グラフィカルセグメンテーションインターフェイスを使用してユーザによって実行される場合に、第１セグメンテーションに類似する第２セグメンテーションを獲得するものであり、
ユーザインタラクションの最適化されたセットは、
ｉ）第１セグメンテーションに類似するセグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成すること、
ｉｉ）時間メトリックに基づいて、グラフィカルセグメンテーションインターフェイスを使用してユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定することであり、時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数の関数であること、および、
ｉｉｉ）最小である時間の推定に基づいて、ユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうち１つを選択すること、によって決定される、
ステップと、
−ディスプレイを介してユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするために、ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成するステップと、を含む。

本発明のさらなる態様は、上述のシステムを含むワークステーションおよび画像化装置を提供する。

本発明のさらなる態様においては、プロセッサシステムに本方法を実行させるインストラクションを含むコンピュータプログラム製品が提供される。

当業者であれば、本発明に係る上述の実施形態、実装、及び／又は、態様のうち２つまたはそれ以上が、有用であると考えられる任意の方法で組み合わせ得ることが正しく理解されよう。

画像化装置、ワークステーション、方法、及び／又は、コンピュータプログラム製品の変更および変形は、システムの説明された変更および変形に対応するが、本発明の説明に基づいて当業者によって実行され得るものである。

本発明に係るこれら及び他の態様は、以降に説明される実施形態から明らかであり、そして、実施形態を参照して説明される。
図１は、ユーザに対してユーザインタラクションの最適なセットを示すことができるようにするために、セグメンテーションデータを分析するためのシステムを示している。 図２ａは、胸部のＸ線画像および肺野（lung-field）のセグメンテーションのための領域の拡大されたビューの指標を示している。 図２ｂは、図２ａの拡大されたビューを示している。 図２ｃは、図２ａの肺野の第１セグメンテーションを示している。 図３は、図２ｃの第１セグメンテーションといったセグメンテーションを獲得するためにユーザによって使用され得るセグメンテーションツールのセットを含むグラフィカルセグメンテーションインターフェイスの例を示している。 図４ａは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図４ｂは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図４ｃは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図４ｄは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図４ｅは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図４ｆは、図２ｃの第１セグメンテーションを獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイスのユーザインタラクションのセットに係る中間結果を示している。 図５ａは、図２ｃの第１セグメンテーションと同様な第２セグメンテーションを獲得するためのユーザインタラクションの最適化された結果を示している。 図５ｂは、図２ｃの第１セグメンテーションと同様な第２セグメンテーションを獲得するためのユーザインタラクションの最適化された結果を示している。 図５ｃは、図２ｃの第１セグメンテーションと同様な第２セグメンテーションを獲得するためのユーザインタラクションの最適化された結果を示している。 図５ｄは、図２ｃの第１セグメンテーションと同様な第２セグメンテーションを獲得するためのユーザインタラクションの最適化された結果を示している。 図６ａは、オブジェクトのセグメンテーションを獲得するための画像スライスのスタックにおけるセグメンテーション輪郭（contours）に係る模式的な適応的輪郭プロパゲーションを示している。 図６ｂは、オブジェクトのセグメンテーションを獲得するための画像スライスのスタックにおけるセグメンテーション輪郭に係る模式的な適応的輪郭プロパゲーションを示している。 図６ｃは、オブジェクトのセグメンテーションを獲得するための画像スライスのスタックにおけるセグメンテーション輪郭に係る模式的な適応的輪郭プロパゲーションを示している。 図６ｄは、オブジェクトのセグメンテーションを獲得するための画像スライスのスタックにおけるセグメンテーション輪郭に係る模式的な適応的輪郭プロパゲーションを示している。 図６ｅは、オブジェクトのセグメンテーションを獲得するための画像スライスのスタックにおけるセグメンテーション輪郭に係る模式的な適応的輪郭プロパゲーションを示している。 図７ａは、システムによって獲得された肝臓の第１の３次元（3D）セグメンテーションを含む３次元画像を示している。 図７ｂは、肝臓の第１セグメンテーションが獲得される以前の横断面における画像スライスを示している。 図７ｃは、横断面における画像スライスを示しており、肝臓の第１セグメンテーションに係るセグメント化セクションが表示されている。 図８ａは、３つの平行な横断面における肝臓の第１セグメンテーションに係る３つのセグメント化セクションを示している３つの画像スライスを示す。 図８ｂは、３つの平行な横断面における肝臓の第１セグメンテーションに係る３つのセグメント化セクションを示している３つの画像スライスを示す。 図８ｃは、３つの平行な横断面における肝臓の第１セグメンテーションに係る３つのセグメント化セクションを示している３つの画像スライスを示す。 図９ａは、画像スライスに対して適応的輪郭プロパゲーションを適用する以前の肝臓の画像スライスにおける初期輪郭を示している。 図９ｂは、図９ａの画像スライスに対して適用された適応的輪郭プロパゲーションの結果を示している。 図９ｃは、画像スライスに対して適応的輪郭プロパゲーションを適用する以前の初期輪郭に係る別のセットを示している。 図９ｄは、図９ｃの画像スライスに対して適用された適応的輪郭プロパゲーションの結果を示している。 図１０は、ユーザに対してユーザインタラクションの最適化されたセットを示すことができるようにするために、セグメンテーションデータを分析する方法を示している。 図１１は、プロセッサシステムに本方法を実行させるためのインストラクションを含むコンピュータプログラム製品の模式的な表現を示している。

図１は、ユーザに対してユーザインタラクションの最適なセットを示すことができるようにするために、セグメンテーションデータを分析するためのシステム100を示している。システム100は、画像の画像データにアクセスするための入力インターフェイス120を含み得る。図１の例において、入力インターフェイス120は、画像の画像データを有する外部画像レポジトリ020に対して接続されるように示されている。例えば、画像レポジトリ020は、システム100が接続され又は組み込まれ得る病院情報システム（Hospital Information System、HIS）のピクチャアーカイブと通信システム（Picture Archiving and Communication System、PACS）によって構成され又はその一部であってよい。従って、システム100は、HISを介して画像の画像データに対するアクセスを獲得し得る。代替的に、画像データは、システム100の内部データストレージからアクセスされてよい。一般的に、入力インターフェイス120は、ローカルまたはワイドエリアネットワーク、例えばインターネット、へのネットワークインターフェイス、内部または外部データストレージへのストレージインターフェイス、等といった、様々な形態であってよい。インタラクションデータ072は、外部データベース040から獲得され得ることに留意する。これは、しかしながら、本発明を具現化していない。図１の例において、システム100は、さらに、ユーザによって操作可能なユーザデバイス070からインタラクションデータ072を受信するために構成されたユーザインターフェイスサブシステム160を含むように示されている。ユーザデバイス070は、様々な形態を取り得ることに留意する。コンピュータマウス070、タッチスクリーン、キーボード、などを含むが、これに限定されるものではない。ユーザインターフェイスサブシステム160は、グラフィカルセグメンテーションインターフェイスを確立／提供し得る。例えば、ユーザインターフェイスサブシステムに対してアクセス可能なメモリ（図示なし）に保管され得るグラフィカルインターフェイスデータに基づくものである。ユーザインターフェイスサブシステム160は、ユーザデバイス070のタイプに対応するタイプのユーザ入力インターフェイス170を含み得る。すなわち、それに対応するユーザデバイスインターフェイスであってよい。ユーザインターフェイスサブシステム160は、さらに、ディスプレイ080に対して表示データ082を提供するためのディスプレイ出力180を含むように示されている。例えば、表示データは、システム100のプロセッサ140によって生成された最適化されたインタラクションデータ142を含み得る。ユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするためである。

プロセッサ140は、一式のインストラクションを表しているインストラクションデータを手段として、セグメンテーションデータとインタラクションデータ072を分析するように構成されており、グラフィカルセグメンテーションインターフェイスを使用してユーザによって実行されるときに、第１セグメンテーションに類似する第２セグメンテーションを獲得するユーザインタラクションの最適化されたセットを決定する。図１において明示的には示されていないが、インストラクションデータは、プロセッサに対してアクセス可能なシステムのメモリの中に保管に格納されてよい。プロセッサ140は、さらに、ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータ142を生成するように構成されている。ユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするためである。その目的のために、図１の例に係るプロセッサ140は、セグメンテーションデータとインタラクションデータ042を受信し、そして、最適化されたインタラクションデータ142を出力する。セグメンテーションデータは、図１において明示的には示されていないことに留意する。プロセッサによって生成される内部データであり得るからである。代替的に、セグメンテーションデータは、またはメモリの中に保管されてよい。

プロセッサ140は、第１セグメンテーションに類似するセグメンテーションを獲得する複数ユーザインタラクションの候補セットを生成するように構成されてよい。プロセッサ140は、さらに、最小である時間の推定（estimate）に基づいて、ユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうち１つを選択するように構成されてよい。本発明者は、ユーザインタラクションの最適化されたセットを使用することによって、所望の第１セグメンテーションを獲得することにおいて効率的であり得ることを認識してきた。ユーザインタラクションの最適化されたセットは、所定のセグメンテーションツールを使用してユーザが既に生成した第１セグメンテーションに類似する第２セグメンテーションを獲得することに基づいて決定されてよいので、ユーザインタラクションの最適化されたセットは、ユーザが目指すものに対して直接的に関連し得る。

プロセッサ140は、ユーザインタラクションの異なる候補セットを生成するために、セグメンテーションツールのパラメータを変更するように構成されてよい。ユーザインタラクションの候補セットは、インタラクションに関連するパラメータの変更に基づいて、または、インタラクションの変更順序（changing order）に基づいて生成されてよい。候補セットは、既知の最適化方法を使用して生成されてよく、そこでは、類似性クライテリアがコスト関数としてみなされてよく、そして、例えば、インタラクションの順序、セグメンテーションツールのパラメータ、等が最適化パラメータとして考えられてよい。

プロセッサ140は、さらに、ユーザインタラクションの異なる候補セットを生成するために、ユーザインタラクションのシーケンスを変更するように構成されてよい。例えば、複数の画像スライスを用いて作業する場合には、第２セグメンテーションをより迅速に獲得するために、異なる画像スライス間での切り替え（switching）シーケンスが最適化され得る。

プロセッサ140は、さらに、第１セグメンテーションを獲得するためにユーザによって使用されない少なくとも１つの未使用セグメンテーションツールを使用して、ユーザインタラクションの複数の候補セットを生成するように構成されてよいことに留意する。例えば、ユーザは、グラフィカルセグメンテーションインターフェイスに存在している関連するセグメンテーションツールを知らないことがある。プロセッサ140は、例えば、セグメント化されるべきオブジェクトの幾何学的形状（geometry）、または、画像の画像輝度、等に基づいて、第２セグメンテーションを獲得するための未使用セグメンテーションツールの関連性（relevance）を決定し得る。

プロセッサ140は、さらに、時間メトリック（time metric）に基づいてグラフィカルセグメンテーションインターフェイスを使用してユーザインタラクションの複数の候補セットのそれぞれ１つをユーザが実行するのに必要とされる時間を推定するように構成されてよい。時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数に係る関数である。ユーザインタラクションの最適化されたセットは、既知の最適化方法を使用して生成されてよく、そこでは、第２セグメンテーションを獲得するためのユーザインタラクションの時間がコスト関数としてみなされてよく、そして、例えば、第２インタラクションを獲得するために必要とされるユーザインタラクションの数が最適化パラメータとして考えられてよい。

時間メトリックは、少なくとも１つのパラメータを含む数式またはルール、もしくは、同様のタイプの数学的表現であってよく、パラメータは、ユーザの選択動作、異なるセグメンテーションツール間の切り替え、異なる画像スライス間の切り替え、ズーム（zooming）動作およびパン（panning）動作に係るリストから選択された動作を示すものである。時間メトリックは、プロセッサに対してアクセス可能なメモリの中に保管されたデータによって表されてよい。そうした時間メトリックは、ヒューリスティックに（heuristically）デザインされてよいが、例えば、それ自体が既知である機械学習を使用して、自動的に生成されてもよい。時間メトリックは、さらに、それぞれの候補セットにおけるユーザインタラクションのタイプの数とタイプの両方の関数であり得るという点において、それぞれの候補セットにおけるユーザインタラクションのタイプの関数であり得る。別の言葉で言えば、「さらなる機能（"further function"）」は、ユーザインタラクションの数の関数であることに加えて、この追加的な特性または量の関数でもあることを意味している。例えば、時間メトリックは、この追加的な特性または量を示す１つまたはそれ以上のパラメータを含んでよい。

時間メトリックは、さらに、また、オブジェクトの幾何学的複雑度（geometrical complexity）の関数であってもよいことに留意する。プロセッサ140は、オブジェクトの幾何学的複雑度を計算するように構成されてよい。オブジェクトの幾何学的複雑度を計算する方法は、それ自体が既知である。例えば、オブジェクトの幾何学的複雑度を計算するために、２次元画像について面積に対する輪郭（outline）の比率、または、３次元画像について体積に対する表面の比率が使用され得る。別の例においては、オブジェクトの幾何学的複雑度を計算するために、輪郭または表面の導関数（derivative）に基づいて統計が生成されてよい。さらなる例においては、オブジェクトの骨格（skeleton）を計算するために骨格化方法（skeletonization method）が使用されてよく、そして、骨格に基づいて、オブジェクトの複雑度が計算されてよい

セグメンテーションデータは、さらに、画像における関心領域（region of interest）の位置を表してよく、そして、時間メトリックは、さらに、関心領域の位置の関数であることに留意する。

プロセッサ140は、ユーザインタラクションの最適化されたセットを視覚的に示すビデオを生成することによって、ユーザインタラクションの最適化されたセットをユーザに対して示すように構成されてよいことに、さらに留意する。

システム100の様々な動作は、その様々なオプションの態様を含み、図２ａ−図９ｅを参照してより詳細に説明されることに留意する。

システム100は、ワークステーションまたは画像化装置といった、単一のデバイスまたは装置として、もしくは、その中に具現化され得ることに留意する。デバイスまたは装置は、適切なソフトウェアを実行する１つまたはそれ以上のマイクロプロセッサを含んでよい。ソフトウェアは、対応するメモリの中にダウンロードされ、かつ／あるいは、保管されてよい。例えば、RAMといった揮発性メモリ、または、フラッシュといった不揮発性メモリである。代替的に、システムの機能ユニットは、例えば、フィールドプログラマブルゲートアレイ（FPGA）として、プログラマブルロジックの形態でデバイスまたは装置において実装されてよい。一般的に、システムの各機能ユニットは、回路の形態で実施されてよい。システム100は、また、例えば、異なるデバイスまたは装置を含む、分散された態様で実装されてもよいことに留意する。例えば、分散は、クライアント−サーバモデルに従ったものであり得る。

図２ａは、胸部のＸ線画像200および肺野（lung-field）のセグメンテーションのための領域の拡大されたビュー210の指標を示している。図２ｂは、図２ａのズームインされたビュー210を示している。図２ｃは、図２ｂの肺野の第１セグメンテーション220を示している。ユーザは、様々な手動または半手動のセグメンテーション技術を使用して、第１セグメンテーション220を獲得し得る。例えば、閾値処理（thresholding）、クラスタリング、領域拡大、またはモデルベースのセグメンテーションである。一つの例において、ユーザは、例えば、ペンシルツール（図示なし）を使用して、肺野を手動で選択することによってセグメンテーションを実行することができる。

この例は胸部Ｘ線撮影に関連するが、これは非限定的な例であること、および、請求される本発明は他のタイプの画像およびＸ線写真に対して同様に適用可能であることが正しく理解されること、に留意する。

図３は、図２ｃの第１セグメンテーション220といったセグメンテーションを獲得するためにユーザによって使用され得るセグメンテーションツール310のセットを表しているアイコンを含むグラフィカルセグメンテーションインターフェイス300の一つの例を示している。グラフィカルセグメンテーションインターフェイス300は、さらに、図１のプロセッサ140によって生成され得るユーザインタラクションの最適化されたセットを、例えばビデオで、ユーザが視覚的に観察できるようにするためのトレーニングアイコン320を含んでよい。例えば、トレーニングアイコン320をクリックすることは、ユーザに対してビデオが示されることを結果として生じてよい。

図４ａ−図４ｆは、図２ｃの第１セグメンテーション220を獲得するために、ユーザと図３のグラフィカルセグメンテーションインターフェイス300のユーザインタラクションのセットに係る中間結果400を示している。この例では、ユーザは、セグメンテーションツールの非最適化パラメータを選択したかもしれない、すなわち画像内における関心領域を選択するための小さなストローク幅を有するペンシルツールである。そうであるから、ユーザは、図２ｃの第１セグメンテーション220を獲得するために、画像の異なる領域415、425、435、445、455を徐々に塗る、すなわち選択するように、いくつかの時間のかかるステップを行う必要があるだろう。図２ｃの第１セグメンテーションは図４ａ−図４ｆに示されておらず、そして、中間ステップのいくつかだけが示されていることに留意する。

図５ａ−図５ｄは、図２ｃの第１セグメンテーション220と同様な第２セグメンテーション505を獲得するためのユーザインタラクションの最適化されたセットの結果500を示している。説明のために簡素化された、この例において、ユーザは、ペンシルツール517のストローク幅が調節可能であることに気付いていないことがある。図１のシステム100は、ペンシルツール517のストローク幅を最適化し得る。そうした最適化において、システム100は、例えば、肺野の幾何学的複雑度を考慮に入れることができる。画像500は、画像500における肺野のエッジに対する骨格の距離に基づいて、例えば、骨格507を決定するために、分析されてよい。そうした骨格を決定するためには、それ自体が当技術分野において知られているオブジェクト骨格化（skeletonization）方法が使用され得る。例えば、骨格化法が使用される場合に、骨格に対する肺野のエッジにおける各ポイント間の距離、すなわち最短経路、が知られている。距離の変動に基づいて、画像は多数の領域へと分割され得る。例えば、エッジにおいて隣接するポイントの距離の変動が所定の閾値より小さい場合に、エッジ上のポイントは、領域を定義するために同じグループに属しているものとして考えられてよい。距離変動が閾値を超える場合には、画像内に別の領域が画定されてよい。図５の非限定的な例においては、３つの別個の距離508、509、510に基づいて決定されるように３つの領域515、525、535が示されている。システム100は、図２の第１セグメンテーション220に類似するセグメンテーションを結果として獲得するユーザインタラクションの複数の候補セットを生成するように、画像の決定された領域515、525、535のうち１つまたはそれ以上においてペンシルツール517のストローク幅を変更することができる。システム100は、続いて、ユーザインタラクションの数、例えば、それぞれの候補セットにおける異なるストローク幅の選択数、に基づいて、ユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定することができる。システム100は、次いで、最小である時間の上記推定に基づいて、ユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうち１つを選択することができる。図５ａ−図５ｄの例において、ユーザインタラクションの最適化されたセットは、画像において部分的にセグメント化している３つの異なる領域515、525、535について、それぞれに、ペンシルの３つの異なるストローク幅517、527、537を有してよい。例えば、ペンシルのストローク幅は、肺野のエッジからの骨格507の距離に基づいて、連続的に減少されてよい。すなわち、肺野のエッジから骨格507の距離508がより大きい領域515について、肺野のエッジから骨格507の距離509、510がより小さい領域525および535に比べて、より大きなストローク幅517が選択されてよい。

図６ａ−図６ｅは、オブジェクト617のセグメンテーションを獲得するための画像スライスのスタック600におけるセグメンテーション輪郭（contours）に係る模式的な適応的輪郭プロパゲーション（Adaptive Contour Propagation）を示している。適応輪郭プロパゲーション法は、画像スライスのスタックを含む画像における３次元オブジェクトの第１セグメンテーションを獲得するために、半自動セグメンテーションができるように使用され得る。適応輪郭プロパゲーション法は、それ自体当技術分野で知られている。適応輪郭プロパゲーション法においては、画像スライスの中のオブジェクトのセグメンテーションを獲得するように、セグメンテーション輪郭が隣接するスライスに対して伝播され得る。図６ａ−図６ｅの例において、画像のスタック600は、少なくとも２つの画像スライス610、620を含んでよい。インタラクティブはさみ（interactive scissors）がセグメンテーションのために使用されてよい。例えば、コンピュータマウスを使用する適応輪郭描画（adaptive contour drawing）が、ユーザによって提供される経路605の近くのオブジェクトエッジ607に付着してよい。そうであるから、輪郭607は、完全な輪郭615を形成するために、ユーザによって作成された輪郭線描605に基づいて導出されてよい。経路は、また、システムによって自動的に生成されてもよいことに留意する。画像スタック600のセグメンテーションのために、適応輪郭プロパゲーション法は、輪郭615、625、635を隣接するスライスに対して伝播できるようにし得る。適応輪郭プロパゲーション法においては、セグメンテーション輪郭を隣接スライスに対してコピーすることができ、そして、いくつかのエッジ適応フィッティングを自動的に行うことができることによって、外部エネルギ関数に基づいてセグメンテーション輪郭を画像輪郭に対して引き付けることができることに留意する。内部エネルギ関数は、同一のオブジェクトに属しているおそらくより大きな画像勾配（image gradients）への引き付けを防止するように、変形を制限することができる。内部および外部エネルギ項（energy terms）は、隣接するスライスにおける輪郭の適合性を進める（steer）ことができる。総エネルギは、外部エネルギと、内部エネルギで乗算された因子（factor）との合計として計算することができる。因子は、２つのエネルギ項をバランスさせるために使用され得る。内部エネルギ項は、元の輪郭からのデリベーション（derivations）にペナルティを課すようにデザインされてよい。外部エネルギ項は、輪郭と、画像または画像エッジといった画像特徴との類似性を表すことができる。そうであるから、外部エネルギ項は元の輪郭を維持しようと試み、一方で内部エネルギ項は画像エッジに近づくように試みる。エネルギ項は、元の輪郭とは類似しない形状を防止するようにバランスされてよい。

図７ａは、プロセッサによって獲得された肝臓の第１の３次元（3D）セグメンテーションを含む３次元画像700を示している。第１セグメンテーション710は、例えば、スライス毎の（slice-wise）セグメンテーションのためのインタラクティブはさみツールを使用して獲得され得る。図７ｂは、肝臓の第１セグメンテーションが獲得される以前の横断面における画像スライス720を示している。図７ｃは、横断面における画像スライス720を示しており、肝臓の第１セグメンテーション710に係るセグメント化セクション715が示されている。

図８ａ−図８ｃは、３つの平行な横断面における図７の肝臓の第１セグメンテーション710に係る３つのセグメント化セクション805、815、825を示している３つの画像スライス800、810、820を示す。ユーザは、図３のグラフィカルセグメンテーションインターフェイス300のナビゲーションセグメンテーションツールを使用して画像スライスを見ることができることに留意する。ユーザが様々な平面および方向においてオブジェクトを通じてナビゲートできるようにし得るものである。

図９ａは、画像スライス900に対して適応的輪郭プロパゲーションを適用する以前の肝臓の画像スライス900における初期輪郭915を示している。図９ｂは、図９ａの画像スライス900に対して適用された適応的輪郭プロパゲーションの結果を示している。請求される本システムと本方法は、初期輪郭915を変更することによって候補セットを生成することができる。例えば、図９ｃは、画像スライス900に対して適応的輪郭プロパゲーションを適用する以前の初期輪郭に係る別のセット925を示している。図９ｄは、図９ｃの画像スライス900に対して適用された適応的輪郭プロパゲーションの結果を示している。図９ｂと図９ｄとの違いは、そうであるから、２つの異なる候補セットにおける初期輪郭の２つの異なるセットの結果の差異を示し得る。請求される本システムと本方法は、例えば、どちらが所望のセグメンテーションをより少ない時間で獲得することができるかに基づいて初期輪郭の最適なセットを決定することができる。

図１０は、画像の中のオブジェクトをセグメント化するためのコンピュータ実装方法1000を示している。方法1000は、図１を参照して説明したシステム100の動作に対応し得るが、必ずしもそうである必要はないことに留意する。方法1000は、「グラフィカルセグメンテーションインターフェイスの確立（"ESTABLISHING GRAPHICAL SEGMENTATION INTERFACE"）」というタイトルの動作において、ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立し、グラフィカルセグメンテーションインターフェイスは、画像の中のオブジェクトの第１セグメンテーションをユーザが獲得できるようにするためのセグメンテーションツールのセットを含み、ここで、第１セグメンテーションはセグメンテーションデータによって表されている。方法1000は、「インタラクションデータの受信（"RECEIVING INTERACTION DATA"）」というタイトルの動作において、ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するステップ1010を含み、インタラクションデータは、それによりオブジェクトの第１セグメンテーションが獲得された、ユーザのユーザとグラフィカルセグメンテーションインターフェイスに対するユーザインタラクションのセットを示している。方法1000は、さらに、ユーザインタラクションの最適化されたセットを決定するために、セグメンテーションデータおよびインタラクションデータを分析するステップを含み、グラフィカルセグメンテーションインターフェイスを使用してユーザによって実行される場合に、第１セグメンテーションに類似する第２セグメンテーションを獲得する。このことは、「候補セット生成（"GENERATING CANDIDATE SETS"）」というタイトルの動作において、第１セグメンテーションに類似する第２セグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成するステップ1020と、「時間推定（"ESTIMATING TIME"）」というタイトルの動作において、時間メトリックに基づいて、グラフィカルセグメンテーションインターフェイスを使用してユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定するステップ1030であり、時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数の関数であるステップと、「候補セットの選択（"SELECTING CANDIDATE SET"）」というタイトルの動作において、最小である上記の時間の推定に基づいてユーザインタラクションの最適化されたセットとして、ユーザインタラクションの複数の候補セットのうち１つを選択するステップ1040と、「最適化されたインタラクションデータの生成（"GENERATING OPTIMIZED INTERACTION DATA"）」というタイトルの動作において、ディスプレイを介してユーザに対してユーザインタラクションの最適化されたセットを示すことを可能にするために、ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成するステップ1050と、を含んでよい。

上記の動作は、適用可能である場合には、例えば、入力／出力関係によって必要とされる特定の順序に従って、あらゆる適切な順序、例えば、連続的に、同時に、または、それらの組み合わせにおいて実行されてよいことが正しく理解されよう。

方法1000は、コンピュータで実装される方法として、専用ハードウェアとして、または、両方の組み合わせとして、コンピュータ上で実施され得る。図１１にも示されるように、コンピュータに対するインストラクション、例えば実行可能コードは、コンピュータで読取り可能な媒体1100に保管されてよい。例えば、マシンで読取り可能な物理的マークのシリーズ1200の形態において、及び／又は、異なる電気的、例えば、磁気的、または光学的特性または値を有する一連のエレメントとしてである。実行可能コードは、一時的または非一時的な方法で保管することができる。コンピュータで読取り可能な媒体の例は、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトウェア、等を含み、図１１は、光ディスク1100を示している。

本出願の要約に従って、システムおよびコンピュータ実装方法は、グラフィカルセグメンテーションインターフェイスを使用して医用画像の中のオブジェクトをセグメント化するために提供されることが正しく理解されよう。グラフィカルセグメンテーションインターフェイスは、ユーザが画像の中のオブジェクトの第１セグメンテーションを獲得できるようにするためのセグメンテーションツールのセットを含み得る。この第１セグメンテーションは、セグメント化データによって表すことができる。インタラクションデータは、ユーザのユーザインタラクションのセットを示すものであり、オブジェクトの第１セグメンテーションがそれにより得られたグラフィカルセグメンテーションインターフェイスを用いて獲得することができる。システムは、ユーザインタラクションの最適化されたセットを決定するために、セグメンテーションデータおよびインタラクションデータを分析するように構成されたプロセッサを含んでよい。ユーザインストラクションは、ユーザによって実行されるとき、第１セグメンテーションに類似する第２セグメンテーションを、さらに、より迅速かつ便利な方法で獲得するものである。ユーザインタラクションの最適化されたセットをユーザに対して示すことによって、ユーザをトレーニングするためのビデオが生成され得る。

上記に従って、医用画像処理は、なおも実質的な量の手動のユーザインタラクションを含んでいることに留意する。例えば、放射線治療計画について危機にある臓器を表示するため、または、自動セグメンテーションアルゴリズムを用いて生成された自動画像マスクの修正のためである。しばしば、変化するパラメータを伴う様々なセグメンテーションツールを使用して、最終結果が達成され得る。インタラクションの前後で画像マスクの状態を記録することによって、類似する結果を達成する新しく強力なインタラクション技術を含む、より迅速又はより容易なインタラクションのセットを計算することができる。その結果は、例えば、自動的に生成された、短いトレーニングビデオを表示することによって、トレーニングのためにユーザに対して示されてよい。さらに、本方法は、インタラクションが発生したところの、位置において根底にある画像特徴を含むように拡張され得る。例えば、形状の輪郭が均質な画像領域から画像のエッジへ移動する可能性がある。この情報は、異なる画像における複数のインタラクティブセッションから収集され、そして、将来の（future）画像にける有用なインタラクションシーケンスを予測するために、解剖学的モデルまたは他の専門家の知識と併せて使用され得る。

実施例、実施形態、または任意的な特徴は、非限定的であるとして示されているか否かにかかわらず、請求される発明を限定するものとして理解されるべきではない。

本発明は、また、本発明を実施させるように適合されたコンピュータプログラム、特にキャリア（carrier）上または中のコンピュータプログラム、にも適用されることが正しく理解されるべきである。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形式におけるといったソースとオブジェクトコードの中間のコード、または、本発明に従った方法の実施における使用に好適なあらゆる他の形式であってよい。そうしたプログラムは、また、多くの異なるアーキテクチャーデザインを有し得ることも正しく理解されるべきである。例えば、本発明に従った方法またはシステムの機能性を実施するプログラムコードは、一つまたはそれ以上のサブルーチンに細分化され得る。これらのサブルーチンの中で機能性を配分する多くの異なる方法が、当業者にとっては明らかである。サブルーチンは、自己完結型のプログラムを形成するように一つの実行可能ファイルの中に一緒に保管されてよい。そうした実行可能ファイルは、コンピュータで実行可能なインストラクションを含んでよい。例えば、プロセッサインストラクション、及び/又はインタープリターインストラクション（例えば、Ｊａｖａ（登録商標）インタープリターインストラクション）である。代替的に、一つまたはそれ以上、又は、全てのサブルーチンは、少なくとも一つの外部ライブラリーファイルの中に保管され、メインプログラムと静的または動的、例えば実行時、のいずれかでリンクされ得る。メインプログラムは、少なくとも１つのサブルーチンに対する少なくとも１つのコールを含んでいる。サブルーチンは、また、互いに対するファンクションコールも含んでよい。コンピュータプログラム製品に関する一つの実施形態は、ここにおいて明らかにされた少なくとも一つの方法に係るそれぞれの処理段階に対応するコンピュータで実行可能なインストラクションを含んでいる。これらのインストラクションは、サブルーチンに細分化され、かつ/あるいは、静的または動的にリンクされた一つまたはそれ以上のファイルの中に保管されてよい。コンピュータプログラム製品に関する他の実施形態は、ここにおいて明らかにされたシステム及び／又は製品の少なくとも一つに係るそれぞれの手段に対応するコンピュータで実行可能なインストラクションを含む。これらのインストラクションは、サブルーチンに細分化され、かつ/あるいは、静的または動的にリンクされた一つまたはそれ以上のファイルの中に保管されてよい。

コンピュータプログラムのキャリア（carrier）は、プログラムを運搬することができるあらゆるエンティティまたはデバイスであってよい。例として、キャリアは、例えば、ＣＤ ＲＯＭまたは半導体ＲＯＭ、であるＲＯＭ、または、磁気記録媒体、例えばハードディスク、といった記録媒体を含んでいる。さらに、キャリアは、電気又は光信号といった伝送可能なキャリアであってよく、電線又は光ケーブルを介して、または、無線又は他の手段によって、運搬され得る。プログラムがそうした信号の中に具現化されている場合、キャリアは、そうしたケーブルまたは他のデバイス又は手段によって構成され得る。代替的に、キャリアは、プログラムがエンベッドされた集積回路であってよく、集積回路は、関連の方法を実行するように適合され、または、関連の方法の実行において使用される。

上述の実施形態は、本発明を限定するより、むしろ、説明するものであること、そして、当業者であれば、添付の特許請求の範囲から逸脱することなく多くの代替的な実施形態をデザインすることができることが留意されるべきである。特許請求の範囲において、括弧の間に置かれたあらゆる参照番号も、特許請求の範囲を限定するものとして理解されるべきではない。動詞「含む（”comprise”）」及びその語形変化は、請求項において挙げられたもの以外のエレメントまたはステップの存在を排除するものではない。エレメントに先立つ冠詞「一つの（”a”または”an”）」は、複数のそうしたエレメントの存在を排除するものではない。本発明は、いくつかの別個のエレメントを含むハードウェア手段によって、および、好適にプログラムされたコンピュータによって実行され得る。いくつかの手段を列挙しているあらゆるデバイスの請求項において、これらの手段のいくつかは、一つの、そして同一のハードウェアのアイテムによって実施され得る。特定のエレメントが相互に異なる従属請求項において引用されているという単なる事実は、これらのエレメントの組合せが有利に使用され得ないことを示すものではない。

Claims (13)

1. 画像の中のオブジェクトをセグメント化するためのシステムであって、
   −ユーザインターフェイスサブシステムであり、
   ｉ）ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立するためのディスプレイ出力であり、前記グラフィカルセグメンテーションインターフェイスは、前記画像の中のオブジェクトの第１セグメンテーションをユーザが獲得できるようにするためのセグメンテーションツールのセットを含み、前記第１セグメンテーションはセグメンテーションデータによって表されている、ディスプレイ出力と、
   ｉｉ）前記ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するように構成されたユーザ入力インターフェイスであり、前記インタラクションデータは、それにより前記オブジェクトの前記第１セグメンテーションが獲得された、前記ユーザの前記グラフィカルセグメンテーションインターフェイスに対するユーザインタラクションのセットを示している、ユーザ入力インターフェイスと、
   を含む、ユーザインターフェイスサブシステムと、
   −インストラクションのセットを表すインストラクションデータを含むメモリと、
   −前記ユーザ入力インターフェイスおよび前記メモリと通信するように、かつ、前記インストラクションのセットを実行するように構成されたプロセッサであり、前記インストラクションのセットが前記プロセッサによって実行されると、
   ｉ）ユーザインタラクションの最適化されたセットを決定するために前記セグメンテーションデータおよび前記インタラクションデータを分析し、前記ユーザインタラクションの最適化されたセットは、前記グラフィカルセグメンテーションインターフェイスを使用して前記ユーザによって実行される場合に、前記第１セグメンテーションに類似する第２セグメンテーションを獲得するものであり、
   前記ユーザインタラクションの最適化されたセットは、
   ｊ）前記第１セグメンテーションに類似するセグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成すること、
   ｊｊ）時間メトリックに基づいて、前記グラフィカルセグメンテーションインターフェイスを使用して前記ユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定することであり、前記時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数の関数であること、および、
   ｊｊｊ）最小である時間の前記推定に基づいて、前記ユーザインタラクションの最適化されたセットとして、前記ユーザインタラクションの複数の候補セットのうち１つを選択すること、
   によって決定され、
   ｉｉ）前記ディスプレイを介して前記ユーザに対して前記ユーザインタラクションの最適化されたセットを示すことを可能にするために、前記ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成する、
   プロセッサと、
   を含む、システム。
2. 前記ユーザインタラクションのセットは、セグメンテーションツールを使用しているユーザを表すユーザインタラクションを含み、
   前記インストラクションのセットが前記プロセッサによって実行されると、前記プロセッサは、ユーザインタラクションの異なる候補セットを生成するように、前記セグメンテーションツールのパラメータを変更する、
   請求項１に記載のシステム。
3. 前記ユーザインタラクションのセットは、ユーザインタラクションのシーケンスを含み、
   前記インストラクションのセットが前記プロセッサによって実行されると、前記プロセッサは、ユーザインタラクションの異なる候補セットを生成するように、前記ユーザインタラクションのシーケンスを変更する、
   請求項１に記載のシステム。
4. 前記グラフィカルセグメンテーションインターフェイスは、前記第１セグメンテーションを獲得するために前記ユーザによって使用されない少なくとも１つの未使用セグメンテーションツールを含み、該少なくとも１つの未使用セグメンテーションツールを使用して前記ユーザインタラクションの複数の候補セットが生成される、
   請求項１に記載のシステム。
5. 前記時間メトリックは、少なくとも１つのパラメータを含み、前記パラメータは、ユーザの選択動作、異なるセグメンテーションツール間の切り替え、異なる画像スライス間の切り替え、ズーム動作、および、パン動作に係るリストから選択された動作を示す、
   請求項１乃至４いずれか一項に記載のシステム。
6. 前記時間メトリックは、それぞれの候補セットにおけるユーザインタラクションのタイプの関数である、
   請求項１乃至５いずれか一項に記載のシステム。
7. 前記インストラクションのセットが前記プロセッサによって実行されると、前記プロセッサは、前記オブジェクトの幾何学的複雑度を計算し、かつ、
   前記時間メトリックは、前記オブジェクトの幾何学的複雑度の関数である、
   請求項１乃至６いずれか一項に記載のシステム。
8. 前記時間メトリックは、前記画像の画像特徴の関数である、
   請求項１乃至７いずれか一項に記載のシステム。
9. 前記インストラクションのセットが前記プロセッサによって実行されると、前記プロセッサは、前記ユーザインタラクションの最適化されたセットを視覚的に示すビデオを生成することによって、前記ユーザインタラクションの最適化されたセットを前記ユーザに対して示す、
   請求項１乃至８いずれか一項に記載のシステム。
10. 請求項１乃至９いずれか一項に記載のシステムを含む、ワークステーション。
11. 請求項１乃至９いずれか一項に記載のシステムを含む、画像化装置。
12. 画像の中のオブジェクトをセグメント化するための方法であって、
    −ディスプレイ上でグラフィカルセグメンテーションインターフェイスを確立するステップであり、前記グラフィカルセグメンテーションインターフェイスは、前記画像の中のオブジェクトの第１セグメンテーションをユーザが獲得できるようにするためのセグメンテーションツールのセットを含み、前記第１セグメンテーションはセグメンテーションデータによって表されている、ステップと、
    −前記ユーザによって操作可能なユーザデバイスからインタラクションデータを受信するステップであり、前記インタラクションデータは、それにより前記オブジェクトの前記第１セグメンテーションが獲得された、前記ユーザの前記グラフィカルセグメンテーションインターフェイスに対するユーザインタラクションのセットを示している、ステップと、
    −ユーザインタラクションの最適化されたセットを決定するために前記セグメンテーションデータおよび前記インタラクションデータを分析するステップであり、前記ユーザインタラクションの最適化されたセットは、前記グラフィカルセグメンテーションインターフェイスを使用して前記ユーザによって実行される場合に、前記第１セグメンテーションに類似する第２セグメンテーションを獲得するものであり、
    前記ユーザインタラクションの最適化されたセットは、
    ｉ）前記第１セグメンテーションに類似するセグメンテーションを獲得するユーザインタラクションの複数の候補セットを生成すること、
    ｉｉ）時間メトリックに基づいて、前記グラフィカルセグメンテーションインターフェイスを使用して前記ユーザインタラクションの複数の候補セットのうちそれぞれ１つを実行するためにユーザが必要とする時間を推定することであり、前記時間メトリックは、それぞれの候補セットにおけるユーザインタラクションの少なくとも数の関数であること、および、
    ｉｉｉ）最小である時間の前記推定に基づいて、前記ユーザインタラクションの最適化されたセットとして、前記ユーザインタラクションの複数の候補セットのうち１つを選択すること、によって決定される、
    ステップと、
    −前記ディスプレイを介して前記ユーザに対して前記ユーザインタラクションの最適化されたセットを示すことを可能にするために、前記ユーザインタラクションの最適化されたセットを表している最適化されたインタラクションデータを生成するステップと、
    を含む、方法。
13. インストラクションを含むコンピュータプログラムであり、前記インストラクションが実行されると、プロセッサに請求項１２に記載の方法を実施させる、コンピュータプログラム。

Images