JP2007520002A - 能動外観モデルを画像解析へ応用するシステム及び方法 - Google Patents

能動外観モデルを画像解析へ応用するシステム及び方法 Download PDF

Info

Publication number
JP2007520002A
JP2007520002A JP2006549798A JP2006549798A JP2007520002A JP 2007520002 A JP2007520002 A JP 2007520002A JP 2006549798 A JP2006549798 A JP 2006549798A JP 2006549798 A JP2006549798 A JP 2006549798A JP 2007520002 A JP2007520002 A JP 2007520002A
Authority
JP
Japan
Prior art keywords
model
output
image
shape
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006549798A
Other languages
English (en)
Inventor
アコマッツィ、ヴィトリオ
ボーディガリ、ディエゴ
ジャン、エレン
テート、ピーター
ガイガー、ポール
Original Assignee
セダラ ソフトウェア コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セダラ ソフトウェア コーポレイション filed Critical セダラ ソフトウェア コーポレイション
Publication of JP2007520002A publication Critical patent/JP2007520002A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

デジタル画像を解釈する統計外観モデルを有する画像処理システム及び方法。外観モデルは少なくとも１つのモデル・パラメータを有する。システム及び方法は２次元の第１のモデル・オブジェクトを含み、該第１のモデル・オブジェクトは、関連した第１の統計関係を含む。第１のモデル・オブジェクトは変形して、デジタル画像の中の２次元の第１のターゲット・オブジェクトの形状及びテクスチャに近似するように構成される。更に、第１のモデル・オブジェクトを選択して画像へ適用し、第１のターゲット・オブジェクトの形状及びテクスチャに近似する２次元の第１の出力オブジェクトを生成するサーチ・モジュールが含まれる。サーチ・モジュールは、第１の出力オブジェクトと第１のターゲット・オブジェクトとの間の第１の誤差を計算する。更に、第１の出力オブジェクトを表すデータを出力へ提供する出力モジュールが含まれる。処理システムは補間を使用して画像の区分を改善し、また様々なターゲット・オブジェクト構成のために最適化された複数のモデルを使用する。更に、モデル・パラメータに関連づけられるモデル・ラベリングが含まれ、ラベリングは解の画像に帰せられて、患者の診断を助けるようにする。

Description

本発明は、一般的に、統計モデルを使用した画像解析に関する。
形状及び外観の統計モデルは、デジタル画像を解釈する強力なツールである。変形可能な統計モデルは、顔の認識、工業製品の検査、及び医療画像の解釈を含む多くの分野で使用されてきた。変形可能なモデル、例えば、能動形状モデル（Active Shape Models）及び能動外観モデル（Active Appearance Models）は、ノイズがあり及び分解能の困難性を含む複雑で変動し得る構造を有する画像へ適用可能である。一般的に、形状モデルは画像内のターゲット・オブジェクトの境界へオブジェクト・モデルをマッチさせるが、外観モデルはモデル・パラメータを使用し、形状及びテクスチャの双方を使用して完全な画像マッチを合成し、画像からターゲット・オブジェクトを識別及び再生する。
形状及び外観の３次元統計モデル、例えば、コンピュータ映像ヨーロッパ会議（European Conference on Computer Vision）におけるＣｏｏｔｅｓらの能動外観モデルは、医療画像の解釈へ応用されてきたが、生物学的構造に存在する個人間及び個人内の変動性は画像の解釈を困難にする。医療画像の解釈における多くの応用は、画像構造の処理及び解析を取り扱う能力を有する自動化システムを必要とする。医療画像は、典型的に、同一でないオブジェクトのクラスを有し、したがって変形可能なモデルは、表現するオブジェクトのクラスの本質的特性を維持する必要があるが、変形して特定範囲のオブジェクトの例を当て嵌めることもできる。一般的に、モデルは、モデル・オブジェクトが表現するオブジェクト・クラスの有効なターゲット・オブジェクトを妥当及び正当に生成できなければならない。しかし、現在のモデル・システムは、モデル化されたオブジェクト・クラスによって表される画像内のターゲット・オブジェクトの存在を検証しない。現在のモデル・システムの更なる欠点は、特定の画像で使用する最良モデルを識別しないことである。例えば、医療撮像の応用において、要件は病理解剖を区分することである。病理解剖は、生理解剖よりも著しく多様な変動性を有する。病理解剖の全ての変動性を１つの代表的なモデルへモデル化するときの重要な副作用は、モデル・オブジェクトが間違った形状を「学習」し、結果として最適でない解を発見することである。これは、モデル・オブジェクトの生成の間に、例示的トレーニング画像に基づく一般化ステップが存在し、モデル・オブジェクトが、現実に存在しない可能性のある例示的形状を学習する事実によって起こる。
現在のモデル・システムの他の欠点は、画像の再生されたターゲット・オブジェクトが空間的及び／又は時間的に不均一に分布すること、及び画像内で識別されたターゲット・オブジェクトの病理を決定する支援が欠乏していることである。
本発明の目的は、変形可能な統計モデルによって前記の欠点の少なくとも幾つかを除去又は軽減する画像解釈システム及び方法を提供することである。
本発明によれば、デジタル画像を解釈する統計外観モデルを有し、該外観モデルが少なくとも１つのモデル・パラメータを有する画像処理システムが提供される。このシステムは、関連した第１の統計関係を含み、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクト、関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトであって第１のモデル・オブジェクトとは異なる形状及びテクスチャの構成を有する第２のモデル・オブジェクト、第１のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、第１の出力オブジェクトとターゲット・オブジェクトとの間の第１の誤差を計算し、第２のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、第２の出力オブジェクトとターゲット・オブジェクトとの間の第２の誤差を計算するサーチ・モジュール、第１の誤差と第２の誤差とを比較して、最小有意誤差を有する出力オブジェクトの１つが選択されるようにする選択モジュール、及び選択された出力オブジェクトを表すデータを出力へ提供する出力モジュールを備える。
本発明の更なる様相によれば、デジタル画像のシーケンスを解釈する統計外観モデルを有し、該外観モデルが少なくとも１つのモデル・パラメータを有する画像処理システムが提供される。システムは、関連した統計関係を含む多次元モデル・オブジェクトであって、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成されたモデル・オブジェクト、モデル・オブジェクトを選択して画像へ適用し、ターゲット・オブジェクトの形状及びテクスチャに近似する多次元出力オブジェクトの対応するシーケンスを生成し、出力オブジェクト及びターゲット・オブジェクトの各々の間の誤差を計算するサーチ・モジュール、シーケンスの隣接した出力オブジェクトの間で期待される所定の変形に基づいて、出力オブジェクトのシーケンス内で少なくとも１つの無効の出力オブジェクトを認識する補間モジュールであって、無効の出力オブジェクトが原初のモデル・パラメータを有する補間モジュール、及び出力オブジェクトのシーケンスを表すデータを出力へ提供する出力モジュールを備える。
本発明の更なる様相によれば、統計外観モデルでデジタル画像を解釈する方法であって、前記外観モデルが少なくとも１つのモデル・パラメータを有する、該方法が提供される。方法は、関連した第１の統計関係を含み、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクトを提供し、関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトを提供し、第２のモデル・オブジェクトが第１のモデル・オブジェクトとは異なる形状及びテクスチャ構成を有し、第１のモデル・オブジェクトを画像へ適用して、ターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、第１の出力オブジェクトとターゲット・オブジェクトとの間の第１の誤差を計算し、第２のモデル・オブジェクトを画像へ適用して、ターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、第２の出力オブジェクトとターゲット・オブジェクトとの間の第２の誤差を計算し、第１の誤差と第２の誤差とを比較して、最小有意誤差を有する出力オブジェクトの１つが選択されるようにし、選択された出力オブジェクトを表すデータを出力へ提供する。
本発明の更なる様相によれば、統計外観モデルを使用してデジタル画像を解釈し、前記外観モデルが少なくとも１つのモデル・パラメータを有するコンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品はコンピュータ読み取り可能媒体を含み、オブジェクト・モジュールがコンピュータ読み取り可能媒体に記憶される。オブジェクト・モジュールは、関連した第１の統計関係を含み、変形してデジタル画像の中の多次元のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクト、及び関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトを有するように構成される。第１のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、第１の出力オブジェクトとターゲット・オブジェクトとの間の第１の誤差を計算し、第２のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、第２の出力オブジェクトとターゲット・オブジェクトとの間の第２の誤差を計算するサーチ・モジュールがコンピュータ読み取り可能媒体に記憶される。第２のモデル・オブジェクトは第１のモデル・オブジェクトとは異なる形状及びテクスチャ構成を有する。第１の誤差と第２の誤差とを比較して、最小有意誤差を有する出力オブジェクトの１つが選択されるようにする選択モジュールがサーチ・モジュールへ結合される。選択された出力オブジェクトを表すデータを出力へ提供する出力モジュールが選択モジュールへ結合される。
本発明の更なる様相によれば、統計外観モデルでデジタル画像を解釈する方法であって、該外観モデルが少なくとも１つのモデル・パラメータを有する、該方法が提供される。方法は、関連した統計関係を含む多次元モデル・オブジェクトを提供し、モデル・オブジェクトが、変形してデジタル画像の中の多次元のターゲット・オブジェクトの形状及びテクスチャに近似するように構成され、モデル・オブジェクトを画像へ適用して、ターゲット・オブジェクトの形状及びテクスチャに近似する多次元出力オブジェクトの対応するシーケンスを生成し、出力オブジェクト及びターゲット・オブジェクトの各々の間の誤差を計算し、シーケンスの隣接する出力オブジェクトの間で期待される所定の変形に基づいて、出力オブジェクトのシーケンス内で少なくとも１つの無効の出力オブジェクトを認識し、該無効の出力オブジェクトが原初のモデル・パラメータを有し、出力オブジェクトのシーケンスを表すデータを出力へ提供する。
本発明の好ましい実施形態のこれら及び他の特徴は、添付の図面を参照する下記の詳細な説明で明らかになるであろう。
画像処理システム
図１を参照すると、画像処理コンピュータ・システム１０は、バス１６を介してプロセッサ１４へ結合されたメモリ１２を有する。メモリ１２は能動外観モデル（ＡＡＭ、active appearance model）を有する。ＡＡＭは、１つのデジタル画像１８又はデジタル画像の集合の中に含まれる関心事のターゲット・オブジェクト２００（図２を参照）の形状及びグレーレベル外観の統計モデル・オブジェクトを含む。ＡＡＭの統計モデル・オブジェクトは２つの主な構成要素、即ち、オブジェクト外観（形状とテクスチャの双方）のパラメータ化された３Ｄモデル２０、及びパラメータ変位と誘導画像残余との関係２２の統計推定値を含む。これらの構成要素は、下記で更に詳細に説明するように、ターゲット・オブジェクト２００の形状及び外観の完全な合成を可能にする。ターゲット・オブジェクト２００のテクスチャとは、ターゲット・オブジェクト２００を含む画像１８の画像強度又は個々のピクセルのピクセル値を意味することが認識される。
システム１０はトレーニング・モジュール２４を使用して、モデル・パラメータ変位と残余誤差との（例えば）局所線形関係２２を決定することができる。これはトレーニング段階で学習され、トレーニング画像２６の集合から何が有効な形状及び強度の変形であるかをガイドすることができる。関係２２はモデルＡＡＭの一部分として組み込まれる。サーチ・モジュール２８は、サーチ段階の間に、ＡＡＭの決定された関係２２を利用して、画像１８からのモデル化ターゲット・オブジェクト２００の識別及び再生を助ける。画像１８の中にターゲット・オブジェクト２００をマッチさせるため、下記で詳説するように、モジュール２８は残余誤差を測定し、ＡＡＭを使用して現在のモデル・パラメータへの変化を予測し、出力モジュール３１によって、意図されたターゲット・オブジェクト２００の再生を表す出力３０を生成する。したがって、画像解釈にＡＡＭを使用することは、ＡＡＭの合成モデル画像と画像１８でサーチされたターゲット・オブジェクト２００との差（誤差）を最小にするモデル・パラメータを選択する最適化問題として考えることができる。処理システム１０は、更に、サーチ・モジュール２８、ＡＡＭ、及び画像１８の実行可能バージョンだけを含むことができ、トレーニング・モジュール２４及びトレーニング画像２６は、システム１０によって使用されるＡＡＭの構成要素２０及び２２を構成するように前もって実現されていることが認識される。
図１を再び参照すると、システム１０は、更に、ユーザ・インタフェース３２を有する。ユーザ・インタフェース３２は、バス１６を介してプロセッサ１４へ結合され、ユーザ（図示されず）とインタラクトする。ユーザ・インタフェース３２は、１つ又は複数のユーザ入力デバイス、例えば、非限定的に、ＱＷＥＲＴＹキーボード、キーパッド、トラックホイール、スタイラス、マウス、マイクロホン、及びユーザ出力デバイス、例えば、ＬＣＤスクリーン・ディスプレイ及び／又はスピーカを含むことができる。もしスクリーンが接触感知型であれば、ディスプレイは、更に、プロセッサ１４によって制御されるユーザ入力デバイスとして使用されてよい。ユーザ・インタフェース３２は、変形可能なモデルＡＡＭを使用してデジタル画像１８を解釈し、ユーザ・インタフェース３２の上でターゲット・オブジェクト２００を出力３０として再生するため、システム１０のユーザによって使用される。出力３０は、スクリーン上に表示され、及び／又はメモリ１２の中のファイルとして保存されるターゲット・オブジェクト２００の結果の出力オブジェクト画像、ターゲット・オブジェクト２００の結果の出力オブジェクト画像に関連づけられた情報を提供する記述データの集合、又はこれらの組み合わせとして表現可能である。更に、システム１０はコンピュータ読み取り可能記憶媒体３４を含んでよいことが認識される。コンピュータ読み取り可能記憶媒体３４は、バス１６を介してプロセッサ１４へ結合され、プロセッサ１４及び／又はモジュール２４及び２８、モデルＡＡＭ、及びメモリ１２の中の画像１８及び２６のシステム１０の構成要素をロード／更新する命令を提供する。コンピュータ読み取り可能媒体３４は、ハードウェア及び／又はソフトウェア、例えば、単なる例として、磁気ディスク、磁気テープ、光学読み取り可能媒体、例えば、ＣＤ／ＤＶＤ ＲＯＭＳ、及びメモリ・カードを含むことができる。各々の場合、コンピュータ読み取り可能媒体３４は、小型ディスク、フロッピー（登録商標）・ディスケット、カセット、ハードディスク・ドライブ、半導体メモリ・カード、又はメモリ１２の中に提供されたＲＡＭの形式を取ってよい。上記の例のコンピュータ読み取り可能媒体３４は、単独又は組み合わせて使用可能であることに注意すべきである。更に、プロセッサ１４への命令及び／又はメモリ１２の中のシステム１０の構成要素をロード／更新する命令は、ネットワーク（図示されず）を介して提供可能であることが認識される。
例示的能動外観モデルのアルゴリズム
このセクションでは、図１及び図２を参照して、当技術分野で知られているように、どのようにして例示的外観モデルＡＡＭを生成及び実行できるかを説明する。アプローチは、正規化及び加重ステップ、及び点のサブサンプリングを含むことができる。
トレーニング段階
統計外観モデルＡＡＭは、トレーニング・オブジェクト２０１、即ち、関心事のターゲット・オブジェクト２００の１つの例の形状及びグレーレベル外観のモデル２０を含む。トレーニング・オブジェクト２０１は、モデル・パラメータのコンパクトな集合によって、ほとんど任意の有効な例を「説明」することができる。典型的には、モデルＡＡＭは、５０個以上のパラメータ、例えば、非限定的に、形状及びテクスチャ・パラメータＣ、回転パラメータ、及びスケール・パラメータを有する。これらのパラメータは、より高レベルで画像１８を解釈するために有用である。例えば、顔の画像を解析するとき、ターゲットとなる顔のアイデンティティ、ポーズ、又は表情を特性化するためにパラメータを使用してよい。モデルＡＡＭは、ラベルを付けられたトレーニング画像２６の集合に基づいて構築される。ここで、各々の例示的トレーニング・オブジェクト２０１の上に、重要な標識点２０２がマークされている。マークされた例は共通座標系へ整列させられ、各々の例はベクトルｘによって表現可能である。したがって、モデルＡＡＭは、形状正規化フレームの中で、形状変動モデルを外観変動モデルと組み合わせることによって生成される。例えば、解剖モデルＡＡＭを構築するため、トレーニング画像２６は重要位置に標識点２０２でマークを付けられ、脳の主な特徴、例えば、非限定的に、脳室、尾状核、及びレンズ核が概略的に示される（図２を参照）。
トレーニング・モジュール２４による形状変動の統計モデル２０の生成は、当技術分野で知られているように、主要構成要素解析（ＰＣＡ）を点２０２へ適用することによって行われる。次に、次式を使用して、後続のターゲット・オブジェクト２００に近似することができる。
数式１
Figure 2007520002
グレーレベル外観の統計モデル２０を構築するため、各々の例示的画像はゆがめられ、画像の制御点２０２が平均形状とマッチするようにされる（例えば、当技術分野で知られているように、三角法アルゴリズムを使用して）。次に、平均形状によってカバーされる領域で、グレーレベル情報ｇimが形状正規化画像からサンプルされる。グローバル照明変動の効果を最小にするため、スケーリングα及びオフセットβを適用して、例示的サンプルを正規化することができる。
数式２
Figure 2007520002
したがって、ｇimを正規化するために必要なα及びβの値は、次式によって与えられる。
数式３
Figure 2007520002
ここで、ｎはベクトルの中の要素の数である。
もちろん、正規化データの平均を取得することは、再帰プロセスである。なぜなら、正規化は平均によって定義されるからである。安定した解は、例の１つを平均の第１の推定値として使用し、（数式２及び３を使用して）他の例をそれに整列させ、平均を再推定し、反復することによって発見可能である。ＰＣＡを正規化データへ適用することによって、次の線形モデルを取得することができる。
数式４
Figure 2007520002
したがって、任意の例の形状及び外観モデル２０は、ベクトルｂs及びｂgによって要約される。形状とグレーレベル変動との間には相関が存在するかも知れないので、次のように、更なるＰＣＡをデータへ適用することができる。各々の例について、次の連鎖ベクトルを生成することができる。
数式５
Figure 2007520002
ここで、Ｗsは各々の形状パラメータの加重の対角行列であり、形状とグレー・モデル（下記を参照）との間の単位差を可能にする。これらのベクトルにＰＣＡを適用すると、次の更なるモデルを得る。
数式６
Figure 2007520002
ここで、Ｑは固有ベクトルであり、ｃはモデルの形状及びグレーレベルの双方を制御する外観パラメータのベクトルである。形状及びグレー・モデルのパラメータはゼロの平均を有するから、ｃも同様である。モデルの線形の性質によって、形状及びグレーレベルをｃの関数として直接表現できることに注意されたい。
数式７
Figure 2007520002
ここで、
数式８
Figure 2007520002
Ｑｓ及びＱｇは、トレーニング・オブジェクト２０１を含むトレーニング画像の集合２６から引き出された変動のモードを記述する行列であることが認識される。行列は、真のトレーニング集合２６の位置及び誘導された画像残余からのランダム変位への線形回帰によって取得される。
図１を再び参照すると、トレーニング段階の間に、モデルＡＡＭのインスタンスは、トレーニング画像の集合２６の中の最適位置から、トレーニング・モジュール２４によってランダムに変位され、ＡＡＭが形状及び強度の変動の有効範囲を学習するようにされる。変位されたモデルＡＡＭのインスタンスと画像２６との間の差は記録され、この残余とパラメータ変位との間（即ち、ｃとｇとの間）の関係２２を推定するため、線形回帰が使用される。注意すべきは、ｂsの要素が距離の単位を有し、ｂgの要素が強度の単位を有し、それらを直接比較できないことである。Ｐgは直交列を有するので、ｂgを１単位変動させることはｇを１単位移動させる。ｂs及びｂgを通約するため、サンプルｇの上でｂsを変動させる効果を推定する。これを行うため、各々のトレーニングの例の上で、ｂsの各々の要素を最適値からシステマティックに変位させ、変位された形状を与えられた画像をサンプルする。形状パラメータｂsにおける単位変化当たりのｇのＲＭＳ変化は加重ｗsを与え、この加重は数式５のそのパラメータへ適用される。トレーニング段階によって、モデルＡＡＭは各々の点２０２の分散を決定することができる。これは、モデル・オブジェクトの各々の関連部分で移動及び強度の大きさの変化を提供し、変形可能なモデル・オブジェクトを画像１８の中のターゲット・オブジェクト２００へマッチさせるときの助けとなる。
モデル２０及び関係２２を含む前記の例示的ＡＡＭアルゴリズムを使用すると、ベクトルｇから形状自由のグレーレベル画像を生成し、ｘによって記述される制御点を使用してそれをゆがめることによって、所与のｃのために例示的出力画像３０を合成することができる。
サーチ段階
ここで図１及び図２を再び参照すると、サーチ・モジュール２８による画像サーチの間に、画像１８の中のターゲット・オブジェクト２００のピクセルと、モデル２０及び関係２２によって表される合成モデルＡＡＭのモデル・オブジェクトとの差を最小にするパラメータが決定される。ターゲット・オブジェクト２００は、モデル２０及び関係２２によって表されたモデル・オブジェクトとは幾分異なる（変形された）或る形状及び外観を有する画像１８の中に存在するものと仮定する。モデル・オブジェクトの初期推定値が画像１８の中に置かれ、点２０２ごとに比較することによって、現在の残余が測定される。関係２２が使用され、より良好な当て嵌め（fit）を導く現在のパラメータへの変化が予測される。ＡＡＭの原初の公式化は、組み合わせられた形状及びグレーレベルのパラメータを直接処理する。代替のアプローチは、画像の残余を使用して形状パラメータを動かし、現在の形状を与えられた画像１８からグレーレベル・パラメータを直接計算することである。このアプローチは、少数の形状モード及び多数のグレーレベル・モードが存在するときに有用でありうる。
したがって、サーチ・モジュール２８は、考慮されている画像１８と外観モデルＡＡＭによって合成された画像との差が最小にされる最適化問題として、画像１８の解釈を取り扱う。したがって、モデル・パラメータの集合ｃが与えられると、モジュール２８はモデルＡＡＭのインスタンスの形状ｘ及びテクスチャｇｍの仮説を生成する。この仮説を画像と比較するため、モジュール２８はモデルＡＡＭの示唆された形状を使用して画像のテクスチャｇｓをサンプルし、差を計算する。差の最小化はモデルＡＡＭの収束を導き、サーチ・モジュール２８による出力３０の生成を生じる。
前述したモデルＡＡＭは、当技術分野で知られているように、例えば、非限定的に、形状ＡＡＭ、能動ブロブ（Active Blobs）、モーフィング可能モデル（Morphable Models）、及び直接外観モデル（Direct Appearance Models）を含んでよいことが認識される。能動外観モデル（ＡＡＭ）の用語は、線形及び形状外観モデルの前述したクラスを一般的に意味するように使用され、より大きな確実性としては、前述した例示的モデルＡＡＭの特定のアルゴリズムだけに限定されない。更に、モデルＡＡＭは、誤差画像と形状及び外観パラメータへの追加増分との前記線形関係２２以外の関係を使用できることが認識される。
ターゲット・オブジェクトの多様性
図１を参照すると、現在の多次元ＡＡＭモデルは、画像１８の中のターゲット・オブジェクト２００（図２を参照）の存在を検証しない。ターゲット・オブジェクト２００は、特定された多次元モデル・オブジェクトによって適切に表現可能である。言い換えれば、現在の多次元モデルＡＡＭの公式化は、画像１８の中で、特定された多次元モデル・オブジェクトの最良マッチを発見するが、モデル化されたターゲット・オブジェクト２００が画像１８の中に実際に存在するかどうかをチェックしない。ＡＡＭの最良ターゲット・モデルを識別して特定の画像１８で使用することは、医療撮像マーケットで大きな意味を有する。医療撮像の応用では、目的は病理解剖を区分することである。病理解剖は、生理解剖よりも著しい多様性を有する。病理解剖の全ての変形を１つのモデル・オブジェクトへモデル化する場合の重要な副作用は、モデルＡＡＭが間違った形状を「学習」することができ、その結果、次善の解決法を発見できることである。学習段階におけるこの不適切な学習は、モデル生成の間に、例示的トレーニング画像２６に基づく一般化ステップが存在する事実によって生じる。
図３ａを参照すると、例示的組織Ｏは、幅及び高さを１ｃｍへ設定された正方形の生理形状を有する。一度患者が病理Ａに罹ると、組織Ｏの高さは１よりも小さく変形し、患者が病理Ｂに罹ると、組織Ｏの幅は１よりも小さく変形する。この例において、注意すべきは、組織Ｏの高さ及び幅の双方が同時に１よりも小さくなる有効な病理が存在しないことである。この例において、図４の例示的トレーニング画像４２６は、組織Ｏの高さ及び幅の双方が同時に１よりも小さくなる組織Ｏのトレーニング・モデルを含まないことが認識される。図３ｂを参照すると、図４の画像１８が、患者の脳３４０の３次元容積を表す２Ｄスライスの集合として表される例が示される。画像１８の個々のスライスの深さに依存して、１つのスライス３４２は左脳室３４６及び右脳室３４８の双方を含み、スライス３４４は１つの左脳室３４６だけを含むことが分かる。上記の観点から、画像１８がターゲット・オブジェクトの大きな変形を含み、ＡＡＭの１つの特定されたモデル・オブジェクトが所望の出力３０を生じない場合が存在する。例えば、非限定的に、２脳室モデル・オブジェクトが、ただ１つの脳室を有する画像４１８へ適用されるか、病理Ａのモデル・オブジェクトが、病理Ｂの組織Ｏのみを含む画像４１８へ適用される。ターゲット・オブジェクトの大きな変形の他の例が、空間及び／又は時間の次元で存在することが認識される。
複数モデル
図４を参照すると、同様の要素は、図１で与えられた要素と類似の参照番号及び記述を有する。画像処理コンピュータ・システム４１０は、バス１６を介してプロセッサ１４へ結合されたメモリ１２を有する。メモリ１２は、複数の統計モデル・オブジェクトを含む能動外観モデル（ＡＡＭ）を有し、統計モデル・オブジェクトの少なくとも１つは、デジタル画像４１８、又はデジタル画像４１８の集合に含まれる関心事のターゲット・オブジェクト２００（図２を参照）の形状及びグレーレベル外観をモデル化するため適切である可能性がある。心臓の応用についての様々なモデル・オブジェクトの例は、例えば、非限定的に、脳室モデル、尾状核モデル、及びレンズ核モデルであり、複合心臓画像４１８からそれぞれの解剖を識別及び区分するために使用可能である。ＡＡＭの統計２Ｄモデル・オブジェクトは、オブジェクト外観（形状及びテクスチャ）のパラメータ化２Ｄモデル４２０ａ及び４２０ｂ、及びパラメータ変位と誘導画像残余との関係４２２ａ及び４２２ｂの統計推定値から成る主な構成要素を含む。これによって、下記で更に説明するように、ターゲット・オブジェクト２００の形状及び外観の完全な合成が可能になる。構成要素４２０ａ、ｂ及び４２２ａ、ｂは、前述した構成要素２０及び２２と内容において類似するが、構成要素４２０ａ、ｂのモデル・オブジェクトは、システム１０（図１を参照）の構成要素２０の３Ｄモデル・オブジェクトではなく、空間的に２Ｄであることが異なる。更に、システム４１０のモデルＡＡＭの構成要素４２０ａ及び４２２ａは、１つのモデル・オブジェクト及び関連した統計情報、例えば、図３ａの組織Ｏの病理Ａについてのモデル・オブジェクトを表し、構成要素４２０ｂ及び４２２ｂは組織Ｏの病理Ｂについてのモデル・オブジェクトを表す。他の例は、構成要素４２０ａ及び４２２ａが図３ｂのスライス３４２の２脳室ジオメトリを表し、構成要素４２０ｂ及び４２２ｂがスライス３４４の１脳室ジオメトリを表す場合である。システム４１０のモデルＡＡＭは、ターゲット・オブジェクト２００（図２を参照）の構成、例えば、非限定的に、画像４１８の容積の中の位置及び／又は様々な病理に関連づけられた解剖ジオメトリにおける所定の多様性を表す２Ｄモデル・オブジェクトの２つ以上の集合（構成要素４２０ａ、ｂ及び４２２ａ、ｂ）を有することが認識される。
システム４１０はトレーニング・モジュール４２４を使用して、モデル・パラメータ変位と残余誤差との複数の（例えば）局所線形関係４２２ａ、ｂを決定することができる。これはトレーニング段階で学習され、ターゲット・オブジェクト２００の様々な個別の構成／ジオメトリをトレーニング・オブジェクト２０１（図２を参照）として含むトレーニング画像２６の適切な集合から、どれが有効な形状及び強度の変形であるかをガイドする。関係４２２ａ及び４２２ｂは、モデルＡＡＭの一部分として組み込まれる。したがって、トレーニング・モジュール４２４は、複数の２Ｄモデル・オブジェクトを画像４１８へ適用する能力を有するモデルＡＡＭを生成するために使用される。サーチ・モジュール４２８は、サーチ段階の間に、ＡＡＭの決定された関係４２２ａ及び４２２ｂを利用して、モデル化されたターゲット・オブジェクト２００を画像４１８から識別及び再生するのを助ける。サーチ・モジュール４２８は、２Ｄモデル・オブジェクトの各々（構成要素４２０ａ、ｂ及び４２２ａ、ｂ）を画像４１８へ適用し、ターゲット・オブジェクト２００を識別及び合成しようと努力する。ターゲット・オブジェクト２００を画像４１８へマッチさせるため、モジュール４２８は残余誤差を測定し、ＡＡＭを使用して現在のモデル・パラメータへの変更を予測し、意図されたターゲット・オブジェクト２００の再生を表す出力３０を生成する。処理システム４１０は、更に、サーチ・モジュール４２８、ＡＡＭ、及び画像４１８の実行可能バージョンのみを含むことができ、トレーニング・モジュール４２４及びトレーニング画像４２６は、システム４１０によって使用されるＡＡＭの構成要素４２０ａ、ｂ、４２２ａ、ｂを構成するように前もって実現されていることが認識される。システム４１０は、更に、選択モジュール４０２を使用して、サーチ・モジュール４２８によって適用された２Ｄモデル・オブジェクトのどれが意図されたターゲット・オブジェクト２００（図２を参照）を最良に表すかを選択する。
図４を再び参照すると、一般的な場合、画像の集合４１８、及び画像４１８の中に存在するターゲット・オブジェクト２００（図２を参照）をモデル化する２Ｄモデル・オブジェクトＭ１．．．Ｍｎの集合が存在する。システム４１０のＡＡＭアルゴリズムは、どの２ＤモデルＭｉが画像４１８の中のターゲット・オブジェクト２００を最良に表すかを選択することができる。発明者らは、この問題へ２つの例示的解決法を呈示する。１つの解決法は一般的であり、第２の解決法は問題領域に関する更に多くの情報を必要とする。注意すべきは、これらの解決法が必ずしも相互に排他的ではないことである。
一般的解決法
一般的解決法は、画像４１８の中で各々のモデルＭｉを使用してサーチ・モジュール４２８を介してターゲット・オブジェクト２００をサーチし、例えば、選択された２ＤモデルＭｉから生成された出力３０の画像と画像４１８の中のターゲット・オブジェクト２００との差として計算された最も適切／最小の誤差を有する出力３０を選択することである。注意すべきこととして、例示的能動外観モデルのアルゴリズムに関して説明したように、追加の制約（例えば、画像４１８の中のモデル・オブジェクトの空間的中心が特定の領域の中にある）の集合のもとで、画像４１８をサーチできることであり、これらの制約は、もし所望であれば、全てのモデルＭｉについて同じであることができる。したがって、ターゲット・オブジェクト２００をサーチするため、２つ以上の選択された２ＤモデルＭｉが、サーチ・モジュール４２８によって画像４１８へ適用される。選択モジュール４０２は、各々のモデルＭｉとターゲット・オブジェクト２００との間の当て嵌まりを表す誤差を解析し、最低誤差を有する当て嵌まり（出力３０）を選択し、続いてインタフェース３２の上で表示する。
更に、注意されることは、モデルＭｉによって生成され、モジュール３１によって出力された画像出力３０と実際の画像４１８との差を測定するため、幾つかの誤差尺度が提案されたことである。例えば、ＳｔｅｇｍａｎｎはＬ２ノルム、マハラノビス及びローレンツのメトリクスを誤差尺度として提案した。これらの尺度は、発明者らのテストに従って十分な結果を提供する平均誤差を含んで、本発明に有効である。
数式９
Figure 2007520002
ここで、「モデルサンプル」は、モデルＭｉで定義されたサンプルの数である。「平均誤差」は、使用されたモデルＭｉから比較的独立している値を有するように見える（マハラノビス距離では、画像との各々のサンプルの差は、サンプルの分散で加重される）。モデルＭｉの各々が、異なった数の点２０２（図２を参照）を有するように構成される場合、ＡＡＭの複数のモデルＭｉから選択されたモデルＭｉの各々を、画像４１８へ適用することによって生成された「平均誤差」は、ターゲット・オブジェクト２００の最良当て嵌まりを有するモデルＭｉの選択を助けるために正規化可能であることが認識される。
具体的な解決法の例
第２のアプローチは、モデルＭｉ、又はモデルＭｉの集合の選択に基づいて、画像４１８の中の他の所定のオブジェクトの存在及び／又は患者の他の画像４１８に対する画像４１８の中の他の組織の相対的位置に基づいて、モデルＭｉを使用することである。例えば、心臓の解析において、典型的には、もし異なった検査又は患者の履歴から、（梗塞の結果として）患者の心筋層の内側の画像で、死んだ組織が発見されたならば、サーチ・モジュール４２８のアルゴリズムは、心臓の正規の生理モデルＭｉではなく「心筋梗塞モデル」を選択して、画像４１８で心臓を識別するであろう。より単純な状況に同じアイデアを適用することができる。例えば、患者の年齢又は性別に基づいてモデルＭｉを選択することができる。認識されることとして、例ではトレーニング段階の間にトレーニング画像４２６の中でターゲット・オブジェクト２００へ様々なラベルを関連づけ、所定の病理及び／又は解剖ジオメトリを表すことができる。これらのラベルは、更に、様々な所定の病理／ジオメトリを表すそれぞれのモデルＭｉへ関連づけられてよい。
尚、特定の画像４１８の上で組織（ターゲット・オブジェクト２００）を区分するため最良モデルＭｉを選択する潜在的利点は、区分の改善に限定されない。モデルＭｉの選択は、実際に、患者の中に存在する病理に関して価値ある情報を提供することができる。例えば、図３ａにおいて、モデルＢではないモデルＡの選択は、下記で詳説するように、出力３０の中で識別される組織Ｏを有する患者が病理Ａと潜在的に診断されることを表すことを示す。
複数モデルＡＡＭの動作
図４及び図５を参照すると、ＡＡＭアルゴリズムの複数２ＤモデルＭｉの動作５００は、次のとおりである。５０２では、区分のために選択された解剖に基づいて、意図されたターゲット・オブジェクト・クラスがシステム４１０によって選択される。５０４では、ターゲット・オブジェクト・クラスの複数の形式を表す複数のトレーニング画像４２６、即ち、ターゲット・オブジェクト２００（図２を参照）の様々な個別の構成／ジオメトリを含む画像４２６が作られる。５０６では、モデル４２０ａ、ｂの各々についてモデル・パラメータ変位と残余誤差との複数の関係４２２ａ、ｂを決定し、何がトレーニング画像４２６の集合からの有効な形状及び強度の変形であるかをガイドするため、トレーニング・モジュール４２４が使用される。次に、複数のモデルＭｉが、トレーニング・モジュール４２４によってＡＡＭの中に含まれる。５０８では、サーチ・モジュール４２８が、サーチ段階の間に、ＡＡＭの選択されたモデルＭｉを利用して、モデル化されたターゲット・オブジェクト２００を画像４１８から識別及び再生するのを助ける。ここで、ターゲット・オブジェクト２００をサーチするため、２つ以上の選択された２ＤモデルＭｉが、サーチ・モジュール４２８によって画像４１８へ適用される。５１０で、選択モジュール４０２は、各々の選択された２ＤモデルＭｉと画像４１８のターゲット・オブジェクト２００との間の当て嵌まりを表す誤差を解析して、最低誤差を有する当て嵌まり（出力３０）を選択する。次に５１２で、出力３０が出力モジュール３１によってインタフェース３２の上で表示される。ステップ５０２、５０４、及び５０６は、ＡＡＭの適用（サーチ段階）とは別個のセッション（トレーニング段階）で完了されてよいことが認識される。認識されることとして、ステップ５０８は、更に、追加の情報、例えば、モデルＭｉのラベルを使用して、画像４１８へ適用されるモデルＭｉの選択を助けることができる。
前述した複数モデル方法の他の変形は、画像４１８の集合（即ち、Ｉ１．．．Ｉｎ）を区分するため、モデルの集合Ｍ１．．．Ｍｎの中から最良モデル・オブジェクトＭｉをどこで発見したいかである。画像４１８は、「下記のＡＡＭ補間」で説明されるように、同じ解剖画像４１８が同じ空間ロケーションについて時間を通して選択される（即ち、時間的画像シーケンス）。モデル・オブジェクトの集合Ｍ１．．．Ｍｎを画像の集合Ｉ１．．．Ｉｎへ適用するために使用できる２つのアルゴリズム、例えば、非限定的に、下記で説明する「最小誤差規準」及び「最頻度使用モデル」が存在する。
最小誤差規準
各々のモデル・オブジェクトＭｉが、画像４１８の集合の各々の画像Ｉｉへ適用される。モデル・オブジェクトＭｉの各々について、画像の集合Ｉ１．．．Ｉｎの区分における全ての誤差が合計され、最小有意誤差を有すると考えられる１つの適用モデル・オブジェクトＭｉが選択される。所与のモデル・オブジェクトＭｉについて、画像の集合Ｉｉ．．．Ｉｎの区分誤差は、画像４１８の集合における各々の画像Ｉｉの誤差の和と考えられる（全体の平均誤差も使用できる。なぜなら、それらはスケール因子が異なるだけだからである）。一度１つのモデル・オブジェクトＭｉが選ばれると、選択されたモデル・オブジェクトＭｉに関連した出力オブジェクト３０が使用され、画像４１８の集合の区分を助ける。
最頻度使用モデル
各々のモデルＭｉについて、「使用頻度」の得点Ｓｉが保存される。画像の集合Ｉ１．．．Ｉｎの中の各々の画像Ｉｉについて、全てのモデル・オブジェクトＭ１．．．Ｍｎを使用して画像Ｉｉが区分される。次に、それぞれの画像Ｉｉの各々について、最低誤差を有するモデル・オブジェクトＭｉの各々の得点Ｓｉが増分される。次に、システム４１０は、最大得点Ｓｉを有するモデル・オブジェクトＭｉを返す。このモデル・オブジェクトは、画像の集合Ｉ１．．．Ｉｎの画像Ｉｉについて最低誤差を最も頻繁に生じたモデル・オブジェクトＭｉを表す。したがって、言い換えれば、集合の画像Ｉｉの大部分について選ばれたモデル・オブジェクトＭｉが、例えば、最小誤差規準に基づいて選択される。この場合、集合からの画像Ｉｉをベースとして画像Ｉｉの上で最も頻繁に選択されたモデル・オブジェクトＭｉが、モデル・オブジェクトＭｉとして選ばれ、画像の集合の中の全ての画像Ｉｉのために出力オブジェクト３０のシーケンスを提供する。
混合モデル
更に認識されることは、空間画像シーケンス（空間にわたって分布する画像Ｉｉ）によって表された画像の集合Ｉ１．．．Ｉｎについて、異なったモデル・オブジェクトＭｉを使用し、全体の画像集合Ｉ１．．．Ｉｎの選択された部分集合について、対応する出力オブジェクト３０を提供できることである。画像の所与の部分集合について選択されたモデル・オブジェクトＭｉの各々は、最小誤差規準に基づくことができる。それによって、それぞれのモデル・オブジェクトＭｉは、それぞれの画像Ｉ１について最小誤差を生じるように、それぞれの画像Ｉ１．．．Ｉｎとマッチする。言い換えれば、２つ以上のモデル・オブジェクトＭｉを使用して、画像の集合Ｉ１．．．Ｉｎからの１つ又は複数のそれぞれの画像を表すことができる。
モデルのラベリング
図７を参照すると、同様の要素は図４で与えられた要素と類似の参照番号及び記述を有する。システム４１０は、更に、出力オブジェクト３０へ割り当てられるＡＡＭのモデル・パラメータの値を決定する確認モジュール７００を有する。トレーニング・モジュール４２４は、所定の特性ラベルをモデル・パラメータへ加えるために使用され、下記で更に説明するように、そのラベルは、関連したターゲット・オブジェクト２００（図２を参照）の公知の条件を示す。モデル・パラメータは多数の値の領域へ分割され、公知の条件を示す異なった所定の特性が領域の各々へ割り当てられる。各々の所定の特性について、代表的なモデル・パラメータ値がトレーニング画像４２６の中で様々なターゲット・オブジェクト２００へ割り当てられ、したがってトレーニング段階の間に（前述したように）ＡＡＭモデルによって学習される。モデル・パラメータの値はターゲット・オブジェクト２００（図２を参照）の所定の特徴を示す。これは、下記で更に説明するように、関連した病理の診断を助けることができる。
前のセクションで、複数のモデル４２０ａ、ｂ及び４２２ａ、ｂをどのように使用して、ターゲット・オブジェクト２００の識別の改善を助け、究極的には画像４１８（図４を参照）からのこの識別されたターゲット・オブジェクト２００の区分の改善を助けるかを説明した。更に、モデルＡＡＭを使用して、モデル・パラメータの離散的値領域に関連づけられた所定の特性の形式で、区分された組織に関する追加の情報（例えば、病理）を決定するのを助けることができる。
ＡＡＭモデルが、モデル・パラメータＣ、サイズ、及び角度に基づいて、サーチされたターゲット・オブジェクト２００（例では心室６００）の近現実的画像を生成できることを、図２及び図６を参照して注意しておく。位置は、画像４１８の中のターゲット・オブジェクトを位置決めし、心臓のＡＡＭモデルの出力オブジェクト３０が、異なったモデル・パラメータＣ＝ｘ１、ｘ２、ｘ３に関連づけられる。尚、値ｘ１、ｘ２、及びｘ３が収束されたＣ値であり、このＣ値が、サーチ・モジュール４２８によって、画像４１８の中のターゲット・オブジェクトを最良に表すものとして出力オブジェクト３０へ割り当てられることである。図６の画像４２６は、左心室６０２、右心室６００、及び右心室壁６０４の例示的ターゲット・オブジェクトを示す。注意すべきことは、モデル・パラメータＣが、出力オブジェクト３０の形状及びテクスチャを実際に決定することである。例えば、Ｃ＝ｘ１は、厚い壁の右心室６００を表し、Ｃ＝ｘ２は正常な壁の右心室６００を表し、Ｃ＝ｘ３は薄い壁の右心室６００を表すことができる。もし所望であれば、他のモデル・パラメータが使用されてよいことが認識される。
ラベリング動作
図８を参照すると、ＡＡＭモデルは、８００でパラメータＣを「ｎ」個の領域へ分割し、各々の領域で、ＡＡＭモデルは特定の所定の特性を呈示する。次に８０２で、領域は、例えば、心臓病専門医によって、その特性のラベルを付けられる。心臓病専門医は、トレーニング画像４２６の中の様々なトレーニング・オブジェクトの特定の輪郭に関連づけられた特性ラベルについてテキストをタイプする。一度サーチ・モジュール４２８によるサーチが完了すると、サーチの出力オブジェクト３０に関連づけられたモデル・パラメータＣが使用されて、８０４で、確認モジュール７００によって、パラメータ値が属する領域が識別され、８０６で、出力オブジェクト３０によってモデル化された心室６０４を有する患者のために所定の特性が割り当てられる。次に、８０８で、出力モジュール３１によって、出力オブジェクト３０を表すデータ及び所定の特性が出力へ提供される。モジュール４２８、３１、及び７００は、説明された機能以外の機能を有するように構成されてよいことが認識される。例えば、サーチ・モジュール４２８は出力オブジェクト３０を生成し、関連したモデル・パラメータの値に基づいて、所定の特性を割り当てることができる。
例示的なパラメータの割り当て
１つの例を考える。図３ａのサンプル組織Ｏを考える。全ての有効なトレーニング画像４２６（図４を参照）を有するＡＡＭモデルが構築され、パラメータ・ベクトルＣを定義するため２つの構成要素が保持される（即ち、２つの固有ベクトルが保持される）。したがって、Ｃ空間は、実際にはＲ２である。そのような空間において、各々の点はＣの値を表し、したがって、ＡＡＭモデルの中の形状及びテクスチャを表す。平面Ｒ２におけるモデルのロケーションは、図９のようにグラフで表すことができる。組織Ｏの（原点における）平均形状は、正方形である。水平軸は組織Ｏの幅の変化を表し、垂直軸は高さの変化を表す。認識できるように、この平面Ｒ２において、病理Ａ（１より小さな高さ）を表す全ての形状は相互に近接し、病理Ｂ（１より小さな幅）を表す全ての形状は相互に近接している。したがって、２つの領域Ａ、Ｂを生成して、病理Ａを有する全ての形状が領域Ａの内側にあり、病理Ｂを有する全ての形状が領域Ｂの内側にあるようにすることができる。更に、画像の中で識別されてはならない形状の残りを含む領域Ｎを定義することができる。なぜなら、それらの形状はトレーニング集合４２６の中に存在しないからである。
一度ＡＡＭモデルのサーチが特定の画像４１８の上で完了すると、モデルのロケーションの中で発見されたパラメータＣを使用して、平面Ｒ２の分割に基づき患者の病理のタイプを決定することができる。尚、もし領域Ｎに位置するパラメータＣをサーチが識別するならば、これはサーチが成功しなかったことの表示として使用可能である。注意すべきこととして、モデル・パラメータをラベリングするこのアプローチは、例えば、非限定的に、回転及びスケールのパラメータを使用して拡張可能である。そのような場合、ベクトルＣではなくベクトル（Ｃ、スケール、回転）を考え、それに従ってこの空間を分割及びラベリングすることになる。
ＡＡＭ補間
図１０を参照すると、同様の要素は図４で与えられた要素と類似の参照番号及び記述を有する。システム４１０は、更に、補間モジュール１０００を有する。補間モジュール１０００は、誤りのある出力オブジェクト３０について位置及び／又は時間にわたって置換出力オブジェクトを補間する。補間は、下記で詳説するように、誤りのある出力オブジェクト３０の両方の側の隣接する出力オブジェクト３０に基づく。同じモデルＭｉで画像４１８の集合を区分することが目的であるとき、ＡＡＭ補間はＡＡＭモデルの使用の最適化を処理することが認識される。
画像４１８は、時間を通して撮像されたか又は異なるロケーションで撮像された同じ解剖を有することができる。この場合、画像４１８は、サーチ・モジュール４２８によって解析されたとき相互に平行である。画像４１８は獲得時間又はロケーションに従って配列され、Ｉ０．．．Ｉｎとして示される（図１１ａを参照）。尚、典型的な断面２Ｄ画像４１８（例えば、ＣＴ及びＭＲ画像）について説明が行われることであるが、他の画像４１８、例えば、非限定的に、蛍光透視画像４１８についても応用可能である。
画像４１８の中のモデル・オブジェクトＭのサーチは、モデル・オブジェクト画像（出力オブジェクト３０）と画像４１８の中のターゲット・オブジェクト２００との差が、例えば、非限定的に、次のパラメータを変化させることによって最小化される最適化プロセスであることは、文献から公知の事実である。
１．画像４１８の中のモデル・オブジェクトＭｉの位置。
２．モデル・オブジェクトＭｉのスケール（又はサイズ）。
３．モデル・オブジェクトＭｉの回転。
４．モデル・パラメータＣ（組み合わせ得点（Combined Score）とも呼ばれる）。これは、形状及びテクスチャの値を生成するために使用されるベクトルである。
現実の応用において、サーチ・モジュール４２８がモデル・オブジェクトＭｉを複数の隣接オブジェクト出力画像Ｉｉ（図１１ａを参照）へ適用するとき、次の意味で最適でない出力オブジェクトＩｉの選択されたものについて、幾つかの解を生成可能であることが認識される。
・ アルゴリズムが、グローバル最小値ではなくローカル最小値を識別する。
・ ターゲット・オブジェクト２００の区分が、典型的に、空間的／時間的連続性を有する。これは、小さな誤差が存在するため、取得された区分の中で適切に表されないかも知れない。
図１１ａを再び参照すると、注意されることは、出力オブジェクトＩ２、Ｉ３、及びＩ４が、隣接した出力オブジェクトＩ１及びＩｎと比較して、誤った大きな特徴１００２を有することである。更に、Ｉ４の中の特徴１００２は間違った位置にある。補間モジュール１０００（図１０を参照）は、ローカル最小値を除去し、解の時間的／空間的連続性を向上して、図１１ｂで示されるような補正出力オブジェクトＯ０．．．Ｏｎを提供することによって、出力オブジェクトＩ０．．．Ｉｎの区分の改善を助けるように使用される。補間モジュール１０００によって実現されるアルゴリズムのステップ（図１２を参照）は、次のとおりである。
１．１２００で、初期出力オブジェクトＩ０．．．Ｉｎを生成するため、選択されたモデル・オブジェクトＭを使用するサーチ・モジュール４２８によって、全ての画像４１８が画像シーケンス（時間的及び／又は空間的）へ区分される。１２０２で、各々の初期出力オブジェクトについて次の原初値が記憶される。例えば、非限定的に、
ａ．出力オブジェクトの位置
ｂ．出力オブジェクトのサイズ
ｃ．出力オブジェクトの回転
ｄ．出力オブジェクトへ割り当てられる収束モデル・パラメータ
ｅ．出力オブジェクトと画像４１８の中のターゲット・オブジェクトとの誤差（「平均誤差」を含む幾つかの誤差尺度を使用することができる）
２．図１１ａで示された例において、１２０４で、次の事項に基づいて幾つかの区分を拒絶する。
ａ．誤差が特定の閾値よりも大きい、及び／又は
ｂ．１つ又は複数の出力オブジェクト・パラメータが、平均と比較されたとき、特定の公差の中にないか、又は最小正方形の線から離れすぎている（パラメータが所定の関係で、例えば線形に、変化しなければならない仮定が存在する場合に使用される）。
３．少なくとも２つの区分が拒絶されなかったと仮定すると、線形補間を実行するための出力オブジェクト３０の例を提供するため、拒絶された出力オブジェクトＩｒの各々の上の区分は、次のように計算可能である。Ｉｒ（この場合はＩ２、Ｉ３、Ｉ４）の上の各々の拒絶された区分について、
ａ．１２０６で、０＜１＜ｒ＜ｕ＜ｎとして２つの隣接した出力オブジェクトＩ１及びＩｕ（この場合はＩ１及びＩ５）を識別し（他の例は、Ｉ１＝Ｉ０及びＩｕ＝Ｉｎであることが認識される）、次のようにする。
・ 出力オブジェクトＩ１及びＩｕの上の区分は拒絶されない。
・ ＩｒとＩ１及びＩｒとＩｕとの間の画像の全ての区分が拒絶された。
これらの特性を有する１及びｕを決定できなければ、Ｉｒの区分は改善され得ない。
ｂ．１２０８で、定義された補間関係（例えば、非限定的に、線形）を使用して、モデル・パラメータＣ、位置、サイズ、及びロケーション、及びＩ１とＩｕとのそれらの間の角度が補間され、１２１０で、出力オブジェクトＩｒの入力パラメータとして使用される置換モデル・パラメータが生成される。
ｃ．次に、サーチ・モジュール４２８が使用され、補間された置換モデル・パラメータを使用してモデル・オブジェクトＭｉを再適用し、図１１ｂで示されるように、対応する新しい区分Ｏ２、Ｏ３、Ｏ４を生成する。
ｄ．更に正規のＡＡＭの幾つかのステップを実行して、前のステップで決定された解を最適化することができる（Ｃｏｏｔｅｓによるプレゼンテーションの「Iterative Model Refinement」のスライド又はＳｔａｇｍａｎｎによるプレゼンテーションの「Dynamic of simple AAM」のスライドを参照）。
図１１ａ及び図１１ｂを参照すると、最初の行において、各々のスライスの上で区分が独立に実行される。３つの中間スライスにおいて、区分は失敗し、ローカル最小値を選択し、次に、これらの区分は拒絶される。なぜなら、選択された閾値よりも誤差が大きいからである。下の行で示されるように、補間モジュールは、前述した補間アルゴリズムを使用して、これらのスライスの区分を回復することができる。
上記の説明は、単なる例を介する好ましい実施形態に関することが分かるであろう。システム１０及び４１０の多くの変形が当業者に明らかであり、そのような明らかな変形は、明白に説明されたかどうかに関係なく、本明細書で説明及び請求される本発明の範囲の中にある。更に認識されることとして、ターゲット・オブジェクト２００、モデル・オブジェクト（４２０、４２２）、出力オブジェクト３０、画像４１８、トレーニング画像４２６、及びトレーニング・オブジェクト２０１を多次元要素として表すことができる。そのような多次元要素には、例えば、非限定的に、２Ｄ、３Ｄ、及び組み合わせられた空間及び／又は時間シーケンスが含まれる。
画像処理システムのブロック図である。 図１のシステムの例示的応用である。 図１のシステムにおけるターゲット・オブジェクトの変動性の例である。 図１のシステムにおけるターゲット・オブジェクトの変動性の更なる例である。 図３ａ及び図３ｂで示されるようなターゲット・オブジェクトの変動性を解釈する画像処理システムのブロック図である。 図４の複数モデルＡＡＭの例示的動作である。 図４のシステムのトレーニング画像の例示的集合である。 図６で示されるようなターゲット・オブジェクトの変動性を解釈する画像処理システムのブロック図である。 図７のシステムの例示的動作である。 図７のシステムのモデル・パラメータの例示的定義である。 図１１で示されるような出力オブジェクトのためにモデル・パラメータを補間する画像処理システムである。 図１０のシステムの例の実現である。 図１０のシステムの動作の実現である。

Claims (33)

  1. デジタル画像を解釈する統計外観モデルを有し、該外観モデルが少なくとも１つのモデル・パラメータを有する画像処理システムであって、
    関連した第１の統計関係を含み、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクト、及び関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトであって、第１のモデル・オブジェクトとは異なった形状及びテクスチャ構成を有する第２のモデル・オブジェクトと、
    第１のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、第１の出力オブジェクトとターゲット・オブジェクトとの間の第１のモデル独立誤差を計算し、第２のモデル・オブジェクトを適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、第２の出力オブジェクトとターゲット・オブジェクトとの間の第２のモデル独立誤差を計算するサーチ・モジュールと、
    第１のモデル独立誤差と第２のモデル独立誤差とを比較して、最小有意モデル独立誤差を有する出力オブジェクトの１つが選択されるようにする選択モジュールと、
    選択された出力オブジェクトを表すデータを出力へ提供する出力モジュールと
    を備えるシステム。
  2. 第１のモデル・オブジェクトがターゲット・オブジェクトの第１のものを識別するように最適化され、第２のモデル・オブジェクトがターゲット・オブジェクトの第２のものを識別するように最適化され、第２のターゲット・オブジェクトが第１のターゲット・オブジェクトとは異なる形状及びテクスチャ構成を有する、請求項１に記載のシステム。
  3. 更に、デジタル画像の集合の１つであるデジタル画像を備え、モデル・オブジェクトの各々が、サーチ・モジュールによって集合のデジタル画像の各々へ適用されるように構成される、請求項２に記載のシステム。
  4. 更に、集合の中の全ての画像を表すため、モデル・オブジェクトの各々へ帰せられる使用頻度の得点に基づいて、オブジェクト・モデルの１つを選択するように構成された選択モジュールを備える、請求項３に記載のシステム。
  5. 出力が、メモリの中に記憶される出力ファイル及びユーザ・インタフェースを含むグループから選択される、請求項１に記載のシステム。
  6. 更に、トレーニング・モジュールを備え、該トレーニング・モジュールが、異なった外観構成を有する複数のトレーニング・オブジェクトを含むトレーニング画像の集合を有するように構成され、トレーニング・モジュールが外観モデルをトレーニングして、該外観モデルが、それぞれのターゲット・オブジェクトの形状及びテクスチャの有効範囲を識別するように最適化された複数のモデル・オブジェクトを有するようにする、請求項２に記載のシステム。
  7. 外観モデルが能動外観モデルである、請求項２に記載のシステム。
  8. 第１及び第２のモデル・オブジェクトが患者の解剖の異なる病理タイプを表す、請求項２に記載のシステム。
  9. 第１及び第２のモデル・オブジェクトが、解剖の画像容積の間隔を空けられたロケーションから取られた２つの異なる２次元スライスの同じ解剖の異なる外観構成を表す、請求項２に記載のシステム。
  10. ２つの異なる病理タイプが、トレーニング画像の集合の中の２つの異なるトレーニング・オブジェクトによって表される、請求項８に記載のシステム。
  11. 更に、選択されたモデル・オブジェクトのモデル・パラメータに関連づけられた所定の特性を備え、該所定の特性が、選択された出力オブジェクトによって表された解剖を有する患者の診断を助け、モデル・パラメータが、ポーズによって起こされた変形を表す、請求項１に記載のシステム。
  12. モデル・パラメータが複数の値領域へ分割され、各々の領域が複数の所定の特性の１つを割り当てられる、請求項１１に記載のシステム。
  13. モデル・パラメータが、形状及びテクスチャのパラメータ、スケール・パラメータ、及び回転パラメータを含むグループから選択される、請求項１２に記載のシステム。
  14. 所定の特性の少なくとも２つが、解剖の異なる病理タイプを表す、請求項１２に記載のシステム。
  15. 出力モジュールが、選択された出力オブジェクトへ割り当てられた所定の特性を出力へ提供する、請求項１２に記載のシステム。
  16. 更に、複数の所定の特性をモデル・パラメータへ割り当てるように構成されたトレーニング・モジュールを備える、請求項１２に記載のシステム。
  17. 更に、選択された出力オブジェクトへ割り当てられたモデル・パラメータの値が、分割された領域の１つの中にあるかどうかを決定する確認モジュールを備える、請求項１５に記載のシステム。
  18. 全ての分割された値領域の外側にあるときのモデル・パラメータの値が、第１の出力オブジェクトがターゲット・オブジェクトの無効な近似であることを示す、請求項１７に記載のシステム。
  19. デジタル画像のシーケンスを解釈する統計外観モデルを有し、該外観モデルが少なくとも１つのモデル・パラメータを有する画像処理システムであって、
    関連した統計関係を含む多次元モデル・オブジェクトであって、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成されたモデル・オブジェクトと、
    モデル・オブジェクトを選択して画像へ適用し、ターゲット・オブジェクトの形状及びテクスチャに近似する多次元出力オブジェクトの対応するシーケンスを生成するサーチ・モジュールであって、出力オブジェクト及びターゲット・オブジェクトの各々の間の誤差を計算するサーチ・モジュールと、
    シーケンスの隣接した出力オブジェクトの間で期待される所定の変形に基づいて、出力オブジェクトのシーケンスの中の少なくとも１つの無効な出力オブジェクトを認識する補間モジュールであって、前記無効な出力オブジェクトが原初のモデル・パラメータを有する補間モジュールと、
    出力オブジェクトのシーケンスを表すデータを出力へ提供する出力モジュールと
    を備えるシステム。
  20. 更に、シーケンスの隣接して境界となる出力オブジェクトのペアから、補間されたモデル・パラメータを計算する補間モジュールの補間アルゴリズムを備え、前記ペアが無効な出力オブジェクトの両側に位置し、補間されたモデル・パラメータが原初のモデル・パラメータを置換する、請求項１９に記載のシステム。
  21. 補間されたモデル・パラメータが、位置、スケール、回転、及び形状とテクスチャを含むグループから選択される、請求項２０に記載のシステム。
  22. 無効な出力オブジェクトの決定が、所定のパラメータ閾値の外側にある原初のモデル・パラメータに基づく、請求項２０に記載のシステム。
  23. 無効な出力オブジェクトの決定が、所定の誤差閾値の外側にある第１の誤差に基づく、請求項２０に記載のシステム。
  24. 複数の隣接した無効な出力オブジェクトが存在する、請求項２０に記載のシステム。
  25. 補間アルゴリズムの補間が所定の補間関係に基づき、該所定の補間関係が、シーケンスの中の境界となる出力オブジェクトのペアと無効な出力オブジェクトとの間の分離の大きさに基づく、請求項２０に記載のシステム。
  26. 新しい出力オブジェクトを生成してシーケンスの中の無効な出力オブジェクトを置換するため、サーチ・モジュールが、補間されたモデル・パラメータを入力として使用して、第１のモデル・オブジェクトを画像へ再適用する、請求項２０に記載のシステム。
  27. シーケンスが、時間及び空間を含むグループから選択される、請求項１９に記載のシステム。
  28. 少なくとも１つのモデル・パラメータを有する統計外観モデルでデジタル画像を解釈する方法であって、
    関連した第１の統計関係を含み、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクトを提供し、
    関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトを提供し、第２のモデル・オブジェクトが第１のモデル・オブジェクトとは異なる形状及びテクスチャ構成を有し、
    第１のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、
    第１の出力オブジェクトとターゲット・オブジェクトとの間の第１のモデル独立誤差を計算し、
    第２のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、
    第２の出力オブジェクトとターゲット・オブジェクトとの間の第２のモデル独立誤差を計算し、
    第１のモデル独立誤差と第２のモデル独立誤差とを比較して、最小有意モデル独立誤差を有する出力オブジェクトの１つが選択されるようにし、
    選択された出力オブジェクトを表すデータを出力へ提供する
    方法。
  29. 少なくとも１つのモデル・パラメータを有する統計外観モデルを使用してデジタル画像を解釈するコンピュータ・プログラム製品であって、
    コンピュータ読み取り可能媒体と、
    コンピュータ読み取り可能媒体に記憶されたオブジェクト・モジュールであって、関連した第１の統計関係を含み、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第１のモデル・オブジェクト、及び関連した第２の統計関係を含み、変形してデジタル画像の中のターゲット・オブジェクトの形状及びテクスチャに近似するように構成された多次元の第２のモデル・オブジェクトを有するように構成されたオブジェクト・モジュールと、
    コンピュータ読み取り可能媒体に記憶されたサーチ・モジュールであって、第１のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第１の出力オブジェクトを生成し、第１の出力オブジェクトとターゲット・オブジェクトとの間の第１のモデル独立誤差を計算し、第２のモデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元の第２の出力オブジェクトを生成し、第２の出力オブジェクトとターゲット・オブジェクトとの間の第２のモデル独立誤差を計算し、第２のモデル・オブジェクトが、第１のモデル・オブジェクトとは異なる形状及びテクスチャ構成を有するサーチ・モジュールと、
    サーチ・モジュールへ結合され、第１のモデル独立誤差と第２のモデル独立誤差とを比較して、最小有意モデル独立誤差を有する出力オブジェクトの１つが選択されるようにする選択モジュールと、
    選択モジュールへ結合され、選択された出力オブジェクトを表すデータを出力へ提供する出力モジュールと
    を備えるコンピュータ・プログラム製品。
  30. 少なくとも１つのモデル・パラメータを有する統計外観モデルでデジタル画像を解釈する方法であって、
    関連した統計関係を含む多次元モデル・オブジェクトを提供し、該モデル・オブジェクトが、変形してデジタル画像の中の多次元ターゲット・オブジェクトの形状及びテクスチャに近似するように構成され、
    モデル・オブジェクトを画像へ適用してターゲット・オブジェクトの形状及びテクスチャに近似する多次元出力オブジェクトの対応するシーケンスを生成し、
    出力オブジェクト及びターゲット・オブジェクトの各々の間の誤差を計算し、
    シーケンスの隣接した出力オブジェクトの間で期待される所定の変形に基づいて、出力オブジェクトのシーケンスの中の少なくとも１つの無効な出力オブジェクトを認識し、該無効な出力オブジェクトが原初のモデル・パラメータを有し、
    出力オブジェクトのシーケンスを表すデータを出力へ提供する
    方法。
  31. 更に、画像のシーケンスの中の選択されたデジタル画像へ適用されている多次元モデル・オブジェクトの異なるものを適用するステップを含む、請求項３０に記載の方法。
  32. 更に、多次元モデル・オブジェクトの異なるものの各々について、使用頻度の得点を計算するステップを含む、請求項３１に記載の方法。
  33. 更に、デジタル画像に含まれる解剖情報を補足する患者情報に基づいて、第１のモデル・オブジェクトか第２のモデル・オブジェクトを選択するステップを含む、請求項２８に記載の方法。
JP2006549798A 2004-01-30 2004-01-30 能動外観モデルを画像解析へ応用するシステム及び方法 Pending JP2007520002A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/767,727 US20050169536A1 (en) 2004-01-30 2004-01-30 System and method for applying active appearance models to image analysis
PCT/CA2004/000134 WO2005073914A1 (en) 2004-01-30 2004-01-30 System and method for applying active appearance models to image analysis

Publications (1)

Publication Number Publication Date
JP2007520002A true JP2007520002A (ja) 2007-07-19

Family

ID=34807727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006549798A Pending JP2007520002A (ja) 2004-01-30 2004-01-30 能動外観モデルを画像解析へ応用するシステム及び方法

Country Status (10)

Country Link
US (1) US20050169536A1 (ja)
EP (1) EP1714249A1 (ja)
JP (1) JP2007520002A (ja)
KR (1) KR20070004662A (ja)
CN (1) CN1926573A (ja)
AU (1) AU2004314699A1 (ja)
CA (1) CA2554814A1 (ja)
MX (1) MXPA06008578A (ja)
WO (1) WO2005073914A1 (ja)
ZA (1) ZA200606298B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265355B2 (en) * 2004-11-19 2012-09-11 Koninklijke Philips Electronics N.V. System and method for automated detection and segmentation of tumor boundaries within medical imaging data
US7773789B2 (en) * 2005-08-30 2010-08-10 Siemens Medical Solutions Usa, Inc. Probabilistic minimal path for automated esophagus segmentation
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5924864B2 (ja) * 2007-11-12 2016-05-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 動く物体のパラメータを決定する装置
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
EP2345005A2 (en) * 2008-10-07 2011-07-20 Koninklijke Philips Electronics N.V. Brain ventricle analysis
KR101194604B1 (ko) 2008-12-22 2012-10-25 한국전자통신연구원 인체 모델의 형상 변형 방법 및 장치
US8260814B2 (en) * 2009-09-17 2012-09-04 Erkki Heilakka Method and an arrangement for concurrency control of temporal data
US8831301B2 (en) * 2009-09-25 2014-09-09 Intellectual Ventures Fund 83 Llc Identifying image abnormalities using an appearance model
US20110080402A1 (en) * 2009-10-05 2011-04-07 Karl Netzell Method of Localizing Landmark Points in Images
EP2538388B1 (en) 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9111134B1 (en) 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9928635B2 (en) 2012-09-19 2018-03-27 Commonwealth Scientific And Industrial Research Organisation System and method of generating a non-rigid model
US9740710B2 (en) * 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
US10706321B1 (en) * 2016-05-20 2020-07-07 Ccc Information Services Inc. Image processing system to align a target object in a target object image with an object model
JP6833444B2 (ja) * 2016-10-17 2021-02-24 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
CN106846338A (zh) * 2017-02-09 2017-06-13 苏州大学 基于混合模型的视网膜oct图像视乳头结构分割方法
CN114796892B (zh) * 2017-06-05 2025-07-08 西安大医集团股份有限公司 放疗系统、数据处理方法及存储介质
US10346724B2 (en) * 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US12475367B2 (en) 2018-05-09 2025-11-18 Beemotion.Ai Ltd Image processing system for extracting a behavioral profile from images of an individual specific to an event
US11048921B2 (en) 2018-05-09 2021-06-29 Nviso Sa Image processing system for extracting a behavioral profile from images of an individual specific to an event
US10949649B2 (en) 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
DE102019114012A1 (de) * 2019-05-24 2020-11-26 Carl Zeiss Microscopy Gmbh Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
DE102019217524A1 (de) * 2019-11-13 2021-05-20 Siemens Healthcare Gmbh Verfahren und Bildverarbeitungsvorrichtung zum Segmentieren von Bilddaten und Computerprogrammprodukt
CN111161406B (zh) * 2019-12-26 2023-04-14 江西博微新技术有限公司 Gim文件可视化处理方法、系统、可读存储介质及计算机
CN112307942B (zh) * 2020-10-29 2024-06-28 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、系统及介质
CN116524135B (zh) * 2023-07-05 2023-09-15 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04148384A (ja) * 1990-10-11 1992-05-21 Mitsubishi Electric Corp 辞書照合方式
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JPH10500321A (ja) * 1994-03-31 1998-01-13 アーチ ディヴェロプメント コーポレイション 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム
JP2000306095A (ja) * 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
JP2002517867A (ja) * 1998-06-08 2002-06-18 ワシントン ユニバーシティ 自動形状特徴付けのための方法および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
US5926568A (en) * 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
US6111983A (en) * 1997-12-30 2000-08-29 The Trustees Of Columbia University In The City Of New York Determination of image shapes using training and sectoring
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04148384A (ja) * 1990-10-11 1992-05-21 Mitsubishi Electric Corp 辞書照合方式
JPH10500321A (ja) * 1994-03-31 1998-01-13 アーチ ディヴェロプメント コーポレイション 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JP2002517867A (ja) * 1998-06-08 2002-06-18 ワシントン ユニバーシティ 自動形状特徴付けのための方法および装置
JP2000306095A (ja) * 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6009037225, Ｅｄｗａｒｄｓ，外２名, "Ｌｅａｒｎｉｎｇ ｔｏ Ｉｄｅｎｔｉｆｙ ａｎｄ Ｔｒａｃｋ Ｆａｃｅｓ ｉｎ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ", Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， １９９８． Ｐｒｏｃｅｅｄｉｎｇｓ． Ｔｈｉｒｄ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ, 19980414, ｐ． ２６０−２６５, US, ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ *

Also Published As

Publication number Publication date
MXPA06008578A (es) 2007-01-25
EP1714249A1 (en) 2006-10-25
US20050169536A1 (en) 2005-08-04
ZA200606298B (en) 2009-08-26
KR20070004662A (ko) 2007-01-09
CN1926573A (zh) 2007-03-07
WO2005073914A1 (en) 2005-08-11
AU2004314699A1 (en) 2005-08-11
CA2554814A1 (en) 2005-08-11

Similar Documents

Publication Publication Date Title
JP2007520002A (ja) 能動外観モデルを画像解析へ応用するシステム及び方法
Gilbert et al. Generating synthetic labeled data from existing anatomical models: an example with echocardiography segmentation
US7876934B2 (en) Method of database-guided segmentation of anatomical structures having complex appearances
JP4633736B2 (ja) 画像内の対象の検出方法
Puyol-Antón et al. Regional multi-view learning for cardiac motion analysis: application to identification of dilated cardiomyopathy patients
CN111862249A (zh) 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法
Duchateau et al. A spatiotemporal statistical atlas of motion for the quantification of abnormal myocardial tissue velocities
US8605969B2 (en) Method and system for multiple object detection by sequential Monte Carlo and hierarchical detection network
JP2004509723A (ja) クロス・エントロピー最適化による画像位置合わせシステム及び方法
US10019804B2 (en) Medical image processing apparatus, method, and program
US8879810B2 (en) Method and system for automatic lung segmentation in magnetic resonance imaging videos
US11403761B2 (en) Probabilistic motion model for generating medical images or medical image sequences
EP1135748A1 (en) Image processing method and system for following a moving object in an image sequence
WO2021146497A1 (en) Trackerless 2d ultrasound frame to 3d image volume registration
Zhang et al. Novel indices for left-ventricular dyssynchrony characterization based on highly automated segmentation from real-time 3-D echocardiography
Glocker et al. Dense registration with deformation priors
CN100507947C (zh) 利用外观和形状来检测和匹配解剖结构的系统和方法
Kumar et al. Cardiac disease detection from echocardiogram using edge filtered scale-invariant motion features
US12430762B2 (en) Robust shape determination for cardiac anatomy in medical imaging
Werys et al. Displacement field calculation from CINE MRI using non-rigid image registration
Chen et al. Multimodal MRI neuroimaging with motion compensation based on particle filtering
Yang Deformable Models and Machine Learning for Large-Scale Cardiac MRI Image Analytics
Petrovic et al. Simultaneous registration, segmentation and modelling of structure in groups of medical images
Nilsson Automated Segmentation of Cardiac Magnetic Resonance Images
Puyol-Antón et al. Regional Multi-view Learning for Cardiac Motion Analysis

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100323