JP5114044B2 - 生物学的構造を有する画像を切り出す方法及びシステム - Google Patents

生物学的構造を有する画像を切り出す方法及びシステム Download PDF

Info

Publication number
JP5114044B2
JP5114044B2 JP2006316433A JP2006316433A JP5114044B2 JP 5114044 B2 JP5114044 B2 JP 5114044B2 JP 2006316433 A JP2006316433 A JP 2006316433A JP 2006316433 A JP2006316433 A JP 2006316433A JP 5114044 B2 JP5114044 B2 JP 5114044B2
Authority
JP
Japan
Prior art keywords
eyeball
point
region
sphere
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006316433A
Other languages
English (en)
Other versions
JP2007144176A (ja
JP2007144176A5 (ja
Inventor
マルタ・フィドリッヒ
ギオルギー・ビーケス
エオルス・マーテ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2007144176A publication Critical patent/JP2007144176A/ja
Publication of JP2007144176A5 publication Critical patent/JP2007144176A5/ja
Application granted granted Critical
Publication of JP5114044B2 publication Critical patent/JP5114044B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/248Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本出願の実施形態は、全般的には生物学的構造の切り出し(セグメンテイション)に関する。具体的にある種の実施形態は、視覚器の自動切り出しに関する。
生物学的構造の切り出しは医学分野において益々重要な領域になりつつある。多種多様な臨床応用により生物学的構造の切り出しが利用されることがある。一例として、手術計画が切り出しの恩恵を受けることができる。また別の例では、腫瘍専門医その他の臨床医は、罹患組織に対してある量の放射線を当てることによって放射線治療(「RT」)によりがんを処置することがある。放射線投射を標的組織に集束させる際に、近傍の構造を回避することが目的の1つとなることもある。頭部及び頚部のRTの場合では、リスクが生じる器官には眼のレンズを含むことがある。さらに、神経組織(例えば脳、視神経、脊髄)も放射起源の影響を受けやすいことがある。
患者の指定領域のRT投射を施す支援のためにコンピュータ断層(「CT」)や磁気共鳴イメージング(「MRI」)のスキャンなどの放射線撮像が解剖学的モデルとして使用されることがある。切り出しは手作業で実施されることがある。例えば放射線医が画像編集/表示プログラムを用いて生物学的構造のアウトライン(複数のこともある)をトレースして切り出しを手作業で実施することがある。3次元切り出しを必要とする場合、手作業の切り出しでは多数の2次元スライス上で切り出し輪郭をトレースし、次いでこれらのトレースを結合して3次元切り出し輪郭に至ることが必要となる。こうした手作業の切り出しは時間がかかることがあり、また不正確になることがある。
眼の器官はかなり複雑である。こうした複雑さに加えて、眼の器官は患者ごとに多様であることがある。さらに、周囲の組織も患者ごとに多様であることがある。この複雑性と多様性のために、臨床医が指定の領域にRT投射を付与しようとするだけの作業であっても込み入ったものになることがある。
米国特許第6356656号 日本特許出願公開特開平08−255252 日本特許出願公開特開平08−007114 米国特許早期公開2003/0113003 D'Haese (Pierre-Francois D'Haese, Automatic Segmentation of Brain Structures for Radiation Therapy Planning, SPlE Medical Image Processing, 2003). Zhang (Yan Zhang, Super quadric Representation of Scenes From Multi-View Range Data, The University of Tennessee, 2003) Fritzsche (Kenneth Fritzsche, Computer Vision Algorithms For Retinal Vessel Width Change Detection and Quantification, Rensselaer Polytechnic Institute, October 2002).
したがって、様々な視覚器などの生物学的構造を自動で切り出す方法及びシステムに対する要求が存在する。さらに、確度及び速度を改善させた切り出し実行のための方法及びシステムに対する要求が存在する。RTなどの多種多様な臨床応用で使用可能な単純でありながら効率的かつ費用対効果のよい切り出しを可能とする方法及びシステムに対する要求が存在する。
本発明のある種の実施形態は、少なくとも1つの視覚器を含む放射線写真画像と関連付けされた少なくとも1つのシード点を特定する工程であって該少なくとも1つのシード点は該少なくとも1つの視覚器の内部領域に対応するように位置決めされる特定工程と、少なくともその一部で該少なくとも1つのシード点に基づき該少なくとも1つの視覚器を自動で切り出す工程と、を含む生物学的構造を切り出すための方法を提供する。一実施形態では、視覚器のうちの少なくとも1つに対するその自動切り出しは、少なくとも1つの形状による幾何学モデル化を含む。一実施形態では、少なくとも1つのシード点のうちの第1のシード点は第1の眼球の内部領域に対応しており、かつ少なくとも1つのシード点のうちの第2のシード点は第2の眼球の内部領域に対応している。一実施形態では、少なくとも1つの視覚器に対する自動切り出しはさらに、眼球の中心点を特定する工程と、少なくとも1つの形状を該中心点に位置決めする工程と、少なくともその一部で眼球のグレイスケール値に基づき該少なくとも1つの形状を調整する工程と、を含む。一実施形態では、その少なくとも1つの形状は事前定義の半径を有する球体を含む。一実施形態では、少なくとも1つの視覚器に対する自動切り出しはさらに、眼球の前側部分に対応するデータ部分を処理して処理済み領域を形成する工程と、該処理済み領域の少なくとも一部分に対する重量点(weight−point)を決定する工程と、該少なくとも1つの形状を重量点の中心に置いた状態で少なくとも1つのレンズを切り出す工程と、を含む。一実施形態では、その少なくとも1つの形状は、眼球サイズに対して事前定義の比を有する楕円体を含む。一実施形態では、該少なくとも1つのシード点のうちの1つは視交叉の一領域に対応する。一実施形態では、少なくとも1つの視覚器に対する自動切り出しはさらに、視交叉に対応する一領域に対して視交叉形状を当てはめる工程を含む。一実施形態では、少なくとも1つの視覚器に対する自動切り出しはさらに、視神経の予測領域に沿って第1の少なくとも1つの形状を当てはめる工程と、該第1の少なくとも1つの形状の一領域に対応するデータを処理して処理済みデータを形成する工程と、該処理済みデータの一区画に対応する少なくとも1つの重量点を決定する工程と、該少なくとも1つの重量点を中心に第2の少なくとも1つの形状を当てはめして切り出し済み視神経を形成する工程と、を含む。一実施形態では、その方法はさらに、該切り出し済み視神経のスケルトンを決定する工程と、該スケルトンを拡張させて調整済みの切り出し視神経を形成する工程と、を含む。一実施形態ではさらに、切り出し済み視神経の少なくとも2つの非隣接区画を接続して1つの隣接切り出し済み視神経を形成する工程を含む。一実施形態ではさらに、スケルトンの少なくとも2つの非隣接区画を接続して1つの隣接スケルトンを形成する工程を含む。一実施形態では、その第1の少なくとも1つの形状は1つの円錐部分及び1つのパイプ部分を含む。一実施形態では、その第2の少なくとも1つの形状は少なくとも1つの楕円を含む。一実施形態では、ユーザは少なくとも1つのシード点を選択することが可能である。一実施形態では、そのユーザは実質的にある作業フローに従って少なくとも1つのシード点を選択する。本発明のある種の実施形態は、1つまたは複数の視覚器を含む放射線写真画像を受け取るための受け取りルーチンと、1つまたは複数の視覚器のうちの少なくとも1つに対する内部領域に対応するように位置決めされて該放射線写真画像と関連付けされた少なくとも1つのシード点を特定するための特定ルーチンと、少なくともその一部で該少なくとも1つのシード点に基づき1つまたは複数の視覚器のうちの少なくとも1つを自動で切り出すための切り出しルーチンと、を含むコンピュータ向けの命令の組を含んだコンピュータ読み取り可能記憶媒体を提供する。一実施形態では、その切り出しルーチンはさらに、眼球の中心点を特定するための特定ルーチンと、事前定義の半径を有する球体を該中心点に配置するための配置ルーチンと、眼球の予測表面に沿って該球体が処理済みデータに実質的に一致するように調整するための調整ルーチンと、を含む。一実施形態では、その切り出しルーチンはさらに、眼球の前側部分に対応するデータ部分を処理して処理済み領域を形成するための処理ルーチンと、該処理済み領域の少なくとも一部分に対する重量点を決定するための決定ルーチンと、楕円体を該重量点に置いた状態で少なくとも1つのレンズを切り出すための切り出しルーチンと、を含む。一実施形態では、その切り出しルーチンはさらに、視交叉に対応する領域にモデル化形状を当てはめるための当てはめルーチンを含む。一実施形態では、その切り出しルーチンはさらに、少なくとも1つの視神経の予測領域に沿って円錐部分及びパイプ部分を当てはめるための当てはめルーチンと、円錐部分及びパイプ部分の一領域に対応するデータを処理するための処理ルーチンと、該処理済みデータの一区画に対応する少なくとも1つの重量点を決定するための決定ルーチンと、該少なくとも1つの重量点を中心として少なくとも1つの楕円を当てはめて切り出し済み視神経を形成するための当てはめルーチンと、を含む。本発明のある種の実施形態は、少なくとも1つの視覚器を含んだ画像を受け取ることが可能であり、さらに該少なくとも1つの視覚器のうちの少なくとも1つに対応する少なくとも1つのシード点を特定することが可能であるプロセッサを含むような視覚器の自動切り出しを実行するためのシステムであって、該プロセッサはその画像及び少なくとも1つのシード点に少なくとも基づいて少なくとも1つの視覚器を自動で切り出すことが可能であるシステムを提供する。一実施形態では、そのシステムはさらに、ユーザによる少なくとも1つのシード点の選択を容易にするためのユーザインタフェースを含む。
上述した要約、並びに本出願のある種の実施形態に関する以下の詳細な説明は、添付の図面と共に読むことによってさらに十分な理解が得られよう。本発明の例証を目的として、図面ではある特定の実施形態を示している。しかし、本発明は添付の図面に示した配置や手段に限定するものではないことを理解すべきである。幾つかの図は開示した方法及びシステムによって作成し得るタイプの画像及び表示を表すことがある。
図1は、本発明の一実施形態による視覚器100を表している。視覚器100は例えば、眼球102、レンズ104、視神経106及び視交叉108を含むことがある。視覚器100の像(あるいは、その一部分)は、例えばX線、コンピュータ断層(「CT」)、磁気共鳴イメージング(「MRI」)及び/または陽電子放出断層(「PET」)などの放射線学モダリティを用いて作成されることがある。視覚器100は、2次元スライスとして撮像されることや、3次元ボリュームとして撮像されることがある。所与の任意の放射線学モダリティにおいて、得られた画像内の各ピクセル及び/またはボクセルはグレイスケール値と関連付けさせることがある。グレイスケール値は、ハウンスフィールド値その他の適当な計測システムによって定量化されることがある。ある視覚器100は、周囲の組織及び/または別の視覚器100と識別できるグレイスケール値を示すことがある。特にCTイメージングでは、以下で検討するような切り出しによく適合し得る視覚器100の放射線画像が作成される。しかし、本出願で検討する切り出しは、利用可能な様々なモダリティ(例えば、MRIやPET)のいずれからの放射線画像に対しても実行が可能であり、CTイメージングによって作成された画像に特有のものではない。
本発明の実施形態に従った切り出しは、後でさらに検討することにするような幾何学モデル化を利用することがある。幾何学モデル化では、例えば視覚器の様々な構成要素に対して幾何学形状を当てはめることを必要とすることがある。例えば幾何学モデル化では、球体(複数のこともある)、楕円体(複数のこともある)、パイプ(複数のこともある)、円錐(複数のこともある)及び/またはその他の当てはめを必要とすることがある。ここに開示したものを同様の別の幾何学形状によって置き換えることもできる。幾何学モデル化形状は、1次元、2次元、3次元及び/または4次元(例えば、時間経過と共に変化する非剛性の器官の場合)とすることができる。3次元形状は例えば、これより低次元の形状からモデル化することができる(例えば、パイプは一連の円及び/または楕円とすることができる)。
眼球102は例えば、人間の眼球とすることができる。人間の視覚器100は、2つの眼球102を含むことがある。所与の種について、例えば平均的な形状及びサイズの眼球102を見積もる及び/または推定することができる。平均的サイズの眼球102は以下で検討するような切り出しを実行するのに有用となり得る。平均的サイズの眼球102は、所与の半径を有する実質的な球状をしていることがある。例えば、人間の平均的な眼球102は半径が12mmの実質的な球状をしていることがある。さらに、眼球102の放射線画像はある特定のレンジ内のグレイスケール値を有するピクセル及び/またはボクセルをもたらすことがある。
図1に戻ると、眼球102の前側部分の内部に一般的にレンズ104が配置されている。各眼球102の内部に1つのレンズ104が包含されていることがある。所与の種に関して、平均的なレンズ104の形状及びサイズを推定することができる。平均的サイズのレンズ104は以下で検討するような切り出しを実行するのに有用となり得る。例えば人間の平均的なレンズ104の形状は楕円体であることがある。例えばこうした楕円体は、寸法が5mm、2.3mm及び5mmの各軸を有することがある。さらに、所与の種のレンズ104の平均サイズは、眼球102とレンズ104の比から見積もることができる。例えば人間では、平均的な眼球102のサイズと平均的なレンズ104のサイズの比は、x、y及びzの各次元方向で2.4、5.2、2.4と与えることができる。したがって、眼球102のサイズが既知であれば、この比を単純に適用することによって対応して予測される平均的なレンズ104のサイズが得られることになる。平均的なレンズ104のサイズ及び形状を知ることは、以下で検討するような切り出しに役立つことがある。さらに、レンズ104の放射線画像は、ある特定のレンジ内のグレイスケール値を有するピクセル及び/またはボクセルをもたらすことがある。
各眼球102に対して1つの視神経106が対応することがある。視神経106によって一般的に、眼球102を視交叉108に繋げることができる。所与の種に関して、視神経106の形状及びサイズを見積もることができる。平均的な視神経106のサイズ及び形状は以下で検討するような切り出しを実行するのに有用となり得る。例えば人間の平均的な視神経106は、円錐部分及びパイプ部分によって概略見積もることができ、この際円錐部分の底部は眼球102の中央に固定させ、また円錐部分の頂点はパイプ部分に接続させる。パイプ部分のもう一方の端部は視交叉108の位置に固定させることがある。平均的な視神経106のサイズ及び形状を知ることは、以下で検討するような切り出しに役立つことがある。さらに、視神経106の放射線画像は、ある特定のレンジ内のグレイスケール値を有するピクセル及び/またはボクセルをもたらすことがある。
図1に戻ると、視交叉108を視覚器100に含めることもある。視交叉108は一般的に、文字「X」に似ることがある。視交叉108は、脳内のトルコ鞍の上側の位置に見出されることがある。視交叉108は一般的に周囲の脳と同じ種類の神経組織から形成されるため、グレイスケールのみに基づいて視交叉108を近傍の領域から識別することは困難であることがある。しかし視交叉108は、所与の種に関する平均的な形状及びサイズを有することがある。視交叉108の平均的な形状及びサイズは例えば、ある種(例えば、人間)内の多数のサンプルから経験的に導出することができる。視交叉108の平均的な形状及びサイズは、以下で検討するような切り出しに有用となり得る。
図7は、本発明の一実施形態による視覚器700のシード点720を伴った図表示を表している。視覚器700の図表示は、例えば放射線撮像システムによって作成されることがある。視覚器700の図表示はまた、モデルによって作成することや、別の描出によって作成することもある。視覚器700の図表示は例えば、図1に示すように視覚器100に対応することがある。図示視覚器700は、図示眼球(複数のこともある)702、図示レンズ(複数のこともある)704、図示視神経(複数のこともある)706及び図示視交叉708を含むことがある。図表示700は患者、モデル、その他に対応することがある。図表示700は2次元、3次元及び/または4次元データを包含することがある。
図12は、本発明の一実施形態による生物学的構造を自動で切り出すためのシステムを表している。システム1200は、1つまたは複数の通信リンク1204を介して画像処理サブシステム1216及び/または記憶装置1214と通信可能にリンクさせた画像作成サブシステム1202を含むことがある。システム1200の構成要素は、ソフトウェア、ハードウェア、ファームウェア及び/またはその他の形で実現させることがある。システム1200の構成要素は例えば、単独で実現させること、かつ/または様々な形態に一体化させることがある。
画像作成サブシステム1202は例えば、患者の関心対象ボリュームに対応する2次元、3次元及び/または4次元データを作成することが可能な任意の放射線学システムとすることができる。画像処理サブシステム1202の種類の幾つかには、コンピュータ断層(CT)、磁気共鳴イメージング(MRI)、X線、陽電子放出断層(PET)、トモシンセシス(tomosynthesis)及び/またはその他が含まれる。画像作成サブシステム1202は、通信リンク1204を介して記憶装置1214及び/または画像処理サブシステム1216に伝達することができる画像に対応する1つまたは複数のデータ組を作成することがある。
記憶装置1214は、画像作成サブシステム1202によって作成されたデータ組(複数のこともある)を保存することが可能である。記憶装置1214は例えば、PACS記憶装置、光学媒体記憶装置、磁気媒体記憶装置、半導体記憶装置、長期記憶装置、短期記憶装置及び/またはその他などのディジタル式記憶装置とすることがある。記憶装置1214は例えば、画像作成サブシステム1202や画像処理サブシステム1216と一体化させることがある。記憶装置1214は例えば、ローカルに配置させることや、リモートに配置させることがある。記憶装置1214は例えば、永続的とすることや、一時的とすることがある。
画像処理サブシステム1216はさらに、メモリ1206、プロセッサ1208、ユーザインタフェース1210及び/またはディスプレイ1212を含むことがある。画像処理サブシステム1216の様々な構成要素は通信可能にリンクさせることがある。例えばプロセッサ1208とメモリ1206など構成要素のうちの幾つかを一体化させることがある。画像処理サブシステム1216は患者の関心対象ボリュームに対応するデータを受け取ることがある。データは例えばメモリ1206内に保存されることがある。
メモリ1206は、例えばハードディスク、フレキシブルディスク、CD、CD−ROM、DVD、コンパクト記憶装置、フラッシュ・メモリ、ランダム・アクセス・メモリ、読み取り専用メモリ、電気的消去可能でプログラム可能な読み取り専用メモリ及び/またはその他のメモリなどのコンピュータ読み取り可能なメモリとすることがある。メモリ1206は、例えば複数のメモリを含むことがある。メモリ1206は例えば、データを一時的に保存できることや、永続的に保存できることがある。メモリ1206は、例えばプロセッサ1208による読み取りが可能な命令の組の保存を可能とさせることがある。メモリ1206はさらに、例えば画像作成サブシステム1202によって作成されたデータの保存を可能とさせることがある。メモリ1206はまた、例えばプロセッサ1208によって作成されたデータの保存を可能とさせることがある。
プロセッサ1208は中央処理ユニット、マイクロプロセッサ、マイクロコントローラ及び/またはその他とすることがある。プロセッサ1208は例えば、複数のプロセッサを含むことがある。プロセッサ1208は一体化させた1つの構成要素とすることや、例えば様々な箇所に分散させることがある。プロセッサ1208は例えば、あるアプリケーションの実行を可能とさせることがある。プロセッサ1208は例えば、本発明による任意の方法(複数のこともある)及び/または命令組(複数のこともある)の実行を可能とさせることがある。プロセッサ1208は例えば、ユーザインタフェース1210からの入力情報を受け取ること、並びにディスプレイ1212による表示が可能な出力を作成することを可能とさせることがある。
ユーザインタフェース1210は、例えばユーザから画像処理サブシステム1216への情報の伝達が可能な任意のデバイス(複数のこともある)を含むことがある。ユーザインタフェース1210は、マウス操作デバイス、キーボード及び/またはユーザの指令を受け取ることが可能な別の任意のデバイスを含むことがある。例えばユーザインタフェース1210は、例えば音声認識、運動トラッキング及び/またはアイ(eye)トラッキング機能を含むことがある。ユーザインタフェース1210は、例えばディスプレイ1212などの別の構成要素に組み入れられることがある。一例として、ユーザインタフェース1210は、例えば接触応答性のディスプレイ1212を含むことがある。
ディスプレイ1212は、ユーザへの視覚的情報の伝達が可能な任意のデバイスとすることがある。例えば、ディスプレイ1212は、陰極線管、液晶ダイオード・ディスプレイ、発光ダイオード・ディスプレイ、プロジェクター及び/またはその他を含むことがある。ディスプレイ1212は、例えば画像処理サブシステム1216によって作成された放射線画像及びデータの表示を可能とさせることがある。ディスプレイは2次元的とすることがあるが、シェーディング、色付け及び/またはその他を通じて3次元情報の指示を可能とさせることもある。
図2は、本発明の一実施形態に従った生物学的構造(例えば、視覚器100や描出700など)を切り出すための方法200の流れ図を表している。方法200の工程の少なくとも一部分は例えば、別の順序で実行されること、かつ/または実質的に/部分的に同時に実行されることがある。例えば工程204が工程202と同時に実行されることがあり、あるいは工程204が工程202の前に実行されることがある。方法200の幾つかの工程は、例えば省略されることもある。方法200は、その全部または一部が、例えば図12に表したプロセッサ1208などのプロセッサによって実行されることがある。
工程202では、方法200は、視覚器100の少なくとも一部分の放射線写真画像を受け取ることを含むことがある。例えば、放射線写真画像がCTイメージングによって作成されることがある。この画像は視覚器100の少なくとも一部分を含むことがある。この画像は、例えば図7に示すような視覚器700の描出とすることがある。例えばこの画像は図1または図7に表したのと同様に、眼球、レンズ、視神経及び視交叉を含むことがある。別法として、その画像は図1または図7に表したのと同様に、2つの眼球、2つのレンズ、2つの視神経及び1つの視交叉を含むことがある。この画像はさらに、視覚器100以外の生物学的構造を含むことがある。例えば、この画像はさらに、脳、筋組織、腱、血管組織、骨及び/またはその他の別の部分を含むことがある。この画像は例えば、人間に対応することがある。工程202は例えば、図12に表したプロセッサ1208などのプロセッサによって実行可能とさせることがある。さらに、放射線写真画像(または、そのコピー)は、受け取られて、例えばランダム・アクセス・メモリなどのメモリ内の保存されることがある。
工程204は、放射線写真画像と関連付けされた1つまたは複数のシード点を特定することを含むことがある。このシード点(複数のこともある)は画像データに一体化させることや、対応するデータ組の一部とさせることがある。シード点は例えばユーザによって提供されることがある。一実施形態では、ユーザは、例えばユーザインタフェース(図12に表したユーザインタフェース1210など)を用いて切り出しアプリケーションと対話することによってシード点を選択することがある。切り出しソフトウェアは放射線写真画像(工程202で特定した画像など)をユーザに対して表示させることがある。次いでユーザは、ユーザインタフェースを用いることによって、放射線写真画像の様々な領域に対応するようにシード点を選択することがある。一実施形態では、ユーザは、マウスを用いたポイント及びクリックによってシード点を形成することがある。シード点を選択する別の方法も可能である。例えばユーザは、ステンシルなどを使用して放射線写真画像上にオーバーレイさせ、これによりソフトウェアにシード点を作成させることも可能である。
ユーザは、例えば以下で検討する自動切り出し206を容易にさせるようなシード点の選択を推奨されることがある。一実施形態では、シード点(複数のこともある)の選択は、視覚器(複数のこともある)100の内部領域に対応するシード点(複数のこともある)の選択とすることがある。一旦図7に戻ると、ユーザは図表示700と対話することがある。例えばユーザは、図表示700の様々な領域に対応するようにシード点(複数のこともある)720を選択することがある。シード点720は必ずしも図表示700の一部を形成する必要はないが、図表示700と関連させて配置させることがあることに留意されたい。例えばシード点720は、図示眼球702の内部に配置させることがある。ユーザはさらに、別の図示眼球720の内部領域に対応するように別のシード点720を選択することがある。さらにユーザは、例えば図示視交叉708の内部領域に対応するようにシード点720を選択することがある。シード点(複数のこともある)720は、以下で検討する自動切り出し工程206を開始するために使用可能である。選択したシード点(複数のこともある)720は放射線写真画像内に一体化させることや、放射線写真画像に対応する別のデータ組内に包含させることがある。図2に戻ると、シード点(複数のこともある)720を(例えば、上述のようにユーザによって)選択し終えた後、本方法200は工程204において選択シード点(複数のこともある)720を特定することがある。例えば、シード点(複数のこともある)720は、例えば切り出しソフトウェアによって容易に特定可能なデータ構造によって表現されることがある。地点的な情報に加えて、シード点(複数のこともある)720は、各シード点720が視覚器700の図表示(複数のこともある)のどれに対応するを表した情報を包含することがある。例えば、あるシード点720は図示眼球702、図示視交叉708、またはその箇所との対応関係を表した情報を包含することがある。
自動切り出しアプリケーションに関して、ユーザのシードについて多種多様な作業フローを可能とさせることがある。作業フローの第1の可能性では、例えばユーザが開始点(outset)の位置またはその近傍に3つのシード点を提供する。この3つのシード点は、例えば図示眼球(複数のこともある)702及び/または図示視交叉708の内部に対応させることがある。3つのシード点を選択した後、アプリケーションは例えば7つ全部の視覚器を自動で切り出すことがある。こうした相互対話では、例えば3つのシード点の選択後に何らの作業も必要としないことがある。この7つの視覚器構造(2つの眼球、2つのレンズ、2つの視神経及び1つの視交叉)は例えば、構造群「視覚」内に自動的に編成させることができる。アプリケーションにおけるこうした群構造化は、ユーザが例えば解剖学関連の構造を管理するのに役立つ。
可能な別の作業フローでは、ユーザはシード点(複数のこともある)を1つずつ提供すると共に、後続して結果が、例えばシード点の提供後ある短い時間内に(例えば、実質的にリアルタイムで)提供される。眼球シード点を提供すると、例えば眼球及びその含まれるレンズの切り出しが得られることがある。視交叉シード点を提供すると、例えば2つの視神経と1つの視交叉の切り出しが得られることがある。この場合にも、得られた構造は、構造群「視覚」内に自動的に編成させることができる。例えば第1及び第2の点が眼球内にありかつ第3の点が視交叉内にあるようであれば好ましい。こうした選好の下で、アルゴリズムは例えば、あるシード点を以前に切り出した器官に対して提供し得るか否かをチェックすることがある。諾であれば、この以前に切り出した器官が上で検討したようにして再び切り出されることがある。
工程206では、方法200は、工程204で特定したシード点に基づいて1つまたは複数の視覚器100(あるいは、その描出700)を自動で切り出す。視覚器100(または、描出700)は例えば器官単位で切り出されることがある。別法として、視覚器100(または、描出700)は順次式で(例えば、眼球、レンズ、視交叉、視神経のように)切り出されることがある。視覚器100(または、描出700)は様々な順序で切り出されること、かつ/または視覚器100(または、描出700)のもう一方と同時に切り出されることがある。工程206は、例えば図3〜6に示した方法300、400、500、600など本明細書に開示した様々な方法のうちの1つまたは幾つかを含むことがある。
図3は、本発明の一実施形態に従って眼球102を自動で切り出すための方法300の流れ図を表している。方法300の工程の少なくとも一部分は例えば、別の順序で実行されること、かつ/または実質的に/部分的に同時に実行されることがある。例えば工程304が工程302と同時に実行されること、あるいは工程304が工程302の前に実行されることがある。さらに、方法300の幾つかの工程は例えば省略されることがある。方法300は、その全部または一部で例えば図12に表したプロセッサ1208などのプロセッサによって実行されることがある。方法300は例えば、2次元、3次元、または4次元データに対して実行可能とすることがある。
一実施形態では、シード点(例えば、図7に表したシード点720)は放射線写真画像上で眼球102または眼球描出702に対応するようにして特定されることがある。このシード点は、例えば方法300で使用したアルゴリズムを具体的なある眼球に振り向けるために有用となり得る。方法300をある具体的な眼球に振り向けるためには、例えば視覚器を含んだ放射線画像をある具体的な眼球の予測領域に対してマッピングするためのテンプレートなどの別の技法が使用されることもある。
工程302では、眼球(例えば、眼球102または702)の中心点が特定されることがある。眼球の中心点は、例えばCTなどの所与の放射線学モダリティに関する眼球の既知の強度特性を利用することによって特定されることがある。例えば、眼球の中心領域内のピクセル及び/またはボクセルは、例えばある特定のハウンスフィールド値のレンジ域内の強度特性を有することが知られている。中心点は、例えばシード点の領域内で探索されることや、例えば眼球の予想される中心を決定するための何か別の指示またはアルゴリズムで探索されることがある。
工程304では、眼球の中心点を中心とする推定球体が当てはめられることがある。推定球体は例えば人間など具体的なある種に関する平均値に対応した半径を有する球体とすることがある。この半径は例えば中心点から拡げることができる。楕円体様の形状など球体の変形形態とすることも可能である。推定球体は普遍型とすることや、1人または複数人の患者に対応する指定の情報(例えば性別、年齢、体重、身長、病状、など)に合わせて調整されることがある。
工程306では、眼球に対する球体の当てはめがさらに調整されることがある。例えば、眼球の中心に対応する領域がユーザ付与によるシード点の領域内で探索されることがある。例えば当てはめられた球体の中心点及び半径を特定するために2つの円を利用することがある。例えば小さい方の円を眼球の内部に配置させることがあり、大きい方の円を眼球の外部に配置させることがある。例えば、これらの円の位置に基づいて球体配置の確度を指示する適合度基準(wellness measure)を計算することがある。適合度基準は、例えば円の位置を調整することによって実質的に最小にすることがある。適合度基準が実質的に最小であると、この結果として例えば、当てはめた球体の中心点及び半径の正確な特定を得ることができる。例えば眼球の内部及び外部にあたるピクセル及び/またはボクセルの事前定義のグレイスケール値によって、適合度値の計算を容易にさせることがある。この球体によって、例えば調整済みの特性(例えば、中心点及び/または半径)を組み込むことや、眼球の切り出しを提供することができる。
一旦図8を見ると、本発明の一実施形態により切り出された眼球の一例を表している。この眼球は、球体802(2次元像で円で示す)による切り出しで表している。
図4は、本発明の一実施形態に従ってレンズ104または描出704を自動で切り出すための方法400の流れ図を表している。方法400の工程の少なくとも一部分は例えば、別の順序で実行されること、かつ/または実質的に/部分的に同時に実行されることがある。例えば工程404が工程402と同時に実行されること、あるいは工程404が工程402の前に実行されることがある。さらに、方法400の幾つかの工程は例えば省略されることがある。方法400は、その全部または一部で例えば図12に表したプロセッサ1208などのプロセッサによって実行されることがある。方法400は例えば、2次元、3次元、または4次元データに対して実行可能とすることがある。
工程402では、レンズを包含する眼球の前側部分(例えば、眼球102または描出702)に対応するデータが処理されることがある。眼球の前側部分は外側に向いた部分(例えば、網膜と反対側)とすることがある。眼球の前側部分は、例えばピクセル及び/またはボクセルに関する向き、位置または強度値などの情報に基づいて特定されることがある。眼球の前側部分に対応するピクセルやボクセルなどのデータは、例えば当技術分野で周知の多種多様な技法によって処理されることがある。例えば眼球の前方(例えば、前側)部分はしきい値処理されることがある。
しきい値処理の技法では、例えばボクセル及び/またはピクセルのあるしきい値及び/または間隔に対する対応関係に基づいて、そのボクセル及び/またはピクセルにある具体的な値を割り当てることが必要となることがある。例えばしきい値処理では、例えばボクセル及び/またはピクセルが所与のしきい値未満またはある特定の間隔域内の値に対応する場合に、これに対して別の値を割り当てることが必要となることがある。例えばしきい値処理は、すべてのボクセル及び/またはピクセルが所与のしきい値グレイスケール値を超えるグレイ値を有する場合はこれに対して黒(black)を割り当て、またこれらが所与のしきい値グレイスケール値未満の値を有する場合はこれに白(white)を割り当てることがある。別法として、しきい値処理は例えば、あるボクセル及び/またはピクセルが所与のグレイスケール間隔内にある場合にはこれが第1のグレイ階調を有するように、別のボクセル及び/またはピクセルが所与のグレイスケール間隔内にない場合にはこれが第2のグレイ階調を有するように割り当てすることがある。
しきい値処理後に、例えばしきい値処理から得られる連続領域(例えば、黒などある特定のグレイスケール領域)をさらに処理することがある。しきい値処理から得られるデータは例えば、レンズに対応する領域に対して均一の強度値を有することがある。
工程404では、所与の処理済みの領域に関する重心または「重量点」を決定することがある。重量点決定は例えば、しきい値処理から得られたデータなどのフィルタ処理済みデータに対して実行されることがある。例えば、領域が白であれば、白領域に関する重量点を決定することがある。重心及び/または重量点の座標は以下のようにして計算することがある。各ピクセル及び/またはボクセルのx、y、z座標の和が別々に計算され、この和をその領域内のボクセル及び/またはピクセルの総数で割り算するという座標幾何学技法が実施時に使用されることがある。重量点は所与の領域の中心に対応することがある。重量点は例えば、2次元、3次元または4次元とすることがある。フィルタ処理した(例えば、しきい値処理した)領域の重量点は例えば、レンズの中心点に対応することがある。
工程406では、楕円体その他の形状をこの重量点の中心に置いてレンズ104または描出704などのレンズが切り出されることがある。当てはめられる楕円体は例えば、2次元、3次元または4次元とすることがある。例えばレンズは、切り出された眼球に関して決定した楕円体を用いて切り出されることがある。レンズを切り出すための楕円体は、所与の比、及び対応する眼球の既知のサイズから決定されることがある。レンズと眼球のサイズの間の比(複数のこともある)は例えば、統計量を用いて決定されることがある。例えばその楕円体は、以下のようにして向きを設定することがある:すなわち、眼球の中心からレンズの中心へ向かうベクトルを決定し、このベクトルが楕円体の回転軸の方向に向くように当てはめる楕円体を回転させる。楕円体を当てはめた後、この楕円体は例えば、必要に応じてフィルタ処理済みデータ(例えば、しきい値処理から得られたデータ)に対する対応がより大きくなるようにさらに調整されることがある。当てはめられる楕円体またはその変形形態は例えば、レンズの切り出しを提供することがある。
図5は、本発明の一実施形態に従って視神経(例えば、図1、7に示した視神経106またはまたは描出706)を自動で切り出すための方法500の流れ図を表している。方法500の工程の少なくとも一部分は例えば、別の順序で実行されること、かつ/または実質的に/部分的に同時に実行されることがある。例えば工程504が工程502と同時に実行されること、あるいは工程504が工程502の前に実行されることがある。さらに、方法500の幾つかの工程は例えば省略されることがある。方法500は、その全部または一部で例えば図12に表したプロセッサ1208などのプロセッサによって実行されることがある。方法500は例えば、2次元、3次元、または4次元データに対して実行可能とすることがある。
工程502では、円錐部分及びパイプ部分が視神経の予測領域に当てはめられることがある。円錐部分は例えば、実質的に円錐様とすることや、さもなければ円錐に類似させることがある。例えば円錐部分は真っ直ぐな軸や曲がった軸を有することがあり、またその頂点は例えば先端とすることや丸くすることがある。パイプ部分は実質的にパイプ様とすることや、さもなければパイプに類似させることがある。例えばパイプ部分は均一の半径を有することや、変動する半径を有することがある。パイプ部分は例えば、真っ直ぐな軸を有することや、曲がった軸を有することがある。
円錐部分の頂点は例えば、複数の技法によって決定されることや、その平均の技法によって決定されることがある。ある技法では例えば、眼球の後側エッジから1つの三角形を段階的に延長させることがある。この三角形は例えば、x座標などの座標次元の方向に延長させることがある。三角形を延長させるに連れて、例えば三角形が骨及び/または空気のピクセル及び/またはボクセルを含むようになるまで、すべての工程でこれがチェックを受ける。この三角形が骨を包含するような点では、円錐の頂点が例えば、三角形の延長させた点に対応することがある。
別の技法では、例えば眼球の中心から視交叉のシード点の方向までの軸に沿って1つの三角形を段階的に延長させることがある。三角形に骨及び/または空気を包含させた後に、例えば円錐部分の頂点を三角形の延長させた点に対応させることがある。
円錐の底部は例えば、眼球の半径より若干小さい半径をもつ円とすることがある。若干小さい円の中心点は例えば、眼球の中心点とすることがある。若干小さい円の向きは例えば、眼球の中心点と計算した頂点の間に及ぶ円錐の軸と直交させることがある。円錐部分の頂点はパイプの一方の端部に繋がることがある。パイプのもう一方の端部は視交叉(例えば、視交叉108または708)に繋がることがある。
当てはめられたパイプ部分は例えば、視神経管を包含することがある。しかし、当てはめられるパイプ部分は例えば視神経管と比べてあまり大ききしないことが好ましい。パイプ部分が大きすぎると、例えば骨トンネル(bony tunnel)の外部の通路(passageway)を含むことになり、これにより後続のモデル化アルゴリズムを混乱させることになり兼ねない。
パイプ部分の端点の一方は例えば、円錐の頂点の位置またはその近傍とすることがある。パイプ部分の端点のもう一方は以下のようにして決定されることがある。例えば30mm×15mmの領域が、視交叉に対応するシード点の周りで選択されることがある。シード点は例えば、この30mm×15mmの領域の後側に来ることがあり、またシード点がこの領域を2分することがある。この領域内で、ピクセル及び/またはボクセルがしきい値処理を受けることがある。例えばピクセル及び/またはボクセルが例えば−30HUと150HUの間などあるグレイスケール間隔及び/または減衰値の域内にある場合に、そのピクセル及び/またはボクセルをしきい値処理することがある。しきい値処理から、例えばシード点を包含する隣接領域が得られることがある。例えば角度レンジに基づいて隣接領域の最遠点を決定できることがある。この角度の頂点は例えば視交叉シード点とすることがあり、またその角度レンジは例えば30〜70度とすることがある。この角度(複数のこともある)に沿った隣接領域内部の最遠点は例えば、パイプ部分(複数のこともある)に関するもう一方の端点として使用可能とすることがある。
一旦図9を見ると、工程502に従った視覚器の元になる放射線画像のコンテキストにおいて、眼球902、円錐部分904及びパイプ部分906を表している。眼球902とパイプ部分906を繋いでいる円錐部分904を表している。パイプ部分906のもう一方の端部は視交叉108(図示せず)に繋がっている。円錐部分904及びパイプ部分906は、視神経の予測領域に当てはめ済みである。
図5に戻ると、工程504では、円錐及びパイプに対応する領域内のピクセル及び/またはボクセルが処理されることがある。例えば、そのピクセル及び/またはボクセルは方法400に関連して記載したようなしきい値処理を受けることがある。ピクセル及び/またはボクセルは例えば、そのグレイスケール強度値(例えば、ハウンスフィールド値)に基づいた値が割り当てられることがある。所与のしきい値を超える/所与のしきい値未満のすべてのピクセル及び/またはボクセルにはある共通の値が割り当てられることがある。処理が終わると、共通であると特定されたピクセル及び/またはボクセルによって1つの領域が形成されることがある。
しかし視神経領域では処理に困難を来すことがある。例えば、筋組織やその他の組織などの近傍組織が、例えばCTなどの特定の放射線学モダリティにおいて視神経と同様の減衰値を有することがある。したがって、処理中に神経組織を非神経組織から識別することはかなり困難であることがある。このため、しきい値処理などの技法によって神経と近傍組織が識別可能でない場合、追加的な処理が有用となり得る。しきい値処理は例えば、潜在的な視神経組織を示すことがある。重量点決定は実際の神経領域に対するより適当な近似を提供することがある(これについては後で検討することにする)。
図10を見ると、工程504に従った円錐及びパイプ領域内のデータ処理の一例を表している。円錐部分1004及びパイプ部分は、神経組織を含んだ3次元データ(単一のスライスに関する2次元データだけを表している)を含んでいる。視神経管を決定するためにしきい値処理アルゴリズムが適用される。しきい値処理後に、幾つかの部分1008が潜在的な視神経組織として特定される。図10の図示から分かるように、しきい値部分1008が連続しているかどうかは、別の部分1008が別の2次元スライス(図示せず)内に存在する可能性があるため明瞭でないことがあることに留意されたい。したがって、神経組織と非神経組織が円錐及びパイプ領域の内部にあるために、データの処理は例えば一部の組織を分離させることがある。
工程506では、処理済みデータに関する重量点(複数のこともある)が決定されることがある。例えば共通領域を形成するデータを処理して重量点が決定されることがある。ある領域に関する単一の重量点を決定することや、複数の重量点を例えばコロナル次元方向などの様々な次元方向で決定することが可能である。例えば処理済みデータは3次元とすることがあり、また一連の2次元コロナル・スライスに分解させることがある。処理済みデータに関する重量点は例えば、各コロナル・スライスごとに決定可能とすることがある。
工程508では、視神経管の区画に対して楕円(複数のこともある)が当てはめられることがある。当てはめられる楕円は例えば、実質的に楕円形とすることや、さもなければ全体として楕円に類似させることがある。例えば、フットボール型の形状(例えば、アメリカン・フットボール型の形状)を当てはめることや、球形状を当てはめることがある。当てはめられる楕円は、視神経管のコロナル面上で当てはめしたコロナル楕円とすることがある。別法として、例えばサジタル、アキシャル及び/または斜方向などの別の面に沿って楕円及び/または別の形状が当てはめられることがある。第1の楕円は例えば、コロナル面上の重量点を中心とすることがある。楕円は例えば、視神経組織及び/または別の組織を含むことがある。楕円は例えば、ある特定の領域に関する視神経の予測サイズに基づいた形状を有することがある。視神経の予測サイズは、所与の種(例えば、人間)について普遍型とすることや、患者のファクター(例えば、サイズ、性別、体重、身長、病状、など)に基づいて変更することがある。楕円は例えば、その処理済みデータに応じて動的なサイズを有することもある。例えば、当てはめアルゴリズムはその処理済みデータに基づいた楕円サイズの動的な推定(例えば、ある特定のスライスに関するしきい値処理データに基づいた長軸/短軸の推定)を可能にすることがある。楕円は、工程504からの処理済みデータの領域に沿って当てはめられることがある。例えば楕円は、当てはめられた円錐及びパイプのしきい値処理部分に対応する領域に沿って当てはめられることがある。例えばこの領域は、全体として眼球から視交叉まで延びることがある。
工程512では、当てはめられた楕円について、その楕円が眼球と視交叉を繋ぐ連続する視神経管を形成するか否かを判定するチェックがなされることがある。当てはめられた楕円は眼球と視交叉の間に連続する導管(canal)が形成されることがある。連続と判定されれば、方法500は例えば工程516に進むことがある。連続でないと判定されれば、方法500は例えば工程514に進むことがある。例えば、横断次元方向(例えば、全体として眼球と視交叉を繋ぐ次元方向)などの次元方向で、当てはめられた楕円に1つまたは複数の不連続性が存在することがある。不連続性は例えば、楕円同士の間の大きな整列不良などのギャップ及び/または別の種類の不連続性であることがある。こうした不連続性が存在すると、例えば工程514でギャップを埋めることが有用となり得る。不連続性の有無は、例えば楕円当てはめルーチンがパイプの端点に到達できない場合などに、多種多様な技法によって決定されることがある。この端点には、例えば視神経管が任意の横断面上に見いだせない場合に到達しないことがある。この場合には例えば、コロナル面上でパイプの端点からの楕円の描画を、パイプの一方の側及び/または両側からトンネルが完成するまで実行させることがある。
例えば、ある特定のコロナル・スライスを工程508で楕円によって当てはめできなければ、方法500が補正処置を取れるようにこうした情報が工程512に伝達されることがある。別の例では、臨床的な選好が補正を要求しない場合、不連続性が存在する場合であっても方法500は工程516に進む。
工程514では、当てはめられた楕円の間に不連続性が存在する場合、視神経管の当てはめられた連続領域を効率よく作成することによって不連続領域を連続的にすることがある。
工程516では、当てはめられた楕円が調整されて切り出された視神経管を形成させることがある。例えば、圧縮(shrinking)または平滑化アルゴリズムを利用して、楕円同士の間の任意の分散を平滑化させることがある。別の例では、当てはめられた楕円の表面が例えば、処理したデータ(例えば、しきい値処理したデータ)と比較されると共に、適正に調整されることがある。当てはめられた楕円は、切り出された視神経管を得るような調整で利用される技法に従って調整されることがある。別の例では、最終的な調整を実行する臨床選好を存在させないこと、またこの工程を省略することがある。
楕円当てはめルーチンの結果は例えば視神経の近似となることがある。切り出された形状は例えば、追加の処理によって改善させることがある。圧縮アルゴリズムを用いて、例えば視神経のスケルトンが決定されることがある。最初に当てはめられる領域が例えば連続でないことも可能である。こうしたケースでは、そのスケルトンが例えば2つ以上の部分を有することがある。例えば非隣接部分間の実質的に効率のよい接続経路を計算するアルゴリズムを含む多種多様なアルゴリズムを用いて分離された部分を接続させることがある。スケルトンを完成させた後、連続したスケルトンを例えば、視神経の最終的に切り出された形状に至るように適当な量だけ拡大させることがある。
図6は、本発明の一実施形態による視交叉108または描出708を自動で切り出すための方法600の流れ図を表している。工程602では、シード点720などのシード点が特定される。具体的には、工程602では視交叉108または708の予測領域内のシード点が特定されることがある。
工程604では、モデル化した視交叉フォームが取り出されることがある。モデル化視交叉フォームは2次元とすることや3次元とすることがある。モデル化視交叉は、視交叉の形状に関する経験的データから導出されることがある。モデル化視交叉フォームは、サーベイした視交叉フォームの平均値として導出されることがある。モデル化視交叉フォームは、視交叉の編成及び向きに関する既知の原理を示すことがある。モデル化視交叉フォームは患者情報に基づいて修正されることや、与えられた患者のすべてについて一定とすることがある。例えば、性別、年齢、サイズ、人種、病状及び/またはその他など、ある種のファクターが患者の視交叉サイズに影響を及ぼすことがある。
工程606では、特定したシード点の領域内でモデル化視交叉フォームが当てはめられることがある。モデル化視交叉の前側端点は、例えばパイプの端点の近傍に配置させることがある。モデル化形状の後側の端点は例えば、前側端点に対する事前定義のサイズを用いて決定されることがある。さらに例えば、その視交叉の形状がトルコ鞍の骨を包含しないことが考慮されることがある。
図11を見ると、本発明の一実施形態による視交叉切り出しの一例を表している。患者の脳画像内で対応する視交叉構造について当てはめられるようなモデル化視交叉1102を表している。
図示した例では、視覚器の切り出しは以下のような方式で実行されることがある。図12を見ると、プロセッサ1208は方法200、300、400、500及び600を実行することが可能である。プロセッサ1208は、コンピュータ読み取り可能な媒体内の命令の組に基づいて少なくとも1つの切り出しアプリケーションを実行する。図2を見ると、方法200で開始されると、プロセッサは工程202でCTスキャンから得た3次元データを含んだ患者の視覚器の画像を受け取る。このデータ内の各ボクセルは1つの強度値を含んでいる。視覚器は、2つの眼球、2つのレンズ、2つの視神経管及び1つの視交叉(図7参照)を含む。プロセッサ1208はディスプレイ1212を介してユーザに対して画像を表示する。図2に戻り工程204では、プロセッサがユーザにより提供された3つのシード点を特定する。この例ではユーザは、ディスプレイ1212においてユーザに示された複数次元の像(例えば、コロナル像、サジタル像及びアキシャル像)に基づいて3次元で配置させたシード点を選択する。ユーザは、3つのシード点(各眼球内の1つ及び視交叉内の1つ)を選択するようにユーザインタフェース1210を介して対話する。これに応じて、プロセッサ1208上で動作しているアプリケーションがこの3つのシード点を特定する。工程206では、自動切り出しが方法300、400、500及び600を組み合わせて実行される(これについては後で検討することにする)。
図3を見ると、自動切り出しの実行のため、各眼球について方法300が実行される。工程302では、各眼球の予測中心領域内のユーザ提示によるシード点の箇所に対応するピクセルの強度特性に基づいて各眼球の中心領域が特定される。特定された中心領域に対してしきい値処理フィルタ及び重量点アルゴリズムが適用され、中心点が決定される。次に工程304では、人間の平均半径値を有する球体が各眼球に対して当てはめられる。次に工程306では、当てはめられた各球体の確度を調整し、実際の眼球に一致させる。各眼球の予測表面領域の周囲のピクセルをしきい値処理し、各眼球の実際の外側表面が決定される。次いで各球体は、各眼球について計算された形状に合わせて実質的に調整される。
図4及び8を見ると、眼球切り出しの後、方法400に従ってプロセッサ1208によって各レンズについてレンズ切り出しが実行される。工程402では、各眼球の前側部分(図8では804で示す)内のボクセルが眼球及びレンズに対する予測CT強度特性を用いてしきい値処理される。しきい値処理によって、レンズに対応する共通領域806(各眼球ごとに一領域)が得られる。工程404では、共通領域806に関して重量点が決定される。工程406では、計算された重量点に基づいて各レンズについて楕円体が当てはめられる。当てはめられた楕円体は患者の眼球サイズとの比に基づいた既知のサイズを有する。当てはめられた楕円体は、共通領域806に対応する最適当てはめ決定に基づいて配置される。
図6及び11を見ると、次に方法600に従って視交叉切り出しが実行される。工程602では、視交叉の領域内でユーザ規定によるシード点が特定される。工程604では、視交叉のモデルが取り出される。この例では、そのモデルは人間に関する普遍型モデルである。工程606では、ユーザ規定によるシード点の領域に対してその形状が当てはめられる。これにより視交叉の切り出しが完了する。
図5を見ると、方法500に従って次に、視神経切り出しが実行される。工程502では、眼球と視交叉の間にある視神経予測領域のそれぞれに対して円錐及びパイプ部分が当てはめられる。次に工程504では、円錐及びパイプ領域内部のボクセルがしきい値処理されて、神経組織と非神経組織とが分離される。次に工程506では、工程504からの処理済みデータに沿った各コロナル・スライスについて神経組織に関する重量点が決定される。次に、各コロナル・スライスに沿ったしきい値処理済みデータに対してコロナル楕円が当てはめられる。これらの楕円は工程506で計算した重量点を中心としている。次に工程512では、ギャップに基づいて導管に沿って不連続性が存在するかどうかが検出される。存在する場合は工程514で、ギャップ間を最短距離で繋ぐと共に、ギャップの端点楕円に基づいて中間の楕円を補間するようなアルゴリズムによってそのギャップが埋められる。最後に工程516で、一連のコロナル楕円に対して平滑化アルゴリズムが適用され、最終的な視神経管切り出し(各視神経ごとに1つ)に至る。
2つの眼球、2つのレンズ、視交叉及び2つの視神経を切り出し終わると、患者の視覚器が実質的に切り出されたことになる。臨床医は、自動で作成された切り出しを別の臨床目的に使用することもある。
図12を見ると、一実施形態では、システム1200は、ハードディスク、フレキシブルディスク、CD、CD−ROM、DVD、コンパクト記憶装置、フラッシュ・メモリ及び/またはその他のメモリなどのコンピュータ読み取り可能な媒体を含む。この媒体は、画像処理サブシステム1216内(例えば、プロセッサ1208及び/またはメモリ1206)内、及び/または単独のシステム内に置くことがある。この媒体は、コンピュータその他のプロセッサによる実行が可能な命令の組を含むことがある。上で記載した方法200、300、400、500及び/または600は例えば、コンピュータ読み取り可能な媒体上の命令として実現されることがある。例えばこの命令組は、視覚器を含んだ放射線写真画像を受け取る受け取りルーチンを含むことがある。さらにこの命令組は1つまたは複数のシード点を特定する特定ルーチンを含むことがある。さらにこの命令組は、少なくともその一部でこの少なくとも1つのシード点に基づき視覚器のうちの少なくとも1つを自動で切り出すための切り出しルーチンを含むことがある。
したがって、本出願の実施形態は、様々な視覚器などの生物学的構造を自動で切り出す方法及びシステムを提供する。さらに、本出願の実施形態は、確度及び速度を改善させた切り出し実行のための方法及びシステムを提供する。さらに、本出願の実施形態は、RTなどの多種多様な臨床応用で使用可能な単純でありながら効率的かつ費用対効果のよい切り出しを可能とする方法及びシステムを提供する。
本発明に関してある種の実施形態を参照しながら記載してきたが、本発明の趣旨を逸脱することなく様々な変更が可能であると共に、等価物による置換が可能であることは当業者であれば理解するであろう。さらに、多くの修正形態により、本発明の趣旨を逸脱することなく具体的な状況や材料を本発明の教示に適応させることができる。例えば、ソフトウェア、ハードウェア、あるいはこれらを混合したものによって機能を実現することができる。したがって、開示した特定の実施形態に本発明を限定しようという意図ではなく、本発明は添付の特許請求の範囲の域内に入るすべての実施形態を包含するように意図している。
本発明の一実施形態に従った視覚器を表した図である。 本発明の一実施形態による生物学的構造の切り出し方法を表した流れ図である。 本発明の一実施形態による眼球の切り出し方法を表した流れ図である。 本発明の一実施形態によるレンズの切り出し方法を表した流れ図である。 本発明の一実施形態による視神経の切り出し方法を表した流れ図である。 本発明の一実施形態による視交叉の切り出し方法を表した流れ図である。 本発明の一実施形態によるシード点を伴う視覚器の図表示である。 本発明の一実施形態によるレンズの切り出しの一例を表した図である。 本発明の一実施形態による視神経の切り出しの一例を表した図である。 本発明の一実施形態による視神経の切り出しの一例を表した図である。 本発明の一実施形態による視交叉の切り出しの一例を表した図である。 本発明の一実施形態による自動切り出しを実行するためのシステムを表した図である。
符号の説明
100 視覚器
102 眼球
104 レンズ
106 視神経
108 視交叉
200 生物学構造の切り出し方法
300 生物学構造の切り出し方法
400 生物学構造の切り出し方法
500 生物学構造の切り出し方法
600 生物学構造の切り出し方法
700 視覚器
702 眼球
704 レンズ
706 視神経
708 視交叉
720 シード点
802 球体
804 眼球の前側部分
806 レンズに対応する共通領域
902 眼球
904 円錐部分
906 パイプ部分
1004 円錐部分
1008 パイプ部分
1102 モデル化視交叉
1200 自動切り出しシステム
1202 画像作成サブシステム
1204 通信リンク
1206 メモリ
1208 プロセッサ
1210 ユーザインタフェース
1212 ディスプレイ
1214 記憶装置
1216 画像処理サブシステム

Claims (9)

  1. 少なくとも1つの視覚器(100、700)を含む画像(図8〜11)を受け取ることが可能であり、さらに該少なくとも1つの視覚器(100、700)のうちの少なくとも1つに対応する少なくとも1つのシード点(702)を特定することが可能なプロセッサ(1208)を備える視覚器(100、700)の自動切り出しを実行するためのシステム(1200)であって、
    該プロセッサは
    前記眼球(102、702)の中心点を特定し、
    推定された半径を有する球を前記中心点に位置決めし、
    前記眼球の内部に第1の円を配置し、
    前記眼球の外部に第2の円を配置し、
    前記第1及び第2の円の位置に基づいて適合度基準を計算し、
    前記適合度基準が最小になるように前記第1及び第2の円の位置を移動し、
    前記球の中心点又は半径を調整して、調整された球を形成し、
    該調整された球に基づいて、前記少なくとも1つの視覚器(100、700)を切り出すように構成されている、システム(1200)。
  2. ユーザによる前記中心点の選択を可能にするユーザインタフェース(1210)を備える、請求項1に記載のシステム(1200)。
  3. 生物学的構造を切り出すための方法(200、300、400、500、600)であって、
    前記眼球(102、702)の中心点を特定する工程と、
    推定された半径を有する球を前記中心点に位置決めする工程と、
    前記眼球の内部に第1の円を配置する工程と、
    前記眼球の外部に第2の円を配置する工程と、
    前記第1及び第2の円の位置に基づいて適合度基準を計算する工程と、
    前記適合度基準が最小になるように前記第1及び第2の円の位置を移動する工程と、
    前記球の中心点又は半径を調整して、調整された球を形成する工程と、
    該調整された球に基づいて、前記少なくとも1つの視覚器(100、700)を自動で切り出す工程と、
    を含む方法(200、300、400、500、600)。
  4. 患者の性別、年齢、体重、身長、病状のいずれかに基づいて、前記推定された半径を推定する段階を含む、請求項3に記載の方法(200、300、400、500、600)。
  5. 少なくとも1つの視覚器を自動で切り出す前記工程はさらに、
    眼球(102、702)の前側部分(804)に対応するデータ部分を処理して処理済みの領域(806)を形成する工程と、
    前記処理済み領域(806)の少なくとも一部分に対する重量点を決定する工程と、
    前記少なくとも1つの形状(802、902、904、906、1002、1102)を前記重量点の中心に置いた状態で少なくとも1つのレンズ(104、704)を切り出す工程と、
    を含む、請求項3または4に記載の方法(200、300、400、500、600)。
  6. 前記少なくとも1つのシード点(702)のうちの1つは視交叉(108、708)の一領域に対応する、請求項3乃至5のいずれかに記載の方法(200、300、400、500、600)。
  7. 少なくとも1つの前記視覚器(100、700)を自動で切り出す前記工程はさらに、
    第1の前記少なくとも1つの形状(802、902、904、906、1002、1102)を視神経(106、706)の予測領域に沿って当てはめる工程と、
    前記第1の前記少なくとも1つの形状(802、902、904、906、1002、1102)の一領域に対応するデータを処理し処理済みデータを形成する工程と、
    前記処理済みデータの一区画に対応する少なくとも1つの重量点を決定する工程と、
    前記少なくとも1つの重量点を中心とする第2の前記少なくとも1つの形状(802、902、904、906、1002、1102)を当てはめし、切り出し視神経(106、706)を形成する工程と、
    を含む、請求項3乃至6のいずれかに記載の方法(200、300、400、500、600)。
  8. 前記第1の前記少なくとも1つの形状(802、902、904、906、1002、1102)は1つの円錐部分(904、1004)及び1つのパイプ部分(906、1008)を含む、請求項7に記載の方法(200、300、400、500、600)。
  9. 前記第2の前記少なくとも1つの形状(802、902、904、906、1002、1102)は少なくとも1つの楕円を含む、請求項7に記載の方法(200、300、400、500、600)。
JP2006316433A 2005-11-23 2006-11-24 生物学的構造を有する画像を切り出す方法及びシステム Expired - Fee Related JP5114044B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US73969505P 2005-11-23 2005-11-23
US60/739,695 2005-11-23
US11/491,434 US20070116338A1 (en) 2005-11-23 2006-07-21 Methods and systems for automatic segmentation of biological structure
US11/491,434 2006-07-21

Publications (3)

Publication Number Publication Date
JP2007144176A JP2007144176A (ja) 2007-06-14
JP2007144176A5 JP2007144176A5 (ja) 2011-01-13
JP5114044B2 true JP5114044B2 (ja) 2013-01-09

Family

ID=38135961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006316433A Expired - Fee Related JP5114044B2 (ja) 2005-11-23 2006-11-24 生物学的構造を有する画像を切り出す方法及びシステム

Country Status (4)

Country Link
US (1) US20070116338A1 (ja)
JP (1) JP5114044B2 (ja)
DE (1) DE102006057264A1 (ja)
NL (1) NL1032928C2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180979B2 (ja) 1992-10-09 2001-07-03 日本化薬株式会社 樹脂組成物、ソルダーレジスト樹脂組成物及びその硬化物

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379957B2 (en) * 2006-01-12 2013-02-19 Siemens Corporation System and method for segmentation of anatomical structures in MRI volumes using graph cuts
DE102006059383A1 (de) * 2006-12-15 2008-06-19 Siemens Ag Verfahren und Bildbearbeitungssystem zur Erzeugung von Ergebnisbildern eines Untersuchungsobjekts
GB2459225B (en) * 2007-01-16 2011-07-20 Simbionix Ltd Preoperative surgical simulation
DE102008018701A1 (de) * 2008-04-09 2009-10-15 Carl Zeiss Meditec Ag Verfahren zur automatisierten Detektion und Segmentierung der Papille in Fundusaufnahmen
DE102008020657A1 (de) * 2008-04-24 2009-11-05 Siemens Aktiengesellschaft Verfahren zur Anzeige einer Position in einem Herzuntersuchungsbereich
US9042629B2 (en) * 2008-05-14 2015-05-26 Koninklijke Philips N.V. Image classification based on image segmentation
US8463021B2 (en) 2010-09-16 2013-06-11 Indian Institute Of Technology Kanpur Four dimensional reconstruction and characterization system
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
WO2013037702A1 (en) * 2011-09-14 2013-03-21 Siemens Aktiengesellschaft Method and a system for medical imaging
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10716536B2 (en) * 2013-07-17 2020-07-21 Tissue Differentiation Intelligence, Llc Identifying anatomical structures
US11986341B1 (en) 2016-05-26 2024-05-21 Tissue Differentiation Intelligence, Llc Methods for accessing spinal column using B-mode imaging to determine a trajectory without penetrating the the patient's anatomy
US11701086B1 (en) 2016-06-21 2023-07-18 Tissue Differentiation Intelligence, Llc Methods and systems for improved nerve detection
US11861805B2 (en) * 2021-09-22 2024-01-02 Sony Group Corporation Eyeball positioning for 3D head modeling
CN119379708A (zh) * 2023-07-27 2025-01-28 上海美杰医疗科技有限公司 快速曲线演化形态学医学图像分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131403A (ja) * 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6804683B1 (en) * 1999-11-25 2004-10-12 Olympus Corporation Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database
JP2001155019A (ja) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
US6630932B1 (en) * 2000-02-11 2003-10-07 Microsoft Corporation Method and system for efficient simplification of tetrahedral meshes used in 3D volumetric representations
US6978039B2 (en) * 2001-12-13 2005-12-20 General Electric Company Method and system for segmentation of medical images
US7006677B2 (en) * 2002-04-15 2006-02-28 General Electric Company Semi-automatic segmentation algorithm for pet oncology images
US7844317B2 (en) * 2003-11-26 2010-11-30 General Electric Company Method and system for estimating three-dimensional respiratory motion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180979B2 (ja) 1992-10-09 2001-07-03 日本化薬株式会社 樹脂組成物、ソルダーレジスト樹脂組成物及びその硬化物

Also Published As

Publication number Publication date
JP2007144176A (ja) 2007-06-14
NL1032928C2 (nl) 2010-01-26
NL1032928A1 (nl) 2007-05-24
US20070116338A1 (en) 2007-05-24
DE102006057264A1 (de) 2007-07-05

Similar Documents

Publication Publication Date Title
JP5114044B2 (ja) 生物学的構造を有する画像を切り出す方法及びシステム
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
US10460204B2 (en) Method and system for improved hemodynamic computation in coronary arteries
CN100553561C (zh) 在ct血管造影术中分割结构的方法及设备
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
CN107004305B (zh) 与医学图像编辑相关的设备、系统、方法、装置和计算机可读介质
US9424680B2 (en) Image data reformatting
US11523744B2 (en) Interaction monitoring of non-invasive imaging based FFR
JP7055872B2 (ja) 二次元/三次元画像コレジストレーションのためにコンピュータによって実現される情報処理方法、プログラム、医用画像分析システム、および、放射線療法治療システム
JP6397846B2 (ja) 高度な構造生成および編集のためのメカニズム
US20240394886A1 (en) Methods relating to survey scanning in diagnostic medical imaging
JP7537432B2 (ja) 画像ベースの装置追跡
US20080084415A1 (en) Orientation of 3-dimensional displays as a function of the regions to be examined
JP2007111533A (ja) コンピュータ断層撮影ボリュームデータにおける脊髄検出の方法およびシステム
JP6827707B2 (ja) 情報処理装置および情報処理システム
EP1814050A2 (en) Methods and systems for facilitating planning of surgical procedures
JP7738452B2 (ja) 医用画像処理装置および方法
US20240153178A1 (en) Method and system to generate modified x-ray images
WO2025078303A1 (en) Annotating medical images
Voormolen et al. Intra-temporal facial nerve centerline segmentation for navigated temporal bone surgery
CN120390942A (zh) 用于辅助用户基于图像地规划和执行外科手术的装置
CN120959893A (zh) 术前ct图像指导术中经食道超声图像角度获取方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees