JP5174232B2 - 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム - Google Patents

画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム Download PDF

Info

Publication number
JP5174232B2
JP5174232B2 JP2011284455A JP2011284455A JP5174232B2 JP 5174232 B2 JP5174232 B2 JP 5174232B2 JP 2011284455 A JP2011284455 A JP 2011284455A JP 2011284455 A JP2011284455 A JP 2011284455A JP 5174232 B2 JP5174232 B2 JP 5174232B2
Authority
JP
Japan
Prior art keywords
image
layer
region
image processing
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011284455A
Other languages
English (en)
Other versions
JP2012061337A (ja
JP2012061337A5 (ja
Inventor
裕之 今村
昭宏 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011284455A priority Critical patent/JP5174232B2/ja
Publication of JP2012061337A publication Critical patent/JP2012061337A/ja
Publication of JP2012061337A5 publication Critical patent/JP2012061337A5/ja
Application granted granted Critical
Publication of JP5174232B2 publication Critical patent/JP5174232B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、画像処理装置及びその制御方法、コンピュータプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼部の検査が広く行われている。光干渉断層計(OCT；Optical Coherence Tomography)など眼部断層像撮像装置は、網膜層内部の状態を３次元的に観察することが可能であるため、疾病の診断をより的確に行うのに有用であると期待されている。この断層像から例えば神経線維層や網膜などの層厚、網膜色素上皮層における凹凸などの層形状の変化を計測できれば、緑内障や黄斑浮腫、加齢黄斑変性などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。これらの層厚を定量的に計測するために、コンピュータを用いて断層像から網膜の各層を検出し、厚みを計測する技術が提案されている(特許文献１参照)。
一方、OCT断層像では測定光が物体で強く反射または吸収されると、物体の後方において、信号が減衰もしくは欠損する偽像(アーティファクト)が発生することがある。ここで物体とは、例えば血管などの組織や白斑、出血などの病変である。図１(a)に示すように、通常は網膜の深さ方向(以下ではz軸方向またはＡスキャン方向と呼ぶ)に関して輝度値を表示すると、網膜色素上皮２の付近で輝度が最大となる。しかし、図１(b)に示すように網膜血管４よりｚ軸の正方向側で偽像領域５が発生すると、偽像領域５における網膜色素上皮６付近の輝度が減弱もしくは欠損してしまう。従って偽像が発生した領域における層の輝度が減弱する程度によっては層の抽出や層厚・層形状の計測が困難になることがある。これに対し、予め眼底の表面像から血管領域を抽出しておき、該血管領域をOCT断層像上に逆投影して逆投影領域近傍の層同士を補間して血管による偽像領域内の層位置を推定する技術が提案されている（特許文献２参照）。
特開２００８−０７３０９９号公報 特開２００７−３２５８３１号公報
しかしながら上記文献１に記載の技術では、偽像が発生している領域における層位置を求める方法については開示されていない。
また特許文献２に記載の技術では、偽像が発生している可能性の高い領域として断層像上に逆投影した領域近傍の層同士を単純に補間するだけであり、逆投影領域内で減弱した層の輝度信号を検出して本来の層位置を求めているわけではない。さらに層検出のために画像補正を行う場合でも、偽像領域とそれ以外の領域ではヒストグラムやコントラスト等の輝度に関する性質が異なるため、偽像領域を判定して適応的に画像補正を行う必要がある。
本発明は、上記の課題に鑑みてなされたものであり、OCT断層像上で血管などの組織や白斑や出血などの病変の影響により輝度が減弱している領域を判定し、該領域における層を検出しやすくするための画像補正を行うことを目的とする。
上述の課題を解決するための本願発明は、被検眼を断層像撮像装置で撮像して得られた断層画像を処理する画像処理方法であって、
断層画像における偽像領域を特定する特定工程と、
前記断層画像の前記偽像領域でない領域における前記被検眼の網膜を構成する層の境界を第１の方法で検出する第１の検出工程と、
前記断層画像の前記偽像領域における前記被検眼の網膜を構成する層の境界を、前記第１の方法とは異なる第２の方法で前記偽像領域の輝度値に基づき検出する第２の検出工程と、
前記断層画像に前記検出された層の境界を示す線を重畳して表示させる表示工程と、
を有することを特徴とする。
本発明によれば、OCT断層像上で血管などの組織や白斑や出血などの病変の影響により輝度が減弱している領域を判定し、該領域における層を検出しやすくするための画像補正を行うことができる。
網膜において、網膜血管の存在により網膜色素上皮層における画像信号が減弱する例を説明する図。 第１実施形態に係る画像処理装置１０と接続される機器の構成を示す図。 第１実施形態に係る画像処理装置１０の機能構成を示す図。 第１実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第１実施形態に係る偽像領域の判定法を説明する図。 第１実施形態に係る偽像領域を判定するための画像処理手順を示すフローチャート。 第１実施形態に係る偽像領域と判定された領域用の画像処理手順を示すフローチャート。 第２実施形態に係る画像処理装置１０の機能構成を示す図。 第２実施形態に係る偽像領域と判定された領域用の画像処理手順を示すフローチャート。 第３実施形態に係る画像処理装置１０の機能構成を示す図。 第３実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第３実施形態に係る偽像領域の判定法を説明する図。である。 第４実施形態に係る画像処理装置１０の機能構成を示す図。 第５実施形態に係る画像処理装置１０と接続される機器の構成を示す図。 第５実施形態に係る画像処理装置１０の機能構成を示す図。 第５実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第５実施形態に係る偽像領域の判定法を説明する図。である。 第６実施形態に係る画像処理装置１０の機能構成を示す図。 第７実施形態に係る画像処理装置１０の機能構成を示す図。 第７実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第７実施形態に係る偽像領域と判定された領域用の画像処理手順を示すフローチャート。 第７実施形態に係る層の凹凸形状の計測方法を説明する図。 第８実施形態に係る画像処理装置１０の機能構成を示す図。 第８実施形態に係る偽像領域と判定された領域用の画像処理手順を示すフローチャート。 第８実施形態における画像処理法決定法及び層決定法を説明する図。 第９実施形態に係る画像処理装置１０の機能構成を示す図。 第９実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第９実施形態における偽像領域判定法を説明する図。 第１０実施形態に係る画像処理装置１０の機能構成を示す図 第１１実施形態に係る画像処理装置１０の機能構成を示す図。 第１１実施形態に係る画像処理装置１０の処理手順を示すフローチャート。 第１２実施形態に係る画像処理装置１の機能構成を示す図。 画像処理装置１０の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
[第１実施形態]
OCT装置で被検眼（検査対象である眼）を撮影する場合、網膜上に血管や白斑等が存在すると測定光の強度が低下するため、得られた画像上で網膜色素上皮層が減弱し、層を検出することが難しくなる。そこで、本実施形態では、被検眼の断層像から偽像領域を判定し、該領域内の統計量に応じて該領域を画像補正することを特徴とする。以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
図２は、本実施形態に係る画像処理装置１０と接続される機器の構成図である。図２に示すように、画像処理装置１０は、断層像撮像装置２０と、光ファイバ、USBやIEEE１３９４等のインターフェイスを介して接続されている。断層像撮像装置２０は、データサーバ４０と、イーサネット（登録商標）等によるローカル・エリア・ネットワーク（LAN）３０を介して接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。断層像撮像装置２０は、眼部の断層像を撮像する装置であり、例えばタイムドメイン方式のOCTやフーリエドメイン方式のOCTからなる。断層像撮像装置２０は、不図示の操作者による操作に応じて、不図示の被検眼の断層像を３次元的に撮像する。そして、得られた断層像を画像処理装置１０へと送信する。データサーバ４０は、被検眼の断層像や被検眼の画像特徴量などを保持するサーバである。データサーバ４０は、断層像撮像装置２０が出力する被検眼の断層像や、画像処理装置１０が出力する解析結果を保存する。また、画像処理装置１０からの要求に応じて、被検眼に関する過去のデータを画像処理装置１０へと送信する。
なお、本実施形態では網膜色素上皮層候補を取得する場合について説明するが、必ずしも網膜色素上皮層の外側境界２に限定されるわけではない。他の層境界(網膜色素上皮層の内側境界(不図示)、視細胞内節外節境界３、もしくは外境界膜(不図示)等)を検出してもよい。また、黄斑部ではなく視神経乳頭部において層候補の取得や偽像領域の判定、画像補正を行う場合は、乳頭中心部(陥凹部)のように層が存在しない領域をあらかじめ公知の部位認識手法を用いて処理対象領域から除外しておけばよい。
次に、図３を用いて、本実施形態に係る画像処理装置１０の機能構成を説明する。図３は画像処理装置１０の機能ブロック図である。図３に示す通り、画像処理装置１０は、断層像取得部３１０、記憶部３２０、画像処理部３３０、表示部３４０、及び結果出力部３５０、指示取得部３６０で構成される。さらに、画像処理部３３０は層候補検出部３３１、偽像領域判定部３３２、画像補正部３３３を備える。画像処理装置１０を構成する各ブロックの機能については、図４のフローチャートを参照して本実施形態の画像処理装置１０が実行する具体的な処理の手順と関連づけて説明する。
Ｓ４１０において、断層像取得部３１０は、断層像撮像装置２０に断層像の送信を要求し、断層像撮像装置２０から送信される断層像を取得する。そして、取得した情報を記憶部３２０へと送信する。記憶部３２０は、断層像を格納する。Ｓ４２０において、層候補検出部３３１は、記憶部３２０から断層像を取得し、該断層像から内境界膜１及び網膜色素上皮層候補点列｛Ｐi｝を検出する。そして、これらの結果を記憶部３２０へと出力する。
網膜層は層ごとに輝度値が異なるため、隣接する２層の境界には濃度値のコントラスト（エッジ）が生じる。そこで、このコントラストに注目して、層の境界を抽出する。このようなコントラストの存在する領域を抽出する手法には様々なものがあるが、例えばコントラストをエッジと見なし、エッジを検出することで層位置を抽出することができる。具体的には、エッジ検出フィルタを断層像に適用することでエッジ成分を検出し、硝子体側から眼底の深度方向にエッジを探索し最初のピーク位置を硝子体と網膜層との境界、最大のピーク位置を網膜色素上皮層境界とする。
また、Snakesやレベルセット法のようなDeformable Modelを適用して層の境界を検出してもよい。レベルセット法の場合、検出対象の領域の次元よりも１次元高いレベルセット関数を定義し、検出したい層の境界をそのゼロ等高線であるとみなす。そして、レベルセット関数を更新することで輪郭を制御し、層の境界を検出する。他には、グラフカットのようなグラフ理論を用いて層の境界を検出してもよい。この場合、画像の各ピクセルに対応したノードと、sinkとsourceと呼ばれるターミナルを設定し、ノード間を結ぶエッジ（n-link）と、ターミナル間を結ぶエッジ（t-link）を設定する。これらのエッジに対して重みを与えて、作成したグラフに対して、最小カットを求めることで、層の境界を検出する。
上記の層位置抽出手法は、いずれも３次元断層像全体を処理対象として３次元的に適用してもよいし、入力した３次元断層像を２次元断層像の集合と考え、夫々の２次元断層像に対して独立的に適用してもよい。なお、層の境界を検出する方法はこれらに限定されるものではなく、眼部の断層像から層の境界を検出可能な方法であれば、いずれの方法を用いてもよい。
続くＳ４３０において、偽像領域判定部３３２が、Ｓ４２０で検出した網膜色素上皮の候補点列｛Ｐi｝の連結性に基づいて各層候補点付近で偽像が発生しているかどうか（偽像領域かどうか）の判定を行う。そして、偽像領域と判定された場合には偽像領域内の輝度値に関する統計量を求める。さらに、その判定結果を記憶部３２０へと出力する。本ステップの偽像領域判定処理については、図６に示すフローチャートを用いて後に詳しく説明する。
続くＳ４４０において、偽像領域判定部３３２は、Ｓ４３０で得た判定に応じて処理の分岐を行う。すなわち、偽像が発生していると判定した層候補点に対しては、画像補正部３３３に所定の処理の実行を指示する信号を送信する(処理フローはＳ４５０へと進む)。一方、偽像が発生していない偽像領域以外の領域(以下では真像領域と呼ぶ)と判定した場合には、表示部３４０に所定の処理の実行を指示する信号を送信する(処理フローはＳ４５５へと進む)。
更にＳ４５０において、画像処理部３３０は、所定の層の候補点付近で偽像が発生している場合の解析処理を実行する。本ステップの処理については、図７に示すフローチャートを用いて後に詳しく説明する。一方、Ｓ４５５において、表示部３４０は、所定の層の候補点付近で偽像が発生していない場合の処理として、真像領域に関して断層像の表示を行う通常の画像表示を行う。
Ｓ４６０において、指示取得部３６０は、披検眼に関する今回の処理の結果を、データサーバ４０へ保存するか否かの指示を外部から取得する。この指示は、例えば不図示のキーボードやマウス等を介して、操作者により入力される。そして、保存が指示された場合はＳ４７０へと処理を進め、保存が指示されなかった場合はＳ４８０へと処理を進める。その後、Ｓ４７０において、結果出力部３５０は、検査日時と、披検眼を同定する情報と、披検眼の断層像と、画像処理部３３０によって得られた解析結果とを関連付けて、保存すべき情報としてデータサーバ４０へと送信する。
Ｓ４８０において、指示取得部３６０は、画像処理装置１０による断層像の解析処理を終了するか否かの指示を外部から取得する。この指示は、不図示のキーボードマウス等を介して、操作者により入力される。処理を終了する指示を取得した場合には、画像処理装置１０はその処理を終了する。一方、処理を継続する指示を取得した場合には、Ｓ４１０に処理を戻して、次の披検眼に対する処理(あるいは、同一披検眼に対する再処理)を実行する。以上によって、画像処理装置１０の処理が行われる。
次に、図５を用いてＳ４３０で実行される偽像領域判定処理の手順を説明する。図５は、偽像領域を含む断層像の一例を示しており、ここでは点線で囲まれた領域５が偽像領域として示されている。このような偽像が発生している領域の特徴として以下の２つが挙げられる。なお、図５の断層像では、網膜の深度方向に対応する断層像の縦方向をｚ軸、該深度に直交する横方向をｘ軸として考えており、ｚ軸方向はＡスキャン方向に該当する。
(１)該領域５内の輝度値の平均や分散、最大値が、真像領域内の場合に比べていずれも小さい。
(２)該領域５を含む領域で網膜色素上皮層候補点を求めた場合、網膜色素上皮層以外の高輝度領域、例えば網膜血管領域が誤抽出されることによってＰiとＰi+1のように層候補点間で非連結な部分が発生しやすい。
そこで、本実施形態ではこれらの特徴を利用して、以下のように偽像領域の判定を行う。
(i) 層候補点間が非連結である候補点の組を求める。
(ii) 非連結と判定された層候補点の組のどちら側で偽像が発生しているかを調べる。
(iii) 偽像が発生している側の層候補点列を次の非連結点に出会うまで追跡する。
(iv) 該追跡した層候補点を通るＡスキャンライン上で、該層候補点より深層側における輝度値の統計量(平均、分散、最大値等)を求める。ここで、深層側とは、図５中に２つの点を考えた場合、ｚ軸方向の座標値が大きいほうを指す。
(v) 該非連結な候補点を端点とする輝度統計量の低い領域を偽像領域とする。さらに、該輝度統計量は、偽像領域内の輝度減弱の程度を反映した量と考えられるので、Ｓ４５０において偽像領域内の画像処理法を決定する際に利用する。
以下、網膜色素上皮の候補点列{Ｐi}での偽像判定を行う具体的な方法を図６のフローチャートを参照して説明する。ここでは、処理対象である３次元断層像を２次元断層像の集合と考え、各々の２次元断層像に対して以下の２次元画像処理を実行する。
Ｓ６１０では、まず式１に示すような各層候補点間の連結度Ｃを全ての層候補点に対して求める。ここで、iは層候補点番号を表し、Ｓiは、図５に示す層候補点Ｐi、Ｐi+1の間を補間した曲線分上の画素における輝度値の統計量を表す。また、Ｓは層候補点列全体｛Ｐi｝がなす曲線分上の画素における輝度値の統計量であり、Ｔsは閾値を表す。ここでは、輝度値の統計量Ｓi、Ｓとして、各々定義された曲線分上の画素における輝度値の平均を用いる。式１において、|Ｓi−Ｓ|が閾値Ｔs以下であれば連結していると判定される。
なお、輝度の統計量は上記に限るものではなく、他の統計量、例えば最大値、分散、最頻値、中央値などでもよい。あるいはこれらの統計量の組み合わせによって連結度を判定してもよい。またＳとしてあらかじめ撮像装置や被験者ごとに求めた所定の層の輝度値に関する統計量を用いてもよいし、あらかじめ設定された標準値を用いてもよい。ここで、連結度の判定に用いる指標としては層候補点間を結ぶ曲線分上の輝度値に関する統計量を用いたが、これに限らない。例えば、血管や白斑を誤検出して非連結となっているような候補点の近傍ではz軸方向に平行なエッジ(図５の７)が発生し、このような特徴をとらえる指標としてAスキャン方向に関する複数の輝度プロファイル間の相違度を利用してもよい。なお、輝度プロファイルとは図１の(a)または(b)の右側に示すような、Aスキャン方向における空間的位置と該位置における輝度値との関係を示すグラフを指し，通常は隣接する輝度プロファイル同士の相違は小さい。
該輝度プロファイル間の相違度に関する指標の具体的な計算方法は、例えば式２のように表される。
(１)図５に示すようなＰi、Ｐi+1'、Ｐi''、Ｐi+1''の４点で囲まれるような局所領域内の各画素で、x軸方向に関する輝度値の差分Dを計算する。なお、Ｐi''は、Ｐiと同じx座標値を持ち、最大のｚ座標値を持つ点である。また、Ｐi+1''はＰi+1と同じx座標値を持ち、最大のｚ座標値を持つ点である。
(２)閾値Ｔd1以上の大きさを持つＤのみ加算した場合の合計値ΣＤを求める。エッジが広範囲に、はっきり表れている場合ほど、ΣＤの大きさが大きくなる。
(３)合計値ΣＤが閾値Ｔd2より大であれば、非連結であると判定する。
また、上記の複数の指標を組み合わせて連結度を判定してもよい。
次に、Ｓ６２０では、非連結と判定された層候補点の組のどちら側で偽像が発生しているかを調べ、偽像領域の端部を特定する。偽像領域端部の特定処理は各々の非連結な層候補点の組に対して実行される。具体的には、図５のＰi、Ｐi+1の組の場合、
(i)Ｐi を通るＡスキャンライン上における、Ｐiよりｚ軸の正方向側での輝度値の統計量を求める。
(ii)Ｐi+1 を通るＡスキャンライン上における、Ｐi+1'よりｚ軸の正方向側での輝度値の統計量を求める。なお、Ｐi+1'は、Ｐi+1と同じx座標を持ち、Ｐiと同じz座標を持つ点である。
(iii)両統計量を比較し、より小さい統計量を持つ候補点側で偽像が発生していると判定する。ここで判定された小さい統計量を持つ候補点を偽造領域の端部と定義する。
この例においては、Ｐi+1側の方が該輝度値の統計量が小さくなるので、Ｐi+1側で偽像が発生していると判定される。なお、輝度値の統計量を求める際に用いる点の組の選び方は上記の方法に限るものではない。例えば図５に示すようにＰi'(Ｐiと同じx座標を持ち、Ｐi+1と同じｚ座標を持つ点)とＰi+1を用いて判定してもよい。
続くＳ６３０では、偽像が発生している側の層候補点を次の非連結点に出会うまで追跡し、偽像領域の範囲を求める。例えば、図５のＰi+1に対してはＰi+3までが偽像領域と判定される。
Ｓ６４０では、偽像領域と判定された領域において、各層候補点よりｚ軸の正方向側にある領域の輝度値の平均や分散、最大値を求める。ただし、輝度値に関する統計量を求める空間的範囲はこれに限らない。例えば、偽像領域内を任意の局所領域に分割して各々の領域ごとに該統計量を求めてもよい。この場合は、層候補点の追跡処理と、輝度信号に関する統計量の計算処理とを必ずしも別ステップとして実行する必要はなく、層候補点を任意の範囲追跡するごとに輝度信号の統計量を計算してよい。
以上より、非連結部を端とした偽像領域の範囲と、偽像領域における輝度値に関する統計量が求められる。なお、偽像領域の判定は、上記の方法に限らない。例えばBスキャン像(ｙ軸に垂直な断層像)に対してだけでなくx軸に垂直な断層像上でも同様に偽像領域判定を行い、いずれの判定でも偽像領域と判定された場合に偽像領域と判定してもよい。あるいは、３次元断層像を対象として３次元的に適用してもよい。
次に、図７を参照して、Ｓ４５０で実行される処理の手順を説明する。
Ｓ７１０において、画像補正部３３３は偽像領域判定部３３２によって求められた偽像領域における輝度値に関する統計量を基に偽像領域における輝度値の補正を行う。輝度値の補正方法として、ここでは偽像領域におけるヒストグラムの変換に基づく方法について説明する。具体的には、偽像領域内の輝度平均と分散を真像領域における輝度平均及び分散と各々同一に揃える。すなわち、補正前の信号をx、補正後の信号をy、偽像領域における輝度値の標準偏差、平均値を各々Ｓf、Ａf、偽像領域を除いた画像全体における輝度値の標準偏差、平均値を各々Ｓt、Ａtとすると
ｙ = (Ｓt／Ｓf)*(x-Ａf)+Ａt のように補正する。なお、画像補正の方法はこれに限らない。例えば、以下の(i)から(iii)に示すような方法で画像補正を行ってよい。あるいは、偽像領域における補正前の輝度値と補正後の輝度値との間に増加関数の関係が成り立つような補正であれば任意の画像補正を行ってよい。
(i)例えば偽像領域内の最大輝度を真像領域の最大輝度に合わせるよう、輝度値を線形変換する。この場合、画像補正後の偽像領域の輝度値をy、画像補正前の偽像領域の輝度値をx、偽像領域内の最大輝度をＩmaxF、真像領域内の最大輝度をＩmaxTとすると、
ｙ = ＩmaxT * (x - ＩminF)／( ＩmaxF - ＩminF) のように補正する。
(ii)例えばSobelフィルタやラプラシアンフィルタのようなエッジ強調処理や、高周波成分のみを通過させるような空間周波数フィルタ処理を行う。
(iii)層構造を強調するような、ヘッセ行列の固有値に基づく層構造強調フィルタ処理を行う。これは、ヘッセ行列の３つの固有値（λ1、λ2、λ3）の関係に基づいて、３次元濃淡分布の２次局所構造を強調するフィルタである。ヘッセ行列は式３で与えられるような画像の濃淡値Iの２階偏導関数で構成される正方行列である。式４にヘッセ行列の固有値の関係を示し、式５に層構造を強調するための固有値の条件式を示す。
これらで求めた３つの固有値から、以下の式６を求めることで、網膜の層構造を強調することが出来る。ここで、式６におけるω(λｓ;λｔ)は重み関数であり、それを式７に示す。式７におけるγとαは重みである。
なお、上記のような画像補正方法は必ずしも単独で実行する必要はなく、組み合わせて実行してもよい。また、Ｓ６４０ にて偽像領域内を複数の局所領域に分割して該領域ごとに輝度値に関する統計量を求めている場合は、画像補正も局所領域ごとに実行してよい。
続くＳ７２０において、表示部３４０は、Ｓ７１０における画像の補正結果を断層像に重畳して表示する。偽像領域の境界を線で示す場合には、夫々の境界に対して予め定めた色の線を用いるか、境界を明示的に示さずに層に半透明の色をつけて提示してもよい。また、GUI等によって指定した領域に関して、補正前の画像と補正後の画像を切り替えたり、Ｓ６４０で求めた偽像領域内の輝度値に関する統計量の情報を表示してもよい。以上によって、Ｓ４５０の処理が実行される。
以上で述べた構成によれば、画像処理装置１０は、偽像領域を特定し、該領域における輝度値に関する統計量等を基に画像補正を行うことで、偽像領域に存在する層を検出しやすい画像を得ることができる。
[第２実施形態]
本実施形態は、第１実施形態のように偽像領域における画像補正を行うだけでなく、該補正された画像から所定の層の検出を行うようにしたものである。この実施形態は、偽像が発生して輝度が減弱している領域であっても、残存しているエッジ情報が検出しやすくなるように画像補正してそのエッジ情報を検出することで、より正確な層位置を求められることに対応している。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第１実施形態の場合と同様であるため、説明を省略する。本実施形態に係る画像処理装置１０の機能ブロックは、図８に示す通りである。図８において本実施形態の画像処理部８０１は、層決定部３３４が追加されている点で第１実施形態の画像処理装置１０の画像処理部３３０の構成と異なっている。
以下に、本実施形態の画像処理フローを説明する。ただし、本実施形態の処理フローは、Ｓ４５０とＳ４５５を除いて図４のフローチャートと同じである。そこで、ここではＳ４５０とＳ４５５の説明のみを行い、他のステップの説明は省略する。
まず、Ｓ４５０では、偽像領域における画像処理を行う。以下、本ステップにおける処理の詳細を、図９を用いて説明する。
まず、Ｓ１０１０では、画像補正部３３３が偽像領域判定部３３２によって求められた偽像領域における輝度値に関する統計量を基に、該領域における輝度値の補正を行う。なお、この処理はＳ７１０における画像補正の処理と同様であるので詳細な説明は省略する。続くＳ１０２０では、層決定部３３４が画像補正部３３３によって画像補正された領域の輝度情報を基に、抽出対象である層の画像特徴を取得し、それらの特徴点を接続して層位置とする。
例えば、網膜色素上皮層はもともと各Ａスキャン線上で最も輝度が高い領域であり、偽像領域内でも輝度が高くなりやすい。そこで、画像補正された領域の各Ａスキャン線において、層候補点よりｚ軸の正方向側にある輝度最大の画素をｘ軸方向に接続することにより層位置を決定する。ただし、画像補正結果から層を検出する方法は上記に限定されるものではない。
例えば、画像補正された領域の各Aスキャン線において、層候補点よりｚ軸の正方向側にある輝度値が所定値以上の画素のうち、もっともｚ座標が大きいものをｘ軸方向に接続し層を抽出してもよい。あるいは、偽像領域の各Aスキャン線上の各画素において、画像補正前後の輝度値の線形和を求め、その和が最大となるような画素をｘ軸方向に接続して、層を抽出してもよい。
あるいは、偽像領域の各Ａスキャンラインにおいて網膜色素上皮層の候補点を複数選択し、該層候補点全体を偽像領域における層候補点集合とする。該層候補点集合の中から得られる層候補点列の各組み合わせに対して、
(i)該層候補点列の輝度値の和の大きさ
(ii)該層候補点列形状の滑らかさ
に関する評価関数を設定し、両評価関数値の線形和が最大となる層候補点の組み合わせを層位置と決定してもよい。ここで、前記層候補点の組み合わせを選択する際には、偽像領域内の層候補点列だけでなく、該領域近傍の層候補点も前記層候補点列に含めて評価関数値を計算してよい。
続くＳ１０３０では、求めた網膜色素上皮層に相当する層候補点列と、Ｓ４２０にて求めた内境界膜１との間の距離を各ｘ、ｙ座標において求めることで、網膜層厚を計測する。ただし計測内容はこれに限らず、例えば層形状の凹凸を調べるために層候補点間の角度分布を求めてもよい。また計測する層厚としては網膜層厚に限らず、視細胞層など他の層形状の解析を行う構成であってもよい。そして、求めた層厚や層形状の情報は記憶部３２０へと出力される。
続くＳ１０４０では、表示部３４０は、
(i) 層の決定結果
(ii) 層形状の計測結果
(iii) 偽像領域の範囲及び該領域における画像補正結果
を断層像に重畳して表示する。
(i)については、Ｓ１０２０における層決定結果を断層像に重畳して表示する。層の境界を線で示す場合には、夫々の境界に対して予め定めた色の線を用いるか、層位置を明示的に示さずに層の領域に半透明の色をつけて提示してもよい。なお、これらの表示を行う際には、注目する断面をGUI等によって選択可能な構成であることが望ましい。また、公知のボリュームレンダリングの技術を用いて、３次元的に表示してもよい。
(ii)について、表示部３４０は層形状の計測結果として、３次元断層像全体(xy平面)に対する層厚の分布マップを表示する。ただし表示法はこれに限らず、注目断面における各層の面積を表示してもよいし、所定の層全体の体積を表示してもよい。あるいは、操作者がxy平面上において指定した領域における体積を算出して表示してもよい。
(iii)についてＳ１０２０において、検出された層の信号が弱い場合など、検出された層の信頼性が低い場合に層を検出せず画像補正結果を断層像に重畳して表示する。ただし画像補正結果の表示はこれに限らず、層検出結果が良好な場合にも表示部３４０に表示してよい。
以上のようにして、Ｓ４５０の偽像領域用画像処理が実行される。次に、Ｓ４５５における真像領域用画像処理について説明する。Ｓ４５５では、真像領域における処理として
(i)Ｓ４２０において取得された層候補点列を層位置とし、該層位置から層形状を計測し、
(ii)該層位置及び層形状の計測結果を表示部３４０に表示する。
そこで、以下では本ステップにおける処理の詳細を説明する。
まず、図９のＳ１０３０と同様にして層形状の計測を行う。ただし、真像領域用画像処理の場合、解析対象が補正されていない画像である点がＳ１０３０の場合と異なる。続いて、図１０のＳ１０４０と同様にして表示部３４０が結果表示を行う。ただし、真像領域用画像処理の場合、画像補正結果の表示を行わない点がＳ１０４０の場合と異なる。
以上述べた構成によれば、画像処理装置１０は、特定した偽像領域の画像補正を行い、該補正結果から層位置に相当する画像特徴を検出することで、偽像領域内の層位置をより正確に求めることができる。
[第３実施形態]
本実施形態は第１及び第２実施形態のように断層像のみを用いて偽像領域を判定せず、被検眼の断層像から投影像を作成し、該投影像から抽出した組織や病変の位置情報を断層像上に逆投影して、予め偽像候補領域を絞り込むことを特徴とする。ここで一般的には、血管(もしくは出血)等が原因で発生する偽像領域の位置情報は、断層像のみから求めるよりも、投影像から求めるほうが簡単である。そこで、本実施形態では、投影像から血管(出血)領域を抽出してその位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定することにより高精度に偽像領域の範囲を求める場合を説明する。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第１の実施形態と同様であるため、説明を省略する。図１０は、本実施形態に係る画像処理装置１０の機能ブロックである。図１０において、画像処理部１００１は、投影像生成部３３５及び特徴抽出部３３６を有する点で、第１実施形態の画像処理装置１０の画像処理部３３０と異なっている。残りの各部に関しては図３と同じであるため、説明を省略する。
次に、図１１に示すフローチャートを用いて、本実施形態での画像処理の内容を説明する。なお、本フローチャートは図４のフローチャートと大部分が共通し、共通する箇所には同一の参照番号を付している。共通箇所については、その説明を省略する。本実施形態では、Ｓ４２０の層候補検出処理とＳ４３０の偽像領域判定処理の間に、投影像生成処理Ｓ１３０１と、特徴抽出処理Ｓ１３０２が行われる点で第１実施形態とは異なる。
まず、Ｓ１１１０では、投影像生成部３３５において断層像を投影した画像を生成する。具体的には断層像上の各画素における輝度値をｚ軸の正方向に単純加算した値を投影像の画素値とする。ただし、投影像の画素値はこれに限らず、該輝度値の和を加算した画素数で割ってもよい。あるいは各深度位置における輝度値の最大値や最小値を投影像の画素値としてもよい。またｚ軸方向に全画素の輝度値を加算する必要はなく、任意の範囲、もしくは特定の層間のみ加算するようにしてもよい。
続くＳ１１２０では、投影像生成部３３５によって生成された投影像から網膜血管などの被検眼内の生体組織あるいは病変などの存在する特徴領域を抽出する。網膜血管は細い線状構造を有しているため、線状構造を強調するフィルタを用いて網膜血管を抽出する。ここでは、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するようなコントラストに基づく線分強調フィルタを用いる。ここでフィルタの処理結果として得られる多値領域をそのまま血管抽出結果としても良いし、ある閾値で２値化した領域を抽出結果としてもよい。
ただし、線状構造を強調する方法はこれに限らない。例えば、SobelフィルタやLaplacianフィルタのような差分型フィルタを用いてもよい。また濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには単純に線分を構造要素とするトップハット演算など、任意の公知の血管抽出法を用いてよい。
このようにしてＳ１１２０において求められた投影像上の特徴領域(x、y)を断層像上に逆投影すると、図１２の点線領域８に示すような逆投影領域が得られる。一般に網膜血管よりz軸の正方向側では輝度の減弱が発生しやすい。従って抽出された特徴の（x - y方向の）位置を断層像上に逆投影した場合、逆投影された点線領域８内には偽像領域５が含まれている可能性が高いと考えられる。ただし、誤抽出された領域が逆投影された場合には逆投影領域内での輝度の減弱は発生しない。また、正しく抽出された網膜血管領域を逆投影した場合でも逆投影領域下の輝度減弱が軽微で層抽出にほとんど影響を与えない場合もある。
そこで逆投影領域内及び該領域の境界近傍において偽像が発生しているか否かを判定し、偽像領域である場合には該領域内での輝度値に関する統計量を求める。よってＳ４３０での偽像領域の判定法は、基本的に第１実施形態のＳ６１０からＳ６４０の場合と同じであるが、連結度の算出対象となる層候補点の範囲が第１実施形態と異なっている。具体的には、連結度の算出を全ての層候補点について実行するのではなく、逆投影領域内及び該領域のx−y方向に関する近傍において実行する。
以上で述べた構成によれば、本実施形態の画像処理装置１０では、断層像と投影像から偽像領域を特定し、該領域において輝度統計量等を基に画像補正を行うことにより、偽像領域に存在する層領域をより検出しやすい画像を得ることができる。
[第４実施形態]
本実施形態は第３実施形態において偽像領域を判定した後、偽像領域における画像補正を行うだけでなく、該補正された画像から所定の層の検出を行うようにしたものである。本実施形態では、以下の点にに対応している。
(i) 血管(もしくは出血)などによって偽像が発生している場合においては、投影像から求めた血管(出血)領域の位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii) 偽像が発生して輝度が減弱している領域であっても、残存しているエッジ情報が検出しやすくなるよう画像補正してそのエッジ情報を検出することで、より正確な層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第３実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像処理装置１０の機能ブロックを図１３に示す。本実施形態の画像処理部１３０１は、層決定部３３４を持つ点で、第３実施形態の画像処理部１００１と異なっている。本実施形態での画像処理の内容は、Ｓ４５０とＳ４５５における処理を除けば図１３の画像処理内容と同じである。そこで、本実施形態Ｓ４５０とＳ４５５における処理のみを説明し、他のステップの説明を省略する。
Ｓ４５０では、偽像領域における画像処理として画像補正、層決定、層形状計測及び結果表示を行う。本ステップにおける処理は、第２実施形態におけるＳ１０１０からＳ１０４０の場合と同様であるので詳細は省略する。また、Ｓ４５５では、偽像が発生していない場合の処理として、Ｓ４２０において取得された層位置から層形状を計測し、該層位置及び層形状計測結果を断層像に重畳して表示する。重畳表示の方法についての詳細は、第２実施形態におけるＳ１１１０からＳ１１２０における場合と同様であるので詳細は省略する。
以上述べた構成によれば、本実施形態の画像処理装置１０では、断層像と投影像から偽像領域を特定し、該領域における画像補正を行う。該補正結果から層の持つ画像特徴を検出することで、該領域内の層位置をより正確に求めることができる。
[第５実施形態]
本実施形態では第３実施形態に対して、被検眼の表面像もしくは投影像の少なくとも一方から抽出した組織や病変の位置情報を断層像上に逆投影し、あらかじめ偽像候補領域を絞るようにしたものである。これは、特に白斑のように表面像から抽出しやすい病変が発生している場合、表面像を利用して白斑領域を求め、その周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められるからである。
本実施形態に係る画像処理装置１０と接続される機器の構成を図１４に示す。本実施形態では断層像撮像装置２０に加えて、表面像撮像装置５０も構成に含まれる点が第３実施形態と異なっている。表面像撮像装置５０は、眼部の表面像を撮像する装置であり、例えば眼底カメラや走査型レーザー検眼鏡(SLO；Scanning Laser Ophthalmoscope)である。また、本実施形態に係る画像処理装置１０の機能ブロックを図１５に示す。本実施形態の画像処理装置１０は表面像取得部３１５を有し、更に画像処理部１５０１が位置合せ部３３７を有する点で、第３実施形態の画像処理装置１０の構成と異なっている。
次に、本実施形態における画像処理部１５０１における画像処理を、図１６のフローチャートを参照して説明する。本実施形態の画像処理フローは、図１１に示したものとほぼ同様である。但し、Ｓ１６１０からＳ１６５０の処理が異なっている。そこで、以下では、これらのステップにおける処理を説明する。
Ｓ１６１０では、断層像取得部３１０による断層像の取得以外に、表面像取得部３１５が表面像撮像装置５０に表面像の送信を要求し、表面像撮像装置５０から送信される表面像を取得する。ここでは、表面像として眼底カメラ像が入力されているものとする。そして、取得した情報を記憶部３２０へと送信する。
Ｓ１１１０の投影像生成処理に続くＳ１６２０では、表面像取得部３１５によって取得された表面像から、特徴抽出部３３６が血管などの組織や白斑などの病変領域を抽出する。網膜血管は線状構造を有しているため、線状構造を強調するようなフィルタを用いて抽出する。線状構造の抽出手法はＳ１１２０と同様であるので省略する。また、白斑は粒状の高輝度領域として存在するため、トップハット変換などのモルフォロジ-演算によって求める。ここで白斑領域はモルフォロジ演算によって高輝度な多値領域として得られ、該多値領域そのものを抽出結果としてもよいし、ある閾値で２値化した領域を抽出結果としてもよい。ただし、白斑の抽出法はこれに限らず、表面像の輝度値や公知のコントラストを強調するようなフィルタの出力結果を特徴量として、Support Vector Machineなどの識別器やAda Boostなど識別器のアンサンブルによって白斑を識別してもよい。
続くＳ１６３０では、投影像の座標と表面像の座標とを対応付けるために、位置合せ部３３７において投影像と表面像との位置合せを行う。位置合わせの際には、２つの画像間の類似度を表す評価関数を事前に定義し、この評価値が最も良くなるように画像の変形を行う。類似度評価手法として、ここでは相互情報量を用いて画素値ベースで評価する方法を用いる。ただし、これに限らず、平均２乗誤差や相関係数、あるいは特徴抽出部３３６において表面像及び投影像から抽出した血管領域同士の重なる面積、血管の分岐部同士の距離などを用いてもよい。また、画像の変形としては、アフィン変換を想定して並進や回転、拡大率を変化させることで実現する。
続くＳ１６４０では、まずＳ１６２０において求められた表面像からの血管もしくは白斑抽出結果を、Ｓ１６３０で求められた位置合わせパラメータを用いて断層像上に逆投影する。逆投影領域として、図１７(a)の点線領域８に示すような領域が得られる。一般に網膜血管よりｚ軸の正方向側では輝度の減弱がしばしば発生するため、特徴抽出された領域の（x - y方向の）座標及び輝度を断層像上に逆投影すると、逆投影された点線領域８内には偽像が含まれている可能性が高くなる。ただし、本実施形態のように表面像から白斑を抽出した場合には、白斑候補領域の中にドルーゼンなどの粒状の高輝度領域が誤抽出される可能性があり、その場合には図１７(b)に示すように層領域の輝度減弱は発生しない。また正しく抽出された網膜血管領域を逆投影した場合でも逆投影領域下の輝度減弱が軽微で、層抽出にほとんど影響を与えないこともある。そこで逆投影領域内及び該領域の境界近傍において偽像が発生しているか否かを判定し、偽像が発生している場合には該領域内の輝度信号の統計量を求める。
偽像領域の判定法は基本的に第１実施形態のＳ６１０からＳ６４０ の場合と同じであるが、連結度の算出対象となる層候補点の範囲が第１実施形態と異なっている。具体的には、連結度の算出を全ての層候補点について実行するのではなく、逆投影領域内及び該領域のx−y方向に関する近傍において実行する。なお、偽像領域の判定を断層像のみを参照して決定するのではなく、投影像や眼底像から得られる情報も参照して決定してもよい。例えば、投影像から得られた網膜血管領域と眼底像から得られた網膜血管領域が重なり合っている場合に該領域の血管らしさが大きいと考え、該領域の端部を非連結と判定してもよい。あるいは、断層像から求めた連結度の値と、該血管領域の重なり具合の値の線形和を計算し、閾値で２値化して連結度を判定してもよい。
Ｓ１６５０の偽像領域用画像処理では、図７に示すように、画像補正後に該補正結果を表示するという第１実施形態と基本的には同様の手順であるので詳細は省略する。ただし本実施形態では、偽像領域の画像補正の際に眼底像から得られる情報も参照してよい。例えば眼底像上で白斑の輝度が非常に高い場合、断層像上でも層候補点よりｚ軸の正方向側で輝度がより減弱する可能性が高くなるため、白斑領域の輝度信号値に比例して輝度値を増幅もしくは強調する。ここでは、白斑領域の輝度値として眼底像上の該領域の画素値を直接参照する。ただし白斑領域の輝度値としてはこれに限らず、モルフォロジ演算等により得られる処理結果の値(多値データ)を参照してもよい。
以上述べた構成によれば、本実施形態の画像処理装置１０は、表面像や投影像を用いて特定された偽像領域において、輝度値の統計量を基に画像補正を行うことで、該領域に存在する層領域をより検出しやすい画像を得ることができる。
[第６実施形態]
本実施形態では第５実施形態において偽像領域の画像補正を行うだけでなく、該補正された画像から所定の層の検出を行うようにしたものである。この実施形態は、特に白斑によって偽像が発生している場合においては、以下の事項を利用する。
(i) 表面像から求めた白斑領域の位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii) 偽像が発生して輝度が減弱している領域であっても、残存しているエッジ情報が検出しやすくなるよう画像補正してそのエッジ情報を検出することで、より正確な層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は第５実施形態の場合と同じである。また、本実施形態に係る画像処理装置１０の機能ブロックを図１８に示す。本実施形態の画像処理部１８０１は、層決定部３３４を持つ点で第５実施形態の画像処理部１５０１とは異なっている。また、本実施形態での画像処理フローは、Ｓ１６５０とＳ４５５における処理を除けば、図１６の画像処理フローと同じである。そこで、ここではＳ１６５０とＳ４５５における処理のみを説明し、他のステップの説明を省略する。
Ｓ１６５０では、偽像領域における画像処理として画像補正、層決定、層形状計測及び結果表示を行う。本ステップにおける処理は、実施形態２におけるＳ１０１０からＳ１０４０の場合と同様であるので詳細は省略する。ただし、本実施形態ではＳ１０１０において、眼底像から得られる情報も用いて画像補正を行ってよい。画像補正の際に眼底像から得られる情報を参照する具体的な手順は、実施形態５におけるＳ１６５０の場合と同様であるので省略する。
Ｓ４５５では、偽像が発生していない場合の処理として、Ｓ４２０において取得された層位置から層形状を計測し、該層位置及び層形状計測結果を断層像に重畳して表示する。ここでの重畳表示の方法は、第２実施形態における場合と同様であるので詳細は省略する。
以上述べた構成によれば、画像処理装置１０は、表面像と投影像から特定された偽像領域における画像補正を行う。該補正結果から層の持つ画像特徴を検出することで、該領域内の層位置をより正確に求めることができる。
[第７実施形態]
本実施形態では、被検眼の断層像から偽像領域を判定し、偽像領域内の輝度値や該領域周辺の層形状も考慮したうえで双方の情報を用いて偽像領域内の層位置を求めることを特徴とする。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第１実施形態の図２に示したものと同様であるため、説明を省略する。本実施形態に係る画像処理装置１０の機能ブロックは、図１９に示す通りである。図１９において本実施形態の画像処理部１９０１は、画像補正部３３３の代わりに画像処理法決定部１９１０を備え、さらに層決定部３３４が追加されている点で第１実施形態の画像処理装置１０の画像処理部３３０の構成と異なっている。また、画像処理法決定部１９１０は、輝度利用判断部１９１１と評価関数設定部１９１２を有している。画像処理装置１０を構成する各ブロックの機能については、図２０のフローチャートを参照して本実施形態の画像処理装置１０が実行する具体的な処理の手順と関連づけて説明する。
以下に、本実施形態の画像処理フローを説明する。ただし、本実施形態の処理フローは、Ｓ２０１０からＳ２０３０における処理を除いて図４のフローチャートと同じである。そこで、ここではＳ２０１０からＳ２０３０の説明のみを行い、他のステップの説明は省略する。
Ｓ２０１０において、偽像領域判定部３３２は、Ｓ４３０で得た判定に応じて処理の分岐を行う。すなわち、偽像が発生していると判定した層候補点に対しては、画像処理法決定部１９１０に所定の処理の実行を指示する信号を送信する。一方、偽像が発生していない真像領域と判定した場合には、画像処理法決定部１９１０に所定の処理の実行を指示する信号を送信する。
続くＳ２０２０において、画像処理部１９０１は、所定の層の候補点付近で偽像が発生している場合の解析処理を実行する。本ステップの処理については、図２１に示すフローチャートを用いて後に詳しく説明する。続くＳ２０３０において、表示部３４０は、層の決定結果を断層像に重畳して表示する。層の境界を線で示す場合には、夫々の境界に対して予め定めた色の線を用いるか、層位置を明示的に示さずに層の領域に半透明の色をつけて提示してもよい。なお、これらの表示を行う際には、注目する断面をGUI等によって選択可能な構成であることが望ましい。また、公知のボリュームレンダリングの技術を用いて、３次元的に表示してもよい。
さらに、求めた網膜色素上皮層に相当する層候補点列と、Ｓ４２０にて求めた内境界膜１との間の距離を各座標(ｘ、y)において計測することで、網膜層厚を計測することができる。この場合、表示部３４０は計測された層形状に関する情報を、３次元断層像全体(xy平面)に対する層厚の分布マップとして提示する。ただし、これに限らず、上記の検出結果の表示と連動させて注目断面における各層の面積を表示してもよい。また、全体の体積を表示してもよいし、操作者がxy平面上において指定した領域における体積を算出して表示してもよい。
次に、本実施形態におけるＳ２０２０における偽像領域用画像処理について説明する。本実施形態では、ノイズを含んだ断層像に対しても層位置が求められるようにするため、可変形状モデル(Deformable Model)を層位置に当てはめる。以下では可変形状モデルとしてSnakesを用いる例について説明する。この場合、モデルの形状に関する評価関数値と、モデルを構成する制御点付近の輝度に関する評価関数値の線形和を最小化することにより、層位置を決定する。
ここで、形状に関する評価関数としては、モデルを構成する制御点位置同士の差分値と２次微分値の線形和が用いられる。これらが小さくなるほど、モデル形状が滑らかになる。また輝度に関する評価関数としては、モデルを構成する制御点近傍の輝度勾配に負の符号をつけた値が用いられる。これは、エッジに近づくほど、該評価関数値が小さくなるようにするためである。可変形状モデルを変形する際に用いる評価関数の重みについては、モデルを構成する各制御点が偽像領域にあるか否かに関係なく、固定値に設定することが多い。この場合、偽像領域内では輝度値が減弱しており、該領域内では輝度値の変化が小さいことから実質的にモデル形状に関する評価関数値の大小によって層位置が決まってしまう。偽像領域内でエッジ等の情報が残存している場合には、該輝度に関する情報を重視して層位置を決定する方が(モデル形状の滑らかさによって層位置を求める場合に比べて)より正確に層形状を検出することができる。そのため、偽像領域内の制御点においては輝度値の減弱の程度に応じて輝度に関する評価関数の重みが真像領域における場合より大きくなるように設定する。
ただし、偽像領域内の輝度値が低くエッジ等の情報がほとんど残存しない場合は、層位置の決定にあたりエッジ等の輝度情報が利用できない。そこで、輝度に関する評価関数の重みは増やさず、モデル形状に関する評価関数値の大小によって層位置が決まるようにする。
以下、可変形状モデルの各評価関数の重みを具体的に設定する方法を図２１のフローチャートを参照して説明する。
Ｓ２１１０では、まずＳ４３０の偽像領域判定処理の詳細を示す図６のフローチャートのＳ６４０において計算された偽像領域内の輝度値に関する統計量を、記憶部３２０から画像処理法決定部１９１０に読み出す。次に該統計量から、該領域で(減弱した)エッジが残存しているため層検出の際に輝度情報を利用するのか、あるいは輝度が欠損しているためエッジ等の輝度情報を利用しないのかを判断する。
具体的には、式８に示すような指標Ｅ(i)を求め、Ｅ(i)=１なら層位置の決定にあたって輝度情報を利用する、Ｅ(i)=０なら輝度情報を利用しないと判断する。ここで、iは可変形状モデルの制御点番号、Ｂは背景領域(例えば内境界膜１よりもｚ軸の負方向側の領域)における輝度値に関する統計量、Ｆ(i)は制御点iが属する偽像領域内の輝度値に関する統計量である。輝度値に関する統計量としては、ここでは最大値を用いる。またＴsは閾値を表している。
なお、輝度値に関する統計量はこれに限定されるものではなく、例えば平均値や分散、標準偏差でもよい。また、偽像領域内を任意の局所領域に分割し、各制御点が属する局所領域における輝度値の統計量をF(i)として用いてもよい。
続くＳ２１２０では、画像処理法決定部１９１０が偽像領域の周囲における層候補点列の凹凸に関する情報を取得する。もし偽像領域の周辺で層形状の凹凸がある場合は、該領域内でも凹凸が発生している可能性があり、形状の滑らかさの評価に関する重みを低くして層位置を求める必要があるためである。具体的な層形状の凹凸を計算する方法としては、偽像領域周辺における層候補点間の角度に関する統計量を求める。ここでは該統計量として最大値を用いる。
層候補点iにおける層候補点間の角度は、図２２に示すように線分Ｑi-1-ＱiをＱi+1側に延長して得られる線分と、線分Ｑi-Ｑi+1との間の角度θiとして求められる。θiが大きいほど凹凸が大きいことを表す。このような角度の計算を偽像領域周辺の各層候補点について実行し、その最大値を層候補点列の凹凸の度合いを表す指標とする。なお、凹凸の度合いに関する指標としては層候補点間角度に限るものではなく、該層候補点位置の２次微分値(Ｑi-1‐２Ｑi＋Ｑi+1)の統計量(平均、分散もしくは最大値等)を求めても良い。あるいは、偽像領域周辺の層候補点列を曲線とみなしたときの極値もしくは変曲点の数を求めてもよい。また層候補点の凹凸の度合いに関する統計量としては最大値に限定されるものではなく、例えば、平均値や分散、標準偏差を用いてもよい。
続くＳ２１３０では、画像処理法決定部１９１０は、Ｓ２１１０での判断結果及びＳ２１２０で求めた層形状の凹凸の度合いに関する指標を用いて可変形状モデルの評価関数の重みを設定する。まず形状に関する評価関数の重みとしては、Ｓ２１２０において求めた層形状モデルの凹凸の度合いを表す指標に反比例した値を、形状に関する評価関数の重みとして設定する。輝度値に関する評価関数の重みは、Ｓ２１１０で求めた偽像領域内での輝度情報の利用に関する判断結果によって以下のように設定する。
(i)層位置の決定に当たって偽像領域内の輝度情報を利用する場合
偽像領域における輝度値の減弱具合に応じて輝度に関する評価関数の重みを増加させる。そこでＳ６４０で求めた該領域内の輝度統計量Ｆsと、真像領域内の輝度統計量Ｔsとの比率Ｔs／Ｆsに比例した値を、輝度に関する評価関数の重みとして設定する。ただし、輝度に関する評価関数の重みの設定法はこれに限るものではなく、Ｆsと輝度に関する評価関数の重みとの間に減少関数の関係が成り立つようなものであれば任意の重み関数を設定してよい。
(ii)層位置の決定に当たって偽像領域内の輝度情報を利用しない場合
偽像領域においては、形状モデルの輝度値に関する評価関数の重みを真像領域における場合と同じ値に設定する。なお、(ii)において、輝度値に関する評価関数の重みの設定法はこれに限らない。例えば、輝度値に関する評価関数の重みを小さくしたり、０に設定してもよい。
続くＳ２１４０では、層決定部３３４が、Ｓ２１３０で設定された評価関数の重みづけに従って評価値を求め、Greedy Algorithmなどの最適化手法を用いて繰り返し計算を行い、該評価関数値を最小化する。該評価値の変化量が一定値未満になるか、繰り返し計算数が一定回数を超えた場合に層形状モデルの変形を終了し、該終了時の層形状モデルの位置を層位置とする。
なお、これらの形状モデルは２次元の曲線モデルとして計算してもよいし、３次元の曲面モデルとして計算してもよい。また、本実施形態では可変形状モデルとしてSnakesを用いる例について説明したが、LevelSetを用いてもよい。さらに、モデルの変形にあたり輝度値を参照するようなモデルベースのセグメンテーション手法において、輝度値に関する評価関数の重みを設定するものであれば任意の手法を用いてよい。
以上で述べた構成によれば、画像処理装置１０は偽像領域を特定し、該領域周辺の層形状の凹凸や、該領域内のエッジ情報も考慮した画像処理を行うことにより、従来よりも精度よく層位置を求めることができる。
[第８実施形態]
本実施形態では、該領域内の層位置を求める際に偽像領域内のエッジ等の輝度情報を利用するか否かを判断し、利用する場合には該領域の輝度値を補正した上で層位置を求め、利用しない場合には補間によって層位置を求めるようにしたものである。本実施形態では、以下の事項に対応している。
(i) 血管や小さな白斑など輝度値が減弱しているものの欠損していない領域では、残存するエッジ等の情報が利用しやすくなるよう輝度値を変換した上で層位置を検出することで、より正確な層位置を求める。
(ii) 大きな白斑や激しく出血している領域など輝度が欠損してエッジ情報が利用できない領域では、偽像領域の発生位置や周囲の層形状などを考慮した上で周囲の層位置同士を補間することにより、より正確な層位置を求める。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第７実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像処理装置１０の機能ブロックを図２３に示す。本実施形態では、画像処理部２３０１が、画像補正部３３３を備え、画像処理法決定部１９１０が画像補正法設定部１９１３及び補間関数設定部１９１４を備える点が第７実施形態の場合と異なっている。
図２０に示す画像処理フローを参照しながら、本実施形態での画像処理の内容を説明する。なお、Ｓ２０２０における処理を除いては第７実施形態の場合と同様であるので、ここでは、Ｓ２０２０における処理の変更点を図２４を参照して説明し、他のステップの説明は省略する。
まず、Ｓ２４１０では、偽像領域で弱いエッジが残存しているため層位置を求める際に輝度情報を利用するのか、あるいは輝度が欠損しているためエッジ等の輝度情報を利用しないのかを判断する。具体的な判断手順については、第７実施形態のＳ２１１０における場合と同様であるので説明を省略する。
Ｓ２４２０では、輝度利用判断部１９１１が、Ｓ２４１０における判断結果に応じて処理の分岐を行う。すなわち、層位置の決定にあたって偽像領域内の輝度情報を利用すると判断した場合には、画像補正法設定部１９１３に所定の処理を指示する信号を送信する。一方、該領域内の輝度情報を利用しないと判断した場合には、補間関数設定部１９１４に所定の処理の実行を指示する信号を送信する。
Ｓ２４３０において、偽像領域における輝度値の変換(画像補正)を行うためのパラメータを設定する。画像補正法としては様々なものが考えられるが、ここでは以下の画像補正法におけるパラメータの設定手順を説明する。
(i) 線形変換による方法
(ii) ヒストグラム変換に基づく方法
(iii) 層構造の強調を行う方法
まず、(i)の線形変換による画像補正を行う場合、偽像領域内の最大輝度ＩmaxF、該領域内の最小輝度ＩminF、真像領域内の最大輝度ＩmaxTを用いて線形変換のパラメータを以下のように設定する。
ｙ = ＩmaxT * (x - ＩminF)／( ＩmaxF - ＩminF)
ここで、yは画像補正後の偽像領域の輝度値であり、xは画像補正前の偽像領域の輝度値を表す。この場合、偽像領域内の最大輝度を真像領域の最大輝度に合わせるような画像補正が行われることになる。
次に(ii)の方法では、偽像領域内のヒストグラムの特性を真像領域の場合に近づけるために様々なヒストグラム変換が行われるが、ここでは偽像領域内の輝度平均と分散を真像領域における輝度平均及び分散と各々同一に揃える。この場合、偽像領域における輝度値の標準偏差Ｓf、平均値Ａf、偽像領域を除いた画像全体における輝度値の標準偏差St、平均値Atを用いて以下のように画像補正関数のパラメータを設定することができる。
ｙ = (Ｓt／Ｓf)*(x-Ａf)+Ａt
ここで、xは補正前の信号、yは補正後の信号を表す。
さらに(iii)の方法では、ヘッセ行列の固有値を用いて層構造の強調処理を行う場合、層状の構造物を強調するための該固有値λ1、λ2、λ3(λ1≧λ2≧λ3)に関する条件式は、上述の式５のようになる。ここで、ヘッセ行列は式３に示すような多変数関数の２階偏導関数全体が作る正方行列であり、Ｉは画像の濃淡値である。これら３つの固有値から上記の式６を用いて層構造を強調することができる。ここで、ω(λs；λt)は層構造強調処理のために用いられる重みであり、上記式７のように設定する。ただし、式７において、具体的なsとtの値の組み合わせは、(s,t)=(１,３)もしくは(２,３)であり、γとαは各々固定値とする。
また、検出対象とする層の厚みに応じた層構造の強調処理を行うために、層構造強調の前処理として実行されるガウス関数による平滑化のパラメータσを以下のように設定する。
(i) 偽像領域周辺の層位置におけるAスキャン線上の輝度プロファイルから、該層位置における層厚を求める。ここでは、該層位置における輝度値との差が一定値以内であるような該線上の範囲を求め、その長さを層厚とする。
(ii)平滑化の際に用いるガウスフィルタの解像度σの値を偽像領域周辺の層厚の値に比例して設定する。
なお、本実施形態における画像補正の方法はこれに限るものではなく、偽像領域における補正前の輝度値と補正後の輝度値との間に増加関数の関係が成り立ち、調節可能なパラメータを含む画像補正法であれば任意の画像補正を行ってよい。
次に、Ｓ２４４０では、Ｓ２４３０において設定された画像補正法に基づき、画像補正部３３３は偽像領域における輝度値の変換(画像補正)を行い、層位置をより検出しやすくする。さらにＳ２４５０では、層決定部３３４が画像補正部３３３によって画像補正された領域の輝度情報を基に、抽出対象である層の画像特徴を取得し、それらの特徴点を接続して層位置とする。例えば、網膜色素上皮層はもともと各Ａスキャン線上で最も輝度が高い領域であり、偽像領域内でも輝度が高くなりやすい。そこで、画像補正された領域の各Aスキャン線において、層候補点よりｚ軸の正方向側にある輝度最大の画素をｘ軸方向に接続することにより層位置を決定する。
以上の手順により、輝度利用判断部１９１１が偽像領域内の輝度情報を利用すると判断した場合の層位置が決定される。次に、輝度利用判断部１９１１が偽像領域内の輝度情報を利用しないと判断した場合の画像処理法決定部１９１０の処理内容を説明する。
まず、Ｓ２４６０において、画像処理法決定部１９１０は偽像領域判定部３３２によって求められた偽像領域の範囲に関する情報を取得する。具体的には、図２５において偽像領域のラベルをiとした時に、偽像の発生位置(ｘi、 ｙi)とその幅Ｗi、該領域近傍における真像領域ｎiに属する層候補点数ｄiに関する情報を取得する。続くＳ２４７０では、偽像領域の周囲に存在する層候補点列の凹凸具合を表す指標を求める。このような指標は、Ｓ２１２０において求めたものと同様であるので、ここでは詳細を省略する。
さらにＳ２４８０では、画像処理法決定部１９１０は、Ｓ２４６０及びＳ２４７０において取得された情報から、偽像領域間の層候補点列を補間する際に用いる補間関数の種類や次数の選択、及び補間に用いる層候補点の選択を行う。
(i)まず各偽像領域において、偽像領域の幅Ｗiや、Ｓ２４７０で求めた該領域近傍の層形状に関する指標の値（層候補点間角度θiの統計量など）から、補間関数の種類もしくは次数を選択する。例えばＷiが一定値未満であれば線形補間とし、一定値以上であればＢスプライン補間を選択する。或いは、層形状の凹凸が大きい(θiの平均もしくは最大値が一定値以上ある)場合には、補間曲線が制御点を通り、Ｂスプライン補間の場合より正確な層位置を求めることができる自然スプライン補間を用いるような選択法でもよい。また、同じ種類の補間関数に対しても、偽像領域周辺の層候補点間角度θiの統計量(平均値や最大値等)の大きさに比例して補間関数の次数を設定する、といった選択法でもよい。
(ii) 次に、偽像領域内の層位置の補間に用いる層候補点を選択する。具体的には、偽像領域iの近傍における真像領域ｎi-1、ｎiに属する層候補点数ｄi-1、ｄiが該選択した補間関数で補間するのに最低限必要な数を満たしているか調べる。もし満たしていれば、各々の真像領域に属する層候補点のうち偽像領域に近い層候補点を補間に必要な数だけ選択する。もし満たしていない場合は、別の真像領域に属する層候補点を選択する。例えば図２５のｎi+1のように補間に用いるのに十分な数の層候補点が存在しない場合は、さらに隣の近傍領域ｎi+2の層候補点を選択する。
また、画像領域の端に偽像領域がある場合など、現在補間しようとしている方向に十分な層候補点数を持つ真像領域が存在しない場合は以下のように層候補点を選択する。すなわち、補間する方向を補間に利用可能な層候補点が十分存在する方向に変更し、該方向における近傍の真像領域に属する層候補点を選択する。例えば図２５に示すように偽像領域が画像の端に存在し、x方向に関して補間に用いる層候補点が足りない場合には、該偽像領域を通るy-z平面上での近傍に存在する真像領域の層候補点を選択すればよい。ここで補間する方向の種類として必ずしもx軸やy軸に平行な方向に限定する必要はなく、補間に利用可能な層候補点が十分存在する任意の方向に変更してよい。例えば黄斑部や視神経乳頭部などで層形状が同心円状に似た画像特徴を持ちやすいことを考慮して、図２５のように円形走査によって生成される平面上での近傍に存在する真像領域の層候補点を選択してもよい。本ステップにおいて決定された画像処理法に関する情報は、層決定部３３４へと送信される。
Ｓ２４５０において層決定部３３４は、Ｓ２４８０にて選択された層候補点間を、該ステップで選択された種類の補間関数を用いて補間することで偽像領域における層位置を決定する。そして、求めた層位置の情報は記憶部３２０へと出力される。
以上によって、本実施形態に対応する偽像領域用画像処理が実行される。なお、本実施形態では画像処理法決定後に画像補正を実行しているが、画像補正を行うタイミングはこれに限らない。例えば、偽像領域判定部３３２による処理の後に画像補正部３３３が該領域内の輝度の減弱具合に応じて画像補正を行っても良い。この場合、画像処理法決定部には画像補正結果が入力され、輝度利用判断部による判断を受けて補間処理に関する設定が行われる。また、画像補正法設定部１９１３は画像補正部３３３内に備えられる。
以上述べた構成によれば、画像処理装置１０は偽像領域を特定し、偽像領域内のエッジ等の輝度情報を利用するか否かを判断する。エッジ等の輝度情報を利用する場合には該領域の輝度値を補正した上で層決定を行い、該情報を利用しない場合には偽像領域の範囲や該領域周辺の層形状に応じて補間処理することにより、精度よく層位置を求めることができる。
[第９実施形態]
本実施形態では第７実施形態のように断層像のみを用いて偽像領域内の層位置を求めるのではなく、被検眼の断層像から投影像を作成し、該投影像から抽出した組織や病変の位置情報を断層像上に逆投影し、あらかじめ偽像候補領域を絞るようにしたものである。
本実施形態では、以下の事項に対応している。
(i)投影像から求めた血管(出血)領域の位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii)偽像領域内に残存するエッジ情報や、偽像領域周辺の層形状の凹凸も考慮した評価関数の重み付けによって層モデルをあてはめることにより、より正確な層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第７実施形態と同様であるため、説明を省略する。図２６は、本実施形態に係る画像処理装置１０の機能ブロック図である。本実施形態の画像処理部２６０１は投影像生成部３３５、特徴抽出部３３６を有する点で、第７実施形態の図１９の画像処理部１９０１と構成が異なっている。残りの各部に関しては図１９と同じであるため、説明を省略する。
次に、図２７に示す画像処理フローを参照しながら、本実施形態での画像処理の内容を説明する。なお、本実施形態における処理は、Ｓ２７１０、Ｓ２７２０及びＳ２７３０における処理を除いて、第７実施形態の図２０における処理と同様である。そこで、以下、Ｓ２７１０、Ｓ２７２０及びＳ２７３０における処理を説明する。
まずＳ２７１０では、投影像生成部３３５において断層像を投影した画像を生成する。具体的な生成方法は、第３実施形態の図１１のＳ１１１０において説明したものと同様であるので、ここでの説明は省略する。次に、Ｓ２７２０では、投影像生成部３３５が生成した投影像から網膜血管などの組織あるいは病変などの特徴を抽出する。具体的な生成方法は、第３実施形態の図１１のＳ１１２０において説明したものと同様であるので、ここでの説明は省略する。
続くＳ２７３０では、記Ｓ２７２０において求められた投影像上の血管領域(x、y)を断層像上に逆投影すると、図２８の点線領域２８０１に示すような領域(以下では逆投影領域と呼ぶ)が得られる。一般に網膜血管よりｚ軸の正方向側では輝度値の減弱が発生しやすい。従って抽出された特徴の（x - y方向の）位置を断層像上に逆投影した場合、逆投影された点線領域２８０１内には偽像領域５が含まれている可能性が高いと考えられる。ただし、誤抽出された領域が逆投影された場合には逆投影領域内での輝度の減弱は発生しない。また、正しく抽出された網膜血管領域を逆投影した場合でも逆投影領域下の輝度減弱が軽微で層抽出にほとんど影響を与えない場合もある。そこで逆投影領域内及び該領域の境界近傍において偽像が発生しているか否かを判定し、偽像領域である場合には該領域内での輝度値に関する統計量を求める。
偽像領域の判定法は基本的に第１実施形態のＳ６１０からＳ６４０における方法と同じであるが、連結度の算出対象となる層候補点の範囲が第１実施形態と異なっている。具体的には、連結度の算出を全ての層候補点について実行するのではなく、逆投影領域内及び該領域のx−y方向に関する近傍において実行する。
以上の構成によれば、断層像と投影像を用いて偽像領域を特定し、該領域周辺の層形状だけでなく、該領域内のエッジ情報も考慮した評価関数の重み付けで層モデルをあてはめることにより、精度よく層位置を求めることができる。
[第１０実施形態]
本実施形態は第９実施形態において、輝度利用判断部による判断の後、エッジ等の輝度情報を利用する場合には該領域の画像補正を行った上で層位置を求め、該情報を利用しない場合は補間処理により層位置を求めるようにしたものである。
本実施形態は、以下の事項に対応している。
(i)投影像から求めた血管(出血)領域の位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii)血管など減弱したエッジ等の情報が残存する領域では、輝度値を変換した上で層位置を検出した方が、より正確に層位置が求められる。
(iii)輝度が欠損してエッジ等の輝度情報が利用できない領域では、偽像領域の発生位置や周囲の層形状などを考慮した上で周囲の層位置同士を補間した方が、より正確に層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第９実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像処理装置１０の機能ブロックを図２９に示す。本実施形態の画像処理部２９０１は、位置合わせ部３３７をさらに備え、画像処理法決定部１９１０は、評価関数設定部１９１２の代わりに画像補正法設定部１９１３及び補間関数設定部１９１４を備える点が第９実施形態の場合と異なっている。以下、図２４及び図２７に示す画像処理フローを参照しながら、本実施形態での画像処理の内容を説明する。なお、Ｓ２０２０以外の処理は第９実施形態の場合と同様であるので、Ｓ２０２０の処理のみ説明し、それ以外のステップの説明は省略する。
Ｓ２０２０において、偽像領域における画像処理を行う。本ステップにおける処理は、第８実施形態における図２４のＳ２４１０からＳ２４８０の場合と同様であるので詳細は省略する。
以上で述べた構成によれば、画像処理装置１０は断層像及び投影像を用いて偽像領域を特定し、該領域内のエッジ等の輝度情報を利用するかどうかを判断する。該情報を利用する場合には該領域の輝度値を補正した上で層決定を行い、該情報を利用しない場合には偽像領域の範囲や該領域周辺の層形状に応じて補間処理することにより、精度よく層位置を求めることができる。
[第１１実施形態]
本実施形態は、第９実施形態に対して、被検眼の表面像もしくは投影像の少なくとも一方から抽出した組織や病変の位置情報を断層像上に逆投影し、あらかじめ偽像候補領域を絞る処理を加えたものである。
この実施形態は、以下の事項に対応している。
(i) 白斑のように表面像から抽出しやすい病変が発生している場合においては、表面像から白斑領域を抽出してその位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii) 偽像領域内に残存するエッジ情報や、偽像領域周辺の層形状の凹凸も考慮した評価関数の重み付けによって層モデルをあてはめることにより、より正確な層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は、図１４に示すように表面像撮像装置５０が加わっている点が第９実施形態と異なっている。また、本実施形態に係る画像処理装置１０は、図３０に示すように画像処理部３００１が表面像取得部３１５を有する点が第９実施形態と異なっている。
以下、図３１に示す画像処理フローを参照しながら、本実施形態での画像処理の内容を説明する。なお、Ｓ３１１０からＳ３１５０以外の処理は第９実施形態の場合と同様であるので、その説明は省略する。また、Ｓ３１１０からＳ３１４０については、上述の第５実施形態のＳ１６１０からＳ１６４０と同様であるので説明を省略する。
さらに、Ｓ３１５０では偽像領域における画像処理を行うが、本ステップにおける処理は、基本的に第７実施形態におけるＳ２１１０からＳ２１４０の場合と同様である。ただし、本実施形態ではＳ２１３０において、眼底像から得られる情報も用いて画像処理パラメータの設定を行ってよい。例えば眼底像上で白斑の輝度が非常に高い場合、断層像上でも白斑領域よりｚ軸の正方向側で輝度がより減弱する可能性が高くなるため、白斑領域の輝度信号値に比例して形状に関する評価関数の重みを増す。白斑領域の輝度信号値としては眼底像上の該領域の画素値を直接参照してもよいし、モルフォロジ演算等の処理結果として得られる領域の値(多値データ)を参照してもよい。
以上で述べた構成によれば、表面像や投影像を用いて特定した偽像領域において、該領域周辺の層形状だけでなく、該領域内の輝度情報も考慮した評価関数の重み付けで層モデルをあてはめることにより、精度よく層位置を求めることができる。
[第１２実施形態]
本実施形態では第１１実施形態において、輝度利用判断部による判断の後、エッジ等の輝度情報を利用する場合には該領域の画像補正を行った上で層位置を決定し、該情報を利用しない場合は補間処理によって層位置を求めるようにしたものである。
本実施形態では、特に白斑によって偽像が発生している場合において、以下の事項に対応している。
(i)表面像から求めた白斑領域の位置情報を断層像上にマッピングし、その領域の周辺で偽像領域の端部を探索、特定した方がより高精度に偽像領域の範囲を求められる。
(ii)血管など減弱したエッジ等の情報が残存する領域では、輝度値を変換した上で層位置を検出した方が、より正確に層位置が求められる。
(iii)輝度が欠損してエッジ等の輝度情報が利用できない領域では、偽像領域の発生位置や周囲の層形状などを考慮した上で周囲の層位置同士を補間した方が、より正確に層位置を求められる。
本実施形態に係る画像処理装置１０と接続される機器の構成は、第１１実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像処理装置１０の機能ブロックを図３２に示す。本実施形態では、画像処理法決定部１９１０が、評価関数設定部１９１２の代わりに画像補正法設定部１９１３及び補間関数設定部１９１４を備える点が第５実施形態の構成と異なっている。また本実施形態における画像処理フローも基本的には第１１実施形態と同様である。ただし、Ｓ３１５０の処理は以下のように実行される。
但し、Ｓ３１５０で実行される処理も、図２４に示すように、偽像領域内のエッジ等の輝度情報を利用するかどうかを判断した上で、該情報を利用する場合には該領域の輝度値を補正した上で層決定を行う。該情報を利用しない場合には該領域の範囲や該領域周辺の層形状に応じて補間関数の種類やパラメータを設定し、補間するという第１０実施形態の場合と同様の手順であるので詳細は省略する。
以上述べた構成によれば、表面像や投影像を用いて特定された偽像領域において、該領域内のエッジ等の輝度情報を利用するかどうかを判断する。該情報を利用する場合には該領域の輝度値を補正した上で層決定を行い、該情報を利用しない場合には偽像領域の範囲や該領域周辺の層形状に応じて補間処理することにより、精度よく層位置を求めることができる。
［その他の実施形態］
上述の実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではなく、コンピュータのCPUにより実行することでその機能を実現するソフトウェアとして実現しても良い。
図３３は、画像処理装置１０の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。ＣＰＵ３３０１は、ＲＡＭ３３０２やＲＯＭ３３０３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置１０の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。ＲＡＭ３３０２は、外部記憶装置３３０４からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ３３０１が各種の処理を行うために必要とするワークエリアを備える。記憶部３２０の機能はＲＡＭ３３０２によって実現される。
ＲＯＭ３３０３は、一般にコンピュータのＢＩＯＳや設定データなどが格納されている。外部記憶装置３３０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやＣＰＵ３３０１が実行するプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてＲＡＭ３３０２にロードされる。モニタ３３０５は、液晶ディスプレイなどにより構成されている。例えば、表示部３４０が出力する内容を表示することができる。
キーボード３３０６、マウス３３０７は入力デバイスであり、操作者はこれらを用いて、各種の指示を画像処理装置１０に与えることができる。インターフェイス３３０８は、画像処理装置１０と外部の機器との間で各種データのやりとりを行うためのものであり、ＩＥＥＥ１３９４やＵＳＢ、イーサネット（登録商標）ポート等によって構成される。インターフェイス３３０８を介して取得したデータは、ＲＡＭ３３０２に取り込まれる。断層像取得部３１０や結果出力部３５０の機能は、インターフェイス３３０８を介して実現される。上述した各構成要素は、バス３３０９によって相互に接続される。
本実施形態では、前述した実施形態の機能を実現するソフトウェアのコンピュータプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (19)

  1. 被検眼を断層像撮像装置で撮像して得られた断層画像を処理する画像処理方法であって、
    断層画像における偽像領域を特定する特定工程と、
    前記断層画像の前記偽像領域でない領域における前記被検眼の網膜を構成する層の境界を第１の方法で検出する第１の検出工程と、
    前記断層画像の前記偽像領域における前記被検眼の網膜を構成する層の境界を、前記第１の方法とは異なる第２の方法で前記偽像領域の輝度値に基づき検出する第２の検出工程と、
    前記断層画像に前記検出された層の境界を示す線を重畳して表示させる表示工程と、
    を有することを特徴とする画像処理方法。
  2. 前記第１の方法と前記第２の方法とでは、層検出のアルゴリズム及び層境界の検出に用いるパラメータの少なくともいずれかが異なることを特徴とする請求項１に記載の画像処理方法。
  3. 前記第２の検出工程では、前記偽像領域の輝度値と前記第１の方法で検出された層の境界の位置とに基づき前記偽像領域における前記層の境界を検出することを特徴とする請求項１又は２に記載の画像処理方法。
  4. 前記特定工程では、断層画像及び前記被検眼の眼底画像の少なくともいずれかを用いて、血管領域及び白斑領域の少なくともいずれかを抽出し、該抽出された領域に対応する前記断層画像の領域を偽像領域として特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
  5. 前記特定工程では、血管領域または白斑領域に対応する前記断層画像の領域に輝度が減弱された偽像領域があるか否かを判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
  6. 前記特定工程は、前記断層画像において検出される所定の層境界の候補点の連結性に基づいて前記偽像領域を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
  7. 前記特定工程は、前眼部側からみて前記網膜の血管領域の奥側にある領域を偽像領域として特定する請求項１乃至３のいずれか１項に記載の画像処理方法。
  8. 請求項１乃至７のいずれか１項に記載の画像処理方法を実行する画像処理装置であって、
    前記特定工程を実行する特定手段と、
    前記第１の検出工程及び第２の検出工程を実行する検出手段と、
    前記表示工程を実行する表示手段と、
    を有することを特徴する画像処理装置。
  9. 請求項８に記載の画像処理装置と、
    断層像撮影装置と、
    を有することを特徴とする断層像撮像システム。
  10. 被検眼を断層像撮像装置で撮影し得られた断層画像を処理する画像処理装置であって、
    断層画像における偽像領域を特定する特定手段と、
    前記断層画像の前記偽像領域でない領域における前記被検眼の網膜を構成する層の境界を該領域の輝度値に基づき第１の方法で検出するとともに、前記断層画像の偽像領域における前記被検眼の網膜を構成する層の境界を前記偽像領域の輝度値に基づき第１の方法とは異なる第２の方法で検出する検出手段と、
    前記断層画像に前記検出された層の境界を示す線を重畳して表示する表示手段と、
    を有することを特徴とする画像処理装置。
  11. 前記第１の方法と前記第２の方法とでは、層検出のアルゴリズム及び層境界の検出に用いるパラメータの少なくともいずれかが異なることを特徴とする請求項１０に記載の画像処理装置。
  12. 前記検出手段は前記第２の検出では、前記偽像領域の輝度値と前記第１の方法で検出された層の境界の位置とに基づき前記偽像領域における前記層の境界を検出することを特徴とする請求項１０又は１１に記載の画像処理装置。
  13. 前記特定手段は、断層画像及び前記被検眼の眼底画像の少なくともいずれかを用いて、血管領域及び白斑領域の少なくともいずれかを抽出し、該抽出された領域に対応する前記断層画像の領域を偽像領域として特定することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
  14. 前記特定手段は、血管領域または白斑領域に対応する前記断層画像の領域に輝度が減弱された偽像領域があるか否かを判定することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
  15. 前記特定手段は、前記断層画像において検出される所定の層境界の候補点の連結性に基づいて前記偽像領域を特定することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
  16. 前記特定手段は、前眼部側からみて前記網膜の血管領域の奥側にある領域を偽像領域として特定する請求項１０乃至１２のいずれか１項に記載の画像処理装置。
  17. 被検眼を断層像撮像装置で撮影し得られた断層画像を処理する画像処理方法であって、
    前記断層画像における前記被検眼の網膜を構成する層の境界を層の輝度値に基づき第１の方法で検出する第１の検出工程と、
    前記第１の検出工程にて検出された層の境界が非連結となっている領域を特定する特定工程と、
    前記特定された領域における層の境界を前記第１の方法とは異なる第２の方法で前記特定された領域の輝度値に基づき検出する第２の検出工程と、
    前記断層画像に前記検出された層の境界を示す線を重畳して表示する表示工程と、
    を有することを特徴とする画像処理方法。
  18. 被検眼を断層像撮像装置で撮影し得られた断層画像を処理する画像処理装置であって、
    前記断層画像における前記被検眼の網膜を構成する層の境界を層の輝度値に基づき第１の方法で検出する第１の検出手段と、
    前記第１の検出手段が検出した層の境界が非連結となっている領域を特定する特定手段と、
    前記特定された領域における層の境界を前記第１の方法とは異なる第２の方法で前記特定された領域の輝度値に基づき検出する第２の検出手段と、
    前記断層画像に前記検出された層の境界を示す線を重畳して表示する表示手段と、
    を有することを特徴とする画像処理装置。
  19. コンピュータに、請求項１乃至７、及び１７のいずれか１項に記載の画像処理方法を実行させるためのコンピュータプログラム。
JP2011284455A 2011-12-26 2011-12-26 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム Expired - Fee Related JP5174232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011284455A JP5174232B2 (ja) 2011-12-26 2011-12-26 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011284455A JP5174232B2 (ja) 2011-12-26 2011-12-26 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009133455A Division JP4909378B2 (ja) 2009-06-02 2009-06-02 画像処理装置及びその制御方法、コンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2012061337A JP2012061337A (ja) 2012-03-29
JP2012061337A5 JP2012061337A5 (ja) 2012-07-26
JP5174232B2 true JP5174232B2 (ja) 2013-04-03

Family

ID=46057658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011284455A Expired - Fee Related JP5174232B2 (ja) 2011-12-26 2011-12-26 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5174232B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996959B2 (ja) * 2012-07-30 2016-09-21 株式会社トプコン 眼底解析装置
KR101996434B1 (ko) 2012-11-30 2019-07-05 삼성디스플레이 주식회사 유기 발광 표시 장치의 제조 방법
KR101462402B1 (ko) 2014-03-25 2014-11-17 연세대학교 산학협력단 심혈관oct영상생성방법 및 이를 이용한 스텐트 검출방법
EP3338619B1 (en) 2015-08-19 2021-06-16 Kowa Company, Ltd. Image processing device, image processing method, and image processing program
WO2017216930A1 (ja) * 2016-06-16 2017-12-21 株式会社日立ハイテクノロジーズ スフェロイド内部の細胞状態の解析方法
JP6768624B2 (ja) * 2017-01-11 2020-10-14 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム
JP2019213739A (ja) 2018-06-13 2019-12-19 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体
JP7735070B2 (ja) * 2021-04-06 2025-09-08 キヤノン株式会社 眼科画像処理装置及び眼科画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461258B2 (ja) * 2005-10-31 2010-05-12 国立大学法人 筑波大学 光断層画像化法における補正方法
JP5101969B2 (ja) * 2007-09-27 2012-12-19 株式会社トプコン 眼科装置
JP5101975B2 (ja) * 2007-10-04 2012-12-19 株式会社トプコン 眼底観察装置及び眼底画像処理装置

Also Published As

Publication number Publication date
JP2012061337A (ja) 2012-03-29

Similar Documents

Publication Publication Date Title
JP4909378B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
JP5174232B2 (ja) 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム
US9430825B2 (en) Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye
JP5955163B2 (ja) 画像処理装置および画像処理方法
JP4850927B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US8622548B2 (en) 3D retinal disruptions detection using optical coherence tomography
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
JP5208145B2 (ja) 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体
US9940722B2 (en) Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform
Hussain et al. Automatic identification of pathology-distorted retinal layer boundaries using SD-OCT imaging
CN103778600A (zh) 图像处理系统
JP5473358B2 (ja) 画像処理装置、画像処理方法及びプログラム
Joshi et al. Vessel bend-based cup segmentation in retinal images
JP6892234B2 (ja) 眼科撮影装置
Choe et al. 2-D registration and 3-D shape inference of the retinal fundus from fluorescein images
JP2022513424A (ja) 視神経乳頭の自動形状定量化の方法
JP5241937B2 (ja) 画像処理装置及び画像処理方法
JP5624532B2 (ja) 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム
JP5677502B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120613

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120613

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R151 Written notification of patent or utility model registration

Ref document number: 5174232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees