WO2007138792A1

WO2007138792A1 - 画像処理装置及び画像処理プログラム

Info

Publication number: WO2007138792A1
Application number: PCT/JP2007/057924
Authority: WO
Inventors: Yamato Kanda
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-05-26
Filing date: 2007-04-10
Publication date: 2007-12-06
Anticipated expiration: 2008-11-26
Also published as: EP2033567B1; US20090148014A1; US8116531B2; JP5086563B2; JP2007313119A; EP2033567A4; EP2033567A1

Abstract

　臓器判定や患部検出の精度低下の要因となる泡領域を、体腔内画像より検出できるようにすることを課題とし、画像内の画素のエッジ強度をエッジ強度算出部１０１で算出し、エッジ強度算出部１０１で算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を相関値算出部１０２で算出し、相関値算出部１０２で算出された相関値に基づき画像内の泡領域を泡領域検出部１０３で検出することで、体腔内画像内の泡領域を適正に検出できるようにした。

Description

明細書

画像処理装置及び画像処理プログラム

技術分野

[0001] 本発明は、画像内の泡領域を検出する画像処理装置及び画像処理プログラム、特に、体腔内を撮像した画像における泡領域を検出する画像処理装置及び画像処理プログラムに関する。背景技術

[0002] 特許文献 1は、体腔内画像における画像処理として、カプセル型内視鏡画像の平均色情報を基に臓器を判定する処理を開示している。具体的には、時系列の連続画像として取り込まれるカプセル型内視鏡画像の各画像において、画素の赤色レベルの画像内平均値、及び画素の青色レベルの画像内平均値を算出し、この値を時系列方向に平滑化した後、各色レベルの変化量が所定以上となる変色エッジ位置を検出して、臓器の切り替わりを判定している。

[0003] また、特許文献 2は、カプセル型内視鏡画像内の各画素の色情報を基に患部領域を検出する処理を開示している。具体的には、画像内の各画素又は平均化した画素値を、その色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングした後に正常粘膜クラスタと患部クラスタを特定し、患部クラスタに属する画素領域を患部として検出している。

[0004] 特許文献 1：特開 2004— 337596号公報

特許文献 2 :特開 2005— 192880号公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、カプセル型内視鏡が撮像する体腔内には、気泡（以下、単に「泡」という）が存在するため、体腔内画像には粘膜と同時に泡が撮像される場合がよくある。泡が画像内に存在する場合、特許文献 1で算出している各色レベルの画像内平均値は、泡の影響により、本来の粘膜の色レベルを十分に反映した値とならない。このため、臓器判定精度が低下してしまう。 [0006] また、泡領域の画素は、色情報に基づく特徴空間内にて非常に幅広い分布となり、正常粘膜や患部の分布と重なる。このため、特許文献 2においても、泡領域の画素情報を含めて患部検出を行う場合、検出精度が低下してしまう。

[0007] V、ずれの場合にも、体腔内画像にぉ、て泡領域を検出することができれば、泡領域内の画素を無効な画素として後段の処理力も除外することで、臓器判定や患部検出の精度低下を抑制できる。し力しながら、これまで体腔内画像より泡領域を検出すると、う課題に対し、有効な解決策が見出されて、な、現状にある。

[0008] 本発明は、上記に鑑みてなされたものであって、臓器判定や患部検出の精度低下の要因となる泡領域を、体腔内画像より検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

課題を解決するための手段

[0009] 上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の画素のエッジ強度を算出するエッジ強度算出手段と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、算出された相関値を基に泡領域を検出する泡領域検出手段と、を備えることを特徴とする。

[0010] また、本発明に係る画像処理装置は、上記発明において、前記相関値算出手段は

、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。

[0011] また、本発明に係る画像処理装置は、上記発明において、画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。

[0012] また、本発明に係る画像処理装置は、上記発明にお、て、前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。

[0013] また、本発明に係る画像処理装置は、上記発明にお、て、前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。

[0014] また、本発明に係る画像処理装置は、上記発明にお、て、前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。

[0015] また、本発明に係る画像処理装置は、上記発明において、前記エッジ強度算出手段は、方向別の 2次微分処理を用いてエッジ強度を算出することを特徴とする。

[0016] また、本発明に係る画像処理装置は、上記発明において、前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする。

[0017] また、本発明に係る画像処理装置は、上記発明において、前記画像は、体腔内を撮像した画像であることを特徴とする。

[0018] また、本発明に係る画像処理プログラムは、画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、前記画像処理装置に、画像内の画素のエッジ強度を算出するエッジ強度算出手順と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、算出された相関値を基に泡領域を検出する泡領域検出手順と、を実行させることを特徴とする。

[0019] また、本発明に係る画像処理プログラムは、上記発明において、前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。

[0020] また、本発明に係る画像処理プログラムは、上記発明にお、て、前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。

[0021] また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。

[0022] また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。

[0023] また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。

[0024] また、本発明に係る画像処理プログラムは、上記発明にお、て、前記エッジ強度算出手順は、方向別の 2次微分処理を用いてエッジ強度を算出することを特徴とする。

[0025] また、本発明に係る画像処理プログラムは、上記発明にお、て、前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする。

[0026] また、本発明に係る画像処理プログラムは、上記発明にお!/、て、前記画像は、体腔内を撮像した画像であることを特徴とする。

発明の効果

[0027] 本発明に係る画像処理装置及び画像処理プログラムによれば、画像内の画素のェッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき画像内の泡領域を検出するようにしたので、画像内の泡領域を適正に検出することができるという効果を奏する。

[0028] また、本発明に係る画像処理装置及び画像処理プログラムによれば、算出されたエッジ強度と泡モデルとの相関値に加えて、画像内のエッジに基づき画像を領域分割した領域分割結果に基づ!/、て画像内の泡領域を検出するようにしたので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になり、適正な患部検出等に役立てることができるという効果を奏する。

図面の簡単な説明

[0029] [図 1]図 1は、本発明の実施の形態 1の画像処理装置の構成を示す概略ブロック図である。

[図 2]図 2は、カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。

[図 3]図 3は、本実施の形態 1の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。

[図 4]図 4は、エッジ強度算出における 2次微分算出の方向を示す説明図である。

[図 5-1]図 5— 1は、泡部分の画像例を示す図である。 [図 5-2]図 5— 2は、図 5— 1の泡部分の画像中の A 部分の画素値変化を示す図である。

[図 6]図 6は、エッジ強度算出の結果例を示す図である。

[図 7]図 7は、泡モデルの一例を示す図である。

[図 8]図 8は、泡モデル作成のための基本図形例を示す図である。

[図 9-1]図 9 1は、泡モデルの変形例を示す図である。

[図 9- 2]図 9— 2は、泡モデルの変形例を示す図である。

[図 9- 3]図 9 3は、泡モデルの変形例を示す図である。

[図 9- 4]図 9—4は、泡モデルの変形例を示す図である。

[図 10]図 10は、図 6に示したエッジ強度算出の結果例と、図 7に示した泡モデルとの間の相関値算出の結果を示す図である。

[図 11]図 11は、図 6に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。

[図 12]図 12は、相関値に基づく泡領域の検出結果を示す図である。

[図 13]図 13は、本発明の実施の形態 2の画像処理装置の構成を示す概略ブロック図である。

[図 14]図 14は、実施の形態 2の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。

[図 15]図 15は、座標 (xl, yl)で示される或る注目画素 Tから座標 (x4, y4)で示される極値画素 Mまでの走査例を示す模式図である。

[図 16]図 16は、図 2に示した体腔内画像に対して領域分割部で領域分割を行った結果例を示す図である。

[図 17]図 17は、泡領域検出部による検出結果を示す図である。

[図 18]図 18は、膨張処理を説明するための図である。

[図 19]図 19は、収縮処理を説明するための図である。

[図 20]図 20は、 closing処理を説明するための図である。

[図 21]図 21は、図 17に示した泡領域検出結果に対して、円形構造要素による closin g処理を行った結果例を示す図である。符号の説明

[0030] 101 エッジ強度算出部

102 相関値算出部

103 泡領域検出部

130 泡モデル

131, 132 高輝度構造部

133, 135 泡モデル

136a, 136b 弧形状の輝度構造部

137 泡モデル

138a, 138b 弧形状の輝度構造部

140 泡モデル

201 エッジ強度算出部

202 相関値算出部

203 領域分割部

204 泡領域検出部

205 モルフォロジ処理部

発明を実施するための最良の形態

[0031] 本発明を実施するための最良の形態について図面を参照して説明する。以下に説明する本実施の形態では、カプセル型内視鏡等により撮像して得られた体腔内画像より泡領域を検出する画像処理装置を示す。なお、通常カプセル型内視鏡等により撮像される体腔内画像は、各画素位置において R (赤）， G (緑)， B (青）の各色に対する画素レベル (画素値)を持つカラー画像である。しかし、本実施の形態での体腔内画像とは、上記のカラー画像を既に公知の変換により、輝度 (YCbCr変換)、明度 (HSI変換)等の濃淡画像へ変換したものとする。変換に関しては、泡部分の画像情報が失われないほど良いが、通常、色素や染色剤等を使用しない場合の体腔内画像の色調変化は、血液中のヘモグロビンの吸収帯域 (波長）に最も依存し、構造情報は一般に G成分に多く含まれることが知られて、るため、単にカラー画像のうちの G 成分を濃淡画像としても良ヽ。 [0032] (実施の形態 1)

図 1は、本実施の形態 1の画像処理装置の構成を示す概略ブロック図であり、図 2 は、カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。本実施の形態 1の画像処理装置 100は、体腔内を撮像して得られた図 2に示すような体腔内画像内の画素のエッジ強度を算出するエッジ強度算出部 101と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出部 102と、算出された相関値を基に画像内の泡領域を検出する泡領域検出部 103とを備えるマイクロコンピュータ構成の演算部 110と、取得した体腔内画像及び各部で利用するデータを保存するメモリ 120とから構成されている。なお、処理対象の体腔内画像を画像処理装置 100に入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、本実施の形態では特に限定しない。

[0033] 図 3は、本実施の形態 1の画像処理装置 100の演算部 110により実行される処理の流れを示す概略フローチャートである。以下、図 1に示した構成と対比しながら、画像処理手順にっ、て説明する。

[0034] まず、演算部 110は、処理対象となる体腔内画像を取得する (ステップ S101)。次に、エッジ強度算出部 101は、取得した体腔内画像の画素のエッジ強度を算出する (ステップ S102)。エッジ強度の算出には様々な方法がある力ここでは方向別の 2 次微分処理を用いる方法を示す。図 4は、エッジ強度算出における 2次微分算出の方向を示す説明図である。まず、体腔内画像の画素 (X, y)に対して、式（1)〜式 (4) に従い、図 4に示すような、水平方向の 2次微分 dH、垂直方向の 2次微分 dV、斜め 1 方向の 2次微分 dDl、斜め 2方向の 2次微分 dD2を算出する。

[0035] dH(x, y) = P(x, y)— 0. 5 X (P(x— r, y) + P(x+r, y))…… (1)

dV(x, y) = P(x, y)-0. 5 X (P(x, y— r) + P(x, y+r)) ······ (2)

dDl(x, y)

= P(x, y)-0. 5 X (P(x-r', y+r') + P(x+r', y-r'))

ただし、ま rZ(2^Q'⁵)を四捨五入した整数

(3) dD2(x, y) = P(x, y)-0. 5 X (P(x-r', y-r') + P(x+r', y+r'))

ただし、ま rZ(2^Q'⁵)を四捨五入した整数

(4)

[0036] なお、 P(x, y)は、体腔内画像の座標 (X, y)の画素値であり、 rは 2次微分算出時の画素範囲を示すパラメータ (整数)である。パラメータ rの値を小さくすれば高周波なエッジ成分を、パラメータ rの値を大きくすれば低周波なエッジ成分を算出することができる。なお、ノラメータ rは、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。

[0037] 次に、式（5)に従い、方向別の 2次微分算出結果のプラス側の最大値を算出し、画素におけるエッジ強度 Eとする。

E(x, y)

= max(0, dH(x, y), dV(x, y), dDl(x, y), dD2(x, y))……（5)

[0038] 以上の処理により、パラメータ rで指定した範囲における画素値変化力水平、垂直、斜め 1、斜め 2のいずれかの方向において凸となる部分のエッジ強度が大きくなるようなエッジ強度算出が行われる。図 5— 1に示すような泡部分の画像中の A— 部分の画素値変化を図 5— 2に示す。図 5— 2に示すような泡の画像の特徴によれば、体腔内画像における泡では、泡の輪郭部及び泡の内部に撮像のための照明反射による凸エッジが存在する。このため上記の処理により、他の体腔内構造に起因する画素値変化を抑えながら、泡構造の特徴を反映したエッジ強度を得ることが可能となる。図 6に、図 2に示した体腔内画像に対してエッジ強度算出を行った結果例を示す。

[0039] 以上、本実施の形態 1では体腔内画像に対する方向別 2次微分によるエッジ強度算出法を示したが、エッジ強度算出の方法は、体腔内画像を照明 ·撮像する照明系や撮像系に応じて他の方法に変更しても良い。例えば、既に公知である 1次微分フィルタ（プリユーウィットフィルタ、ソーベルフィルタ等）や、 2次微分フィルタ（ラプラシァンフィルタ、 LOG (Laplacian

of Gaussian)フィルタ等）を用いて空間フィルタリングを行うことでも算出できる（参考文献: CG— ARTS協会：ディジタル画像処理： 114p、エッジ抽出）。

[0040] 次に、相関値算出部 102は、エッジ強度算出部 101で算出されたエッジ強度と泡モデルとの相関値を算出する（ステップ S103)。ここで、泡モデルとは、泡画像の特徴、例えば、カプセル型内視鏡の照明 ·撮像系により得られる体腔内画像における泡画像では、泡の輪郭部及び泡の内部に照明反射による弧形状の凸エッジが存在するという特徴に基づき設定されたものであり、図 7に示すようなリング形状の高輝度構造部 131とリング形状の内部に位置する高輝度構造部 132とを有するテンプレートパターンである。泡モデルの作成方法は様々である力例えば、図 8に示すような低輝度の背景部分と高輝度の構造部分とからなる基本図形を作成し、平滑ィ匕フィルタ（ガウシアンフィルタ等）による空間フィルタリングを行うことで作成できる。なお、図 8に示す泡モデル作成のための基本図形例において、高輝度構造部 131, 132の半径 Rl, R2及び高輝度構造部 131の幅 tは、図形サイズに関するパラメータであり、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。平滑ィ匕の程度を調整するパラメータに関しても同様である。

[0041] 泡モデルに関しては、検出すべき体腔内画像における泡画像の特徴を考慮した場合、弧形状の集合が泡画像となるので、少なくとも弧形状の輝度構造部を有することが重要であり、図 7に示すような泡モデル 130に限らず、例えば図 9 1〜図 9 4に示すような泡モデル等を用いても良い。図 9—1の泡モデル 133は、やや楕円形状となる扁平なリング形状の輝度構造部 134を有する。図 9— 2の泡モデル 135は、対をなす 2つの弧形状の輝度構造部 136a, 136bを有する。図 9— 3の泡モデル 137は、対をなす 2つの弧形状の輝度構造部 138a, 138bとその内部に位置する高輝度構造部 139とを有する。図 9 4の泡モデル 140は、対をなす 2つの弧形状の輝度構造部 141a, 141bとその内部に位置して対をなす 2つの高輝度構造部 142a, 142bとを有する。

[0042] ここで、エッジ強度と泡モデルとの相関の算出に関しては、式（6)に示すように、ェッジ強度と泡モデルとをフーリエ変換により周波数空間に変換し、互いの積をとつてフーリエ逆変換することで実現できる。

C = F ¹{F{E} X F{R{a} } } (6)

ただし、 C :相関値、 E :エッジ強度、 a:泡モデル、 F{ }：フーリエ変換、 F— ：フーリェ逆変換、 R{ }： 180度回転である。

[0043] 図 10は、図 6に示したエッジ強度算出の結果例と、図 7に示した泡モデル 130との間の相関値算出の結果を示す図である。なお、相関値算出部 102による本処理は、エッジ強度と泡モデルとの類似性を、相関値として算出して、ることに他ならな、ため、テンプレートマッチングの手法として既に公知である他の類似度算出法 (SAD：差分絶対値和、 SSD：差分 2乗和など）を利用しても良！、（参考文献: CG— ARTS協会：ディジタル画像処理： 203p、類似度)。

[0044] また、本実施の形態 1では、 1つの泡モデルとの相関を求める例を示した力サイズ、形状の異なる複数種類の泡モデルを予め設定しておき、各泡モデルとエッジ強度との相関値を算出した後、各画素位置毎に最大の相関値を得ることで、より多様な泡の種類に対応することができる。図 11は、図 6に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。

[0045] 次に、泡領域検出部 103は、相関値算出部 102で算出された相関値を基に体腔内画像中の泡領域を検出する (ステップ S104)。泡の特徴を示す泡モデルとの相関が高い部分は、泡領域に属する可能性が高い。そこで、泡領域検出部 103では、所定の閾値を設定し、この閾値より高い相関値を持つ部分を体腔内画像中で泡領域として検出する。図 12は、相関値に基づく泡領域の検出結果を示す図であり、白抜き部分が泡領域として検出された部分である。

[0046] 最後に、演算部 110は、泡領域検出部 103が検出した泡領域の情報を出力し (ステツプ S105)、画像処理装置 100での処理は終了する。

[0047] 上述したような本実施の形態 1の画像処理装置 100によれば、体腔内画像内の画素のエッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき体腔内画像内の泡領域を検出するようにしたので、体腔内画像内の泡領域を適正に検出することができる。よって、カプセル型内視鏡等で撮像された体腔内画像中で泡領域内の画素を無効な画素として後の画像処理の対象から除外することで、体腔内画像における臓器判定や患部検出などの検出精度の低下を抑制することが可能となる。

[0048] (実施の形態 2) 図 13は、本発明の実施の形態 2の画像処理装置の構成を示す概略ブロック図である。本実施の形態 2の画像処理装置 200は、実施の形態 1の画像処理装置 100におけるエッジ強度算出部 101、相関値算出部 102と、それぞれ同一の機能を有するェッジ強度算出部 201、相関値算出部 202と、体腔内画像内のエッジに基づき体腔内画像を領域分割する領域分割部 203と、相関値算出部 202により算出された相関値及び領域分割部 203で分割された領域分割結果を基に体腔内画像中から泡領域を検出する泡領域検出部 204と、泡領域検出部 204による泡領域検出結果に対してモルフォロジ処理を行うモルフォロジ処理部 205と、を備えるマイクロコンピュータ構成の演算部 210と、取得した体腔内画像及び各部で利用するデータを保存するメモリ 220とから構成されている。なお、処理対象の体腔内画像を画像処理装置 200〖こ入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、実施の形態 1の場合と同様、本発明では特に限定しない。

[0049] 図 14は、本実施の形態 2の画像処理装置 200の演算部 210により実行される処理の流れを示す概略フローチャートである。なお、処理ステップ S201〜S203に関しては、実施の形態 1での処理ステップ S101〜S103と同様である。以下、処理ステップ S204〜S207に関して、図 13に示す構成と対比しながら説明する。

[0050] 領域分割部 203は、体腔内画像内のエッジに基づき体腔内画像を領域分割する（ステップ S204)。領域分割の手法には、本願出願人による特願 2005— 24511に示す領域分割の手法を用いる。手順としては、まず、体腔内画像に対して、ノイズ除去を目的とする平滑ィ匕処理を行った後、各画素における画素値の勾配方向を求める。このとき勾配方向は近傍画素との輝度差が最小 (負の値が最大）となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を領域分割する。図 15は、座標 (xl, yl)で示される或る注目画素 Tから座標 (x4, y4)で示される極値画素 M までの走査例を示す模式図である。また、図 16は、図 2に示したような体腔内画像に対して領域分割部 203で領域分割を行った結果例を示す図である。

[0051] なお、他の領域分割の方法として、例えば分水嶺 (watershed)アルゴリズム（参考： L uc Vincent and Pierre Soille. Watersheds in digital spaces: An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence, Vol.13, No.6, pp.583-598,June 1991.)を用いる方法もある。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なる窪みに溜まる水の間で境界ができるように画像を分割していく方法である。このため、体腔内画像に対し、適当な平滑ィ匕を行った後に、分水嶺アルゴリズムを実行することにより、図 16に示す結果と類似した領域分割結果を得ることが可能である。

[0052] 次に、泡領域検出部 204は、相関値算出部 202により算出された相関値及び領域分割部 203で分割された領域分割結果を基に体腔内画像中から泡領域を検出する (ステップ S205)。実際には、まず領域分割結果の各領域毎に相関値の平均値を求める。泡領域に属する領域では、高い相関値が得られるため、所定の閾値を設定し、この閾値より高い平均相関値となる領域を泡領域として検出する。図 17は、泡領域検出部 204による検出結果を示す図である。図 17から確認できるように、領域分割部 203により領域分割された結果を利用することにより、泡領域の境界が体腔内画像での泡の輪郭エッジと一致し、より正確な泡領域の境界を得ることができる。

[0053] ここで、図 17中の A部、 B部に示すように、ノイズなどの影響で部分的に適切な境界が得られない場合もある。また、図 12に示した実施の形態 1の泡領域検出結果のように、領域内部に孔が存在したり、泡領域でない細かな領域が存在する場合もある。そこでモルフォロジ処理部 205は、モルフォロジ処理（参考文献：コロナ社：モルフォロジ一：小畑秀文著）により、これらノイズによる泡領域の形状の不整を整える (ステツプ S206)。モルフォロジ処理の基本は、膨張（dilation)、収縮（erosion)の 2つの処理であり、それぞれ対象領域に対して構造要素と呼ばれる基準図形 (基準画像)を用いて処理する。各処理の内容は以下の通りである。

膨張 (dilation) :構造要素 Bの原点を対象領域 A内で平行移動させた際に構造要素 Bが覆う領域を出力する（図 18参照)。

収縮 (erosion) :構造要素 Bを対象領域 A内で平行移動した際に構造要素 Bの原点が覆う領域を出力する（図 19参照)。

[0054] これら 2つの処理の組合せ力なる処理として、 closing (対象領域に対して dilation を行った後、 erosionを行う：図 20参照）と、 opening (対象領域に対して erosionを行つた後、 dilationを行う）とがある。結果的には以下の処理内容となる。

closing:構造要素 Bを対象領域 Aの外側力も外接させて移動した際に構造要素 B が囲む領域を出力する（図 20参照)。

opening :構造要素 Bを対象領域 Aの内側力内接させて移動した際に構造要素 B が囲む領域を出力する。

[0055] これらの処理を検出した泡領域に対して行うことにより、形状の不整を整えることができる。図 21は、図 17に示した泡領域検出結果に対して、円形構造要素による closi ng処理を行った結果例を示す図である。図 17中の A部、 B部の形状が整えられている様子が確認できる。領域内の孔を除去するためには closing処理を、泡領域外の細かなノイズ領域を除去するためには opening処理を、検出した泡領域より少し広めの領域を得るために dilation処理を、というようにモルフォロジ処理部 205は、用途によつて様々なモルフォロジ処理を行う。

[0056] 最後に、演算部 210は、整えられた泡領域情報を出力し (ステップ S207)、画像処理装置 200での処理は終了する。

[0057] 上述したような本実施の形態 2の画像処理装置 200によれば、算出されたエッジ強度と泡モデルとの相関値に加えて、体腔内画像内のエッジに基づき体腔内画像を領域分割した領域分割結果に基づいて、画像内の泡領域を検出するので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になる。よって、患部の近傍に泡領域が存在するような場合でも、患部を含めて泡領域として検出してしまうことがなく、より適正な患部検出等に役立てることができる。

[0058] なお、前述のエッジ強度算出部 101, 201、相関値算出部 102, 202、領域分割部 203、泡領域検出部 103, 204、モルフォロジ処理部 205の各部による図 3、図 14等に示す処理手順は、あら力じめ用意された画像処理プログラムをパーソナルコンビュータなどのコンピュータで構成された画像処理装置に実行させることにより実現するようにしてもよい。この画像処理プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この画像処理プログラムは、ハードディスク、 FD、 CD -ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体力も読み出されることにより実行することもできる。産業上の利用可能性

以上のように、本発明に力かる画像処理装置及び画像処理プログラムは、画像内の泡領域を検出するのに有用であり、特に、体腔内を撮像した画像における泡領域を検出するのに適している。

Claims

請求の範囲

[1] 画像内の画素のエッジ強度を算出するエッジ強度算出手段と、

算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、

算出された相関値を基に泡領域を検出する泡領域検出手段と、

を備えることを特徴とする画像処理装置。

[2] 前記相関値算出手段は、複数種類の泡モデルとの相関値を算出し、

前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項 1に記載の画像処理装置。

[3] 画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、

前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項 1又は 2に記載の画像処理装置。

[4] 前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項 1〜3のいずれか一つに記載の画像処理装置。

[5] 前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項 1〜3のいずれか一つに記載の画像処理装置。

[6] 前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項 1〜3のいずれか一つに記載の画像処理装置。

[7] 前記エッジ強度算出手段は、方向別の 2次微分処理を用いてエッジ強度を算出することを特徴とする請求項 1〜6のいずれか一つに記載の画像処理装置。

[8] 前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする請求項 1〜7のいずれか一つに記載の画像処理装置。

[9] 前記画像は、体腔内を撮像した画像であることを特徴とする請求項 1〜8のいずれか一つに記載の画像処理装置。

[10] 画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、前記画像処理装置に、

画像内の画素のエッジ強度を算出するエッジ強度算出手順と、

算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、

算出された相関値を基に泡領域を検出する泡領域検出手順と、

を実行させることを特徴とする画像処理プログラム。

[11] 前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、

前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項 10に記載の画像処理プログラム。

[12] 前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、

前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項 10又は 11に記載の画像処理プログラム。

[13] 相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項 10〜 12の、ずれか一つに記載の画像処理プログラム。

[14] 相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項 10〜 12のいずれか一つに記載の画像処理プログラム。

[15] 相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項 10〜 12の、ずれか一つに記載の画像処理プログラム。

[16] 前記エッジ強度算出手順は、方向別の 2次微分処理を用いてエッジ強度を算出することを特徴とする請求項 10〜 15のヽずれか一つに記載の画像処理プログラム。

[17] 前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする請求項 10〜16のいずれか一つに記載の画像処理プログラム。

[18] 前記画像は、体腔内を撮像した画像であることを特徴とする請求項 10〜 17のいずれか一つに記載の画像処理プログラム。