JPH10289318A

JPH10289318A - 画像処理方法

Info

Publication number: JPH10289318A
Application number: JP9099954A
Authority: JP
Inventors: Hidefumi Obata; 秀文小畑
Original assignee: Mitsubishi Chemical Corp
Current assignee: Mitsubishi Chemical Corp
Priority date: 1997-04-17
Filing date: 1997-04-17
Publication date: 1998-10-27

Abstract

(57)【要約】【課題】汎用的な条件下で、入力画像データのうちの
特定の画像データの集合を所要の楕円図形として認識す
る画像処理方法を提供する。【解決手段】本方法は、画像データに入力する第１ス
テップと、画像データをOpen−Closing フィルタ処理し
てノイズデータを消去する第２ステップと、Open−Clos
ing 処理した画像データと、Erosion 処理した画像デー
タとの差分画像データを算出し、２値化し、細線化処理
して、図形の輪郭線を成す画像エッジを求める第３ステ
ップと、第３ステップで求めた画像エッジを設定ルール
に基づいて分離し、分離した２値画像エッジにラベルリ
ングを施す第４ステップと、楕円最小２乗法の適用に必
要な楕円パラメータを算出する第５ステップと、楕円パ
ラメータに基づいて推定した楕円状図形及び推定した楕
円状図形を統合した楕円状図形を最終的に求める楕円図
形の画像として認識する第６ステップと備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像データの
うちの特定の画像データの集合を所望の楕円図形として
認識する画像処理方法、例えば媒体内に楕円状粒子が分
散している３次元系の２次元画像を画像処理して、楕円
状粒子の画像を認識する画像処理方法に関するものであ
る。

【０００２】

【従来の技術】研究、試験、或いは実際の生産活動等で
は、媒体と媒体内に不規則に分散する楕円状粒子とから
なる３次元系の２次元画像を処理して、３次元系に存在
する楕円状粒子の物体を認識することが、しばしば必要
になる。例えば、分散媒中で樹脂粒子を成長させて所望
の大きさの樹脂粒子を生産する製造工程では、しばし
ば、樹脂粒子の形状は楕円になり、その寸法を検出して
粒子成長状態を把握することが必要になる。そこで、デ
ジタル画像から特定形状の図形パターンを認識すること
は、コンピュータビジョンの基本的研究課題となってい
て、特に、楕円状粒子等の粒子画像から個々の粒子を認
識し、形状を計測する処理は、粒子解析と呼ばれてお
り、粒子解析の自動化が多くの分野で要望されている。
これらの要望に応えて、入力デジタル画像データのうち
の特定の画像データの集合を所要の楕円図形として認識
する画像処理方法について研究されており、、例えば楕
円状粒子を有する３次元分散系の２次元画像をコンピュ
ータ処理して楕円状粒子を画像認識する種々の試みが、
従来から成されている。

【０００３】楕円状粒子画像から粒子を個々に計測する
代表的な手法として、ハフ変換を用いる方法がある。こ
の方法は、楕円の幾何学特性と楕円のパラメータとの関
係に従って楕円状粒子の輪郭画像情報に基づきイメージ
空間からパラメータ空間への投票を行う。この方法の利
点は、画像のエッジが切れ切れになった楕円に対しても
適用できることである。ハフ変換を用いる方法以外に
も、単純に最小２乗法を画像エッジに適用する方法、反
復演算による方法、距離変換による方法、輪郭線の曲率
に着目する方法等が提案されている。

【０００４】

【発明が解決しようとする課題】しかし、ハフ変換を用
いる方法は、必ずしも汎用的ではなく、例えば対象画像
中に大きさの異なる楕円状パターンが多数混在する場合
には、投票結果のピーク値と楕円との関係が崩れるため
に適用が困難になる。また、楕円の一部分のみが存在す
る場合にも同様な問題が生じる。一方、最小２乗法によ
る方法は検出精度が低いという欠点が指摘されており、
その他の方法も、サイズの異なる楕円が相互に重なり合
い、かつ輪郭が短い長さで切れ切れになっているような
条件下では、安定して個別に楕円画像を抽出することが
できないという問題があった。以上のように、従来提案
されている楕円状粒子の２次元画像の画像処理方法は、
特殊な条件の下では有効であるものの、あらゆる条件下
での処理に適用できるものはなく、より汎用性の高い方
法が要求されていた。特に、実際の生産活動に適用する
ためには、現実の事象を撮像した２次元画像でしばしば
生じる現象、例えば抽出された楕円の輪郭線が切れ切れ
になった状態で、しかも大小様々な粒子画像も対象とし
て処理できる汎用性のある粒子抽出法が必要であった。

【０００５】以上の状況に照らして、本発明の目的は、
入力画像データのうちの特定の画像データの集合を所要
の楕円図形として認識する汎用性の高い画像処理方法、
例えば分散媒中に楕円状粒子が分散相として分散してい
る分散系の２次元画像を画像処理して、楕円状粒子の画
像を認識する汎用性の高い画像処理方法を提供すること
である。

【０００６】

【課題を解決するための手段】本発明者は、楕円状粒子
の画像を認識する汎用性の高い画像処理方法として、楕
円最小２乗法を基本的な手法として使用し、楕円同士の
重なり度合い等に基づく画像分離エッジの統合化によ
り、所望の楕円図形を認識し、計測できる方法を開発し
た。具体的には、まず、モルフォロジーフィルタと細線
化法を使って、楕円状粒子画像の輪郭線を求め、楕円最
小２乗法を利用し、楕円の初期推定を行う。次いで、楕
円同士のあてはめを利用して画像全体の最適な統合化を
行うというステップを経て、２次元画像から所要の楕円
図形を抽出する。

【０００７】上記目的は、本発明に係る画像処理は、入
力デジタル画像データのうちの特定の画像データの集合
を所要の楕円図形として認識する画像処理方法であっ
て、入力画像データをピクセル毎にＦ（ｘ，ｙ）として
Ｘ−Ｙ座標系に読み込む第１ステップと、画像データを
モルフォロジー手法によりOpen−Closing （オープン−
クロージング）フィルタ処理してノイズデータを消去す
る第２ステップと、Open−Closing 処理した画像データ
と、Erosion （エロージョン）処理した画像データとの
差分画像データを算出し、更に、差分画像データを２値
化し、細線化処理して、図形画像の輪郭線を成す画像エ
ッジを求める第３ステップと、第３ステップで求めた画
像エッジを設定ルールに基づいて分離し、分離した２値
画像エッジにラベルリングを施す第４ステップと、楕円
最小２乗法の適用に必要な楕円パラメータを算出する第
５ステップと楕円パラメータに基づいて、楕円状図形を
推定することにより、又は楕円状図形を推定し、更に推
定した楕円状図形を統合することにより、推定した楕円
状図形及び統合した楕円状図形を所要の楕円図形の画像
として認識する第６ステップとを備えることを特徴とし
ている。

【０００８】本発明に係る画像処理方法の対象画像は、
一般の楕円体、楕円状粒子又は略楕円状粒子の画像であ
って、それらが重なり合った状態でも良い。例えば、媒
体中に楕円状粒子が分散している場合のように、撮影系
に対して手前にある楕円状粒子が奥にある楕円状粒子を
覆い隠して、一部分のみが見える楕円状粒子が多数存在
している場合に最適に適用できる。このような画像から
楕円体を精度良く抽出するには、粒子の輪郭の一部分の
みの画像データから一つの楕円図形を求めることができ
ること、エッジが切れ切れになっていても正しく推定可
能なことが要求されていて、本発明方法はこのような要
求を十分に満足する。入力画像データが、３次元的に重
なった楕円状粒子の２次元画像であって、所望の楕円図
形が分散している楕円状粒子である場合に、本発明方法
を最適に適用できる。

【０００９】

【発明の実施の形態】以下に、添付図面を参照して、本
発明に係る画像処理方法の基本的処理手順の流れ及び楕
円状粒子抽出のアルゴリズムを説明する。本発明に係る
画像処理方法の基本的処理手順は、図１のフローチャー
トに示す通りである。以下に、それぞれの手順について
説明する。（１）入力画像第１ステップで、入力画像データは、常用の手法によ
り、ピクセル毎にＦ（ｘ，ｙ）としてＸ−Ｙ座標系に読
み込まれ、処理対象の画像データとされる。（２）前処理前処理は、本発明方法の第２ステップ及び第３ステップ
で行う処理である。画像から粒子情報を取り出すために
は、粒子の輪郭線の抽出を行うことが非常に重要であ
り、輪郭線の抽出精度は楕円体の抽出結果に大きな影響
を及ぼす。そこで、本発明方法では、モルフォロジーの
基本的演算と細線化法とを用い、輪郭線を抽出してい
る。輪郭抽出の手順の基本的な流れは、図２に示す通り
である。以下に、図２に示す流れに沿って、図３を参照
しつつ前処理の方法及び手順を説明する。図３（ａ）は
原画像の写し、図３（ｂ）はそれにノイズを加えた画像
の写し、図３（ｃ）は細線化画像の写し、図３（ｄ）は
エッジ分離画像の写し及び図３（ｅ）は最終結果の画像
の写しである。

【００１０】ｉ）ノイズの除去図３（ａ）の原画像をモルフォロジーフィルタによりノ
イズ除去を行い、図３（ｂ）に示すようなノイズの消去
された画像を求める。モルフォロジーフィルタ処理で、
Opening を行うと正のパルス状の突起が切り取られ、一
方、Closing を行うと、負パルス状の凹部を塞ぐことが
できる。よって、本発明方法では、粒子画像に対し、半
径２画素の円構造要素を用いてOpen−Closing 処理を行
い、正負のノイズを除去する。更に言えば、Open−Clos
ing フィルタ処理では、先ず、Opening を施すことによ
り構造関数より幅の狭い突起状のものは削り取られる。
しかし、入江のようなものは埋められることなく残る。
つまり、Opening は正のパルス性雑音の除去には効果が
あるが、負のパルス性雑音は除けない。一方、Closing
は外側からの平滑化であるから、狭い入江は塞がれる
が、外側への突起状のものは残り、Opening と反対の性
質を有する。そこで、本発明方法では、両者を組み合わ
せたOpen−Closing フィルタを使用することにより、正
負のパルス状の凹凸を平滑化することができる。

【００１１】ii）輪郭線の検出 Open−Closing 処理を施した画像と、それを半径２の円
構造要素でErosion 処理を施した画像との差分画像を求
め、２値化し、更に細線化処理を行う。この結果、図３
（ｃ）に示すような図形画像の輪郭線を成す画像を得
る。２値化では、濃淡画像を画素ごとにしきい値と比較
し、その大小関係で０、１に２値化する。細線化処理で
は、２値画像の中で、線状の部分を幅が１画素になるよ
うに細める。線状でない部分は中央付近の短い線とな
る。Erosion 処理を行うと、狭い地峡状のエッジは分離
し、細い半島状のエッジも削られ、また、内部の穴は拡
大する。

【００１２】（３）エッジのラベリング対象画像中の粒子は、現実に相互に重なっているので、
エッジ抽出されたエッジ画像はお互いに交叉する状態に
なっている。このような画像を個々の所要の楕円図形と
して認識するために、各エッジ画像を分離しなければな
らない。そのために、前段階で抽出された輪郭線画像か
ら重なり合った図形画像同士のエッジを相互に切り離す
ことが必要である。そこで、本発明方法では、エッジ分
離とエッジのラベルリングを第４ステップで行う。先
ず、本発明方法では、輪郭線の曲率変化率の大小に基づ
いて、重なり合った図形同士のエッジを輪郭線画像から
相互に分離する。一つの図形であれば、その図形のエッ
ジの曲率は、一般に、連続的に変化している。従って、
急激な曲率変化は、図形の重なりによるエッジの交叉と
判断できる。そこで、本発明方法では、曲率変化の大き
さを基準にして設定ルールを策定し、エッジ分離を行
う。例えば、図４に示すように三つのケースを想定し、
それぞれに判定用ルールを定め、それを設定ルールとし
てエッジを分離する。図４（ａ）に示すケースは、最も
高い頻度で生じるケースであり、楕円同士の重なりによ
るＴ字型の交叉である。滑らかに繋がる方をそのまま保
存し、急激な曲率変化のあるエッジ（図４（ａ）の右図
の左端エッジを分離する。図４（ｂ）に示すケースは、
２個の異なる楕円が接する状態又はそれに近い状態の場
合に相当し、エッジ素片ａ−ｃもｂ−ｃもそれぞれ一つ
の楕円を表す可能性があるため、これらは交叉点で３つ
に分離する。図４（ｃ）に示すケースは、エッジが交叉
しているものではないが、曲率の変化が急であることか
ら、その不連続点で３個のエッジをそれぞれ分離する。
また、図４（ｃ）の左図で下方に突出しているエッジ片
は雑音として消去する。このような判定ルールを設定
し、それに基づき、図３（ｃ）に示した細線化画像をエ
ッジ分離処理すると、図３（ｄ）に示すようなエッジ分
離画像を得ることができる。なお、ここでは線分の長さ
が５画素以下のものは雑音と見なし、削除する。次い
で、分離したエッジ画像に対してそれぞれに識別番号
（ラベル）を付して画像エッジのラベリングを行う。

【００１３】（４）楕円パラメータの推定本発明方法では、第５ステップで、最小２乗法を用いる
ことにより輪郭画素から楕円パターンのパラメータを推
定する。一般に、平面上の直交座標系において、楕円曲
線は次の一般の２次方程式（式１）

【数１】で与えられるので、輪郭画素、輪郭の一部であるエッジ
素片の画素（ｘ_i，ｙ_i、ｉ＝１，２，・・・・ｋ）を用
い、次の式２による最小化によってパラメータを求め
る。

【数２】楕円のパラメータ、即ち中心点座標、長軸の長さ、短軸
の長さ、傾きの角度をそれぞれ（ｘｃ，ｙｃ）、２Ａ、
２Ｂ、θとすると、式１の２次方程式の係数の間に以下
の式３〜式１０の関係が成立するので、その係数を求め
て、画像の座標を求める。

【数３】

【数４】

【数５】

【数６】

【数７】ここで、

【数８】

【数９】

【数１０】

【００１４】（５）最適統合アルゴリズム本発明では、第６ステップで最適統合アルゴリズム、特
に楕円最小２乗法により、楕円状図形を推定することに
より、又は楕円状図形を推定し、更に推定した楕円状図
形を統合することにより、推定した楕円状図形及び統合
した楕円状図形を所要の楕円図形の画像として認識す
る。ここで、楕円状図形とは、所要の楕円図形として認
識できる前段階の楕円に似た図形、又はその一部を言
う。最小２乗法による楕円推定では、エッジとして利用
できる画素がその楕円の輪郭のどの程度の範囲（又は長
さ）を表現しているかによって、推定精度が著しく変化
する。そこで、本発明方法では次のような３段階のステ
ップで最小２乗法を適用している。ｉ）ステップ１初期推定として、設定長さ以上の長さのエッジに対して
楕円最小２乗法により、楕円状図形を推定する。設定長
さは予め設定しておく。 ii）ステップ２設定長さ未満の長さの短いエッジを組み合わせて楕円最
小２乗法により、最小２乗法による楕円状図形を推定す
る。 iii ）ステップ３ステップ２で得た結果を最適的に統合する。

【００１５】ステップ１で初期推定して得た楕円状図形
は、所要の楕円図形の一つである。ステップ１におい
て、設定長さは、楕円状図形として初期推定するのに″
十分な長さ″であって、例えば楕円のほぼ半分ぐらいの
長さという意味である。本発明方法では、楕円上に存在
する画素は中心対称性を有するという楕円の幾何学特性
を利用して、同じラベルを持つエッジ上に対称点と判断
できる点がある場合は、その曲線が“十分な長さ”を持
つ線分と認定する。例えば、設定長さとして、後述の実
験に基づいて、楕円曲線の４５％にしても良い。

【００１６】ステップ２では、以下に述べるようにして
楕円状図形を推定する。例えば、例として図５（ａ）に
示すような短いエッジ素片ａ，ｂの二つがあるとする。
先ず、それらにそれぞれ単独で楕円最小２乗法を適用
し、楕円状図形を一次推定する。次いで、それから得ら
れた楕円状図形同士の重なりを判定する。図５（ｂ）に
示すように、重なっている場合には、エッジ素片ａとｂ
の両方を用いて楕円最小２乗法により楕円状図形を推定
し、所要の楕円図形として図５（ｃ）の楕円図形を得
る。二つのエッジ素片が、一つの楕円を表わしているか
どうかは、次の式１１で判断する。Ｎ_C≧（Ｎ_A＋Ｎ_B）×０．９（１１）ここで、Ｎ_A、Ｎ_Bは、それぞれ素片ａとｂで推定された
楕円曲線を表現するエッジ画素数、及び、Ｎ_Cは２つの
エッジ素片から推定された楕円曲線のエッジ画素数であ
る。以上の最適統合アルゴリズムによる楕円推定手順の
流れは、図６に示す通りである。本発明方法では、さら
に、この楕円推定手順を全画像に適用し、画像全体の最
適性判断をおこなっている。前述の図３（ｅ）は、その
一例である。

【００１７】実験例楕円最小２乗法により推定できる楕円図形の精度を評価
するために、以下のように、人工的に作成した２値線画
像を用い、実験を行った。実験では、長軸１００画素、
短軸６０画素、傾き角度０度、中心点座標（１６４．
５，２３４．５）の楕円を使用し、線画像の長さを楕円
輪郭全体の７５％から２０％へ段階的に変化させたと
き、線画像の長さ（楕円曲線の長さ）と、得られたパラ
メータの計測値の関係を求めた。その結果は、図７に示
した通りである。図７では、楕円の部分曲線は長軸に平
行な直線で楕円を分割して求めており、長軸を画素数
で、短軸を部分曲線の長さで表してある。図７から分か
るように、長軸にほぼ平行するエッジのみの場合（横軸
の２０％がこれに相当する）には、多少パラメータの推
定が困難になるが、２０％以上の場合には、計測値は、
実際の値に極めて近い。特に、部分曲線は楕円輪郭全体
の４５％以上の場合には、楕円最小２乗法による楕円の
計測精度が、極めて高いことが分かる。以上の結果か
ら、本発明方法では、最適統合アルゴリズムで説明した
ステップ１での設定長さとして、楕円輪郭全体の５０％
以上の部分曲線と定めている。なお、部分曲線が短い場
合に計測誤差が発生する原因は、ディジタル画像を対象
にするために、標本化による誤差が生じたと考えられ
る。

【００１８】実施例本発明方法を評価するために、二枚の顕微鏡画像につい
て本発明方法により画像処理を行って、実施例１及び実
施例２とした。実施例１での原画像、差分画像、細線化
画像及び結果画像の写しは、それぞれ、図８（ａ）、
（ｂ）、（ｃ）及び（ｄ）に示す通りであった。また、
実施例２での原画像、差分画像、細線化画像及び結果画
像の写しは、それぞれ、図９（ａ）、（ｂ）、（ｃ）及
び（ｄ）に示す通りであった。実施例１及び実施例２の
原画像と結果画像の比較から判るように、本発明方法
は、多数の楕円状粒子が相互に重なり合った画像から、
大小様々な楕円状粒子を個々に正確に抽出し、認識する
ことができる。

【００１９】

【発明の効果】本発明方法によれば、モルフォロジーフ
ィルタ及び細線化法を使って、粒子画像の輪郭線を求
め、次いでエッジ分離し、次いで楕円最小２乗法を利用
し、楕円の初期推定を行い、更に画像全体の最適統合化
を行うことにより、汎用的な条件下で楕円図形を認識す
ることができる。本発明方法を使用することにより、大
小様々な異なる楕円状粒子が相互に重なり合った画像か
ら楕円状粒子を抽出することができ、また、辺縁が楕円
で近似できる粒子が相互に重なり合った濃淡画像から、
各粒子を個々に分離抽出することができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理方法の基本的処理手順を
示すフローチャートである。

【図２】画像輪郭抽出の手順の基本的な流れを示すフロ
ーチャートである。

【図３】図３（ａ）は原画像の写し、図３（ｂ）はそれ
にノイズを加えた画像の写し、図３（ｃ）は細線化画像
の写し、図３（ｄ）はエッジ分離画像の写し及び図３
（ｅ）は最終結果の画像の写しである。

【図４】図４（ａ）、（ｂ）及び（ｃ）は、それぞれ、
エッジ分離のケースを示す画像の写しである。

【図５】図５（ａ）、（ｂ）及び（ｃ）は、それぞれ、
ステップ１、ステップ２及びステップ３の楕円推定手順
で得た画像の写しである。

【図６】最適統合アルゴリズムによる楕円推定手順の流
れを示すフローチャートである。

【図７】楕円曲線の長さと楕円パラメータとの関係を示
すグラフである。

【図８】図８（ａ）、（ｂ）、（ｃ）及び（ｄ）は、そ
れぞれ、実施例１での原画像、差分画像、細線化画像及
び結果画像の写しである。

【図９】図９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、そ
れぞれ、実施例２での原画像、差分画像、細線化画像及
び結果画像の写しである。

Claims

【特許請求の範囲】

【請求項１】入力デジタル画像データのうちの特定の
画像データの集合を所要の楕円図形として認識する画像
処理方法であって、入力画像データをピクセル毎にＦ（ｘ，ｙ）としてＸ−
Ｙ座標系に読み込む第１ステップと、画像データをモルフォロジー手法によりOpen−Closing
（オープン−クロージング）フィルタ処理してノイズデ
ータを消去する第２ステップと、 Open−Closing 処理した画像データと、Erosion （エロ
ージョン）処理した画像データとの差分画像データを算
出し、更に、差分画像データを２値化し、細線化処理し
て、図形画像の輪郭線を成す画像エッジを求める第３ス
テップと、第３ステップで求めた画像エッジを設定ルールに基づい
て分離し、分離した２値画像エッジにラベルリングを施
す第４ステップと、楕円最小２乗法の適用に必要な楕円パラメータを算出す
る第５ステップと楕円パラメータに基づいて、楕円状図
形を推定することにより、又は楕円状図形を推定し、更
に推定した楕円状図形を統合することにより、推定した
楕円状図形及び統合した楕円状図形を所要の楕円図形の
画像として認識する第６ステップとを備えることを特徴
とする、画像処理方法。
【請求項２】第４ステップでエッジの分離に適用する
設定ルールは、輪郭線の曲率の変化率の大小に基づいて
輪郭線の交差、輪郭線の重なり、輪郭線の折れ線状変化
の態様に分類され、それぞれに分離ルールが設定されて
いることを特徴とする請求項１に記載の画像処理方法。
【請求項３】第４ステップでは、分離した画像エッジ
のうち画素数で所定数以下の長さの画像エッジを雑音と
して除去することを特徴とする請求項１又は２に記載の
画像処理方法。
【請求項４】第６ステップが、設定長さ以上の長さを有する画像エッジに対して楕円最
小２乗法を適用して楕円状図形を推定し、推定した楕円
状図形を所要の楕円図形の一つとする第６（ａ）ステッ
プと、設定長さ未満の長さを有する画像エッジにそれぞれ楕円
最小２乗法を適用して楕円状図形をそれぞれ推定する第
６（ｂ）ステップと、第６（ｂ）ステップで得た楕円状図形の重なりを所定関
係に従って判定し、所定の重なり程度の楕円状図形を所
望の楕円図形の一つとする第６（ｃ）ステップととから
なることを特徴とする請求項１から３のうちのいずれか
１項に記載の画像処理方法。
【請求項５】入力画像データが、分散媒中に３次元的
に重なった楕円状粒子の２次元画像であって、所望の楕
円図形が分散している楕円状粒子であることを特徴とす
る請求項１から４のうちのいずれか１項に記載の画像処
理方法。