JPH08329254A

JPH08329254A - 輪郭抽出装置

Info

Publication number: JPH08329254A
Application number: JP8054367A
Authority: JP
Inventors: Shoichi Araki; 昭一荒木; Naokazu Yokoya; 直和横矢
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-03-24
Filing date: 1996-03-12
Publication date: 1996-12-13

Abstract

(57)【要約】【課題】エッジを検出しその連続性から対象物の輪郭
を抽出する装置では、ノイズが多くエッジが不連続な場
合、正しく輪郭を抽出できない。それに対応できる装置
では、輪郭を抽出したい対象物の数だけ領域を指定する
必要があった。【解決手段】画像を記憶する画像記憶部１、輪郭モデ
ルを記憶する輪郭モデル記憶部２、所定の規則に従っ
て、その輪郭モデルを収縮変形させる輪郭モデル変形部
３、その輪郭モデルにおける接触又は交差を検出する輪
郭モデル交差検出部４、その検出された接触又は交差に
基づいて、その輪郭モデルを複数に分裂させる輪郭モデ
ル分裂部５、その対象物の輪郭の抽出が完了したか否か
を判定する抽出完了判定部７とを有する輪郭抽出装置に
よれば、輪郭を抽出したい対象物が複数であってもノイ
ズが多くエッジが不連続であっても、１度の領域指定で
又は領域指定をせずに、その対象物の各々の輪郭を正し
く抽出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ＣＣＤや
赤外線カメラなどの視覚センサを用いてとらえた対象物
の輪郭を抽出する、輪郭抽出装置に関するものである。

【０００２】

【従来の技術】ＣＣＤカメラなどを用いて撮像された画
像から対象物の輪郭を抽出する技術としては、特にノイ
ズなどの影響を受けにくい輪郭抽出技術として、情報処
理Vol.30、No.9、pp.1047〜pp.1057等に記載されている
ＳＮＡＫＥＳや特願平319051の画像処理装置が知られて
いる。

【０００３】これらの技術によれば、抽出したい対象物
の概略の輪郭をあらかじめ与えてやれば、輪郭および画
像特徴から定義されるエネルギー関数を極小化すること
により、対象物の正確な輪郭を得ることができる。これ
らの技術は、インタラクティブな画像編集などのマルチ
メディア機器に応用可能である。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような従来技術では、抽出したい対象物について予めそ
の数を指定しなければ、複数の対象物を抽出することが
できないという課題があった。

【０００５】ＳＮＡＫＥＳでは、予め対象物の概略の輪
郭を初期輪郭として与える必要がある。このため、対象
物の数や処理する画像の枚数が多い場合、この初期輪郭
の設定に対する処理負担が増大する。

【０００６】また、ＳＮＡＫＥＳでは、例えば、セキュ
リティシステムにおける侵入者数の検出や空調制御にお
ける在室者数の検出等のように、画像に含まれる対象物
がいくつあるかを自動的に知りたい場合には対応できな
い欠点があった。

【０００７】本発明は、かかる点に鑑み、抽出したい対
象物の数とその概略輪郭を予め与えることなく、画像中
の複数対象物の輪郭抽出を可能とする輪郭抽出装置を提
供することを目的とする。

【０００８】また本発明は、抽出したい対象物の数とそ
の概略輪郭を予め与えることなく、所定の条件（例えば
大きさなど）を満たす複数対象物の輪郭のみを抽出する
ことができる輪郭抽出装置を提供することを目的とす
る。

【０００９】また本発明は、抽出したい対象物の数とそ
の概略輪郭を予め与えることなく、複数の移動する物体
を抽出することができる輪郭抽出装置を提供することを
目的とする。

【００１０】また本発明は、抽出したい対象物の数とそ
の概略輪郭を予め与えることなく、移動物体か静止物体
かの識別を可能とする輪郭抽出装置を提供することを目
的とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めの本発明は、画像を記憶する画像記憶部と、前記画像
に含まれる少なくとも１つの対象物を囲み、その対象物
の輪郭を抽出するための輪郭モデルを記憶する輪郭モデ
ル記憶部と、所定の規則に従って、前記輪郭モデルを収
縮変形させる輪郭モデル変形部と、前記輪郭モデル変形
部により収縮変形される輪郭モデルにおいて、その輪郭
モデルの一部がその輪郭モデルの別の部分に接触又は交
差している場合、その接触又は交差を検出する輪郭モデ
ル交差検出部と、その輪郭モデル交差検出部により接触
又は交差が検出された場合、その接触又は交差に基づい
て、前記輪郭モデルを複数に分裂させる輪郭モデル分裂
部と、前記対象物の輪郭の抽出が完了したか否かを判定
する抽出完了判定部とを備えた輪郭抽出装置である。

【００１２】また、前記輪郭モデル記憶部は、前記輪郭
モデルを構成する複数の輪郭候補点とそれらの連結順序
とを記憶するとしてもよい。

【００１３】また、前記輪郭モデル記憶部に記憶されて
いる複数の輪郭候補点とそれらの連結順序は、それぞれ
前記輪郭モデル分裂部により分裂されて得られる複数の
別の輪郭モデルの各々を構成する複数の輪郭候補点とそ
れらの連結順序に更新されるとしてもよい。

【００１４】また、前記輪郭モデル変形部は、前記輪郭
モデルを構成する複数の輪郭候補点の各々を移動又は停
止させて、その輪郭モデルを収縮変形させるとしてもよ
い。

【００１５】また、前記輪郭抽出装置は、所定の条件を
満たせば、前記輪郭モデルに少なくとも１つの新規の輪
郭候補点を追加し、及び／又は前記輪郭モデルにおける
少なくとも１つの輪郭候補点を削除する輪郭候補点生成
・消滅部を更に備えたとしてもよい。

【００１６】また、前記輪郭抽出装置は、前記輪郭モデ
ル分裂部により分裂されて得られる複数の別の輪郭モデ
ルの各々が所定の条件を満足しない場合、その満足しな
い輪郭モデルを前記輪郭モデル記憶部から削除する輪郭
モデル選択部を更に備えたとしてもよい。

【００１７】また、前記画像記憶部は、前記画像に対し
て所定の時間間隔をおいて連続する少なくとも１つの別
の画像を更に記憶し、前記輪郭抽出装置は、前記画像記
憶部に記憶されている複数の連続する画像に基づいて、
移動ベクトルを検出する動き検出部を更に備えたとして
もよい。

【００１８】更に、前記画像記憶部は、所定の時間間隔
をおいて連続する複数の画像を記憶し、前記輪郭抽出装
置は、前記複数の画像の少なくとも１つの画像に対し
て、その輪郭抽出装置により抽出された少なくとも１つ
の対象物の輪郭モデルを構成する各輪郭候補点の所定範
囲内で、移動ベクトルを検出する輪郭モデル別動き検出
部を更に備えたとしてもよい。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。（実施例１）図１は、本発明の輪郭抽出装置に係る第１
の実施例を示す構成図である。図１において、１は対象
物を含むシーンを撮像した画像を記憶する画像記憶部、
２は画像記憶部１に記憶されている画像中の対象物の輪
郭位置を探索する輪郭候補点を記憶する輪郭モデル記憶
部、３は輪郭モデル記憶部２に記憶されている輪郭候補
点をあらかじめ定められた規則により移動させる輪郭モ
デル変形部、４は輪郭候補点が予め定められた規則によ
り結ばれて構成される輪郭モデルにおいて、交差が生じ
た場合、その交差を検出するための輪郭モデル交差検出
部、５は輪郭モデル交差検出部４により交差が検出され
た場合、輪郭候補点により構成される輪郭モデルを複数
に分裂させる輪郭モデル分裂部、６は輪郭モデル交差検
出部４により交差が検出されなかった場合、輪郭候補点
を新たに追加あるいは消滅させる輪郭候補点生成・消滅
部、７は画像中の対象物の輪郭の抽出が完了したか否か
を判定する抽出完了判定部である。

【００２０】ところで、８は１〜７の各部と接続され、
各部の動作の開始、停止又は各部間のデータのやりとり
を制御する制御部である。その制御部８は、ＲＯＭ又は
ＲＡＭなどのメモリとＣＰＵとから構成されるコンピュ
ータであって、各種のインタフェースを介すことによ
り、図１に示すようなＣＣＤカメラやスキャナーなどの
撮像装置９、ＣＲＴなどの表示装置１０およびキーボー
ドやマウスなどの入力装置１１と接続されている。ま
た、画像記憶部１と輪郭モデル記憶部２は、通常ＲＡＭ
で構成される。

【００２１】次に、本実施例の動作について説明する。
図２は、本実施例の輪郭抽出装置の動作を示すフローチ
ャートである。図３は、本実施例の動作をより分かりや
すくするために、顕微鏡写真から細胞の輪郭を抽出する
例を示した図である。このことは、本発明が癌細胞の医
療診断などの自動化システムに応用できることを意味す
る。画像記憶部１には、スキャナーなどの撮像装置９に
より取り込まれデジタル化された細胞の顕微鏡写真の画
像が記憶されている。そのデジタル化された画像の各画
素データは、例えば、その輝度を８ビットで表すなどし
て記憶されている。以下に本実施例の動作手順を示す。 [STEP1a] 輪郭候補点の初期配置画像記憶部１に記憶されている画像に含まれる対象物の
全てを包含する１つの多角形（輪郭モデル）を構成する
n個の点は、初期の輪郭候補点v_i(x_i(0),y_i(0))(i=1,2,
…,n)として輪郭モデル記憶部２に記憶されている。i
は輪郭候補点を連結して輪郭モデルを構成するための輪
郭候補点の連結順序を示す。なお、操作者が表示装置１
０に表示された画像を見ながらキーボードやマウスなど
の入力装置１１を操作して、その初期の輪郭候補点を輪
郭モデル記憶部２に記憶させるとしてもよい。或いは、
画像の大きさにほぼ等しい長方形の辺がｎ等分された点
が、初期の輪郭候補点として、あらかじめ輪郭モデル記
憶部２に記憶されているとしてもよい。 [STEP2a] 輪郭モデルの変形輪郭モデル変形部３は、すべての輪郭候補点の位置を１
回移動させる。これにより、輪郭候補点が連結された輪
郭モデルが変形することになる。輪郭モデル変形部３
は、予め定義された輪郭モデルのエネルギーE_snake(v_i)
が最小となる方向に、各輪郭候補点を移動させる。

【００２２】例えば、輪郭モデル変形部３は、輪郭候補
点v_i(x_i,y_i)(i=1,2,…,n)ごとに、E _snake(v_i)の最急降
下ベクトル(-∂E_snake/ ∂x_i, -∂E_snake/∂y_i)を求め
て、次式の（数１）を用いて、輪郭に沿って逐次的に又
は各点ごとに独立して並列に、各輪郭候補点を移動させ
る。

【００２３】

【数１】x_i(t+1)=x_i(t)-Kx(∂E_snake/∂x_i) y_i(t+1)=y_i(t)-Ky(∂E_snake/∂y_i) なお、（数１）におけるt(i=0,1,…)は各輪郭候補点の
移動回数を表す。また、Kx>0, Ky>0は輪郭候補点の移動
量を制御する定数である。

【００２４】但し、移動によりエネルギーE_snake(v_i)が
増加する場合には、輪郭モデル変形部３は輪郭候補点を
移動させない。

【００２５】また、輪郭モデル変形部３は、フラグF
(v_i)(i=1,2,…,n)を用いて、移動の有無を輪郭モデル記
憶部２に記憶する。即ち、輪郭モデル変形部３は、移動
させた輪郭候補点についてはF(v_i)=1とし、移動させな
かった輪郭候補点についてはF(v _i)=0とする。

【００２６】ところで、輪郭モデルのエネルギーE_snake
(v_i)は、例えば、以下の（数２）から（数６）で表され
るエネルギー項の各々の和であるとしてもよい。（１）輪郭モデルの滑らかさを表すE_spline

【００２７】

【数２】

【００２８】（数２）を最小にするように各輪郭候補点
を移動させると、輪郭モデルは収縮する。（２）輪郭モデルが囲む閉領域の面積に相当するE_area

【００２９】

【数３】

【００３０】なお、x_n+1=x₁,y_n+1=y₁とする。

【００３１】（数３）を最小にするように各輪郭候補点
を移動させると、各輪郭候補点は輪郭モデルに対して垂
直な方向に移動する。E_areaを用いれば、くぼんだ形状
の対象物の輪郭が抽出できる。（３）輪郭候補点間の距離を平均化するE_dist

【００３２】

【数４】

【００３３】なお、d_avは輪郭候補点間の平均距離を表
す。 4)画像の輝度I(v_i)の勾配の大きさE_edge

【００３４】

【数５】

【００３５】（数５）を最小にするように各輪郭候補点
を移動させると、各輪郭候補点は、輝度勾配の大きくな
る方向、即ち対象物の輪郭部分に向かう方向に移動す
る。（５）画像の輝度値E_intens

【００３６】

【数６】

【００３７】（数６）を最小にするように各輪郭候補点
を移動させると、各輪郭候補点は、w_intens>0の場合に
は輝度が小さくなる（暗い）方向に、w_intens<0の場合
には輝度が大きくなる（明るい）方向に移動する。

【００３８】なお、（数２）から（数６）における
w_sp1,w_sp2,w_area,w_dist,w_edge,w_intensの各々は、エネ
ルギー項の重み係数である。

【００３９】（数２）から（数６）の各エネルギー項の
和である輪郭モデルのエネルギーE_s _nake(v_i)を最小化す
るように輪郭モデルを変形すれば、輪郭モデルは収縮し
ていくが、最終的には、各輪郭候補点を移動させる（数
２）から（数６）の各エネルギー項によるベクトルが、
対象物の輪郭部分でつりあって停止する。このときの輪
郭候補点により構成される輪郭モデルが、対象物の輪郭
として抽出されることになる。 [STEP3a] 輪郭モデルの交差検出所定の連結順序に基づいて各輪郭候補点が連結されて構
成される多角形をなす輪郭モデルについて、輪郭モデル
交差検出部４は、その輪郭モデル上のある一辺が、その
輪郭モデル上の別の辺と接触又は交差しているか否かの
検出を行う。但し、互いに隣接する２辺についてはその
検出の対象から除かれる。なお、各輪郭候補点の移動を
画素単位で行えば、ほとんどの場合、辺のどちらかの端
点が別の辺に接触した段階で検出される（図４参照）。

【００４０】例えば、輪郭モデル交差検出部４は、次の
ようにして接触又は交差を検出してもよい。

【００４１】輪郭モデル上の線分v_iv_i+1と線分v_jv_j+1が
交点を持つと仮定すれば、次の（数７）を満たす実数p
(0≦p≦1), q(0≦q≦1)が存在する。

【００４２】

【数７】p(v_i+1-v_i) + v_i = q(v_j+1-v_j) + v_j （数７）はp, qに関する連立方程式であり、次の（数
８）で計算される行列式detが0でないとき解を持つ。

【００４３】

【数８】det = (x_i - x_i+1)(y_j+1 - y_j) - (x_j+1 - x_j)
(y_i - y_i+1) なお、det=0のとき、線分v_iv_i+1と線分v_jv_j+1は一致す
る場合があるため、行列式detの計算前にこの一致を検
出しておくものとする。

【００４４】次の（数９）は、線分v_iv_i+1と線分v_jv_j+1
が接触又は交差した場合のその接触又は交差した点の位
置を表す。

【００４５】

【数９】 p = ( (y_j+1 - y_j)(x_i - x_j) + (x_j - x_j+1)(y_i - y_j) ) / det q = ( (y_i+1 - y_i)(x_i - x_j) + (x_i - x_i+1)(y_i - y_j) ) / det 要するに、輪郭モデル交差検出部４は、i, jを順次変化
させていき、det≠0の場合に、（数９）により算出され
るp,qが、それぞれ0≦p≦1,0≦q≦1を満たすとき、線分
v_iv_i+1と線分v_jv_j+1は、輪郭モデル上の1点(p,q)で接触
又は交差しているとみなして、その接触又は交差を検出
する。輪郭モデル交差検出部４は、最初に接触又は交差
を検出した時点で、その検出動作を終了させる。

【００４６】制御部８は、接触又は交差が検出された場
合にはSTEP4aを実行させて、それ以外の場合にはSTEP5a
を実行させる。 [STEP4a] 輪郭モデルの分裂輪郭モデルのエネルギーとして、E_areaを用いた場合に
起こる典型的な交差の例を図４に示す。輪郭モデル分裂
部５は輪郭モデルを複数に分裂させる。制御部８は、輪
郭モデル分裂部５によるこの分裂の処理が終了すれば再
度STEP2aを実行させる。

【００４７】輪郭モデル分裂部５は、輪郭モデル交差検
出部４により最初に検出された交点を持つ線分v_iv_i+1と
線分v_jv_j+1で、輪郭モデル（＝図４に示す輪郭モデル１
及び２）を輪郭モデル１と輪郭モデル２とに分裂させ
る。即ち、輪郭モデル分裂部５は、交点を持つ線分v_iv
_i+1における先の番号を有する輪郭候補点v_iと、交点を
持つ他方の線分v_jv_j+1における後の番号を有する輪郭候
補点v_j+1とを結んで、輪郭モデル（＝輪郭モデル１及び
２）を輪郭モデル２に分裂させる。同様に、輪郭モデル
分裂部５は、交点を持つ線分v_jv_j+1における先の番号を
有する輪郭候補点v_jと、交点を持つ他方の線分v_iv_i+1に
おける後の番号を有する輪郭候補点v_i+1とを結んで、輪
郭モデル（＝輪郭モデル１及び２）を輪郭モデル１に分
裂させる。

【００４８】その結果、輪郭モデル（＝輪郭モデル１及
び２）は、連結順序が{v₁,…,v_i,v_j ₊₁,…,v_n}と{v_i+1,
…,v_j}である輪郭候補点の組に分裂される。

【００４９】制御部８は、上記の分裂の後、STEP3aで接
触又は交差の検出処理が行われなかった線分v_iv_i+1より
後の線分についても、接触又は交差が生じているか否か
を輪郭モデル交差検出部４に検出させる。この場合も、
線分v_iv_i+1より後の線分において、最初に検出された線
分のところでその検出処理が中断され、再度STEP4aの分
裂処理が適用される。このような再帰的な処理は、輪郭
モデル（＝輪郭モデル１及び２）上の全ての線分につい
て完了するまで繰り返される。 [STEP5a] 輪郭候補点の生成・消滅判定輪郭候補点生成・消滅部６は、新たな輪郭候補点の生成
・消滅を行う。

【００５０】輪郭候補点生成・消滅部６は、例えば、次
のような場合に輪郭候補点を新たに生成する。輪郭候補
点生成・消滅部６は、隣接する輪郭候補点間の距離が|v
_i+1-v_i|>D_THを満たす時、2点v_i,v_i+1間に新たに輪郭候
補点を生成する。但し、D_THは予め定められた輪郭候補
点間の最大距離である。この時、輪郭候補点生成・消滅
部６は、輪郭候補点を生成すればG_flag=1とし、生成し
なければG_flag=0とする。

【００５１】また、輪郭候補点生成・消滅部６は、例え
ば、次のような場合に輪郭候補点を消滅させる。輪郭候
補点生成・消滅部６は、cosθ>θ_TH（θはv_iv_i-1とv_iv
_i+1のなす角）を満たす輪郭候補点v_iを消滅させる。但
し、θ_THは予め定められた輪郭モデルの尖りを判定する
閾値である。この時、輪郭候補点生成・消滅部６は、輪
郭候補点を消滅させればD_flag=1とし、消滅させなけれ
ばD_flag=0とする。

【００５２】輪郭候補点の追加生成により、分裂により
減少する対象物１つあたりの輪郭候補点の数を補って、
複数対象物の輪郭を正しく抽出することができる。

【００５３】またこの消滅手順によれば、対象物の輪郭
以外の位置で停止している輪郭候補点が削除され、誤っ
た輪郭抽出を避けることができる。 [STEP6a] 抽出完了判定抽出完了判定部７は、全輪郭候補点に移動がなく（∀i;
F(v_i)=0）、かつ、新たな輪郭候補点の生成・消滅がな
いとき（G_flag=0かつD_flag=0）、輪郭の抽出は完了した
と判定する。

【００５４】制御部８は、抽出完了判定部７により輪郭
の抽出が完了したと判定された場合には、輪郭抽出の処
理を終了し、それ以外はSTEP2aに戻る。

【００５５】以上の手順によれば、図５に示すように、
対象物（細胞）の集合全体を包含した初期の輪郭モデル
（図５(a)）が、変形過程で逐次交差・分裂することに
より（図５(b)〜(e)）、複数の対象物をそれぞれを独立
に抽出できていることがわかる（図５(f)）。

【００５６】以上説明したように、本実施例によれば、
輪郭モデルの交差を検出して複数に分裂させることによ
り、画像中の複数対象物の輪郭を自動的に抽出すること
ができる。（実施例２）次に、本発明の輪郭抽出装置に係る第２の
実施例について説明する。第１の実施例では、輪郭モデ
ルの交差又は接触を検出して、その輪郭モデルを複数に
分裂させることにより、画像中の複数の対象物の輪郭を
自動的に抽出できることを説明した。本実施例は、指定
した条件を満たす対象物のみを選択的に抽出できるよう
に考慮したものである。例えば、指定する条件として
は、対象物の大きさがある。第１の実施例では、細胞の
輪郭抽出を例として説明したが、医療診断においては特
定の大きさの細胞のみを抽出することが必要であること
が多い。

【００５７】図６は本実施例の構成図である。図１に示
した第１の実施例と同じ構成部分には同一番号を付して
いるので、同一番号を付した構成部分の詳細な説明は省
略する。第１の実施例の構成を基準にすれば、本実施例
は、更に、輪郭モデル記憶部２に記憶されている少なく
とも１つの輪郭モデルがあらかじめ定められた条件を満
たさないとき、その輪郭モデルを輪郭モデル記憶部２か
ら削除する輪郭モデル選択部１２を備えている。これに
より、大きさなどを考慮した対象物の選択的な抽出が可
能となる。

【００５８】次に、本実施例の動作について説明する。
図７は、本実施例における郭抽出装置の動作を示すフロ
ーチャートである。そのフローチャートにおけるSTEP1b
およびSTEP3b〜STEP7bは、それぞれ第１の実施例におけ
るSTEP1aおよびSTEP2a〜STEP6aと全く同様である為、異
なるSTEP2bについて説明する。 [STEP2b] 輪郭モデルの選択輪郭モデル選択部１２は、所定の条件を満たさない輪郭
モデルを輪郭モデル記憶部２から削除する。

【００５９】例えば、（数３）におけるE_areaに対する
しきい値を、その所定の条件として設定する。そして、
ある輪郭モデルのE_areaがそのしきい値以下であれば、
その輪郭モデルを輪郭モデル記憶部２から削除する。

【００６０】以上の手順により、図８に示すように、所
定の面積値を持たない輪郭モデルを逐次消滅させること
により、画像中央部分にある相対的に大きな細胞のみを
抽出することができる。

【００６１】以上説明したように、本実施例によれば、
各対象物の輪郭の抽出が完了した時点で、又は全ての対
象物の輪郭の抽出が完了した時点で、各輪郭モデルによ
る閉領域の面積（E_area）を算出することにより、所定
の面積よりも小さい、所定の面積よりも大きい、所定の
面積の範囲内にある、又は所定の面積の範囲外の輪郭モ
デルを削除することができる。これにより、所望の大き
さの対象物のみを抽出することができる。（実施例３）次に、本発明の輪郭抽出装置に係る第３の
実施例について説明する。第１、第２の実施例では、静
止した複数対象物の抽出について説明した。本実施例
は、移動する複数対象物の抽出を考慮したものである。
基本的には、エッジの動きの有無を検出し、動きのある
エッジのみを輪郭モデルにより滑らかに連結することに
より移動物体を抽出する。

【００６２】具体的には、時間的に連続して撮像された
複数の画像を用いて移動ベクトルを求める。輪郭モデル
を変形させる際に、その輪郭モデルの各輪郭候補点の位
置における移動ベクトルの大きさが、抽出対象の移動速
度（例えば１画素／フレーム）以下である時、画像エネ
ルギー（例えばE_edge）の重み係数（例えばW_edge）を0
とする。これにより、輪郭モデルを動きのあるエッジに
のみ引き寄せることができ、その動きのあるエッジを滑
らかに連結することにより、移動する複数対象物の輪郭
を抽出することができる。

【００６３】図９は、本実施例の構成図である。図１に
示した第１の実施例と同じ構成部分には同一番号を付し
ているので、同一番号の構成部分の詳細な説明は省略す
る。第１の実施例の構成を基準にすれば、本実施例は、
更に、時間的に連続して撮像された複数の画像から動き
を検出する動き検出部１３を備えている。また、画像記
憶部１には連続して撮像された複数の画像が記憶されて
いる。

【００６４】次に、本実施例の動作について説明する。
図１０は、本実施例の輪郭抽出装置の動作を示すフロー
チャートである。そのフローチャートにおけるSTEP2c及
びSTEP4c〜STEP7cは、それぞれ、第１の実施例のSTEP1a
及びSTEP3a〜STEP6aと同様であるため、異なるSTEP1c、
STEP3cのみについて説明する。本実施例では、図１１に
示すような居室内を歩いている人物を、移動物体として
抽出する。［STEP1c] 動きの検出動き検出部１３は、画像記憶部１に記憶されている複数
の画像から移動ベクトルを検出する。

【００６５】例えば、動き検出部１３は、勾配法に基づ
き最小２乗法により移動ベクトルを求める。勾配法で
は、画像の輝度I(x,y)の時間・空間に関する偏微分と、
物体の見かけの速度(u,v)=(dx/dt,dy/dt)に関する次の
拘束式が用いられる。

【００６６】

【数１０】Ix(x,y)u+Iy(x,y)v+It(x,y)=0 なお、Ix=∂I/∂x、Iy=∂I/∂y、It=∂I/∂tとする。

【００６７】今、画像中の局所的な小領域で移動ベクト
ルが同一、すなわち、局所的な小領域Sで（数１０）式
の拘束式が同じ解を持つと仮定すれば、移動ベクトル
は、次の（数１１）を最小にする(u,v)として求められ
る。

【００６８】

【数１１】E = Σ(Ix(i,j)u+Iy(i,j)v+It(i,j))² (i,j)∈S したがって、次の（数１２）により∂E/∂u=0, ∂E/∂v
=0を満たす(u,v)を求めればよい。

【００６９】

【数１２】 u = (ΣIxIy・ΣItIy - Σ(Iy)²・ΣItIx)/Det v = (ΣIxIy・ΣItIx - Σ(Ix)²・ΣItIy)/Det 但し、Ix, Iy, Itは、それぞれ、（数１１）に示したIx
(i, j), Iy(i, j), It(i, j)であり、i,jはそれぞれ画
像中の小領域Sに属する画素のx,y座標であり、Σは(i,
j)∈Sについて算出する。また、Detは次式により計算さ
れる。

【００７０】

【数１３】Det=Σ(Iy)²・Σ(Ix)² - (ΣIxIy)² [STEP3c] 輪郭モデルの変形輪郭モデル変形部３は、すべての輪郭候補点の位置を1
回移動させる。この際、STEP1cにより動きが検出されな
かった位置では、E_edgeの重み係数w_edgeを0にする。こ
れにより動きの検出されたエッジにのみ輪郭モデルが引
き寄せられる。

【００７１】以上の手順によれば、図１２に示すよう
に、勾配法により動きを検出し（図１２(a)）、輪郭候
補点の移動の際に、動きが検出されない位置で、E_edge
の重み係数w_edgeを0にすれば、動きのあるエッジにのみ
輪郭モデルを引き寄せることができる。これにより、本
実施例における輪郭抽出装置は、移動する複数の対象物
として、例えば歩行者を抽出することができる（図１２
(b)）。

【００７２】以上説明したように、本実施例によれば、
連続して撮像された複数の画像から動きを検出し、動き
のあるエッジのみを滑らかに連結することにより、複数
の移動物体を抽出することができる。（実施例４）次に、本発明の輪郭抽出装置の第４の実施
例について説明する。第１〜第３の実施例では、ＣＣＤ
カメラなどから得られる可視画像から対象物を抽出する
装置について説明した。しかしながら、可視画像の情報
のみでは人体などの抽出は困難であることが多い。本実
施例は、赤外線カメラから得られる熱画像を用いて人体
のような発熱物体を抽出するとともに、パーソナルコン
ピュータのＣＲＴなどの静止発熱機器と人体を識別でき
るように考慮したものである。

【００７３】図１３は、本実施例の構成図である。図１
に示した第１の実施例と同じ構成部分には同一番号を付
し、同じ構成部分の詳細な説明は省略する。第１の実施
例の構成を基準にすれば、本実施例は、更に、輪郭モデ
ル記憶部２に記憶されている輪郭候補点の近傍におい
て、動きを検出する輪郭モデル別動き検出部１４を備え
ている。また、画像記憶部１には時間的に連続して撮像
された複数の熱画像が記憶されている。

【００７４】これにより、動きの検出された輪郭モデル
は人体に対する輪郭モデルであるとして、静止発熱機器
に対する輪郭モデルと区別することができる。

【００７５】次に、本実施例の動作について説明する。
図１４は、本実施例の輪郭抽出装置の動作を示すフロー
チャートである。そのフローチャートにおけるSTEP1d〜
STEP6dは、それぞれ第１の実施例のSTEP1a〜STEP6aと全
く同様の手順であるため、異なるSTEP7dのみを説明す
る。［STEP7d］輪郭モデル別の動きの検出輪郭モデル別動き検出部１４は、［STEP6d］で抽出完了
と判定された少なくとも１つの輪郭モデルを構成する輪
郭候補点の近傍で、動きを検出する。

【００７６】例えば、第３の実施例における勾配法を用
いて、動きを検出してもよい。予め定められた数の輪郭
モデルの輪郭候補点について動きが検出されたとき、そ
の輪郭モデルは動きのある発熱物体（例えば人体）を抽
出していると判定する。

【００７７】以上の手順によれば、図１５に示すよう
に、輪郭モデル別に動きを検出することにより、人体と
静止発熱機器を識別することができる。

【００７８】以上説明したように、第４の実施例によれ
ば、時間的に連続して得られる熱画像を用いて輪郭モデ
ル別に動きを検出することにより、人体と静止発熱機器
を識別することが可能となる。

【００７９】

【発明の効果】以上のことから明らかなように、本発明
によれば、輪郭モデルの交差を検出して複数に分裂させ
ることにより、画像中の複数対象物の輪郭を自動的に抽
出することができる。したがって、人間の介在を必要と
しない画像の自動編集装置などが実現できる。

【００８０】また、本発明によれば、所定の条件を満た
さない輪郭モデルを削除することにより、例えば、所定
の大きさの物体のみを抽出することができる。したがっ
て、例えば特定の大きさの細胞のみを対象とするような
医療診断の自動化システムに応用できる。

【００８１】また、本発明によれば、連続して撮像され
た複数の画像から動きを検出し、動きのあるエッジのみ
を滑らかに連結することにより、複数の移動物体を抽出
することができる。したがって、例えば居室内で歩いて
いる人物のみを抽出することができるので、人間の活動
状態に適応した空調制御などに応用できる。

【００８２】更に、本発明によれば、連続して撮像され
た複数の熱画像を用いて輪郭モデル別に動きを検出する
ことにより、人体と静止発熱機器を識別することができ
る。したがって、人体のいる場所に空調機の吹き出し口
をむけるなど、在室者の状況に応じたきめ細かな空調制
御などが実現できる。

【図面の簡単な説明】

【図１】本発明の輪郭抽出装置に係る第１の実施例のブ
ロック図である。

【図２】本実施例の動作手順を示すフローチャートであ
る。

【図３】対象物（細胞）を含む画像の一例を示す図であ
る。

【図４】輪郭モデルの交差・分裂の一例を示す図であ
る。

【図５】対象物（細胞）抽出の様子を示す図である。

【図６】本発明の輪郭抽出装置に係る第２の実施例のブ
ロック図である。

【図７】本実施例の動作手順を示すフローチャートであ
る。

【図８】大きさを考慮した対象物（細胞）の抽出の様子
を示す図である。

【図９】本発明の輪郭抽出装置に係る第３の実施例のブ
ロック図である。

【図１０】本実施例の動作手順を示すフローチャートで
ある。

【図１１】移動対象物（歩行者）を含む画像の一例を示
す図である。

【図１２】動きの検出結果と移動物体（歩行者）の抽出
結果を示す図である。

【図１３】本発明の輪郭抽出装置に係る第４の実施例の
ブロック図である。

【図１４】本実施例の動作手順を示すフローチャートで
ある。

【図１５】人体と発熱機器の識別結果を示す図である。

【符号の説明】

１画像記憶部２輪郭モデル記憶部３輪郭モデル変形部４輪郭モデル交差検知部５輪郭モデル分裂部６輪郭候補点生成・消滅部７抽出完了判定部８制御部９撮像装置１０表示装置１１入力装置１２輪郭モデル選択部１３動き検出部１４輪郭モデル別動き検出部

Claims

【特許請求の範囲】

【請求項１】画像を記憶する画像記憶部と、前記画像に含まれる少なくとも１つの対象物を囲み、そ
の対象物の輪郭を抽出するための輪郭モデルを記憶する
輪郭モデル記憶部と、所定の規則に従って、前記輪郭モデルを収縮変形させる
輪郭モデル変形部と、前記輪郭モデル変形部により収縮変形される輪郭モデル
において、その輪郭モデルの一部がその輪郭モデルの別
の部分に接触又は交差している場合、その接触又は交差
を検出する輪郭モデル交差検出部と、その輪郭モデル交差検出部により接触又は交差が検出さ
れた場合、その接触又は交差に基づいて、前記輪郭モデ
ルを複数に分裂させる輪郭モデル分裂部と、前記対象物の輪郭の抽出が完了したか否かを判定する抽
出完了判定部とを備えたことを特徴とする輪郭抽出装
置。
【請求項２】前記輪郭モデル記憶部は、前記輪郭モデ
ルを構成する複数の輪郭候補点とそれらの連結順序とを
記憶することを特徴とする請求項１に記載の輪郭抽出装
置。
【請求項３】前記輪郭モデル記憶部に記憶されている
複数の輪郭候補点とそれらの連結順序は、それぞれ前記
輪郭モデル分裂部により分裂されて得られる複数の別の
輪郭モデルの各々を構成する複数の輪郭候補点とそれら
の連結順序に更新されることを特徴とする請求項２に記
載の輪郭抽出装置。
【請求項４】前記輪郭モデル変形部は、前記輪郭モデ
ルを構成する複数の輪郭候補点の各々を移動又は停止さ
せて、その輪郭モデルを収縮変形させることを特徴とす
る請求項２又は３に記載の輪郭抽出装置。
【請求項５】所定の条件を満たせば、前記輪郭モデル
に少なくとも１つの新規の輪郭候補点を追加し、及び／
又は前記輪郭モデルにおける少なくとも１つの輪郭候補
点を削除する輪郭候補点生成・消滅部を更に備えたこと
を特徴とする請求項２、３又は４に記載の輪郭抽出装
置。
【請求項６】前記輪郭モデル分裂部により分裂されて
得られる複数の別の輪郭モデルの各々が所定の条件を満
足しない場合、その満足しない輪郭モデルを前記輪郭モ
デル記憶部から削除する輪郭モデル選択部を更に備えた
ことを特徴とする請求項２から５の何れかに記載の輪郭
抽出装置。
【請求項７】前記画像記憶部は、前記画像に対して所
定の時間間隔をおいて連続する少なくとも１つの別の画
像を更に記憶し、前記輪郭抽出装置は、前記画像記憶部に記憶されている
複数の連続する画像に基づいて、移動ベクトルを検出す
る動き検出部を更に備えたことを特徴とする請求項１か
ら６の何れかに記載の輪郭抽出装置。
【請求項８】前記画像記憶部は、所定の時間間隔をお
いて連続する複数の画像を記憶し、前記輪郭抽出装置は、前記複数の画像の少なくとも１つ
の画像に対して、その輪郭抽出装置により抽出された少
なくとも１つの対象物の輪郭モデルを構成する各輪郭候
補点の所定範囲内で、移動ベクトルを検出する輪郭モデ
ル別動き検出部を更に備えたことを特徴とする請求項１
から６の何れかに記載の輪郭抽出装置。