JPH06325176A - 画像抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 輪郭指定後の輪郭収束処理に要する時間を短
くし、手入力による輪郭指定の影響を少なくし、しかも
誤った輪郭線への収束を防止すること。 【構成】 元画像メモリ４０内の元画像をディスプレイ
４６で表示し、輪郭指定手段によって輪郭を指定し、こ
の指定輪郭を輪郭収束手段によって所定の輪郭線に収束
し、この収束輪郭線内に元画像の一部を抽出する画像抽
出装置において、輪郭指定手段は、タブレット３０によ
る入力線分とディスプレイ４６上の元画像の輪郭線と交
差する交点を検出し、その交点情報を交点情報メモリ３
８に記憶するとともに、その交点情報に対応する交点を
連結して多角形輪郭線を形成し、指定輪郭として輪郭収
束手段に出力するように構成し、タブレット３０によっ
て元画像の輪郭線と交差する線分を入力するだけで指定
輪郭線を形成する交点が自動的に決まり、精度のよい輪
郭指定を行なうことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージシミュレーシ
ョンシステム、電子カタログ、ＣＭ製作機等において用
いられる画像抽出装置に関するものである。さらに詳し
くは、画像入力手段（例えばテレビカメラ）を用いて取
り込んだ元画像（または原画像ともいう）を元画像メモ
リに記憶するとともに画像表示部（例えばＣＲＴディス
プレイ）で表示し、輪郭指定手段によって輪郭を指定
し、輪郭収束手段によって輪郭指定手段が指定した輪郭
を所定の輪郭線に収束し、この収束した輪郭線内に元画
像の一部を抽出するようにした画像抽出装置に関するも
のである。

【０００２】

【従来の技術】一般に、この種の画像抽出装置は、主に
ＧＷＳ（グラフィックワークステーション）を利用した
システムを用い、半自動化した操作によって元画像（例
えば自然画）の中から一部（特定の人、物など対象物）
を抽出するものであるが、従来の画像抽出装置は、図５
および図６に示すような機能を実現する手段によって構
成されていた。

【０００３】すなわち、図６の（ａ）に示すような画像
表示部の表示画面１０上の元画像１２および対応する画
像データに対して、ポインティングデバイスの一例とし
てのタブレット（またはマウス）からの手入力に基づい
て、図６の（ｂ）に示すように元画像１２の中から抽出
する対象物（例えば人物）１４の輪郭の概略を表す粗輪
郭線１６を指定する（または対象物１４の外側を包囲す
る外輪郭線（図示省略）を指定する）。

【０００４】すると、画像抽出装置は、タブレットから
入力した概略輪郭情報を対応したメモリに記憶し、閉ル
ープが終了していれば「閉ループ終了か？」が「ＹＥ
Ｓ」となり、輪郭指定処理が終了する。閉ループが終了
していなければ「閉ループ終了か？」が「ＮＯ」とな
り、「閉ループ終了か？」が「ＹＥＳ」となるまでタブ
レットからの概略輪郭指定が繰り返される。

【０００５】輪郭指定処理が終了すると、画像抽出装置
は、自動輪郭収束プログラムに基づいたシステムの有す
る輪郭収束機能によって、粗輪郭線１６の細線化処理
（または動的輪郭モデル処理（ＳＮＡＫＥＳ））を行な
い、図６の（ｃ）に示すような所定の輪郭線１８に収束
し、この収束した輪郭線１８内に、図６の（ｄ）に示す
ように、対象物１４を抽出する。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
画像抽出装置では、タブレットからの手入力によって、
元画像１２の中から抽出する対象物１４の輪郭の概略を
表す粗輪郭線１６を指定したり、元画像１２の中から抽
出する対象物１４の外輪郭（図示省略）を指定して輪郭
指定を行なっていたので、つぎの（１）、（２）、
（３）に記述するような問題点が有った。

【０００７】（１）タブレットを用いた手入力による粗
輪郭線１６の入力時間を短くしようとすると、粗輪郭線
１６の中心線と抽出対象物１４の輪郭線とのずれが大き
くなり、輪郭指定後の輪郭収束処理に要する時間が長く
なるという問題点があった。 （２）輪郭収束処理として粗輪郭線１６の細線化処理を
選んだときには、粗輪郭線１６の中心線と抽出対象物１
４の輪郭線とのずれが大きい程、抽出画像の品質に悪影
響を与えるという問題点があった。

【０００８】（３）輪郭収束処理として動的輪郭モデル
処理（ＳＮＡＫＥＳ）を選んだときには、外輪郭線に接
した輝度の強い背景の線２０に引っ張られて、収束した
輪郭線１８の一部１８ａが図６の（ｃ）に実線で示すよ
うに誤った輪郭線（本来は二点鎖線１８ｔで示す輪郭
線）に収束し易く、抽出画像中に図６の（ｄ）に示すよ
うな背景線２０の一部２０ａが表示されてしまうという
問題点があった。

【０００９】本発明は上述の問題点に鑑みなされたもの
で、概略輪郭指定後の輪郭収束処理に要する時間を短く
することができ、手入力による輪郭指定の影響を少なく
することができ、しかも誤った輪郭線への収束を防止す
ることのできる画像抽出装置を提供することを目的とす
るものである。

【００１０】

【課題を解決するための手段】請求項１に記載の発明
は、元画像メモリに記憶した元画像を画像表示部で表示
し、輪郭指定手段によって輪郭を指定し、この指定した
輪郭を輪郭収束手段によって所定の輪郭線に収束し、こ
の収束した輪郭線内に前記元画像の一部を抽出するよう
にした画像抽出装置において、前記輪郭指定手段は、前
記画像表示部上の元画像の輪郭線と交差する線分を入力
するためのポインティングデバイスと、このポインティ
ングデバイスの入力線分と前記元画像の輪郭線との交点
を検出する交点検出手段と、この交点検出手段によって
検出した交点情報を記憶する交点情報メモリと、この交
点情報メモリ内の交点情報に対応する交点を連結する多
角形輪郭線を形成し、指定輪郭として前記輪郭収束手段
に出力する多角形輪郭線形成手段とを具備してなること
を特徴とするものである。

【００１１】請求項２に記載の発明は、前記請求項１の
発明の交点検出手段が、ポインティングデバイスから入
力した元画像の輪郭線にほぼ直交する線分上の画素の輝
度を検出する輝度検出手段と、この輝度検出手段で検出
した輝度の隣接画素間の差分を演算する差分演算手段
と、この差分演算手段で演算した差分が最大値となる画
素の位置を検出して交点情報として出力する最大値検出
手段とを具備してなることを特徴とするものである。

【００１２】請求項３に記載の発明は、前記請求項１の
発明の交点検出手段が、ポインティングデバイスから入
力した元画像の輪郭線にほぼ直交する線分上の画素の色
を検出する色検出手段と、この色検出手段で検出した色
の特定の色についての隣接画素間の成分差を検出する成
分差検出手段と、この成分差検出手段で検出した成分差
が最大値となる画素の位置を検出して交点情報として出
力する最大値検出手段とを具備してなることを特徴とす
るものである。

【００１３】

【作用】請求項１の発明による画像抽出装置では、その
輪郭指定手段はつぎのように作用する。すなわち、ポイ
ンティングデバイスによって画像表示部上の元画像の輪
郭線と交差する線分（例えば概略法線）を入力すると、
交点検出手段はポインティングデバイスの入力線分と元
画像の輪郭線との交点を検出し、検出した交点情報は交
点情報メモリに記憶され、多角形輪郭線形成手段は交点
情報メモリ内の交点情報に対応した交点を連結する多角
形輪郭線を形成し、指定輪郭として輪郭収束手段に出力
する。

【００１４】輪郭収束手段は多角形輪郭線形成手段で指
定した輪郭を抽出対象物に対応した所定の輪郭線に収束
する。ついで、装置が本来的に有する画像合成手段など
によって収束した輪郭線内に元画像の一部（すなわち抽
出対象画像）が抽出される。

【００１５】請求項２の発明による画像抽出装置では、
交点検出手段以外は前記請求項１の発明の作用と同様に
作用し、この交点検出手段はつぎのように作用する。す
なわち、輝度検出手段はポインティングデバイスから入
力した元画像の輪郭線にほぼ直交する線分（すなわち概
略法線）上の画素の輝度を検出し、差分演算手段は隣接
画素間の輝度の差分を演算し、最大値検出手段は差分が
最大となる画素の位置を検出し、これを交点情報として
多角形輪郭線形成手段に出力する。

【００１６】請求項３の発明による画像抽出装置では、
交点検出手段以外は前記請求項１の発明の作用と同様に
作用し、この交点検出手段はつぎのように作用する。す
なわち、色検出手段はポインティングデバイスから入力
した元画像の輪郭線にほぼ直交する線分（すなわち概略
法線）上の画素の色を検出し、成分差検出手段は特定の
色についての隣接画素間の成分差を検出し、最大値検出
手段は成分差が最大となる画素の位置を検出し、これを
交点情報として多角形輪郭線形成手段に出力する。

【００１７】

【実施例】以下、本発明による画像抽出装置の一実施例
を図１から図４までを用いて説明する。これらの図にお
いて図６と同一部分は同一符号とする。図１において、
３０は画像表示部や計算機に位置情報を入力するための
ポインティングデバイスの一例としてのタブレットで、
このタブレット３０はインタフェース３２を介してマイ
クロプロセッサ３４に結合されている。

【００１８】前記マイクロプロセッサ３４には、本発明
に特有の輪郭指定処理を行なうためのプログラムや従来
例と同様な輪郭収束処理などを行なうためのプログラム
を格納したＲＯＭ（リード・オンリ・メモリ）３６と、
本発明に特有の交点情報を記憶するための交点情報メモ
リ（例えばＲＡＭ）３８と、元画像を記憶するための元
画像メモリ（例えばＶＲＡＭ）４０と、輪郭情報を記憶
するための輪郭メモリ（例えばＶＲＡＭ）４２とが結合
し、前記元画像メモリ４０および輪郭メモリ４２には、
ディスプレイコントローラ４４を介して画像表示部の一
例としてのＣＲＴディスプレイ４６が結合している。

【００１９】前記マイクロプロセッサ３４は、前記ＲＯ
Ｍ３６内の輪郭指定処理プログラムに基づいて、つぎの
（ａ）〜（ｆ）に示すような処理を行なうように構成さ
れている。 （ａ）タブレット３０からの線分入力によりＣＲＴディ
スプレイ４６上に対応した線分を表示する線分表示機
能。 （ｂ）タブレット３０からの入力による線分上（例えば
元画像の輪郭線とほぼ直交する概略法線上）の画素の輝
度を検出する輝度検出機能。

【００２０】（ｃ）前記（ｂ）の画素輝度検出機能で検
出した輝度についての隣接画素間の輝度の差分を演算す
る差分演算機能。 （ｄ）前記（ｃ）の差分演算機能で求めた差分を比較し
て最大値を与える画素の位置を交点として検出する最大
値検出機能。 （ｅ）前記（ｄ）の交点検出機能で検出した交点情報を
前記交点情報メモリ３８に書き込む交点情報書込機能。

【００２１】（ｆ）前記（ｅ）で書き込んだ交点情報メ
モリ３８内の交点情報に対応した交点を連結して多角形
輪郭線を形成する多角形輪郭線形成機能。 前記（ｂ）の輝度検出機能、前記（ｃ）の差分演算機能
および前記（ｄ）の最大値検出機能は、前記（ａ）の線
分表示機能による線分と前記元画像１２の輪郭線との交
点を検出する交点検出機能を構成している。

【００２２】つぎに、図１の実施例の作用を図２〜図４
を併用して説明する。 （イ）まず、従来例と同様にして、テレビカメラのよう
な画像入力装置で取り込まれた元画像についての画像デ
ータが元画像メモリ４０に記憶されるとともに、ディス
プレイコントローラ４４で制御されるＣＲＴディスプレ
イ４６の表示画面１０上に、図４の（ａ）に示すような
元画像１２が表示される。

【００２３】（ロ）ついで、ＲＯＭ３６内のプログラム
を用いたマイクロプロセッサ３４の線分表示機能によっ
て、タブレット３０からの入力に基づき、図４の（ｂ）
に示すように、ＣＲＴディスプレイ４６の表示画面１０
の元画像１２の中から抽出したい対象物（例えば人物）
１４の輪郭線５２にほぼ直交する概略法線５０、５０、
５０、…が描かれる。

【００２４】前記（ロ）で描かれる概略法線５０、５
０、５０、…は、交点情報の精度を高くするために輪郭
線５２の形状が複雑な部分ほど多く引くことが望まし
く、また、強い背景線２０に引っ張られて誤入力となる
のを防止するために、強い背景線２０と輪郭線５２との
交差部分を避けて引くことが望ましい。

【００２５】（ハ）ついで、ＲＯＭ３６内のプログラム
を用いたマイクロプロセッサ３４の輝度検出機能によっ
て、概略法線５０、５０、５０、…上の画素の輝度が検
出される。この輝度検出は、例えば、図２の（ａ）に示
すような元画像の輪郭線５２にほぼ直交する概略法線５
０上の画素〜について、同図の（ｂ）に示す棒グラ
フの長さで表わされるような輝度レベルを検出する。

【００２６】なお、図２では、図示の便宜上、輪郭線５
２の太さに対して画素〜の大きさを誇張して表示
し、画素個数を少なめに表示している。また、図２の
（ａ）においては、輪郭線５２の右側の斜線を施した領
域の輝度レベルは、輪郭線５２の左側の斜線を施さない
領域の輝度レベルより大きいものとしている。

【００２７】（ニ）ついで、ＲＯＭ３６内のプログラム
を用いたマイクロプロセッサ３４の差分演算機能によっ
て、前記（ハ）で検出した各概略法線５０、５０、５０
上の画素の輝度について、隣接画素間の輝度の差分を演
算する。例えば、図２の（ａ）に示す概略法線５０上の
画素〜について、同図の（ｂ）に示す輝度レベルの
隣接画素間の差分を演算する。

【００２８】（ホ）ついで、ＲＯＭ３６内のプログラム
を用いたマイクロプロセッサ３４の最大値検出機能と交
点情報書込機能とによって、前記（ニ）によって各概略
法線毎に求めた差分を比較し、各概略法線毎に最大値を
検出し、最大値を与える画素の位置を交点とし、その交
点情報を交点情報メモリに書き込むとともに、図４の
（ｂ）に示すように、表示画面上に交点５４、５４、５
４、…を表示する。例えば、図２の（ａ）、（ｂ）では
画素についての輝度の差分が最大となり、画素の位
置を交点５４と検出する。

【００２９】（ヘ）ついで、ＲＯＭ３６内のプログラム
を用いたマイクロプロセッサ３４の多角形輪郭線形成機
能によって、前記（ホ）で検出した交点を既検出の交点
（例えば直前に検出した交点）と連結する処理を行な
い、図４の（ｃ）に示すように、多角形輪郭線５６が形
成されると、「多角形輪郭線形成？」が「ＹＥＳ」とな
り、交点の追加がなければ、「交点を追加か？」が「Ｎ
Ｏ」となり、輪郭指令処理が終了する。形成した多角形
輪郭線５６と抽出対象物１４の輪郭線５２とのずれが大
きい場合のように、交点を追加するときは、「交点を追
加か？」が「ＹＥＳ」となり、前記（ロ）に戻る。

【００３０】（ト）前記（ヘ）で交点を追加し、その交
点を既に形成されている多角形輪郭線５６に組み込むと
きは、追加した交点の両側に隣接する既検出の交点と連
結するか、または連結すべき既検出の交点をタブレット
３０によって指示することによって、自動的に組み込ま
れる。

【００３１】（チ）前記（ヘ）で輪郭指令処理が終了す
ると、マイクロプロセッサ３４がＲＯＭ３６に格納され
ている輪郭収束処理プログラムを実行することによっ
て、図４の（ｃ）に示す多角形輪郭線５６が図４の
（ｄ）に示すような所定の輪郭線５８に自動的に収束
し、その輪郭線データが輪郭メモリ４２に記録される。

【００３２】（リ）ついで、ディスプレイコントローラ
４４が元画像メモリ４０内の元画像１２の情報と輪郭メ
モリ４２内の輪郭線５８の情報とを読み出して合成し、
元画像１２の中から収束輪郭線５８で抽出した、図４の
（ｅ）に示すような抽出画像１４を表示する。

【００３３】前記実施例では、輪郭指定手段中の多角形
輪郭線形成手段は、交点検出手段で交点を検出したら、
その都度検出交点を既検出交点と連結することによって
多角形輪郭線を形成するようにしたが、本発明はこれに
限るものでなく、多角形を形成するのに必要な交点情報
を交点情報メモリに書き込む処理が終了してから、交点
情報メモリ内の交点情報に対応した交点を連結して多角
形輪郭線を形成するようにしてもよい。

【００３４】前記実施例では、交点検出手段は、タブレ
ット入力による概略法線上の画素の輝度を検出する輝度
検出手段と、この検出した輝度の隣接画素間の差分を演
算する差分演算手段と、この演算した差分が最大値とな
る画素の位置を検出して交点情報として出力する最大値
検出手段とで形成するようにしたが、本発明はこれに限
るものでなく、タブレットによる入力線分と元画像の輪
郭線とが交差する交点を検出するものであればよい。

【００３５】例えば、タブレット入力による概略法線上
の画素の色を検出する色検出手段と、この検出した色の
特定の色についての隣接画素間の成分差を検出する成分
差検出手段と、この検出した成分差が最大値となる画素
の位置を検出して交点情報として出力する最大値検出手
段とで形成するようにしてもよい。

【００３６】前記実施例では、タブレットによる入力線
分は、元画像の輪郭線とほぼ直交する法線（すなわち概
略法線）としたが、本発明はこれに限るものでなく、元
画像の輪郭線と交差して交点を形成するものであればよ
い。

【００３７】

【発明の効果】請求項１の発明による画像抽出装置は、
上記のように、ポインティングデバイスによって元画像
の輪郭線と交差する線分を入力するだけで指定輪郭線を
形成するための交点が自動的に決まるように構成したの
で、従来例の粗輪郭線や外輪郭線のように抽出対象物の
輪郭線にできるだけ近づけて輪郭線を入力する必要がな
く、作業性を向上させることができる。

【００３８】しかも、交点検出手段で検出した交点を連
結する多角形輪郭線を、輪郭収束手段への指定輪郭線と
するように構成したので、従来の粗輪郭線や外輪郭線に
よる輪郭指定と比べて精度のよい輪郭指定を行なうこと
ができる。このため、輪郭指定後の輪郭収束処理に要す
る時間を短くすることができ、手入力による輪郭指定の
影響を少なくすることができ、しかも誤った輪郭線への
収束を防止することができる。

【００３９】請求項２の発明による画像抽出装置は、前
記請求項１の発明の効果を有する外に、つぎのような効
果を有する。すなわち、輪郭指定手段中の交点検出手段
によって、元画像の輪郭線にほぼ直交する線分（すなわ
ち概略法線）上の画素の輝度が最大となる画素の位置情
報を交点情報として多角形輪郭線形成手段に出力するよ
うに構成したので、交点位置情報の精度をさらに高める
ことができ、手入力による輪郭指定の影響をさらに少な
くすることができ、しかも誤った輪郭線への収束をさら
に防止することができる。

【００４０】請求項３の発明による画像抽出装置は、前
記請求項１の発明の効果を有する外に、つぎのような効
果を有する。すなわち、輪郭指定手段中の交点検出手段
によって、元画像の輪郭線にほぼ直交する線分（すなわ
ち概略法線）上の画素の色の特定の色についての成分が
最大となる画素の位置情報を、交点情報として多角形輪
郭線形成手段に出力するように構成したので、交点位置
情報の精度をさらに高めることができ、手入力による輪
郭指定の影響をさらに少なくすることができ、しかも誤
った輪郭線への収束をさらに防止することができる。

【図面の簡単な説明】

【図１】本発明による画像抽出装置の一実施例を示す概
略構成図である。

【図２】図１のマイクロプロセッサによる交点検出機能
を説明する説明図で、（ａ）は輪郭線とその概略法線が
交差している状態を説明し、（ｂ）は概略法線上の画素
の輝度レベルの大きさを説明する説明図である。

【図３】図１の輪郭指令手段の作用を説明するフローチ
ャートである。

【図４】図１の作用をＣＲＴディスプレイ上の表示画像
とともに説明する説明図で、（ａ）は元画像を表示して
いる状態を説明し、（ｂ）は概略法線と輪郭線との交点
を表示している状態を説明し、（ｃ）は多角形輪郭線を
表示している状態を説明し、（ｄ）は輪郭収束手段によ
って輪郭線を収束した状態を説明し、（ｅ）は抽出画像
を表示している状態を説明する説明図である。

【図５】従来装置の作用の概略を説明するフローチャー
トである。

【図６】従来装置の作用を画像表示部の表示画像ととも
に説明する説明図で、（ａ）は元画像を表示している状
態を説明し、（ｂ）は粗輪郭線を表示している状態を説
明し、（ｃ）は輪郭収束手段によって輪郭線を収束した
状態を説明し、（ｄ）は抽出画像を表示している状態を
説明する説明図である。

【符号の説明】

１０…表示画面、 １２…元画像、１４…抽出対象物
（例えば人物）、３０…タブレット（ポインティングデ
バイスの一例）、３４…マイクロプロセッサ、 ３６…
ＲＯＭ、３８…交点情報メモリ、 ４０…元画像メモ
リ、４２…輪郭メモリ、 ４６…ＣＲＴディスプレイ、
５０…概略法線（入力線分の一例）、 ５２…元画像１
２の輪郭線、５４…交点、 ５６…多角形輪郭線、５８
…収束輪郭線。

Claims (3)

【特許請求の範囲】
1. 【請求項１】元画像メモリに記憶した元画像を画像表示
   部で表示し、輪郭指定手段によって輪郭を指定し、この
   指定した輪郭を輪郭収束手段によって所定の輪郭線に収
   束し、この収束した輪郭線内に前記元画像の一部を抽出
   するようにした画像抽出装置において、前記輪郭指定手
   段は、前記画像表示部上の元画像の輪郭線と交差する線
   分を入力するためのポインティングデバイスと、このポ
   インティングデバイスの入力線分と前記元画像の輪郭線
   との交点を検出する交点検出手段と、この交点検出手段
   によって検出した交点情報を記憶する交点情報メモリ
   と、この交点情報メモリ内の交点情報に対応する交点を
   連結する多角形輪郭線を形成し、指定輪郭として前記輪
   郭収束手段に出力する多角形輪郭線形成手段とを具備し
   てなることを特徴とする画像抽出装置。
2. 【請求項２】交点検出手段は、ポインティングデバイス
   から入力した元画像の輪郭線にほぼ直交する線分上の画
   素の輝度を検出する輝度検出手段と、この輝度検出手段
   で検出した輝度の隣接画素間の差分を演算する差分演算
   手段と、この差分演算手段で演算した差分が最大値とな
   る画素の位置を検出して交点情報として出力する最大値
   検出手段とを具備してなる請求項１記載の画像抽出装
   置。
3. 【請求項３】交点検出手段は、ポインティングデバイス
   から入力した元画像の輪郭線にほぼ直交する線分上の画
   素の色を検出する色検出手段と、この色検出手段で検出
   した色の特定の色についての隣接画素間の成分差を検出
   する成分差検出手段と、この成分差検出手段で検出した
   成分差が最大値となる画素の位置を検出して交点情報と
   して出力する最大値検出手段とを具備してなる請求項１
   記載の画像抽出装置。