JPH09186935A

JPH09186935A - 画像抽出装置

Info

Publication number: JPH09186935A
Application number: JP34388595A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-12-28
Filing date: 1995-12-28
Publication date: 1997-07-15

Abstract

(57)【要約】【課題】撮像条件が異なる複数の画像から特定被写体
画像を効率的に、かつ安定的に抽出できるようにする。【解決手段】撮像条件が異なる複数の画像を画像デー
タ比較手段Ｅにより比較するとともに、上記画像データ
比較手段Ｅの比較結果に基づいて初期輪郭設定手段Ｆが
初期輪郭を設定し、さらに、上記設定された初期輪郭に
基づいて背景画像領域除去手段Ｇにより背景画像領域を
除去するようにすることにより、特定被写体の画像抽出
を高速に、かつ安定的に行うことができるようにして、
背景画像領域の残存分の除去に要する演算時間を減縮で
きるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像抽出装置に係わ
り、特に、画像切り出し機能を有する画像抽出装置に用
いて好適なものである。

【０００２】

【従来の技術】従来、画像切り出し（抽出）を行う一般
的な手法としては、特定の色背景を用いるクロマキーや
画像処理（ヒストグラム処理、差分、微分処理、輪郭強
調、輪郭追跡など）によりキー信号を生成するビデオマ
ット（テレビジョン学会技術報告、vol.12,pp.29-34,19
88) などの手法が知られる。

【０００３】また、画像から特定領域を抽出する他の装
置として、特公平6-9062号公報に開示される手法におい
ては、空間フィルタによって得られる微分値を２値化し
て境界線を検出し、境界線で仕切られる連結領域にラベ
ル付けを行い、同じラベルを有する領域を抽出するよう
にしている。

【０００４】ところで、背景画像との差分に基づいて画
像抽出を行う手法は古典的なものであり、最近は特開平
4-216181号公報において、背景画像と処理対象画像との
差分データにマスク画像（特定処理領域のこと）を設定
して画像中の複数の特定領域における対象物体を抽出ま
たは検出を行う手法が開示されている。

【０００５】また、特公平7-16250 号公報に係わる方式
では、抽出対象の色彩モデルを用いて背景を含む現画像
の色彩変換データ、背景画像と現画像との明度の差デー
タから抽出対象の存在確率分布を求めるようにしてい
る。

【０００６】また、画像から対象物の外輪郭線を抽出し
て特定物体画像を抽出する技術の一つに、いわゆる動的
輪郭法（M.Kass et al.,"Snakes:Active Contour Model
s,"International Journal of Computer Vision,vol.1,
pp.321-331,1987 ）が知られている。

【０００７】上記手法においては、一例として対象物を
包囲するように適切に設定された初期輪郭が移動、変形
して最終的に対象物の外形に収束する。動的輪郭法では
典型的には次のような処理が行われる。すなわち、各点
の座標を記述するためのパラメータ_sを用いて表される
輪郭線u(s)=(x(s),y(s))に対し、評価関数、

【０００８】

【数１】

【０００９】を最小にする輪郭線形状ｕ(s) を求める。
ここに、

【００１０】

【数２】

【００１１】I(u(s)) は、u(s)上の輝度レベルを表し、
α(s) 、β(s) 、woはユーザが適宜定める。このように
輪郭線に関して定めた上記のような評価関数の最小化に
より、対象の輪郭線を求める手法（動的輪郭法）におい
て、初期輪郭の設定法としては特開平6-138137号公報、
特開平6-251148号公報、特開平6-282652号公報などに開
示されている設定法がある。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来例のうちクロマキー方式は背景の制約が大きく屋外で
使えないこと、色ぬけなどの問題点がある。また、ビデ
オマット方式は輪郭の指定作業は人間が画素単位で正確
に行う必要があり、そのためには労力と熟練を要すると
いう問題点があった。

【００１３】また、背景画像との差分を利用する方式
は、一般的に、被写体を除いた背景のみの画像を撮像で
きない場合（被写体が巨大である場合など）には適用で
きず、また、ユーザ側の負荷もあるという問題がある。

【００１４】また、撮像条件（カメラパラメータおよび
照明などの外的条件）を考慮していないために、背景画
像と抽出すべき被写体込みの画像とを同じ撮像条件、同
一固定位置で得なければ差分データからの抽出対象領域
の判定誤差が非常に大きくなるという問題点があった。
また、特公平7-16250 号公報に記載されている方式は、
抽出対象の色彩モデルを必要とするので、未知物体の画
像を抽出する場合には不向きである。

【００１５】また、上述した動的輪郭法の初期輪郭設定
法のうち、特開平6-138137号公報においてはフレーム間
差分に基づいて動きのある物体領域の検出と、その領域
近傍での輪郭抽出（変化領域の最大勾配エッジ探索）に
基づいて輪郭線の検出が行われ、任意の背景中の静止物
体には適用できない問題があった。

【００１６】また、特開平6-282652号公報では、画像か
らエッジの強い特徴点を抽出し、特徴点集合から評価関
数に基づいて評価値の高い点を選択して初期輪郭を設定
するものであるが、背景画像が無地または画像データが
なだらかに変化ものである必要があった。

【００１７】本発明は上述の問題点にかんがみ、第１の
目的は、撮像条件が異なる複数の画像から特定被写体画
像を効率的に、かつ安定的に抽出できるようにすること
である。

【００１８】本発明の第２の目的は、変形および移動す
る物体へ対応することができ、かつ高速な画像抽出を行
うことができるようにすることであり、特に、倍率一定
の条件の下で撮像条件の異なる他の複数画像を用いた画
像抽出を行うようにすることである。

【００１９】本発明の第３の目的は、動的輪郭処理の収
束安定化、および高精度化を実現することである。

【００２０】本発明の第４の目的は、少ない演算量で安
定した初期輪郭データを抽出できるようにすることであ
る。

【００２１】本発明の第５の目的は、ノイズの影響を抑
制して、少ないデータで安定した画像抽出を行うことが
できるようにすることである。

【００２２】本発明の第６の目的は、安定した抽出精度
で画像抽出を行うことができるようにすることである。

【００２３】本発明の第７の目的は、背景物体の画像の
影響を抑制して、少ない演算量で高速かつ安定した特定
対象の輪郭抽出と画像抽出とを行うことができるように
することである。

【００２４】本発明の第８および第９の目的は、抽出し
たい被写体の内部または背景の境界線（輪郭線）付近の
一点を、マウスなどの指示手段を用いて指示するだけ
で、初期輪郭線を自動的に、かつ高精度に設定できるよ
うにすることである。

【００２５】

【課題を解決するための手段】本発明の画像抽出装置
は、異なる撮像条件で複数の画像を撮像して入力する画
像入力手段と、上記画像入力手段の撮像条件を制御する
撮像条件制御手段と、上記画像入力手段の撮像条件を記
録するとともに再生するための記録再生手段と、上記画
像入力手段によって撮像された画像を記憶するための画
像記憶手段と、上記画像記憶手段に記憶された複数の画
像のうち、少なくとも一対の画像データを比較する画像
データ比較手段と、上記画像データ比較手段による比較
結果に基づいて初期輪郭を設定する初期輪郭設定手段
と、上記初期輪郭設定手段によって設定された初期輪郭
内の背景画像領域を除去する背景画像領域除去手段と、
上記背景画像領域除去手段の出力に基づいて画像切り出
し処理を行う画像切り出し処理手段とを具備している。

【００２６】また、本発明の他の特徴とするところは、
上記背景画像領域除去手段は、所定の評価関数値に基づ
いて上記輪郭を変形および移動させる変形／移動手段
と、上記評価関数値に基づいて収束判定を行う収束判定
手段とを具備することを特徴としている。

【００２７】また、本発明のその他の特徴とするところ
は、異なる撮像条件で複数の画像を撮像して入力する画
像入力手段と、上記画像入力手段の撮像条件を制御する
撮像条件制御手段と、上記画像入力手段の撮像条件を記
録するとともに再生する記録再生手段と、上記画像入力
手段によって撮像された画像を記憶する画像記憶手段
と、上記画像記憶手段に記憶された複数の画像のうち、
少なくとも一対の画像データを比較する画像データ比較
手段と、上記画像データ比較手段で比較する画像データ
を選択して指示する選択指示手段と、上記画像データ比
較手段による比較結果に基づいて初期輪郭を設定する初
期輪郭設定手段と、上記初期輪郭設定手段によって設定
された初期輪郭データに基づいて画像生成を行う画像生
成手段と、上記初期輪郭および上記初期輪郭内の画像デ
ータを修整する初期輪郭／初期輪郭内画像データ修整手
段と、上記修整手段によって修正された後の初期輪郭内
の背景画像領域を除去する背景画像領域除去手段と、上
記背景画像領域除去手段の出力に基づいて画像切り出し
処理を行う画像切り出し処理手段とを具備することを特
徴としている。

【００２８】また、本発明のその他の特徴とするところ
は、上記画像入力手段の撮像条件は、画像のピントまた
は合焦レベルであり、上記撮像条件制御手段は上記画像
入力手段に設けられている結像光学系の配置を制御する
ことを特徴としている。

【００２９】また、本発明のその他の特徴とするところ
は、上記画像データ比較手段は、上記複数画像の差分デ
ータを出力し、上記初期輪郭設定手段は上記画像データ
比較手段から出力される差分データの代表点列を抽出す
る処理を行う代表点列抽出処理手段を具備すること特徴
としている。

【００３０】また、本発明のその他の特徴とするところ
は、上記撮像条件制御手段は、複数の画像の統計量に基
づいて制御幅を設定することを特徴としている。

【００３１】また、本発明のその他の特徴とするところ
は、上記初期輪郭設定手段は、上記差分データ中の所定
の点を中心とする局所領域を再帰的に設定する再帰的設
定手段と、上記局所領域内の差分データの代表点列を抽
出する処理を行う代表点列抽出処理手段とを具備するこ
とを特徴としている。

【００３２】また、本発明のその他の特徴とするところ
は、上記初期輪郭設定手段は、背景画像領域と切り出し
対象との境界付近にあり、かつ上記切り出し対象領域内
にある所定の点を中心とする局所領域内の輪郭点位置を
探索するための輪郭点位置探索手段と、上記輪郭点を起
点とする輪郭追跡を行う輪郭追跡手段とを具備すること
を特徴としている。

【００３３】また、本発明のその他の特徴とするところ
は、上記初期輪郭設定手段は、背景画像領域と切り出し
対象との境界付近にあり、かつ上記背景画像領域内にあ
る所定の点を中心とする局所領域内の輪郭点位置探索を
行う輪郭点位置探索手段と、上記輪郭点位置探索手段に
よって探索された輪郭点位置を起点とする輪郭追跡を行
う輪郭追跡手段とを具備することを特徴としている。

【００３４】

【作用】本発明は上記技術手段よりなるので、第１の発
明によれば、撮像条件が異なる複数の画像の比較結果に
基づいて初期輪郭が設定され、それに基づいて背景画像
領域が除去されるので、特定被写体の画像抽出を高速
に、かつ安定に行うことが可能となる。

【００３５】第２の発明によれば、撮像条件が異なる複
数の画像から動的輪郭処理の抽出被写体の輪郭線に近い
初期輪郭が設定されるので、特定対象の自動抽出および
動く対象の動画像抽出を高速に行うことが可能となる。

【００３６】第３の発明によれば、撮像条件が異なる複
数の画像から抽出された初期輪郭データがインタラクテ
ィブに修整されて適切に設定されることにより、特定被
写体の抽出を高精度に行うことが可能となる。

【００３７】第４の発明によれば、撮像条件としてピン
ト（合焦レベル）の異なる２画像の差分データが用いら
れることにより、照明条件などに左右されずに安定した
画像抽出が可能となる。

【００３８】第５の発明によれば、複数の画像の差分デ
ータの代表点列が抽出されるので、ノイズ等の影響が排
除され、高精度で安定的な画像抽出が可能となる。

【００３９】第６の発明によれば、撮像条件が異なる２
画像から特定被写体を抽出する際に、撮像条件の制御量
が画像データに基づいて適切に設定されるので、画像抽
出を行うのに適した撮像条件が自動的に制御されるよう
になる。

【００４０】第７の発明によれば、抽出対象の輪郭付近
の局所領域内において２値化閾値の設定、平滑化、細線
化処理などの代表点列抽出処理が行われるので、背景画
像領域の画像データによる画像抽出精度の劣化が抑制さ
れ、特定対象の輪郭抽出と輪郭内の画像抽出を少ない演
算量で高速に、かつ安定的に行うことが可能となる。

【００４１】第８の発明によれば、輪郭追跡の際に輪郭
線方向に対する背景物体の存在側の判定および輪郭線に
隣接する背景部画像データの属性が自動的に得られ、画
像抽出精度を大幅に向上することが可能となる。

【００４２】第９の発明によれば、輪郭追跡の際に輪郭
線方向に対する抽出対象部の存在側の判定および輪郭線
に隣接する対象部の画像データの属性が自動的に得ら
れ、画像抽出精度を大幅に向上することが可能となる。

【００４３】

【発明の実施の形態】以下、本発明の画像抽出装置の実
施形態を図面を参照して説明する。図１は、本発明の画
像抽出装置の要部構成を示す機能構成図である。図１に
おいて、Ａは画像入力手段、Ｂは撮像条件制御手段、Ｃ
は記録再生手段、Ｄは画像記憶手段、Ｅは画像データ比
較手段、Ｆは初期輪郭設定手段、Ｇは背景画像領域除去
手段、Ｈは画像切り出し処理手段、Ｊは選択指示手段、
Ｋは画像生成手段、Ｌは修整手段である。

【００４４】上記画像入力手段Ａは、異なる撮像条件で
複数の画像を撮像して入力するためのものである。撮像
条件制御手段Ｂは、上記画像入力手段Ａの撮像条件を制
御するためのものである。なお、上記画像入力手段Ａの
撮像条件は、例えば、画像のピントまたは合焦レベルで
ある。

【００４５】上記撮像条件制御手段Ｂは、上記画像入力
手段Ａに設けられている結像光学系の配置を制御するよ
うにしている。また、上記撮像条件制御手段Ｂは、複数
の画像の統計量に基づいて制御幅を設定するようにして
いる。

【００４６】記録再生手段Ｃは、上記画像入力手段Ａの
撮像条件を記録するとともに再生するためのものであ
る。画像記憶手段Ｄは、上記画像入力手段Ａによって撮
像された画像を記憶するためのものである。

【００４７】画像データ比較手段Ｅは、上記画像記憶手
段Ｄに記憶された複数の画像のうち、少なくとも一対の
画像データを比較するためのものであり、比較結果とし
て、上記複数画像の差分データを出力する。

【００４８】初期輪郭設定手段Ｆは、上記画像データ比
較手段Ｅによる比較結果に基づいて初期輪郭を設定する
ものであり、上記画像データ比較手段Ｅから出力される
差分データの代表点列を抽出する処理を行うとともに、
上記局所領域内の差分データの代表点列を抽出する処理
を行う代表点列抽出処理手段（図示せず）を具備してい
る。

【００４９】また、上記初期輪郭設定手段Ｆは、上記差
分データ中の所定の点を中心とする局所領域を再帰的に
設定する再帰的設定手段（図示せず）を具備している。

【００５０】さらに、上記初期輪郭設定手段Ｆは、背景
画像領域と切り出し対象との境界付近にあり、かつ上記
切り出し対象領域内にある所定の点を中心とする局所領
域内の輪郭点位置を探索するとともに、背景画像領域と
切り出し対象との境界付近にあり、かつ上記背景画像領
域内にある所定の点を中心とする局所領域内の輪郭点位
置探索を行う輪郭点位置探索手段（図示せず）と、上記
輪郭点を起点とする輪郭追跡を行う輪郭追跡手段（図示
せず）とを具備している。さらに、上記初期輪郭設定手
段Ｆには、上記輪郭点位置探索手段によって探索された
輪郭点位置を起点とする輪郭追跡を行う輪郭追跡手段が
設けられている。

【００５１】上記背景画像領域除去手段Ｇは、上記初期
輪郭設定手段Ｆによって設定された初期輪郭内の背景画
像領域、或いは、上記修整手段Ｌによって修正された後
の初期輪郭内の背景画像領域を除去する。また、上記背
景画像領域除去手段Ｇは、所定の評価関数値に基づいて
上記輪郭を変形および移動させる変形／移動手段と、上
記評価関数値に基づいて収束判定を行う収束判定手段
（共に図示せず）とを具備している。

【００５２】上記画像切り出し処理手段Ｈは、上記背景
画像領域除去手段Ｇの出力に基づいて画像切り出し処理
を行うためのものである。上記選択指示手段Ｊは、上記
画像データ比較手段Ｅで比較する画像データを選択して
指示するためのものである。

【００５３】上記画像生成手段Ｋは、上記初期輪郭設定
手段Ｆによって設定された初期輪郭データに基づいて画
像生成を行うためのものである。上記修整手段Ｌは、上
記初期輪郭および上記初期輪郭内の画像データを修整す
るためのものである。

【００５４】このように、構成された画像抽出装置によ
れば、撮像条件が異なる複数の画像の比較結果に基づい
て初期輪郭を設定し、それに基づいて背景画像領域を除
去するので、特定被写体の画像抽出を高速かつ安定に行
うことができるようにする。これにより、画像処理を行
って特定被写体を抽出するに先だって、撮像条件が異な
る複数の画像から被写体の近似的輪郭線（背景との境界
線）を高速に、かつ安定的に求めることができるように
なり、背景画像領域の残存分の除去に要する演算時間を
大幅に減縮することができる。

【００５５】また、本発明の他の特徴によれば、撮像条
件が異なる複数の画像から動的輪郭処理の抽出被写体の
輪郭線に近い初期輪郭を設定するので、特定対象の自動
抽出および動く対象の動画像抽出を高速に行うことがで
きる。これにより、近似的輪郭線の変形および移動処理
により、動画像から動的被写体抽出を行うことができる
とともに、高速画像抽出を行うことができる。

【００５６】また、本発明その他の特徴によれば、撮像
条件が異なる複数の画像から抽出された初期輪郭データ
をインタラクティブに修整して適切に設定することがで
きるので、特定被写体の抽出を高精度に行うことが可能
となり、近似的輪郭線の修整手段を用いることにより、
背景除去処理の安定化を図ることができるとともに、画
像の抽出精度を高めることができる。

【００５７】また、本発明その他の特徴によれば、ピン
トの異なる２画像から照明条件などの影響を受けずに安
定して近似的輪郭線を得ることができ、画像の抽出精度
と処理速度を飛躍的に向上させることができる。

【００５８】また、本発明その他の特徴によれば、撮像
条件が異なる複数の画像から被写体の近似的輪郭線（背
景との境界線）を抽出する際に、２値化、平滑化などに
よるノイズの影響を軽減することができ、抽出精度の向
上を図ることができる。

【００５９】また、本発明その他の特徴によれば、画像
データの統計的特徴に基づいて撮像条件の制御量を設定
するので、初期輪郭の抽出精度を高め、高速から高精度
な画像抽出を行うことができる。

【００６０】また、本発明その他の特徴によれば、背景
部の画像データまたはその変動の影響を排除することが
でき、安定した画像抽出を高速に行うことができる。

【００６１】また、本発明その他の特徴によれば、輪郭
線追跡方向に対して被写体と背景がいずれの側にあるか
の情報を予め得ることができ、その結果、輪郭線に隣接
した抽出すべき対象と背景の画像属性を抽出して輪郭線
の設定精度および画像抽出精度を高くすることができ
る。

【００６２】次に、本発明の画像抽出装置のより具体的
な構成および動作を、図面を参照しながら詳細に説明す
る。まず、第１の実施形態を説明する。本実施形態では
画像抽出のための撮像条件の制御としては倍率一定の条
件の下で、結像光学系配置制御によるピント状態の制御
を行う。

【００６３】図２は、本実施形態のシステムの要部構成
図である。１は画像入力手段として設けられている撮像
手段を表し、２は結像光学系である。また、３は結像光
学系駆動制御部であり、ズームモータ、合焦モータ、絞
り系制御手段、シャッタ速度制御手段などを備えてい
る。

【００６４】４はイメージセンサ（典型的にはＣＣＤ撮
像素子）、５は撮像パラメータ計測制御手段であり、焦
点距離検出手段として結像光学系２のレンズ配置計測手
段（例えば、レンズモータの駆動パルス数の計数手段ま
たはレンズ位置検出手段）、合焦状態検出手段（いずれ
も図示せず）などを具備している。なお、合焦状態の検
出は、画像処理により行ってもよい。

【００６５】６は画像一時記憶手段であり、複数の撮像
条件が異なる画像の一次記憶などに用いるためのもので
ある。７は画像データ比較手段であり、ピント（合焦状
態）の異なる２つの画像間の差分データを求めるための
ものである。

【００６６】８は初期輪郭設定手段であり、平滑化、所
定閾値での２値化および細線化などの処理手段を有して
いて、画像データ比較手段７のシステムとユーザが指示
した被写体に対応する所定の領域において、閉じた輪郭
線を生成する。この場合、輪郭線は必ずしも精密に対象
と背景とを分離するものでなくてよい。

【００６７】９は輪郭点位置の更新手段であり、（１
式）などで示される評価関数の値が最小となるように輪
郭上にサンプリング点位置を更新する。１０は画像切り
出し処理手段で動的輪郭処理結果に基づき、抽出対象領
域の画像を所定フォーマットで符号化された画像データ
ファイルを作成する。

【００６８】１１は輪郭内画像の出力手段であり、背景
から分離された被写体画像が出力される。１２は撮像手
段１からの画像を一時的に保持するための画像記憶手段
である。

【００６９】１３は表示手段１４の画面上の初期輪郭の
選択指示手段であり、マウスなどの選択指示手段を示
す。なお、修整手順については、以下に示す処理フロー
の説明中に行う。１５は撮像条件制御などのためのデー
タ入力用の端末を表す。撮像手段１にはこの他に、不図
示のシャッタ、絞り、撮像開始スイッチ、電源スイッ
チ、外部同期手段などを有する。

【００７０】本実施形態では、特に、撮像手段１に撮像
モード設定スイッチ１６が設けられており、被写体抽出
モードと標準撮像モードの設定を行うことができるよう
になっている。そして、被写体抽出モードではシャッタ
ーレリースボタン等を用いて撮像を開始すると、自動的
に被写体にピントの合った画像（切り出し用の高解像度
画像）と低解像度画像（ピントずれ画像）の連続撮像が
行われる。なお、低解像度画像は複数枚異なる条件で撮
像してもよい。

【００７１】このような複数回の撮像動作が終了する
と、被写体抽出モードが自動的に解除されるか、または
上記撮像モード設定スイッチ１６により標準モードへの
設定がなされる。なお、上述した撮像モードの設定およ
び解除等の操作は、端末１５で行ってもよい。

【００７２】なお、図６に示すように、撮像手段１に画
像データ比較手段７および初期輪郭抽出手段８を内蔵さ
せてもよい。上記図６は、初期輪郭抽出結果を外部の画
像記憶手段１２に転送して残りの処理を画像処理ユニッ
トで行わせるようにしている。

【００７３】画像記憶手段１２と不図示の通信手段、お
よび選択指示手段１３（マウスなど）を介した撮像手段
１内の初期輪郭抽出手段とデータの入出力により、初期
輪郭の修整を行うことができる。

【００７４】他の構成例としては、図６の初期輪郭抽出
手段８から画像一時記憶手段６に処理結果を出力し、更
に画像一時記憶手段６を脱着可能な記録媒体（テープ媒
体、光ディスク媒体など）とし、初期輪郭抽出の一時的
な処理結果を上記画像一時記憶手段６に記録した後、外
部の画像記憶手段１２に結果を入力して、後述する画像
切り出しのための処理を、専用または汎用の演算手段
（画像処理ユニット、端末上で動くソフトウエアなど）
で行わせるようにしてもよい。

【００７５】図３は、本実施形態の主な処理フローを示
す。先ず撮像モード設定スイッチ１６において被写体抽
出モードに設定（ステップＳ１）した後、抽出した被写
体に最も焦点の合った画像を撮像する（ステップＳ
２）。

【００７６】その際、適切な露光条件、合焦状態検出手
段によりベストピント状態となるように、合焦レベル検
出手段（いわゆるオートフォーカス手段）を用いて合焦
レンズを駆動して、被写体の撮影を行う。続いて、合焦
レンズを駆動して（ステップＳ３）、ピントずれ画像の
撮像を行う（ステップＳ４）。

【００７７】なお、合焦レベルの制御パラメータ（例え
ば、最適合焦レベルに対する低解像度撮像の合焦レベル
の割合など）は、端末１５などから入力されるか、また
は撮像手段１に内蔵するＲＯＭなどのような、不図示の
メモリ手段に記録されているものとする。

【００７８】また、低解像度での撮像時には、他の撮像
パラメータ、例えば露光量（絞りの径、シャッタ速度）
などは、特に予め設定しない限り撮像条件の記録再生手
段（図１のＣ）を用いて高解像度撮像時と同じ値を用い
る。また、各画像は画像一時記憶手段６に一次的に記憶
されるか、或いは順次画像データ比較手段７に転送され
る。

【００７９】次に、画像データ比較手段７においては、
高解像度像と低解像度像との差分、または２つの構成な
る低解像度画像間の差分データを求める（ステップＳ
５）。この際、いずれの差分データを求めるかは予め撮
像モード設定時または撮像条件制御パラメータ入力時に
選択されているものとする。

【００８０】低解像度画像間の差分データは、いずれも
空間周波数の高い成分がカットされていることから、２
値化の際に余分な孤立特徴点または孤立領域の発生を抑
制することができる。また、高解像度画像と低解像度画
像との差分データは、抽出被写体サイズが画面全体のサ
イズと比べて小さい場合の初期輪郭設定に用いられるこ
とが望ましい。なお、差分によって負となる画素の出力
値はゼロに設定するか、または各画素での差分の絶対値
を出力してもよい。

【００８１】次に、表示するか否かを判断し（ステップ
Ｓ５ａ）、表示しない場合にはステップＳ８にジャンプ
し、表示する場合にはステップＳ６に進む。ステップＳ
６では、高解像度画像を表示手段１４に表示し、ユーザ
は抽出したい被写体の輪郭線付近をマウスなどの選択指
示手段１３で指示する（ステップＳ７；具体的にはマウ
スの場合その場所をクリックする）と、初期輪郭設定手
段８は指示された点を中心とする近傍領域から初期輪郭
線を抽出する（ステップＳ８）。

【００８２】以下、初期輪郭線抽出処理について詳しく
説明する。本実施形態では画像データ比較手段７からの
出力データ（差分または絶対値）の平滑化、２値化およ
び細線化処理を行う。平滑化処理は孤立特徴（不定形の
同一輝度または色を有する微小領域、ラインセグメント
など）の除去およびガウシアンフィルタ等との畳み込み
演算、或いは一般的なローパスフィルタ処理などを行
う。

【００８３】２値化処理の閾値は、大津の方法（電子情
報通信学会論文誌、vol.J63,pp.349-356,1980 ）、或い
は画像を適切なサイズのブロックに分割した後、局所的
な画像データ（輝度、色など）の統計処理（平均、分散
値、ヒストグラムからの仮説検定など）に基づいて設定
する方法などを用いればよい。

【００８４】特に、後者の場合、指定点を中心とした所
定サイズの局所領域に対して統計処理に基づいて２値化
閾値の設定と２値化処理を行い、以下に説明する初期輪
郭抽出のための細線化処理、輪郭線追跡処理をその局所
領域内で行ってもよい。処理終了後は、その端点を中心
とする局所領域を更に設定し同様の処理を繰り返す。こ
れらの処理の結果、粗い初期輪郭（またはエッジ）が得
られる。

【００８５】細線化処理は、２値化後の太い初期輪郭線
中の代表点を得るための処理であり、通常の画像処理で
行われる方式に限定されるものではない。例えば、粗い
初期輪郭中の任意の一点から左右上下いずれかの方向に
端点を探索し、次に、その端点に隣接する端点を探索し
て代表点としてもよい。

【００８６】なお、細線化処理により近傍領域内で複数
のエッジまたは輪郭線が存在する場合にはそれらを入力
画像と重ね合わせて表示し、いずれのエッジをとるかを
ユーザに選択させる（修整用の選択指示手段１３を用い
る）ようにしてもよい。

【００８７】近傍領域内に単一のエッジのみ存在する
か、或いはユーザによりエッジが選択されると、予め設
定された方向に輪郭線追跡処理が行われ、そのエッジに
連結する細線化像の各点を初期輪郭線のサンプリング点
としてそれぞれの位置を逐次記録する。

【００８８】次に、初期輪郭線の修整処理（分岐構造の
判定、エッジ接続）について説明する。なお、細線化像
が分岐構造を有する場合の分岐方向の選択方法として
は、分岐前の点の追跡方向と直交方向の輪郭線の画像デ
ータ属性（色、輝度またはそれらの分散など）が連続す
る分岐方向、分岐前後の方向変化が少ない方向を優先し
て選択する。

【００８９】この場合には、分岐後の各点を中心とする
微小領域の画像属性を検出して行う。他の方法としては
輪郭追跡を中断し分岐点を中心とする領域を点滅表示す
るなどして、いずれの分岐をとるかをユーザに選択させ
てもよい。

【００９０】また、２値化、細線化処理により輪郭線が
途中で分断された場合にはエッジの接続処理を行う。こ
の場合、所定のアルゴリズム（第２３回画像工学コンフ
ァレンス論文集、pp.67-70,1992 など参照）により接続
を自動的に行うか、或いは輪郭追跡の結果として残存す
る端点に対して表示手段１４上で点滅表示、または他の
輪郭線と異なる色表示を行うなど端点であることを示す
表示を行い、ユーザがそれを確認して接続すべき端点を
選択指示手段１３を用いて指示するようにしてもよい。

【００９１】接続点同士の結合に際しては直線または、
それぞれを含む輪郭線上の代表点を用いてスプライン補
間曲線などを生成してもよい。特に、輪郭追跡後の端点
が画像フレーム上にある場合は他のフレーム上端点とを
結んでもよい。以上で初期輪郭線抽出処理の説明は終わ
る。

【００９２】以上の処理の結果、最終的には抽出すべき
画像を包囲する閉曲線が初期輪郭線として得られる。図
７は、以上の処理ステップを適用した画像データの途中
経過を示したものである。

【００９３】図７の（１）は、ピントの合った画像、図
７の（２）はピントずれを起こした場合の画像を模式的
に強調した図、図７の（３）はユーザが図７の（１）の
画像を表示手段１４上で確認しながら抽出被写体内の一
点を指示した場合に設定された局所領域を示す図であ
る。

【００９４】図７の（４）は、図７の（１）と図７の
（２）の差分画像データから局所領域内において平滑
化、２値化、細線化を行い、さらに輪郭線追跡処理を行
った結果得られる初期輪郭線内の画像の一例を示す図で
ある。なお、図示はしないが、差分画像データを求める
際には、上述したように合焦度が異なり、かついずれも
ピントずれのある画像２枚を用いてもよい。

【００９５】上述のようにしてステップＳ８の処理を終
了したら、次に、動的輪郭処理に入る（ステップＳ
９）。ここでは、輪郭更新手段９において輪郭線上の各
サンプリング点の座標が、数１で示した評価関数（１）
などを用いてそれが最小となるように段階的に更新され
る。

【００９６】従来の処理例としては、輪郭線上の各サン
プリング点をその近傍画素（通常８近傍）に移動する。
次に、評価関数の算出、最小値を与える更新位置の選
択、更新前後の輪郭線上の点の位置の平均的な変化量な
どに基づいて収束度の評価（収束判定）を行い、収束条
件を満たさない場合にはさらに移動変形処理を行う。

【００９７】その際、評価関数の重み係数を適宜変更し
てもよい。本実施形態においても同様の処理を行い、結
果として図７の（５）に示すような切り出し画像を得る
ことができる。

【００９８】動的輪郭処理の収束後、ステップＳ１０の
処理において輪郭内の画像を画像出力手段１１により表
示装置１４上への表示を行い、画像抽出処理が完了す
る。この際、ユーザが確認の指示を端末などから入れる
ことにより、所定のフォーマット（例えば、ＴＩＦＦ、
ポストスクリプトなど）に従って画像の記録符号化が行
われる。

【００９９】次に、本発明の画像抽出装置の第２の実施
形態を、図４を参照しながら説明する。本実施形態にお
いては、ピントが異なる２画像から第１の実施形態と同
様に初期輪郭を抽出後、初期輪郭内の領域に対して選択
指示手段１３（マウスなど）を用いた背景画像領域除去
処理（ステップＳ３９）をインタラクティブに行う。こ
の際、処理モードは初期輪郭抽出モードから背景画像領
域の除去モードに自動的に移行しているものとする。

【０１００】輪郭内の画像表示の際は、画像のサイズを
適切にスケーリングし、抽出画像サイズによらず常に予
め設定された大きさとなるように正規化して表示しても
よい。背景除去処理は、予め端末などから背景画像領域
判定のための画像データの特徴の種別およびその属性値
の許容範囲を設定する（ステップＳ３９ａ）。

【０１０１】特に、設定を行わない場合は色成分（色
相、彩度など）とし、許容範囲の標準値を用いるものと
する。ユーザが除去すべき背景部分の一点を選択指示手
段１３で指示する（ステップＳ３９ｂ；マウスの場合は
クリック）。そして、その点を中心とする局所領域の平
均的な画像属性値を抽出し（ステップＳ３９ｃ）、その
一点を含み、その一点の有する色成分（色相など）また
輝度レベルとの差異が一定範囲内にある領域を初期輪郭
内領域から削除する（ステップＳ３９ｄ）。

【０１０２】なお、背景除去の際の画像データ許容範囲
は、予め初期輪郭抽出に先だって端末などから設定して
もよい。

【０１０３】次に、本発明の画像抽出装置の第３の実施
形態を説明する。本実施形態では、撮像手段の絞り径ま
たはシャッタ速度を制御（ステップＳ４３）して、露光
条件の異なる複数の画像を撮像（ステップＳ４４）し、
それらの比較（差分）データを抽出して正規か（ステッ
プＳ４５）した後に、初期輪郭の設定から画像抽出まで
の処理を行う。

【０１０４】図５に、本実施形態の処理フローを示す。
特に、本実施形態では比較データ抽出の前に両画像デー
タの輝度レベルの正規化処理を行う。すなわち、一方の
画像の輝度ヒストグラムにおいて、所定値以上の頻度を
有する輝度レベルのうちの最大輝度値が他の同様にして
得られる最大輝度値と等しくなるように、いずれか一方
の画像データを基準となる画像データの最大輝度値（上
述した最大輝度値）で正規化する。

【０１０５】この場合、抽出すべき被写体を中心として
最適露光条件で撮像した画像（第一画像とする）とそれ
とは異なる露光条件で撮像した画像（第二画像とする）
または第一画像とは異なる複数の露光条件で撮像された
一対の画像（第二、第三画像とする）を用意し、両画像
間の差分データを抽出する。なお、後者の場合は、第
二、第三画像間の差分データとする。

【０１０６】正規化処理は、輝度分布の平均値、分散な
ど比較的低次の統計データを両画像間で近接させるため
のものである。正規化処理の例としては第一、第二画像
の最大輝度（所定頻度以上を有する）をそれぞれＩ₁
^max、Ｉ₂ ^maxとすると、第二画像の各画素値Ｉ₂(i,j)
は次式に従って変更される。

【０１０７】

【数３】

【０１０８】ここに、Ｉ(i,j) は画素(i,j) の輝度値を
表す。第二、第三画像間の正規化処理も同様である。抽
出精度を損なわないためには、露光条件の制御（絞り
径、シャッタ速度）は第一画像の輝度ヒストグラムに基
づいて設定してもよい。一般的には、分散値が所定の閾
値より小さく、急峻な分布形状を有する場合には制御量
を小さくするようにする。

【０１０９】特に、被写体と背景との分離がヒストグラ
ム上においてある程度可能な場合、被写体に対応する分
布範囲からその分散値などを求め、その値に応じて最適
露光条件を与える撮像パラメータ値の変動割合を設定す
ればよい。

【０１１０】この処理は、ユーザが端末から対話的に被
写体分布を指定して行ってもよい。予め被写体と背景と
の分離が困難な場合、または正規化処理を自動化する場
合には、全体の分布形状から統計量を求めて制御しても
よい。

【０１１１】このような統計量と制御量との関係は、予
めＲＯＭなどの記憶手段に対応表として記憶させておく
かあるいは，端末などから直接入力してもよい。なお、
本実施形態では差分データ抽出後の初期輪郭の設定とそ
れに続く背景除去、画像抽出のための処理は、上述した
実施形態と同様に行うようにしている。

【０１１２】

【発明の効果】本発明は上述したように、本出願に係わ
る第１の発明によれば、撮像条件が異なる複数の画像の
比較結果に基づいて初期輪郭を設定し、それに基づいて
背景画像領域を除去するので、特定被写体の画像抽出を
高速かつ安定に行うことができる。これにより、画像処
理により特定被写体を抽出するに先だって、撮像条件が
異なる複数の画像から被写体の近似的輪郭線（背景との
境界線）を高速かつ安定的に求めることができ、背景画
像領域の残存分の除去に要する演算時間を大幅に減縮す
ることができる。

【０１１３】本出願に係わる第２の発明によれば、撮像
条件が異なる複数の画像から動的輪郭処理の抽出被写体
の輪郭線に近い初期輪郭を設定するので、特定対象の自
動抽出および動く対象の動画像抽出を高速に行うことが
できる。これにより、近似的輪郭線の変形、移動処理に
より動画像からの動的被写体抽出を行うことができると
ともに、画像抽出を高速に行うことができる。

【０１１４】本出願に係わる第３の発明によれば、撮像
条件が異なる複数の画像から抽出された初期輪郭データ
をインタラクティブに修整して適切に設定することがで
きるので、特定被写体の抽出を高精度に行うことが可能
となり、近似的輪郭線の修整手段を用いることにより、
背景除去処理の安定化と画像の抽出精度を高めることが
できる。

【０１１５】本出願に係わる第４の発明によれば、ピン
トの異なる２画像から照明条件などの影響を受けずに安
定して近似的輪郭線を得ることができ、画像の抽出精度
との処理速度を飛躍的に向上させることができる。

【０１１６】本出願に係わる第５の発明によれば、撮像
条件が異なる複数の画像から被写体の近似的輪郭線（背
景との境界線）を抽出する際に、２値化、平滑化などに
よるノイズの影響を軽減することができ、抽出精度の向
上を図ることができる。

【０１１７】本出願に係わる第６の発明によれば、撮像
条件の制御量を画像データの統計的特徴に基づいて設定
することにより、初期輪郭の抽出精度を高め、高速から
高精度な画像抽出を行うことができる。

【０１１８】本出願に係わる第７の発明によれば、第１
の発明において局所演算処理により背景部の画像データ
またはその変動の影響を排除することができ、安定した
画像抽出を高速に行うことができる。

【０１１９】本出願に係わる第８および第９の発明によ
れば、輪郭線追跡方向に対して被写体と背景がいずれの
側にあるかの情報を予め得ることができ、その結果、輪
郭線に隣接した抽出すべき対象と背景の画像属性を抽出
して輪郭線の設定精度および画像抽出精度を高くするこ
とができる。

【図面の簡単な説明】

【図１】本発明の画像抽出装置の要部構成を示す機能構
成図である

【図２】本発明の一実施形態を示すシステム構成図であ
る。

【図３】第１の実施形態の処理手順を示すフローチャー
トである。

【図４】第２の実施形態の処理手順を示すフローチャー
トである。

【図５】第３の実施形態の処理手順を示すフローチャー
トである。

【図６】本発明の他の例を示すシステム構成図である。

【図７】本発明を適用した場合の画像データの途中経過
を示す図である。

【符号の説明】

１撮像手段２結像光学系３レンズモータ駆動制御部４イメージセンサ５撮像パラメータ計測制御手段６画像一時記憶手段７画像データ比較手段８初期輪郭設定手段９輪郭点位置の更新手段１０画像切り出し処理手段１１輪郭内画像の出力手段１２画像記憶手段１３選択指示手段１４表示手段１５端末１６撮像モード設定スイッチ

Claims

【特許請求の範囲】

【請求項１】異なる撮像条件で複数の画像を撮像して
入力する画像入力手段と、上記画像入力手段の撮像条件を制御する撮像条件制御手
段と、上記画像入力手段の撮像条件を記録するとともに再生す
る記録再生手段と、上記画像入力手段によって撮像された画像を記憶する画
像記憶手段と、上記画像記憶手段に記憶された複数の画像のうち、少な
くとも一対の画像データを比較する画像データ比較手段
と、上記画像データ比較手段による比較結果に基づいて初期
輪郭を設定する初期輪郭設定手段と、上記初期輪郭設定手段によって設定された初期輪郭内の
背景画像領域を除去する背景画像領域除去手段と、上記背景画像領域除去手段の出力に基づいて画像切り出
し処理を行う画像切り出し処理手段とを具備することを
特徴とする画像抽出装置。
【請求項２】上記背景画像領域除去手段は、所定の評
価関数値に基づいて上記輪郭を変形および移動させる変
形／移動手段と、上記評価関数値に基づいて収束判定を
行う収束判定手段とを具備することを特徴とする請求項
１に記載の画像抽出装置。
【請求項３】異なる撮像条件で複数の画像を撮像して
入力する画像入力手段と、上記画像入力手段の撮像条件を制御する撮像条件制御手
段と、上記画像入力手段の撮像条件を記録するとともに再生す
る記録再生手段と、上記画像入力手段によって撮像された画像を記憶する画
像記憶手段と、上記画像記憶手段に記憶された複数の画像のうち、少な
くとも一対の画像データを比較する画像データ比較手段
と、上記画像データ比較手段で比較する画像データを選択し
て指示する選択指示手段と、上記画像データ比較手段による比較結果に基づいて初期
輪郭を設定する初期輪郭設定手段と、上記初期輪郭設定手段によって設定された初期輪郭デー
タに基づいて画像生成を行う画像生成手段と、上記初期輪郭および上記初期輪郭内の画像データを修整
する初期輪郭／初期輪郭内画像データ修整手段と、上記修整手段によって修正された後の初期輪郭内の背景
画像領域を除去する背景画像領域除去手段と、上記背景画像領域除去手段の出力に基づいて画像切り出
し処理を行う画像切り出し処理手段とを具備することを
特徴とする画像抽出装置。
【請求項４】上記画像入力手段の撮像条件は、画像の
ピントまたは合焦レベルであり、上記撮像条件制御手段
は上記画像入力手段に設けられている結像光学系の配置
を制御することを特徴とする請求項１〜３のいずれか１
項に記載の画像抽出装置。
【請求項５】上記画像データ比較手段は、上記複数画
像の差分データを出力し、上記初期輪郭設定手段は上記
画像データ比較手段から出力される差分データの代表点
列を抽出する処理を行う代表点列抽出処理手段を具備す
ること特徴とする請求項１〜４のいずれか１項に記載の
画像抽出装置。
【請求項６】上記撮像条件制御手段は、複数の画像の
統計量に基づいて制御幅を設定することを特徴とする請
求項１〜５のいずれか１項に記載の画像抽出装置。
【請求項７】上記初期輪郭設定手段は、上記差分デー
タ中の所定の点を中心とする局所領域を再帰的に設定す
る再帰的設定手段と、上記局所領域内の差分データの代
表点列を抽出する処理を行う代表点列抽出処理手段とを
具備することを特徴とする請求項１〜６のいずれか１項
に記載の画像抽出装置。
【請求項８】上記初期輪郭設定手段は、背景画像領域
と切り出し対象との境界付近にあり、かつ上記切り出し
対象領域内にある所定の点を中心とする局所領域内の輪
郭点位置を探索するための輪郭点位置探索手段と、上記
輪郭点を起点とする輪郭追跡を行う輪郭追跡手段とを具
備することを特徴とする請求項１〜７のいずれか１項に
記載の画像抽出装置。
【請求項９】上記初期輪郭設定手段は、背景画像領域
と切り出し対象との境界付近にあり、かつ上記背景画像
領域内にある所定の点を中心とする局所領域内の輪郭点
位置探索を行う輪郭点位置探索手段と、上記輪郭点位置
探索手段によって探索された輪郭点位置を起点とする輪
郭追跡を行う輪郭追跡手段とを具備することを特徴とす
る請求項１に記載の画像抽出装置。
【請求項１０】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項２に記載の画像抽出装置。
【請求項１１】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項３に記載の画像抽出装置。
【請求項１２】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項４に記載の画像抽出装置。
【請求項１３】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項５に記載の画像抽出装置。
【請求項１４】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項６に記載の画像抽出装置。
【請求項１５】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項７に記載の画像抽出装置。
【請求項１６】上記初期輪郭設定手段は、背景画像領
域と切り出し対象との境界付近にあり、かつ上記背景画
像領域内にある所定の点を中心とする局所領域内の輪郭
点位置探索を行う輪郭点位置探索手段と、上記輪郭点位
置探索手段によって探索された輪郭点位置を起点とする
輪郭追跡を行う輪郭追跡手段とを具備することを特徴と
する請求項８に記載の画像抽出装置。