JPH09130714A - 画像情報抽出装置および方法 - Google Patents
画像情報抽出装置および方法Info
- Publication number
- JPH09130714A JPH09130714A JP7285362A JP28536295A JPH09130714A JP H09130714 A JPH09130714 A JP H09130714A JP 7285362 A JP7285362 A JP 7285362A JP 28536295 A JP28536295 A JP 28536295A JP H09130714 A JPH09130714 A JP H09130714A
- Authority
- JP
- Japan
- Prior art keywords
- image
- standard
- subject
- contour
- standard image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 特定被写体の探索処理を高速に行うことがで
きるようにする。 【解決手段】 撮像手段Ａと、撮像モード抽出手段Ｂ
と、標準画像初期化手段Ｆと、画像比較手段Ｇとを設
け、上記撮像手段Ａが被写体を撮像するときの撮像モー
ドを上記撮像モード抽出手段Ｂで抽出するようにすると
ともに、上記撮像モード抽出手段Ｂで抽出された撮像モ
ードに基づいて上記標準画像初期化手段Ｆが標準画像を
初期化し、上記初期化された初期化標準画像と、上記撮
像手段Ａから出力される実写画像とを比較するようにし
て、検出特定被写体を高速に検出できるようにする。
きるようにする。 【解決手段】 撮像手段Ａと、撮像モード抽出手段Ｂ
と、標準画像初期化手段Ｆと、画像比較手段Ｇとを設
け、上記撮像手段Ａが被写体を撮像するときの撮像モー
ドを上記撮像モード抽出手段Ｂで抽出するようにすると
ともに、上記撮像モード抽出手段Ｂで抽出された撮像モ
ードに基づいて上記標準画像初期化手段Ｆが標準画像を
初期化し、上記初期化された初期化標準画像と、上記撮
像手段Ａから出力される実写画像とを比較するようにし
て、検出特定被写体を高速に検出できるようにする。
Description
【０００１】
【発明の属する技術分野】本発明は画像情報抽出装置お
よび方法に係わり、特に、撮像時の情報を用いて画像の
検索処理、および切り出し処理を高速に行うようにした
映像データベースシステムに関する。
よび方法に係わり、特に、撮像時の情報を用いて画像の
検索処理、および切り出し処理を高速に行うようにした
映像データベースシステムに関する。
【０００２】
【従来の技術】従来、画像中から特定の物体の有無を判
定したり、あるいは特定の物体が存在する画像をデータ
ベースから検索して抽出したりするための技術として、
パターン認識の技術が用いられてきた。上記パターン認
識を行う際に行われるパターン認識技術の適用の仕方と
しては、以下の方法が挙げられる。
定したり、あるいは特定の物体が存在する画像をデータ
ベースから検索して抽出したりするための技術として、
パターン認識の技術が用いられてきた。上記パターン認
識を行う際に行われるパターン認識技術の適用の仕方と
しては、以下の方法が挙げられる。
【０００３】すなわち、第１の方法は、画像をあらかじ
め複数の領域に分割して、認識すべき特定領域のみが存
在するように切り出し処理を行い、しかる後、標準パタ
ーンとの類似度を種々の方法を用いて算出する方法であ
る。
め複数の領域に分割して、認識すべき特定領域のみが存
在するように切り出し処理を行い、しかる後、標準パタ
ーンとの類似度を種々の方法を用いて算出する方法であ
る。
【０００４】また、第２の方法は、あらかじめ用意した
テンプレートをスキャンし、各位置でのマッチング度
（相関係数）を算出し、上記算出した値が所定閾値以上
となる位置を探索する方法（特開平6-168331）である。
テンプレートをスキャンし、各位置でのマッチング度
（相関係数）を算出し、上記算出した値が所定閾値以上
となる位置を探索する方法（特開平6-168331）である。
【０００５】さらに、第３の方法は、画像データベース
作成時に画像中の構成要素の領域と構成要素名を入力し
ておくことにより、所定の特徴を有する画像の検索を高
速に行わせる方法（特開平5-242160）である。
作成時に画像中の構成要素の領域と構成要素名を入力し
ておくことにより、所定の特徴を有する画像の検索を高
速に行わせる方法（特開平5-242160）である。
【０００６】
【発明が解決しようとする課題】しかしながら、上記従
来技術の第１および第２の方法に対しては、あらかじめ
特定被写体が画像中に存在する位置やそのサイズ、ある
いは照明条件を反映した色相等が一般的に分かっていな
いために、以下のような問題点があった。
来技術の第１および第２の方法に対しては、あらかじめ
特定被写体が画像中に存在する位置やそのサイズ、ある
いは照明条件を反映した色相等が一般的に分かっていな
いために、以下のような問題点があった。
【０００７】すなわち、第１の問題点として、一つの対
象画像について各条件を反映した複数個の標準パターン
（サイズ、位置、色相等が異なる同一対象を表す画像）
を用いて類似度の演算をする必要があるので、演算量お
よび演算時間が膨大となることである。
象画像について各条件を反映した複数個の標準パターン
（サイズ、位置、色相等が異なる同一対象を表す画像）
を用いて類似度の演算をする必要があるので、演算量お
よび演算時間が膨大となることである。
【０００８】また、第２の問題点としては、標準パター
ンに近い特徴を有する特定領域の探索および切り出し
は、上述した第１の問題点の理由から一般的に困難であ
った。
ンに近い特徴を有する特定領域の探索および切り出し
は、上述した第１の問題点の理由から一般的に困難であ
った。
【０００９】さらに、第３の問題点としては、テンプレ
ートのサイズを事前に設定できるのは画像生成条件が極
めて限られた場合であり、画像生成時の条件が分からな
い場合には上記第１の問題点と同様の問題が生じてい
た。したがって、特定被写体の有無判定、特定被写体の
存在する画像の検索等の処理に膨大な計算時間が必要で
あった。
ートのサイズを事前に設定できるのは画像生成条件が極
めて限られた場合であり、画像生成時の条件が分からな
い場合には上記第１の問題点と同様の問題が生じてい
た。したがって、特定被写体の有無判定、特定被写体の
存在する画像の検索等の処理に膨大な計算時間が必要で
あった。
【００１０】また、上記従来技術の第３の方法に対して
は、画像中の構成要素の領域およびその名を入力するに
はキーボード、マウス等の入力インターフェイスが必要
であり、撮像手段により得られる実写画像のデータベー
スを作成する場合には、撮像終了後にこのような検索用
データを作成する手間が必要であった。
は、画像中の構成要素の領域およびその名を入力するに
はキーボード、マウス等の入力インターフェイスが必要
であり、撮像手段により得られる実写画像のデータベー
スを作成する場合には、撮像終了後にこのような検索用
データを作成する手間が必要であった。
【００１１】さらに、撮像手段を用いて撮像した画像の
データベースから、撮影中心を意図した被写体が存在す
る画像をデータベースから検索する用途においては、従
来の撮像時の情報を使わない画像処理では、一般的に対
応することができないという問題点があった。
データベースから、撮影中心を意図した被写体が存在す
る画像をデータベースから検索する用途においては、従
来の撮像時の情報を使わない画像処理では、一般的に対
応することができないという問題点があった。
【００１２】本発明は上述の問題点にかんがみ、被写体
を撮像した時の撮像モードに関する情報を用いて特定被
写体の探索処理を高速に行う装置および方法を提供する
ことを第１の目的とする。
を撮像した時の撮像モードに関する情報を用いて特定被
写体の探索処理を高速に行う装置および方法を提供する
ことを第１の目的とする。
【００１３】本発明の第２の目的は、限定された撮像モ
ードパラメータを用いて既知の被写体の画像中の有無判
定を高速に行うことができるようにすることである。
ードパラメータを用いて既知の被写体の画像中の有無判
定を高速に行うことができるようにすることである。
【００１４】本発明の第３の目的は、被写体の有無判定
に要する演算時間の削減できるようにすることである。
に要する演算時間の削減できるようにすることである。
【００１５】本発明の第４の目的は、演算時間の更なる
削減を行うことができるようにすることである。
削減を行うことができるようにすることである。
【００１６】本発明の第５の目的は、輪郭線データによ
る被写体の有無判定処理を高速に行うこと、および被写
体切り出し処理を同時に行うことができるようにするこ
とである。
る被写体の有無判定処理を高速に行うこと、および被写
体切り出し処理を同時に行うことができるようにするこ
とである。
【００１７】本発明の第６の目的は、輪郭線データのみ
による被写体の有無判定に要する時間、および切り出し
の演算時間を削減できるようにすることである。
による被写体の有無判定に要する時間、および切り出し
の演算時間を削減できるようにすることである。
【００１８】本発明の第７の目的は、輪郭線データによ
る処理の場合に、標準画像と被写体の実画像とのサイ
ズ、形状が異なる場合でも、特定被写体の検出を安定し
て行うことができるようにすることである。
る処理の場合に、標準画像と被写体の実画像とのサイ
ズ、形状が異なる場合でも、特定被写体の検出を安定し
て行うことができるようにすることである。
【００１９】本発明の第８の目的は、撮像情報を活用し
た信頼性の高い被写体抽出を高速に行うことができるよ
うにすることである。
た信頼性の高い被写体抽出を高速に行うことができるよ
うにすることである。
【００２０】本発明の第９の目的は、撮像モードパラメ
ータを活用して輪郭線内の画像切り出しにより、被写体
を背景からの分離する処理を高速に行うことができるよ
うにすることである。
ータを活用して輪郭線内の画像切り出しにより、被写体
を背景からの分離する処理を高速に行うことができるよ
うにすることである。
【００２１】
【課題を解決するための手段】本発明の画像情報抽出装
置は、被写体を撮像して画像を生成する撮像手段と、上
記撮像手段から出力される画像と比較する標準画像を記
憶するための標準画像記憶手段と、上記撮像手段が被写
体を撮像するときの撮像モードに基づいて上記標準画像
を初期化する標準画像初期化手段と、上記標準画像初期
化手段によって初期化された初期化標準画像と、上記撮
像手段から出力された画像とを比較する画像比較手段と
を具備することを特徴としている。
置は、被写体を撮像して画像を生成する撮像手段と、上
記撮像手段から出力される画像と比較する標準画像を記
憶するための標準画像記憶手段と、上記撮像手段が被写
体を撮像するときの撮像モードに基づいて上記標準画像
を初期化する標準画像初期化手段と、上記標準画像初期
化手段によって初期化された初期化標準画像と、上記撮
像手段から出力された画像とを比較する画像比較手段と
を具備することを特徴としている。
【００２２】また、本発明の他の特徴とするところは、
被写体を撮像して画像を生成する撮像手段と、上記撮像
手段が被写体を撮像するときの撮像モードを記憶するた
めの撮像モード記憶手段と、上記撮像手段から出力され
る画像を記憶するための画像記憶手段と、上記撮像手段
から出力される画像と比較する標準画像を記憶するため
の標準画像記憶手段と、上記撮像モード抽出手段で抽出
された撮像モードに基づいて上記標準画像を初期化する
標準画像初期化手段と、上記標準画像初期化手段によっ
て初期化された初期化標準画像と、上記撮像手段から出
力された画像とを比較する画像比較手段とを具備してい
る。
被写体を撮像して画像を生成する撮像手段と、上記撮像
手段が被写体を撮像するときの撮像モードを記憶するた
めの撮像モード記憶手段と、上記撮像手段から出力され
る画像を記憶するための画像記憶手段と、上記撮像手段
から出力される画像と比較する標準画像を記憶するため
の標準画像記憶手段と、上記撮像モード抽出手段で抽出
された撮像モードに基づいて上記標準画像を初期化する
標準画像初期化手段と、上記標準画像初期化手段によっ
て初期化された初期化標準画像と、上記撮像手段から出
力された画像とを比較する画像比較手段とを具備してい
る。
【００２３】また、本発明のその他の特徴とするところ
は、被写体を撮像して画像を生成する撮像手段と、上記
撮像手段が被写体を撮像するときの撮像モードを抽出す
る撮像モード抽出手段と、上記撮像モード抽出手段で抽
出された撮像モードを記憶するための撮像モード記憶手
段と、上記撮像手段から出力される画像を記憶するため
の画像記憶手段と、上記撮像手段から出力される画像と
比較する標準画像を記憶するための標準画像記憶手段
と、上記撮像モード抽出手段で抽出された撮像モードに
基づいて上記標準画像を初期化する標準画像初期化手段
と、上記標準画像初期化手段によって初期化された初期
化標準画像と、上記撮像手段により出力された画像とを
比較する画像比較手段と、上記画像比較手段の出力に基
づいて画像を切り出す画像切り出し手段とを具備するこ
とを特徴としている。
は、被写体を撮像して画像を生成する撮像手段と、上記
撮像手段が被写体を撮像するときの撮像モードを抽出す
る撮像モード抽出手段と、上記撮像モード抽出手段で抽
出された撮像モードを記憶するための撮像モード記憶手
段と、上記撮像手段から出力される画像を記憶するため
の画像記憶手段と、上記撮像手段から出力される画像と
比較する標準画像を記憶するための標準画像記憶手段
と、上記撮像モード抽出手段で抽出された撮像モードに
基づいて上記標準画像を初期化する標準画像初期化手段
と、上記標準画像初期化手段によって初期化された初期
化標準画像と、上記撮像手段により出力された画像とを
比較する画像比較手段と、上記画像比較手段の出力に基
づいて画像を切り出す画像切り出し手段とを具備するこ
とを特徴としている。
【００２４】また、本発明のその他の特徴とするところ
は、上記撮像モード抽出手段は、撮像時の合焦信号、上
記撮像手段の焦点距離データ、撮像時の視線方向データ
および照明光条件のうち、少なくとも一つを抽出するこ
とを特徴としている。
は、上記撮像モード抽出手段は、撮像時の合焦信号、上
記撮像手段の焦点距離データ、撮像時の視線方向データ
および照明光条件のうち、少なくとも一つを抽出するこ
とを特徴としている。
【００２５】また、本発明のその他の特徴とするところ
は、上記標準画像初期化手段は、撮像時の被写体距離ま
たは上記撮像手段の焦点距離パラメータに基づいて上記
標準画像の初期サイズを設定することを特徴としてい
る。
は、上記標準画像初期化手段は、撮像時の被写体距離ま
たは上記撮像手段の焦点距離パラメータに基づいて上記
標準画像の初期サイズを設定することを特徴としてい
る。
【００２６】また、本発明のその他の特徴とするところ
は、上記撮像モード抽出手段は視線方向データ抽出手段
を有し、上記標準画像初期化手段は撮像時の視線方向に
基づいて上記撮像手段で生成される画像上の中心位置に
対応して上記標準画像の中心位置を初期化することを特
徴としている。
は、上記撮像モード抽出手段は視線方向データ抽出手段
を有し、上記標準画像初期化手段は撮像時の視線方向に
基づいて上記撮像手段で生成される画像上の中心位置に
対応して上記標準画像の中心位置を初期化することを特
徴としている。
【００２７】また、本発明のその他の特徴とするところ
は、上記標準画像記憶手段には複数の特定被写体の輪郭
線データが記憶されていることを特徴としている。
は、上記標準画像記憶手段には複数の特定被写体の輪郭
線データが記憶されていることを特徴としている。
【００２８】また、本発明のその他の特徴とするところ
は、上記標準画像初期化手段は、上記標準画像の輪郭線
データを初期輪郭として設定するとともに、上記初期輪
郭の中心位置を上記視線方向に設定することを特徴とし
ている。
は、上記標準画像初期化手段は、上記標準画像の輪郭線
データを初期輪郭として設定するとともに、上記初期輪
郭の中心位置を上記視線方向に設定することを特徴とし
ている。
【００２９】また、本発明のその他の特徴とするところ
は、上記画像比較手段は、上記標準画像の輪郭モデルと
して動的輪郭を用い、輪郭画上の各節点の位置を上記撮
像手段で生成される画像の輪郭線上の点に収束したとき
に最小値をとる所定の評価関数に基づいて可変するよう
に制御した後、収束後の輪郭形状と標準画像の輪郭形状
との相似度または輪郭サイズが標準画像と略等しくなる
ように画像サイズを正規化して収束した後の輪郭内画像
と標準画像との類似度を算出することを特徴としてい
る。
は、上記画像比較手段は、上記標準画像の輪郭モデルと
して動的輪郭を用い、輪郭画上の各節点の位置を上記撮
像手段で生成される画像の輪郭線上の点に収束したとき
に最小値をとる所定の評価関数に基づいて可変するよう
に制御した後、収束後の輪郭形状と標準画像の輪郭形状
との相似度または輪郭サイズが標準画像と略等しくなる
ように画像サイズを正規化して収束した後の輪郭内画像
と標準画像との類似度を算出することを特徴としてい
る。
【００３０】また、本発明のその他の特徴とするところ
は、上記画像比較手段は、上記標準画像と上記撮像手段
で生成される画像との類似値が所定の閾値より大きいと
きに画像データを出力することを特徴としている。
は、上記画像比較手段は、上記標準画像と上記撮像手段
で生成される画像との類似値が所定の閾値より大きいと
きに画像データを出力することを特徴としている。
【００３１】また、本発明のその他の特徴とするところ
は、上記画像比較手段は、上記動的輪郭が収束された後
の輪郭線内の原画像データを出力することを特徴として
いる。
は、上記画像比較手段は、上記動的輪郭が収束された後
の輪郭線内の原画像データを出力することを特徴として
いる。
【００３２】また、本発明の画像情報抽出方法は、被写
体を撮像して画像を生成する画像生成処理と、上記画像
生成処理を行って画像を生成するときの撮像状態を抽出
する抽出処理と、上記画像生成処理によって生成された
画像と比較するための標準画像を記憶手段から読みだす
標準画像読みだし処理と、上記標準画像読みだし処理に
よって記憶手段から読みだされた標準画像を上記抽出処
理により抽出された撮像状態に基づいて初期化する標準
画像初期化処理と、上記標準画像初期化処理によって初
期化された初期化標準画像と、上記画像生成処理によっ
て生成された画像とを比較する画像比較処理とを行って
特定被写体を探索するようにしたことを特徴としてい
る。
体を撮像して画像を生成する画像生成処理と、上記画像
生成処理を行って画像を生成するときの撮像状態を抽出
する抽出処理と、上記画像生成処理によって生成された
画像と比較するための標準画像を記憶手段から読みだす
標準画像読みだし処理と、上記標準画像読みだし処理に
よって記憶手段から読みだされた標準画像を上記抽出処
理により抽出された撮像状態に基づいて初期化する標準
画像初期化処理と、上記標準画像初期化処理によって初
期化された初期化標準画像と、上記画像生成処理によっ
て生成された画像とを比較する画像比較処理とを行って
特定被写体を探索するようにしたことを特徴としてい
る。
【００３３】
【作用】本発明は上記技術手段よりなるので、第１の発
明、第２の発明および第１２の発明によれば、撮像手段
が被写体を撮像したときの撮像モード情報に基づいて初
期化された標準画像との比較により特定被写体の検出が
行われるので、上記特定被写体を高速に検出することが
可能となり、画像の高速検索や特定被写体を中心とした
自動撮影が可能となる。
明、第２の発明および第１２の発明によれば、撮像手段
が被写体を撮像したときの撮像モード情報に基づいて初
期化された標準画像との比較により特定被写体の検出が
行われるので、上記特定被写体を高速に検出することが
可能となり、画像の高速検索や特定被写体を中心とした
自動撮影が可能となる。
【００３４】第３の発明によれば、画像比較手段の出力
に基づいて画像切り出し手段による画像の切り出しが行
われるようになるので、従来より放送の分野で用いられ
ている、ある画像の所望の色の部分を他の画像と入れ換
えるようにする、所謂クロマキーの手法を用いることな
く特定被写体の高速切り出しが可能となる。
に基づいて画像切り出し手段による画像の切り出しが行
われるようになるので、従来より放送の分野で用いられ
ている、ある画像の所望の色の部分を他の画像と入れ換
えるようにする、所謂クロマキーの手法を用いることな
く特定被写体の高速切り出しが可能となる。
【００３５】第４の発明によれば、撮像時の合焦信号、
上記撮像手段の焦点距離データ、撮像時の視線方向デー
タおよび照明光条件のうち、少なくとも一つが抽出され
るので、上記抽出された情報に基づく被写体の有無判定
が可能となり、既知の被写体が画像中に有るか否かの有
無判定を高速に行うことが可能となる。
上記撮像手段の焦点距離データ、撮像時の視線方向デー
タおよび照明光条件のうち、少なくとも一つが抽出され
るので、上記抽出された情報に基づく被写体の有無判定
が可能となり、既知の被写体が画像中に有るか否かの有
無判定を高速に行うことが可能となる。
【００３６】第５の発明によれば、撮像時の被写体距離
または撮像手段の焦点距離パラメータに基づいて上記標
準画像の初期サイズが設定されるので、画像中に存在し
うる被写体領域のサイズが適切に設定されるようにな
り、被写体の有無判定に要する演算時間の削減が可能と
なる。
または撮像手段の焦点距離パラメータに基づいて上記標
準画像の初期サイズが設定されるので、画像中に存在し
うる被写体領域のサイズが適切に設定されるようにな
り、被写体の有無判定に要する演算時間の削減が可能と
なる。
【００３７】第６の発明によれば、撮像時の視線方向に
基づいて標準画像の中心位置が初期化されるので、画像
データベースでの検索処理範囲を撮像時の被写体位置付
近に限定した被写体の有無判定処理を行うことができる
ようになり、被写体の有無判定に要する演算時間の更な
る削減が可能となる。
基づいて標準画像の中心位置が初期化されるので、画像
データベースでの検索処理範囲を撮像時の被写体位置付
近に限定した被写体の有無判定処理を行うことができる
ようになり、被写体の有無判定に要する演算時間の更な
る削減が可能となる。
【００３８】第７の発明によれば、複数の特定被写体の
輪郭線データが標準画像記憶手段に記憶されているの
で、輪郭線データによる被写体の有無判定を高速に行う
ことが可能となる。
輪郭線データが標準画像記憶手段に記憶されているの
で、輪郭線データによる被写体の有無判定を高速に行う
ことが可能となる。
【００３９】第８の発明によれば、標準画像の輪郭線デ
ータが初期輪郭として設定されるとともに、上記初期輪
郭の中心位置が視線方向に設定されるので、輪郭線デー
タによる被写体の有無判定を行うための演算時間を大幅
に削減することが可能となる。
ータが初期輪郭として設定されるとともに、上記初期輪
郭の中心位置が視線方向に設定されるので、輪郭線デー
タによる被写体の有無判定を行うための演算時間を大幅
に削減することが可能となる。
【００４０】第９の発明によれば、標準画像の輪郭モデ
ルとして動的輪郭が用いられ、かつ所定の評価関数に基
づいて可変となるように制御されるとともに、収束後の
輪郭形状と標準画像の輪郭形状との相似度または輪郭サ
イズが標準画像と略等しくなるように画像サイズが正規
化された収束後の輪郭内画像と標準画像との類似度が算
出されるようになるので、上記標準画像と実写画像との
サイズ、形状が異なる場合でも特定被写体の検出を安定
して行うことが可能となる。
ルとして動的輪郭が用いられ、かつ所定の評価関数に基
づいて可変となるように制御されるとともに、収束後の
輪郭形状と標準画像の輪郭形状との相似度または輪郭サ
イズが標準画像と略等しくなるように画像サイズが正規
化された収束後の輪郭内画像と標準画像との類似度が算
出されるようになるので、上記標準画像と実写画像との
サイズ、形状が異なる場合でも特定被写体の検出を安定
して行うことが可能となる。
【００４１】第１０の発明によれば、上記標準画像と上
記撮像手段で生成される実写画像との類似値が所定の閾
値より大きいときに画像データが出力されるので、輪郭
線内の画像切り出しにより、被写体画像を背景から分離
抽出することを高速に、かつ自動的に行うことが可能と
なる。
記撮像手段で生成される実写画像との類似値が所定の閾
値より大きいときに画像データが出力されるので、輪郭
線内の画像切り出しにより、被写体画像を背景から分離
抽出することを高速に、かつ自動的に行うことが可能と
なる。
【００４２】第１１の発明によれば、動的輪郭が収束さ
れた後の輪郭線内の原画像データが画像比較手段により
出力されるので、撮像情報を活用した高速かつ信頼性の
高い被写体抽出を行うことが可能となる。
れた後の輪郭線内の原画像データが画像比較手段により
出力されるので、撮像情報を活用した高速かつ信頼性の
高い被写体抽出を行うことが可能となる。
【００４３】
【発明の実施の形態】以下、本発明の画像情報抽出装置
および方法の一実施形態を図面を参照して説明する。図
１は、本発明の画像情報抽出装置の要部構成を示す機能
構成図である。図１において、Ａは撮像手段、Ｂは撮像
状態を検出する撮像モード抽出手段、Ｃは撮像モード記
憶手段、Ｄは画像記憶手段、Ｅは標準画像記憶手段、Ｆ
は標準画像初期化手段、Ｇは画像比較手段、Ｈは画像切
り出し手段、Ｉは画像出力手段である。
および方法の一実施形態を図面を参照して説明する。図
１は、本発明の画像情報抽出装置の要部構成を示す機能
構成図である。図１において、Ａは撮像手段、Ｂは撮像
状態を検出する撮像モード抽出手段、Ｃは撮像モード記
憶手段、Ｄは画像記憶手段、Ｅは標準画像記憶手段、Ｆ
は標準画像初期化手段、Ｇは画像比較手段、Ｈは画像切
り出し手段、Ｉは画像出力手段である。
【００４４】上記撮像手段Ａは、被写体を撮像して実写
画像を生成するためのものであり、上記撮像モード抽出
手段Ｂは、上記撮像手段Ａが被写体を撮像するときの撮
像モードを抽出するためのものである。なお、本実施形
態においては、上記撮像モード抽出手段Ｂは、撮像時の
合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の
視線方向データおよび照明光条件のうち、少なくとも一
つを抽出するようにしている。また、上記撮像モード抽
出手段Ｂは視線方向データ抽出手段を有している。
画像を生成するためのものであり、上記撮像モード抽出
手段Ｂは、上記撮像手段Ａが被写体を撮像するときの撮
像モードを抽出するためのものである。なお、本実施形
態においては、上記撮像モード抽出手段Ｂは、撮像時の
合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の
視線方向データおよび照明光条件のうち、少なくとも一
つを抽出するようにしている。また、上記撮像モード抽
出手段Ｂは視線方向データ抽出手段を有している。
【００４５】上記撮像モード記憶手段Ｃは、上記撮像モ
ード抽出手段Ｂで抽出された撮像モードを記憶するため
のものである。上記画像記憶手段Ｄは、上記撮像手段Ａ
から出力される実写画像を記憶するためのものである。
ード抽出手段Ｂで抽出された撮像モードを記憶するため
のものである。上記画像記憶手段Ｄは、上記撮像手段Ａ
から出力される実写画像を記憶するためのものである。
【００４６】上記標準画像記憶手段Ｅは、上記撮像手段
Ａから出力される実写画像と比較するための標準画像を
記憶するためのものであり、ここに複数の特定被写体の
輪郭線データが記憶されている。
Ａから出力される実写画像と比較するための標準画像を
記憶するためのものであり、ここに複数の特定被写体の
輪郭線データが記憶されている。
【００４７】上記標準画像初期化手段Ｆは、上記撮像モ
ード抽出手段Ｂで抽出された撮像モードに基づいて上記
標準画像を初期化する。また、上記標準画像初期化手段
Ｆは、撮像時の被写体距離または上記撮像手段Ａの焦点
距離パラメータに基づいて上記標準画像の初期サイズを
設定するようにしている。
ード抽出手段Ｂで抽出された撮像モードに基づいて上記
標準画像を初期化する。また、上記標準画像初期化手段
Ｆは、撮像時の被写体距離または上記撮像手段Ａの焦点
距離パラメータに基づいて上記標準画像の初期サイズを
設定するようにしている。
【００４８】さらに、上記標準画像初期化手段Ｆは、上
記標準画像の輪郭線データを初期輪郭として設定すると
ともに、上記初期輪郭の中心位置を上記視線方向に設定
するようにしている。また、撮像時の視線方向に基づい
て上記撮像手段Ａで生成される実写画像上の中心位置に
対応して上記標準画像の中心位置を初期化する。
記標準画像の輪郭線データを初期輪郭として設定すると
ともに、上記初期輪郭の中心位置を上記視線方向に設定
するようにしている。また、撮像時の視線方向に基づい
て上記撮像手段Ａで生成される実写画像上の中心位置に
対応して上記標準画像の中心位置を初期化する。
【００４９】上記画像比較手段Ｇは、上記標準画像初期
化手段Ｆによって初期化された初期化標準画像と、上記
撮像手段Ａにより出力された実写画像とを比較するため
のものである。上記画像比較手段Ｇは、上記標準画像の
輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の
位置を上記撮像手段Ａで生成される実写画像の輪郭線上
の点に収束したときに最小値をとる所定の評価関数に基
づいて可変するように制御した後、収束後の輪郭形状と
標準画像の輪郭形状との相似度または輪郭サイズが標準
画像と略等しくなるように画像サイズを正規化して収束
した後の輪郭内画像と標準画像との類似度を算出するよ
うにしている。
化手段Ｆによって初期化された初期化標準画像と、上記
撮像手段Ａにより出力された実写画像とを比較するため
のものである。上記画像比較手段Ｇは、上記標準画像の
輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の
位置を上記撮像手段Ａで生成される実写画像の輪郭線上
の点に収束したときに最小値をとる所定の評価関数に基
づいて可変するように制御した後、収束後の輪郭形状と
標準画像の輪郭形状との相似度または輪郭サイズが標準
画像と略等しくなるように画像サイズを正規化して収束
した後の輪郭内画像と標準画像との類似度を算出するよ
うにしている。
【００５０】また、上記画像比較手段Ｇは、上記標準画
像と上記撮像手段Ａで生成される実写画像との類似値が
所定の閾値より大きいときに画像データを出力するよう
にしている。さらに、上記画像比較手段Ｇは、上記動的
輪郭が収束された後の輪郭線内の原画像データを出力す
るようにしている。上記画像切り出し手段Ｈは、上記画
像比較手段Ｇの出力に基づいて画像を切り出すためのも
のである。
像と上記撮像手段Ａで生成される実写画像との類似値が
所定の閾値より大きいときに画像データを出力するよう
にしている。さらに、上記画像比較手段Ｇは、上記動的
輪郭が収束された後の輪郭線内の原画像データを出力す
るようにしている。上記画像切り出し手段Ｈは、上記画
像比較手段Ｇの出力に基づいて画像を切り出すためのも
のである。
【００５１】このように構成された画像情報抽出装置に
よれば、上記撮像手段Ａが被写体を撮像したときの撮像
モード情報に基づいて初期化した標準画像との比較によ
り特定被写体の検出を行うので、上記特定被写体を高速
に検出することができる。したがって、画像を高速に検
索することができるようになるとともに、特定被写体を
中心とした自動撮影を行うようにすることが可能とな
る。
よれば、上記撮像手段Ａが被写体を撮像したときの撮像
モード情報に基づいて初期化した標準画像との比較によ
り特定被写体の検出を行うので、上記特定被写体を高速
に検出することができる。したがって、画像を高速に検
索することができるようになるとともに、特定被写体を
中心とした自動撮影を行うようにすることが可能とな
る。
【００５２】また、上記画像比較手段Ｇの出力に基づい
て画像切り出し手段Ｈによる画像の切り出しを行うの
で、特定被写体を高速に切り出すことができる。さら
に、上記撮像モード抽出手段Ｂが撮像時の合焦信号、上
記撮像手段Ａの焦点距離データ、撮像時の視線方向デー
タおよび照明光条件のうち、少なくとも一つを抽出する
ので、上記抽出した情報に基づく被写体の有無判定を行
うようにすることができる。
て画像切り出し手段Ｈによる画像の切り出しを行うの
で、特定被写体を高速に切り出すことができる。さら
に、上記撮像モード抽出手段Ｂが撮像時の合焦信号、上
記撮像手段Ａの焦点距離データ、撮像時の視線方向デー
タおよび照明光条件のうち、少なくとも一つを抽出する
ので、上記抽出した情報に基づく被写体の有無判定を行
うようにすることができる。
【００５３】これにより、既知の被写体が画像中に有る
か否かの有無判定を高速に行うことができ、画像中に存
在しうる被写体領域のサイズを適切に設定したり、被写
体の有無判定に要する演算時間を大幅に削減することが
できる。
か否かの有無判定を高速に行うことができ、画像中に存
在しうる被写体領域のサイズを適切に設定したり、被写
体の有無判定に要する演算時間を大幅に削減することが
できる。
【００５４】また、上記標準画像初期化手段Ｆが撮像時
の被写体距離、または撮像手段Ａの焦点距離パラメータ
に基づいて上記標準画像の初期サイズを設定する。した
がって、画像中に存在しうる被写体領域のサイズを適切
に設定することができ、被写体の有無判定に要する演算
時間を削減することができる。これにより、撮像時の被
写体位置付近に限定して同被写体の有無判定処理を行う
ことができ、演算時間を更に削減することができる。
の被写体距離、または撮像手段Ａの焦点距離パラメータ
に基づいて上記標準画像の初期サイズを設定する。した
がって、画像中に存在しうる被写体領域のサイズを適切
に設定することができ、被写体の有無判定に要する演算
時間を削減することができる。これにより、撮像時の被
写体位置付近に限定して同被写体の有無判定処理を行う
ことができ、演算時間を更に削減することができる。
【００５５】また、上記撮像モード抽出手段Ｂが視線方
向データ抽出手段Ｉを有しているので、撮像時の視線方
向に基づいて標準画像の中心位置を初期化することがで
き、画像データベースでの検索処理範囲を撮像時の被写
体位置付近に限定して被写体の有無判定処理を行うこと
ができる。したがって、被写体の有無判定に要する演算
時間を大幅に削減することができる。
向データ抽出手段Ｉを有しているので、撮像時の視線方
向に基づいて標準画像の中心位置を初期化することがで
き、画像データベースでの検索処理範囲を撮像時の被写
体位置付近に限定して被写体の有無判定処理を行うこと
ができる。したがって、被写体の有無判定に要する演算
時間を大幅に削減することができる。
【００５６】さらに、上記標準画像記憶手段Ｅに複数の
特定被写体の輪郭線データを記憶したので、輪郭線デー
タによる被写体の有無判定を高速に行うことができ、被
写体の有無判定に要する演算時間を削減することができ
る。
特定被写体の輪郭線データを記憶したので、輪郭線デー
タによる被写体の有無判定を高速に行うことができ、被
写体の有無判定に要する演算時間を削減することができ
る。
【００５７】また、上記標準画像初期化手段Ｆが、標準
画像の輪郭線データを初期輪郭として設定するととも
に、上記初期輪郭の中心位置を視線方向に設定するの
で、輪郭線データによる被写体の有無判定を行うための
演算時間を大幅に削減することができる。
画像の輪郭線データを初期輪郭として設定するととも
に、上記初期輪郭の中心位置を視線方向に設定するの
で、輪郭線データによる被写体の有無判定を行うための
演算時間を大幅に削減することができる。
【００５８】また、上記標準画像と実写画像とのサイ
ズ、形状が異なる場合でも特定被写体の検出を安定して
行うことが可能となる。さらに、輪郭線内の画像切り出
しにより、被写体画像を背景から分離抽出することを高
速に、かつ自動的に行うことができ、信頼性の高い被写
体抽出を高速に行うことができる。
ズ、形状が異なる場合でも特定被写体の検出を安定して
行うことが可能となる。さらに、輪郭線内の画像切り出
しにより、被写体画像を背景から分離抽出することを高
速に、かつ自動的に行うことができ、信頼性の高い被写
体抽出を高速に行うことができる。
【００５９】次に、本発明の画像情報抽出装置および方
法を、実施形態に基づいてより具体的に説明する。図２
は、第１の実施形態のシステム構成を示すブロック図で
ある。図２中、１は撮像手段、２はズームレンズを含む
結像光学系、３はレンズモータ駆動制御装置、４はセン
サ、５は撮像モード抽出手段、６は画像記憶手段、７は
モニタとしてのファインダ、８はファインダ画面内にお
ける操作者の視線を検出する視線方向検出手段、９は標
準画像データベース、１０は標準画像初期化手段、１１
は画像比較手段、１２は端末、１３は画像切り出し手
段、１４は画像出力手段を表している。
法を、実施形態に基づいてより具体的に説明する。図２
は、第１の実施形態のシステム構成を示すブロック図で
ある。図２中、１は撮像手段、２はズームレンズを含む
結像光学系、３はレンズモータ駆動制御装置、４はセン
サ、５は撮像モード抽出手段、６は画像記憶手段、７は
モニタとしてのファインダ、８はファインダ画面内にお
ける操作者の視線を検出する視線方向検出手段、９は標
準画像データベース、１０は標準画像初期化手段、１１
は画像比較手段、１２は端末、１３は画像切り出し手
段、１４は画像出力手段を表している。
【００６０】なお、上記撮像手段１はビデオカメラによ
って構成されている。また、画像記憶手段６、比較手段
１１、画像切り出し手段１３、画像出力手段１４、標準
画像初期化手段１０は、例えば、マイクロコンピュータ
によって構成され、データベース９はマイクロコンピュ
ータに接続されたメモリであり、その種類は半導体メモ
リ、ハードディスク等、どのようなものでもよい。
って構成されている。また、画像記憶手段６、比較手段
１１、画像切り出し手段１３、画像出力手段１４、標準
画像初期化手段１０は、例えば、マイクロコンピュータ
によって構成され、データベース９はマイクロコンピュ
ータに接続されたメモリであり、その種類は半導体メモ
リ、ハードディスク等、どのようなものでもよい。
【００６１】上記撮像モード抽出手段５は、上記モータ
駆動制御装置３、センサ４、および視線方向検出手段８
からの入力を受け、それぞれから画像データに基づく合
焦判定信号、焦点距離情報、撮像時の視線方向パラメー
タを抽出する。
駆動制御装置３、センサ４、および視線方向検出手段８
からの入力を受け、それぞれから画像データに基づく合
焦判定信号、焦点距離情報、撮像時の視線方向パラメー
タを抽出する。
【００６２】以下、本実施形態の画像情報抽出装置を人
物像の有無判定に適用した場合について詳述する。上記
撮像手段１は、画像を撮像する際にレンズモータ駆動部
３からのズームレンズ等のレンズ駆動量（ズーミングパ
ラメータの一つ）を得て、あらかじめ撮像モード抽出手
段５中に設けられている記憶手段（ＲＯＭ等）に記憶さ
れているレンズ駆動量と焦点距離との変換テーブルを参
照して撮影時の焦点距離の推定値を得ている。
物像の有無判定に適用した場合について詳述する。上記
撮像手段１は、画像を撮像する際にレンズモータ駆動部
３からのズームレンズ等のレンズ駆動量（ズーミングパ
ラメータの一つ）を得て、あらかじめ撮像モード抽出手
段５中に設けられている記憶手段（ＲＯＭ等）に記憶さ
れているレンズ駆動量と焦点距離との変換テーブルを参
照して撮影時の焦点距離の推定値を得ている。
【００６３】また、シャッタを押す前の数十から数百ミ
リ秒の間に、上記視線方向検出手段８から出力されるデ
ータ平均値から画像フレーム上の対応する位置を算出す
る。そして、上記算出した位置を視線方向中心位置とし
て不図示のメモリに記憶しておくようにしている。
リ秒の間に、上記視線方向検出手段８から出力されるデ
ータ平均値から画像フレーム上の対応する位置を算出す
る。そして、上記算出した位置を視線方向中心位置とし
て不図示のメモリに記憶しておくようにしている。
【００６４】一方、上記センサ４によって光電変換され
て出力される画像信号は、画像記憶手段６に記録され
る。そして、上記画像記憶手段６に記録される際に、所
定のフォーマットで量子化され、かつ上述した撮像モー
ドパラメータがヘッダ部に記録される。なお、ヘッダ部
は各フレームの先頭に設けてもよいし、あるいは一括し
てフレーム番号（またはアドレス）とともにヘッダ領域
に全フレームの撮像モードパラメータを記録してもよ
い。
て出力される画像信号は、画像記憶手段６に記録され
る。そして、上記画像記憶手段６に記録される際に、所
定のフォーマットで量子化され、かつ上述した撮像モー
ドパラメータがヘッダ部に記録される。なお、ヘッダ部
は各フレームの先頭に設けてもよいし、あるいは一括し
てフレーム番号（またはアドレス）とともにヘッダ領域
に全フレームの撮像モードパラメータを記録してもよ
い。
【００６５】図３は、画像記録時のヘッダフォーマット
の一例を示す図である。図３から明らかなように、ヘッ
ダ部には撮像モードパラメータとして焦点距離、図示し
ない焦点検出回路の合焦度を表す焦点信号のレベル、す
なわち合焦信号レベル、視線方向中心位置、ストロボＯ
Ｎ／ＯＦＦ情報等が固定ビット長（図中のビット数は一
例にすぎない）で記録される。
の一例を示す図である。図３から明らかなように、ヘッ
ダ部には撮像モードパラメータとして焦点距離、図示し
ない焦点検出回路の合焦度を表す焦点信号のレベル、す
なわち合焦信号レベル、視線方向中心位置、ストロボＯ
Ｎ／ＯＦＦ情報等が固定ビット長（図中のビット数は一
例にすぎない）で記録される。
【００６６】ただし、撮像モードパラメータの種類およ
び記録順序はあらかじめユーザ側で設定できるように端
末１２から不図示のインターフェイスを介して上記撮像
モード抽出手段５に撮像パラメータの記録フォーマット
に関する情報を送ることができるようになされている。
び記録順序はあらかじめユーザ側で設定できるように端
末１２から不図示のインターフェイスを介して上記撮像
モード抽出手段５に撮像パラメータの記録フォーマット
に関する情報を送ることができるようになされている。
【００６７】なお、画像データは記憶情報量削減のた
め、必要に応じて圧縮処理が施されてもよい。また、上
記画像記憶手段６は、上記撮像手段１に内蔵してもよい
が、撮像手段１との接続・分離が可能なインターフェイ
ス手段（図示せず）を設け、持ち運び可能なように構成
してもよい。
め、必要に応じて圧縮処理が施されてもよい。また、上
記画像記憶手段６は、上記撮像手段１に内蔵してもよい
が、撮像手段１との接続・分離が可能なインターフェイ
ス手段（図示せず）を設け、持ち運び可能なように構成
してもよい。
【００６８】図４に、本実施形態の画像情報抽出装置の
主要な動作の処理フローを示す。図４に示したように、
まず、最初のステップＳ１においては、端末１２から特
定被写体カテゴリ（以下、正面を向いた人物像を中心と
して撮像された画像とする）の存在する画像を検索する
ことの要求が入力される。
主要な動作の処理フローを示す。図４に示したように、
まず、最初のステップＳ１においては、端末１２から特
定被写体カテゴリ（以下、正面を向いた人物像を中心と
して撮像された画像とする）の存在する画像を検索する
ことの要求が入力される。
【００６９】次に、ステップＳ２に進み、画像初期化用
データがヘッダ部に記録されている画像データが格納さ
れている標準画像データベースから、上記画像の検索要
求に対応する標準画像（背景無地または背景無しの正面
人物像）を抽出する。
データがヘッダ部に記録されている画像データが格納さ
れている標準画像データベースから、上記画像の検索要
求に対応する標準画像（背景無地または背景無しの正面
人物像）を抽出する。
【００７０】次に、ステップＳ３に進み、標準画像初期
化手段１０により撮像モードパラメータの入力を行う。
本実施形態では、上記標準画像初期化手段１０は撮像モ
ード情報入力を撮像モード抽出手段５からの直接入力、
または画像記憶手段６中の画像ヘッダ部に記録された撮
像モード情報の読みだしにより撮像モードパラメータの
入力を行うようにしている。
化手段１０により撮像モードパラメータの入力を行う。
本実施形態では、上記標準画像初期化手段１０は撮像モ
ード情報入力を撮像モード抽出手段５からの直接入力、
または画像記憶手段６中の画像ヘッダ部に記録された撮
像モード情報の読みだしにより撮像モードパラメータの
入力を行うようにしている。
【００７１】次に、ステップＳ４に進み、標準画像パラ
メータを設定する。上記標準画像パラメータの設定は、
上記撮像モードパラメータと端末１２等から指定される
被写体分類カテゴリとに基づいて行うものであり、標準
画像データベース中から選択された特定被写体モデル画
像が上記画像記憶手段６に記憶されている画像上に存在
しうるサイズおよび中心位置の範囲を設定するものであ
る。
メータを設定する。上記標準画像パラメータの設定は、
上記撮像モードパラメータと端末１２等から指定される
被写体分類カテゴリとに基づいて行うものであり、標準
画像データベース中から選択された特定被写体モデル画
像が上記画像記憶手段６に記憶されている画像上に存在
しうるサイズおよび中心位置の範囲を設定するものであ
る。
【００７２】すなわち、焦点距離情報からピントの合う
被写体距離範囲を推定し、画像上で存在しうる被写体領
域サイズの設定を、あらかじめ用意した被写体距離と被
写体サイズに関する知識データに基づいて行う。また、
視線方向データから被写体の実写画像上で存在しうる中
心位置の推定を行うものである。
被写体距離範囲を推定し、画像上で存在しうる被写体領
域サイズの設定を、あらかじめ用意した被写体距離と被
写体サイズに関する知識データに基づいて行う。また、
視線方向データから被写体の実写画像上で存在しうる中
心位置の推定を行うものである。
【００７３】なお、上述のような知識データ（換算表ま
たは換算式）は、標準画像のヘッダ部に記録されている
ものとする。本実施形態では、人物の頭部サイズが個体
によって著しく変わらないことを利用し、標準画像のヘ
ッダ部に記録された換算式（係数）または換算表を用
い、被写体距離の推定値（合焦信号レベル）と倍率デー
タ（焦点距離）とに基づいて行うものとする。なお、撮
像モードを撮像手段１から直接入力することは、撮像と
並行して行う特定被写体の有無検出や追跡等の用途に好
適である。
たは換算式）は、標準画像のヘッダ部に記録されている
ものとする。本実施形態では、人物の頭部サイズが個体
によって著しく変わらないことを利用し、標準画像のヘ
ッダ部に記録された換算式（係数）または換算表を用
い、被写体距離の推定値（合焦信号レベル）と倍率デー
タ（焦点距離）とに基づいて行うものとする。なお、撮
像モードを撮像手段１から直接入力することは、撮像と
並行して行う特定被写体の有無検出や追跡等の用途に好
適である。
【００７４】次に、画像比較手段１１で行われるステッ
プＳ５およびステップＳ６の処理について詳細に説明す
る。上記画像比較手段１１は、中心位置とサイズの設定
された初期化標準画像と実写画像上の対応する領域との
類似度を推定する。
プＳ５およびステップＳ６の処理について詳細に説明す
る。上記画像比較手段１１は、中心位置とサイズの設定
された初期化標準画像と実写画像上の対応する領域との
類似度を推定する。
【００７５】なお、類似度を推定するための計算は、例
えば相関値、対応する領域間の差分絶対値（あるいは画
素ごとの差分二乗和）、あるいはその他の評価関数を用
いることができる。
えば相関値、対応する領域間の差分絶対値（あるいは画
素ごとの差分二乗和）、あるいはその他の評価関数を用
いることができる。
【００７６】次に、ステップＳ７に進み、上記ステップ
Ｓ６の処理の結果として得られる類似度値と所定閾値と
を比較して、被写体の有無を判定する。上記被写体の有
無判定は、所定条件（相関法なら閾値以上、差分方式な
ら閾値以下）を満たすときに、指定された被写体が実写
画像中に存在すると判定する。
Ｓ６の処理の結果として得られる類似度値と所定閾値と
を比較して、被写体の有無を判定する。上記被写体の有
無判定は、所定条件（相関法なら閾値以上、差分方式な
ら閾値以下）を満たすときに、指定された被写体が実写
画像中に存在すると判定する。
【００７７】特に、本実施形態の画像情報抽出装置の場
合は、頭部領域の中心位置を被写体画像領域の代表中心
位置とすることにより、検出誤差の抑制と演算時間の短
縮化を達成することができる。ここでは、初期化された
背景無しの標準画像とそれに対応する実写画像領域との
類似度を以下のようにして求めるようにしている。
合は、頭部領域の中心位置を被写体画像領域の代表中心
位置とすることにより、検出誤差の抑制と演算時間の短
縮化を達成することができる。ここでは、初期化された
背景無しの標準画像とそれに対応する実写画像領域との
類似度を以下のようにして求めるようにしている。
【００７８】すなわち、上記ステップＳ５において、実
写画像から標準画像に対応する領域に属する画素を抽出
して切り出す処理を行う。これは、標準画像の中心位置
に設定された外輪郭線で囲まれた領域の抽出として容易
に行うことができる。
写画像から標準画像に対応する領域に属する画素を抽出
して切り出す処理を行う。これは、標準画像の中心位置
に設定された外輪郭線で囲まれた領域の抽出として容易
に行うことができる。
【００７９】次に、ステップＳ６において、切り出され
た領域内画像と標準画像との差分値の二乗和を求める。
一般的には、被写体の中心位置と輪郭形状とは両方共に
誤差を含むので、中心位置に関してはある範囲内で設定
し、類似度が最も高い位置を探索する必要がある。
た領域内画像と標準画像との差分値の二乗和を求める。
一般的には、被写体の中心位置と輪郭形状とは両方共に
誤差を含むので、中心位置に関してはある範囲内で設定
し、類似度が最も高い位置を探索する必要がある。
【００８０】同様に、標準画像と実写画像の輪郭形状の
差異については標準画像の最適サイズをある範囲内で探
索することによって対応する。すなわち、形状そのもの
の差異（相似度）については無視し、例えば頭部のサイ
ズが最も実画像に近くなるようにサイズパラメータの最
適値を求めるものである。
差異については標準画像の最適サイズをある範囲内で探
索することによって対応する。すなわち、形状そのもの
の差異（相似度）については無視し、例えば頭部のサイ
ズが最も実画像に近くなるようにサイズパラメータの最
適値を求めるものである。
【００８１】この場合、標準画像初期化手段１０は撮像
パラメータに基づいてサイズ、中心位置パラメータの最
適値探索の初期値を設定したことになる。最終的に最大
の類似度を与える標準画像サイズ、中心位置における類
似度の値が所定閾値より小（差分法に基づく類似度の場
合）または大（相関法の場合）ならば、実写画像中に指
定されたカテゴリの被写体が存在すると判定する。
パラメータに基づいてサイズ、中心位置パラメータの最
適値探索の初期値を設定したことになる。最終的に最大
の類似度を与える標準画像サイズ、中心位置における類
似度の値が所定閾値より小（差分法に基づく類似度の場
合）または大（相関法の場合）ならば、実写画像中に指
定されたカテゴリの被写体が存在すると判定する。
【００８２】また、所望の被写体の切り出し手段１３は
以上の処理の結果、最適な中心位置とサイズを有する標
準画像によって与えられる外形輪郭線内の実写画像中の
領域抽出として実現する。なお、類似度算出の際に用い
る画像データは輝度レベルに限らず色相データを併用す
ることにより信頼度を増すことができる。
以上の処理の結果、最適な中心位置とサイズを有する標
準画像によって与えられる外形輪郭線内の実写画像中の
領域抽出として実現する。なお、類似度算出の際に用い
る画像データは輝度レベルに限らず色相データを併用す
ることにより信頼度を増すことができる。
【００８３】次に、本発明の画像情報抽出装置の第２の
実施形態を説明する。この第２の実施形態では、標準画
像データとして被写体カテゴリを表す外形輪郭線データ
のみを用い、画像比較手段１１での処理に動的輪郭の手
法（M.Kass,A.Witkin,and D.Terzopoulos,"Snakes:Acti
ve Countour Models,"International Journal of Compu
ter Vision,pp.321-331,1987）を適用した。動的輪郭
は、輪郭線に沿った距離s を用いてu(s)=(x(s),y(s))で
表される輪郭線に対し、評価関数は
実施形態を説明する。この第２の実施形態では、標準画
像データとして被写体カテゴリを表す外形輪郭線データ
のみを用い、画像比較手段１１での処理に動的輪郭の手
法（M.Kass,A.Witkin,and D.Terzopoulos,"Snakes:Acti
ve Countour Models,"International Journal of Compu
ter Vision,pp.321-331,1987）を適用した。動的輪郭
は、輪郭線に沿った距離s を用いてu(s)=(x(s),y(s))で
表される輪郭線に対し、評価関数は
【００８４】
【数１】
【００８５】を最小にする輪郭線u(s)を求める手法であ
る。α(s),β(s),w0はユーザが適宜定める。なお、本実
施形態では輪郭線に関して定めた、ある評価関数の最小
化により対象の輪郭線を求める手法を動的輪郭法と呼ぶ
ようにしている。
る。α(s),β(s),w0はユーザが適宜定める。なお、本実
施形態では輪郭線に関して定めた、ある評価関数の最小
化により対象の輪郭線を求める手法を動的輪郭法と呼ぶ
ようにしている。
【００８６】標準画像のサイズおよび中心位置最適値の
設定は、第１の実施形態と同様に撮像時の撮像モード情
報に基づいて行う。本実施形態の場合は、特に、初期輪
郭のサイズを実際の輪郭サイズより小さくならないよう
に設定することが望ましい。
設定は、第１の実施形態と同様に撮像時の撮像モード情
報に基づいて行う。本実施形態の場合は、特に、初期輪
郭のサイズを実際の輪郭サイズより小さくならないよう
に設定することが望ましい。
【００８７】そのために、被写体サイズの平均値にその
分散値β倍（β＞１；ユーザ側で任意に設定）を加えて
画像サイズの初期値としてもよい。被写体有無の判定
は、最終的に収束した輪郭線の形状と標準輪郭線モデル
との類似度に基づいて行う。
分散値β倍（β＞１；ユーザ側で任意に設定）を加えて
画像サイズの初期値としてもよい。被写体有無の判定
は、最終的に収束した輪郭線の形状と標準輪郭線モデル
との類似度に基づいて行う。
【００８８】類似度の例としては、人物画像の場合、最
適中心位置、最適サイズを与える標準輪郭線内の領域を
第１の画素値とする。同様に、実写画像中の対応領域内
の第１の画素値とし、結果として得られる両シルエット
画像間でのＡＮＤ処理、すなわち重複部算出処理を行
い、その面積（第１の画素値の画素数）から判定するよ
うにすればよい。
適中心位置、最適サイズを与える標準輪郭線内の領域を
第１の画素値とする。同様に、実写画像中の対応領域内
の第１の画素値とし、結果として得られる両シルエット
画像間でのＡＮＤ処理、すなわち重複部算出処理を行
い、その面積（第１の画素値の画素数）から判定するよ
うにすればよい。
【００８９】なお、他の類似度の例として相似度を求め
てもよい。この場合、中心位置を最適に設定した後、中
心位置に極座表（γ，θ；γ：原点からの距離、θ：角
度）を設定し、輪郭線上各点の（γ、θ）座標を求め
る。
てもよい。この場合、中心位置を最適に設定した後、中
心位置に極座表（γ，θ；γ：原点からの距離、θ：角
度）を設定し、輪郭線上各点の（γ、θ）座標を求め
る。
【００９０】次に、原点からの最大距離で各点のγ値を
正規化する。このようにして得られる正規化後の両波形
データ（γ，θ）間の類似度（例えば相関値）は、一般
的に、輪郭形状の相似度の目安となる。以上の処理フロ
ーを図５に示す。
正規化する。このようにして得られる正規化後の両波形
データ（γ，θ）間の類似度（例えば相関値）は、一般
的に、輪郭形状の相似度の目安となる。以上の処理フロ
ーを図５に示す。
【００９１】図５に示したように、最初のステップＳ１
０１において、端末または所定の入力装置において被写
体カテゴリを指定して入力、または選択して入力する。
次に、ステップＳ１０２に進み、標準画像データベース
から該当カテゴリの標準輪郭線像を抽出する。
０１において、端末または所定の入力装置において被写
体カテゴリを指定して入力、または選択して入力する。
次に、ステップＳ１０２に進み、標準画像データベース
から該当カテゴリの標準輪郭線像を抽出する。
【００９２】次に、ステップＳ１０３に進み、標準画像
初期化手段１０により撮像モードパラメータ（焦点距
離、合焦信号レベル、視線方向等）を入力する。
初期化手段１０により撮像モードパラメータ（焦点距
離、合焦信号レベル、視線方向等）を入力する。
【００９３】次のステップＳ１０４では、撮像パラメー
タに基づく該当カテゴリの標準輪郭線画像のサイズ設
定、および中心位置設定を行う。次に、ステップＳ１０
５に進み、前のステップＳ１０４の結果に基づいて、実
写画像上に初期化標準輪郭線を設定する。
タに基づく該当カテゴリの標準輪郭線画像のサイズ設
定、および中心位置設定を行う。次に、ステップＳ１０
５に進み、前のステップＳ１０４の結果に基づいて、実
写画像上に初期化標準輪郭線を設定する。
【００９４】次に、ステップＳ１０６に進み、動的輪郭
のアルゴリズムに基づいて初期輪郭の変形・移動処理
（Ｓｎａｋｅｓアルゴリズム）を行う。次に、ステップ
Ｓ１０７において、収束後の輪郭線像と初期化された標
準輪郭線画像との類似度評価を行う。
のアルゴリズムに基づいて初期輪郭の変形・移動処理
（Ｓｎａｋｅｓアルゴリズム）を行う。次に、ステップ
Ｓ１０７において、収束後の輪郭線像と初期化された標
準輪郭線画像との類似度評価を行う。
【００９５】次に、ステップＳ１０８に進み、上記ステ
ップＳ１０７により行われた類似度評価と所定のしきい
値との比較を行い、被写体の有無を判定を行う。ステッ
プＳ１０８の判断の結果、被写体が無い場合にはステッ
プＳ１０４に戻る。
ップＳ１０７により行われた類似度評価と所定のしきい
値との比較を行い、被写体の有無を判定を行う。ステッ
プＳ１０８の判断の結果、被写体が無い場合にはステッ
プＳ１０４に戻る。
【００９６】また、被写体がある場合にあステップＳ１
０９に進み、被写体の切り出し処理を行い、次に、ステ
ップＳ１１０に進んで画像出力の処理を行う。
０９に進み、被写体の切り出し処理を行い、次に、ステ
ップＳ１１０に進んで画像出力の処理を行う。
【００９７】次に、本発明の画像情報抽出装置および方
法の第３の実施形態について説明する。本実施形態で
は、撮像時にストロボ使用の有無に応じた特定被写体の
代表色に関する物体色予測を行い、これに基づいて存在
しうる色パラメータ範囲内の色情報を有する画像中の領
域抽出を行うようにしている。
法の第３の実施形態について説明する。本実施形態で
は、撮像時にストロボ使用の有無に応じた特定被写体の
代表色に関する物体色予測を行い、これに基づいて存在
しうる色パラメータ範囲内の色情報を有する画像中の領
域抽出を行うようにしている。
【００９８】さらに、撮像時の被写体距離情報に基づく
標準画像の初期化データ（サイズ、色成分）設定を行
う。ここに、色成分の初期設定とは被写体標準画像中の
代表色領域の色成分を、照明光条件から予測される代表
色成分を有するように変換することを意味する。
標準画像の初期化データ（サイズ、色成分）設定を行
う。ここに、色成分の初期設定とは被写体標準画像中の
代表色領域の色成分を、照明光条件から予測される代表
色成分を有するように変換することを意味する。
【００９９】なお、対象のＲＧＢ色成分は、波長λを関
数とする平均分光反射率Ｑ（λ）、ストロボ等の光源の
分光分布Ｓ（λ）、および等色関数ｒ（λ）、ｇ
（λ）、ｂ（λ）を用いて、
数とする平均分光反射率Ｑ（λ）、ストロボ等の光源の
分光分布Ｓ（λ）、および等色関数ｒ（λ）、ｇ
（λ）、ｂ（λ）を用いて、
【０１００】
【数２】
【０１０１】で与えられる。対象の分光反射率は、一般
的に固体によって異なるが、ＲＧＢ空間での被写体色成
分の存在範囲は統計的に推定することができる。簡単の
ため、その範囲を正規分布の仮定のもとで、平均分光反
射率Ｑ（λ）、およびあらかじめ分かっている各分散値
σR 、σG 、σB を用いて（Ｒ，Ｇ，Ｂ）を中心として
各成分の範囲が（Ｒ−ασR ，Ｒ＋ασR ）、（Ｇ−α
σG ，Ｇ＋ασG ）、（Ｂ−ασB ，Ｂ＋ασB ）とな
るように規定する。
的に固体によって異なるが、ＲＧＢ空間での被写体色成
分の存在範囲は統計的に推定することができる。簡単の
ため、その範囲を正規分布の仮定のもとで、平均分光反
射率Ｑ（λ）、およびあらかじめ分かっている各分散値
σR 、σG 、σB を用いて（Ｒ，Ｇ，Ｂ）を中心として
各成分の範囲が（Ｒ−ασR ，Ｒ＋ασR ）、（Ｇ−α
σG ，Ｇ＋ασG ）、（Ｂ−ασB ，Ｂ＋ασB ）とな
るように規定する。
【０１０２】上記αは任意の定数である。なお、予測さ
れる色成分範囲の規定の仕方は本実施形態の主眼ではな
いので、上記以外の方法（例えば、色相空間での設定）
でもよい。
れる色成分範囲の規定の仕方は本実施形態の主眼ではな
いので、上記以外の方法（例えば、色相空間での設定）
でもよい。
【０１０３】図６に、本実施形態において被写体検索
（または抽出）時に行われる特徴的な処理フローを示
す。まず、最初のステップＳ２０１において、端末また
は所定の入力装置を介して被写体カテゴリを指定または
選択して入力する。次に、ステップＳ２０２において、
標準画像の抽出を行う。
（または抽出）時に行われる特徴的な処理フローを示
す。まず、最初のステップＳ２０１において、端末また
は所定の入力装置を介して被写体カテゴリを指定または
選択して入力する。次に、ステップＳ２０２において、
標準画像の抽出を行う。
【０１０４】次に、ステップＳ２０３に進み、撮像モー
ドパラメータを入力する。この場合、少なくとも光源色
と焦点距離または被写体距離を入力する。次に、ステッ
プＳ２０４に進み、標準画像初期化手段１０により、撮
像パラメータに基づく該当カテゴリの標準画像中の代表
色領域の色成分推定および画像サイズ設定を行う。ただ
し、代表色領域はあらかじめ各被写体カテゴリごとに決
められているものとする。
ドパラメータを入力する。この場合、少なくとも光源色
と焦点距離または被写体距離を入力する。次に、ステッ
プＳ２０４に進み、標準画像初期化手段１０により、撮
像パラメータに基づく該当カテゴリの標準画像中の代表
色領域の色成分推定および画像サイズ設定を行う。ただ
し、代表色領域はあらかじめ各被写体カテゴリごとに決
められているものとする。
【０１０５】次に、ステップＳ２０５に進み、実写画像
から代表色推定範囲内にある色成分を有する連結領域、
またはその連結領域の外輪郭線内画像領域を抽出する。
から代表色推定範囲内にある色成分を有する連結領域、
またはその連結領域の外輪郭線内画像領域を抽出する。
【０１０６】次に、ステップＳ２０６に進み、各抽出領
域の重心位置、面積（または包接する矩形領域サイズ）
を算出する。次に、ステップＳ２０７に進み、面積また
はサイズ条件と被写体の推定サイズとの一致度を評価
し、許容範囲内の領域のみを残す処理を行う（高速化ま
たは被写体が重なり合って撮像された場合に対応するた
めにこの処理ステップは除外してもよい）。
域の重心位置、面積（または包接する矩形領域サイズ）
を算出する。次に、ステップＳ２０７に進み、面積また
はサイズ条件と被写体の推定サイズとの一致度を評価
し、許容範囲内の領域のみを残す処理を行う（高速化ま
たは被写体が重なり合って撮像された場合に対応するた
めにこの処理ステップは除外してもよい）。
【０１０７】次に、ステップＳ２０８に進み、各領域の
重心位置を中心とする初期化標準画像との類似度評価を
行う。
重心位置を中心とする初期化標準画像との類似度評価を
行う。
【０１０８】その後、ステップＳ２０９に進んで、被写
体の有無判定を行う。上記被写体の有無判定は、類似度
の評価値と所定のしきい値とを比較して行う。上記被写
体の有無判定の結果、被写体が存在しない場合にはステ
ップＳ２０４に戻り、また、被写体が存在する場合には
ステップＳ２１０に進み、被写体の切り出しを行う。
体の有無判定を行う。上記被写体の有無判定は、類似度
の評価値と所定のしきい値とを比較して行う。上記被写
体の有無判定の結果、被写体が存在しない場合にはステ
ップＳ２０４に戻り、また、被写体が存在する場合には
ステップＳ２１０に進み、被写体の切り出しを行う。
【０１０９】その後、ステップＳ２１１に進み、画像を
出力する。例えば、与えられたカラー画像中に人物が存
在するか否かを判定する場合には、照明光条件に応じた
肌色を代表色とする色予測に基づく処理を行えばよい。
本実施形態では、視線方向データに基づく被写体中心位
置の推定を併用してもよいが、被写体中心位置が事前に
分からなくても予測された色ベクトル（または色相ベク
トル）範囲内にある領域が多数ない限り、処理の高速化
を充分に達成できるものである。
出力する。例えば、与えられたカラー画像中に人物が存
在するか否かを判定する場合には、照明光条件に応じた
肌色を代表色とする色予測に基づく処理を行えばよい。
本実施形態では、視線方向データに基づく被写体中心位
置の推定を併用してもよいが、被写体中心位置が事前に
分からなくても予測された色ベクトル（または色相ベク
トル）範囲内にある領域が多数ない限り、処理の高速化
を充分に達成できるものである。
【０１１０】また、同一色成分範囲の領域が多数ある場
合には、撮像時の倍率、被写体距離情報を用いて画像内
サイズを推定することにより、同一色成分範囲を有する
連結領域サイズとその推定値との差異が所定閾値より大
きくなる領域を除去してもよい。このようにして、被写
体の存在範囲を限定することにより、被写体の有無判定
を高速に行うことや、あるいは被写体を抽出することが
可能となる。
合には、撮像時の倍率、被写体距離情報を用いて画像内
サイズを推定することにより、同一色成分範囲を有する
連結領域サイズとその推定値との差異が所定閾値より大
きくなる領域を除去してもよい。このようにして、被写
体の存在範囲を限定することにより、被写体の有無判定
を高速に行うことや、あるいは被写体を抽出することが
可能となる。
【０１１１】なお、本実施形態では実写画像および標準
画像をブロック分割して各ブロックごとに代表輝度、代
表色成分を算出してモザイク調の画像を得てから一連の
処理を行ってもよい。この場合は、処理時間の更なる短
縮が可能である。
画像をブロック分割して各ブロックごとに代表輝度、代
表色成分を算出してモザイク調の画像を得てから一連の
処理を行ってもよい。この場合は、処理時間の更なる短
縮が可能である。
【０１１２】次に、本発明の画像情報抽出装置の第４の
実施形態を説明する。図７は、本実施形態のおもな処理
フローを示す。まず、ステップＳ３０１では、被写体カ
テゴリを入力する。
実施形態を説明する。図７は、本実施形態のおもな処理
フローを示す。まず、ステップＳ３０１では、被写体カ
テゴリを入力する。
【０１１３】次に、ステップＳ３０２では、標準輪郭線
を抽出する。次に、ステップＳ３０３では、視線方向、
商店距離、または被写体距離等の撮像モードパラメータ
を入力する。
を抽出する。次に、ステップＳ３０３では、視線方向、
商店距離、または被写体距離等の撮像モードパラメータ
を入力する。
【０１１４】次に、ステップＳ３０４では、標準輪郭線
画像パラメータ（サイズ、中心位置）を設定する。次
に、ステップＳ３０５では、実写画像上の処理領域を設
定する。次に、ステップＳ３０６では、類似度を評価す
るための前処理を行う。上記前処理は、特徴要素（交差
パターン、ラインセグメント、曲線要素）、特徴要素間
対応付け、初期輪郭線設定等である。
画像パラメータ（サイズ、中心位置）を設定する。次
に、ステップＳ３０５では、実写画像上の処理領域を設
定する。次に、ステップＳ３０６では、類似度を評価す
るための前処理を行う。上記前処理は、特徴要素（交差
パターン、ラインセグメント、曲線要素）、特徴要素間
対応付け、初期輪郭線設定等である。
【０１１５】次のステップＳ３０７では動的輪郭処理を
行い、ステップＳ３０８では収束後輪郭線像と標準輪郭
線像との類似度評価を行う。次に、ステップＳ３０９に
進み、被写体の有無を判定する。上記判定の結果、被写
体がない場合にはステップＳ３０４に戻り、上述した動
作を繰り返し行う。
行い、ステップＳ３０８では収束後輪郭線像と標準輪郭
線像との類似度評価を行う。次に、ステップＳ３０９に
進み、被写体の有無を判定する。上記判定の結果、被写
体がない場合にはステップＳ３０４に戻り、上述した動
作を繰り返し行う。
【０１１６】また、ステップＳ３０９の判定の結果、被
写体が有る場合には、ステップＳ３１０に進んで被写体
の切り出しを行い。その後、ステップＳ３１１に進んで
画像を出力する処理を行って一連の処理を終了する。
写体が有る場合には、ステップＳ３１０に進んで被写体
の切り出しを行い。その後、ステップＳ３１１に進んで
画像を出力する処理を行って一連の処理を終了する。
【０１１７】上述したように、本実施形態では撮像モー
ドパラメータに基づいて処理領域を限定する（限定の仕
方は、上述した実施形態のいずれでもよい）。そして、
上記限定した領域中の特徴要素としてＬ，Ｔ，Ｘ型等の
交差、またはラインセグメント、曲線要素を検出する。
ドパラメータに基づいて処理領域を限定する（限定の仕
方は、上述した実施形態のいずれでもよい）。そして、
上記限定した領域中の特徴要素としてＬ，Ｔ，Ｘ型等の
交差、またはラインセグメント、曲線要素を検出する。
【０１１８】これらの特徴要素のうち、Ｌ、Ｔ、Ｘ型等
の交差パターンは、図８のパターン説明図に示すような
パターンであり、交差パターンの抽出法はDeriche,R. a
nd Giraudon,G.(International Journal of Computer V
ision,vol.10,pp.101-124,1993) 、Rohr,K. and Schnoe
rr,C.(Image and Vision Computing, vol.11,pp.273-27
7,1993) 、磯、志沢（電子情報通信学会技術報告、vol.
IE92-125,PP.33-40,1993) 等に詳しく説明されている。
の交差パターンは、図８のパターン説明図に示すような
パターンであり、交差パターンの抽出法はDeriche,R. a
nd Giraudon,G.(International Journal of Computer V
ision,vol.10,pp.101-124,1993) 、Rohr,K. and Schnoe
rr,C.(Image and Vision Computing, vol.11,pp.273-27
7,1993) 、磯、志沢（電子情報通信学会技術報告、vol.
IE92-125,PP.33-40,1993) 等に詳しく説明されている。
【０１１９】また、曲線要素の抽出法としては、Koende
rink,J. and Richards,W.(Jorunalof Optical Society
of America vol.A-5,PP.1136-1141,1988)、Li,S.Z.(Int
ernational Journal of Computer Vision,vol.5,pp.161
-194,1990) 等に詳しく説明されている。
rink,J. and Richards,W.(Jorunalof Optical Society
of America vol.A-5,PP.1136-1141,1988)、Li,S.Z.(Int
ernational Journal of Computer Vision,vol.5,pp.161
-194,1990) 等に詳しく説明されている。
【０１２０】次に、これらの特徴要素を第２の実施形態
で扱った動的輪郭の制御点（固定点領域) とする。その
際、初期輪郭のサイズは同様に撮像モードパラメータに
基づいて設定すればよいが、位置については標準画像上
の特徴要素と画像記憶手段から供給される画像の特徴要
素とが一定許容範囲内でマッチングする（例えば、対応
する特徴要素の種別が一致し、かつ要素間の距離が一定
値以下である）ように位置合わせする。本実施形態は、
被写体形状が鋭い角を有する場合、動的輪郭法を用いて
正確かつ高速な切り出しを行うのに特に有効である。
で扱った動的輪郭の制御点（固定点領域) とする。その
際、初期輪郭のサイズは同様に撮像モードパラメータに
基づいて設定すればよいが、位置については標準画像上
の特徴要素と画像記憶手段から供給される画像の特徴要
素とが一定許容範囲内でマッチングする（例えば、対応
する特徴要素の種別が一致し、かつ要素間の距離が一定
値以下である）ように位置合わせする。本実施形態は、
被写体形状が鋭い角を有する場合、動的輪郭法を用いて
正確かつ高速な切り出しを行うのに特に有効である。
【０１２１】
【発明の効果】本発明は上述したように、本出願に係わ
る第１の発明、第２の発明および第１２の発明によれ
ば、撮像手段が被写体を撮像したときの撮像モード情報
に基づいて初期化した標準画像との比較により、特定被
写体の検出を行うので、上記特定被写体を高速に検出す
ることができる。したがって、画像を高速に検索するこ
とができるようになるとともに、特定被写体を中心とし
た自動撮影を行うようにすることが可能となる。
る第１の発明、第２の発明および第１２の発明によれ
ば、撮像手段が被写体を撮像したときの撮像モード情報
に基づいて初期化した標準画像との比較により、特定被
写体の検出を行うので、上記特定被写体を高速に検出す
ることができる。したがって、画像を高速に検索するこ
とができるようになるとともに、特定被写体を中心とし
た自動撮影を行うようにすることが可能となる。
【０１２２】本出願に係わる第３の発明によれば、画像
比較手段の出力に基づいて画像切り出し手段による画像
の切り出しを行うようにしたので、特定被写体を高速に
切り出すことができる。
比較手段の出力に基づいて画像切り出し手段による画像
の切り出しを行うようにしたので、特定被写体を高速に
切り出すことができる。
【０１２３】本出願に係わる第４の発明によれば、撮像
時の合焦信号、上記撮像手段の焦点距離データ、撮像時
の視線方向データおよび照明光条件のうち、少なくとも
一つを抽出するようにしたので、上記抽出した情報に基
づく被写体の有無判定を行うようにすることができ、既
知の被写体が画像中に有るか否かの有無判定を高速に行
うことができる。これにより、画像中に存在しうる被写
体領域のサイズを適切に設定したり、被写体の有無判定
に要する演算時間を大幅に削減することができる。
時の合焦信号、上記撮像手段の焦点距離データ、撮像時
の視線方向データおよび照明光条件のうち、少なくとも
一つを抽出するようにしたので、上記抽出した情報に基
づく被写体の有無判定を行うようにすることができ、既
知の被写体が画像中に有るか否かの有無判定を高速に行
うことができる。これにより、画像中に存在しうる被写
体領域のサイズを適切に設定したり、被写体の有無判定
に要する演算時間を大幅に削減することができる。
【０１２４】本出願に係わる第５の発明によれば、撮像
時の被写体距離または撮像手段の焦点距離パラメータに
基づいて上記標準画像の初期サイズを設定するので、画
像中に存在しうる被写体領域のサイズを適切に設定する
ことができ、被写体の有無判定に要する演算時間を削減
することができる。これにより、撮像時の被写体位置付
近に限定して同被写体の有無判定処理を行うことがで
き、演算時間を更に削減することができる。
時の被写体距離または撮像手段の焦点距離パラメータに
基づいて上記標準画像の初期サイズを設定するので、画
像中に存在しうる被写体領域のサイズを適切に設定する
ことができ、被写体の有無判定に要する演算時間を削減
することができる。これにより、撮像時の被写体位置付
近に限定して同被写体の有無判定処理を行うことがで
き、演算時間を更に削減することができる。
【０１２５】本出願に係わる第６の発明によれば、撮像
時の視線方向に基づいて標準画像の中心位置を初期化す
るようにしたので、画像データベースでの検索処理範囲
を撮像時の被写体位置付近に限定して被写体の有無判定
処理を行うことができ、被写体の有無判定に要する演算
時間を大幅に削減することができる。
時の視線方向に基づいて標準画像の中心位置を初期化す
るようにしたので、画像データベースでの検索処理範囲
を撮像時の被写体位置付近に限定して被写体の有無判定
処理を行うことができ、被写体の有無判定に要する演算
時間を大幅に削減することができる。
【０１２６】本出願に係わる第７の発明によれば、複数
の特定被写体の輪郭線データを標準画像記憶手段に記憶
したので、輪郭線データによる被写体の有無判定を高速
に行うことができ、被写体の有無判定に要する演算時間
を削減することができる。
の特定被写体の輪郭線データを標準画像記憶手段に記憶
したので、輪郭線データによる被写体の有無判定を高速
に行うことができ、被写体の有無判定に要する演算時間
を削減することができる。
【０１２７】本出願に係わる第８の発明によれば、標準
画像の輪郭線データを初期輪郭として設定するととも
に、上記初期輪郭の中心位置を視線方向に設定するの
で、輪郭線データによる被写体の有無判定を行うための
演算時間を大幅に削減することができる。
画像の輪郭線データを初期輪郭として設定するととも
に、上記初期輪郭の中心位置を視線方向に設定するの
で、輪郭線データによる被写体の有無判定を行うための
演算時間を大幅に削減することができる。
【０１２８】本出願に係わる第９の発明によれば、標準
画像の輪郭モデルとして動的輪郭を用い、かつ所定の評
価関数に基づいて可変となるように制御するとともに、
収束後の輪郭形状と標準画像の輪郭形状との相似度また
は輪郭サイズが標準画像と略等しくなるように画像サイ
ズを正規化し、収束後の輪郭内画像と標準画像との類似
度を算出するようにしたので、上記標準画像と実写画像
とのサイズ、形状が異なる場合でも特定被写体の検出を
安定して行うことが可能となる。
画像の輪郭モデルとして動的輪郭を用い、かつ所定の評
価関数に基づいて可変となるように制御するとともに、
収束後の輪郭形状と標準画像の輪郭形状との相似度また
は輪郭サイズが標準画像と略等しくなるように画像サイ
ズを正規化し、収束後の輪郭内画像と標準画像との類似
度を算出するようにしたので、上記標準画像と実写画像
とのサイズ、形状が異なる場合でも特定被写体の検出を
安定して行うことが可能となる。
【０１２９】本出願に係わる第１０の発明によれば、標
準画像と撮像手段で生成される実写画像との類似値が所
定の閾値より大きいときに画像データを出力するので、
輪郭線内の画像切り出しにより、被写体画像を背景から
分離抽出することを高速に、かつ自動的に行うことがで
き、信頼性の高い被写体抽出を高速に行うことができ
る。
準画像と撮像手段で生成される実写画像との類似値が所
定の閾値より大きいときに画像データを出力するので、
輪郭線内の画像切り出しにより、被写体画像を背景から
分離抽出することを高速に、かつ自動的に行うことがで
き、信頼性の高い被写体抽出を高速に行うことができ
る。
【０１３０】本出願に係わる第１１の発明によれば、動
的輪郭が収束された後の輪郭線内の原画像データを出力
するので、撮像情報を活用した信頼性の高い被写体抽出
を高速に行うことができる。
的輪郭が収束された後の輪郭線内の原画像データを出力
するので、撮像情報を活用した信頼性の高い被写体抽出
を高速に行うことができる。
【図１】本発明の画像情報抽出装置の要部構成を示す機
能構成図である。
能構成図である。
【図２】本発明の一実施形態を示すシステム構成図であ
る。
る。
【図３】画像データヘッダ部のフォーマット一例を示す
図である。
図である。
【図４】第１の実施形態の処理を説明するためのフロー
チャートである。
チャートである。
【図５】第２の実施形態の処理を説明するためのフロー
チャートである。
チャートである。
【図６】第３の実施形態の処理を説明するためのフロー
チャートである。
チャートである。
【図７】第４の実施形態の処理を説明するためのフロー
チャートである。
チャートである。
【図８】第４の実施形態で抽出する特徴要素（交差パタ
ーン）の一例を示す図である。
ーン）の一例を示す図である。
１ 撮像手段 ２ 結像光学系 ３ センサ ４ レンズモータ駆動制御部 ５ 撮像モード抽出手段 ６ 画像記憶手段 ７ ファインダ ８ 視線方向検出手段 ９ 標準画像データベース １０ 標準画像初期化手段 １１ 画像比較手段 １２ 端末 １３ 被写体画像領域切り出し手段 １４ 画像出力手段 Ａ 撮像手段 Ｂ 撮像モード抽出手段 Ｃ 撮像モード記憶手段 Ｄ 画像記憶手段 Ｅ 標準画像記憶手段 Ｆ 標準画像初期化手段 Ｇ 画像比較手段 Ｈ 画像切り出し手段 Ｉ 画像出力手段
Claims (12)
- 【請求項１】 被写体を撮像して画像を生成する撮像手
段と、 上記撮像手段から出力される画像と比較する標準画像を
記憶するための標準画像記憶手段と、 上記撮像手段が被写体を撮像するときの撮像モードに基
づいて上記標準画像を初期化する標準画像初期化手段
と、 上記標準画像初期化手段によって初期化された初期化標
準画像と、上記撮像手段から出力された画像とを比較す
る画像比較手段とを具備することを特徴とする画像情報
抽出装置。 - 【請求項２】 被写体を撮像して画像を生成する撮像手
段と、 上記撮像手段が被写体を撮像するときの撮像モードを記
憶するための撮像モード記憶手段と、 上記撮像手段から出力される画像を記憶するための画像
記憶手段と、 上記撮像手段から出力される画像と比較する標準画像を
記憶するための標準画像記憶手段と、 上記撮像モード抽出手段で抽出された撮像モードに基づ
いて上記標準画像を初期化する標準画像初期化手段と、 上記標準画像初期化手段によって初期化された初期化標
準画像と、上記撮像手段から出力された画像とを比較す
る画像比較手段とを具備することを特徴とする画像情報
抽出装置。 - 【請求項３】 被写体を撮像して画像を生成する撮像手
段と、 上記撮像手段が被写体を撮像するときの撮像モードを抽
出する撮像モード抽出手段と、 上記撮像モード抽出手段で抽出された撮像モードを記憶
するための撮像モード記憶手段と、 上記撮像手段から出力される画像を記憶するための画像
記憶手段と、 上記撮像手段から出力される画像と比較する標準画像を
記憶するための標準画像記憶手段と、 上記撮像モード抽出手段で抽出された撮像モードに基づ
いて上記標準画像を初期化する標準画像初期化手段と、 上記標準画像初期化手段によって初期化された初期化標
準画像と、上記撮像手段により出力された画像とを比較
する画像比較手段と、 上記画像比較手段の出力に基づいて画像を切り出す画像
切り出し手段とを具備することを特徴とする画像情報抽
出装置。 - 【請求項４】 上記撮像モード抽出手段は、撮像時の合
焦信号、上記撮像手段の焦点距離データ、撮像時の視線
方向データおよび照明光条件のうち、少なくとも一つを
抽出することを特徴とする請求項１〜３のいずれか１項
に記載の画像情報抽出装置。 - 【請求項５】 上記標準画像初期化手段は、撮像時の被
写体距離または上記撮像手段の焦点距離パラメータに基
づいて上記標準画像の初期サイズを設定することを特徴
とする請求項１〜３のいずれか１項に記載の画像情報抽
出装置。 - 【請求項６】 上記撮像モード抽出手段は視線方向デー
タ抽出手段を有し、上記標準画像初期化手段は撮像時の
視線方向に基づいて上記撮像手段で生成される画像上の
中心位置に対応して上記標準画像の中心位置を初期化す
ることを特徴とする請求項１〜３のいずれか１項に記載
の画像情報抽出装置。 - 【請求項７】 上記標準画像記憶手段には複数の特定被
写体の輪郭線データが記憶されていることを特徴とする
請求項１〜３のいずれか１項に記載の記載の画像情報抽
出装置。 - 【請求項８】 上記標準画像初期化手段は、上記標準画
像の輪郭線データを初期輪郭として設定するとともに、
上記初期輪郭の中心位置を上記視線方向に設定すること
を特徴とする請求項１〜３のいずれか１項に記載の画像
情報抽出装置。 - 【請求項９】 上記画像比較手段は、上記標準画像の輪
郭モデルとして動的輪郭を用い、輪郭画上の各節点の位
置を上記撮像手段で生成される画像の輪郭線上の点に収
束したときに最小値をとる所定の評価関数に基づいて可
変するように制御した後、収束後の輪郭形状と標準画像
の輪郭形状との相似度または輪郭サイズが標準画像と略
等しくなるように画像サイズを正規化して収束した後の
輪郭内画像と標準画像との類似度を算出することを特徴
とする請求項１〜３のいずれか１項に記載の画像情報抽
出装置。 - 【請求項１０】 上記画像比較手段は、上記標準画像と
上記撮像手段で生成される画像との類似値が所定の閾値
より大きいときに画像データを出力することを特徴とす
る請求項１〜３のいずれか１項に記載の画像情報抽出装
置。 - 【請求項１１】 上記画像比較手段は、上記動的輪郭が
収束された後の輪郭線内の原画像データを出力すること
を特徴とする請求項９に記載の画像情報抽出装置。 - 【請求項１２】 被写体を撮像して画像を生成する画像
生成処理と、 上記画像生成処理を行って画像を生成するときの撮像状
態を抽出する抽出処理と、 上記画像生成処理によって生成された画像と比較するた
めの標準画像を記憶手段から読みだす標準画像読みだし
処理と、 上記標準画像読みだし処理によって記憶手段から読みだ
された標準画像を上記抽出処理により抽出された撮像状
態に基づいて初期化する標準画像初期化処理と、 上記標準画像初期化処理によって初期化された初期化標
準画像と、上記画像生成処理によって生成された画像と
を比較する画像比較処理とを行って特定被写体を探索す
るようにしたことを特徴とする画像情報抽出方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28536295A JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
| DE69635101T DE69635101T2 (de) | 1995-11-01 | 1996-10-31 | Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät |
| US08/742,206 US6636635B2 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| EP96117530A EP0774730B1 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| US10/678,255 US6993184B2 (en) | 1995-11-01 | 2003-10-06 | Object extraction method, and image sensing apparatus using the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28536295A JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09130714A true JPH09130714A (ja) | 1997-05-16 |
| JP3774495B2 JP3774495B2 (ja) | 2006-05-17 |
Family
ID=17690584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28536295A Expired - Fee Related JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3774495B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001143075A (ja) * | 1999-11-10 | 2001-05-25 | Yaskawa Electric Corp | テンプレートマッチング方法 |
| JP2008028886A (ja) * | 2006-07-25 | 2008-02-07 | Seiko Epson Corp | 画像処理装置およびぼやけ検出方法 |
| WO2009072403A1 (ja) * | 2007-12-04 | 2009-06-11 | Nikon Corporation | カメラ |
| EP2120450A2 (en) | 2008-05-16 | 2009-11-18 | Casio Computer Co., Ltd. | Image capture apparatus and program |
| US7889886B2 (en) | 2005-07-26 | 2011-02-15 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US7945938B2 (en) | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
| US8311272B2 (en) | 2006-06-30 | 2012-11-13 | Canon Kabushiki Kaisha | Image processing apparatus for identifying an individual object, image processing method, and storage medium |
| JP2013054429A (ja) * | 2011-09-01 | 2013-03-21 | Renesas Electronics Corp | オブジェクト追跡装置 |
| JP2016112040A (ja) * | 2014-12-11 | 2016-06-23 | 富士通株式会社 | ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム |
| CN113469138A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 对象检测方法和装置、存储介质及电子设备 |
| CN116087217A (zh) * | 2023-04-10 | 2023-05-09 | 湖北工业大学 | 基于机器视觉的工业流水线动态质量检测模块及方法 |
-
1995
- 1995-11-01 JP JP28536295A patent/JP3774495B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001143075A (ja) * | 1999-11-10 | 2001-05-25 | Yaskawa Electric Corp | テンプレートマッチング方法 |
| US7945938B2 (en) | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
| US8180106B2 (en) | 2005-07-26 | 2012-05-15 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US7889886B2 (en) | 2005-07-26 | 2011-02-15 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US8311272B2 (en) | 2006-06-30 | 2012-11-13 | Canon Kabushiki Kaisha | Image processing apparatus for identifying an individual object, image processing method, and storage medium |
| JP2008028886A (ja) * | 2006-07-25 | 2008-02-07 | Seiko Epson Corp | 画像処理装置およびぼやけ検出方法 |
| US8436900B2 (en) | 2007-12-04 | 2013-05-07 | Nikon Corporation | Pattern matching camera |
| WO2009072403A1 (ja) * | 2007-12-04 | 2009-06-11 | Nikon Corporation | カメラ |
| EP2120450A2 (en) | 2008-05-16 | 2009-11-18 | Casio Computer Co., Ltd. | Image capture apparatus and program |
| JP2013054429A (ja) * | 2011-09-01 | 2013-03-21 | Renesas Electronics Corp | オブジェクト追跡装置 |
| JP2016112040A (ja) * | 2014-12-11 | 2016-06-23 | 富士通株式会社 | ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム |
| CN113469138A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 对象检测方法和装置、存储介质及电子设备 |
| CN116087217A (zh) * | 2023-04-10 | 2023-05-09 | 湖北工业大学 | 基于机器视觉的工业流水线动态质量检测模块及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3774495B2 (ja) | 2006-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6636635B2 (en) | Object extraction method, and image sensing apparatus using the method | |
| EP0932114B1 (en) | A method of and apparatus for detecting a face-like region | |
| JP3151284B2 (ja) | 標識認識のための突極部輪郭等級付け抽出装置並びに方法 | |
| US5450504A (en) | Method for finding a most likely matching of a target facial image in a data base of facial images | |
| JP4725377B2 (ja) | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| US20110268359A1 (en) | Foreground/Background Segmentation in Digital Images | |
| JP5366756B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP2004086891A (ja) | デジタル画像におけるオブジェクト検出方法 | |
| WO1991006921A1 (en) | Dynamic method for recognizing objects and image processing system therefor | |
| GB2343945A (en) | Photographing or recognising a face | |
| WO2005116910A2 (en) | Image comparison | |
| KR101303877B1 (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
| US20050200722A1 (en) | Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program | |
| JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
| JP2002366963A (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| JPH1021408A (ja) | 画像抽出装置および方法 | |
| JP2001167273A (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| JP2002342758A (ja) | 視覚認識システム | |
| JPH10222678A (ja) | 物体検出装置および物体検出方法 | |
| JP2003303346A (ja) | 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体 | |
| JP2721107B2 (ja) | 映像特徴処理方法 | |
| JPH09327037A (ja) | 輪郭抽出方法及び画像抽出方法及び装置 | |
| JP2004199200A (ja) | パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |