JPH09237343A - 物体認識システム - Google Patents

物体認識システム

Info

Publication number
JPH09237343A
JPH09237343A JP8043930A JP4393096A JPH09237343A JP H09237343 A JPH09237343 A JP H09237343A JP 8043930 A JP8043930 A JP 8043930A JP 4393096 A JP4393096 A JP 4393096A JP H09237343 A JPH09237343 A JP H09237343A
Authority
JP
Japan
Prior art keywords
image
distance
attribute
shape
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8043930A
Other languages
English (en)
Inventor
Hiroshi Murase
洋 村瀬
Bui Binotsudo Bui
ブイ.ブイ.ビノッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP8043930A priority Critical patent/JPH09237343A/ja
Publication of JPH09237343A publication Critical patent/JPH09237343A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複雑な画像中から安定にかつ精度良く対象物
体を検出可能とする物体認識システムを提供する。 【解決手段】 物体学習装置1が、登録物体の画像から
色等の属性特徴を属性特徴作成部5で作成し、直交展開
係数等の形状特徴を形状特徴抽出装置6で抽出する。物
体検出装置2は、入力画像中に設定した注目領域を粗く
走査しながら、属性距離測定装置10で注目領域の属性
特徴と上記登録物体の属性特徴の距離を計算し、その値
から対象物体の候補位置を推定する。続いて、候補位置
付近を詳細に走査しながら、形状距離測定装置13で注
目領域の形状特徴と上記登録物体の形状特徴の距離を計
算し、その値から対象物体の位置を判定する。即ち、低
精度だが安定な属性特徴を用いる手法と、高精度だが雑
音や変形等に弱い形状特徴を用いる手法を組み合わせ、
安定で、高精度に対象物体を検索可能とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像の中から予め
登録した物体を含む画像を探し出し、その画像中のどこ
にその物体があるかを検出する画像検索方式に関する技
術であり、特定の物体の存在を検出したりする監視装置
や、画像データベースの中から特定の物体を含む画像を
探し出したりする画像検索システムなどに応用可能であ
る。
【0002】
【従来の技術】従来、画像中から対象物体の領域を抽出
する装置では、大きく分けて2種類の方法が提案されて
いる。
【0003】第1の方法としては物体の形状情報を利用
する手法である。その一例としては、幾何学的な部分特
徴、例えばコーナーや稜線を抽出し、その位置関係から
物体の位置を抽出する方法がある。また、形状情報を利
用する別の手法として、2次元のテンプレートあるいは
周波数展開などの直交展開係数を用意し、それと入力画
像の部分画像との相関をとり、その相関値の大きい領域
をその物体の領域として検出する手法がある。
【0004】一方、第2の方法は物体の属性を利用する
手法である。例えば赤い色を探し出すなどがこれにあた
る。
【0005】
【発明が解決しようとする課題】しかしながら、物体の
形状情報を利用して画像の中から対象物体の領域を抽出
する上記従来の第1の方法では、雑音の多い一般の画像
中からコーナーや稜線などの幾何学的特徴を精度良く抽
出することが困難であり、未だに研究段階である。ま
た、入力画像の部分画像とテンプレート等の形状情報と
の相関を利用する方法では、比較的精度良く物体の位置
が検出できるものの、雑音や変形に弱いなどの問題があ
った。
【0006】一方、色などの物体の属性情報を利用して
画像の中から対象物体の領域を抽出する上記従来の第2
の方法では、物体の大体の位置を検出することは可能で
あるが精度良くその位置を検出することは困難であっ
た。
【0007】本発明は、前記問題点を解決するためにな
されたもので、その目的は、複雑な画像中から安定にか
つ精度良く対象物体を検索することを可能とする物体認
識の技術を提供することにある。
【0008】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、複数の物体を含む入力画像中から、登録
してある物体の位置を探し出す物体認識システムにおい
て、物体学習装置と物体検出装置とを具備し、前記物体
学習装置は、登録した物体の画像から例えばRGBの色
空間でのヒストグラムなどの属性特徴および直交展開係
数などの形状特徴を予め計算する手段を備え、前記物体
検出装置は、入力画像中の適当な位置に窓関数などの注
目領域を設定し該注目領域内の局所的な属性特徴を抽出
する手段と、前記抽出された局所的な属性特徴と前記物
体学習装置にて予め計算された登録した物体に対する属
性特徴との距離を計算する手段と、前記注目領域を入力
画像全体に粗に走査させながら得られる前記計算された
距離の値により物体がそこに存在する可能性があるかど
うかの候補位置を推定する手段と、前記推定された候補
位置で改めて注目領域を設定し該注目領域内の部分画像
に対して形状特徴を計算する手段と、前記改めて設定さ
れた注目領域内の部分画像に対する直交展開係数などの
形状特徴と前記物体学習装置にて予め登録した物体に対
する形状特徴との距離を計算する手段と、前記改めて設
定された注目領域を前記候補位置の近傍で詳細に走査さ
せながら得られる前記計算された距離の値により物体の
正確な位置、即ちその物体がそこに存在するかどうかを
最終判定する手段と、を備えることを特徴とする。
【0009】上記の物体認識システムでは、注目領域の
大きさをさまざまに変化させて得られる距離の値によ
り、物体の候補位置の推定と物体の正確な位置の判定の
一方もしくは双方を行うか、または、入力画像の大きさ
を変化させて得られる距離の値により、物体の候補位置
の推定と物体の正確な位置の判定の一方もしくは双方を
行うのが、画像中の物体の大きさが不明な場合にも、安
定にかつ精度良く物体を画像中から検索可能とする点で
好適である。
【0010】本発明では、位置検出精度の低いが安定に
物体を検出できる色などの物体の属性特徴を利用して大
体の候補位置を推定する手法と、位置検出精度は高いが
雑音や変形などに弱い形状特徴を利用して詳細にその物
体の位置を判定する手法とを組み合わせることにより、
複雑な画像中から安定にかつ精度良く対象物体を検索可
能とする。
【0011】
【発明の実施の形態】以下、本発明の詳細を一実施形態
例によって説明する。この実施形態例では、属性特性と
して色ヒストグラムを利用し、形状特徴としてDCT
(離散コサイン変換)の低周波成分の係数を利用する場
合について示すが、これらの特徴はそれに限らず、類似
の性質を持つ特徴であれば何でも良い。
【0012】図1は、本発明の一実施形態例である画像
認識検索装置のブロック図である。本画像認識検索装置
は大きく分けて物体学習装置1と物体検出装置2から構
成される。
【0013】物体学習装置1は、検索すべき登録物体の
2次元画像から認識に必要となる辞書データを作成する
装置である。以下、物体学習装置1の各部を具体的に説
明する。
【0014】画像入力装置3は、カラーTVカメラとA
/Dコンバーターから構成されるもので、登録すべき物
体の2次元画像を学習データとして取り込み、これを注
目領域抽出装置4に送出する。
【0015】注目領域抽出装置4は、窓関数などを用い
て画像入力装置3から送出された画像から物体の領域を
抽出する装置である。物体の窓関数としては、矩形形状
でその内側を取り出すもの、円形状で円の中心部分だけ
を取り出すもの、物体の形状に合わせた形でその内側だ
けを取り出すものなどの窓関数があげられる。ここでは
簡単の為に矩形形状の場合で説明する。図2に矩形形状
で抽出された検索すべき物体の画像例を示す。ここで抽
出された部分画像は属性特徴作成装置5、および形状特
徴抽出装置6に送出される。
【0016】属性特徴作成装置5は、注目領域抽出装置
4から送出された画像の画素の色値を用いて、色ヒスト
グラムを計算する。例えばR(赤),G(緑),B
(青)の3色の場合にはhrgbの3次元ヒストグラ
ムが構成される。ヒストグラムとは、R,G,Bの3次
元の色空間を細かい立方体で分割し、対象領域の各画素
をその色空間に投影し、各立方体に何個の画素が入った
かを加算した量である。登録する物体全てに対して色ヒ
ストグラムを計算する。認識段階ではこのカラーヒスト
グラムを辞書として使用するため、この情報は後記する
物体検出装置2の属性距離測定装置10に送出される。
【0017】形状特徴抽出装置6は、注目領域抽出装置
4から送出された画像を直交展開し、その係数などを計
算する装置である。直交展開としては、例えば周波数分
析(フーリエ変換)をし、その低周波成分の係数を取り
出したり、DCT(離散コサイン変換)を行いその低周
波数成分の係数を取り出したりすることにより行う。こ
れをpiとする。ここでiは係数の番号である。この直
交展開係数piは物体の辞書として使用するため、形状
距離測定装置13に送出される。
【0018】物体検出装置2は物体学習装置1で作成さ
れた辞書データをもとに学習した物体の位置を入力画像
中から検出する装置である。以下、物体検出装置2の各
部を具体的に説明する。
【0019】画像入力装置7は複数の物体を含むような
画像を入力する装置である。これは学習段階で使用され
た画像入力装置3と同等のものである。入力画像の例を
図3に示す。入力画像は、注目領域走査抽出装置8およ
び注目領域詳細走査装置11に送出される。
【0020】注目領域走査抽出装置8は、画像入力装置
7から送出された入力画像から、注目領域として特定の
領域の部分画像を抽出する。この注目領域の形状は、注
目領域抽出装置4で使用されたものと同じ窓関数を使用
する。注目領域の例を図4に示す。この注目領域の位置
は例えばラスタースキャン状に入力画像中を順次走査
し、入力画像の部分画像を順次、属性特徴作成装置9に
送出する。その際、注目領域は画像全体に対して粗く走
査される。
【0021】属性特徴作成装置9は、注目領域走査抽出
装置8から送出された入力画像の部分領域の画素の色値
を用いて、色ヒストグラムを計算する。この装置は属性
特徴作成装置5と同等のものである。順次送られてくる
データに対して、色ヒストグラムを計算し、その結果を
属性距離計算装置10に転送する。その際、色ヒストグ
ラムのような属性特徴は位置の移動などに対して値が緩
やかに変動する特性があるために、走査する際の移動量
は比較的大きく取ることが可能である。この結果得られ
た位置x,yの色ヒストグラムをg(x,y)rgb
で表す。
【0022】属性距離測定装置10は、属性特徴作成装
置9から送出された色ヒストグラムg(x,y)rg
bと、物体学習装置1の属性特徴作成装置5から送出さ
れてきた色ヒストグラムhrgbとの距離値を計算す
る。距離値としてはさまざまな定義が可能であるが、例
えばユークリッド距離 d1(x,y)=Σi=rgb(hrgb−g(x,
y)rgb2などが用いられる。
【0023】この距離が、ある閾値以下であれば、注目
している領域を学習した物体の候補位置として、注目領
域走査装置11に送出する。図3に示す入力画像に対し
て図2の登録物体の候補位置の例を図5に示す。
【0024】注目領域詳細走査装置11は、注目領域走
査装置9と同様の機能を有する装置であるが、属性距離
測定装置10から送出された物体の候補位置の近傍に対
して細かく走査しながら、画像入力装置7からの入力画
像の部分画像を順次、形状特徴抽出装置12に送出す
る。
【0025】形状特徴抽出装置12は、注目領域詳細走
査装置11から順次送出されてくる入力画像の部分領域
に対して直交変換などを行い、この係数を形状特徴とし
て抽出する。この形状特徴抽出装置12は形状特徴抽出
装置6と同等のものである。計算された形状特徴は形状
距離計算装置13に送出される。ここで、位置(x,
y)の注目領域に対する形状特徴をf(x,y)iで表
す。ただし、iは係数の番号である。
【0026】形状距離測定装置13は、形状特徴抽出装
置12から送出された特徴係数f(x,y)iと、画像
学習装置1で作成された特徴係数piとの距離値を計算
する。距離値としてはさまざまな定義が可能であるが、
ここでも、例えばユークリッド距離 d2(x,y)=Σi=1 I(pi−f(x,y)i2などが
用いられる。
【0027】この距離が、あるいき値以下であれば、注
目している領域を登録した物体であるとして、その位置
(x,y)を位置検出結果として出力する。
【0028】なお、上記の実施形態例における注目領域
の大きさ、もしくは入力画像の大きさをさまざまに変化
させて得られる距離の値により、物体の候補位置の推定
処理と物体の正確な位置の判定処理の一方もしくは双方
を行うようにしてもよい。この場合、画像中の物体の大
きさが不明な場合でも、安定で精度の高い物体検出が可
能となる。
【0029】
【発明の効果】以上説明したように、本発明によれば、
色ヒストグラムなどの属性特徴を利用した安定な候補位
置の抽出手段と、直交展開係数などの形状特徴を利用し
た高精度な詳細位置の検出手段を組み合わせて入力画像
中から特定の物体を抽出するようにしたので、複数の物
体を含む入力画像中から特定の物体の位置等を安定に精
度良く検出することが可能である。例えば、本発明を画
像データベースなどに利用すれば、特定の物体を含む画
像を検索することが容易に可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態例の機能ブロック図であ
る。
【図2】上記実施形態例における登録物体の画像例を示
す図面代用写真である。
【図3】上記実施形態例における入力画像の例を示す図
面代用写真である。
【図4】上記実施形態例における注目領域の設定例を示
す図である。
【図5】上記実施形態例における候補領域の推定例を示
す図である。
【符号の説明】
1…物体学習装置 2…物体検出装置 3…画像入力装置 4…注目領域抽出装置 5…属性特徴作成装置 6…形状特徴抽出装置 7…画像入力装置 8…注目領域走査抽出装置 9…属性特徴作成装置 10…属性距離測定装置 11…注目領域詳細走査装置 12…形状特徴抽出装置 13…形状距離測定装置

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の物体を含む入力画像中から、登録
    してある物体の位置を探し出す物体認識システムにおい
    て、 物体学習装置と物体検出装置とを具備し、 前記物体学習装置は、登録した物体の画像から属性特徴
    および形状特徴を予め計算する手段を備え、 前記物体検出装置は、 入力画像中の適当な位置に注目領域を設定し該注目領域
    内の局所的な属性特徴を抽出する手段と、 前記抽出された局所的な属性特徴と前記物体学習装置に
    て予め計算された登録した物体に対する属性特徴との距
    離を計算する手段と、 前記注目領域を入力画像全体に粗に走査させながら得ら
    れる前記計算された距離の値により物体の候補位置を推
    定する手段と、 前記推定された候補位置で改めて注目領域を設定し該注
    目領域内の部分画像に対して形状特徴を計算する手段
    と、 前記改めて設定された注目領域内の部分画像に対する形
    状特徴と前記物体学習装置にて予め登録した物体に対す
    る形状特徴との距離を計算する手段と、 前記改めて設定された注目領域を前記候補位置の近傍で
    詳細に走査させながら得られる前記計算された距離の値
    により物体の正確な位置を判定する手段と、を備えるこ
    とを特徴とする物体認識システム。
  2. 【請求項2】 注目領域の大きさをさまざまに変化させ
    て得られる距離の値により、物体の候補位置の推定と物
    体の正確な位置の判定の一方もしくは双方を行うことを
    特徴とする請求項1記載の物体認識システム。
  3. 【請求項3】 入力画像の大きさを変化させて得られる
    距離の値により、物体の候補位置の推定と物体の正確な
    位置の判定の一方もしくは双方を行うことを特徴とする
    請求項1記載の物体認識システム。
JP8043930A 1996-03-01 1996-03-01 物体認識システム Pending JPH09237343A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8043930A JPH09237343A (ja) 1996-03-01 1996-03-01 物体認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8043930A JPH09237343A (ja) 1996-03-01 1996-03-01 物体認識システム

Publications (1)

Publication Number Publication Date
JPH09237343A true JPH09237343A (ja) 1997-09-09

Family

ID=12677416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8043930A Pending JPH09237343A (ja) 1996-03-01 1996-03-01 物体認識システム

Country Status (1)

Country Link
JP (1) JPH09237343A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021333A1 (fr) * 2000-09-06 2002-03-14 Nec Corporation Dispositif de recherche d'images
JP2003256427A (ja) * 2002-02-27 2003-09-12 Fuji Xerox Co Ltd 画像検索装置
EP1215591A3 (en) * 2000-12-12 2004-06-09 Nec Corporation Image search system and image search method
JP2004348266A (ja) * 2003-05-20 2004-12-09 Fanuc Ltd 画像処理装置
JP2005025770A (ja) * 2000-05-19 2005-01-27 Nippon Telegr & Teleph Corp <Ntt> 検索サービスの配信方法及びシステム,情報検索方法及び装置,情報検索サーバ,検索サービス提供方法,そのプログラムおよび該プログラムを記録した記録媒体
US7315650B2 (en) 2003-09-30 2008-01-01 Fanuc Ltd Image processor
US7490107B2 (en) 2000-05-19 2009-02-10 Nippon Telegraph & Telephone Corporation Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium
JP2009074968A (ja) * 2007-09-21 2009-04-09 Image One Co Ltd 水流の測定方法及び装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005025770A (ja) * 2000-05-19 2005-01-27 Nippon Telegr & Teleph Corp <Ntt> 検索サービスの配信方法及びシステム,情報検索方法及び装置,情報検索サーバ,検索サービス提供方法,そのプログラムおよび該プログラムを記録した記録媒体
US7490107B2 (en) 2000-05-19 2009-02-10 Nippon Telegraph & Telephone Corporation Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium
WO2002021333A1 (fr) * 2000-09-06 2002-03-14 Nec Corporation Dispositif de recherche d'images
JP2002082985A (ja) * 2000-09-06 2002-03-22 Nec Corp 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
EP1215591A3 (en) * 2000-12-12 2004-06-09 Nec Corporation Image search system and image search method
US7006689B2 (en) 2000-12-12 2006-02-28 Nec Corporation Image search system and image search method thereof
JP2003256427A (ja) * 2002-02-27 2003-09-12 Fuji Xerox Co Ltd 画像検索装置
JP2004348266A (ja) * 2003-05-20 2004-12-09 Fanuc Ltd 画像処理装置
US7400760B2 (en) 2003-05-20 2008-07-15 Fanuc Ltd Image processing apparatus
US7315650B2 (en) 2003-09-30 2008-01-01 Fanuc Ltd Image processor
JP2009074968A (ja) * 2007-09-21 2009-04-09 Image One Co Ltd 水流の測定方法及び装置

Similar Documents

Publication Publication Date Title
US8331650B2 (en) Methods, systems and apparatus for defect detection
US6990233B2 (en) Apparatus and method for extracting object based on feature matching between segmented regions in images
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
US7929728B2 (en) Method and apparatus for tracking a movable object
CN102184550B (zh) 一种动平台地面运动目标检测方法
US20090304271A1 (en) Object region extracting device
US20110235910A1 (en) Method circuit and system for matching an object or person present within two or more images
CN107610166B (zh) 一种基于线性特征区域分割的平面地图图像配准方法
KR20100071822A (ko) 이미지에서의 의류 검출 장치와 그 방법
CN109146918A (zh) 一种基于分块的自适应相关目标定位方法
JPH09237343A (ja) 物体認識システム
Hashimoto et al. High‐speed template matching algorithm using information of contour points
CN104504162B (zh) 一种基于机器人视觉平台的视频检索方法
CN112364835B (zh) 视频信息取帧方法、装置、设备及存储介质
JP2024069041A5 (ja)
CN110704667A (zh) 一种基于语义信息的快速相似图检测算法
CN112668585B (zh) 一种动态环境下的物体辨识与定位方法
JP3517518B2 (ja) 物体検出装置
JP2004145592A (ja) 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体
KR20030040680A (ko) 얼굴 검출 방법 및 그 장치
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
JPH10247246A (ja) 物体検出方法
JPH09128542A (ja) 画像認識検索装置
JP2009157766A (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
CN120032139B (zh) 一种基于智能识别与快速匹配的变电站设备巡检图像自动命名方法