JPH02226025A

JPH02226025A - 物体認識装置

Info

Publication number: JPH02226025A
Application number: JP1046054A
Authority: JP
Inventors: Noriaki Hirose; 弘瀬　憲章
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1989-02-27
Filing date: 1989-02-27
Publication date: 1990-09-07

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的コ（産業上の利用分野）この発明は離れた場所に存在する不特定物体の認識装置
に関する。

（従来の技術）近年の画像処理技術の進歩は著しく、特定された物体の
識別は可視ＣＣＤなどを利用したカメラによる画像処理
によりかなりの正確度で職別できるようになってきてい
る。また、一部分が隠れている物体であっても、それが
特定の物体である場合には直線近似法によりある程度推
定できるように画像処理アルゴリズム開発が進められて
いる。

さらに、可視ＣＣＤカメラによっては認識できない暗い
場所での物体もＩＲ−ＣＣＤなどにより画像処理できる
ようになってきている。

そこで、可視ＣＣＤおよびＩＲ−ＣＣＤの両方のカメラ
を併用し、いずれか鮮明度の高い画像を採用することに
より野外での特定物体の識別を正確に行う技術も向上し
てきている。

（発明が解決しようとする課題）しかしながら、このような従来の物体認識装置では、特
定の物体については、画像処理技術による専用の特徴抽
出によりかなりの正確度で識別が可能であるが、不特定
物体の識別についてはカメラからの視覚情報のみでは非
常に特定が難しく、識別精度が大幅に低下する問題点が
あった。

この発明は、このような従来の問題点に鑑みてなされた
もので、従来の視覚情報に基づく物体認識技術に対して
、不特定物体からの音および振動を感知してその音およ
び振動を分析して既知の音データおよび振動データと照
合することにより不特定物体の推定を行い、視覚による
物体認識技術と協働させることにより正確度の高い物体
認識ができる物体認識装置を提供することを目的とする
。

［発明の構成］（課題を解決するための手段）この発明の物体認識装置は、不特定物体からの音に対す
る音センサと、この音センサの感知した音を分析する音
分析器と、不特定物体からの振動に対する振動センサと
、この振動センサの感知した振動を分析する振動分析器
と、既知の物体から発せられる音データと振動データと
を格納する記憶部と、不特定物体から発せられる音およ
び振動を前記音センサおよび振動センサにより感知して
前記音分析器および振動分析器により分析し、この分析
結果を前記記憶部に格納されている音データおよび振動
データと照合して不特定物体が何であるかを推定するデ
ータ照合器とを備えたものである。

（作用）この発明の物体認識装置では、不特定物体から発せられ
る音を音センサによって感知し、音分析器を通して周波
数強度スペクトル分析し、この分析結果をデータ照合器
により既知の物体の音データと比較照合する。また、こ
れと同時に、不特定物体から発せられる振動を振動セン
サによって感知し、振動分析器を通して周波数強度スペ
クトル分析し、この分析結果をデータ照合器により既知
の物体の振動データと比較照合する。

そして、前記音データおよび振動データの照合の結果か
ら不特定物体の推定を行い、画像処理技術による不特定
物体の認識の補助情報として出力する。

（実施例）以下、この発明の実施例を図に基づいて詳説する。

第１図はこの発明の一実施例を示しており、不特定物体
に対する音センサとして所定の場所に設置された集音マ
イク１と、この集音マイク１に近接して設置され、感知
しようとする目的の不特定物体からの振動を感知するた
めの振動センサ２と、これらの集音マイク１および振動
センサ２からの信号に対して周波数強度スペクトル分析
を行う音分析器３および振動分析器４とが備えられてい
る。

さらに、データ照合器５が備えられている。このデータ
照合器５は、既知の特定物体ごとの音データおよび振動
データを周波数成分ごとに強度分析したものを記憶部６
に格納しており、前記音分析器３および振動分析器４か
らの分析データをこの記憶部６に格納されている特定の
物体の音データおよび振動データと照合してごく近い物
体についての記憶データ群を抽出し、不特定物体の推定
を行い、その結果を出力する。

この音および振動分析・照合系とは別系の視覚認識系と
して、可視光に対するＣＣＤカメラ７と暗い環境でのカ
メラとしてのＩＲ−ＣＣＤカメラ８と、それらのカメラ
に対する画像処理器９，１０と、これらの画像処理器９
，１０のうち画像の鮮明度の高い方の信号を採用して出
力する切換器１１とが備えられている。

さらに、この視覚認識系の切換器１１からの画像信号に
対して、前記データ照合器５からの推定物体データの特
徴を基にして修正する識別器１２と、この識別器１２か
らの画像情報に対してスーパーインボーズなどにより物
体を文字表示するなどの操作を加える表示処理器１．３
と、この表示処理器１３の指示に基づいて表示を行う表
示器１４が備えられている。

上記の構成の物体認識装置の動作について、次に説明す
る。

第２図のフローチャートを参照するに、不特定物体が集
音マイク１および振動センサ２に近付いてくると、集音
マイク１は不特定物体からの音を感知しくステップＳ１
）、集音した信号を音分析器３に出力し、ここで音の周
波数成分ごとの強度分析を行い、データ照合器５に与え
る（ステップＳ３）。

これと同時に、振動センサ２は不特定物体からの振動を
感知しくステップｓ３）、振動分析器４により振動の周
波数成分ごとの強度分析を行い、データ照合器５に与え
る（ステップＳ４）。

データ照合器５には、その記憶部６に既知の特定の物体
ごとに音データを周波数成分ごとに強度分析したものと
、振動データを周波数成分ごとに強度分析したものとが
格納されおり、前記音分析器３からの音分析データを記
憶部６に格納されている既知の特定物体に対する音デー
タと比較照合し、ごく近い記憶音データ群を抽出する（
ステップＳ５）。同時にこのデータ照合器５は、前記振
動分析器４からの振動分析データを記憶部６に格納され
ている既知の特定物体の振動データと比較照合し、ごく
近い記憶振動データ群を抽出する（ステップＳ６）。

データ照合器５では、さらに各々単独のデータ群から抽
出される不特定物体に対して、既知物体に対する音デー
タおよび振動データの複合データ群と、前記音分析器３
および振動分析器４から得られた複合データとの照合を
行い、不特定物体が何であるかを推定し、さらに推定さ
れた物体に対する形状データやセンサ位置データを抽出
して識別器１２に出力する（ステップＳ７．Ｓ８）。

視覚認識系では、上記とは別に並行して不特定物体に対
する視覚認識を行うが、それにはまず、可視ＣＣＤカメ
ラ７からの信号を画像処理器９により画像処理しくステ
ップ３９，５１０）、同ＨにＩＲ−ＣＣＤカメラ８によ
る不特定物体に対する信号を画像処理器１０により画像
処理しくステップＳｌｌ、５１２）、切換器１１にかけ
る。

切換器１１では、可視ＣＣＤカメラ７からの信号とｉ　
Ｒ−ＣＣＤカメラ８からの信号との間で鮭明度のより高
い方を採用し、識別器１２に出力する（ステップ５１３
）。

識別器１２では、選択された画像を、データ照合器５に
より推定される物体データの特徴を基に修正する（ステ
ップ５１４）。この処理は、基本的にはパターンマツチ
ング方式により行うのであるが、データ照合器５により
推定した物体の画像パターンを切換器１１により得られ
た画像と重ね合わせ、画像修正を行うものである。

こうして得られた不特定物体に対する推定画像に対して
、表示処理器１３ではスーパーインボーズなどにより物
体を文字表示するなどの操作を加え（ステップ５１５）
、表示器１４によりＣＲＴなどに表示する（ステップ５
１６）。

このようにして、物体認識装置に近付いてくる不特定物
体がどのような形のものであるか、そしてそれが何であ
るかを画像処理技術により特定するに際して、不特定物
体からの音および振動を採取して既知の物体の皆データ
および振動データと比較照合し、視覚認識系から得られ
た特定物体に対して修正を加え、より高い正確度で不特
定物体が何であるかの推定を行うのである。

第３図はこの発明の他の実施例を示しており、第１図に
示した実施例に加えてさらに不特定物体に対するｎ１距
器１５を追加した構成であり、その他の構成要素は第１
図に示す実施例と同一であり、そのため第１図と同一の
部分については同一の符号を付して示しである。

＋１１距器１５は、集音マイク１および振動センサ２が
感知する不特定物体までの距離を自動的に測定するもの
であり、この測距器１５が不特、定物体までの距離情報
を与えるために、視覚認識系の可視ＣＣＤカメラ７およ
びＩＲ−ＣＣＤカメラ８が捕らえた画像の実際の大きさ
を知ることができるようにしている。

第４図はこの第２実施例の動作を示すフローチャートで
あり、第２図に示した第１実施例の動作フローチャート
に対しては、ステップＳ１４の推定作画処理の後に測距
器１５がらの距離情報を取り入れ、推定作画された物体
の実際の大きさを求め、改めて推定作画処理を行うステ
ップ５１４−１．５１４−２を追加している。

この実施例によれば、物体認識装置に近付いてくる不特
定物体がおもちゃの自動車であるかそれとも実際の自動
車であるかといった、相似形で大きさの異なる物体に対
してもその大きさも含めた推定ができるようになる。

第５図はさらにこの発明の他の実施例を示すものであり
、複数の集音マイクｌａ、ｌｂ、・・・と振動センサ２
ａ、２ｂ、・・・とを装置の外部に配置し、これらの集
音マイク１ａ、１ｂ、・・・、振動センサ２ａ、２ｂ、
・・・から信号を音分析器３、振動分析器４にかけるよ
うに構成したものであり、外部の音分析器３、振動分析
器４からのデータはセンサ番号付きのデータとしてデー
タ伝送器１６−１゜１６〜２を通して装置側のデータ伝
送器１７−１．　。

１７−２に伝送され、データ照合器５に人力されるよう
に構成されている。

そして、この実施例の場合にも、その他の構成要素は第
２実施例と同一であり、同一の符号を付すことにより説
明を省略している。

この実施例では、複数の集音マイクｌａ、ｌｂ。

・・・と振動センサ２ａ、２ｂ、　・・・とを適当な位
置に配置することができるため、可視ＣＣＤカメラ７お
よびＩＲ−ＣＣＤカメラ８を３６０度回転させることに
より３６０度全周囲の不特定物体の認識ができ、さらに
上方向にも回転させるようにすることにより３６０度、
半円球ゾーンの内に存在する不特定物体の認識が可能と
なる。

なお、第３実施例の動作は第３図に示した実施例とほぼ
同様であり、ただ集音マイクｌａ、１１ｂ、・・・と振
動センサ２ｍ、　　２ｂ、・・・が採集する音および振
動に対しては音分析器３ａ、３ｂ、・・・および振動分
析器４ａ、４ｂ、・・・からのデータを選択特定して用
いることとなる。

［発明の効果］以上のようにこの発明によれば、不特定物体からの音お
よび振動を感知して音および振動の分析を行い、これを
既知の物体の音データおよび振動データと比較照合する
ことにより目的とする不特定物体が何であるかを推定す
るようにしているため、視覚認識系だけでは正確に推定
することのできなかった不特定物体についてそれが何で
あるかを認識することができるようになり、さらに視界
がきかないような状況でも音および振動データのみから
不特定物体の特定ができ、正確度の高い物体認識が可能
となる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図は上
記実施例の動作を説明するフローチャート、第３図はこ
の発明の他の実施例のブロック図、第４図は上記実施例
の動作を説明するフローチャート、第５図はこの発明の
他の実施例のブロック図である。Ｉ、１．ａ、ｌｂ、・・・・・・集音マイク２．２ａ、
２ｂ、・・・・・・振動センサ３・・・音分析器　　　
　　４・・・振動分析器５・・・データ照合器　　　６
・・・記憶部７・・・可視ＣＣＤカメラ８・・・ＩＲ−ＣＣＤカメラ９・・・画像処理器　　　１０・・・画像処理器１１・
・・切換器　　　　　１２・・・識別器１３・・・表示
処理器　　　１４・・・表示器１５・・・測距器

Claims

【特許請求の範囲】

不特定物体からの音に対する音センサと、この音センサ
の感知した音を分析する音分析器と、不特定物体からの
振動に対する振動センサと、この振動センサの感知した
振動を分析する振動分析器と、既知の物体から発せられ
る音データと振動データとを格納する記憶部と、不特定
物体から発せられる音および振動を前記音センサおよび
振動センサにより感知して前記音分析器および振動分析
器により分析し、この分析結果を前記記憶部に格納され
ている音データおよび振動データと照合して不特定物体
が何であるかを推定するデータ照合器とを備えて成る物
体認識装置。