WO2001095314A1

WO2001095314A1 - Robot acoustic device and robot acoustic system

Info

Publication number: WO2001095314A1
Application number: PCT/JP2001/004858
Authority: WO
Inventors: Kazuhiro Nakadai; Hiroshi Okuno; Hiroaki Kitano
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2000-06-09
Filing date: 2001-06-08
Publication date: 2001-12-13
Anticipated expiration: 2002-12-09
Also published as: EP1306832B1; JP3780516B2; US20030139851A1; DE60141403D1; US7215786B2; EP1306832A1; EP1306832A4

Description

明細書ロボット聴覚装置及びロボット聴覚システム技術分野

本発明はロボット、特に人型または動物型ロボッ卜における聴覚装置に関するものである。

近年、人型または動物型ロポットにおいては、視覚，聴覚の能動知覚力注目されてきている。能動知覚とは、ロボット視覚やロボット聴覚等の知覚を担当する知覚装置を、知覚すべき目標に追従するように、これらの知覚装置を支持する例えば頭部を駆動機構により姿勢制御するものである。

ここで、能動に関しては、少なくとも知覚装置であるカメラ力^ 駆動機構による姿勢制御によつてその光軸方向が目標に向かって保持され、目標に対して自動的にフォーカシングゃズームイン，ズームァゥト等が行なわれることにより、目標がカメラによって撮像されるようになっており、種々の研究が行なわれている o

これに対して、能動聴覚に関しては、少なくとも知覚装置であるマイクが、駆動機構による姿勢制御によってその指向性が目標に向くようにして保持され、目標からの音がマイクによって集音される。このとき、能動聴覚の不利な点として、駆動機構が作動している間は、マイク力駆動機構の作動音、特にバーストノィズを拾ってしまうため、目標からの音に大きなノイズ力混入してしまい、目標からの音を正確に認識できなくなってしまうことがある。

しかしながら、駆動機構を停止させた状態での聴覚研究では、特に目標が移動しているような場合、目標の移動に追従しながらの所謂能動聴覚を行なうことはできない。

さらに、上述した駆動機構だけでなく、ロボット内部で発生する各種動作音及び定常的に発生するノイズも、聴覚装置としてのマイクカ集音してしまうので、同様に ¾ ^な食動膝覚を得ることは困難であつた。

ところで、ノイズキャンセルの方法としては、戸謂アクティブノイズコント口

—ル（AN C) という方法が知られている。

この AN C法は、騒音源の近傍にマイクを設けて、騒音源からのノイズを集音し、騒音源からのノイズをキャンセルしたい場所におけるノイズを、 I I R (無限ィンパルス応答）フィルタや F I R (有限ィンパルス応答）フィルタ等の適応フィルタによつて予測して、ノイズをキャンセルした L、場所にて予想した騒音と逆位相の音をスピーカから出力してノィズを打ち消すことにより、ノィズを消滅させる方法である。

し力、しな力ら、このような AN C法においては、ノイズを過去のデータに基づく予想によってキャンセルしているため、所謂バーストノイズに対応することは困難である。また、適応フィルタを利用してノイズをキャンセルしていることから、左右のチャンネル間の位相差情報が歪められ、あるいは消滅してしまうので、音の方向付けができなくなつてしまう。

さらに、騒音源からのノイズを集音するマイクは、できるだけノイズのみを集音することが望まい、が、ロボット聴覚装置の: にはノイズのみを集音することが困難である。

また、ノイズをキヤンセルしたい場所におけるノイズを予想するための計算時間が必要であることから、騒音源とスピーカとの距離はある程度離れて Lヽることが前^^件となるが、ロボッ卜聴覚装置の場合には、外部音を集音する外部マイクと内部の騒音を集音する内部マイクカ比較的近くに設置されること力ヽら、計算時間が短くなるため、実質的に AN C法を採用することが困難である。

従って、上述した AN C法をロボット内部で発生するノイズをキャンセルするために採用することは不適である。

この発明は、以上の点にかんがみて、駆動機構等のロボット内部で発生するノィズに^ されることなく、外部の目標からの音を集音して能動知覚を行なうことができるようにした、ロボット聴覚装置及びロボット聴覚システムを提供することを目的としている。発明の開示

上記目的は、本発明の第一の構成によれば、内部にノイズ発生源を備えたロボッ卜において、少なくともロボッ卜の一部を覆う防音性の外装と、上言装の外側に設けられ主として外部の音を集音する少なくとも二つの外部マイクと、上記外装の内側に設けられ主として内部のノィズ発生源からのノィズを集音する少なくとも一つの内部マイクと、上言己外部マイク及び内部マイクからの信号に基づいてそれぞれ外部マイクからの音響信号から内部のノィズ発生源からのノィズ信号をキヤンセルする処理部と、上記処理部からの左右の音響信号から音の方向付けを行なう方向情報抽出部と、を含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徵とするロボット聴覚装置により、達成さ

¾し

本発明によるロボット聴覚装置は、防音性の外装が自己認識用に構成されるのが望ましい。

本発明によるロボット聴覚装置は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレートの駆動機構のノィズ周波数応答に近く、さらに駆動機構カ慟作しているときにノイズをバ一ストノイズとして、上言理部が、好ましくはこの帯域の信号部分を除去する。

本発明によるロボット聴覚装置は、好ましくは、上記方向情報抽出部が、聴覚用のェピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と、音の強 ¾ ^情報とを利用してロバスト（頑健）な音源定位を行う。また、上記目的は、本発明の第二の構成によれば、内部にノイズ発生源を備えたロボッ卜において、少なくともロボッ卜の一部を覆う、好ましくはロボットの自己認識用の防音性の外装と、上記外装の外側に設けられ主として外部の音を集音する少なくとも二つの外部マイクと、上記外装の内側に設けられ主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、上言 5^ 部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキヤンセルする処理部と、上記処理部からの左右の音響言号からそれぞれ周波数解析を行なつて当該音響デ一タが示すピッチを伴う調波構造から時間，周波数及びノ、°ヮ一に関する音響データを取り出すピッチ抽出部と、上記ピッチ抽出部で取り出された左右の音響デ一夕に基づいて音の方向付けを行なう左右チヤンネル対応部と、音の調波構造又は上記左右チヤンネル対応部で取り出された音の方向付け情報に基づいて上記音響デ一夕から音源毎の音響データに分離する音源分離部と、を含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徵とするロボット

S覚システムにより達成される。

さらに、上記目的は、本発明の第三の構成によれば、内部に駆動機構等のノィズ発生源を備えた人型または動物型のロボッ卜において、少なくともロポットの頭部を覆う、好ましくはロボッ卜の自己認識用の防音性の外装と、上言装の外側にて両側の耳に対応する両耳位置に設けられ主として外部の音を集音する少なくとも一対の外部マイクと、上記外装の内側に設けられ主として内部のノィズ発生源からのノイズを集音する少なくとも一つの内部マイクと、上言部マイク及び内部マイクからの信号に基づ、て外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキヤンセノレする処理部と、上記処理部からの左右の音響信号からそれぞれ周波数解析を行なつて当該音響デ一タ力示すピッチを伴う調波構造から時間，周波数及びパヮ一に関する音響デ一夕を取り出すピッチ抽出部と、上記ピッチ抽出部で取り出された左右の音響データに基づいて音の方向付けを行なう左右チヤンネル対応部と、音の調波構造又は上記左右チヤンネル対応部で取り出された音の方向付け情報に基づ、て上記音響デ一タから音源毎の音響デ一夕に分離する音源分離部とを含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徵とするロボット聴覚システムにより達成れ O ₀

この発明によるロボット聴覚システムは、好ましくは、ロボッ卜が視覚，触覚等の知覚システムをさらに備えており、上記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行なう。

この発明によるロポット聴覚システムは、好ましくは、上記左右チャンネル対応部が、上記知覚システムに対して音の方向付けに関する情報を出力する。本発明によるロボット聴覚システムは、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレー卜の駆動機構のノイズ周波数応答に近く、さらに駆動機構力動作しているときに、ノイズをバーストノイズとして、好ましくは上記処理部がこの帯域の信号部分を除去する。

本発明によるロボット聴覚システムは、内部マイクからの音響信号のパワーが外部マイクからの音籠号のパワーより十分大きく、所定周波数幅の複数個のサプバンドにて所定値以上のパワーを有しており、駆動機構の制御信号により駆動機構の聽動作を検出したとき、好ましくは、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する。

本発明によるロボット聴覚システムは、外部マイク及び内部マイクからの音響信号のスぺクトルパヮ一差のパタ一ン力く前もつて測定された駆動機構のノィズのスぺクトルパワー差のパターンとほぼ同じであり、スぺクトルの音圧及びパターンか前もつて測定された駆動機構のノィズの周波数応答とほぼ同じであつて、駆動機構の制御信号により駆動機構の動作を検出したとき、好ましくは、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する。

本発明によるロボット聴覚システムは、好ましくは、上記左右チャンネル対応部が、聴覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強錢情報とを利用してロバスト（頑健）な音源定位を行う。

上記構成によれば、外部マイク力く主として外部の目標からの音を集音し、内部マイク力主としてロボッ卜内部の駆動機構等のノイズ発生源からのノイズを集音する。その際、外部マイク力集音した音籠号には、ロボット内部のノイズ発生源からのノイズ信号が混入しているが、この混入したノイズ信号は、処理部における演理によって、内部マイクが集音したノィズ信号によりキャンセルされて著しく低減される。その際、処理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、外部マイクからの信号からこのバーストノィズを含む帯域の信号部分を除去することによって、方向情報抽出部または左右チヤンネノレ対応部における音の方向付けをバーストノイズに影響されることなくより正確に行なうことができる。

そして、ノイズがキャンセルされた音響信号から、ピッチ抽出部により周波数解析によつて音響信号を取り出して、この音響信号から左右チャンネル対応部により音の方向付けを行なった後、この音の方向付けに基づいて音源分離部によつて各音源毎の音響デー夕に分離する。

した力つて、外部マイクからの音響言号は、処理部での演理によってロボット内部の駆動機構等のノィズ発生源からのノィズが容易に著しく低減されると共に、特にバーストノイズを含む帯域の信号部分が除去されることによりその S /N比カ大幅に改善されるので、音源毎の音響データの分離をより一層良好に行なうことができる。

さらに、ロボット力視覚，触覚等の知覚システムを備えており、上記左右チヤンネル対応部が、これらの知覚システムからの情報を参照して音の方向付けを行なう場合には、例えば視覚装置からの目標に関する視覚情報に基づいて、左右チャンネノレ対応部がより明確な方向付けを行なうことができる。

上言右チャンネル対応部が、上記知覚システムに対して、音の方向付けに関する情報を出力する場合には、例えば視覚装置に対して目標に関する聴覚による方向付けの情報を出力するので、視覚装置がより一層正確な方向付けを行なうことができる。

処理部が、内外マイクの強度差がテンプレー卜の駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構力動作しているときに、ノィズをバーストノイズとして、この帯域の信号部分を除去する場合、または内部マイクからの音言号のパワー力外部マイクからの音舊言号のパワーより十分大きく、所定周波数幅の複数個のサブバンドにて所定値以上のパワーを有しており、駆動機構の制御信号により駆動機構の連続動作を検出したとき、上記処理部力ノ —ストノィズとしてこの帯域の信号部分を除去する場合には、バーストノイズの除去を容易に行なうことができる。

外部マイク及び内部マイクからの音觀言号のスぺクトルパワー差のパターンが前もって測定された駆動機構のノイズのスぺクトルパワー差のパターンとほぼ同じであり、スぺクトルの音圧及びパターンが前もって測定された駆動機構のノィズの周波数応答とほぼ同じであって、駆動機構の制御信号により駆動機構の動作を検出したとき、上言理部がノく一ストノイズとしてこの帯域の信号部分を除去する場合には、バーストノィズの除去をより正確に行なうことができる。上記方向情報抽出部が、ェピポ一ラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と、音の強度差情報とを利用してロバスト（頑健）な音源定位を行う場合には、従来の視覚システムで行なわれているェピポーラ幾何による計算方法を聴覚システムに応用することによって、ロポッ卜の外装や音響環境による影響を受けずに、音の方向付けを一層正確に行なうことができる。ここで、従来の両聴ステムにおいて一般的である頭部伝達関数 (H R T F) を利用することは、本発明では必要としない。頭部伝達関数は音環境の変ィ匕に弱いこと力知られている力本発明では、音環境が変化したとしても頭部伝達関数の再計算や調整を行なう必要がないので、汎用性の高い聴覚システムを構成することができる。図面の簡単な説明

本発明は、以下の詳細な説明及び本発明の実施例を示す添付図面に基づいて、より良く理解されるものとなろう。なお、添付図面に示す種々の実施例は本発明を特定又は限定することを意図するものではなく、単に本発明の説明及び理解を容易とするためだけのものである。

図中、

図 1はこの発明によるロボット聴覚装置の第一の実施形態を組み込んだ人型口ボッ卜の外観を示す正面図である。図 2は図 1の人型口ボットの側面図である。

図 3は図 1の人型口ボットにおける頭部の構成を示す概略拡大図である。図 4は図 1の人型ロボットにおけるロボット聴覚システムの電気的構成を示すブロック図である。

図 5は図 4の口ポット聴覚システムにおける要部を示すブロック図である。図 6 (A) は視覚における、また、図 6 (B ) は聴覚におけるェピポーラ幾何による方向付けを示す概略図である。

図 7及び図 8は、それぞれ音源定位と音源分離の処理を示す概念図である。図 9は図 4のロボッ卜聴覚システムの実験例を示す概略図である。

図 1 0は図 9の実験におけるロボット頭部の（A) 速い動作及び（B ) 遅い動作における入力信号のスぺクトログラムである。

図 1 1 (A) は図 9の実験におけるバーストノイズを除去しない場合の速い動作における方向情報を示すグラフであり、図 1 1 (B) は遅い動作における方向情報を示すグラフである。

図 1 2 (A) は図 9の実験における弱いバーストノイズを除去した場合の速い動作における方向情報を示すグラフであり、図 1 2 (B) は遅い動作における方向 ft報を示すグラフである。

図 1 3 (A) は図 9の実験における強いバーストノイズを除去した場合の速い動作における方向情報を示すグラフであり、図 1 2 (B) は遅い動作における方向情報を示すグラフである。

図 1 4 (A) は図 1 3 (A) に対応するスぺクトログラムを、図 1 4 (B ) は図 1 3 (B ) に対応するスペクトログラムで、いずれもノイズに比べて信号が強い場合を示している。

図 1 5 (A) は駆動手段のノイズの内部マイクによる周波数応答を示すグラフであり、図 1 5 (B) は外部マイクによる周波数応答を示すグラフである。図 1 6 (A) は図 1 5の周波数応答における駆動手段のノイズのグラフ、図 1 6 (B ) は外部音のスペクトルパワー差のパターンを示すグラフである。

図 1 7は、ロボット頭部の遅い動作における入力信号のスぺクトログラムである。図 1 8はバーストノイズを除去しない場合の方向情報を示すグラフである。図 1 9は図 9の実験と同様の第一のバーストノィズ除去方法による方向情報を示すグラフである。

図 2 0は第二のバーストノイズ除去方法による方向情報を示すグラフである。発明を実施するための最良の形態

以下、本発明のロボット聴覚装置及びロボット聴覚システムにおける実施の形態を図面を用 L、て詳細に説明する。

図.1乃至図 2はこの発明によるロボット聴覚システムの一実施形態を備えた実験用の人型ロボッ卜の全体構成を示している。

図 1において、人型ロボット 1 0は、 4 D O F (自由度）のロボットとして構成されており、ベース 1 1と、ベース 1 1上にて一軸（垂直軸）周りに回動可能に支持された胴体部 1 2と、胴体部 1 2上にて三軸方向（垂直軸，左右方向の水平軸及び前後方向の水平軸）の周りに揺動可能に支持された頭部 1 3と、を含んでいる。

上記べ一ス 1 1は固定配置されていてもよく、脚部として動作可能としてもよく、或いは、移動可能な台車等の上に載置されていてもよい。

上記胴体部 1 2は、ベース 1 1に対して垂直軸の周りに、図 1にて矢印 Aで示すように回動可能に支持されており、図示しな、駆動手段によつて回転駆動されると共に、図示の場合、防音性の外装によって覆われている。

上記頭部 1 3は胴体部 1 2に対して ϋ|§部材 1 3 aを介して支持されており、この^部材 1 3 aに対して前後方向の水平軸の周りに、図 1にて矢印 Bで示すように揺動可能に、また左右方向の水平軸の周りに、図 2にて矢印 Cで示すように揺動可能に支持されていると共に、上記連結部材 1 3 a力^ 胴体部 1 2に対してさらに前後方向の水平軸の周りに、図 1にて矢印 Dで示すように揺動可能に支持されており、それぞれ図示しない駆動手段によって各矢印 A, B , C, D方向に回転.觀される。

ここで、上記頭部 1 3は、図 3に示すように全体が防音性の外装 1 4により覆われていると共に、前側にロボット視覚を担当する視覚装置としてのカメラ 1 5 を、また両側にロボット聴覚を担当する聴覚装置としての一対の外部マイク 1 6 ( 1 6 a , 1 6 b ) を備えている。

さらに、上記頭部 1 3は、図 3に示すように、外装 1 4の内側にて左右に離隔して配設された一対の内部マイク 1 7 ( 1 7 a , 1 7 b ) を備えている。

上言装 1 4は、例えばウレタン樹脂等の吸音性の合成樹脂から構成されており、頭部 1 3の内部をほぼ完全に密閉することにより、頭部 1 3の内部の遮音を行なうように構成されている。なお、胴体部 1 2の外装も、同様にして吸音性の合 β脂から構成されている。なお、この外装 1 4は、ロボッ卜が自己を認識するためのものでもあり、自己認識用にロボット内外から発せられる音を仕切る役割をするようになっている。ここで、自己認識とは、ロボット力、自分の内部の駆動手段から発したノイズやロボッ卜の口（図示省略）から発せられた声などの音声とロボット外部からの音とを区別することを意味する。本発明では上記外装 1 4は、ロポッ卜の内部と外部の音が区別できる程度にロボット内部が密閉されるように構成されている。

上記カメラ 1 5は公知の構成であって、例えば所謂パン，チルト，ズームの 3 D O F (自由度）を有する市販のカメラ力 <適用され得る。

上言部マイク 1 6は、それぞれ頭部 1 3の側面において、前方に向かって指向性を有するように取り付けられている。

ここで、外部マイク 1 6の左右の各外部マイク 1 6 a， 1 6 bは、それぞれ図 1及び図 2に示すように、外装 1 4の両側にて前方に向いた段部 1 4 a , 1 4 b にて内側に取り付けられ、段部 1 4 a , 1 4 bに設けられた貫通穴を通して前方の音を集音すると共に、外装； L 4の内部の音をできるだけ拾わないように、音反射材ゃ吸音材などを配した適宜の手段により遮音されている。これにより、外部マイク 1 6 a， 1 6 bは戸胃バイノーラルマイクとして構成されている。なお、外部マイク 1 6 a， 1 6 bの取付位置の近傍において、段部 1 4 a , 1 4 bは人間の外耳形状或、は碗状に形成されていてもよい。

上記内部マイク 1 7は、外装 1 4の内側において、上述した各外部マイク 1 6 a , 1 6 bの近傍に、図示の場合には、前記カメラ 1 5の両端付近の上方にそれぞれ左右一対で配設されている。すなわち、一方の外部マイク 1 6 aの近傍には一方の内部マイク 1 7 a力、また、他方の外部マイク 1 6 bの近傍には他方の内部マイク 1 7 bが配設されている。尤も、上記内部マイク 1 7は、上記した位置に限定されることなく外装 1 4の内側で任意の位置に備えられていてよい。図 4は、上記外部マイク 1 6及び内部マイク 1 7を含む音響処理のための聴覚システムの電気的構成を示している。図 4において、聴覚システム 20は、各外部マイク 1 6 a， 1 6 b及び内部マイク 17 a, 1 7 bからの音劉言号をそれぞれ增幅するアンプ 2 l a, 2 1 b, 2 1 c, 2 1 dと、これらの增幅信号を AD 変換によりデジタノレ音響信号 SOL, SOR， S I L， S I Rに変換する ADコンバ一タ 2 2 a, 2 2 b, 2 2 c, 22 dと、これらのデジタル音響信号が入力される処理部としての左右のノイズ除去回路 2 3, 2 4と、ノイズ除去回路 2 3 ， 2 4からのデジタノレ音言号 SR, S L力入力されるピッチ抽出部 25， 2 6 と、ピッチ抽出部 25， 2 6からの音響デ一タカ入力される左右チャンネル対応部 2 7と、左右チャンネル対応部 2 7からのデ一タカ入力される音源分離部 2 8 と、から構成されている。

上記 ADコンバータ 2 2 a乃至 22 dは、例えば量子化ビット数 1 6または 2 4で、 48 kHzサンプリングした信号を取り出すように構成されている。そして、左側の外部マイク 1 6 aからのデジタル音響信号 SOL及び左側の内部マイク 1 7 a

S I Lはノイズ除去回路 2 3に入力され、また右側の外部マイク 1 6 bからのデジタノレ音觀言号 S OR及び左側の内部マイク 1 7 bからのデジタノ觀言号 S I Rはノイズ除去回路 2 4に入力される。これらのノィズ除去回路 2 3, 2 4は同一の構成であり、それぞれ外部マイク 1 6からの音響信号から内部マイク 1 7のノィズ信号によりノイズキャンセルするように構成されている。即ち、ノイズ除去回路 23は、外部マイク 16 aからのデジタル音響信号 SOLを、内部マイク 1 7 &カ集音したロボット内部のノイズ発生源からのノイズ信号 S I Lに基づいて、例えば最も簡便には、外部マイク 1 6 aからのデジタル音言号 SOLから内部マイク 1 7 aからの音響信号 S I L を減算する等の適宜の演理によるノイズキヤンセル処理によって、外部マイク 1 6 aからの音 «言号 SOLに混入したロボット内部の各駆動機構（駆動手段 ) 等のノイズ発生源からのノイズを除去して左の音響信号 S Lを生成する。また、ノイズ除去回路 24は、外部マイク 16 bからのデジタノ!/ W響信号 SORを、内部マイク 17 b力集音したロボット内部のノイズ発生源からのノイズ信号 S I Rに基づいて、例えば最も簡便には、外部マイク 16 bからのデジタル音響信号 SORから内部マイク 1 Ί bからの音言号 S I Rを減算する等の適宜の演^！; 理によるノイズキャンセル処理によって、外部マイク 16 bからの音言号 S I Rに混入したロボット内部の各駆動機構等のノィズ発生源からのノイズを除去して右の信号 S Rを生成する。

ここで、上言己ノイズ除去回路 23, 24は、内部マイク 17 a， 17 からの音薩号 S I L, S I Rから所謂バーストノイズを検出して、外部マイク 16 a ， 16 b力、らの音響言号 SOL, SORからこのバーストノィズの帯域に対応する信号部分を除去することにより、バーストノイズの混入による音の方向付けの精度を高めるようになつている。このバーストノイズの除去は、ノイズ [^去回路 23, 24内にて、以下のようにして行なわれる。

先ず、ノィズ除去回路 23， 24は、第一のバーストノィズ除去方法として、内部マイク 17 a， 17 b力ヽらの音需号 S I L， S I Rと外部マイク 16 a， 16 bからの音 (言号 SOL， SORとを比較して、音言号 S I L， S I Rのパワー力音響信号 SOL, SORのパワーより十分大きく、また音響信号 S I L ， S I Rのパワーが所定値（例えば 30 dB)以上のピーク力所定周波数幅、例えば 47 Hzのサブバンドに関して、一定数（例えば 20)以上のサブバンドに亘つてしていて、さらに駆動手段が作動を続けている場合に、バーストノィズがあると判断して、音響言号 S OL, SO Rの当該サブバンドに対応する信号部分を除去する。このために、ノイズ除去回路 23, 24には駆動機構の制御信号が入力されている。

なお、バーストノイズの除去やその検出の判断方法としては、好ましくは後述する第二のバ一ストノイズ除去方法を行うのが望ましい。

このようなバーストノイズの除去は、例えばァダプティプフィルタによって行なわれる。このァダプティブフィルタは、リニアフェーズフィルタであって、例えば 100のオーダ一の F I Rフィルタにより構成される。各 F I Rフィルタのパラメ一夕は、適応アルゴリズムとしての最小二乗法により計算される。かくして、ノイズ除去回路 2 3， 2 4は、図 6に示すように、それぞれバーストノィズ除去部として機能してバーストノィズの検出及び除去を行なう。

上記ピッチ抽出部 2 5， 2 6は同一の構成であり、ノイズ除去回路 2 3， 2 4 からの左右の音言号 S L , S Rをそれぞれ周波数解析して、時間，周波数及びパワーの三軸から成る音響データを取り出すように構成されている。即ち、ピッチ抽出部 2 5は、ノイズ除去回路 2 3からの左の音響信号 S Lを周波数解析することにより、時間とパワーで成る二軸の信号 S Lから時間，周波数及びパヮ —の三軸から成るスぺクトロダラムと呼ばれる左の音響データ D Lを取り出す。また、ピッチ抽出部 2 6も同様にして、ノイズ除去回路 2 4からの右の音観言号 S Rを周波数解析することにより、時間とパワーから成る二軸の音観言号 S Rから時間，周波数及びパワーの三軸で成る右の音響データ D Rを取り出す。

ここで、上記周波数解析は、例えば 2 O m秒の窓長で、 7 . 5 m秒づつずらしながら、 F F T (高速フーリエ変換）を行なうことにより実行される。なお、このような周波数解析は、 F F Tに限らず一般的な種々の方法で行なわれるようにしてもよい。

このようにして得られた音響データ D Lにおいては、音声や音楽における各音はスぺクトログラム上にてピークの連なりとして示されると共に、一般的に調波構造を有しており、整数倍の周波数値に規則的にピ一クを有するようになつている。

ピークの抽出は次のように行われる。スぺクトルは、例えば 4 8 K H zのサンプリング速度で 1 0 2 4のサブバンドについてフ一リェ変換することにより計算される。次に、スぺクトルの内、閾値以上のパワーを持ったローカルピ一クを抽出する。閾値は周波数ごとに異なり、部屋の暗を一定時間計測することによつて自動的に求められる。この際、バンドパスフィルタを用いて、ノイズの大きい 9 0 H z以下の周波数域とパワーの小さい 3 K H z以上の高周波数域とは計算量低減のためにカツトする。これにより十分高速なピーク抽出が実現できる。上記左右チャンネル対応部 2 7は、左右のピッチ抽出部 2 5， 2 6からの音響データ D L， D Rにてそれぞれピークにより示される調波構造のピッチに関して、その位相差，時間差等に基づいて同じ音から派生するピッチを左右チャンネルで対応付けることにより音の方向付けを行なう。この音の方向付けは、例えばェピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用してロバスト（頑健）な音源定位を行う。

ここで、視覚によるェピポーラ幾何の場合には、図 6 (A) に示すように、互いに光軸力平行であつて 1Mが同一面に位置し、同じ焦点距離を有する二つの力メラから成る簡単なステレオカメラにおいて、点 P (X, Y, Z)力各カメラの画面にて点 PI (x 1, ァ 1) 及び点？2 (xr， y r) に投影されるとき、以下の関係式 v b (x 1+xr) _v_b (y 1+ y r) ₇_bf

X⁼ 2 d ，， "― d 力成立する。ここで、 f は各カメラの焦点距離， bはべ一スライン， dは（X 1 -X r) で定義される。

このェピポーラ幾何の概念を聴覚に導入することにより、図 6 (B) に示すように、外部マイク 16 a， 16 bの中心から音源 Pへの角度について、以下の方程式

2,πτ ο が成立する。ここで、 Vは音速， f は音の周波数である。

そして、左右の外部マイク 16 a， 16 bから音源までの距離差 Δ 1に基づいて、外部マイクからの左右の音号 SOL, SO Rの間に位相差 I P D =△ 0 が発生する。

音の方向付けは、例えば各サブバンドの帯域幅が 47Hzになるような FFT (高速フーリエ変換）によりピークを抽出し、位相差 I PDを計算することにより行なわれる。なお、ピークの抽出は、例えば 48 kHzのサンプリング速度で 1024のサブバンドについてフーリエ変換を計算することにより、 HRTFを利用した場合に比較して十分速く、正確に計算される。これにより、頭部伝達関数 (H R T F) によらない音の方向付け（音源定位）が実現できる。ピークの抽出においては、例えば 4 8 KH zのサンプリング速度で 1 0 I 4ポイントの F F Tを使用して、スぺクトルサブトラクシヨンによる方法を用いる。これにより、実時間の処理力く精度よく行える。なお、このスぺクトルザブラトラクションは、 F F Tの窓関数の性質をも考慮に入れたスぺクトル補間を伴っている。

かくして、左右チャンネル対応部 2 7は、図 5に示すように、方向情報抽出部として機能して、方向情報を抽出する。図示の場合、左右チャンネル対応部 2 7 は、聴覚システム 2 0以外にロボット 1 0に備えられた図示しない他の知覚システム 3 0から目標に関する情報、具体的には例えば視覚システムによる目標の位置，方向，形状，移動の有無等に関する情報や、触覚システムによる目標の柔軟度，振動の有無，触感等の情報が入力されることにより、上述した目標からの音の方向付け力正確に行なわれる。例えば、左右チャンネノレ対応部 2 7は、上記 ( 聴覚による）方向情報と、カメラ 1 5からの視覚情報に基づく（視覚による）方向情報と比較して、これらの性をチェックし関連付ける。

さらに、左右チヤンネル対応部 2 7は、人型ロボット 1 0の各駆動手段の制御信号に基づいて、頭部 1 3の方向情報（ロボット座標）を取得することにより、目標との相対位置を計算することができる。これにより、人型ロボッ卜 1 0力移動している場合であっても、目標からの音の方向付けが一層正確に行なわれる。上言己音源分離部 2 8は、ロの構成により、左右チャンネル対応部 2 7からの方向付けの情報及び音響データ D L， D Rが入力されることにより、ディクションパスフィルタを使用することによって、方向付けの情報に基づ、て音響デ一タ D L, D Rから音源を同定すると共に、各音源毎に音響データを分離するように構成されている。

このディレクシヨンパスフィルタは、例えば以下のようにしてサブバンドを収集する。即ち、特定の方向^を、各サブバンド（4 7 H z ) に関して△øに変換した後、ピークを抽出して、位相差（I P D) 及びを計算する。そして、位相差がであるとき、当該サブバンドを収集する。このようにして全てのサブパンドについて上記処理をして、収集されたサブバンドから成る波形を構成する。

ここで、同時の F FTにより得られる左右チャンネルのスぺクトルを Sp ⁽° 及び Sp (^r) とし、 Sp (f p) のピーク周波数を ί pとしたとき、左右のチヤンネルのスぺクトル Sp ⁽¹⁾ (f p)及び Sp ^Cr) (f p) は、それぞれ実数部 R [Sp ^Cr) (f p) ] , R [Sp ^co (f p) ] 及び虚数部 I [Sp (^r) (f p) ] ， I [Sp ^C1 (f p) ] で表わされる。

従って、上言己厶 øは、

(I[S: (I[Sp⁽¹ f_p)

Δ ø = t a n" 一 tan—

[Sp⁽¹⁾(f_p) により求められる。

かくして、視覚（カメラ 15) によるェピポ一ラ平面から聴覚（外部マイク 1 6 ) によるェピポーラ平面への変換は図 6に示すように容易に行なわれるので、目標の方向（のは、聴覚によるェピポ一ラ幾何に基づいて、上記の: ^呈式

2] により、 f = f pとして容易に求められる。

このように、左右チャンネル対応部 27で音源定位力行われ、その後音源分離部 28で音源力分離される。なお、図 7はそれらの処理の ¾ 図である。

また、音の方向付けと音源定位とについては、調波構造抽出によって音源分離を実現する方法により、調波構造を有する音に対してロバストな音源定位は行える。すなわち、これは、図 4に示すモジュールの内、左右チャンネル対応部 27 と音源分離部 28とを入れ替えて、音源分離部 28からのデ一タカ左右チャンネル対応部 27へ入力されることにより実現できる。

ここで、調波構造を有する音に対する音源分離と音源定位について説明する。図 8に示すように、まず音源分離においては、ピーク抽出で抽出されたピークは、周波数が低いものから順番に取りだされる。その周波数 F 0と一定以内の誤差 (例えば心理学的実験によって得られた 6 %)で整数倍とみなせる周波数 F nとを持つ口一カルピ一クカ^ 周波数 F 0の倍音としてクラスタリングを行われる。このクラスタリングによって集められた最終的なピークの集合が一つの音と見なされる。これによつて、音源分離が行われる。次に、音源定位について説明する。一般に両耳聴における音源定位には、頭部伝達関数（HRTF) から求められる両耳間位相差（I PD) と両耳間強度差 ( I I D) と力使用される。しかし、 H RTFは頭部の形状や環境に大きく依存し、環境力変わる都度、計測が必であるため実環境アプリケーションには不向き、る。

そこで、本発明は、 HRTFに依らない I PDを利用した音源定位法として、ステレオ視におけるェピポーラ幾何の概念を聴覚に拡張した聴覚ェピポーラ幾何に基づく方法を適用している。

この際、（ 1 ) 音の倍音構造の利用、 (2) I PDを用いた聴覚ェピポーラ幾何による定位結果と I I Dを用いた定位結果とのデンプスタ一一シエイファー理論を用いた統合、 (3) モータ動作中でも正確な音源定位を可能とするァクティプオーディシヨンの導入、によって音源定位の口バスト性を向上させている。図 8に示すように、この音源定位は、音源分離によって分離された調波構造を有した各音に対して行う。ロボットでは、左右のマイクのベースラインから 1. 5 KHz以下の周波数域に対しては I PD、それ以上の周波数域では I I D、による音源定位が有効である。このため、入力音のうち 1. 5 KHz以上の倍音成分と 1. 5KHz以下の倍音との 2つに分けて処理を行う。先ず、入力音のうち 1. 5 KHz以下の周波数 f _k を持った各倍音成分に対して、聴覚ェピポ一ラ幾何を使用して、ロボット正面に対して ±9 0。の範囲で 5° おきに I PD仮説（P_h (Θ, f _k ) ) を生成する。

次に、次式に示す距離関数により、入力の各倍音における I P D (P _s (f _k ) ) と各仮説間の距離 (d (Θ ) とを計算する。ここで、 n_f<1._5KHzは周波数が 1. 5 KHz以下である倍音数である。

d₍g)- 1 ^nf " ¹ (P_h(0, 4) -P_s(f_k))²

¾ <1. 5KHz k=0

次に、得られた距離に対し、次式によって定義される確率密度関数を適用し- 距離を I PDを用いた場合の音源方向を支持する確信度 BF_IPD に変換する。ここで、 mと sとは、それぞれ d Θ) の平均と分散とであり、 nは dの個数である。

d (Θ)— m

入力音のうち 1. 5 KHz以上の周波数を持った倍音に関しては、 I I Dの総和の正負に応じて下記表 1に示す値を I I Dを用いた場合の音源方向を支持する確信度 BF_IID として与える。

表 1. I ID確信度（BF_IID (0)) を示す表

I PD， I I Dそれぞれの処理によって得られた音源方向を支持する値から、これらを次式で示されるデンプスタ一一シエイファー理論によって統合し、 I P Dと I I Dとの両方から音源方向を支持する新しい確信度を生成する。

BF_{IPD + IID} ( =BF_IPD ( BF_IID(6>) +

(1-BF_IPD(0) )BF_IID (

) このような確信度 BF_IPD+IID を各角度ごとに生成し、それらのうち最大の確信度値を持つた方向力音源の方向と成る。

本発明の実施形態による人型ロボッ卜 10は以上のように構成されており、外部マイク 1 6 a, 16 b力集音しょうとする目標からの音は、以下のようにして集音され、ノイズキヤンセルされることにより音源として知覚される。

先ず、外部マイク 16 a， 16 b力主として目標からの外部の音を集音してそれぞれアナログ音響信号を出力する。ここで、外部マイク 16 a, 16 bは口ボット内部からのノイズも集音するが、外装 14自体が頭部 13の内部を密閉しており、また外部マイク 16 a, 16 bが頭部 13の内部に対して遮音されていることにより、混入するノィズが比較的低 L、レベルに抑えられている。

これに対して、内部マイク 17 a， 17 bは、主としてロボット内部からのノィズ、例えば前述した各駆動機構の作動音や冷却ファンの作動音等のノイズ発生源からのノイズを集音する。ここで、内部マイク 1 7 a， 1 7 bは外部からの音も集音するが、外装 14が内部を密閉していることからそのレベルは比較的低く抑えられている。

このようにして集音された外部マイク 16 a, 16 bからのアナログ音 #|言号及び内部マイク 1 7 a， 17 bからのアナログ音響信号は、それぞれアンプ 21 a乃至 2 I dにより増幅された後、 ADコンバータ 22 a乃至 22 dによりデジ夕ノレ音觀号 SOL, S OR, S I L, S I Rに AD変換されて、ノイズ除去回路 23及び 24に入力される。

ノイズ除去回路 23， 24は、それぞれ外部マイク 1 6 a， 1 6 bからの音響信号 SOL, SORから内部マイク 17 a， 17 b力ヽらの音響信号 S I L, S I Rを減算する等の演澳理を行なうことにより、外部マイク 1 6 a， 16 からの音言号 SOL, S 0 Rからロボット内部のノィズ発生源からのノィズ信号を除去すると共に、バーストノイズを検出して、外部マイク 1 6 a, 16わからの音 #1言号 S 0 L， SO Rからバーストノイズを含むサブバンドの信号部分を除去することにより、それぞれノィズ特にバーストノィズを除去した真の音響信号 S L, SRを外部へ出力する。

そして、ピッチ抽出部 25， 26が、それぞれ音響信号 S L， SRに基づいて周波数解析により、音響信号 SL， SRに含まれる全ての音に関して当該音に関するピッチを抽出し、このピッチに対応する当該音の調波構造，開始時，終了時と共に、音響データ DL, DRとして左右チャンネル対応部 2 7に出力する。続、て、左右チャンネル対応部 27力、これらの音響デ一タ D L， DRに基づいて音源毎の音の方向付けを行なう。

この場合、左右チャンネル対応部 2 7は、例えば各ピツチ抽出部 25 , 2 6で抽出された音響デ一夕 DL， DRに基づいて左右のチヤンネルの調波構造を比較して、最も近いピッチを対応付ける。その際、左右のチャンネルのピッチを一対一で比較するだけでなく、一方のチヤンネルの複数のピッチを他方のチヤンネルの一つのピッチと比較する等により、より正確な対応付けを行なうことが好ましい。

そして、左右チャンネル対応部 2 7は、対応付けられたピッチの位相を比較すると共に、前述したェピポーラ幾何に基づいた方法により、音の方向情報を計算することにより、音の方向付けを行なう。

これにより、音源分離部 2 8が、左右チャンネル対応部 2 7からの音の方向付け情報に基づいて、音響データ D L， D Rから、音源毎の音に関する音響データを抽出して、音源毎の音に分離する。かくして、聴覚システム 2 0は音源毎の音の分離によって音響認、識を行ない、能動聴覚を行なうことができる。

このようにして、本発明実施形態による人型ロボット 1 0によれば、ノイズ除去回路 2 3， 2 4により、外部マイク 1 6 a , 1 6 bからの音響信号 S 0 L， S O Rから、内部マイク 1 7 a， 1 7 bからの音劉言号 S I L， S I Rに基づいてノイズキヤンセルを行なうと共に、外部マイク 1 6 a , 1 6 bからの^信号 S 0 L， S O尺から、バーストノイズを含むサブバンドの信号成分を除去することにより、各駆動機構によって外部マイク 1 6 a， 1 6 bの指向性の方向を目標に向けながら、バ一ストノイズの影響を受けることなく、音の方向付けを行なうことができると共に、方向付けが、従来のように H R T Fを使用することなく、ェピポーラ幾何に基づいた方法により計算することによって行なわれ得るので、音環境の変ィ匕により H R T Fの調整または再測定を行なう必要がなく、計算時間が短縮され得ると共に、未知の音環境においても、各音源からの音を分離して、より正確な音声認識を行なうことができる。

従って、例えば目標が移動している場合であっても、各駆動機構によって、外部マイク 1 6 a， 1 6 bの指向性の方向を常に目標に対して追従させながら、目標の音響認識を行なうことができる。このとき、左右チャンネル対応部 2 7が、例えば他の知覚システム 3 0として、視覚システムからの視覚による目標の方向付け情報を参照して音の方向付けを行なうことにより、より正確な音の方向付けを行なうことができる。

また、他の知覚システム 3 0として、視覚システム力使用される場合、左右チャンネノレ対応部 2 7力視覚システムに対して音の方向付け情報を出力するようにしてもよい。この場合、視覚システムが画像認識により目標の方向付けを行なう際に、聴覚システム 2 0の音に関する方向付け情報を参照することによって、例えば目標が移動して障害物の裏に隠れてしまった場合でも、目標からの音を参照して、目標の方向付けをより一層正確に行なうことができる。

以下に、具体的な実験例を示す。

図 9に示すように、上記人型ロボット 1 0が、 1 0平方 mの居住用の部屋 4 0 内にて、二つの音源としてのスピーカ 4 1 , 4 2に対向している。ここで、人型ロボット 1 0は、その頭部 1 3を 5 3度（右を 0度とし、左回りの角度）の方向 (回転前の方向）に向けている。

一方のスピーカ 4 1は、 5 0 0 H zの単調音を再生し、人型ロボット 1 0の前方 5度左（5 8度）の位置に在る。これに対して、他方のスピーカ 4 2は 6 0 0 H zの単調音を再生し、人型ロボット 1 0から見てスピーカ 4 1の 6 9度左 ( 1 2 7度）の位置に在る。人型ロボット 1 0から各スピーカ 4 1， 4 2までの距離は、約 2 1 0 c mである。

ここで、人型ロボット 1 0のカメラ 1 5の視野は、水平方向に関して約 4 5度であるから、人型ロボット 1 0は、スピーカ 4 2をカメラ 1 5により見ることができない。

この状態で、スピーカ 4 1力音を再生し、スピーカ 4 2力約 3秒遅れて音を再生する場合について、人型ロボット 1 0カ聴覚によりスピーカ 4 2の音の方向付けを行なって、スピーカ 4 2の方向に向けて頭部 1 3を回転し、音源としてのスピー力 4 2と視覚対象物としてのスピーカ 4 2とを関連付ける、という実験を行なった。なお、回転後の頭部 1 3の方向は 1 3 1度の方向になる。

実験は、人型ロボット 1 0の頭部 1 3の回転速度について、速い動作（6 8 . 8度 Z秒）及び遅い動作 ( 1 4. 9度 Z秒）と、 S ZN比 0 d Bの弱いノイズ（内部の待機状態の音と同様のパワー）と S ZN比約 5 0 d Bの強いノイズ（バーストノイズ）の条件で行なわれ、以下のような結果力得られた。

図 1 0は、人型ロボット 1 0の内部で発生する内部音（ノイズ）のスぺクトログラムで、 (A) は速い動作の場合、（B) は遅い動作の場合を示している。これらのスぺク卜ログラムによれば、駆動モータによるバ一ストノ.ィズが明白に示されている。

従来のノイズ除去による方向情報は、図 1 1 (A) または（B ) に示すように、頭部 1 3が回転している間（5〜 6秒の間）、ノイズにより大きな影響を受けており、人型ロボット 1 0が音源を追跡するために頭部 1 3を回転駆動している間は、聴覚がほぼ無効となるようなノィズを発生していることが分かる。

これに対して、本発明によるバーストノイズ除去による方向情報は、図 1 2に示す弱、ノィズ及び図 1 3に示す強 L、ノィズの場合に、それぞれ頭部 1 3の回転駆動の間でも、バーストノイズの影響を受けずに、方向情報が正確に得られること力分かる。なお、図 1 4 (A) は図 1 3 (A) に対応するスぺクトログラムを表し、また、図 1 4 (B ) は図 1 3 (B) に対応するスぺクトログラムを表すもので、、ずれもノィズに比べて信号が強レ、場合を示して L、る。

上記ノイズ除去回路 2 3 , 2 4は、上述したように、各サブバンドについて、音響信号 S I L, S I Rのパワーに基づいて、バーストノイズの有無の判定を行なってバーストノイズを除去している力、バーストノイズの除去は、外装 1 4の音性に基づいて、以下のようにして行なうようにしてもよい。

第二のバーストノイズ除去方法においては、マイクに入力されるノイズは、ある時刻に、下記の 3要件 ( ( 1 )〜（3 ) ) を具備するとき、バーストノイズとして取り扱われる。

( 1 ) 内外のマイク 1 6 a， 1 6 b , 1 7 a , 1 7 bの強度差がテンプレートのモータなどの駆動手段のノイズの強度差と近い。

( 2 ) 内外マイクの入力音のスぺクトル強度とパターンがテンプレートのモータノイズ周波数応答に近い。

( 3 ) モータなどの駆動手段が動作している。

即ち、第二のバーストノイズ除去方法においては、先ず、ノイズ除去回路 2 3 ， 2 4は、前以てロボット 1 0の各駆動手段の動作時における音響測定データ（後述の図 1 5 (A) 及び（B) や図 1 6 (A) 及び（B) ) 、即ち外部マイク 1 6及び内部マイク 1 7からの音響信号データを測定し、テンプレートとして記憶し一しおく。

次に、ノイズ除去回路 2 3， 2 4は各サブバンド毎に、内部マイク 1 7 a， 1 7 bからの音衝言号 S I L, S I Rと外部マイク 16 a, 16bからの音響信号 SOL, SORに関して、上記言己憶した音響測定データをテンプレートとしてバ —ストノイズの判定を行なう。即ち、ノイズ除去回路 23, 24は、外部マイクと内部マイクのスぺクトルパワー差（又は音圧差）のパターンが、測定された音響測定デ一タにおける駆動手段のノイズのスぺクトルパヮ一差のパタ一ンとほぼ同じであり、スぺクトルの音圧及びパターンが測定された駆動手段のノイズの周波数応答とほぼ同じであって、さらに駆動手段が作動を続けている場合に、バ一ストノイズがあると判断して当該サブバンドに対応する信号部分を除去する。このようなバーストノイズの判定は、以下の理由に基づいている。外装 14の音,性は無響室において測定される。その際、測定される音響特性の項目は次の通りである。カバ一ロボット 10の各駆動手段、即ち頭部 13を前後方向に揺動させる第一のモータ（モータ 1) ，頭部 13を左右方向に揺動させる第二のモ一夕（モータ 2) ，頭部 13を垂直軸の周りに回動させる第三のモータ（モータ 3)及び胴体部 12を垂直軸の周りに回動させる第四のモータ（モータ 4) のノィズに関する内部マイク 17及び外部マイク 16による周波数対応は、図 15 ( A)， (B) に示すようになつている。また、内部マイク 17及び外部マイク 1 6のスぺクトルパワー差のパターンは、図 16 (A) に示すようになつており、外部マイクの周波数応答から内部マイクの周波数応答を減算することにより得られる。同様にして、外部音のスぺクトルパワー差のパターンは、図 16 (B) に示すようになる。これはインパルス応答により得られる。インパルス応答は、水平方向及び垂直方向のマトリックス要素、即ち水平方向がロボット中心から 0度， ±45度， ±90度及び ±180度，そして垂直方向が 0度及び 30度である 12点で測定される。

これらの図から、以下のこと力観察される。即ち、

1. 駆動手段（モータ）のノイズは、広帯域であり、図 15 (A) , (B) に示すように、外部マイクによる信号よりも内部マイクによる信号が 10 dB M^ 大きい。

2. 駆動手段（モータ）のノイズは、図 16 (A) に示すように、 2. 5 kH z以上の周波数に関して、内部マイクより外部マイクの方がやや大きいかほぼ同等である。これは、外装 1 4で外部音が遮断されることにより、内部マイクがより駆動手段のノイズを拾いやすいことを示している。

3 . 駆動手段（モータ）のノイズは、 2 k H z以下の周波数では、外部マイクより内部マイクの方がやや大きく、この傾向は、図 1 6 (B) に示すように、特に 7 0 0 H z以下の周波数で顕著である。これは、外装 1 4内での共鳴を示しており、タ装 1 4の直径が約 1 8 c mであることから、周波数 5 0 0 H zにおける λ / 4に対応している。また、図 1 6 (Α) においても、同様の共鳴力発生している

4 . 内部音は、図 1 5 (Α) ， ( Β ) を比較して、平均して外部音より約 1 0 d B大きい。従って、外装 1 4の内部音及び外部音の分離効率は約 1 0 d Bである

このようにして、前以て外部マイクと内部マイクのスぺクトルパワー差のパタ —ン、そして共鳴によるピークを含むスぺクトルの音圧及びパターンを記憶させておくことにより、駆動手段（モータ）のノイズに関する測定データを保持しておき、ノイズ除去回路 2 3， 2 4力、各サブバンド毎に上述したバーストノイズの判定を行なって、バーストノイズがあると判定されたサブバンドに対応する信号部分を除去することにより、バーストノィズの影響を排除することができる。前述したと同様の実験例を示す。

この場合、前述の実験例と同じ条件で、遅い動作（1 4. 9度/秒）でのみ実験が行なわれ、以下のような結果が得られた。

図 1 7は、人型ロボット 1 0の内部で発生する内部音（ノイズ）のスぺクト口グラムを示している。このスぺクトログラムによれば、駆動モータによるバーストノイズが明白に示されている。

ノイズ除去のない場合による方向情報は、図 1 8に示すように、頭部 1 3が回転している間（5〜6秒の間）、ノイズにより影響を受けており、人型ロボット 1 0力音源を ϋ¾するために頭部 1 3を回転駆動している間は、聴覚がほぼ無効となるようなノィズを発生していること力分かる。

また、前述した第一のバーストノイズ除去方法による方向情報は、図 1 9に示すように、頭部 1 3の回転駆動の間でもバーストノイズの影響による揺れがやや少なく、方向情報カ沘較的正確に得られる。

これに対して、上述した第二のバーストノイズ除去方法による方向情報は、図

2 0に示すように、頭部 1 3の回転,駆動の間でもバーストノイズの影響による揺れ力極めて少なくなり、方向情報がより一層正確に得られることカ纷かる。なお、上記の実験と並行して、前述した AN C法（適応フィルタとして F I R フィルタを使用）によるノイズキャンセルも実験してみたが、バーストノイズを有効にキヤンセルすることはできなかった。

上述した実施形態において.、人型ロボット 1 0は、 4 D O F (自由度）を有するように構成されているが、これに限らず、任意の動作を行なうように構成されたロボッ卜に本発明によるロボット聴覚システムを組み込むことも可能である。また、上述した実施形態においては、本発明によるロボット聴覚システムを人型ロボット 1 0に組み込んだ場合について説明した力^ これに限らず、犬型等の各種動物型ロボッ卜や、その他の形式のロボッ卜に組み込むことも可能であることは明らかである。

さらに、上述した実施形態においては、内部マイク 1 7は一対のマイク 1 Ί a ， 1 7 bから構成されている力一つ以上のマイクから構成されていてもよい。また、外部マイク 1 6は一対のマイク 1 6 a , 1 6 bから構成されている力二対以上のマイクから構成されていてもよい。

従来技術の A N Cは、位相に影響を与えるフィルタリング処理を行うことで位相のずれが生じるため、音源定位を正確に行う場合には適していなかった。これに対して、本願発明によれば、位相情報に影響を与えるフィルタリングを行わないため、即ちノィズが混入している部分のデー夕を使わないようにしていることで、位相のずれは生じず、それゆえ、音源定位に適している。産の利用可能性

以上のように、本発明によれば、駆動機構等のロボット内部で発生するノイズに影響されることなく、外部の目標からの音を集音して能動知覚を行なうこと力できるようにした、極めて優れたロボット聴覚装置及びロボット聴覚システムを提供できる。

Claims

請求の範囲 . 内部にノイズ発生源を備えたロボットにおいて、

少なくともロボットの一部を覆う防音性の外装と、

上言装の外側に設けられ、主として外部の音を集音する少なくとも二つの外部マイクと、

上言装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、

上言部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から、内部のノィズ発生源からのノィズ信号をキヤンセルする処理部と、

上言理部からの左右の音響信号から、音の方向付けを行なう方向情報抽出部と、を含んでおり、

上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徴とするロボット聴覚装置。 . 内部にノイズ発生源を備えたロボットにおいて、

少なくともロボットの一部を覆う自己認、識用の防音 ' の外装と、

上言部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から、内部のノィズ発生源からのノィズ信号をキャンセルする処理部と、

上言理部からの左右の »信号から、音の方向付けを行なう方向情報抽出部と、を含んでおり、

上 ΪΞ 理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、このバーストノィズを含む帯域の信号部分を除去することを特徵とするロボット聴覚装置。 . 前記処理部が、内部マイクからの音響言号のパワー力外部マイクからの音響信号のパワーより十分大きく、所定値以上のピーク力所定値以上の帯域に亘って検出されたとき、バーストノイズとしてこの帯域の信号部分を除去することを特徵とする、請求の範囲第 1項又は第 2項に記載のロボット聴覚装置。 . 前記方向情報抽出部が、聴覚用のェピポーラ幾何により音の方向情報を計算して、音の方向付けを行なうことを特徼とする、請求の範囲第 1 ¾Xは第 2項に記載のロボット聴覚装置。 . 前記方向情報抽出部が、聴覚用のェピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付けを行、、

調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徴とする、請求の範囲第 1項又は第 2項に記載のロボット聴覚装置。 . 内部にノイズ発生源を備えた口ポットにおいて、

少なくともロボットの一部を覆う防音性の外装と、

上言部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノィズ発生源からのノィズ信号をキヤンセルする処理部と、上記処理部からの左右の音響信号から、それぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から、時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、上記ピッチ抽出部で取り出された左右の音響デ一夕に基づ ^、て、音の方向付けを行なう左右チヤンネル対応部と、

音の調波構造又は上記左右チヤンネル対応部で取り出された音の方向付け情報に基づいて、上記音響デ一夕から音源毎の音響デ一タに分離する音源分離部と、を含んでおり、

上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、このバース卜ノイズを含む帯域の信号部分を除去することを特徵とするロボット聴、覚システム。

. 内部にノイズ発生源を備えたロボットにおいて、

少なくともロボッ卜の一部を覆う自己認識用の防音性の外装と、

上言部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノィズ発生源からのノィズ信号をキヤンセルする処理部と、上記処理部からの左右の音響信号からそれぞれ周波数解析を行なつて、当該音響デ一タが示すピッチを伴う調波構造から時間，周波数及びパヮ一に関する音響デ一タを取り出すピツチ抽出部と、

上記ピッチ抽出部で取り出された左右の音響デ一夕に基づ L、て、音の方向付けを行なう左右チヤンネル対応部と、

音の調波構造又は上記左右チヤンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響デ一タに分離する音源分離部と、を含んでおり、

上記処理部が、内部マイクからの信号からノィズ発生源によるバーストノィズを検出して、このバーストノィズを含む帯域の信号部分を除去することを特徵とするロボット聴覚システム。

. 内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、

少なくともロボッ卜の頭部を覆う防音性の外装と、

上言装の外側にて両側の耳に対応する両耳位置に設けられ、主として外部の音を集音する少なくとも一対の外部マイクと、

上言装の内側に設けられ、主として内部のノィズ発生源からのノィズを集音する少なくとも一つの内部マイクと、

上言部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノィズ発生源からのノィズ信号をキャンセルする処理部と、上記処理部からの左右の音響信号から、それぞれ周波数解析を行なって、当該音響デ一タカ示すピッチを伴う調波構造から、時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、

上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チヤンネル対応部と、

音の調波構造又は上記左右チヤンネル対応部で取り出された音の方向付け情報に基づ L、て、上記音響デ一夕から音源毎の音響デ一タに分離する音源分離部と、を含んでおり、

上言理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、このバーストノィズを含む帯域の信号部分を除去することを特徵とするロボット聴覚システム。 . 内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、

少なくともロボッ卜の頭部を覆う自己認識用の防音性の外装と、

上言部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノィズ発生源からのノィズ信号をキャンセルする処理部と、上言理部からの左右の音響信号からそれぞれ周波数解析を行なつて、当該音響デ一タが示すピッチを伴う調波構造から時間，周波数及び、°ヮ一に関する音響デ一夕を取り出すピッチ抽出部と、

上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、

音の調波構造又は上記左右チャンネノレ対応部で取り出された音の方向付け情報に基づいて、上記音響デ一夕から音源毎の音響データに分離する音源分離部と、を含んでおり、

上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノィズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徵とするロボット聴覚システム。 0. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情報及ぴ隱機構の制御信号を参照して音の方向付け及び画像との対応付けを行なうことを特徵とする、請求の範囲第 6項から第 9項の、ずれかに記載の口ボット聴覚システム。 1. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行、、

前言 as右チヤンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力することを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロポット聴覚システム。 2. 前記処理部が、内外マイクの強度差がテンプレートの駆動機構のノイズの強錢と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレートの駆動機構のノィズ周波数応答に近く、さらに駆動機構が動作しているときに、ノィズをバーストノイズとしてこの帯域の信号部分を除去することを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボッ卜聴覚シスアム。 3. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行なヽ、

前言理部が、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレ ―卜の駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノィズをバーストノイズとしてこの帯域の信号部分を除去することを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット聴覚システム。 4. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行ない、

前記左右チヤンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力し、

前言理部が、内外マイクの強度差がテンプレー卜の駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレ ―卜の駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノィズをバーストノイズとしてこの帯域の信号部分を除去することを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット聴覚システム。 5. 前記処理部が、外部マイク及び内部マイクからの音観言号のスぺクトルバヮ一差のパタ一ン力前もつて測定された駆動機構のノイズのスぺクトルパヮ一差のパターンとほぼ同じであり、スぺクトルの音圧及びパターン力前もって測定された駆動機構のノィズの周波数応答とほぼ同じであつて、駆動機構の制御信号により駆動機構の連続動作を検出したとき、バーストノイズとしてこの帯域の信号部分を除去することを特徵とする、請求の範囲第 8項又は第 9項に記載のロボット聴覚システム。 6 . 前記左右チャンネル対応部が、聴覚用のェピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徵とする、請求の範囲第 6項から第 9項のいずれか 1項に記載のロボット聴覚システム。 7. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行ない、

前記左右チヤンネル対応部が、聴覚用のェピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徴とする、請求の範囲第 6項から第 9項の L、ずれかに記載のロボット聴覚システム。 8. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行な

前言右チヤンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力し、

前言右チヤンネル対応部が、聴覚用のェピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徴とする、請求の範囲第 6項から第 9項の、ずれかに記載の口ボット聴覚システム。 9 . 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行ない、

前言 S£右チヤンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力し、前言 5 ;理部が、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレ一卜の駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去し、

前記左右チヤンネル対応部が、聴覚用のェピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット聴覚システム。 0. 前記処理部が、外部マイク及び内部マイクからの音雷言号のスぺクトルバヮ一差のバタ一ンカ^ ίもつて測定された駆動機構のノイズのスぺクトルバヮ一差のパターンとほぼ同じであり、スぺクトルの音圧及びパターン力前もって測定された駆動機構のノィズの周波数応答とほぼ同じであつて、駆動機構の制御信号により駆動機構の ¾ ^動作を検出したとき、バーストノイズとしてこの帯域の信号部分を除去し、

前記左右チヤンネル対応部が、聴覚用のェピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徼とする、請求の範囲第 8 ¾Xは第 9項に記載のロボット聴覚システム。 1. 前記左右チャンネル対応部が、聴覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、

調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徵とする、請求の範囲第 6項から第 9項の、ずれかに記載の口ボット聴覚システム。

2. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行ない、

前言 2¾右チヤンネノレ対応部が、聴覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徴とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット恵覚システム。

3. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネノレ対応部が、これらの知覚システムからの情び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行な、、

前言 ΒίΕ右チヤンネル対応部が、聴、覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行 L、、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット ¾1覚システム。

4. 視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行な ^ヽ、

前言 5£右チヤンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力し、

前記処理部が、内外マイクの強度差がテンプレー卜の駆動機構のノイズの強度差と近く、内外マイクの入力音のスぺクトルの強度とパターンとがテンプレ ―卜の駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去し、

前記左右チヤンネル対応部が、聴覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徵とする、請求の範囲第 6項から第 9項のいずれかに記載のロボット聴覚システム。

5. 前記処理部力外部マイク及び内部マイクからの音言号のスぺクトルパヮ一差のパタ一ンカ前もつて測定された駆動機構のノイズのスぺクトノレパヮ一差のパターンとほぼ同じであり、スぺクトルの音圧及びパターン力前もって測定された駆動機構のノィズの周波数応答とほぼ同じであつて、駆動機構の制御信号により駆動機構の連続動作を検出したとき、バ一ストノイズとしてこの帯域の信号部分を除去し、

前言 5¾右チヤンネル対応部が、聴覚用のェピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徵とする、請求の範囲第 8項又は第 9項に記載のロボット聴覚システム。