JP2007336460A

JP2007336460A - 聴音装置

Info

Publication number: JP2007336460A
Application number: JP2006168957A
Authority: JP
Inventors: Yoichi Suzuki; 陽一鈴木; Shuichi Sakamoto; 修一坂本
Original assignee: Tohoku University NUC
Current assignee: Tohoku University NUC
Priority date: 2006-06-19
Filing date: 2006-06-19
Publication date: 2007-12-27
Anticipated expiration: 2026-06-19
Also published as: JP4543014B2

Abstract

【課題】現実音環境において音源方向の推定やマスキング現象の抑制を行える上に、小型で低消費電力の両耳に装着する一対の聴音装置を実現する。
【解決手段】マイクロホンで受信した音信号を分析する分析処理部と、前記分析処理部による分析結果と、音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を発する音響信号放射部を含むようにした。分析処理にWavelet変換を用いて、時間−周波数領域の処理を正確に行い、高音質化を実現した。また、マスキング現象の抑制も可能な構成とした。処理専用装置を具備し、これらの間のデータ通信を体内通信（生体通信）技術によって実現し、機器の小型化、低消費電力化を実現した。
【選択図】図１

Description

本発明は、両耳に装着して音声や周囲の騒音などを聴取する補聴器などの聴音装置に関する。

人間の聴覚は、様々な方向から到来する多種多様な音情報を、左右の耳が一対となって処理しており、これは一般に両耳効果と呼ばれている。実環境には、音声などの、主にコミュニケーションに用いられる主要な音情報に加えて、様々な環境騒音が存在する。人間の聴覚は、両耳に入力される音情報のレベルの差（両耳間レベル差：ILD）や、位相の差（両耳間位相差：IPD）を基に、様々な音の到来方向（音源方向）を脳内で分析、認識し、その中の主要な情報にフォーカスすることによって、騒音下でのコミュニケーションを行っている。

しかし、人間は高齢になると聴力が徐々に低下する。この聴力低下には個々に様々なパターンがあり、左右耳の聴力にアンバランスが生じる場合も多々ある。このような場合、両耳の聴覚で抽出されるべきILD, IPDが正確に脳内に伝達されずに、音源方向の分析に誤差が生じたり、少なくともいずれか一方の耳に対して高域音成分および低域音成分の双方が同時に入力された際に生じるマスキング現象が生じたりして、結果として騒音下での音声コミュニケーションに支障が出てしまう。

このような問題に関して、補聴器等の聴音機器を両耳に装用し、装用した両耳の補聴器間でデータの交換を行いながら、使用者に音源の方向を適切に提供する技術や、マスキングの状況を分析し、それぞれの耳に適切な音情報を提示する技術、両耳間のデータ交換を体内通信（生体通信）技術を用いて行う技術などが開示されている。

特許文献１には、（１）複数の音源から発生される音響信号を、左右両受音部から入力する手段、（２）左右両入力信号を、周波数帯域ごとに分割する手段、（３）左右両入力信号のクロススペクトルから周波数帯域ごとのＩＰＤ、パワースペクトルのレベル差からＩＬＤを求める手段、（４）全周波数帯域で、ＩＰＤ及び／またはＩＬＤと、データベースのそれとを比較することにより各周波数帯域ごとに音源方向の候補を推定する手段、（５）上記の各周波数帯域ごとに得られた音源方向のうち出現頻度が高い方向を、音源方向と推定する手段、（６）上記より推定された音源方向情報をもとに、特定音源方向の周波数帯域を主として抽出することにより音源を分離する手段、とからなる音源分離システムの記載がある。

特許文献２には、音成分検出部と、検出された音を低域音成分と高域音成分とに分離する音成分分離部と、分離された音成分の強度を比較する強度比較部と、音成分検出部によって検出される音の音源方向を検出する音源方向検出部と、強度比較部における比較結果と、音源方向検出部によって検出された音源方向とに基づいて、高域音成分と低域音成分との出力先を振り分けるセレクタとを備え、セレクタは、強度比較部において、より高い強度を有すると判定された音成分を、右耳用出力部および左耳用出力部の中で音源方向に対応したものに出力することで、マスキング現象の発生を抑制しつつ、使用者が音源方向を正確に知覚可能な音処理装置、音処理方法および音処理プログラムの記載がある。

特許文献３には、入力信号の周波数特性から周波数成分間のマスキングが発生する帯域を検出し、マスキングを起す周波数帯域とマスキングされる周波数帯域とが第１の音声出力手段と第２の音声出力手段に分割されて出力されるように低域通過フィルタ及び高域通過フィルタの通過帯域を設定し、音声の明瞭度を向上させることができる音響処理装置の記載がある。

特許文献４には、音響入力を受信するように動作することができる１つまたは複数の音響Ｉ／Ｏコンポーネントと、処理コンポーネントとを備え、これらのコンポーネントが、使用者の皮膚によって形成される少なくとも１つの導電経路を備えた閉電気回路によって１つに電気結合されており、電気信号は、閉電気回路を使用してコンポーネント間で送信され、コンポーネント間の通信は、一方向通信または双方向通信が可能である補聴器システムの記載がある。
特開２００４−３２５２８４特開２００５−２６８９６４特開２００６−８７０１８特表２００３−５３３１５３

特許文献１には、音源の方向の推定および分離技術については詳細に記載されているが、特定方向からの音信号を強調もしくは抑圧して、使用者の聞き取りを向上させるための手段および騒音下で音声の明瞭度を向上させる手段、マスキング現象の発生を抑制手段などについての開示も示唆も無い。さらに、その技術を実現するための具体的な構成、例えば使用者が両耳に装用して使用するために必要な小型化、低消費電力化を実現するためのデータ通信手段や高度な演算を行うための分析処理部の構成手段などに関する開示も示唆も無い。

特許文献２および３には、入力音の音成分を分析し、マスキング現象の発生を抑制するために、両耳それぞれに異なる音成分を提示する音処理方法に関して記載されているが、その技術を実現するに必要な両耳に装用された機器間のデータ通信手段や、騒音下で高品質な分析を行って音声の明瞭度を向上させる手段の開示も示唆も無く、さらに、高度な演算を行うための分析処理部の構成手段、例えば、使用者が両耳に装用して使用するために必要な小型化、低消費電力化を実現するための構成手段に関する開示も示唆も無い。

特許文献４には、両耳に装用された機器間のデータ通信を体内通信（生体通信）技術を用いて行う技術が記載されているが、そのデータを用いて行うべき、音源方向の推定手段、特定方向からの音信号を強調もしくは抑圧して、使用者の聞き取りを向上させるための手段、マスキング現象の発生を抑制する手段、騒音下で音声の明瞭度を向上させる手段、さらに、それら高度な演算を行うための分析処理部の構成手段、例えば、使用者が両耳に装用して使用するために必要な小型化、低消費電力化を実現するための構成手段に関する開示も示唆も無い。

上記の課題を解決するために、本発明は、両耳に装着して音声や周囲の騒音などを聴取する補聴器などの聴音装置に関して、以下の構成とした。

両耳に装着するための一対の聴音装置において、それぞれの聴音装置が、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、分析処理部による分析結果を他方の聴音装置に送信するデータ送信部と、他方の聴音装置からのデータを受信するデータ受信部と、前記分析処理部による分析結果とデータ受信部で受信した分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を発する音響信号放射部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換しながら、特定の方向からの音信号を強調および／または抑圧することができるようになる。

また、両耳に装着するための一対の聴音装置において、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ受信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの音データを受信するデータ受信部と、データ受信部で受信した音信号をそれぞれ分析する分析処理部と、この分析処理部による分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を前記一対の聴音装置のそれぞれに送信するデータ送信部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換し、大演算量を要する信号処理手法を用いながらも、一対の聴音装置の小型化、低消費電力化を実現でき、特定の方向からの音信号を強調および／または抑圧することができるようになる。

また、両耳に装着するための聴音装置において、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、この分析処理部の分析結果を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ受信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの分析結果を受信するデータ受信部と、データ受信部で受信した分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を前記一対の聴音装置のそれぞれに送信するデータ送信部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換し、一対の聴音装置および信号処理専用装置が効率的に演算を分担し、さらに大演算量を要する信号処理手法を用いながらも、一対の聴音装置の小型化、低消費電力化を実現でき、特定の方向からの音信号を強調および／または抑圧することができるようになる。

また、両耳に装着するための一対の聴音装置において、それぞれの聴音装置が、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、分析処理部による分析結果を他方の聴音装置に送信するデータ送信部と、他方の聴音装置からのデータを受信するデータ受信部と、前記分析処理部による分析結果とデータ受信部で受信した分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分を音信号に合成する音信号合成部と、この合成された音信号を発する音響信号放射部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換し、マスキング現象の発生を抑制できる。

また、両耳に装着するための聴音装置において、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ通信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの音データを受信するデータ受信部と、データ受信部で受信した音信号をそれぞれ分析する分析処理部と、分析処理部による分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分をそれぞれ音信号に合成する音信号合成部と、マスカーの周波数成分から合成された音信号とマスキーの周波数成分から合成された音信号を、前記一対の聴音装置のそれぞれに送信するデータ送信部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換し、大演算量を要する信号処理手法を用いながらも一対の聴音装置の小型化、低消費電力化を実現でき、マスキング現象の発生を抑制できる。

また、両耳に装着するための聴音装置において、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、この分析処理部の分析結果を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの分析データを受信するデータ受信部と、データ受信部で受信した分析データを音信号に合成する音信号合成部と、この合成された音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの分析結果を受信するデータ受信部と、データ受信部で受信した分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分をそれぞれ前記一対の聴音装置のそれぞれに送信するデータ送信部を含むようにした。これにより、両耳に装着した一対の聴音装置が相互にデータを交換し、一対の聴音装置および信号処理専用装置が効率的に演算を分担し、さらに大演算量を要する信号処理手法を用いながらも一対の聴音装置の小型化、低消費電力化を実現でき、マスキング現象の発生を抑制できる。

また、前記分析処理部による分析をWavelet変換で構成した。これにより、通常の周波数分析では成し得ない、時間−周波数の変化に追従した詳細な特定方向からの音信号強調および／または抑圧、マスキング現象の発生の抑制ができるようになる。

また、前記分析処理部による分析を離散コサイン変換で構成した。これにより、入力音信号に対する周波数分析を効率的に行い、特定方向からの音信号強調および／または抑圧、マスキング現象の発生の抑制が効率的にできるようになる。

また、前記分析処理部で分析を行う際に、分析処理部へ入力された音信号に含まれる音声と騒音を分離し、分離された音声および／または騒音にそれぞれ分析を行う構成とした。これにより、入力音信号の中から、コミュニケーションに主要な成分である音声と、妨害音である騒音を個別に強調および／または抑圧するとともに、マスキング現象の発生の抑制が効率的にできるようになる。

また、前記分析処理部で分析を行う際に、分析処理部へ入力された音信号に含まれる音声と騒音をSpeech Absence Probabilityに基づいて分離する構成とした。これにより、入力音信号の中から、コミュニケーションに主要な成分である特定方向からの音声と、妨害音である騒音を個別に効率的に強調および／または抑圧するとともに、マスキング現象の発生の抑制が効率的にできるようになる。

さらに、前記データ送信部およびデータ受信部を体内通信（生体通信）によって構成した。これにより、データ通信を無線で、しかもデータ伝送に使用する電波周波数などを考慮することなく、両耳に装着する聴音装置を小規模なシステムで実現できるようになる。

本発明の聴音装置は、両耳に装着した一対の聴音装置が相互にデータを交換しながら、特定の方向からの音信号を強調および／または抑圧することができるので、音源方向の推定が正確に行える上に、音環境に応じて、使用者にとって必要な音情報を強調し、不必要な音情報を抑圧し、常に快適な音を提示することが出来る。

本発明の聴音装置は、両耳に装着した一対の聴音装置が相互にデータを交換しながら、音情報のマスキング量を算出し、マスカーの周波数成分とマスキーの周波数成分を分離できるので、マスキング現象の発生を正確に抑制でき、音環境に応じて、常に快適な音を提示することが出来る。

このような音の処理には、大演算量を要する信号処理が必要になる場合が多いが、両耳に装着して快適に使用するためには、超小型で低消費電力である必要がある。本発明の聴音装置は、一対の聴音装置に加えて処理専用装置を具備することも可能であり、両耳に装着する聴音装置は超小型、低消費電力で実現することができる。

また、本発明の聴音装置は、音情報の分析手法として、一般に用いられているＦＦＴではなく、Wavelet変換や離散コサイン変換を具備することを可能としている。これによって、効率的に周波数分析が行える上に、周波数情報の経時的な変化（時間−周波数情報）を考慮した上で、音環境に応じて、使用者にとって必要な音情報を強調し、不必要な音情報を抑圧し、さらにマスキング現象の発生を正確に抑制できる。

また、本発明の聴音装置は、前記分析処理部で分析を行う際に、分析処理部へ入力された音信号に含まれる音声と騒音を分離し、それぞれに特定の信号処理を施すことを可能としている。一般に聴音装置が使用される環境には、音声と共に様々な種類の騒音が混在しているわけであるが、本構成によれば、主要な音声のみを強調し、騒音や妨害音声を抑圧して、常に快適な音を使用者に提供できる。

本発明では、このような音声と騒音の分離手法として、Speech Absence Probabilityに基づいて分離する手法を具備することを可能としている。この方法によれば、音声と騒音の分離を効率的かつ正確に行え、主要な音声のみを強調し、騒音を抑圧して、常に快適な音を使用者に提供できる。

さらに、本発明では、両耳間や処理専用装置とのデータ通信に体内通信（生体通信）技術を用いる構成を可能としている。両耳間でデータ通信を行う際には、ＦＭ電波等を用いる方法が一般的であるが、これには電波法に基づく周波数の割り当てが必要となる。また、周波数の割り当てが得られたとしても、超小型で低消費電力の装置を実現するのは難しいが、本発明によれば、データ伝送に使用する電波周波数などを考慮することなく、両耳に装着する聴音装置を小規模なシステムで実現できるようになる。

以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。なお、以下の説明において、同一機能を有するものは同一の符号とし、その繰り返しの説明は省略する。

図１は、本発明の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置１と聴音装置２から構成されている。

聴音装置１と聴音装置２は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を分析する分析処理部４と、前記分析処理部４で分析された分析結果を他方の聴音装置へ送信するデータ送信部５と、前記データ送信部５で送信されたデータを受信するデータ受信部６と、分析処理部４の分析結果とデータ受信部６で受信した他方の聴音装置における分析結果とから、その周囲に存在する音情報の音源の方向を推定する音源方向推定部７と、前記音源方向推定部７で推定された各種音源情報を用いて、必要な信号（この場合は音声）を強調し、不必要な信号（この場合は騒音）を抑圧する音信号処理部８と、音響信号放射部であるスピーカー（イヤホン）９から成る。

ここで、データ送信部５およびデータ受信部６は、使用者の利便性を考慮するに、無線装置で構成されていることが望ましい。しかし、一般の無線技術は消費電力が大きく、さらに機器の形状も耳に装用するには大規模になってしまう。

よって、本実施例では、このデータ送信部５およびデータ受信部６に体内通信（生体通信）技術を用いることとする。体内通信（生体通信）技術は、人体を伝送路として利用して通信を行う技術であり、低消費電力で大容量のデータ通信を行うことが可能な技術である。

また、音源方向の推定には、例えば、特開２００４−３２５２８４に記載の「（１）複数の音源から発生される音響信号を、左右両受音部から入力する手段、（２）左右両入力信号を、周波数帯域ごとに分割する手段、（３）左右両入力信号のクロススペクトルから周波数帯域ごとのＩＰＤ、パワースペクトルのレベル差からＩＬＤを求める手段、（４）全周波数帯域で、ＩＰＤ及び／またはＩＬＤと、データベースのそれとを比較することにより各周波数帯域ごとに音源方向の候補を推定する手段、（５）上記の各周波数帯域ごとに得られた音源方向のうち出現頻度が高い方向を、音源方向と推定する手段、（６）上記より推定された音源方向情報をもとに、特定音源方向の周波数帯域を主として抽出することにより音源を分離する手段、とからなる音源分離システム」などを用いれば、容易に実現できる。

さらに本実施例では、分析処理部４における分析に関してWavelet変換を用いている。一般にこのような周波数分析には、FFTが用いられることが多い。FFTでは、周波数の分解能は窓関数のサイズに反比例する。さらにFFTの場合，周波数軸上で等幅でしか分析することができない。この窓関数のサイズを大きく設定すると、周波数分解能は向上するが、時間軸に関する情報、すなわち時間分解能は低下する。一方、窓関数のサイズを小さく設定すると、時間分解能は向上するが、周波数分解能は逆に低下する。すなわち、FFTでは、周波数分解能と時間分解能を両立させることができない。

現実環境に存在する音情報は、時々刻々と変化する。人間の聴覚は、両耳から入力された情報を基に、この経時的な変化に適応しながら、周囲の音環境を把握し、音声などの必要な情報を認知している。また、人間の聴覚末梢系における周波数分析のメカニズムは、聴覚フィルタと呼ばれるフィルタバンクで模擬できることが知られている。聴覚フィルタは、入力された音信号の周波数に応じてそのバンド幅が変化する（高周波数領域にいくほどバンド幅が広くなる）。これは、入力音信号の周波数によって周波数選択性（周波数分解能）が変化することを意味している。

従って、FFTのように線形で解析を行う手法は、高周波領域では冗長的なデータを持ってしまうことになり、低周波領域では分解能が足りないことになる。またFFTでは、周波数軸上に線形に解析結果が並ぶことになる。

FFTは優れた周波数分析手法ではあるが、入力音信号の経時的変化への正確な追随と周波数分析の精度（周波数分解能）を両立することが難しい。さらに，分析可能な周波数幅がFFTでは等幅であるために、入力音信号の周波数に応じて聴覚フィルタを考慮した分析を行うことが困難であるため、使用者の聴覚の状態（難聴の状態）や周囲の環境によっては、充分な音源方向の推定が出来ない場合がある。

Waveletとは「さざ波」のことであり、1つのマザーウェーブレットという基本的な関数を拡大・縮小させることにより、信号の周波数−時間軸の解析を行う手法である。Wavelet変換では、周波数軸上で対数幅となるように分析周波数幅を設定可能であるため、FFTで問題になっていた、低周波数領域での分解能の低下、高周波数領域での過分析を避けることができる。この手法は、大演算を要するが、前記のFFTが有する問題点を解決し、音環境の経時的変化への正確な追随と周波数分析の精度を両立し、さらに入力音信号の周波数に応じて、聴覚フィルタ特性に合わせた分析ができるため、高品質の聴音装置を実現することが出来る。

例えば、図７は特開２００４−３２５２８４に記載の音源分離システムの構成例であるが、この構成例のFFTをWavelet変換に、IFFTを逆Wavelet変換にすることで、信号の周波数−時間軸の解析が可能となり、周囲の音の経時的な変化に追従可能な高品質聴音装置が実現できている。

音信号処理部８は、音源方向推定部７で推定された音源の中から、音声に相当するもの、騒音に相当するものを弁別し、音声を強調し、騒音を抑圧する。具体的には、周波数軸上で、音声に相当する方向からの成分の強度を増幅し、騒音に相当する方向からの成分の強度を減衰することによって実現される。

なお、本実施例では、Wavelet変換を行い、音源方向を推定してから音声と騒音を弁別しているが、カクテルパーティーのような大勢の人間が一度に会話しているような環境においては、主要音声成分（聞きたい音声）、妨害音声成分、騒音が混在し、主要音声成分の方向推定精度が落ちてしまう可能性がある。

この場合は、図８に示すように、Wavelet変換を行う前段階で音声と騒音を分離して、音源方向推定の前段階で音声以外の音を削除し、複数の音声成分のみになった信号に対して音源方向推定および主要音声成分の強調および妨害音声成分の抑圧を行うことで、さらに効果的な聴音装置が構成できる。分離された騒音成分は音信号処理部で合成されるわけであるが、この際に抑圧処理を加えれば、雑音抑圧システムを兼ねることにもなる。

さらに、この音声と騒音の分離には、Speech Absence Probabilityを用いることが効果的である。Speech Absence Probabilityは騒音の周波数スペクトルと、騒音と音声が混合した周波数スペクトルを比較することで、分析対象の周波数スペクトルの中に、その時刻において、音声が含まれている確率(正確には，含まれていない確率)を見積もり、その確率に基づいて、当該周波数、当該時刻における出力を決定する方法である。したがって、図8に示すように、各聴音装置が有するマイクロホンに入力された信号を初段で音声か否かを分析し、音声のみを抽出し、更に所望の音源方向の音のみを聴取者に提示することで、より効率的に必要な音声情報のみを聴取者に提示可能である。

図２は、本発明の第２の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置１０、聴音装置１１と処理専用装置１２から構成されている。

聴音装置１０と聴音装置１１は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を処理専用装置１２へ送信するデータ送信部５と、処理専用装置１２で処理された音データを受信するデータ受信部６と、スピーカー（イヤホン）９から成り、処理専用装置１２は、前記マイクロフォン３で収音された音情報を受信するデータ受信部６と、この２つの聴音装置からの音情報をそれぞれ分析する分析処理部４と、前記分析処理部４で分析された分析結果から、その周囲に存在する音情報の音源の方向を推定する音源方向推定部７と、前記音源方向推定部７で推定された各種音源情報を用いて、必要な信号（この場合は音声）を強調し、不必要な信号（この場合は騒音）を抑圧する音信号処理部８と、前期音信号処理部８で処理された音情報を聴音装置１０と聴音装置１１へ送信するデータ送信部５から成る。

本実施の形態においては、Wavelet変換等の複雑で大規模演算を要する処理は、全て処理専用装置１２で行われる。聴音装置１０と聴音装置１１は、聴音装置１と聴音装置２と同様に、使用者の耳に装着されるわけであるが、処理専用装置１２は生体通信が可能な場所（ポケットの中等）に具備されていれば良く、使用者の利便性を損なうことなく、本発明のような高度な信号処理を実現することが出来る。

図３は、本発明の第３の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置１３、聴音装置１４と処理専用装置１５から構成されている。

聴音装置１３と聴音装置１４は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を分析する分析処理部４と、前記分析処理部４で分析された分析結果を処理専用装置１５へ送信するデータ送信部５と、処理専用装置１５で処理された音データを受信するデータ受信部６と、スピーカー（イヤホン）９から成り、処理専用装置１５は、前記分析処理部４で分析された分析結果を受信するデータ受信部６と、この２つの聴音装置からの分析結果から、その周囲に存在する音情報の音源の方向を推定する音源方向推定部７と、前記音源方向推定部７で推定された各種音源情報を用いて、必要な信号（この場合は音声）を強調し、不必要な信号（この場合は騒音）を抑圧する音信号処理部８と、前期音信号処理部８で処理された音情報を聴音装置１３と聴音装置１４へ送信するデータ送信部５から成る。

本実施の形態においては、Wavelet変換等の分析処理は聴音装置１３および聴音装置１４でそれぞれ個別に行い、音源方向の推定や音信号処理は、処理専用装置１５で行われる。これによって、高度な演算処理を聴音装置と処理専用装置に分散し、個々の装置にかかる演算負荷が軽減される上に、データ伝送量の大幅な軽減が可能となる。なお、本実施例では、処理専用装置１５から聴音装置１３および聴音装置１４へ伝送するデータは音データになっているが、処理専用装置１５で行う処理は音源方向推定のみとし、聴音装置１３および聴音装置１４で音信号処理を行う構成とすれば、データ伝送量はさらに低減できることは自明である。

図４は、本発明の第４の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置１６と聴音装置１７から構成されている。

聴音装置１６と聴音装置１７は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を分析する分析処理部４と、前記分析処理部４で分析された分析結果を他方の聴音装置へ送信するデータ送信部５と、前記データ送信部５で送信されたデータを受信するデータ受信部６と、分析処理部４の分析結果とデータ受信部６で受信した他方の聴音装置における分析結果とから、その周囲に存在する音情報の周波数ごとのマスキング量を算出するマスキング量算出部１８と、前記マスキング量算出部で得られた結果から、入力された音情報をマスキー周波数成分とマスカー周波数成分に分離する信号分離部１９と、前記信号分離部１９で分離されたマスキー周波数成分またはマスカー周波数成分を合成して音信号にする音信号合成部２０と、スピーカー（イヤホン）９から成る。

また、マスキング量の算出と信号分離には、例えば、特開２００５−２６８９６４に記載の「音成分検出部と、検出された音を低域音成分と高域音成分とに分離する音成分分離部と、分離された音成分の強度を比較する強度比較部と、音成分検出部によって検出される音の音源方向を検出する音源方向検出部と、強度比較部における比較結果と、音源方向検出部によって検出された音源方向とに基づいて、高域音成分と低域音成分との出力先を振り分けるセレクタとを備え、セレクタは、強度比較部において、より高い強度を有すると判定された音成分を、右耳用出力部および左耳用出力部の中で音源方向に対応したものに出力することで、マスキング現象の発生を抑制しつつ、使用者が音源方向を正確に知覚可能な音処理装置、音処理方法および音処理プログラム」や、特開２００６−８７０１８に記載の「入力信号の周波数特性から周波数成分間のマスキングが発生する帯域を検出し、マスキングを起す周波数帯域とマスキングされる周波数帯域とが第１の音声出力手段と第２の音声出力手段に分割されて出力されるように低域通過フィルタ及び高域通過フィルタの通過帯域を設定し、音声の明瞭度を向上させることができる音響処理装置」などを用いれば、容易に実現できる。

例えば、図９は特開２００５−２６８９６４に記載の音処理装置、音処理方法および音処理プログラムの構成例であるが、この構成例における音声分離部、音源方向検出部などはWavelet変換と逆Wavelet変換を用いることによって実現できる。すなわち、Wavelet変換によって算出された周波数−時間軸における解析結果から、音声の高周波数成分と低周波数成分を分離し、経時的に強度比較するとともに、第１の実施の形態で述べた図７に記載の方法で音源方向の推定も高精度で可能となる。

これにより、入力音から低域音成分と高域音成分とを生成し、音源方向に応じて生成した低域音成分と高域音成分との出力先を、周波数−時間軸を考慮して振り分けることが可能となる。それぞれの聴音装置内の音信号合成部２０は、振り分けられた信号をそれぞれ合成するため、使用者は、マスキング現象によって高域音成分を聞き逃すこと無く入力音を認識できると共に、低域音成分と高域音成分との強度差を利用して音源方向を知覚することができ、単一の音処理装置等によってマスキング現象の発生防止および使用者に音源方向を知覚させることが可能となる。

なお、本実施例では、Wavelet変換を行い、周波数ごとのマスキング量の算出と信号分離を行っているが、高騒音下やカクテルパーティーのような大勢の人間が一度に会話しているような環境においては、主要音声成分（聞きたい音声）、妨害音声成分、騒音が混在し、主要音声成分の方向推定精度およびマスキング量の算出、信号分離の精度が落ちてしまう可能性がある。

この場合は、図８に示した構成例と同様に、Wavelet変換を行う前段階で音声と騒音を分離して、周波数ごとのマスキング量の算出と信号分離の前段階で音声以外の音を抑圧し、音声成分のみになった信号に対して音源方向推定および主要音声成分に関する周波数ごとのマスキング量の算出と信号分離を行うことで、さらに効果的な聴音装置が構成できる。分離された騒音成分は音信号処理部で合成されるわけであるが、この際に抑圧処理を加えれば、雑音抑圧システムを兼ねることにもなる。

さらに、この音声と騒音の分離には、Speech Absence Probabilityを用いることが効果的である。

図５は、本発明の第５の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置２１、聴音装置２２と処理専用装置２３から構成されている。

聴音装置２１と聴音装置２２は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を処理専用装置２３へ送信するデータ送信部５と、処理専用装置２３で処理された音データを受信するデータ受信部６と、スピーカー（イヤホン）９から成り、処理専用装置２３は、前記マイクロフォン３で収音された音情報を受信するデータ受信部６と、この２つの聴音装置からの音情報をそれぞれ分析する分析処理部４と、前記分析処理部４で分析された分析結果から、その周囲に存在する音情報の周波数ごとのマスキング量を算出するマスキング量算出部１８と、前記マスキング量算出部で得られた結果から、入力された音情報をマスキー周波数成分とマスカー周波数成分に分離する信号分離部１９と、前記信号分離部１９で分離されたマスキー周波数成分とマスカー周波数成分をそれぞれ合成して音信号にする音信号合成部２０と、前期音信号合成部２０で合成されたマスキー周波数成分とマスカー周波数成分を聴音装置２１と聴音装置２２へ、それぞれ送信するデータ送信部５から成る。

本実施の形態においては、Wavelet変換等の複雑で大規模演算を要する処理は、全て処理専用装置２３で行われる。聴音装置２１と聴音装置２２は、聴音装置１６と聴音装置１７と同様に使用者の耳に装着されるわけであるが、処理専用装置は生体通信が可能な場所（ポケットの中等）に具備されていれば良く、使用者の利便性を損なうことなく、本発明のような高度な信号処理を実現することが出来る。

図６は、本発明の第６の実施形態におけるシステムのブロック図であり、両耳に装着するための一対の聴音装置２４、聴音装置２５と処理専用装置２６から構成されている。

聴音装置２４と聴音装置２５は同一の構成で、周囲の音を収音するマイクロフォン３と、前記マイクロフォン３で収音された音情報を分析する分析処理部４と、前記分析処理部４で分析された分析結果を処理専用装置２６へ送信するデータ送信部５と、処理専用装置２６で分析された分析結果を受信するデータ受信部６と、前記データ受信部で受信された分析結果を合成して音信号にする音信号合成部２０と、スピーカー（イヤホン）９から成り、処理専用装置２６は、前記分析処理部４で分析された分析結果を受信するデータ受信部６と、この２つの聴音装置からの分析結果から、その周囲に存在する音情報の周波数ごとのマスキング量を算出するマスキング量算出部１８と、前記マスキング量算出部で得られた結果から、入力された音情報をマスキー周波数成分とマスカー周波数成分に分離する信号分離部１９と、前期信号分離部１９で分離されたマスキー周波数成分とマスカー周波数成分を聴音装置２４と聴音装置２５へ、それぞれ送信するデータ送信部５から成る。

本実施の形態においては、Wavelet変換等の分析処理および音信号の合成は聴音装置２４および聴音装置２５でそれぞれ個別に行い、周波数ごとのマスキング量の算出とマスキー周波数成分とマスカー周波数成分の分離は、処理専用装置２６で行われる。これによって、高度な演算処理を聴音装置と処理専用装置に分散し、個々の装置にかかる演算負荷が軽減される上に、データ伝送量の大幅な軽減が可能となる。

なお、本願の実施の形態に関しては、その分析処理に全てWavelet変換を用いているが、これは全て離散コサイン変換で行うことも当然可能である。

本発明の第１の実施形態におけるシステムのブロック図本発明の第２の実施形態におけるシステムのブロック図本発明の第３の実施形態におけるシステムのブロック図本発明の第４の実施形態におけるシステムのブロック図本発明の第５の実施形態におけるシステムのブロック図本発明の第６の実施形態におけるシステムのブロック図音源分離システムの一構成例音声と騒音の分離システムの一構成例マスキング現象の発生防止および使用者に音源方向を知覚させるシステムの一構成例

符号の説明

１…聴音装置、２…聴音装置、３…マイクロフォン、４…分析処理部、５…データ送信部、６…データ受信部、７…音源方向推定部、８…音信号処理部、９…スピーカー、１０…聴音装置、１１…聴音装置、１２…処理専用装置、１３…聴音装置、１４…聴音装置、１５…処理専用装置、１３…聴音装置、１４…聴音装置、１５…マスキング量算出部、１６…信号分離部、１７…音信号合成部、２１…聴音装置、２２…聴音装置、２３…処理専用装置、２４…聴音装置、２５…聴音装置、２６…処理専用装置、２７…音声・騒音分離部。

Claims

両耳に装着するための一対の聴音装置であって、それぞれの聴音装置が、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、分析処理部による分析結果を他方の聴音装置に送信するデータ送信部と、他方の聴音装置からのデータを受信するデータ受信部と、前記分析処理部による分析結果とデータ受信部で受信した分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を発する音響信号放射部からなることを特徴とする聴音装置。
両耳に装着するための聴音装置であって、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ受信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの音データを受信するデータ受信部と、データ受信部で受信した音信号をそれぞれ分析する分析処理部と、この分析処理部による分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を前記一対の聴音装置のそれぞれに送信するデータ送信部からなることを特徴とする聴音装置。
両耳に装着するための聴音装置であって、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、この分析処理部の分析結果を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ受信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの分析結果を受信するデータ受信部と、データ受信部で受信した分析結果から特定の音信号の音源の方向を推定する音源方向推定部と、音源方向推定部で推定された特定の方向からの音信号を強調および／または抑圧する音信号処理部と、この音信号処理部が強調および／または抑圧した音信号を前記一対の聴音装置のそれぞれに送信するデータ送信部からなることを特徴とする聴音装置。
両耳に装着するための一対の聴音装置であって、それぞれの聴音装置が、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、分析処理部による分析結果を他方の聴音装置に送信するデータ送信部と、他方の聴音装置からの分析結果を受信するデータ受信部と、前記分析処理部による分析結果とデータ受信部で受信した分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分を音信号に合成する音信号合成部と、この合成された音信号を発する音響信号放射部からなることを特徴とする聴音装置。
両耳に装着するための聴音装置であって、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの音信号を受信するデータ受信部と、前記データ受信部で受信した音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの音データを受信するデータ受信部と、データ受信部で受信した音信号をそれぞれ分析する分析処理部と、分析処理部による分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分をそれぞれ音信号に合成する音信号合成部と、マスカーの周波数成分から合成された音信号とマスキーの周波数成分から合成された音信号を、前記一対の聴音装置のそれぞれに送信するデータ送信部からなることを特徴とする聴音装置。
両耳に装着するための聴音装置であって、一対の聴音装置と信号処理専用装置からなり、前記一対の聴音装置のそれぞれが、音信号を受信するマイクロホンと、このマイクロホンで受信した音信号を分析する分析処理部と、この分析処理部の分析結果を信号処理専用装置に送信するデータ送信部と、信号処理専用装置からの分析データを受信するデータ受信部と、データ受信部で受信した分析データを音信号に合成する音信号合成部と、この合成された音信号を発する音響信号放射部からなり、信号処理専用装置は、前記一対の聴音装置のそれぞれからの分析結果を受信するデータ受信部と、データ受信部で受信した分析結果から前記音信号におけるマスキング量を算出するマスキング量算出部と、マスキング量算出部で算出されたマスキング量からマスカーの周波数成分とマスキーの周波数成分を分離する信号分離部と、分離したマスカーの周波数成分および／またはマスキーの周波数成分を前記一対の聴音装置のそれぞれに送信するデータ送信部からなることを特徴とする聴音装置。
前記分析処理部による分析がWavelet変換である請求項１、２、３、４、５または６に記載の聴音装置。
前記分析処理部による分析が離散コサイン変換である請求項１、２、３、４、５または６に記載の聴音装置。
前記分析処理部で分析を行う際に、分析処理部へ入力された音信号に含まれる音声と騒音を前もって分離し、分離された音声および／または騒音にそれぞれ分析を行うことを特徴とする請求項１、２、３、４、５，６，７または８に記載の聴音装置。
前記分析処理部で分析を行う際に、分析処理部へ入力された音信号に含まれる音声と騒音をSpeech Absence Probabilityに基づいて分離することを特徴とする請求項９に記載の聴音装置。
前記データ送信部およびデータ受信部が体内通信によって構成されていることを特徴とする請求項１、２、３、４、５，６，７，８、９または１０に記載の聴音装置。