JP2012165273A - 音源信号抽出装置、方法及びプログラム - Google Patents

Abstract

【課題】従来よりも小さい計算コストで音源信号を抽出する音源信号抽出技術を提供する。
【解決手段】周波数領域変換部が、二次元平面上又は一次元直線上に配置されたマイクアレーで収音した信号を周波数領域信号に変換する。窓関数部が、周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する。フィルタ部が、不均質波を無視した逆伝播演算に基づくフィルタを用いて、窓関数後周波数領域信号に対してフィルタ処理を行う。時間領域変換部が、フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する。
【選択図】図１

Description

この発明は、ある音場に設置されたマイクアレーで音信号を収音し、音源信号等を高いＳＮ比で抽出する技術に関する。

非特許文献１には、多数のマイクアレーで収音された音を遠隔地で多数のスピーカアレーで再現するために、マイクアレー平面と平行な平面上の音圧勾配分布を推定する技術が記載されている。この非特許文献１に記載された技術により、マイクアレー平面と平行な平面であって音源位置を含む平面の音圧勾配分布を取得することで、音源信号を抽出することができる。

Shoichi Koyama, 他４名, "Inverse Wave Propagation in Wave Field Synthesis", AES 40th International Conference, Tokyo, Japan, October 8-10, pp.2-10

しかしながら、音源位置を含む平面全体の音圧勾配分布を取得するには、大きな計算コストを要するという問題があった。

この発明の課題は、従来よりも小さい計算コストで音源信号を抽出する音源信号抽出装置、方法及びプログラムを提供することである。

上記の課題を解決するために、不均質波を無視した逆伝播演算に基づくフィルタを用いて、音源位置のみの音圧を推定することにより音源信号を抽出する。

平面全体の音圧勾配分布ではなく、音源位置のみの音圧を推定することにより、従来よりも小さい計算コストで音源信号を抽出することができる。

第一実施形態の音源信号抽出装置の例の機能ブロック図。 第一実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。 第二実施形態の音源信号抽出装置の例の機能ブロック図。 第二実施形態の音源信号抽出装置のマイクアレーの配置の例を説明するための図。 音源信号抽出方法の例を示す流れ図。 音源信号の例を示す図。 マイクロホンで収音した音信号を示す図。 第二実施形態の音源信号抽出方法で抽出した音源信号を示す図。 従来の音源信号抽出方法で抽出した音源信号を示す図。

以下、図面を参照してこの発明の一実施形態を説明する。

［第一実施形態］
第一実施形態の音源信号抽出装置及び方法は、図２に示すように、ｚ＝ｚ_０の位置に配置されたＮ_ｘ×Ｎ_ｙ個の無指向性のマイクロホンで構成される二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙで収音した音信号を用いて、以下に説明する方法で、（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源Ｓが発する音の信号を抽出する。

Ｎ_ｘ，Ｎ_ｙは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙを構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙを構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。

ｚ＝ｚ_０の位置に配置された二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙを構成する各マイクの位置をｒ_ｉｊ＝（ｘ_ｉ，ｙ_ｊ，ｚ_０）と表わすことにする。音源Ｓの位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）及び二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙを構成する各マイクロホンの位置（ｘ_ｉ，ｙ_ｊ，ｚ_０）は既知であるとする。

第一実施形態の音源信号抽出装置は、図１に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。

二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙは、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒ_ｓ＝（ｘ_ｉ，ｙ_ｊ，ｚ_０）のマイクＭｉ−ｊで収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｊ，ｔ）と表記する。

周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−Ｎ_ｙで収音された音信号ｆ（ｉ，ｊ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ｊ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ｊ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ｊ，ω）を生成してもよい。

窓関数部２は、周波数領域信号Ｆ（ｉ，ｊ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆ_ｗ（ｊ，ｊ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆ_ｗ（ｊ，ｊ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗ（ｉ，ｊ）を例えば用いる。Ｎ_ｔｐｒは、テーパーを適用する点数であり１以上Ｎ_ｘ，Ｎ_ｙ以下の整数である。なお、後述するように、窓関数部２はなくてもよい。

フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ｊ，ω）は、フィルタである。

時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。

［第二実施形態］
第一実施形態の音源信号抽出装置及び方法は二次元マイクアレーを用いるのに対して、第二実施形態の音源信号抽出装置及び方法は一次元マイクアレーを用いる。これにより、マイク数、すなわちチャネル数を少なくすることができるため、実装が比較的容易となる。

第二実施形態の音源信号抽出装置及び方法は、図４に示す第一の部屋のｙ＝ｙ_０，ｚ＝ｚ_０の位置に配置されたＮ_ｘ個の無指向性のマイクで構成されるマイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１で収音した音信号を用いて、（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源Ｓが発する音の信号を抽出する。

Ｎ_ｘは正の整数である。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１を構成するマイクロホンの数は基本的には任意である。もっとも、空間的な音圧分布を取得できるだけの数のマイクロホンがあることが望ましい。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１を構成するマイクロホンの各間隔は、収音する音信号の半波長以下の長さに設定することが望ましい。

ｚ＝ｚ_０，ｙ＝ｙ_０の位置に配置されたマイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１を構成する各マイクの位置をｒ_ｉ＝（ｘ_ｉ，ｙ_０，ｚ_０）と表わすことにする。音源Ｓの位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）及びマイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１を構成する各マイクロホンの位置（ｘ_ｉ，ｙ_０，ｚ_０）は既知であるとする。

第二実施形態の音源信号抽出装置は、図３に示すように周波数領域変換部１、窓関数部２、フィルタ部３、時間領域変換部４を例えば備える。音源信号抽出装置は、図５に例示された音源信号抽出方法の各ステップの処理を行う。

マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１は、音源Ｓで発せられた音を収音して時間領域の音信号を生成する。生成された音信号は、周波数領域変換部１に送られる。ｒ_ｉ＝（ｘ_ｉ，ｙ_０，ｚ_０）のマイクＭｉ−１で収音された時間領域の時刻ｔの音信号をｆ（ｉ，ｔ）と表記する。

周波数領域変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮ_ｘ−１で収音された音信号ｆ（ｉ，ｔ）をフーリエ変換により周波数領域信号Ｆ（ｉ，ω）に変換する（ステップＳ１）。生成された周波数領域信号Ｆ（ｉ，ω）は、窓関数部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Ｆ（ｉ，ω）が生成される。もちろん、他の既存の方法により周波数領域信号Ｆ（ｉ，ω）を生成してもよい。

窓関数部２は、周波数領域信号Ｆ（ｉ，ω）に窓関数を乗じて窓関数後周波数領域信号Ｆ_ｗ（ｉ，ω）を生成する（ステップＳ２）。窓関数後周波数領域信号Ｆ_ｗ（ｉ，ω）は、フィルタ部３に送られる。窓関数として、以下の式より定義されるいわゆるターキー（Turkey）窓関数ｗ_ｘ（ｉ）を例えば用いる。Ｎ_ｔｐｒは、テーパーを適用する点数であり１以上Ｎ_ｘ以下の整数である。

フィルタ部３は、下式で定義されるフィルタ処理を窓関数後周波数領域信号Ｆ（ｉ，ω）に対して行い（ステップＳ３）、音源位置の音圧を取得することで周波数領域の音源信号であるＳ（ω）を抽出する。フィルタ処理を行った後の信号Ｓ（ω）は、時間領域変換部４に送られる。ｋは波数であり、ｃを音速としてｋ＝ω／ｃである。下式において、波数ｋの左にあるｊは虚数単位を意味する。Ｈ（ｉ，ω）は、フィルタである。

上記式において、Ｈ_ｎ ^（１）（・）は、第一種ハンケル関数である。第一種ハンケル関数Ｈ_ｎ ^（１）（ｘ）は、第一種ベッセル関数Ｊ_ｎ（ｘ）及び第二種ベッセル関数Ｙ_ｎ（ｘ）を用いて以下のように定義される。

時間領域変換部４は、フィルタ処理を行った後の信号Ｓ（ω）を逆フーリエ変換により時間領域信号ｓ（ｔ）に変換する（ステップＳ４）。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。この時間領域信号ｓ（ｔ）が、音源Ｓの位置における信号となる。

［理論的背景］
以下、第一実施形態、第二実施形態においてフィルタ部３の処理がそれぞれ式（１）、式（２）となる理由を説明する。以下では、表記の簡略化のためにωを記載しない場合がある。

レイリー方程式に基づいて、図２においてｚ＝ｚ_０の平面上の位置ｒ₀＝（ｘ_０，ｙ_０，ｚ_０）の音圧Ｐ（ｒ_０）を用いて音源位置ｒ_ｓの音圧Ｐ（ｒ_ｓ）を推定すると以下のようになる。

ここで、κ^−１は、核関数である。

ｋ_ｘ、ｋ_ｙは、それぞれｘ方向の波数、ｙ方向の波数である。核関数κ^−１は、均質波に対応する成分κ_１ ^−１と不均質波に対応する成分κ_２ ^−１との和に分解することが可能である。一般に音場の再生に寄与しないと考えられる不均質波に対応する成分を無視すると、核関数κ^−１は、以下のように近似できる。

式（４）の右辺を式（３）に代入すると以下のようになる。

上記式のＰ（ｒ_ｓ）が第一実施形態のＳ（ω）に対応し、Ｐ（ｒ_０）がＦ_ｗ（ｉ，ｊ，ω）に対応する。上記式を離散的に表現したものが式（１）である。

直線上にマイクロホンが配置されている第二実施形態においても、上記と同様に核関数κ^−１の不均質波に対応する成分κ_２ ^−１を無視することにより、式（２）が得られる。

［シミュレーション結果］
４ｃｍ間隔で直線状に９６ｃｈ配置された直線上のマイクアレーの中心から２ｍの位置に一般的な密閉型スピーカを置き、第二実施形態の音源信号抽出方法によって音源信号を抽出した結果を示す。スピーカから再生した音源信号は、図６のような１０秒間の音声（女声＋男声）である。

このとき，音源から最も近い距離にあるマイクによる収音信号は、図７のようになった。この信号と原音声のＳＮ比は、５．５５ｄＢである。ＳＮ比の計算に際しては、相互相関を用いて時間差を補正し、最小二乗法によって誤差が最小になるように振幅を補正した。

図８が提案法によって抽出した音源信号である。音源位置は既知としている。このときのＳＮ比は２０．０７ｄＢとなった。

図９は、マイクアレー信号に時間差を与え和をとる従来の焦点形成による結果である。この際、ＳＮ比最大化の観点から焦点位置までの距離で信号を割る処理を加えている。このときのＳＮ比は５．４３ｄＢであった。

このように、音源位置の音圧を推定することにより、従来よりも高いＳＮ比で音源信号を抽出することができる。

［変形例等］
窓関数部２はなくてもよい。この場合、フィルタ部３は、窓関数後周波数領域信号Ｆ_ｗ（ｉ，ｊ，ω）又はＦ_ｗ（ｉ，ω）ではなく周波数領域信号Ｆ（ｉ，ｊ，ω）又はＦ（ｉ，ω）に対して、窓関数部２がある場合と同様のフィルタ処理を行う。この場合、第一実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。

また、この場合、第二実施形態のフィルタ部３は、具体的には以下の式により定義されるフィルタ処理を行う。

音源信号抽出装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ 周波数領域変換部
２ 窓関数部
３ フィルタ部
４ 時間領域変換部

Claims (7)

1. （ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
   Ｎ_ｘ，Ｎ_ｙを正の整数とし、上記マイクアレーはｚ＝ｚ_０の二次元平面上に配置されたＮ_ｘ×Ｎ_ｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘ_ｉ，ｙ_ｊ，ｚ_０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘ_ｉ，ｙ_ｊ，ｚ_０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタ部と、
   上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
   を含む音源信号抽出装置。
2. 請求項１の音源信号抽出装置において、
   上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
   上記フィルタ部は、上記（ｘ_ｉ，ｙ_ｊ，ｚ_０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦ_ｗ（ｉ，ｊ，ω）として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
   音源信号抽出装置。
3. （ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換部と、
   Ｎ_ｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ_０，ｙ_０）の直線上に配置されたＮ_ｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘ_ｉ，ｙ_０，ｚ_０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘ_ｉ，ｙ_０，ｚ_０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈ_ｎ ^（１）（・）を第一種ハンケル関数として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタ部と、
   上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換部と、
   を含む音源信号抽出装置。
4. 請求項３の音源信号抽出装置において、
   上記周波数領域信号に窓関数を乗じて窓関数後周波数領域信号を生成する窓関数部を更に含み、
   上記フィルタ部は、上記（ｘ_ｉ，ｙ_０，ｚ_０）に位置するマイクロホンに対応する窓関数後周波数領域信号をＦ_ｗ（ｉ，ω）として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うことを特徴とする、
   音源信号抽出装置。
5. 周波数領域変換部が、（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
   フィルタ部が、Ｎ_ｘ，Ｎ_ｙを正の整数とし、上記マイクアレーはｚ＝ｚ_０の二次元平面上に配置されたＮ_ｘ×Ｎ_ｙ個のマイクロホンで構成されており、ｘ方向にｉ番目でありｙ方向にｊ番目のマイクロホンの位置を（ｘ_ｉ，ｙ_ｊ，ｚ_０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ｊ，ω）をフィルタ、（ｘ_ｉ，ｙ_ｊ，ｚ_０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ｊ，ω）として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ｊ，ω）に対して行うフィルタステップと、
   時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
   を含む音源信号抽出方法。
6. 周波数領域変換部が、（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）に位置する音源から発せられた音をマイクアレーで収音することにより得られた音信号をフーリエ変換により周波数領域信号に変換する周波数領域変換ステップと、
   フィルタ部が、Ｎ_ｘを正の整数とし、上記マイクアレーは（ｚ，ｙ）＝（ｚ_０，ｙ_０）の直線上に配置されたＮ_ｘ個のマイクロホンで構成されており、ｘ方向にｉ番目のマイクロホンの位置を（ｘ_ｉ，ｙ_０，ｚ_０）と表記し、ωを周波数、ｃを音速、ｋ＝ω／ｃを波数、Ｈ（ｉ，ω）をフィルタ、（ｘ_ｉ，ｙ_０，ｚ_０）に位置するマイクロホンに対応する周波数領域信号をＦ（ｉ，ω）、Ｈ_ｎ ^（１）（・）を第一種ハンケル関数として、
   

   

   
   上記式で定義されるフィルタ処理を上記周波数領域信号Ｆ（ｉ，ω）に対して行うフィルタステップと、
   時間領域変換部が、上記フィルタ処理を行った後の信号を逆フーリエ変換により時間領域信号に変換する時間領域変換ステップと、
   を含む音源信号抽出方法。
7. 請求項１から４に記載された音源信号抽出装置の各部としてコンピュータを機能させるための音源信号抽出プログラム。

Images