JP7204545B2 - 音響信号処理装置、音響信号処理方法、およびプログラム - Google Patents
音響信号処理装置、音響信号処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7204545B2 JP7204545B2 JP2019048406A JP2019048406A JP7204545B2 JP 7204545 B2 JP7204545 B2 JP 7204545B2 JP 2019048406 A JP2019048406 A JP 2019048406A JP 2019048406 A JP2019048406 A JP 2019048406A JP 7204545 B2 JP7204545 B2 JP 7204545B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- signal
- sound source
- coefficient
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
このような音響信号に対して処理を行う装置では、音源とマイクロホンとの伝達関数を、ステアリングベクトルを用いて処理を行っている。
また、上述した(4)によれば、(M+K)(2N+1)が(M×K)未満のNを選択するため、ステアリング係数の演算量を従来より低減することができる。
図1~図3において、符号x1は、m=1番目の離散時間のときに音響信号処理装置1によって音源2が発した信号波形である。以下、符号xmは、m番目の離散時間のときに音源2が発した信号波形を表している。また、符号y1は、k=1番目の離散時間のときにマイクロホン3が受音した収録波形を表している。以下、符号ykは、k番目の離散時間のときにマイクロホン3が受音した収録波形を表している。
なお、本実施形態では、周波数領域のスカラ値を大文字(例えばY、X)で表し、時間領域のスカラ値を小文字(例えばy、x)で表現する。
また、図2に示すように、移動マイクロホンの場合、すなわち音源2が固定されマイクロホン3が移動する場合、時間毎に異なるマイクロホン3であると考えることができる。
また、図3に示すように、移動音源と移動マイクロホンの場合、すなわち音源2もマイクロホン3が移動する場合、時間毎に異なる音源2であり、時間毎に異なるマイクロホン3であると考えることができる。
次に、音響信号処理装置の構成例を説明する。
図4は、本実施形態に係る音響信号処理装置1の構成例を示すブロック図である。図4に示すように、音響信号処理装置1は、操作部101、係数記憶部102、テーブル記憶部103(記憶部)、係数算出部104、収録信号算出部106、出力部107、音響信号生成部108、および音響信号出力部109を備える。
以下の説明では、一般的な移動音源とマイクロホンが移動する場合の収録信号について説明する。
図5は、従来技術における一般的な移動する音源とマイクロホンが移動する場合のマイクロホンが受音する収録波形(収録信号)の演算を説明するための図である。なお、図5では、添え字を一部省略している。
また、式(1)は次式(2)のように表現できる。
移動する音源2やマイクロホン3において、gk,mを要素に有する係数行列Gは規則的なパターンをもつ値になることが多い。このためフーリエ係数モデルを利用すると低次で近似できる可能性が高く有効である。
音源2とマイクロホン3が相対的な位置に変化が少ない場合、係数行列Gは図6のように45度にほぼ同じ値が並ぶ。
音源2とマイクロホン3が互いに近づく場合は、斜めの線がより横線に近づく。音源2とマイクロホン3が互いに遠ざかる場合は、斜めの線が上下の線に近づく。インパルス応答自体が変化した場合でも、各線の濃淡がゆらぐだけで、基本的なパターンは、上述したようになる。
このため、式(2)を用いて、マイクロホン3が受音する収録波形を計算するのに、乗算回数はMK回必要である。例えば、M=72、Kが32の場合の乗算回数は、2304(=72×32)回必要である。
次に、本実施形態による伝達特性の算出方法を説明する。
本実施形態では、係数算出部104が、ステアリング係数gm(θk)を、次式(4)のようにN次の複素フーリエ係数でモデル化する。なお、ステアリング係数gm(θk)は、各マイクロホン3についてのステアリング係数である。また、ステアリング係数gm(θk)は,行列内の表記ではgk,mで表している。また、式(6)において、k(kは1からKの整数)は離散化した離散時間である。θkは離散時間における前記音源と前記マイクロホンとの角度を表す。
ここで、例として、角度θkのみを変数とする1次元のステアリング係数g(θk)に対し、式(4)で与えられる複素振幅モデルを導入した場合の係数(cn(ω))の決定方法について説明する。
実測した伝達関数の数をL、その時の離散時間θl(l=1,2,3,…,L)とすると次式(5)の連立方程式が得られる。
フーリエモデルで計算する場合、マイクロホン3が受音する時間領域における収録波形ykは、yk=gx=Scx=S(cx)のように表すことができる。
Sは、式(13)のように、K行、2N+1列の行列であり、K(2N+1)回の乗算が必要である。また、cは、式(13)のように、2N+1行、M列の行列であり、(2N+1)M回の乗算が必要である。このため、式(13)の乗算回数の合計は、(M+K)(2N+1)回である。
なお、係数算出部104は、(M+K)(2N+1)が(M×K)未満のNを選択するようにしてもよい。これにより、本実施形態によれば、ステアリング係数の演算量を従来より低減することができる。
次に、音響信号処理装置1の処理手順例を説明する。
図7は、本実施形態に係る音響信号処理装置1の処理のフローチャートである。
(ステップS2)係数算出部104は、音響信号生成部108が生成した音響信号に対して、操作結果に基づいて、テーブル記憶部103が記憶する値(exp(inθk)のテーブル)を用いて、ステアリング係数を算出する。続けて、係数算出部104は、算出したステアリング係数を係数記憶部102に記憶させる。
(ステップS4)収録信号算出部106は、取得した音響信号に対して、係数記憶部102が記憶するステアリング係数を用いて、マイクロホン3が受音する収録波形を算出する。
Claims (6)
- 音源とマイクロホンのうち少なくとも1つが移動する際、前記マイクロホンが受音する信号波形を算出する音響信号処理装置であって、
m(mは1からMの間の整数、Mは音源信号長)番目の離散時間で発した音源信号の振幅が、k(kは1からKの間の整数、Kは収録信号長)番目の離散時間に前記マイクロホンによって受音される信号の振幅へどの程度伝わるかを表したステアリング係数gk,mを、N(Nは1以上の整数)次のフーリエ級数展開でモデル化する係数算出部と、
モデル化された前記ステアリング係数gk,mを用いて前記マイクロホンが受音する信号波形を算出する収録信号算出部と、
を備える音響信号処理装置。 - 前記収録信号算出部は、
K行(2N+1)列の前記フーリエ基底関数の行列に、(2N+1)行M列の前記フーリエ係数の行列を乗じることで、前記ステアリング係数g k,m を成分とするK行M列の行列を算出する、請求項2に記載の音響信号処理装置。 - 前記収録信号算出部は、
(M+K)(2N+1)が(M×K)未満のNを選択する、請求項2または請求項3に
記載の音響信号処理装置。 - 音源とマイクロホンのうち少なくとも1つが移動する際、前記マイクロホンが受音する信号波形を算出する音響信号処理方法であって、
係数算出部が、m(mは1からMの間の整数、Mは音源信号長)番目の離散時間で発した音源信号の振幅が、k(kは1からKの間の整数、Kは収録信号長)番目の離散時間に前記マイクロホンによって受音される信号の振幅へどの程度伝わるかを表したステアリング係数gk,mを、N(Nは1以上の整数)次のフーリエ級数展開でモデル化する係数算出手順と、
収録信号算出部が、モデル化された前記ステアリング係数gk,mを用いて前記マイクロホンが受音する信号波形を算出する収録信号算出手順と、
を含む音響信号処理方法。 - 音源とマイクロホンのうち少なくとも1つが移動する際、前記マイクロホンが受音する信号波形を算出する音響信号処理装置のコンピュータに、
m(mは1からMの間の整数、Mは音源信号長)番目の離散時間で発した音源信号の振幅が、k(kは1からKの間の整数、Kは収録信号長)番目の離散時間に前記マイクロホンによって受音される信号の振幅へどの程度伝わるかを表したステアリング係数gk,mを、N(Nは1以上の整数)次のフーリエ級数展開でモデル化する係数算出手順と、
モデル化された前記ステアリング係数gk,mを用いて前記マイクロホンが受音する信号波形を算出する収録信号算出手順と、
を実行させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019048406A JP7204545B2 (ja) | 2019-03-15 | 2019-03-15 | 音響信号処理装置、音響信号処理方法、およびプログラム |
| US16/810,288 US11594238B2 (en) | 2019-03-15 | 2020-03-05 | Acoustic signal processing device, acoustic signal processing method, and program for determining a steering coefficient which depends on angle between sound source and microphone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019048406A JP7204545B2 (ja) | 2019-03-15 | 2019-03-15 | 音響信号処理装置、音響信号処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020150492A JP2020150492A (ja) | 2020-09-17 |
| JP7204545B2 true JP7204545B2 (ja) | 2023-01-16 |
Family
ID=72423501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019048406A Active JP7204545B2 (ja) | 2019-03-15 | 2019-03-15 | 音響信号処理装置、音響信号処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11594238B2 (ja) |
| JP (1) | JP7204545B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141593A (ja) | 2006-12-04 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 音声収音装置、その方法、そのプログラム、およびその記録媒体 |
| US20110019835A1 (en) | 2007-11-21 | 2011-01-27 | Nuance Communications, Inc. | Speaker Localization |
| US20150085615A1 (en) | 2013-09-25 | 2015-03-26 | Lenovo (Singapore) Pte, Ltd. | Motion modified steering vector |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010171785A (ja) | 2009-01-23 | 2010-08-05 | National Institute Of Information & Communication Technology | 頭部伝達関数補間用係数算出装置、音像定位装置、頭部伝達関数補間用係数算出方法、及びプログラム |
| EP2448289A1 (en) | 2010-10-28 | 2012-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for deriving a directional information and computer program product |
| JP5952692B2 (ja) | 2012-09-13 | 2016-07-13 | 本田技研工業株式会社 | 音源方向推定装置、音響処理システム、音源方向推定方法、及び音源方向推定プログラム |
| US9955277B1 (en) * | 2012-09-26 | 2018-04-24 | Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) | Spatial sound characterization apparatuses, methods and systems |
| EP2738962A1 (en) * | 2012-11-29 | 2014-06-04 | Thomson Licensing | Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field |
| JP2016122430A (ja) | 2014-12-25 | 2016-07-07 | 学校法人早稲田大学 | 画像フィルタ演算装置及びガウシアン・カーネル演算装置並びにプログラム |
| JP6750203B2 (ja) | 2015-10-20 | 2020-09-02 | 富士通株式会社 | 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 |
| JP6700712B2 (ja) | 2015-10-21 | 2020-05-27 | キヤノン株式会社 | 畳み込み演算装置 |
-
2019
- 2019-03-15 JP JP2019048406A patent/JP7204545B2/ja active Active
-
2020
- 2020-03-05 US US16/810,288 patent/US11594238B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141593A (ja) | 2006-12-04 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 音声収音装置、その方法、そのプログラム、およびその記録媒体 |
| US20110019835A1 (en) | 2007-11-21 | 2011-01-27 | Nuance Communications, Inc. | Speaker Localization |
| US20150085615A1 (en) | 2013-09-25 | 2015-03-26 | Lenovo (Singapore) Pte, Ltd. | Motion modified steering vector |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020150492A (ja) | 2020-09-17 |
| US11594238B2 (en) | 2023-02-28 |
| US20200294520A1 (en) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7235534B6 (ja) | マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム | |
| US10674261B2 (en) | Transfer function generation apparatus, transfer function generation method, and program | |
| JP7271244B2 (ja) | Cnn処理装置、cnn処理方法、およびプログラム | |
| EP4147230B1 (en) | System and method for data augmentation for multi-microphone signal processing | |
| JP7207539B2 (ja) | 学習データ拡張装置、学習データ拡張方法、およびプログラム | |
| JPH02290527A (ja) | 振動制御システム | |
| JP7204545B2 (ja) | 音響信号処理装置、音響信号処理方法、およびプログラム | |
| JP7109071B2 (ja) | 学習装置、学習方法、音声合成装置、音声合成方法及びプログラム | |
| US10966024B2 (en) | Sound source localization device, sound source localization method, and program | |
| JP2018077139A (ja) | 音場推定装置、音場推定方法、プログラム | |
| JP5986966B2 (ja) | 音場収音再生装置、方法及びプログラム | |
| JP7267043B2 (ja) | 音響信号処理装置、音響信号処理方法、およびプログラム | |
| JP4313803B2 (ja) | 行列における数値分解方法 | |
| WO2022180741A1 (ja) | 音響信号強調装置、方法及びプログラム | |
| JP4531738B2 (ja) | 行列における数値分解方法 | |
| JP2008060635A (ja) | ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
| US11309979B2 (en) | Adaptive identification system, adaptive identification device, and adaptive identification method | |
| JP7776016B2 (ja) | 信号処理装置、信号処理方法、プログラム | |
| JP6087850B2 (ja) | 音響伝達特性測定装置、音響伝達特性測定方法、プログラム | |
| Lohmann et al. | Vector quantization of frequency response functions | |
| JPH03124112A (ja) | 固定ラグスムーザ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7204545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |














