WO2024252597A1 - マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム - Google Patents

マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム Download PDF

Info

Publication number
WO2024252597A1
WO2024252597A1 PCT/JP2023/021257 JP2023021257W WO2024252597A1 WO 2024252597 A1 WO2024252597 A1 WO 2024252597A1 JP 2023021257 W JP2023021257 W JP 2023021257W WO 2024252597 A1 WO2024252597 A1 WO 2024252597A1
Authority
WO
WIPO (PCT)
Prior art keywords
directivity
directivity control
directional characteristic
processing unit
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021257
Other languages
English (en)
French (fr)
Inventor
健太 今泉
公孝 堤
真二 深津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025525559A priority Critical patent/JPWO2024252597A1/ja
Priority to PCT/JP2023/021257 priority patent/WO2024252597A1/ja
Publication of WO2024252597A1 publication Critical patent/WO2024252597A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers

Definitions

  • One aspect of the present invention relates to a microphone array directivity control device, a directivity control method, and a program.
  • Non-Patent Document 1 proposes a technology for arbitrarily setting desired directional characteristics for a microphone array.
  • a beamformer is designed in which the generated directional characteristic has a directional characteristic in a direction other than the target direction, called a side lobe. As a result, it is not possible to pick up sound in the target direction with high directivity.
  • the objective of this invention is to provide a technology that generates an output acoustic signal that is highly directional and controlled from an input acoustic signal input from a microphone array, so that the sound in the desired target direction is highly directional.
  • the directivity control device has a directional characteristic determination processing unit that determines a desired directional characteristic from a desired sound pickup direction, a directional characteristic correction processing unit that corrects the desired directional characteristic using spherical harmonic function expansion, a directional control filter design processing unit that designs a directional control filter corresponding to each microphone based on the corrected desired directional characteristic, and a convolution calculation processing unit that performs a convolution calculation of the audio signal and the directional control filter to generate an output audio signal whose directivity is controlled to the desired directional characteristic.
  • One aspect of the present invention is a directivity control method for controlling the directivity of an input audio signal input from a microphone array having multiple microphones.
  • the directivity control method includes the steps of determining a desired directional characteristic from a desired sound pickup direction, correcting the desired directional characteristic using spherical harmonic function expansion, designing a directional control filter corresponding to each microphone based on the corrected desired directional characteristic, and performing a convolution operation of the audio signal and the directional control filter to generate an output audio signal whose directivity is controlled to the desired directional characteristic.
  • One aspect of the present invention is a directivity control program that controls the directivity of an input sound signal input from a microphone array having multiple microphones.
  • the directivity control program causes a computer having a processor and a storage device to execute at least some of the functions of the processing performed by each processing unit of the above-mentioned directivity control device.
  • a technology can be provided that generates an output audio signal in which sound from a desired target direction is controlled with high directivity from an input audio signal input from a microphone array.
  • FIG. 1 is a diagram showing an example of the configuration of a sound collection system including a directivity control device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of the directivity control device shown in FIG.
  • FIG. 3 is a block diagram showing an example of a software configuration of the directivity control device shown in FIG.
  • FIG. 4 is a flowchart showing an example of a processing procedure and processing contents performed by the directivity control device shown in FIG.
  • FIG. 5 is a diagram showing an example of an observation system for explaining a design method of a filter for directivity control using the least squares method.
  • FIG. 6 is a diagram showing a polar coordinate system.
  • FIG. 7 is a diagram showing spherical harmonics up to the third order.
  • FIG. 1 is a diagram showing the overall configuration of a sound collection system including a directivity control device according to an embodiment of the present invention.
  • the sound collection system includes a microphone array MC, a directivity control device 1, and an input/output device 2 connected to the directivity control device 1.
  • the microphone array MC has a plurality of microphones MC 1 to MC M.
  • the microphones MC 1 to MC M are arranged at equal intervals on the same circumference.
  • the microphones MC 1 to MC M are arranged so that their respective sound collection directions are oriented radially.
  • the microphones MC 1 to MC M of the microphone array MC convert sounds input from their respective sound collection directions into electrical signals, and output them to the directivity control device 1 as input acoustic signals IS 1 to IS M.
  • the directivity control device 1 is a device that generates an output audio signal OS in which sound in a desired target direction is controlled with high directivity by performing a convolution operation between an input audio signal IS input from each microphone MC1 to MCM of a microphone array MC and a directivity control filter corresponding to each microphone.
  • Directivity control device 1 2 and 3 are block diagrams showing the hardware and software configurations, respectively, of the directivity control device 1. As shown in FIG.
  • the directional control device 1 includes a control unit 10 that uses a hardware processor such as a central processing unit (CPU).
  • a storage unit having a program storage unit 20 and a data storage unit 30, an input/output interface (hereinafter, the interface will be referred to as an I/F) 40 to which an input/output device 2 is connected, and an acoustic signal I/F 50 are connected to the control unit 10 via a bus 60.
  • the acoustic signal I/F 50 is used to receive input acoustic signals IS (IS 1 to IS M ) output by each microphone MC 1 to MC M of the microphone array MC, and to output an output acoustic signal OS in which sound in a desired target direction is controlled with high directivity.
  • the program storage unit 20 is configured, for example, by combining a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) as a storage medium that can be written to and read from at any time, and a non-volatile memory such as a ROM (Read Only Memory), and stores middleware such as an OS (Operating System) as well as programs necessary to execute various control processes according to one embodiment.
  • a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) as a storage medium that can be written to and read from at any time
  • a non-volatile memory such as a ROM (Read Only Memory)
  • middleware such as an OS (Operating System)
  • OS Operating System
  • the data storage unit 30 is, for example, a combination of a non-volatile memory such as an HDD or SSD, which can be written to and read from at any time, and a volatile memory such as a RAM (Random Access Memory), as a storage medium, and includes a directional characteristic storage unit 31 and a filter storage unit 32 as the main storage units required to implement one embodiment.
  • a non-volatile memory such as an HDD or SSD
  • a volatile memory such as a RAM (Random Access Memory)
  • RAM Random Access Memory
  • the directional characteristic memory unit 31 is used to store the desired directional characteristic determined by the control unit 10.
  • the filter memory unit 32 is used to store the directional control filter calculated by the control unit 10.
  • the control unit 10 includes, as processing functions necessary to implement one embodiment, a directional characteristic determination processing unit 11, a directional characteristic correction processing unit 12, a directivity control filter design processing unit 13, and a convolution calculation processing unit 14. All of these processing units 11 to 14 are realized by causing the hardware processor of the control unit 10 to execute a program stored in the program storage unit 20.
  • the directional characteristic determination processing unit 11 receives the sound pickup direction signal DS, which indicates the desired sound pickup direction, input from the input/output device 2 via the input/output I/F 40, determines the directional characteristic of the microphone array MC, and stores the determined desired directional characteristic in the directional characteristic storage unit 31.
  • the directional characteristic correction processing unit 12 performs a process to correct the desired directional characteristic determined by the directional characteristic determination processing unit 11 using spherical harmonic function expansion by t-design.
  • the directivity control filter design processing unit 13 performs processing to design a directivity control filter based on the desired directivity corrected by the directivity correction processing unit 12, and stores the directivity control filter calculated by this processing in the filter storage unit 32.
  • the convolution calculation processing unit 14 performs a convolution calculation between the input acoustic signal IS (IS 1 to IS M ) input via the acoustic signal I/F 50 and the directivity control filter stored in the filter memory unit 32, and generates an output acoustic signal OS in which sound in the desired target direction is controlled with high directivity.
  • control points are placed around a microphone array in which multiple microphones are lined up, and a directional control filter is designed based on the characteristics of transmission from the microphones to the control points. For example, multiple microphones are placed at equal intervals on the same circumference.
  • the directional control filter is a filter that controls the direction in which each microphone picks up sound or the direction in which it does not pick up sound.
  • a typical method for designing a directional control filter is to use the least squares method.
  • Figure 5 shows an example of an observation system to explain the design method for a directional characteristic filter using the least squares method.
  • M (1 ⁇ m ⁇ M) indicates the number of microphones
  • Q (1 ⁇ q ⁇ Q) indicates the number of control points.
  • W m ( ⁇ ) is a filter corresponding to the m-th microphone
  • G qm ( ⁇ ) is a transfer function from the m-th microphone MC m to the q-th control point CP q .
  • G( ⁇ ) is a transfer function matrix of Q rows and M columns that stores the transfer functions G qm ( ⁇ ) from each microphone MC 1 to MC M to each control point CP 1 to CP Q.
  • the transfer function G qm ( ⁇ ) is given by the following equation.
  • w m ( ⁇ ) represents the filter coefficient corresponding to the m-th microphone.
  • the superscript * represents the complex conjugate. If the filter gain is large, the input signal also becomes larger proportionally, and the noise mixed in the picked-up signal is amplified, causing a decrease in performance. In response to this, there is a method of deriving a filter that controls directivity by using a penalty term, which will be described later, for the objective function that derives the filter. In this case, the sum of squares of the filter coefficients is used as the penalty term to suppress the filter gain.
  • ⁇ ( ⁇ ) is a regularization parameter that controls the relative weight between the loss term
  • W( ⁇ ) is obtained by solving the minimization problem for w( ⁇ ).
  • I is a unit matrix with M rows and M columns, and M is the number of microphones.
  • a representative method of directional control is a method of minimizing the error between the desired directional characteristic and the reproduced directional characteristic.
  • the target direction is often set to 1 and other directions to 0, but since this is a directional characteristic that is difficult to reproduce and this method aims to minimize the overall directional characteristic, it is difficult to control the shape of the side lobe.
  • the desired directional characteristic is replaced with a window function to suppress side lobes, which are directional characteristics in directions other than the target direction. Because a window function is set as the desired directional characteristic, the beam width of the directional characteristic in the target direction becomes wider, but it has been confirmed that the side lobes can be suppressed.
  • Y n,m ( ⁇ , ⁇ ) is a spherical harmonic function
  • a n,m ( ⁇ ) is its expansion coefficient, which is defined by the following equation.
  • Equation (12) is called the spherical harmonic expansion.
  • Y n,m ( ⁇ , ⁇ ) * is the complex conjugate of the spherical harmonic function.
  • the spherical harmonic expansion coefficients can be derived using control points spaced equally ( ⁇ , ⁇ ) using the following formula, which is an approximation of formula (10).
  • ⁇ q is a correction coefficient.
  • Equation (12) when expressing the integral as a discrete sum, approximation is introduced, so accurate expansion coefficients cannot be obtained.
  • Fig. 4 is a flowchart showing the processing procedure and processing contents of the directivity control of the microphone array MC executed by the directivity control device 1.
  • a filter is designed to realize desired directivity reproduction by solving the approximate gradient method with the sum of squares of the error between the desired directional characteristic corrected using the spherical harmonic function expansion of t-design and the reproduced directional characteristic as the target function, and an indicator function such that the filter coefficient falls within an arbitrary range.
  • (5-1) Determination of Desired Directivity
  • a system administrator or a user inputs a desired sound collection direction to be reproduced in the microphone array MC to the input/output device 2.
  • the input/output device 2 generates a sound collection direction signal DS representing the desired sound collection direction and sends it to the directivity control device 1.
  • the control unit 10 of the directivity control device 1 receives the sound collection direction signal DS from the input/output device 2 via the input/output I/F 40, and determines a desired directional characteristic from the sound collection direction signal DS under the control of the directional characteristic determination processing unit 11 in step S11.
  • the desired directional characteristic corresponds to a signal observed at a control point CP q arranged by t-design.
  • the control unit 10 of the directivity control device 1 stores the desired directional characteristic determined by the directional characteristic determination processing unit 11 in the directional characteristic storage unit 31.
  • step S12 the directional characteristic correction processing unit 12 reads the desired directional characteristic from the directional characteristic storage unit 31 and corrects the desired directional characteristic. For this reason, the directional characteristic correction processing unit 12 calculates spherical harmonic expansion coefficients A n,m for the input directional characteristic using the maximum order N max according to the following formula. N max is uniquely determined at the time of designing t-design.
  • step S13 the control unit 10 of the directivity control device 1 calculates a filter for directivity control by solving an optimization problem of the objective function expressed by equation (3) under the objective function set based on the desired directional characteristic corrected by the directional characteristic correction processing unit 12 and the range constraint of the microphone gain under the control of the directivity control filter design processing unit 13.
  • the optimization problem is defined as follows.
  • ⁇ is the update rate and prox represents the proximity operator.
  • the update formula for the resulting algorithm is expressed as follows:
  • k is the number of updates
  • Tmax is the maximum number of updates
  • the algorithm stops when the number of updates k exceeds the maximum number of updates Tmax .
  • the control unit 10 of the directivity control device 1 stores the directivity control filter calculated by the directivity control filter design processing unit 13 in the filter storage unit 32.
  • control unit 10 of the directivity control device 1 executes the process of directivity control of the microphone array MC as follows.
  • the control unit 10 of the directivity control device 1 receives the input acoustic signal IS from the microphone array MC via the acoustic signal I/F 50. At this time, if the input acoustic signal IS is an analog signal, it is converted into a digital signal by the acoustic signal I/F 50.
  • the control unit 10 of the directivity control device 1 performs a convolution calculation between the input acoustic signal IS received by the acoustic signal I/F 50 and the directivity control filter stored in the filter storage unit 32. As a result, an acoustic signal is generated in which sound in the desired target direction is controlled with high directivity. The generated acoustic signal is converted into an analog signal by the acoustic signal I/F 50 and then output as the output acoustic signal OS.
  • the directivity control device 1 is a device that generates an output audio signal OS in which sound in a desired target direction is controlled with high directivity by performing a convolution operation between the input audio signals IS1 to ISM input from each microphone MC1 to MCM of the microphone array MC and a directivity control filter corresponding to each microphone.
  • the directional characteristic determination processing unit 11 determines the desired directional characteristic from the input sound pickup direction.
  • the desired directional characteristic is corrected using spherical harmonic expansion by t-design.
  • the directivity control filter design processing unit 13 designs a directivity control filter that achieves the desired directivity reproduction by solving the proximity gradient method with an indicator function that causes the filter coefficients to fall within a given range as the target function.
  • the convolution calculation processing unit 14 performs a convolution calculation between the input sound signal IS and the calculated directivity control filter to generate an output sound signal in which the sound in the desired target direction is controlled with high directivity.
  • the present invention is not limited to the above embodiment.
  • the directional characteristic correction process, the directional control filter design process, and the convolution calculation process executed by the directivity control device 1 are all realized by having a hardware processor (CPU) execute a program.
  • CPU hardware processor
  • some or all of these functions may be realized by using an integrated circuit configured for a specific application, such as an ASIC (Application Specific Integrated Circuit) or a DMC (Digital Signal Processor).
  • this invention is not limited to the above-described embodiment as it is, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention.
  • various inventions can be formed by appropriately combining multiple components disclosed in the above-described embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components from different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本発明の一態様は、複数のマイクロホンを有するマイクロホンアレイから入力される音響信号の指向性を制御する指向性制御装置である。指向性制御装置は、所望の収音方向から所望の指向特性を決定する指向特性決定処理部と、所望の指向特性を、球面調和関数展開を用いて補正する指向特性補正処理部と、補正された所望の指向特性を基に、各マイクロホンに対応する指向性制御のフィルタを設計する指向性制御フィルタ設計処理部と、入力音響信号と指向性制御のフィルタの畳み込み演算を行い、指向性が所望の指向特性に制御された出力音響信号を生成する畳み込み演算処理部とを有する。

Description

マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム
　この発明の一態様は、マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラムに関する。
　近年、スピーカやヘッドホンを用いて音の伝播方向や大きさを制御・再現する再生方式が広まっている。また、パブリックビューイングや家庭などの空間を対象とした音響再生技術の研究が行われており、特に受聴者を囲うように配置した複数のスピーカにより所望の空間の音場を再現するといったことが行われている。このように、ある空間の音場を再現するには、再現対象となる空間の音響情報を取得する必要がある。
　一般的に、任意の音場の空間的な情報を得るには、３次元的に音場を収音する必要があるため、３次元的に配置されたマイクロホンから構成される収音機材により３次元空間の音場を効率的に収音することが求められる。すなわち、マイクロホンアレイに所望の指向特性を任意に付与する技術が求められる。
Sato, Koya, and Yoichi Haneda. "Directivity control of a finite cylindrical loudspeaker array based on circular harmonics and longitudinal multipole expression." Acoustical Science and Technology 40.2 (2019): 93-104.
　非特許文献１は、マイクロホンアレイに所望の指向特性を任意に設定する技術を提案している。しかし、所望の指向特性として再現が難しい指向特性を設定した場合、生成される指向特性がサイドローブと呼ばれる目標方向以外への指向特性を有するビームフォーマが設計されてしまう。このため、目標方向の音を高い指向性で収音することができない。
　この発明の目的は、マイクロホンアレイから入力される入力音響信号から、所望の目標方向の音が高い指向性で制御された出力音響信号を生成する技術を提供することにある。
　本発明の一態様は、複数のマイクロホンを有するマイクロホンアレイから入力される入力音響信号の指向性を制御する指向性制御装置である。指向性制御装置は、所望の収音方向から所望の指向特性を決定する指向特性決定処理部と、所望の指向特性を、球面調和関数展開を用いて補正する指向特性補正処理部と、補正された所望の指向特性を基に、各マイクロホンに対応する指向性制御のフィルタを設計する指向性制御フィルタ設計処理部と、音響信号と指向性制御のフィルタの畳み込み演算を行い、指向性が所望の指向特性に制御された出力音響信号を生成する畳み込み演算処理部とを有する。
　本発明の一態様は、複数のマイクロホンを有するマイクロホンアレイから入力される入力音響信号の指向性を制御する指向性制御方法である。指向性制御方法は、所望の収音方向から所望の指向特性を決定するステップと、所望の指向特性を、球面調和関数展開を用いて補正するステップと、補正された所望の指向特性を基に、各マイクロホンに対応する指向性制御のフィルタを設計するステップと、音響信号と指向性制御のフィルタの畳み込み演算を行い、指向性が所望の指向特性に制御された出力音響信号を生成するステップとを有する。
　本発明の一態様は、複数のマイクロホンを有するマイクロホンアレイから入力される入力音響信号の指向性を制御する指向性制御プログラムである。指向性制御プログラムは、プロセッサと記憶装置を有するコンピュータに、上記の指向性制御装置が備える各処理部による処理の少なくとも一部の機能を実行させる。
　この発明の一態様によれば、マイクロホンアレイから入力される入力音響信号から、所望の目標方向の音が高い指向性で制御された出力音響信号を生成する技術を提供することができる。
図１は、この発明の一実施形態に係る指向性制御装置を含む収音システムの構成の一例を示す図である。 図２は、図１に示した指向性制御装置のハードウェア構成の一例を示すブロック図である。 図３は、図１に示した指向性制御装置のソフトウェア構成の一例を示すブロック図である。 図４は、図３に示した指向性制御装置による処理手順と処理内容の一例を示すフローチャートである。 図５は、最小二乗法を用いた指向性制御のフィルタの設計手法を説明するための観測系の一例を示す図である。 図６は、極座標系を示す図である。 図７は、３次までの球面調和関数を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
　（１）システム
　図１は、この発明の一実施形態に係る指向性制御装置を含む収音システムの全体構成を示す図である。
　一実施形態に係る収音システムは、マイクロホンアレイＭＣと、指向性制御装置１と、指向性制御装置１に接続される入出力装置２とを備える。
　マイクロホンアレイＭＣは、複数のマイクロホンＭＣ１～ＭＣＭを有する。例えば、マイクロホンＭＣ１～ＭＣＭは、同一円周上に等間隔に配置されている。マイクロホンＭＣ１～ＭＣＭは、それぞれの収音方向を放射状に向けて配置されている。
　マイクロホンアレイＭＣのマイクロホンＭＣ１～ＭＣＭは、それぞれの収音方向から入力される音を電気信号に変換し、入力音響信号ＩＳ１～ＩＳＭとして指向性制御装置１へ出力する。
　入出力装置２は、例えばシステム管理者またはユーザが使用するパーソナルコンピュータまたはスマートフォン等の携帯端末からなり、指向性制御装置１に対して、所望の指向特性の情報を入力するために使用される。なお、入出力装置２は例えばテレビジョンのリモコンやカーナビゲーション装置の操作パネルであってもよく、また入出力装置２と指向性制御装置１との間の接続手段は有線ケーブル以外にBluetooth（登録商標）やWiFi（登録商標）、移動通信ネットワークなどの無線インタフェースであってもよい。
　指向性制御装置１は、マイクロホンアレイＭＣの各マイクロホンＭＣ１～ＭＣＭから入力される入力音響信号ＩＳと、各マイクロホンに対応する指向性制御のフィルタとの畳み込み演算を行うことにより、所望の目標方向の音が高い指向性で制御された出力音響信号ＯＳを生成する装置である。
　（２）指向性制御装置１
　図２および図３は、それぞれ、指向性制御装置１のハードウェア構成およびソフトウェア構成を示すブロック図である。
　指向性制御装置１は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１０を備える。この制御部１０に対して、バス６０を介して、プログラム記憶部２０およびデータ記憶部３０を有する記憶ユニットと、入出力装置２が接続される入出力インタフェース（以後インタフェースをＩ／Ｆと呼ぶ）４０と、音響信号Ｉ／Ｆ５０とを接続したものとなっている。
　音響信号Ｉ／Ｆ５０は、マイクロホンアレイＭＣの各マイクロホンＭＣ１～ＭＣＭが出力する入力音響信号ＩＳ（ＩＳ１～ＩＳＭ）を受け取ると共に、所望の目標方向の音が高い指向性で制御された出力音響信号ＯＳを出力するために使用される。
　プログラム記憶部２０は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。
　データ記憶部３０は、例えば、記憶媒体として、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、指向特性記憶部３１と、フィルタ記憶部３２とを備えている。
　指向特性記憶部３１は、制御部１０により決定される所望の指向特性を記憶するために使用される。フィルタ記憶部３２は、制御部１０により算出される指向性制御のフィルタを記憶するために使用される。
　制御部１０は、一実施形態を実施するために必要な処理機能として、指向特性決定処理部１１と、指向特性補正処理部１２と、指向性制御フィルタ設計処理部１３と、畳み込み演算処理部１４とを備える。これらの処理部１１～１４は、何れもプログラム記憶部２０に格納されたプログラムを制御部１０のハードウェアプロセッサに実行させることにより実現される。
　指向特性決定処理部１１は、入出力装置２から入力される所望の収音方向を表す収音方向信号ＤＳを入出力Ｉ／Ｆ４０を介して受信し、マイクロホンアレイＭＣの指向特性を決定し、決定した所望の指向特性を指向特性記憶部３１に記憶させる処理を行う。
　指向特性補正処理部１２は、指向特性決定処理部１１により決定された所望の指向特性を、ｔ－ｄｅｓｉｇｎによる球面調和関数展開を用いて補正する処理を行う。
　指向性制御フィルタ設計処理部１３は、指向特性補正処理部１２により補正された所望の指向特性を基に、指向性制御のフィルタを設計する処理を行い、この処理により算出される指向性制御のフィルタをフィルタ記憶部３２に記憶させる。
　畳み込み演算処理部１４は、音響信号Ｉ／Ｆ５０を介して入力される入力音響信号ＩＳ（ＩＳ１～ＩＳＭ）と、フィルタ記憶部３２に記憶された指向性制御のフィルタとの畳み込み演算を行い、所望の目標方向の音が高い指向性で制御された出力音響信号ＯＳを生成する。
　（動作例）
　以下では、指向性制御装置１により実行される指向性制御の基礎となる技術について、まず、指向特性技術、罰則項によるフィルタゲイン抑圧、サイドローブを抑圧した指向特性の設計について説明する。
　（１）指向特性技術
　指向特性技術では、複数のマイクロホンを並べたマイクロホンアレイの周囲に制御点を配置し、マイクロホンから制御点までの伝達の特性を基に、指向性制御のフィルタを設計する。例えば、複数のマイクロホンは、同一円周上に等間隔で配置される。指向性制御のフィルタは、各マイクロホンが音を収音する方向または音を収音しない方向を制御するためのフィルタである。
　指向性制御のフィルタを設計するための代表的な手法として、最小二乗法を用いた手法がある。図５は、最小二乗法を用いた指向特性のフィルタの設計手法を説明するための観測系の一例を示す図である。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｍ（１≦ｍ≦Ｍ）はマイクロホン数を示し、Ｑ（１≦ｑ≦Ｑ）は制御点数を示す。また、ωは角周波数（ω＝２πｆ）、ｆは周波数を表す。Ｗｍ（ω）は、ｍ番目のマイクロホンに対応するフィルタ、Ｇｑｍ（ω）は、ｍ番目のマイクロホンＭＣｍからｑ番目の制御点ＣＰｑまでの伝達関数である。Ｇ（ω）は、各マイクロホンＭＣ１～ＭＣＭから各制御点ＣＰ１～ＣＰＱまでの伝達関数Ｇｑｍ（ω）を格納したＱ行Ｍ列の伝達関数行列である。伝達関数Ｇｑｍ（ω）は以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、上付き添字Hは複素共役転置を表す。ｗ（ω）に対して、式（３）で表される目的関数Ｊを最小化する問題を解くことで、以下の指向性制御のフィルタが求まる。
Figure JPOXMLDOC01-appb-M000004
　（２）罰則項によるフィルタゲイン抑圧
　指向性を制御するフィルタを設計する際に、フィルタからの出力音源に影響を与えるフィルタゲインが含まれた形でフィルタが算出される。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｗｍ（ω）は、ｍ番目のマイクロホンに対応するフィルタ係数を表す。また、上付きの＊は複素共役を表す。フィルタゲインが大きいと、入力信号も比例して大きくなり、収音した信号に混入したノイズが増幅してしまい性能低下の原因となる。それに対して、フィルタを導出する目的関数に対して後述する罰則項を用いて、指向性を制御するフィルタを導出する手法がある。この際、フィルタゲインを抑圧するために、フィルタ係数の二乗和を罰則項として用いている。
　最小二乗法による指向性制御のフィルタを例に、罰則項が用いられた際の指向性制御のフィルタを考える。式（３）の目的関数に罰則項を用いると、以下となる。
Figure JPOXMLDOC01-appb-M000006
　ここで、β（ω）は正則化パラメータであり、損失項である||ｅ||2と、罰則項である||Ｗ（ω）||2との相対的な重みを制御するパラメータである。式（４）と同様に、ｗ（ω）に関する最小化問題を解くことで、以下の指向性制御のフィルタＷ（ω）が求まる。
Figure JPOXMLDOC01-appb-M000007
　ここで、ＩはＭ行Ｍ列の単位行列であり、Ｍはマイクロホン数を示す。
　（３）サイドローブを抑圧した指向特性の設計
　マイクロホンアレイあるいはスピーカアレイを用いた指向性制御における課題の一つとして、所望の方向以外への指向特性が生じるサイドローブがある。サイドローブが生じる要因の一つとして、再現するのが難しい所望の特性を設定することがあげられる。指向性制御の代表的な手法として、所望の指向特性と再現される指向特性の誤差を最小化する手法がある。所望の指向特性として目標方向を１、それ以外の方向を０と設定されることが多いが、再現するのが困難な指向特性であり、また全体の最小化を目標とする手法であるため、サイドローブの形状等を制御することが困難である。
　非特許文献１に基づく方法では、最小二乗法を用いて指向性制御を行う際に、所望の指向特性を窓関数に置き換えることで、目標方向以外への指向特性であるサイドローブを抑圧している。所望の指向特性として窓関数を設定するため、目標の方向への指向特性のビーム幅は広くなるものの、サイドローブを抑圧できることが確認されている。
　（４）球面調和関数
　図６に定義される極座標系を考える。このとき、球面上の任意の点で観測される音圧Ｓ（ｒ，ω）は以下の式で表される。
Figure JPOXMLDOC01-appb-M000008
ここで、Ｙｎ，ｍ（θ，φ）は球面調和関数、Ａｎ，ｍ（ω）はその展開係数であり、以下の式で定義される。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　ここで、Ｐｎ，ｍ（・）はルジャンドル陪関数であり、式（１２）は球面調和関数展開と呼ばれる。また、Ｙｎ，ｍ（θ，φ）＊は球面調和関数の複素共役である。最大次数をＮとしたとき、次数ｎと位数ｍはそれぞれ０≦ｎ≦Ｎ，－ｎ≦ｍ≦ｎの値となる。また、次数が大きいほど複雑な形状の音場を表現することが可能である。図７にＮ＝３までの球面調和関数を示す。
　一般的に、（θ，φ）を等間隔で配置した制御点により球面調和関数展開係数を導出するには式（１０）を近似した以下の式で求められる。
Figure JPOXMLDOC01-appb-M000011
　ここで、αｑは補正係数である。式（１１）に示すように積分を離散和で表現する際に近似が入るため正確な展開係数を得ることができない。
　しかし、連続積分と離散和を一致させるため最適な制御点配置を導出する手法が知られている。この手法は、ｔ－ｄｅｓｉｇｎと呼ばれ、文献「Zotter, Franz, and Matthias Frank. Ambisonics: A practical 3D audio theory for recording, studio production, sound reinforcement, and virtual reality. Springer Nature, 2019.」に記されている。ｔ－ｄｅｓｉｇｎでは、式（１１）のような近似ではなく、正確に球面調和関数展開係数Ａｎ，ｍ（ω）を導出することができる。
　（５）この発明の一実施形態における指向性制御
　以下、指向性制御装置１により実行される収音指向性制御について説明する。図４は、指向性制御装置１により実行されるマイクロホンアレイＭＣの指向性制御の処理手順と処理内容を示すフローチャートである。ここでは、ｔ－ｄｅｓｉｇｎの球面調和関数展開を用いて補正した所望の指向特性と再現される指向特性との誤差の二乗和と、フィルタ係数が任意の範囲内に収まるような指示関数を目標関数とした近接勾配法を解くことで所望の指向性再生を実現するフィルタを設計する例について説明する。
　（５－１）所望の指向特性の決定
　システム管理者またはユーザは、マイクロホンアレイＭＣに再現したい所望の収音方向を入出力装置２に入力する。入出力装置２は、所望の収音方向を表す収音方向信号ＤＳを生成して指向性制御装置１に送る。
　指向性制御装置１の制御部１０は、入出力装置２から収音方向信号ＤＳを入出力Ｉ／Ｆ４０を介して取り込み、指向特性決定処理部１１の制御の下、ステップＳ１１において、収音方向信号ＤＳから所望の指向特性を決定する。所望の指向特性は、ｔ－ｄｅｓｉｇｎにより配置された制御点ＣＰｑにおいて観測される信号に対応する。指向性制御装置１の制御部１０は、指向特性決定処理部１１により決定された所望の指向特性を指向特性記憶部３１に記憶させる。
　（５－２）所望の指向特性の補正
　指向性制御装置１の制御部１０は、指向特性決定処理部１１により所望の指向特性が決定されると、続いて指向特性補正処理部１２の制御の下、ステップＳ１２において、指向特性補正処理部１２は、指向特性記憶部３１から所望の指向特性を読み込み、所望の指向特性を補正する。このため、指向特性補正処理部１２は、入力された指向特性に対して、最大次数Ｎｍａｘを用いて以下に示す式により球面調和関数展開係数Ａｎ，ｍを計算する。Ｎｍａｘはｔ－ｄｅｓｉｇｎの設計時に一意に求まる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　（５－３）指向性制御のフィルタの設計
　次に指向性制御装置１の制御部１０は、指向性制御フィルタ設計処理部１３の制御の下、ステップＳ１３において、指向特性補正処理部１２により補正された所望の指向特性により設定された目的関数、マイクロホンのゲインの範囲制約の下、式（３）で表される目的関数の最適化問題を解くことにより、指向性制御のフィルタを算出する。ここでは、以下のような最適化問題を定義する。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　式（１４）に対してｗに関する劣微分を求めることで、以下のアルゴリズムが得られる。
Figure JPOXMLDOC01-appb-M000016
　ここで、γは更新率であり、ｐｒｏｘは近接演算子を表す。得られたアルゴリズムの更新式は以下で表される。
Figure JPOXMLDOC01-appb-M000017
　ここで、ｋは更新回数、Ｔｍａｘは最大更新回数であり更新回数ｋが最大更新回数Ｔｍａｘを超えた時点でアルゴリズムが停止する。以上のアルゴリズムを用いることでフィルタゲインを任意の範囲に納めた指向性制御のフィルタを算出することができる。
　指向性制御装置１の制御部１０は、指向性制御フィルタ設計処理部１３により算出された指向性制御のフィルタをフィルタ記憶部３２に記憶させる。
　（５－４）入力音響信号とフィルタの畳み込み
　指向性制御のフィルタの算出および保存処理が終了すると、指向性制御装置１の制御部１０は、以後、マイクロホンアレイＭＣの指向性制御の処理を以下のように実行する。
　すなわち、指向性制御装置１の制御部１０は、マイクロホンアレイＭＣから入力音響信号ＩＳを音響信号Ｉ／Ｆ５０により受信する。このとき、入力音響信号ＩＳは、アナログ信号であれば音響信号Ｉ／Ｆ５０によりデジタル信号に変換される。続いて、指向性制御装置１の制御部１０は、畳み込み演算処理部１４の制御の下、ステップＳ１４において、音響信号Ｉ／Ｆ５０により受信された入力音響信号ＩＳと、フィルタ記憶部３２に記憶されている指向性制御のフィルタとの畳み込み演算を行う。これにより、所望の目標方向の音が高い指向性で制御された音響信号が生成される。生成された音響信号は、音響信号Ｉ／Ｆ５０によりアナログ信号に変換された後、出力音響信号ＯＳとして出力される。
　（効果）
　以上に述べたように、この発明の一実施形態に係る指向性制御装置１は、マイクロホンアレイＭＣの各マイクロホンＭＣ１～ＭＣＭから入力される入力音響信号ＩＳ１～ＩＳＭと、各マイクロホンに対応する指向性制御のフィルタとの畳み込み演算を行うことにより、所望の目標方向の音が高い指向性で制御された出力音響信号ＯＳを生成する装置である。
　指向特性決定処理部１１において、入力された収音方向から所望の指向特性を決定する。
　指向特性補正処理部１２において、所望の指向特性を、ｔ－ｄｅｓｉｇｎによる球面調和関数展開を用いて補正する。
　指向性制御フィルタ設計処理部１３において、フィルタ係数が任意の範囲内に収まるような指示関数を目標関数とした近接勾配法を解くことで、所望の指向性再生を実現する指向性制御のフィルタを設計する。
　畳み込み演算処理部１４において、入力される入力音響信号ＩＳと、算出された指向性制御のフィルタとの畳み込み演算を行うことにより、所望の目標方向の音が高い指向性で制御された出力音響信号を生成する。
　［他の実施形態］
　なお、この発明は上記実施形態に限定されるものではない。例えば、一実施形態では、指向性制御装置１により実行される指向特性補正処理、指向性制御フィルタ設計処理、および畳み込み演算処理を、すべてハードウェアプロセッサ（ＣＰＵ）にプログラムを実行させることで実現する場合を例にとって説明した。しかし、これらの機能の一部または全てを、ＡＳＩＣ（Application Specific Integrated Circuit）またはＤＭＣ（Digital Signal Processor）等の特定用途向けに構成された集積回路を用いて実現してもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＭＣ１～ＭＣＭ…マイクロホン
　ＣＰ１～ＣＰＱ…制御点
　１…指向性制御装置
　２…入力装置
　１０…制御部
　１１…指向特性決定処理部
　１２…指向特性補正処理部
　１３…指向性制御フィルタ設計処理部
　１４…畳み込み演算処理部
　２０…プログラム記憶部
　３０…データ記憶部
　３１…指向特性記憶部
　３２…フィルタ記憶部
　４０…入出力Ｉ／Ｆ
　５０…音響信号Ｉ／Ｆ

Claims (6)

  1. 　複数のマイクロホンを有するマイクロホンアレイから入力される入力音響信号の指向性を制御する指向性制御装置であって、
    　所望の収音方向から所望の指向特性を決定する指向特性決定処理部と、
    　前記所望の指向特性を、球面調和関数展開を用いて補正する指向特性補正処理部と、
    　補正された前記所望の指向特性を基に、各マイクロホンに対応する指向性制御のフィルタを設計する指向性制御フィルタ設計処理部と、
    　音響信号と前記指向性制御のフィルタの畳み込み演算を行い、前記指向性が前記所望の指向特性に制御された音響信号を生成する畳み込み演算処理部とを有する、
    　指向性制御装置。
  2. 　前記指向特性補正処理部は、前記所望の指向特性を、ｔ－ｄｅｓｉｇｎで設計された制御点による最大の次数の球面調和関数により球面調和関数の展開係数の導出を行い、得られた展開係数をもとに任意に指定した次数で指向特性を再構成することにより、前記所望の指向特性を補正する、
    　請求項１に記載の指向性制御装置。
  3. 　前記指向性制御フィルタ設計処理部は、前記所望の指向特性と再現される指向特性の誤差を最小化することにより前記フィルタを設計する、
    　請求項１に記載の指向性制御装置。
  4. 　前記指向性制御フィルタ設計処理部は、各マイクロホンのフィルタゲインが所定の範囲に収まるように前記フィルタを設計する、
    　請求項１に記載の指向性制御装置。
  5. 　複数のマイクロホンを有するマイクロホンアレイから入力される音響信号の指向性を制御する指向性制御方法であって、
    　所望の収音方向から所望の指向特性を決定するステップと、
    　前記所望の指向特性を、球面調和関数展開を用いて補正するステップと、
    　補正された前記所望の指向特性を基に、各マイクロホンに対応する指向性制御のフィルタを設計するステップと、
    　音響信号と前記指向性制御のフィルタの畳み込み演算を行い、前記指向性が前記所望の指向特性に制御された出力音響信号を生成するステップとを有する、
    　指向性制御方法。
  6. 　プロセッサと記憶装置を有するコンピュータに、
    　請求項１から４までのいずれかに記載の指向性制御装置が備える前記各処理部による処理の少なくとも一部を実行させる、
    　指向性制御プログラム。
PCT/JP2023/021257 2023-06-07 2023-06-07 マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム Ceased WO2024252597A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525559A JPWO2024252597A1 (ja) 2023-06-07 2023-06-07
PCT/JP2023/021257 WO2024252597A1 (ja) 2023-06-07 2023-06-07 マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021257 WO2024252597A1 (ja) 2023-06-07 2023-06-07 マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024252597A1 true WO2024252597A1 (ja) 2024-12-12

Family

ID=93795615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021257 Ceased WO2024252597A1 (ja) 2023-06-07 2023-06-07 マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252597A1 (ja)
WO (1) WO2024252597A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012523731A (ja) * 2009-04-09 2012-10-04 エヌティーエヌユー テクノロジー トランスファー エーエス センサーアレイに最適なモーダルビームフォーマ
JP2019075616A (ja) * 2017-10-12 2019-05-16 日本電信電話株式会社 音場収録装置及び音場収録方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012523731A (ja) * 2009-04-09 2012-10-04 エヌティーエヌユー テクノロジー トランスファー エーエス センサーアレイに最適なモーダルビームフォーマ
JP2019075616A (ja) * 2017-10-12 2019-05-16 日本電信電話株式会社 音場収録装置及び音場収録方法

Also Published As

Publication number Publication date
JPWO2024252597A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
CN110557710B (zh) 具有语音控制的低复杂度多声道智能扩音器
JP6968376B2 (ja) ステレオ仮想バス拡張
CN103037290B (zh) 音频处理装置以及音频处理方法
US20110286601A1 (en) Audio signal processing device and audio signal processing method
JP6893986B2 (ja) ブライトゾーンおよびダークゾーンに関して最適化された音声前置補償フィルタ
CN109196884A (zh) 声音再现系统
EP3651355B1 (en) Load box and sound quality improving method
JP2011010183A (ja) 楽曲再生システム、携帯端末装置および楽曲再生プログラム
WO2024037189A9 (zh) 声像校准方法和装置
JP2012169895A (ja) 多重極スピーカ群とその配置方法と、音響信号出力装置とその方法と、その方法を用いたアクティブノイズコントロール装置と音場再生装置と、それらの方法とプログラム
WO2024252597A1 (ja) マイクロホンアレイの指向性制御装置、指向性制御方法、およびプログラム
JP2016092562A (ja) 音声処理装置および方法、並びにプログラム
TWI501657B (zh) 電子音訊裝置
JP7616363B2 (ja) エリア再生システムとその再生制御装置、方法およびプログラム
JPWO2018167921A1 (ja) 信号処理装置
JP7803421B2 (ja) エリア再生のための再生制御装置、再生制御方法、およびプログラム
US11875774B2 (en) Sound image localization device, sound image localization method, and program
US20230336913A1 (en) Acoustic processing device, method, and program
US20250220349A1 (en) Tuning of multiband audio systems executing crosstalk cancellation
JP6699280B2 (ja) 音響再生装置
CN110740404A (zh) 一种音频相关性的处理方法及音频处理装置
JP7260821B2 (ja) 信号処理装置、信号処理方法および信号処理プログラム
RU2852710C2 (ru) Кластеризация аудиообъектов
JPH1051890A (ja) オーディオ信号伝送回路
CN120786223A (zh) 耳机透传控制方法、耳机和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940698

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525559

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE