JP4867579B2

JP4867579B2 - 遠隔会議装置

Info

Publication number: JP4867579B2
Application number: JP2006294683A
Authority: JP
Inventors: 田中　　良; 卓也田丸; 勝一刑部
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2005-11-02
Filing date: 2006-10-30
Publication date: 2012-02-01
Anticipated expiration: 2026-10-30
Also published as: JP2007151103A

Description

音声を位置情報と共に送信して、受信した音声とその音場を再現する遠隔会議装置に関する。

従来、送信側の音声を受信して、送信側の音声の音場を再現する遠隔会議装置が提案されている（特許文献１〜２参照。）。

特許文献１には、以下の装置が記載されている。マイクによって話者の音声をとらえ、マイクから得られる話者情報によって話者位置情報を形成し、この話者位置情報を音声情報と共に多重化して伝送させる。また、受信側では送られて来る話者位置情報により鳴動させるスピーカの位置を切り替え、話者の声と位置を受信側で再現する。

また、特許文献２では、複数のマイクアレイで受け取った音声情報を送信して、これと同数のスピーカアレイに出力することにより、送信元の音場を再現する立体音声情報の創出方法等が開示されている。
特開平９−２６１３５１号公報特開平２−１１４７９９号公報

しかしながら、特許文献１では、再生する音声を音像定位させる方法が複数のスピーカの音量バランスのみで調整することによるため、正確な音像定位を行うことが困難であった。

また、特許文献２では、複数のマイクアレイで受け取った音場情報をそのまま出力するので、自然な音声を出力することができる反面、アレイスピーカの数と同数のチャンネル数の信号を遠隔地に伝送しなければならないため、多くの伝送回線リソースを消費してしまう欠点があった。

そこで、本発明は、送信先の音場を再現する装置において、受信した音源位置情報に基づいて音声信号をスピーカアレイに出力することにより、伝送回線リソースの消費を抑えつつ、送信先の音場を正確に再現することを目的とする。

本発明は、上述の課題を解決するための手段を以下のように構成している。

（１）本発明は、
音声を収音し、収音信号として出力する複数のマイクをアレイ状に配置したマイクアレイと、
前記複数のマイクから出力した収音信号を遅延加算することにより複数の収音エリアへ指向させた収音ビームをそれぞれ形成する収音ビーム形成部と、
前記複数の収音ビームのうち最大音量を示す収音ビームに対応する収音エリアを位置情報として検出する位置情報検出手段と、
前記マイクの収音信号の出力と前記位置情報とを送信する送信手段と、
複数のスピーカをアレイ状に配置したアレイスピーカと、
外部より音声信号および位置情報を受信する受信部と、
前記受信した位置情報に基づき決定される位置を仮想音源位置とする放音ビームが形成されるよう前記受信した音声信号を処理して前記複数のスピーカに供給する信号処理部と、
を備え、
前記位置情報検出手段は、前記最大音量となる収音ビームの収音エリアを検出した後、該収音エリアをさらに細分した複数の細分化収音エリアへ指向させた取得用収音ビームを各々形成し、前記取得用収音ビームの音量の大きい順に複数選択した取得用収音ビームに対応する細分化収音エリアに基づいて前記位置情報を検出することを特徴とする。

本発明の装置は、２台以上の遠隔会議装置を通信回線やネットワークを介して相互に接続するための、１台分の機能を備えている。即ち、受信側ユニットと送信側ユニットとを備えている。
送信側ユニットでは、音源位置情報検出手段は音源の位置を検出すると共に、マイクはその音源の音声信号を収音し、この音声を電気信号に変換する。

音源位置情報検出手段は、複数の位置へ指向させた収音ビームを前記複数のマイクの収音信号から形成し、その複数ある収音ビームの最大音量から収音ビームの収音エリアの位置を話者の位置情報として検出する。送信部は、前記アレイマイクで得られた音声信号と前記位置情報とを送信する。

受信側ユニットは、受信部が相手装置から音源の音声信号と前記音源の位置情報とを受信する。信号処理部は、前記スピーカユニットの後方に、この受信した音源の位置情報によって決定される位置を仮想音源位置とする放音ビームが形成されるよう、前記受信した音声信号を処理して前記スピーカユニットに供給する。例えば、この仮想音源の座標は、装置中央を原点とし、背面方向をＹ軸とする座標軸平面上とすることができる。
以上、２台の遠隔会議装置のうちの一台について説明したが、逆方向への音声信号・位置関係の収音・放音も同様である。

本発明のこれらの構成により、会議参加者に対して、遠隔会議装置をはさんだ反対側に設けた相手装置側の会議室の仮想的な音源と対話しているかのような、リアルな位置関係で対話をすることができる。また、前記音源の位置情報を、前記音源の音声信号と共に受信するから、特許文献２のように、多くの伝送回線リソースを消費してしまう欠点を解消できる。また、特許文献２のように、スピーカが送信側と受信側で同じ数に限定する必要がない。

なお、送信手段が送信する前記マイクの収音信号の出力は、マイクの収音信号であればよく、音源が複数のマイク音声信号のうちのいずれか１つ、または複数を合成するもの（例えば単純加算したもの）でも良いし、また複数のマイクからの収音信号を遅延加算した収音ビームを出力するものでも良いし、収音ビームを複数合成するものでも良い。

この構成では、位置情報検出手段は、細分化収音エリアへ指向させた取得用収音ビームを形成し、その収音ビームの音量が大きいものを選択するから、位置情報としてより細かいエリアを探索できる。また、この構成では、初めから細かいエリアそれぞれに対する収音ビームを形成して選択するのではなくて、２段階に絞り込んで選択している。したがって、形成すべき収音ビームの数を少なくすることができるから、位置情報検出手段に用いるハードウェアを簡素化できる。

（３）本発明は、
前記位置情報検出手段は、前記取得用収音ビームの音量の大きい順に複数選択した取得用収音ビームに対応する細分化収音エリアの間を、前記選択した取得用収音ビームの強弱に応じた比例配分により、前記位置情報を検出すると共に、
前記選択した複数の取得用収音ビームの出力を前記比例配分により合成し、前記マイクの収音信号の出力として前記送信手段に送信させる信号加算手段を備えたことを特徴とする。

この構成では、位置情報検出手段は、選択した細分化収音エリアの間を、前記選択した取得用収音ビームの強弱に対応した比例配分により位置情報を検出するので、細分化収音エリアの中間部分を補間でき、より精度の高い位置情報を得ることができる。また、信号処理部は前記選択した複数の取得用収音ビームの出力を前記比例配分に基づいて合成するので、各収音ビームの収音エリアの中間部分を補間できる。また、このように常にバランスをとって補間することで、音源が移動した場合にも、滑らかに収音ビームの切り替えをすることができる。

本発明によれば、会議参加者に対して、遠隔会議装置をはさんだ反対側に設けた相手装置側の会議室の仮想的な音源と対話しているかのような、リアルな位置関係で対話をすることができる。

図１を用いて、本実施形態の音声通信に用いる遠隔会議装置について説明する。図１は、本実施形態の音声通信に用いる遠隔会議装置の外観図（Ａ）と、概略機能図（Ｂ）である。

まず、図１（Ａ）を用いて、遠隔会議装置１の構成を説明する。図１（Ａ）に示すように、遠隔会議装置１は、外観上、複数のスピーカＳＰｉ（ｉ＝１〜Ｎ、Ｎは整数）からなるスピーカアレイと、複数のマイクＭｉ（ｉ＝１〜Ｎ）からなるマイクアレイとを備えており、例えば、机１０１の上に設置されるものである。遠隔地に設置された２台の遠隔会議装置と通信回線で接続して、相互に音声通信を行う。

なお、スピーカアレイを構成する複数のスピーカＳＰｉ（ｉ＝１〜Ｎ）は、それぞれ独立して音声信号を扱うことができる音声処理系統に接続され、独立に音声出力が可能となっており、マイクアレイを構成する複数のマイクＭｉ（ｉ＝１〜Ｎ）は、それぞれ独立に音声出力をデジタルデータに変換可能である。なお、座標系Ｘ、Ｙ、Ｚについての説明は後述する。

次に、図１（Ｂ）を用いて、遠隔会議装置１の機能の概略を説明する。図１（Ｂ）の左側の図に示すように、音声を送信する場合には、送信側の話者１０２Ａは、遠隔会議装置１に向かって語りかける。そうすると、送信側ユニット１Ａでは、マイクアレイを構成する複数のマイクＭｉ（ｉ＝１〜Ｎ）がそれぞれ音声を収音するとともに、これら収音された音声に基づいて送信側の話者１０２Ａの位置を検出し、収音した音声信号とその位置を示す位置情報とを送信する。この位置情報は、収音した電気信号それぞれにディレイを設定して合成した（即ち遅延加算した）収音ビームを複数パターン形成し、そのパターンの強弱から計算する。この位置情報の座標系は、例えば、図１（Ａ）、図１（Ｂ）に示すように、ＸＹＺ軸座標系で与えることができる。具体的には、ＸＹＺ軸座標系は、遠隔会議装置１の受音面に対して、上下方向がＺ軸、左右方向がＸ軸、この受音面に垂直な奥行き方向をＹ軸方向とする。また、Ｘ軸、Ｚ軸方向の代わりに、この受音面の中心からの距離Ｒと角度θの極座標で与えることも可能である。

また、図１（Ｂ）の右側の図に示すように、遠隔会議装置１の受信側では、この送信された音声信号と位置情報とを基に、受信側ユニット１Ｂは、仮想音源ＶＳの位置を計算し、これに基づいて、各スピーカＳＰｉに出力する信号へのディレイ量をそれぞれ算出し、送信側ユニット１Ａ側で話された音声にディレイを付与してスピーカＳＰｉに出力する。これにより、送信側ユニット１Ａ側で話された音声の音場を正確に再現して、受信側の聴取者１０２Ｂに、送信側の音場を伝える。ここで、仮想音源ＶＳは、受信側ユニット１Ｂに話しかける受信側の聴取者１０２Ｂと対向する位置に設定するのが自然であるから、受信側の聴取者１０２Ｂから見て左右方向のＸ軸座標及び奥行き方向のＹ軸座標は、実際に送信側ユニット１Ａで得られた値と、受信側ユニット１Ｂで仮想的な位置を設定する座標の値が正負逆になるようにする。前述の極座標を用いる場合も同様である。

なお、以上の図１の説明では、送信側ユニット１Ａと受信側ユニット１Ｂを概念的に区別するため別の符号を用いて記述したが、実際には、本実施形態の遠隔会議装置１は、双方向通信が可能であり、受信側の聴取者１０２Ｂも、送信側の話者１０２Ａに音声を受信側ユニット１Ｂのマイクアレイを通じて送信することができる。すなわち、各遠隔会議装置は、図１（Ｂ）の送信側ユニット１Ａと受信側ユニット１Ｂを一体に備えたものである。
また、本実施形態では、遠隔会議装置１が伝達する音声として、人声を例に挙げているが、本実施形態の装置１の対象は、人声に限らない。例えば、音楽等であっても良い。以下、同じである。

ここで、図５（Ａ）を参照して送信側ユニット１Ａで行なう話者の位置の探索方法について簡単に説明する（図５の詳細は後述する。）。遠隔会議装置１内部の検出用ビーム形成部（後述図２の検出用ビーム形成部２１に相当）は、図５（Ａ）に示すように、このディレイパターンそれぞれに従い、送信側の話者１０２Ａの位置として想定する、複数の収音エリア１１１〜１１４へ指向させた収音ビームを各々形成する。

この収音ビームは、マイクＭｉ（ｉ＝１〜Ｎ）それぞれからの距離差によるディレイ量差をその特定の位置に合うように調整してデジタル音声信号を重ね合わせることにより形成する。これにより、その特定の位置の音声が互いに強められて入力されると共に、この特定の位置以外から来る音声は互いに打ち消されることになり、この特定の位置の音声への指向性を有することになる。

この収音エリア１１１〜１１４と送信側の話者１０２Ａの位置とが合致していれば、これらの収音ビームの中から、音量が最も大きな収音ビームが得られることになる。そこで、遠隔会議装置１内部の検出用ビーム形成部は、収音エリア１１１〜１１４に指向させた４個の収音ビームを同時に形成し、音量の大きい方向を探索する。また、遠隔会議装置１内部の取得用ビーム形成部（後述図２の取得用ビーム形成部２２に相当し、検出用ビーム形成部と同様の回路構成を持つ）は、このようにして得られた音量の大きい方向（図５ではエリア１１４）を更に分割する細分化エリア１３１〜１３４を設定する。また、この取得用ビーム形成部は、これらの細分化エリア１３１〜１３４に指向させた収音ビームを各々形成する。遠隔会議装置１は、この細分化エリア１３１〜１３４に向けた収音ビームから音量の大きい収音ビームを選択する。このように２段階で探索することにより、話者１０２Ａの位置を正確且つ迅速に探索できる。

このビーム形成部は、常時稼動するか、または、遠隔会議装置１が所定の間隔ごと、例えば０．５秒おきにビーム位置算出部２４が位置検出を行い、そのときにビーム位置算出部２４から指示を受けて、稼動するようにする。

次に、図２を用いて、遠隔会議装置１の内部構成について説明する。図２は、この内部構成を表すブロック図である。
まず、図２（Ａ）を用いて、送信側ユニット１Ａの構成について説明する。送信側ユニット１Ａは、収音した音声をデジタルで加工するために、マイクＭｉと、Ａ／Ｄ変換器２９とを備える。また、話者が話している位置を推定し、位置情報を制御信号２４１として出力することができるよう、話者がいると想定されるマイク前方の複数の位置へ指向させた収音ビームを形成する検出用ビーム形成部２１と、ＢＰＦ２３（バンドパスフィルタ）とビーム位置算出部２４を備える。また、ビーム位置算出部２４で検出した位置の近傍をさらに詳しく探索し、その位置へ指向させた収音ビームを形成することができるよう、取得用ビーム形成部２２と信号選択部２５と信号加算部２６を備える。また、位置情報２７Ａと収音ビームを多重化するために多重化部２８を備える。以下それぞれの構成を説明する。

図２（Ａ）のマイクＭｉ（ｉ＝１〜Ｎ）は、図１に示すようにＮ個のマイクであり、これらのマイクＭｉにより送信側の話者１０２Ａの音声を音声信号に変換する。
Ａ／Ｄ変換器２９は、Ａ／Ｄ変換用のＩＣで構成でき、マイクＭｉにより取得した音声信号をデジタル音声信号に変換して、検出用ビーム形成部２１、取得用ビーム形成部２２に送る。

検出用ビーム形成部２１は、話者がいると想定されるエリアへ指向させた収音ビームを複数同時に形成する。そのため、例えば、ディレイ処理を行うためのリングバッファ用ＲＡＭまたはそれに相当するものを備えて、マイクＭｉ各々で収音した音声信号のディレイ量を調整する。また、このディレイ処理を行うため、リングバッファ用ＲＡＭの書き込み、読み出しを制御するプログラムおよびディレイ制御用データを格納したＲＯＭを備える。またビーム形成部２１はこのプログラムを実行させるための計算部を備えている。遠隔会議装置１は、遠隔会議装置１の信号処理を動作させるＤＳＰを設けており、検出用ビーム形成部２１の計算部はその一機能として構成する。

そこで、図２（Ａ）の検出用ビーム形成部２１は、前述したように送信側ユニット１Ａの前にある話者の位置を複数想定して収音ビームの収音エリアを設定し、その位置へ指向させた収音ビームを形成する。

なお、以下の説明では、検出用ビーム形成部２１で形成する収音ビームと取得用ビーム形成部２２で形成する収音ビームを区別するため、後者の収音ビームを取得用ビームと称する。

図２（Ａ）の検出用ビーム形成部２１は、粗い範囲の探索をするために収音エリア（図５（Ａ）の１１１〜１１４に相当）へ指向させた収音ビームを形成する。
取得用ビーム形成部２２は、検出用ビーム形成部２１と同様の構成を備えている。ただし、取得用ビーム形成部２２は、検出用ビーム形成部２１の収音ビームを解析するビーム位置算出部２４の計算結果に基づき、さらに細かい範囲に収音エリア（図５（Ａ）の収音エリア１１４の中の細分化収音エリア１３１〜１３４）を設定する。取得用ビーム形成部２２は、細分化収音エリア１３１〜１３４に指向させた取得用ビームを各々形成し、信号選択部２５に出力する。このように、検出用ビーム形成部２１、取得用ビーム形成部２２で段階的に細かく収音ビーム、取得用ビームを形成し、送信側の話者１０２Ａの位置を探索しているので、初めから細かく探索するよりも、ハードウェアの構成を簡略化できると共に、計算速度が速くなり、送信側の話者１０２Ａの位置の変動に対する応答を速くすることができる。
図２（Ａ）のＢＰＦ２３は、検出用ビーム形成部２１の収音ビームＭＢ１〜ＭＢ４に対し、送信側の話者１０２Ａの検出に必要な音声帯域以外の帯域をカットするフィルタを畳み込み演算し、収音ビームＭＢ’１〜ＭＢ’４を出力する。これにより計算量を削減することができ、ビーム位置算出部２４が行なう探索を高速化できる。なお、ＢＰＦ２３では、このような帯域をカットしても、前述の検出用ビーム形成部２１では、粗い収音エリア１１１〜１１４を設定しているので問題ない。

ビーム位置算出部２４は、ＢＰＦ２３で出力した収音ビームＭＢ’１〜ＭＢ’４のうちから最も音量が大きいパターンを選択する。これにより、送信側の話者１０２Ａの位置を特定できる。ビーム位置算出部２４は、当該特定された位置情報を制御信号２４１として取得用ビーム形成部２２に出力する。具体的には、送信側の話者１０２Ａがいると想定される複数の位置のパターンについて予めＩＤコードを設けておき、ビーム位置算出部２４は、収音ビームの音量が大きい位置のＩＤコードを取得用ビーム形成部２２に出力する。

なお、このビーム位置算出部２４における音量の計算は、デジタル時系列音声データをＦＦＴ変換して、複数の特定周波数ごとのゲインの２乗を足し合わせることで代用することができる。また、ビーム位置算出部２４は、所定間隔ごと、例えば０．５秒ごとに動作する。これにより、ビーム位置算出部２４は、話者１０２Ａの移動を制御信号２４１として検出できる。

図２（Ａ）の取得用ビーム形成部２２は、ビーム位置算出部２４からの制御信号２４１を受けて、検出用ビーム形成部２１で合成した収音ビームのうちから最も音量が大きい収音ビームに対応する収音エリアをさらに細分する複数（本実施例では４つ）の収音エリアへ指向させた取得用ビームを形成する。
また、信号選択部２５は、取得用ビーム形成部２２が出力した取得用ビームのうち音量が大きい２つの取得用ビーム（図５の細分化収音エリア１３３、１３４に相当）を選択し、これらの取得用ビームの音量に応じて比例配分した位置を音源の位置１０２Ａとして決定し、これを位置情報２７Ａとして多重化部２８に出力する。

図２（Ａ）の信号加算部２６は、信号選択部２５が出力した２つの取得用ビームを音量に応じて比例配分して合成し、この合成したデジタルの音声信号２７Ｂを多重化部２８に送る。このように常に２つ以上の取得用ビームを合成することにより、話者が移動したり、入れ替わったりしたときも音声がスムーズに移動するようにすることができる。

図２（Ａ）の多重化部２８は、信号選択部２５で生成した位置情報２７Ａと、信号加算部２６で生成した音声信号２７Ｂを多重化して、受信側ユニット１Ｂに送信２０を行う。

次に図２（Ｂ）を用いて、受信側ユニット１Ｂの内部構成について説明する。受信側ユニット１Ｂは、受信部３１と、パラメータ算出部３２と、仮想音源生成信号処理部３３と、ＤＡＣ３４ｉ（ｉ＝１〜Ｎ）と、ＡＭＰ３５ｉ（ｉ＝１〜Ｎ）とを備え、外部のスピーカＳＰｉ（ｉ＝１〜Ｎ）を接続している。以下、それぞれの構成を説明する。

図２（Ｂ）の受信部３１は、送信側ユニット１Ａから、位置情報２７Ａと、音声信号２７Ｂについて受信信号３０の受信を行う。この音声信号２７Ｂは、仮想音源生成信号処理部３３に送られると共に、位置情報２７Ａは、パラメータ算出部３２に送られる。
パラメータ算出部３２は、位置情報２７Ａを基に仮想音源ＶＳ（図１（Ｂ）参照。）を設定して、仮想音源ＶＳの位置から各スピーカＳＰｉの位置までの距離３６ｉ（ｉ＝１〜Ｎ）を計算する。そして、この距離３６ｉを音速で除算することにより、ディレイ量のパラメータを設定する。

図２（Ｂ）の仮想音源生成信号処理部３３、ＤＡＣ３４ｉ（ｉ＝１〜Ｎ）、ＡＭＰ３５ｉ（ｉ＝１〜Ｎ）について説明する。
仮想音源生成信号処理部３３は、パラメータ算出部３２で設定するパラメータに基づいて、受信部３１で受信した音声、即ち、送信側ユニット１Ａの多重化部２８で生成した音声信号２７Ｂを、スピーカＳＰｉ（ｉ＝１〜Ｎ）の出力系統ごとに信号処理し、ＤＡＣ３４ｉ（ｉ＝１〜Ｎ）にそれぞれ出力する。受信部３１に入力する音声信号２７Ｂは１系統であるが、音声信号２７Ｂに対しパラメータ算出部３２のパラメータ（ディレイ量設定）に基づいて、スピーカＳＰｉの出力系統ごとに、遅延処理を行う。これにより、仮想音源ＶＳを焦点とする放音ビームをスピーカＳＰｉから出力することができ、あたかも、受信側ユニット１Ｂの前方に仮想音源があるような音像定位を実現できる。

ＤＡＣ３４ｉは、仮想音源生成信号処理部３３で得られた音声デジタルデータをアナログ信号に変換して出力する。
ＡＭＰ３５ｉ（ｉ＝１〜Ｎ）は、ＤＡＣ３４ｉ（ｉ＝１〜Ｎ）の出力をそれぞれ増幅して、スピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する。

ここで、送信側ユニット１Ａの信号選択部２５による絞り込み探索について、補足説明をする。信号選択部２５は、例えば取得用ビーム形成部２２が、特定時間、話者が静止していると判断した場合にのみ行なっても良い。処理能力の問題上、この絞込み探索をする時間的余裕がない場合があるからである。この場合には、音声信号２７Ｂの生成を以下（Ａ）〜（Ｂ）のように処理する。
（Ａ）音源の位置が、粗く設定した収音エリア１１１〜１１４の１つに特定時間留まる場合には、取得用ビーム形成部２２は、制御信号２４１が所定期間一定であることを検知し、ビーム位置算出部２４で選択した収音エリアのさらに内側の細分化収音エリア（図５（Ａ）の１３１〜１３４に相当）へ指向させた複数の取得用ビームを形成する。
（Ｂ）音源の位置が、粗く設定した収音エリア１１１〜１１４間で移動した場合には、取得用ビーム形成部２２は、制御信号２４１の変動を検知して、取得用ビーム形成部２２に検出用ビーム形成部２１と同様の複数の粗い範囲を設定した収音エリア１１１〜１１４へ指向させた取得用ビームを形成する。この場合の取得用ビームは、上記収音ビームと同様に粗い範囲の収音エリアへ指向する。

これら（Ａ）、（Ｂ）いずれの場合においても、信号選択部２５は、取得用ビーム形成部２２から出力された複数の取得用ビームの中で、音量が大きい２つを選択して信号加算部２６に出力し、信号加算部２６はこれらの取得用ビームを音量に応じて比例配分して合成する。
また、図２（Ａ）の信号加算部２６は、音源が大きく移動する場合に音量の大きい２つを選択して単純に合成するのではなく、切り替え前の音声をフェードアウトすると共に切り替え後の音声をフェードインして、音声をクロスフェードするようにしてもよい。このように音源が大きく移動する場合、音声を自然に接続できる。このクロスフェードを行う時間中は、送信側ユニット１Ａ、受信側ユニット１Ｂ間で、収音エリア１１１〜１１４の補間位置と、クロスフェード開始時、終了時を送受信する。パラメータ算出部３２は、仮想音源の位置ＶＳについても、このクロスフェード時間内で次第に移動するようにし、この移動に基づいてパラメータを設定する。これにより音像の移動が自然になる。

なお、音源の位置が粗く設定した収音エリア１１１〜１１４間で移動した場合は、取得用ビーム形成部２２に検出用ビーム形成部２１と同様の複数の粗い範囲を設定するが、この場合、信号選択部２５の出力する位置情報２７Ａは、ビーム位置算出部２４の出力する位置情報である制御情報２４１と同等になる。したがって、信号選択部２５が出力する位置情報２７Ａの代わりに、ビーム位置算出部２４にて得られる制御情報２４１を、多重化部２８に２７Ｃ（図２（Ａ）参照）として出力しても良い。

図３を用いて、図２のパラメータ算出部３２におけるパラメータの設定方法について、具体的に説明する。図３は、この設定方法についての概念図である。
まず、図３（Ａ）で示すように、仮想音源ＶＳと受信側ユニット１Ｂの各スピーカＳＰｉとの距離３６ｉを計算する。次に、図３（Ｂ）で示すように、パラメータ算出部３２のパラメータを設定する。例えば、ＳＰ１について、距離３６１を音速Ｖで除算した値とする。

以上、図２、図３の説明で説明したように、伝送元のマイクＭｉの個数Ｎ個分の音声系統を伝送しなくとも、受信側ユニット１Ｂは、送信側ユニット１Ａの音声信号２７Ｂと、位置情報２７Ａのみに基づいて、スピーカＳＰｉ（ｉ＝１〜Ｎ）上に、音場を正確に再現できる。

＜送信側装置の音声の収音の実施例＞
以下、図４、図５を参照して、図２（Ａ）で説明した検出用ビーム形成部２１についての収音の実施例についてさらに具体的に説明を行う。

図４を用いて、検出用ビーム形成部２１が、収音エリア１１１〜１１４へ指向させた収音ビームを形成する方法について説明する。図４では、Ｘ１〜ＸＮの入力にディレイを付与して加算する方法を説明するため、仮想の計算テーブル２１１１〜２１１４を示している。形成すべき収音ビームＭＢ１〜ＭＢ４は、Ｘ１〜ＸＮの入力に所定のディレイを付与して合成したものである。検出用ビーム形成部２１の図示しないＲＯＭ内には、この収音エリアに収音ビームを指向させるよう、ディレイパターンのデータ２１２１〜２１２４が、収音エリア１１１〜１１４に対応して記録されている。検出用ビーム形成部２１は、ディレイパターンのデータ２１２１〜２１２４に基づいてディレイＤｊｉ（ｊ＝１〜４、ｉ＝１〜Ｎ）にディレイ量を設定する。マイク入力合成部２１４１〜２１４４は、ディレイＸ１〜ＸＮの入力をＤｊ１〜ＤｊＮに通した信号を、計算テーブル２１１１〜２１１４ごとに加算して、収音ビームＭＢ１〜ＭＢ４として出力する。

なお、以上では説明上、収音ビームＭＢ１〜ＭＢ４毎に計算テーブル２１１１〜２１１４を示したが、実装上は、Ｄ１１〜Ｄ４１をまとめて１つのリングバッファ用のメモリ等で構成するのが簡便である。このリングバッファには、Ｘ１を入力し、Ｄ１１〜Ｄ４１の出力タップを設ける。Ｄ１ｉ〜Ｄ４ｉ（ｉ＝２〜Ｎ）も同様に、それぞれ１つのＸｉを入力するリングバッファを構成し、Ｄ１ｉ〜Ｄ４ｉの出力タップを設ける。また、実装上、ディレイパターンのデータ２１２１〜２１２４を、収音ビームＭＢ１〜ＭＢ４毎でなく、入力Ｘｉ（ｉ＝１〜Ｎ）毎に用意するのが好ましい。

次に、図５（Ａ）を参照して音源位置の検出方法について説明する。検出用ビーム形成部２１が、複数の収音エリア１１１〜１１４へ指向させた収音ビームを同時に形成する。ビーム位置算出部２４は、各収音ビームの音量の大小を比較して、この収音エリアのいずれかの領域に話者がいるかを監視する。

図５（Ａ）において、各マイクＭｉ（ｉ＝１〜Ｎ）が収音した音声信号を適当なディレイ時間だけを遅延させて合成することにより、収音エリア１１１〜１１４へ指向させた収音ビームを形成するが、以下、各マイクに設定するディレイ時間（すなわち、各マイクが収音した音声を遅延させるディレイ時間）の設定方法について説明する。ここでは、収音エリア１１１に収束する収音ビームを例に挙げて説明する。図５（Ａ）に示すように、収音エリア１１１の中心からマイクＭｉ（ｉ＝１〜Ｎ）までの距離１２１ｉ（ｉ＝１〜Ｎ）を計算する。この距離を音速（３４０ｍ／秒）で除算して収音エリア１１１から各マイクまでの音波の伝播時間を計算する。計算した伝搬時間のうち、最長のものを基準時間として、この基準時間と各マイクまでの伝播時間との差を、そのマイクに設定するディレイ時間とする。このディレイ時間が検出用ビーム形成部２１に設定される。

このように設定されたディレイ時間で各マイクが収音した音声信号を遅延させて合成することにより、収音エリア１１１から各マイクへ伝搬した音声を、位相をそろえて合成することができ、収音エリア１１１の音声を高いゲインで出力することができる。一方、他のエリアから伝搬した音声は、位相がずれた状態で合成されるため、振幅が相殺されて低ゲインとなる。

以上では収音エリア１１１に収束する収音ビームについて説明したが、収音エリア１１２、１１３、１１４に収束する収音ビームについても同様である。

次に、図５（Ｂ）を用いて、図２（Ａ）で示したビーム位置算出部２４の算出方法について、より具体的に説明する。以下の説明では、送信側の話者が図５（Ａ）に示す１０２Ａ（収音エリア１１４の中の細分化収音エリア１３３内）の位置に存在すると仮定する。また、音源発生信号の波形が符号２４０で示した形状と仮定する。
まず、検出用ビーム形成部２１は、収音エリア１１１〜１１４を設定して、送信側の話者１０２Ａの位置を探索している。図５（Ａ）の１０２Ａに話者がいるとすれば、この収音エリア１１４へ指向させた収音ビームＭＢ’４の音量は最も大きくなる。他方、この収音エリア１１４から遠ざかる収音エリア１１３、１１２、１１１へ指向させた収音ビームは、波形２４３→波形２４２→波形２４１に示すように、音量は小さくなる。そこで、ビーム位置算出部２４は、図２に示す収音ビームＭＢ’１〜ＭＢ’４のうちで音量が最大のものに対応する収音エリア（図５では１１４）を選択する。
また、信号選択部２５は、ビーム位置算出部２４と同様にして、音量の最も大きな取得用ビーム出力を選択して出力する。ただし、信号選択部２５は、取得用ビーム形成部２２が設定した細分化収音エリア１３１〜１３４の内で音量が最大のものから順に２つの取得用ビームを選択する。この取得用ビームは、図５（Ａ）では、細分化収音エリア１３３、１３４に対応するビームとなる。

以上で説明した構成により、それぞれ、図５（Ａ）に示すような、収音エリア１１ｊの方向へ指向させた収音ビームＭＢｊを形成することができる。図２（Ａ）の取得用ビーム形成部２２も、これと同様の構成をとることができる。

＜具体的使用形態と音場再現例＞
図６を用いて、本実施形態の装置の具体的使用形態と音場再現例について説明する。図６は、この具体的使用形態を表す図である。前述の図１の説明のとおり遠隔会議装置１は、通信回線やネットワークを介して相互に接続するための、１台分の機能を備えており、これと同等の２台またはそれ以上の遠隔会議装置を、ネットワークを介して相互に接続するようにする。

図６（Ａ）、（Ｂ）に示す２台の送信側ユニット１Ａ、受信側ユニット１Ｂは、音声信号と共に位置情報を送受信するので、互いに同じスピーカの数ＳＰｉ、あるいはマイクＭｉを用意しなくとも送信側の話者１０２Ａの音場を伝送できるが、以下では、同一の構成の遠隔会議装置１を用いるものとして説明する。また、簡単のため、以下の説明ではＸＹ平面の２次元座標を用いることとし、送信側ユニット１Ａ、受信側ユニット１Ｂの中心の位置を図６に示すようにそれぞれ原点の座標とする。

図６（Ａ）に示すように、送信側の話者１０２ＡのＸ、Ｙ座標が（Ｘ１，−Ｙ１）であったとする。なお、この実施形態では、話者から見て、送信側ユニット１Ａ、受信側ユニット１Ｂの右側がＸプラス方向（すなわち、図６（Ａ）では紙面の左方向、図６（Ｂ）では紙面の右方向がＸプラス方向）としている。遠隔会議装置１の送信側ユニット１Ａは、送信側の話者１０２Ａから発せられ、マイクＭｉで得られた音声信号を解析して、送信側の話者１０２Ａの位置情報を得る。この位置情報を得る方法は、前述した図４、図５の説明のようにマイクＭｉ（ｉ＝１〜Ｎ）の音声信号の解析により行うことができる。図６の以下の説明では、この位置情報を得た結果、送信側の話者１０２Ａは、図６（Ａ）に示すように、送信側の話者１０２ＡのＸ軸のプラスの位置にいると仮定して説明する。

図６（Ｂ）に示すように、受信側の聴取者１０２Ｂから見れば、送信側の話者１０２Ａは向かい合って会話しているようにするのが自然であるから、送信側の話者１０２Ａの代わりとなる仮想音源ＶＳを設定すべき位置のＸ座標の値は、原点より左の−Ｘ１であり、また、Ｙ座標の値は、奥行き側後方であるからＹ１となる。結果的に仮想音源ＶＳを設定すべき位置の座標は、（−Ｘ１,Ｙ１）となる。そして、前述の図３（Ｂ）で説明したようにして、図２（Ｂ）のパラメータ算出部３２は、この仮想音源ＶＳの位置に基づいて、スピーカＳＰｉ（ｉ＝１〜Ｎ）ごとにそのディレイ量、音量の各パラメータを計算する。そして、図２に示すように、仮想音源生成信号処理部３３においてこれを設定して、ＤＡＣ３４ｉ（ｉ＝１〜Ｎ）、ＡＭＰ３５ｉ（ｉ＝１〜Ｎ）を経てスピーカＳＰｉ（ｉ＝１〜Ｎ）から音声として出力する。

以上の実施形態の説明について、補足する。
以上の説明では、説明の容易のため、送信側ユニット１Ａは送信を行うものとして説明したが、送信側ユニット１Ａ、１Ｂは送信のみ、または受信のみ行うものではない。遠隔会議装置１は、双方向通信を行う機能を備えており、受信側の聴取者１０２Ｂが話しかけた音声と受信側の聴取者１０２Ｂの位置情報は、受信側ユニット１Ｂを用いて取得され、ネットワークを通じて送信側ユニット１Ａに送信される。その機能は、以上の説明と同様である。

また、以上の説明では、送信側の話者１０２Ａは１人であり、１つの音源として説明したが、複数人いても良い。この場合には、位置情報を複数用意して、それぞれの位置での音量を検出して伝送する。受信側ユニットは、上述の図３で示したようなパラメータ設定を話者それぞれについて行い、これに基づいて算出したスピーカＳＰｉ（ｉ＝１〜Ｎ）の出力をユニットごとに加算する。

また、図２、図５では、同時に出力する収音ビーム、取得ビーム、収音エリアの数をそれぞれ４つとしたが、いずれもそれ以上であっても良く、それ以下であっても良い。同時に形成する収音ビーム、取得ビームの数は４つに限定されない。また、同時でなく、時分割で収音ビームを出力して、音量を比較するのであれば、収音ビーム、取得用ビームは２つ以上でなく、１つでも足りる。

また、話者が複数ある場合を想定する場合は、このような段階的な位置の絞込みをするときに、少なくとも最初の段階では、話者の位置を１つに絞り込むのではなく、複数の候補を用意してそれぞれの近傍をさらに探索しても良い。

また、以上の説明では、スピーカＳＰｉ、マイクＭｉ（ｉ＝１〜Ｎ）の数はそれぞれ同じＮとしたが、必ずしも同じにする必要はない。伝送経路では、特許文献２のようなものと異なり、音源の位置情報を用いて伝送しているからこれらの数が異なっていても、送信元の音場を再現できる。

また、本実施形態では、検出用ビーム形成部２１、取得用ビーム形成部２２により２段階に収音ビーム、取得用ビームを設定し、送信側の話者１０２Ａを探索したが、３段階以上にエリアを絞り込む設定をして、探索しても良い。

また、取得用ビーム形成部２２を設けなくても、ビーム位置算出部２４だけで位置情報２７Ｃを検出し出力することも可能である。ビーム位置算出部２４単独でも収音ビームを比較すれば収音エリア１１１〜１１４のいずれに音源１０２Ａが含まれるかを検出できる。また、ビーム位置算出部２４は、必ずしも比例配分により求めなくても、単に最大の音量となる取得用ビームを検出して、これに対応する位置情報２７Ｃを検出することができる。

さらに、以上の説明では、図２の送信側ユニット１Ａでは、音声信号２７Ｂとして、収音ビームまたは取得用ビームを送信するとしたが、単にマイクＭ１〜ＭＮのいずれかの出力を送信しても良い。また、マイクＭ１〜ＭＮのいずれかまたは全部を足し合わせたものを送信しても良い。その他、マイクＭ１〜ＭＮが出力する収音信号を加算等して用いたものであればどのような音声信号でも良い。このようにしても、受信側ユニット１Ｂは、位置情報２７Ａまたは２７Ｃに基づいて伝送回線リソースの消費を抑えつつ、送信先の音場を正確に再現することができる。ただし、話者１０２Ａに向けた収音ビームまたは取得用ビームを送信する方が、遠隔会議装置１の耐ノイズ性能が向上する。

本実施形態の音声通信に用いる遠隔会議装置の外観図と、概略機能図である。本実施形態の音声通信に用いる遠隔会議装置の内部構成を表すブロック図である。パラメータ算出部３２におけるパラメータの設定方法についての概念図である。本実施形態の音声通信に用いる遠隔会議装置の検出用ビーム形成部の内部構成図を示す。話者の位置を特定するための説明図である。具体的使用形態と音場再現例を説明する図である。

符号の説明

１−遠隔会議装置、１Ａ−送信側ユニット、１Ｂ−受信側ユニット、
１０１−机、１０２Ａ−送信側の話者、１０２Ｂ−受信側の聴取者、
１１１〜１１４―収音エリア、１２ｊｉ（ｊ＝１〜４，ｉ＝１〜Ｎ）−距離、
１３１〜１３４−細分化収音エリア、ＳＰｉ（ｉ＝１〜Ｎ）−スピーカ、
Ｍｉ（ｉ＝１〜Ｎ）−マイク、ＭＢｊ（ｊ＝１〜４）−収音ビーム、
ＶＳ−仮想音源、２０−送信、２１−検出用ビーム形成部、
２１１ｊ（ｊ＝１〜４）−計算テーブル、
２１２ｊ（ｊ＝１〜４）−ディレイパターンのデータ、
Ｄｊｉ（ｊ＝１〜４、ｉ＝１〜Ｎ）−ディレイ、
２１４ｊ（ｊ＝１〜４）−マイク入力合成部、
２２−取得用ビーム形成部、２３−ＢＰＦ、２４−ビーム位置算出部、
２４１−制御信号、２５−信号選択部、２６−信号加算部、
２７Ａ−位置情報、２７Ｂ−音声信号、２８−多重化部、２９−Ａ／Ｄ変換器、
３０−受信信号、３１−受信部、３２−パラメータ算出部、
３３−仮想音源生成信号処理部、３４ｉ（ｉ＝１〜Ｎ）−ＤＡＣ、
３５ｉ（ｉ＝１〜Ｎ）−ＡＭＰ、３６ｉ（ｉ＝１〜Ｎ）−距離

Claims

音声を収音し、収音信号として出力する複数のマイクをアレイ状に配置したマイクアレイと、
前記複数のマイクから出力した収音信号を遅延加算することにより複数の収音エリアへ指向させた収音ビームをそれぞれ形成する収音ビーム形成部と、
前記複数の収音ビームのうち最大音量を示す収音ビームに対応する収音エリアを位置情報として検出する位置情報検出手段と、
前記マイクの収音信号の出力と前記位置情報とを送信する送信手段と、
複数のスピーカをアレイ状に配置したアレイスピーカと、
外部より音声信号および位置情報を受信する受信部と、
前記受信した位置情報に基づき決定される位置を仮想音源位置とする放音ビームが形成されるよう前記受信した音声信号を処理して前記複数のスピーカに供給する信号処理部と、
を備え、
前記位置情報検出手段は、前記最大音量となる収音ビームの収音エリアを検出した後、該収音エリアをさらに細分した複数の細分化収音エリアへ指向させた取得用収音ビームを各々形成し、前記取得用収音ビームの音量の大きい順に複数選択した取得用収音ビームに対応する細分化収音エリアに基づいて前記位置情報を検出する遠隔会議装置。
前記位置情報検出手段は、前記取得用収音ビームの音量の大きい順に複数選択した取得用収音ビームに対応する細分化収音エリアの間を、前記選択した取得用収音ビームの強弱に応じた比例配分により、前記位置情報を検出すると共に、
前記選択した複数の取得用収音ビームの出力を前記比例配分により合成し、前記マイクの収音信号の出力として前記送信手段に送信させる信号加算手段を備えた請求項１に記載の遠隔会議装置。