JP6375475B1 - 音源方向追従システム - Google Patents

Abstract

【課題】テレビ会議システム、人を補助するロボット等ではマイク、カメラを含むシステムの正面方向を回転機構により音源方向に自動的に追従するシステムを提供する。
【解決手段】音源方向に自動的に追従せるシステムは、機器の正面方向を音源方向に追従させるため、２系統のマイク信号間の時間差に伴う広帯域化した位相差検出を行いその進み遅れを判定し、フィードバック制御により進み遅れが零となる方向に回転制御させる。その場合回転した機器の正面方向が回転制御により音源方向近傍に位置しているか否かを粗く検出し、音源方向近傍に位置している場合は一定距離配置の指向性特性を有するマイクシステム信号出力を利用し進み遅れを判定し限定した角度内の回転制御を行い、音源方向近傍で無い場合は一定距離配置の無指向性マイク信号を利用し進み遅れを判定し、全方位の回転制御を行い音源方向追従させる。
【選択図】図１

Description

本発明は、テレビ会議システム、人を補助するロボットで話者方向にカメラ視点及びマイク指向性を向けるシステム等に適用可能な技術である。マイクを含むシステムを迅速かつ正確に音源方向に向かせるため、反射波影響を排除する方式に関するものである。

音声は比帯域が広く、広帯域で音声到来方向検出をする必要がある。従来技術として、周波数成分分解合成（ＦＦＴ/ＩＦＦＴ）を行い広帯域検出を行う方法があるが、検出に処理時間が必要となり、制御の迅速性が損なわれる。これに対し２つの無指向性マイクを数ｃｍ程度に近接配置し、２つの信号を減算処置した後積分処理した、第一の信号と、２つの信号を加算処理した第二の信号を乗算した信号で、回転制御を行うことにより、３６０°の音波到来方向を追従させるシステムが特許文献１に示されている。
しかし、特許文献１の方式は反射波があるとその影響により、音源到来方向検出が正しく検出されず、制御誤差が生ずる。音源到来方向検出は、検出信号の時間平均を長くとって制御すると誤差は小さくなるが、迅速な応答が出来なくなる。

特許文献２にはあらかじめ想定した音源位置から外れた場合も聞きやすい音にする手法が示されているが、回転制御を行っていないため、適用できる音源角度範囲は限定的である。
また、迅速性が実現できない、反射波の影響を受ける問題がある。

特許文献３には音源方向にカメラを向ける装置が示されているが、音響インテンシティを求める手段を使用しており、迅速性が実現できない、反射波の影響を受ける問題がある。

音源方向追従システム 特開2016-201595 出願人 井上時子 音響入力装置 特開2009-135594 出願人 パナソニック電工株式会社 音源探査装置 特願昭63-168011 出願人 株式会社東芝

マイクを含むシステムの正面方向を回転機構により、音源方向に自動的に追従せるシステムにおいて、壁、窓からの反射波が発生する環境下でも反射波影響を回避し、迅速かつ正確な音源方向追従を行わせることが課題である。

まずは、反射波の影響による制御誤差を定量的に解析する。
図２にシステム正面方向が音源方向に対し左右どちらにズレているかの方向を検出する構成を示す。音波到来方向に対し、マイクシステム角度（θe）を変化させた場合は音源からの到達時間が変化しそれに伴ない数１,数３に示すように位相も変化する。その信号を減算,積分,乗算を行うとＶｄｅｔ’となり（数８）、マイクA、B間位相差に応じた値を出力する。φb=φaの場合は出力零となり、φb＞φaの場合はプラスの値をφb＜φaの場合はマイナスの値を出力するこの値で右回転/左回転の回転制御を行い零となる方向で停止させることにより、音源方向に追従させている。

マイクＡ点受音信号：Ｅａ
振幅：Ｖ 音源からの到達時間：Ｔａ
位相を数１に示す
ベクトル表記では数２となる

マイクＡ点受音信号：Ｅｂ
振幅：Ｖ 音源からの到達時間：Ｔｂ
位相を数３に示す
ベクトル表記では数４となる

数８が示すように、図２の構成はφbとφaの位相差に応じた出力
が得られ、 φb＝φaとなる方向に回転制御される。

反射波がある場合の制御誤差について解析する
図３は反射波が有る場合のモデルを示す
ここに於いて、
fa：音源周波数
τu： 直接波に対する反射波の伝播時間差
Kdu ： 反射波レベル/直接波レベル
θu：反射波到来角度（直接波基準）
θe：マイクシステム回転角度
d：マイク間距離 ｃ：音波速度 Tm=d/c

反射波の影響を解析する場合は周波数に対する直接波と反射波の位相差の観点で解析する必要がある。
図３において音源周波数をｆaとして直接波と反射波の遅延時間をτuとすると遅延による位相偏移Δθは

数８に示したように回転制御はφa=φbとなる方向に制御されるのでθeに対するθaとθbの差を数値演算で求めることによりにより制御誤差を計算できる。
図４、 図５ は周波数をパラメータとし、マイク傾き角度（θe）を-１８０°〜１８０°可変した場合のマイクＡ，Ｂ間位相差（θb-θa）を示す（ｄ＝４ｃｍ）。
図４ は反射波レベルが零の場合であるが、音源周波数に関わらずシステム正面方向（θe=0）で位相差零となる。
しかし反射波が存在し、反射波レベルが0.5（-6ｄＢ）、遅延時間が2mSec、 θu=90°の場合は図５のように音源周波数に依存した大きな位相差乱れを生じる。

次に遅延時間可変の場合と反射波レベル可変の場合に対する制御角度誤差（θe）の数値計算結果を示す。
図６に遅延時間が異なる場合の角度誤差を示す。音源周波数変化に対応し、角度誤差の変化が繰り返すがその周波数周期は”1/遅延時間”となり遅延時間が長いと周波数周期は短くなる。
図７は直接波に対する反射波レベル（Kdu）を可変した場合の制御誤差を示す。反射波レベルが0.1（-20ｄB）程度の場合は誤差は±6°程度で、周波数によりプラス方向マイナス方向に均等に変化するため、入力周波数が時間変化する場合は時間平均を持たせた制御により誤差を小さくすることができる。しかしKdUが0.5(-6ｄＢ)と大きくなると、最大誤差が25°程度と大きくなり、迅速な制御の場合は最大制御誤差となる確率が高くなる。なお、Kduに対する最大制御誤差角度はほぼ正比例となる。
図８にKdu=0.5 (-6ｄＢ)における希望波に対する反射波到来角度（θu）に対する最大制御誤差を示す。正面方向（θu＝0°）と背面方向（θu＝180°）の時は誤差が小さくなり横方向は誤差が大きくなる。

図１に解決手段の全体構成を示す。距離を置いて配置した10Ａ，10Ｂ，10Ｃ，10Ｄからなる２系統のマイク信号の時間差に伴う広帯域化した位相差の進み遅れをブロック30で判定し、音波到来方向検出を行うことを基本とする。
なおここでいう、広帯域化した位相差の進み遅れの判定とは、事例として図２に示すような構成により、反射波が無い場合は図4に示すように音源周波数が変化しても位相差検出特性がほぼ変化しないことの意味である。特にθe可変時のマイク間位相差のプラスマイナスの極性が周波数に依存しないことを利用している。
更にシステム正面方向が音源方向近傍か否かの判定をブロック60で行い、２系統のマイクシシテムの指向性を無指向性か有指向性かをスイッチ22Ａ，22Ｂで切り替えることにより、迅速制御の場合でも、反射波の影響による制御誤差を低減する。
システム正面方向が音源方向近傍で無い場合は最大±180°の範囲の回転制御が必要であり、無指向性マイクシステムでないと到来方向検出ができない。しかし、システム正面方向が音源方向±60°程度以内の場合はシステム正面方向近傍に指向性を有する２系統のマイクシステムによる、到来方向検出を行うことが可能となり、その場合は特に横方向からの反射波による回転制御誤差を小さくできる。

指向性形成を併用した場合（ＢＦ有り）と併用しない場合（ＢＦ無し）の反射波影響による制御誤差特性の数値シミュレーション結果を図９に示す。
ここで希望波レベル基準の反射波レベル（Ｋｄｕ）は0.5（-6ｄＢ）として、音源周波数を可変し最も誤差が大きくなる周波数での誤差（最悪値）をプロットしている。
このグラフは、最悪となる周波数での評価であり、反射波レベルには依存するが、遅延時間には依存しない。指向性形成を併用することにより、制御誤差を小さくすることができている。特に反射波到来角度が±４５°以外の角度に対する誤差が大きく改善される。 なお、到来角度が±４５°以内（同一方向からの反射波）の反射波レベルは小さい場合が多く、全体としては誤差が大きく改善される。
本発明によるこの特性により、システムの正面方向を回転機構により、発話方向（音源方向）に自動的に追従せるシステムで、反射波がある場合でも、別の場所の話者が発話し始めた場合の迅速かつ正確な回転制御が可能となる。

選択図 本発明全体構成 音源方向検出基本方式 反射波影響モデル 反射波レベルが零の場合のマイク間位相差 反射波レベルが0.5（-6ｄＢ）、遅延時間：2mSecの場合のマイク間位相差 反射波の遅延時間可変に対する制御角度誤差 ＜反射波レベル/直接波レベル＞ に対する制御誤差 反射波到来角度に対する制御角度誤差 指向性形成が無い場合と有る場合制御誤差変化（本発明の効果を示す図） 実施例１：具体的な全体構成 実施例１：指向性形成方式 図11方式の指向性特性 実施例２：大まかな音波到来方向検出方式 実施例３：指向性信号を合成したマイク信号出力方式

次に掲載する実施例１〜３に発明を実施するための形態を挙げる。

(実施例１)
図10 に本発明の第一の実施例を示す。
10Ａ，10Ｂ，10Ｃ，10Ｄからなる４個のマイクを１辺４ｃｍの平面４角形の４隅に配置する。全方位検出時は無指向性マイクによる制御となるが、その場合は10Ａの無指向性マイクＡ(VomL)、10ＢのマイクＢ(VomR)を使用する。回転制御によりシステム正面方向が音源方向近傍となったことを検出し、その場合は指向性形成信号に切り替えるが、その場合はマイクＣ（10Ｃ），マイクＡ（10Ａ）ペアでブロック20Ａで指向性形成した信号(VbfL)及び、マイクＤ（10Ｄ），マイクＢ（10Ｂ）ペアでブロック20Ｂで指向性形成した信号(VbfR) を利用する。 VbfLとVbfRは距離ｄ離れた位置での受音相当となり、音源到来角度に応じた広帯域位相差が生じ、到来方向検出が可能となる。音波到来方向がシステム正面方向か否かをブロック60で検出しスイッチ22Ａ，22Ｂで切り替えたマイク出力信号はViL,ViRであるが、その信号を広帯域化した位相差検出による音源方向検出ブロック30に入力し到来方向検出を行う。その場合システム正面方向から離れた角度から到来する反射波は指向性形成効果で振幅が減衰され、迅速応答の場合でも角度制御誤差が生じにくくなる。

指向性形成実施例を図１１に示す。
減算/積分方式による、方式である。
１Ａ，1Ｂからなるマイク信号を、減算、積分
係数乗算、加算を行い指向性を形成する。
図１１の方式の指向性関数D(θ)は以下となる。
k=ω/ｃ ｃ：音波速度 ω：音源角周波数
ｄ：マイク間距離
とすると

ここで

と仮定すると
D(θ)は以下のように近似できる

したがって係数Kaを正にするか負にするかにより指向性を反転することができる。
Kaが正の場合：１８０°方向にビーム形成
Kaが負の場合：０°方向にビーム形成
指向性の数値計算例を図１２ に示す

(実施例２)
大まかな音波到来を検出する実施例を示す。３マイクによる４方向指向性形成を行い、システム正面方向の振幅値が他の方向の振幅より大きいことを検出するロジックである（図13）。
３マイク信号は図10 のマイクＡ、マイクＢ、マイクＣの信号から分岐して生成する。指向性形成の実現手段例は図１１に示す方式と同様である。
ブロック４のＫａ値可変により指向性方向を反転させることができることを利用する。マイクＡ（10Ａ）とマイクＣ（10Ｃ）でＬａ方向Ｌｃ方向の指向性を形成し、マイクＡ（10Ａ）とマイクＢ（10Ｂ）でＬｂ方向Ｌｄ方向の指向性を形成する。これをブロック60で振幅比較を行いシステム正面が音源方向近傍かを検出する。
なお正面方向有指向性マイク信号と無指向性マイク信号とのレベル比較で音波が正面から到来していることを検出する方法もあるが無指向性信号利用の場合は反射波の影響で定在波が生じ、正しく検出できない場合があるが、本方式では、正しく検出可能である。

（実施例３）
音源方向追従に使用する、左右に距離を置いて配置した正面方向指向性マイクシステムの出力は反射波影響が軽減された信号であり聞きやすい音となる。その時、２０Ａ，２０Ｂで形成した２系統の指向性信号をブロック７０で合成することによりさらに聞きやすい音とすることができる。単純な加算の場合でも定量的には無相関ノイズの場合は合成によりノイズレベルは√２倍となり、信号レベルは２倍となるので信号レベル/雑音レベルは１．４倍（3ｄＢ）向上できる。
図１４にその構成を示す。

(1)テレビ会議システムにおいてカメラを話者に向け、先方に話者の顔を見せると供に、
指向性形成により音声信号のS/Nを向上させる。
(2)人を補助するロボットにおいて、ロボットの顔を話者に向かせるヒューマンインタ
フェース。
(3)聴覚障碍者に発話者の顔画像を提供し、顔及び口の動きを認識させる。
(4)防犯システムにおいて音のする方向の画像および音を録画する。

1Ａ：無指向性マイク２個による、指向性形成を実現する方式説明用無向性マイクＡ
1Ｂ：無指向性マイク２個による、指向性形成を実現する方式説明用無向性マイクＢ
2：指向性形成用減算器
3：指向性形成用積分器
4：指向性形成用係数器（Ｋａ値を乗算する）
5：指向性形成用加算器
１０：平面に配置された４個の無指向性マイク
10Ａ：無指向性マイクＡ
10Ｂ：無指向性マイクＢ
10Ｃ：無指向性マイクＣ
10Ｄ：無指向性マイクＤ
22Ａ：指向性切り替え用スイッチＡ
22Ｂ：指向性切り替え用スイッチＢ
30：音源方向検出ブロック（広帯域化した位相差検出）
30Ａ：音源方向検出ブロック用２価化処理Ａ、瞬時最大振幅成分のみ抽出が目的
30Ｂ：音源方向検出ブロック用２価化処理Ｂ、瞬時最大振幅成分のみ抽出が目的
40：音源方向検出ブロック用減算器
41：音源方向検出ブロック用加算器
42：音源方向検出ブロック用積分器
43：音源方向検出ブロック用乗算器
50：到来方向検出平均化部
51：音源方向追従用モーター駆動部
52：音源方向追従用モーター
60：システム正面方向近傍からの音源到来方向検出部
61：指向性切り替えスイッチ制御部

Claims (3)

1. 機器の正面方向を広帯域周波数成分を有する音源方向に追従させるため、２系統のマイク信号の時間差に伴う広帯域化した位相差検出結果の進み遅れを判定し、フィードバック制御により進み遅れが無くなる方向に回転制御するシステムにおいて、機器の正面方向が回転制御により音源方向近傍即ち音源方向に対し概ね±６０°以内に位置しているか否かを粗く検出する手段により、音源方向近傍に位置している場合は受音位置が一定距離だけ離れて配置された指向性特性を有するマイクシステム信号出力を使用した回転制御を行い、音源方向近傍で無い場合はマイク位置が一定距離だけ離れて配置された無指向性マイクの信号を利用した回転制御を行う音源方向追従システム。
2. 平面の前後方向、及び左右方向に配置されたマイク信号から複数方向の指向性を形成し、複数方向の受音信号振幅を比較し、機器正面方向に指向性を有する信号振幅が他方向の信号振幅のどれよりも高い場合に機器正面方向が音源方向近傍であることを判定する請求項１の音源方向追従システム。
3. 受音位置が一定距離だけ離れて配置された指向性特性を有するマイクシステムの信号出力を合成し反射波及び雑音を抑圧した信号を得る、請求項１の音源方向追従システム。

Images