JPH1049197A

JPH1049197A - 音声復元装置及び音声復元方法

Info

Publication number: JPH1049197A
Application number: JP8207134A
Authority: JP
Inventors: Masahiko Tateishi; 雅彦立石; Shinichi Tamura; 震一田村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 1996-08-06
Filing date: 1996-08-06
Publication date: 1998-02-20

Abstract

(57)【要約】【課題】雑音重畳音声から復元する音声に高域成分の
欠落が生ずることを極力防止して、聴感上、原音声に近
い音声を復元する。【解決手段】本発明の音声復元装置は、雑音重畳音声
を入力し、この雑音重畳音声を神経回路網を用いて音声
推定値と雑音推定値とに分離する神経回路網演算部１４
を備えると共に、雑音重畳音声、音声推定値、雑音推定
値の荷重平均を求め、この荷重平均を復元音声として出
力する荷重平均演算部１５を備えて構成されている。こ
の構成によれば、音声推定値及び雑音推定値から欠落し
た高域成分が、雑音重畳音声には含まれていることか
ら、雑音重畳音声、音声推定値、雑音推定値の荷重平均
をとったものは、高域成分の欠落が少ない原音声に近い
音声となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、雑音重畳音声から
音声を復元する音声復元装置及び音声復元方法に関す
る。

【０００２】

【従来の技術】音声認識装置や音声通信装置（例えば携
帯電話等）においては、使用環境の騒音や雑音が重畳し
た音声を入力して、その中から音声だけを抽出する装置
を備えたものがあり、使用環境の騒音や雑音の影響を受
け難くするように構成されている。上記音声抽出装置と
しては、従来より、スペクトラムサブトラクション方式
を用いた装置が知られており、広く使用されている。し
かし、上記スペクトラムサブトラクション方式によっ
て、入力した雑音重畳音声から音声を抽出した場合、非
定常雑音を除去することができないという欠点があっ
た。

【０００３】この欠点を解消する装置として、人間の脳
をモデルとする神経回路網を用いた雑音除去装置が考え
られている。この雑音除去装置では、雑音重畳音声を入
力し、その中に含まれる音声を神経回路網を用いて推定
して音声推定値を出力し、この音声推定値を復元音声と
している。このような雑音除去装置の一例として、特公
平５−１９３３７号公報に開示された神経回路網モデル
を用いた雑音除去装置がある。

【０００４】この装置においては、神経回路網モデルと
して階層型神経回路網を用いており、この階層型神経回
路網を学習させることにより、雑音重畳音声の中に含ま
れる音声を推定して音声推定値を出力させるようにして
いる。上記階層型神経回路網の動作を図１１を参照して
説明する。この図１１に示すように、まず、雑音重畳音
声Ａ１のデータを音声切り出し区間Ｔの長さ分だけ切り
出し、これを入力信号Ａ２（具体的には、入力値Ｉ1 、
Ｉ2 、………Ｉp-1 、Ｉp ）として学習済みの階層型神
経回路網１に与える。すると、階層型神経回路網１は、
入力信号Ａ２に含まれる音声を抽出し、出力信号Ａ３
（具体的には、出力値Ｓ1 、Ｓ2 、………Ｓp-1 、Ｓp
）として出力する。階層型神経回路網１は、上記動作
を繰り返して出力信号Ａ３を順次出力することにより、
音声（音声推定値）Ａ４を出力するように構成されてい
る。

【０００５】また、上記雑音除去装置の他の例として特
開平２−７２３９８号公報に開示された音声信号用前処
理装置がある。この装置では、複数のマイクロフォンで
得た複数のマイクロフォン信号を階層型神経回路網へ入
力すると共に、この階層型神経回路網を学習させること
により、雑音を除去した音声推定値を出力信号として出
力させるようにしている。

【０００６】

【発明が解決しようとする課題】上述したような神経回
路網を用いた雑音除去装置では、出力した音声推定値に
高域成分の欠落が生ずるという問題がある。特に、高域
成分が多い子音の音声を復元する場合、上記欠落が顕著
に現われる傾向がある。このため、神経回路網を用いた
雑音除去装置から出力される音声推定値には子音の音声
が欠落するようになり、音声推定値は元の音声に比べて
聴感上明瞭性が低下して聞き取り難い音声となってい
た。上記高域成分の欠落が生ずる実例を、図１２を参照
して具体的に説明する。

【０００７】図１２（ａ）は、男性話者が「すいちょ
く」と発声したときの原音声の波形を示している。そし
て、この原音声に雑音を重畳した雑音重畳音声を、上記
神経回路網を用いた雑音除去装置へ入力し、該雑音除去
装置から出力された音声推定値の波形を図１２（ｂ）に
示している。これら図１２（ａ）及び（ｂ）から明らか
なように、音声推定値の波形からは、子音「ｓ」、「ｃ
ｈ」、「ｋ」が欠落していると共に、「ｕｉ」の音声部
分についても高域成分が欠落していることがわかる。こ
のような音声推定値（図１２（ｂ）参照）を聴者が聴く
と、「ういよく」というような感じに聴こえてしまう。

【０００８】一方、本発明者は、神経回路網を用いて１
つの信号を入力して２つの信号を出力する信号抽出装置
を発明し、先に出願している（実願平７−３２４５６５
号）。この装置においては、図１３に示すように、雑音
重畳音声Ｂ１を入力して、神経回路網２により雑音重畳
音声Ｂ１の中から音声と雑音を分離して音声推定値Ｂ２
と雑音推定値Ｂ３を出力するように構成されている。し
かし、この装置の場合も、出力された音声推定値Ｂ２及
び雑音推定値Ｂ３には、それぞれ高域成分の欠落が生じ
てしまい、音声推定値Ｂ２をそのまま復元音声とする
と、やはり聴き取り難いものであった。

【０００９】そこで、本発明の目的は、雑音重畳音声か
ら復元する音声に高域成分の欠落が生ずることを極力防
止して、聴感上、原音声に近い音声を復元することがで
きる音声復元装置及び音声復元方法を提供するにある。

【００１０】

【課題を解決するための手段】請求項１または８の発明
においては、入力した雑音重畳音声を神経回路網を用い
て音声推定値と雑音推定値とに分離した後、雑音重畳音
声、音声推定値、雑音推定値の荷重平均を求めることに
より音声を復元する構成とした。この構成の場合、音声
推定値及び雑音推定値から欠落した高域成分が、雑音重
畳音声には含まれていることから、雑音重畳音声、音声
推定値、雑音推定値の荷重平均をとったものは、高域成
分の欠落が少ない原音声に近い音声となる。

【００１１】請求項２または９の発明によれば、荷重平
均を求める際に使用する荷重係数として、サンプル音声
に対する復元音声の自乗誤差を最小にするような荷重係
数を使用するように構成したので、復元音声（即ち、雑
音重畳音声、音声推定値、雑音推定値の荷重平均）は原
音声に極めて近い音声となる。

【００１２】請求項３または１０の発明においては、雑
音重畳音声、音声推定値及び雑音推定値にそれぞれ対応
する３個の荷重係数から構成された１組の荷重係数デー
タを複数組備え、音声を話す話者によって最適な荷重係
数データを選択するように構成した。これにより、話者
に対応して音声を復元することができるから、復元音声
は原音声に近くなる。

【００１３】この場合、請求項４または１１の発明のよ
うに、使用環境の騒音の種類によって最適な荷重係数デ
ータを選択するように構成すると、使用環境の騒音の種
類に対応して音声を復元することができるから、復元音
声は原音声に近くなる。また、請求項５または１２の発
明のように、雑音重畳音声のＳ／Ｎ比によって最適な荷
重係数データを選択するように構成すると、雑音重畳音
声のＳ／Ｎ比に対応して音声を復元することができるか
ら、やはり復元音声は原音声に近くなる。

【００１４】一方、従来は、入力する雑音重畳音声のＳ
／Ｎ比を検知する手段や方法はなかった。これに対し
て、請求項６または１３の発明によれば、神経回路網を
用いて分離した音声推定値及び雑音推定値の各平均電力
を計算すると共に、これら平均電力の比を計算し、この
平均電力比を雑音重畳音声のＳ／Ｎ比であると推定し
た。これにより、入力する雑音重畳音声のＳ／Ｎ比を検
知することができる。

【００１５】

【発明の実施の形態】以下、本発明の第１の実施例につ
いて図１ないし図６を参照しながら説明する。まず、図
１は音声復元装置の電気的構成を機能ブロックの組み合
わせにて示す図である。この図１において、音声復元装
置１１は、マイクロフォン１２と、Ａ／Ｄ変換器１３
と、神経回路網演算部１４と、荷重平均演算部１５と、
Ｄ／Ａ変換器１６と、スピーカ１７とから構成されてい
る。上記マイクロフォン１２は、音声Ｄ１に雑音Ｄ２が
加わった音である雑音重畳音声Ｄ３を入力してアナログ
入力信号Ｄ４を出力する。このアナログ入力信号Ｄ４
は、雑音重畳音声Ｄ３を電気信号に変換した信号であ
る。

【００１６】また、Ａ／Ｄ変換器１３は、マイクロフォ
ン１２と、このマイクロフォン１２から出力されたアナ
ログ入力信号Ｄ４を入力してＡ／Ｄ変換し、デジタル信
号Ｄ５を出力する。このデジタル信号Ｄ５は、雑音重畳
音声Ｄ３をデジタル電気信号に変換した信号、即ち、雑
音重畳音声信号である。この場合、Ａ／Ｄ変換器１３
は、アナログ入力信号Ｄ４を、例えば１２ｋＨｚで（１
／１２０００秒のサンプリング時間で）サンプリングし
てデジタル信号Ｄ５に変換するように構成されている。
尚、マイクロフォン１２とＡ／Ｄ変換器１３との間に、
アナログ入力信号Ｄ４を増幅するアンプを設けるように
構成しても良い。

【００１７】そして、神経回路網演算部１４は、Ａ／Ｄ
変換器１３から出力された雑音重畳音声信号（デジタル
信号）Ｄ５を入力し、神経回路網を用いて上記雑音重畳
音声信号Ｄ５を音声推定値（音声信号成分）Ｄ６と雑音
推定値（雑音信号成分）Ｄ７とに分離して、これら音声
推定値Ｄ６及び雑音推定値Ｄ７を出力する機能を有して
いる。この神経回路網演算部１４が音声抽出手段を構成
している。この場合、神経回路網演算部１４は、神経回
路網として例えばリカレントニューラルネットワーク
（以下、ＲＮＮと称す）を用いて信号抽出処理を実行す
るように構成されている。

【００１８】上記ＲＮＮは、帰還結合（再帰結合）を有
する神経回路網のモデルであり、複数個のニューロンを
自分自身を含めて互いに結合（再帰結合）して構成され
ている。尚、本実施例においては、ＲＮＮを例えば３０
個のニューロンで構成している。上記ＲＮＮの各ニュー
ロンは、膜電位という状態を持つ。そして、各ニューロ
ンの出力は、膜電位の関数（この関数を出力関数とい
う）として決まる。ここで、ニューロンの個数をＮと
し、ｉ番目（ｉ＝１、２、………、Ｎ）のニューロンの
出力関数をｆ_ｉ、時刻ｔにおける膜電位及び出力値をそ
れぞれｘ_ｉ（ｔ）、ｙ_ｉ（ｔ）とすると、次の式が成立
する。

【００１９】ｙ_ｉ（ｔ）＝ｆ_ｉ（ｘ_ｉ（ｔ））そして、ＲＮＮにおいては、各ニューロンの膜電位が時
間的に変化する。この場合、時間に対する膜電位の変化
率は次の式で与えられる。

【００２０】

【数１】ここで、ｄｘ_ｉ（ｔ）／ｄｔは膜電位の変化率、τ_ｉは
ｉ番目のニューロンの時定数、Ｉ_ｉ（ｔ）はｉ番目のニ
ューロンへの入力信号、ｗ_ｉｊはｊ番目のニューロンか
らｉ番目のニューロンへの結合荷重である。

【００２１】また、上記ＲＮＮは、図２に示すように、
１入力（雑音重畳音声）２出力（音声推定値及び雑音推
定値）のモデルである。この場合、時刻ｔにおける入力
信号をＩ（ｔ）、この入力信号Ｉ（ｔ）に含まれる音声
及び雑音をそれぞれｓ（ｔ）、ｎ（ｔ）とすると、上記
ＲＮＮの入出力関係は次の式で表現される。

【００２２】入力Ｉ（ｔ）（＝ｓ（ｔ）＋ｎ（ｔ））出力１ｓ（ｔ）出力２ｎ（ｔ）そして、ＲＮＮが上記入出力関係を獲得するように、適
当に選んだサンプル音声及びサンプル雑音を用いてＲＮ
Ｎに対して予め学習を行い、ＲＮＮの結合荷重ｗij及び
時定数τｉを調整（決定）するように構成されている。
この学習のアルゴリズムは公知技術であり、例えば「Sa
to M."A learning algorithm to spatio-temporal patt
srns to recurrent neural networks",Biol.Cybern.,6
2,pp.259-263(1990) 」に記載された方法があり、この
方法により上記学習を実行することができる。尚、先願
（実願平７−３２４５６５号）にも、ＲＮＮに対する学
習の一例が示されている。そして、本実施例の場合、神
経回路網演算部１４は、上述した学習を予めさせたおい
たＲＮＮを用いるように構成されている。

【００２３】また、荷重平均演算部１５は、Ａ／Ｄ変換
器１３から出力された雑音重畳音声信号Ｄ５と、上記神
経回路網演算部１４から出力された音声推定値Ｄ６及び
雑音推定値Ｄ７とを入力し、これら３つの信号の荷重平
均を算出し、算出した荷重平均を復元音声信号Ｄ８とし
て出力する機能を有している。この荷重平均演算部１５
が音声復元手段を構成している。上記荷重平均演算部１
５の音声復元機能の原理及び動作については後述する。

【００２４】続いて、Ｄ／Ａ変換器１６は、上記荷重平
均演算部１５から出力された復元音声信号Ｄ８を入力
し、これをアナログ出力信号Ｄ９に変換して出力する。
そして、スピーカ１７は、Ｄ／Ａ変換器１６から出力さ
れたアナログ出力信号Ｄ９を入力し、これを音に変換し
て出力音声（復元音声）Ｄ１０として出力するように構
成されている。尚、Ｄ／Ａ変換器１６とスピーカ１７と
の間に、アナログ出力信号Ｄ９を増幅するアンプを設け
るように構成しても良い。

【００２５】次に、荷重平均演算部１５の音声復元機能
の原理及び動作について説明する。まず、時刻ｔにおけ
る雑音重畳音声信号Ｄ５、音声推定値Ｄ６、雑音推定値
Ｄ７をＩ（ｔ）、ｓ_ｏｕｔ（ｔ）、ｎ_ｏｕｔ（ｔ）と
し、復元音声信号Ｄ８をＳ（ｔ）とし、雑音重畳音声信
号Ｄ５に含まれる音声信号（原音声信号）をｓｒ（ｔ）
とする。今、神経回路網演算部１４が音声推定値Ｄ６と
雑音推定値Ｄ７を正しく推定できたと仮定すると、次の
２式が成り立つ。

【００２６】Ｓ（ｔ）＝ｓ_ｏｕｔ（ｔ）＝ｓｒ（ｔ）（１）Ｓ（ｔ）＝Ｉ（ｔ）−ｎ_ｏｕｔ（ｔ）＝ｓｒ（ｔ）（２）ここで、式（２）の場合は、雑音重畳音声信号Ｄ５から
雑音推定値Ｄ７を引き算することにより音声信号を求め
ている。

【００２７】しかし、神経回路網演算部１４により抽出
された音声推定値Ｄ６と雑音推定値Ｄ７には、高域成分
の欠落が生ずるので、上記式（１）及び式（２）のいず
れの場合も音声信号を正しく復元しない。即ち、式
（１）の場合は、音声推定値Ｄ６（復元音声信号Ｄ８）
に高域成分として例えば前述した子音の欠落が発生する
ので、復元音声信号Ｄ８は聴き取り難い不明瞭な音声と
なる。また、式（２）の場合は、雑音の高域成分が復元
音声信号Ｄ８に混入することになる。ここで、雑音の高
域成分が復元音声信号Ｄ８に混入する理由を説明する。

【００２８】まず、雑音重畳音声信号Ｄ５に含まれる雑
音信号をｎｒ（ｔ）とし、この雑音信号ｎｒ（ｔ）の低
域成分及び高域成分をそれぞれｎｒＬ（ｔ）及びｎｒＨ
（ｔ）とする。これにより、次の２式が成立する。

【００２９】Ｉ（ｔ）＝ｓｒ（ｔ）＋ｎｒ（ｔ）ｎｒ（ｔ）＝ｎｒＬ（ｔ）＋ｎｒＨ（ｔ）これら２式を用いて上記式（２）を変形すると、次に示
すように変形される。この場合、雑音推定値には高域清
部の欠落が生ずるので、ｎ_ｏｕｔ（ｔ）＝ｎｒＬ（ｔ）となる関係が成立し、これを用いて上記式（２）を下記
のように変形する。

【００３０】Ｓ（ｔ）＝Ｉ（ｔ）−ｎ_ｏｕｔ（ｔ）＝（ｓｒ（ｔ）＋ｎｒ（ｔ））−ｎ_ｏｕｔ（ｔ）＝（ｓｒ（ｔ）＋（ｎｒＬ（ｔ）＋ｎｒＨ（ｔ）））−ｎ_ｏｕｔ（ｔ）＝ｓｒ（ｔ）＋ｎｒＨ（ｔ）これにより、雑音の高域成分ｎｒＨ（ｔ）が復元音声信
号ｓｒ（ｔ）に混入していることがわかる。そして、こ
の式（２）により音声を復元した場合、この復元音声信
号Ｄ８には、高域成分、即ち、子音の欠落が発生しない
という長所がある。しかし、この場合、雑音重畳音声信
号Ｄ５に含まれる雑音信号の音圧が高くなると、その高
域成分ｎｒＨ（ｔ）が大きくなり、聴感を悪化させ、聴
き取り難くなるという問題がある。

【００３１】この問題を解決する方法として、式（１）
と式（２）を組み合わせて構成された下記の式（３）で
音声信号を復元することが考えられる。この式（３）
は、式（１）と式（２）の荷重平均を求めることであ
る。

【００３２】Ｓ（ｔ）＝Ａ（Ｉ（ｔ）−ｎ_ｏｕｔ（ｔ））＋Ｂｓ_ｏｕｔ（ｔ）（３）但し、Ａ≧０、Ｂ≧０、Ａ＋Ｂ＝１であり、これら係数
Ａ、Ｂは荷重係数である。

【００３３】この式（３）において、荷重係数Ａ、Ｂは
一般的に次のように設定する。即ち、雑音重畳音声信号
Ｄ５のＳ／Ｎ比が高い場合は、音声の子音の欠落を防止
するため、Ａ＞Ｂとする。反対に、雑音重畳音声信号Ｄ
５のＳ／Ｎ比が低い場合は、雑音の高域成分の混入を防
止するため、Ａ＜Ｂとする。従って、荷重係数Ａ、Ｂ
は、音声の子音の欠落、雑音の高域成分の混入のトレー
ドオフを調整する係数であると考えることができる。こ
のため、荷重係数Ａ、Ｂを適切な値に決定すれば、音声
の子音の欠落及び雑音の高域成分の混入を防止すること
ができ、聴き取り易い明瞭な音声を復元することができ
る。

【００３４】さて、本実施例の荷重平均演算部１５にお
いては、上記式（３）を一般化した下記の式（４）によ
って、雑音重畳音声信号Ｄ５、音声推定値Ｄ６、雑音推
定値Ｄ７の荷重平均を計算している。

【００３５】Ｓ（ｔ）＝αＩ（ｔ）−βｎ_ｏｕｔ（ｔ）＋γｓ_ｏｕｔ（ｔ）（４）ここで、α、β、γは、雑音重畳音声信号Ｄ５、音声推
定値Ｄ６、雑音推定値Ｄ７の各荷重係数である。そし
て、本実施例では、上記荷重係数α、β、γを次に説明
する方法、即ち、いわゆる最小自乗係数法により決定す
るように構成されている。

【００３６】荷重係数α、β、γを決定するに際して、
まず、適当に選んだサンプル音声に対して適当な雑音を
重畳して、雑音重畳音声Ｉ（ｔ）を生成する。そして、
この雑音重畳音声Ｉ（ｔ）をマイクロフォン１２及びＡ
／Ｄ変換器１３を介して神経回路網演算部１４に入力
し、神経回路網演算部１４から音声推定値ｓ
_ｏｕｔ（ｔ）及び雑音推定値ｎ_ｏｕｔ（ｔ）を出力させ
る。

【００３７】また、雑音重畳音声Ｉ（ｔ）に含まれるサ
ンプル音声をｓｒ（ｔ）と定義する。ここで、サンプル
音声の長さをＬとして、復元音声のサンプル音声に対す
る自乗誤差Ｅを下記の式で定義する。このＥは、復元音
声とサンプル音声との「ずれ」を表わす指標である。そ
して、このＥを最小化するように荷重係数α、β、γを
決定することにより、復元音声の最適化を実現すること
ができる。

【００３８】

【数２】尚、上記自乗誤差Ｅの式において、ｔは時刻であるが、
雑音重畳音声信号をＡ／Ｄ変換器１３によりデジタル信
号に変換していることから、ｔはサンプリングの番号と
なっている。具体的には、本実施例では、雑音重畳音声
信号を例えば１２ｋＨｚで（１／１２０００秒のサンプ
リング時間で）サンプリングしているので、Ｌを例えば
１秒の長さとすると、ｔは１〜１２０００までの番号と
なる。

【００３９】さて、復元音声を原音声（サンプル音声）
に最も近い音声とするには、上記自乗誤差Ｅを最小にす
るように荷重係数α、β、γの各値を設定すれば良い。
このような荷重係数α、β、γの各値は、次の連立方程
式を解くことにより得ることができる。

【００４０】

【数３】上記連立方程式を展開すると、次の３元連立方程式とな
り、この３元連立方程式をα、β、γについて解けば良
い。

【００４１】Ａ_１１α−Ａ_１２β＋Ａ_１３γ＝Ａ_１４Ａ_２１α−Ａ_２２β＋Ａ_２３γ＝Ａ_２４Ａ_３１α−Ａ_３２β＋Ａ_３３γ＝Ａ_３４尚、上記３元連立方程式における係数Ａ_１１〜Ａ
_３４は、下記のように定義されている。

【００４２】

【数４】そして、本実施例の荷重平均演算部１５においては、上
述した方法により決定した荷重係数α、β、γを用いて
雑音重畳音声信号Ｄ５、音声推定値Ｄ６、雑音推定値Ｄ
７の荷重平均Ｓ（ｔ）を計算し、この計算した荷重平均
Ｓ（ｔ）を復元音声信号Ｄ８として出力する。この復元
音声信号Ｄ８、即ち、スピーカ１７から出力される出力
音声（復元音声）Ｄ１０は、音声の子音の欠落及び雑音
の高域成分の混入が最も少ない音声となる。これによ
り、聴き取り易い明瞭な音声を復元することができる。

【００４３】また、荷重平均演算部１５において用いる
荷重係数α、β、γの各値は、使用するサンプル音声及
び重畳させる雑音にかなり依存する傾向がある。このた
め、音声復元装置１１を使用する環境に最も近い話者及
び雑音を使用して、荷重係数α、β、γの各値を決定す
ることが好ましい。具体的には、音声を話す話者を特定
できる場合には、その話者の音声をサンプル音声とす
る。また、雑音源を特定できる場合には、その雑音を重
畳させる雑音とする。そして、このようなサンプル音声
及び重畳雑音を用いて前述した最小自乗係数法により荷
重係数α、β、γの各値を決めることが好ましい。

【００４４】次に、上記した本実施例の音声復元装置１
１により復元した音声を評価する実験について説明す
る。この評価実験においては、本実施例の音声復元装置
１１を使用すると共に、これと比較する装置として、従
来構成の欄で説明したＳＳ方式を用いた音声復元装置
（以下、ＳＳ法比較装置と称す）と、先願（実願平７−
３２４５６５号）の装置（以下、先願比較装置と称す）
とを使用した。また、評価実験として、大きく分けて２
つの実験、即ち、各装置による復元音声のＳ／Ｎ比を比
較する実験Ａと、各装置による復元音声を複数の聴者に
聴かせて比較する実験（聴感実験）Ｂとを行った。以
下、これら２つの実験Ａ、Ｂについて順に説明する。

【００４５】まず、実験Ａの要領について述べる。男性
話者１名の音声により、カーナビゲーションの地図操作
コマンドである例えば７単語（具体的には、「上」、
「下」、「右」、「左」、「拡大」、「縮小」、「ワイ
ド」）を１組の音声データとして、１０組の音声データ
を用意した。この１０組の音声データには、第０番から
第９番の番号を付した。そして、雑音データとしては、
トヨタランドクルーザの走行時（具体的には、国道１号
を窓開でエアコンを使用した状態で走行したとき）の車
内騒音を使用した。また、神経回路網演算部１４で使用
する神経回路網としては、ニューロン数が３０のＲＮＮ
を使用すると共に、第０番の音声データを使って４００
時間学習させたものを使用した。そして、次の２つのス
テップの実験を行った。

【００４６】ステップ１においては、第０番から第４番
までの音声データに対して、即ち、７単語×５組＝３５
単語のそれぞれに対して、雑音データを重畳して、Ｓ／
Ｎ比が１０、５、０、−５ｄＢとなる雑音重畳音声を生
成する。そして、この雑音重畳音声を神経回路網演算部
１４へ入力して、音声推定値及び雑音推定値を求める。
更に、最小自乗係数法により荷重係数α、β、γを決定
する。

【００４７】この場合、第ｉ番目の単語（ｉ＝１、２、
………、３５）の長さをＬ_ｉとすると、下記の式によ
り、荷重係数α_ｉ、β_ｉ、γ_ｉを決定する。

【００４８】

【数５】ここで、ＳＲ_ｉ（ｔ）、Ｉ_ｉ（ｔ）、ｎ_ｉ（ｔ）、ｓ_ｉ
（ｔ）は、それぞれ原音声、雑音重畳音声、雑音推定
値、音声推定値である。

【００４９】次に、ステップ２においては、荷重平均演
算部１５において上記ステップ１で決定した荷重係数α
_ｉ、β_ｉ、γ_ｉを用いて荷重平均を計算するように構成
する。そして、上記１０組の音声データに対して、雑音
データを重畳して、Ｓ／Ｎ比が１０、５、０、−５ｄＢ
となる雑音重畳音声を生成する。続いて、この雑音重畳
音声を音声復元装置１１に入力させ、この音声復元装置
１１から復元音声を出力させる。また、上記雑音重畳音
声をＳＳ法比較装置に入力させ、このＳＳ法比較装置か
ら復元音声を出力させる。更に、上記雑音重畳音声を先
願比較装置に入力させ、この先願比較装置から復元音声
を出力させる。この後、各装置による復元音声のＳ／Ｎ
比を比較する。

【００５０】次に、上記ステップ１、２の実験結果につ
いて説明する。まず、入力信号である雑音重畳音声のＳ
／Ｎ比が１０、５、０、−５ｄＢである各場合につい
て、ステップ１で求めた荷重係数α_ｉ、β_ｉ、γ_ｉ（ｉ
＝１、２、………、３５）の相関を示す散布図を図３な
いし図６に示す。この場合、図３はＳ／Ｎ比が１０ｄＢ
の場合であり、図４はＳ／Ｎ比が５ｄＢの場合であり、
図５はＳ／Ｎ比が０ｄＢの場合であり、図６はＳ／Ｎ比
が−５ｄＢの場合である。これら図３ないし図６から、
α_ｉとβ_ｉとの間には正の相関があることがわかり、α
_ｉとγ_ｉとの間には負の相関があることがわかる。ま
た、雑音重畳音声のＳ／Ｎ比が低下するに伴い、α_ｉ、
β_ｉは減少し、γ_ｉは増加していることがわかる。ここ
で、入力信号（雑音重畳音声）の各Ｓ／Ｎ比において求
められた荷重係数の平均値を下記の表１に示す。

【００５１】

【表１】また、別の実験により、車内におけるカーナビゲーショ
ン地図操作コマンドの音声のＳ／Ｎ比は、ほぼ５ｄＢか
ら０ｄＢの範囲にあることがわかっている。そこで、荷
重係数α、β、γの値を、Ｓ／Ｎ比が５ｄＢの値と０ｄ
Ｂの値の平均値に設定して、具体的には、α＝０．５１
８、β＝０．４５０、γ＝０．４７９として、ステップ
２の実験を実行した。

【００５２】ここで、ステップ２の実験結果について説
明する。この場合、本実施例の音声復元装置１１では、
上記ステップ１で決定した荷重係数α、β、γ（α＝
０．５１８、β＝０．４５０、γ＝０．４７９）を用い
て音声を復元した。尚、先願比較装置では、本実施例の
音声復元装置１１の神経回路網演算部１４と同じ構成の
神経回路網演算部を使用し、雑音重畳音声から雑音推定
値を引き算したものを復元音声とした。従って、先願比
較装置は、本実施例の音声復元装置１１において荷重係
数α＝１、β＝１、γ＝０を用いた場合と等価な装置で
ある。

【００５３】まず、本実施例の音声復元装置１１によ
り、第０番から第４番の音声データに雑音データを重畳
した雑音重畳信号を入力して、復元した音声のＳ／Ｎ比
を下記の表２に示す。この表２において、平均の欄を除
く各単語の欄の数字は、第０番から第４番の音声データ
（雑音重畳信号）に対する５つの復元音声のＳ／Ｎ比の
平均値を示している。

【００５４】

【表２】そして、先願比較装置により、第０番から第４番の音声
データに雑音データを重畳した雑音重畳信号を入力し
て、復元した音声の各Ｓ／Ｎ比を下記の表３に示す。

【００５５】

【表３】また、ＳＳ法比較装置により、第０番から第４番の音声
データに雑音データを重畳した雑音重畳信号を入力し
て、復元した音声の各Ｓ／Ｎ比を下記の表４に示す。

【００５６】

【表４】更に、本実施例の音声復元装置１１により、第５番から
第９番の音声データに雑音データを重畳した雑音重畳信
号を入力して、復元した音声の各Ｓ／Ｎ比を下記の表５
に示す。

【００５７】

【表５】更にまた、先願比較装置により、第５番から第９番の音
声データに雑音データを重畳した雑音重畳信号を入力し
て、復元した音声の各Ｓ／Ｎ比を下記の表６に示す。

【００５８】

【表６】そして、ＳＳ法比較装置により、第５番から第９番の音
声データに雑音データを重畳した雑音重畳信号を入力し
て、復元した音声の各Ｓ／Ｎ比を下記の表７に示す。

【００５９】

【表７】上記６つの表から、最小自乗係数法を用いた本実施例の
音声復元装置１１が最も良好な復元音声を出力している
ことがわかる。具体的には、本実施例の音声復元装置１
１は、先願比較装置に比べて、Ｓ／Ｎ比が０．１〜０．
３ｄＢ高くなっていることがわかる。そして、本実施例
の音声復元装置１１は、ＳＳ法比較装置に比べると、Ｓ
／Ｎ比が１〜２ｄＢ高くなっていることがわかる。ここ
で使用した荷重係数（α、β、γ）＝（０．５１８、
０．４５０、０．４７９）は第０〜４番のデータに基づ
いて決定したものであるが、それ以外の未知のデータ第
５番〜９番のデータに対してもＳ／Ｎ比が改善されてい
ることに注意されたい。また、Ｓ／Ｎ比の比較は、全体
で（７単語）×（４通りのＳ／Ｎ比）×（１０発声）＝
２８０個のデータについて行ったが、本実施例の音声復
元装置１１による復元音声のＳ／Ｎ比が先願比較装置に
よるものよりも下回ったデータの数は、わずか５個であ
った。これにより、本実施例の音声復元装置１１は、デ
ータ依存性が少なく、その効果が非常に安定しているこ
とがわかる。

【００６０】次に、聴感実験Ｂについて説明する。この
実験Ｂでは、本実施例の音声復元装置１１と先願比較装
置により復元された音声を複数の聴者に実際に聴かせて
聴感（聴き取り易さ）を比較させた。具体的には、次の
２つのステップの実験を行った。尚、本実施例の音声復
元装置１１の荷重平均演算部１５において用いる荷重係
数α、β、γとしては、前記実験Ａで使用した荷重係数
（α＝０．５１８、β＝０．４５０、γ＝０．４７９）
を使用した。

【００６１】ステップ１においては、まず、１名の男性
話者及び１名の女性話者が発声した「北海道札幌市豊平
区」という地名の音声データに、雑音を重畳してＳ／Ｎ
比が５ｄＢとなる雑音重畳音声を生成する。そして、こ
の雑音重畳音声を本実施例の音声復元装置１１と先願比
較装置に入力して、それぞれ音声を復元させる。これに
より、次の４つの音声データが生成される。第１の音声
データは、男性話者の音声を本実施例の音声復元装置１
１により復元した音声である。第２の音声データは、男
性話者の音声を先願比較装置により復元した音声であ
る。第３の音声データは、女性話者の音声を本実施例の
音声復元装置１１により復元した音声である。第４の音
声データは、女性話者の音声を先願比較装置により復元
した音声である。

【００６２】ステップ２においては、１０名の被験者に
上記４つの音声データを聴かせてどちらが優れているか
を比較させる。具体的には、まず、第１の音声データと
第２の音声データを聴かせて、聴き取り易いと感じた方
に２点の点数を与え、両者に差がないと感じたときには
それぞれに１点の点数を与えるようにした。続いて、第
３の音声データと第４の音声データを聴かせ、同じよう
に点数を与えるようにした。そして、各音声データにつ
いて、与えられた点数の合計を求め、合計点数が高い方
が聴感が優れていると判断した。

【００６３】上記した実験Ｂの結果を下記の表８に示
す。この表８から、男性話者の音声及び女性話者の音声
いずれの場合も、本実施例の音声復元装置１１による復
元した音声の方が先願比較装置のそれよりも合計点数が
高く、従って、聴き取り易く且つ聴感が優れていること
がわかる。

【００６４】

【表８】図７は本発明の第２の実施例を示すものであり、第１の
実施例と異なるところを説明する。尚、第１の実施例と
同一部分には、同一符号を付している。上記第２の実施
例では、音声復元装置１１を使用する環境の変動が激し
くて、例えば話者や騒音を特定できないような場合に対
応して、３個の荷重係数α、β、γからなる１組の荷重
係数データを複数組備え、話者や騒音に応じて最適な荷
重係数データを選択して使用するように構成されてい
る。

【００６５】具体的には、図７に示すように、係数デー
タベース１８を設け、この係数データベース１８内に、
荷重係数α、β、γからなる１組の荷重係数データを複
数組（係数１、係数２、………、係数ｎ）格納してい
る。そして、話者を判別する話者判別機構１９と、騒音
の種類を判別する騒音判別機構２０とを設けている。こ
の場合、話者判別機構１９は、神経回路網演算部１４か
ら出力された音声推定値を入力し、この音声推定値に基
づいて話者を自動的に判別する構成であることが好まし
い。また、騒音判別機構２０は、神経回路網演算部１４
から出力された雑音推定値を入力し、この雑音推定値に
基づいて雑音の種類を自動的に判別する構成であること
が好ましい。

【００６６】そして、話者判別機構１９及び騒音判別機
構２０により判別された判別結果は、係数選択器２１へ
与えられる。この係数選択器２１は、係数データベース
１８に記憶された複数組の荷重係数データ（係数１、係
数２、………、係数ｎ）の中から、話者の判別結果と騒
音の種類の判別結果に応じた最適な荷重係数データを選
択し、選択した荷重係数データを荷重平均演算部１５へ
与えるように構成されている。尚、上述した以外の第２
の実施例の構成は、第１の実施例の構成と同じ構成とな
っている。

【００６７】従って、第２の実施例においても、第１の
実施例と同じ作用効果を得ることができる。特に、第２
の実施例では、話者の判別結果と騒音の種類の判別結果
に応じて最適な荷重係数データを選択して使用する構成
としたので、使用環境が激しく変動する場合でも、荷重
平均演算部１５により復元される音声は、原音声により
一層近くなる。

【００６８】尚、話者判別機構１９による話者の判別と
しては、男性話者または女性話者の判別（性別判定）
や、話者の個人名の判別や、話者の声の性質（高い声や
低い声等）の判別をすることが考えられる。そして、話
者の性別を判別するときは、性別に応じた荷重係数デー
タを係数データベース１８に格納しておくことが好まし
い。同様にして、話者の個人名を判別するときは、個人
名に応じた荷重係数データを、また、話者の声の性質を
判別するときは、声の性質に応じた係数データベース１
８に格納しておくことが好ましい。

【００６９】また、上記第２の実施例では、話者判別機
構１９により話者を自動判別する構成としたが、話者を
指示する複数の操作スイッチを設け、これら操作スイッ
チを操作することにより話者を指示するように構成して
も良い。更に、騒音判別機構２０により騒音の種類を自
動判別する構成の代わりに、騒音の種類を指示する複数
の操作スイッチを設け、これら操作スイッチを操作する
ことにより騒音の種類を指示するように構成しても良
い。

【００７０】更にまた、上記第２の実施例では、話者判
別機構１９及び騒音判別機構２０を設け、話者及び騒音
の種類の両方を判別するように構成したが、話者判別機
構１９または騒音判別機構２０のいずれか一方だけを設
け、話者または騒音の種類の一方を判別するように構成
しても良い。

【００７１】ところで、荷重係数α、β、γの各値に影
響を与える要因として、上述した話者や騒音の他に、入
力する雑音重畳音声のＳ／Ｎ比がある。一般的に、雑音
重畳音声のＳ／Ｎ比が低下するに伴って、荷重係数α、
βを小さくし、荷重係数γを大きくした方が良いことが
わかっている。そこで、図８に示す第３の実施例のよう
に構成することが好ましい。尚、第３の実施例の構成に
おいて、第２の実施例の構成と同一部分には、同一符号
を付している。

【００７２】上記第３の実施例では、図３に示すよう
に、係数データベース１８内に、３個の荷重係数α、
β、γからなる１組の荷重係数データをＳ／Ｎ比に対応
して複数組、例えば３組（１０ｄＢ用の荷重係数デー
タ、５ｄＢ用の荷重係数データ、０ｄＢ用の荷重係数デ
ータ）格納している。また、入力する雑音重畳音声のＳ
／Ｎ比を判定するＳ／Ｎ比判定手段２２を設けている。

【００７３】このＳ／Ｎ比判定手段２２は、神経回路網
演算部１４により分離抽出された音声推定値及び雑音推
定値の各平均電力を計算すると共に、これら平均電力の
比を計算し、この計算した平均電力比を雑音重畳音声の
Ｓ／Ｎ比であると推定するように構成されている。この
場合、音声推定値及び雑音推定値をｓ_ｏｕｔ（ｔ）及び
ｎ_ｏｕｔ（ｔ）とし、音声推定値及び雑音推定値の各平
均電力をＥｓ及びＥｎとすると、Ｅｓ及びＥｎは次の式
で計算されるように構成されている。

【００７４】

【数６】そして、平均電力比Ｅｓ／Ｅｎの値を雑音重畳音声のＳ
／Ｎ比であると推定している。この場合、Ｓ／Ｎ比判定
手段２２が平均電力比計算手段を構成している。更に、
神経回路網演算部１４とＳ／Ｎ比判定手段２２とからＳ
／Ｎ比推定装置が構成されている。

【００７５】また、係数選択器２１は、上記Ｓ／Ｎ比判
定手段２２からのＳ／Ｎ比推定値（具体的には、平均電
力比Ｅｓ／Ｅｎの値）を入力し、係数データベース１８
内の複数組の荷重係数データの中から上記Ｓ／Ｎ比推定
値に最も近いＳ／Ｎ比用の荷重係数データを選択し、選
択した荷重係数データを荷重平均演算部１５へ与えるよ
うに構成されている。尚、上述した以外の第３の実施例
の構成は、第２の実施例の構成と同じ構成となってい
る。従って、第３の実施例においても、第２の実施例と
同じ作用効果を得ることができる。

【００７６】図９及び図１０は本発明の第４の実施例を
示すものであり、第３の実施例と異なるところを説明す
る。尚、第３の実施例と同一部分には、同一符号を付し
ている。上記第４の実施例では、係数選択器２１に代え
て係数補間器２３を設けている。この係数補間器２３
は、雑音重畳音声のＳ／Ｎ比に対する荷重係数α、β、
γの性質を利用して、複数組の荷重係数データ（Ｓ／Ｎ
比の複数の値にそれぞれ対応する複数組の荷重係数デー
タ）から線形補間することにより、推定されたＳ／Ｎ比
の値に対応する荷重係数α、β、γを算出し、算出した
荷重係数α、β、γを荷重平均演算部１５へ与えるよう
に構成されている。

【００７７】ここで、上記係数補間器２３の線形補間計
算について、図１０を参照して説明する。今、Ｓ／Ｎ比
判定手段２２により推定されたＳ／Ｎ比の値が７ｄＢで
あったとする。この場合、図１０に示すように、５ｄＢ
用の荷重係数α、β、γ（点Ｐ１、点Ｐ２、点Ｐ３）と
１０ｄＢ用の荷重係数α、β、γ（点Ｑ１、点Ｑ２、点
Ｑ３）とから、線形補間（比例計算）することにより、
７ｄＢの荷重係数α、β、γ（点Ｒ１、点Ｒ２、点Ｒ
３）を計算する。

【００７８】尚、上述した以外の第４の実施例の構成
は、第３の実施例の構成と同じ構成となっている。従っ
て、第４の実施例においても、第３の実施例と同じ作用
効果を得ることができる。特に、第４の実施例では、推
定されたＳ／Ｎ比の値に対応する荷重係数α、β、γを
線形補間することにより算出する構成としたので、Ｓ／
Ｎ比に対応してより一層適切な荷重係数α、β、γを設
定することができる。

【００７９】尚、上記第３及び第４の実施例において
は、Ｓ／Ｎ比判定手段２２の他に、話者判別機構１９及
び騒音判別機構２０を設け、話者及び騒音の種類を判別
するように構成し、そして、判別した話者、騒音の種
類、Ｓ／Ｎ比に対応して最も適した荷重係数データを選
択して使用するように構成しても良い。

【００８０】また、上記各実施例においては、神経回路
網演算部１４で使用する神経回路網としてＲＮＮを用い
る構成としたが、これに代えて、例えば階層型神経回路
網を用いる構成としても良い。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図

【図２】リカレントニューラルネットワークを示す図

【図３】荷重係数α、β、γの相関関係を示す図

【図４】異なるＳ／Ｎ比に対応する図３相当図

【図５】異なるＳ／Ｎ比に対応する図３相当図

【図６】異なるＳ／Ｎ比に対応する図３相当図

【図７】本発明の第２の実施例を示す要部のブロック図

【図８】本発明の第３の実施例を示す図７相当図

【図９】本発明の第４の実施例を示す図７相当図

【図１０】荷重係数α、β、γの線形補間計算を説明す
るための図

【図１１】従来構成を示す図２相当図

【図１２】（ａ）は原音声を示す図、（ｂ）は音声推定
値を示す図

【図１３】音声推定値と雑音推定値を出力する神経回路
網を示す図

【符号の説明】

１１は音声復元装置、１２はマイクロフォン、１４は神
経回路網演算部、１５は荷重平均演算部、１７はスピー
カ、１８は係数データベース、１９は話者判別機構、２
０は騒音判別機構、２１は係数選択器、２２はＳ／Ｎ比
判定手段（平均電力比計算手段）、２３は係数補間器を
示す。

Claims

【特許請求の範囲】

【請求項１】雑音が重畳された音声である雑音重畳音
声を入力し、この雑音重畳音声を神経回路網を用いて音
声推定値と雑音推定値とに分離する音声抽出手段と、前記雑音重畳音声、前記音声推定値及び前記雑音推定値
に対し、それぞれに対応する荷重係数を乗じて、前記雑
音重畳音声、前記音声推定値、前記雑音推定値の荷重平
均を求めることにより音声を復元する音声復元手段とを
備えて成る音声復元装置。
【請求項２】前記音声復元手段は、荷重平均を求める
際に使用する荷重係数として、サンプル音声に対する復
元音声の自乗誤差を最小にするような荷重係数を使用す
るように構成されていることを特徴とする請求項１記載
の音声復元装置。
【請求項３】前記音声復元手段は、前記雑音重畳音
声、前記音声推定値及び前記雑音推定値にそれぞれ対応
する３個の荷重係数から構成された１組の荷重係数デー
タを複数組備え、音声を話す話者によって最適な荷重係
数データを選択するように構成されていることを特徴と
する請求項１または２記載の音声復元装置。
【請求項４】前記音声復元手段は、前記雑音重畳音
声、前記音声推定値及び前記雑音推定値にそれぞれ対応
する３個の荷重係数から構成された１組の荷重係数デー
タを複数組備え、使用環境の騒音の種類によって最適な
荷重係数データを選択するように構成されていることを
特徴とする請求項１または２記載の音声復元装置。
【請求項５】前記音声復元手段は、前記雑音重畳音
声、前記音声推定値及び前記雑音推定値にそれぞれ対応
する３個の荷重係数から構成された１組の荷重係数デー
タを複数組備え、前記雑音重畳音声のＳ／Ｎ比によって
最適な荷重係数データを選択して使用するように構成さ
れていることを特徴とする請求項１または２記載の音声
復元装置。
【請求項６】雑音重畳音声を入力し、この雑音重畳音
声を神経回路網を用いて音声推定値と雑音推定値とに分
離する音声抽出手段と、前記音声推定値及び前記雑音推定値の各平均電力を計算
すると共に、これら平均電力の比を計算する平均電力比
計算手段とを備え、前記平均電力比を前記雑音重畳音声のＳ／Ｎ比であると
推定することを特徴とするＳ／Ｎ比推定装置。
【請求項７】前記音声推定値及び前記雑音推定値の各
平均電力を計算すると共に、これら平均電力の比を計算
する平均電力比計算手段と、前記平均電力比を前記雑音重畳音声のＳ／Ｎ比であると
推定する推定手段とを備え、前記音声復元手段は、前記雑音重畳音声、前記音声推定
値及び前記雑音推定値にそれぞれ対応する３個の荷重係
数から構成された１組の荷重係数データを複数組備え、
前記推定された前記雑音重畳音声のＳ／Ｎ比によって最
適な荷重係数データを選択して使用するように構成され
ていることを特徴とする請求項１または２記載の音声復
元装置。
【請求項８】入力した雑音重畳音声を、神経回路網を
用いた音声抽出手段によって音声推定値と雑音推定値と
に分離した後、前記雑音重畳音声、前記音声推定値、前記雑音推定値の
荷重平均を求めることにより音声を復元することを特徴
とする音声復元方法。
【請求項９】サンプル音声に対する復元音声の自乗誤
差を最小にする荷重係数を計算し、この計算した荷重係
数を前記雑音重畳音声、前記音声推定値、前記雑音推定
値の荷重平均を求める際に使用することを特徴とする請
求項８記載の音声復元方法。
【請求項１０】前記雑音重畳音声、前記音声推定値及
び前記雑音推定値にそれぞれ対応する３個の荷重係数か
ら構成された１組の荷重係数データを複数組備え、音声を話す話者によって前記複数組の荷重係数データの
中から最適な荷重係数データを選択することを特徴とす
る請求項８または９記載の音声復元方法。
【請求項１１】前記雑音重畳音声、前記音声推定値及
び前記雑音推定値にそれぞれ対応する３個の荷重係数か
ら構成された１組の荷重係数データを複数組備え、環境の騒音の種類によって前記複数組の荷重係数データ
の中から最適な荷重係数データを選択することを特徴と
する請求項８または９記載の音声復元方法。
【請求項１２】前記雑音重畳音声、前記音声推定値及
び前記雑音推定値にそれぞれ対応する３個の荷重係数か
ら構成された１組の荷重係数データを複数組備え、前記雑音重畳音声のＳ／Ｎ比によって前記複数組の荷重
係数データの中から最適な荷重係数データを選択するこ
とを特徴とする請求項８または９記載の音声復元方法。
【請求項１３】雑音重畳音声を入力し、この雑音重畳
音声を神経回路網を用いて音声推定値と雑音推定値とに
分離した後、これら音声推定値及び雑音推定値の各平均電力を計算す
ると共に、この計算した平均電力の比を計算し、そし
て、前記平均電力比を前記雑音重畳音声のＳ／Ｎ比であると
推定することを特徴とするＳ／Ｎ比推定方法。
【請求項１４】前記雑音重畳音声、前記音声推定値及
び前記雑音推定値にそれぞれ対応する３個の荷重係数か
ら構成された１組の荷重係数データを複数組備え、前記音声推定値及び前記雑音推定値の各平均電力を計算
すると共に、この計算した平均電力の比を求め、この平
均電力比を前記雑音重畳音声のＳ／Ｎ比であると推定
し、そして、この推定した前記雑音重畳音声のＳ／Ｎ比によって前記
複数組の荷重係数データの中から最適な荷重係数データ
を選択することを特徴とする請求項８または９記載の音
声復元方法。