JPH07146700A - ピッチ強調方法および装置ならびに聴力補償装置 - Google Patents

Abstract

(57)【要約】 【目的】音声の基本周波数成分を強調することにより、
電話音声等の帯域制限によって基本周波数成分が欠落ま
たは減衰した音声の音質を改善し、ピッチ知覚に必要な
音声分析機能の低下した聴覚障害者のピッチ知覚を補助
する。 【構成】音声を入力する手段と、音声を分析して加工す
る手段と、音声を再生して出力する手段を有する音響処
理装置において、入力音声の基本周波数を抽出する基本
周波数抽出部１１０と、該音声の周波数スペクトルにお
ける基本周波数位置を中心とする基本周波数幅のレベル
を強調する基本周波数レベル強調部１１３を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音響処理装置に関し、
特に聴力障害者の聴力補償、および劣化音声の回復を目
的とする音声信号処理装置に関する。

【０００２】

【従来の技術】従来の補聴器などの聴覚補償装置は、ア
ナログ増幅器により入力音声を拡声して再生するものが
大部分であった。

【０００３】近年、ディジタル技術の進歩にしたがっ
て、複雑な処理をより短い時間で実行できるようになっ
た。これに伴い、例えば Working Group on Communicat
ion Aids for the Hearing-Impaired による"スピーチ・
パーセプション・エイズ・フォー・ヒアリング・インペアー
ド・ピープル:カレント・ステータス・アンド・ニーデッド・
リサーチ(Speech-perception aids for hearing-impair
ed people: Current status and needed research)"
(J. Acoust. Soc. Am. 90(2)、 Pt. 1、 August 1991、
pp637-685) に記載のように、聴覚障害者の可聴域の周
波数特性に合わせて周波数ごとに細かく増幅率を調整す
る方法や、音声の情報を聴力の残っている領域へ周波数
方向に移動する方法、また、音声の持つ種々の特徴を選
択的に強調する方式等が提案されている。

【０００４】一方、人間は、音声の音の高さ、すなわち
ピッチの時間変化によって同音語の話し分けや、聞き分
け、意図表現を行い、発話者の意図を推定する。一般
に、音声におけるピッチは、発話者の声帯振動の基本周
波数に基づく音響的特徴を、人間が聴覚系で分析するこ
とによって知覚されるもので、音声による意志の伝達を
行う上で重要な役割を持つ特徴である。聴覚系において
は、波形の微細構造の時間的な特徴や、基本周波数、お
よび基本周波数とその高調波成分に対する周波数的な特
徴をもとに総合的にピッチ知覚が行われていると考えら
れている。健聴者はこれらのうちの一部の情報が得られ
ればピッチ知覚を行うことができるが、聴覚障害によっ
て周波数選択性や、時間分解能が低下している場合は、
これらの音声の特徴を十分に利用することができないた
め、しばしばピッチ知覚が困難になる。例えば、ムーア
（Moore）およびピーターズ（Peters）による "（ピッ
チ・ディスクリミネーション・アンド・フェイズ・センシテ
ィビティ・イン・ヤング・アンド・エルダリー・サブジェク
ツ・アンド・イッツ・リレーションシップ・トゥー・フレケ
ンシー・セレクティビティ（Pitch discrimination and
phase sensitivity in young and elderly subjects an
d its relationship to frequency selectivity）"、
J. Acoust. Soc. Am. 91 (5)、 May 1992、 pp2881-289
3を参照されたい。

【０００５】ところで、通信回線等を通して音声を伝送
する場合、通常は伝送系の情報伝送レートの制約から、
帯域制限を行って情報量を削減する。例えば、電話回線
では、300Hz〜3.4kHz程度に帯域制限されている。通
常、音声のピッチは80〜400Hzであるため、比較的低い
ピッチを持つ男性などではピッチ周波数が電話帯域から
外れることによってピッチ情報が欠落または減衰する。
このような場合は、特に音声分析機能の衰えた聴覚障害
者では、音声から得ることのできるピッチに関する情報
が不足するために、ピッチの知覚が困難になる。また、
健聴者にとっても音質の劣化が感じられる。

【０００６】ピッチ情報に関して聴覚障害者の補聴を行
う方式として、特に高度の聴覚障害者に対して、読唇時
の補助情報として音声の基本周波数変化に合わせて変調
した正弦波を与える方式が、例えば、グラント（Gran
t）による "エンコーディング・ボイス・ピッチ・フォ
ー・プロファウンドリィ・ヒアリングインペアード・リ
スナーズ（Encoding voice pitch for profoundly hear
ing-impaired listerners）" J. Acoust. Soc. Am. 82
(2)、 August 1987、 pp423-432に提案されている。ま
た、電話音に対する帯域制限を補償し、原音に近づける
ために、音声信号に対して電話特性の逆特性を持つフィ
ルタをかける方法も考えられる。

【０００７】

【発明が解決しようとする課題】上記従来技術のうち、
音声の基本周波数変化に合わせて変調した正弦波を与え
る補聴方式は、音声を直接加工するものではない。した
がって、音声情報のみを用いて発話内容を理解すること
を目的とする補聴装置には適用されない。

【０００８】また、電話の実際の伝送系では、雑音付加
や伝送歪等により、帯域外には音声信号以外の情報が存
在するため、電話特性の逆特性を持つフィルタをかける
方法は、雑音を同時に増幅することによって明瞭度や聞
きやすさを損なう可能性がある。

【０００９】本発明の目的は、音声の基本周波数成分を
強調することにより、電話音声等の帯域制限によって基
本周波数成分が欠落または減衰した音声の音質を改善
し、ピッチ知覚に必要な音声分析機能の低下した聴覚障
害者のピッチ知覚を補助することができるピッチ強調方
法および装置ならびに聴力補償装置を提供することにあ
る。

【００１０】

【課題を解決するための手段】上記の問題を解決するた
めに、本発明のピッチ強調装置では、音声の基本周波数
を抽出する手段（基本周波数抽出部）と、抽出した基本
周波数に基づいて音声スペクトルの基本周波数位置のレ
ベルを強調する手段（基本周波数レベル変更部）とを設
けた。

【００１１】基本周波数レベル変更部において音声スペ
クトルの基本周波数位置のレベルを変更する第１の手段
として、音声の周波数スペクトルに、基本周波数位置に
中心を持つ基本周波数幅の窓を掛ける方法を用いること
ができる。

【００１２】基本周波数レベル変更部において音声スペ
クトルの基本周波数位置のレベルを変更する第２の手段
として、入力音声の周波数スペクトルに、基本周波数位
置に中心を持つ基本周波数幅の窓を加える方法を用いる
ことができる。

【００１３】基本周波数レベル変更部において音声スペ
クトルの基本周波数位置のレベルを変更する第３の手段
として、入力音声の周波数スペクトルの基本周波数位置
の基本周波数幅の成分を、基本周波数位置に中心を持つ
基本周波数幅の窓で置換する方法を用いることができ
る。

【００１４】

【作用】本発明によるピッチ強調装置は、音声スペクト
ルの基本周波数位置の成分に対し、音声スペクトルの基
本周波数位置のレベルを変更することによってピッチ強
調を行う。これにより、電話音声等の帯域制限によって
基本周波数成分が欠落または減衰した音声の音質を改善
し、あるいはピッチ知覚に必要な音声分析機能の低下し
た聴覚障害者のピッチ知覚を補助することができる。

【００１５】一般に、電話回線などを伝送された音声で
は、帯域制限のために基本周波数成分が減衰する。この
ような音声のうち、レベルは低いが基本周波数成分が残
存している場合は、伝送系を通過する前の、もとの音声
の形状を保存したまま基本周波数成分のレベルのみを増
幅することによってピッチを強調する。そのために、周
波数スペクトルの基本周波数位置に窓処理をほどこす。
このとき、基本周波数位置以外の制限された帯域には、
雑音のために本来の音声以外の成分が存在することがあ
る。そこで、基本周波数以外の成分を増幅しないため
に、基本周波数位置に中心を持つ基本周波数幅の窓を掛
けるか、または加える。これによって、音質を改善しつ
つピッチを強調することが可能となる。

【００１６】減衰が急峻である場合や、回線歪等の影響
のために、基本周波数成分がもとの音声の該成分に対し
て変形していたり、もとの音声の成分がほとんど残存し
ていない場合は、音声周波数スペクトルの基本周波数位
置を基本周波数成分を模擬する窓で置換することによっ
て、音質を改善しつつピッチを強調することが可能であ
る。

【００１７】また、窓を用いたスペクトルの変更後のレ
ベルは、聴取者の好みや聴覚特性に合わせて変更可能と
すれば、個人適合が行える。また、基準音声の基本周波
数成分のレベルに等しくなるように調整することも可能
である。その際、基準音声の基本周波数成分のレベル
は、例えば、伝送系の減衰特性をスペクトルアナライザ
等の装置を用いて測定し、基本周波数位置での減衰率か
ら推定すれば、ピッチ強調された音声は、伝送系を通過
する前の音声の音質に近づけることが可能である。

【００１８】

【実施例】以下、本発明の実施例を図を用いて説明す
る。

【００１９】図１は、本発明であるピッチ強調装置の一
実施例を説明するブロック図である。図１において、入
力音声信号１０１はＡ／Ｄ変換部１０２においてディジ
タル波形信号１０３に変換され、フレーム処理部１０４
において適当な時間窓を用いて数十ミリ〜百ミリ秒程度
の連続的な短時間区間波形信号１０５となる。短時間区
間波形信号１０５は、フーリエ変換部１０６において周
波数スペクトル１０７、１１２に変換される。ケプスト
ラム分析部１０８は、周波数スペクトル１０７のパワー
スペクトルを求め、その対数の逆フーリエ変換を行うこ
とによってケプストラム１０９を計算する。このケプス
トラム１０９から、基本周波数抽出部１１０は、基本周
波数１１１を抽出する。ケプストラム分析に基づく基本
周波数抽出方法については、例えば「ディジタル音声処
理」（古井、東海大学出版会、１９８５）に記載されて
いる。ピッチ強調部１１３は、周波数スペクトル１１２
の基本周波数位置のレベル（振幅）を変更することによ
ってピッチを強調する。１１４は、ピッチ強調部１１３
から出力されるピッチ強調された周波数スペクトルであ
る。ピッチ強調された周波数スペクトル１１４は、フー
リエ逆変換部１１５で短時間区間波形信号１１６に逆変
換された後、波形再構築部１１７において連続波形１１
８に再構築される。されに、Ｄ／Ａ変換部１１９におい
てアナログ音声信号１２０に変換された後、ピッチ強調
された音声として出力される。

【００２０】なお、基本周波数抽出法は、上記実施例記
載のケプストラム分析によるもの以外にも、自己相関関
数を用いるものや、波形の零交差数の計測によるもの等
があり、いずれの方法を用いても本ピッチ強調装置を実
現することができる。

【００２１】図２は、ピッチ強調の概念図である。入力
音声のある短時間区間の周波数スペクトルを２０１とす
る。２０２は、ある伝送系の周波数特性を仮定したもの
であり、２０１はこのような特性を持った系を伝送され
た結果、制限された周波数帯域で減衰しているものとす
る。本発明のピッチ強調装置では、このような入力音声
の基本周波数Ｆ0位置のスペクトルレベルを２０３のよ
うに増加変更することによって、ピッチを強調する。ス
ペクトルレベルを変更する方法としては、図３に示すよ
うな周波数軸上の窓を用い、該スペクトルに該窓の関数
を掛けるか加える、あるいは該窓で置換することによ
る。以下、具体的に説明する。

【００２２】図３は、基本周波数成分を強調する窓の一
例である。図３において、Ｆ0は基本周波数を表し、周
波数軸上での中心および幅がＦ0である。窓の形状を関
数Ｗ（ｆ）で規定すると、強調窓は次式で表される。た
だし、Ｗ（ｆ）は、ｆ＝Ｆ0で最大値１をとる。

【００２３】

【数１】

【００２４】音声周波数スペクトルにこの窓の関数を掛
けることによって基本周波数成分を変更する場合は、変
更後のスペクトルＳ（ｆ）は、変更前のスペクトルＳ0
（ｆ）に対して、次式で表される。

【００２５】

【数２】

【００２６】ここで、ａは、増幅度を規定する変数であ
る。

【００２７】音声周波数スペクトルに窓関数を加えるこ
とによって基本周波数成分を変更する場合は、変更後の
スペクトルＳ（ｆ）は同様に、

【００２８】

【数３】

【００２９】で表される。

【００３０】音声周波数スペクトルを窓関数で置換する
ことによって基本周波数成分を変更する場合は、変更後
のスペクトルＳ（ｆ）は、

【００３１】

【数４】

【００３２】で表される。ここで、ｂは、レベルに対す
るオフセットを表し、ａ、ｂの両変数を適当に与えるこ
とによって、もとの音声の基本周波数成分の形状に近い
窓を実現する。

【００３３】基本周波数成分近傍の雑音レベルが高い場
合は、図４に示すように、基本周波数位置以外の成分を
抑制するような窓関数を選択することによってピッチを
より強調することができる。図４で、ｆcは、抑制する
周波数幅を表す。該窓関数は、次式で規定される。

【００３４】

【数５】

【００３５】なお、窓の形状は左右対称である必要はな
く、例えば図５や６に示すような形状であってもよい。
ただし、境界付近での傾きが急峻な関数を用いると、変
更後のスペクトルが不連続になり、音質が劣化する場合
がある。

【００３６】次式に、図３に対応するＷ（ｆ）の例を示
す。

【００３７】

【数６】

【００３８】ただし、

【００３９】

【数７】

【００４０】である。なお、σp、σnは標準偏差を表
す。式６のＷ（ｆ）は、ガウス分布を表す式を組合せた
もので、いわゆるメキシカンハットの形状を持つ。

【００４１】図７は、伝送系の周波数特性に基づいたレ
ベル補償を表す図である。今、７０１を伝送系の周波数
特性とする。また、伝送系を通過する前後の音声周波数
スペクトルの基本周波数成分をそれぞれ７０２、７０３
とする。伝送系の周波数特性は、スペクトルアナライザ
等を用いて測定することができる。７０１より、基本周
波数位置Ｆ0における減衰率Ｇが求められる。変更前の
音声周波数スペクトルのＦ0におけるレベルをＬ0とする
と、伝送系を通過する前の音声のＦ0位置におけるレベ
ルＬは、

【００４２】

【数８】

【００４３】となる。そこで、基本周波数位置のレベル
がＬになるように式２、３、４のパラメータａ、ｂを調
節した窓を用いてピッチを強調する。

【００４４】図８は、本発明に基づいてピッチを強調し
た音声の周波数スペクトルの例である。図から分かるよ
うに基本周波数位置Ｆ0において、スペクトルのレベル
が増強されている。

【００４５】以上の実施例では、基本周波数成分を強調
する窓を実現するために数式を用いたが、数式を用いる
以外に、予めテーブルにデータを格納しておき、必要部
分を取り出すいわゆるテーブルルックアップを用いるこ
とも可能である。この方法では、データを離散量として
扱うため、強調窓も離散化してテーブルに格納する。但
し、窓長は基本周波数によって変化し、また、離散量の
ポイント数も標本化周波数とＦＦＴサイズによって異な
る。そこで、テーブルには定められた形状の窓を充分大
きなポイント数で表わした離散量を標準値として格納し
ておき、状況に応じて間引きして用いる。図９に、この
ような、基本周波数成分を強調する窓関数の標準値を格
納したテーブルの例を示す。ここで、Ｎ1,Ｎ2はそれぞ
れ窓の中心０から両端までのポイント数であり、充分大
きな整数とする。窓が左右対象の場合は、Ｎ1とＮ2は等
しくなる。また、Ｘ［・］は各ポイントにおける窓関数
値である。

【００４６】図１０に、窓形状１００１を用いたときの
各ポイントに対する窓関数値の設定例を示す。いま、抽
出した基本周波数をＦ0、標本化周波数Ｆs、ＦＦＴサイ
ズをＮFFTとすると、実際に用いる窓の中心から両端ま
でのポイント数Ｍ1,Ｍ2は、時式で表わされる。

【００４７】

【数９】

【００４８】

【数１０】

【００４９】但し、int(・)は、実数を整数に変換する関
数を表わすものとする。

【００５０】中心位置のポイントを０としたとき、実際
に用いる窓のｉ番目のポイントが参照するテーブルの位
置ｊは、

【００５１】

【数１１】

【００５２】となる。したがって、ｉ番目のポイントに
おける周波数ｆiでの窓関数値Ｗ(fi)は、

【００５３】

【数１２】

【００５４】となる。

【００５５】図１１に、本実施例のピッチ強調装置のハ
ードウエア構成例を示す。この装置１１００は、入力音
声信号１１０１（図１の１０１に対応）を受けて増幅す
る増幅器１１０２と、この増幅器の出力を受けるフィル
タ１１０３と、このフィルタのアナログ出力をデジタル
信号に変換するアナログデジタル（Ａ／Ｄ）変換器１１
０４と、ピッチ強調処理を含む処理プログラムを格納し
たプログラムメモリ１１０６と、このプログラムに基づ
いてデジタル信号処理を行うデジタルシグナルプロセッ
サ（ＤＳＰ）１１０５とを備える。ＤＳＰ１１０５によ
り、図１の要素１０４、１０６、１０８、１１０、１１
３、１１５、および１１７の処理が実行される。装置１
１００は、さらに、ＤＳＰ１１０５の処理前の入力デー
タおよび処理結果のデータの格納領域、あるいは作業領
域として利用されるデータメモリ１１０７、ＤＳＰ１１
０５の処理結果のデータをアナログ信号に変換するデジ
タルアナログ（Ｄ／Ａ）変換器１１０８、このＤ／Ａ変
換器出力を受けるフィルタ１１０９および増幅器１１１
０を備える。増幅器１１１０の出力１１１１が図１のア
ナログ音声信号１２０に対応する。

【００５６】図１２は、図１１に示したピッチ強調装置
１１００の実際の使用例を示す。この例では、入力側に
マイクロフォン１２０１、出力側にスピーカ１２０２が
接続されて使用される。

【００５７】図１３は、ピッチ強調装置１１００の他の
使用例を示す。この例は、アナログ回線用の電話器に応
用したものである。伝送路１３０１を通してアナログ電
話機１３０２に入力した音声信号をピッチ強調装置１１
００に入力し、強調処理を行った後、ハンドセット１３
０３のスピーカ１３０４からピッチ強調された音声を出
力する。ハンドセット１３０３のピックアップマイクロ
フォン１３０５の入力はそのまま電話機１３０３に送ら
れる。

【００５８】図１４は、ピッチ強調装置１１００をデジ
タル回線用の電話機に応用した例を示す。デジタル回線
を用いた電話機１４０２では、入力信号が既にデジタル
化されているため、フィルタ部１１０３およびＡ／Ｄ変
換部１１０４（図１１）を省略することができる。

【００５９】図１５は、ピッチ強調装置１１００を送信
機の前処理部として用いた場合の応用例を示す。テレ
ビ、ラジオ等の送信機の音声信号入力の前処理部に本ピ
ッチ強調装置を用いいることによって、予めピッチ強調
した音声を送信することが可能になる。

【００６０】図１６は、ピッチ強調装置１１００を受信
機の後処理部として用いた場合の応用例を示す。テレ
ビ、ラジオ等の受信機１６０４の後処理部として本ピッ
チ強調装置を用いることにより、受信した音声信号を強
調することが可能になる。

【００６１】図１７は、強調量可変のピッチ強調装置１
１００の例を示す。外部ボリューム１７０１を用いて強
調量コントローラ１７０２によりピッチ強調量を外部か
ら可変にしたものである。

【００６２】

【発明の効果】音声スペクトルの基本周波数位置の成分
を、基本周波数幅の窓関数を用いて変更することによっ
て、周囲の雑音等の不必要な情報を増幅することなく、
ピッチ情報のみが強調される。これにより、特に音声分
析機能の衰えた聴覚障害者のピッチ知覚を補助すること
が可能となった。

【図面の簡単な説明】

【図１】本発明であるピッチ強調装置の一実施例を説明
するブロック図である。

【図２】本発明によるピッチ強調の概念図である。

【図３】実施例において基本周波数成分を強調する窓の
一例を示す波形図である。

【図４】実施例において基本周波数成分近傍を抑制する
窓の一例を示す波形図である。

【図５】実施例において基本周波数成分を強調する非対
称窓の一例を示す波形図である。

【図６】実施例において基本周波数成分近傍を抑制する
非対称窓の一例を示す波形図である。

【図７】実施例における伝送系の周波数特性に基づいた
レベル補償を表す説明図である。

【図８】本発明に基づいてピッチを強調した音声の周波
数スペクトルの例を示す波形図である。

【図９】実施例において用いうる、窓関数の標準値を格
納するテーブルの説明図である。

【図１０】図９のテーブルを用いた窓の設定方法の説明
図である。

【図１１】実施例のピッチ強調装置のハードウエア構成
例を示すブロック図である。

【図１２】図１１のピッチ強調装置の応用例を示すブロ
ック図である。

【図１３】図１１のピッチ強調装置の他の応用例を示す
ブロック図である。

【図１４】図１１のピッチ強調装置のさらに他の応用例
を示すブロック図である。

【図１５】図１１のピッチ強調装置の別の応用例を示す
ブロック図である。

【図１６】図１１のピッチ強調装置の今一つの応用例を
示すブロック図である。

【図１７】図１１のピッチ強調装置の変形例を示すブロ
ック図である。

【符号の説明】

１０１…入力音声、１０７、１１２…周波数スペクト
ル、１０９…ケプストラム、１１１…基本周波数、１１
４…ピッチ強調スペクトル、８０１…ピッチ強調前音声
パワースペクトル、８０２…ピッチ強調後音声パワース
ペクトル

Claims (8)

【特許請求の範囲】
1. 【請求項１】音声信号を入力する手段と、 該音声信号から入力音声の周波数スペクトルを求める手
   段と、 前記音声信号の基本周波数を抽出する手段と、 前記周波数スペクトルのうち、前記抽出された基本周波
   数の周波数スペクトル成分を強調するレベル強調手段
   と、 前記周波数スペクトルをこれに対応する音声信号に変換
   する手段と、 該変換により得られた音声信号を音声に変換する手段
   と、 を備えたことを特徴とするピッチ強調装置。
2. 【請求項２】前記レベル強調手段は、前記周波数スペク
   トルにおける基本周波数位置を中心とする基本周波数幅
   のスペクトルレベルを増加させることを特徴とする請求
   項１記載のピッチ強調装置。
3. 【請求項３】前記レベル強調手段は、前記入力音声の周
   波数スペクトルに、基本周波数位置に中心を持つ基本周
   波数幅の窓関数を掛けることにより前記強調を行うこと
   を特徴とする請求項１または２記載のピッチ強調装置。
4. 【請求項４】前記レベル強調手段は、前記入力音声の周
   波数スペクトルに、基本周波数位置に中心を持つ基本周
   波数幅の窓関数を加えることにより前記強調を行うこと
   を特徴とする１または２記載のピッチ強調装置。
5. 【請求項５】前記レベル強調手段は、前記入力音声の周
   波数スペクトルの基本周波数位置の基本周波数幅の成分
   を、基本周波数位置に中心を持つ基本周波数幅の窓関数
   で置換することを特徴とする１または２記載のピッチ強
   調装置。
6. 【請求項６】伝送手段により劣化した入力音声に対し
   て、前記レベル強調手段は、前記入力音声の基本周波数
   成分のレベルを、前記入力音声の劣化する前の基本周波
   数成分のレベルに等しくなるように変更することを特徴
   とする請求項１または２記載のピッチ強調装置。
7. 【請求項７】音声を入力する手段と、音声を分析して加
   工する手段と、音声を再生して出力する手段とを有する
   音響処理装置におけるピッチ強調方法であって、 入力された音声の基本周波数を抽出し、該音声の周波数
   スペクトルにおける基本周波数位置を中心とする基本周
   波数幅のレベルを変更することにより、前記入力された
   音声のピッチを強調することを特徴とするピッチ強調方
   法。
8. 【請求項８】音声を音声信号に変換する手段と、 該変換により得られた音声信号からその周波数スペクト
   ルを求める手段と、 該前記音声信号の基本周波数を抽出する手段と、 前記周波数スペクトルのうち、前記抽出された基本周波
   数の周波数スペクトル成分を強調する手段と、 前記周波数スペクトルをこれに対応する音声信号に変換
   する手段と、 該変換により得られた音声信号を音声に変換する手段
   と、 を備えたことを特徴とする聴力補償装置。