JPH07134598A - 音声の基本周波数出力システム - Google Patents

Abstract

(57)【要約】 【目的】 出力面の寸法やデータ数の変化に応じて基本
周波数パターンの出力状態を調節し得、視覚的に明瞭な
結果を得るシステムを提供する。 【構成】 音声波形分析部１２は、音声波形から所定の
音韻列区間毎の基本周波数及び振幅値を抽出し、分析デ
ータ保持部１６に一時保存する。音節時間長正規化部１
３は一つの音節の分析時間長を基準として他の音節の時
間長を正規化し、、同一時間軸上で複数の基本周波数パ
ターンを比較観察できるようにする。正規化された時間
長は、出力装置２への表示位置の決定のために表示位置
演算部１４に導かれるが、その決定の際に出力面の寸法
情報が考慮され、更に、表示間隔の下限値等の出力条件
に適合するもののみが抽出されて表示データが作成され
る。これにより冗長データが排除され、明瞭な出力結果
が得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声の生成や認識分野
における音声韻律の分析技術に係り、特に、同じ文字列
であっても発声時間長（以下、時間長）が異なる音節の
基本周波数パターンを同一時間軸上で明瞭に比較観察し
得る音声の基本周波数出力システムに関する。

【０００２】

【従来の技術】音声のアクセント、イントネーション、
ストレス、リズム等は、音韻性以外の要素であり、音声
の基本周波数や振幅値、音節の接続時間等の韻律的特徴
によって表現される。これらは意味内容等の言語的情報
の伝達はもとより、感情等の非言語的情報の伝達にも重
要である。

【０００３】このうち、アクセントは、単音構成の等し
い複数の語（音節）の意味上の区別あるいは品詞の区別
に用いられるが、それが主としてどの韻律的特徴によっ
て表現されるかは言語によって異なる。例えば、日本語
のアクセントはピッチアクセントと呼ばれ、専ら基本周
波数の時間変化のパターン（以下、基本周波数パター
ン）によって表される。また、イントネーションは、例
えば統語構造や平叙文・疑問文の区別を示すものである
が、日本語を含む多くの言語において基本周波数パター
ンによって表現される。

【０００４】このように、音声の基本周波数パターン
は、種々の情報の分析の基礎となる重要な韻律的特徴で
あるため、音声の生成や認識の分野においては、入力さ
れた音声波形の基本周波数パターンを迅速且つ的確に抽
出することが求められる。そこで、情報処理装置を用い
て所定の分析時間長毎に音声の基本周波数を求め、これ
を所定間隔でプリンタあるいは表示装置等に出力するこ
とにより基本周波数パターンを得ることが一般に行われ
ている。

【０００５】ところで、同じ文字列でも話者やそのとき
の発声状態等が異なると時間長が異なってくることは良
く知られている。特に、音節に関しては顕著である。こ
ういった異なる時間長の音節についての基本周波数パタ
ーンを、例えば時間軸対周波数軸のグラフ面上に表して
比較観察する際、従来は、音節区間毎の基本周波数を一
時保持するとともに、複数のパターンの時間軸を同一に
修正し、韻律的特徴の相違のみが現れるようにしてい
た。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
手法では、同一のグラフ面上に複数の基本周波数パター
ンを表す場合に、各パターンの印字（表示のみの場合を
含む、以下同じ）の間隔及び印字個数（データ個数）は
固定的であったため、該グラフ面を印字する出力面、例
えば印字紙面の寸法や印字するデータ数が変化すると印
字部分が多重に重なって、明瞭な韻律的特徴の相違が得
られない場合があった。また、話者あるいは発声状態に
よっては雑音成分が混入する場合があるが、従来は全て
の入力音声に対して基本周波数の検出を行っていたので
グラフ面上にこれが反映され、基本周波数パターンの明
瞭さを損なう場合があった。

【０００７】本発明は、かかる背景のもとに創案された
もので、その目的とするところは、出力面の寸法の変化
や発声状態に関わらず視覚的に明瞭な基本周波数パター
ンが迅速に得られる基本周波数出力システムを提供する
ことにある。

【０００８】

【課題を解決するための手段】本発明は、個々の基本周
波数の表示位置が出力面の寸法上の制約を受けるという
性質、及び、有声音以外の雑音成分については振幅値が
有声音の場合より低く且つ周期性の相関がとれないとい
う性質を利用することにより上記目的の達成を図るもの
である。

【０００９】即ち、第一の発明は、音節又は音韻列の音
声波形の基本周波数パターンを、時間軸を含む二次元出
力面に表示するシステムであって、音声波形から所定の
音韻列区間毎の基本周波数及び振幅値を抽出する音声波
形分析手段と、抽出された基本周波数とその基本周波数
に対応する振幅値とを当該音韻区間の分析データとして
保持する分析データ保持手段と、前記出力面の少なくと
も時間軸方向の寸法情報を保持する出力面情報保持手段
と、前記時間軸方向の寸法情報をもとに各基本周波数の
前記出力面への表示位置を決定する表示位置決定手段
と、前記出力面への分析データの出力条件を保持すると
ともに、この出力条件に適合する基本周波数及びその表
示位置を分析データ保持手段及び表示位置決定手段から
抽出し、抽出された基本周波数及び表示位置に基づいて
前記出力面への表示データを作成する表示データ作成手
段とを有する音声の基本周波数出力システムを提供す
る。

【００１０】また、第二の発明は、発声時間長の異なる
複数の音節又は音韻列の音声波形の基本周波数パターン
を、時間軸を含む二次元出力面に同時に出力するシステ
ムであって、各音声波形からそれぞれ所定の音韻列区間
毎の基本周波数及び振幅値を抽出する音声波形分析手段
と、抽出された各基本周波数とその基本周波数に対応す
る振幅値とを当該音韻区間の分析データとして保持する
分析データ保持手段と、前記複数の音節又は音韻列のう
ち特定のものの発声時間長を基準として他の音節又は音
韻列の発声時間長を正規化する発声時間長正規化手段
と、前記出力面の少なくとも時間軸方向の寸法情報を保
持する出力面情報保持手段と、前記時間軸方向の寸法情
報をもとに各基本周波数の前記出力面への表示位置を決
定する表示位置決定手段と、前記出力面への分析データ
の出力条件を保持するとともに、この出力条件に適合す
る基本周波数及びその表示位置を分析データ保持手段及
び表示位置決定手段から抽出し、抽出された基本周波数
及び表示位置に基づいて前記出力面への表示データを作
成する表示データ作成手段とを有する音声の基本周波数
出力システムを提供する。

【００１１】なお、前記表示データ作成手段の出力条件
としては、用途に応じて種々のものを設定可能である
が、従来の課題をより有効に解決するため、本発明で
は、前記出力面に対する個々のデータ表示間隔の下限
値、基本周波数に対応する振幅値の下限値、基本周波数
の自己相関係数値の閾値の少なくとも一つを含むものと
し、これら下限値に満たない基本周波数又は表示位置を
不適合要素と判定するようにした。

【００１２】また、時間軸上で周期性の無い成分（雑音
成分）は、自己相関係数値が有効音声成分よりも小さ
い。そこで予め閾値を定め、自己相関係数値とこの閾値
とを比較することで周期性の有無を検出し、周期性が無
い場合にこれを雑音成分と判定することができる。

【００１３】

【作用】第一の発明では、音声波形分析手段によって音
声波形から抽出された音韻列区間毎の基本周波数及び振
幅値が分析データ保持手段に一時保存される。音声波形
分析手段の出力は、出力面への表示位置の決定のために
表示位置決定手段にも導かれるが、その決定の際に出力
面の寸法情報が考慮される。例えば時間軸方向の寸法が
大きくなれば個々の表示間隔も大きくなる。表示データ
作成手段は、前記出力面に対する個々のデータ表示間隔
の下限値、基本周波数に対応する振幅値の下限値、基本
周波数の自己相関係数値の閾値の少なくとも一つを含む
出力条件を保持しており、上記決定された表示間隔が下
限値に満たない場合、あるいは分析データ保持手段に保
持された基本周波数の振幅値が下限値に満たない場合
は、基本周波数又は表示位置を不適合要素と判定し、こ
れら要素を無視する。また、基本周波数の自己相関係数
値が閾値に満たない場合は隣接するフレーム間での周期
性の相関がとれないことから雑音成分であることがわか
る。この場合の基本周波数も同様に不適合要素と判定
し、これを無視する。

【００１４】他方、基本周波数の振幅値、表示間隔が各
下限値を超えるときは適合要素と判定して表示データを
作成する。これにより多重印字が確実に回避されるとと
もに、雑音成分の出力も防止される。

【００１５】第二の発明は、発声時間長の異なる複数の
音節又は音韻列の音声波形の基本周波数パターンを、時
間軸を含む二次元出力面に同時に出力する場合の構成で
あり、上記第一の発明に発声時間長正規化手段が付加さ
れる。この発声時間長正規化手段においては、特定の音
節又は音韻列の発声時間長を基準として他のものの発声
時間長を正規化する。これにより各音声波形の分析単位
時間長が同一となり、同一時間軸上に複数の韻律的特徴
を表すことができる。その際、出力面情報及び出力条件
が考慮されて各音声波形に対応する個々の基本周波数の
表示データが作成されるのは第一の発明の場合と同様と
なる。

【００１６】

【実施例】次に、図面を参照して本発明の実施例を説明
する。

【００１７】図１は、本発明の一実施例に係る音声の基
本周波数出力システムのブロック図であり、複数の音節
又は音韻列の基本周波数をそれぞれ同一の出力面上に印
字する場合の構成例を示してある。図１において、１は
基本周波数分析装置、２はプリンタあるいはディスプレ
イ等の出力装置である。

【００１８】基本周波数分析装置１は、音声波形を入力
して基本周波数パターンを出力装置２に出力するもの
で、上記音声波形を保存するための音声波形保持部１
１、保存された音声波形を随時呼び出して分析し、基本
周波数とその振幅値を得る音声波形分析部１２、複数の
音節の時間長を正規化する音節時間長正規化部１３、出
力装置２の出力面上の位置情報の計算を行う表示位置演
算部１４、実際に出力面に表示するための座標データを
作成する表示データ作成部１５、上記音声波形分析部１
２で得られた基本周波数と振幅値とをそれぞれ対応付け
て保存する分析データ保持部１６、上記音声波形に対応
する音素ラベリングに基づいて作成した当該音声の音節
区間情報を保持する音節区間情報保持部１７、出力面の
寸法に関する情報を保持する出力面情報保持部１８、及
び、実際に印字する際の条件を設定保持する印字条件保
持部１９を有する。

【００１９】次に、上記構成の基本周波数分析装置１の
処理動作を具体的に説明する。

【００２０】入力された音声波形は、音声波形保持部１
１に一時保存されるとともに、基本周波数と振幅値を抽
出するために、随時、音声波形分析部１２に送られる。
基本周波数の抽出は、ごく短い時間を分析単位時間長
（以下、フレーム）として定め、このフレーム分だけ切
り出した波形を分析することで１つのフレームに対して
１つの基本周波数を決める。ここでは、例えば、同じ音
節”ｆｕｎｅ”でもその時間長が異なればフレームの
数、基本周波数の数も異なっている。

【００２１】音声波形保持部１１からの音声波形は、音
声波形分析部１２で上述のように分析されるが、その
際、音節区間情報保持部１７から送られる当該音声波形
の音節区間情報に基づいて、目的とする音節を取り出
す。取り出された音節の各フレーム毎の基本周波数及び
このときの振幅値は、分析データとして分析データ保持
部１６に送られ、ここで保存される。なお、図示を省略
しているが、基本周波数毎に自己相関係数値を算出する
公知の係数値算出手段を設け、その算出結果をも分析デ
ータとして分析データ保持部１６に保存するようにして
も良い。

【００２２】様々な時間長の音節を同一時間軸で比較観
察するために、本実施例は、一つの音節の時間長を基準
とし、他の音節の場合との比率を計算して利用する。こ
の比率計算は、音節時間長正規化部１３にて行われる。

【００２３】表示位置演算部１４では、音節時間長正規
化部１３で求めた比率を用いて実際に印字する時間軸上
の間隔を演算するが、その際、出力面情報保持部１８に
保存された出力面情報を参照する。この出力面情報は、
具体的には、出力装置２の出力面の寸法、例えば二次元
の印字紙面の縦横の長さを表す設定情報である。この設
定値は用途に応じて任意に変更可能である。いま、横の
長さ（時間軸方向の長さ）をＬとすれば、複数の音節の
基本周波数は、表示位置演算部４によりそれぞれ時間軸
の最大値がこの長さＬ以内の同一値に揃えられる。ま
た、出力面の設定情報に応じて印字間隔が自動的に変更
される。

【００２４】表示データ作成部１５は、この表示位置演
算部１４の出力と印字条件保持部１９に保存された印字
条件とに基づいて前述の分析データのフレーム毎の表示
データを作成する。

【００２５】印字条件は、例えば出力面の寸法に対応す
る印字間隔の下限値、基本周波数毎の振幅値の下限値で
あり、これら下限値を超える基本周波数についてのみ表
示データを作成する。

【００２６】出力面の寸法は前述のように任意に設定可
能であり、この設定値に応じて上記基本周波数の印字間
隔も自動的に変わる。通常、複数の音節の基本周波数を
印字したときに重なり合うのは時間軸方向であることか
ら、横方向の長さＬを考慮した印字個数の最大値を定め
ることで印字間隔の下限値を決める。例えば、印字され
る最大個数を、時間軸で２００［ｍｓ］あたり２０個ま
でとすれば印字間隔の下限値が一義的に定まる。この下
限に満たないフレームがあると個々の印字が重なり合う
ので、その基本周波数については不適合要素として無視
し、印字を行わないようにした。

【００２７】また、例えば、録音された音声の場合やマ
イクロフォン等を使用して発声した場合の雑音成分の振
幅値は有声音の振幅値より小さい。殊に、発声時に生じ
る雑音成分は、自己相関係数値が極めて小さく、隣接フ
レーム間での周期性の相関もとれないことから、前述の
自己相関計数値が予め定めた閾値未満である場合は、そ
れだけで雑音成分と判定することも可能である。そこ
で、本実施例では、基本周波数毎の振幅値の下限値と自
己相関係数値の閾値を定め、この下限値又は閾値に満た
ない基本周波数については雑音成分と判定して印字を行
わないようにした。

【００２８】表示データ作成部１５で作成された表示デ
ータは、出力装置２に出力され、ここで出力面に印字さ
れる。

【００２９】図２は、複数の音韻列の基本周波数の分析
データを出力面情報及び印字条件を考慮しない従来の手
法により時間軸対周波数軸の印字紙面にプロットしてグ
ラフ化した図であり、文章”ｆｕｎｅ ｍａｄｅ ｍｕ
ｋａｅｎｉ ｉｋｉｍａｓｕｙｏ”を、１０個の音韻
列”ｆｕ”〜”ｙｏ”に分解するとともに、これを同一
人に異なる発声の仕方（状態ａ〜状態ｄ）で発声させた
ものを同一時間軸上にて比較観察したものである。な
お、正規化のための基準時間長は、条件ａの文字列の時
間長を基準としている。

【００３０】この図において、状態ａは平常状態で発声
した場合、状態ｂは笑いながら発声した場合、状態ｃは
泣いたような状態で発声した場合、状態ｄは怒りながら
発声した場合である。図２に示すように、時間長を正規
化することで異なる時間長の音節（音韻列）の基本周波
数パターンを比較することはできる。しかし、印字部分
が多重に重なっており、しかも各状態ａ〜ｄの際に混入
する雑音成分をも全く同様な処理を経てプロットしてい
るから視覚的に不明瞭となっている。

【００３１】これに対し、本実施例により得られるグラ
フ面を図３に示す。

【００３２】図３から明らかなように、分析データ保持
部１６に保持された基本周波数及び振幅値、出力面情報
保持部１８に保存された出力面の大きさの設定値、印字
条件保持部１９に保存された各出力条件に基づいて各音
節に対応する基本周波数の印字制御を行う本実施例の基
本周波数出力システムによれば、冗長ないし不要な分析
データが省かれ、視覚的に明瞭な出力結果が得られるこ
とがわかる。

【００３３】なお、図２及び図３は同一人により様々な
状態で発声された音声波形の例であるが、一つの音声波
形のみの場合、あるいは異なる話者により発声された音
声波形についても同様の処理が可能であることはいうま
でもない。

【００３４】このように、本実施例によれば、言語的情
報あるいは非言語的情報の分析をより簡易且つ正確に行
うことができる。しかも表示間隔の下限値に達している
か否かは、表示位置演算部１４より得られた演算値に対
して判定されるので、出力面の大きさが変わってもこれ
に追従して最適の印字間隔が得られる。

【００３５】本実施例は以上のとおりであるが、本発明
は、上記実施例に限定されるものではなく、その要旨を
逸脱しない範囲で他の実施態様が可能である。

【００３６】

【発明の効果】以上説明したように、本発明の音声の基
本周波数出力システムによれば、出力面の寸法情報に応
じて表示データの間隔が再決定されるとともにこの間隔
が予め定めた出力条件に満たない場合、例えば間隔の下
限値に達しない場合は下限値を超えるまで表示データが
作成されないので、出力すべき基本周波数の数が変化し
ても、あるいは出力面の寸法が変化しても上記下限値を
超える間隔で出力面に表示される効果がある。

【００３７】また、出力条件として基本周波数の振幅値
の下限値あるいは自己相関係数値の閾値を含ませること
で、振幅値がこの下限値に満たない場合、あるいは基本
周波数の自己相関係数値が閾値に満たない場合も表示デ
ータが作成されないので、雑音成分が出力面に表示され
なくなる効果がある。

【００３８】このように、本発明によれば、表示データ
作成手段に具える出力条件により表示の仕方を容易に調
節するでき、視覚的に明瞭な基本周波数パターンを迅速
に得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る音声の基本周波数出力
システムのブロック図。

【図２】出力面情報及び出力条件を考慮しない場合の基
本周波数の出力結果の例を示す説明図。

【図３】出力面情報、印字間隔の下限値及び印字間隔の
下限値を考慮した本実施例の構成により出力された基本
周波数の出力結果の例を示す説明図。

【符号の説明】

１ 基本周波数分析装置 １１ 音声波形保持部 １２ 音声波形分析部 １３ 音節時間長正規化部 １４ 表示位置演算部 １５ 表示データ作成部 １７ 音節区間情報保持部 １８ 出力面情報保持部 １９ 印字条件保持部 ２ 二次元出力面を有する出力装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 音節又は音韻列の音声波形の基本周波数
   パターンを、時間軸を含む二次元出力面に表示するシス
   テムであって、 前記音声波形から所定の音韻列区間毎の基本周波数及び
   振幅値を抽出する音声波形分析手段と、 抽出された基本周波数とその基本周波数に対応する振幅
   値とを当該音韻区間の分析データとして保持する分析デ
   ータ保持手段と、 前記出力面の少なくとも時間軸方向の寸法情報を保持す
   る出力面情報保持手段と、 前記時間軸方向の寸法情報をもとに各基本周波数の前記
   出力面への表示位置を決定する表示位置決定手段と、 前記出力面への分析データの出力条件を保持するととも
   に、この出力条件に適合する基本周波数及びその表示位
   置を前記分析データ保持手段及び表示位置決定手段から
   抽出し、抽出された基本周波数及び表示位置に基づいて
   前記出力面への表示データを作成する表示データ作成手
   段とを有することを特徴とする音声の基本周波数出力シ
   ステム。
2. 【請求項２】 発声時間長の異なる複数の音節又は音韻
   列の音声波形の基本周波数パターンを、時間軸を含む二
   次元出力面に同時に出力するシステムであって、 前記各音声波形からそれぞれ所定の音韻列区間毎の基本
   周波数及び振幅値を抽出する音声波形分析手段と、 前記抽出された各基本周波数とその基本周波数に対応す
   る振幅値とを当該音韻区間の分析データとして保持する
   分析データ保持手段と、 前記複数の音節又は音韻列のうち特定のものの発声時間
   長を基準として他の音節又は音韻列の発声時間長を正規
   化する発声時間長正規化手段と、 前記出力面の少なくとも時間軸方向の寸法情報を保持す
   る出力面情報保持手段と、 前記時間軸方向の寸法情報をもとに各基本周波数の前記
   出力面への表示位置を決定する表示位置決定手段と、 前記出力面への分析データの出力条件を保持するととも
   に、この出力条件に適合する基本周波数及びその表示位
   置を前記分析データ保持手段及び表示位置決定手段から
   抽出し、抽出された基本周波数及び表示位置に基づいて
   前記出力面への表示データを作成する表示データ作成手
   段とを有することを特徴とする音声の基本周波数出力シ
   ステム。
3. 【請求項３】 請求項１又は２に記載の音声の基本周波
   数出力システムにおいて、 前記表示データ作成手段は、前記出力条件として、出力
   面に対する個々のデータ表示間隔の下限値、基本周波数
   に対応する振幅値の下限値、基本周波数の自己相関係数
   値の閾値の少なくとも一つを含み、これら下限値又は閾
   値に満たない基本周波数又は表示位置を不適合要素と判
   定することを特徴とする音声の基本周波数出力システ
   ム。