JPH04140799A - 調音パラメータを音声データから決定する方法及び装置 - Google Patents

調音パラメータを音声データから決定する方法及び装置

Info

Publication number
JPH04140799A
JPH04140799A JP26294290A JP26294290A JPH04140799A JP H04140799 A JPH04140799 A JP H04140799A JP 26294290 A JP26294290 A JP 26294290A JP 26294290 A JP26294290 A JP 26294290A JP H04140799 A JPH04140799 A JP H04140799A
Authority
JP
Japan
Prior art keywords
data
signal
spectral
segment
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26294290A
Other languages
English (en)
Inventor
E Hutchins Sandra
サンドラ・イー・ハッチンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emerson and Stern Associates Inc
Original Assignee
Emerson and Stern Associates Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emerson and Stern Associates Inc filed Critical Emerson and Stern Associates Inc
Priority to JP26294290A priority Critical patent/JPH04140799A/ja
Publication of JPH04140799A publication Critical patent/JPH04140799A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は音声処理や分析に、特に音声データの発生にお
いて使用される前定義された調音パラメータの存在や状
態を決定するための方法及び装置に関する。本発明はさ
らに調音パラメータの変化を基に音声処理中に発生する
解剖学的変化の断面を表示するためのシステムに関する
(従来の技術) 既定の言語において正しい音声を生成する技術は恐らく
課せられたもっとも複雑で困難な学問的行為あるいは仕
事である。如何に話したり、音声を理解したりすること
は、音声が効果的なコミュニケーションを図ることに関
して重要な局面を有するので、教えを受けるか否かは別
にして全ての幼児教育の大部分を占めるものである。
しかしながら、多くの人々が”良好”な言語能力を修得
したり、維持したりすることが通常よりもさらに困難に
させる物理的あるいは精神的損傷あるいは障害を被って
いる。ある人は精神的ショックの結果として失われた言
語能力の再修得に直面する。他の人は既存の確立された
言語パターンとしばしば矛盾する新しい技術を学ぶこと
を要求する新しい言語を修得しなければならない。もし
仮にこれらの何人かがさらに効果的にコミュニケートす
るための能力を修得できなかったならば、彼らは社会、
仕事、あるいは教育の場面で機能するのに深刻な困難さ
を経験することになろう。しばしば言語障害は階級差別
あるいは偏見を助長し、そして理由々しい経済的影響を
有する。
故に、典型的な形式的方法を超えて正しい言語能力を修
得するのに多くの人を支援できることが重要である。出
来るだけ効率的にあるいは効果的な方法で言語訓練する
ことが又重要である。効率は、訓練あるいは治療法での
フラストレーンヨンや倦怠が修得過程を抑制するので非
常に重要となる。ある程度、進歩あるいは成功はフラス
トレーションのレベルに依存する。これは生来不注意、
あるいは行動的な子供から過度に心配性な大人に至るま
での全ての人に対して当てはまることである。
しかしながら、現在の言語治療あるいは訓練は学生にと
って骨の折れる、簡単あるいは不可解のいずれかの技術
に輔る傾向にある。ある初等の訓練技術は種々の音声あ
るいは音韻の発声を示すために静止画像あるいは発声系
の外部を表したものを利用するものである。不運にも、
学生はそのような図を言語能力に必要とされる複合内部
(及び見えない〕の解剖学的動きに関連づけることに難
しさを感しる。筋肉の運動あるいは制御と音声出力との
間の直接相関性のこの欠落が言語パターンを効果的に変
更するのを困難にしている。
医師による継続的反復訓練は支援にはなるが、その相関
問題を解消するまでには到らない。訓練を積んだ医師は
学生が誤ってしていることや、変更すべきことに関して
系統だてて説明するために非訓練者あるいは学生の主観
的、且つ骨の折れる臨床的観察を信軌する。患者あるい
は対象者の倦怠の問題は別にして、発声言語あるいは音
声と発声系動作との直接相関性は達成されない。
種々の複合信号処理及びスペクトル表示装置は又発音調
音指示装置として使用するためのスペクトルパターンを
確立あるいは記録するために医師により使用されている
。残念ながら、スペクトル表示は通常複雑で、そして信
号分析法は対象者が有用なフィードバックあるいは情報
を受けないので熟練を要する。
交代的方法は、近似フィツトを決定するために音声デー
タが比較されるコンピユータ化されたスペクトルテンプ
レートあるいはルックアップテーブルの使用を含むので
、差熱的音声調音処理が採用される。しかしながら、こ
のような方法は話し手に依存し、そして対象者により発
声された音声と前設定され、格納されたデータとを正し
く関連づけることにしばしば失敗する。
人は、音声を発する時に彼らが明らかに誤って行なって
いることと同様に理想的調音処理があるべきこととの両
方に関してより良く理解していたならば彼らの言語を容
易に、あるいはより効果的に向上あるいは変更するもの
だと信しられている。
つまり、言語訓練は、対象者が発声された音声と要求さ
れる物理的処理との間の直接相関関係を理解する時には
さらに効果的となる。言語入力システムの開発など、こ
れらの理由のために、言語処理の理解に関する膨大な量
の研究が行なわれており、そして継続されている。
この研究のほとんどは言語治療や訓練技術を改良するた
めに通常使用可能な人間言語の調音バラメータの確立あ
るいは量を定めるために探求する。
線形予測コーディングやフォルマント追跡などの幾つか
の信号処理技術が調音研究の結果として開発されている
線形予測コーディング(LPG)法は種々の音声を発生
するために要求される解剖学的変化を予測するために音
声系の理想化モデルとモデルに沿った離散点における領
域関数の計算を利用する。
しかしながら、その理想化モデルは実際の解剖組織に対
応じていないが、異例の動作的特徴を生成することが出
来る数学的構造物である。線形予測コーディング(1−
PC)法は又話し手から話し手へのフォルマント帯域幅
の変化や鼻音性などの因子を説明できない。故に、この
方法は一人の話し手に対してさえも調音器官活動を評価
するのには信転性に欠けていることを証明する。
フォルマント追跡法はスペクトルデータから得られるフ
ォルマントの位置を基に調音パラメータを決定する。し
かしながら、連続音声データにおける追跡フォルマント
に関連する信軌性と再現性の問題がある0例えば、確実
にフォルマントピークを発見することは非常に困難であ
る0手動フォルマント追跡において、フォルマントトラ
ンクのマーキングは又再現性に影響を与える主観的基準
をしばしば基本にしている。現在においては、フォルマ
ント追跡は調音特徴の終始一貫した、正確な評価を支持
するためには確実性に欠けることを証明している。
これらの間層の全ては自動信号処理を言語訓練や治療に
取り入れることに関する進歩を制限している。必要とさ
れることはリアルタイムで一七分動作する調音パラメー
タの状態を決定するための方法及び装置である。動的視
覚フィードバックを提供し、話し手に依存しなくて、多
種の対象物に適応できる調音パラメータの状態を決定す
る方法を有することが又望ましいことである。
(発明が解決しようとする課題) 言語処理技術及びその治療への適用における上記欠点及
び問題の点から見て、本発明の一つの目的は音声言語デ
ータにおける調音パラメータの前定義された七ノドの値
を決定するだめの方法と装置を提供することである。
本発明の他の目的は連続的話言語から、言語を生成する
音声解−1学的構造を表す調音パラメータの前設定され
たセットの値を決定するための話し手Sこ依存しない方
法及び装置を提供することである。
本発明の長所は、人間言語を生成する解剖学的構造を表
す一連の調音パラメータの値を確定するための方法と装
置を提供することである。
本発明の他の長所は、個々の音韻の調音を表すために正
確に調音パラメータを翻訳する方法を提供することであ
る。
本発明の他の目的はパラメータ状態の変化に応じて音声
系の解剖学的特徴の視覚的表現を可能にする調音パラメ
ータのセントを評価する方法を提供することである。
(課題を解決するための手段) 本発明のこれらの目的や長所は諸言語の生成中の調音系
構造を表す調音パラメータの値を決定するための方法及
びシステムで実現される。これに関して、“調音パラメ
ーダ°は音声系解剖構造の横断面を集合的に描写するパ
ラメータである。各パラメータは解剖学的表示の関連部
分あるいは区画に対応し、そしてパラメータの値は初期
位置に関して表示された解剖学的部分の転置あるいは瞬
間の位置を示す、ここで説明された本発明の理論におい
て、表示された音声解剖構造により生成された言語は°
゛スペクトルの連続シーケンスから構成される。本発明
の好適形態を理解するための関連のスペクトルは既知言
語におけるもっとも基本的で、明瞭な音声の単位と理解
されている音韻と関連づけられている。
本発明は言語からそのような言語を生成する調音系構造
を表す調音パラメータの値を決定する方法を含む、その
方法はそれぞれが同様のスペクトルと調音特性を共用す
る複数の音声音韻を含む複数の音声音韻種別即ちクラス
を確立、デジタル音声データを提供、デジタル音声デー
タのエネルギーレベルの監視即ちモニター、データエネ
ルギーの前定義された強度変化を基本にした分析用のデ
ータのセグメントを選択する段階を含む。選IRされた
セグメントは、望ましくはフィルタ即ち濾波そしてウィ
ンドーアルゴリズムの適用後にFFTアルゴリズムによ
り処理され、デジタルスペクトルセグメントを提供する
。スペクトルセグメントの強度の対数即ちログは前選択
された信号強度以下の信号変動を除去するために条件付
けられ、雑音や不明瞭情報を消去する。
結果のスペクトルデータセグメントはクラス差あるいは
選択マトリックス乗数で乗しられ、複数の前定義された
スペクトルのクラスが低下する受信音声を分類する確率
のベクトル表示を提供する。
同時に、スペクトルデータセグメントは前設定調音パラ
メータ値を表すベクトル出力を提供する複数のクラスマ
トリックス乗数に適用される。クラス差ベクトル情報は
、クラスベクトルの重み平均が既定音声に対して発声さ
れるようにクラスマトリックス乗数の出力との組み合わ
せのために複数の乗数に導かれる。合計手段は合成りラ
ス−・クトルを組み合わせるために採用され、その成分
が処理されている音声データ用の調音パラメータ値であ
る単一型ベクトルを形成する。
本発明の方法はさらに人間音声系解剖構造の中央矢状(
mid−sagital>図を表すイメージを発声、こ
のイメージ上の対応解剖学的ポイントとのiA&パラメ
ータの関連づけ、そして調音パラメータ値の変動により
イメージを変更する段階から構成されることが可能であ
る。このイメージ処理は言語治療における支援のために
直接あるいは前記録された言語データでリアルタイムで
実行可能である。
本発明による言語データから調音パラメータのセットの
値を得るためのシステムは、前設定されたサンプリング
速度で言語データをサンプリングし、そして言語データ
におけるエネルギーの特定変動に従う前設定されたサン
プリング間隔で前設定された長さの前記言語データのデ
ータセグメントを選択するためのサンプリング回路とし
てさらに特定的に要約される。サンプリング手段と直列
に接続された変換プロセッサーは選択されたデータセグ
メントを受信し、それらを時変振幅データからスペクト
ルデータセグメントに変換する。変換プロセッサーに接
続された第一マツピング手段は各スペクトルデータセグ
メントのスペクトルデータを二つ以上の複数の前定義さ
れたスペクトルクラスと連合するので、前記セグメント
が各クラス内のスペクトルに対応する確率のための重み
を発生することが出来る。第二マッピング手段は変換プ
ロセッサーと直列に、そして各スペクトルデータセグメ
ント内のスペクトルデータを各複数のクラス調音パラメ
ータ値のセットに変換するための第一マツピング手段と
並列に接続されている。
組み合わせ手段は既知クラスの確率のための重みを各ク
ラスの調音パラメータ値内へのマッピングと組み合わす
ための第一と第二マッピング手段に接続されているので
、その成分が処理されている言語に対する調音パラメー
タである単一、重み付けNパラメータを発生することが
できる。
サンプリング回路は前設定されたサンプリング速度で言
語データをサンプリングし、そしてそれからデジタル言
語データを形成するためのデジタル化手段、サンプルが
取られた言語データ内のエネルギーの変化をモニターす
るエネルギーモニタ手段、そしてエネルギーの所望の変
化に従って前設定されたサンプリング間隔で前設定され
た長さのデジタル言語データのセグメントを選択するだ
めのエネルギーモニター手段に接続されたセグメント選
択手段を包含する。
エネルギーモニター手段はデジタル言語データを対数振
幅スケールに変換するためのスケーリング手段、受信さ
れた対数言語データに前設定された遅延を適用するため
のスケーリング手段と直列に接続された遅延ライン、そ
して遅延手段の出力と接続された合計手段と言語データ
を遅延された言語データと数学的に組み合わすためのス
ケーリング手段とを含む。合計手段とセグメント選択手
段間に接続されたトリガー手段は前設定された数のサン
プリング期間に対するデータセグメントのエネルギーの
変化に応じて選択信号を選択手段に提供する。
第−マツピング手段は前定義されたクラス差マトリック
スによりスペクトルデータセグメントを逓倍するための
第一変換マトリックス乗算手段から構成される。ベクト
ル正規化手段は第一マツピング手段出力を受信し、そし
てそれから正規化されたクラスベクトルを発生する。第
二マツピング手段は複数の前定義されたクラスマトリッ
クスによりスペクトルデータセグメントを逓倍するため
の第二マトリックス乗算手段から構成される。
さらに、必要なら、調音パラメータ値は組み合わせ手段
の出力に接続された視覚的表示手段上に生きているよう
に描かれた中間矢状、解剖学的表示の部分として視覚的
に表示される。表示手段は視覚的画面上に人間調音系の
形で前定義されたグラフィックパターンを表示するため
のグラフィック表示手段、そして調音パラメータの変化
に応じてグラフィックパターンを変更するためのアニメ
ーション手段から構成される。表示は改良された言語治
療や訓練装置を形成するためにリアルタイムのデータ、
あるいは記録されたデータと組み合わされる。
本発明の新しい特徴は添付の図面と関連させて、以下の
説明によりさらに理解されよう、同記号は同部品を示す
(実施例) 本発明は音声言語データから一連の前定義された調音パ
ラメータの値の識別あるいは決定を可能にする。これは
言語データを、前条件付け、あるいは濾波されて、デジ
タル化されるアナログ信号に変換することにより達成さ
れる。デジタル化された信号のエネルギーレベルの変動
はピンチトラッキング素子を介してモニターされ、そし
て前設定されたトラッキング基準を基礎にした処理のた
めにデジタル化された信号のセグメントを選択するため
に使用される。前設定された数のデータサンプルから構
成されるセグメントは高周波成分を高めるためにデジタ
ル信号から選択され、濾波され、そして言語信号の周波
数領域イメージを発生するために高速フーリエ変換(F
FT)アルゴリズムに委ねられる。
結果の周波数領域サンプルは変動やノイズの衝撃を最小
にするためにさらに条件付けられ、そして一連の前設定
された関係に従い所望の調音パラメータのアレーにマツ
プされる。スペクトルサンプル クスのセントによるデータの乗算を利用する。各マトリ
ックスは同様スペクトルと調音特性を共用する言語音韻
の確立されたクラスを表す。クラスにおける音韻は、話
された時、同しようなスペクトルパターンに翻訳可能で
あり、そして対応する調音系構造により生成されること
が主張される。
マトリックスは音韻の相関性技術の使用を通して既知ス
ペクトルと調音パラメータ間の一致を基礎として確立さ
れる。本発明の用法に使用される段階が第1図のフロー
チャートに示されている。これらの段階を実施するため
の調音パラメータ値決定装置10が第2図に略図で示さ
れている。
第1図において、話言語は続いて増幅される信号に最初
変換され、濾波され、そして周波数補償された後に最終
処理のためにデジタル化されて、所望の出力を生成する
。この変換は第2同に示されるようにマイクロフォン1
2あるいは話言語を検出し、そしてそれを検出された音
声の振幅と周波数変動を表す信号に変換するための同様
音声信号ピ,クア,プ装置を使用することにより実施さ
れる。
マイクロフォン信号は続いて前置増幅器14により処理
され、一般信号レベルに押し上げる。交代的に、帯域等
価器(口承されない)などの他の装置が、必要る応じて
入力信号の振幅あるいは周波数特性を変更するために採
用可能である。前置増幅器14は信号レベルを増加させ
るために使用される幾つかの通常入手可能な増幅器ある
いは前置増幅器回路の一つから構成される.典型的な前
置増幅器14回路はRealistic Amplif
ierモデル番号MPA−20の名称で、Fort W
orth TexasのTandy Corporat
ion社のRadio Shack部により製造された
増幅器である。
デジタル化される前に、前置増幅器14の出力は濾波さ
れ、高周波数レベルの上昇を提供し、DCバイアスを除
去し、そしてエイリアス信号を最小にする。サンプルさ
れた音声帯域上に高周波数増強即ちブーストを加えると
、さらに平に近いスペクトルを提供し、そして音声スペ
クトルにおいては良く遭遇するオクターブ当たり約6デ
シヘルの低下を補償する。そのブーストは言語フォルマ
ントビークとなり、上昇周波数と共に落下するよりもむ
しろスペクトル上に殆ど等しい振幅を提示する。高周波
数部分での摩擦音により発生されるこのようなスペクト
ルビークは低周波数母音により生成されるビークに匹敵
できるエネルギーを有する。故に、関連の信号特性を効
率的に収集するために、より小さいダイナミックレンジ
がどの連続デジタル化段階においても要求される。
第3図の略図により詳細に示されているように、コンデ
ンサー01と二つの抵抗器R1とR2とで高周波ブース
ト回路を形成し、且つ理法の回路素子に対するインピー
ダンス整合を提供する。コンデンサーC1は又DCフィ
ルターを提供する。そのDCフィルターはDCバイアス
を除去するために機能し、さもないと後の処理段階でそ
れがFFT能力を低減する。好適ブースト回路は言語デ
ータの処理における関連の一次スベクトル範囲である約
300 と2000Hzとの間でオクターブ当たり約6
デシヘルの高周波ブーストを提供するように構成される
。エイリアス除去(anti−al iasing) 
 フィルター18はブースト回路構成に直列に接続され
ており、5 KHz以上の周波数で鋭いロールオフを提
供する。
典型的なフィルター18は指定番号TTE J71Gで
SantaMonica、 Ca1iforniaのT
TE 、 Inc社から供給されている5 KHz ロ
ーパスフィルターである。二つの抵抗器R3とR4はエ
イリアス除去フィルター18の出力デジタイザ−20間
のインピーダンス整合を提供する。これらの抵抗器は又
デジタイザー20の信号入力レベルを調整する。デジタ
イザー20はエイリアス除去フィルター18の出力をサ
ンプルし、そして対応デジタル言語信号を発生する。デ
ジタル化された信号は周期的サンプリング時間において
の言語信号の相対的強度を表す一連のマルチビット値あ
るいはデータワードから構成される。このようなデジタ
イザーは既知である。好適形態を実施するのに有用であ
ることが解かった典型的なデジタイザーはMinnea
polis、、MinnesotaのImpulse、
Inc社により製造されているAudio Digit
izerである。
好適形態において、デジタイザー20は11キロヘルツ
のサンプリング速度で言語信号をサンプルし、各サンプ
ルに対して8ピントデータ値を発生するように構成され
る。少なくとも関連の最高周波数の二倍の信号サンプリ
ング速度が使用される。8ビツトデータワード長はデジ
タル化している間有意スペクトル明細を維持するのに十
分な大きさであり、そして同時に現在の他の処理方法を
実施するための多数の現存するコンピュータとの互換性
を提供する。
言語信号がデジタル化される点がら、デジタル演算技術
や構造が尚説明される機能の全てを与える。当業者には
、デジタルコンピュータにより実行可能なデジタル処理
で実施される本発明の残りのいかなる機能も対応するア
ナログでの実施例を有することが理解されよう。
第1図に示されるように、デジタル化された言語信号は
モニターされて、玉名ルギ一部分の変化を決定する。こ
の情報は調音パラメータを決定するためのさらなる処理
のための一連のサンプルから構成されるデータセグメン
トを選択するために使用される。
第2回に示されるように、デジタル言語信号あるいはサ
ンプルはデジタイザー20により、さらなる処理のため
のデジタル化された信号のセグメントを選択する信号ス
ナップショット素子22に提供される。どちらの部分あ
るいはデジタル化された言語信号の部分がさらなる処理
のために選択されるかについての決定はピンチトランカ
ー24により行なわれる。ピッチトラッカーは高周波数
エネルギーの急激な増加を検出する。
ピッチトラッカー24と信号スナップシg7ト素子22
の動作と構造は第4図において詳細に示されている。第
4図において、デジタル信号は全波整流器26から構成
されるピンチトランカー24の第一ステージに入る。全
波整流器26はデジタル言語信号の絶対値である出力信
号を発生ずる。絶対値はデジタル信号の相対的エネルギ
ーの変化を示す。
ピッチトラッカー24の次のステージはピッチパルスか
ら生じるスプリアス発振やエネルギーの発振バーストを
低減するように全波整流器の出力を単一平滑パルスに滑
らかにする平滑フィルター28である。好適形態のため
に選択された平滑フィルター28は次の等式により定義
された関係に従い動作する。
Y、、= (15/16) Y、、、□、+X、、/1
.6   (弐1)ここでY7は出力信号、そしてX。
は入力信号である。この関係はフォルマント発振を滑ら
かにするのに非常に良好な結果を提供することが解かっ
た。その平滑フィルター28の後、デジタル言語信号が
デジタル信号の線形スケールを対数スケールに変更する
対数コンバーター30により処理される。対数スケール
への変換は続く処理が絶対信号レベルから独立的となる
ようにし、且つピッチトランカー24が広い範囲の入力
信号レベル上で動作できるようにする。これは有意ダイ
ナミックレンジがある言語分析において重要である。
対数コンバーター30の出力は次の処理のデジタルサン
プル入力からセグメントをゲートするために使用される
トリガー論理ユニット36を駆動するために使用される
。トリガー論理ユニット36は対数コンバーター30と
第二入力との間の差を利用して、トリガー状態あるいは
アクティベーシゴンを決定する。トリガーのアクティヘ
ーシジンはデジタル信号の短期エネルギーレベルの一定
の変化に従う。
本発明の方法において、長期分析時間により与えられた
微細スペクトル分解能は必要とされないので、処理のた
めに使用されている広帯域スペクトルデータはしばしば
誤解させ、そして重要な特徴の情報が包含されているか
も知れない短期変化を滑らかに均してしまう。これらを
念頭において、非常に効率的で、高速0FFT回路を使
用しての実施を可能とする時間で約32サンプルのデジ
タル化された言語を処理することが望ましい、追加スペ
クトル明細は本発明の方法を使用しては必要とされず、
そしてデータのより大きなセグメントの処理は速度の合
成…失で追加FFT段階を必要とする。
セグメント間の間隔あるいは32サンプルの各グループ
の選択はトリガータイミングのための外部リミットを設
定する。どれだけ早く音声系が運動するかのりミントが
あるので、追加情報は連続的にセグメントを選択するこ
とにより得られない。
ピッチ周期当たり−セグメントの選択のみが望ましい。
さらに、人間のピッチは前に選択されたサンプリング速
度において、24サンプルのピンチパルス間の分離に対
応する458Hzを超えることはまず無い。故に、24
サンプルの最小間隔は選択されたセグメント間に確立さ
れる。
同時に、関連データが失われるかも知れないのであまり
にもまれにサンプリングするのは望ましくない。最下位
ピッチは49Hz程度であるので、224サンプルの最
大遅延が使用される。これはトリガーが不定期的である
無声音がらの情報が捨てられないことを保証する。
トリガーあるいは選択決定は、セグメント内のエネルギ
ーが前設定された期間に対して増加していなければなら
ないことを基礎として実行される。
所望のトリガー基準をチェンクするために、減算素子3
4内で減算される前に対数コンバーター30からの信号
が遅延回路32に受けられる。コンバーター30の出力
からの遅延された信号の減算は遅延期間上のデジタル信
号内のエネルギーの変化を表す結果β7を提供する。
もしβ7がゼロよりも小さいが、あるいは同等であるな
らば、その時信号エネルギーはこのサンプル期間で下降
するかあるいは一定となる。この状況において、新しい
サンプルは必要とされなく、そして前のセグメント選択
から224サンプル時間が経過するまでトリガー論理は
トリガー出カを発生しない、しかし、もしβアがゼロよ
りも大きいならば、そのエネルギーレベルは増加して、
追加セグメント選択とトリガー基準は使用される。
本発明において、もしエネルギーレベルが少なくとも4
サンプル周期の間上昇しないならば、エネルギーが3サ
ンプル周期以上上昇しない限り、224サンプル周期が
到達するまで、セグメントは選択されない。この条件は
、信号工ぶルギーが尚上昇しているかあるいは真のピン
チ周期を表していないところで存在する。
もしエネルギー上昇ルが正確に4サンプル周期の間に上
昇すると、最後の選択の後から少なくとも24サンプル
周期が経過するまでセグメントは選択されない、前述の
ように、余りにも早くトリガーするのは望ましくない。
トリガー論理の好適形態は次の擬似コードリストに説明
されたデジタル処理により示されている。
一表一土一 もしβ1≦1010工ぶルギが上昇し ない′″/ 112 そして 113 上昇時間−〇 114 トリガー以後の時間− 時間+1 トリガー以後の 115もしβ、>O/”エネルギー上昇1/116それ
から 117上昇時間−上昇時間+/ 11Bもし上昇時間〉4 119又は(上昇時間−4そしてトリガー以後の時間〈
24) 120又は(上昇時間〈4そしてトリガー以後の時間<
224) 121それから 122トリガー以後の時間=トリガー以後の時間+1 123/”)リガー実行後エネルギーが上昇し続ける9
/ 124/”トリガーするには早すぎる、あるいは上昇し
始める1/ 125他 126トリガー以後の時間+=O 127トリガー 表Iにおいて、β’ =ZRZll−10,、Zは言語
信号の工フルギーレベルを示すので、β7は10サンプ
ル(Z、−Z、−1,)の工矛ルギー差を測定する。も
し言語信号が1IKtlzのデジタル化速度でデジタル
化されるならば、10サンプルは、約0.91ミリ秒と
なる。コードライン119において、24サンプルの遅
延は大抵の子供達のピッチ範囲の遥に上の458Hzの
ピッチを表す、ライン120において、224サンプル
遅延は成人男性により発生される予測最低位ピッチ以下
である49Hzのピッチを表す。
−度トリガー論理36が、セグメントは選択されるべき
であると決定する、パルスはサンプルセレクター38に
提供され、32サンプルのセグメントは次のステージの
処理に送られる。
第1図に戻って、選択されたデジタルサンプルは次に続
<FFT処理段階のためにそれらを準備するためにフィ
ルター及びウィンドー段階で処理されることが解かった
。第2図に示されるように、これは第5図にさらに詳し
く示されているフィルター及びウィンドー回路40を通
じてデジタル言語サンプルを転送することにより好適形
態において実施される。これは第5図に又詳細に示され
ている条件付は回路44内でのある事後変換信号条件付
けにより続けられる。
第5図に示されるように、データサンプルは高周波ブー
スト転送機能を提供するフィルター46により処理され
る。これは、限定された精度の算述で行なわれるFFT
処理が景子化雑音内で高周波情報を失わないことを保証
する。採用される好適フィルター機能は以下の等式によ
り定義される。
Y、、−X、、−αX、、     (式2)ここでY
は出力信号、Xは入力信号、そして典型的に、αは0,
5〜0.7である。
ウィンドーの技術は信号及び言語処理の技術分野では既
知事項である。所望のウィンドーを確立するために信号
サンプル値を何倍かに逓倍されている様々なウィンドー
“機能”がある。それらの属性における一般的論文が1
978年、1月のPROCIEEE、 Vo166 、
No、1にFrederick J、Harrisによ
り記事タイトル名”On the Use of Wi
ndows forHarmonic Analysi
s with the Discrete Fouri
erTransfor−”に発見される。
しかしながら、厳密な“°長方形”°ウィンドーなど、
あるウィンドーの機能は運動処理中スペクトル内に好ま
しくない摂動を生成する。故に、そのような問題をなく
すために、レイズトコサイン(raised cosi
ne)ウィンドー機能が好適形態に採用されている。好
適ウィンドー機能は下記の関係式により定義される。
W、l=0.5 0.49Cos(π/ 16)n、n
 = O、、、,31に対して(式3)この点において
、合成デジタルデータサンプルはフーリエ変換処理素子
42内の32ポイントフーリエ変換アルゴリズムにより
処理される。典型的アルゴリズムは、 Z、=ΣY、e k = 0、、、.15に対して、(式4a)ここで(
zklは出力信号で、(Y、’ lは入力信号であり、 Y、’ =Y、、”W、、、  n = 0−=31に
対して、(式4b) このアルゴリズムはリアルタイムでの高速処理の実施に
おいて非常に有用であることが解かっている。好適形態
において、同等高速フーリエ変換(FFT)アルゴリズ
ムが式(4a)の結果を達成するために使用される。F
FTアルゴリズムは、サンプルが分析のためにコンピュ
ータ内に転送されるプログラムルーチンとしてデジタル
データサンプル上で動作可能である。
好適形態のFFT処理素子42は各データセグメント入
力に対してスペクトルベクトルZkでスペクトルデータ
セグメントを提供するように構成されている。つまり、
各時変入力信号が前設定された周波数範囲での入力信号
の相対周波数成分を表す値のアレーに変換される。
好適形態において、FFT素子42ばOから15のベク
トル指標で、それぞれが特定周波数範囲を表す16の値
ををするスペクトルベクトル(zklを生成する。例え
ば、第一範囲あるいは指標位置0におけるベクトル(Z
l)の値はOから約345Hz間の入力信号に対する周
波数成分を表し、そこで2から4までのスペクトル指標
は約687から1375ヘルツの周波数を表す。
第1図に示されるよに、FFT素子42からの出力は変
量や雑音の処理を行なう最終処理の前に条件付けられる
。これは第2図の装置内でFFT素子42の出力(ハ)
を第5回にさらに詳細に示されている変換条件付は素子
44番こ転送することにより達成される。
第5図において、FFT素子出力(Z3)は対数コンバ
ーター50に転送される。人間言語は人間の心のなかで
非線形様式に翻訳され、そして対数スケールはさらに正
確に既知音声スペクトルとその精神的翻訳との間の関係
を反映させることが発見されている。そえゆえに、本発
明の方法は音声の正しい重み付けと翻訳をより正確に反
映させ、且つ決定するために対数関係を使用して開発さ
れた。
実データの32サンプルに対する高速フーリエ変換処理
は16の複合サンプルを発生する。それゆえに、対数ロ
ングコンバーター50はFFT出力(Zk)あるいは以
下の等式の強度の対数を発生するように構成される。
Zk’ =Iog2 (強度(Zk)+    (式5
)本発明の実施において、いかなる電子あるいはデジタ
ル処理技術においても、識別、変換、あるいは処理、及
び検出回路構成の通常雑音レベル以下である信号が存在
すると仮定される。後の処理段階の性質のために、一定
の前定義されたレベル以下の多くの信号が処理のための
正確な、あるいは有用な情報を提供しないと仮定される
。つまり、これらの信号における有用な情報の制限され
た量はさらに処理を好ましくないものにする不明確性や
不確実性を増す、それゆえに、これらの前設定されたレ
ベル以下のスペクトル信号は閾値即ちスレッショルドコ
ンパレータを使用して捨てられる。
言語処理技術は、信号雑音のスレッショルドが非常に低
く、そして処理が出来るだけ多くの信号を取り入れるべ
きだと仮定されている。エラーあるいは不明確性が在る
所では、処理を完了あるいは向上させるためにさらに情
報が言語信号から収集されることが望まれると仮定され
ている。言語処理に関するこれらの仮設が採用されてい
ないことが本発明の長所である。
代わりに、人間の心の言語決定あるいは翻訳システムは
音声信号で現われる全てのデータを同化しないし、又出
来ないと言うことが本発明の勤勉な努力を通して発見さ
れた。つまり、全音声信号が言語を翻訳するために使用
されない。これから信号のいかなる電子処理においても
、高スレッシッルドが正確に翻訳することが実際非常に
困難で、不可能である素材を捨てるために使用可能であ
ることが分解かる。高雑音スレッシボルドを設定するこ
とにより、有用な情報は、電子システムが正しい構成の
基で動作するならば失われない。同時に、不確定あるい
は不明確な情報(データ)は取り除かれ、実際に能力全
体を向上させる。
第5図に戻って、信号スペクトルコンディショナー52
は対数コンバーター出力信号IZw’ )を処理して、
本発明の方法と装置に有用な最小信号レベルを確立する
。コンディショナー52により採用される典型的スレ、
シゴルドあるいは識別間係は、 Zk’ =Z、’  −(□、(Z、’  1−N)、
k−0,・・、15に対して   (弐6)ここで(z
m’lは出力信号、(八′)は入力信号、vaax (
h′)は信号(h′)により得られる最大値、そしてN
は保持されるデシヘル世により決定される。
典型的にはNは約15から20デンヘルの間で保持され
るように選択される。
当業者にはデジタル信号におけるこのようなスレッシシ
ルト関係を確立するために使用される回路あるいは装置
はよく知られているものである。
前述のように、この間係は又信号がデジタルコンピュー
タ内に転送されるとき、ソフトウェア−を使用して達成
可能である。
第1図に戻って、条件付けられたサンプル(Zl)は転
送されたスペクトルデータがら一連の前定義された音響
あるいは調音パラメータにマツプされる。第2図に示さ
れるように、これは各離散的スペクトルサンプル入力に
対する一連の調音パラメータ値を提供するマツピング素
子54を使用して達成される。マツピング素子54を構
成するための典型的な装置は第6図に詳細に示されてい
る。
本発明の方法と装置を実施し、そしてスペクトルデータ
を調音パラメータ内にマツプするために、検出されるパ
ラメータとそれらがスペクトルパターンと関連づけられ
る方法は最初に確立される。
本発明の方法は“音素”として知られ、通常光は入れら
れる言語学的単位を採用して、言語データあるいはスペ
クトルを、調音パラメータの特定組即ちセットに適切に
関連づけることが出来る同様のスペクトルの離散的クラ
スに分割する1本発明は話される言語データにおいて発
生する約24の基本的音素の識別を基礎にしている。そ
れは実際に観察されるこれらの24の音素を特徴付ける
スペクトルであるが、その音素は関連スペクトルに対す
る関連ラベルあるいはマーカーとして有用であス マツピンク処理を系統だでるのに使用される音素は任意
の番号指定とタイプによる分類と共に下記の表Hにリス
トされている。停止など一時的事象に反対するような連
続音のみが表Hに示されていることに留意すべきである
。周知のごとく、連続音は何ミリ秒間もスペクトルの安
定性を示し、それはそれらをサンプリングするのに十分
な機会を提供する。表Hにおいて、音声摩擦音と無声摩
擦音との間には何の区別も無い、なぜならばそれらを生
成する声道形状が本質的に同しであるからである。
表■にリストアツブされた連続音は4つの一次クラスに
並べられ、それらは母音、摩擦音、流音、そして鼻音で
ある。半母音やある特別な音素が又必要とされるとき処
理定義に割り当てられる。本発明は表■のリストに占有
的に分析や処理を制限しないことに留意すべきである。
他の音素があるタイプの言語あるいは言語治療において
しばしば発生する特定調音パターンに対して使用可能で
ある。さらに、全リストを使用する必要はないが、重要
な調音情報がさもないとユーザーに失ねわでしまう。当
業者は、表■により確立されたクラスは従属した言語で
あることが理解されよう。
凡例 1−/i/(beet) 2−/I/(bit) 3 /e/(bai t) 4−/E/(bet) 凡例 凡例 /A/(bat) /a/(bottle) 10/(caught) 10/(boat) 」」L 凡例 9 /U/(book) 10−/u/(boot) 11− /&/(but) 12−/r/(bird) 凡例 /R/(road) /L/(little) 一 凡例 /s/(sing、zing) /s/(shove、measure)/f/(fi 
le、very) 凡例 /T/(Thought、this) /h/(he) 一員−JL− 凡例    凡例 20  /s/(+som)       22−ハ/
(sing)21−/n/(no) 一滑土 凡例    凡例 23 /y/(yet)    24−/w/(wet
、when)望ましい実施態様の例示および構成の目的
のため、一連の8つの発声パラメータが表Hに示した音
素との関連付けのため選択された。人間の声道の解剖学
的な特性を説明するため本発明において用いられるパラ
メータは、 顎開披(JO) 口唇開口(RO) 舌中心部高さ(TC) 舌根部水平位置(BX) 舌根部垂直位置(BY) 舌先端部水平位置(TX) 舌先端部垂直位置(TY) 下唇後退(L i、、 ) これらパラメータの各々の名称即ち呼称は、特定のパラ
メータによりその位置が示される解剖学的場所即ち要素
を意味し、当業者には容易に理解される。最後のパラメ
ータであるL Lは、/f/および/V/の如き音素の
形成のため必要とされる口唇開口パラメータによって指
定される値から偏在した下唇を記述するために用いられ
る。
当業者は、別のパラメータ、即ち代替的な呼称形態が割
当てられて上記の音素の発声と関連付けることができる
ことを容易に理解しよう。−例は。
口舌の弛緩あるいは緊張を追跡するパラメータである。
しかし、別のパラメータを使用することも゛また、特定
の用途のための兼合いである別の処理力および時間を必
要とする。
上記のパラメータに対する定義即ち物理的属性は、研究
文献において入手可能な情報の細心の分析、使用中の声
道のX線、会話療法士が得たデータ・サンプルによって
決定される。
研究室の測定は、既知の音素を追跡することにより時間
経過とともに集めたスペクトル・データを含み得る。即
ち、充分に識別された音素を音声源カラモニターし、そ
のスペクトルを分離して会話の各関連音素との関連付け
を可能にする。スペクトル・データは、顕著に話者単独
の系統を提供するため非常に多数の対象および多岐にわ
たる会話タイプ(男性、女性、女の子供、男の子供)か
ら蓄積されねばならない。
上記の情報は、特定の音声即ち音素を形成するための音
を生じるため使用される公知の解剖学的な運動あるいは
筋肉位置のデータ・ヘースを提供する。これは更に、種
にの発声管の位置あるいは解剖学的な特徴を定義し、従
って調音パラメータに対する値を定義する。即ち、上記
データあるいは情報を調べることにより、発声者の顎、
舌先部、舌中心部、舌根部等の相対的位置に対する特定
値が形成される特定音即ち音素に対して確立される。
このことは、与えられる解剖学的形態が上記の表におけ
る各音素に対して確立されることを意味する。
調音パラメータは、予め選定された起点即ち原点(0,
0)の値に対する運動を表わすパラメータ軸に沿った位
置に関して表現される。パラメータの定義に際して使用
される実際の座標値即ち基底座標位置は、計算を単純化
して既知の物理的制約を満たずように選定される。例え
ば、舌先部は口蓋より高(移動することができないが、
歯部は重なり合った位置で静止し得るため、最初に接触
した場所より更に深く交袷し得る。調音パラメータの指
標は、以下に述べるように物理的な不可能状態を阻止し
て関連する表示システムの解像度に見合った相対的尺度
を用いるように設定される。
当業者は、基底座標および尺度の選定がなされるプロセ
スを容易に理解し、これらの値を特定の用途に適合する
ように調整しよう。
これらの既知の解剖学的形態即ちパラメータを用いて、
24の選好された音素のリストからの各音素(n)は、
その要素として8つの特定の調音パラメータ(p)を有
する各々の特徴ベクトルf(n、p)を割当られる。特
定の値nに対する特徴ベクトルf (n、p)は、上記
の発声パラメータの各々に対する個々の要素を含む1×
8ベクトルであり、これは従来どうり下記のように表わ
すことができる。即ち、 f(n、p) = [JO(n)、RO(n)、TC(
n)、Bχ(n) 、 BY (n) 。
TX(n)、TV(n)、LL(n)]しかし、当業者
は、別のパラメータ・シーケンスが本発明の教示内容の
範囲内で可能であることが理解されよう。
次のステップは、測定されたスペクトルを所与の特徴ベ
クトルにマッピングするための関係を定義することであ
る。これは、各音素がこれに対する実質的な表示子即ち
標識として処理することができるこれと関連する1つ以
上のスペクトル・パターンをもつことを認識することに
より可能となる。従って、会話データのスペクトル分布
は、対応するパラメータが割当てられる音素の使用によ
り調音パラメータに直接マツピング即ち関連付けが可能
である。本発明の方法は、スペクトル・データを調音パ
ラメータにマッピングするための特徴マツプを使用する
。この特徴マツプの使用により、FFT要素42によっ
て与えられるスペクトル情報を解釈して調音パラメータ
の構成を決定することを可能にする。これは、音素のク
ラス即ち種別に対する線形変換マトリックスを生成する
ことにより行われる。これらのクラス即ち種別マトリッ
クスは、FFT出カスベクトル・データを乗じてスペク
トルを生じる音と対応する特徴ベクトルの妥当な近似を
生じる。マトリックスは、数学の諸手法において理解さ
れるマトリックスの微分(derivation)、乗
算および転!(transposition)の原理を
用いで展開される。今日まで、音声処理は、広帯域のス
ペクトル情報のスペクトルあるいは音素種別へのスペク
トル・マツピングを行う前にこのような手法を使用した
ことはなかった。下記の微分(derivation)
は、本発明の理解および使用に必要な1組のマツピング
の様相(マトリックス)を形成するため行わねばならな
いステ、ブを説明する。これは、本発明の実施の際実時
間ではなく研究室において1回行われる。
望ましい音素は、最初−緒にスペクトルおよび発声のf
i(以性に従って種別に分類される。先に述べたスペク
トルおよび発声のt!([7性に基く音素の種別への分
類の事例は、 種別O5STfh     摩擦音 種別1    i!eEA     前母音種別2  
  AaO&ho    低母音種別3    oUu
w      奥母音種別4    Rr      
  R’s種別5    L n        Lお
よび鼻音/h/ 、10/および/A/の如き音素は各
々2つの種別に現れることに注目すべきである。これは
、これらの音素が「境界線」の場合でありこれら種別が
重複し得る故である。
上記の種別分類を用いて、線形変換マ) IJソックス
下記の如く導くことができる。即ち、与えられた種別C
については、1組の音素の特徴ベクトルが存在する。即
ち、 f(n、p) : p = 0・・・・7、および種別
Cにおけるnの場合 また、1&IIの測定スペクトルは: s(j、n、 i) : j −0=−45、種別Cに
おけるn、およびi−0・・・・M(nLl 但し、M (n)は種別Cを表すスペクトル数である。
回線変換マトリックスTおよび定数ベクトルCは、測定
スペクトルs(j、n、i)を特徴へクトルヘ変換する
ため必要である。この点において、Tが観察されたスペ
クトルSで乗しられ、またCに加算される時、Sを生じ
る際に生成される音と対応する特徴ベクトルf (n)
の妥当な近似が生成される。
即ち、音素nを表わすスペクトルSに対しては、式 T* 5(n) +c=f (n)    (式7)は
、音素ph(n)に対する特徴ベクトルf (n)に対
して近い適合を生じる。
マトリックスTの各行は他の行から独立的であり、この
ため特徴ベクトルの各要素(各パラメータpの如き)を
個々に考えることを可能にする。
従って、与えられたパラメータPに対しては、Cにおけ
る各nに対するr (n)および1&[lのスペクトル
s (」、n、 i)の値を得る。必要なものは、16
の値のベクトルt(j) (但し、j=0・・・・15
)、即ち下式の如く変換マトリックスTの1つの列であ
る。
t*s(n、i)+c#f(n)     (弐8)i
=0・・・・M(nLlおよびCtこおける全てのnの
場合は、16個の値はFFT処理により与えられるスペ
クトルの分割即ち範囲と対応する。
最初の要素s (0,n、i)は、FFT処理前のD 
Cバイアスの除去により略々常に約ゼロである。値s(
0,n、i)は、これがゼロHzにおけるノイズ即ちエ
ネルギを実質的に表わす故に削除される。従って、要素
s(0,n、i)は、ベクトルt(j)における最初の
要素を定数Cで置換する効果を有する定数(例えば、1
)により置換され、弐(s)は更に簡単に下式となる。
即ち、 も* s (n、i)’; f (n)      (
八8)i=0・・・・M(n)−1の場合は、Cにおい
ては全てnである。
厳密には、t * s (N、i)およびf (n)間
の平均二乗誤差(EC)を最小限度に抑えるベクトルt
が存在する。即ち、 EC−Σ   Σ   [t″″5(ni) 「(n) (式10) (式I1.) この式は下記となる。
即ち、 但し、A(j、k)  =t(j) 5(Ln、i) 
 t(k) s(k、n、1)B(j)  −t(j)
s(j、n、i)標準的な計算法は、各t(j)に関す
るECの偏導関数がゼロである時ECが最小となること
を示唆している。偏微分を実行してtO)について解け
ば、 tO)=Σ s−’(m、j) F(m、p)    
(式20)但し、s −1は対称マトリックスSの逆数
であり、SおよびFは下記の如くスペクトル・データs
(J+n+i)および所要の特徴ベクトルf(n、p)
から計算される。
即ち s(m、j)−Σ Σ  5(j I) s(Ill、n (式21) %式%) (式22) 変換マトリックスT (j、 p)に対して解かれるへ
き式はPであり、従って F (a+、 p)−Σs(m、j) T(j、p) 
        (式23)与えられた1組の音素に対
する音素種別の定義、およびスペクトル・データ[s(
j、n、i)lの組に対する上式のプロセスは、各種別
の音素に対する変換マトリックスTを結果として生じる
。上記の誤差ECは、この種別における特徴ベクトルに
対して定義する種別のスペクトルのマツピングにおける
Tの精度の測定値を提供する。
次のステンプは、種別を信幀性があるように正確に分け
る線形変換を導くことである。この変換は、特徴ベクト
ルの代わりに種別のベクトルが用いられる点を除いて、
前と同し方法を用いて得られるマトリックスの種別の識
別あるいは分離からなる。ここで、音素が帰属する特定
の種別を表わすものを除いて全てのベクトル要素はゼロ
である。
個々の種別マトリックスの場合におけるように、この種
別の識別の変換マトリックスに対する誤差の測定値EC
が調べられる。もしECが種別マトリックスに対して大
き過ぎるならば、1つ以上の種別が多すぎる非類似音素
を含み、これらはより小さなあるいは異なるグループに
分割される。従って、これら2組の変換に対する誤差の
測定値を検証する少数回の反復の後、プロセスは均衡さ
れ、適当なマトリックスが得られる。
次に第6図において、スペクトル・サンプル60がスペ
クトル情報のベクトルを含んでいる。望ましい実施態様
においては、このサンプル60は16の要素61を有し
、各々が問題のスペクトル範囲の一部と対応する。各要
素は、対応するスペクトル部分におけるサンプルにより
示されるエネルギの大きさと対応する多量ピント・ワー
ドを含む。
処理の際、サンプル・ベクトル60が、種別識別即ち分
割(separation)マトリックス62、および
−連の種別マトリックス72により乗ぜられる。種別識
別マトリックス62を形成する要素の値は、(サンプル
・ベクトル60により表わされる)スペクトル・サンプ
ルが与えられ種別の音あるいは音素に該当する可能性と
の対応を生じる。このマトリ。
クスの乗算は、1×8要素の単一のベクトル出力を生じ
、各要素は言葉の断片が8つのスペクトル種別の特定の
1つに該当する相対的な加重値を表わす。この出力は、
単一の生の種別ベクトル64の形態にある。
次いで、生の種別ベクトル64は、下式の関係に従って
正規化要素66において正規化され、NV、 =RV、
/):、IRVk     (式35)1つの断片が与
えられた種別内に該当する可能性を表わす値を含む正規
化された可能性種別ベクトル68を生成する。二のベク
トル68は、乗算器即ち転送手段70へ転送され、この
転送手段は別個の60の別個の種別乗算の結果生じる別
個のを単一の特徴ベクトルア6を生成するための加算要
素74へ転送する。
マトリックス72は、先に述べた種別マトリ、クスを表
わし、スペクトル即ち音素のあらがしめ定義された種別
毎に1つのマトリックスが存在する。
これらのマトリックスにおける要素VL、サンプル・ベ
クトル60により乗しられる時、8パラメータの特徴ベ
クトルを生じる。このため、8つの特徴ベクトルがサン
プル・ベクトル60による並列の種別マトリックス72
の乗算の結果生じる。
種別マトリックス72からの各特徴ベクトル出力を正規
化された種別ベクトル6Bにおける対応する要素で乗じ
ることにより、各音素種別に対する加重ベクトルがサン
プル・ベクトル毎に得られる。
即ち、種別識別マトリックスが、1つの音がどれかの種
別の一部である加重された可能性を判定し、この重みに
基いて各種別からの出力の比率を選定する。もし音が専
ら1つの音素種別に該当するならば、この種別に対する
加重値は約1.0となるが、他の全ての種別に対する値
は略々ゼロとなる。この結果、唯1つの種別マトリック
ス72からの出力の選定を生じる。
しかし、1つの音が1つ以上の種別に該当することもあ
り得る。これは、例えば、音素間の音声の変換の際に生
じる。種別の確立ベクトル68がこれらの種別を選定す
る場合、音は確率の値の範囲内に該当し、この値に従っ
てそのように該当する。
本発明の装置をより一層有効にするため、必須ではない
が、音声の処理中特徴ベクトル76の調音パラメータの
値を視覚的に調べるためのデイスプレィが設けられる。
パラメータ・データを表わすための例示的な表示パター
ンが第7図に示されるが、同図では声道の中央矢状図が
示される。最終表示システムにおいては問題のパラメー
タは一般に運動以外には示されないが、第7図において
明瞭に示されている。音声サンプルが処理される時、各
パラメータは然るべく変化し、表示装置はスクリーン上
に視覚的パターンを変化させるよう指令される。
このシステムにおける1つの応用は発声療法において使
用される。本発明の原理に従って作動する発声療法が第
8図に示される。
第8図においては、発声療法システム90は、個人が上
記の発声パラメータの状態を判定し、表示装置における
これらパラメータのグラフ表示を観察することを可能に
する。このため、ユーザがその音声システムの物理的対
話を、また知覚筋がどのように衝撃発声を変化させるか
をよりよく理解することを可能にする。本システムは、
システム・ユーザがこれらの対話が変化する時解剖学的
構造における変化を視認できるという利点を存する。
表示されたイメージは静止的ではなく動的であり、発声
の諸特徴にわたる解剖学的なflilf JBに関する
即時のフィードバックおよび改善された情報を可能にす
る。従って、本発明は、調音プロセスのよりよい理解を
助けるものである。
これは、療法の対象物からの発声を受取るため、先に述
べた如きマイクロフォン12あるいは類(以の装置を用
いることにより達成される。発声は、所要の個所をアナ
ログ・フィルタ処理することにより処理され、ディジタ
ル化される。ディジタル化された信号は、先に述べたよ
うに更に処理を行うためマイクロコンピュータに接続さ
れる。
療法システムは、増幅器14に対する入力ソースとして
、また以降のフィルタおよびディジタイザ段としてマイ
クロフォン12を使用する。ディジタル化された発声信
号は、次いでマイクロコンピュータ80に転送され、こ
こで入力データに対する必要なフィルタ、うイントウ、
FFTおよび変換段を提供するため、コンピュータ・プ
ログラムを用いて本発明の方法に従って処理される。次
に、このプロセスから生じるパラメータは、ビデオ・デ
イスプレィを駆動するため使用されるプログラムへ与え
られる。
ビデオ表示技術はコンピュータ技術においては周知であ
り、図形表示の詳細については本文では繰返さない。し
かし、イメージ90の中央矢状図は、所要のパラメータ
情報を非常に明瞭に与え、本発明と関連する用途に対す
る非常に望ましいイメージが考察される。このイメージ
の種々の特徴はユーザの実際の調音変化の簡単ではある
が実際の表示を行うように設計されている。
本発声療法システム90は、1つの特定の音がシステム
・ユーザからの実時間入力と同期される時、この音を生
成するに必要な調音パラメータあるいは解剖学的変化の
改善された相関関係を提供する。
加えて、一連の音を形成するための理想化モデルがシス
テム・ユーザのその時の入力の結果生じる実時間表示に
隣接して表示されるように、情報の分割スクリーン表示
を用いることができる。
事務1」配しん久久 入カスベクトルをスペクトル種別および種別の調音パラ
メータにマツピングするための例示的な分割および種別
マトリックス(それぞれ第6図における62.72)を
以下に述べる。これらのマトリックスは、図示を簡単に
するだけの目的のためその転置された形態で示される。
これらのマトリックスは、先に述べた数学的分析に従っ
て、下記の音素種別に暴くスペクトル種別を用いて導か
れる。
即ち、 種別0 5Tfh 摩擦音 種別1 eEA 前母音 種別2 AaO&h。
低母音 種別3 Uuw 奥母音 種別4 種別5 Lおよび鼻音 これは、 下記のマトリックスを導く。
即ち、 種別識別マトリックス LO 0,16 0,03 0,13 0゜03 0.06 0.06 0.06 0.03 0.22 C]21 0.03 0.06 0.03 0.06 0.06 0.06 0.06 0.06 0.09 0.09 0.03 0.13 L2 0.06 0.16 0.09 0.03 0.09 0.03 0.03 L3 0.09 0.06 0.06 0.06 0.06 0.06 0.16 0、O3 0,09 0,03 L4 0.16 0.09 0.16 0.06 0.06 0.03 0.03 0.09 0.03 0.03 0.09 0.03 0.03 L5 0.03 0.03 0.03 0.09 0.03 0.06 0.03 0.06 0.03 0.03 C10C[,7 ここで、CL nが種別nを表わし、またSWがフーリ
エ変換されたデータにおいて与えられる16のスペクト
ル範囲の与えろれた1つに対するスベク)・ル加重を表
わす。
種別Oマトリックス: 5STfh  (摩擦音〕SW
   JOLRTCTBX  TBy  TTxO−0
,310,221,,09−0,220,970,66
1−0,1600,03−0,1,3−0,03−0,
0320,060,09000,090,0630−0
,03000−0,09 40,25−0,060,440,060,+9−0.
035 −0.09−0.06−0.03−0.03−
0.09−0.136 0.22−0.03 0.34
 0.03 0.19−0.137  0 −0.03
 0.03−0.03  0 −0.228 0.13
 0.06 0.03 0.03 0.09 0.16
9 −0.03  0 −0.03  0 −0.03
−0.0910  0 0.06−0.22 0.06
−0.03 0.1911  0  0 0.03  
0  0  012 −0.06  0 −0.13 
 0 −0.06  013 0.03  0 0.0
3  0 0.03−0.161.4  0 −0.0
3 0.03 0.OfO,030,03150−0,
060,+3−0.09 0.03−0.37ry O125 0,06 0,09 0,09 0,72 0,22 0,53 0,06 0,25 0,16 0,25 0,06 0,25 0,03 0、Oo L 0.16 0.22 0.03 0.06 0.09 0.03 0.03 0.06 種別1マトリックス:1leEA (前母音) 0.16 0.28 0.13 0.19 0.13 0.03 0.09 0.09 0.03 0、O3 0,06 0,13 0,19 0,28 TCTBX 0.72 −1.72 0.62 −0.28 .31 0.16 .44 0.19 .28 0.13 0.03 0.03 0.16 0.13 0.09 0.03 .31 0.09 0.13   0 0.06   0 0.06   0 0.03 −0.13 0.41 −0.09 0.56 0.09 1.16 −0.03 h 0.28 0.56 0.28 0.37 0.25 0.06 0.06 .28 0.09 0.06 0.03 0.06 0.34 0.47 1.06 TX 0.37 0.16 0.16 0.03 0、O6 0,09 0,16 0,16 0,13 ry 1.00 0.28 0.13 0.19 0.09 0.09 0.09 0.03 0.03 0.03 0.16 0.19 0.28 種別2マトリツクス AaO&l+o (低母貧) JOLR O,720,09 0,2B  0.1.6 0.1.3 −0.03 0.06   0 0.03   0 0 −0.06 0  0.06 0.09 −0.09 0.06   0 0.03   0 0.03   0 0.16 −0.03 0.03 0.03 0.91.   0 TC 2,50 0,44 0,19 0,13 0,16 0,13 0,16 0,13 0,03 0,31 0,34 TBX O109 0,16 0,06 0,09 0,37 0,22 0、03 0,13 0,22 0,13 0,03 0,13 0,19 0,31 0,22 TBy   TTx ]、、9]  0.19 0.66 0.16 0.22 −0.03 0.16 0.06 0.1.9 0.1.9 0.16   0 0.03 −0.13 0.03 −0.03 0.28   0 0.25 −0.19 0.06 0.09 0.03 0.0 0.06 −0.09 0.37〜0.09 0.19 0.16 0.37 −0.13 TTx 0.28 0.13 0.06 0.03 0、03 0.09 0.03 0.03 0.13 0.03 0.16 種別3マトリックス: otluiy (奥母音)JO 0,13 0,03 0,03 0,03 0,09 0,06 0、09 0,03 0,03 0,13 0,03 0,09 0,03 LRTC O,561,62 0−0,06 00,09 0−0,06 0090゜19 0.03 −0.13 0.09 0.19 0 −0.06 0 −0.13 0  0.25 0.03 −0.03 0.03 0.16 0 −0.09 0.06 0.03 TBx   TBy O,060,81 0,03−0,06 0,030,25 0−0,16 0,160,09 0,03−0,16 0,090,22 0−0,09 0,03−0,25 00,4] 0.06   0 0.03 0.22 0.06−0.03 0  0.09 0  0.03 TTx   TTy O,340,94 0−0,03 0,060,03 0,03−0,03 0,1,30,09 0−0,06 0,060,09 0−0,03 0,03−0,03 00,13 0,06−0,03 0,030,09 0,06−0,03 種別4マトリックス:Rr (R’s) 0.06 0.03 0.06 0.03 0.16 0.03 0.41 0.22 0.09 0.16 0.09 0.19 0.47 LRTC O,161,53 0,030,03 0,030 0,090,06 0,25−0,19 0,130,09 0,060,03 0,09−0,06 0,06−0,03 0,130,09 0,31−0,22 T丁x    TTy 1、.37 −1..06 0  0.03 0  0.06 0 −0.19 0  0.09 0  0.03 0 −0.06 0 −0.03 0  0.09 0 −0.22 種別5マトリツクス=Ln (Lおよび鼻音) TC 1,44 0゜37 0.06 0.19 0.03 0.28 0.50 0.03 0.06 0.06 0.06 0.03 Bx o、47 0.50 0.09 0.22 0.03 0.37 0.66 0.06 0.09 0.06 0.09 0.09 0.03 Tx 0.03 0.31 0.06 0.13 0.22 0.41 0.03 0.06 0.03 0.06 0.03 TTy O150 0,41 0,06 0,19 0,03 0,31 0,53 0,03 0,09 0,06 0,06 0,09 0,03 種別6マトリックスおよび種別7マトリノクス(なし)
TTy LL O この事例Qこおける最後の2つの種別は、類イ以するス
ペクトル間の更なる識別が要求されるより小さな種別へ
の別のスペクトル分類あるいはスペクトルの再分割のた
めに保留されている。
望ましい実8I!1LJi様の以上の記述は、例示およ
び説明の目的のために示した。本発明を本文に示した正
確な形態以外を排除しあるいはこれに限定する意図はな
く、本文の教示により多くの変更および修正が可能であ
る。実施態様は、本発明の原理を、また当業者が本発明
を種々の実施態様でかつ考えられる特定の用途に適する
如き種々の変更により、最もよく利用できるようにする
実際の用途を最もよく説明するために選定され記述され
た。
本発明の範囲は特許請求の範囲およびその相当思想によ
って定義されるべきものである。
【図面の簡単な説明】
第1図は本発明の原理による音声言語データからの調音
パラメータを決定し、そして表示する方法、 第2図は第1図の方法により調音パラメータ動作を決定
して、表示するための言語システム、第3図は第1図の
ノステムにおける言語をデノタル化して、濾波するため
に使用される典型的入力ステージ、 第4図は第1のピッチトラッカーと信号スナノブンヨノ
1素子の詳細組織図、 第5図は信号濾波、ウィンドー、フーリエ変換、条件付
は要素、そして第1図の装置内で採用された段階の詳細
図、 第6回は第1回の装置で採用された調音パラメータ用の
マツピング要素、及びクラス選択とパラメータ決定段階
の略図、 第7図は選択された調音パラメータの表示、第8図は本
発明を採用する言語治療システム。 14:前置増幅器、18:エイリアス除去フィルタ、2
0:デジタイザー、22:信号スナップショット素子、
24・ピッチトラッカー、26:整流器、28フイルタ
ー、30:対数コンバーター、32・遅延回路、34:
減算素子、36:トリガー論理ユニ7)、40、ウィン
トウー回路、42:FFT処理素了、50:対数コンバ
ーター、54:マノピンク素子。 (外4名) 図面の浄書(内容に変更なし) 羊 目 バJ1ハ0ラメータ ど〜礎 〉 ガ、アル ■ 続 補 +F 書()〕式) %式% 発明の名称 調音パラメータを音市デ 夕から決定する方法及び装置 補正をする者 事件との関係   特許出願人 住所 名称   エマーツン・アント・スターン・アソンエイ
ンコーポレーテット

Claims (1)

  1. 【特許請求の範囲】 1、音声データから一連のN個の調音パラメータの値を
    決定する方法において、 複数の発声音素種別を生成し、該発声音素種別の各々は
    類似するスペクトルおよび調音特性を共有する複数の発
    声音素を含み、 発声を表わすディジタル音声データ信号を生じ、前記音
    声データ信号におけるエネルギ・レベルの予め定めた変
    化に従って、前記音声データ信号のデータ・セグメント
    を予め定めたサンプリング間隔で選定し、 前記選定されたデータ・セグメントをスペクトル・デー
    タ・セグメントに変換し、 前記スペクトル・データ・セグメントの各々を前記発声
    音素種別に変換して、前記セグメントが前記各種別内の
    音素と対応する確率に対する重みを生成し、 前記各スペクトル・データ・セグメントを前記各発声音
    素種別に対する複数の調音パラメータに変換して、各発
    声音素種別における調音特性を表わす一連のN個のパラ
    メータ値を生成し、 スペクトル・データ・セグメントが所与の発声音素種別
    と対応する確率に対する重みを各発声音素種別からの出
    力パラメータ値と組合わせて、選定されたデータ・セグ
    メントに対する単一の一連のN個のパラメータ値を形成
    する ステップを備える方法。 2、予め定めたサンプリング速度で音声データをディジ
    タル化してディジタル音声データを形成し、 前記ディジタル音声データのエネルギ・レベルを監視し
    、 前記ディジタル信号のエネルギ・レベルに従って、予め
    定めた間隔で処理するため前記ディジタル音声データの
    セグメントを選定し、該セグメントは複数のディジタル
    ・データ・サンプルを含み、前記選定されたデータ・セ
    グメントの高周波数レベルを増強し、 前記選定されたデータ・セグメントにウィンドウ機能を
    与え、 前記選定されたデータ・セグメントにおけるサンプルに
    対し高速フーリエ変換を行いスペクトル・データ・セグ
    メントを形成し、 前記スペクトル・データ・セグメントの大きさの対数を
    生成して、対数の振幅スケールを持つ対数セグメントを
    生成し、 前記対数セグメントに対し閾値条件を与え、前記対数セ
    グメントの各々を複数の発声音素ベクトルに変換して、
    前記対数セグメントが前記各発声音素種別内のスペクト
    ルと対応する確率に対する重みを生成し、 前記各対数セグメントを前記複数の発声音素種別の各々
    に対する複数の発声パラメータ値に変換して、前記対数
    セグメントにより表わされるスペクトルが対応する各発
    声音素種別におけるパラメータを表わす一連のN個のパ
    ラメータ値を生成し、対数セグメントが所与の発声フォ
    ーマット種別と対応する確率に対する重みを各発声フォ
    ーマット種別からの出力パラメータ値と組合わせて、単
    一の一連のN個のパラメータ値を形成するステップを更
    に含む請求項1記載の方法。 3、音声データをディジタル化する前記ステップが更に 音声を受取ってこれをアナログ音声信号に変換し、 高周波数増強フィルタ処理を前記アナログ音声信号に与
    え、 低周波数フィルタ処理を前記アナログ音声信号に与えて
    約50Hzより低い周波数を除去するステップを含む請
    求項2記載の方法。 4、エネルギ・レベルを監視して分析のため前記ディジ
    タル信号のセグメントを選定する前記ステップが更に、 前記ディジタル音声信号を整流して絶対値整流音声信号
    を形成し、 前記整流音声信号を平滑化し、 前記整流音声信号の大きさの対数を表わす対数信号を生
    成し、 該対数信号を遅延要素に与えて予め定めた期間だけ遅れ
    た出力を生成し、 前記対数信号から遅延要素出力を差し引いて差の信号を
    形成し、 前記差の信号が予め定めた期間増加する時、前記ディジ
    タル音声信号からのセグメントを選定するステップを含
    む請求項2記載の方法。 5、セグメントを選定する前記ステップが更に、サンプ
    ル・カウントを確立し、 該サンプル・カウントをゼロに設定し、 各ディジタル・サンプルが分析のため与えられる時、前
    記差の信号における相対的変化を検出し、前記サンプル
    ・カウントを1だけ増分し、 立ち上がり時間カウントを確立し、 前記差がレベルの増加を表示する毎にカウントを前記立
    ち上がり時間カウントに記録し、 前記サンプルおよび立ち上がり時間カウントの値を予め
    定めたカウント限度と比較し、 前記限度に達する時、予め定めた数のディジタル・サン
    プルをセグメントとして確立し、 前記カウントをゼロにリセントするステップを含む請求
    項4記載の方法。 6、前記平滑化ステップが更に、式 Y_n=(15/16)Y_n_−_1+X_n/16
    により定義される関係を与える請求項4記載の方法。 但し、X_nは入力ディジタル信号、Y_nは出力ディ
    ジタル信号。 7、前記ディジタル化ステップが、問題の周波数の少な
    くとも2倍の大きさのサンプリング速度でアナログ音声
    信号をサンプリングすることを含む請求項2記載の方法
    。 8、閾値条件を与える前記ステップが、最大{Z_k}
    の所与の期間にわたる最大値を持つ入力信号{Z_k}
    に対して、式 P_k=Z_k−(max{Z_k}−N)として定義
    される対応する出力信号P_kが存在する条件を付与す
    ることを含む請求項2記載の方法。 但し、Nは保持される最大値に対するダイナミック・レ
    ンジ。 9、前記対数セグメントの各々を複数の発声音素種別に
    変換する前記ステップが、各対数セグメントにおけるス
    ペクトル・サンプルをQ列×R行を持つ線形変換マトリ
    ックスの形式の種別識別マトリックスで乗じるステップ
    を含み、Qはサンプリング目的のための予め定めた数の
    スペクトル範囲、Rは使用されたスペクトル種別数であ
    り、各要素は、所与のスペクトル成分が前記発声音素種
    別の所与のものに該当する確率に対する加重因数を表わ
    し、該乗算が生の種別ベクトルを生じる請求項2記載の
    方法。 10、前記各対数セグメントを複数の調音パラメータに
    変換する前記ステップが、各対数セグメントにおけるス
    ペクトル・サンプルを複数の種別マトリックスで乗じる
    ステップを含み、各種別はS列×P行を持つ線形変換マ
    トリックスの形式を呈し、Sはサンプリング目的のため
    の予め定めたスペクトル範囲数であり、Pは使用される
    調音パラメータの数に等しく、各要素は、所与のスペク
    トル成分が種別における前記パラメータの所与のものを
    表わし、前記乗算は複数の種別パラメータ・ベクトルを
    生じる請求項9記載の方法。 11、前記組合わせステップが、 前記生の種別ベクトルを正規化し、 前記正規化されたベクトル要素と対応する種別マトリッ
    クスで乗じる前に、対数セグメントを前記正規化された
    生の種別ベクトル要素の各々により乗じて各種別マトリ
    ックスに対する加重されたセグメント入力を生じ、 前記パラメータ・ベクトルの全てを加算して1つの出力
    パラメータ・ベクトルを形成する請求項10記載の方法
    。 12、前記組合わせステップが更に、 前記生の種別ベクトルを正規化し、 前記各種別パラメータ・ベクトルを、種別マトリックス
    と対応する前記正規化された生の種別ベクトル要素の1
    つの要素で乗じて複数の加重されたパラメータ・ベクト
    ルを生じ、 前記加重されたパラメータ・ベクトルの全てを加算して
    1つの出力パラメータ・ベクトルを形成するステップを
    含む請求項10記載の方法。 13、高周波数を増強する前記ステップが、関係式 Y_n=X_n−αX_n_−_1 を与えるステップを含む請求項2記載の方法。但し、Y
    _nは出力信号、X_nは入力信号、αは典型的には0
    .5および0.7の範囲内にある。 14、前記変換ステップが、式 W_n=0.5−0.49Cos[(π/16)_n]
    (n=0・・・・31)により定義される関数を与える
    ステップを含む請求項2記載の方法。 15、前記変換ステップが、式 Z_k=■Y_ne^−^j^(^2^π^/^3^2
    ^)^n^k(n=0・・・15) により定義される関係に従ってデータ・サンプルを変換
    するステップを含む請求項2記載の方法。 但し、Z_kは出力信号、Y_nは入力信号。 16、前記ディジタル音声信号のエネルギ・レベルを監
    視する前記ステップが更に、前記ディジタル音声信号に
    おけるピッチ変化を追跡するステップを含む請求項1記
    載の方法。 17、前記選定ステップが、一時に予め定めた数Dのデ
    ィジタル・サンプルを転送するステップを含む請求項1
    記載の方法。 18、D=32であることを特徴とする請求項17記載
    の方法。 19、人間の声道の中央矢状図を表わすイメージを生成
    し、 前記調音パラメータを前記イメージにおける対応する解
    剖学的点と関連付け、 前記イメージを前記調音パラメータ値における変化に従
    って変更するステップを含む請求項1記載の方法。 20、音声データから複数の調音パラメータの状態を決
    定する装置において、 予め定めたサンプリング速度で音声データをサンプリン
    グし、該音声データのエネルギにおける変化に基いて予
    め定めたサンプリング間隔で予め定めた長さの音声デー
    タ・サンプル・セグメントを生じるサンプリング手段と
    、 該サンプリング手段と直列に接続されて前記音声データ
    ・サンプルを受取り、該セグメントを、時間的に変化す
    る振幅データからスペクトル・データ・セグメントに変
    換する変換プロセッサと、該変換プロセッサと接続され
    て前記スペクトル・データ・セグメントの各々における
    スペクトル・データを複数の予め定めた発声音素種別の
    1つ以上と関連付けて、前記セグメントが前記各種別内
    のスペクトルと対応する確率に対する重みを生成する第
    1のマッピング手段と、 前記変換プロセッサと直列に、また前記第1のマッピン
    グ手段とは並列に接続されて、前記スペクトル・データ
    ・セグメントの各々におけるスペクトル・データを前記
    複数の各種別に対する複数の調音パラメータに変換して
    、前記セグメントにより表わされるスペクトルが対応す
    る各種別におけるパラメータを表わす一連のN個の調音
    パラメータ値を生成する第2のマッピング手段と、前記
    第1および第2のマッピング手段と接続されて、所与の
    種別の確率に対する前記重みを一連のN個の調音パラメ
    ータと組合わせて、1つの加重されたN個のパラメータ
    出力を生じる組合わせ手段と を備える装置。 21、前記サンプリング手段が、 予め定めたサンプリング速度で音声データをサンプリン
    グして、これからディジタル音声データを形成するディ
    ジタル化手段と、 前記ディジタル音声データを受取り該ディジタル音声デ
    ータのエネルギにおける変化を監視するエネルギ・モニ
    ター手段と、 該エネルギ・モニター手段と接続されて、予め定めた長
    さの前記ディジタル音声データのセグメントを、該ディ
    ジタル音声データのエネルギにおける変化に基いて予め
    定めたサンプリング間隔で選定するセグメント選定手段
    とを含む請求項20記載の装置。 22、前記エネルギ監視手段が、ディジタル音声信号に
    おけるピッチ変化を追跡して予め定めたピッチ変動に応
    答して出力を生じるピッチ・トラッカを含む請求項21
    記載の装置。 23、前記エネルギ監視手段が、 前記ディジタル音声データを対数振幅スケールに変換す
    るスケーリング手段と、 対数スケール化されたディジタル音声信号を受取り、こ
    れに対する予め定めた遅れを与える前記スケーリング手
    段と直列をなす遅延線と、 前記遅延手段および前記スケーリング手段の出力と接続
    されて、音声信号を遅延された音声データ・セグメント
    に加算する加算手段と、 該加算手段と前記セグメント選定手段との間に接続され
    て、予め定めた数のサンプリング期間中、前記データ・
    セグメントのエネルギにおける増加に応答して前記選定
    手段に対して選定信号を与えるトリガー手段とを含む請
    求項21記載の装置。 24、前記セグメント選定手段と前記エネルギ・モニタ
    ー手段との間に接続されて、予め定めた周波数範囲にわ
    たり前記音声信号の高周波数成分を増強する周波数増強
    手段を更に含む請求項21記載の装置。 25、前記周波数増強手段と直列に接続されて、前記選
    定されたデータ・セグメントに対して予め定めたウィン
    ドウ機能を与えるウィンドウ手段を更に含む請求項24
    記載の装置。 26、前記変換手段と前記第1および第2のマッピング
    手段との間に接続されて、スペクトル・データ・セグメ
    ントの振幅を対数振幅スケールに変換する対数手段を更
    に含む請求項24記載の装置。 27、前記変換手段と前記マッピング手段との間に接続
    されて、前記スペクトル値の各グループにおけるデータ
    に対する最大値から測定される予め定めたダイナミック
    ・レンジ外のスペクトル・データを除去する閾値手段を
    更に含む請求項20記載の装置。 28、前記第1のマッピング手段が、前記スペクトル・
    データ・セグメントを予め定めた種別識別マトリックス
    で乗じる第1のマトリックス乗算手段を含む請求項20
    記載の装置。 29、前記第1のマトリックス手段から出力を受取り、
    これから正規化された種別ベクトルを生成するベクトル
    正規化手段を更に含む請求項28記載の装置。 30、前記第2のマッピング手段が、前記スペクトル・
    データ・セグメントを複数の予め定めた種別マトリック
    スで実質的に同時に乗じる第2のマトリックス乗算手段
    を含む請求項20記載の装置。 31、前記加算手段が、 第1の入力において前記第1のマッピング手段と、また
    第2の入力において前記第2のマッピング手段と接続さ
    れて、該第1の入力において前記種別関連マトリックス
    によるスペクトル・データの乗算結果、および第2の入
    力において前記種別マトリックスの各々による乗算の結
    果を受取る複数のディジタル乗算器であって、1つの加
    算器が1つの種別の乗算からのその第2の入力を受取る
    ように接続されている複数のディジタル乗算器と、前記
    複数のディジタル乗算器の全ての出力と接続されたディ
    ジタル加算器とを含む請求項30記載の装置。 32、前記変換プロセッサと前記第1のマッピング手段
    との間に接続されて、前記スペクトル・データ・セグメ
    ントの各々におけるスペクトル・データを、前記種別と
    の関連付け前に複数の子め定めたスペクトルのサブ種別
    の1つ以上と関連付ける第3のマッピング手段を更に含
    む請求項20記載の装置。 33、前記組合わせ手段と接続されて、前記調音パラメ
    ータを受取りかつ声道の解剖学的図のアニメーション化
    表示と実質的に同時に、前記パラメータの大きさにおけ
    る変化を表示する視覚的表示手段を更に含む請求項20
    記載の装置。 34、前記視覚的表示手段が、 視覚スクリーン上に人間の調音系統の形態で予め定めた
    図形パターンを表示する図形表示手段と、前記図形パタ
    ーンを前記調音パラメータにおける変化に応答して変化
    させるアニメーション手段とを含む請求項33記載の装
    置。 35、前記表示手段が更に、 前記人間の調音系統を断面図で表示する表示領域を含む
    請求項34記載の装置。 36、前記調音パラメータに対する数値を表示する手段
    を更に含む請求項34記載の装置。 37、音声データを格納しかつ必要に応じて該データを
    再生する記録手段を更に含む請求項34記載の装置。 38、音声の生成中声道形態を表わす調音パラメータの
    値を決定するシステムにおいて、 連続的な音声を表わす一連の発声スペクトル・サンプル
    を生成する音声コンバータと、 該音声コンバータと並列に接続される複数のスペクトル
    変換手段であって、該スペクトル変換手段の各々は、対
    応するスペクトルおよび調音特性を有する複数の発声音
    素を含む各発声音素種別を確立し、その確立された種別
    における音声スペクトルを予め定めた1組の調音パラメ
    ータ値に変換する複数のスペクトル変換手段と、 前記音声コンバータと接続されて、1組の確率値を生じ
    る種別識別変換手段とを設け、前記組の各確率値は各発
    声音素の種別が前記音声スペクトル・サンプルで表わさ
    れる発声音素を有する確率を表わす種別識別変換手段と
    、 前記複数のスペクトル変換手段および前記種別識別変換
    手段と接続されて、前記調音パラメータ値の組の各々を
    各確率値と組合わせて複数の調整された調音パラメータ
    値の組を生じる列状の組合わせ様相手段と、 前記複数の調整された調音パラメータ値の組を、声道形
    態を表わす調整された1組の調音パラメータ値に組合わ
    せる単一の組合わせ様相手段とを備えるシステム。
JP26294290A 1990-09-29 1990-09-29 調音パラメータを音声データから決定する方法及び装置 Pending JPH04140799A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26294290A JPH04140799A (ja) 1990-09-29 1990-09-29 調音パラメータを音声データから決定する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26294290A JPH04140799A (ja) 1990-09-29 1990-09-29 調音パラメータを音声データから決定する方法及び装置

Publications (1)

Publication Number Publication Date
JPH04140799A true JPH04140799A (ja) 1992-05-14

Family

ID=17382710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26294290A Pending JPH04140799A (ja) 1990-09-29 1990-09-29 調音パラメータを音声データから決定する方法及び装置

Country Status (1)

Country Link
JP (1) JPH04140799A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000504848A (ja) * 1996-02-06 2000-04-18 ザ、リージェンツ、オブ、ザ、ユニバーシティ、オブ、カリフォルニア 非音波式音声特性記述及び認識のための方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000504848A (ja) * 1996-02-06 2000-04-18 ザ、リージェンツ、オブ、ザ、ユニバーシティ、オブ、カリフォルニア 非音波式音声特性記述及び認識のための方法及びその装置

Similar Documents

Publication Publication Date Title
US4980917A (en) Method and apparatus for determining articulatory parameters from speech data
CN107657964B (zh) 基于声学特征和稀疏数学的抑郁症辅助检测方法及分类器
JP6906067B2 (ja) 声紋モデルを構築する方法、装置、コンピュータデバイス、プログラム及び記憶媒体
Siriwardena et al. The secret source: Incorporating source features to improve acoustic-to-articulatory speech inversion
US7680666B2 (en) Speech recognition system, speech recognition method, speech synthesis system, speech synthesis method, and program product
CN107622797B (zh) 一种基于声音的身体状况确定系统及方法
Alshehri et al. Detection and diagnosis of learning disabilities in children of Saudi Arabia with artificial intelligence
KR20240135018A (ko) 감정 자극을 이용한 음성-기반 정신 건강 평가를 위한 멀티-모달 시스템 및 방법
Panek et al. Acoustic analysis assessment in speech pathology detection
Golabbakhsh et al. Automatic identification of hypernasality in normal and cleft lip and palate patients with acoustic analysis of speech
CN110556129A (zh) 双模态情感识别模型训练方法及双模态情感识别方法
CN112006697A (zh) 一种基于语音信号的梯度提升决策树抑郁症识别方法
CN101996635B (zh) 基于重音突显度的英语发音质量评价方法
Khan et al. Cepstral separation difference: A novel approach for speech impairment quantification in Parkinson's disease
Dahmani et al. Vocal folds pathologies classification using Naïve Bayes Networks
EP1341159B1 (en) Speech information recognition device and speech information recognition method based on myoelectrical signal analysis
CN114678039A (zh) 一种基于深度学习的歌唱评价方法
Chen et al. Ema2s: An end-to-end multimodal articulatory-to-speech system
Dubey et al. Detection and assessment of hypernasality in repaired cleft palate speech using vocal tract and residual features
RU2559689C2 (ru) Способ определения риска развития заболеваний индивида по его голосу и аппаратно-программный комплекс для реализации способа
Orellana et al. Vowel characterization of Spanish speakers from Antioquia–Colombia using a specific-parameterized discrete wavelet transform analysis
JP2022145373A (ja) 音声診断システム
Mitra et al. From acoustics to vocal tract time functions
Berger Measurement of vowel nasalization by multi-dimensional acoustic analysis
Speights et al. Computer-assisted syllable analysis of continuous speech as a measure of child speech disorder