JPS627081A

JPS627081A - 音声信号の画像化表示方法及び装置

Info

Publication number: JPS627081A
Application number: JP60146410A
Authority: JP
Inventors: 亮渡邊
Original assignee: Research Development Corp of Japan
Current assignee: Japan Science and Technology Agency
Priority date: 1985-07-03
Filing date: 1985-07-03
Publication date: 1987-01-14
Also published as: JPH055353B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、連続音声信号から音韻性を表す各種の特徴（
無声子音区間、有声破裂音区間、有声摩擦音区間、鼻音
区間、音声ピッチ及び３つのホルマント周波数）を実時
間で抽出して画像信号として合成し、音韻列がよく理解
できるようにカラーテレビジョンに表示する音声信号の
画像化表示方法及び装置に関するものである。

〔従来の技術〕

聴覚障害者は、我が国に身障者手帳の交付を受けた者の
みで現在約３６万人、他に潜在している者も含めると１
００万人とも１２０万人ともいわれている。このうち、
５０〜６０％は老人難聴が占めていると推定される。

聴覚障害者が将来にわたって健聴者と同様の社会生活を
営んでい（ためには、年少の頃より高度な音声言語の概
念及び発話の仕方を習得する必要がある。聴覚障害者の
聴力欠損の補償には、補聴器が用いられる場合が多いが
、先天的な、或いは幼児期からの高度難聴、特に感音系
の高度難聴の場合には、補聴器だけで言語習得するのに
かなりの困難を伴う。従って音声言語の概念及び発話の
仕方を習得するためには、補聴器の装用など残存聴力の
積極的な活用も勿論重要であるが、それに加えて聴覚の
代行としての視覚や触覚の補助による効果的な音声情報
の伝達が可能であれば、音声言語の理解や発話の習得に
とって有効な手段となり得る。特に、視覚から受は入れ
られることの可能な情報の量は、概数として聴覚の３０
倍以上、触覚に比べれば実に１０００倍にも達するとこ
ろから、視覚を用いるのが有利である。

視覚による聴覚障害者用の言語訓練装置は、障害者が自
己の発話を矯正する目的をもつものと、他者の言葉を読
み取り理解する目的をもつものとに分けられる。前者は
、音声信号の特徴のうち矯正の対象となる１つ又は２つ
の特徴を表示する装置で、後者の目的を兼ねることは難
しいが、後者は、音声信号のもつ各種の特徴を総合的に
表現する必要から前者の目的を兼ねることが可能である
。

しかし、後者に属するものは、これまでに極少数の方法
が存在するのみであり、それらはいずれも同一とみなし
ても良い位本質的に情報の表示が似通っている。その代
表例が、「音声スペクトログラフィック表示」°（音響
、音声及び信号処理に関する１９７６１ＥＥＥ国際会議
報告ｐｐ、５９０−５９３）と呼ばれているものである
。

〔発明が解決しようとする問題点〕

上記「音声スペクトログラフィック表示」は、音声の周
波数スペクトルの時間変化を実時間でディスプレイ上に
２次元表示するものであり、音声信号のもつ分析的特徴
はよく表現される。従って、計測には適するが、発話者
の個人差や連続発声における口の動きのなまけ等による
物理的特徴の変形（調音結合効果）がそのまま図形化さ
れるため、音韻列を読み取るのに直観性に欠けるという
問題がある。

本発明は、上記の問題点を解決するものであって、連続
音声信号から各種の子音と母音の特徴を分離抽出して視
覚的に理解しやすいカラー画像として表示することがで
きる音声信号の画像化表示方法及び装置を提供すること
を目的とするものである。

〔問題点を解決するための手段〕

そのために本発明の音声信号の画像化表示方法は、音声
信号からホルマント周波数及び音声ビ・７チを抽出する
と共に、無声子音区間及び有声子音区間を検出し、母音
区間及び各子音区間で色彩と形状と模様を変えて表示す
るようにしたことを特徴とするものであり、その装置は
、音声入力手段と、無声子音区間を判定する無声子音区
間検出手段と、複数種類の有声子音区間を判定する有声
子音区間検出手段と、音声ピッチを抽出する音声ピッチ
抽出手段と、３つのホルマント周波数を抽出するホルマ
ント抽出手段と、ホルマント周波数を基に３原色信号を
生成すると共に無声子音区間、有声子音区間及び音声ピ
ッチの各特徴に対応する形状と模様の画像信号を生成す
る画像信号生成手段と、３原色信号及び画像信号から母
音区間及び各子音区間で色彩と形状と模様を変えたカラ
ー合成映像信号を生成するカラー符号化手段とを具備し
たことを特徴とするものである。

〔作用〕

本発明の音声信号の画像化表示方法及び装置では、連続
音声信号から母音区間及び各種の子音区間の特徴を抽出
する。そして、その特徴に従って画像の色彩、模様等が
決定する。ホルマント周波数を抽出してその各ホルマン
ト周波数を基に３原色信号を生成すると、日本語の５母
音は、色彩により明瞭に区分できるようになる。このよ
うな色彩や模様により視覚的に理解しやすいカラー画像
が得られる。しかも、カラー合成映像信号を生成するこ
とによって、通常使用されているカラーテレビジョンに
より視覚的に理解し易い画像で表示できる。

〔実施例〕

以下、実施例を図面を参照しつつ説明する。

第１図は本発明に係る連続音声の色彩表示装置の１実施
例構成を示す図、第２図は第１図に示す装置の動作を説
明するための信号波形図、第３図は音声信号とブランキ
ング信号との関係を説明するための信号波形図、第４図
は変換部の出力を３原色信号とする場合の５母音の色度
分布の例を説明するための図、第５図は非直線変換部の
出力を３原色信号とする場合の５母音の色度分布の例を
説明するための図である。

第１図に示す実施例では、連続音声信号から各種の子音
と母音の特徴を分離抽出するために無声子音区間検出回
路２、有声子音区間検出回路３、ピッチ抽出装置４及び
ホルマント抽出装置５がそれぞれマイクロホン１の出力
側に並列に接続される。それぞれの具体的な構成例は後
述するが、無声子音区間検出回路２はく無声子音区間を
判定して無声子音区間を示す信号パルスＵＶを出力する
ものであり、有声子音区間検出回路３は、３種の有声子
音区間（有声破裂音区間、有声摩擦音区間、鼻音区間）
を判定して３種の有声子音の存在を示す信号パルス１ｍ
、ｎｌ、Ｉｂ、ｄ、ｇｌ及び１ｚ１を出力するものであ
り、ピッチ抽出装置４は、入力波形のピーク時点を抽出
して平均ピッチ周波数を算出してピッチ信号Ｆ。を出力
するものであり、ホルマント抽出装置５は、第１、第２
、第３ホルマント周波数を抽出してこのホルマント周波
数信号Ｆ＋　、Ｆｚ　、Ｆ３を出力するものである。

例えば第２図（ａｌに示すように１ｓ　ａ　ｍ　ｉ　ｄ
　ａ　ｒｅｏ　　ａｔｓｕｍｅ・・・・・・１なる連続
音声をマイクロホンｌから入力した場合、無声子音区間
検出回路２では、ｒｓＪと「ｔｓｊのときに第２図（ｂ
ｌ　ニ示すような信号パルスＵＶを出力し、を声子音区
間検出回路３では、ｒｍＪとｒｄＪのときに第２図（Ｃ
）に示すような信号パルスを出力する。また、ピッチ抽
出袋ｗ、４では、無声子音区間を覗いた区間で第２図（
ｄｌに示すような電圧波形のピッチ信号Ｆ、を出力し、
ホルマント抽出装置５では、各母音に対応して第２図（
Ｑｌに示すような電圧波形のホルマント周波数信号Ｆ＋
　−Ｆ！　、Ｆ３を出力する。

上記各信号のうち、無声子音区間を示す信号パルスＵＶ
及びピッチ信号ＦＯはそれぞれ混合回路６に入力される
。両者は、時間的に重複しないので、混合回路６は、レ
ベルによる識別が可能なように信号パルスＵＶを充分大
にして両者を加算し、第２図（ｆｌに示すような混合信
号Ｆｏ／ＵＶを出力する。

３種の有声子音の存在を示す信号パルスＩｎ。

ｎｌ、ｌｂ、ｄ、ｇｌ及びｌｚｌは論理回路７に入力さ
れる。論理回路７は、有声子音以外の区間をｒｏ、ＯＪ
、有声破裂音ｌｂ、ｄ、ｇｌの区間をｒＯ，ＩＪ、有声
摩擦音＋２１の区間を「１゜０」、鼻音１ｍ、ｎｌの区
間をｒｌ、ＩＪで表す２ビツトの信号パルスＶ、　、Ｖ
、に変換するものである。

３つのホルマント周波数信号ＦＩ　、Ｆｔ　、Ｆ３は変
換部８に入力される。変換部８は、ホルマント周波数Ｆ
１、Ｆ！、Ｆ３を定数倍したのち、そのうちの２信号の
対数値の差に定数１ｏｇａを加算し、そして逆対数をと
る。すなわち、次のような２信号ずつの巡回比をとって
これを出力する。

Ｅ、Ｉ　’　−ａ　（５ＦＩ／Ｆｓ　）ＥＧ　　’　−
ａ　（Ｆｉ　／　３　Ｆ＋　）Ｅａ　　’　＝ａ　　（
３Ｆ：ｌ　　１５Ｆｇ　　）この変換は、発話者の声道
長の個人差に関する正規化と５母音の色彩分離を明瞭に
する意味をもつ。

上述の如き混合回路６、論理回路７及び変換部８により
得られた６種の信号Ｆｏ／ＵＶ、■１、■２、Ｅ、１　
′、ＥＧ　′、Ｅｌ　　’は、記憶装置９に記憶される
。記憶装置９は、例えばマルチプレクサ、Ａ／Ｄ変換器
、Ｉ１０ボート、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｄ／Ａ変換
器で構成され１、データの記憶、読み出しの各種プログ
ラムがＲＯＭに格納される。そして、操作部１０からキ
ー人力によりＲＯＭ中のプログラムを選択して巡回記憶
（パターンが画面上を実時間で流れる記憶方式）、固定
記憶（パターンの静止表示を行う記憶方式）等４種の表
現パターンを指定できるように構成される。同様にキー
人力によりマルチプレクサのサンプリング速度も変更可
能とし、テレビ画面上に表現する音声信号画像の時間長
を１秒〜２秒の間で５種選択できるようにしてもよい。

すなわち、記憶装置９は、連続音声の特徴を示す信号を
一時記憶し高速で読み出すことにより、時間的に変化す
る音声をカラーテレビ画面上で空間的に流れる直視画像
や静止画像を得られるようにするものである。

記憶装置９に記憶された上記６種の信号は、同期信号発
生回路１６で発生されるカラー符号器１９の垂直同期信
号、即ちカラーテレビジョン２１の垂直同期信号に同期
して分離回路１１、論理回路１３、強調回路１７へ読み
出される。

分離回路１１は、記憶装置１１から読み出した信号Ｆ　
ｏ　／　Ｕ　Ｖからピッチ信号Ｆ０のレベルより高い閾
値を越える無声子音区間ＵＶを抽出し、さらに、無声子
音区間ＵＶのピッチ信号Ｆ０を禁止してピッチ信号Ｆ６
と無声子音区間ＵＶとを分離する。このピッチ信号Ｆ０
は、ブランキング信号発生器１４に送られる。

ブランキング信号発生器１４は、第３図に示すようにカ
ラー符号器１９の水平同期信号に同期した鋸波信号（鋸
波発生部１２の出力）とピッチ信号ｐｏを大小比較し、
ピッチ信号Ｆ、の小さな時間のみ輝度を上げて他を輝度
０にする信号を発生させる。この第３図（ｆｌに示すよ
うなブランキング信号は、画像の水平方向の発光幅を音
声ピッチで制限する信号であり、カラー符号器１９にお
けるカラー合成映像信号に用いることによって、第３図
（川に示す映像画面を得ることができる。

論理回路１３は、論理回路８で生成された有声子音区間
に関する信号Ｖ、　、Ｖｔを３つの有声子音区間１ｂ、
ｄ、ｇｌ、１ｍ、ｎｌ、ｌｚｌに再分離し、子音パター
ン発生回路１５を駆動する。

子音パターン発生回路１５は、各有声子音区間と無声子
音区間ＵＶとがそれぞれ異なった信号（同ｗ１信号又は
ノイズ信号）をゲートして出力するものである。その出
力は、各子音区間で異なった模様の画像を生ずる信号（
パターン信号）ＵＶＦ、ｌｂ、（Ｌ　　ｇｌｒ、１ｍ、
ｎｌｒ、ｌｚ　ｌｒとして、カラー符号器１９へ入力さ
れる。

強調回路１７は、例えばマイクロプロセッサを用いた信
号の時間変化相互の強調回路であり、各信号値Ｅｌ’、
ＥＧ’、Ｅ、ｌに対してその変化速度が一定値を越える
区間を遷移部、それ以外の区間を定常部とみなして各定
常部を隣接定常部の信号で強調するものである。つまり
、強調回路１７は、調音結合によるホルマント周波数変
化の不明瞭化を回復する効果を与えるものである。例え
ば１ｉａｅＩと発話したときの中央母音の色度が調音結
合のために単母音１ａｌの領域まで達しない場合が生じ
るが、この回路を使って処理することにより明瞭な色彩
とすることができる。この強調量は、遷移部の変化量と
隣接部時間長の積に比例するように決められる。強調回
路１７の３出力は、非直線変換部１８に入力される。

非直線変換部１８は、それぞれの信号Ｅｌ′、ＥＧ’、
Ｅｌ’に対応して異なった非直線特性を有し、信号Ｅ８
′、ＥＧ　’、ＥＭ″をＤ／Ａ変換して発話者の個人差
による色度を安定化するものであり、その出力Ｅえ、Ｅ
、、Ｅ、がカラー符号器１９の３原色信号入力となる。

変換部８の出力そのままを３原色信号とする場合には、
例えば第４図に示すように母音ｌｕｌに対して母音ｌｅ
ｔとｌｉｌが重なる５母音の色度分布になるが、強調回
路１７及び非直線変換部１８を通した非直線変換部１８
の出力を３原色信号とすることによって第５図に示すよ
うに５母音が重ならない色度分布とすることができる。

カラー符号器１°９は、分離回路１１、子音パターン発
生回路１５及び非直線変換部１８から入力された８種の
特徴の信号ＵＶ５ＵＶＰ　、ｌ　ｂ、ｄ。

ｇＬ、１ｍ、ｎＬｘ　　１２１ｐ、ＩＩ、ｃ、ＥａｓＥ
ｌ、同期信号発生回路１６からの同期信号によりカラー
合成映像信号を生成するものであり、母音区間及び各子
音区間で色彩と模様を変えたカラー合成映像信号を生成
する。

カラー符号器１９において得られたカラー合成映像信号
は、ビデオ信号として出力され、或いは高周波信号で変
調されアンテナから放射して（又はフィーダ線を介して
）通常使用するカラーテレビジョンに送信される。この
ようなカラー合成映像信号によりカラーテレビジョンに
は、例えば、母音はその特徴を表す明瞭な色彩とし、子
音部はその聴覚的イメージを視覚的に表現する模様とし
、話し言葉の抑揚（イントネーション）は画面上の水平
方向の発光幅の変化として表示される。

第６図は無声子音区間検出回路の１実施例を示す図であ
る。無声子音区間検出回路は、第６図に示すように高域
フィルタ（例えばカットオフ周波数３．５　ｋＨｚ）　
　２１の出力及び低域フィルタ（例えばカットオフ周波
数１．５　ｋＨｚ）　　２２の出力の対数値を求める。

そして、対数差演算回路２３でこれらの対数エネルギー
差を求め、闇値による２値化回路２４で闇値を越える部
分と無声子音区間とを判定している。

第７図は有声子音区間検出回路の１実施例を示す図であ
る。有声子音区間検出回路は、音声信号から高域、低域
及び帯域フィルタの組み合わせにより出力エネルギー比
及びその対数値とそれらの線形変換と判定回路とを用い
て有声破裂音１ｂ。

ｄ、ｇｌの区間、有声摩擦音＋２１の区間及び鼻音１ｍ
、ｎｌの区間を分離抽出するものであるが、その具体的
な構成例としては、第７図に示すように一方では音声全
域（１００Ｈｚ〜５ｋｌ（ｚ）及び低域フィルタ（例え
ばカットオフ周波数２００Ｈｚ）　３１の出力の対数値
を求め、減算回路３２でこれらの対数エネルギー差αを
求める。また、他方では高域フィルタ（例えばカットオ
フ周波数２ｋＨｚ）３３の出力と高域フィルタ（例えば
カットオフ周波数４ｋＨ２）３４の出力の対数値を求め
、減算回路３５でこれらの対数エネルギー差βを求める
。そして、線形判別関数に基づく線形変換回路３６と２
値化回路３７ヘフィルタ回路出力α、βを入力し、その
出力を論理判断して３種の有声子音区間１ｍ、ｎｌ、ｌ
ｂ、ｄ、ｇｌ及び＋２１を得る。３つの線形判別関数は
、２成分α、βにより例えば実際の発話による音声分布
を°調べ、その分布に基づいて決定することができる。

第８図はピッチ抽出装置の１実施例を示す図である。ピ
ッチ抽出装置は、音声信号の直接積分により声帯振動成
分を強調した信号を得たのち、そのピーク周期検出法に
より実時間で音声ピッチを抽出するものであり、その具
体的な構成例とじては、第８図に示すように音声信号を
−６ｄｂｌｏｃｔ。

の傾斜をもつ低域フィルタ（例えばカットオフ周波数５
０Ｈｚ）　　４１で積分したのちＡ／Ｄ変換回路４２で
アナログ／デジタル変換し入力ボートを通して２個のＣ
ＰＵ４４．４６を有する回路へ入力する。ＣＰＵ４４は
、入力波形のピーク時点を抽出してこれをインターフェ
ース・メモリ４５へ送る。

次にＣＰＵ４６でその値から２０ｏ＋ｓを１フレームと
しＬｏｍｓのフレーム周期で平均ピッチ周波数を算出す
る。そして、その変化を出力ボート４７を通しＤ／Ａ変
換部４８でデジタル／アナログ変換して出力する。

第９図はホルマント抽出装置の１実施例を示す図である
。ホルマント抽出装置では、第９図に示すようにアナロ
グ・サンプリング・フィルタとして構成された零点周波
数制御可能な逆フィルタ回路５１ないし５５（５個）を
用い、それらの出力の平均零交差周波数で逆フィルタの
零点を制御する。最終段の逆フィルタの零点とその出力
の平均零交差周波数（Ｓ　Ｆ　Ｖ　Ｃの出力）は、第１
、第２、第３ホルマント周波数の対数値（ｌｏｇＦ、　
、ｌｏｇＦ　２　、ｌｏｇ　Ｆ　３）に収束し、収束後
に１０ｍ５毎にサンプリングされホルマント周波数の対
数値が決定される。逆フィルタとしては、時間遅延素子
と加重加算回路からなるアナログ・サンプリング・フィ
ルタが用いられるが、この場合のアナログ・サンプリン
グ・フィルタの時間遅延素子から発生する雑音による誤
動作をプリエンファシス、デエンファシスによるＳ／Ｎ
改善で防いでいる。

第１０図はカラー符号器の１実施例を示す図、第１１図
は無声子音、有声子音の表示信号処理を説明するための
波形図、第１２図は輝度補正回路の動作を説明するため
の波形図である。カラー符号器では、第１０図に示すよ
うに通常のカラー符号器と同様マトリクス回路を通して
３原色信号Ｅ＊　、Ｅｃ　、Ｅｓから輝度信号Ｅ７、色
度信号Ｅ０、Ｅｌを生成するが、３原色信号と同期信号
からＮＴＳＣ方式に従ってカラー合成映像信号を生成す
る通常のカラー符号器とは、次の特殊処理を行う点で異
なる。

（１）第１１図（ｂ）ないしくｅ）に示す有声子音パタ
ーン信号ＩＺＩＰ、１ｍ、ｎｌｐ、ｌｂ、ｄ、ｇｌ、及
び無声子音パターン信号ＵＶ、は、それらのいずれかが
存在するとき、その信号により輝度信号をスイッチング
する。従って、信号の種類により異なる輝度変化の模様
が表示される。

（ｉｉ　）無声子音区間においてのみ、搬送色信号をｒ
ＯＪにし無彩色化する。従って、無声子音は、白と黒と
の輝度変化パターンが表示される。これに対して、有声
子音区間では９色彩と輝度変化パターンの重複、母音区
間では、色彩のみの表示となる。

例えば無声子音（Ｕ　Ｖ）と鼻音（１ｍ、ｎｌ）が存在
する場合には、第１１図（ｆ）、（幻に示すブランキン
グ信号、無声子音区間を示す信号ＵＶ、第１１図（ｂ）
ないしくｅｌに示す有声子音パターン信号Ｉｚｌ−１１
ｍ、ｎｌ、、ｌｂ、ｄ、ｇｌ、及び無声子音パターン信
号ＵＶ、から第１１図（ｈｌ及び（１）に示す輝度ゲー
ト信号、色ゲート信号が得られ、第１１図０１に示すよ
うな表現パターンが得られる。

（ｉｉｉ　）搬送色信号の振幅により輝度信号のレベル
を抑制する輝度補正回路を付加し、色相による明度の違
いを小さくし、明るさの対比効果を減じて周囲の母音の
如何にかかわらず一定の色彩が見えるようにする。第１
２図（ａｌに示すように母音の明るさは、ＥＶの大きさ
とｅｉの振幅より定まる。

この場合には、周囲の母音に対して中央の母音が暗く感
じられる。そのため、Ｅ７が所定の闇値より大きいとき
に第１２図（ｂｌ以下に示す輝度補正を行う。この輝度
補正を行って得られる第１２図（ｆｌに示す波形では、
各母音がほぼ一様の明るさに見えるようになる。つまり
、この輝度補正では、周囲の母音による明るさの対比効
果を打ち消して母音環境によらず一定の明るさに見える
ようにしている。

次に本発明に係る装置を用いた音声認識実験の結果を２
例示す。

第１３図は３母音連鎖の識別実験の結果の例を示す図で
ある。この実験結果は、１ａｉａ１、［ｏｅｏ　１等２
０個の対称３母音連鎖と単母音を男性２名、女性１名の
発声者に発声させた音声試料を用い、２人の被験者に単
母音のみを学習させ、ランダムに呈示された６０個の３
母音連鎖を実時間で表示し読み取らせたときの正解率の
変化（学習曲線）を示している。２人の被験者共、音声
のスペクトログラフィック表示に近いホルマント軌跡を
直接判定する方法（ＦＯＲＭＡＮＴ　ＤＩＳＰＬＡＹと
表示）では学習進行が遅く、７２％程度の正解率で飽和
するのに対し、本発明に係る装置による表示（ＣＯＬＣ
ＲＤＩＳＰＬＡＹと表示）では、殆どの学習なしで非常
に誤りの少ない読み取りが可能で、正解率は９８％に達
している。

第１４図は子音を含む無意味単語の識別実験の結果の例
を示す図である。この実験結果は、有声又は無声子音を
含む１モーラの音声１ｍａｌ、１ｂ０１．１ｎｅｌ、１
ｚａ１．１ｄｅ１．１１１等１５個を学習させ、１ｎａ
ｚｉｌ、１ｂａｂＯ１，１ｎｕｎｅ１等有声子音を含む
２モーラの音声２５個、及びｌｓａｄａｍｉ　ｌ、１ｎ
ｕ　１ｚａ１等有声子音、無声子音を含む３モーラの音
声１０個、合計３５個の無意味単語をランダムに実時間
で呈示して読み取らせたときの学習曲線を示す。この例
から明らかなように、無意味単語のためかなり読み難い
作業であるにもかかわらず、学習によりかなりの理解が
可能になる。

本発明が連続音声の直観的理解に有効なものであること
は上記２例の実験結果からも明らかである。

なお、本発明は、上記実施例に限定されるものでなく、
種々の変形が可能である０本発明は、周波数スペクトル
のような漠然とした特徴ではなく、音韻性側々の音響的
特徴を精密な方法で抽出し画像化するものであり、その
画像化は、記憶装置を用いて時間的に変化する音声信号
の特徴を色彩、模様、図形の平面的パターンに変換する
ことで行われる。このようにしてカラーテレビジョンの
画面上に得られる色彩等の平面的パターンは、単に視覚
的に捉え易いということだけでなく、異なった色彩の平
面的配置が互いにその色彩を強調して見せる色対比効果
を引き起こして調音結合効果を補償し、明瞭な色彩（色
相、彩度）による直観的な音声の読み取りを容易にする
。

さらに本発明は、ホルマント周波数及びピッチ周波数と
いう音響学上の厳密に定義された特徴要素を実時間で精
密良く抽出し、表示に用いている。

つまり、ホルマント周波数の変数値で定まる原色混合比
に従って色彩を表示しており、これにより、他の方法、
例えば帯域フィルタ群の出力成分を用いるような方法よ
りもはるかに母音の種類と色彩の対応がよくなる。また
、ピッチ周波数は、発話者の声の高さと単語等における
韻律的性質（抑揚−イントネーション）を示すから、そ
れによる色彩パターンの図形化は、言語情報として重要
であり、有声子音、無声子音の特徴表示をその聴覚的イ
メージに対応する視覚的パターンの表現を用いて行うこ
とと合わせて連続音声の総合表現に有効となる。

また、カラーテレビの画面は、２分割して一方に基準と
なる静止像を表示し、他方に実時間じ流れてゆくか又は
静止する直視画像を表示するように映像信号を合成して
もよい。

〔発明の効果〕

以上の説明から明らかなように、本発明によれば、連続
音声信号からホルマント周波数やピッチ周波数等、各種
の子音と母音の特徴を分離抽出して視覚的に理解し易い
カラー画像で表示するので、不特定話者を対象に正常な
音声の明瞭な特徴表現が可能となった。さらには、聴覚
障害者の矯正すべき発話もまたそのまま特徴で表現され
ることとなり、正常な音声の表示パターンと見比べなが
ら自己の発話パターンがそれに近づくように発話訓練を
行うことが可能となった。また、カラー符号器によりカ
ラー受像信号を生成するので、受像装置としてカラーテ
レビ、に特殊なものを必要とせず、何ら改造をも要しな
いし、複数個のカラーテレビで同時に表示することもで
きる。

【図面の簡単な説明】

第１図は本発明に係る連続音声の色彩表示装置の１実施
例構成を示す図、第２図は第１図に示す装置の動作を説
明するための信号波形図、第３図は音声信号とブランキ
ング信号との関係を説明するための信号波形図、第４図
は変換部の出力を３原色信号とする場合の５母音の色度
分布の例を説明するための図、第５図は非直線変換部の
出力を３原色信号とする場合の５母音の色度分布の例を
説明するための図、第６図は無声子音区間検出回路の１
実施例を示す図、第７図は有声子音区間検出回路の１実
施例を示す図、第８図はピッチ抽出装置の１実施例を示
す図、第９図はホルマント抽出装置の１実施例を示す図
、第１０図はカラー符号器の１実施例を示す図、第１１
図は無声子音、有声子音の表示信号処理を説明するため
の波形図、第１２図は輝度補正回路の動作を説明するた
めの波形図、第１３図は３母音連鎖の識別実験の結果の
例を示す図、第１４図は子音を含む無意味単語の識別実
験の結果の例を示す図である。１・・・マイクロホン、２・・・無声子音区間検出回路
、３・・・有声子音区間検出回路、４・・・ピッチ抽出
装置、５・・・ホルマント抽出装置、６・・・混合回路
、７と１３・・・論理回路、８・・・変換部、９・・・
記憶装置、１０・・・操作部、１１・・・分離回路、１
２・・・鋸波発生部、１４・・・ブランキング信号発生
器、１５・・・子音パターン発生回路、１６・・・同期
信号発生回路、１７・・・強調回路、１日・・・非直線
変換部、１９・・・カラー符号器、２０・・・カラーテ
レビジジン。特許出願人　　新技術開発事業団代理人弁理士　阿　部　　龍　吉第３図（引テトヒ゛山面第４図０、Ｔ　　　　Ｏ，２０，３０，４０５０，６０，７似
■１第１１図（他船色）　　　　　　　　　（色彩）（縫し）第１３図尖Ｍ、口枚

Claims

【特許請求の範囲】

（１）音声信号からホルマント周波数及び音声ピッチを
抽出すると共に、無声子音区間及び有声子音区間を検出
し、母音区間及び各子音区間で色彩と形状と模様を変え
て表示するようにしたことを特徴とする音声信号の画像
化表示方法。
（２）ホルマント周波数を基に３原色信号を生成し、母
音を色彩の変化により表示することを特徴とする特許請
求の範囲第１項記載の音声信号の画像化表示方法。
（３）無声子音区間、有声子音区間及び音声ピッチの各
特徴を基に画像の形状と模様を生成し、各子音区間を形
状と模様の変化により表示することを特徴とする特許請
求の範囲第１項記載の音声信号の画像化表示方法。
（４）音声入力手段と、無声子音区間を判定する無声子
音区間検出手段と、複数種類の有声子音区間を判定する
有声子音区間検出手段と、音声ピッチを抽出する音声ピ
ッチ抽出手段と、３つのホルマント周波数を抽出するホ
ルマント抽出手段と、ホルマント周波数を基に３原色信
号を生成すると共に無声子音区間、有声子音区間及び音
声ピッチの各特徴に対応する形状と模様の画像信号を生
成する画像信号生成手段と、３原色信号及び画像信号か
ら母音区間及び各子音区間で色彩と形状と模様を変えた
カラー合成映像信号を生成するカラー符号化手段とを具
備したことを特徴とする音声信号の画像化表示装置。
（５）有声子音区間検出手段は、音声信号から高域、低
域及び帯域フィルタの組み合わせにより出力エネルギー
比を求め、線形変換回路と判定回路を用いて有声子音区
間を分離抽出することを特徴とする特許請求の範囲第４
項記載の音声信号の画像化表示装置。
（６）音声ピッチ抽出手段は、音声信号の直接積分によ
り声帯振動成分を強調した信号を得、そのピーク周期検
出法により音声ピッチを抽出することを特徴とする特許
請求の範囲第４項記載の音声信号の画像化表示装置。
（７）ホルマント抽出手段は、逆フィルタ制御法を用い
て音声信号から３つのホルマント周波数を抽出すること
を特徴とする特許請求の範囲第４項記載の音声信号の画
像化表示装置。
（８）画像信号生成手段は、３つのホルマント周波数を
それぞれ異なる値を用いて定数倍し、そのうちの２信号
ずつの巡回比をとって３原色信号を生成することを特徴
とする特許請求の範囲第４項記載の音声信号の画像化表
示装置。
（９）画像信号生成手段は、有声子音区間及び無声子音
区間の信号によりそれぞれ異なった表示パターンを生成
することを特徴とする特許請求の範囲第４項記載の音声
信号の画像化表示装置。
（１０）カラー符号化手段は、無声子音区間では白と黒
とによる輝度変化パターンで表示し、有声子音区間では
色彩と輝度変化パターンで表示するように構成したこと
を特徴とする特許請求の範囲第４項記載の音声信号の画
像化表示装置。