JPH0515280B2 - - Google Patents

Description

【発明の詳細な説明】

（産業上の利用分野） 本発明は、音声のピツチ曲線（以下イントネー
シヨンと言う）を表示するイントネーシヨン表示
装置に関するものである。 （従来の技術） 我国における外国語教育、とくに外国語の会話
教育は先進諸国のそれと比較して非能率的といわ
れている。大都市なら、外国人と接する機会もあ
り、生の外国語を耳にすることができ、そして自
分の発音を外国人に聞いてもらつて発音を矯正す
ることも可能である。しかし、大都市以外では外
国人と出会う機会はめつたになく、レコードやテ
ープ等で練習できるとしても自分の発音を自分で
矯正することを難しい。なんとなれば、従来の方
法、つまり耳で聞いて真似て言う方法では、正し
い発音がなされたか否かを判定を自分自身の音感
のみに依存し、しかも生徒は正しく聞き、正しく
発音したつもりでいるのであるから、生徒の音感
が訓練されない限り、正しくない発音を正しい発
音であると誤認する結果になる。したがつて効果
的な語学演習のためには、発音が正しいか否かを
判定するのに、生徒の主観的な音感のみに頼ら
ず、客観的な物理量（具体的には音声の波形）を
も併用するのがより合理的である。このために、
CRT上に教師の発音を波形で表示し、この波形
をそのままCRT上に残し、生徒の発音の波形は
発音した都度画き変えて表示するようにすれば、
自分の発音の正否を波形を見ることにより客観的
に判定でき、語学演習に極めて効果的である。 従来、上記のような発音のイントネーシヨンを
表示する装置として、Pitch extractor SE−01
（商品名．リオン株式会社製）がある。このイン
トネーシヨン表示装置は、マイク入力あるいはラ
イン入力による音声の振動数を複数チヤンネルの
バンドパスフイルタで分析して、イントネーシヨ
ンを実時間でCRT上に表示するもので、音声振
動数の分析範囲は男性の場合には約50Hz〜300Hz、
女性の場合には約50Hz〜600Hzと切換えることが
できるようになつている。また、時間を違えて発
音した２人のイントネーシヨンを、同一CRTの
上下に、また重ねて表示することができると共
に、必要に応じてCRT上の画面をプリンタでコ
ピーすることができるようになつている。 （発明が解決しようとする問題点） しかし、上述した従来とインオネーシヨン表示
装置においては、各バンドパスフイルタ間に中心
周波数の間隔が広く、このため僅かでも抑揚のあ
る母音を連続して発音すると、CRT上に表示さ
れるイントネーシヨンが連続した曲線にならない
で、不連続な曲線となつてしまい、イントネーシ
ヨンの判別が困難である。また、破裂音や摩擦音
を伴なう子音を発音すると、ピツチがイントネー
シヨンの周りを飛びはねるように表示され、この
ためイントネーシヨンの判別を困難にしている。
この原因は、音声から抽出したピツチをそのまま
CRT上に表示しているためと考えられる。 第２１図は上述した従来のイントネーシヨッン
表示装置によつて表示したイントネーシヨンの一
例を示すもので、「If you'll be kind enough to
take it in、I'm sure he'll see me.」を発音し
たときのものである。なお、第２１図において
は、ピツチ曲線自体を一層明瞭とするために、不
明確な所をサウンド・スペクトロ・グラフを併用
して確認しながらピツチ曲線に加筆して太く表示
している。この表示例からも明らかなように、実
際には加筆が施されない状態で表示されるため、
このような表示から画面に潜むピツチ曲線を見い
出すことは、素人の生徒には極めて困難である。
このため、利用者が専門家にかたより、また極め
て高価であるところから普及性に欠ける不具合も
ある。 本発明の目的は、上述した種々の問題点を解決
し、イントネーシヨンを明瞭に表示でき、しかも
安価にできるよう適切に構成したイントネーシヨ
ン表示装置を提供しようとするものである。 （問題点を解決するための手段） 本発明のイントネーシヨン表示装置は、それぞ
れ異なる中心周波数を持つ複数のフイルタを有
し、音声入力信号の周波数成分を各フイルタで分
割して出力する多チヤンネルバンドパスフイルタ
と、このバンドパスフイルタからとアナログ出力
をデジタル信号に変換するＡ／Ｄコンバータと、
このＡ／Ｄコンバータの出力を順次サンプリング
し、サンプリングしたデータに基いて最大値およ
びの最大値を持つチヤンネルを検出して、これら
最大値とそのチヤンネルおよび該チヤンネルの近
傍のチヤンネルのデータとに基いて所要の演算を
行うことにより、前記バンドフイルタの分解能を
高めてサンプリグしたデータの基本周波数、すな
わちピツチを検出すると共に、この検出したピツ
チと当該サンプリング以前のサンプリングにおい
て検出したピツチとに基づいて所要の演算を行つ
て当該サンプリングにおいて検出したピツチが不
規則性のものであるか否かを判別して規則性のピ
ツチを抽出する中央処理装置と、この中央処理装
置から順次のサンプリングにおいて選択的に抽出
されるピツチ列を時系列的に表示すると共に、異
なる複数のピツチ列を色分けして同時に表示する
表示装置とを具えることを特徴とするものであ
る。 （作用） 上記構成において、中央処理装置は順次のサン
プリングにおいて最大値およびその最大値を持つ
チヤンネルと、該チヤンネルの近傍のチヤンネル
のデータとに基いて所要の演算を行なうことによ
り、ハードウエア上でのバンドパスフイルタの分
解能が低くても高分解能で基本周波数、すなわち
ピツチを求めることができ、これにより抑揚のあ
る母音を連続して発音してのイントネーシヨンを
連続して表示することができる。また、このよう
にして求めた当該サンプリングにおけるピツチと
それ以前のサンプリングにおいて求めたピツチと
に基いて規則性のあるピツチを抽出することによ
り、破裂音の摩擦音を伴なう子音を発音した際に
イントネーシヨンの周りに飛びはねるように表示
されるピツチを除去することができ、全体として
イントネーシヨンを正確かつ明瞭に表示すること
ができ、かつ異なる複数のピツチ列を同一の表示
装置に色分けして同時に表示することができる。
しかも、この中央処理装置は市販のマイクロコン
ピユータを用いることができ、したがつてこれに
バンドパスフイルタおよびＡ／Ｄコンバータを接
続するだけでイントネーシヨン表示装置を構成で
きるので安価にできる。 （実施例） 第１図は本発明のイントネーシヨン表示装置の
一例の構成を示すブロツク図である。本例では、
ライン入力端子１および２個のマイク入力端子２
ａ，２ｂを切換スイツチ３で選択し、その選択し
た入力端子からの音声信号をバンドパスフイルタ
（BPF）４に供給する。BPF４は、本例では第１
表に示す中心周波数を有し、通過帯域を各々1/3
オクターブに設定した12個のフイルタを具える12
チヤンネルのものを用い、これによつて音声信号
を12チヤンネルに分割してＡ／Ｄコンバータ５に
供給する。このBPF４の実測による特性曲線を
第２図に示す。

【表】

〔処理Ａ〕

Y1＝８｛MCH＋（MCH＋１）Ｄ／2MCHD＋
OFFSET｝ 〔処理Ｂ〕 Y1＝８｛MCH−（MCH−１）Ｄ／2MCHD＋
OFFSET｝ を示す。なお、上記処理Ａおよび処理Ｂにおい
て、MCHは最大値を持つチヤンネルであり、
MCHDはそのチヤンネルの持つ値を示す。また、
OFFSETはCRT９上に表示されるイントネーシ
ヨンの位置を示す。 このように、ある時点での各チヤネルのＤの値
に基いて上記の処理Ａおよび処理Ｂを選択的に行
なえば、ハードウエア上での分解能が低くても高
分解能を得ることができ、例えば１チヤンネル〜
12チヤンネル（各チヤンネルは1/3オクターブ）
のデータを使う場合においては100チヤンネル
（分解能７Hz）の分解能を得ることができる。第
６図はマイクから取込んだ50〜1000Hzの周波数に
対し、１チヤンネル〜12チヤンネルのデータを用
いて上記処理Ａ、Ｂを行なつた結果得られたチヤ
ンネルの関係を示すものである。 不規則性ピツチに対する処理 破裂音、摩擦音等を伴なう子音が発音されると
不規則生ピツチが発生し、そのピツチがイントネ
ーシヨン曲線の周りに飛び散り、イントネーシヨ
ンの判別が困難になる。そこで、本例では上記の
処理Ａ、Ｂによつて得られたピツチに基いて以下
の処理を行ない、不規則性ピツチを表示しないよ
うにする。 すなわち、ある時点において処理Ａまたは処理
Ｂによつて求めたピツチをY1、またY1の直前に
同様にして取込んた６個の連続しているピツチ
Y2〜Y7までの７個の平均値をY0とするとき、 ｜Y1−Y0｜＜Ｌ を満たすY1のみを表示し、その他の値を持つY1
は表示しないようにする。本例にいては、上記Ｌ
の値を６に設定する。このようにして不規則性ピ
ツチの表示を除去することにより、イントネーシ
ヨン曲線の判別を容易に行なうことができる。 以下、本実施例の動作を説明する。 第７図は本実施例の全体の動作を示すフローチ
ヤートである。先ず、FD８に格納されているプ
ログラムをCPU６に読み込み、キーボード７の
「RUN」キーを押してプログラムを起動させる。
プログラムの起動により、先ず、CPT９に「先
生は男性か、女性か？」と表示する。ここで、先
生が男性のときは「１」のキーを、女性のときは
「１」以外のキーを押して性別を指定する。続い
て、CRT９にイントネーシヨンを表示する時間
間隔を表示する。本例では、この時間間隔を2.5
秒、4.5秒および10秒とし、「１」のキーによつて
2.5秒を、「２」のキーによつて4.5秒を、「３」の
キーによつて10秒の時間間隔を指定し、各時間間
隔において音声信号を500回サンプリングしてイ
ントネーシヨンを表示する。 以上の処理後、マイクあるいはラインからの音
声を取込む。この音声の取込みは第８図に示すフ
ローチヤートに従つて行ない、これによりBPF
４で分割されたＡ／Ｄコンバータ５によつてデジ
タル信号に変換された各チヤンネルの12ビツトの
データをサンプリングし、その最下位の１ビツト
を捨てて８ビツトのデータに対数圧縮してCPU
６のメモリに格納する。ここで、Ａ／Ｄコンバー
タ５における変換速度は、指定されたイントネー
シヨンの表示時間間隔に基いて、例えば表示時間
間隔が2.5秒のときは1KHzに設定する。 サンプリングした12チヤンネルのデータに対し
て上記の処理が終了した後、その対数圧縮した12
チヤンネルの８ビツトのデータに基いて、第９図
に示すフローチヤートに従つて分解能を高める処
理を行なう。この処理において先ず対数圧縮した
各チヤネルのデータを取込んで、 Ｄ＝２×（対数圧縮した各チヤンネルのデー
タ）／チヤンネル数 を演算して低減を増幅する
処理を行なうと共に、その演算結果がＤ＜８であ
るか否かを判別してＤ＜８のデータを除去するこ
とにより雑音を除去する処理を行なう。これら低
減増幅処理および雑音除去処理を指定された性別
に対応するチヤンネル数、本例では男性の場合に
は１チヤンネルから９チヤンネルまで、女性の場
合には１チヤンネルから12チヤンネルまで行なつ
て最大値を持つチヤンネル数とその値Ｄを保存す
る。ただし、男性の場合における最大値の検出は
１チヤンネルから８チヤンネルまでの間で行な
う。 設定チヤンネルに対する上記の処理が終了した
ら、男性の場合には１〜８チヤンネル、女性の場
合には１〜12チヤンネルの全てのDNが０か否か
を判断し、０でない場合には保存した最大値を持
つチヤンネル数とその値、およにその前後のチヤ
ンネル数とその値に基いて以下のBRF４の分解
能を高める処理を行なう。すなわち、本例では男
性の場合には１チヤンネルから９チヤンネルま
で、女性の場合には１チヤンネルから12チヤンネ
ルまでのデータを用いるものであるから、男性の
場合には、 １チヤンネルが最大値を持つときは処理Ａ、 ２〜８チヤンネルの中のＮチヤンネルが最大
値を持ち、かつその前後のチヤンネルの値 Ｄ（Ｎ−１）、Ｄ（Ｎ＋１）が Ｄ（Ｎ−１）≧Ｄ（Ｎ＋１）のときは処理Ｂ、 Ｄ（Ｎ−１）＜Ｄ（Ｎ＋１）のときは処理Ａ を行ない、女性の場合には、 １チヤンネルが最大値の持つときは処理Ａ、 12チヤンネルが最大値を持つときは処理Ｂ、 ２〜11チヤンネルの中のＮチヤンネルが最大
値を持ち、かつその前後のチヤンネルの値 Ｄ（Ｎ−１）、Ｄ（Ｎ＋１）が Ｄ（Ｎ−１）≧（Ｎ＋１）のときは処理Ｂ、 Ｄ（Ｎ−１）＜Ｄ（Ｎ＋１）のときは処理Ａ を行なう。 以上の分解能を高める処理が終了したり、当該
サンプリングにおいて求めたピツチY1とそのY1
を含むそれ以前の順次の７個のピツチの平均値
Y0とに基いて、第１０図に示すフローチヤート
に従つて不規則性ピツチに対する処理を行ない、
｜Y1−Y0｜＜６を満たすY1のみをCRT９に表
示すると共に、当該サンプリングにおけるY1と
それ以前の順次のサンプリングにおけるY2〜Y7
との７個のピツチの平均値Y0を求める。 一方、第９図において性別に応じた所定範囲の
各チヤンネルの値DNが全て０のときは、BPF４
の分解性を高める処理および表示を行なうことな
く、その値をY1として第１０図に示す平均値Y0
を求める処理を行なう。 以上の処理を指定した表示時間間隔の中で500
回繰返して、マイクあるいはラインからの先生の
音声を取込んでそのイントネーシヨンをCRT９
の上段に例えば赤色で表示する。なお、上記の処
理において、不規則性ピツチに対する処理は、本
例ではY1〜Y7のデータが揃う７回目のサンプリ
ングから行ない、それまでのサンプリングにおい
ては処理Ａあるいは処理Ｂで求めたピツチを全て
表示する。 次に、先生に続いて発音する生徒に対して、
CRT９に「あなたは男性か、女性か？」と表示
する。ここで、生徒が男性のときは「１」のキー
を、女性のときは「１」以外のキーを押して性別
を指定する。以後、生徒が先生の発音を耳で聞
き、CRT９の先生のイントネーシヨンを目で見
ならがら真似て発音することにより、上述した先
生における処理と同様の処理を行なつて、マイク
からの生徒の音声を取込んでそのイントネーシヨ
ンをCRT９の下段に例えば緑色で表示する。な
お、このときのイントネーシヨンの表示時間間隔
を先生の場合と同じである。 生徒のイントネーシヨン表示後、CRT９「繰
返しますか？」と表示する。ここで、同じ発音の
繰返し練習する場合には「Ｙ」のキーを押すこと
により、生徒の緑色のイントネーシヨンのみを消
去して再び同じ発音の練習を行ない得るようにす
る。また、他の発音練習を行なう場合には「Ｎ」
のキーを押すことにより、先生および生徒のイン
トネーシヨンを消去して初期状態に復帰させる。 以上の動作を実行するプログラムの一例を以下
に示す。なお、以下のプログラムにおいて、ベー
シツクで書かれているプログラムは、アセンブラ
で記述され、マシン語で動作しているプログラム
をサブルーチンとして使つている。 以下、本実施例によるイントネーシヨンの表示
例を第１１図〜第２０図に示す。なお、第１１図
〜第２０図において、横軸は時間（秒）であり、
左端から右端までの時間は全て2.5秒に設定して
ある。また、縦軸は音声の振動数であり、上方を
先生用のチヤンネルに、下方を生徒用のチヤンネ
ルに設定し、CRT９上では先生のイントネーシ
ヨンは赤色、生徒のイントネーシヨンを緑色、枠
を黄色で表示したものである。 第１１図はカセツトテープに録音された「1st
day how to explain places and location」の
男性による英語の発音を、カセツトテープを２回
繰返して、先生用および生徒用チヤンネルにその
イントネーシヨンを表示したものである。第１１
図から明らかなように、カセツトテープによる同
一の発音であつても、音声をサンプリングするタ
イミングの相違によりCRT９に表示されるイン
トネーシヨンに若干の相違があるが、第２１図に
示した従来装置におけるものよりも遥かに明瞭に
イントネーシヨンが表示されている。 第１２図はカセツトテープに録音された
「Simmple greeting」の男性による英語の発音
を、カセツトテーテプを２回繰返して、同様に先
生用および生徒用チヤンネルにそのイントネーシ
ヨンを表示したものである。この表示例では、
greeting中の破裂音の部分（ting）が若干乱れて
いるが、相対的にそのイントネーシヨンを明瞭に
認識することができる。 第１３図はカセツトテープに録音された
「There's hardly ａ cloud in the sky」の女
性による英語の発音を、同様にカセツトテープの
２回繰返して先生用および生徒用チヤンネルにそ
のイントネーシヨンを表示したもので、イントネ
ーシヨンが明瞭に表示されている。 第１４図は同じくカセツトテープに録音された
「His business is good this year」の女性によ
る英語の発音を、同様にカセツトテープを２回繰
返して先生および生徒用チヤンネルにそのイント
ネーシヨンを表示したものである。この場合の発
音には、businessの破裂音の部分（bus）やthis
の摩擦音があるが、これらが飛び散ることなく、
明瞭に表示されている。 第１５図は同じくカセツトテープに録音された
「Did you pay very much？」の男性による英
語の発音を、カセツトテープを２回繰返して先生
用および生徒用チヤンネルにそのイントネーシヨ
ンを表示したもので、payの破裂音が飛び散るこ
となくイントネーシヨンが明瞭に表示されてい
る。 第１６図はマイクから「今日はよいお天気で
す」の男性による日本語の発音を、普通の速さと
早口で発音して、それぞれの発音のイントネーシ
ヨンを先生および生徒用チヤンネルに表示したも
のである。一般に、男性のイントネーシヨンの表
示は難しいとされているが、本実施例において
は、上記の発音において普通の速さで発音したと
きの「天気です」の部分が散らばつているだけ
で、いずれの場合においても相対的にそのイント
ネーシヨンを明瞭に識別することができる。 第１７図はマイクから「今日はよいお天気で
す」の女性による日本語の発音を普通の速さで２
回繰返して、先生用および生徒用チヤンネルにそ
のイントネーシヨンを表示したものである。この
女性の発音は抑揚に欠けるが、イントネーシヨン
は明瞭に表示されている。 第１８図はマイクから「本日は晴天なり」の男
性による日本語の発音を、普通の速さと早口で発
音して、それぞれの発音のイントネーシヨンを先
生用および生徒用チヤンネルに表示したものであ
る。この場合の男性の声は少し甲高いせいか、普
通の速さで発音しても、早口で発音してもイント
ネーシヨンが明瞭に表示されている。 第１９図はマイクから「本日は晴天なり」の女
性による日本語の発音を、普通の速さで２回繰返
して、先生用および生徒用チヤンネルにそのイン
トネーシヨンを表示したものである。この場合、
摩擦音と破裂音が続いている「晴天（せいてん）」
の「せいて」の部分の表示が不明瞭であるが、相
対的にイントネーシヨンは明瞭に識別することが
できる。 第２０図は第１６図の発音を行なつた男性によ
り、マイクからピツチを変化させて「あ」の発音
を行なつた表示例を示すもので、そのピツチの変
化が明瞭に表示されている。 以上の表示例から明らかなように、本実施例に
よれば破裂音や摩擦音があつてもイントネーシヨ
ンを明確に識別できるように常に明瞭に表示する
ことができる。 なお、本発明は上述した実施例にのみ限定され
るものではなく、幾多の変形または変更が可能で
ある。例えば、BPF４のチヤンネル数は12チヤ
ンネルに限らず、それよりも多くあるいは少くし
てもよい。また、使用するチヤンネルデータは性
別によつて一義的に設定するのではなく、任意に
選択するようにすることもできる。更に、Ａ／Ｄ
コンバータは12ビツトのものに限らず８ビツト、
16ビツト等のものを用いることができると共に、
そのＡ／Ｄ変換したデータを対数圧縮することな
く、そのまま処理することもできる。更にまた、
上述した実施例では音声周波数の低減増強処理を
行なつたが、この処理は音声入力段の総合特性が
低減増強形である場合には省くことができると共
に、音声入力段の総合特性が低音域ほど極端に増
幅されている場合には逆に高域増強処理を行なえ
ばよい。この高域増強処理は、例えば２×Ｄ／
｛（Ｍ＋１）−Ｎ｝によつて行なうことができる。
ここで、Ｍは最終チヤンネル数で上述した実施例
の場合には12、ＮはデータＤのチヤンネル数を表
わす。また、上述した実施例ではBPF４の分解
能を高めるにあたつて、男性の場合には１〜９チ
ヤンネルのデータを用いて１〜８チヤンネルの中
で最大値を検出し、１チヤンネルが最大値を持つ
ときは処理Ａを、２〜８チヤンネルの中のＮチヤ
ンネルが最大値を持つときはその前後のチヤンネ
ルの値Ｄ（Ｎ−１）、Ｄ（Ｎ＋１）の大小関係に応
じて処理Ａあるいは処理Ｂを行なうようにした
が、指定された使用するチヤンネルの最終チヤン
ネルが最大値を持つときは、その前後のチヤンネ
ルの大小関係を比較することなく直接処理Ｂを行
なうようにすることもできる。更に、上述した実
施例では７回目以降のサンプリングから不規則性
ピツチに対する処理を行なうようにしたが、２〜
６回目のサンプリグにおいてもそれまでのサンプ
リングにおけるピツチの平均値、ただし２回目の
サンプリングにおいては１回目のサンプリングに
おけるピツチ、を求めて同様の処理を行なうこと
もできる。 （発明の効果） 以上述べたように、本発明によればイントネー
シヨンを常に明瞭に、かつ異なる複数のピツチ列
を同一の表示装置に色分けして同時に表示でき、
しかも市販のマイクロコンピユータにBPFと
Ａ／Ｄコンバータとを接触するだけで簡単に構成
できると共に安価にできる。したがつて、中・高
生でも簡単に利用することができると共に、学校
や家庭での語学練習に広く活用することができ
る。

【図面の簡単な説明】

第１図は本発明のイントネーシヨン表示装置の
一例の構成を示すブロツク図、第２図は第１図に
示すBPFの特性を示す図、第３図は音声入力段
の総合特性をBPFの各チヤンネルに対応して示
す図、第４図は低域増強処理を説明するための
図、第５図は雑音の発生態様を示す図、第６図は
分解能を高める処理によつて得られる振動数とチ
ヤンネルとの関係を示す図、第７図〜第１０図は
第１図に示すイントネーシヨン表示装置の動作の
一例を説明するためのフローチヤート、第１１図
〜第２０図は第１図に示すイントネーシヨン表示
装置による表示例を示す図、第２１図は従来のイ
ントネーシヨン表示装置による表示例を示す図で
ある。 １……ライン入力端子、２ａ，２ｂ……マイク
入力端子、３……切換スイツチ、４……BPF（バ
ンドパスフイルタ）、５……Ａ／Ｄコンバータ、
６……CPU（中央処理装置）、７……キーボード、
８……FD（フロピーデイスク）、９……CRT（表
示装置）。

Claims (1)

1. 【特許請求の範囲】 １ それぞれ異なる中心周波数を持つ複数のフイ
   ルタを有し、音声入力信号の周波数成分を各フイ
   ルタで分割して出力する多チヤンネルバンドパス
   フイルタと、 このバンドパスフイルタからのアナログ出力を
   デジタル信号に変換するＡ／Ｄコンバータと、 このＡ／Ｄコンバータの出力を順次サンプリン
   グし、サンプリングしたデータに基づいて最大値
   およびその最大値を持つチヤンネルを検出して、
   これら最大値とそのチヤンネルおよび該チヤンネ
   ルの近傍のチヤンネルのデータとに基づいて所要
   の演算を行うことにより、前記バンドパスフイル
   タの分解能を高めてサンプリグしたデータの基本
   周波数、すなわちピツチを検出すると共に、この
   検出したピツチと当該サンプリング以前のサンプ
   リングにおいて検出したピツチとに基づいて所要
   の演算を行つて当該サンプリングにおいて検出し
   たピツチが不規則性のものであるか否かを判別し
   て規則性のピツチを抽出する中央処理装置と、 この中央処理装置から順次のサンプリングにお
   いて選択的に抽出されるピツチ列を時系列的に表
   示すると共に、異なる複数のピツチ列を色分けし
   て同時に表示する表示装置とを具えることを特徴
   とするイントネーシヨン表示装置。