JPS60113295A - 音声入力による楽音発生装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の４４・術分野〕 本発明は音声１人力による楽音発生装置に関する、 〔従来技術とその問題点〕 最近、マイクロホンから入力された音声、っまり１人の
歌声から基本周波数（ピッチ）を抽出し、この抽出した
基本周波数に応じて楽器音を発生させるようにした音声
入力による楽音発生装置が考えられている。しかして、
音声入力の基本周波数、つまり、ピッチな抽出する場合
。

従来では入力データをローパスフィルタを介して取出す
と共に、低い標本化周波数で標本化し、その後、相関計
算を行なうことによってピッチをめる方法が一般に用い
られている。

しかしながら、上記従来の入力音声に対するピッチ抽出
方法では、入力データに対して広い範囲の相関を計算す
る必要があり、このため実時間でピッチを抽出しようと
すると、抽出分解能が粗くなってしまうという問題があ
る。例えば１人間の歌声のピップ−周波数は、８０〜８
００）（ｚであり、サンプリング周波数が３２，７６８
ＨＺの場合、ピッチ検索のための遅れ時間τは４０〜４
００と広い範囲に亘る。相関を計算才る７Ｌ／−ムを４
　Ｑ　Ｑ　ｐｏｉｎｔ　＝　１２　ｍ　ｓｅｃ　とする
と、この時間内にその全範囲に亘って相関を計算するこ
とは不可能であり、このためピッチ抽出分解能が粗くな
ってしまう。音声ピッチの抽出分解能が粗い場合、ピッ
チの誤抽出が多くなると共に１例えばビブラート、ボル
タメント等の微妙な楽音を発生することができない。

〔発明の目的〕

本発明は上記の点に鑑みてなされたもので。

ピッチを実時間で抽出する場合に、抽出分解能をサンプ
リング周波数で決まる最大限まで上げることができ、ピ
ッチの誤抽出を減少できると共に、微妙な楽音を発生す
ることができる音声入力による楽音発生装置を提供する
ことを目的とする。

〔発明の要点〕

本発明は、ピッチ抽出の分析フレームを、粗い分解能で
広範囲の遅れに対して相関を計算するフレームと、その
フレームで抽出した最大相関値に対する遅れ時間τに基
づき最大限の分解能ゼ狭い範囲の遅れ時間に対して相関
を計算するフレームの２段構成にすることにより、ピッ
チの分解能を向上するようにしたものである、〔発明の
実施例〕 以下図面を参照して本発明の一実施例を説明する。まず
、第１図により楽音発生装置全体の概略構成について説
明する。同図において１１はマイクロホンで、このマイ
クロホン１ノからの音声入力は、ピッチ抽出部１２内の
前処理部１３へ送られる。この前処理部１３は、例えば
ＡＧＣ回路を備えた増幅器、ローパスフィルタ回路等か
らなっており、その処理データなＡ／Ｄ変換部１４へ出
力する。このＡ／Ｄ変換部１４は１例えば３２ＫＨｚ（
３２，７６８Ｈｚ）で入力信号をサンプリングして６ピ
ツトのデジタル信号に変換し、三値相関部１５へ出力す
る。この三値相関部１５は、入力データを、予め設定さ
れている士のスレシホールドレベルと比較し。

ｒ＋ｘＪ　、ｒＯＪ　、ｒ−ｔＪの三値データに変換す
る。この三値量子化部１５で量子化されたデータは、有
音／無音判定部１６及び自己相関計算部１７へ送られる
。この自己相関計算部１７は、詳細を後述するが、入力
データによって相関を計算し、最大値判定部１８へ出力
する。

この最大値判定部１８は、τ＝０以外で相関値が最大Ｔ
となＺ・遅れ時間τ＝Ｔをピッチと判定する。そして、
この最大値判定部１８の判定結果が、ピッチ抽出部１２
の出力としてＣＰＵ１９へ送られる。また、上記有音／
無音判定部１６は、三値量子化部１５からの信号を計数
してそのパワーをめ、そのパワーから有音／無音を判別
して自己相関計算部１７及びＣＰＵ１９へ出力′する。

このＣＰＵＷ９は、上記入力データに従って、ピッチに
対応した周期の楽器音を発生−するように楽片発生部２
０を制御し。

スピーカ２１より出力させる。

次に上記自己相関「（算部１７部分の詳細について第２
図を参照して説、明する、三値量子化部１５から送られ
てくるデータは、自己相関計算部１７内のＲ，ｋＭ３１
に入力されるζ共に、有音／無音判定部１６へ入力され
る。この有音／無音判定部１６は、カウンタ１６ａ及び
判断回路１６ｂからなり、カウンタ１６において三値量
子化部１５からのデータ（ｒ＋ｔ　Ｊ　ｒ−１ｎを計数
してそのパワーをめ１判…「回路１６ｂにおいて上記パ
ワーから有音／無音を判断する。

この判断回路１６ｂから出力される有音／無音判断信号
は、ＣＰＵｚ９へ送られる他、自己相関」算部１７内の
タイミング制御部３２へ送られる。このタイミング制御
部３２は、クロックパルスφ８、フレーム信号φｆ、ロ
ード信号φＬ、ゲート制御等を行なうためのタイミング
信号φ人、φＢ、φＧ、読出し／書込み命令Ｒ／Ｗ、、
Ｒ／Ｖ’を等を発生する。そして、上記タイミング制御
部３２から出力されるフレーム信号φｆは、′例えば４
００進のフレームカウンタ３３へ送られる。このフレー
ムカウンタ３３は。

上記フレーム信号φｆにより０〜３９９までのカウント
を行ない、そのカウント内容をアドレス組算部３４へ出
力すると共に、タイミング信号φＢによりゲート制御さ
れるゲート回路０１を介してＲＡＭＪＪへ出力する。さ
らに、上記タイミング制御部３２から出力されるクロッ
クパルスφ１は、カウントパルスとして例えば８【）進
のカウンタ３５へ入力される。また、このカウンタ３５
には、上記タイミング信号φ○がクリア信号として与え
られると共に、初期値設定回路３６から「τ−ｍ」のデ
ータが与えられる、この場合、τは相フレームで抽出さ
れるピッチの遅れ最大値であり１ｍは定数で例えば「３
９」に設定される。そして、上記初期値設定１司路３６
から出力さ八、る「τ−ｍ」は、タイミング制御部３２
からのロートイ３号φＬ（二よってフレームカウンタ３
５にロードされる、このフレームカウンタ３５は、上記
「τ−ｍ」がロードされると、その後「０〜７９」をカ
ウント、つまり、１τ−ｎ１〜τ−ｍ＋７９Ｊをカウン
トし、そのカウント出力をＲＯＭＪ７へ入力すると共に
、ゲート回路Ｇ２を介してアドレス計算部３４及びＲＯ
Ｍ　Ｊ　８へ入力する。上記ＲＯＭ３７には、　Ｉ’ｌ
ｌフレームの時の遅れ時間τ０〜τ１．が租込まオ℃て
おり、カウンタ３５のカウント値に従って記憶内容が読
出され、ゲート回路Ｇ３を介してアドレス計算部３４及
びＲＯＭ３８へ送られる。このＲＯＭ３８＋−は、上記
「　τ０〜　τ　、Ｊ、ｒ　τ　−ｍ〜　τ　−ｍ−１
−７９Ｊｌ二対するウィンドウ関数が記憶さ八ており、
その記憶データは論理ゲート３９を介して加減算回路４
０の入力端子ａに入力される。そして、上記ゲート回路
Ｇ、はタイミング信号φＡによってゲート制御され、ゲ
ート回路Ｇ、はインノ（−夕４１を介して与えられるタ
イミング信号φ人によってゲート制御される。しかして
、上記アドレス計算部３４は、カウンタ３３のカウント
値ｊとゲート回路０２又は０．を介して送られてくるデ
ータτ１とを加勢ル、その加算結果をタイミング信号φ
、によりゲート制御されるゲート回路Ｏ３を介してＲＡ
ＭＪｚへ出力する。

また、このＲＡＭ３１には、タイミング制御部３２から
読出し／書込み４Ｍ号Ｒ、’　Ｗ　、カ１与えられる。

上記ＲＡＭＪＪには−、上記アドレスデータに従って三
値量子化データ例えばＩ）　ｊ　＋ｏ〜Ｄｊ−１−ｓａ
ｙが書込まわる。そして、ＲＡＭＪＪから読出されるデ
ータは、直接及び遅延回路４２を介して乗算回路４３へ
送られる、この乗坤回路４３け、入力データに対する乗
算を行ない、その乗算結果におけるデータを上記論理ゲ
ート３９へ入力し、正負を示すサインピットを加減算回
路４０の減％１制御端子ｓｕｂへ入力する。」ユ記加瀦
貌ＩＮ回路４０の出力は、ＲＡＭ４５へ送うれる。この
ＲＡＭ４５には、アドレスカウンタ４６からアドレスデ
ータが入力されると共に、夕・ｆミンク制御部３２から
臥・出し／書込み命令Ｒ／　Ｗ　２が入力される。上記
アドレスカウンタ４６は、タイミング信号φＣによって
クリアされ、クロックパルスφ１によってカウントアツ
プ動作する。」１記メモリ４５は、１己相関値Ｒ６（τ
）〜■＜７７（τ）を記憶するもので。

その記憶データは、加＾λ算回路４０の入力文１．１子
すへ入力さＢると共に、最大値検’＆１ＢＩＳ　４７へ
送られる。この最大値検出部４７は、入力される自己相
関（ｒ＋ａ　Ｒ６（τ）〜Ｒ，，（τ）の中から最大値
における遅れ時間τを検出し、初期値設定回路３６へ出
力すると共にＣＰＵＪ９へ出力する。

次に、上記実施例の１１作を説明する。マイクロホン１
１から入力される音声データは、前処理部１３で音声信
号帯域外の雑音等が除去されると共に特定の振幅値にな
るように増幅される。

そして、この前処理された入力データは、　Ａ／Ｄ変換
部１４によりデジタル４ｊ号に変換されて三値量子化部
１５へ送られる。この三値量子化部１５は、予め設定さ
れている士のスレシホールドレベルと入力データを比較
し、ｌ＋ｌＪ。

ｒＯＪ　Ｉ　ｒ−ＩＪの三値データに変換する。この三
値データは１次表に示すように′Ｆ３号ビットとデータ
ビットの計２ビットからなり、［＋ｌＪまたは「（１」
のとき符号ピットは「０」。

ｒ−１」のとき祠号ビットはＩｌｌとなる。また、デー
タビットはその絶対値を示し、三（＋＋’ｊデータが「
±ｌ」のとさ［」、ｒｏＪのとき「０」となる。

表　１ しかして、」二組三値量子化部１５で量子化さｎだチー
９＞’Ｌ、　３０．５　ｔｔ　ｓｅｃ　Ｉ　３２　ＫＨ
ｚ　）の周期で自己相関計算部１７及び有音／無音判定
部１６へ送ら八、る。この有音／無音判定部１６は、入
力データのパワーを計算して有音／無音を判定し、その
判定結果をＣＰ（ＪＩ９及び自己相関８１算部１７内の
タイミング制御部３２へ出力する。自己相関８１算Ｉ７
は、データが入力されると各データに対し７て７８１ｉ
ｄ（の遅れτについて相関を計算し、３９８のデータに
関して自己相関を １（（Ｔｉ）＝　”３　Ｌ）ｆＪ）・１Ｊｆｊ＋４ｉ）
・ｗ（ｆｉ）　−＝−（１１ｊ＝０ Ｒ（Ｔｉ）は自己相関値、　Ｄ（ｊｌけ三値量子化され
たデータ、Ｗ（τｌ）はウィンドウ関数（荷重関数）で
ある。

以下第２図に詳細を示す自己相関計算部１７において行
なわｉｌ、る自己相関計算部理の動作について説明する
。ます、タイミング信号φＢによってゲート回路Ｇ、の
ゲートが開かれ、フレームカウンタ３３の出力によって
ＲＡＭＪＪのアドレスが指定され、その指定アドレスに
玉値卒子化データＤ　（ｊｌが潜込まれる。次いでＲＡ
Ｍ３）から量子化データＤ（ｊｌが読出され、遅延回路
４２にラッチされる。その後、タイミング信号φ０が出
力されてゲート回路０４のゲートが開かれ、アドレス計
算部３４の出力によってＲＡＭ３１のアドレスが指定さ
れる。この時。

アドレス計算部３４は、フレームカウンタ３３の出力ｊ
とＲＯＭ５ｙの出力τ１とを加算して出力している。従
ってＲＡＭＪＪは上記加算出力（ｊ＋τｉ）によりアド
レスが指定されて次・の量子化データＤ（ｊ＋τｉ）が
書込まれる。

そして、このＲＡＭ３１に書込まれたデータＤ（ｉ＋τ
ｔ）は、乗算回路４３に読出され。

遅延回路４２に保持されているデータＤ（ｊ）との間で
乗算、つまりＤ（ｊｌ・Ｄ（ｊ＋τｉ）の乗算が行なわ
２する、そして、上記乗算回路４２から出力されるデー
タは論理ゲート３９へ送らオシ、■＜　０八４３８から
読出されるウィンドウ値との間で乗算が行なわれる。こ
の場合、乗算回路４３の出力は、三イ１〆ｉ　（ｌ　ｌ
　、　００　、０１　）であるので、データ部が「工」
のときＲＯＭ３８からのｉり・イントウ（直を論１）ｐ
ゲート３９から出力し。

「０」のとき論理ゲート３９の出力を禁止でる。

そして、上記論理ゲート３９の出力は、加減算回路４０
の人力☆；１（１子２１に入力される。この加減算回路
４０は１乗算回路４３から送しれてくるサインピッ１が
「（）」のとぎは加算、「１」のときはｌＡ′！、′＃
！ｌ１１１作を１ノなう。そして、上記加減算１１１１
１！′１＜４０の曲多−出力な遅延回路４４を介してＲ
Ａ　ｋ＊１４５にＮ込むと共に、その記憶データを加減
算回路４０の入力端子すに読出し、次のデータのとの間
で加減算をイーｊなって累算値をめる。以下、上記の計
算をフレームカウンタ３３のカウント値ｊ−（］〜３９
７に従って［３９８ｊのデータに関して行ない、ｌフレ
ーム分の相関計算を終了する。そして％Ｊ二３９８のタ
イミングで、最大値検出部４７によりＲＡ　Ｍ　４５の
記憶データの中から最大の自己相関値Ｒ（τ１）を検出
し、その遅れτ１をＣＰＵ　７９及び初期値設定回路３
７へ出力する。

しかして、上記自己相関値のＲ１算は、第４図に示すよ
うに粗い分解能で広範囲の遅れに対して相関を唱ｑする
粗フレームと、こＱ目１１フレームで抽出した最大相関
値に対する遅れ時間τに基づき最大限の分解能で狭い範
囲の遅れ［「間に対して相関を５１所するＷｉフレーム
の２段構成で行なわれる。上記粗フレームと密′クレー
ムでは。

アドレスＨ１′＃、部３４へ送られるＴｉの値が異なる
だけである。上記遅れｌＩ！「１ｌ−１Ｊτｉは、カウ
ンタ３５のカウント動作に応じて出力さ）ｌ、る。上記
カウンタ３５は、クロックパルスφ、にょって動作し、
第３図に示すように各フレームデータに対して８０カウ
ントする。そして、上記カウンタ３５は、各フレームの
最終タイミングで、タイミング信号φＣによりクリアさ
れ１次のフレームで新しくカウント動作を開始する。こ
の場合、粗フレームであハば、−カウンタ３５は。

タイミング信号φＣによりクリアされた後、初期値「０
」から「７９」までカウントアツプ動作すム。この時の
カウンタ３５のカウント値によっテｒ＜　ｏ　Ｍｓ　７
のアドレスが指定される。この１＜０Ｍ５ｖには、粗フ
レームの時の遅れ時間τｉ（τ。〜ｒ７７）が記憶され
ており、上記カウンタ３５のカウントアツプ動作に従っ
てその記憶内容がゲート回路０３を介してアドレス計算
部３４に読出される。このアドレス計算部３４は、ＲＯ
Ｍ　３７から読出される遅れ時間τｌとカウンタ３３の
出力」とを加算し、その加算結果ｒｊ＋Ｔｉｊによって
ＲＡＭ３１のアドレスを指定する。また、上記ＲＯＭａ
ｖの出力τｉによってフィンドウ関数３８のアドレスが
指定される。そして、遅れ時間τ。〜τ７７までの処理
を終了し、カウンタ３５のカウント値が第３図に示すよ
うに「７８」になると、　ＲＡＭ３１に読出し命令Ｒ／
Ｗ、が与えられ、ＲＡＭ３ノの記憶内容が読出される。

次いでカウンタ３５の値が１７９」にカウントアツプす
ると、その最終タイミングでタイミング制御部３２から
タイミング信号バー出力され、カウンタ３５がクリアさ
れる。」１記のように粗フレームでは。

’ｉ＜０Ｍ３ｖに記憶されている遅れ時間τ１に従って
上記した自己相関値をめる計算が行なわれる。

上記粗フレームに対する処理が終了すると。

その時の無音／有無フレームの状態に従って密フレーム
が選択的に実杓される。すなわち、第４図に示すように
無音フレームから有音フレームになった最初の有音フレ
ームは粗フレームとし、次に密フレームとなる。それ以
後、有音フレームが続く限り、粗フレームと密フレーム
が交仕に繰返されＺ・。そして、無音フレームでは。

組フレームの処理がｈなわれる、しがして、密フレーム
では、タイミング制御部３２がらロード信号φＬが出力
さ肌、初期値設定回路３６がら出力される［τ−ｍ　ｊ
の値がカウンタ３５にロードさ牡る。上記初期値設定回
路３６は、前回の和フレームでめた最大＋１４関値にお
ける遅れ時間τから一定値ｍを減鈍し、その減算結果「
τ−１ｎＪを初期値として出力すＺ・。そして、上記カ
ウンタ３５は、上記］°τ−ｍ　ｌの値がロードされる
と、この値を初期値としてその後クロックパルスφ、に
よりｒ＋８０Ｊカウントする。今例えば組フレームで抽
出された遅れ時間ｒ＋＝ｒｓ６であり、また、「ｍ　Ｊ
の値が「３９」に設定されているきすれば、「ｒ−ｍ＝
１８６−３９＝Ｉ　４７Ｊとなり、「１４７Ｊの値がカ
ウンタ３５にロードされる。従って。

カウンタ３５は、「ｊ４７Ｊを初期値としてｒ２２６ｊ
までカウントアツプするが、　ｒ１４７Ｊ〜「２２４」
ｏ）７８棟のτｉがゲート回路０２を介してアドレス計
算部３４及びＲＯＭ５ｓへ送られる。・これにより前回
の粗フレームで抽出されたピッチ、つまり、遅れ時間τ
ｉを中心として７８種の遅れに対する相関が計算される
。

そして、その時の最大相関値に対する遅れ時間τがＣＰ
Ｕ１９へ送られる。

Ｃ’ＰＵ１９は、最大値判定部１８から送られてくる最
大相関値に対する遅れ時間τ及び有音／無音判定部１６
からの有音／無音信号に従って楽音発生部２０を制御し
１．検出ピッチに対応した周期の楽器音をスピーカ２ノ
より出力させる。

〔発明の効果〕

以」二述べたように本発明によれば、粗い分解能で広範
囲の遅れに対して相関を計算１−るフレームと、そのフ
レームで抽出した最大相関値に対する遅れ時間τに基づ
き最大限の分解能で狭い範囲の遅れ時間に対して相関を
計ａするフレームの２段構成としたので、ピッチを実時
間で抽出する場合に、抽圧分解能をサンプリング周波数
で決まる最大限まで上げることができ、ピッ、チの誤抽
出を防止できると共に、ピッチ抽出が音階対応だけでは
不可能であった例えばビブラート、ボルタメント等の微
妙な楽音を発生し得るものである。

【図面の簡単な説明】

図面は本発明の一実施例を示すもので、第１図は装Ｆ（
全体の概略構成を示す図、第２図は第１図における自己
相関計算部の詳細を示すブロック図、第３図及びクシ４
図は動作を説明するためのタイミングチャートである。 １１°°゛マイクロホン、１２・・・ピッチ抽出部。 １６・・・有音°／無音片判定部１２・・・自己相関計
算部、３１・・・三値格子化データ記憶用ＲＡＪ３３・
・・ソレーノ・カウンタ、３４・・・アドレス計算部、
３５・・・カウンタ、３６・・・初期値設定回路。 ３７・・・組フレーム遅れ時間記憶用ＲＯＭ、ｓ８・・
・ウィンドウ門数記憶用ＲＯＭ、３９・・・論理ゲート
、４ｏ・・・加誠算回路、４．２．４４・・・遅延回路
、４５・・・相関値記憶ｈＩ　ＲＡ　Ｍ。

Claims (1)

1. 【特許請求の範囲】 音声入力情報より音声ピッチ情報をｊｌ＋出し。 この音声ピッチ情報に対応した局期の楽音を発生する楽
   音発生装置において、上記音声ピッチ情報の抽出に際し
   、σ範囲の音階に対して相関Ｈ１豹を行ない最大相関値
   に対するピップ−情報を抽出する手段と、この手段によ
   り抽出したピッチ情報周辺の球い範囲に対し高分ｗｒ能
   で相関計ｐ、を行なってピッチ情報を抽出する手段とを
   具備したことを特徴とｆるＫｒ入力による楽音発生装置
   。