JPH0812560B2

JPH0812560B2 - 歌声合成演奏装置

Info

Publication number: JPH0812560B2
Application number: JP59204792A
Authority: JP
Inventors: 美昭田中
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1984-09-29
Filing date: 1984-09-29
Publication date: 1996-02-07
Anticipated expiration: 2011-02-07
Also published as: JPS6183599A

Description

【発明の詳細な説明】産業上の利用分野本発明は歌声合成演奏装置に係り、特に２つのシンセ
サイザのうち一方のシンセサイザから楽器音を発生さ
せ、かつ、他方のシンセサイザから歌声音を発生させる
装置に関する。

従来の技術及びその問題点従来より、鍵盤電子楽器において、押動鍵の音高に対
応した音高で人声に似た音（歌声音）を発生させる歌声
音発生装置が知られている（例えば、特開昭55−77799
号など）。しかるに、従来の歌声音発生装置は伴奏音を
ききながら、操作者が所望の歌詞をつけ、それを歌声音
として発生させるような使い方はできなかつた。

そこで、本発明は２つのシンセサイザを用い、そのう
ちの一方を歌声音用，他方を楽器音用とし、かつ、予め
定められた楽器音を発生しつつ、画像入力部により歌詞
データとして入力してそれを歌声音として発生すること
により、上記の問題点を解決した歌声合成演奏装置を提
供することを目的とする。

問題点を解決するための手段本発明になる歌声合成演奏装置は、文字データを入力
する文字データ入力部と特定の規格の予め定められた楽
譜データを入力する楽譜データ入力部と、この楽譜デー
タを順次出力する第１のデータ転送手段と、テーブル作
成手段，ピツチパラメータ変換手段，合成パラメータ作
成手段，データ変換手段，第２のデータ転送手段，デー
タ保存手段，第１及び第２のシンセサイザ，及びインタ
ーフエース手段とよりなる。上記テーブル作成手段は前
記文字データを子音と母音を単位とするパラメータに分
解して第１のテーブルを作成する。また、上記ピツチパ
ラメータ変換手段は、前記入力楽譜データの中の音階デ
ータに従つてピツチパラメータに変換する。

また、上記合成パラメータ作成手段は上記第１のテー
ブルに従つてメモリから読み出したホルマントパラメー
タに、上記ピツチパラメータを組み合わせて編集及び補
間された合成パラメータを生成すると共に上記楽譜デー
タの中の音価データに従つて時間長テーブルを作成し、
それらを一時記憶する。前記データ変換手段により合成
パラメータは特定の規格のデータに変換された後、前記
保存手段によつて保存される一方、前記第２のデータ転
送手段により複数のホルマント周波数に関するデータを
転送し、かつ、ピツチパラメータに関するピツチ周波数
データを母音部発声期間中のみ前記時間長テーブルに基
づく期間発生出力された後、前記インターフエース手段
によつて前記第２のシンセサイザ内の複数個の可変周波
数発振器に制御信号として別々に供給される。更に上記
インターフエース手段は、前記第１のデータ転送手段の
出力転送データを前記第１のシンセサイザへ複数個の可
変周波数発振器の制御信号として夫々供給する。

作用前記第１のシンセサイザは予め定められた前記楽譜デ
ータに基づいて楽器音を一定速度で発音再生する。これ
に対して、前記第２のシンセサイザは、文字データ入力
部により入力された文字データ（音声文字列データ）が
示す文字の子音と母音とを単位とするパラメータに変換
された後、前記楽譜データの中の音階データと、音価デ
ータとを用いて前記合成パラメータに変換され、それが
実質的に第２のシンセサイザへ供給される。このため、
第２のシンセサイザは前記楽譜データに基づいた音の高
さ，長さ，強さで、かつ、前記文字データ入力部により
入力された所望の文字の人声音、すなわち歌声音を発音
する。従つて、前記第１のシンセサイザは予め定められ
た楽譜データによる楽器音を発音し、前記第２のシンセ
サイザは使用者の意図に基づく任意の歌詞の歌声音を発
音することになる。以上のように、本発明によれば、第
1,第２のシンセサイザにより、歌声音と楽器音とを同時
に発生させることができると共に、インタフェース手段
を介して第1,第２のシンセサイザが接続されるため、シ
ンセサイザの交換を容易に行なえ、また用いられるパラ
メータは編集補間されるので、きめの細かいニュアンス
の歌声音が発生でき、さらに、ディジタル処理であるた
め、アナログ固定フィルタ等の高価な装備が不要で安価
に構成できる。以下、本発明について実施例と共に図面
を参照しつつ更に詳細に説明する。

実施例第１図は本発明装置の一実施例のブロツク系統図を示
す。同図中、画像入力部１は歌詞となるべき文字列を使
用者の意図に応じて任意に入力するための文字データ入
力部で、例えば第２図に示す如く、ひらがなが50音順で
配列されたタブレツト19と、このタブレツト19中の一文
字を任意に選択するライトペン20とよりなる。ライトペ
ン20は螢光スクリーン上のタブレツト19よりの光を光電
変換して得た電気信号（文字画像データ）を中央処理装
置（CPU）２へ供給する。CPU2はランダム・アクセス・
メモリ（RAM）3,リード・オンリ・メモリ（ROM）４及び
I/O（入出力）インターフエース５と夫々双方向性バス
を介して接続されている。RAM3はCPU2のデータストア用
及び作業用のメモリ回路で、ROM4はCPU2の制御プログラ
ムが格納されているメモリ回路である。

CPU2は第３図に示すフローチヤートに従つた動作を行
なう。すなわち、PCU2はまず画像入力部１よりの文字画
像データのスキヤンニングを行ない、新データが入力さ
れたか否かを検出する（ステツプ22,23）。新データを
入力する場合は、使用者は前記ライトペン20をそれまで
当接していたタブレツト19上の或る一文字から別の文字
上へ移動させるから、上記ステツプ23ではこのライトペ
ン20の移動後の入力文字画像データを新データとして検
出する。新しい文字画像データが入力された場合は、そ
の入力画像データが示している文字を、タブレツト19上
のライトペン20のX,Y座標により示される位置から判定
する（ステツプ24）。この入力文字画像データはRAM3に
ストアされた後（ステツプ25）、CPU2のI/Oポートへ出
力され（ステツプ26）、更にこれより第１図に示すI/O
インターフエース２を通してCPU6に供給される。ステツ
プ26が終了すると再びステツプ22へ戻る。上記の文字画
像データの入力は、使用者がライトペン20を後述する第
１のシンセサイザ16より発音される楽器音を聞きながら
行なうため、ライトペン20の移動速度は楽器音に同期し
たものとなるが、入力する文字画像データ自体は使用者
の任意である。従つて、本発明は曲に歌詞をつける、い
わゆる作詩に用いた場合に有用である。

第１図に示したCPU2及び６はまた、操作部７よりの信
号がI/Oインターフエース５を介して夫々供給される。
操作部７はこの装置全体のスタートタイミングを定める
信号などを発生するが、更に、第１のシンセサイザ16よ
り発音される楽器音の速度（テンポ）を任意に変えるた
めの信号を発生することもできる。CPU6はI/Oインター
フエース5,RAM8,ROM9,メモリユニツト10,ビデオコント
ローラ11,及びMIDIインターフエース15と双方向性バス
を介して接続されている。RAM8はCPU6のデータストア用
及び作業用のメモリ回路で、また後述する音階に対応す
るピツチパラメータなどが予め格納されている。またRO
M9にはCPU6の制御プログラムや複数のホルマント周波数
に関するホルマントパラメータテーブルが予め格納され
ている。更にメモリユニツト10は加工したデータの保存
用のメモリ回路であると共に、本実施例において発音さ
れるべき楽器音を示す楽譜データが予め格納されてお
り、この楽譜データをCPU6へ転送する。

CPU6は第４図に示す如き構成とされており、第５図に
示すフローチヤートに従つた動作を行なう。CPU6はまず
イニシヤライズされた後、変数I₁の値を「０」にセツト
し（ステツプ37）、MIDIインターフエース15を介して入
来するデータによつて第１のシンセサイザ16（17でもよ
い）が受信可能か（イネーブルか）を判定する（第５図
のステツプ38）。シンセサイザ16が受信可能となつた場
合は、メモリユニツト10よりの楽譜データ（これは予め
MIDI（Musical Instrument Digital Interface）規格
に適合した形態でメモリユニツト10にストアされてお
り、これを以下第１のMIDIデータともいう）を第４図に
示す入力部30,演奏データ変換部32,MIDIデータ転送部3
4,MIDIインターフエース15を夫々通して第１のシンセサ
イザ16へ転送する（第５図のステツプ39）。これによ
り、シンセサイザ16は公知の動作により、楽譜データ
（第１のMIDIデータ）に従つた楽器音を発音する。

ここで、前記MIDI規格とは楽器を演奏する際に行なわ
れる種々の操作（キーを押す，ボリユームを回すなど）
を夫々数バイトのデータに変換し、複数の楽器、又はそ
れらをコントロールする機械との間で送受信するための
公知の規格である。MIDIデータは２〜３バイトのシリア
ルデータで伝送されるが、最初の１バイトがステータス
で、後続のデータバイトがどのようなフアンクシヨンを
持つているかを指示するメツセージになつている。ステ
ータスを含むデータ長は１〜３バイトと不定であり、ス
テータスとデータとは各バイトの第１ビツトが“1"のと
きステータス，“0"のときデータという形で認識され
る。上記メツセージには大別して個別の操作データを送
るチヤンネルメツセージと、ネツトワークをコントロー
ルするためのシステムメツセージとに分けられる。

CPU6は次に文字画像データがI/Oインターフエース５
より入来しているか否かを検出し（第５図のステツプ4
0）、入来している場合は第４図に示す入力部30を通し
て入力文字画像データを画像データ変換部31により取り
込み、これを表示に適した画像データに変換する。一
方、文字画像データが入来していない場合は第１のシン
セサイザ16（17でもよい）が受信可能かどうかをシンセ
サイザ16（又は17）よりのデータに基づいて判断し、受
信可能でない場合はステツプ40へ、また受信可能な場合
は後述のステツプ50の処理動作へ移行する（ステツプ4
2）。

画像データ変換部31はその出力画像データを第１図に
示すビデオコントローラ11を介してビデオ・ランダム・
アクセス・メモリ（V.RAM）12に書き込むと共に、ビデ
オコントーラ11に供給し、ここで、ビデオ信号に変換さ
せる。このビデオ信号は三原色信号分離回路13を介して
陰極線管（CRT）14に供給され、ここで表示される。従
つて、第５図に示したステツプ43の処理動作によつて、
CRT14には画像入力部１によつて入力された文字画像が
表示されることになる。このCRT14の表示画面によつ
て、入力文字画像（歌詞）の確認などができる。

CPU6は次に演奏データ変換部32において第５図に示し
たステツプ44〜47の処理動作を順次行なう。すなわち、
ステツプ44において、入力文字画像データによる文字を
子音と母音を単位とする第１のパラメータに夫々分解
し、これにより第１のテーブルを作成し、これをRAMデ
ータ転送部33を介してRAM8へ書き込む。すなわち、日本
語の音節の大部分は広義の子音と母音との組合せからな
ることが知られており、子音と母音を単位として、それ
らの列によつて語の音形が表示されると考えられるか
ら、上記第１のパラメータによつて歌詞を示す個々の音
節を示すことができる。

次にステツプ45において、入力された前記楽譜データ
の中の音階データに従つて、RAM8に予め記憶されていた
テーブルから音階を定める母音の基本周波数（ピツチ周
波数）F₀を示すピツチパラメータを読み出す（すなわち
ピツチパラメータに変換する。）。次にRAM8に格納され
ていた前記第１のテーブルを参照しながら前記ホルマン
トパラメータをROM9から読み出し、これに前記ピツチパ
ラメータを組み合わせ、パラメータの編集，補間（音が
滑らかに変化するように音に区切りをつけることなど）
を行なつて合成パラメータを作成すると共に、楽譜デー
タの中の前記音価データに従つて時間長テーブルを作成
し、それらをRAM8に一時記憶する（第５図のステツプ4
6）。

ここで、歌声は歌詞を示す個々の音節とそれと共に発
生される音とからなり、前者は前記第１のパラメータに
より子音と母音とで示され、また第６図に示す如きホル
マント周波数対時間特性を示すことが知られている。す
なわち、音声の識別は音声波形を構成している基本周波
数（ピツチ周波数）と複数個のホルマントに基づいて行
なわれていると見做されている。第1,第２及び第３ホル
マント（以下、ホルマント周波数ともいう）をF₁,F₂及
びF₃とすると、一の音節は最初に漸次ホルマント周波数
変化を伴つて子音部が発音され、次に母音部が略一定の
ホルマント周波数により発音される。なお、母音部発声
期間はホルマント周波数F₁〜F₃と共にピツチ周波数も発
生される。

上記子音部におけるホルマント周波数F₁〜F₃の変化は
子音によつて異なり、例えばg,d及びｂの各子音のホル
マント周波数は第７図（Ａ），（Ｂ）及び（Ｃ）に示す
如くに変化することが一般に知られている。ここで、前
記した合成パラメータ中のホルマントパラメータは上記
３種のホルマント周波数F₁〜F₃を決定するパラメータで
ある。また、ピツチパラメータは前記ピツチ周波数を定
める。

一方、音節（歌詞）と共に発生される上記の音は音の
高さ，大きさ，長さによつて定まり、これが楽譜データ
として前記した如くCPU6に入力されるが、音階に応じて
第６図に示したホルマント周波数対時間特性が縦軸方向
に平行移動した如き特性となり、前記ピツチパラメータ
（ピツチ周波数）がその移動量（音の高さ）を定める。
また音の長さは母音部の時間長によつて得ることができ
る。

次にステツプ47において上記の合成パラメータは前記
MIDI規格に適合したフオーマツトの第２のMIDIデータに
変換される。すなわち、演奏データ変換部32は前記した
テーブル作成手段，ピツチパラメータ変換手段，合成パ
ラメータ作成手段及びデータ変換手段を構成しているこ
とになる。この第２のMIDIデータは第４図のMIDIデータ
転送部34に供給され、ここで第２のMIDIデータのMIDIイ
ンターフエース15を介して第２のシンセサイザ17への転
送が行なわれる（第５図のステツプ48）。ここで、この
第２のMIDIデータの転送は、子音のホルマント周波数F₁
〜F₃等に関する第１のデータをMIDIインターフエース15
を通して第２のシンセサイザ17へ転送した後、母音のホ
ルマント周波数F₁〜F₃,ピツチ周波数F₀等に関する第２
のデータをMIDIインターフエース15を通して第２のシン
セサイザ17へ転送されることにより行なわれる。

上記の第１のデータは子音部の発声時間帯において、
一定間隔（例えば0.33ms）で第１〜第３ホルマント周波
数F₁〜F₃の夫々について複数回周波数変更を行なわせる
べく、複数回順次に転送される。これにより、第６図，
第７図に示した如く子音部発声時間帯のホルマント周波
数F₁〜F₃を直線近似的に変化せしめる各ホルマント周波
数についての第１のデータが第２のシンセサイザ17へ出
力されることになる。また、上記の第２のデータは前記
時間長テーブルに基づいて音価に従つた時間長分だけ送
出される。なお、MIDIインターフエース15よりシンセサ
イザ16及び17のどちらへデータを転送するか、MIDIデー
タのステータスの例えばチヤンネルメツセージによつて
行ない得る。

このようにして取り出された第２のMIDIデータは第４
図に示すRAMデータ転送部33を介してRAM8に保存される
（第５図のステツプ49）。しかる後にCPU6は前記変数I₁
を「１」だけ増加させた後、その増加後の変数I₁の値が
総音符数Ｎ以上となつたかどうかを算出し、Ｎ以上とな
るまで前記したステツプ39〜50の動作が繰り返される。

以上のようにして、第１のシンセサイザ16よりの楽器
音に合わせ、リアルタイムで第２のシンセサイザ17より
歌声音を発音させ目的を達成することができるが、更に
ステツプ37〜51の処理動作終了後に、使用者が操作部７
を操作して、RAM8に保存した第２のMIDIデータ（歌詞デ
ータ）を順次読み出す（再生する）ことにより、第１の
シンセサイザ16よりの楽器音に対応させた歌声音を第２
のシンセサイザ17より発音させることもできる（歌声合
成演奏ができる）。

第８図はMIDIインターフエース15の一例の回路図を示
す。CPU6よりのMIDIデータ（第1,第２のMIDIデータ）
は、信号処理装置58のデータ入出力端子D₀〜D₇に供給さ
れ、ここで並直列変換等されてインバータ59,60,抵抗6
1,コネクタ62等を介してシンセサイザ16又は17へ転送さ
れる。またシンセサイザ16又は17よりのデータはコネク
タ63,フオトカプラ64を夫々介して信号処理装置58に供
給され、そのデータ入出力端子D₀〜D₇より並列に出力さ
れる。なお、信号処理装置58はクロツクモジユールIC65
より例えば500kHzのクロツクが供給される。

更に、シンセサイザ16及び17を接続する際のネツトワ
ークのために、入力はそのままインバータ66,67,抵抗68
及びコネクタ（THRU端子）69を介して出力される。

第９図は第２のシンセサイザ17の一実施例のブロツク
系統図を示す。MIDIインターフエース15よりの第２のMI
DIデータはシンセサイザ17内の入出力インターフエース
（図示せず）を介して入力端子70₁〜70₆に順次入力され
る。入力端子70₁〜70₄の入力データは電圧制御発振器
（VCO）71〜74に制御信号として供給される。ここで、V
CO71,72及び73は夫々前記第1,第２及び第３ホルマント
周波数の信号を発生出力し、VCO74はピツチ周波数F₀の
信号を発振出力する。また入力端子70₅に入来したデー
タは低周波発振器（LFO）75に供給され、その発振動作
を制御する。このLFO75の出力信号はVCO71〜74に供給さ
れてその出力発振周波数を可変制御してビブラート効果
を得ることができ、またLFO75の出力信号は電圧制御フ
イルタ（VCF）78及び電圧制御増幅器（VCA）79に夫々供
給されて特定の倍音のみを強調したり、トレモロ効果を
得ることができる。

VCO71〜74の各出力信号はリングモジユレータ76に夫
々供給され、ここで各周波数の和又は差の周波数の信号
に変換された後ミキサ77に供給され、ここでVCO71〜74
の各出力信号と混合される。リングモジユレータ76は特
定の音色を得るような場合に用いられ、その動作は端子
70₆よりのデータによつて制御される。ミキサ77の出力
混合信号はVCF78,VCA79及び増幅器80を夫々経て第10図
に示す如き波形の信号とされてスピーカ81に供給され
る。第10図中、Ｔはピツチ周期を示す。

ここで、子音部発声時間帯は端子70₁〜70₃にのみ所定
のデータが印加されるので、VCO71,72及び73から第1,第
２及び第３ホルマント周波数F₁,F₂及びF₃が夫々同時的
に出力され、かつ、その周波数値が前記Ｎ段階に分けて
順次変更せしめられるが、VCO74からは信号は発生出力
されない。これに対して、母音部発声時間帯は前記第２
のデータの一部によつてVCO74からは音階を定めるピツ
チ周波数F₀が初めて発生出力されると共に、VCO71〜73
からは引続き第１〜第３ホルマント周波数F₁〜F₃の信号
が一定値で夫々発生される。この結果、スピーカ81から
は画像入力部１によつて入力された歌詞が、メモリユニ
ツト10によつて入力された楽譜に従つて人声音で発音さ
れる。また、その人声音、すなわち歌声音にはビブラー
ト，トレモロ等の如き音楽的変化をつけることもでき
る。この結果、ニユアンスがつき、より好ましい歌声と
なる。なお、第９図に示したシンセサイザ17は、キーボ
ード82の使用によつて従来と同様に楽器音だけを得るこ
ともできる。また、第１のシンセサイザ16内のVCOやLFO
等には前記第１のMIDIデータが夫々制御信号として供給
され、そのスピーカより楽器音が発音される。

なお、本発明において、ホルマントの数は３以外の複
数でもよい。また、ピツチパラメータ変換手段はテーブ
ルから読み取るものに限らず、その値を計算により求め
ることもできる。

発明の効果上述の如く、本発明によれば、２つのシンセサイザの
うち、一方のシンセサイザからの予め設定した楽器音に
対応させて任意に入力した歌詞を歌う人声音（歌声音）
を他方のシンセサイザから発生することができ、よつて
曲に合わせた歌詞の作成に使用して好適であり、またホ
ルマント周波数を合成するようにしているので、子音と
してホワイトノイズを利用する従来装置に比し、自然で
明瞭な歌声音を発生することができる等の優れた特長を
有するものである。また、本発明によれば、インタフェ
ース手段によりシンセサイザを容易に分離できるから、
ビブラートや周波数変調などの音楽的表現を備えた機能
を有するシンセサイザに容易に対応でき、音楽的表現を
容易に向上させることができ、また、パラメータを編集
・補間するので、きめ細かいニュアンスの歌声音を発生
でき、シンセサイザによりアナログ固定フィルタが不要
で安価に構成できる等の特長を有する。

【図面の簡単な説明】

第１図は本発明装置の一実施例を示すブロツク系統図、
第２図は第１図図示ブロツク系統中の要部の概略構成を
示す図、第３図及び第５図は夫々本発明装置の要部の動
作説明用フローチヤート、第４図は本発明装置の要部の
一実施例を示すブロツク系統図、第６図は合成音声の子
音部，母音部とホルマント周波数の関係を示す図、第７
図は各子音のホルマント周波数と時間との関係を示す
図、第８図は第１図図示ブロツク系統中のMIDIインター
フエースの一例の回路図、第９図は第１図図示ブロツク
系統中のシンセサイザの一実施例を示すブロツク系統
図、第10図は第９図図示ブロツク系統中のスピーカ中の
入力合成音声信号波形の一例を示す図である。１……画像入力部、2,6……中央処理装置（CPU）、3,8
……ランダム・アクセス・メモリ（RAM）、4,9……リー
ド・オンリ・メモリ（ROM）、５……I/O（入出力）イン
ターフエース、７……操作部、10……メモリユニツト、
11……ビデオコントローラ、14……CRT、15……MIDIイ
ンターフエース、16,17……シンセサイザ、19……タブ
レツト、20……ライトペン、30……入力部、31……画像
データ変換部、32……演奏データ変換部、33……RAMデ
ータ転送部、34……MIDIデータ転送部、58……信号処理
装置、62,63,69……コネクタ、71〜74……電圧制御発振
器（VCO）、75……低周波発振器（LFO）、81……スピー
カ。

Claims

【特許請求の範囲】

【請求項１】文字データを入力する文字データ入力部
と、特定の規格の予め定められた楽譜データを入力する
楽譜データ入力部と、該楽譜データ入力部よりの該楽譜
データを順次出力する第１のデータ転送手段と、該文字
データ入力部よりの文字データを子音と母音を単位とす
るパラメータに分解して第１のテーブルを作成するテー
ブル作成手段と、該入力楽譜データの中の音階データに
従つてピツチパラメータに変換するピツチパラメータ変
換手段と、作成された該第１のテーブルに従つてメモリ
から読み出したホルマントパラメータに、上記ピツチパ
ラメータを組み合わせて編集及び補間された合成パラメ
ータを生成すると共に上記楽譜データの中の音価データ
に従つて時間長テーブルを作成し、それらを一時記憶す
る合成パラメータ作成手段と、該合成パラメータを特定
の規格のデータに変換するデータ変換手段と、該データ
変換手段よりの該合成パラメータ変換データのうち複数
のホルマント周波数に関するデータを転送し、かつ、該
ピツチパラメータに関するピツチ周波数データを母音部
発声期間中のみ前記時間長テーブルに基づく期間発生出
力する第２のデータ転送手段と、該第２のデータ転送手
段の出力データを保存する手段と、複数個の可変周波数
発振器の出力信号を混合して出力する第１及び第２のシ
ンセサイザと、該第１のデータ転送手段の出力転送デー
タを該第１のシンセサイザ内の該複数個の可変周波数発
振器の制御信号として供給すると共に、該第２のデータ
転送手段の出力転送データのうち前記複数のホルマント
周波数に関するデータと該ピツチ周波数データとを該第
２のシンセサイザ内の該複数個の可変周波数発振器に夫
々制御信号として別々に供給するインターフエース手段
とよりなることを特徴とする歌声合成演奏装置。