JPH11249677A - 音声合成装置の韻律制御方法 - Google Patents
音声合成装置の韻律制御方法Info
- Publication number
- JPH11249677A JPH11249677A JP10049161A JP4916198A JPH11249677A JP H11249677 A JPH11249677 A JP H11249677A JP 10049161 A JP10049161 A JP 10049161A JP 4916198 A JP4916198 A JP 4916198A JP H11249677 A JPH11249677 A JP H11249677A
- Authority
- JP
- Japan
- Prior art keywords
- text data
- speech
- prosody
- data
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
【課題】 従来の規則音声合成方法では、各韻律パラメ
ータを個別に扱っていたために自然性の高い音声を合成
することが困難であった。 【解決手段】 文発声音声を音声コーパスメモリに記憶
し、入力テキストに近い韻律を持つテキストを検索し、
その韻律パラメータを変形することで、入力テキストに
対する韻律パラメータを計算する。 【効果】 複数の韻律パラメータを連係したデータとし
て取り扱うことができるようになり、抑揚やリズムが自
然で肉声に近い合成音を生成することができる。
ータを個別に扱っていたために自然性の高い音声を合成
することが困難であった。 【解決手段】 文発声音声を音声コーパスメモリに記憶
し、入力テキストに近い韻律を持つテキストを検索し、
その韻律パラメータを変形することで、入力テキストに
対する韻律パラメータを計算する。 【効果】 複数の韻律パラメータを連係したデータとし
て取り扱うことができるようになり、抑揚やリズムが自
然で肉声に近い合成音を生成することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、テキストから音声
を合成するテキスト音声合成技術に関し、特に、文の抑
揚や時間長を制御する韻律制御方法に関する。
を合成するテキスト音声合成技術に関し、特に、文の抑
揚や時間長を制御する韻律制御方法に関する。
【０００２】
【従来の技術】テキスト音声合成は、入力されたテキス
トに対して言語処理を行い、中間的な発音記号列を生成
した後、発音記号から基本周波数パタンや音素継続時間
長などの韻律パラメータと、同時に発音記号から各音素
の声道パラメータを求め、これらのパラメータから音声
を合成する方法が一般的である。例えば、文献「音声合
成技術：広瀬啓吉（音声処理技術とその応用、情報処
理、ｐｐ．９８４−９９１、１９９７年１１月）」には
この方式を利用した音声合成装置が記載されている。
トに対して言語処理を行い、中間的な発音記号列を生成
した後、発音記号から基本周波数パタンや音素継続時間
長などの韻律パラメータと、同時に発音記号から各音素
の声道パラメータを求め、これらのパラメータから音声
を合成する方法が一般的である。例えば、文献「音声合
成技術：広瀬啓吉（音声処理技術とその応用、情報処
理、ｐｐ．９８４−９９１、１９９７年１１月）」には
この方式を利用した音声合成装置が記載されている。
【０００３】上記の方法を利用した場合、韻律パラメー
タは音声の抑揚やリズム、なめらかさといった全体にか
かわる自然性としての特徴を決め、声道パラメータは単
語や文を構成する個々の音節の明瞭性としての特徴を決
定する。
タは音声の抑揚やリズム、なめらかさといった全体にか
かわる自然性としての特徴を決め、声道パラメータは単
語や文を構成する個々の音節の明瞭性としての特徴を決
定する。
【０００４】韻律パラメータのうち、基本周波数パタン
のパラメータ生成方法の代表的なものとして「重畳型モ
デル」が挙げられる。この基本周波数パラメータの生成
モデルは、句などに対応して基本周波数が緩やかに下降
するフレーズ成分に、文節単位のアクセント型に対応す
る基本周波数の上昇・下降であるアクセント成分を重畳
するものである。重畳型モデルは、人間の発声機構を模
擬したモデルであるため、直感的に理解しやすく、現実
の音声現象とも良く合致しているが、モデルの性能を発
揮するためには高度な言語処理が必要であるという問題
があった。
のパラメータ生成方法の代表的なものとして「重畳型モ
デル」が挙げられる。この基本周波数パラメータの生成
モデルは、句などに対応して基本周波数が緩やかに下降
するフレーズ成分に、文節単位のアクセント型に対応す
る基本周波数の上昇・下降であるアクセント成分を重畳
するものである。重畳型モデルは、人間の発声機構を模
擬したモデルであるため、直感的に理解しやすく、現実
の音声現象とも良く合致しているが、モデルの性能を発
揮するためには高度な言語処理が必要であるという問題
があった。
【０００５】韻律パラメータのうち、音節（音素）継続
時間長は、音節（音素）が置かれるコンテキストをはじ
めとする種々の要因によって変化する。継続時間長に影
響を与える要因として、調音上の制約、タイミング、単
語の重要度、発話区分境界の明示、発話区分内のテン
ポ、全体のテンポ、構文意味内容等の言語的制約があ
る。継続時間長制御においては、実際に観測される継続
時間長データに対して、上に挙げた要因に関する影響度
を統計的に分析し、その結果得られる規則を利用する方
法が一般的である。そのため、多様なコンテキストにお
ける継続時間長モデルを構築しようとすると大規模なデ
ータベースが必要となるという問題がある。
時間長は、音節（音素）が置かれるコンテキストをはじ
めとする種々の要因によって変化する。継続時間長に影
響を与える要因として、調音上の制約、タイミング、単
語の重要度、発話区分境界の明示、発話区分内のテン
ポ、全体のテンポ、構文意味内容等の言語的制約があ
る。継続時間長制御においては、実際に観測される継続
時間長データに対して、上に挙げた要因に関する影響度
を統計的に分析し、その結果得られる規則を利用する方
法が一般的である。そのため、多様なコンテキストにお
ける継続時間長モデルを構築しようとすると大規模なデ
ータベースが必要となるという問題がある。
【０００６】このような韻律パラメータの他、パワーに
関するパラメータなど各種制御モデルが考案されている
が、いずれのモデルも各韻律パラメータ独立のモデルで
あり、これら単独の制御モデルの性能向上だけでは、自
然性向上に限界がある。また、文音声発声には、規則に
よるモデル化が困難な韻律現象があることも指摘されて
いる。
関するパラメータなど各種制御モデルが考案されている
が、いずれのモデルも各韻律パラメータ独立のモデルで
あり、これら単独の制御モデルの性能向上だけでは、自
然性向上に限界がある。また、文音声発声には、規則に
よるモデル化が困難な韻律現象があることも指摘されて
いる。
【０００７】そのため、肉声から抽出した韻律パラメー
タをデータベースとして記憶し、データベースを利用し
て韻律パラメータを生成する韻律パラメータ計算モデル
が提案されている。例えば、片江ら「文型−韻律データ
ベースを用いた定型文音声合成システム、音講論、ｐ
ｐ．２７５−２７６、平成８年３月」や、斎藤ら「付属
語連鎖単位を音声合成単位とする規則合成音声、音講
論、ｐｐ．３１７−３１８、平成６年１０月」である。
しかしながら、これらは基本周波数パターンのみを韻律
パラメータとするものであり、なお文音声発声の自然性
を高めるには不十分なものであった。
タをデータベースとして記憶し、データベースを利用し
て韻律パラメータを生成する韻律パラメータ計算モデル
が提案されている。例えば、片江ら「文型−韻律データ
ベースを用いた定型文音声合成システム、音講論、ｐ
ｐ．２７５−２７６、平成８年３月」や、斎藤ら「付属
語連鎖単位を音声合成単位とする規則合成音声、音講
論、ｐｐ．３１７−３１８、平成６年１０月」である。
しかしながら、これらは基本周波数パターンのみを韻律
パラメータとするものであり、なお文音声発声の自然性
を高めるには不十分なものであった。
【０００８】
【発明が解決しようとする課題】本発明では、肉声の各
種の韻律パラメータ（基本周波数パターン、音節継続時
間長等）を相互に保存したまま編集・加工することによ
り、さらに自然性の高い音声を合成する音声合成装置を
実現するものである。
種の韻律パラメータ（基本周波数パターン、音節継続時
間長等）を相互に保存したまま編集・加工することによ
り、さらに自然性の高い音声を合成する音声合成装置を
実現するものである。
【０００９】そこで本発明では、文音声、その韻律パラ
メータ、形態素・構文解析データなどからなる音声コー
パスを備え、音声コーパスを検索して入力文との類似度
が最も大きいデータを抽出し、抽出されたデータに対し
て韻律パラメータの加工・修正を行うことにより韻律パ
ラメータを生成することで、従来の方法と比較して自然
性の高い音声を合成するテキスト音声合成装置を提供す
る。
メータ、形態素・構文解析データなどからなる音声コー
パスを備え、音声コーパスを検索して入力文との類似度
が最も大きいデータを抽出し、抽出されたデータに対し
て韻律パラメータの加工・修正を行うことにより韻律パ
ラメータを生成することで、従来の方法と比較して自然
性の高い音声を合成するテキスト音声合成装置を提供す
る。
【００１０】
【発明の実施の形態】図１は、本発明の音声合成装置の
一実施態様の構成を示すブロック図である。６は汎用メ
モリ、４は韻律パラメータ計算部、５は波形合成部であ
る。韻律パラメータ計算部４は、音声コーパスメモリ
１、音声コーパス検索部２、韻律パラメータ加工部３を
含む。
一実施態様の構成を示すブロック図である。６は汎用メ
モリ、４は韻律パラメータ計算部、５は波形合成部であ
る。韻律パラメータ計算部４は、音声コーパスメモリ
１、音声コーパス検索部２、韻律パラメータ加工部３を
含む。
【００１１】図２に汎用メモリ６の内容を示す。汎用メ
モリ６には、テキストデータ１０、韻律パラメータ１
１、合成波形データ１２、音声コーパス検索部検索結果
１３、及び計算処理途中のデータ１４が記憶される。
モリ６には、テキストデータ１０、韻律パラメータ１
１、合成波形データ１２、音声コーパス検索部検索結果
１３、及び計算処理途中のデータ１４が記憶される。
【００１２】図３に、本発明の音声合成処理の流れを示
す。音声コーパス検索部２は、入力されたテキストデー
タ２１の解析を行って、音声コーパスメモリ１より韻律
が類似しているデータを検索する。検索結果２４は韻律
パラメータ加工部３に入力される。なお、音声コーパス
メモリ１に、テキストデータ２１と韻律が類似するデー
タが存在しない場合には、韻律の類似するデータが存在
していないことを検索結果２４として出力する。韻律パ
ラメータ加工部３では、検索結果２４とテキストデータ
２１から、韻律パラメータ２６を計算する。波形合成部
５では、韻律パラメータ２６を利用して合成波形データ
２８を生成する。
す。音声コーパス検索部２は、入力されたテキストデー
タ２１の解析を行って、音声コーパスメモリ１より韻律
が類似しているデータを検索する。検索結果２４は韻律
パラメータ加工部３に入力される。なお、音声コーパス
メモリ１に、テキストデータ２１と韻律が類似するデー
タが存在しない場合には、韻律の類似するデータが存在
していないことを検索結果２４として出力する。韻律パ
ラメータ加工部３では、検索結果２４とテキストデータ
２１から、韻律パラメータ２６を計算する。波形合成部
５では、韻律パラメータ２６を利用して合成波形データ
２８を生成する。
【００１３】以下、「渋谷まで渋滞しています。」とい
うテキストデータを例として、本発明によるテキストデ
ータから合成波形への変換方法を図を用いて説明する。
うテキストデータを例として、本発明によるテキストデ
ータから合成波形への変換方法を図を用いて説明する。
【００１４】図４は、音声コーパス検索部２における処
理の流れである。まず、テキストデータ３１「渋谷まで
渋滞しています。」を、汎用メモリ６のテキストデータ
１０より読み出す（ステップ１０１）。読み出されたテ
キストデータ３１は、単語に分割され、単語毎に表記、
読み、品詞、及びアクセント情報から構成される構造化
データ列３３に変換する（形態素分割処理１０２）。構
造化データ列３３は、汎用メモリ６の計算処理途中デー
タ１４として記憶する。テキストデータを単語に分割す
る方法としては、清水ら「隣接単語間の結合関係に着目
したテキスト音声変換用形態素解析処理、日本音響学会
誌、５１巻、１号、ｐｐ．３−１３、１９９５」に記載
の処理が利用できる。単語毎の読み及びアクセント情報
は、辞書に登録されているデータを設定する。
理の流れである。まず、テキストデータ３１「渋谷まで
渋滞しています。」を、汎用メモリ６のテキストデータ
１０より読み出す（ステップ１０１）。読み出されたテ
キストデータ３１は、単語に分割され、単語毎に表記、
読み、品詞、及びアクセント情報から構成される構造化
データ列３３に変換する（形態素分割処理１０２）。構
造化データ列３３は、汎用メモリ６の計算処理途中デー
タ１４として記憶する。テキストデータを単語に分割す
る方法としては、清水ら「隣接単語間の結合関係に着目
したテキスト音声変換用形態素解析処理、日本音響学会
誌、５１巻、１号、ｐｐ．３−１３、１９９５」に記載
の処理が利用できる。単語毎の読み及びアクセント情報
は、辞書に登録されているデータを設定する。
【００１５】構造化データ列について図６を参照して説
明する。４０は１つの単語の構造化データであり、単語
の表記４２、読み４３、品詞４４、アクセント情報４５
を含む。テキストデータ３１は例えば、「渋谷／まで／
渋滞／し／て／い／ます／。」と単語分割されるので、
形態素分析結果は、各単語の構造化データの列３３のと
おりとなる。
明する。４０は１つの単語の構造化データであり、単語
の表記４２、読み４３、品詞４４、アクセント情報４５
を含む。テキストデータ３１は例えば、「渋谷／まで／
渋滞／し／て／い／ます／。」と単語分割されるので、
形態素分析結果は、各単語の構造化データの列３３のと
おりとなる。
【００１６】次に、音声コーパスメモリ１から一のデー
タセットを読み出す（ステップ１０３）。図７に音声コ
ーパスメモリ１のデータ構造を示す。音声コーパスメモ
リ１は、複数のデータセット４０１、４０２・・・から
構成される。各データセットは、図８に示すように、文
字表記データ５０１、文字表記データ５０１を発声した
音声波形データ５０２、音声波形データ５０２の基本周
波数パタンデータ５０３、音声波形データ５０２の継続
時間長データ５０４から構成される。なお、データセッ
トには、パワーなどの韻律パラメータやケプストラムな
どの音響パラメータさらに、文字表記データ５０１の形
態素分割結果を含んでも良い。
タセットを読み出す（ステップ１０３）。図７に音声コ
ーパスメモリ１のデータ構造を示す。音声コーパスメモ
リ１は、複数のデータセット４０１、４０２・・・から
構成される。各データセットは、図８に示すように、文
字表記データ５０１、文字表記データ５０１を発声した
音声波形データ５０２、音声波形データ５０２の基本周
波数パタンデータ５０３、音声波形データ５０２の継続
時間長データ５０４から構成される。なお、データセッ
トには、パワーなどの韻律パラメータやケプストラムな
どの音響パラメータさらに、文字表記データ５０１の形
態素分割結果を含んでも良い。
【００１７】音声コーパスメモリのデータセットについ
て、図９を参照して文字表記データ６０１が「新宿まで
運転しています。」という文であった場合を例に説明す
る。基本周波数パタンデータ６０３は、音節の始終端に
おける基本周波数の列として記憶されている。例えば、
文字表記データ６０１の先頭の音節「し」の始端周波数
６０５は「２１４」であり、終端周波数６０６は「１９
０」である。また、先頭の音節「し」の継続時間長デー
タ６０４は、音節のミリ秒の単位で記憶され、子音の時
間長６０７は「１０１」であり、母音の時間長６０８は
「７５」である。
て、図９を参照して文字表記データ６０１が「新宿まで
運転しています。」という文であった場合を例に説明す
る。基本周波数パタンデータ６０３は、音節の始終端に
おける基本周波数の列として記憶されている。例えば、
文字表記データ６０１の先頭の音節「し」の始端周波数
６０５は「２１４」であり、終端周波数６０６は「１９
０」である。また、先頭の音節「し」の継続時間長デー
タ６０４は、音節のミリ秒の単位で記憶され、子音の時
間長６０７は「１０１」であり、母音の時間長６０８は
「７５」である。
【００１８】次に、音声コーパス検索部２では、一のデ
ータセット６００の文字表記データ６０１を読み出し
（ステップ１０４）、図１０に示すように、形態素分割
を行って形態素分割結果７０３を汎用メモリ６の計算途
中のデータ１４に記憶する（ステップ１０５）。なお、
データセット６００に形態素分割結果が含まれている場
合には、本処理は不要である。
ータセット６００の文字表記データ６０１を読み出し
（ステップ１０４）、図１０に示すように、形態素分割
を行って形態素分割結果７０３を汎用メモリ６の計算途
中のデータ１４に記憶する（ステップ１０５）。なお、
データセット６００に形態素分割結果が含まれている場
合には、本処理は不要である。
【００１９】次に、汎用メモリ６より、テキストデータ
３１から求めた形態素解析結果３３と、一のデータセッ
ト６００の文字表記データ６０１の形態素分割結果７０
３を読み出し、類似度の計算を行う（ステップ１０
６）。
３１から求めた形態素解析結果３３と、一のデータセッ
ト６００の文字表記データ６０１の形態素分割結果７０
３を読み出し、類似度の計算を行う（ステップ１０
６）。
【００２０】以下、図１１を用いて類似度計算の例を示
す。最初に、形態素解析結果３３と形態素分割結果７０
３との構造化データ数を比較する（ステップ８００）。
ここでは、３３と７０３の構造化データ数はともに
「８」であり、一致する。構造化データ数が一致すれば
次の判定に進み（ステップ８０１）、一致しなければ類
似度「０」と判定し、類似度計算１０６の処理を終了す
る（ステップ８０２、８０３）。
す。最初に、形態素解析結果３３と形態素分割結果７０
３との構造化データ数を比較する（ステップ８００）。
ここでは、３３と７０３の構造化データ数はともに
「８」であり、一致する。構造化データ数が一致すれば
次の判定に進み（ステップ８０１）、一致しなければ類
似度「０」と判定し、類似度計算１０６の処理を終了す
る（ステップ８０２、８０３）。
【００２１】次に構造化データ数が一致した場合には、
構造化データのそれぞれについて品詞及びアクセント型
の比較を行う（ステップ８０４）。形態素解析結果３３
から各構造化データＤｉ（ｉ＝１〜ｎ）と、形態素解析
結果７０３から各構造化データＤ’ｉ（ｉ＝１〜ｎ）と
を比較する。例えば、Ｄ１「渋谷」とＤ’１「新宿」と
では、ともに品詞は「地名名詞」、アクセント型は「平
板型」であり一致する。このように、全てのＤｉとＤ’
ｉについて品詞とアクセント型の比較を行って、全て一
致すれば、類似度を「１」として類似度計算を終了する
（ステップ８０８）。また、１つでも一致しない構造化
データがあれば、類似度を「０」として類似度計算を終
了する（ステップ８０７）。出力された類似度は、汎用
メモリ６の計算途中のデータ１４に記憶される。
構造化データのそれぞれについて品詞及びアクセント型
の比較を行う（ステップ８０４）。形態素解析結果３３
から各構造化データＤｉ（ｉ＝１〜ｎ）と、形態素解析
結果７０３から各構造化データＤ’ｉ（ｉ＝１〜ｎ）と
を比較する。例えば、Ｄ１「渋谷」とＤ’１「新宿」と
では、ともに品詞は「地名名詞」、アクセント型は「平
板型」であり一致する。このように、全てのＤｉとＤ’
ｉについて品詞とアクセント型の比較を行って、全て一
致すれば、類似度を「１」として類似度計算を終了する
（ステップ８０８）。また、１つでも一致しない構造化
データがあれば、類似度を「０」として類似度計算を終
了する（ステップ８０７）。出力された類似度は、汎用
メモリ６の計算途中のデータ１４に記憶される。
【００２２】次に、汎用メモリ６の計算途中のデータ１
４から類似度を読み出し、予め設定したしきい値（基準
類似度）との比較を行い（ステップ１０７）、検索結果
を出力する（ステップ１０８）。図１１に記載の類似計
算の場合では、予め設定したしきい値を「１」とし、類
似度計算１０６により計算された類似度が１であれば、
比較結果として「一致」を出力し、類似度が０であれば
「不一致」を出力する。検索結果の出力１０８では、類
似度比較の結果が「不一致」であれば（１０９）、音声
コーパスメモリ１に記憶されているデータセットを順次
読み出し（ステップ１０３）、データセットがなくなる
まで類似度の計算を行う。類似度比較の結果が「一致」
であれば、一致したデータセット６００を汎用メモリ６
の音声コーパス検索部結果１３に出力する。
４から類似度を読み出し、予め設定したしきい値（基準
類似度）との比較を行い（ステップ１０７）、検索結果
を出力する（ステップ１０８）。図１１に記載の類似計
算の場合では、予め設定したしきい値を「１」とし、類
似度計算１０６により計算された類似度が１であれば、
比較結果として「一致」を出力し、類似度が０であれば
「不一致」を出力する。検索結果の出力１０８では、類
似度比較の結果が「不一致」であれば（１０９）、音声
コーパスメモリ１に記憶されているデータセットを順次
読み出し（ステップ１０３）、データセットがなくなる
まで類似度の計算を行う。類似度比較の結果が「一致」
であれば、一致したデータセット６００を汎用メモリ６
の音声コーパス検索部結果１３に出力する。
【００２３】もし、音声コーパスメモリ１の全てのデー
タセットに対して上記の類似度計算処理を行った結果、
基準類似度を満たすデータセットが存在しない場合に
は、その旨を示すデータフラグ（「類似データなしフラ
グ」と呼ぶ）を、汎用メモリ６の音声コーパス検索結果
１３に出力する。上記の処理を経て、１つ以上の類似す
るデータセット、あるいは、類似データなしフラグが汎
用メモリ６の音声コーパス検索部１３に出力される。
タセットに対して上記の類似度計算処理を行った結果、
基準類似度を満たすデータセットが存在しない場合に
は、その旨を示すデータフラグ（「類似データなしフラ
グ」と呼ぶ）を、汎用メモリ６の音声コーパス検索結果
１３に出力する。上記の処理を経て、１つ以上の類似す
るデータセット、あるいは、類似データなしフラグが汎
用メモリ６の音声コーパス検索部１３に出力される。
【００２４】図１２は、韻律パラメータ加工部３におけ
る処理の流れである。まず、テキストデータ３１を読み
出し、発音記号列を生成する（ステップ１００１）。テ
キストデータから発音記号列へ変換する方法は、匂坂ら
「日本語単語連鎖のアクセント規則、電子情報通信学会
論文誌、Ｊ６６−Ｄ、Ｎｏ．７、ｐｐ．８４９−８５
６、１９８３」を用いることができる。図１３に発音記
号列の例を示す。発音記号列９０１には、読みの情報の
ほかに、文節の区切れ９０４、文末記号９０５、母音の
無声化記号９０３、アクセント記号９０２などが含まれ
ている。なお、発音記号列９０１の生成には、汎用メモ
リ６に記憶されているテキストデータ３１の形態素分割
結果３３を利用することができる。
る処理の流れである。まず、テキストデータ３１を読み
出し、発音記号列を生成する（ステップ１００１）。テ
キストデータから発音記号列へ変換する方法は、匂坂ら
「日本語単語連鎖のアクセント規則、電子情報通信学会
論文誌、Ｊ６６−Ｄ、Ｎｏ．７、ｐｐ．８４９−８５
６、１９８３」を用いることができる。図１３に発音記
号列の例を示す。発音記号列９０１には、読みの情報の
ほかに、文節の区切れ９０４、文末記号９０５、母音の
無声化記号９０３、アクセント記号９０２などが含まれ
ている。なお、発音記号列９０１の生成には、汎用メモ
リ６に記憶されているテキストデータ３１の形態素分割
結果３３を利用することができる。
【００２５】次に、汎用メモリ６の音声コーパス検索部
検索結果１３から、類似度計算処理の結果を読み出す
（ステップ１００２）。類似度計算処理の結果は、
（１）１つ以上のデータセットである場合（１００３）
と、（２）類似データなしフラグである場合（１００
４）のいずれかである。
検索結果１３から、類似度計算処理の結果を読み出す
（ステップ１００２）。類似度計算処理の結果は、
（１）１つ以上のデータセットである場合（１００３）
と、（２）類似データなしフラグである場合（１００
４）のいずれかである。
【００２６】類似するデータセットが存在すれば、１つ
のデータセットを選択する。このデータセットを「選択
データセット」とよぶ。テキストデータ３１「渋谷まで
渋滞しています」に対して、データセット６００「新宿
まで運転しています」（図９）が選択データセットの例
となる。選択データセットは、テキストデータ３１と韻
律が近いデータである。なぜなら、図５及び図１０に示
すように両者の形態素分割結果は、「渋谷」３２及び
「新宿」７０２に対応する構造化データと、「渋滞」３
８及び「運転」７０８に対応する構造化データ以外は、
全て同一の構造化データあり、また、異なる構造化デー
タに関しても、品詞及びアクセント型が等しいからであ
る。
のデータセットを選択する。このデータセットを「選択
データセット」とよぶ。テキストデータ３１「渋谷まで
渋滞しています」に対して、データセット６００「新宿
まで運転しています」（図９）が選択データセットの例
となる。選択データセットは、テキストデータ３１と韻
律が近いデータである。なぜなら、図５及び図１０に示
すように両者の形態素分割結果は、「渋谷」３２及び
「新宿」７０２に対応する構造化データと、「渋滞」３
８及び「運転」７０８に対応する構造化データ以外は、
全て同一の構造化データあり、また、異なる構造化デー
タに関しても、品詞及びアクセント型が等しいからであ
る。
【００２７】そこで、テキストデータ３１の韻律パラメ
ータを計算するために、選択データセット６００の韻律
パラメータである基本周波数パタンデータ６０３及び継
続時間長データ６０４を利用すれば、肉声の韻律パラメ
ータと近い韻律パラメータが得られ、自然性が格段に向
上する。韻律パラメータ計算の方法を、図１４を用いて
説明する。
ータを計算するために、選択データセット６００の韻律
パラメータである基本周波数パタンデータ６０３及び継
続時間長データ６０４を利用すれば、肉声の韻律パラメ
ータと近い韻律パラメータが得られ、自然性が格段に向
上する。韻律パラメータ計算の方法を、図１４を用いて
説明する。
【００２８】まず、テキストデータの形態素分割結果１
１０１（先の例では形態素分割結果３３）と選択データ
セット１１０２（先の例では形態素分割結果７０１）に
対して、一致部と不一致部の分離（ステップ１１０３）
を行う。１１０４は分離した結果を模式的に表したもの
であり、構造化データ１１０５及び１１０６は一致した
構造化データを、構造化データ１１０７及び１１０８は
一致しなかった構造化データを示す（先の例では、構造
化データ３２及び７０２、または構造化データ３８及び
７０８である）。
１０１（先の例では形態素分割結果３３）と選択データ
セット１１０２（先の例では形態素分割結果７０１）に
対して、一致部と不一致部の分離（ステップ１１０３）
を行う。１１０４は分離した結果を模式的に表したもの
であり、構造化データ１１０５及び１１０６は一致した
構造化データを、構造化データ１１０７及び１１０８は
一致しなかった構造化データを示す（先の例では、構造
化データ３２及び７０２、または構造化データ３８及び
７０８である）。
【００２９】次に、テキストデータ３１「渋谷まで渋滞
しています。」の音節数から成るデータ列を生成し、分
離結果１１０４に基づき、一致部の韻律パラメータをコ
ピーする（ステップ１１０９）。一致部の韻律パラメー
タは、選択データセット１１０２（先の例ではデータセ
ット６００）の韻律パラメータをそのまま用いる。基本
周波数パタンデータ１１１０、継続時間長データ１１１
１は、テキストデータ３１の韻律パラメータであり、網
掛けの部分は一致した構造化データに対応する音節の韻
律パラメータが、空白の部分が不一致の構造化データに
対応する音節の韻律パラメータが格納されている。
しています。」の音節数から成るデータ列を生成し、分
離結果１１０４に基づき、一致部の韻律パラメータをコ
ピーする（ステップ１１０９）。一致部の韻律パラメー
タは、選択データセット１１０２（先の例ではデータセ
ット６００）の韻律パラメータをそのまま用いる。基本
周波数パタンデータ１１１０、継続時間長データ１１１
１は、テキストデータ３１の韻律パラメータであり、網
掛けの部分は一致した構造化データに対応する音節の韻
律パラメータが、空白の部分が不一致の構造化データに
対応する音節の韻律パラメータが格納されている。
【００３０】次に、不一致部の音節について韻律パラメ
ータを計算する（ステップ１１１２）。基本周波数パタ
ンは、単語のモーラ数とアクセント型で１つの基本周波
数パタンデータを記憶する単語基本周波数パタンテーブ
ルを用意して、この単語基本周波数パタンテーブルから
検索することで、単語基本周波数パタンを求めることが
できる。また、単語継続時間長は、匂坂ら「規則による
音声合成のための音韻時間長制御、信学論、Ｖｏｌ．Ｊ
６７−Ａ、Ｎｏ．７、ｐｐ．６２９−６３６、１９８
４」を利用して求めることができる。これら公知の方法
により、不一致部の単語基本周波数パタンデータ１１１
３（１１１５）、不一致部の継続時間長データ１１１４
（１１１６）を求めることができる。
ータを計算する（ステップ１１１２）。基本周波数パタ
ンは、単語のモーラ数とアクセント型で１つの基本周波
数パタンデータを記憶する単語基本周波数パタンテーブ
ルを用意して、この単語基本周波数パタンテーブルから
検索することで、単語基本周波数パタンを求めることが
できる。また、単語継続時間長は、匂坂ら「規則による
音声合成のための音韻時間長制御、信学論、Ｖｏｌ．Ｊ
６７−Ａ、Ｎｏ．７、ｐｐ．６２９−６３６、１９８
４」を利用して求めることができる。これら公知の方法
により、不一致部の単語基本周波数パタンデータ１１１
３（１１１５）、不一致部の継続時間長データ１１１４
（１１１６）を求めることができる。
【００３１】最後に、不一致部の韻律パラメータを、一
致部の韻律パラメータと滑らかに接続するように、不一
致部の韻律パラメータを変形・統合する（ステップ１１
１７）。基本周波数パタンデータに関しては、始端周波
数１１２０及び終端周波数１１２１の基本周波数が、選
択データセット１１０２（先の例ではデータセット６０
０）における相当する基本周波数の値と一致するよう
に、単語基本周波数パタンデータを線形に変形する。ま
た、継続時間長に関しては、選択データセット１１０２
における相当する単語の継続時間長をモーラ数で除した
値（１モーラあたりの時間長Ｌ）を利用して、１１１４
及び１１１６における１モーラあたりの時間長がＬと等
しくなるように、１１１４及び１１１６の継続時間長を
線形伸縮する。このようにして、テキストデータ３１の
韻律パラメータとして、基本周波数パタンデータ１１１
８及び継続時間長データ１１１９が計算される。
致部の韻律パラメータと滑らかに接続するように、不一
致部の韻律パラメータを変形・統合する（ステップ１１
１７）。基本周波数パタンデータに関しては、始端周波
数１１２０及び終端周波数１１２１の基本周波数が、選
択データセット１１０２（先の例ではデータセット６０
０）における相当する基本周波数の値と一致するよう
に、単語基本周波数パタンデータを線形に変形する。ま
た、継続時間長に関しては、選択データセット１１０２
における相当する単語の継続時間長をモーラ数で除した
値（１モーラあたりの時間長Ｌ）を利用して、１１１４
及び１１１６における１モーラあたりの時間長がＬと等
しくなるように、１１１４及び１１１６の継続時間長を
線形伸縮する。このようにして、テキストデータ３１の
韻律パラメータとして、基本周波数パタンデータ１１１
８及び継続時間長データ１１１９が計算される。
【００３２】なお、音声コーパス検索部２から類似デー
タなしフラグが出力された場合には、音声コーパスの韻
律データを利用して韻律パラメータを計算することがで
きない。従って、発音記号列９０１より、従来の方法に
従って韻律パラメータを計算する（ステップ１００
６）。なお、この場合は音声コーパスを利用して合成し
た音声より自然性が劣るため、任意文を合成するために
音声コーパスは大容量の記憶媒体に記憶させることが望
ましく、例えば、磁気記憶媒体、光記憶媒体、光磁気記
憶媒体、フラッシュメモリなどに記憶させることができ
る。また、音声コーパスと通信線を介した接続すること
で、複数の音声合成装置で共有することも有効である。
タなしフラグが出力された場合には、音声コーパスの韻
律データを利用して韻律パラメータを計算することがで
きない。従って、発音記号列９０１より、従来の方法に
従って韻律パラメータを計算する（ステップ１００
６）。なお、この場合は音声コーパスを利用して合成し
た音声より自然性が劣るため、任意文を合成するために
音声コーパスは大容量の記憶媒体に記憶させることが望
ましく、例えば、磁気記憶媒体、光記憶媒体、光磁気記
憶媒体、フラッシュメモリなどに記憶させることができ
る。また、音声コーパスと通信線を介した接続すること
で、複数の音声合成装置で共有することも有効である。
【００３３】求められた韻律パラメータ１００７は、汎
用メモリ６の韻律パラメータ１１に記憶する。
用メモリ６の韻律パラメータ１１に記憶する。
【００３４】このように、韻律パラメータ計算部３によ
り計算された基本周波数パタン及び該継続時間長を汎用
メモリ６の韻律パラメータ１１より読み出し、波形合成
部５において、出力音声波形を合成する。合成された波
形データは、汎用メモリ６の合成波形データ１２に記憶
される。
り計算された基本周波数パタン及び該継続時間長を汎用
メモリ６の韻律パラメータ１１より読み出し、波形合成
部５において、出力音声波形を合成する。合成された波
形データは、汎用メモリ６の合成波形データ１２に記憶
される。
【００３５】
【発明の効果】本発明により、抑揚やリズムが自然で肉
声に近い合成音を生成することができる。
声に近い合成音を生成することができる。
【図１】本発明の音声合成装置のブロック図である。
【図２】音声合成装置の汎用メモリに記憶される内容の
図である。
図である。
【図３】本発明の音声合成装置における処理の流れ図で
ある。
ある。
【図４】音声コーパス検索部における処理例である。
【図５】テキストデータから形態素分割結果への変換例
である。
である。
【図６】形態素分割結果の構造化データ列である。
【図７】音声コーパスのデータ構造例である。
【図８】音声コーパスのデータセットのデータ構造例で
ある。
ある。
【図９】データセット例である。
【図１０】データセットの文字表記データから形態素分
割結果への変換例である。
割結果への変換例である。
【図１１】類似度計算処理例である。
【図１２】韻律パラメータ計算部における処理例であ
る。
る。
【図１３】発音記号列の例である。
【図１４】音声コーパスのデータを利用した韻律パラメ
ータ計算例である。
ータ計算例である。
１…音声コーパスメモリ、２…音声コーパス検索部、３
…韻律パラメータ加工部、４…韻律パラメータ計算部、
５…波形合成部、６…汎用メモリ。
…韻律パラメータ加工部、４…韻律パラメータ計算部、
５…波形合成部、６…汎用メモリ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 安藤 ハル 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 矢島 俊一 東京都小平市上水本町五丁目20番１号 株 式会社日立製作所半導体事業部内
Claims (4)
- 【請求項１】テキストデータの韻律パラメータを計算
し、上記計算された韻律パラメータより合成波形を生成
する音声合成装置における韻律制御方法において、 上記音声合成装置は、複数のテキストデータについて、
各テキストデータの人間の発声に基づく複数種の韻律パ
ラメータを記憶する音声コーパスを備え、 上記入力テキストデータと上記音声コーパスに記憶され
たテキストデータとを順次比較し、上記音声コーパスよ
り少なくともその一部が一致するテキストデータを選択
し、 上記選択されたテキストデータと上記入力テキストデー
タとの不一致部分についての上記複数種の韻律パラメー
タを求め、 上記選択されたテキストデータと上記入力テキストデー
タとの一致部分についての各韻律パラメータと上記不一
致部分についての各韻律パラメータとを整合させること
により、上記入力テキストデータの韻律パラメータを計
算することを特徴とする韻律制御方法。 - 【請求項２】請求項１記載の韻律制御方法において、 上記複数の韻律パラメータとして、基本周波数パターン
と継続時間長とを含むことを特徴とする韻律制御方法。 - 【請求項３】請求項１記載の韻律制御方法において、 上記入力テキストデータについて形態素分割を行い、各
形態素Ｄi（ｉ＝１〜ｎ）についてその品詞とアクセン
ト型を求め、 上記音声コーパスに記憶されたテキストデータのうち、
その形態素数が一致するテキストデータの各形態素Ｄ’
j（ｊ＝１〜ｎ）についてそれぞれ上記Ｄiと品詞及びア
クセント型を比較することにより、上記音声コーパスに
記憶されたテキストデータから少なくとも１つのテキス
トデータを選択することを特徴とする韻律制御方法。 - 【請求項４】請求項３の韻律制御方法において、 上記音声合成装置は、単語のモーラ数及びアクセント型
の組み合わせに対して１つ以上の基本周波数パタンを記
憶する単語基本周波数パタンテーブルを備え、 上記選択されたテキストデータと上記入力テキストデー
タとの不一致部分について、上記単語基本周波数パタン
テーブルを索表することにより上記不一致部分の基本周
波数パタンを計算することを特徴とする韻律制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04916198A JP3587048B2 (ja) | 1998-03-02 | 1998-03-02 | 韻律制御方法及び音声合成装置 |
| US09/259,333 US6477495B1 (en) | 1998-03-02 | 1999-03-01 | Speech synthesis system and prosodic control method in the speech synthesis system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04916198A JP3587048B2 (ja) | 1998-03-02 | 1998-03-02 | 韻律制御方法及び音声合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11249677A true JPH11249677A (ja) | 1999-09-17 |
| JP3587048B2 JP3587048B2 (ja) | 2004-11-10 |
Family
ID=12823378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04916198A Expired - Fee Related JP3587048B2 (ja) | 1998-03-02 | 1998-03-02 | 韻律制御方法及び音声合成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6477495B1 (ja) |
| JP (1) | JP3587048B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004072952A1 (ja) * | 2003-02-17 | 2004-08-26 | Kabushiki Kaisha Kenwood | 音声合成処理システム |
| JP2004279436A (ja) * | 2003-03-12 | 2004-10-07 | Japan Science & Technology Agency | 音声合成装置及びコンピュータプログラム |
| EP1473707A1 (en) * | 2002-11-15 | 2004-11-03 | Samsung Electronics Co., Ltd. | Text-to-speech conversion system and method having function of providing additional information |
| US7113909B2 (en) | 2001-06-11 | 2006-09-26 | Hitachi, Ltd. | Voice synthesizing method and voice synthesizer performing the same |
| JP2009020264A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Ltd | 音声合成装置及び音声合成方法並びにプログラム |
| US7991616B2 (en) | 2006-10-24 | 2011-08-02 | Hitachi, Ltd. | Speech synthesizer |
| JP2011191528A (ja) * | 2010-03-15 | 2011-09-29 | Mitsubishi Electric Corp | 韻律作成装置及び韻律作成方法 |
| JP2015064482A (ja) * | 2013-09-25 | 2015-04-09 | 三菱電機株式会社 | 音声合成装置 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2931600A (en) * | 1999-03-15 | 2000-10-04 | British Telecommunications Public Limited Company | Speech synthesis |
| US7369994B1 (en) | 1999-04-30 | 2008-05-06 | At&T Corp. | Methods and apparatus for rapid acoustic unit selection from a large speech corpus |
| JP3361291B2 (ja) * | 1999-07-23 | 2003-01-07 | コナミ株式会社 | 音声合成方法、音声合成装置及び音声合成プログラムを記録したコンピュータ読み取り可能な媒体 |
| JP4264030B2 (ja) * | 2003-06-04 | 2009-05-13 | 株式会社ケンウッド | 音声データ選択装置、音声データ選択方法及びプログラム |
| KR20070004788A (ko) * | 2004-03-05 | 2007-01-09 | 레삭 테크놀로지스 인코포레이티드. | 프로소딕 스피치 텍스트 코드 및 컴퓨터화 스피치 시스템내에서의 프로소딕 스피치 텍스트 코드의 사용법 |
| US8898062B2 (en) * | 2007-02-19 | 2014-11-25 | Panasonic Intellectual Property Corporation Of America | Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program |
| US7844457B2 (en) * | 2007-02-20 | 2010-11-30 | Microsoft Corporation | Unsupervised labeling of sentence level accent |
| CN101627427B (zh) * | 2007-10-01 | 2012-07-04 | 松下电器产业株式会社 | 声音强调装置及声音强调方法 |
| TWI413104B (zh) * | 2010-12-22 | 2013-10-21 | Ind Tech Res Inst | 可調控式韻律重估測系統與方法及電腦程式產品 |
| CN102651217A (zh) * | 2011-02-25 | 2012-08-29 | 株式会社东芝 | 用于合成语音的方法、设备以及用于语音合成的声学模型训练方法 |
| JP6221301B2 (ja) * | 2013-03-28 | 2017-11-01 | 富士通株式会社 | 音声処理装置、音声処理システムおよび音声処理方法 |
| JP6728755B2 (ja) * | 2015-03-25 | 2020-07-22 | ヤマハ株式会社 | 歌唱音発音装置 |
| KR102615154B1 (ko) * | 2019-02-28 | 2023-12-18 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
| US11282497B2 (en) * | 2019-11-12 | 2022-03-22 | International Business Machines Corporation | Dynamic text reader for a text document, emotion, and speaker |
| CN113327614B (zh) * | 2021-08-02 | 2021-11-02 | 北京世纪好未来教育科技有限公司 | 语音评测方法、装置、设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4771385A (en) * | 1984-11-21 | 1988-09-13 | Nec Corporation | Word recognition processing time reduction system using word length and hash technique involving head letters |
| US4931936A (en) * | 1987-10-26 | 1990-06-05 | Sharp Kabushiki Kaisha | Language translation system with means to distinguish between phrases and sentence and number discrminating means |
| JPH0573100A (ja) * | 1991-09-11 | 1993-03-26 | Canon Inc | 音声合成方法及びその装置 |
| US5475796A (en) * | 1991-12-20 | 1995-12-12 | Nec Corporation | Pitch pattern generation apparatus |
| JP3450411B2 (ja) * | 1994-03-22 | 2003-09-22 | キヤノン株式会社 | 音声情報処理方法及び装置 |
| JPH08328590A (ja) * | 1995-05-29 | 1996-12-13 | Sanyo Electric Co Ltd | 音声合成装置 |
| JPH1039895A (ja) * | 1996-07-25 | 1998-02-13 | Matsushita Electric Ind Co Ltd | 音声合成方法および装置 |
-
1998
- 1998-03-02 JP JP04916198A patent/JP3587048B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-01 US US09/259,333 patent/US6477495B1/en not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113909B2 (en) | 2001-06-11 | 2006-09-26 | Hitachi, Ltd. | Voice synthesizing method and voice synthesizer performing the same |
| EP1473707A1 (en) * | 2002-11-15 | 2004-11-03 | Samsung Electronics Co., Ltd. | Text-to-speech conversion system and method having function of providing additional information |
| WO2004072952A1 (ja) * | 2003-02-17 | 2004-08-26 | Kabushiki Kaisha Kenwood | 音声合成処理システム |
| JP2004279436A (ja) * | 2003-03-12 | 2004-10-07 | Japan Science & Technology Agency | 音声合成装置及びコンピュータプログラム |
| US7991616B2 (en) | 2006-10-24 | 2011-08-02 | Hitachi, Ltd. | Speech synthesizer |
| JP2009020264A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Ltd | 音声合成装置及び音声合成方法並びにプログラム |
| JP2011191528A (ja) * | 2010-03-15 | 2011-09-29 | Mitsubishi Electric Corp | 韻律作成装置及び韻律作成方法 |
| JP2015064482A (ja) * | 2013-09-25 | 2015-04-09 | 三菱電機株式会社 | 音声合成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6477495B1 (en) | 2002-11-05 |
| JP3587048B2 (ja) | 2004-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3587048B2 (ja) | 韻律制御方法及び音声合成装置 | |
| JP4302788B2 (ja) | 音声合成用の基本周波数テンプレートを収容する韻律データベース | |
| US8566099B2 (en) | Tabulating triphone sequences by 5-phoneme contexts for speech synthesis | |
| US7565291B2 (en) | Synthesis-based pre-selection of suitable units for concatenative speech | |
| JPH1039895A (ja) | 音声合成方法および装置 | |
| KR100373329B1 (ko) | 음운환경과 묵음구간 길이를 이용한 텍스트/음성변환 장치 및그 방법 | |
| CN1811912B (zh) | 小音库语音合成方法 | |
| JPH0887297A (ja) | 音声合成システム | |
| KR0146549B1 (ko) | 한국어 텍스트/음성 변환 방법 | |
| JP2000056788A (ja) | 音声合成装置の韻律制御方法 | |
| Narupiyakul et al. | A stochastic knowledge-based Thai text-to-speech system | |
| JPH09292897A (ja) | 音声合成装置 | |
| Khalifa et al. | SMaTalk: Standard malay text to speech talk system | |
| JPH08328578A (ja) | テキスト音声合成装置 | |
| Othman et al. | SMaTTS: Standard malay text to speech system | |
| Li et al. | Text-to-Speech Synthesis for Mandarin Chinese | |
| JPH07140999A (ja) | 音声合成装置及び音声合成方法 | |
| JP2003308084A (ja) | 音声合成方法および音声合成装置 | |
| Tian et al. | Modular design for Mandarin text-to-speech synthesis | |
| JPH08160990A (ja) | 音声合成装置 | |
| Hassan et al. | SMaTalk: Standard Malay Text to Speech Talk System. | |
| JPH03237498A (ja) | 文章読み上げ装置 | |
| Hojjatkhah et al. | Segmentation Words for Speech Synthesis in Persian Language Based On Silence | |
| Morris | Speech Generation | |
| Gupta et al. | INTERNATIONAL JOURNAL OF ADVANCES IN COMPUTING AND INFORMATION TECHNOLOGY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040802 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070820 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120820 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |