WO2004109660A1 - 音声データを選択するための装置、方法およびプログラム - Google Patents

Abstract

　本発明は、簡単な構成で高速に自然な合成音声を得るための音声データ選択装置等を提供するものである。本発明の音声データ選択装置においては、定型メッセージを表すデータが供給されると、音片編集部は、定型メッセージ内の音片と読みが合致する音片の音片データを音片データベースから索出させる。一方で音片編集部は定型メッセージの韻律予測を行い、索出された音片データのうちから定型メッセージ内の各音片に最もよく合致するものを１個ずつ、評価式に基づいて特定する。評価式は、韻律予測結果−音片データ間におけるピッチ成分の周波数の１次回帰の結果や発声スピードの時間差を変数とするものである。そして、特定した音片データや、特定ができないため代わりに音響処理部に供給させた波形データを互いに結合して、合成音声を表すデータを生成する。

Description

明 細 書 音声データを選択するための装置、 方法およびプログラム

技術分野

本発明は、 音声データ選択装置、 音声データ選択方法及びプログ ラムに関する。

背景技術

• 音声を合成する手法として、録音編集方式と呼ばれる手法がある。 録音編集方式は、 駅の音声案内システムや、 車載用のナビゲーショ ン装置などに用いられている。

録音編集方式は、 単語と、 この単語を読み上げる音声を表す音声 データとを対応付けておき、 音声合成する対象の文章を単語に区切 つてから、 これらの単語に対応付けられた音声データを取得してつ なぎ合わせる、 という手法である。

この録音編集方式については、 例えば、 特開平 1 0— 4 9 1 9 3 号公報 （以降、 文献 1 と呼ぶ） において詳細に説明されている。

しかし、 音声データを単につなぎ合わせた場合、 音声データ同士 の境界では通常、音声のピッチ成分の周波数が不連続的に変化する、 等の理由で、 合成音声が不自然なものとなる。

この問題を解決する手法としては、 同一の音素を互いに異なった 韻律で読み上げる音声を表す複数の音声データを用意し、 一方で音 声合成する対象の文章に韻律予測を施して、 予測結果に合致する音 声デ—夕を選び出してつなぎ合わせる、 という手法が考えられる。 しかし、 音声データを音素毎に用意して録音編集方式により自然 な合成音声を得ようとすると、 音声データを記憶する記憶装置には 膨大な記憶容量が必要となり、 小型軽量な装置を用いる必要がある 用途には適さない。 また、 検索する対象のデータの量も膨大なもの となるから、 高速な処理が要求される用途にも適さない。

また、 韻律予測は極めて複雑な処理であるので、 韻律予測を用い たこの手法を実現するには、処理能力が高いプロセッサなどを用い、 あるいは長時間をかけて処理を行わせる必要がある。 従ってこの手 法は、 構成が簡単な装置を用いた高速な処理が要求される用途には 適さない。

この発明は、 上記実状に鑑みてなされたものであり、 簡単な構成 で高速に自然な合成音声を得るための音声データ選択装置、 音声デ ―夕選択方法及びプログラムを提供することを目的とする。

発明の開示

( 1 ) 上記発明目的を達成するために、 本発明の音声データ選択装 置は、 第 1の局面においては、 基本的に、 音声の波形を表す音声デ 一夕を複数記憶する記憶手段と、 文章を表す文章情報を入力し、 各 前記音声データのうちから、 前記文章を構成する音片と読みが共通 する音片の波形を表している音声データを索出する検索手段と、 索 出された音声デ一夕のうちから、 前記文章を構成するそれぞれの音 片に相当する音声データを 1個ずつ、 互いに隣接する音片同士の境 界でのピッチの差を前記文章全体で累計した値が最小となるように 選択する選択手段と、 から構成される。

前記音声データ選択装置は、 選択された音声データを互いに結合 することにより、 合成音声を表すデ一夕を生成する音声合成手段を 更に備えていてもよい。 また、 本発明の音声データ選択方法は、 基本的に、 音声の波形を 表す音声データを複数記憶し、 文章を表す文章情報を入力し、 各前 記音声データのうちから、 前記文章を構成する音片と読みが共通す る音片の波形を表している音声データを索出し、 および索出された 音声データのうちから、 前記文章を構成するそれぞれの音片に相当 する音声データを 1個ずつ、 互いに隣接する音片同士の境界でのピ ツチの差を前記文章全体で累計した値が最小となるように選択する. という一連の処理ステップを含む。

また、 この発明のコンピュータプログラムは、 コンピュ一夕を、 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表 す文章情報を入力し、 各前記音声データのうちから、 前記文章を構 成する音片と読みが共通する音片の波形を表している音声デ一夕を 索出する検索手段と、 索出された音声データのうちから、 前記文章 を構成するそれぞれの音片に相当する音声データを 1個ずつ、 互い に隣接する音片同士の境界でのピツチの差を前記文章全体で累計し た値が最小となるように選択する選択手段と、 して機能させるため のものとなっている。

( 2 )本発明の第 2の局面においては、音声選択装置は、基本的に、 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表 す文章情報を入力し、 当該文章を構成する音片について韻律予測を 行うことにより、 当該音片のピッチの時間変化を予測する予測手段 と、 各前記音声データのうちから、 前記文章を構成する音片と読み が共通する音片の波形を表していて、 且つ、 ピッチの時間変化が前 記予測手段による予測の結果と最も高い相関を示す音声データを選 択する選択手段と、 から構成される。 · 前記選択手段は、 音声データが表す音片のピツチの時間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの時間変化と の間での 1次回帰を行う回帰計算の結果に基づいて、 当該音声デー 夕のピッチの時間変化と前記予測手段による予測の結果との相関の 強さを特定するものであってもよい。

前記選択手段は、 音声データが表す音片のピツチの時間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの時間変化と の間の相関係数に基づいて、 当該音声デ一夕のピッチの時間変化と 前記予測手段による予測の結果どの相関の強さを特定するものであ つてもよい。

また、 この発明の別の音声選択装置は、 音声の波形を表す音声デ —タを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 当 該文章内の音片について韻律予測を行うことにより、 当該音片の時 間長、 及び、 当該音片のピッチの時間変化を予測する予測手段と、 前記文章内の音片と読みが共通する音片の波形を表す各々の音声デ —夕についての評価値を特定し、 評価値が最も高い評価を表してい る音声データを選択する選択手段と、 より構成されており、 前記評 価値は、 音声データが表す音片のピッチの時間変化と、 当該音片と 読みが共通する前記文章内の音片のピッチの時間変化の予測結果と の相関を表す数値の関数、 及び、 当該音声データが表す音片の時間 長と、 当該音片と読みが共通する前記文章内の音片の時間長の予測 結果との差の関数より得られるようになつている。

前記相関を表す数値は、 音声データが表す音片のピッチの時間変 化と、 当該音片と読みが共通する前記文章内の音片のピッチの時間 変化との間での 1次回帰により得られる 1次関数の勾配からなって いてもよい。

また、 前記相関を表す数値は、 音声データが表す音片のピッチの 時間変化と、 当該音片と読みが共通する前記文章内の音片のピツチ の時間変化との間での 1次回帰により得られる 1次関数の切片から なっていてもよい。

前記相関を表す数値は、 音声データが表す音片のピツチの時間変 化と、 当該音片と読みが共通する前記文章内の音片のピツチの時間 変化の予測結果との間の相関係数からなっていてもよい。

前記相関を表す数値は、 音声データが表す音片のピツチの時間変 化を表すデータを種々のビッ ト数循環シフトしたものが表す関数と. 当該音片と読みが共通する前記文章内の音片のピッチの時間変化の 予測結果を表す関数との相関係数の最大値からなっていてもよい。 前記記憶手段は、 音声データの読みを表す表音データを、 当該音 声データに対応付けて記憶していてもよく、 また前記選択手段は、 前記文章内の音片の読みに合致する読みを表す表音データが対応付 けられている音声データを、 当該音片と読みが共通する音片の波形 を表す音声データとして扱うものであってもよい。

前記音声選択装置は、 選択された音声デ一夕を互いに結合するこ とにより、 合成音声を表すデータを生成する音声合成手段を更に備 えていてもよい。

前記音声選択装置は、 前記文章内の音片のうち、 前記選択手段が 音声データを選択できなかった音片について、 前記記憶手段が記憶 する音声データを用いることなく、 当該音片の波形を表す音声デー 夕を合成する欠落部分合成手段を備えていてもよく、 前記音声合成 手段は、 前記選択手段が選択した音声データ及び前記欠落部分合成 手段が合成した音声デ一夕を互いに結合することにより、 合成音声 を表すデ一夕を生成するものであってもよい。

また、 この発明の音声選択方法は、 音声の波形を表す音声データ を複数記憶し、 文章を表す文章情報を入力し、 当該文章を構成する 音片について韻律予測を行うことにより、 当該音片のピッチの時間 変化を予測し、 および各前記音声データのうちから、 前記文章を構 成する音片と読みが共通する音片の波形を表していて、 且つ、 ピッ チの時間変化が前記予測手段による予測の結果と最も高い相関を示 す音声デ一夕を選択する、 という一連の処理ステップを含む。

また、 この発明の別の音声選択方法は、 音声の波形を表す音声デ 一夕を複数記憶し、 文章を表す文章情報を入力し、 当該文章内の音 片について韻律予測を行うことにより、 当該音片の時間長、 及び、 当該音片のピッチの時間変化を予測し、 前記文章内の音片と読みが 共通する音片の波形を表す各々の音声データについての評価値を特 定し、 評価値が最も高い評価を表している音声データを選択するよ うになつており、 前記評価値は、 音声データが表す音片のピッチの 時間変化と、 当該音片と読みが共通する前記文章内の音片のピッチ の時間変化の予測結果との相関を表す数値の関数、 及び、 当該音声 データが表す音片の時間長と、 当該音片と読みが共通する前記文章 内の音片の時間長の予測結果との差の関数より得られるものである。 また、 この発明のコンピュータプログラムは、 コンピュータを、 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表 す文章情報を入力し、 当該文章を構成する音片について韻律予測を 行うことにより、 当該音片のピッチの時間変化を予測する予測手段 と、 各前記音声データのうちから、 前記文章を構成する音片と読み が共通する音片の波形を表していて、 且つ、 ピッチの時間変化が前 記予測手段による予測の結果と最も高い相関を示す音声データを選 択する選択手段と、 して機能させるためのものとなっている。

さらに、 この発明の別のコンピュータプログラムは、 コンビユー タを、 音声の波形を表す音声データを複数記憶する記憶手段と、 文 章を表す文章情報を入力し、 当該文章内の音片について韻律予測を 行うことにより、 当該音片の時間長、 及び、 当該音片のピッチの時 間変化を予測する予測手段と、 前記文章内の音片と読みが共通する 音片の波形を表す各々の音声データについての評価値を特定し、 評 価値が最も高い評価を表している音声データを選択する選択手段と して機能させるためのプログラムであって、 前記評価値は、 音声デ —夕が表す音片のピツチの時間変化と、 当該音片と読みが共通する 前記文章内の音片のピツチの時間変化の予測結果との相関を表す数 値の関数、 及び、 当該音声データが表す音片の時間長と、 当該音片 と読みが共通する前記文章内の音片の時間長の予測結果との差の関 数より得られるものである、 となっている。

( 3 ) 本発明の第 3の局面においては、 音声デ一夕選択装置は、 基 本的に、 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力する文章情報入力手段と、 前記文章情報 が表す文章内の音片と読みが共通する部分を有する音声データを索 出する検索部と、 前記索出されたそれぞれの音声データを文章情報 が表す文章に従って接続した際に互いに隣接する音声データ同士の 関係に基づいた所定の評価基準に従って評価値を求め、 出力する音 声データの組み合わせを当該評価値に基づいて選択する選択手段と， から構成される。 前記評価基準は、 音声データが表す音声と韻律予測結果との相関 及び互いに隣接する音声データ同士の関係を示す評価値を定める基 準であって、 前記評価値は、 前記音声データが表す音声の特徴を示 すパラメ一夕、 前記音声データが表す音声を互いに結合して得られ る音声の特徴を示すパラメータ、 及び、 発話時間長に関する特徴を 示すパラメータのうち、 少なくともいずれかを含む評価式に基づい て得られるものであるものであってもよい。

あるいは、 前記評価基準は、 音声データが表す音声と韻律予測結 果との相関及び互いに隣接する音声データ同士の関係を示す評価値 を定める基準であって、 前記評価値は、 前記音声デ一夕が表す音声 を互いに結合して得られる音声の特徴を示すパラメ一夕を含み、 ま た、 前記音声データが表す音声の特徴を示すパラメ一夕と発話時間 長に関する特徴を示すパラメ一夕のうち、 少なく ともいずれかを含 む評価式に基づいて得られるものであってもよい。

前記音声データが表す音声を互いに結合して得られる音声の特徴 を示すパラメータは、 前記文章情報が表す文章内の音片と読みが共 通する部分を有する音声の波形を表す音声データのうちから、 前記 文章を構成するそれぞれの音片に相当する音声デ一夕を 1個ずつ選 択した場合における、 互いに隣接する音声デ一夕同士の境界でのピ ツチの差に基づいて得られるものであってもよい。

前記音片データ選択装置は、 文章を表す文章情報を入力し、 当該 文章内の音片について韻律予測を行うことにより、 当該音片の時間 長、 及び、 当該音片のピッチの時間変化を予測する予測手段を備え ていてもよく、 前記評価基準は、 音声データが表す音声と前記韻律 予測手段の韻律予測結果との相関ないし差異を示す評価値を定める 基準であって、 前記評価値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピツチの 時間変化の予測結果との相関を表す数値の関数、 及び/又は、 当該 音声データが表す音片の時間長と、 当該音片と読みが共通する前記 文章内の音片の時間長の予測結果との差の関数に基づいて得られる ものであってもよい。

前記相関を表す数値は、 音声データが表す音片のピツチの時間変 化と、 当該音片と読みが共通する前記文章内の音片のピツチの時間 変化との間での 1次回帰により得られる 1次関数の勾配及び/又は 切片からなっていてもよい。

前記相関を表す数値は、 音声データが表す音片のピッチの時間変 化と、 当該音片と読みが共通する前記文章内の音片のピツチの時間 変化の予測結果との間の相関係数からなっていてもよい。

あるいは、 前記相関を表す数値は、 音声データが表す音片のピッ チの時間変化を表すデータを種々のビッ ト数循環シフトしたものが 表す関数と、 当該音片と読みが共通する前記文章内の音片のピッチ の時間変化の予測結果を表す関数との相関係数の最大値からなって いてもよい。

前記記憶手段は、 音声データの読みを表す表音データを、 当該音 声データに対応付けて記憶していてもよく、 前記選択手段は、 前記 文章内の音片の読みに合致する読みを表す表音データが対応付けら れている音声データを、 当該音片と読みが共通する音片の波形を表 す音声データとして扱うものであってもよい。

前記音片データ選択装置は、 選択された音声データを互いに結合 することにより、 合成音声を表すデータを生成する'音声合成手段を '更に備えていてもよい。

前記音片デ一夕選択装置は、 前記文章内の音片のうち、 前記選択 手段が音声データを選択できなかった音片について、 前記記憶手段 が記憶する音声データを用いることなく、 当該音片の波形を表す音 声データを合成する欠落部分合成手段を備えていてもよく、 前記音 声合成手段は、 前記選択手段が選択した音声データ及び前記欠落部 分合成手段が合成した音声データを互いに結合することにより、 合 成音声を表すデータを生成するものであってもよい。

また、 この発明の音声データ選択方法は、 音声の波形を表す音声 データを複数記憶し、 文章を表す文章情報を入力し、 前記文章情報 が表す文章内の音片と読みが共通する部分を有する音声データを索 出し、 前記索出されたそれぞれの音声データを文章情報が表す文章 に従って接続した際に互いに隣接する音声データ同士の関係に基づ いた所定の評価基準に従って評価値を求め、 出力する音声データの 組み合わせを当該評価値に基づいて選択する、 一速の処理ステップ を含む。

また、 この発明のコンピュータプログラムは、 コンピュータを、 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表 す文章情報を入力する文章情報入力手段と、 前記文章情報が表す文 章内の音片と読みが共通する部分を有する音声データを索出する検 索部と、 前記'索出されたそれぞれの音声データを文章情報が表す文 章に従って接続した際に互いに隣接する音声データ同士の関係に基 づいた所定の評価基準に従って評価値を求め、 出力する音声データ の組み合わせを当該評価値に基づいて選択する選択手段と、 して機 能させるためのものとなっている。 ， 図面の簡単な説明

第 1図は、 この発明の各実施の形態に係る音声合成システムの構 成を示すブロック図である。

第 2図は、 この発明の第 1の実施の形態における音片デ一夕べ一 スのデ一夕構造を模式的に示す図である。

第 3図の （ a ) は、 音片についてのピッチ成分の周波数の予測結 果と、 この音片と読みが合致する音片の波形を表す音片デ一夕のピ ツチ成分の周波数の時間変化とを 1次回帰させる処理を説明するた めのグラフであり、 同図 （ b ) は、 相関係数を求めるために用いる 予測結果デ一夕及びピッチ成分データの値の一例を示すグラフであ る。

第 4図は、 この発明の第 2の実施の形態における音片デ一夕べ一 スのデ一夕構造を模式的に示す図である。

第 5図の （ a ) は、 定型メッセージの読みを示す図であり、 同図 ( b ) は、 音片編集部に供給された音片データのリス トであり、 同 図 （ c ) は、 先行する音片の末尾におけるピッチ成分の周波数と後 続の音片の先頭におけるピッチ成分の周波数との差の絶対値を示す 図であり、 同図 （ d ) は、 音片編集部がどの音片デ一夕を選択する かを示す図である。

第 6図は、 この発明の各実施の形態に係る音声合成システムの機 能を行うパーソナルコンピュータがフリーテキス トデータを取得し た場合の処理を示すフローチヤ一トである。

第 7図は、 この発明の各実施の形態に係る音声合成システムの機 能を行うパーソナルコンピュータが配信文字列データを取得した場 合の処理を示すフローチャートである。 ' 第 8図は、 この発明の第 1の実施の形態に係る音声合成

の機能を行うパーソナルコンピュー夕が定型メッセージデータ及び 発声スピ一ドデ一夕を取得した場合の処理を示すフローチヤ一トで ある。

第 9図は、 この発明の第 2の実施の形態に係る音声合成システム の機能を行うパーソナルコンピュー夕が定型メッセージデータ及び 発声スピ一ドデータを取得した場合の処理を示すフローチヤ一トで ある。

第 1 0図は、 この発明の第 3の実施の形態に係る音声合成システ ムの機能を行うパーソナルコンピュータが定型メッセージデ一タ及 び発声スピードデータを取得した場合の処理を示すフローチヤ一ト である。

発明を実施するための最良の形態

以下、 この発明の実施の形態を、 音声合成システムを例とし、 図 面を参照して説明する。

(第 1の実施の形態） . 第 1図は、 この発明の第 1の実施の形態に係る音声合成システム の構成を示す図である。図示するように、この音声合成システムは、 本体ュニッ ト Mと、 音片登録ュニッ ト Rとにより構成されている。 本体ユニッ ト Mは、 言語処理部 1 と、 一般単語辞書 2と、 ユーザ 単語辞書 3 と、 音響処理部 4と、 検索部 5と、 伸長部 6 と、 波形デ 一夕ベース 7と、 音片編集部 8 と、 検索部 9と、 音片データベース 1 0 と、 話速変換部 1 1 とにより構成されている。

言語処理部 1、 音響処理部 4、 検索部 5、 伸長部 6、 音片編集部 8、 検索部 9及び話速変換部 1 1は、 いずれも、 C P U ( C e ntr al ί

Processing Unit) や D P (Digital Signal Processor) 等 のプロセッサゃ、 このプロセッサが実行するためのプログラムを記 憶するメモリなどより構成されており、 それぞれ後述する処理を行 Ό。

なお、 言語処理部 1、 音響処理部 4、 検索部 5、 伸長部 6、 音片 編集部 8、 検索部 9及び話速変換部 1 1の一部又は全部の機能を単 一のプロセッサが行うようにしてもよい。

一般単語辞書 2 は、 P R O M (Programmable Read Only Memory) やハードディスク装置等の不揮発性メモリより構成され ている。 一般単語辞書 2には、 表意文字 （例えば、 漢字など） を含 む単語等と、 この単語等の読みを表す表音文字 （例えば、 カナや発 音記号など） とが、 この音声合成システムの製造者等によって、 あ らかじめ互いに対応付けて記憶されている。

ユ ー ザ 単語辞 書 3 は 、 E E P R O M ( Electrically Erasable/Programmable Read Oniv Memo ry) やハードディ スク装置等のデータ書き換え可能な不揮発性メモリと、 この不揮発 性メモリへのデ一夕の書き込みを制御する制御回路とにより構成さ れている。なお、プロセッサがこの制御回路の機能を行ってもよく、 言語処理部 1、 音響処理部 4、 検索部 5、 伸長部 6、 音片編集部 8、 検索部 9及び話速変換部 1 1の一部又は全部の機能を行うプロセッ サがユーザ単語辞書 3の制御回路の機能を行うようにしてもよい。

ユーザ単語辞書 3は、 表意文字を含む単語等と、 この単語等の読 みを表す表音文字とを、 ユーザの操作に従って外部より取得し、 互 いに対応付けて記憶する。 ユーザ単語辞書 3には、 一般単語辞書 2 に記憶されていない単語等とその読みを表す表音文字とが格納され ていれば十分である。

波形データベース 7は、 P R〇Mやハードディスク装置等の不揮 発性メモリより構成されている。 波形データべ一ス 7には、 表音文 字と、 この表音文字が表す単位音声の波形を表す波形データをェン ト口ピー符号化して得られる圧縮波形データとが、 この音声合成シ ステムの製造者等によって、 あらかじめ互いに対応付けて記憶され ている。 単位音声は、 規則合成方式の手法で用いられる程度の短い 音声であり、 具体的には、 音素や、 V CV (Vowel-Consonant- Vowel) 音節などの単位で区切られる音声である。 なお、 ェントロ ピー符号化される前の波形データは、 例えば、 P C M (Pulse Code Modulation) 化されたデジタル形式のデータからなっていれぱょ い。

音片デ一夕ベース 1 0は、 P ROMやハードディスク装置等の不 揮発性メモリより構成されている。

音片データべ一ス 1 0には、 例えば、 第 2図に示すデ一夕構造を 有するデータが記憶されている。 すなわち、 図示するように、 音片 デ—夕べ—ス 1 0に格納されているデータは、 ヘッダ部 HD R、 ィ ンデックス部 I D X、 ディ レク トリ部 D I R及びデ一夕部 DATの 4種に分かれている。

なお、 音片データベース 1 0へのデータの格納は、 例えば、 この 音声合成システムの製造者によりあらかじめ行われ、 及び Z又は、 音片登録ュニッ ト Rが後述する動作を行うことにより行われる。 へッダ部 HD Rには、音片データベース 1 0を識別するデータや、 インデックス部 I D X、 ディ レク トリ部 D I R及びデータ部 D A T のデータ量、 データの形式、 著作権等の帰属などを示すデータが格 納される。

データ部 DATには、 音片の波形を表す音片データをェントロピ 一符号化して得られる圧縮音片デ一夕が格納されている。

なお、 音片とは、 音声のうち音素 1個以上を含む連続した 1区間 をいい、 通常は単語 1個分又は複数個分の区間からなる。

また、 エントロピー符号化される前の音片データは、 上述の圧縮 波形データの生成のためェント口ピ一符号化される前の波形デ一夕 と同じ形式のデータ （例えば、 P CMされたデジタル形式のデータ） からなっていればよい。

ディ レク トリ部 D I Rには、 個々の圧縮音声データについて、

(A) この圧縮音片デ一夕が表す音片の読みを示す表音文字を表 すデータ （音片読みデータ） 、

(B) この圧縮音片データが格納されている記憶位置の先頭のァ ドレスを表すデ一夕、

(C) この圧縮音片デ一夕のデータ長を表すデータ、

(D) この圧縮音片デ一夕が表す音片の発声スピード （再生した 場合の時間長） を表すデータ （スピード初期値データ） 、

(E) この音片のピッチ成分の周波数の時間変化を表すデータ（ピ ツチ成分 "5 "—タ） 、

が、 互いに対応付けられた形で格納されている。 （なお、 音片デ 一夕ベース 1 0の記憶領域にはアドレスが付されているものとす る。 ）

なお、 第 2図は、 データ部 DATに含まれるデータとして、 読み が 「サイタマ」 である音片の波形を表す、 データ量 1 4 1 0 hバイ 卜の圧縮音片データが、 アドレス 0 0 1 A 3 6 A 6' hを先頭とする 論理的位置に格納されている場合を例示している。 （なお、 本明細 書及び図面において、末尾に" h "を付した数字は 1 6進数を表す。） また、 ピッチ成分データは、 例えば、 図示するように、 音片のピ ツチ成分の周波数をサンプリングして得られたサンプル Y ( i ) (サ ンプルの総数を nとして、 i は n以下の正の整数） を表すデ一夕で あるものとする。

なお、 上述の （A ) 〜 （E ) のデータの集合のうち少なくとも （A ) のデータ （すなわち音片読みデータ） は、 音片読みデータが表す表 音文字に基づいて決められた順位に従ってソ一トされた状態で （例 えば、 表音文字がカナであれば、 五十音順に従って、 アドレス降順 に並んだ状態で） 、 音片データベース 1 0の記憶領域に格納されて いる。

インデックス部 I D Xには、 ディ レク トリ部 D I Rのデータのお およその論理的位置を音片読みデータに基づいて特定するためのデ —夕が格納されている。 具体的には、 例えば、 音片読みデータが力 ナを表すものであるとして、 カナ文字と'、 先頭 1字がこのカナ文字 であるような音片読みデータがどのような範囲のアドレスにあるか を示すデータとが、 互いに対応付けて格納されている。

なお、 一般単語辞書 2、 ユーザ単語辞書 3、 波形データベース 7 及び音片データベース 1 0の一部又は全部の機能を単一の不揮発性 メモリが行うようにしてもよい。

音片データべ一ス 1 0へのデ一夕の格納は、 第 1図に示す音片登 録ユニッ ト Rにより行われる。 音片登録ュニッ ト Rは、 図示するよ うに、 収録音片データセッ ト記憶部 1 2と、 音片デ一夕べ一ス作成 部 1 3 と、 圧縮部 1 4とにより構成されている。 なお、 音片登録ュ ニッ ト Rは音片デ一夕べ一ス 1 0とは着脱可能に接続されていても よく、 この場合は、 音片データベース 1 0に新たにデータを書き込 むときを除いては、 音片登録ュニッ ト Rを本体ュニッ ト Mから切り 離した状態で本体ュニッ ト Mに後述の動作を行わせてよい。

収録音片データセッ ト記憶部 1 2は、 ハードディスク装置等のデ 一夕書き換え可能な不揮発性メモリより構成されている。

収録音片デ一夕セッ ト記憶部 1 2には、 音片の読みを表す表音文 字と、 この音片を人が実際に発声したものを集音して得た波形を表 す音片データとが、 この音声合成システムの製造者等によって、 あ らかじめ互いに対応付けて記憶されている。 なお、 この音片デ一夕 は、 例えば、 P C M化されたデジタル形式のデータからなっていれ ばよい。

音片デ一夕ベース作成部 1 3及び圧縮部 1 4は、 C P U等のプロ セッサゃ、 このプロセッサが実行するためのプロダラムを記憶する メモリなどより構成されており、 このプログラムに従って後述する 処理を行う。

なお、 音片データベース作成部 1 3及び圧縮部 1 4の一部又は全 部の機能を単一のプロセッサが行うようにしてもよく、 また、 言語 処理部 1、 音響処理部 4、 検索部 5、 伸長部 6、 音片編集部 8、 検 索部 9及び話速変換部 1 1の一部又は全部の機能を行うプロセッサ が音片データベース作成部 1 3や圧縮部 1 4の機能を更に行っても よい。 また、 音片データベース作成部 1 3や圧縮部 1 4の機能を行 うプロセッサが、 収録音片データセッ ト記憶部 1 2の制御回路の機 能を兼ねてもよい。

音片デ一夕ベース作成部 1 3は、 収録音片デ一夕セッ ト記愴部 1 2より、 互いに対応付けられている表音文字及び音片デ一夕を読み 出し、 この音片データが表す音声のピッチ成分の周波数の時間変化 と、 発声スピードとを特定する。

発声スピードの特定は、 例えば、 この音片デ一夕のサンプル数を 数えることにより特定すればよい。

一方、 ピッチ成分の周波数の時間変化は、 例えば、 この音片デー 夕にケプストラム解析を施すことにより特定すればよい。 具体的に は、 例えば、 音片データが表す波形を時間軸上で多数の小部分へと 区切り、 得られたそれぞれの小'部分の強度を、 元の値の対数 （対数 の底は任意） に実質的に等しい値へと変換し、 値が変換されたこの 小部分のスペク トル （すなわち、 ケプストラム） を、 高速フーリエ 変換の手法 （あるいは、 離散的変数をフーリエ変換した結果を表す データを生成する他の任意の手法） により求める。 そして、 このケ プストラムの極大値を与える周波数のうちの最小値を、 この小部分 におけるピッチ成分の周波数として特定する。

なお、 ピッチ成分の周波数の時間変化は、 例えば、 特開 2 0 0 3 - 1 0 8 1 7 2号公報に開示された手法に従って音片デ一夕をピッ チ波形デ一夕へと変換してから、 このピッチ波形データに基づいて 特定するようにすると良好な結果が期待できる。 具体的には、 音片 データをフィルタリングしてピッチ信号を抽出し、 抽出されたピッ チ信号に基づいて、 音片データが表す波形を単位ピッチ長の区間へ と区切り、 各区間について、 ピッチ信号との相関関係に基づいて位 相のずれを特定して各区間の位相を揃えることにより、 音片データ をピッチ波形信号へと変換すればよい。 そして、 得られたピッチ波 形信号を音片データとして扱い、 ケプス トラム解析を行う等するこ とにより、 ピッチ成分の周波数の時間変化を特定すればよい。

一方、 音片データベース作成部 1 3は、 収録音片データセッ ト記 憶部 1 2より読み出した音片データを圧縮部 1 4に供給する。

圧縮部 1 4は、 音片データベース作成部 1 3より供給された音片 データをェントロピー符号化して圧縮音片データを作成し、 音片デ 一夕ベース作成部 1 3に返送する。

音片デ一夕の発声スピード及びピッチ成分の周波数の時間変化を 特定し、 この音片デ一夕がェントロピー符号化され圧縮音片デ一夕 となって圧縮部 1 4より返送されると、 音片デ一夕ベース作成部 1 3は、 この圧縮音片データを、 データ部 D A Tを構成するデータと して、 音片データベース 1 0の記憶領域に書き込む。

また、 音片デ一夕ベース作成部 1 3は、 書き込んだ圧縮音片デー 夕が表す音片の読みを示すものとして収録音片データセッ ト記憶部 1 2より読み出した表音文字を、 音片読みデータとして音片デ一夕 ベース 1 0の記憶領域に書き込む。

また、 書き込んだ圧縮音片データの、 音片データベース 1 0の記 憶領域内での先頭のァドレスを特定し、 このアドレスを上述の （B ) のデータとして音片データベース 1 0の記憶領域に書き込む。

また、 この圧縮音片データのデ一夕長を特定し、 特定したデ一夕 長を、 （C ) のデータとして音片データベース 1 0の記憶領域に書 き込む。

また、 この圧縮音片デ一夕が表す音片の発声スピード及ぴピッチ 成分の周波数の時間変化を特定した結果を示すデ一夕を生成し、 ス ピ一ド初期値データ及びピッチ成分データとして音片デ一夕ベース 1 0の記憶領域に書き込む。 次に、 この音声合成システムの動作を説明する。

まず、 言語処理部 1が、 この音声合成システムに音声を合成させ る対象としてュ一ザが用意した、 表意文字を含む文章 （フリーテキ ス ト） を記述したフリーテキス トデータを外部から取得したとして 説明する。

なお、 言語処理部 1がフリ一テキストデータを取得する手法は任 意であり、 例えば、 図示しないインターフェース回路を介して外部 の装置ゃネッ トヮ一クから取得してもよいし、 図示しない記録媒体 ドライブ装置にセッ トされた記録媒体 （例えば、 フロッピー （登録 商標） ディスクや C D _ R O Mなど） から、 この記録媒体ドライブ 装置を介して読み取ってもよい。 また、 言語処理部 1の機能を行つ ているプロセッサが、 自ら実行している他の処理で用いたテキスト データを、 フリーテキストデータとして、 言語処理部 1の処理へと 引き渡すようにしてもよい。

フリーテキス トデータを取得すると、 言語処理部 1は、 このフリ 一テキストに含まれるそれぞれの表意文字について、 その読みを表 す表音文字を、 一般単語辞書 2やユーザ単語辞書 3を検索すること により特定する。 そして、 この表意文字を、 特定した表音文字へと 置換する。 そして、 言語処理部 1は、 フリーテキスト内の表意文字 がすべて表音文字へと置換した結果得られる表音文字列を、 音響処 理部 4へと供給する。

音響処理部 4は、 言語処理部 1より表音文字列を供給されると、 この表音文字列に含まれるそれぞれの表音文字について、 当該表音 文字が表す単位音声の波形を検索するよう、 検索部 5に指示する。 検索部 5は、 この指示に応答して波形データべ ス 7を検索し、 表音文字列に含まれるそれぞれの表音文字が表す単位音声の波形を 表す圧縮波形データを索出する。 そして、 索出された圧縮波形デー 夕を伸長部 6へと供給する。

伸長部 6は、 検索部 5より供給された圧縮波形デ一夕を、 圧縮さ れる前の波形データへと復元し、 検索部 5へと返送する。 検索部 5 は、'伸長部 6より返送された波形データを、 検索結果として音響処 理部 4へと供給する。

音響処理部 4は、 検索部 5より供給された波形デ一夕を、 言語処 理部 1より供給された表音文字列内での各表音文字の並びに従った 順序で、 音片編集部 8へと供給する。 - 音片編集部 8は、 音響処理部 4より波形デ一タを供給されると、 この波形データを、 供給された順序で互いに結合し、 合成音声を表 すデータ （合成音声データ） として出力する。 フリーテキストデー タに基づいて合成されたこの合成音声は、 規則合成方式の手法によ り合成された音声に相当する。

なお、 音片編集部 8が合成音声データを出力する手法は任意であ り、 例えば、 図示しない D / A ( D i git al - t o - An al o g ) 変換器ゃス ピー力を介して、 この合成音声デ一夕が表す合成音声を再生するよ うにしてもよい。 また、 図示しないインタ一フェース回路を介して 外部の装置ゃネッ トワークに送出してもよいし、 図示しない記録媒 体ドライブ装置にセッ トされた記録媒体へ、 この記録媒体ドライブ 装置を介して書き込んでもよい。 また、 音片編集部 8の機能を行つ ているプロセッサが、 自ら実行している他の処理へと、 合成音声デ 一夕を引き渡すようにしてもよい。

次に、 音響処理部 4が、 外部より配信された、 表音文字列を表す データ （配信文字列データ） を取得したとする。 （なお、 音響処理 部 4が配信文字列データを取得する手法も任意であり、 例えば、 言 語処理部 1がフリーテキストデータを取得する手法と同様の手法で 配信文字列データを取得すればよい。 ）

この場合、 音響処理部 4は、 配信文字列データが表す表音文字列 を、 言語処理部 1より供給された表音文字列と同様に扱う。 この結 果、 配信文字列データが表す表音文字列に含まれる表音文字に対応 する圧縮波形データが検索部 5により索出され、 圧縮される前の波 形デ一夕が伸長部 6により復元される。 復元された各波形データは 音響処理部 4を介して音片編集部 8へと供給され、音片編集部 8が、 この波形データを、 配信文字列データが表す表音文字列内での各表 音文字の並びに従った順序で互いに結合し、 合成音声デ一夕として 出力する。 配信文字列データに基づいて合成されたこの合成音声デ —タも、 規則合成方式の手法により合成された音声を表す。

次に、 音片編集部 8が、 定型メッセージデータ及び発声スピード データを取得したとする。

なお、 定型メッセ一ジデータは、 定型メッセージを表音文字列と して表すデータであり、 発声スピードデータは、 定型メッセ一ジデ —夕が表す定型メッセージの発声スピードの指定値 （この定型メッ セージを発声する時間長の指定値） を示すデータである。

また、 音片編集部 8が定型メッセージデータや発声スピードデ一 夕を取得する手法は任意であり、 例えば、 言語処理部 1がフリーテ キストデータを取得する手法と同様の手法で定型メッセージデータ や発声スピードデータを取得すればよい。

定型メッセージデータ及び発声スピードデータが音片編集部 8に 供給されると、 音片編集部 8は、 定型メッセージに含まれる音片の 読みを表す表音文字に合致する表音文字が対応付けられている圧縮 音片データをすベて索出するよう、 検索部 9に指示する。

検索部 9は、 音片編集部 8の指示に応答して音片データベース 1 0を検索し、 該当する圧縮音片データと、 該当する圧縮音片データ に対応付けられている上述の音片読みデータ、 スピード初期値デー 夕及びピッチ成分データとを索出し、 索出された圧縮波形データを 伸長部 6へと供給する。 1個の音片にっき複数の圧縮音片データが 該当する場合も、 該当する圧縮音片データすべてが、 音声合成に用 いられるデータの候補として索出される。 一方、 圧縮音片データを 索出できなかった音片があった場合、 検索部 9は、 該当する音片を 識別するデータ （以下、 欠落部分識別データと呼ぶ） を生成する。 伸長部 6は、 検索部 9より供給された圧縮音片デ一夕を、 圧縮さ れる前の音片データへと復元し、 検索部 9へと返送する。 検索部 9 は、 伸長部 6より返送された音片デ一夕と、 索出された音片読みデ 一夕、 スピード初期値データ及びピッチ成分データとを、 検索結果 として話速変換部 1 1へと供給する。 また、 欠落部分識別データを 生成した場合は、 この欠落部分識別データも話速変換部 1 1へと供 給する。

一方、 音片編集部 8は、 話速変換部 1 1に対し、 話速変換部 1 1 に供給された音片デ一夕を変換して、 当該音片データが表す音片の 時間長を、 発声スピ一ドデータが示すスピードに合致するようにす ることを指示する。

話速変換部 1 1は、 音片編集部 8の指示に応答し、 検索部 9より 供給された音片データを指示に合致するように変換して、 音片編集 部 8に供給する。 具体的には、 例えば、 検索部 9より供給された音 片データの元の時間長を、 索出されたスピード初期値データに基づ いて特定した上、 この音片デ一タをリサンプリングして、 この音片 データのサンプル数を、 音片編集部 8の指示したスピードに合致す る時間長にすればよい。

また、 話速変換部 1 1は、 検索部 9より供給された音片読みデー タ、 スピ一ド初期値データ及びピッチ成分データも音片編集部 8に 供給し、 欠落部分識別データを検索部 9より供給された場合は、 更 にこの欠落部分識別データも音片編集部 8に供給する。

なお、 発声スピードデ一夕が音片編集部 8に供給されていない場 合、 音片編集部 8は、 話速変換部 1 1 に対し、 話速変換部 1 1に供 給された音片デ一夕を変換せずに音片編集部 8に供給するよう指示 すればよく、 話速変換部 1 1は、 この指示に応答し、 検索部 9より 供給された'音片データをそのまま音片編集部 8に供給すればよい。 音片編集部 8は、 話速変換部 1 1より音片デ一夕、 音片読みデー 夕、 スピード初期値データ及びピッチ成分データを供給されると、 供給された音片デ一夕のうちから、 定型メッセージを構成する音片 の波形に最もよく近似できる波形を表す音片デ一夕を、 音片 1個に つき 1個ずつ選択する。

具体的には、 まず、 音片編集部 8は、 定型メッセージデータが表 す定型メッセージに、例えば「藤崎モデル」や「T o B I ( To n e a n d B r e a k I n dic e s ) 」 等の韻律予測の手法に基づいた解析を加えるこ とにより、 この定型メッセージ内の各音片のピッチ成分の周波数の 時間変化を予測する。 そして、 音片毎に、 ピッチ成分の周波数の時 間変化の予測結果をサンプリングしたものを表すデジタル形式のデ 一夕 （以下、 予測結果データと呼ぶ） を生成する。

次に、 音片編集部 8は、 定型メッセージ内のそれぞれの音片につ いて、 この音片のピッチ成分の周波数の時間変化の予測結果を表す 予測結果データと、 この音片と読みが合致する音片の波形を表す音 片データのピッチ成分の周波数の時間変化を表すピッチ成分データ との相関を求める。

より具体的には、 音片編集部 8は、 話速変換部 1 1より供給され た各々のピッチ成分データについて、 例えば、 数式 1の右辺に示す 値 及び数式 2の右辺に示す値 ]3を求める。 n '

[は ( i ) -mx}' · {Y ( i ) - my} ]

た 7こし、 m x =

i = 1 , i = 1 β =m y— ( a · m x )

第 3図 （ a ) に示すように、 ある音片についての予測結果データ (サンプルの総数は n個とする） の i番目のサンプルの値 X ( i ) ( i は整数） の 1次関数として、 この音片と読みが合致する音片の 波形を表す音片データについてのピツチ成分データ （サンプルの総 数は n個とする） の i番目のサンプル Y ( i ) の値を 1次回帰させ た場合、 この 1次関数の勾配は 、 切片は^となる。 （勾配ひ の単 位は例えば [ヘルツ/秒] であればよく、 切片 /3の単位は例えば [へ ルツ] であればよい。 ）

なお、 同一の読みの音片について、 予測結果データとピッチ成分 データとでサンプルの総数が互いに異なる場合は、 両者のうち一方 (または両方） を、 1次補間やラグランジェ補間あるいはその他任 意の手法により補間した上でリサンプリングし、 両者のサンプルの 総数を揃えてから相関を求めるようにすればよい。

一方、 音片編集部 8は、 話速変換部 1 1より供給されたスピード 初期値データと、 音片編集部 8に供給された定型メッセージデ一夕 及び発声スピ一ドデ一夕とを用いて、 数式 3の右辺の値 d t を求め る。 この値 d tは、 音片デ一夕が表す音片の発声スピードと、 この 音片と読みが合致する定型メッセージ内の音片の発声スピードとの 時間差を表す係数である。

d t = I ( X t - Y t ) / Ύ t I

(ただし、 Y tは音片データが表す音片の発声スピード、 X tはこ の音片と読みが合致する定型メッセージ内の音片の発声スピード） そして、 音片編集部 8は、 1次回帰により得られた上述の α及び /3の値と、 上述の係数 d t とに基づいて、 定型メッセージ内の音片 の読みと一致する音片を表す音片デ一夕のうち、 数式 4の右辺の値 (評価値） c 0 s t 1が最大となるものを選択する。

c o s t 1 = 1 / ( Ψ ₁ I 1 - α I + W ₂ I β l + d t ) (ただし、 及び W ₂は所定の正の係数）

音片のピッチ成分の周波数の時間変化の予測結果と、 この音片と 読みが合致する音片の波形を表す音片データのピヅチ成分の周波数 の時間変化とが互いに近いほど、 勾配 の値は 1に近くなり、 従つ て、 値 I 1 — ひ I は 0に近くなる。 そして、 評価値 c o s t 1は、 音片のピッチの予測結果と音片デ一夕のピッチとの相関が高いほど 大きな値となるようにするため、 値 i 1 一 α I の 1次関数の逆数の 形をとつているので、 評価値 c o s t 1は、 値 I 1 一 α I が 0に近 くなるほど大きな値となる。

一方、 音声の抑揚は、 音片のピッチ成分の周波数の時間変化によ り特徴付けられる。 従って、 勾配ひ の値は、 音声の抑揚の差異を敏 感に反映する性質を有する。

このため、 合成されるべき音声について抑揚の正確さが重視され る場合 （例えば、 電子メール等のテキストを読み上げる音声を合成 する場合等） は、 上述の係数 の値をなるベく大きくすることが 望ましい。

これに対し、 音片のピッチ成分の基本周波数 （ベースピッチ周波 数） の予測結果と、 この音片と読みが合致する音片の波形を表す音 片データのベースピッチ周波数とが互いに近いほど、 切片 i3の値は 0に近くなる。 従って、 切片 ]3の値は、 音声のベースピッチ周波数 の差異を敏感に反映する性質を有する。一方、評価値 c o s t 1は、 値 I iS I の 1次関数の逆数とみることもできる形をとつているので、 評価値 c o s t 1は、値 I β I が 0に近くなるほど大きな値となる。

一方、 音声のベースピッチ周波数は、 音声の話者の声質を支配す る要因であり、 話者の性別による差異も顕著である。

このため、 合成されるべき音声についてベースピッチ周波数の正 確さが重視される場合 （例えば、 合成音声の話者の性別や声質を明 確にする必要がある場合など） は、 上述の係数 W ₂の値をなるベく 大きくすることが望ましい。

動作の説明に戻ると、 音片編集部 8は、 定型メッセ一ジ内の音片 の波形に近い波形を表す音片デ一夕を選択する一方で、 話速変換部 1 1より欠落部分識別データも供給されている場合には、 欠落部分 識別データが示す音片の読みを表す表音文字列を定型メッセージデ 一夕より抽出して音響処理部 4に供給し、 この音片の波形を合成す るよう指示する。

指示を受けた音響処理部 4は、 音片編集部 8より供給された表音 文字列を、 配信文字列データが表す表音文字列と同様に扱う。 この 結果、 この表音文字列に含まれる表音文字が示す音声の波形を表す 圧縮波形データが検索部 5により索出され、 この圧縮波形データが 伸長部 6により元の波形デ一夕へと復元され、 検索部 5を介して音 響処理部 4へと供給される。 音響処理部 4は、 この波形データを音 片編集部 8へと供給する。

音片編集部 8は、 音響処理部 4より波形デ一夕を返送されると、 この波形データと、 話速変換部 1 1 より供給された音片デ一夕のう ち音片編集部 8が特定したものとを、 定型メッセージデータが示す 定型メッセージ内での各音片の並びに従った順序で互いに結合し、 合成音声を表すデータとして出力する。

なお、 話速変換部 1 1より供給されたデータに欠落部分識別デー 夕が含まれていない場合は、 音響処理部 4に波形の合成を指示する ことなく直ちに、 音片編集部 8が特定した音片データを、 定型メッ セージデータが示す定型メッセージ内での各音片の並びに従った順 序で互いに結合し、 合成音声を表すデータとして出力すればよい。 以上説明した、 この音声合成システムでは、 音素より大きな単位 であり得る音片の波形を表す音片データが、 韻律の予測結果に基づ いて、 録音編集方式により自然につなぎ合わせられ、 定型メッセ一 ジを読み上げる音声が合成される。 音片データベース 1 0の記憶容 量は、 音素毎に波形を記憶する場合に比べて小さくでき、 また、 高 速に検索できる。 このため、 この音声合成システムは小型軽量に構 成することができ、 また高速な処理にも追随できる。

また、 音片の波形の予測結果と音片デ一夕との相関を複数の評価 基準 （例えば、 1次回帰させた場合の勾配や切片による評価と、 音 片の時間差による評価、 など） で評価した場合は、 これらの評価の 結果に食い違いが生じる場合が多々あり得る。 しかし、 この音声合 成システムでは、 複数の評価基準で評価した結果が 1個の評価値に 基づいて総合され、 適正な評価が行われる。

なお、 この音声合成システムの構成は上述のものに限られない。 例えば、 波形データゃ音片データは P C M形式のデータである必 要はなく、 デ一タ形式は任意である。

また、 波形データベース 7ゃ音片データべ一ス 1 0は波形データ ゃ音片データを必ずしもデータ圧縮された状態で記憶している必要 はない。 波形デ一夕ベース 7ゃ音片データべ一ス 1 0が波形データ ゃ音片データをデータ圧縮されていない状態で記憶している場合、 本体ュニッ ト Mは伸長部 6を備えている必要はない。

また、 音片データベース作成部 1 3は、 図示しない記録媒体ドラ イブ装置にセッ 卜された記録媒体から、 この記録媒体ドライブ装置 を介して、 音片デ一夕ベース 1 0に追加する新たな圧縮音片データ の材料となる音片デ一夕や表音文字列を読み取ってもよい。

また、 音片登録ユニッ ト Rは、 必ずしも収録音片データセッ ト記 憶部 1 2を備えている必要はない。

また、 音片編集部 8は、 特定の音片の韻律を表す韻律登録デ一夕 をあらかじめ記憶し、 定型メッセージにこの特定の音片が含まれて いる場合は、 この韻律登録デ一夕が表す韻律を、 韻律予測の結果と して扱うようにしてもよい。

また、 音片編集部 8は、 過去の韻律予測の結果を韻律登録データ として新たに記憶するようにしてもよい。

また、 音片編集部 8は、 上述の α及び ]3の値を求める代わりに、 話速変換部 1 1より供給された各々のピッチ成分データについて、 例えば、 数式 5の右辺に示す値 R X y ( j ) を、 j の値を 0以上 n 未満の各整数として、 合計 n個求め、 得られた R x y ( 0 ) から R y ( n - 1 ) までの n個の,相関係数のうちの最大値を特定するよ うにしてもよい。 [ {X (i) -mx} · {Y j ( i) -my} ]

Rxy ( j )

2 {X ( i ) -mx} ² （ i ) I ²

R x y ( j ) は、 ある音片についての予測結果デ一夕 （サンプル 総数 n個。 なお、 数式 5における X ( i ) は数式 1 におけるものと 同一である） と、 この音片と読みが合致する音片の波形を表す音片 データについてのピッチ成分データ （サンプルの総数 n個） を一定 の方向へ j 個循環シフトして得られたサンプルの列 （なお、 数式 5 において Y j ( i ) は、 このサンプルの列の i番目のサンプルの値 である） との相関係数の値である。 ' なお、 第 3図 （ b ) は、 R x y ( 0 ) 及び R x y ( j ) の値を求 めるために用いる予測結果データ及びピッチ成分データの値の一例 を示すグラフである。 ただし、 Y ( p ) の値 （ただし、 pは 1以上 n以下の整数） は、 循環シフ トを行う前のピッチ成分データの p番 目のサンプルの値である。 従って、 例えば、 音片データのサンプル が時刻の早い順に並んでおり、 循環シフ トが下位方向 （つまり時刻 が遅い方） へと行われるものとすれば、 j く pの場合は Y j ( p ) = Y (p— j ) であり、 一方、 l≤ p≤ j の場合は Y j ( p ) = Y ( n - j + p ) である。

そして、 音片編集部 8は、 上述の R x y ( j ) の最大値と、 上述 の係数 d tとに基づいて、 定型メッセージ内の音片の読みと一致す る音片を表す音片デ一夕のうち、 数式 6の右辺の値 （評価値） c o s t 2が最大となるものを選択すればよい。

c o s t 2 = 1 / (W₃ I Rm a x I + d t )

(ただし、 W₃は所定の係数、 Rm a xは R x y ( 0 ) 〜R x y (n 一 1 ) のうちの最大値）

なお、 音片編集部 8は、 必ずしもピッチ成分データを種々循環シ フトしたものについて上述の相関係数を求める必要はなく、例えば、 R x y ( 0 ) の値をそのまま相関係数の最大値として扱うようにし てもよい。

また、 評価値 c o s t 1や c o s t 2は、 係数 d tの項を含まな くてもよく、 この場合、 音片編集部 8は、 係数 d tを求める必要が ない。

あるいは、 音片編集部 8は、 係数 d tの値をそのまま評価値とし て用いてもよく、 この場合、 音片編集部は、 勾配 άや、 切片 ]3や、 R x y ( j ) の値を求める必要がない。

また、 ピッチ成分データは音片データが表す音片のピツチ長の時 間変化を表すデータであってもよい。 この場合、 音片編集部 8は、 予測結果データとして、 音片のピッチ長の時間変化の予測結果を表 すデータを作成するものとし、 この音片と読みが合致する音片の波 形を表す音片デ一夕のピッチ長の時間変化を表すピッチ成分データ との相関を求めるようにすればよい。

また、音片データベース作成部 1 3は、マイクロフォン、増幅器、 サンプリング回路、 A / D (Analo g - to - D i git al) コンバータ及び P C Mエンコーダなどを備えていてもよい。 この場合、 音片デ一夕 ベース作成部 1 3は、 収録音片デ一夕セッ ト記憶部 1 2より音片デ —夕を取得する代わりに、 自己のマイクロフォンが集音した音声を 表す音声信号を増幅し、 サンプリングして A / D変換した後、 サン プリングされた音声信号に P C M変調を施すことにより、 音片デー 夕を作成してもよい。

また、 音片編集部 8は、 音響処理部 4より返送された波形データ を話速変換部 1 1に供給することにより、 当該波形データが表す波 形の時間長を、 発声スピードデータが示すスピ一ドに合致させるよ うにしてもよい。

また、 音片編集部 8は、 例えば、 言語処理部 1 と共にフリーテキ ストデータを取得し、 このフリ一テキストデータが表すフリーテキ ストに含まれる音片の波形に最も近い波形を表す音片デ一夕を、 定 型メッセージに含まれる音片の波形に最も近い波形を表す音片デー 夕を選択する処理と実質的に同一の処理を行うことによって選択し て、 音声の合成に用いてもよい。 ' この場合、 音響処理部 4は、 音片編集部 8が選択した音片デ一夕 が表す音片については、 この音片の波形を表す波形データを検索部 5に索出させなくてもよい。 なお、 音片編集部 8は、 音響処理部 4 が合成しなくてよい音片を音響処理部 4に通知し、 音響処理部 4は この通知に応答して、 この音片を構成する単位音声の波形の検索を 中止するようにすればよい。

また、 音片編集部 8は、 例えば、 音響処理部 4と共に配信文字列 データを取得し、 この配信文字列データが表す配信文字列に含まれ る音片の波形に最も近い波形を表す音片データを、 定型メッセージ に含まれる音片の波形に最も近い波形を表す音片デ一夕を選択する 処理と実質的に同一の処理を行うことによって選択して、 音声の合 成に用いてもよい。 この場合、 音響処理部 4は、 音片編集部 8が選 択した音片データが表す音片については、 この音片の波形を表す波 形データを検索部 5に索出させなくてもよい。

(第 2の実施の形態）

次に、 この発明の第 2の実施の形態を説明する。 この発明の第 2 の実施の形態に係る音声合成システムの物理的構成は、 上述した第 1の実施の形態における構成と実質的に同一である。

ただし、 第 2の実施の形態の音声合成システムにおける音片デー 夕ベース 1 0のディ レク トリ部 D I Rには、 例えば第 4図に示すよ うに、 個々の圧縮音声デ一夕について、 上述の （A ) 〜 （D ) のデ 一夕が互いに対応づけられた形で格納されているほか、 上述の （E ) のデータに代え、 ピッチ成分データとして、 （F ) この圧縮音片デ 一夕が表す音片の先頭と末尾におけるピツチ成分の周波数を表すデ —夕が、 これら （A ) 〜 （D ) のデータに対応付けられた形で格納 されている。

なお、 第 4図は、 第 2図と同様、 データ部 D A Tに含まれるデ一 タとして、 読みが 「サイタマ」 である音片の波形を表す、 データ量 1 4 1 0 hバイ トの圧縮音片デ一夕が、 アドレス 0 0 1 A 3 6 A 6 hを先頭とする論理的位置に格納されている場合を例示している。） また、 上述の （A ) 〜 （D ) 及び （F ) のデータの集合のうち少な く とも （A ) のデータは、 音片読みデータが表す表音文字に基づい て決められた順位に従ってソ一トされた状態で音片データベース 1 0の記憶領域に格納されているものとする。

そして、 音片登録ュニッ ト Rの音片データベース作成部 1 3は、 収録音片データセッ ト記憶部 1 2より、 互いに対応付けられている 表音文字及び音片デ一夕を読み出すと、 この音片データが表す音声 の発声スピードと、 先頭及び末尾でのピッチ成分の周波数とを特定 するものとする。

そして、 読み出した音片データを圧縮部 1 4に供給し、 圧縮音片 データの返送を受けると、 この圧縮音片データ、 収録音片データセ ッ 卜記憶部 1 2より読み出した表音文字、 この圧縮音片デ一夕の音 片データベース 1 0の記憶領域内での先頭のァドレス、 この圧縮音 片デ一夕のデータ長、 及び、 特定した発声スピードを示すスピード 初期値データを、 第 1の実施の形態の音片データベース作成部 1 3 と同様の動作を行うことにより音片データベース 1 0の記憶領域に 書き込み、 また、 音声の先頭及び末尾におけるピッチ成分の周波数 を特定した結果を示すデータを生成して、 ピツチ成分デ一夕として 音片データベース 1 0の記憶領域に書き込むものとする。

なお、 発声スピード及びピッチ成分の周波数の特定は、 例えば、 第 1の実施の形態の音片データベース作成部 1 3が行う手法と実質 的に同一の手法により行えばよい。

次に、 この音声合成システムの動作を説明する。

この音声合成システムの言語処理部 1がフリーテキス トデータを 外部から取得した場合、 及び、 音響処理部 4が配信文字列データを 取得した場合の動作は、 第 1の実施の形態の音声合成システムが行 う動作と実質的に同一である。 （なお、 言語処理部 1がフリーテキ ストデータを取得する手法や音響処理部 4が配信文字列データを取 得する手法はいずれも任意であり、 例えば、 いずれも第 1の実施の 形態における言語処理部 1や音響処理部 4が行う手法と同様の手法 によりフリーテキストデータあるいは配信文字列データを取得すれ ばよい。 ）·

次に、 音片編集部 8が、 定型メッセージデータ及び発声スピード データを取得したとする。 （なお、 音片編集部 8が定型メッセージ データや発声スピードデータを取得する手法も任意であり、例えば、 第 1の実施の形態の音片編集部 8が行う手法と同様の手法で定型メ ッセージデータや発声スピードデータを取得すればよい。 ）

定型メッセージデ一夕及び発声スピードデータが音片編集部 8に 供給されると、 音片編集部 8は、 第 1の実施の形態における音片編 集部 8 と同様に、 定型メッセージに含まれる音片の読みを表す表音 文字に合致する表音文字が対応付けられている圧縮音片デ一夕をす ベて索出するよう、 検索部 9に指示する。 また、 話速変換部 1 1に 対しても、 第 1の実施の形態における音片編集部 8 と同様に、 話速 変換部 1 1に供給される音片データを変換して、 当該音片データが 表す音片の時間長を、 発声スピードデータが示すスピードに合致す るようにすることを指示する。

すると、 検索部 9、 伸張部 6及び話速変換部 1 1が、 第 1の実施 の形態における検索部 9、 伸張部 6及び話速変換部 1 1の動作と実 質的に同一の動作を行い、 この結果、 話速変換部 1 1から音片編集 部 8へと、 音片データ、 音片読みデータ及びピッチ成分データが供 給される。 また、 欠落部分識別データが検索部 9より話速変換部 1 1へと供給された場合は、 更にこの欠落部分識別データも音片編集 部 8へと供給される。

音片編集部 8は、 話速変換部 ί 1より音片データ、 音片読みデー 夕及びピツチ成分データを供給されると、以下説明する手順に従い、 供給された音片データのうちから、 定型メッセ一ジを構成する音片 の波形とみなせる波形を表す音片データを、 音片 1個につき 1個ず つ選択する。

具体的には、 まず、 音片編集部 8は、 話速変換部 1 1より供給さ れたピッチ成分データに基づき、 話速変換部 1 1より供給された各 音片データの先頭及び末尾の各時点でのピッチ成分の周波数を特定 する。 そして、 話速変換部 1 1より供給された音片デ一夕のうちか ら、 定型メッセージ内で隣接する音片同士の境界でのピッチ成分の 周波数の差の絶対値を定型メッセージ全体で累計した値が最小にな る、 という条件を満たすように、 音片デ一夕を選択する。

音片デ一夕を選択する条件を、 第 5図 （ a ) 〜 （ d ) を参照して 説明する。 例えば、 第 5図 （ a ) に示すような、 「このさきみぎか —ぶです」 という読みの定型メッセ一ジを表す定型メッセ一ジデー 夕が音片編集部 8に供給されたものとし、この定型メッセージが「こ のさき」 、 「みぎか一ぶ」 及び 「です」 という 3個の音片からなる ものとする。 そして、 第 5図 （b) にリストを示すように、 音片デ —夕ベース 1 0が、 読みが 「このさき」 である圧縮音片データが 3 個 （第 5図 （ b) において 「A 1」 「A 2」 あるいは 「A 3」 とし て表したもの） 、 読みが 「みぎか一ぶ」 である圧縮音片デ一夕が 2 個 （第 5図 （b) において 「B 1」 あるいは 「B 2」 として表した もの） 、 読みが 「です」 である圧縮音片デ一夕が 3個 （第 5図 （b) において 「C 1」 「C 2」 'あるいは 「C 3」 として表したもの） 、 それぞれ索出され、 伸長され、 音片データとして音片編集部 8へと 供給されたとする。

一方、 読みが 「このさき」 である各音片データが表す各音片の末 尾におけるピッチ成分の周波数と読みが 「みぎか一ぶ」 である各音 片データが表す各音片の先頭におけるピツチ成分の周波数との差の 絶対値は第 5図 （ c ) に示す通りであったとする。 （第 5図 （ c ) は、 例えば、 音片デ一夕 A 1が表す音片の末尾におけるピッチ成分 の周波数と音片データ B 1が表す音片の先頭におけるピッチ成分の 周波数との差の絶対値は「 1 2 3」であることを示している。なお、 この絶対値の単位は、 例えば 「ヘルツ」 である。 ）

また、 読みが 「みぎか一ぶ」 である各音片デ一夕が表す各音片の 末尾におけるピッチ成分の周波数と読みが 「です」 である各音片デ 一夕が表す各音片の先頭におけるピツチ成分の周波数との差の絶対 値は第 5図 （ c ) に示す通りであったとする。

この場合において、 「このさきみぎか一ぶです」 という定型メッ セージを読み上げる音声の波形を音片データを用いて生成した場合、 隣接する音片同士の境界でのピッチ成分の周波数の差の絶対値の累 計が最小になる組み合わせは、 A 3、 B 2及び C 2 という組み合わ せである。 従ってこの場合、 音片編集部 8は、 第 5図 （d) に示す ように、 音片デ一夕 A 3、 B 2及び C 2を選択する。

この条件を満たす音片デ一夕を選択するために、音片編集部 8は、 例えば、 定型メッセージ内で隣接する音片同士の境界でのピッチ成 分の周波数の差の絶対値を距離として定義し、 D P (Dynamic Programming) マツチングの手法により音片デ一夕を選ぶように すればよい。

一方、 音片編集部 8は、 話速変換部 1 1より欠落部分識別デ一夕 も供給されている場合には、 欠落部分識別データが示す音片の読み を表す表音文字列を定型メッセージデータより抽出して音響処理部 4に供給し、 この音片の波形を合成するよう指示する。

指示を受けた音響処理部 4は、 音片編集部 8より供給された表音 文字列を、 配信文字列データが表す表音文字列と同様に扱う。 この 結果、 この表音文字列に含まれる表音文字が示す音声の波形を表す 圧縮波形データが検索部 5によ,り索出され、 この圧縮波形データが 伸長部 6により元の波形データへと復元され、 検索部 5を介して音 響処理部 4へと供給される。 音響処理部 4は、 この波形データを音 片編集部 8へと供給する。

音片編集部 8は、 音響処理部 4より波形データを返送されると、 この波形データと、 話速変換部 1 1より供給された音片デ一夕のう ち音片編集部 8が選択したものとを、 定型メッセージデータが示す 定型メッセージ内での各音片の並びに従った順序で互いに結合し、 合成音声を表すデータとして出力する。

なお、 話速変換部 1 1より供給されたデータに欠落部分識別デー 夕が含まれていない場合は、 第 1の実施の形態と同様、 音響処理部 4に波形の合成を指示することなく直ちに、 音片編集部 8が選択し た音片データを、 定型メッセ一ジデ一夕が示す定型メッセージ内で の各音片の並びに従った順序で互いに結合し、 合成音声を表すデ一 夕として出力すればよい。

以上説明したように、 この第 2の実施の形態の音声合成システム では、 音片デ一夕同士の境界でのピツチ成分の周波数の不連続的な 変化の量の累計が定型メッセージ全体で最小となるように音片デ一 夕が選ばれ、 録音編集方式により自然につなぎ合わせられるため、 合成音声が自然なものとなる。 また、 この音声合成システムでは、 処理が複雑な韻律予測は行われないので、 簡単な構成で高速な処理 にも追随できる。

なお、 この第 2の実施の形態の音声合成システムの構成も、 上述 のものに限られない。

例えば、 ピッチ成分データは音片データが表す音.片の先頭及び末 尾でのピッチ長を表すデータであってもよい。 この場合、 音片編集 部 8は、 話速変換部 1 1より供給された各音片データの先頭及び末 尾でのピッチ長を話速変換部 1 1より供給されたピツチ成分データ に基づいて特定し、 定型メッセージ内で隣接する音片同士の境界で のピッチ長の差の絶対値を定型メッセージ全体で累計した値が最小 になる、という条件を満たすように、音片データを選択すればよい。 また、 音片編集部 8は、，例えば、 言語処理部 1 と共にフリーテキ ストデータを取得し、 このフリーテキストデータが表すフリーテキ ストに含まれる音片の波形とみなせる波形を表す音片データを、 定 型メッセージに含まれる音片の波形とみなせる波形を表す音片デー 夕を抽出する処理と実質的に同一の処理を行うことによって抽出し て、 音声の合成に用いてもよい。

この場合、 音響処理部 4は、 音片編集部 8が抽出した音片デ一夕 が表す音片については、 この音片の波形を表す波形データを検索部 5に索出させなくてもよい。 なお、 音片編集部 8は、 音響処理部 4 が合成しなくてよい音片を音響処理部 4に通知し、 音響処理部 4は この通知に応答して、 この音片を構成する単位音声の波形の検索を 中止するようにすればよい。

また、 音片編集部 8は、 例えば、 音響処理部 4と共に配信文字列 データを取得し、 この配信文字列デ一夕が表す配信文字列に含まれ る音片の波形とみなせる波形を表す音片データを、 定型メッセージ に含まれる音片の波形とみなせる波形を表す音片デ一夕を抽出する 処理と実質的に同一の処理を行うことによって抽出して、 音声の合 成に用いてもよい。 この場合、 音響処理部 4は、 音片編集部 8が抽 出した音片データが表す音片については、 この音片の波形を表す波 形データを検索部 5に索出させなくてもよい。

(第 3の実施の形態）

次に、 この発明の第 3の実施の形態を説明する。 この発明の第 3 の実施の形態に係る音声合成システムの物理的構成は、 上述した第 1の実施の形態における構成と実質的に同一である。

次に、 この音声合成システムの動作を説明する。

この音声合成システムの言語処理部 1がフリーテキストデ一夕を 外部から取得した場合、 及び、 音響処理部 4が配信文字列デ一夕を 取得した場合の動作は、 第 1又は第 2の実施の形態の音声合成シス テムが行う動作と実質的に同一である。 （なお、 言語処理部 1がフ リーテキス トデータを取得する手法や音響処理部 4が配信文字列デ —夕を取得する手法はいずれも任意であり、 例えば、 いずれも第 1 又は第 2の実施の形態における言語処理部 1や音響処理部 4が行う 手法と同様の手法によりフリーテキストデータあるいは配信文字列 データを取得すればよい。 ）

次に、 音片編集部 8が、 定型メッセージデ一タ及び発声スピード データを取得したとする。 なお、 音片編集部 8が定型メッセージデ —夕や発声スピードデータを取得する手法も任意であり、 例えば、 第 1の実施の形態の音片編集部 8が行う手法と同様の手法で定型メ ッセージデータや発声スピードデータを取得すればよい。あるいは、 例えばこの音声合成システムが力一ナビゲーシヨンシステム等の車 両内システムの一部をなすものであって、 この車両内システムを構 成するの他の装置 （例えば、 音声認識を行い、 音声認識の結果得ら れた情報に基づいてエージェント処理を実行する装置など） が、 ュ 一ザ一に対して発話する内容や発話スピードを決定し、 決定結果を 表すデータを生成するものである場合、 この音声合成システムは、 生成されたこのデータを受信 （取得） し、 定型メッセージデ一夕及 び発声スピードデータとして扱うようにしてもよい。

定型メッセージデータ及び発声スピードデ一夕が音片編集部 8に 供給されると、 音片編集部 8は、 第 1の実施の形態における音片編 集部 8と同様に、 定型メッセージに含まれる音片の読みを表す表音 文字に合致する表音文字が対応付けられている圧縮音片データをす ベて索出するよう、 検索部 9に指示する。 また、 話速変換部 1 1に 対しても、 第 1の実施の形態における音片編集部 8 と崗様に、 話速 変換部 1 1に供給される音片データを変換して、 当該音片データが 表す音片の時間長を、 発声スピ一ドデータが示すスピードに合致す るようにすることを指示する。

すると、 検索部 9、 伸張部 6及び話速変換部 1 1が、 第 1の実施 の形態における検索部 9、 伸張部 6及び話速変換部 1 1の動作と実 質的に同一の動作を行い、 この結果、 話速変換部 1 1から音片編集 部 8へと、 音片データ、 音片読みデータ、 この音片データが表す音 片の発声スピードを表すスピ一ド初期値データ及びピッチ成分デー 夕が供給される。 また、 欠落部分識別データが検索部 9より話速変 換部 1 1へと供給された場合は、 更にこの欠落部分識別デ一タも音 片編集部 8へと供給される。

音片編集部 8は、 話速変換部 1 1より音片データ、 音片読みデー タ及びピッチ成分データを供給されると、 話速変換部 1 1より供給 された各々のピッチ成分データについて上述の値《、 βの組及び Ζ 又は Rma xを求め、 また、 このスピード初期値デ一夕と、 音片編 集部 8に供給された定型メッセージデータ及び発声スピードデータ とを用いて、 上述の値 d tを求める。

そして、 音片編集部 8は、 話速変換部 1 1より供給されたそれぞ れの音片データにつき、 自ら求めた当該音片データ （以下、 音片デ 一夕 Xと記す） についての α、 β、 Rma x及び d tの値と、 定型 メッセージ内で当該音片デ一夕が表す音片の後に隣接する音片を表 す音片データ （以下、 音片デ一夕 Yと記す） のピッチ成分の周波数 とに基づいて、 数式 7に示す評価値 Η_χγを特定する。

H_XY= (W_A - c o s t— A) + (W_B - c o s t— B) + (W_c - c o s t― C )

(ただし、 W_A、 W_B及び W_cはいずれも所定の係数であり、 W_Aは 0ではないものとする） 数式 7の右辺に含まれる値 c o s t— Aは、 当該定型メッセ一ジ 内で互いに隣接する、 音片データ Xが表す音片と音片データ Yが表 す音片との境界でのピツチ成分の周波数の差の絶対値の逆数である, なお、 音片編集部 8は、 c o s t—Aの値を特定するため、 話速 変換部 1 1より供給されたピッチ成分データに基づき、 話速変換部 1 1より供給された各音片データの先頭及び末尾の各時点でのピッ チ成分の周波数を特定するようにすればよい。

また、 数式 7の右辺に含まれる値 c o s t— Bは、 音片デ一夕 X について数式 8に従って評価値 c o s t—Bを求めた場合の値であ る。

c o s t _B = 1 / (W_{B 1} I 1 - a I + W_{B 2} I β I + W_{B 3} · d t )

(ただし、 W_{B 1}、 W_{B 2}及び W_{B 3}は所定の正の係数）

また、 数式 7の右辺に含まれる値 c o s t— Cは、 音片デ一夕 X について数式 9に従って評価値 c o s t— Cを求めた場合における 値である。

c o s t _C = 1 / (W_{c 1} I Rm a x I +W_{C 2} - d t )

(ただし、 W_{C 1}及び W_{C 2}は所定の係数）

あるいは、 音片編集部 8は、 数式 7〜数式 9に代えて、 数式 1 0 及び数式 1 1に従って評価値 Η_{χ γ}を特定するようにしてもよい。た だし、 数式 1 0に含まれる c o s t—B及び c 0 s t— Cについて は、 上述の係数 W_{B 3}及び W_{c 3}の値はいずれも 0 とする。 また、 数 式 8及び数式 9における （W_{B 3} · d t ) 及び （W_{C 2} · d t ) の項 を備えなく ともよい。

Η_χγ= ( _Λ - c o s t— A) + (W_B - c o s f _B ) + (W_c - c o s t— C) + (W_D - c o s t— D)

(ただし、 W_Dは 0でない所定の係数）

c o s t— D = 1 / (W_d ! · d t )

(ただし、 W_dェは 0でない所定の係数）

そして、 音片編集部 8は、 話速変換部 1 1より供給された各音片 データのうちから、 音片編集部 8に供給された定型メッセージデー 夕が表す定型メッセージを構成する音片 1個につき 1個ずつの音片 データを選ぶことにより得られる各組み合わせのうち、 組み合わせ に属する各音片データの評価値 Η_χγの総和が最大となるものを、定 型メッセージを読み上げる音声を合成するための最適な音片デ一夕 の組み合わせとして選択する。

つまり、 例えば第 5図に示すように、 定型メッセ一ジデ一夕が表 す定型メッセージが音片 A， B及び Cより構成され、 音片 Aを表す 音片データの候補として音片デ一夕 A 1，A 2及び A 3が索出され、 音片 Bを表す音片データの候補として音片データ B 1及び B 2が索 出され、 音片 Cを表す音片データの候補として音片データ C 1， C 2及び C 3が索出された場合、 音片デ一夕 Α 1·， Α 2及び A 3のう ちから 1個、 音片デ一夕 Β 1及び Β 2のうちから 1個、 音片データ C 1 , C 2及び C 3のうちから 1個、 計 3個選ぶことにより得られ る組み合わせ計 1 8通りのうち、 組み合わせに属する各音片データ' の評価値 Η_χγの総和が最大となるものを、定型メッセージを読み上 げる音声を合成するための最適な音片データの組み合わせとして選 択する。

ただし、 総和を求めるために用いられる評価値 Η _χ γとしては、 組 み合わせ内での音片の接続関係を正しく反映したものが選ばれるも のとする。 つまり、 例えば組み合わせ内に、 音片 pを表す音片デー 夕 P及び音片 Qを表す音片デ一夕 Qが含まれており、 定型メッセー ジ内では音片 Pが音片 qに先行する形で互いに隣接するという場合 音片データ Pの評価値としては、 音片 pが音片 (1に先行する形で互 いに隣接する場合における評価値 H p Qが甩いられるものとする。

また、 定型メッセージの末尾の音片 （例えば、 第 5図を参照して 前述した例でいえば、 音片 C 1 , 。 2及びじ 3 ) については、 後続 する音片が存在しないため、 c o s t—Aの値を定めることができ ない。 このため、 これら末尾の音片を表す音片データの評価値 Η_χγ を算定するにあたって、 音片編集部 8は、 （W_A · c o s t— A) の値を 0であるものとして扱い、 一方、 係数 W_B, W_c及び W_Dの値 は、 それぞれ、 他の音片データの評価値 Η_χγを算定する場合とは異 なる所定の値であるものとして扱う。

なお、 音片編集部 8は、 数式 7あるいは数式 1 1を用いて、 音片 データ Xについて、 当該音片データ Xが表す音片の前に隣接する音 片データ Yとの関係を表す評価値を含むものとして評価値 H_XYを 特定してもよい。 この場合は、 定型メッセージの先頭の音片につい て、 先行する音片が存在しないため、 c o s t— Αの値を定めるこ とができないこととなる。 このため、 これら先頭の音片を表す音片 データの評価値 Η_χγを算定するにあたって、 音片編集部 8は、 （W _Α · c o s t— Α)の値を 0であるものとして扱い、一方、係数 W_B, W_c及び W_Dの値は、 それぞれ、 他の音片データの評価値 Η_χγを算 定する場合とは異なる所定の値であるものとして扱うようにすれば よい。

一方、 音片編集部 8は、 話速変換部 1 1より欠落部分識別データ も供給されている場合には、 欠落部分識別デ一夕が示す音片の読み を表す表音文字列を定型メッセージデータより抽出して音響処理部 4に供給し、 この音片の波形を合成するよう指示する。

指示を受けた音響処理部 4は、 音片編集部 8より供給された表音 文字列を、 配信文字列データが表す表音文字列と同様に扱う。 この 結果、 この表音文字列に含まれる表音文字が示す音声の波形を表す 圧縮波形データが検索部 5により索出され、 この圧縮波形データが 伸長部 6により元の波形データへと復元され、 検索部 5を介して音 響処理部 4へと供給される。 音響処理部 4は、 この波形データを音 片編集部 8へと供給する。

音片編集部 8は、 音響処理部 4より波形データを返送されると、 この波形データと、 話速変換部 1 1より供給された音片データのう ち、評価値 Η _{χ γ}の総和が最大となる組み合わせとして音片編集部 8 が選択した組み合わせに属するものとを、 定型メッセージデ一夕が 示す定型メッセージ内での各音片の並びに従った順序で互いに結合 し、 合成音声を表すデータとして出力する。

なお、 話速変換部 1 1より供給されたデ一夕に欠落部分識別デー 夕が含まれていない場合は、 第 1の実施の形態と同様、 音響処理部 4に波形の合成を指示することなく直ちに、 音片編集部 8が選択し た音片デ一夕を、 定型メッセージデータが示す定型メッセージ内で の各音片の並びに従った順序で互いに結合し、 合成音声を表すデー 夕として出力すればよい。

以上説明したように、 この第 3の実施の形態の音声合成システム でも、 音片デ一夕が録音編集方式により自然につなぎ合わせられ、 定型メッセージを読み上げる音声が合成される。 音片デ一夕べ一ス 1 0の記憶容量は、 音素毎に波形を記憶する場合に比べて小さくで き、 また、 高速に検索できる。 このため、 この音声合成システムは 小型軽量に構成することができ、 また高速な処理にも追随できる。 そして、 第 3の実施の形態の音声合成システムによれば、 定型メ ッセ一ジを読み上げる音声を合成するために選択される音片データ の組み合わせの適切さを評価するための様々な評価基準 （例えば、 音片の波形の予測結果と音片デ一夕との相関を 1次回帰させた場合 の勾配や切片による評価や、 音片の時間差による評価や、 音片デー 夕同士の境界でのピッチ成分の周波数の不連続的な変化の量の累計, など） が、 1個の評価値に影響を及ぼす形で総合的に反映され、 こ の結果、 最も自然な合成音声を合成するために選択すべき最適な音 片デ一夕の組み合わせが、 適正に決定される。

なお、 この第 3の実施の形態の音声合成システムの構成も、 上述 のものに限られない。

例えば、 最適な音片データの組み合わせを選択するために音片編 集部 8が用いる評価値は数式 7〜 1 3に示すものに限られず、 音片 データが表す音片を互いに結合して得られる音声が、 人の発する音 声にどの程度類似又は相違しているかについての評価を表す任意の 値であってよい。

また、 評価値を表す数式 （評価式） に含まれる変数ないし定数も 必ずしも数式？〜 1 3に含まれているものに限られず、 評価式とし ては、 音片データが表す音片の特徴を示す任意のパラメ一夕や、 あ るいは当該音片を互いに結合して得られる音声の特徴を示す任意の パラメ一夕や、 あるいは当該音声を人が発した場合に当該音声に備 わると予測される特徴を示す任意のパラメ一夕を含んだ数式が用い られてよい。

また、 最適な音片デ一夕の組み合わせを選択するための基準は必 ずしも評価値の形で表現可能なものである必要はなく、 音片データ が表す音片を互いに結合して得られる音声が人の発する音声にどの 程度類似又は相違しているかについての評価に基づいて音片データ の最適な組み合わせを特定するに至るような基準である限り任意で ある。

また、 音片編集部 8は、 例えば、 言語処理部 1 と共にフリーテキ ストデータを取得し、 このフリーテキストデ一夕が表すフリーテキ ス 卜に含まれる音片の波形とみなせる波形を表す音片データを、 定 型メッセージに含まれる音片の波形とみなせる波形を表す音片デー 夕を抽出する処理と実質的に同一の処理を行うことによって抽出し て、 音声の合成に用いてもよい。 この場合、 音響処理部 4は、 音片 編集部 8が抽出した音片データが表す音片については、 この音片の 波形を表す波形データを検索部 5に索出させなくてもよい。 なお、 音片編集部 8は、 音響処理部 4が合成しなくてよい音片を音響処理 部 4に通知し、 音響処理部 4はこの通知に応答して、 この音片を構 成する単位音声の波形の検索を中止するようにすればよい。

また、 音片編集部 8は、 例えば、 音響処理部 4と共に配信文字列 データを取得し、 この配信文字列データが表す配信文字列に含まれ る音片の波形とみなせる波形を表す音片データを、 定型メッセージ に含まれる音片の波形とみなせる波形を表す音片データを抽出する 処理と実質的に同一の処理を行うことによって抽出して、 音声の合 成に用いてもよい。 この場合、 音響処理部 4は、 音片編集部 8が抽 出した音片データが表す音片については、 この音片の波形を表す波 形データを検索部 5に索出させなくてもよい。

以上、 この発明の実施の形態を説明したが、 この発明にかかる音 声データ選択装置は、 専用のシステムによらず、 通常のコンピュー 夕システムを用いて実現可能である。

例えば、 パーソナルコンピュータに上述の第 1の実施の形態にお ける言語処理部 1、 一般単語辞書 2、 ユーザ単語辞書 3、 音響処理 部 4、 検索部 5、 伸長部 6、 波形データベース 7、 音片編集部 8 、 検索部 9、 音片データベース 1 0及び話速変換部 1 1の動作を実行 させるためのプログラムを格納した媒体 （C D— R O M、 M〇、 フ ロッピー （登録商標） ディスク等） から該プログラムをインスト一 ルすることにより、 当該パーソナルコンピュータに、 上述の第 1の 実施の形態の本体ュニッ ト Mの機能を行わせることができる。

また、 パーソナルコンピュータに、 上述の第 1の実施の形態にお ける収録音片データセッ 卜記憶部 1 2、 音片デ一夕ベース作成部 1 3及び圧縮部 1 4の動作を実行させるためのプログ,ラムを格納した 媒体から該プログラムをインスト一ルすることにより、 当該パーソ ナルコンピュータに、 上述の第 1の実施の形態の音片登録ュニッ ト Rの機能を行わせることができる。

そして、 これらのプログラムを実行し、 第 1の実施の形態におけ る本体ュニッ ト Mゃ音片登録ュニッ ト Rとして機能するパーソナル コンピュータが、 第 1図の音声合成システムの動作に相当する処理 として、 第 6図〜第 8図に示す処理を行うものとする。

第 6図は、 このパーソナルコンピュータがフリーテキストデータ を取得した場合の処理を示すフローチヤ一トである。

第 7図は、 このパーソナルコンピュータが配信文字列データを取 得した場合の処理を示すフローチヤ一トである。

第 8図は、 このパーソナルコンピュータが定型メッセージデータ 及び発声スピードデ一夕を取得した場合の処理を示すフローチヤ一 卜である。

すなわち、 まず、 このパーソナルコンピュータが、 外部より、 上 述のフリーテキストデータを取得すると （第 6図、 ステップ S 1 0 1 ) 、 このフリーテキストデータが表すフリーテキストに含まれる それぞれの表意文字について、 その読みを表す表音文字を、 一般単 語辞書 2やユーザ単語辞書 3を検索することにより特定し、 この表 意文字を、 特定した表音文字へと置換する （ステップ S 1 0 2 ) 。 なお、 このパーソナルコンピュータがフリ一テキストデ一夕を取得 する手法は任意である。

そして、 このパーソナルコンピュータは、 フリーテキスト内の表 意文字をすベて表音文字へと置換した結果を表す表音文字列が得ら れると、 この表音文字列に含まれるそれぞれの表音文字について、 当該表音文字が表す単位音声の波形を波形データベース 7より検索 し、 表音文字列に含まれるそれぞれの表音文字が表す単位音声の波 形を表す圧縮波形データを索出する （ステップ S 1 0 3 ) 。

次に、 このパーソナルコンピュータは、 索出された圧縮波 デー 夕を、圧縮される前の波形デ一夕へと復元し（ステップ S 1 0 4 )、 復元された波形データを、 表音文字列内での各表音文字の並びに従 つた順序で互いに結合し、 合成音声データとして出力する （ステツ プ S 1 0 5 ) 。 なお、 このパーソナルコンピュータが合成音声デー 夕を出力する手法は任意である。

また、 このパーソナルコンピュータが、 外部より、 上述の配信文 字列データを任意の手法で取得すると（第 7図、ステップ S 2 0 1 )、 この配信文字列データが表す表音文字列に含まれるそれぞれの表音 文字について、 当該表音文字が表す単位音声の波形を波形データべ —ス 7より検索し、 表音文字列に含まれるそれぞれの表音文字が表 す単位音声の波形を表す圧縮波形データを索出する （ステップ S 2 0 2 ) 。

次に、 このパーソナルコンピュータは、 索出された圧縮波形デー 夕を、圧縮される前の波形デ一夕へと復元し（ステップ S 2 0 3 ) 、 復元された波形データを、 表音文字列内での各表音文字の並びに従 つた順序で互いに結合し、 合成音声データとしてステップ S 1 0 5 の処理と同様の処理により出力する （ステップ S 2 0 4 ) 。

一方、 このパーソナルコンピュータが、 外部より、 上述の定型メ ッセージデータ及び発声スピードデ一夕を任意の手法により取得す ると （第 8図、 ステップ S 3 0 1 ) 、 まず、 この定型メッセ一ジデ —夕が表す定型メッセージに含まれる音片の読みを表す表音文字に 合致する表音文字が対応付けられている圧縮音片データをすベて索 出する （ステップ S 3 0 2 ) 。

また、 ステップ S 3 0 2では、 該当する圧縮音片デ一夕に対応付 けられている上述の音片読みデータ、 スピ一ド初期値デ一夕及びピ ツチ成分データも索出する。 なお、 1個の音片にっき複数の圧縮音 片データが該当する場合は、 該当する圧縮音片デ一夕すベてを索出 する。 一方、 圧縮音片データを索出できなかった音片があった場合 は、 上述の欠落部分識別データを生成する。

次に、 このパーソナルコンピュータは、 索出された圧縮音片デー 夕を、圧縮される前の音片データへと復元する（ステップ S 3 0 3 )。 そして、 復元された音片データを、 上述の音片編集部 8が行う処理 と同様の処理により変換して、 当該音片データが表す音片の時間長 を、 発声スピードデータが示すスピードに合致させる （ステップ S 3 0 4 ) 。 なお、 発声スピードデータが供給されていない場合は、 復元された音片データを変換しなくてもよい。

次に、 このパーソナルコンピュータは、 音片の時間長が変換され た音片デ一夕のうちから、 定型メッセージを構成する音片の波形に 最も近い波形を表す音片データを、 上述の音片編集部 8が行う処理 と同様の処理を行うことにより、 音片 1個につき 1個ずつ選択する (ステップ S 3 0 5 〜 S 3 0 8 ) 。

すなわち、 このパーソナルコンピュータは、 定型メッセ一ジデー 夕が表す定型メッセージに韻律予測の手法に基づいた解析を加える ことにより、 この定型メッセージの韻律を予測する （ステップ S 3 0 5 ) 。 そして、 定型メッセ一ジ内のそれぞれの音片について、 こ の音片のピツチ成分の周波数の時間変化の予測結果と、 この音片と 読みが合致する音片の波形を表す音片デ一夕のピッチ成分の周波数 の時間変化を表すピッチ成分データとの相関を求める （ステップ S 3 0 6 ) 。 より具体的には、 索出された各々のピッチ成分データに ついて、 例えば、 上述した勾配 a及び切片 ]3の値を求める。

一方で、 このパーソナルコンピュータは、 索出されたスピード初 期値データと、 外部より取得した定型メッセージデータ及び発声ス ピードデータとを用いて、 上述の値 d t を求める （ステップ S 3 0

7 ) 。

そして、 このパーソナルコンピュータは、 ステップ S 3 0 6で求 めたひ、 βの値、 及び、 ステップ S 3 0 7で求めた' d tの値に基づ いて、 定型メッセージ内の音片の読みと一致する音片を表す音片デ —夕のうち、 上述の評価値 c ο s t 1が最大となるものを選択する (ステップ S 3 0 8 ) 。

なお、 このパーソナルコンピュータは、 ステップ S 3 0 6で、 上 述の α及び 3の値を求める代わりに、 上述の R X y ( j ) の最大値 を求めるようにしてもよい。 この場合は、 ステップ S 3 0 8で、 R X y ( j ) の最大値と、 ステップ S 3 0 7で求めた係数 d t とに基 づいて、 定型メッセージ内の音片の読みと一致する音片を表す音片 デ一夕のうち、 上述の評価値 c 0 s t 2が最大となるものを選択す ればよい。

一方、 このパーソナルコンピュータは、 欠落部分識別データを生 成した場合、 欠落部分識別データが示す音片の読みを表す表音文字 列を定型メッセージデータより抽出し、 この表音文字列につき、 音 素毎に、 配信文字列データが表す表音文字列と同様に扱って上述の ステップ S 2 0 2 〜 S 2 0 3の処理を行うことにより、 この表音文 字列内の各表音文字が示す音声の波形を表す波形データを復元する (ステップ S 3 0 9 ) 。 '

そして、このパーソナルコンピュ一夕は、復元した波形データと、 ステップ S 3 0 8で選択した音片データとを、 定型メッセ一ジデー 夕が示す定型メッセージ内での各音片の並びに従った順序で互いに 結合し、合成音声を表すデ一夕として出力する（ステップ S 3 1 0 )。

また、 パーソナルコンピュータに上述の第 2の実施の形態におけ る言語処理部 1、 一般単語辞書 2、 ユーザ単語辞書 3、 音響処理部 4、 検索部 5、 伸長部.6、 波形デ一夕ベース 7、 音片編集部 8、 検 索部 9、 音片デ一夕ベース 1 0及び話速変換部 1 1'の動作を実行さ せるためのプログラムを格納した媒体から該プログラムをインスト —ルすることにより、 当該パーソナルコンピュータに、 上述の第 2 の実施の形態における本体ュニッ ト Mの機能を行わせることができ る。

また、 パニソナルコンピュータに上述の第 2の実施の形態におけ る収録音片デ一夕セッ ト記憶部 1 2、 音片データベース作成部 1 3 及び圧縮部 1 4の動作を実行させるためのプログラムを格納した媒 体から該プログラムをインスト一ルすることにより、 当該パーソナ ルコンピュータに、 上述の第 2の実施の形態における音片登録ュニ ッ ト Rの機能を行わせることができる。

そして、 これらのプログラムを実行し、 第 2の実施の形態におけ る本体ュニッ ト Mゃ音片登録ュニッ ト Rとして機能するパーソナル コンピュータが、 第 1図の音声合成システムの動作に相当する処理 として、 第 6図及び第 7図に示す上述の処理を行い、 また、 第 9図 に示す処理を行うものとする。

第 9図は、 このパーソナルコンピュータが定型メッセ一ジデータ 及び発声スピードデ一夕を取得した場合の処理を示すフロ一チヤ一 トである。

すなわち、 このパーソナルコンピュータが、 外部より、 上述の定 型メッセージデータ及び発声スピードデータを任意の手法により取 得すると （第 9図、 ステップ S 4 0 1 ) 、 まず、 上述のステツプ S 3 0 2の処理と同様に、 この定型メッセージデータが表す定型メッ セージに含まれる音片の読みを表す表音文字に合致する表音文字が 対応付けられている圧縮音片データと、 該当する圧縮音片データに 対応付けられている上述の音片読みデータ、 スピ ド初期値デ一夕 及びピツチ成分データとを、すべて索出する（ステップ S 4 0 2 ) 。 なお、 ステップ S 4 0 2でも、 1個の音片にっき複数の圧縮音片デ —夕が該当する場合は該当する圧縮音片デ一夕すベてを索出し、 一 方で圧縮音片データを索出できなかった音片があった場合は、 上述 の欠落部分識別データを生成する。

次に、 このパーソナルコンピュータは、 索出された圧縮音片デー 夕を、圧縮される前の音片デ一夕へと復元し（ステップ S 4 0 3 )、 復元された音片デ一夕を、 上述の音片編集部 8が行う処理と同様の 処理により変換して、 当該音片デ一夕が表す音片の時間長を、 発声 スピードデータが示すスピードに合致させる（ステップ S 4 0 4 )。 なお、 発声スピードデータが供給されていない場合は、 復元された 音片データを変換しなくてもよい。

次に、 このパーソナルコンピュータは、 音片の時間長が変換され た音片データのうちから、 定型メッセージを構成する音片の波形と みなせる波形を表す音片デ一タを、 上述の第 2の実施の形態におけ る音片編集部 8が行う処理と同様の処理を行う ことにより、 音片 1 個につき 1個ずつ選択する （ステップ S 4 0 5 〜 S 4 0 6 ) 。

具体的には、 まず、 このパーソナルコンピュータは、 音片の時間 長が変換された各音片デ一夕の先頭及び末尾の各時点でのピツチ成 分の周波数を、索出されたピツチ成分デ一夕に基づいて特定する（ス テツプ S 4 0 5 ) 。 そして、 これらの音片データのうちから、 定型 メッセージ内で隣接する音片同士の境界でのピッチ成分の周波数の 差の絶対値を定型メッセージ全体で累計した値が最小になる、 とい う条件を満たすように、音片データを選択する（ステツプ S 4 0 6 )。 この条件を満たす音片データを選択するために、 このパーソナルコ ンピュー夕は、 例えば、 定型メッセージ内で隣接する音片同士の境 界でのピッチ成分の周波数の差の絶対値を距離として定義し、 D P マッチングの手法により音片デ一夕を選ぶようにすればよい。

一方、 このパーソナルコンピュータは、 欠落部分識別データを生 成した場合、 欠落部分識別データが示す音片の読みを表す表音文字 列を定型メッセ一ジデ一夕より抽出し、 この表音文字列につき、 音 素毎に、 配信文字列データが表す表音文字列と同様に扱って上述の ステップ S 2 0 2 〜 S 2 0 3の処理を行うことにより、 この表音文 字列内の各表音文字が示す音声の波形を表す波形データを復元する (ステップ S 4 0 7 ) 。

そして、このパーソナルコンピュータは、復元した波形データと、 ステップ S 4 0 6で選択した音片デ一夕とを、 定型メッセ一ジデ一 夕が示す定型メッセージ内での各音片の並びに従った順序で互いに 結合し、合成音声を表すデータとして出力する（ステップ S 4 0 8 )。

また、 パーソナルコンピュータに上述の第 3の実施の形態におけ る言語処理部 1、 一般単語辞書 2、 ユーザ単語辞書 3、 音響処理部 4、 検索部 5、 伸長部 6、 波形データべ一ス 7、 音片編集部 8、 検 索部 9、 音片データベース 1 0及び話速変換部 1 1 の動作を実行さ せるためのプログラムを格納した媒体から該プログラムをインスト ールすることにより、 当該パーソナルコンピュータに、 上述の第 3 の実施の形態における本体ュニッ ト Mの機能を行わせることができ る。

また、 パーソナルコンピュータに上述の第 3の実施の形態におけ る収録音片データセッ ト記憶部 1 2、 音片データベース作成部 1 3 及び圧縮部 1 4の動作を実行させるためのプログラムを格納した媒 体から該プログラムをインストールすることにより、 当該パ一ソナ ルコンピュータに、 上述の第 3の実施の形態における音片登録ュニ ッ ト Rの機能を行わせることができる。

そして、 これらのプログラムを実行し、 第 3の実施の形態におけ る本体ュニッ ト Mゃ音片登録ュニッ ト Rとして機能するパーソナル コンピュータが、 第 1図の音声合成システムの動作に相当する処理 として、 第 6図及び第 7図に示す上述の処理 ¾行い、 また、 第 1 0 図に示す処理を行うものとする。.

第 1 0図は、 このパーソナルコンピュ一夕が定型メッセージデ一 タ及び発声スピードデータを取得した場合の処理を示すフローチヤ 一卜である。

すなわち、 このパーソナルコンピュータが、 外部より、 上述の定 型メッセージデータ及ぴ発声スピードデ一夕を任意の手法により取 得すると （第 1 0図、 ステップ S 5 0 1 ) 、 まず、 上述のステップ S 3 0 2の処理と同様に、 この定型メッセージデータが表す定型メ ッセージに含まれる音片の読みを表す表音文字に合致する表音文字 が対応付けられている圧縮音片デ一ダと、 該当する圧縮音片データ に対応付けられている上述の音片読みデータ、 スピ一ド初期値デ一 夕及びピッチ成分データとを、すべて索出する（ステップ S 5 0 2 )。 なお、 ステップ S 5 0 2でも、 1個の音片にっき複数の圧縮音片デ 一夕が該当する場合は該当する圧縮音片デ一夕すベてを索出し、 一 方で圧縮音片デ一夕を索出できなかった音片があった場合は、 上述 の欠落部分識別データを生成する。

次に、 このパーソナルコンピュータは、 索出された圧縮音片デー 夕を、圧縮される前の音片データへと復元し（ステヅプ S 5 0 3 )、 復元された音片データを、 上述の音片編集部 8が行う処理と同様の 処理により変換して、 当該音片データが表す音片の時間長を、 発声 スピードデータが示すスピードに合致させる（ステップ S 5 0 4 )。 なお、 発声スピードデータが供給されていない場合は、 復元された 音片デ一夕を変換しなくてもよい。

次に、 このパーソナルコンピュータは、 音片の時間長が変換され た音片データのうちから、 定型メッセージを読み上げる音声を合成 するための最適な音片データの組み合わせを、 上述の第 3の実施の 形態における音片編集部 8が行う処理と同様の処理を行うことによ り選択する （ステップ S 5 0 5〜S 5 0 7 ) 。

すなわち、 まず、 このパーソナルコンピュータは、 ステップ S 5 0 2で索出された各々のピッチ成分データについて上述の値 、 β の組及び/又は Rm a Xを求め、 また、 このスピード初期値データ と、 ステップ S 5 0 1で取得した定型メッセージデータ及び発声ス ピ―ドデータとを用いて、 上述の値 d tを求める （ステップ S 5 0

5 ) 。

次に、 このパーソナルコンピュータは、 ステップ S 5 0 4で変換 されたそれぞれの音片デ一夕につき、ステツプ S 5 0 5で求めた a、 β、 Rm a x及び d tの値と、 定型メッセージ内で当該音片データ が表す音片の後に隣接する音片を表す音片データのピッチ成分の周 波数とに基づいて、 上述した評価値 Η_χγを特定する （ステップ S 5 0 6 ) o

そして、 このパーソナルンピュータは、 ステップ S 5 0 4で変換 された各音片データのうちから、 ステップ S 5 0 1で取得した定型 メッセージデータが表す定型メッセージを構成する音片 1偭にっき 1個ずつの音片デ一夕を選ぶことにより得られる各組み合わせのう ち、組み合わせに属する各音片データの評価値 Η _{χ γ}の総和が最大と なるものを、 定型メッセージを読み上げる音声を合成するための最 適な音片データの組み合わせとして選択する（ステップ S 5 0 7 )。 ただし、 総和を求めるために用いられる評価値 Η _{χ γ}としては、 組み 合わせ内での音片の接続関係を正しく反映したものが選ばれるもの とする。

一方、 このパーソナルコンピュータは、 欠落部分識別デ一タを生 成した場合、 欠落部分識別データが示す音片の読みを表す表音文字 列を定型メッセ一ジデータより抽出し、 この表音文字列につき、 音 素毎に、 配信文字列データが表す表音文宇列と同様に扱って上述の ズテツプ S 2 0 2〜 S 2 0 3の処理を行うことにより、 この表音文 字列内の各表音文字が示す音声の波形を表す波形データを復元する

(ステップ S 5 0 8 ) 。

そして、このパーソナルコンピュータは、復元した波形データと、 ステップ S 5 0 7で選択した組み合わせに属する音片デ一夕とを、 定型メッセージデータが示す定型メッセージ内での各音片の並びに 従った順序で互いに結合し、 合成音声を表すデータとして出力する

(ステップ S 5 0 9 ) 。

なお、 パーソナルコンピュータに本体ュニッ ト Mゃ音片登録ュニ ッ ト Rの機能を行わせるプログラムは、 例えば、 通信回線の掲示板

( B B S ) にアップロードし、 これを通信回線を介して配信しても よく、また、これらのプログラムを表す信号により搬送波を変調し、 得られた変調波を伝送し、 この変調波を受信した装置が変調波を復 調してこれらのプログラムを復元するようにしても'よい。 そして、 これらのプログラムを起動し、 O Sの制御下に、 他のァ プリケーションプログラムと同様に実行することにより、 上述の処 理を実行することができる。

なお、 〇 Sが処理の一部を分担する場合、 あるいは、 O Sが本願 発明の 1つの構成要素の一部を構成するような場合には、 記録媒体 には、その部分を除いたプログラムを格納してもよい。この場合も、 この発明では、 その記録媒体には、 コンピュータが実行する各機能 又はステツプを実行するためのプログラムが格納されているものと する。

産業上利用可能性

本発明によれば、 簡単な構成で高速に自然な合成音声を得るため の音声選択装置、 音声選択方法及びプログラムが実現される。

Claims

請求の範囲

1 . 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 各前記音声データのうちから、 前 記文章を構成する音片と読みが共通する音片の波形を表している音 声データを索出する検索手段と、

索出された音声データのうちから、 前記文章を構成するそれぞれ の音片に相当する音声データを 1個ずつ、 互いに隣接する音片同士 の境界でのピッチの差を前記文章全体で累計した値が最小となるよ うに選択する選択手段と、

より構成されることを特徴とする音声データ選択装置。

2 . 選択された音声データを互いに結合することにより、 合成音声 を表すデータを生成する音声合成手段を更に備える、

ことを特徴とする請求項 1に記載の音声データ選択装置。

3 . 音声の波形を表す音声データを複数記憶し、

文章を表す文章情報を入力し、 各前記音声データのうちから、 前 記文章を構成する音片と読みが共通する音片の波形を表している音 声データを索出し、

索出された音声データのうちから、 前記文章を構成するそれぞれ の音片に相当する音声デ一夕を 1個ずつ、 互いに隣接する音片同士 の境界でのピッチの差を前記文章全体で累計した値が最小となるよ うに選択する、

ことを特徴とする音声データ選択方法。

4 . コンピュータを、

音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 各前記音声データのうちから、 前 記文章を構成する音片と読みが共通する音片の波形を表している音 声データを索出する検索手段と、

索出された音声デ一夕のうちから、 前記文章を構成するそれぞれ の音片に相当する音声データを 1個ずつ、 互いに隣接する音片同士 の境界でのピツチの差を前記文章全体で累計した値が最小となるよ うに選択する選択手段と、

して機能させるためのプログラム。

5 . 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 当該文章を構成する音片について 韻律予測を行うことにより、 当該音片のピッチの時間変化を予測す る予測手段と、

各前記音声データのうちから、 前記文章を構成する音片と読みが 共通する音片の波形を表していて、 且つ、 ピッチの時間変化が前記 予測手段による予測の結果と最も高い相関を示す音声データを選択 する選択手段と、

より構成されることを特徴とする音声選択装置。

6 . 前記選択手段は、 音声データが表す音片のピッチの時間変化 と、 当該音片と読みが共通する前記文章内の音片のピツチの時間変 化との間での 1次回帰を行う回帰計算の結果に基づいて、 当該音声 データのピッチの時間変化と前記予測手段による予測の結果との相 関の強さを特定するものである、

ことを特徴とする請求項 5に記載の音声選択装置。

7 . 前記選択手段は、 音声データが表す音片のピッチの時間変化 と、 当該音片と読みが共通する前記文章内の音片のピッチの時間変 化との間の相関係数に基づいて、 当該音声データのピツチの時間変 化と前記予測手段による予測の結果との相関の強さを特定するもの である、

ことを特徴とする請求項 5に記載の音声選択装置。

8 . 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 当該文章内の音片について韻律予 測を行うことにより、 -当該音片の時間長、 及び、 当該音片のピッチ の時間変化を予測する予測手段と、

前記文章内の音片と読みが共通する音片の波形を表す各々の音声 デ一夕についての評価値を特定し、 評価値が最も高い評価を表して いる音声データを選択する選択手段と、 より構成されており、 前記評価値は、 音声データが表す音片のピッチの時間変化と、 当 該音片と読みが共通する前記文章内の音片のピツチの時間変化の予 測結果との相関を表す数値の関数、 及び、 当該音声データが表す音 片の時間長と、 当該音片と読みが共通する前記文章内の音片の時間 長の予測結果との差の関数より得られるものである、

ことを特徴とする音声選択装置。

9 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピツチの 時間変化との間での 1次回帰により得られる 1次関数の勾配からな る、

ことを特徴とする請求項 8に記載の音声選択装置。

1 0 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの 時間変化との間での 1次回帰により得られる 1次関数の切片からな る、

ことを特徴とする請求項 8に記載の音声選択装置。

1 1 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの 時間変化の予測結果との間の相関係数からなる、

ことを特徴とする請求項 8に記載の音声選択装置。

1 2 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化を表すデ一夕を種々のビッ ト数循環シフ トしたものが表す関 数と、 当該音片と読みが共通する前記文章内の音片のピツチの時間 変化の予測結果を表す関数との相関係数の最大値からなる、

ことを特徴とする請求項 8に記載の音声選択装置。

1 3 . 前記記憶手段は、 音声デ一夕の読みを表す表音デ一夕を、 当 該音声データに対応付けて記憶しており、

前記選択手段は、 前記文章内の音片の読みに合致する読みを表す 表音データが対応付けられている音声データを、 当該音片と読みが 共通する音片の波形を表す音声データとして扱う、 ' ことを特徴とする請求項 5乃至 1 2のいずれか 1項に記載の音声 選択装置。

1 4 . 選択された音声データを互いに結合することにより、 合成音 声を表すデータを生成する音声合成手段を更に備える、

ことを特徴とする請求項 5乃至 1 3のいずれか 1項に記載の音声 選択装置。

1 5 .. 前記文章内の音片のうち、 前記選択手段が音声データを選択 できなかった音片について、 前記記憶手段が記憶する音声データを V, 用いることなく、 当該音片の波形を表す音声データを合成する欠落 部分合成手段を備え、

前記音声合成手段は、 前記選択手段が選択した音声データ及び前 記欠落部分合成手段が合成した音声データを互いに結合することに より、 合成音声を表すデータを生成する、

ことを特徴とする請求項 1 4に記載の音声選択装置。

1 6 . 音声の波形を表す音声データを複数記憶し、

文章を表す文章情報を入力し、 当該文章を構成する音片について 韻律予測を行うことにより、当該音片のピツチの時間変化を予測し、 各前記音声データのうちから、 前記文章を構成する音片と読みが 共通する音片の波形を表していて、 且つ、 ピッチの時間変化が前記 予測手段による予測の結果と最も高い相関を示す音声デ一夕を選択 する、

ことを特徴とする音声選択方法。

1 7 . 音声の波形を表す音声データを複数記憶し、

文章を表す文章情報を入力し、 当該文章内の音片について韻律予 測を行うことにより、 当該音片の時間長、 及び、 当該音片のピッチ の時間変化を予測し、

前記文章内の音片と読みが共通する音片の波形を表す各々の音声 データについての評価値を特定し、 評価値が最も高い評価を表して いる音声データを選択する、 ことを特徴とする音声選択方法であつ て、

前記評価値は、 音声データが表す音片のピッチの時間変化と、 当 該音片と読みが共通する前記文章内の音片のピッチの時間変化の予 測結果との相関を表す数値の関数、 及び、 当該音声データが表す音 片の時間長と、 当該音片と読みが共通する前記文章内の音片の時間 長の予測結果との差の関数より得られるものである、 ことを特徴とする音声選択方法。

1 8 . コンピュータを、

音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 当該文章を構成する音片について 韻律予測を行うことにより、 当該音片のピッチの時間変化を予測す る予測手段と、

各前記音声データのうちから、 前記文章を構成する音片と読みが 共通する音片の波形を表していて、 且つ、 ピッチの時間変化が前記 予測手段による予測の結果と最も高い相関を示す音声データを選択 する選択手段と、

して機能させるためのプログラム。

1 9 . コンピュータを、

音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力し、 当該文章内の音片について韻律予 測を行うことにより、 当該音片の時間長、 及び、 当該音片のピッチ の時間変化を予測する予測手段と、

前記文章内の音片と読みが共通する音片の波形を表す各々の音声 データについての評価値を特定し、 評価値が最も高い評価を表して いる音声データを選択する選択手段として機能させるためのプログ ラムであって、

前記評価値は、 音声データが表す音片のピッチの時間変化と、 当 該音片と読みが共通する前記文章内の音片のピッチの時間変化の予 測結果との相関を表す数値の関数、 及び、 当該音声データが表す音 片の時間長と、 当該音片と読みが共通する前記文章内の音片の時間 長の予測結果との差の関数より得られるものである、 . ことを特徴とするプログラム。

2 0 . 音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力する文章情報入力手段と、

前記文章情報が表す文章内の音片と読みが共通する部分を有する 音声データを索出する検索部と、 前記索出されたそれぞれの音声デ 一夕を文章情報が表す文章に従って接続した際に互いに隣接する音 声データ同士の関係に基づいた所定の評価基準に従って評価値を求 め、 出力する音声データの組み合わせを当該評価値に基づいて選択 する選択手段と、 を備える、

ことを特徴とする音声データ選択装置。

2 1 . 前記評価基準は、 互いに隣接する音声データ同士の関係を示 す評価値を定める基準であって、 前記評価値は、 前記音声データが 表す音声の特徴を示すパラメ一夕、 前記音声データが表す音声を互 いに結合して得られる音声の特徴を示すパラメ一タ、 及び、 発話時 間長に関する特徴を示すパラメ一夕のうち、 少なく ともいずれかを 含む評価式に基づいて得られるものである、

ことを特徴とする請求項 2 0に記載の音声データ選択装置。

2 2 . 前記評価基準は、 互いに隣接する音声データ同士の関係を示 す評価値を定める基準であって、 前記評価値は、 前記音声データが 表す音声を互いに結合して得られる音声の特徴を示すパラメ一夕を 含み、 また、 前記音声データが表す音声の特徴を示すパラメ一夕と 発話時間長に関する特徴を示すパラメータのうち、 少なく ともいず れかを含む評価式に基づいて得られるものである、

ことを特徵とする請求項 2 0に記載の音声データ選択装置。

2 3 . 前記音声データが表す音声を互いに結合して得られる音声の 特徴を示すパラメータは、 前記文章情報が表す文章内の音片と読み が共通する部分を有する音声の波形を表す音声データのうちから、 前記文章を構成するそれぞれの音片に相当する音声データを 1個ず つ選択した場合における、 互いに隣接する音声データ同士の境界で のピッチの差に基づいて得られるものである、

ことを特徴とする請求項 2 1又は 2 2に記載の音声デ一夕選択装

2 4 . 前記評価基準は、 更に音声データが表す音声との韻律予測結 果との相関ないし差異を示す評価値を定める基準を含み、 前記評価 値は、 音声データが表す音片のピッチの時間変化と、 当該音片と読 みが共通する前記文章内の音片のピツチの時間変化の予測結果との 相関を表す数値の関数、 及び/又は、 当該音声データが表す音片の 時間長と、 当該音片と読みが共通する前記文章内の音片の時間長の 予測結果との差の関数に基づいて得られるものである、

ことを特徴とする請求項 2 0乃至 2 3のいずれか 1項に記載の音 声データ選択装置。

2 5 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの 時間変化との間での 1次回帰により得られる 1次関数の勾配及び Z 又は切片からなる、

ことを特徴とする請求項 2 に記載の音声データ選択装置。

2 6 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化と、 当該音片と読みが共通する前記文章内の音片のピッチの 時間変化の予測結果との間の相関係数からなる、 ' ことを特徴とする請求項 2 4又は 2 5に記載の音声データ選択装'

2 7 . 前記相関を表す数値は、 音声データが表す音片のピッチの時 間変化を表すデータを種々のビッ ト数循環シフ 卜したものが表す関 数と、 当該音片と読みが共通する前記文章内の音片のピツチの時間 変化の予測結果を表す関数との相関係数の最大値からなる、

ことを特徴とする請求項 2 4又は 2 5に記載の音声データ選択装 置。

2 8 . 前記記憶手段は、 音声データの読みを表す表音データを、 当 該音声デ一夕に対応付けて記憶しており、

前記選択手段は、 前記文章内の音片の読みに合致する読みを表す 表音データが対応付けられている音声データを、 当該音片と読みが 共通する音片の波形を表す音声デ一夕として扱う、

ことを特徴とする請求項 2 0乃至 2 7のいずれか 1項に記載の音 声データ選択装置。

2 9 . 選択された音声データを互いに結合することにより、 合成音 声を表すデータを生成する音声合成手段を更に備える、

ことを特徴とする請求項 2 0乃至 2 8のいずれか 1項に記載の音 声データ選択装置。

3 0 . 前記文章内の音片のうち、 前記選択手段が音声デ一夕を選択 できなかった音片について、 前記記憶手段が記憶する音声データを 用いることなく、 当該音片の波形を表す音声データを合成する欠落 部分合成手段を備え、

前記音声合成手段は、 前記選択手段が選択した音声データ及び前 記欠落部分合成手段が合成した音声データを互いに結合することに より、 合成音声を表すデ一夕を生成する、

ことを特徴とする請求項 2 9に記載の音声データ選択装置。

3 1 . 音声の波形を表す音声データを複数記憶し、

文章を表す文章情報を入力し、

前記文章情報が表す文章内の音片と読みが共通する部分を有する 音声データを索出し、

前記索出されたそれぞれの音声データを文章情報が表す文章に従 つて接続した際に互いに隣接する音声デ一夕同士の関係に基づいた 所定の評価基準に従って評価値を求め、 出力する音声データの組み 合わせを当該評価値に基づいて選択する、

ことを特徴とする音声データ選択方法。

3 2 . コンピュータを、

音声の波形を表す音声データを複数記憶する記憶手段と、 文章を表す文章情報を入力する文章情報入力手段と、

前記文章情報が表す文章内の音片と読みが共通する部分を有する 音声データを索出する検索部と、

前記索出されたそれぞれの音声デ一夕を文章情報が表す文章に従 つて接続した際に互いに隣接する音声データ同士の関係に基づいた 所定の評価基準に従って評価値を求め、 出力する音声データの組み 合わせを当該評価値に基づいて選択する選択手段と、

して機能させるためのプログラム。