JP2012113271A - 音楽情報表示装置 - Google Patents

Abstract

【課題】拍点基準で規定された音楽情報の時系列と実時間基準で規定された音楽情報の時系列との時間的な対応を利用者に容易に確認させる。
【解決手段】記憶装置１２は、合成対象音の音高を拍点単位で時系列に指定する合成音情報と、実時間軸上の音響信号の波形を示す波形情報とを記憶する。制御処理部２２は、利用者からの指示に応じてテンポを可変に設定する。表示制御部２６は、合成音情報が指定する合成対象音の時系列を示す対象音画像と音響信号の波形を示す波形画像とを拍点単位の共通の拍点軸のもとで表示させ、制御処理部２２が設定するテンポに応じて波形画像を拍点軸の方向に伸縮する。
【選択図】図１

Description

本発明は、音楽に関連する情報（音楽情報）の時系列を表示する技術に関する。

音声合成の対象となる音声（以下「合成対象音」という）の時系列を生成および編集する技術が従来から提案されている。例えば特許文献１には、拍点を単位とする横方向の時間軸（以下では「拍点軸」という）と音高を示す縦方向の音高軸とが規定されたピアノロール型の編集画面を参照して利用者が各合成対象音を編集する技術が開示されている。合成対象音を示す音指示子（ノートバー）を編集画面に適宜に配置することで、利用者は、拍点を単位（基準）として所望の合成対象音を指定することが可能である。

特開２００６−２５９７６８号公報

ところで、編集画面で指定された各合成対象音の時系列は、実時間（例えば秒）を単位とする時間軸（以下「実時間軸」という）のもとで生成された他の音楽情報の時系列と並列に処理され得る。例えば、実時間軸での時間波形として収録された伴奏音を合成対象音の時系列と並列に再生することが可能である。また、合成対象音毎に音指示子が配置された編集画面と伴奏音の時間波形とが並列に表示されれば、例えば伴奏音のうち音量が瞬間的に増加する時点（すなわち拍点）に合致するように合成対象音を配置するといった調整が実現されて便利である。

しかし、各合成対象音の時系列が拍点軸のもとで表示され、伴奏音の時間波形が実時間軸のもとで表示される構成では、両者間の時間的な対応（同期）を利用者が把握することが困難であるという問題がある。なお、以上の説明では伴奏音の時間波形を実時間上の時系列情報として例示したが、伴奏音の時間波形以外の実時間上の時系列情報を拍点軸上の時系列情報と並列に処理する場合にも、同様の問題が発生し得る。以上の事情を背景として、本発明は、拍点基準で規定された音楽情報の時系列と実時間基準で規定された音楽情報の時系列との時間的な対応を利用者に容易に確認させることを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音楽情報表示装置は、第１音楽情報を拍点単位で時系列に指定する第１時系列情報（例えば合成音情報ＤS）を記憶する第１記憶手段（例えば記憶装置１２）と、第２音楽情報を実時間単位で時系列に指定する第２時系列情報（例えば波形情報ＤWや合成音情報ＤR）を記憶する第２記憶手段（例えば記憶装置１２）と、テンポを可変に設定するテンポ設定手段（例えば制御処理部２２）と、第１時系列情報を示す第１時系列画像（例えば対象音画像４２）と第２時系列情報を示す第２時系列画像（例えば波形画像４４や音素列画像６２Bや特徴量画像６４B）とを拍点単位の共通の拍点軸のもとで表示装置に表示させ、テンポ設定手段が設定するテンポに応じて第２時系列画像を拍点軸の方向に伸縮する表示制御手段（例えば表示制御部２６）とを具備する。以上の構成によれば、第１時系列画像と第２時系列画像とが共通の拍点軸のもとで表示されるとともに第２時系列画像がテンポに応じて拍点軸の方向に伸縮されるから、拍点基準で規定される第１音楽情報の時系列と実時間基準で規定される第２音楽情報の時系列との時間的な対応を利用者が容易に把握できるという利点がある。

本発明の好適な態様において、第２時系列情報（例えば波形情報ＤW）は、振幅値を第２音楽情報として音響信号（例えば音響信号ＡW）の時間波形を指定し、表示制御手段は、第２時系列情報から特定される推定拍点に対応する拍点指示子（例えば拍点指示子４４２）を第２時系列画像とともに拍点軸のもとで表示装置に表示させ、テンポ設定手段が設定するテンポに応じて各拍点指示子を拍点軸の方向に移動させる。以上の態様では、第２時系列情報から特定される推定拍点に対応する拍点指示子が拍点軸のもとで表示されるとともに各拍点指示子がテンポに応じて拍点軸の方向に移動されるから、第１時系列情報が示す第１音楽情報の時系列と第２時系列情報が指定する音響信号の推定拍点との時間的な対応を利用者が容易に把握できるという利点がある。

本発明の好適な態様において、第２時系列情報から特定される推定拍点が拍点軸上の各拍点に合致するように、表示制御手段が第２時系列画像を拍点軸の方向に伸縮するとともにテンポ設定手段がテンポを設定する。以上の態様では、推定拍点が拍点軸上の各拍点に合致するようにテンポが設定されるから、例えば第１時系列画像と第２時系列画像との対応を確認しながら第１音楽情報の時系列と第２音楽情報の時系列とが同期するように利用者が手動でテンポを調整する構成と比較して、利用者の負担が軽減されるという利点がある。なお、以上の態様の具体例は例えば第４実施形態として後述される。

本発明の好適な態様に係る音楽情報表示装置は、第２音楽情報の再生速度（例えば再生速度Ｖ2）の変更の許可／禁止を選択し、再生速度の変更を許可した場合に、テンポ設定手段が設定するテンポに応じて第２音楽情報の時系列が時間軸上で伸縮するように第２時系列情報を変更し、再生速度の変更を禁止した場合には第２時系列情報を変更しない制御手段（例えば制御処理部２２）を具備する。以上の態様においては、第２音楽情報の再生速度の変更の許否が選択されるから、例えば第２音楽情報の時系列を拍点に同期させる必要がない場合にはテンポに応じた再生速度の変更を禁止し、第２音楽情報の時系列を拍点に同期させる必要がある場合にはテンポに応じた再生速度の変更を許可するといった制御が可能である。なお、以上の態様の具体例は例えば第２実施形態として後述される。

本発明の好適な態様において、制御手段は、第２音楽情報の再生速度の変更の許可／禁止を利用者からの指示に応じて選択する。以上の態様では、第２音楽情報の再生速度の変更の許可／禁止が利用者からの指示に応じて選択されるから、第２音楽情報の時系列を拍点に同期させるか否かを利用者の意図に応じて変更できるという利点がある。

以上の各態様に係る音楽情報表示装置は、音楽情報の表示制御に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、第１音楽情報を拍点単位で時系列に指定する第１時系列情報を記憶する第１記憶手段と、第２音楽情報を実時間単位で時系列に指定する第２時系列情報を記憶する第２記憶手段とを具備するコンピュータに、テンポを可変に設定するテンポ設定処理と、第１時系列情報を示す第１時系列画像と第２時系列情報を示す第２時系列画像とを拍点単位の共通の拍点軸のもとで表示装置に表示させ、テンポ設定処理で設定したテンポに応じて第２時系列画像を拍点軸の方向に伸縮する表示制御処理とを実行させる。以上のプログラムによれば、本発明に係る音楽情報表示装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 合成指示情報の模式図である。 編集画面の模式図である。 操作画面の模式図である。 テンポに応じた波形画像の伸縮の説明図である。 対象音編集画面の模式図である。 第２実施形態における合成指示情報の模式図である。 第２実施形態における編集画面の模式図である。 第２実施形態における操作画面の模式図である。 対象音編集画面（実時間基準）での音素列画像および特徴量画像の伸縮の説明図である。 編集画面（拍点基準）での音素列画像および特徴量画像の伸縮の説明図である。 第３実施形態における操作画面の模式図である。 第３実施形態におけるテンポに応じた対象音画像の伸縮の説明図である。 第４実施形態における操作画面の模式図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態の音声合成装置１００のブロック図である。音声合成装置１００は、音響信号Ａを合成する音響処理装置であり、図１に示すように、演算処理装置１０と記憶装置１２と入力装置１４と表示装置１６と放音装置１８とを具備するコンピュータシステムで実現される。入力装置１４（例えばマウスやキーボード）は、利用者からの指示を受付ける。表示装置１６（例えば液晶表示装置）は、演算処理装置１０から指示された画像を表示する。放音装置１８（例えばスピーカやヘッドホン）は、演算処理装置１０が生成した音響信号Ａに応じた音響を再生する。

記憶装置１２は、演算処理装置１０が実行するプログラムＰGMや演算処理装置１０が使用する情報（例えば音声素片群ＱA，合成指示情報ＱB）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用され得る。

音声素片群ＱAは、相異なる音声素片に対応する複数の素片情報（例えば音声素片の波形のサンプル系列）で構成されて音響信号Ａの素材として利用される音声合成用ライブラリである。音声素片は、言語上の意味の区別の最小単位（例えば母音や子音）である１個の音素、または複数の音素を連結した音素連鎖である。合成指示情報ＱBは、音響信号Ａが示す音響の内容を指示する情報であり、図２に示すように、合成音情報ＤSと波形情報ＤWとテンポ情報ＤTとを含んで構成される。

合成音情報ＤSは、合成対象音の時系列を指定する時系列情報（スコアデータ）である。図２に示すように、合成音情報ＤSは、相異なる合成対象音に対応する複数の単位情報ＵSの時系列で構成される。各単位情報ＵSは、合成対象音の音高（ノートナンバ）ｓ1と発音文字ｓ2と発音期間ｓ3とを指定する。発音文字ｓ2は、合成対象音の発音の音節（文字）である。

発音期間ｓ3は、合成対象音の発音の始点と終点とで規定される。発音の始点および終点の各々は、秒単位等の実時間ではなく拍点を基準として（あるいは複数の拍点を含む小節を基準として）指定される。具体的には、発音期間ｓ3の各端点（始点,終点）は、小節番号σ1と拍点番号σ2と区間番号σ3との組合せで指定される。区間番号σ3は、相前後する２個の拍点の間隔（以下「拍点区間」という）を区分した複数の単位区間の何れかを識別する番号である。すなわち、第σ1番目の小節のうち第σ2番目の拍点から合計σ3個の単位区間が経過した時点が発音期間ｓ3の端点として指定される。以上の説明から理解されるように、合成音情報ＤSは、合成対象音の音高ｓ1や発音文字ｓ2を拍点基準で（すなわち実時間ではなく拍点や小節を基準として）時系列に指定する。

図２の波形情報ＤWは、楽曲の伴奏音等の音楽を収録した音響信号ＡWの時間波形を指定する。例えば利用者が選択した音響信号ＡWが光記録媒体や半導体記録媒体等の各種の記録媒体から波形情報ＤWとして記憶装置１２に転送される。波形情報ＤWは、事前に収録された音響信号ＡWの振幅値を実時間軸上の所定の周期毎に抽出した多数のサンプルの時系列で構成される。すなわち、波形情報ＤWは、音響信号ＡWの振幅値を実時間基準で（すなわち実時間を単位（例えば秒単位）として）時系列に指定する。

図２のテンポ情報ＤTは、拍点が到来するテンポ（速度）を時系列に指定する情報であり、テンポの指定単位となる速度調整区間毎に単位情報（テンポチェンジメッセージ）ＵTを含んで構成される。各単位情報ＵTは、テンポを変更する時点ｔ1（すなわち速度調整区間の始点）と時点ｔ1以後のテンポｔ2とを指定する。速度調整区間の開始の時点ｔ1は、前述の発音期間ｓ3の端点と同様に拍点基準で指定される。すなわち、例えば小節番号σ1と拍点番号σ2と区間番号σ3との組合せで各単位情報ＵTの時点ｔ1が指定される。以上が合成指示情報ＱBの具体的な内容である。

図１の演算処理装置１０は、記憶装置１２に格納されたプログラムＰGMの実行で、音響信号Ａの生成に必要な複数の機能（制御処理部２２，音声合成部２４，表示制御部２６）を実現する。なお、演算処理装置１０の各機能を専用の電子回路（ＤＳＰ）で実現した構成や、演算処理装置１０の各機能を複数の集積回路に分散した構成も採用され得る。制御処理部２２は、入力装置１４に対する利用者からの指示に応じて合成指示情報ＱB（合成音情報ＤS，波形情報ＤW，テンポ情報ＤT）を生成および更新する（詳細は後述）。

音声合成部２４は、記憶装置１２に格納された音声素片群ＱAおよび合成指示情報ＱBを利用して音響信号Ａを生成する。第１実施形態の音声合成部２４は、図２に示すように、合成音情報ＤSに応じた音響信号ＡSと波形情報ＤWが示す音響信号ＡWとの混合で音響信号Ａを生成する。具体的には、音声合成部２４は、記憶装置１２に格納された音声素片群ＱAのうち合成音情報ＤSの各単位情報ＵSが指定する発音文字ｓ2に対応した素片情報を、テンポ情報ＤTの単位情報ＵTが指定するテンポｔ2と当該単位情報ＵSの発音期間ｓ3とに応じた時間長に伸縮するとともに当該単位情報ＵSが指定する音高ｓ1に調整し、調整後の各素片情報を相互に連結することで音響信号ＡSを生成する。そして、音声合成部２４は、音響信号ＡSと波形情報ＤWが指定する音響信号ＡWとを混合することで音響信号Ａを生成する。音響信号Ａは、放音装置１８に供給されて音響として再生される。

図１の表示制御部２６は、合成対象音の編集時に利用者が視認する図３の編集画面３０を表示装置１６に表示させる。図３に示すように、拍点を示す拍点軸Ｘbが編集画面３０に規定される。拍点軸Ｘb上には複数の拍点が所定の間隔（等間隔）で離散的に設定され、拍点を示す直線状の基準指示子４０が拍点軸Ｘb上の各拍点の位置に配置される。図３に示すように、編集画面３０は、第１領域３１と第２領域３２と第３領域３３とを含んで構成される。

第１領域３１には、拍点軸Ｘbに直交する縦方向の音高軸Ｘpが規定される。表示制御部２６は、合成対象音の時系列を表現する対象音画像４２を第１領域３１内に配置する。対象音画像４２は、各合成対象音を図形化した複数の音指示子４２２を拍点軸Ｘbの方向に時系列に配列したピアノロール型の画像である。音高軸Ｘpの方向における音指示子４２２の位置は合成対象音の音高に応じて可変に設定される。また、拍点軸Ｘbの方向における音指示子４２２の位置（例えば音指示子４２２の右端部の位置）は合成対象音の発音の時点（例えば発音期間ｓ3の始点）に応じて可変に設定され、拍点軸Ｘbの方向における音指示子４２２の長さは合成対象音の発音期間ｓ3の長短に応じて可変に設定される。

利用者は、編集画面３０を確認しながら入力装置１４を適宜に操作することで、合成対象音の編集を指示することが可能である。例えば、第１領域３１内の任意の位置に対する音指示子４２２の追加や既存の音指示子４２２の削除、または音指示子４２２の発音文字ｓ2の指定または変更等の編集が利用者から指示される。表示制御部２６は、第１領域３１に対する利用者からの指示に応じて対象音画像４２を随時に更新する。

制御処理部２２は、第１領域３１に配置された音指示子４２２毎に合成音情報ＤSの各単位情報ＵSを生成して記憶装置１２に格納する。すなわち、制御処理部２２は、音高軸Ｘpの方向における音指示子４２２の位置に応じた音高ｓ1と、音指示子４２２に指定された発音文字ｓ2と、拍点軸Ｘbの方向における音指示子４２２の位置や長さに応じた発音期間ｓ3とを含む単位情報ＵSを生成して利用者からの指示に応じて随時に更新する。

表示制御部２６は、波形情報ＤWが示す音響信号ＡWの時間波形の画像（以下「波形画像」という）４４を第２領域３２に配置する。波形情報ＤWは前述のように実時間基準で規定されるが、第２領域３２の波形画像４４は、実時間軸Ｘtではなくて、第１領域３１内の対象音画像４２と共通の拍点軸Ｘbのもとで表示される。また、表示制御部２６は、音響信号ＡWの拍点（以下「推定拍点」という）を波形情報ＤWから推定し、各推定拍点を表現する拍点指示子４４２を波形画像４４とともに第２領域３２に配置する。図３の各拍点指示子４４２は、各推定拍点の位置に配置された直線状の図形である。なお、音響信号ＡWの拍点の推定には公知の技術が任意に採用される。

表示制御部２６は、音声合成のテンポｔ2の時系列を第３領域３３に表示する。具体的には、拍点軸Ｘb上に区画された速度調整区間４６毎にテンポｔ2が指定される。合成音情報ＤSの編集が開始された直後の段階では拍点軸Ｘbの全区間を速度調整区間４６としてテンポｔ2が初期値に設定され、以下に説明するように、利用者が拍点軸Ｘb上に任意に区画した速度調整区間４６毎にテンポｔ2が可変に設定される。

利用者は、入力装置１４に対する所定の操作（例えば第３領域３３のダブルクリック）により、拍点軸Ｘb上の任意の時点ｔ1を速度調整区間４６の始点として指定したうえでテンポｔ2の変更を指示する。利用者がテンポｔ2の変更を指示すると、表示制御部２６は、利用者がテンポｔ2を指定するための図４の操作画面５０（ダイアログボックス）を表示装置１６に表示させる。

操作画面５０には指定領域５２が配置される。指定領域５２にはテンポｔ2（図４では「125」）が表示される。利用者は、入力装置１４に対する所定の操作で指定領域５２内のテンポｔ2の変更を指示すること（増加／減少の指示または数値の直接入力）が可能である。制御処理部２２は、利用者が選択した速度調整区間４６に対応する単位情報ＵTのテンポｔ2を、指定領域５２に対する利用者からの指示に応じて可変に設定する。

拍点軸Ｘbは各拍点が等間隔で配列するように設定されるから、テンポｔ2が変化した場合でも、拍点軸Ｘb上の各拍点の間隔（相互に隣合う各基準指示子４０の間隔）は変化しない。また、合成音情報ＤSは拍点基準で合成対象音の時系列を指定するから、テンポｔ2が変化した場合でも対象音画像４２は変化しない（拍点軸Ｘbの方向に伸縮しない）。他方、各拍点の間隔である拍点区間δの実時間長（例えば秒単位の時間長）はテンポｔ2に応じて変化する。例えばテンポｔ2が速いほど１個の拍点区間δの実時間長は短くなる。前述のように波形情報ＤWは実時間基準で音響信号ＡWを規定するから、表示制御部２６は、制御処理部２２が設定するテンポｔ2に応じて第２領域３２内の波形画像４４を拍点軸Ｘbの方向に伸縮させ、波形画像４４の伸縮とともに各拍点指示子４４２を拍点軸Ｘbの方向に移動させる。

例えば、テンポｔ2が速いほど各拍点区間δの実時間長は短くなるから、図５に矢印ａ1で示すように、表示制御部２６は、速度調整区間４６内のテンポｔ2が上昇するほど、その速度調整区間４６に対応する波形画像４４を拍点軸Ｘbの方向に伸長させる。すなわち、波形画像４４の各推定拍点を示す拍点指示子４４２の間隔が増加する（拍点区間δ内の推定拍点の個数が減少する）。また、速度調整区間４６内のテンポｔ2が低下した場合（拍点区間δの実時間長が長くなる場合）、図５に矢印ａ2で示すように、表示制御部２６は、その速度調整区間４６に対応する波形画像４４を拍点軸Ｘbの方向に縮小する。

操作画面５０に対する操作に応じたテンポｔ2の変更と拍点軸Ｘbの方向の波形画像４４の伸縮とは並列に実行される。すなわち、利用者からの指示に応じて制御処理部２２がテンポｔ2を変更（増減／数値指定）するたびに、テンポｔ2の変更に応じた波形画像４４の伸縮が逐次的に実行される。したがって、利用者は、波形画像４４の伸縮（各拍点指示子４４２の移動）を視覚的に確認しながらテンポｔ2を変更することが可能である。具体的には、波形画像４４の各拍点指示子４４２と拍点軸Ｘb上の各拍点に対応する基準指示子４０とが拍点軸Ｘb上で合致するように速度調整区間４６毎のテンポｔ2を設定することで、合成音情報ＤSに応じて生成される音響信号ＡSの拍点と波形情報ＤWが指定する音響信号ＡWの拍点とを同期させることが可能である。すなわち、拍点基準の合成音情報ＤSから生成される音響信号ＡSと実時間基準の波形情報ＤWが指定する音響信号ＡWとの時間的な対応を利用者が容易に確認できるという利点がある。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。第２実施形態では、第１実施形態と同様に拍点基準で規定される合成対象音（以下では特に「第１合成対象音」という）の時系列のほか、実時間基準で規定される合成対象音（以下「第２合成対象音」という）の時系列について音響信号Ａが生成される。なお、以下に例示する各態様において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

利用者は、入力装置１４に対する所定の操作で第２合成対象音の編集を指示することが可能である。第２合成対象音の編集が利用者から指示されると、表示制御部２６は、図６の対象音編集画面６０を表示装置１６に表示させる。

図６に示すように、対象音編集画面６０には、音素列画像６２Tと特徴量画像６４Tとが共通の実時間軸Ｘt（横軸）のもとで配置される。音素列画像６２Tは、第２合成対象音を構成する音素を実時間軸Ｘtに沿って時系列に配列した画像である。他方、特徴量画像６４Tは、第２合成対象音の特徴量（以下の例示では音高）の時間変化を表現する画像である。図６では、実時間軸Ｘtに沿って時系列に配列された複数の編集点α（ブレークポイント）を相互に連結した折線を特徴量画像６４Tとして例示した。

利用者は、対象音編集画面６０を確認しながら入力装置１４を適宜に操作することで第２合成対象音の編集を指示することが可能である。具体的には、音素列画像６２Tを構成する各音素の追加や変更等の編集や、任意の位置に対する編集点αの追加または既存の編集点αの移動および削除等の特徴量画像６４Tの編集が利用者から指示される。表示制御部２６は、利用者からの指示に応じて対象音編集画面６０の音素列画像６２Tおよび特徴量画像６４Tを更新する。

図７は、第２実施形態の合成指示情報ＱBの模式図である。図７に示すように、第２実施形態の合成指示情報ＱBは、第１実施形態と同様の要素（合成音情報ＤS，波形情報ＤW，テンポ情報ＤT）に合成音情報ＤRを追加した構造である。合成音情報ＤRは、第２合成対象音の時系列を指定する情報であり、音素列画像６２Tに対応する音素列情報ＲAと特徴量画像６４Tに対応する特徴量情報ＲBとを含んで構成される。

音素列情報ＲAは、第２合成対象音の各音素に対応する単位情報ＵRaの時系列である。単位情報ＵRaは、音素の識別情報ｒA1と発音期間ｒA2（例えば始点および終点）とを指定する。合成音情報ＤSの単位情報ＵSが第１合成対象音の発音期間ｓ3を拍点基準で指定するのに対し、合成音情報ＤRの単位情報ＵRaは、第２合成対象音の発音期間ｒA2を実時間基準で（例えば音響信号Ａの始点から経過した実時間）で指定する。

特徴量情報ＲBは、第２合成対象音の特徴量（音高）の時間変化を指定する情報であり、特徴量画像６４Tの相異なる編集点αに対応する複数の単位情報ＵRbの時系列で構成される。各単位情報ＵRbは、編集点αの時刻ｒB1とその編集点αに対応する特徴量の数値ｒB2とを指定する。時刻ｒB1は、単位情報ＵRaの発音期間ｒA2と同様に実時間基準で指定される。すなわち、合成音情報ＤRは、第２合成対象音の音素と特徴量とを実時間基準で（すなわち実時間を単位として）時系列に指定する。

第２実施形態の制御処理部２２は、対象音編集画面６０に対する利用者からの指示に応じて合成音情報ＤRを随時に更新する。具体的には、制御処理部２２は、音素列画像６２Tに対する音素の追加や変更が利用者から指示された場合には音素列情報ＲAの単位情報ＵRaを追加または変更し、特徴量画像６４Tに対する編集点αの追加や変更（移動，削除）が利用者から指示された場合には特徴量情報ＲBの単位情報ＵRbを追加または変更する。また、利用者は、以上の例示のように所望の音素や編集点αを直接的に指定するほか、拍点基準で指定された既存の第１合成対象音から実時間基準の第２合成対象音への変換を指示することも可能である。利用者から変換が指示されると、制御処理部２２は、拍点基準の合成音情報ＤSを実時間基準の合成音情報ＤRに変換して記憶装置１２に格納する。変換後の合成音情報ＤRについては、利用者が直接的に指定した合成音情報ＤRと同様に音素列情報ＲAや特徴量情報ＲBの編集が可能である。

図７に示すように、第２実施形態の音声合成部２４は、合成音情報ＤRに応じて音響信号ＡRを生成する。具体的には、音素列情報ＲAの各単位情報ＵRaが指定する識別情報ｒA1に対応する素片情報を音声素片群ＱAから順次に取得し、各素片情報を、当該単位情報ＵRaの発音期間ｒA2と特徴量情報ＲBの各単位情報ＵRbの特徴量ｒB2（音高）とに調整したうえで相互に連結することで音響信号ＡRを生成する。そして、音声合成部２４は、合成音情報ＤSに応じた音響信号ＡSと波形情報ＤWが示す音響信号ＡWと合成音情報ＤRから生成した音響信号ＡRとを合成することで音響信号Ａを生成する。

図８は、第２実施形態の編集画面３０の模式図である。図８に示すように、第２実施形態の編集画面３０は、第１実施形態と同様の要素（第１領域３１，第２領域３２，第３領域３３）に第４領域３４を追加した構造である。表示制御部２６は、音素列画像６２Bと特徴量画像６４Bとを第４領域３４に配置する。音素列画像６２Bおよび特徴量画像６４Bは、図６の対象音編集画面６０にて実時間軸Ｘtのもとで表示される音素列画像６２Tおよび特徴量画像６４Tを拍点軸Ｘb上に展開した画像である。すなわち、音素列画像６２Bは、音素列情報ＲAが指定する各音素の時系列を拍点軸Ｘbのもとで表示し、特徴量画像６４Bは、特徴量情報ＲBが指定する特徴量の時間変化を拍点軸Ｘbのもとで表示する。表示制御部２６は、対象音編集画面６０内の音素列画像６２Tや特徴量画像６４Tの編集（音素列情報ＲAや特徴量情報ＲBの更新）に応じて編集画面３０内の音素列画像６２Bや特徴量画像６４Bを随時に更新する。

第１実施形態と同様に、利用者が速度調整区間４６を指定してテンポｔ2の変更を指示すると、表示制御部２６は、図９の操作画面５０を表示装置１６に表示させる。第２実施形態の操作画面５０は、第１実施形態と同様のテンポｔ2の指定領域５２に加えて、第２合成対象音の再生速度Ｖ2をテンポｔ2に連動して変化させるか否か（再生速度Ｖ2の変更の許可／禁止）を利用者が選択する操作領域（チェックボックス）５４を含んで構成される。

再生速度Ｖ2の変更の禁止が選択された状態（例えば操作領域５４のチェックオフ）では、合成音情報ＤRが実時間基準で規定する第２合成対象音の再生速度Ｖ2が変化しないように、制御処理部２２は、利用者からの指示に応じてテンポｔ2を変化させた場合でも合成音情報ＤR（すなわち実時間軸Ｘt上の第２合成対象音の時系列）を変更しない。したがって、図１０に矢印Ａ1_OFFで示すように、対象音編集画面６０に実時間基準で表示された音素列画像６２Tおよび特徴量画像６４Tはテンポｔ2の変更の前後で変化しない。他方、拍点区間δの実時間長はテンポｔ2に応じて変化するから、表示制御部２６は、編集画面３０の第４領域３４に拍点基準で表示される音素列画像６２Bおよび特徴量画像６４Bをテンポｔ2に応じて伸縮する。具体的には、表示制御部２６は、図１１に矢印Ａ2_OFFで示すように、速度調整区間４６内のテンポｔ2が上昇する（拍点区間δの実時間長が短くなる）ほど、編集画面３０内の速度調整区間４６内の音素列画像６２Bおよび特徴量画像６４Bを拍点軸Ｘbの方向に伸長させる。また、速度調整区間４６内のテンポｔ2が低下した場合（拍点区間δの実時間長が長くなる場合）、表示制御部２６は、編集画面３０内の音素列画像６２Bおよび特徴量画像６４Bを拍点軸Ｘbの方向に縮小させる。

他方、再生速度Ｖ2の変更の許可が選択された状態（例えば操作領域５４のチェックオン）では、合成音情報ＤRが実時間基準で規定する第２合成対象音の再生速度Ｖ2がテンポｔ2に連動して変化するように表示制御部２６および制御処理部２２が動作する。すなわち、例えば速度調整区間４６内のテンポｔ2が上昇した場合（拍点区間δの実時間長が短くなる場合）、表示制御部２６は、図１０に矢印Ａ1_ONで示すように、対象音編集画面６０に実時間基準で表示された音素列画像６２Tおよび特徴量画像６４Tを実時間軸Ｘtの方向に縮小し、制御処理部２２は、第２合成対象音の再生速度Ｖ2がテンポｔ2に応じて上昇するように合成音情報ＤRを更新する。例えば、制御処理部２２は、合成音情報ＤRが指定する音素の発音期間ｒA2や編集点αの時刻ｒB1を実時間軸Ｘtの前方（遡及方向）に移動させる。また、テンポｔ2が低下した場合、対象音編集画面６０の音素列画像６２Tや特徴量画像６４Tが実時間軸Ｘtの方向に伸長するように、表示制御部２６による対象音編集画面６０の更新と制御処理部２２による合成音情報ＤRの更新とが実行される。他方、編集画面３０の音素列画像６２Bおよび特徴量画像６４Bは拍点軸Ｘbのもとで表示されるから、図１１の矢印Ａ2_ONで示すように、対象音編集画面６０の音素列画像６２Tおよび特徴量画像６４Tはテンポｔ2の変更の前後で変化しない。

例えば楽曲中の台詞のように拍点に同期させる必要がない音声が第２合成対象音として指定された状態では、拍点のテンポｔ2が変更された場合でも第２合成対象音の再生速度Ｖ2は維持される必要がある。以上のような場合に、利用者は、操作領域５４に対する指示で再生速度Ｖ2の変更を禁止することが可能である。他方、第１合成対象音の変換で第２合成対象音を指定した場合のように第２合成対象音が拍点に同期するように指定された場合、第２合成対象音の再生速度Ｖ2を第１合成対象音とともにテンポｔ2に応じて変化させる必要がある。以上のような場合に、利用者は、操作領域５４に対する指示で再生速度Ｖ2の変更を許可することが可能である。すなわち、第２実施形態によれば、実時間基準で規定された第２合成対象音の再生速度Ｖ2をテンポｔ2に連動して変化させるか否かを利用者が任意に選択できるという利点がある。

＜Ｃ：第３実施形態＞
第２実施形態では、実時間基準で規定される第２合成対象音の再生速度Ｖ2の変更の許可／禁止を制御した。第３実施形態では、拍点基準で規定される第１合成対象音の再生速度Ｖ1の変更の許可／禁止を制御する。

第１実施形態と同様に、利用者がテンポｔ2の変更を指示すると、表示制御部２６は、図１２の操作画面５０を表示装置１６に表示させる。第３実施形態の操作画面５０は、第１実施形態と同様のテンポｔ2の指定領域５２に加えて、第１合成対象音の再生速度Ｖ1をテンポｔ2に連動して変化させるか否か（再生速度Ｖ1の変更の許可／禁止）を利用者が選択する操作領域５６を含んで構成される。

再生速度Ｖ1の変更の禁止が選択された状態では、合成音情報ＤSが拍点基準で規定する第１合成対象音の再生速度Ｖ1が変化しないように表示制御部２６および制御処理部２２が動作する。すなわち、例えば速度調整区間４６内のテンポｔ2が上昇した場合（拍点区間δの実時間長が短くなる場合）、表示制御部２６は、図１３に矢印ｂ1で示すように、第１領域３１に表示された対象音画像４２（音指示子４２２の時系列）を拍点軸Ｘbの方向に伸長し、制御処理部２２は、第１合成対象音の再生速度Ｖ1がテンポｔ2の変更の前後で維持されるように合成音情報ＤSを更新する。例えば、制御処理部２２は、合成音情報ＤSが指定する第１合成対象音の発音期間ｓ3を拍点軸Ｘbの後方（経過方向）に移動させる。また、テンポｔ2が低下した場合（拍点区間δの実時間長が長くなる場合）、図１３に矢印ｂ2で示すように、第１領域３１に拍点基準で表示された対象音画像４２が拍点軸Ｘbの方向に縮小するように、表示制御部２６による対象音画像４２の更新と制御処理部２２による合成音情報ＤRの更新とが実行される。

他方、再生速度Ｖ2の変更の許可が選択された状態では、表示制御部２６による対象音画像４２の更新や制御処理部２２による合成音情報ＤRの更新は実行されない。したがって、第１合成対象音の再生速度Ｖ1はテンポｔ2に連動して変化する。すなわち、テンポｔ2が上昇するほど再生速度Ｖ1も上昇する。

例えば楽曲の歌唱音が拍点に同期するように第１合成対象音として指定された状態では、拍点のテンポｔ2に応じて第１合成対象音の再生速度Ｖ1を変化させる必要がある。以上のような場合に、利用者は、操作領域５６に対する指示で再生速度Ｖ1の変更を許可することが可能である。他方、利用者は、楽曲中の台詞のように拍点に同期させる必要がない音声を第１合成対象音として直接的に指定することも可能であり、この場合には、拍点のテンポｔ2が変更された場合でも第１合成対象音の再生速度Ｖ1は維持される必要がある。以上のような場合に、利用者は、操作領域５６に対する指示で再生速度Ｖ1の変更を禁止することが可能である。すなわち、第３実施形態によれば、拍点基準で規定された第１合成対象音の再生速度Ｖ1をテンポｔ2に連動して変化させるか否かを利用者が任意に選択できるという利点がある。

なお、以上の形態では第１実施形態を基礎とした構成を例示したが、再生速度Ｖ1の変更の許可／禁止を制御する構成を第２実施形態に追加した形態も当然に採用され得る。具体的には、拍点基準で規定された第１合成対象音の再生速度Ｖ1の変更の許可／禁止（第３実施形態）と、実時間基準で規定された第２合成対象音の再生速度Ｖ2の変更の許可／禁止（第２実施形態）とが、操作画面５０に対する利用者からの指示に応じて個別に選択される。すなわち、相異なる合成対象音に対応する複数の再生速度の各々について変更の許可／禁止を個別に指定する構成も好適である。例えば、トラック1からトラック3の３種類が併存する場合に、トラック1およびトラック3について再生速度の変更の許可を指示するとともにトラック2について再生速度の変更の禁止を指示することが可能である。

＜Ｄ：第４実施形態＞
第１実施形態では、例えば波形画像４４の各拍点指示子４４２と拍点軸Ｘb上の各基準指示子４０とが拍点軸Ｘb上で同期するように利用者が入力装置１４の操作でテンポｔ2を調整した。第４実施形態では、波形画像４４の各拍点指示子４４２が拍点軸Ｘb上の各基準指示子４０に合致する（クオンタイズされる）ようにテンポｔ2が自動的に（すなわち利用者による調整を必要とせずに）設定される。

利用者が第３領域３３内の速度調整区間４６を選択してテンポｔ2の変更を指示すると、表示制御部２６は、図１４の操作画面５０を表示装置１６に表示させる。第４実施形態の操作画面５０は、第１実施形態と同様のテンポｔ2の指定領域５２に加えて、テンポｔ2の自動的な調整を指示する操作子（「Quantize」コマンドボタン）５８を含んで構成される。利用者は、第１実施形態と同様に指定領域５２に対する操作でテンポｔ2を任意に調整するほか、操作子５８に対する操作でテンポｔ2の自動的な調整を指示することが可能である。

利用者がテンポｔ2の自動的な調整を指示すると、波形画像４４で表現される音響信号ＡWの各推定拍点（拍点指示子４４２）が拍点軸Ｘb上の各拍点（基準指示子４０）に合致するように、表示制御部２６が速度調整区間４６内の波形画像４４を拍点軸Ｘbの方向に伸縮するとともに制御処理部２２がテンポｔ2を設定する。具体的には、速度調整区間４６内の波形画像４４における特定の推定拍点（例えば速度調整区間４６内の最初の推定拍点）が、拍点軸Ｘb上で当該推定拍点に最も近い拍点に合致するように表示制御部２６が波形画像４４を伸縮し、速度調整区間４６内のテンポｔ2を制御処理部２２が波形画像４４の伸縮の度合に応じた数値に更新する。例えば、表示制御部２６が波形画像４４を伸長させるほどテンポｔ2が低下するように制御処理部２２はテンポｔ2を調整する。

第４実施形態においては、音響信号ＡWの推定拍点が拍点軸Ｘb上の各拍点に合致するようにテンポｔ2が自動的に調整されるから、利用者が編集画面３０を確認しながらテンポｔ2を調整する第１実施形態と比較して、合成音情報ＤSに応じた音響信号ＡSの拍点と波形情報ＤWに応じた音響信号ＡWの拍点とを容易に同期させることが可能である。また、テンポｔ2の自動的な調整に加えて、利用者によるテンポｔ2の指定も可能であるから、例えば、拍点指示子４２２が基準指示子４０に充分に接近するように利用者がテンポｔ2を調整してから操作子５８を操作して拍点指示子４２２と基準指示子４０とを合致させるといった運用も可能である。なお、以上の説明では第１実施形態を基礎としたが、テンポｔ2を自動的に調整する第４実施形態の構成は第２実施形態や第３実施形態にも同様に適用され得る。

＜Ｅ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。

（１）変形例１
合成音情報ＤSや波形情報ＤWや合成音情報ＤRの内容は適宜に変更される。例えば、合成音情報ＤSが合成対象音の音素の時系列や特徴量（例えば音高）の時間変化を拍点基準で指定する構成や、合成音情報ＤRが合成対象音の音高や発音期間を実時間基準で指定する構成も採用され得る。また、例えば音響信号ＡSや音響信号ＡRに付加される音響効果の度合の時間変化を波形情報ＤWが実時間基準で規定する構成も採用され得る。

以上の説明から理解されるように、前述の各形態における合成音情報ＤSは、第１音楽情報（第１合成対象音の音高ｓ1や発音文字ｓ2）を拍点単位で時系列に指定する第１時系列情報として包括される。他方、前述の各形態における波形情報ＤWや第２実施形態の合成音情報ＤRは、第２音楽情報を実時間単位で時系列に指定する第２時系列情報として包括される。第２音楽情報は、波形情報ＤWが指定する音響信号ＡWの各振幅値や、合成音情報ＤRが指定する第２合成対象音の情報（音素の識別情報ｒA1，発音期間ｒA2，特徴量ｒB2）を包含する概念である。

（２）変形例２
以上の各形態では、合成音情報ＤSと波形情報ＤWと合成音情報ＤRとを単一の記憶装置１２に格納したが、合成音情報ＤSと波形情報ＤWと合成音情報ＤRとを別個の記憶装置に格納した構成も採用される。すなわち、拍点基準の時系列情報（合成音情報ＤS）を記憶する要素（第１記憶手段）と実時間基準の時系列情報（波形情報ＤW，合成音情報ＤR）を記憶する要素（第２記憶手段）との別体／一体は本発明において不問である。また、第２実施形態や第３実施形態では波形情報ＤWは省略され得る。

（３）変形例３
以上の各形態では、音声合成部２４を含む音声合成装置１００を例示したが、音声合成部２４は省略され得る。例えば、表示制御部２６が音楽情報を表示装置１６に表示させる音楽情報表示装置としても本発明は実現され得る。音楽情報表示装置が表示する音楽情報を参照して生成された合成指示情報ＱBを別体の音声合成装置（音声合成部２４）に提供することで音響信号Ａが生成される。

１００……音声合成装置、１０……演算処理装置、１２……記憶装置、１４……入力装置、１６……表示装置、１８……放音装置、２２……制御処理部、２４……音声合成部、２６……表示制御部、３０……編集画面、３１……第１領域、３２……第２領域、３３……第３領域、３４……第４領域、４０……基準指示子、４２……対象音画像、４２２……音指示子、４４……波形画像、４４２……拍点指示子、４６……速度調整区間、５０……操作画面、５２……指定領域、５４……操作領域、５６……操作領域、５８……操作子、６０……対象音編集画面、６２T，６２B……音素列画像６２T、６４T，６４B……特徴量画像、α……編集点、Ｘb……拍点軸、Ｘt……実時間軸、Ｘp……音高軸、

Claims (5)

1. 第１音楽情報を拍点単位で時系列に指定する第１時系列情報を記憶する第１記憶手段と、
   第２音楽情報を実時間単位で時系列に指定する第２時系列情報を記憶する第２記憶手段と、
   テンポを可変に設定するテンポ設定手段と、
   前記第１時系列情報を示す第１時系列画像と前記第２時系列情報を示す第２時系列画像とを拍点単位の共通の拍点軸のもとで表示装置に表示させ、前記テンポ設定手段が設定するテンポに応じて前記第２時系列画像を前記拍点軸の方向に伸縮する表示制御手段と
   を具備する音楽情報表示装置。
2. 前記第２時系列情報は、振幅値を前記第２音楽情報として音響信号の時間波形を指定し、
   前記表示制御手段は、前記第２時系列情報から特定される推定拍点に対応する拍点指示子を前記第２時系列画像とともに前記拍点軸のもとで前記表示装置に表示させ、前記テンポ設定手段が設定するテンポに応じて前記各拍点指示子を前記拍点軸の方向に移動させる
   請求項１の音楽情報表示装置。
3. 前記第２時系列情報から特定される推定拍点が前記拍点軸上の各拍点に合致するように、前記表示制御手段が前記第２時系列画像を前記拍点軸の方向に伸縮するとともに前記テンポ設定手段がテンポを設定する
   請求項２の音楽情報表示装置。
4. 前記第２音楽情報の再生速度の変更の許可／禁止を選択し、前記再生速度の変更を許可した場合に、前記テンポ設定手段が設定するテンポに応じて前記第２音楽情報の時系列が時間軸上で伸縮するように前記第２時系列情報を変更し、前記再生速度の変更を禁止した場合には前記第２時系列情報を変更しない制御手段
   を具備する請求項１の音楽情報表示装置。
5. 前記制御手段は、前記第２音楽情報の再生速度の変更の許可／禁止を利用者からの指示に応じて選択する
   請求項４の音楽情報表示装置。
   

Images