JP6281211B2 - 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム - Google Patents

Description

本発明は、楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部のパートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント装置に関する。なお、以下の説明において、複数の演奏をそれぞれ構成する各楽音の発音タイミングの対応関係を単にアライメントと呼ぶ。

従来から、例えば、下記非特許文献１及び２に示されているように、音響信号のアライメント装置は知られている。非特許文献１に記載のアライメント装置では、まず、分析対象の楽曲の楽譜を表わす楽譜データ（例えば、Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）を構成する各発音情報（例えば、ノートオンデータ及びノートオフデータ）と、分析対象の第１の演奏及び第２の演奏をそれぞれ構成する各楽音とを対応づける。そして、楽譜データの発音情報と第１の演奏の各楽音との対応情報、及び楽譜データの発音情報と第２の演奏の各楽音との対応情報を用いて、第１の演奏と第２の演奏のアライメントを計算している。

また、非特許文献２に記載のアライメント装置では、動的時間伸縮法（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）を用いて第１の演奏と第２の演奏のアライメントを計算している。

Ｓｅｂａｓｔｉａｎ Ｅｗｅｒｔ，Ｍｅｉｎａｒｄ Ｍｕｌｌｅｒ，Ｐｅｔｅｒ Ｇｒｏｓｃｈｅ、「ＨＩＧＨ ＲＥＳＯＬＵＴＩＯＮ ＡＵＤＩＯ ＳＹＮＣＬＯＮＩＺＡＴＩＯＮ ＵＳＩＮＧ ＣＨＲＯＭＡ ＯＮＳＥＴ ＦＥＡＴＵＲＥＳ」、Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ２００９，ＩＣＡＳＳＰ ２００９，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ、ｐ．１８６９−ｐ．１８７２ Ｓｉｍｏｎ Ｄｉｘｏｎ，Ｇｅｒｈａｒｄ Ｗｉｄｎｅｒ、「ＭＡＴＣＨ： Ａ ＭＵＳＩＣ ＡＬＩＧＮＭＥＮＴ ＴＯＯＬ ＣＨＥＳＴ」、ＩＳＭＩＲ２００５，６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｓｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ、ｐ．４９２−ｐ．４９７

上記非特許文献１のアライメント装置によれば、分析対象の楽曲を表わす楽譜データが必要である。したがって、楽譜データが存在しない楽曲のアライメントを計算することができない。また、分析の第１段階として、楽譜データを構成する発音情報と分析対象の第１の演奏及び第２の演奏を構成する各楽音とが対応づけられる。そして、分析の第２段階において、前記第１段階の分析結果を用いて、第１の演奏と第２の演奏のアライメントが計算される。そのため、各分析段階の誤差が蓄積することによって分析精度が低下する虞がある。

また、上記非特許文献２のアライメント装置では、第１の演奏と第２の演奏の差（距離）を計算する際、対称性を有する距離尺度（例えば、ユークリッド距離）を用いている。これによれば、第１の演奏に含まれる演奏パート数と第２の演奏に含まれる演奏パート数がほぼ同じである場合には、両演奏を音響信号として評価したときの両者の差（距離）が小さいので、良好な分析結果が得られる。しかし、例えば所定の交響曲の全演奏パートの演奏と、前記全演奏パートのうちの一部の演奏パートのみの演奏とのアライメントを上記非特許文献２のアライメント装置を用いて計算した場合、各演奏を音響信号としてそれぞれ評価したときの両者の差（距離）が大きいので、アライメントを精度良く計算できない。

また、第１の演奏及び第２の演奏において共通する演奏パートの楽音の音高（チューニング）がずれている場合には、両者の距離が大きいと判断され、アライメントを精度良く計算できない。

本発明は上記問題に対処するためになされたもので、その目的は、楽譜データを用いることなく複数の演奏のアライメントを計算可能なアライメント装置、アライメント方法及びコンピュータプログラムであって、前記複数の演奏を音響信号として評価したときの差が大きくても高精度にアライメントを計算できるアライメント装置、アライメント方法及びコンピュータプログラムを提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。

上記目的を達成するために、本発明の特徴は、楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データ（ｄ１、ｄ２）を分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント装置（１０、２０）であって、前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトル（Ｘｐ（ｔｐ））と前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトル（Ｘｍ（ｔｍ））とからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値（Ｄ_{ｔｐ，ｔｍ}、Ｌ_{ｔｐ，ｔｍ}）を計算する評価値計算手段（Ｓ１２、Ｓ２２）と、前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算手段（１３、２３）と、を備えたアライメント装置としたことにある。なお、上記の「各楽音の発音タイミングを対応付ける」とは、前記第１及び第２の音響データを用いて前記第１及び第２の演奏を同時に再生する際に前記第１及び第２の演奏を同期させることができるように、各楽音の発音タイミングを対応付けることを意味する。

この場合、前記一組のスペクトルの類似性に関する評価値は、前記一組のスペクトルの距離（Ｄ_{ｔｐ，ｔｍ}）であり、前記尺度は、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも大きくなり、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも小さくなる非対称の距離尺度であり、前記一組のスペクトルの系列の評価値は、前記距離の総和であるとよい。なお、前記距離に単純増加関数（例えば指数関数）を適用し、前記距離の累積値を前記一組のスペクトルの系列の評価値とする場合も実質的には前記距離の総和を前記一組のスペクトルの系列の評価値とすることと同じである。したがって、上記の場合も本発明に含まれるものとする。

また、この場合、前記一組のスペクトルの類似性に関する評価値は、前記尺度に対応する確率分布における前記第２の演奏のスペクトルの観測尤度（Ｌ_{ｔｐ，ｔｍ}）であり、前記一組のスペクトルの系列の評価値は、前記第１の演奏のスペクトルと前記第２の演奏のスペクトルの組み合わせによって分類された状態の系列として記述された確率モデル（ＨＭＭ）の尤度であってもよい。

これによれば、第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有する場合には、第１の重みを付して類似性の評価値が計算される。一方、第２の演奏のスペクトルが第１の演奏のスペクトルに包含される場合、第１の重みよりも小さな第２の重みを付して類似性の評価値が計算される。これにより、第１の演奏と第２の演奏の包含関係をより的確に評価できる。すなわち、厳密に対称な尺度（つまり第１の重みと第２の重みが同じである尺度）を用いて前記一組のスペクトルの類似性に関する評価値を計算する場合に比べて、前記評価値をより的確に計算することができる。よって、第２の演奏が第１の演奏の部分集合であって、両者が音響信号としては大きく乖離している場合であっても、第１の演奏と第２の演奏とのアライメントをより精度良く計算できる。

また、本発明の他の特徴は、評価値計算手段は、前記一組のスペクトルのうちの第１の演奏のスペクトル及び第２の演奏のスペクトルのうちの一方の各周波数成分を他方の各周波数成分に対して相対的に周波数軸方向にシフトさせるピッチシフト手段と、前記各周波数成分のシフト量に応じた評価値を前記一組のスペクトルの類似性に関する評価値に加算する加算手段と、をさらに備えたことにある。なお、前記類似性に関する評価値に指数関数を適用した場合、前記各周波数成分のシフト量に応じた評価値が前記一組のスペクトルの類似性に関する評価値に積算される。この場合も実質的には前記各周波数成分のシフト量に応じた評価値が前記一組のスペクトルの類似性に関する評価値に加算されたものとみなす。

これによれば、第１の演奏のピッチと第２の演奏をピッチとが相対的にシフトされるとともにそのシフト量に応じたコストとしての距離が両スペクトルの距離として加算される。これにより、第１の演奏に対して第２の演奏のピッチが多少ずれていたとしても、第１の演奏と第２の演奏とのアライメントを精度良く計算できる。

分析対象の音響信号（音響データ）の構成を示す概念図である。 本発明の第１及び第２実施形態に係るアライメント装置の構成を示すブロック図である。 本発明の第１実施形態に係るアライメント装置のアライメントの計算手順を示すフローチャートである。 格子点の系列を示す概念図である。 第２の演奏のスペクトルが第１の演奏のスペクトルに包含されている状態を示すグラフである。 第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有する状態を示すグラフである。 本発明の第２実施形態に係るアライメント装置のアライメントの計算手順を示すフローチャートである。 状態の経路を示す概念図である。

（第１実施形態）
本発明の第１実施形態に係るアライメント装置１０について説明する。アライメント装置１０は、以下説明するように、楽曲の演奏をそれぞれ表わす２つの音響データｄ１及び音響データｄ２を用いて各演奏を再生する際にそれらを同期させることができるように、各演奏を構成する各楽音の再生タイミングを対応づける。なお、音響データｄ１，ｄ２は同一の楽譜に記載された１つ又は複数の演奏パートを演奏することにより発生された音をそれぞれ表わす音響信号をディジタルデータとしてそれぞれ記録したものである。音響データｄ１は前記楽曲の全演奏パートの演奏（以下第１の演奏と呼ぶ）を含み、音響データｄ２は、前記全演奏パートのうちの一部の演奏パートの演奏（以下第２の演奏と呼ぶ）のみを含む（図１参照）。図１の例では、分析対象とする音響データｄ１は、所定の楽曲の全演奏パートを演奏して発生された音響信号を記録したデータである。一方、音響データｄ２は、前記所定の楽曲のバイオリンの演奏パートのみを演奏して発生された音響信号を記録したデータである。

アライメント装置１０は、図２に示すように、入力操作子１１、コンピュータ部１２、表示器１３、記憶装置１４、外部インターフェース回路１５及びサウンドシステム１６を備えており、これらがバスＢＳを介して接続されている。

入力操作子１１は、オン・オフ操作に対応したスイッチ（例えば数値を入力するためのテンキー）、回転操作に対応したボリューム又はロータリーエンコーダ、スライド操作に対応したボリューム又はリニアエンコーダ、マウス、タッチパネルなどから構成される。これらの操作子は、演奏者の手によって操作されて、分析対象の音響データの選択、音響データの分析開始又は停止、選択した音響データを用いた演奏の再生又は停止（後述するサウンドシステム１６からの出力又は停止）、音響信号の分析に関する各種パラメータの設定などに用いられる。入力操作子１１を操作すると、その操作内容を表す操作情報が、バスＢＳを介して、後述するコンピュータ部１２に供給される。

コンピュータ部１２は、バスＢＳにそれぞれ接続されたＣＰＵ１２ａ、ＲＯＭ１２ｂ及びＲＡＭ１２ｃからなる。ＣＰＵ１２ａは、後述するアライメントの計算手順を表わしたプログラムをＲＯＭ１２ｂから読み出して実行する。ＲＯＭ１２ｂには、前記プログラムに加えて、初期設定パラメータ、表示器１３に表示される画像を表わす表示データを生成するための図形データ及び文字データなどの各種データが記憶されている。ＲＡＭ１２ｃには、前記プログラムの実行時に必要なデータが一時的に記憶される。

表示器１３は、液晶ディスプレイ（ＬＣＤ）によって構成される。コンピュータ部１２は、図形データ、文字データなどを用いて表示すべき内容を表わす表示データを生成して表示器１３に供給する。表示器１３は、コンピュータ部１２から供給された表示データに基づいて画像を表示する。例えば分析対象の音響データを選択する際には、選択可能な音響データのリストが表示器１３に表示される。

また、記憶装置１４は、ＨＤＤ、ＦＤＤ、ＣＤ、ＤＶＤなどの大容量の不揮発性記録媒体と、同各記録媒体に対応するドライブユニットから構成されている。記憶装置１４には、音響データｄ１，ｄ２が記憶されている。音響データｄ１，ｄ２は、前記所定の楽曲の演奏を所定のサンプリング周期（例えば１／４４１００ｓｅｃ）でサンプリングして得られた複数のサンプル値からそれぞれなり、各サンプル値が記憶装置１４における連続するアドレスに順に記録されている。各音響データｄ１，ｄ２には、データを識別するためのタイトル情報、容量を表わすデータサイズ情報なども含まれている。音響データｄ１，ｄ２は予め記憶装置１４に記憶されていてもよいし、後述する外部インターフェース回路１５を介して外部から取り込んでもよい。

外部インターフェース回路１５は、アライメント装置１０を電子音楽装置、パーソナルコンピュータなどの外部機器に接続可能とする接続端子を備えている。アライメント装置１０は、外部インターフェース回路１５を介して、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどの通信ネットワークにも接続可能である。

サウンドシステム１６は、音響データｄ１，ｄ２をアナログ音信号に変換するＤ／Ａ変換器、変換したアナログ音信号を増幅するアンプ、及び増幅されたアナログ音信号を音響信号に変換して出力する左右一対のスピーカを備えている。音響データｄ１又は音響データｄ２を用いた演奏の再生するよう指示されると、ＣＰＵ１２ａは、音響データｄ１又は音響データｄ２をサウンドシステム１６に供給する。これにより、ユーザは分析対象の演奏を試聴できる。

つぎに、上記のように構成したアライメント装置１０の動作（アライメントの計算手順）について説明する。本実施形態では、まず、図３に示すように、ステップＳ１０にてアライメントの計算処理が開始される。次に、ステップＳ１１にて、音響データｄ１及び音響データｄ２を用いて、それぞれの音響信号のスペクトログラムが計算される。以下の説明において、各音響信号における時刻（又はフレームの番号）を時刻ｔｍ（＝１，２，・・・・，ＴＭ）及び時刻ｔｐ（＝１，２，・・・・，ＴＰ）と記載する。音響データｄ１で表される音響信号のスペクトログラムを構成するスペクトルＸｍ（ｔｍ）の系列と、音響データｄ２で表される音響信号のスペクトログラムを構成するスペクトルＸｐ（ｔｐ）の系列との対応づけが、動的時間伸縮法を用いて計算される。図４に示すように、第１の演奏及び第２の演奏のそれぞれの時間軸を座標軸とする平面において、時刻ｔｐと時刻ｔｍとの対応関係は、前記平面上の格子点ｃ_{ｔｐ，ｔｍ}の系列として表現される。

具体的には、ステップＳ１２にて、スペクトルＸｐ（ｔｐ）とスペクトルＸｍ（ｔｍ）との距離Ｄ_{ｔｐ，ｔｍ}が、下記の式（１）に基づいて計算される。

なお、距離Ｄ_{ｔｐ，ｔｍ}が本発明の類似性に関する評価値に相当する。また、式（１）の第１項は、スペクトルＸｍ（ｔｍ）から見たスペクトルＸｐ（ｔｐ）の板倉斎藤距離に相当する。また、第１項における「Ｘｐ（ｆ，ｔｐ）」は、スペクトルＸｐ（ｔｐ）の周波数ｆにおける振幅（パワー）を表わす。また、「α」はピッチシフト量を表わす。つまり、「Ｘｍ（αｆ，ｔｍ）」はスペクトルＸｍ（ｔｍ）を構成する各周波数成分の周波数ｆをα倍した（すなわちピッチシフトした）スペクトルの周波数αｆにおける振幅（パワー）を表わす。また、式（１）の第２項は上記のピッチシフトに対するコストに相当する距離である。本実施形態では、前記ピッチシフトに対するコストに相当する距離は平均が「１」である対数正規分布に従うものとして定義される。

次に、ステップＳ１３にて、上記の距離Ｄ_{ｔｐ，ｔｍ}の総和を最小にするような格子点ｃ_{ｔｐ，ｔｍ}の系列が、非特許文献２と同様の動的時間伸縮法を用いて計算される。上記のようにして、第１の演奏と第２の演奏のアライメント（つまり、時刻ｔｐと時刻ｔｍの組み合わせの系列）が計算され、ステップＳ１４にてアライメント計算処理が終了する。

上記のように、第１の演奏は全パートの演奏であり、第２の演奏は一部のパートの演奏であるから、第２の演奏は第１の演奏の部分集合である。したがって、スペクトルＸｐ（ｔｍ）がスペクトルＸｐ（ｔｐ）との距離を計算するに際し、スペクトルＸｍ（ｔｍ）がスペクトルＸｐ（ｔｐ）に包含される場合（図５Ａ）に用いる重みを、スペクトルＸｍ（ｔｍ）がスペクトルＸｐ（ｔｐ）を超える周波数成分（図５Ｂにおいて斜線を付した部分）を有する場合に用いる重みよりも小さくするとよい。アライメント装置１０によれば、距離尺度として板倉斎藤距離を用いて、距離Ｄ_{ｔｐ，ｔｍ}が計算される。つまり、距離Ｄ_{ｔｐ，ｔｍ}を計算するに際し、第１の演奏のスペクトル及び第２の演奏のスペクトルの包含関係によって測定距離が異なるように、非対称の距離尺度を用いた。具体的には、第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき、第１の演奏のスペクトルから見た第２の演奏のスペクトルの距離が、第２の演奏のスペクトルから見た第１の演奏のスペクトルの距離よりも大きくなるような重み（本発明の第１の重み）が付され、第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき、第１の演奏のスペクトルから見た第２の演奏のスペクトルの距離が、第２の演奏のスペクトルから見た第１の演奏のスペクトルの距離よりも小さくなるような重み（本発明の第２の重み）が付されて距離Ｄ_{ｔｐ，ｔｍ}が計算される。したがって、厳密に対称な距離尺度を用いる場合に比べて、第１の演奏のスペクトルに対する第２の演奏のスペクトルの距離をより的確に表現することができる。よって、第２の演奏が第１の演奏の部分集合であって、両者が音響信号としては大きく乖離している場合であっても、第１の演奏と第２の演奏とのアライメントをより精度良く計算できる。

また、上記第１実施形態では、第２の演奏をピッチシフトさせるとともにそのシフト量に応じたコストとしての距離を両スペクトルの距離に加算した。これにより、第１の演奏のピッチに対して第２の演奏のピッチ（チューニング）が多少ずれていたとしても、第１の演奏と第２の演奏とのアライメントを精度良く計算できる。

なお、上記第１実施形態のステップＳ１３では、距離Ｄ_{ｔｐ，ｔｍ}の総和が最小となる格子点ｃ_{ｔｐ，ｔｍ}の系列が計算されているが、所定の基準値を満たすような格子点ｃ_{ｔｐ，ｔｍ}の系列が計算されても良い。例えば、格子点の遷移に対するコストを設定し、格子点の遷移に対するコストの総和と距離Ｄ_{ｔｐ，ｔｍ}の総和との合計が最小となる格子点ｃ_{ｔｐ，ｔｍ}の系列が計算されても良い。

また、上記第１実施形態では、距離Ｄ_{ｔｐ，ｔｍ}は式（１）に基づいて計算されるが、距離Ｄ_{ｔｐ，ｔｍ}は下記の式（２）に基づいて計算されても良い。なお、式（２）は、「α」に関する板倉斎藤距離の期待値を表わしている。

また、距離Ｄ_{ｔｐ，ｔｍ}は、式（１）に単調増加関数を適用した演算式に基づいて計算されてもよい。例えば、指数関数を適用した式（３）に基づいて計算されてもよい。

この場合、ステップＳ１３では、距離Ｄ_{ｔｐ，ｔｍ}の累積が最小となる格子点ｃの系列が計算される。

また、上記第１実施形態では、距離尺度として板倉斎藤距離を採用しているがこれに限られない。任意の値Ｘ及び非負の値ａに関して次の式（４）が成立するような凸関数から生成されるＢｒｅｇｍａｎダイバージェンスを距離尺度として採用すれば良い。例えば、一般化ＫＬダイバージェンスを採用しても良い。

上記第１実施形態では、第１の演奏のピッチをシフト可能に構成されているが、第２の演奏のピッチに対する第１の演奏のピッチを相対的にシフト可能に構成されていればよい。すなわち、第１の演奏のピッチに代えて、又は加えて、第２の演奏のピッチをシフト可能に構成されていても良い。

（第２実施形態）
次に、本発明の第２実施形態に係るアライメント装置２０について説明する。アライメント装置２０の構成は、アライメント装置１０の構成と同様であるので、その説明を省略する。アライメント装置２０の動作は、第１実施形態とは異なる。すなわち、第２実施形態では、実行されるプログラムが第１実施形態とは異なる。一般に、「Ｘ」から見た「Ｙ」の板倉斎藤距離の最小化は、期待値が「Ｘ」である指数分布において「Ｙ」を観測したときのＹの最尤推定と等価であることが知られている。そこで、第２実施形態では、スペクトルＸｐ（ｔｐ）が、スペクトルＸｍ（ｔｍ）を平均とする指数分布に従うものとする。そして、スペクトルＸｐ（ｔｐ）とスペクトルＸｍ（ｔｍ）との組み合わせで分類された状態の系列（すなわち、時刻ｔｐと時刻ｔｍとの対応付けの系列）として表わされた隠れマルコフモデルＨＭＭのうち、観測値としての時刻ｔｍの系列に対する尤度が所定の基準を満たすモデルを選択することにより、アライメントを計算する。

具体的には、図６に示すように、ステップＳ２０にてアライメントの計算処理が開始される。次にステップＳ２１にて、第１実施形態と同様に音響データｄ１及び音響データｄ２を用いて、それぞれの音響信号のスペクトログラムが計算される。そして、ステップＳ２２にて、前記計算されたスペクトログラムを構成するスペクトルＸｍ（ｔｍ）及びスペクトルＸｐ（ｔｐ）を用いて、観測尤度Ｌ_{ｔｐ，ｔｍ}が次の式（５）に基づいて計算される。つまり、前記指数分布の確率変数としてスペクトルＸｐ（ｔｐ）を代入して計算された値を観測尤度Ｌ_{ｔｐ，ｔｍ}とする。

なお、観測尤度Ｌ_{ｔｐ，ｔｍ}が本発明の類似性に関する評価値に相当する。また、本実施形態の隠れマルコフモデルＨＭＭにおける各状態間の遷移確率は次のように設定されている。すなわち、状態遷移において時刻ｔｐは必ず「１」だけ進むように設定されている。また、時刻ｔｐが「１」だけ進んだとき時刻ｔｍが「１」だけ進む確率を「ｕ」（０＜ｕ＜１）とし、時刻ｔｐが「１」だけ進んだとき時刻ｔｍが同じ時刻に留まる確率を「１−ｕ」とする。その他の状態遷移の確率は「０」である。したがって、隠れマルコフモデルＨＭＭにおける状態経路は図７のように表わされる。

各隠れマルコフモデルＨＭＭの尤度は、各経路上の状態における観測尤度Ｌ_{ｔｐ，ｔｍ}と各状態間の遷移確率の累積値として計算される。例えば、図７の太い実線で示される経路Ｒのモデルの尤度Ｃ_Ｒは、次の式（６）のように計算される。

次に、ステップＳ２３にて、上記の経路のうちの最尤の経路（つまり、尤度Ｃ_Ｒが最大となるモデル）がビタビアルゴリズムを用いて計算される。なお、この場合、「Ｌ_１，１＝１」且つ「Ｌ_{ＴＰ，ＴＭ}＝１」とするとよい。上記のようにして、第１の演奏と第２の演奏のアライメント（つまり、時刻ｔｐと時刻ｔｍの組み合わせの系列）が計算され、ステップＳ２４にてアライメント計算処理が終了する。

本実施形態では、スペクトルＸｐ（ｔｐ）が、スペクトルＸｍ（ｔｍ）を平均とする指数分布（つまり、板倉斎藤距離に対応する分布）に従うものとして、スペクトルＸｐ（ｔｐ）の観測尤度Ｌ_{ｔｐ，ｔｍ}を計算した。すなわち、スペクトルＸｍ（ｔｍ）がスペクトルＸｐ（ｔｐ）を超える周波数成分を有する場合には、第１の重みを付して観測尤度Ｌ_{ｔｐ，ｔｍ}が計算される。一方、スペクトルＸｍ（ｔｍ）がスペクトルＸｐ（ｔｐ）に包含される場合、第１の重みよりも小さな第２の重みを付して観測尤度Ｌ_{ｔｐ，ｔｍ}が計算される。これにより、厳密に対称な距離尺度に対応する分布を用いる場合に比べて、第１の演奏に対する第２の演奏の距離をより的確に表現することができる。よって、上記のように構成されたアライメント装置２０によっても、第１実施形態の効果と同様の効果が得られる。すなわち、第２の演奏が第１の演奏の部分集合であって、両者が音響信号としては大きく乖離している場合であっても、第１の演奏と第２の演奏とのアライメントをより精度良く計算できる。

なお、上記第２実施形態では第１実施形態とは異なり、第１の演奏と第２の演奏のピッチのずれが考慮されていない。しかし、第２実施形態においても、第１の演奏と第２の演奏のピッチのずれを考慮に入れるために、観測尤度Ｌ_{ｔｐ，ｔｍ}を下記の式（７）ように計算しても良い。

また、式（７）において、ピッチシフトに対するコストとしての尤度を減算してもよい。なお、式（７）では、第１の演奏のピッチをシフト可能に構成されているが、第２の演奏のピッチに対する第１の演奏のピッチを相対的にシフト可能に構成されていればよい。すなわち、第１の演奏のピッチに代えて、又は加えて、第２の演奏のピッチをシフト可能に構成されていても良い。

また、上記第２実施形態のステップＳ２３では、最尤の経路（つまり、尤度Ｃ_Ｒが最大となる経路）が計算されるが、所定の基準値を満たすような経路が計算されても良い。例えば、各時刻において尤度が最大である状態をそれぞれ選択してもよい。

また、上記第２実施形態では、板倉斎藤距離に相当する指数分布を用いているがこれに限られず、Ｂｒｅｇｍａｎダイバージェンスに相当する分布であれば採用可能である。例えば、一般化ＫＬダイバージェンスに対応するＰｏｉｓｓｏｎ分布を採用しても良い。

また、上記第２実施形態では、状態間の遷移確率を表わすために用いた「ｕ」は定数であるが、これに限られない。例えば、「ｕ」を確率変数とするベルヌーイ分布を事前分布としておき、状態系列の最大事後確率推定を実行すると観測値に対して適切な「ｕ」が決定されるように構成しても良い。

また、観測尤度Ｌ_{ｔｐ，ｔｍ}の対数をとって対数観測尤度とするとともに、状態間の遷移確率を対数遷移確率とすれば、経路Ｒの尤度Ｃ_Ｒは、経路Ｒ上の各状態の対数観測尤度と各状態間の対数遷移確率の総和として計算される。

１０，２０・・・アライメント装置、１２・・・コンピュータ部、ｄ１，ｄ２・・・音響データ、Ｌ_{ｔｐ，ｔｍ}・・・観測尤度、Ｃ_Ｒ・・・尤度、Ｘｐ，Ｘｍ・・・スペクトル、Ｒ・・・経路、ＨＭＭ・・・隠れマルコフモデル

Claims (6)

1. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント装置であって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算手段と、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算手段と、
   を備えたことを特徴とするアライメント装置。
2. 請求項１に記載のアライメント装置において、
   前記評価値計算手段は、
   前記一組のスペクトルのうちの第１の演奏のスペクトル及び第２の演奏のスペクトルのうちの一方の各周波数成分を他方の各周波数成分に対して相対的に周波数軸方向にシフトさせるピッチシフト手段と、
   前記各周波数成分のシフト量に応じた評価値を前記一組のスペクトルの類似性に関する評価値に加算する加算手段と、をさらに備えたことを特徴とするアライメント装置。
3. 請求項１又は２に記載のアライメント装置において、
   前記一組のスペクトルの類似性に関する評価値は、前記一組のスペクトルの距離であり、
   前記尺度は、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも大きくなり、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき、前記第１の演奏のスペクトルから見た前記第２の演奏のスペクトルの距離が、前記第２の演奏のスペクトルから見た前記第１の演奏のスペクトルの距離よりも小さくなる非対称の距離尺度であり、
   前記一組のスペクトルの系列の評価値は、前記距離の総和であることを特徴とするアライメント装置。
4. 請求項１又は２に記載のアライメント装置において、
   前記一組のスペクトルの類似性に関する評価値は、前記尺度に対応する確率分布における前記第２の演奏のスペクトルの観測尤度であり、
   前記一組のスペクトルの系列の評価値は、前記第１の演奏のスペクトルと前記第２の演奏のスペクトルの組み合わせによって分類された状態の系列として記述された確率モデルの尤度であることを特徴とするアライメント装置。
5. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント方法であって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算ステップと、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算ステップと、
   を含むことを特徴とするアライメント方法。
6. 楽曲を構成する複数の演奏パートを演奏した第１の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第２の演奏をそれぞれ表わす音響信号をそれぞれ記録した第１及び第２の音響データを分析して、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント処理をコンピュータに実行させるコンピュータプログラムであって、
   前記第２の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルと前記第１の演奏のスペクトログラムを構成する複数のスペクトルのうちの１つのスペクトルとからなる一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルを超える周波数成分を有するとき第１の重みが付され、前記一組のスペクトルのうちの第２の演奏のスペクトルが第１の演奏のスペクトルに包含されるとき前記第１の重みよりも小さな第２の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算ステップと、
   前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第１及び第２の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算ステップと、
   を含む処理をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images