JP2003263170A - 楽音波形分析方法及び楽音波形分析合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 高精度な楽音波形の分析を行う。 【解決手段】 図に示すような楽音波形を分析するとき
に、その振幅が最大値をとる点を特定ポイントし、該特
定ポイントから時間軸の正方向に時間窓を順次シフトさ
せながら、短時間フーリエ変換によりスペクトル解析を
行う。次に、前記特定ポイントから今度は時間軸の負方
向に時間窓を順次シフトさせながらスペクトル解析を行
う。各フレームで検出されたピークの軌跡を双方向に判
定することにより軌跡の追従を行う。また、倍音グルー
プ毎に異なる分析条件で前記スペクトル解析を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽音波形分析方法
及び楽音波形分析合成方法に関する。

【０００２】

【従来の技術】楽音合成の一つの方法として、楽音波形
を分析し、該分析することにより得られたもとの楽音波
形に含まれている周波数成分の信号を発生させてこれら
を加算することにより、楽音波形を合成する分析・
（再）合成（Analysis & (Re)Synthesis）方式が知られ
ている。この楽音波形分析合成方式においては、まず、
楽音波形をスペクトル解析してその楽音に含まれている
基音周波数およびその倍音周波数に対応する線スペクト
ル成分を抽出する。通常、このスペクトル解析は、時間
窓（ウインドウ）を用いたフーリエ変換による短時間ス
ペクトル解析を用いて行われている。すなわち、分析対
象となる楽音をサンプリングし、該楽音波形サンプルに
窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fouri
er Transform）を行い、該フーリエ変換出力の振幅デー
タからピークを成す全ての周波数位置を検出する。以上
の処理を、前記時間窓を移動しながら行い（短時間フー
リエ変換（ＳＦＦＴ：Short-time Fast Fourier Transf
orm））、各フレームにおけるピークを検出し、得られ
たピークのうち、軌跡を成すものを追跡する。そして、
得られた軌跡の中から所望のデータを選択し、その一つ
ひとつを正弦波合成し、加算することによりもとの楽音
波形のうち決定論的に得られる波形を合成する。そし
て、前記もとの楽音波形から前記決定論的に得られる波
形（Deterministic Wave）を減算することにより残差波
形（Residual Wave）を得る。

【０００３】前記決定論的に得られた波形は、前記軌跡
のデータをモディファイすることによりモディファイす
ることができ、前記残差波形はＥＱ（イコライザ）やＦ
ＦＴ他の信号処理によりモディファイすることができ
る。このようにしてモディファイされた決定論的に得ら
れる波形と前記残差波形とを加算することにより、所望
の楽音波形を得ることができる。なお、上記楽音波形の
分析は、上述したような楽音波形の合成のためだけでは
なく、楽器音の特徴と楽器の物理的性質との関連を明ら
かにするため、あるいは、楽器音の機械認識などのため
にも用いられている。

【０００４】図２０は、このような波形分析の結果得ら
れた前記ピークデータの一例を示す図である。この図に
示す例は、ピアノの中央ハ（Ｃ４，基音周波数は約２６
１．６３Ｈｚ）を分析したものであり、横軸は時間（単
位はｍｓ）、縦軸は周波数（単位はＨｚ）であり、前記
時間窓に対応する各フレーム毎に検出されたピークデー
タが点で表されている。また、横方向の細線は、前記基
音周波数およびその倍音の周波数を表している。この図
において、全ての点は独立に存在しており、図において
軌跡を描いている線を見てとることができるが、これが
つながっているとの情報はまだ得られていない。また、
線として見える部分以外はノイズであったり、非調和な
成分であったり、あるいは、ＦＦＴの窓関数のサイドロ
ーブが表示されているものとみなされる。このようなピ
ークデータから軌跡を成すデータを抽出するためには、
各フレームタイムにおける各ピーク点がどのように接続
しているかを判定することが必要である。このために、
一般に、各フレームで倍音関係にある成分をピッキング
することが行われている。すなわち、既知の基音周波数
ＦＢに対して、その整数倍、２×ＦＢ，３×ＦＢ，…の
周波数近辺で最大の振幅を持つ点を倍音であると判断
し、各フレーム毎に倍音データをピックアップしていく
方法がとられている。

【０００５】

【発明が解決しようとする課題】図２１は、前記図２０
における基音の２０ｍｓｅｃあたりを拡大した図であ
る。この図において、時間軸を右から左へ見ると、時刻
Ａにおいてピークは矢印の方向へつながるとするのが正
解であろう。しかしながら、上述した従来の方法では、
各フレーム各々で倍音周波数に最も近いものを選択する
という条件で追従が行われているため、時間Ａでａのピ
ークにつながるのか、それともｂのピークへつながるの
かが確定しないという問題点がある。

【０００６】また、図２２は、ピアノのＣ１（３２．７
０３Ｈｚ）の楽音ピークを上述した従来の方法で検出し
た結果を示す図である。このデータは、時間窓の幅（ウ
インドウサイズ）をＣ１の基本周期３０．５ｍｓの８
倍、２４４．６ｍｓとし、ウインドウの移動時間（ウイ
ンドウホップサイズ）を基本周期の１／８（３．８２ｍ
ｓ）として得たものである。また、図２３は、前記図１
２の高調波部分におけるのピークを拡大した図である。
なお、これらの図において、横軸は時間、縦軸は周波
数、横方向の細線は基音周波数およびその倍音を示して
いる。図２３をみると、高次の倍音の軌跡が倍音周波数
からかなり外れていることが判る。これは、例えば、８
倍音（２６１．６２Ｈｚ）の成分では、前述のウインド
ウ内に６４周期入ってしまうためであると考えられる。
短時間高速フーリエ変換（ＳＦＦＴ）の不確定性とし
て、周波数を正確に得ようとするにはある程度以上のウ
インドウサイズが必要である。３２．７０３Ｈｚ付近を
正確に検出するためには上述程度以上のウインドウサイ
ズが必要である。しかしウインドウが広いと時間分解能
が悪くなってしまうという問題点がある。一般に、ＳＦ
ＦＴの性質として一つのウインドウ内では周波数、振幅
が変化してもその情報を得ることができない。高調波成
分の方が変化が速いとするならば、８倍音は６４周期内
に周波数、振幅の揺らぎが生じていると考えられる。こ
の状況はさらに高調波であればあるほど顕著となる。

【０００７】そこで、このような問題点を防止するため
に、被解析信号をＢＰＦをかけることにより帯域分割
し、分割された帯域毎にウインドウサイズ、ウインドウ
のホップサイズを決めてＳＦＦＴする方法が行なわれて
いる。この方法は、図２４に示す楽音分析合成装置のよ
うに、ローパスフィルタ（ＬＰＦ）１０１、複数のバン
ドパスフィルタ（ＢＰＦ）１０２およびハイパスフィル
タ（ＨＰＦ）１０３を用いて被解析信号を複数の周波数
帯域に分割し、乗算器１０４を用いて帯域分割された各
周波数帯の信号にそれぞれ対応する時間窓を掛け、それ
ぞれ対応して設けられたＳＦＦＴ部１０５により各々の
帯域のスペクトル解析を実行し、各解析結果についてそ
れぞれ別個に設けられたピーク検出及びピーク追従処理
部１０６で前記ピークの軌跡の追従を行い、正弦波合成
部１０７において、前記それぞれの帯域において検出さ
れた軌跡に対応する正弦波を生成し、それらを合成して
前述した決定論的波形（Deterministic Wave）を出力す
るものである。

【０００８】しかし、この方法では、ＬＰＦ１０４、複
数のＢＰＦ１０２およびＨＰＦ１０３の位相特性を均一
に設計することが困難であり、このようにして解析した
結果得られた各倍音の軌跡から正弦波合成によりDeterm
inistic Waveを合成したとしても、被解析信号との間に
位相のずれが生じてしまい、被解析信号からDeterminis
tic Waveを減算するという方法ではResidual Waveは得
られないという問題点があった。

【０００９】すなわち、従来技術においては、基音周波
数が低く、高次倍音が豊富に含まれているような波形に
おいて、これを分離しようとする際、ＳＦＦＴの不確定
性により、基本周波数の周波数精度を上げようとしてウ
インドウサイズを大きくすると、高調波の変化に追従す
ることができなくなる。また、高調波の変化に追従しよ
うとしてウインドウサイズを小さくすると、基本周波数
の周波数精度が低くなってしまい、DeterministicとRes
idualの分離精度が悪くなるという問題点がある。

【００１０】そこで本発明は、各フレームにおけるピー
クの追従を正確に行うことのできる高精度の楽音分析方
法および装置を提供することを目的としている。また、
基本周波数が低く、高次倍音が豊富に含まれているよう
な波形であっても、高精度に分離することのできる楽音
波形分離方法および装置を提供することを目的としてい
る。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の楽音波形分析方法は、分析対象楽音波形サ
ンプルに対し順次シフトする時間窓を用いてフーリエ変
換を行うことにより前記時間窓の位置に対応する各フレ
ームにおけるピーク点を検出してスペクトル解析を行う
楽音波形分析方法において、当該分析対象楽音の複数の
倍音のグループ毎にそれぞれ対応して設定された分析条
件を用いて前記スペクトル解析を行うようにしたもので
ある。

【００１２】また、本発明の楽音波形分析合成方法は、
楽音波形から線スペクトル成分を抽出し、該抽出した線
スペクトル成分に対応する正弦波信号波形を生成して合
成し、前記楽音波形から前記合成した信号波形を減算し
た残差成分と前記合成した信号波形とを加算することに
より楽音を合成する楽音波形分析合成方法であって、前
記楽音波形を分析するとき、当該楽音波形の複数の倍音
のグループ毎にそれぞれ対応して設定された分析条件を
用いて前記楽音波形の分析を行い、該分析結果に基づい
て前記線スペクトル成分を抽出するようにしたものであ
る。さらに、前記倍音のグループに対応する前記残差成
分を抽出し、該残差成分を順次さらに異なるグループ対
応に分析するようにしたものである。

【００１３】

【発明の実施の形態】図１は、本発明の楽音分析方法が
実行される楽音分析合成装置のハードウエア構成の一例
を示すブロック図である。この図において、１はこの楽
音分析合成装置全体の制御を行うＣＰＵ、２はＣＰＵ１
が実行する各種制御プログラム、楽音分析プログラムお
よび楽音合成プログラムなどの各種プログラムを記憶す
るプログラムメモリ、３は各種制御情報、後述する各種
のデータの記憶および一時記憶領域（バッファ）やワー
クエリアとして使用されるデータメモリ、４は表示装
置、５はキーボードおよびポインティングデバイスなど
の入力装置、６は鍵盤などの演奏操作子、７は楽音を合
成する楽音合成部（シンセサイズユニット）、８は楽音
波形サンプルをアナログ信号に変換し、図示しないサウ
ンドシステムに出力するデジタルアナログ変換器（ＤＡ
Ｃ）である。また、９は電話回線、インターネット、Ｌ
ＡＮなどの通信ネットワーク１１と接続するためのネッ
トワークインターフェース回路、１０はシステムバスで
ある。なお、この図１に示したハードウエア構成におい
ては、楽音合成部７および演奏操作子６が設けられてい
るが、これらは必ずしも設けることが必要ではない。ま
た、図示していないが、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、
ＦＤなどの外部記憶媒体の駆動装置を接続してもよいこ
とは当然である。

【００１４】図２は、前記楽音合成部７の内部構成の例
を示す図であり、図２の（ａ）は、前述した各軌跡に対
応する周波数成分の波形を発生する複数個の正弦波波形
発生部を有する場合の一構成例を示す図である。図２の
（ａ）において、７１および７３は前記システムバス１
０を介して前記ＣＰＵ１に接続するためのインターフェ
ース回路、７２は正弦波波形演算部であり、図示するよ
うに複数の正弦波波形発生器ＳＷＧ１〜ＳＷＧｎが設け
られている。この複数の正弦波波形発生器ＳＷＧ１〜Ｓ
ＷＧｎは、前記楽音波形を分析して検出された各ピーク
点の軌跡の各々に対応した正弦波波形を生成するもので
ある。また、７４は残差波形演算部であり、前述した残
差波形（Residual Wave）を生成する。さらに、７５は
ミキサであり、前記正弦波波形演算部７２の出力と前記
残差波形演算部７４の出力とを合成して、合成楽音を前
記ＤＡＣ８に出力する。

【００１５】図２の（ｂ）は前記楽音合成部７の他の構
成例を示す図である。この図において、７６は前記ＣＰ
Ｕ１とのインターフェース回路、７７は波形メモリ、７
８は前記波形メモリ７７から波形データの読出を制御す
る位相発生部、７９は前記読み出された波形サンプルに
対して所望の加工を行う波形加工部である。この例にお
いては、前記楽音波形サンプルを分析して得られたピー
ク点の各軌跡に対応する正弦波波形の合成波形および前
記残差波形の合成波形が前記ＣＰＵ１によりソフトウエ
アにより演算生成され、前記波形メモリ７７に格納され
るようになされている。そして、当該楽音発生制御信号
に応じて、前記位相発生部７８により前記波形メモリ７
７から当該合成楽音信号波形が読み出され、波形加工部
７９を介して、前記ＤＡＣ８に出力されることなる。

【００１６】以下、本発明の楽音分析方法における波形
分析処理について説明する。図３は、前記図２０と同じ
ピアノのＣ４打鍵音の時間波形の一例を示す図である。
この波形を使ってピーク追従する場合を例にとって説明
する。図４は、波形分析処理を説明するためのフローチ
ャートである。なお、波形分析処理を実行するときに
は、分析対象波形の先頭からフレームを少しずつずらし
て、ピークを見つけ、すべてのピークを見つけてからピ
ークを追従することも当然可能であるが、すべてのフレ
ームの全てのピークデータを貯えておくためには、膨大
な記憶容量を必要とする場合がある。そこで、本発明に
おいては、分析フレーム毎に追従をチェックし、追従可
能なピークのみを記憶するようにしている。

【００１７】さて、波形分析処理が開始されると、ま
ず、ステップＳ１において、分析対象波形のサンプリン
グ処理が実行され、分析の対象となる楽器音のサンプリ
ングデータが前記データメモリ３に格納される。すなわ
ち、例えば、４４．１ｋＨｚのサンプリング周波数で分
析対象楽音波形がサンプリングされ、前記図３に示した
ような分析対象波形がデータメモリ３に格納される。次
に、ステップＳ２に進み、分析条件が入力されるととも
に分析の前処理が行われる。すなわち、前記ステップＳ
１において格納された分析対象データの振幅調整、イコ
ライズ処理、フィルタリング処理などが行われ、同時に
分析範囲の設定も行われる。

【００１８】続いて、ステップＳ３に進み、前記分析対
象データのエンベロープが最大となる時点（以下、アタ
ックマックスポイント（Attack Max Point）という）の
検出が行われる。これは、振幅レベルが最大となるアタ
ックマックスポイントでは、すべての追従が必要なピー
クが出揃っている可能性が大きいので、この時間波形の
振幅レベルが最大振幅を示す時間が窓サイズの中央位置
にくるようにして分析を開始するようにしているためで
ある。図３の例では、アタックマックスポイントはサン
プリング開始時点から４２．９ｍｓ後に見つけられる。
この実施の形態では、サンプリング周波数が４４．１ｋ
Ｈｚであるので、４２．９ｍｓは１８９２点目と求めら
れる。これにより、追従が必要なピークをもらすことな
く検出することが可能となる。

【００１９】次に、ステップＳ４に進み、分析窓の初期
設定などが行われる。一般に、ＦＦＴの窓サイズは波形
の基本周期の整数倍とするのが適切であり、例えば、８
倍とされる。前記図３に示したＣ４打鍵音は基音周波数
が２６１．６３Ｈｚであり、その１周期に含まれるサン
プルポイント数は、サンプリング周波数ｆｓを４４．１
ｋＨｚとしたとき、１６８．６点となる。したがって、
窓サイズは、この８倍、１３４８点（小数以下四捨五
入）となる。また、ＦＦＴサイズは、２のベキ数でなけ
ればならず、前述のように、このＦＦＴサイズが大きけ
れば大きいほど周波数分解能は向上する。しかし、あま
り大きすぎても計算時間がかかってしまうので、ここで
は、窓サイズを超える最少の２のベキ数を選ぶこととす
る。したがって、この例では、２０４８点と決定され
る。

【００２０】続いて、ステップＳ５に進み、フレーム位
置を計数するフラグｎを０に初期化する。そして、ステ
ップＳ６に進み、分析窓位置の設定を行う。前述のよう
に、アタックマックスポイントは１８９２点目であり、
窓サイズが１３４８点であるため、最初のフレームは１
２１８点目から２５６６点目となる。これを第０フレー
ムとする。続いて、ステップＳ７に進み、分析対象波形
の分析範囲が分析対象波形の分析範囲の最大値framemax
を超過したか否かを判定する。この判定結果がＮＯのと
きは、次のステップＳ８に進みＦＦＴ処理が実行され
る。また、この判定結果がＹＥＳのときは、ステップＳ
１５に進む。

【００２１】ステップＳ８においてＦＦＴ処理が実行さ
れ、ステップＳ９において、このＦＦＴ処理の結果から
ピークが求められる。このピークを求めた結果の例を図
５に示す。この第０フレームのそれぞれのピークをPK0-
1，PK0-2，…，PK0-M0と表すこととする。ここで、それ
ぞれのピークは、周波数(Frequency)、振幅(Magnitud
e)、位相(Phase)の３つの情報を有している。これをPK0
-1.Frequency，PK0-1.Magnitude，PK0-1.Phase，…と表
すこととする。なお、Ｍ０はフレーム０で検出されたピ
ークの総数である。これらのピークはリファレンス（Fr
ame n）として、前記データメモリ３中のバッファに格
納される。

【００２２】続いて、ステップＳ１０に進み、フレーム
番号ｎが０であるか否かが判定される。処理開始直後に
おいてはｎ＝０であるため、ステップＳ１０の判定結果
がＹＥＳとなり、前記ステップＳ１１が実行される。こ
のステップＳ１１において、前記バッファに格納された
Frame 0のデータは、前記データメモリ３に確保された
分析結果を格納するテーブル領域中の対応する個所TFra
me 0に格納される。また、ｎが０でないときは、ステッ
プＳ１２においてピーク追従処理が実行され、続いてス
テップＳ１３において、前記分析結果を格納するテーブ
ルに追従結果が格納される。この追従処理の詳細につい
ては後述する。

【００２３】図６は、分析の結果得られたピークに関す
る情報を格納するテーブルのイメージを示す図である。
この図に示すテーブルにおいて、行は線スペクトル成
分、列は解析された全フレームであり、各セルには各フ
レームにおいて検出されたピークの番号を示している。
なお、ここでは、周波数の低い方から順に各ピーク点に
番号を付している。前記ステップＳ１１により、このテ
ーブルのFrame 0の列に、前記ステップＳ９で得られた
各ピーク点の情報が書き込まれる。

【００２４】前述したように、各ピーク点にそれぞれ周
波数、振幅および位相の３つの要素が含まれており、実
際には、この図６に示した線スペクトル成分数×総フレ
ーム数のデータが３枚分作成されることとなる。前述し
た楽音合成時には、このテーブルを読み出して、各行に
対応して正弦波波形発生器を割り当て、フレーム進行に
伴い、各データ（周波数、振幅および位相）に基づいて
正弦波波形を発生させることとなる。なお、前後のスペ
クトルの発生消滅具合をみて、正弦波波形発生器のチャ
ンネルの割り当てを柔軟に行うようにすれば、楽音合成
時における処理効率を向上させることができ、また、複
音発生の差異の正弦波波形発生器の有効利用を図ること
ができる。例えば、図６に示した例においては、第ｘフ
レームで第１２番目のピークが消滅し、第ｙおよびｙ＋
１フレームで復活して現れているが、図６に示したよう
に、フレーム前後の割り当て状態を参照して、ピーク成
分の連続性を崩さない限り、空いているチャンネルを使
用するようにしてもよい。

【００２５】さて、前記ステップＳ１１あるいはＳ１３
の終了後に、前記フレーム番号ｎが１だけ増加され（ス
テップＳ１４）、再び、前記ステップＳ６に処理が戻
る。このステップＳ６の分析窓位置設定処理において
は、第ｎ＋１フレームに対応する分析窓位置が設定され
る。このとき、前記フレームが時間軸に沿って時間軸の
正方向に移動される。この実施の形態においては、移動
するサンプルデータ数を基本周期の１／８、すなわち、
２１点としている。したがって、例えば、第１フレーム
については、前述した第０フレームの分析窓位置（１２
１８点目〜２５６６点目）を２１点だけ時間軸の正方向
にずらした第１２３９点目〜２５８７点目が第１フレー
ムの分析窓位置として設定されることとなる。そして、
前記ステップＳ７、Ｓ８、Ｓ９が実行され、第１フレー
ムにおけるピークPK1-1，PK1-2，…，PK1-M1（Ｍ１は見
つかったピークの総数）が検出される。

【００２６】そして、この場合は、前記ステップＳ１０
の判定結果がＮＯとなり、ステップＳ１２のピーク追従
処理が実行される。ここでは、前記第０フレームにおい
て検出されたピーク（ピークのリファレンス０とこの第
１フレームにおいて検出されたピークとを後述する方法
によって双方向に比較し、追従結果を得る。この追従結
果として得られたつながっているピークのみをメモリの
前述したテーブルに格納していくと同時に、次のフレー
ムに対するリファレンスとする。図６に示した例におい
ては、第０フレームの１１という番号が付されたピーク
に接続されるピークが、第１フレームになかったことが
示されている。以下、このステップＳ６〜Ｓ１４の処理
を繰り返し、分析波形の分析範囲の最後までピーク追従
処理を実行する。このように、まず、第０フレームから
フレームを時間軸の正方向に順次ずらしながら、分析範
囲の最後の位置まで、ピーク追従処理が実行される。

【００２７】そして、分析範囲の最後まで到達すると、
前記ステップＳ７の判定結果がＹＥＳとなり、ステップ
Ｓ１５に進む。このステップＳ１５においては、前記フ
レーム番号ｎを−１に設定する。以下、前記第０フレー
ムから時間軸の負の方向に沿ってのピーク追従処理が開
始される。すなわち、ステップＳ１６において、分析窓
位置が設定される。このステップＳ１６における分析窓
位置の設定処理は、前記ステップＳ６における処理とは
異なり、時間を逆順に進めて行われる。すなわち、前述
のように、第０フレーム分析窓位置が２１点だけ時間軸
の負の方向にずらされ、第１１９７点目〜第２５４５点
目が第−１フレームの分析窓位置と設定される。そし
て、ステップＳ１７において分析範囲を超過したか否か
が判定され、この判定結果がＮＯのときはステップＳ１
８において、ＦＦＴ処理が実行される。そして、前述の
場合と同様にピーク検出処理が実行され（Ｓ１９）、ピ
ーク追従処理が実行される（Ｓ２０）。そして、追従結
果が前記テーブルに格納される（Ｓ２１）。そして、ス
テップＳ２２において、ｎ−１をあらたなｎとして、前
記ステップＳ１６以降の処理が繰り返し実行される。そ
して、前記分析範囲を超過した場合に、前記ステップＳ
１７の判定結果がＹＥＳとなり、この波形分析処理を終
了する。このとき、前記図６に示したテーブル中に分析
結果が得られていることとなる。

【００２８】次に、前記ステップＳ１２およびＳ２０に
おけるピーク追従処理について説明する。互いに隣り合
った第ｐフレームと第ｒフレームについてピーク追従処
理を行うものとする。まず、第ｐフレームにおいて検出
されたピークPKp-q（PKp-1，PKp-2，…，PKp-Mp）につ
いて、第ｒフレームのすべてのピークPKr-s（PKr-1，PK
r-2，…，PKr-Mr）とつながる可能性を計算する。この
可能性を示す値をCP（Connection Possibility）と名付
けることとする。CP(p-q,r-s)は、フレームｐ側から見
た、PKp-qとPKr-sとのつながる可能性を示す数値であ
る。このCPは次の式（１）により、計算することができ
る。 CP(p-q,r-s)＝FuncA(|PKp-q.Frequency-PKr-s.Frequency|)*FunkB(|PKp-q.Mag nitude-PKr-s.Magnitude|)*FuncC(PredictionPhase(sign(r-p),PKp-q,PKr-s)-PK r-s.Phase) …（１）。 ここで、FunkAは周波数について近いものを捜す関数
（周波数比較関数）である。図７にこの周波数比較関数
FuncAの一例を示す。この図において、横軸ｘは当該ピ
ークの周波数、縦軸は確率であり、Ｆは比較対象となる
ピークの周波数、ＦＢは当該楽音の基音周波数である。
この例に示すように、両者が全く同一の周波数のときに
１となり、全領域についての積分値が１となる関数を用
いればよい。また、FuncBは振幅について近いものを捜
す振幅比較関数である。図８は、この振幅比較関数の一
例を示す図であり、前記周波数比較関数と同様に、全く
振幅の差がないときに１となり、全領域についての積分
値が１となる関数である。楽音の場合、フレームの移動
距離が短いため、この間ではそれ程急峻な変化はないと
仮定している。

【００２９】さらに、FuncCは位相についての関数であ
る。また、次の式（２）に示すように、PredictionPhas
eは位相予測関数でフレームの移動方向の関数となり、
フレームｐの情報から予測されるフレームｒでの位相を
計算するものである。 PredictionPhase(sign(r-p),PKp-q,PKr-s)＝PKp-q.Phase+sign(r-p)2π*PKp-q .Frequency／SamplingFrequency*HopSize …（２）。 ここで、HopSizeはフレームの移動サンプル点数であ
り、この例では２１点となる。HopSize／SamplingFrequ
encyはフレームの移動サンプル時間を示しており、この
例では４．７６ｍｓである。この式（２）は、ｐフレー
ムで周波数がPKp-q.Frequencyであったとして、隣のフ
レームまでこれが変わらなかったとした場合、ｒフレー
ムの位相が何度であるのかを計算するものである。ま
た、sign(r-p)はフレームの移動方向で、正の場合には
位相は進み、負の場合には位相が戻ることを示してい
る。FuncCは位相間の距離が近いとき１となるような関
数であり、例えば、次の式（３）のような形式の比較関
数が用いられる。 FuncC(phase1-phase2)＝(1+cos(phase1-phase2))／2 …（３）。

【００３０】フレームｐでのｑ番目のピークについて、
ｒ側のすべてのピークに対するCP(p-q,r-1)，CP(p-q,r-
2)，…，CP(p-q,r-Mr)を計算し、CP値が最大となるピー
クがｐ側からｒ側を見たときに一番つながる可能性のあ
るピークであるということができる。図９は、PKp-1に
ついて計算した例を示す図である。この図９に示した例
においては、CP(p-1,r-1)が最大値となっているので、P
Kp-1はPKr-1と最もつながる可能性があると考えられ
る。なお、このときに前記CPの最小値を予め決定してお
き、例えば、すべてのCP値が０．００１以下の場合はつ
ながる可能性のあるピークがないとする方が現実的であ
る。この場合のピークはフレームｐで消滅したものと考
えられる。

【００３１】このようにして、フレームｐのすべてのピ
ークについて最もつながる可能性のあるフレームｒでの
ピークが見つかったとする。しかし、図１０に示すよう
な場合には、ｐ上での２つのピークがｒ上での１つのピ
ークにつながってしまう可能性がある。この図１０に示
した例では、PKp-3とPKp-4の２つがPKr-3に接続されて
しまう。そこで、本発明においては、今度はｒ側からｐ
側を見てもっともつながる可能性のあるピークを捜すよ
うにしている。この場合においても、前記式（１）に示
したCPを用いる。ただし、この場合には、前記Predicti
onPhaseの計算式が異なっている。すなわち、位相予測
関数PredictionPhaseは、時間的に逆方向を予測するも
のとなるため、sign(p-r)が負となり、次の式（４）の
ようになる。 PredictionPhase(sign(p-r),PKr-s,PKp-q)＝PKr-s.Phase-2π*PKr-s.Frequenc y／SamplingFrequency*Hopsize …（４）。

【００３２】このようにして得られるCP(r-s,p-1)，CP
(r-s,p-2)，…，CP(r-s,p-Mp)の値から最大のものを見
つけて、ｒ側からｐ側を見たときに一番つながる可能性
のあるピークを捜す。図１１はこの結果の一例を示す図
である。図示した例においては、PKr-3はPKp-4とつなが
る可能性が高いという結果が得られる。これにより、PK
p-4とPKr-3がつながっていると判断する。また、PKp-3
についてはフレームｐで消滅したと考えることができ
る。このように双方向からのマッチングをとるようにす
ることにより、最適なピークの接続を見い出すことが可
能となる。

【００３３】なお、前記図１０において、ｐ側からｒ側
を見たときに、PKp-3についてはCP(p-3,r-3)が最大値を
とり、PKp-4についてもCP(p-4,r-3)が最大値をとったと
する。すなわち、PKp-3とPKp-4がともにPKr-3につなが
る可能性があるということである。この場合、ｒ側から
ｐ側を見て再度CP(r-3,p-3)とCP(r-3,p-4)の値を計算す
るようにしてもよいが、これをCP(p-3,r-3)とCP(p-4,r-
3)で代用し、このうち大きい方を選ぶようにしてもよ
い。

【００３４】なお、前記ステップＳ２０において、第０
フレーム側から第−１フレームとのCP値を計算するとき
には、前記PredictionPhaseは時間的に逆方向を予想す
ることとなるため、前記式（４）で示した位相予測関数
を用いる。また、第−１フレームから第０フレームをみ
るときには、当然、式（２）の位相予測関数を用いるこ
ととなる。

【００３５】このようにして、分析対象波形の最初から
最後まで各フレームでの各ピークの接続が分かったもの
とする。図１２は、このようにして判定された結果の一
例を示す図である。この図において、一番最初にリファ
レンスとしたのは、前述のように、第０フレームのピー
クであり、このフレームのピークをすべて追従したこと
になる。もちろん、途中で消滅条件により消えてつなが
らなくなってしまったピークも含まれている。また、図
１２に示したピーク軌跡には、必要でないピークまで追
従対象に含まれてしまっている可能性もある。例えば、
ａで示したピークの軌跡は、不必要なものであると考え
られる。そこで、得られた結果を必要に応じてクリーニ
ングする。このクリーニングの条件は、１．ハーモニッ
クであること、２．全フレーム数に対してある程度以上
の長さを持つこと、である。この条件のうち、いずれか
一方でもよいし、あるいは、前記１と２のアンド条件で
あってもよい。図１３に、このようにしてクリーニング
した結果の一例を示す。

【００３６】また、あるピークの軌跡が途中で一部切れ
てしまっている場合もある。図１４はこのような場合の
例を示す図である。この図において、Ｍ番目のピーク軌
跡はＮ−１フレームで消滅し、Ｎ＋１フレームで生成さ
れているように見える。しかし、１つの軌跡は１つの正
弦波発振器に対応しており、軌跡が消滅した時点で対応
の正弦波発振器は未使用状態あるいは出力途絶、すなわ
ちＮ−１フレームとＮ＋１フレーム間で正弦波出力がぷ
っつりと切れてしまうということになってしまい、クリ
ックノイズの発生などの不都合が生じる恐れがある。こ
のような場合は、図１５に示すようにＮフレームに振幅
０のピークがあるように補って考え、一続きの軌跡と考
えるようにすればよい。あるいは、フレームＮ−１のピ
ークの情報とフレームＮ＋１のピークの情報を補間し、
フレームのピーク情報を作り出すようにすることもでき
る。前述した図１２において、ａで示した軌跡は、この
ようにして補間された例である。このような補間はリフ
ァレンスピークを次のように作ることにより実現するこ
とができる。すなわち、PKN-Mは実際には見つけられな
かったのであるから、振幅は０である。しかし、N-1の
ピークのデータから周波数と位相を予想することができ
る。そこで、一旦途切れてしまったピークのリファレン
スとして、周波数と位相の情報のみを持つピークとし
て、その情報を保持しておくようにする。これにより、
フレームＮへ接続できなかったピークについて、さもフ
レームＮにピークがあったかのようにリファレンスを作
成しＮ＋１の接続を行うようにすることが可能となる。

【００３７】さて、前述のように、従来のＳＦＦＴ処理
においては、ウインドウサイズを大きくすると基本周波
数の周波数精度は向上するものの高調波の変化に追従す
ることができなくなり、ウインドウサイズを小さくする
と基本周波数の周波数精度が悪くなってしまうという問
題点があった。このような問題点を解決する本発明の楽
音分析および合成処理について、図１６の処理の流れ図
および図１７の波形図を参照して説明する。

【００３８】図１６において、入力される被解析信号
は、第１の窓関数（Window Function1）と第１のホップ
サイズ（Window Hopsize 1）に基づいて設定される分析
窓（Window 1）と乗算され（ステップＳ３２）、第１の
短時間フーリエ変換（ＳＦＦＴ）が行われる（ステップ
Ｓ３３）。この第１の短時間フーリエ変換においては、
前述したと同様に、基本周波数から決定されるウインド
ウサイズ及びウインドウポップサイズによる分析が行わ
れる。

【００３９】そして、ステップＳ３４において、この第
１のＳＦＦＴの結果から第１のピーク検出及びピーク追
従処理が行われる。この第１のピーク検出及びピーク追
従処理においては、前述したと同様のピーク検出及びピ
ーク追従であるが、ここでは、基本周波数の８倍音以下
の周波数のピークを対象として、処理を行う。このステ
ップＳ３４の出力を第１の軌道情報と呼ぶ。続いて、ス
テップＳ３５に進み、該第１の軌道情報の正弦波合成を
実行し、第１の決定論的波形（DeterministicWave）を
出力する。図１７におけるは前記被解析信号の一例
（この例では、ピアノのＣ１の波形）であり、は前記
第１の決定論的波形を示している。なお、前記正弦波合
成は、前述のように、離散的な正弦波波形サンプルを生
成し、これらを加算することにより行ってもよいし、あ
るいは、複数個の正弦波波形発生器を用いて対応する正
弦波波形を発生させ、それらの出力を合成するようにし
てもよい。

【００４０】次に、このようにして得た第１のDetermin
istic Waveの極性を反転して（ステップＳ３６）、前記
被解析信号と加算する（ステップＳ３７）。これによ
り、第１の残余波形（Residual Wave）を得る。図１７
のは、この第１の残余波形の一例を示すものであり、
この第１の残余波形は、前記被解析信号と前記８倍音以
下の周波数を有するピークの軌跡から合成された第１の
Deterministic Waveとの差の信号である。次に、この第
１のResidual Waveについて、第２の窓関数（Window Fu
nction 2）と第２のウインドウホップサイズ（Window H
opsize 2）とにより設定される第２の窓関数（Window
2）を乗算し（ステップＳ３９）、第２の短時間フーリ
エ変換処理を実行する（Ｓ４０）。この第２のＳＦＦＴ
は、ウインドウサイズとして８倍音の周期の８倍、すな
わち、基本周期と同じサイズを用い、また、ウインドウ
のホップサイズは、８倍音の１／８、すなわち基本周波
数の１／６４として、分析を行う。このようなウインド
ウサイズ及びウインドウホップサイズを用いることによ
り、高い周波数成分についても精度のよいピーク検出及
び軌跡の追従が可能となる。そして、この第２のＳＦＦ
Ｔの出力から、８倍音以上の周波数成分について、ピー
ク検出及びピーク追従処理を実行し（Ｓ４１）、第２の
軌道情報を得る。次に、この第２の軌道情報から前述と
同様に正弦波合成を行い（Ｓ４２）、第２のDeterminis
tic Waveを得る。この第２のDeterministic Waveは、８
倍音以上の高調波成分についての合成信号である。

【００４１】このようにして得られた第２のDeterminis
tic Waveと前記ステップＳ３５で得られた第１のDeterm
inistic Waveとを合成して（ステップＳ４３）、最終的
な決定論的波形（Deterministic Wave）を得る。図１７
のは、この決定論的波形の一例を示している。このス
テップＳ４３における合成においては、前記第１の決定
論的波形Deterministic Waveと前記第２の決定論的波形
との加算が行われるが、前述のように、前記第１の決定
論的波形は基本周期の１／８のウインドウホップサイズ
間隔で得られた第１の軌道情報に基づいており、前記第
２の決定論的波形は基本周期の１／６４のウインドウホ
ップサイズ間隔で得られた第２の軌道情報に基づいてい
る。したがって、この２つのデータを加算するために
は、精度の細かい間隔にデータを合わせ込むことが必要
となる。すなわち、前記第１の決定論的波形のデータを
８倍に補間して１／６４の精度にあわせることが必要と
なる。

【００４２】前述のように、各ピークのデータは、それ
ぞれ振幅、周波数および位相の３つの情報を有してい
る。図１８は振幅情報および周波数情報の補間を説明す
るための図であり、この図に示すように、基本周期の１
／８の間隔で得られた第１の決定論的波形データのピー
クP1-1とP1-2との間を例えば直線補間して、P1-1-1，P1
-1-2，…，P1-1-7を得ることにより１／６４の精度の振
幅情報あるいは周波数情報とする。なお、補間方法とし
ては直線補間に限らず、合い前後する数点のデータをと
って多項式補間をしてもよい。また、位相情報について
は、基本周期の１／８の間隔で得られた第１の決定論的
波形データのピークP1-1の位相及び周波数のデータと、
ピークP1-2の位相及び周波数のデータを用いて、図１９
に示すような位相の回転を記述し、各点P1-1-1，P1-1-
2，…，P1-1-7の位相を読み取るようにすればよい。こ
のようにして、第１のDeterministic Waveと第２のDete
rministic Waveとの時間分解能を揃えてから、データの
加算を行うことができる。

【００４３】また、前記第２のDeterministic Waveの極
性を反転して（Ｓ４４）、前記第１のResidual Waveと
加算する（Ｓ４５）ことにより、図１７のに示すよう
な、最終的なResidual Waveを得ることもできる。この
図１７のから明らかなように、残余波形は立ち上がり
直後以外においては非常に低レベルなものとなってい
る。なお、上記においては、被解析信号の周波数帯域を
２分割した例を示したが、これに限られることはなく、
３分割、４分割等、それぞれの場合に応じた数に分割
し、上述の例と同様の方法で、実現することが可能であ
る。

【００４４】また、上記においては、分析対象楽音波形
について、まず、低次倍音グループについてＳＦＦＴを
実行し、当該正弦波合成波形との残差波形について、高
次倍音グループについてのＳＦＦＴを実行しているが、
これに限ることはない。例えば、分析対象楽音波形につ
いて、低次倍音グループについてのＳＦＦＴ処理と高次
倍音グループについてのＳＦＦＴ処理をそれぞれ実行
し、前記低次倍音グループに関する正弦波合成波形と前
記高次倍音グループに関する正弦波合成波形とを前記分
析対象楽音波形から減算することにより、残差波形を求
めるようにしてもよい。

【００４５】さらに、上記においては、分析時の波形演
算はソフトウエア処理で実行するものとして説明した
が、前記楽音合成部７における正弦波合成機能を用いて
波形演算を実行させるようにしてもよい。この場合は、
分析結果を正弦波合成部に与え、合成結果をその出力か
ら受け取るようにすればよい。さらにまた、前述した各
処理の実行部および楽音合成部などは、ハードウエアあ
るいはソフトウエアのいずれによっても実現することが
可能である。さらにまた、上記においては前記図１に示
したような構成を有する楽音分析合成装置において本発
明の楽音分析方法および楽音分析合成方法が実行される
ものとして説明したが、本発明の楽音分析方法及び楽音
分析合成方法は、これに限られることなく、パーソナル
コンピュータ等の汎用コンピュータ、電子楽器、ゲーム
マシン、カラオケ装置、スペクトルアナライザ等の計測
器など各種の装置において実行させることができるもの
である。

【００４６】

【発明の効果】以上説明したように、本発明の楽音分析
方法によれば、各フレームにおけるピークの追従を正確
に行うことができる。また、基本周波数が低く、高次倍
音が豊富に含まれているような波形であっても、精度よ
くスペクトル分析ができるという効果がある。

【図面の簡単な説明】

【図１】 本発明の楽音分析方法あるいは楽音分析合成
方法が実行される楽音分析合成装置の一構成例を示すブ
ロック図である。

【図２】 楽音合成部の構成例を示すブロック図であ
る。

【図３】 ピアノのＣ４打鍵音の時間波形の一例を示す
図である。

【図４】 波形分析処理を説明するためのフローチャー
トである。

【図５】 図３に示す時間波形についての分析結果の一
例である。

【図６】 分析結果を格納するテーブルの一例を示す図
である。

【図７】 周波数比較関数の一例を示す図である。

【図８】 振幅比較関数の一例を示す図である。

【図９】 隣接するフレーム間のピークがつながる可能
性の計算結果の一例を示す図である。

【図１０】 ピークのつながる可能性の計算結果の一例
を示す図である。

【図１１】 ピークのつながる可能性の計算結果の一例
を示す図である。

【図１２】 ピークのつながりを判定した結果の一例を
示す図である。

【図１３】 図１２の判定結果をクリーニングした結果
の一例を示す図である。

【図１４】 ピークの軌跡が途切れている場合を説明す
るための図である。

【図１５】 図１４の場合の補間処理について説明する
ための図である。

【図１６】 本発明における楽音分析および合成処理に
ついて説明するための流れ図である。

【図１７】 図１６に示した処理の各段階における波形
の一例を示す図である。

【図１８】 図１６に示した処理における楽音合成を説
明するための図である。

【図１９】 図１６に示した処理における楽音合成を説
明するための図である。

【図２０】 楽音波形の分析結果の一例を示す図であ
る。

【図２１】 図２０の一部を拡大した図である。

【図２２】 基音周波数が低く、高次倍音が豊富に含ま
れる楽音波形の分析結果の一例を示す図である。

【図２３】 基音周波数が低く、高次倍音が豊富に含ま
れる楽音波形の分析結果の一例を示す図である。

【図２４】 従来の楽音波形分析及び合成装置の一例を
示す図である。

【符号の説明】

１ ＣＰＵ、２ プログラムメモリ、３ データメモ
リ、４ 表示装置、５入力装置、６ 演奏操作子、７
楽音合成部、８ デジタルアナログ変換器、９ネットワ
ークインターフェース、１０ システムバス、１１ 通
信ネットワーク、７１、７３、７６ ＣＰＵインターフ
ェース回路、７２ 正弦波波形演算部、７４ 残差波形
演算部、７５ ミキサ、７７ 波形メモリ、７８ 位相
発生部、７９ 波形加工部、１０１ ローパスフィル
タ、１０２ バンドパスフィルタ、１０３ ハイパスフ
ィルタ、１０４ 乗算部、１０５ 短時間ＦＦＴ部、１
０６ ピーク検出およびピーク追従処理部、１０７ 正
弦波合成部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 分析対象楽音波形サンプルに対し順次シ
   フトする時間窓を用いてフーリエ変換を行うことにより
   前記時間窓の位置に対応する各フレームにおけるピーク
   点を検出してスペクトル解析を行う楽音波形分析方法に
   おいて、 当該分析対象楽音の複数の倍音のグループ毎にそれぞれ
   対応して設定された分析条件を用いて前記スペクトル解
   析を行うようにしたことを特徴とする楽音波形分析方
   法。
2. 【請求項２】 楽音波形から線スペクトル成分を抽出
   し、該抽出した線スペクトル成分に対応する正弦波信号
   波形を生成して合成し、前記楽音波形から前記合成した
   信号波形を減算した残差成分と前記合成した信号波形と
   を加算することにより楽音を合成する楽音波形分析合成
   方法であって、 前記楽音波形を分析するとき、当該楽音波形の複数の倍
   音のグループ毎にそれぞれ対応して設定された分析条件
   を用いて前記楽音波形の分析を行い、該分析結果に基づ
   いて前記線スペクトル成分を抽出するようにしたことを
   特徴とする楽音波形分析合成方法。
3. 【請求項３】 前記倍音のグループに対応する前記残差
   成分を抽出し、該残差成分を順次さらに異なるグループ
   対応に分析することを特徴とする請求項２記載の楽音波
   形分析合成方法。