JPH01219626A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に、ピッチ情報から音響信号を同一音程とみなせ
る区間に区分するセグメンテーション処理に関するもの
である。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及びパワー情報から音響信号
を同一音程とみなせる区間（セグメント）に区分しくか
かる処理をセグメンテーションと呼ぶ）、次いで、ピッ
チ情報及び又はパワー情報から各セグメントの音響信号
の絶対音程軸にそっな音程を決定し、また、ピッチ情報
の分布情報に基づいて音響信号の調を決定し、さらに、
セグメントに基づいて音響信号の拍子及びテンポを決定
するという順序で各情報を得ていた。

従って、音程、拍子、テンポ等は、セグメント（音長）
に基づき決定されるので、セグメンテーション処理は、
特に楽譜データを作成する上で重要なものとなっている
。

［発明が解決しようとする課題］ ところで、音響信号、特に人によって発声された音響信
号は、音程が安定しておらず、音程の揺らぎが多い。そ
のなめ、ピッチ情報に基づくセグメンテーションを良好
に行なうことは難しかった。

また、楽器から発生された音響であっても、音響を電気
信号に変換する音響信号入力装置が周りの雑音をも捕ら
えているため、これがピッチ情報に入り込み、ピッチ情
報に基づくセグメンテーションを難しくしている場合が
あった。

上述のように、セグメンテーションは楽譜データを作成
する上で重要な要素であり、必要に応じてパワー情報に
基づくセグメンテーション結果とから最終的なセグメン
テーションを行なうとはいえ、このようにピッチ情報に
基づくセグメンテーションの精度が低いと、最終的に得
られる楽譜データの精度も著しく低くなる。

本発明は、以上の点を考慮してなされたもので、音響信
号の揺らぎや突発的な外部音の影響を受けることなく、
ピッチ情報に基づいたセグメンテーションを良好に実行
することができ、最終的な楽譜データの精度を一段と向
上させることのできる自動採譜方法及び装置を提供しよ
うとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号からそのピッチ情報を抽出する処理
と、抽出されたピッチ情報から音響信号を同一音程とみ
なせる区間に区分するセグメンテーション処理とを少な
くとも含み、音響信号を楽譜データに変換する自動採譜
方法において、セグメンテーション処理が、ピッチ情報
がある音程幅で続く連の長さを各サンプリング点につい
て計数し；計数された連の長さが所定値以上の連続する
区間を検出し；検出された各区間について、最大の連の
長さを有するサンプリング点を代表点として抽出し：隣
り合う２つの代表点のピッチ情報の差が所定値以上の差
を有するとき、代表点間のピッチ情報の変化量が最大の
サンプリング点で音響信号を区分する処理からなるよう
にした。

また、第２の本発明においては、入力されな音音信号か
らそのピッチ情報を抽出するピッチ抽出手段と、抽出さ
れたピッチ情報から音響信号を同一音程とみなせる区間
に区分するセグメンテーション手段とを少なくとも備え
、音響信号を楽譜データに変換する自動採譜装置におい
て、セグメンテーション手段が、ピッチ情報がある音程
幅で続く連の長さを各サンプリング点について計数する
連の長さ計数部と；計数された連の長さが所定値以上の
連続する区間を検出する区間検出部と：検出された各区
間について、最大の連の長さを有するサンプリング点を
代表点として抽出する代表点抽出部と；隣り合う２つの
代表点のピッチ情報の差が所定値以上の差を有するとき
、代表点間のピッチ情報の変化量が最大のサンプリング
点で音響信号を区分する音響信号区分部とで構成した。

［作用］ 第１及び第２のの本発明共に、ピッチ情報から同一音程
とみなせる区間を区分するにつき、音響信号の揺らぎや
突発的な外部音の影響を受けないように、ピッチ情報が
ある音程幅で続く連の長さという特性値を用いて区分す
るようにした。

すなわち、第１の本発明においては、各サンプリング点
について連の長さを計数し、所定値以上の連の長さを有
する連続区間で最大の連の長さを有するサンプリング点
を検出し、この検出された隣合うサンプリング点間のピ
ッチ情報の変化が十分に大きいとき変化が最も大きいサ
ンプリング点を音響信号の区分点とした。

また、第２の本発明においては、ピッチ情報がある音程
幅で続く連の長さを連の長さ計数部によって各サンプリ
ング点について計数し、計数された連の長さが所定値以
上の連続区間を区間検出部によって検出し、検出された
各区間について、代表点抽出部によって最大の連の長さ
を有するサンプリング点を代表点として抽出し、隣り合
う２つの代表点のピッチ情報の差が所定値以上の差を有
するとき、音響信号区分部によって代表点間のピッチ情
報の変化量が最大のサンプリング点で音響信号を区分す
るようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

１飲採譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第４図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２゛を介して
接続されている主記憶装置３に格納されている第５図に
示す採譜処理プログラムを実行するものである。バス２
には、ＣＰＵＩ及び主記憶装置３に加えて、入力装置と
してのキーボード４、出力装置としての表示装置５、ワ
ーキングメモリとして用いられる補助記憶装置６及びア
ナログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第５図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また音響信号を
２乗和処理してパワー情報を抽出し、その後ノイズ除去
や平滑化処理等の後処理を実行する（ステップＳＰＩ、
５Ｐ２）。その後、ＣＰＵＩは、ピッチ情報については
、絶対音程軸周りの分布状況を検出して絶対音程軸に対
する音音信号のずれ量を算出し、得られたピッチ情報を
そのずれｉに応じてシフトさせるチューニング処理を実
行する（ステップ５Ｐ３）。すなわち、音響信号を発生
した歌唱者または楽器の音程軸と絶対音程軸との差が小
さくなるようにピッチ情報を゛修正する。

次いで、ＣＰＵ１は、得られたピッチ情報が同−音を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分けるセグメン
テーションを実行し、また、得られたパワー情報の変化
に基づいてセグメンテーションを実行する（ステップＳ
Ｐ４．５Ｐ５）。

これら得られた両者のセグメント情報に基づいて、ＣＰ
ＩＪＩは、４分音符や８分音符等の時間長に相当する基
準長を算出してこの基準長に基づいて再度セグメンテー
ションを実行する（ステップ５Ｐ６）。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのセグメント内のピ
ッチ情報が最も近いと判断できる絶対音程軸上の音程に
そのセグメントの音程を同定し、さらに、同定された連
続するセグメントの音程が同一か否かに基づいて再度セ
グメンテーションを実行する（ステップＳＰ？、５Ｐ８
）。

その後、ＣＰＵＩは、各セグメントについてのピッチ情
報で捕らえた音程の出現頻度と、調に応じて定まる所定
の重み付は係数との積和を求めてこの積和の最大情報に
基づいて、例えば、ハ長調やイ短調というように入力音
響信号め楽曲の調を決定し、決定された調において隣り
合う音の音程差が小さい同定された音程についてその音
程をピッチ情報について見直して音程を確認、修正する
（ステップＳＰ９．５ＰＩＯ＞。次いで、ＣＰＵ１は、
最終的に決定された音程から連続するセグメントについ
て同一なものがあるか否か、また連続するセグメント間
でパワーの変化があるか否かに基づいてセグメンテーシ
ョンの見直しを実行し、最終的なセグメンテーションを
行なう（ステップ５ＰＩＩ）。

このようにして音程及び音長（セグメント）が決定され
ると、ＣＰＵＩは、楽曲は１拍目から始まる、フレーズ
の最後の音は次の小節にまたがらない、小節ごとに切れ
目がある等の観点から小節を抽出し、この小節情報及び
セグメンテーション情報から拍子を決定し、この決定さ
れた拍子情報及び小節の長さからテンポを決定する（ス
テップ５Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４＞。

ピッ　　　に　づ　セ　メンー−９９７次に、このよう
な自動採譜方式におけるピッチ情報に基づくセグメンテ
ーション処理（ステップＳＰ４参照）について、第１図
及び第２図のフローチャートを用いて詳述する。

なお、第１図はかかる処理を機能レベルで示すフローチ
ャートであり、第２図は第１図をより詳細に示すフロー
チャートである。

ＣＰＵＩは、分析周期毎の全てのサンプリング点につい
て、得られたピッチ情報から連の長さを算出する（ステ
ップ５Ｐ２０）−０ここで、連の長さとは、第３図に示
すように着目点Ｐ１のピッチ情報を中心として対称な狭
い所定範囲Ｒ１のピッチ情報の値をとる連続した期間Ｒ
ＵＮをいう。歌唱者等から発生された音響信号は、所定
期間ずつ一定の音程を収る音を意図されて発生されてい
るので、揺らぎを有するとはいえ、同一音程を意図して
いる期間では、その期間のピッチ情報の変化は狭い範囲
に存在すると考えられ、連の長さＲＵＮは同一音程期間
を捕らえる目安となる。

次いで、ＣＰＵＩは連の長さが所定値以上のサンプリン
グ点の連続する区間を算出する（ステップｓｐ２１　）
。これによりピッチ情報の変化による影響を除去してい
る。その後、ＣＰＵＩは算出された各区間について、最
大の連の長さを有するサンプリング点を代表点として抽
出する（ステップ５Ｐ２２＞。

そして、最後に、ＣＰＵＩは隣り合う２つの代表点のピ
ッチ情報の差（音高の差）が所定値以上の差を有すると
き、代表点間のピッチ情報の変化量をその間にある各サ
ンプリング点について求め、変化量が最大のサンプリン
グ点で音響信号をセグメントする（ステップ５Ｐ２３＞
。

かくして、音響信号の揺らぎに対して影響を受けずに、
また、突発的な外部音に影響を受けずにピッチ情報に基
づいてセグメンテーションを実行することができる。

次に、かかる処理を第２図に基づいてさらに詳述する。

まず、ＣＰＵＩは、分析周期毎の全てのサンプリング点
１　（１＝Ｑ〜Ｎ）について連の長さｒ”ｕｎ（ｔ）を
算出する（ステップ５Ｐ３０）。

次いで、処理対象のサンプリング点を指示するパラメー
タｔをＯクリアした後、全てのサンプリング点について
処理を終了していないことを確認して処理対象のサンプ
リング点ｔの連の長さｒｕｎ（ｔ）が閾値θｒより小さ
いか否かを判断する（ステップ５Ｐ３１〜３３）。その
結果、連の長さｒｕｎ　（ｔ）が不十分であると判断す
ると、パラメータｔをインクリメントして上述のステッ
プ５Ｐ３２に戻る（ステップ５Ｐ３４）。

このような処理を繰返すことにより、やがて、連の長さ
ｒｕｎ　（ｔ）が閾値θｒより長いサンプリング点が処
理対象となり、ステップ５Ｐ３３において否定結果が得
られる。このときには、ＣＰＵ１はそのパラメータｔを
パラメータＳとして格納して連の長さｒｕｎ　（ｔ）が
閾値０１以上になった開始点としてマークした後、全て
のサンプリング点について処理を終了していないことを
確認して処理対象のサンプリング点ｔの連の長さｒｕｎ
（ｔ）が閾値θｒより小さいか否かを判断する（ステッ
プ５Ｐ３５〜３７）。その結果、連の長さｒｕｎ　（ｔ
）が十分であると判断すると、パラメータｔをインクリ
メントして上述のステップ５Ｐ３６に戻る（ステップ５
Ｐ３８）。

このような処理を繰返すことにより、やがて、連の長さ
ｒｕｎ　（ｔ）が閾値θｒより短いサンプリング点が処
理対象となり、ステップ５Ｐ３７において肯定結果が得
られる。かくして、連の長さｒｕｎ　（ｔ）が閾値θｒ
より長い連続する区間、すなわち、マーク点Ｓから一つ
前の処理サンプリング点ｔ−１までの区間が検出され、
ＣＰＵ１はこの区間のサンプリング点のうち最大の連の
長さを与える点に代表点としての印を付す（ステップ５
Ｐ３９）。なお、かかる処理が終了すると、上述のステ
ップ５Ｐ３２に戻って連の長さｒｕｎ（１）が閾値０１
以上である次の連続区間の検出処理を行なう。

このようにして、全てのサンプリング点の処理が終了し
て連の長さｒｕｎ　（ｔ）が閾値０１以上である連続区
間の検出及び代表点への印づけを終了すると、ＣＰＵＩ
は再度パラメータｔをＯクリアした後、全てのサンプリ
ング点について処理を終了していないことを確認して処
理対象のサンプリング点ｔに代表点としての印が付され
ているか否かを判断する（ステップ５Ｐ４０〜４２）。

付されていない場合には、パラメータｔをインクリメン
トして上述のステップ５Ｐ４１に戻る（ステップ５Ｐ４
３＞。

このような処理を繰返すことにより、やがて、印が付さ
れたサンプリング点が処理対象となり、最初の代表点が
見付は出され、ＣＰＵＩはパラメータＳとしてこの値ｔ
を格納してマークし、さらにパラメータｔをインクリメ
ントし、全てのサンプリング点について処理を終了して
いないことを確認して処理対象のサンプリング点ｔに代
表点としての印が付されているか否かを判断する（ステ
ップ５Ｐ４４〜４７）。付されていない場合には、パラ
メータｔをインクリメントして上述のステップ５Ｐ４４
に戻る（ステップ５Ｐ４８）。

このような処理を繰返すことにより、やがて、印が付さ
れたサンプリング点が処理対象となって次の代表点ｔが
見付は出される。このときには、ＣＰＵＩはこれら隣り
合う代表点ｓ、ｔのピッチ情報の差が閾値θｐより小さ
いか否かを判断し、小さい場合には、上述のステップ５
Ｐ４４に戻って次に隣り合う代表点を見付は出す処理に
進み、他方、差が閾値００以上の場合には、代表点間の
ピッチ情報の変化量をその間にある各サンプリング点ｓ
　−ｔについて求め、変化量が最大のサンブリング点に
セグメントの印を付す（ステップ５Ｐ４９〜５１）。

かかる処理を繰返すことで、代表点間に次々とセグメン
トの印が付されていき、やがてステップ５Ｐ４６におい
て肯定結果が得られて当該処理が終了される。

従って、上述の実施例によれば、ピッチ情報が狭い範囲
に存在する長さを表す連の長さを用いてセグメンテーシ
ョンを実行しているので、音響信号に揺らぎがあっても
、また突発的な外部音が含まれていても良好にセグメン
テーションを実行することができる。

應Ｏ実施胴 なお、上述の実施例においては、自己相関分析によって
得られたピッチ情報をセグメンテーション処理するもの
を示したが、−ピッチ情報の抽出方法はこれに限られな
いことは勿論である。

また、上述の実施例においては、第５図に示す全ての処
理をＣＰＵＩが主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第４図との対応部分に同一符号を付した第
６図に示すように、音響信号入力装置８からの音響信号
を増幅回路１０を介して増幅した後、さらに前置フィル
タ１１を介してアナログ／デジタル変換器１２に与えて
デジタル信号に変換し、このデジタル信号に変換された
音響信号を信号処理プロセッサ１３が自己相関分析して
ピッチ情報を抽出し、また２乗和処理してパワー情報を
抽出してＣＰＵ１によるソフトウェア処理系に与えるよ
うにしても良い。

このようなハードウェア構成（１０〜１３）に用いられ
る信号処理プロセッサ１３としては、音声帯域の信号を
リアルタイム処理し得ると共に、ホストのＣＰＵＩとの
インタフェース信号が用意されているプロセッサ（例え
ば、日本電気株式会社製μＰ　Ｄ　７７２０）を適用し
得る。

［発明の効果］ 以上のように、本発明によれば、ピッチ情報がある音程
幅で続く連の長さを分析周期毎のサンプリング点につい
て計数し、連の長さが所定値以上の連続する区間を検出
し、検出された各区間について、最大の連の長さを有す
るサンプリング点を代表点として抽出し、隣合う２つの
代表点のピッチ情報の差が所定値以上の差を有するとき
、代表点間のピッチ情報の変化量をその間にある各サン
プリング点について求め、変化量が最大のサンプリング
点で音響信号をセグメントするようにしたので、音響信
号に揺らぎがあっても、また突発的な外部音が含まれて
いても良好にセグメンテーションを実行することができ
、最終的な楽譜データとして精度の良いものを得ること
ができる。

【図面の簡単な説明】

第１図及び第２図は本発明の一実施例にかかるピッチ情
報に基づくセグメンテーション処理を示すフローチャー
ト、第３図は連の長さの説明に供する路線図、第４図は
本発明を適用する自動採譜方式の構成を示すブロック図
、第５図はその自動採譜処理を示すフローチャート、第
６図は自動採譜方式の他の構成を示すブロック図である
。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号からそのピッチ情報を抽出す
   る処理と、抽出されたピッチ情報から上記音響信号を同
   一音程とみなせる区間に区分するセグメンテーション処
   理とを少なくとも含み、上記音響信号を楽譜データに変
   換する自動採譜方法において、 上記セグメンテーション処理が、 上記ピッチ情報がある音程幅で続く連の長さを各サンプ
   リング点について計数し、計数された連の長さが所定値
   以上の連続する区間を検出し、検出された各区間につい
   て、最大の連の長さを有するサンプリング点を代表点と
   して抽出し、隣り合う２つの代表点のピッチ情報の差が
   所定値以上の差を有するとき、代表点間のピッチ情報の
   変化量が最大のサンプリング点で上記音響信号を区分す
   る処理からなることを特徴とする自動採譜方法。
2. （２）入力された音響信号からそのピッチ情報を抽出す
   るピッチ抽出手段と、抽出されたピッチ情報から上記音
   響信号を同一音程とみなせる区間に区分するセグメンテ
   ーション手段とを少なくとも備え、上記音響信号を楽譜
   データに変換する自動採譜装置において、 上記セグメンテーション手段が、 上記ピッチ情報がある音程幅で続く連の長さを各サンプ
   リング点について計数する連の長さ計数部と、 計数された連の長さが所定値以上の連続する区間を検出
   する区間検出部と、 検出された各区間について、最大の連の長さを有するサ
   ンプリング点を代表点として抽出する代表点抽出部と、 隣合う２つの代表点のピッチ情報の差が所定値以上の差
   を有するとき、代表点間のピッチ情報の変化量が最大の
   サンプリング点で音響信号を区分する音響信号区分部で
   なることを特徴とする自動採譜装置。