JPH01219633A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に音響信号が有する調を決定する調決定処理に関
するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間（セグメント）に区分し
くかかる処理をセグメンテーションと呼ぶ）、次いで、
セグメントのピッチ情報から各セグメントの音響信号の
音程として絶対音程軸にそった音程を同定し、上述のピ
ッチ情報から音響信号が有する調を決定し、さらに、セ
グメンＩ・に基づいて音響信号の拍子及びテンポを決定
するという順序で各情報を得ていた。

［発明が解決しようとする課題］ ところで、音響信号のあるセグメントを絶対音程軸上の
音程に同定しようとしても、音響信号、特に人によって
発声された音響信号は音程が安定しておらず、１音を意
図している場合であっても音程の揺らぎが多い。そのた
め、音程同定処理を非常に難しいものとしていた。

楽譜データは音響信号の再現性を確保するための記録情
報であり、再現性の観点からいえば、音程は、音長と共
に楽譜データの基本的な要素であって正確に同定するこ
とが必要であり、正確に同定することができない場合に
は、楽譜データの精度を低いものとする。

ところで、音響信号が有する調は、楽譜データの要素で
あるだけでなく、音程との間にある種の関係が存在し、
音程を決定する重要な手掛かりを与えるものである。従
って、調を決定して同定音程を見直すことは同定された
音程の精度を向上させる上で望ましく、良好に音響信号
の調を決定することが望まれる。

本発明は、以上の点を考慮してなされたもので、音響信
号の調を正確に決定することができ、最終的な楽譜デー
タの精度を一段と向上させることのできる自動採譜方法
及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号波形の繰返し周期であり、音高を表
すピッチ情報及び音響信号のパワー情報を抽出する処理
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン処理と、この区分された区間について音響信号の絶対
音程軸上の音程を決定する音程同定処理と、ピッチ情報
に基づいて音響信号が有する調を決定する調決定処理と
を少なくとも含み、音響信号を楽譜データに変換する自
動採譜方法において、調決定処理が、ピッチ情報を絶対
音程軸上の各音程に振り分けて集計して音響信号が有す
る音程の音階発生頻度を抽出する処理と：調における各
音階について予め定められている重み付け係数と抽出さ
れた音響信号が有する音程の音階発生頻度との積和を全
ての調について算出する処理と：算出された積和のうち
最大の積和を有する調を音響信号の調として決定する処
理とからなるようにした。

また、第２の本発明においては、入力された音響信号波
形の繰返し周期であり、音高を表すピッチ情報及び音響
信号のパワー情報を抽出するピッチ・パワー抽出手段と
、ピッチ情報及び又はパワー情報に基づいて音響信号を
同一音程とみなせる区間に区分するセグメンテーション
手段と、この区分された区間について音響信号の絶対音
程軸上の音程を決定する音程同定手段と、ピッチ情報に
基づいて音響信号が有する調を決定する調決定手段とを
一部に備えて音響信号を楽譜データに変換する自動採譜
装置において、−調決定手段を、ピッチ情報を絶対音程
軸上の各音程に振り分けて集計して音響信号が有する音
程の音階発生頻度を抽出する音階頻度抽出部と：調にお
ける各音階について予め定められている重み付け係数と
抽出された音響信号が有する音程の音階発生頻度との積
和を全ての調について算出する積和算出部と：算出され
た積和のうち最大の積和を有する調を音響信号の調とし
て決定する調決定部とで構成した。

［作用］ 第１の本発明においては、調によって重要となる音階が
異なることに着目して調毎に各音階に対する重み付け係
数を予め作成しておき、入力された音響信号が有する音
程の音階発生頻度をピッチ情報に基づいて抽出し、抽出
された頻度とその音階の重み付け係数との積和を名調に
ついて求めて積和か最大となる調を当該音響信号の調と
して決定するようにしな。

また、第２の本発明においては、同様な着目に基づいて
調毎に各音階に対する重み付け係数を予め作成しておき
、入力された音響信号が有する音程の音階発生頻度をピ
ッチ情報に基づいて音階頻度抽出部によって抽出し、抽
出された頻度とこの重み付け係数との積和を積和算出部
によって名調について求め、積和が最大となる調を調決
定部によって当該音響信号の調として決定するようにし
た。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

］勉採譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ｃｐｕ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を収り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、５Ｐ２）。その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に基づいて絶対音程軸に対する音響信
号が有する音程軸のずれ呈をピッチ情報の分布情報に基
づいて算出し、得られたピッチ情報をそのずれ量に応じ
てシフトさせるチューニング処理を実行する（ステップ
５Ｐ３）。すなわち、音響信号を発生した歌唱者または
楽器が有する音程軸と絶対音程軸との差が小さくなるよ
うにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音符等の時
間長に相当する基準長を算出してこの基準長に基づいて
再度セグメンテーションを実行する（ステップ５Ｐ６）
。

ＣＰＩＪＩは、このようにしてセグメンテーションされ
たセグメントのピッチ情報に基づき、そのピッチ情報が
最も近いと判断できる絶対音程軸上の音程にそのセグメ
ントの音程を同定し、さらに、同定された連続するセグ
メントの音程が同一か否かに基づいて再度セグメンテー
ションを実行する（ステップＳＰ？、５Ｐ８）。

その後、ＣＰＵＩは、ピッチ情報の分布情報に基づいて
、例えば、ハ長調やイ短調というように入力音響信号の
楽曲の調を決定し、決定された調における音階上の所定
の音程についてその音程をピッチ情報に基づいてより詳
細に見直して音程を確認、修正する（ステップＳＰ９．
５ＰＩＯ）。

次いで、ＣＰＵＩは、最終的に決定された音程から連続
するセグメントについて同一なものがあるか否か、また
連続するセグメント間でパワーの変化があるか否かに基
づいてセグメンテーションの見直しを実行し、最終的な
セグメンテーションを行なう（ステップ５ＰＩＩ）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

１−・＝４のｆ３′−■ 次に、このような自動採譜方式における音響信号が有す
る調の決定処理（ステップ５Ｐ９）について、第１図の
フローチャートを用いて詳述する。

ＣＰＵＩは、上述したチューニング処理によってチュー
ニングされた全てのピッチ情報から音階ヒストグラムを
作成する（ステップ５Ｐ２０＞。

ここで、音階ヒストグラムとは、「ハ（ド）」、「嬰ハ
：変二（ド＃：しｂ）」、「二（し）」、・・・、「イ
（う）」、「嬰イ：変口（う＃ニジｂ）」、「口（シ）
」の１２個の絶対音程軸上の音階についてのヒストグラ
ムであり、ピッチ情報が絶対音程軸上にない場合には、
そのピッチ情報が近い２個の絶対音程軸上の音階に対し
てそれらに対する距離に応じて按分して振り分けて集計
したものである。従って、１オクターブだけ異なる音程
は同一の音階として集計されることになる。

次いで、ＣＰＬＩＩは「ハ長調」、「変ニ長調」、「ニ
長調」、・・・、「変口長調」、「口長調」の１２個の
長調、及び「イ短調」、「変口短調」、「口短調」、・
・・、「ト短調」、「変イ短調」の１２個の短調の計２
４個の全ての調について、その調により定まる第２図に
示すような各音階に対する重み付け係数と上述の音階ヒ
ストグラムの集計値との積和を求める（ステップＳＰ２
１　）。

なお、第２図は「ハ長調」の重み付け係数を第１欄Ｃ０
Ｌ１に、「イ短調」の重み付け係数を第２欄Ｃ０Ｌ２に
、「変ニ長調」の重み付け係数を第３欄Ｃ０Ｌ３に、「
変口短調」の重み付け係数を第４欄Ｃ０Ｌ４に例示した
ものであり、他の調についても同様に、長調については
、主音（ド）からｒ２０２０２１０２０２０１」の重み
付け係数を用い、短調については主音（う）から「２０
２２０１０２２０１０」の重み付け係数を用いるように
なされている。

ここで、重み付け係数は、その調において、臨時記号（
＃、ｂ）なしで表せる音階について「０」以外の重みを
与えると共に、長調と短調の７音音階と５音音階とを合
わせたもの、すなわち、長調と短調で主音を一致させた
場合に主音からの音程差が一致する音階に「２」を用い
、音程差が一致しない音階に「１」を用いるように決定
した。なお、このような重み付け係数は、その調におけ
る各音階の重要度に対応しているものである。

ＣＰＵＩは、このようにして２４個の全ての調について
積和を得ると、その積和が最大となっている調を当該音
響信号の調として決定して当該調決定処理を終了する（
ステップ５Ｐ２２＞。

従って、上述の実施例によれば、音階ヒストグラムを作
成し、各音程の音階としての発生頻度を捕らえ、その頻
度と調に応じて定まる音階の重要度パラメータとしての
重み付け係数との積和を求め、その積和の最大となる調
を音響信号の調として決定するようにしたので、正確に
調を決定することができ、この調によって同定された音
程を見直すことができ、楽譜データの精度を一段と向上
させることができる。

他ム叉施■ なお、調決定処理に用いるピッチ情報は、周波数単位の
Ｈｚで表わされているものであっても良く、また、音楽
分野で良く用いられているセント単位で表わされている
ものであっても良い。

また、重み付け係数は上述の実施例にものに限られるこ
とはなく、例えば、主音にさらに大きい重みを与えるよ
うにしても良い。

さらに、上述の実施例においては、第４図に示す全ての
処理をＣＰＵＩが主記憶装置３に格納されているプログ
ラムに従って実行するものを示したが、その一部または
全部の処理をハードウェア構成で実行するようにしても
良い。例えば、第３図との対応部分に同一符号を付した
第５図に示すように、音響信号入力装置８からの音響信
号を増幅回路１０を介して増幅した後、さらに前置フィ
ルタ１１を介してアナログ／デジタル変換器１２に与え
てデジタル信号に変換し、このデジタル信号に変換され
た音響信号を信号処理プロセッサ１３が自己相関分析し
てピッチ情報を抽出し、また２乗和処理してパワー情報
を抽出してＣＰＵＩによるソフトウェア処理系に与える
ようにしても良い。このようなハードウェア構成（１０
〜１３）に用いられる信号処理プロセッサ１３としては
、音声帯域の信号をリアルタイム処理し得ると共に、ホ
ストのＣＰＵＩとのインタフェース信号が用意されてい
るプロセッサ（例えば、日本電気株式会社製μＰ　Ｄ　
７７２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、音響信号の音程の音階
としての発生頻度と、調毎に予め作成されている各音階
の重要度を示す重み付け係数との積和を算出して積和最
大の調を当該音響信号の調とするようにしたので、調を
良好に決定でき、最終的な楽譜データの精度を一段と高
めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかがる調決定処理を示すフ
ローチャート、第２図は名調に応じて定められている各
音階の重み付け係数の例を示す図表、第３図は本発明を
適用する自動採譜方式の構成を示すブロック図、第４図
はその自動採譜処理手順を示すフローチャート、第５図
は自動採譜方式の他の構成を示すブロック図である。 １・・・ＣＰＪＪ、３・・・主記憶装置、６・・・補助
記憶装置、７・・・アナログ／デジタル変換器、８・・
・音響信号入力装置。 自動採譜方式の構成（１） 第３図 第４図

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出する処理と、上記ピッチ情報及び又は上記パワー情報
   に基づいて上記音響信号を同一音程とみなせる区間に区
   分するセグメンテーション処理と、この区分された区間
   について上記音響信号の絶対音程軸上の音程を決定する
   音程同定処理と、上記ピッチ情報に基づいて上記音響信
   号が有する調を決定する調決定処理とを少なくとも含み
   、上記音響信号を楽譜データに変換する自動採譜方法に
   おいて、 上記調決定処理が、 上記ピッチ情報を絶対音程軸上の各音程に振り分けて集
   計して上記音響信号が有する音程の音階発生頻度を抽出
   する処理と、調における各音階について予め定められて
   いる重み付け係数と抽出された上記音響信号が有する音
   階発生頻度との積和を全ての調について算出する処理と
   、算出された積和のうち最大の積和を有する調を上記音
   響信号の調として決定する処理とからなることを特徴と
   する自動採譜方法。
2. （２）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出するピッチ・パワー抽出手段と、上記ピッチ情報及び
   又は上記パワー情報に基づいて上記音響信号を同一音程
   とみなせる区間に区分するセグメンテーション手段と、
   この区分された区間について上記音響信号の絶対音程軸
   上の音程を決定する音程同定手段と、上記ピッチ情報に
   基づいて上記音響信号が有する調を決定する調決定手段
   とを一部に備えて上記音響信号を楽譜データに変換する
   自動採譜装置において、 上記調決定手段を、 上記ピッチ情報を絶対音程軸上の各音程に振り分けて集
   計して上記音響信号が有する音程の音階発生頻度を抽出
   する音階頻度抽出部と、調における各音階について予め
   定められている重み付け係数と抽出された上記音響信号
   が有する音階発生頻度との積和を全ての調について算出
   する積和算出部と、算出された積和のうち最大の積和を
   有する調を上記音響信号の調として決定する調決定部と
   で構成したことを特徴とする自動採譜装置。