JPH01219632A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に所定区間の音響信号の音程として同定された音
程を必要に応じて修正する同定音程の修正処理に関する
ものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパ→−情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間（セグメント）に区分し
くかかる処理をセグメンテーションと呼ぶ）、次いで、
セグメントのピッチ情報から各セグメントの音響信号の
音程として絶対音程軸にそった音程に同定し、ピッチ情
報の音程軸周りの分布状況に基づいて音響信号の調を決
定し、さらに、セグメントに基づいて音響信号の拍子及
びテンポを決定するという順序で各情報を得ていた。

［発明が解決しようとする課Ｍ］ ところで、音響信号のあるセグメントを絶対音程軸上の
音程として同定しようとしても、音響信号、特に人によ
って発声された音響信号は音程が安定しておらず、同一
音程（１音）を意図している場合であっても音程の揺ら
ぎが多い、そのため、音程同定処理を非常に難しいもの
としていた。

ところで、従来の音程同定方法としては、リアルタイム
処理を実現するように演算等が簡易な方法、例えば、セ
グメント内のピッチ情報の平均値に最も近い絶対軸上の
音程に、またセグメントのピッチ情報の中央値に最も近
い絶対軸上の音程に同定するような方法等が考えられて
いる。このような方法によれば、音響信号が揺らぎを有
していても音階上で隣り合う音の音程差が例えば、ハ長
調の音階でドとしのように全音の場合には良好に音程を
同定できるが、隣り合う音の音程差が例えば、ハ長調の
音階でミとファのように半音の場合には音響信号の揺ら
ぎのために同定が正確でない場合も生じる０例えば、ハ
長調においてミを意図しているにも拘らず、ファとして
同定されることもあった。

本発明は、以上の点を考慮してなされたもので、音階上
で隣り合う音程との音程差が全音または半音のいずれの
音程を歌唱者等が意図しても、音程の絶対軸上に対する
同定を正確に実行することができ、最終的な楽譜データ
の精度を一段と向上させることのできる自動採譜方法及
び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号波形の繰返し周期であり、音高を表
すピッチ情報及び音響信号のパワー情報を抽出する処理
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン処理と、ピッチ情報に基づいてこの区分された区間の
音程として絶対音程軸上の音程に同定する音程同定処理
と、ピッチ情報の分布状況に基づいて音響信号の調を決
定する調決定処理とを少なくとも含み、音響信号を楽譜
データに変換する自動採譜方法において、区間の音程と
して同定された音程が決定された調の音階上で隣り合う
音程差が半音である音程の区間を抽出する処理と、抽出
された区間のピッチ情報のうちその区間の同定音程と決
定された調の音階上で半音だけ異なる音程との間にある
ピッチ情報を集計する処理と、その集計された分布状況
に応じてその区間の音程を同定し直す処理とを、調決定
処理の後処理として設けた。

また、第２の本発明においては、入力された音響信号波
形の繰返し周期であり、音高を表すピッチ情報及び音響
信号のパワー情報を抽出するピッチ・パワー抽出手段と
、抽出されたピッチ情報及び又はパワー情報に基づいて
音響信号を同一音程とみなせる区間に区分するセグメン
テーション手段と、ピッチ情報に基づいてこの区分され
た区間の音程として絶対音程軸上の音程に同定する音程
同定手段と、ピッチ情報の分布状況に基づいて音響信号
が有する調を決定する調決定手段とを一部に備えて音響
信号を楽譜データに変換する自動採譜装置において、区
間の音程として同定された音程が決定された調の音階上
で隣り合う音程差が半音である音程の区間を抽出する修
正候補区間抽出手段と、抽出された区間のピッチ情報の
うちその区間の同定音程と決定された調の音階上で半音
だけ異なる音程との間にあるピッチ情報を集計するピッ
チ集計手段と、その集計された分布状況に応じてそめ区
間の音程を同定し直す同定音程修正手段とを、調決定手
段の後段に設けた。

［作用］ 例えば、ハ長調において音階上の７音（ドレミファソラ
シ）のうち、ドとシ、及び、ミとファは、他の隣り合う
音程の組と異なり、音程差は半音である。そのため、音
程同定時に誤った同定された可能性がある。そこで、第
１及び第２の本発明共に、区間の音程として同定された
音程が音響信号が有する調において隣り合う音程との差
が半音である上述のような４音である場合には、音程を
見直すようにした。

すなわち、第１の本発明においては、同定された音程が
決定された調におけるこれら４音の区間を抽出した後、
半音間にあるその区間のピッチ情報を集計してその集計
された分布状況に応じてその区間の音程を同定し直すよ
うにした。

また、第２の本発明においては、同定された音程が決定
された調における上述の４音の区間を修正候補区間抽出
手段が修正する区間の候補として抽出した後、半音間に
あるその区間のピッチ情報をピッチ集計手段が集計して
その集計された分布状況に応じて同定音程修正手段がそ
の区間の音程を同定し直すようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

■位探旧方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵ１が実行する音響信号を取り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰ１
、ＳＦ３＞、その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に応じて絶対音程軸に対する音響信号
の音程軸のずれ及を算出し、得られたピッチ情報をその
ずれ量に応じてシフトさせるチューニング処理を実行す
る（ステップ５Ｐ３）、すなわち、音響信号を発生した
歌唱者または楽器が有する音程軸と絶対音程軸との差が
小さくなるようにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメン！・に切り分けるセグ
メンテーションを実行し、また、得られたパワー情報の
変化に基づいてセグメンテーションを実行する（ステッ
プＳＰ４．５Ｐ５）、これら得られた両者のセグメント
情報に基づいて、ＣＰＵＩは、４分音符や８分音符等の
時間長に相当する基準長を算出してこの基準長に基づい
て再度セグメンテーションを実行する（ステップ５Ｐ６
）。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステ・レプＳＰ？、５Ｐ８）。

その後、ＣＰＵＩは、チューニング後のピッチ情報を集
計して得た各セグメントについての音程の出現頻度と、
調に応じて定まる所定の重み付は係数との積和を求めて
この積和の最大情報に基づいて、例えば、ハ長調やイ短
調というように入力音響信号の楽曲の調を決定し、その
後、同定された音程が所定の音階の場合にはその音程を
ピッチ情報について見直して音程を確認、修正する（ス
テップＳＰ９．５Ｐ１０）、次いで、ＣＰＵＩは、最終
的に決定された音程から連続するセグメントについて同
一なものがあるか否か、また連続するセグメント間でパ
ワーの変化があるか否かに基づいてセグメンテーション
の見直しを実行し、最終的なセグメンテーションを行な
う（ステップ５Ｐ１１）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ｃｐｕｔは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

匹定皇程久務工処」 次に、上述したステップＳＰ７の音程同定処理によって
同定された音程の修正処理（ステップ５２１０）につい
て、第１図のフローチャートを用いて詳述する。

ＣＰＵＩは、かかる音程の修正を実行する前に上述した
ように、まずセグメンテーションによって得られたセグ
メントについて、例えばそのセグメント内のピッチ情報
の平均値を得て平均値が最も近い絶対音程軸上の半音ず
つ異なるいずれかの音程にそのセグメントの音程を同定
しくステップ５Ｐ２０＞　、その後、全てのピッチ情報
の１２音階についてのヒストグラムを作成し、調毎に定
まる各音階についての重み付は係数と各音階の発生頻度
との積和を求め、最大の積和を与える調を当該音響信号
の調として決定する（ステップＳＰ２１）。

修正処理においては、ＣＰＵＩは、まず最後のセグメン
トについて処理が終了していないことを確認して処理対
象のセグメントの同定された音程□　　が、その決定さ
れた調の音階上で隣り合う音程との差が半音である音程
（例えば、ハ長調であればミ、）７、シ、ド）のいずれ
であるか否かを判断し、異なる場合には、音程の修正を
行なうことなく処理対象セグメントを次のセグメントに
移行してステップ５Ｐ２２に戻る（ステップ５Ｐ２２〜
２４）。

これに対して、処理セグメントの同定された音程がそれ
らの音程であると、ＣＰＵＩはそのセグ□　　メントの
同定音程と決定された調の音階上で半音だけ異なる音程
との間にあるピッチ情報を集計する（ステップ５Ｐ２５
＞、例えば、ハ長調において処理セグメントの音程が「
ミ」である場合には１、　　当該処理セグメントの「ミ
」及び「ファ」に対応したピッチ情報間にあるピッチ情
報の分布が求める。従って、このセグメント内のピッチ
情報でもこの半音間にないピッチ情報は、集計されない
ことになる。

次いで、ＣＰＵＩは、この半音の中間のピッチ情報ピッ
チ情報より大きいピッチ情報が多いか、またはその中間
のピッチ情報より小さいピッチ情報が多いかを求め、多
い方に近い絶対軸上の音程を当該セグメントの音程とし
て同定するくステップ５Ｐ２６＞。

このようにして同定の見直し、修正が終了すると、処理
セグメントを次のセグメントに移行させて上述のステッ
プ５Ｐ２２に戻る。

このように同定された音程が決定された調における隣り
合う音程との差が半音である音程の場合に音程を見直す
ようにしたのは、その音程差が半音であるため、同定ミ
スの可能性が大きいためである。

上述した処理を繰り返して全てのセグメントについて音
程の見直しを実行し、最後のセグメントの見直し処理が
終了すると、ステップ５Ｐ２２で肯定結果が得られて当
該処理プログラムを終了する。

第２図は同定された音程の修正の一例を示すものであり
、決定された調がハ長調であってピッチ情報の平均値に
基づいて同定された音程が「ミ」である場合を示してい
る。このセグメントは同定された音程が「ミ」であるの
で、修正処理に進み、「ミ」と「ファ」の間にあるピッ
チ情報、従って期間Ｔ１のピッチ情報だけが集計され、
「ミ」と「ファ」の中間のピッチ情報値ＰＣの上下のピ
ッチ情報が計数され、この場合にはピッチ情報値ＰＣよ
り大きいピッチ情報がこの期間Ｔ１では多いので、「フ
ァ」の音程にこのセグメントの音程が同定し直される。

従って、上述の実施例によれば、同定された音程が決定
された調における隣り合う音程差が半音である音程の場
合、さらにそのセグメントの音程を詳細に見直すように
したので、各セグメントの音程を正確に同定することが
できる。

似豊実範」 なお、上述の実施例においては、セグメントのピッチ情
報の平均値が最も近い音程に同定したものを見直すもの
を示したが、他の音程同定方法によって同定された音程
を同様に見直すこともできる。

また、上述の実施例においては、見直し゛対象の２個の
音程の中間ピッチ情報より大きいピッチ情報と小さいピ
ッチ情報の多少によって音程を同定し直すようにしたが
、他の方法によって見直すようにしても良い０例えば、
当該処理セグメントのピッチ情報のうち見直し対象の２
個の音程間にあるピッチ情報の平均値やｉ頻値によって
見直すようにしても良い。

さらに、上述の実施例においては、第４図に示す全ての
処理をＣＰＵＩが主記憶装置３に格納されているプログ
ラムに従って実行するものを示したが、その一部または
全部の処理をハードウェア構成で実行するようにしても
良い０例えば、第３図との対応部分に同一符号を付した
第５図に示すように、音響信号入力装置８からの音響信
号を増幅回路１０を介して増幅した後、さらに前置フィ
ルタ１１を介してアナログ／デジタル変換器１２に与え
てデジタル信号に変換し、このデジタル信号に変換され
た音響信号を信号処理プロセッサ１３が自己相関分析し
てピッチ情報を抽出し、また２乗和処理してパワー情報
を抽出してＣＰＵＩによるソフトウェア処理系に与える
ようにしても良い。このようなハードウェア構成（１０
〜１３）に用いられる信号処理プロセッサ１３としては
、音声帯域の信号をリアルタイム処理し得ると共に、ホ
ストのＣＰＵＩとのインタフェース信号が用意されてい
るプロセッサ（例えば、日本電気株式会社製μＰ　Ｄ　
７７２０）を適用し得る。

［発明の効果］ 以上のような、本発明によれば、同定された音程が決定
された調の音階における隣り合うｉ稈長が半音である音
程の場合に、さらにそのセグメントの音程を詳細に見直
すようにしたので、各セグメントの音程を正確に同定す
ることができ、最終的な楽譜データの精度を向上させる
ことのできる自動採譜方法及び装置を得ることができる
。

【図面の簡単な説明】

第１図は本発明の一実施例にががる同定音程の修正処理
を示すフローチャート、第２図はかがる同定音程の修正
処理の説明に供する路線図、第３図は本発明を適用する
自動採譜方式の構成を示すブロック図、第４図はその自
動採譜処理手順を示すフローチャート、第５図は自動採
譜方式の他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出する処理と、上記ピッチ情報及び又は上記パワー情報
   に基づいて上記音響信号を同一音程とみなせる区間に区
   分するセグメンテーション処理と、上記ピッチ情報に基
   づいてこの区分された区間の音程として絶対音程軸上の
   音程に同定する音程同定処理と、上記ピッチ情報の分布
   状況に応じて上記音響信号が有する調を決定する調決定
   処理とを少なくとも含み、上記音響信号を楽譜データに
   変換する自動採譜方法において、 上記区間の音程として同定された音程が決定された調の
   音階上で隣り合う音程差が半音である音程の区間を抽出
   する処理と、抽出された区間のピッチ情報のうちその区
   間の同定音程と決定された調の音階上で半音だけ異なる
   音程との間にあるピッチ情報を集計する処理と、その集
   計された分布状況に応じてその区間の音程を同定し直す
   処理とを、上記調決定処理の後処理として設けたことを
   特徴とする自動採譜方法。
2. （２）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出するピッチ・パワー抽出手段と、抽出されたピッチ情
   報及び又はパワー情報に基づいて音響信号を同一音程と
   みなせる区間に区分するセグメンテーション手段と、上
   記ピッチ情報に基づいてこの区分された区間の音程とし
   て絶対音程軸上の音程に同定する音程同定手段と、上記
   ピッチ情報の分布状況に応じて上記音響信号が有する調
   を決定する調決定手段とを一部に備えて上記音響信号を
   楽譜データに変換する自動採譜装置において、 上記区間の音程として同定された音程が決定された調の
   音階上で隣り合う音程差が半音である音程の区間を抽出
   する修正候補区間抽出手段と、抽出された区間のピッチ
   情報のうちその区間の同定音程と決定された調の音階上
   で半音だけ異なる音程との間にあるピッチ情報を集計す
   るピッチ集計手段と、その集計された分布状況に応じて
   その区間の音程を同定し直す同定音程修正手段とを、上
   記調決定手段の後段に設けたことを特徴とする自動採譜
   装置。