JPH01219624A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特にパワー情報に基づいて音響信号を同一音程とみ
なせる区間に区分するセグメンテーション処理に関する
ものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音°饗信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、少なくとも抽出されたパワー情報から音響信号を同
一音程とみなせる区間（セグメント）に区分しくかがる
処理をセグメンテーションと呼ぶ）、次いで、セグメン
トのピッチ情報から各セグメントの音響信号の音程とし
て絶対音程軸にそった音程に同定し、ピッチ情報の分布
に基づいて音響信号の調を決定し、さらに、セグメント
に基づいて音響信号の拍子及びテンポを決定するという
順序で各情報を得ていた。

従って、音程、拍子、テンーボ等は、セグメント（音長
）に基づき決定されるので、セグメンテーション処理は
、特に楽譜データを作成する上で重要なものとなってい
る。

［発明が解決しようとする課Ｍ］ このように、セグメンテーションは楽譜データを作成す
る上で重要な要素であり、セグメンテーションの精度が
低いと、最終的に得られる楽譜データの精度も著しく低
くなるので、ピッチ情報に基づくセグメンテーション結
果及びパワー情報に基づくセグメンテーション結果の両
者から最終的にセグメンテーションを行なう場合、また
はパワー情報から最終的なセグメンテーションを行なう
場合共に、パワー情報からのセグメンテーション処理自
体の精度も向上することが望まれる。

本発明は、以上の点を考慮してなされたもので、パワー
情報に基づいたセグメンテーションを良好に実行するこ
とができ、楽譜データの精度を向上させることのできる
自動採譜方法及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号からパワー情報を抽出する処理及び
パワー情報に基づいて音響信号を同一音程とみなせる区
間に区分するセグメンテーション処理を少なくとも含み
、音響信号を楽譜データに変換する自動採譜方法におい
て、セグメンテーション処理が、パワー情報の立上り変
化点を抽出し、この抽出された立上り変化点で音響信号
を区分する処理でなるようにした。

また、第２の本発明においては、入力された音響信号パ
ワー情報を抽出するパワー抽出手段と、抽出されたパワ
ー情報から音響信号を同一音程とみなせる区間に区分す
るセグメンテーション手段とを一部に備えて音響信号を
楽譜データに変換する自動採譜装置において、セグメど
チージョン手段が、パワー情報の立上り変化点を抽出す
る変化点抽出部と、この抽出された立上り変化点で音響
信号を区分する区分部とを備えて構成するようにした。

［作用］ 第１の本発明においては、パワー情報がら同一音程とみ
なせる区間に区分するにつき、音響信号は、その発生源
がいかなるものであろうと、新たな音の開始点でのパワ
ーが最大となり、その後徐々に減衰するという性質を有
することに着目し、パワー情報の立上り変化点を抽出し
てその抽出変化点で音響信号を区分するようにした。

また、第２の本発明は、パワー情報から同一音程とみな
せる区間にセグメンテーション手段によって区分するに
つき、同様にパワー情報の変化の仕方に着目してパワー
情報の立上り変化点を変化点抽出部によって抽出して区
分部によってその抽出変化点で音響信号を区分するよう
にした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

肛飲採困方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰｔＪｌは、キーボード入力装置４によって処理が指
令されたとき、当該採譜処理を開始し、主記憶装置３に
格納されているプログラムを実行してアナログ／デジタ
ル変換器７によってデジタル信号に変換された音響信号
を一旦補助記憶装置６に格納し、その後、これら音響信
号を上述のプログラムを実行して楽譜データに変換して
必要に応じて表示装置５に出力するようになされている
。

次に、ＣＰＵＩが実行する音響信号を収り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵ１は、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、ＳＰ２＞。その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に基づいて絶対音程軸に対する音響信
号の音程軸のずれ量を算出し、得られたピッチ情報をそ
のずれ量に応じてシフトさせるチューニング処理を実行
する（ステップ５Ｐ３）。すなわち、音響信号を発生し
た歌唱者または楽器の音程軸と絶対音程軸との差が小さ
くなるようにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音符等の時
間長に相当する基準長を算出してこの基準長に基づいて
再度セグメンテーションを実行する（ステップ５Ｐ６）
。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、チューニング処理後のピッチ情報
を集計して得た音程の出現頻度と、調に応じて定まる所
定の重み付は係数との積和を求めてこの積和の最大情報
に基づいて、例えば、ハ長調やイ短調というように入力
音響信号の楽曲の調を決定し、決定された調における音
階の所定の音程についてその音程をピッチ情報について
見直して音程を確認、修正する（ステップＳＰ９．５Ｐ
１０）。次いで、ＣＰＵＩは、最終的に決定された音程
から連続するセグメントについて同一なものがあるか否
か、また連続するセグメント間でパワーの変化があるか
否かに基づいてセグメンテーションの見直しを実行し、
最終的なセグメンテーションを行なう（ステップ５Ｐ１
１）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４＞。

パワー　　に　づ　セ　メンテーシ　ン次に、このよう
な自動採譜方式におけるパワー情報に基づくセグメンテ
ーション処理（ステップＳＰ５参照）について、第１図
のフローチャートを用いて詳述する。

なお、音響信号のパワー情報としては、分析周期内の各
サンプリング点について音響信号を２乗し、これら２乗
値の総和をその分析周期におけるパワー情報として用い
ている。

ＣＰＵＩは、まず分析点パラメータｔをＯクリアした後
、処理すべきデータが終了していないことを確認してそ
の分析点しについて、その分析点ｔのパワー情報Ｐ（ｔ
）及びそれよりに個だけ進んだ分析点ｔ＋にのパワー情
報Ｐ　（ｔ＋ｋ）に基づいて次式 ％式％（）） に示すパワー情報の変化関数（後述する処理でこの関数
をパワーの立上り抽出に用いるので、以下、この関数を
立上り抽出関数と呼ぶ）　ｄ　（ｔ）を演算する（ステ
ップ５Ｐ２０〜２２）。なお、ｋはパワー情報の変化を
とらえるのに好適な適当な時間差に選定する。

その後、ＣＰＵＩはその分析点ｔにおける立上り抽出関
数ｄ　（ｔ）が閾値０以上か否かを判断し、閾値θより
小さくて否定結果を得ると、パラメータｔをインクリメ
ントして上述のステップ５Ｐ２１に戻る（ステップ５Ｐ
２３〜２４）。

かかる処理を繰返すことにより、ＣＰＵＩは、やがて立
上り抽出関数ｄ（ｔ）が閾値０以上に変化した直後の分
析点を見−出し、ステップ５Ｐ２３において肯定結果を
得る。このとき、ＣＰＵＩはセグメント開始の印を当該
分析点に付した後、処理すべき分析点のデータが終了し
ていないことを確認してその分析点ｔについて、その点
のパワー情報Ｐ（ｔ）及びそれよりに個だけ進んだ分析
点ｔ＋にのパワー情報Ｐ　（ｔ＋ｋ）に基づいて再度パ
ワー情報の立上り抽出関数ｄ（ｔ）を演算する（ステッ
プ５Ｐ２５〜２７）。

その後、ＣＰＵＩはその分析点ｔにおける立上り抽出関
数ｄ　（ｔ）が閾値θより小さいか否かを判断し、閾値
０以上であって否定結果を得ると、パラメータｔをイン
クリメントして上述のステップ５Ｐ２６に戻る（ステッ
プ５Ｐ２８〜２つ）。

これに対して、閾値θより小さくなってステップ５Ｐ２
８において肯定結果を得ると、上述したステップ５Ｐ２
１に戻って次に立上り抽出関数ｄ（１）が閾値０以上に
変化した直後の変化点の抽出処理に進む。

このような処理を繰返すことによりパワー情報の立上り
変化点毎にセグメント開始の印が付され、やがて、全て
のパワー情報について処理が終了し、ステップ５Ｐ２１
または５Ｐ２６において肯定結果が得られ、当該プログ
ラムを終了させる。

なお、このようにパワー情報の立上りを抽出してセグメ
ンテーションを実行するようにしたのは、例えば、歌唱
者が音の高さを変える場合、新たな音の開始点でのパワ
ーを最も大きくし、その後徐々に減衰させていくように
するものであるためである。また、楽器音においても音
の開始でアタックし、その後デイケイさせていく性貫を
有するためである。

第２図はパワー情報Ｐ　（ｔ）の時間変化及び立上り抽
出関数ｄ（ｔ）の時間変化の一例を示すものであり、こ
の例の場合には、第１図の処理を実行することによりセ
グメントＳ１、Ｓ２・・・ＳＮに区分される。

従って、上述の実施例によれば、パワー情報の立上りを
抽出してその立上りでセグメンテーションを実行するよ
うにしたので、音の開始点で区分することのできる精度
の高いセグメンテーションを実行することができる。

卸府叉施倒 なお、上述の実施例においては、パワー情報として音響
信号の２乗和を用いたものを示したが、他のパラメータ
を用いても良い。例えば、２乗和の平方根を用いても良
い。

また、上述の実施例においては、立上りを抽出するため
の関数として（１）式に示すものを適用したが、他の関
数を適用するようにしても良い。例えば、分母を固定し
た微分関数を適用しても良い。

さらに、上述の実施例においては、第４図に示す全ての
処理をＣＰＵＩが主記憶装置３に格納されているプログ
ラムに従って実行するものを示したが、その一部または
全部の処理をハードウェア構成で実行するようにしても
良い。例えば、第３図との対応部分に同一符号を付した
第５図に示すように、音響信号入力装置８からの音響信
号を増幅回路１０を介して増幅した後、さらに前置フィ
ルタ１１を介してアナログ／デジタル変換器１２に与え
てデジタル信号に変換し、このデジタル信号に変換され
た音響信号を信号処理プロセッサ１３が自己相関分析し
てピッチ情報を抽出し、また２乗和処理してパワー情報
を抽出してＣＰＵＩによるソフトウェア処理系に与える
ようにしても良い。このようなハードウェア構成（１０
〜１３）に用いられる信号処理プロセッサ１３としては
、　゛音声帯域の信号をリアルタイム処理し得ると共に
、ポストのＣＰＵＩとのインタフェース信号が用意され
ているプロセッサ（例えば、日本電気株式会社製μＰ　
Ｄ　７？２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、パワー情報の立上り変
化点を抽出し、その変化点で音響信号のセグメンテーシ
ョンを行なうようにしたので、音の開始点で正確にセグ
メンテーションすることができ、このセグメンテーショ
ン結果を利用する音程同定処理等の以降の処理を良好に
実行させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるパワー情報に基づく
セグメンテーション処理を示すフローチャート、第２図
はパワー情報及び立上り抽出関数の経時変化をセグメン
テーション結果と共に示す特性曲線図、第３図は本発明
を適用する自動採譜方式の構成を示すブロック図、第４
図はその自動採譜処理手順を示すフローチャート、第５
図は自動採譜方式の他の構成を示すブロック図である。 １・・・ｃｐｕ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号からパワー情報を抽出する処
   理及び上記パワー情報に基づいて上記音響信号を同一音
   程とみなせる区間に区分するセグメンテーション処理を
   少なくとも含み、上記音響信号を楽譜データに変換する
   自動採譜方法において、上記セグメンテーション処理が
   、 上記パワー情報の立上り変化点を抽出し、この抽出され
   た立上り変化点で上記音響信号を区分する処理でなるこ
   とを特徴とする自動採譜方法。
2. （２）入力された音響信号からパワー情報を抽出するパ
   ワー抽出手段と、抽出されたパワー情報に基づいて上記
   音響信号を同一音程とみなせる区間に区分するセグメン
   テーション手段とを一部に備えて上記音響信号を楽譜デ
   ータに変換する自動採譜装置において、 上記セグメンテーション手段が、 上記パワー情報の立上り変化点を抽出する変化点抽出部
   と、この抽出された立上り変化点で上記音響信号を区分
   する区分部とでなることを特徴とする自動採譜装置。