JPH01219623A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に音響信号をパワー情報に基づいて同一音程とみ
なせる区間に区分するセグメンテーション処理に関する
ものである。

「従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、少なくとも抽出されたパワー情報から音響信号を同
一音程とみなせる区間（セグメント）に区分しくかかる
処理をセグメンテーションと呼ぶ）、次いで、セグメン
トのピッチ情報から各セグメントの音響信号の音程とし
て絶対音程軸にそった音程に同定し、同定された音程情
報に基づいて音響信号の調を決定し、さらに、セグメン
トに基づいて音響信号の拍子及びテンポを決定するとい
う順序で各情報を得ていた。

従って、音程、拍子、テンポ等は、セグメント（音長）
に基づき決定されるので、セグメンテーション処理は、
特に楽譜データを作成する上で重要な要素となっている
。

［発明が解決しようとする課Ｍ］ ところで、音響信号は音が変化した直後にはそのパワー
が大きくなるという特徴を有しており、上述したように
この特徴を利用してパワー情報によってセグメンテーシ
ョンを行なっている。

しかしながら、音響信号、特に人によって歌唱された音
響信号は、パワー情報の変化も常に特定パターンで変化
するものでなく、変化パターンに対して揺らぎを有して
おり、また、外部音等の突発的な音をも含まれている。

そのため、パワー情報の変化に着目して単純にセグメン
テーションしても必しも音毎の区分を良好に行なうこと
はできなかった。

上述のように、セグメンテーションは楽譜データを作成
する上で重要な要素であり、セグメンテーションの精度
が低いと、音程など最終的に得られる楽譜データの精度
も著しく低くなるので、パワー情報からのセグメンテー
ション処理自体の精度も高くすることが望まれる。

本発明は、以上の点を考慮してなされたもので、パワー
情報に基づいたセグメンテーションを良好に実行するこ
とができ、最終的な楽譜データの精度を向上させること
のできる自動採譜方法及び装置を提供しようとするもの
である。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号のパワー情報を抽出する処理及び上
記パワー情報に基づいて音響信号を同一音程とみなせる
区間に区分するセグメンテーション処理を少なくとも含
み、音響信号を楽譜データに変換する自動採譜方法にお
いて、セグメンテーション処理が、パワー情報が所定値
以上の有効区間と所定値以下の無効区間とに区分する処
理からなるようにした。

また、第２の本発明の方法においては、セグメンテーシ
ョン処理を、パワー情報が所定値以上の有効区間と所定
値以下の無効区間とに区分する処理と有効区間の長さが
所定長さ以上か否かを判別して所定長さより短い場合に
その有効区間を無効区間とする処理とからなるようにし
た。

第３の本発明においては、入力された音響信号からパワ
ー情報を抽出するパワー抽出手段と、抽出されたパワー
情報から音響信号を同一音程とみなせる区間に区分する
セグメンテーション手段とを一部に備えて音響信号を楽
譜データに変換する自動採譜装置において、セグメンテ
ーション手段が、パワー情報が所定値以上の有効区間と
所定値以下の無効区間とに区分するようにした。

第４の本発明においては、パワー情報が所定値以上の有
効区間と所定値以下の無効区間とに区分する区分部と、
有効区間の長さが所定長さ以上か否かを判別して所定長
さより短い場合にその有効区間を無効区間とする区分補
正部とからセグメンテーション手段を構成した。

［作用］ 第１の本発明においては、パワー情報から同一音程とみ
なせる区間に区分するにつき、音響信号のノイズ成分や
パワーの揺らぎの影響を少なくするように、また、休符
期間をも検出できるように、所定値との比較により行な
ってパワー情報が大きい有効区間及びパワー情報が小さ
い無効区間を検出するようにした。また、ノイズ等によ
って余りにも短い有効区間が生じないように、第２の本
発明においては、これに加えて有効区間の長さを検出し
、短い区間を無効区間とするようにした。

また、第３の本発明は、同様にパワー情報から同一音程
とみなせる区間にセグメンテーション手段によって区分
するにつき、音響信号のノイズ成分やパワーの揺らぎの
影響を少なくするように、また、休符期間を検出できる
ように、パワー情報が所定値以上の有効区間と所定値以
下の無効区間とに音響信号を区分するようにした。また
、第４の本発明においては、余りにも短い有効区間が生
じないように、区分部によって有効区間及び無効区間に
区分された区間の内有効区間について区分補正部によっ
て長さを検出して有効区間の長さが所定長さより短い場
合にその有効区間を無効区間とするようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

■動孫譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニツＩ−（ＣＰＵ）１は、
当該装置の全体を制御するものであり、バス２を介して
接続されている主記憶装置３に格納されている第４図に
示す採譜処理プログラムを実行するものである。バス２
には、ＣＰＵＩ及び主記憶装置３に加えて、入力装置と
してのキーボード４、出力装置としての表示装置５、ワ
ーキングメモリとして用いられる補助記憶装置６及びア
ナログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰ、Ｕｌは、音響信号を自己相関分析して分析
周期毎に音響信号のピッチ情報を抽出し、また２乗和処
理して分析周期毎にパワー情報を抽出し、その後ノイズ
除去や平滑化処理等の後処理を実行する（ステップＳＰ
Ｉ、５Ｐ２）。その後、ＣＰＵＩは、ピッチ情報につい
ては、その分布状況に基づいて絶対音程軸に対する音響
信号が有する音程軸のずれ量を算出し、得られたピッチ
情報をそのずれ量に応じてシフトさせるチューニング処
理を実行する（ステップ５Ｐ３）。すなわち、音響信号
を発生した歌唱者または楽器の音程軸と絶対音程軸との
差が小さくなるようにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステッチ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音符等の時
間長に相当する基準長を算出してこの基準長に基づいて
再度セグメンテーションを実行する（ステップ５Ｐ６）
。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、チューニング処理後のピッチ情報
の分布状況に基づいて音程の出現頻度を検出し、この音
程の出現頻度と、調に応じて定まる所定の重み付は係数
との積和を求めてこの積和の最大情報に基づいて、例え
ば、ハ長調やイ短調というように入力音響信号の楽曲の
調を決定し、決定された調における所定の音階の音程に
ついてその音程をピッチ情報についてより詳細に見直し
て音程を確認、修正する（ステップＳＰ９．５２１０）
。次いで、ＣＰＵＩは、最終的に決定された音程から連
続するセグメントについて同一なものがあるか否か、ま
た連続するセグメント間でパワーの変化があるか否かに
基づいてセグメンテーションの見直しを実行し、最終的
なセグメンテーションを行なう（ステップ５ＰＩＩ）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

パワー　　に−づ　セ　メンテ−シロン次に、このよう
な自動採譜方式におけるパワー情報に基づくセグメンテ
ーション処理（ステップＳＰ５参照）について、第１図
のフローチャートを用いて詳述する。

なお、音響信号のパワー情報としては、分析周期内の各
サンプリング点について音響信号を２乗し、これら２乗
値の総和をその分析周期におけるパワー情報として用い
ている。

ＣＰＵＩは、まず分析点パラメータｔを０クリアした後
、処理すべきデータが終了していないことを確認してそ
の分析点ｔにおけるパワー情報Ｐｏｗ（ｔ）が閾値６１
以上か否かを判断する（ステップ５Ｐ２０〜２２）。閾
値θ１より小さくて否定結果を得ると、パラメータｔを
インクリメントして上述のステップ５Ｐ２１に戻る（ス
テップ５Ｐ２３）。

かかる処理を繰返すことにより、ＣＰＵＩは、やがて閾
値６１以上のパワー情報ｐｏｗ（ｔ）をとる分析点を見
出し、ステップ５Ｐ２２において肯定結果を得る。この
とき、ＣＰＵＩはこの分析点にセグメント開始の印を付
した後、処理すべき分析点のデータが終了していないこ
とを確認してその分析点ｔにおけるパワー情報ｐ　ｏ　
ｗ　（ｔ　）が閾値θ１より小さいか否かを判断する（
ステップ５Ｐ２４〜２６）。閾値６１以上であって否定
結果を得ると、パラメータｔをインクリメントして上述
のステップ５Ｐ２５に戻る（ステップ５Ｐ２７）。

かかる処理を繰返すことにより、ＣＰＵＩは、やがて閾
値θ１より小さいパワー情報ｐｏｗ（ｔ）をとる分析点
を見出し、ステップ５Ｐ２６において肯定結果を得る。

このとき、ＣＰＵＩはこの分析点にセグメント終了の印
を付した後、上述のセグメント開始の印情報と当該セグ
メント終了の印情報からセグメントの長さしを検出し、
この長さしが閾値θ２より小さいか否かを判断する（ス
テップ５Ｐ２８〜３０）。かかる判断ステップは、余り
にも短いセグメントを有効なセグメントとみなさないた
めのステップであり、閾値θ２は音符との関係から定め
られてい−る。ＣＰＵＩはこのステップ５Ｐ３０におい
て肯定結果を得ると、セグメントの開始及び終了の印を
取り去った後、パラメータｔをインクリメントして上述
のステップ５Ｐ２１に戻り、他方、セグメントの長さし
が十分であって否定結果を得ると、印を収ることなく、
直ちにパラメータｔをインクリメントして上述のステッ
プ５Ｐ２１に戻る（ステップ５Ｐ３１．３２）。

このような処理を繰返すことにより、やがて、全゛ての
パワー情報について処理が終了し、ステップ５Ｐ２２ま
たは５Ｐ２５において肯定結果が得られて当該プログラ
ムを終了させる。

第２図はパワー情報の時間変化とこの時間変化に対応し
たセグメンテーション結果の一例を示すものであり、こ
の例の場合には、第１図の処理を実行することによりセ
グメントＳ１、Ｓ２・・・ＳＮが得られる。なお、時点
Ｌ１〜ｔ２の期間では、パワー情報が閾値θ１を越えて
いるが、この期間は思くてその長さが閾値θ２以下であ
るので、セグメントとしては抽出されない。

従って、上述の実施例によれば、パワー情報が閾値以上
の期間を検出し、その長さが十分に長いときセグメント
として抽出するようにしたので、ノイズ成分や揺らぎに
よって誤ったセグメンテーションを行なうことのない精
度の高いセグメンテーションを実行することができる。

また、閾値以上のパワー情報期間をセグメントとしてい
るので、パワー−が小さい音程の不安定な期間を音程同
定処理に用いられず、音程同定処理を良好に実行させる
ことができる。

利ム大施側 なお、上述の実施例においては、パワー情報として音響
信号の２乗和を用いたものを示したが、他のパラメータ
を用いても良い。例えば、２乗和の平方根を用いても良
い。

また、上述の実施例においては、ピッチ情報及びパワー
情報の両者によってセグメンテーションを行なうものを
示したが、本発明はこれに限らず少なくともパワー情報
に基づくセグメンテーション処理を含む自動採譜方法及
び装置に対して適用することができる。

さらに、上述の実施例においては、第４図に示す全ての
処理をＣＰＵＩが主記憶装置３に格納されているプログ
ラムに従って実行するものを示したが、その一部または
全部の処理をハードウェア構成で実行するようにしても
良い。例えば、第３図との対応部分に同一符号を付した
第５図に示すように、音響信号入力装置８からの音響信
号を増幅回路１０を介して増幅した後、さらに前置フィ
ルタ１１を介してアナログ／デジタル変換器１２に与え
てデジタル信号に変換し、このデジタル信号に変換され
た音響信号を信号処理プロセッサ１３が自己相関分析し
てピッチ情報を抽出し、また２乗和処理してパワー情報
を抽出してＣＰＵＩによるソフトウェア処理系に与える
ようにしても良い。このようなハードウェア構成（１０
〜１３）に用いられる信号処理プロセッサ１３としては
、音声帯域の信号をリアルタイム処理し得ると共に、ポ
ストのＣＰＵＩとのインタフェース信号が用意されてい
るプロセッサ（例えば、日本電気株式会社製μＰ　Ｄ　
７７２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、パワー情報が閾値より
大きい期間及び小さい期間に分け、かつ大きい期間であ
ってもその長さが十分に長い期間だけを有効なセグメン
ト期間とするようにセグメンテーションを行なうように
したので、ノイズ成分やパワーの揺らぎによって誤って
セグメンテーションがなされることを少なくし得ると共
に、セグメンテーション結果を利用する音程同定処理等
の以降の処理を良好に実行させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるパワー情報に基づく
セグメンテーション処理を示すフローチャート、第２図
はパワー情報の経時変化をセグメンテーション結果と共
に示す特性曲線図、第３図は本発明を適用する自動採譜
方式の構成を示すブロック図、第４図はその自動採譜処
理手順を示すフローチャート、第５図は自動採譜方式の
他の構成を示すブロック図である。 １・・・ＣＰｔＪ、３・・・主記憶装置、６・・・補助
記憶装置、７・・・アナログ／デジタル変換器、８・・
・音響信号入力装置。

Claims (4)

【特許請求の範囲】
1. （１）入力された音響信号のパワー情報を抽出する処理
   及び上記パワー情報に基づいて上記音響信号を同一音程
   とみなせる区間に区分するセグメンテーション処理を少
   なくとも含み、上記音響信号を楽譜データに変換する自
   動採譜方法において、上記セグメンテーション処理が、
   上記パワー情報が所定値以上の有効区間と上記所定値以
   下の無効区間とに区分する処理からなることを特徴とす
   る自動採譜方法。
2. （２）入力された音響信号のパワー情報を抽出する処理
   及び上記パワー情報に、基づいて上記音響信号を同一音
   程とみなせる区間に区分するセグメンテーション処理を
   少なくとも含み、上記音響信号を楽譜データに変換する
   自動採譜方法において、上記セグメンテーション処理が
   、 上記パワー情報が所定値以上の有効区間と上記所定値以
   下の無効区間とに区分する処理と、上記有効区間の長さ
   が所定長さ以上か否かを判別して所定長さより短い場合
   にその有効区間を無効区間とする処理とからなることを
   特徴とする自動採譜方法。
3. （３）入力された音響信号からパワー情報を抽出するパ
   ワー抽出手段と、抽出されたパワー情報から上記音響信
   号を同一音程とみなせる区間に区分するセグメンテーシ
   ョン手段とを一部に備えて上記音響信号を楽譜データに
   変換する自動採譜装置において、 上記セグメンテーション手段は、上記パワー情報が所定
   値以上の有効区間と上記所定値以下の無効区間とに音響
   信号を区分することを特徴とする自動採譜装置。
4. （４）入力された音響信号からパワー情報を抽出するパ
   ワー抽出手段と、抽出されたパワー情報から上記音響信
   号を同一音程とみなせる区間に区分するセグメンテーシ
   ョン手段とを一部に備えて上記音響信号を楽譜データに
   変換する自動採譜装置において、 上記セグメンテーション手段が、 上記パワー情報が所定値以上の有効区間と上記所定値以
   下の無効区間とに区分する区分部と、上記有効区間の長
   さが所定長さ以上か否かを判別して所定長さより短い場
   合にその有効区間を無効区間とする区分補正部とからな
   ることを特徴とする自動採譜装置。