JP4334096B2 - 電子楽器の演奏位置検索装置 - Google Patents

電子楽器の演奏位置検索装置 Download PDF

Info

Publication number
JP4334096B2
JP4334096B2 JP36614299A JP36614299A JP4334096B2 JP 4334096 B2 JP4334096 B2 JP 4334096B2 JP 36614299 A JP36614299 A JP 36614299A JP 36614299 A JP36614299 A JP 36614299A JP 4334096 B2 JP4334096 B2 JP 4334096B2
Authority
JP
Japan
Prior art keywords
performance
performance position
search
automatic
change destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36614299A
Other languages
English (en)
Other versions
JP2001184059A (ja
Inventor
進裕 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Roland Corp
Original Assignee
Roland Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Roland Corp filed Critical Roland Corp
Priority to JP36614299A priority Critical patent/JP4334096B2/ja
Priority to US09/745,843 priority patent/US6365819B2/en
Publication of JP2001184059A publication Critical patent/JP2001184059A/ja
Application granted granted Critical
Publication of JP4334096B2 publication Critical patent/JP4334096B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子楽器等に搭載される演奏位置検索装置に関するものである。
【0002】
電子楽器で楽曲を演奏する場合に、演奏者の演奏に自動的に伴奏を追従させる自動演奏装置が知られている。ここで追従とは、演奏者が演奏している曲の位置を検出し、その演奏に一致した伴奏等をその演奏のテンポに合わせて自動演奏することである。したがって、演奏者が演奏した演奏情報から即座かつ正確に、曲のどの位置を演奏しているかを検索する必要がある。
【0003】
【従来の技術】
演奏者が演奏している曲の位置を検索する方法として従来知られているものは、演奏者が演奏した最新の複数の楽音(音符)の列(ここでは音符列という)について、楽譜上の音符列とその各音符の音高や音長を曲の初めから逐一比較していき、演奏した音符列と楽譜上の音符列が一致したところを演奏位置とする方法がある。
【0004】
【発明が解決しようとする課題】
従来の方法は、演奏者が演奏する毎に(例えば押鍵する毎に)、その演奏した音符列と楽譜上の音符列を曲の初めから比較照合しなければならないため、検索速度が遅く、また、一致する箇所が曲の中に複数ある場合などにはどこを一致箇所として決定するかなどの判断等において正確さにも欠けていた。
【0005】
本発明はかかる問題点に鑑みてなされたものであり、演奏者等が現在演奏している楽曲中の位置を迅速に且つより正確に検索できるようにすることを目的とする。
【0006】
【課題を解決するための手段及び作用】
この目的を達成するために、請求項1記載の電子楽器の演奏位置検索装置は、演奏者が演奏した演奏データを入力する入力手段と、楽曲の演奏データを記憶してその演奏データに応じた自動演奏を行うと共に、前記入力手段により入力された演奏データに応じて自動演奏の演奏位置を変更する自動演奏手段と、前記入力手段に演奏データが入力された場合に、その入力された演奏データに基づいて、前記自動演奏の変更先の候補となる演奏位置を前記楽曲の演奏データから検索する検索手段と、その検索手段により検索された前記変更先の候補である演奏位置を使用して前記自動演奏の変更先の演奏位置を決定する決定手段と、その決定手段により決定された変更先の演奏位置へ前記自動演奏手段による自動演奏の演奏位置を変更する変更手段とを備え、前記決定手段は、前記自動演奏手段による自動演奏の現在の演奏位置を基準とする予め定められた第1範囲内に、前記検索手段により検索された変更先の候補である演奏位置が存在する場合には、その第1範囲内に存在する演奏位置を前記変更先の候補から除外する除外手段と、その除外手段により前記第1範囲内に存在する演奏位置を前記変更先の候補から除外した結果、前記変更先の候補である演奏位置が存在しなくなった場合には、前記変更先の演奏位置の決定を中止して前記自動演奏手段による現在の自動演奏を継続させる継続手段とを備えている。
【0007】
請求項2記載の電子楽器の演奏位置検索装置は、請求項1記載の電子楽器の演奏位置検索装置において、前記決定手段は、前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外にある場合には、その変更先の候補である演奏位置から1の演奏位置を選択する選択手段を備え、その選択手段により選択された1の演奏位置を前記自動演奏の変更先の演奏位置に決定するものである。
【0008】
請求項3記載の電子楽器の演奏位置検索装置は、請求項2記載の電子楽器の演奏位置検索装置において、前記選択手段は、前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外に複数存在する場合に、その第1範囲外に存在する複数の演奏位置から、前記自動演奏の現在の演奏位置よりも以前の演奏位置に存在する演奏位置を抽出する抽出手段と、その抽出手段により抽出された前記変更先の候補である演奏位置から、前記自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して前記1の演奏位置とする第1選択手段とを備えている。
【0009】
請求項4記載の電子楽器の演奏位置検索装置は、請求項3記載の電子楽器の演奏位置検索装置において、前記第1選択手段は、選択した1の演奏位置を基準としてその基準よりも以前の演奏位置となる予め定められた第2範囲内に、前記変更先の候補である演奏位置が他に存在するかを判定する範囲判定手段と、その範囲判定手段により前記変更先の候補である演奏位置が他に前記第2範囲内に存在すると判定された場合に、前記他に存在する演奏位置から、前記選択した1の演奏位置に対して以前且つ最も近くに存在する演奏位置を、前記選択した1の演奏位置に代えて新たに再選択する再選択手段と、その再選択手段により新たな演奏位置が再選択された場合に、その再選択された新たな演奏位置を前記選択した1の演奏位置として前記範囲判定手段による判定を再実行させる再実行手段と、その再実行手段による再実行の後に、前記範囲判定手段により前記変更先の候補である演奏位置が他に前記第2範囲内に存在しないと判定された場合に、前記再選択手段により再選択されている新たな演奏位置を前記選択した1の演奏位置に決定する最終決定手段とを備えている。
【0010】
請求項5記載の電子楽器の演奏位置検索装置は、請求項2から4のいずれかに記載の電子楽器の演奏位置検索装置において、前記選択手段は、前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外に複数存在する場合に、その第1範囲外に存在する複数の演奏位置の全てが前記自動演奏の現在の演奏位置よりも以後の演奏位置であるかを判定する以後判定手段と、その以後判定手段により前記複数の演奏位置の全てが前記自動演奏の現在の演奏位置よりも以後の演奏位置であると判定された場合に、前記変更先の候補である複数の演奏位置から、前記自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して前記1の演奏位置とする第2選択手段とを備えている。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図2には本発明の一実施例としての演奏位置検索装置を搭載した電子楽器が示される。この電子楽器は自動演奏機能を搭載しており、この自動演奏機能は、鍵盤から演奏入力した楽音(以下、音符と記す) の楽譜上の位置を検索し、その演奏位置に合わせてその楽曲の伴奏を自動演奏する。
【0012】
図2において、1はCPU(中央処理装置)であって装置全体の制御を司る。2はRAM(ランダム・アクセス・メモリ)であって、自動演奏データやCPU1が作成する後述の楽曲データテーブルやハッシュテーブル等を一時的に記憶するメモリ作業領域などとして用いられる。3はROM(リード・オンリー・メモリ)であって、CPU1の制御用プログラムや各種のテーブルなどを記憶する。4は演奏者がマニュアルで演奏を行うための鍵盤である。5は操作パネルであり、例えば自動演奏を開始するためのスタートボタン5a、自動演奏を停止するためのストップボタン5b、自動演奏のテンポ速度を設定するためのテンポ操作子5cなどを含む。6は音源であり、CPU1から渡された演奏データに基づいて音色やエフェクトを付与しつつ楽音信号を発生する。7は音源6からの楽音信号を増幅する増幅器、8は増幅された楽音信号を電気/音響変換して放音するスピーカである。
【0013】
この実施例装置では、自動演奏機能が自動演奏する楽曲に関して、以下に述べる楽曲データテーブルとハッシュテーブルを予め作成してRAM2に記憶しておく。
【0014】
なお、これらのテーブル中に示される時間に係わる項目はその単位としてティックTickが用いられる。ここで、1ティックTickは、4分音符を100等分した長さ(すなわち4分音符1つ当たり100クロックが発生される場合のクロックの間隔)である。1ティックTickの長さは、テンポが1分間あたりの4分音符の数で表現されるから、テンポの値に応じてその物理的な時間長が変わることになる。
【0015】
いま、例えば図3に楽譜の一部(曲の開始部分)を示す楽曲について楽曲データテーブルを作成するものとする。図4にはこの楽譜中の各音符(各楽音) に応じた楽曲データテーブルが示される。図4中、ポインタAddは当該音符のノートデータが格納されているメモリのアドレスを示すもの、イベント間隔Eventは直前の音符のノートオンから当該音符のノートオンまでの時間間隔(時間単位Tick)、ノート番号NoteNo.は当該音符の音高(音名とノートナンバーで示す)、デュレーションDurationは当該音符のノートオンからオートオフまでの時間(押鍵の持続時間:時間単位Tick)、ベロシティVelは当該音符の打鍵の強さをそれぞれ示す。
【0016】
ここで、この図4の楽曲データテーブル中では、例えば図3中に示す5番目の和音の音符は、イベント間隔Eventが接近している3つの音(ポインタAddが4、5、6のC1、A、F)として表される。かかる和音については、後述のハッシュテーブルの作成にはその3音の構成音のうちの最高音高(この例ではC1 )のみが用いられる。
【0017】
図5には図3の音符列について図4の楽音データテーブルに基づいて作成したハッシュテーブルが示される。このハッシュテーブルは、楽譜上の各音符について後述する方法でそれぞれハッシュキー(ハッシュ値)を求めて、その求めたハッシュキー毎にその値に対応する各音符の情報をアイテムとして登録するものであり、このアイテムは当該音符のポインタAddと曲の先頭からの経過時間(時間単位Tick)とからなる。
【0018】
いま注目している音符(当該音符という)についてのハッシュキーは、当該音符を含む最新に演奏入力した4つの音符(当該音符とその直前に演奏した3つの音符)について次のハッシュ演算をすることで求める。すなわち、当該音符Note(i)のハッシュキーは、当該音符Note(i)を含む直近にノートオンした4つの音符Note(i-3)、Note(i-2)、Note(i-1)、Note(i)のノート番号をそれぞれN(i-3)、N(i-2)、N(i-1)、N(i)とし、係数をα1、α2、α3、α4とした場合、次のハッシュ演算
ΣN(i-j)・α(1+j)/M (但し、Σはj=0から3までの加算)
=〔N(i)・α1+N(i-1)・α2+N(i-2)・α3+N(i-3)・α4〕/M
を行い、その余りをハッシュキー(ハッシュ値)とすることで求める。なお、和音についてはその構成音の最高の音高とする。
【0019】
ここで、本実施例ではM=128と設定することで、ハッシュ値が0〜127の128通りの値となるようにしており、楽譜中の各音符を0〜127のハッシュキーの何れかに区分けできる。このMの値は経験的に適当な値を選定する。このようにして求めたハッシュキーに対応して、その音符Note(i)の情報をアイテム(ポインタAddと曲の演奏開始からの経過時間からなる)として記憶する。これを曲全体の各音符について行うことで、ハッシュテーブルを作成する。これにより、ハッシュテーブルの各ハッシュキーの欄にはそれぞれ、楽曲の先頭側から時間的に早い順に各音符に対応するアイテムが、その欄の先頭から順に並べられる。
【0020】
以下にこの実施例装置の動作を説明する。まず、動作概要を説明する。ここでは、演奏者が任意の楽曲の任意のパートを自分が演奏するパートとして選択し、残りのパート(選択されたパート以外のパート)を自動演奏機能で伴奏として自動演奏する。この自動演奏機能は、演奏者が現に演奏している音符列(ここでは直近に押鍵した4音符とする)の位置に常に追従するようにして残りのパートを自動演奏する。そのため、演奏者が楽譜中のどの位置を鍵盤で演奏しているかを常に検索し、その検索した位置が、自動演奏機能で現に自動演奏中の楽譜の位置からずれた場合には、自動演奏を当該検索した位置にジャンプさせることで、演奏者の演奏位置と自動演奏位置とを一致させる。
【0021】
具体的には、以下の手順となる。
1.演奏者は演奏しようとする曲を選択する。その曲が複数のパートからなるものとし、その複数のパートのうちから、どのパートを演奏するかも選択する。
2.その選択された曲のパートについて、CPU1は前述した方法でハッシュテーブル(検索表)を予め作成し、RAM2に記憶しておく。
3.演奏者による演奏が開始されると、演奏者が鍵盤でいま現に演奏入力している音符(ノートオンデータ)を含む直近の4つの音符の列について、前述のハッシュ演算を行ってハッシュキーを求め、その求めたハッシュキーを索引に用いてハッシュテーブルを検索し、そのハッシュキーに対応する音符のアイテム(1または複数ある)を求める。
4.求めたアイテムに基づいて、演奏者が現に演奏している楽譜上の位置を推定し、その位置を自動演奏のジャンプ先として決め、自動演奏をその位置にジャンプさせて自動演奏を演奏者の演奏位置に追従させつつ続行する。
【0022】
以下、上述の動作の詳細な手順を図6、図7、図8のフローチャートを参照して説明する。
【0023】
まず、図6はティックタイマ割込み処理を示すものであり、このティックタイマ割込み処理により自動演奏機能で楽曲データが自動演奏される。このティックタイマ割込み処理は1ティック時間(Tick)毎の一定時間間隔でCPU1に割込みがかけられて実行される。この処理のために、最新の音符のノートオンからの経過時間(以下、イベント時刻Event Tickと称する) を計時するためのイベントタイマがあり、このイベントタイマは自動演奏機能(シーケンサ)が一定時間間隔(1ティック間隔)でカウントアップし、その都度、シーケンサのポインタAddが指し示す音符のイベント間隔Eventと比較するものとする。
【0024】
図6において、1ティックTick時間が経過する毎にティックタイマ割込みがかかり、この図6の処理ルーチンが起動する。まず、自動演奏するパートの楽曲データテーブル(図4と同様のもの)を参照して、現在のイベント時刻Event TickをシーケンスポインタAddが示す音符のイベント間隔Eventと比較する(ステップS11)。両者が不一致の時には、最新に音符をノートオンしてから、その音符に続く次の音符の発音タイミングがまだ到来していないことを意味するので、楽音発生のための処理(ステップS12〜S15)を飛び越して、イベント時刻Event Tickと和音検出時間Timeをそれぞれ1ティックTick時間ずつインクリメントし(ステップS16、S17)、次のティックタイマ割込みを待つ。
【0025】
一方、ステップS11にて両者が一致した時には、自動演奏における次の音符の発音タイミングが到来したことを意味する。よって、楽曲データテーブル中の、シーケンスポインタAdd が示す次に発音する音符の演奏データを取り出して、音源6に送って当該音符を発音開始させる(ステップS12)。その後、シーケンスポインタAddを一つ進め(ステップS13)、イベント時刻Event Tickを「0」にリセットする(ステップS14)。この「0」リセットにより、イベント時刻Event Tickは今回新たに発音した音符のノートオン以降の時間経過を計測開始する。
【0026】
さらに、イベント間隔Eventが「0」か否か調べる(ステップS15)。イベント間隔Eventが「0」であるとは、同時発音される楽音が複数ある和音であることを意味しており、その場合にはステップS12以降の処理を繰り返して複数楽音を同時発音することで和音の発音とする。この後、イベント時刻Event Tickと和音検出時間Timeを1ティックTick時間ずつインクリメントする(ステップS16、S17)。なお、この和音検出時間Timeは、詳しくは後述するが、楽譜中の和音を検出するためのタイマである。
【0027】
図7には、演奏者の鍵操作によるノートオンがある毎に実行されるノートオン処理が示される。新たな楽音のノートオンがあると、和音検出時間Timeが所定の比較値ΔTと比較され、Time>ΔTか否か判定される(ステップS11)。和音検出時間Timeは、一つ前の音符のノートオン後から1ティックTick時間毎に逐次に更新される値である。よって、このステップS11の処理は、前の音符のノートオンから今回押鍵した音符のノートオンまでの時間間隔が所定の比較値ΔT以下か否かをチェックするものであり、前回入力音符と今回入力音符の時間間隔がこの時間間隔ΔT以内であれば、2つの音符は互いに和音を構成する構成音の関係にあり、時間間隔ΔTを超えていれば、2つの音符は和音の構成音ではなく独立の音符であると判断する。
【0028】
このステップS11で、Time≦ΔT、すなわち2つの音は和音の構成音であると判定された場合には、和音処理を行う(ステップS14)。この和音処理では、前回のノートオンの楽音と今回のノートオンの楽音とは互いに和音を構成する構成音であるものとして、前回と今回ノートオンした音符のノートナンバーを比較して、ノートナンバーの高い方を当該和音のノートナンバーとして記憶する。よって、この処理を和音の構成音全部について逐次に行うことで、和音の構成音中の最高音高を当該和音の音高として記憶できる。
【0029】
ステップS11で、Time>ΔT、すなわち2つの音は和音の構成音でない場合には、最新の4音符(今回のノートオンした音符とその直近にノートオンした3つの音符)についてハッシュ演算を行い、ハッシュキーを求める(ステップS12)。そして、後述する検索処理ルーチンを行う(ステップS13)。この検索処理ルーチンでは、上記最新の4音符が楽譜上のどの位置のものであるかを検索し、その位置が自動演奏機能で演奏中の位置と一致していなかった場合には、自動演奏の演奏位置を上記演奏者が演奏した演奏位置にジャンプさせる処理を行う。
【0030】
この検索処理(ステップS13)または和音処理(ステップS14)を行った後は、和音検出時間Timeを「0」にリセットし(ステップS15)、このノートオン処理を終了する。
【0031】
図8には上記の検索処理ルーチンの詳細手順が示される。この検索処理ルーチンは、演奏者の演奏した音符列(最新にノートオンした4つの音符)が楽譜上のどの位置のものであるかを、その音符列について計算で求めたハッシュキーをインデックスにしてハッシュテーブルを検索することで推定し、その推定した楽譜上の位置に自動演奏位置をジャンプさせる処理を行うものである。
【0032】
上記の求めたハッシュキーでハッシュテーブルを検索する際には、当該ハッシュキーに対応するアイテムとして1または複数のものが求められるが、本実施例では、以下に説明する演奏者のとる動作の音楽的な性格に基づいて、いずれか1つのアイテムを演奏者の演奏している位置として推定する。
【0033】
具体例を図1を参照して説明する。図1において、自動演奏機能で自動演奏されている楽譜上の現在の位置を現在時刻Cur Tickとする。この現在時刻Cur Tickは曲の初めから現在の自動演奏位置までの経過時間(時間単位Tick)である。図1中に〇印で示すものは、演奏者が演奏入力した音符列について計算したハッシュキーをインデックスとしてハッシュテーブルから求めたアイテム(音符)の楽譜上の位置を示すものである。
【0034】
図1(1)に示すように、演奏者が演奏した音符列について計算したハッシュキーをインデックスとしてハッシュテーブルから求めたアイテムが、現在時刻Cur Tickから±α(但し、αは1小節の長さとする)以内にある場合には、これらのアイテムを無視して、自動演奏機能が現在自動演奏をしている位置である現在時刻Cur Tickを演奏者の演奏位置と見なして、自動演奏をジャンプさせることなく続行する。これは、現在時刻Cur Tickに対して±α程度の位置にあるアイテムは演奏者の演奏タイミングが多少ずれたためなどと考えられるので、自動演奏位置が頻繁にジャンプすることによる音楽的な不自然さを防ぐためである。
【0035】
一方、図1(2)、図1(3)に示すように、ハッシュテーブルから取り出したアイテムが、現在時刻Cur Tickよりも時間的にα時間以上前にある場合には、現在時刻Cur Tickよりも時間的に後ろにアイテムがあってもそのアイテムは無視して、当該時間的に前にあるアイテムを演奏者の演奏位置と推定するようにする。このような推定処理の意味は、演奏者が練習演奏をしている場合を想定したもので、演奏者があるフレーズを繰り返して演奏する場合、現在の演奏位置よりも前にあるフレーズに戻って練習演奏するのが自然であると考えられるからである。
【0036】
図1(2)に示すケースでは、現在時刻Cur Tickよりも時間的に前のアイテムを演奏位置として推定する場合においても、現在時刻Cur Tickの最も近く(±α以内はノイズとして除外)にあるアイテムを、そのアイテムの直前β(但し、βは2小節)時間以内に他のアイテムがないことを条件として、当該アイテムを演奏者の演奏位置と推定し、そのアイテムの位置に自動演奏位置をジャンプさせるものである。このように、現在時刻Cur Tickに直近のアイテムを演奏者の演奏位置と推定するのは、演奏者があるフレーズを繰り返して練習演奏する場合には、現在の演奏位置からそれほど離れていない所にあるフレーズに戻って練習を繰り返すのが演奏者の動作として自然と考えられるからである。
【0037】
また、図1(3)は現在時刻Cur Tickよりも時間的に前のアイテムを演奏位置として推定する場合においても、現在時刻Cur Tickの最も近く(±α以内はノイズとして除外)にあるアイテムの前のβ(但し、βは2小節)時間以内に他のアイテムがある場合には、それら互いにβ時間以内にあるアイテムのうちの最も前にあるアイテムを演奏者の演奏位置と推定し、そのアイテムの位置に自動演奏位置をジャンプさせるものである。このように、β時間以内にあるアイテムのうちの最も前にあるアイテムを演奏者の演奏位置と推定するのは、かかる場合には楽曲のうちに同じフレーズが何度も繰り返されている曲部分であると考えられ、そのような曲部分について練習する場合には、その繰返しフレーズの最も先頭から演奏練習をするのが演奏者の動作として自然と考えられるからである。
【0038】
また、図1(4)に示すように、現在時刻Cur Tickよりも時間的に後にアイテムがある場合には、現在時刻Cur Tickに最も近く(±α以内はノイズとして除外)にあるアイテムを、演奏者の演奏位置として推定する。
【0039】
以上の処理を実現する図8の検索処理ルーチンを詳説する。図8においては、以下の変数(パラメータ)が用いられている。
現在時刻Cur Tick:前述したように、自動演奏機能が自動演奏している現在の位置(曲の先頭からの時間的位置:時間単位Tick)である。
検索時刻Search Tick :ハッシュキーに基づきハッシュテーブルから取り出したアイテム(検索アイテムという) についての曲の先頭からの時間的位置である。
ジャンプ先時刻Jump Tick :演奏者の演奏位置として推定されて自動演奏をジャンプさせる先となる位置(曲の先頭からの時間的位置:時間単位Tick)である。
検索アイテムSearch Item :検索処理ルーチンがハッシュテーブルから取り出して現在の検索処理の対象としているアイテムである。
マッチアイテムMatch Item:演奏者の演奏位置として推定されて自動演奏をジャンプさせる先となるアイテムである。
【0040】
図8において、検索処理ルーチンが開始されると、まずジャンプ先時刻Jump Tickとして「−∞」を代入する(ステップS20)。次いで、演奏者が最新に演奏した音符列(4つの音符)について演算で求めたハッシュキーに対応する検索結果としてのアイテムがハッシュテーブルにあるかを判定する(ステップS21)。検索対象のアイテム(以下、検索アイテムSearch Itemと称する)が得られた場合には(複数ある場合には、そのハッシュキーの欄の先頭から順次に一つを選択する)、その検索アイテムSearch Itemの検索時刻Search Tickが現在時刻Cur Tick−αよりも前であるかを判定する(ステップS24)。「現在時刻Cur Tick±α」以内であれば、図1(1)のケースに相当し、後述するように、この検索アイテムSearch Itemは無視される。
【0041】
検索時刻Search Tickが現在時刻Cur Tick−αよりも前である場合には、さらに検索時刻Search Tickが、ジャンプ先時刻Jump Tick+βより前か後かを判定する(ステップS25)。これは図1(2)または図1(3)の何れかのケースに相当するかを判定しているものであり、当初はいずれのアイテムを検索アイテムSearch Itemとしている場合でも、ステップS20において上記のジャンプ先時刻Jump Tickを「−∞」としているので、ステップS25の判定は、必ず
検索時刻Search Tick≧ジャンプ先時刻Jump Tick+β
となり、よって、ステップS26にて、
マッチアイテムMatch Item=検索アイテムSearch Item
ジャンプ先時刻Jump Tick=検索時刻Search Tick
の処理が行われる。
【0042】
このステップS26の後に、ステップS21に戻ってハッシュテーブル中に検索結果(アイテム)があるかが再び判定される。ハッシュキーに対応する他のアイテムがハッシュテーブル中にない場合には、ステップS26で設定されたマッチアイテムMatch Itemが自動演奏のジャンプ先となり、そのジャンプ先時刻Jump Tickが「0」以下でないことを確認したうえで(ステップS22)、そのマッチアイテムMatch Itemに自動演奏をジャンプさせる処理を行って(ステップS30)、この検索処理ルーチンを抜け出す。
【0043】
一方、ハッシュキーに対応する他のアイテム(ハッシュキーの欄の先頭アイテム以降のもの)がハッシュテーブル中に更にある場合には、そのアイテムを次の検索アイテムSearch Itemとして取り出して前記ステップS24、S25の処理を繰り返す。この場合、その検索アイテムSearch Itemが
検索時刻Search Tick≧ジャンプ先時刻Jump Tick+β
であれば、この新たに検索対象とした検索アイムSearch Itemは前述の図1(2)のケースに相当し、この場合には、次に続くステップS26で、この新たな検索アイムSearch Itemを設定したマッチアイテムMatch Itemが自動演奏のジャンプ先に決定されるので、ステップS21、S22、S30を辿ってこの検索処理ルーチンを抜け出す。
【0044】
ステップS25で、検索アイテムSearch Itemが
検索時刻Search Tick<ジャンプ先時刻Jump Tick+β
であれば、この新たに検索対象とした検索アイムSearch Itemは前述の図1(3)のケースに相当し、この場合には、この新たな検索アイムSearch Itemは無視される。そして、ハッシュテーブル中に更に他のアイテムがないかを検索する(ステップS21)。これを繰り返すことにより、図1(3)の処理が実現されることになる。
【0045】
すなわち、このステップS26、S27の処理では、対応するハッシュキー欄から楽曲の先頭側から順にアイテムを取り出して検索アイムSearch Itemとしたものについて、現在のジャンプ先であるマッチアイテムMatch Itemよりもβ以内に検索アイムSearch Itemがある場合には、その検索アイムSearch Itemを無視することで、現在のマッチアイテムMatch Item(すなわち互いにβ以内にあるアイテム中の最も楽曲の先頭側にあるアイテム)をそのままジャンプ先のアイテムとし、βを超えた場合には、その新たな検索アイムSearch Itemが現在時刻Cur Tickにより近いアイテムであるので、ステップS27に進んで、その検索アイムSearch Itemを新たなジャンプ先のマッチアイテムMatch Itemとするものである。
【0046】
一方、検索アイテムSearch Itemの検索時刻Search Tickが
検索時刻Search Tick≦現在時刻Cur Tick−α
であれば、さらに
検索時刻Search Tick<現在時刻Cur Tick+α
か否か、すなわち、現在時刻Cur Tick±α以内に検索アイテムSearch Itemがあるか否かを判定する(ステップS27)。現在時刻Cur Tick±α以内に検索アイテムSearch Itemがあれば、図1(1)のケースに相当し、よって、検索アイテムSearch Itemは無視され、この検索処理ルーチンを抜け出す。
【0047】
検索時刻Search Tickが現在時刻Cur Tick+αにより時間的に後であれば、図1(4)のケースに相当するので、この場合には、ジャンプ先時刻Jump Tickが「0」以下でないことを確認のうえ(ステップS28)、検索アイテムSearch ItemをマッチアイテムMatch Itemとして設定し(ステップS29)、自動演奏位置をそのマッチアイテムMatch Itemにジャンプさせたうえで(ステップS30)、この検索処理ルーチンを抜け出す。
【0048】
本発明の実施にあたっては種々の変形形態が可能である。例えば、上述の実施例では、ハッシュ演算をする対象の楽音列(音符列)を最新に入力した4つの楽音としたが、本発明はこれに限られるものではなく、演算の対象とする楽音の数は複数であればよい。また、その演算対象とする一連の楽音は必ずしも連続しているものである必要はなく、例えば連続している楽音中から一つ置きに抽出した4つの1連の楽音を楽音列として演算の対象にしてもよい。また、ハッシュの演算を行う対象の変数として、上述の実施例では各音符の音高を用いたが、本発明はこれに限られるものではなく、例えば音長や、音高+音長などとしてもよい。
【0049】
また、本発明では楽曲中の各楽音を上記実施例のハッシュ演算により検索テーブル中にソートするようにしたが、本発明はこれに限られず、楽音列の情報に変換演算を施すことにより、楽音列の情報が異なるものに対して変換結果が異なるような数学的な演算であれば、本発明に利用することができる。
【0050】
また、上述の実施例では、演奏者は鍵盤を用いて楽音の演奏データを入力するようにしたが、本発明はこれに限られるものではなく、他の種々の演奏操作子手段が利用可能である。さらには、例えばカラオケ装置のように演奏者の歌唱をマイクロホンで入力し、その歌唱を楽音(音符)データに変化して、その歌唱に追従するようにバックの伴奏を自動演奏するような形態でも本発明を適用することができる。
【0051】
また、以上の説明では、本発明の単独の製品としての電子楽器に搭載した場合について説明したが、本発明はこれに限られるものではなく、本発明を実現するためのプログラムを電子楽器機能を実現するためのプログラムととも記録媒体に格納しておき、この記録媒体からパーソナルコンピュータにプログラムをインストールすることで、パーソナルコンピュータを電子楽器として機能させるような利用形態であっても、本発明を実施することができる。
【0052】
【発明の効果】
請求項1記載の電子楽器の演奏位置検索装置によれば、入力手段により演奏データが入力されたとき、自動演奏手段による自動演奏の現在の演奏位置を基準とする予め定められた第1範囲内に、検索手段により検索された変更先の候補である演奏位置が存在する場合には、除外手段は、その第1範囲内に存在する演奏位置を変更先の候補から除外する。この除外は、変更先の候補である演奏位置が第1範囲内に存在する場合には、その変更先の候補である演奏位置が、自動演奏による現在の演奏位置の近くに存在していることを理由とする(ほとんどずれていないことを理由とする)。このように、第1範囲内に存在する演奏位置を変更先の候補から除外することで、自動演奏の演奏位置が現在の演奏位置とほとんど変わらないにも拘らず、変更手段によって、自動演奏の演奏位置が現在の演奏位置の近くに頻繁に変更されることを防止することができる。よって、入力手段により演奏データが入力された場合に、自動演奏が不自然な音楽となることを防止することができるという効果がある。また、第1範囲内に存在する演奏位置を変更先の候補から除外した結果、変更先の候補である演奏位置が存在しなくなった場合には、継続手段は、変更先の演奏位置の決定を中止して自動演奏手段による現在の自動演奏を継続させる。よって、除外手段による除外により変更先の候補である演奏位置が存在しなくなっても、自動演奏が不自然な音楽となることを防止することができるという効果がある。
請求項2記載の電子楽器の演奏位置検索装置によれば、請求項1記載の電子楽器の演奏位置検索装置の奏する効果に加え、選択手段は、検索手段により検索された変更先の候補である演奏位置が、第1範囲外にある場合には、即ち、自動演奏による現在の演奏位置から比較的遠くに存在する場合には、その変更先の候補である演奏位置から1の演奏位置を選択する。そして、決定手段は、選択手段により選択された1の演奏位置を自動演奏の変更先の演奏位置に決定する。よって、自動演奏による演奏位置が複数の演奏位置に決定されることがないので、入力手段により演奏データが入力された場合に、自動演奏が不自然な音楽となることを防止することができるという効果がある。
請求項3記載の電子楽器の演奏位置検索装置によれば、請求項2記載の電子楽器の演奏位置検索装置の奏する効果に加え、抽出手段は、検索手段により検索された変更先の候補である演奏位置が第1範囲外に複数存在する場合には、その第1範囲外に存在する複数の演奏位置から、自動演奏の現在の演奏位置よりも以前の演奏位置に存在する演奏位置を抽出する。そして、第1選択手段は、抽出手段により抽出された変更先の候補である演奏位置から、自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して1の演奏位置とする。このように、変更先の候補である演奏位置が第1範囲外に複数存在する場合には、自動演奏の現在の演奏位置よりも以前の演奏位置に存在し、且つ、自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を1の演奏位置とする。これは、演奏者があるフレーズを繰り返して練習演奏する場合には、自動演奏による現在の演奏位置からそれほど離れていない演奏位置にあるフレーズに戻って練習を繰り返すのが、演奏者の動作として自然であるからである(一般的であるからである)。このように、演奏者として自然である動作に基づいて1の演奏位置を決定することができるので、入力手段により演奏データが入力された場合に、自動演奏が不自然な音楽となることを防止することができるという効果がある。
請求項4記載の電子楽器の演奏位置検索装置によれば、請求項3記載の電子楽器の演奏位置検索装置の奏する効果に加え、範囲判定手段により変更先の候補である演奏位置が他に第2範囲内に存在すると判定されると、再選択手段は、他に存在する演奏位置から、選択した1の演奏位置に対して以前且つ最も近くに存在する演奏位置を、選択した1の演奏位置に代えて新たに再選択する。その後、再実行手段は、再選択手段により再選択された新たな演奏位置を選択した1の演奏位置として範囲判定手段による判定を再実行させる。そして、再実行手段による再実行の後に、範囲判定手段により変更先の候補である演奏位置が他に第2範囲内に存在しないと判定されると、最終決定手段は、再選択手段により再選択されている新たな演奏位置を選択した1の演奏位置に決定する。このように、再実行手段による再実行が行われると、その後に、変更先の候補である演奏位置が他に第2範囲内に存在しないと範囲判定手段により判定されるまで、再選択手段は、繰り返し、選択した1の演奏位置に対して以前且つ最も近くに存在する変更先の候補である演奏位置を、選択された1の演奏位置に代えて新たな演奏位置とする。これにより、最終決定手段により決定される1の演奏位置は、第2範囲内に存在し、且つ、最も以前の演奏位置となる。これは、演奏者の練習演奏により、ある楽曲のうち、同じフレーズが何度も繰り返される曲部分が発生した場合には、そのような曲部分について同じフレーズの最も先頭(最も以前)から演奏練習を行うのが演奏者の動作として自然であるからである(一般的であるからである)。このように、演奏者として自然である動作に基づいて1の演奏位置を決定することができるので、入力手段により演奏データが入力された場合に、自動演奏が不自然な音楽となることを防止することができるという効果がある。
請求項5記載の電子楽器の演奏位置検索装置によれば、請求項2から4のいずれかに記載の電子楽器の演奏位置検索装置の奏する効果に加え、以後判定手段は、検索手段により検索された変更先の候補である演奏位置が第1範囲外に複数存在する場合には、その第1範囲外に存在する複数の演奏位置の全てが自動演奏の現在の演奏位置よりも以後の演奏位置であるかを判定する。そして、以後判定手段により複数の演奏位置の全てが自動演奏の現在の演奏位置よりも以後の演奏位置であると判定された場合には、第2選択手段は、変更先の候補である複数の演奏位置から、自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して1の演奏位置とする。よって、自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置に自動演奏の演奏位置を変更することができるので、入力手段により演奏データが入力された場合に、自動演奏が不自然な音楽となることを防止することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例としての電子楽器の演奏位置検索装置における検索規則を説明するための図である。
【図2】本発明の一実施例としての電子楽器の演奏位置検索装置の全体構成を示す図である。
【図3】実施例装置で検索対象に用いる楽曲の楽譜(楽曲の先頭部分)を示す図である。
【図4】図3の楽譜部分の楽曲データテーブルを示す図である。
【図5】実施例の楽曲について求めたハッシュテーブルの例を示す図である。
【図6】実施例装置におけるティックタイマ割込み処理の処理手順を示すフローチャートである。
【図7】実施例装置におけるノートオン入力処理の処理手順を示すフローチャートである。
【図8】実施例装置のノートオン入力処理中の検索処理ルーチンの処理手順を示すフローチャートである。
【符号の説明】
1 CPU(中央処理装置)
2 RAM(ランダム・アクセス・メモリ)
3 ROM(リード・オンリー・メモリ)
4 鍵盤
5 パネル操作子
6 音源
7 増幅器
8 スピーカ

Claims (5)

  1. 演奏者が演奏した演奏データを入力する入力手段と、
    楽曲の演奏データを記憶してその演奏データに応じた自動演奏を行うと共に、前記入力手段により入力された演奏データに応じて自動演奏の演奏位置を変更する自動演奏手段と、
    前記入力手段に演奏データが入力された場合に、その入力された演奏データに基づいて、前記自動演奏の変更先の候補となる演奏位置を前記楽曲の演奏データから検索する検索手段と、
    その検索手段により検索された前記変更先の候補である演奏位置を使用して前記自動演奏の変更先の演奏位置を決定する決定手段と、
    その決定手段により決定された変更先の演奏位置へ前記自動演奏手段による自動演奏の演奏位置を変更する変更手段とを備え、
    前記決定手段は、
    前記自動演奏手段による自動演奏の現在の演奏位置を基準とする予め定められた第1範囲内に、前記検索手段により検索された変更先の候補である演奏位置が存在する場合には、その第1範囲内に存在する演奏位置を前記変更先の候補から除外する除外手段と、
    その除外手段により前記第1範囲内に存在する演奏位置を前記変更先の候補から除外した結果、前記変更先の候補である演奏位置が存在しなくなった場合には、前記変更先の演奏位置の決定を中止して前記自動演奏手段による現在の自動演奏を継続させる継続手段とを備えていることを特徴とする電子楽器の演奏位置検索装置。
  2. 前記決定手段は、
    前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外にある場合には、その変更先の候補である演奏位置から1の演奏位置を選択する選択手段を備え、
    その選択手段により選択された1の演奏位置を前記自動演奏の変更先の演奏位置に決定するものであることを特徴とする請求項1記載の電子楽器の演奏位置検索装置。
  3. 前記選択手段は、
    前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外に複数存在する場合に、その第1範囲外に存在する複数の演奏位置から、前記自動演奏の現在の演奏位置よりも以前の演奏位置に存在する演奏位置を抽出する抽出手段と、
    その抽出手段により抽出された前記変更先の候補である演奏位置から、前記自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して前記1の演奏位置とする第1選択手段とを備えていることを特徴とする請求項2記載の電子楽器の演奏位置検索装置。
  4. 前記第1選択手段は、
    選択した1の演奏位置を基準としてその基準よりも以前の演奏位置となる予め定められた第2範囲内に、前記変更先の候補である演奏位置が他に存在するかを判定する範囲判定手段と、
    その範囲判定手段により前記変更先の候補である演奏位置が他に前記第2範囲内に存在すると判定された場合に、前記他に存在する演奏位置から、前記選択した1の演奏位置に対して以前且つ最も近くに存在する演奏位置を、前記選択した1の演奏位置に代えて新たに再選択する再選択手段と、
    その再選択手段により新たな演奏位置が再選択された場合に、その再選択された新たな演奏位置を前記選択した1の演奏位置として前記範囲判定手段による判定を再実行させる再実行手段と、
    その再実行手段による再実行の後に、前記範囲判定手段により前記変更先の候補である演奏位置が他に前記第2範囲内に存在しないと判定された場合に、前記再選択手段により再選択されている新たな演奏位置を前記選択した1の演奏位置に決定する最終決定手段とを備えていることを特徴とする請求項3記載の電子楽器の演奏位置検索装置。
  5. 前記選択手段は、
    前記検索手段により検索された前記変更先の候補である演奏位置が前記第1範囲外に複数存在する場合に、その第1範囲外に存在する複数の演奏位置の全てが前記自動演奏の現在の演奏位置よりも以後の演奏位置であるかを判定する以後判定手段と、
    その以後判定手段により前記複数の演奏位置の全てが前記自動演奏の現在の演奏位置よりも以後の演奏位置であると判定された場合に、前記変更先の候補である複数の演奏位置から、前記自動演奏の現在の演奏位置に対して最も近くに存在する演奏位置を選択して前記1の演奏位置とする第2選択手段とを備えていることを特徴とする請求項2から4のいずれかに記載の電子楽器の演奏位置検索装置。
JP36614299A 1999-12-24 1999-12-24 電子楽器の演奏位置検索装置 Expired - Fee Related JP4334096B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36614299A JP4334096B2 (ja) 1999-12-24 1999-12-24 電子楽器の演奏位置検索装置
US09/745,843 US6365819B2 (en) 1999-12-24 2000-12-21 Electronic musical instrument performance position retrieval system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36614299A JP4334096B2 (ja) 1999-12-24 1999-12-24 電子楽器の演奏位置検索装置

Publications (2)

Publication Number Publication Date
JP2001184059A JP2001184059A (ja) 2001-07-06
JP4334096B2 true JP4334096B2 (ja) 2009-09-16

Family

ID=18486028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36614299A Expired - Fee Related JP4334096B2 (ja) 1999-12-24 1999-12-24 電子楽器の演奏位置検索装置

Country Status (2)

Country Link
US (1) US6365819B2 (ja)
JP (1) JP4334096B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7649134B2 (en) * 2003-12-18 2010-01-19 Seiji Kashioka Method for displaying music score by using computer
JP2006251173A (ja) * 2005-03-09 2006-09-21 Roland Corp 楽音制御装置および楽音制御プログラム
JP2009151712A (ja) * 2007-12-21 2009-07-09 Canon Inc 楽譜作成方法及び画像処理システム
JP2009151713A (ja) * 2007-12-21 2009-07-09 Canon Inc 楽譜作成方法及び画像処理装置
JP2009153067A (ja) * 2007-12-21 2009-07-09 Canon Inc 画像処理方法及び画像処理装置
JP2009153068A (ja) * 2007-12-21 2009-07-09 Canon Inc 楽譜の加工方法及び画像処理装置
US7482529B1 (en) * 2008-04-09 2009-01-27 International Business Machines Corporation Self-adjusting music scrolling system
JP5654897B2 (ja) * 2010-03-02 2015-01-14 本田技研工業株式会社 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム
KR101582759B1 (ko) * 2014-11-21 2016-01-08 중앙대학교 산학협력단 음원 인식 서비스 제공 방법
CN109478398B (zh) * 2016-07-22 2023-12-26 雅马哈株式会社 控制方法以及控制装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913259A (en) * 1997-09-23 1999-06-15 Carnegie Mellon University System and method for stochastic score following
JP3533974B2 (ja) * 1998-11-25 2004-06-07 ヤマハ株式会社 曲データ作成装置および曲データ作成プログラムを記録したコンピュータで読み取り可能な記録媒体

Also Published As

Publication number Publication date
US6365819B2 (en) 2002-04-02
US20010015122A1 (en) 2001-08-23
JP2001184059A (ja) 2001-07-06

Similar Documents

Publication Publication Date Title
US9018505B2 (en) Automatic accompaniment apparatus, a method of automatically playing accompaniment, and a computer readable recording medium with an automatic accompaniment program recorded thereon
US9117432B2 (en) Apparatus and method for detecting chord
RU2502119C1 (ru) Музыкальный звукогенерирующий инструмент и машиночитаемый носитель
CN102148027B (zh) 自动伴奏装置
JP2002510403A (ja) 音楽スコアとの演奏のリアルタイムな相関のための方法および装置
JP3528654B2 (ja) メロディ生成装置及びリズム生成装置と記録媒体
JP2012103603A (ja) 情報処理装置、楽曲区間抽出方法、及びプログラム
US10803845B2 (en) Automatic performance device and automatic performance method
JP4334096B2 (ja) 電子楽器の演奏位置検索装置
JP5293710B2 (ja) 調判定装置および調判定プログラム
JP6658785B2 (ja) 自動伴奏方法および自動伴奏装置
JP5297662B2 (ja) 楽曲データ加工装置、カラオケ装置、及びプログラム
JP5732982B2 (ja) 楽音生成装置および楽音生成プログラム
JP6077492B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7465194B2 (ja) カラオケ装置
JP5909967B2 (ja) 調判定装置、調判定方法及び調判定プログラム
JP6421811B2 (ja) コード選択方法およびコード選択装置
JP6554826B2 (ja) 音楽データ検索装置及び音楽データ検索プログラム
JP5419171B2 (ja) 電子楽器
JP5742592B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP6842356B2 (ja) カラオケ装置
JP3637782B2 (ja) データ生成装置と記録媒体
JP6102975B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP6149890B2 (ja) 楽音生成装置および楽音生成プログラム
JP2002156969A (ja) 演奏情報解析装置、方法及び記録媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees