JPH0997070A

JPH0997070A - 演奏制御装置

Info

Publication number: JPH0997070A
Application number: JP7278327A
Authority: JP
Inventors: Satoshi Usa; 聡史宇佐
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-10-02
Filing date: 1995-10-02
Publication date: 1997-04-08
Anticipated expiration: 2015-10-02
Also published as: JP3627321B2

Abstract

(57)【要約】【課題】指揮棒等の揺動動作に応答する演奏制御装置
において、動作特徴点の検出や動作種類の判別に関する
信頼性を高め、安定した音楽演奏を可能にする。【解決手段】揺動分析装置１０は、指揮棒３２に設け
たｘ，ｙ方向の角速度センサの出力Ｘ，Ｙに基づいて絶
対角速度のピークを検出し且つ何拍目のピークか判別す
る際にニューラルネットワークを用いることによりピー
ク発生周期に対応してテンポ制御情報ＴＣを発生し且つ
ピーク判別出力等に基づいて楽音制御情報ＳＣを発生す
る。自動演奏装置では、テンポ制御情報ＴＣに応じて演
奏のテンポを制御すると共に楽音制御情報ＳＣに応じて
音量、音色等の楽音特性を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、指揮棒等の揺動
動作に応答する演奏制御装置に関し、特に動作特徴点の
検出や動作種類の判別にニューラルネットワークを用い
ることにより制御の信頼性を高め、安定した音楽演奏を
可能にしたものである。

【０００２】

【従来の技術】従来、人間の動作に伴うセンサ出力波形
からピーク等の特徴点を検出したり、振り下ろし等の動
作種類を判別したりするために、フィルタ処理（平均化
処理）や大小比較処理等の信号処理を用いることが提案
されている。

【０００３】

【発明が解決しようとする課題】一般に、人間の動作は
極めて曖昧且つ不安定である。このため、上記したよう
な単純な信号処理だけでは、検出や判別の精度が低く、
検出ミスや判別誤りが頻繁に発生した。従って、検出結
果や判別結果に応じて例えば自動演奏のテンポを制御し
ようとしても、（イ）ユーザーがシステムに慣れる（機
械にふさわしい動作をする）のに時間がかかること、
（ロ）動作意図と異なる反応（誤動作）が生じるため、
制御の信頼性が低く、安定した音楽演奏が困難であるこ
となどの不都合を免れなかった。

【０００４】この発明の目的は、揺動動作に応答して信
頼性の高い演奏制御をなしうる新規な演奏制御装置を提
供することにある。

【０００５】

【課題を解決するための手段】この発明に係る第１の演
奏制御装置は、揺動動作を検知する検知手段と、この検
知手段の検知出力に基づいて揺動動作の特徴点を検出す
る検出手段であって、ニューラルネットワークを用いて
特徴点の検出を行なうものと、前記検出手段の検出出力
に基づいて演奏態様を制御する演奏制御手段とを備えた
ものである。

【０００６】このような構成によれば、ニューラルネッ
トワークを用いて揺動動作の速度ピーク（又は谷）等の
特徴点を検出するので、検出精度が向上し、信頼性の高
い演奏態様制御が可能になる。

【０００７】この発明に係る第２の演奏制御装置は、揺
動動作を検知する検知手段と、この検知手段の検知出力
に基づいて揺動動作の特徴点を検出する検出手段と、前
記検知手段の検知出力に基づいて揺動動作の動作種類を
判別する判別手段であって、ニューラルネットワークを
用いて動作種類の判別を行なうものと、前記検出手段の
検出出力及び前記判別手段の判別出力に基づいて演奏制
御情報を作成する作成手段と、この作成手段からの演奏
制御情報に基づいて演奏態様を制御する演奏制御手段と
を備えたものである。

【０００８】このような構成によれば、ニューラルネッ
トワークを用いて何拍目の動作か等の動作種類判別を行
なうようにしたので、判別精度が向上し、信頼性の高い
演奏態様制御が可能になる。

【０００９】

【発明の実施の形態】図１は、この発明に係る揺動分析
装置１０を示すもので、この装置は、図２に示す電子楽
器５０における自動演奏のテンポ及び楽音特性（音量、
音色等）を制御するために使用されるものである。

【００１０】揺動分析制御装置１０において、バス１２
には、操作検出回路１４、Ａ／Ｄ（アナログ／ディジタ
ル）変換回路１６，１８、ＣＰＵ（中央処理装置）２
０、ＲＯＭ（リード・オンリィ・メモリ）２２、ＲＡＭ
（ランダム・アクセス・メモリ）２４、タイマ２６、Ｍ
ＩＤＩ（Musical Instrument Digital Interface) イン
ターフェース２８等が接続されている。

【００１１】操作検出回路１４は、演奏スタートスイッ
チ等を含むスイッチ群３０中の各スイッチ毎に操作情報
を検出するものである。演奏スタートスイッチは、電子
楽器５０に設けてもよいが、指揮棒３２の把持部近傍に
設けると操作しやすい。

【００１２】指揮棒３２の先端近傍には、一例として圧
電振動ジャイロセンサからなるｘ方向（水平方向）及び
ｙ方向（垂直方向）の角速度センサ３４及び３６が設け
られており、センサ３４及び３６の出力Ｘ及びＹは、そ
れぞれノイズ除去回路３８及び４０を介してＡ／Ｄ変換
回路１６及び１８に供給される。Ａ／Ｄ変換回路１６
は、ノイズ除去回路３８でノイズ除去された出力ＸをＡ
／Ｄ変換した形のディジタル出力Ｄ_X を送出し、Ａ／Ｄ
変換回路１８は、ノイズ除去回路４０でノイズ除去され
た出力ＹをＡ／Ｄ変換した形のディジタル出力Ｄ_Y を送
出する。

【００１３】ＣＰＵ２０は、ＲＯＭ２２にストアされた
プログラムに従ってＡ／Ｄ変換回路１６，１８の出力Ｄ
_X ，Ｄ_Y を分析してテンポ制御情報ＴＣ及び楽音制御情
報ＳＣを発生するための各種処理を実行するもので、こ
れらの処理については図３〜８を参照して後述する。Ｒ
ＡＭ２４は、ＣＰＵ２０による各種処理に際してレジス
タ等として使用される記憶領域を含んでいる。

【００１４】タイマ２６は、ＣＰＵ２０に割込命令信号
を供給するもので、割込命令信号の発生周期は、一例と
して１０［ｍｓ］である。ＣＰＵ２０は、タイマ２６か
ら割込命令信号が発生されるたびに図７のセンサ出力処
理を実行する。

【００１５】ＭＩＤＩイーターフェース２８は、図２の
ＭＩＤＩイーターフェース７０とＭＩＤＩケーブルで接
続されたもので、テンポ制御情報ＴＣ、楽音制御情報Ｓ
Ｃ等をＭＩＤＩイーターフェース７０に供給する。

【００１６】図２の電子楽器５０において、バス５２に
は、押鍵検出回路５４、操作検出回路５６、表示回路５
８、音源回路６０、ＣＰＵ６２、ＲＯＭ６４、ＲＡＭ６
６、タイマ６８、ＭＩＤＩイーターフェース７０、フロ
ッピィディスク装置７２が接続されている。

【００１７】押鍵検出回路５４は、鍵盤７４の多数の鍵
にそれぞれ設けられた多数のキースイッチを走査するな
どして各鍵毎に鍵操作情報を検出するものである。

【００１８】操作検出回路５６は、演奏モード選択スイ
ッチ等を含むスイッチ群７６中の各スイッチ毎に操作情
報を検出するものである。演奏モード選択スイッチによ
りマニアル演奏モード及び自動演奏モードのうち一方又
は双方を選択可能である。

【００１９】表示回路５８は、テンポ、音量等の設定値
を表示する表示器を含んでいる。

【００２０】音源回路６０は、一例として第１〜第１５
の音源チャンネルを有するもので、各音源チャンネル毎
にイベントデータに応じて楽音信号を発生可能である。
例えば、キーオンに係るチャンネルナンバ１のイベント
データがチャンネルナンバ１の音源チャンネルに割当て
られると、この音源チャンネルからは、供給されたイベ
ントデータの指示する音高及び音量を有する楽音信号の
発生が開始される。そして、キーオフに係るチャンネル
ナンバ１のイベントデータがチャンネルナンバ１の音源
チャンネルに割当てられると、この音源チャンネルで
は、供給されたイベントデータの指示する音高を有する
楽音信号の減衰が開始される。他の音源チャンネルにお
いても、上記したと同様にして楽音信号発生制御動作が
行なわれる。

【００２１】音源回路６０から発生される１又は複数の
楽音信号は、サウンドシステム７８に供給され、音響に
変換される。

【００２２】ＣＰＵ６２は、ＲＯＭ６４にストアされた
プログラムに従って鍵盤７４の操作に基づくマニアル演
奏音信号の発生及び／又はＲＡＭ６６の演奏データに基
づく自動演奏音信号の発生を制御するもので、自動演奏
音信号の発生のための各種処理については図９〜１５を
参照して後述する。ＲＡＭ６６には、フロッピィディス
ク装置７２から所望の楽曲の演奏データを選択して書込
めるようになっている。別の選択方法としては、演奏デ
ータをＲＯＭ６４から選択して読出すようにしてもよ
い。ＲＡＭ６６は、ＣＰＵ６２による各種処理に際して
レジスタ、カウンタ等として使用される記憶領域も含ん
でいる。

【００２３】タイマ６８は、ＣＰＵ６２に割込命令信号
を供給するもので、割込命令信号の発生周期は、一例と
して１［ｍｓ］である。ＣＰＵ６２は、タイマ６８から
割込命令信号が発生されるたびに図１１の再生処理を実
行する。この結果として、ＲＡＭ６６の演奏データに基
づく自動演奏が遂行される。

【００２４】ＭＩＤＩイーターフェース７０は、図１の
揺動分析装置１０からテンポ制御情報ＴＣ及び楽音制御
情報ＳＣを受信する。ＣＰＵ６２は、テンポ制御情報Ｔ
Ｃに応じて自動演奏のテンポを制御すると共に、楽音制
御情報ＳＣに応じて自動演奏音の音量、音色等の楽音特
性を制御する。

【００２５】図３は、指揮棒３２の揺動動作を３拍子の
場合（Ａ）と２拍子又は４拍子の場合（Ｂ）とに分けて
示したものである。

【００２６】（Ａ）の３拍子の場合には、位置Ｐ₁ ，Ｐ
₂ ，Ｐ₃ の順に３角形を描くような揺動動作が行なわれ
る。センサ３４の出力Ｘ及びセンサ３６の出力Ｙに対応
してＡ／Ｄ変換回路１６及び１８から得られる出力値を
それぞれＤ_X 及びＤ_Y とすると、絶対角速度Ｄ_Z は、次
の数１の式で求められる。

【００２７】

【数１】図４は、絶対角速度Ｄ_Z の時間的変化の一例を示すもの
で、変化波形における３つの谷は、図３の位置Ｐ₁ ，Ｐ
₂ ，Ｐ₃ にそれぞれ対応する。また、位置Ｐ₁〜Ｐ₂ 間
の動作１と位置Ｐ₂ 〜Ｐ₃ の動作２と位置Ｐ₃ 〜Ｐ₁ の
動作３とは、変化波形におけるピークＱ₁ ，Ｑ₂ ，Ｑ₃
（１，２，３拍目のピーク）にそれぞれ対応する。

【００２８】この発明の実施形態にあっては、ニューラ
ルネットワークを用いてピークＱ₁〜Ｑ₃ をそれぞれ検
出すると共に動作１〜３（ピーク種類）をそれぞれ判別
し、それぞれの判別結果に応じて動作１ならばＣ₃ のキ
ーコードを有するテンポ制御情報ＴＣを発生し、動作２
ならばＣ＃₃ のキーコードを有するテンポ制御情報ＴＣ
を発生し、動作３ならばＤ₃ のキーコードを有するテン
ポ制御情報ＴＣを発生する。なお、この実施形態ではテ
ンポ制御情報として所定のキーコードを有するキーデー
タを用いたが、テンポ制御専用のデータを用いてもよ
い。

【００２９】図３（Ｂ）の２拍子又は４拍子の場合に
は、位置Ｐ₁₁から位置Ｐ₁₂への振り下ろし動作１と位置
Ｐ₁₂から位置Ｐ₁₁への振り上げ動作３との２動作とな
り、３拍子の場合と同様の処理により動作１ならばＣ₃
のキーコードを有するテンポ制御情報ＴＣを発生し、動
作３ならばＤ₃ のキーコードを有するテンポ制御情報Ｔ
Ｃを発生する。

【００３０】図５は、ｘｙ平面内の角度θを示すもので
ある。角度θは、Ａ／Ｄ変換回路１６，１８の出力値Ｄ
_X ，Ｄ_Y をｘｙ平面にプロットしたときの点をＳとする
と、原点０と点Ｓを通る直線がｘ軸となす角度として定
義される。角度θの情報は、ニューラルネットワークを
用いて動作１〜３（ピーク種類）を判別する際に使用さ
れる。

【００３１】図６は、この発明の実施に用いられるニュ
ーラルネットワークＮＭの入出力例を示すものである。
ニューラルネットワークＮＭは、階層型のものであり、
入力層Ｉ、中間層Ｍ及び出力層Ｏを備えている。結線
は、一部を省略してある。

【００３２】出力層Ｏからピークである確率の情報を得
るには、１つ前のＤ_X 、１つ前のＤ_Y 、１つ前のＤ_Z 、
前回のピークと今回のＤ_Z との差、ダイナミックなしき
い値Ｄ_a と今回のＤ_Z の差等を入力層Ｉに入力する。こ
こで、ダイナミックなしきい値Ｄ_a とは、次々に求めら
れたＤ_Z 値を所定時間内で平均した値をいう。

【００３３】出力層Ｏから谷である確率の情報を得るに
は、１つ前のＤ_X 、１つ前のＤ_Y 、１つ前のＤ_Z 等を入
力層Ｉに入力する。

【００３４】出力層Ｏから動作１である確率の情報を得
るには、１つ前のＤ_X 、１つ前のＤ_Y 、１つ前のＤ_Z 等
を入力層Ｉに入力する。同様にして適当な情報を入力層
Ｉに入力することで、動作２である確率の情報や動作３
である確率の情報を出力層Ｏから得ることができる。

【００３５】前述した楽音制御情報ＳＣとしては、ダイ
ナミクス（音の強さ）制御値、波形アタック（音の立上
り）制御値、ＤＣＦ（ディジタル・コントロールド・フ
ィルタ）カットオフ周波数制御値、波形デイケイ制御値
等が発生される。

【００３６】出力層Ｏからダイナミクス制御値を得るに
は、ダイナミックなしきい値Ｄ_a と今回のＤ_Z の差、前
回のピークのピーク種類、今回の角度（図５のθ）、前
回のピーク発生時と今回との角度差等を入力層Ｉに入力
する。同様にして適当な情報を入力層Ｉに入力すること
で、波形アタック制御値、ＤＣＦカットオフ周波数制御
値、波形デイケイ制御値等を出力層Ｏから得ることがで
きる。

【００３７】図６に示した構成は、単なる例示であり、
他のパラメータを用いてもよい。例えば、現在のテンポ
値や曲の拍子の情報を入力してもよいし、音源回路６０
内のＥＧ（エンベロープ・ジェネレータ）を制御するた
めの制御値を得るようにしてもよい。また、図６に示し
たパラメータは、すべて使う必要はなく、適宜省略して
もよい。

【００３８】ニューラルネットワークＮＭは、ユーザー
が学習させて自分の好みの制御動作を行なわせるように
してもよい。

【００３９】図７は、センサ出力処理を示すもので、こ
の処理は、タイマ２６から割込命令信号が発生されるた
びに（すなわち１０［ｍｓ］の周期で）行なわれる。

【００４０】ステップ８０では、Ａ／Ｄ変換回路１６，
１８から出力値Ｄ_X ，Ｄ_Y を取込む。そして、ステップ
８２に移り、前掲の数１の式に従って絶対角速度Ｄ_Z を
求める。

【００４１】次に、ステップ８４では、その他の必要な
値（例えば図６に示した微分値、積分値、角度等）を求
める。そして、ステップ８６に移る。

【００４２】次に、ステップ８６では、ピーク検出処理
を行なう。ピーク検出処理では、図４のＱ₁ 〜Ｑ₃ 等の
ピークを検出すると共に検出したピークが何拍目のピー
クか判別するが、詳しくは図８を参照して説明する。ス
テップ８６の後は、図示しないメインルーチンにリター
ンする。

【００４３】図８は、ピーク検出処理を示すもので、ス
テップ９０では、図６に示したようなニューラルネット
ワークの入力層に各種の値を入力する。そして、ステッ
プ９２に移り、ニューラルネットワーク演算を実行す
る。ニューラルネットワークは、ソフトウェアとしてＲ
ＯＭ２２に格納されており、ＣＰＵ２０は、ニューラル
ネットワークのプログラムに従って演算を行なう。

【００４４】次に、ステップ９４では、ニューラルネッ
トワークの出力層から図６で前述したような各種の確率
及び制御値を得る。そして、ステップ９６に移る。

【００４５】ステップ９６では、得られたピークである
確率の情報に基づいてピークである確率が高いか判定す
る。この判定では、確率が所定値（例えば０．５）以上
であれば高いと判定する。判定結果が肯定的（Ｙ）であ
ればステップ９８に移る。

【００４６】ステップ９８では、動作１〜３のうち最も
高い確率のものをピーク種類として決定する。例えば、
図６に示した動作１〜３である確率のうち動作１である
確率が最も高いときは、ピーク種類は動作１であると決
定する。そして、ステップ１００に移る。

【００４７】ステップ１００では、ステップ９８で決定
されたピーク種類に応じたキーコードのテンポ制御情報
ＴＣを出力する。例えば、ステップ９８でピーク種類と
して動作１が決定されたときは、動作１に対応するＣ₃
のキーコードを有するテンポ制御情報ＴＣが出力され
る。出力されたテンポ制御情報ＴＣは、インターフェー
ス２８，７０を介してＲＡＭ６６内の所定のレジスタに
セットされる。

【００４８】ステップ１００の処理が終ったとき又はス
テップ９６の判定結果が否定的（Ｎ）であった（ピーク
である確率が高くなかった）ときは、ステップ１０２に
移り、楽音制御情報ＳＣとしての各種制御値を出力す
る。出力された制御値のうち、ダイナミクス制御値は、
インターフェース２８，７０を介してＲＡＭ６６内の音
量制御レジスタにセットされ、他の波形アタック制御
値、ＤＣＦカットオフ周波数制御値、波形デイケイ制御
値等は、音源回路６０内の対応するレジスタにセットさ
れる。

【００４９】音量制御レジスタにセットされたダイナミ
クス制御値は、演奏音の音量を制御するのに用いられ
る。また、音源回路６０内のレジスタにセットされた制
御値のうち、波形アタック制御値は、音の立上りの速度
及びレベルを制御するのに用いられ、ＤＣＦカットオフ
周波数制御値は、ＤＣＦのカットオフ周波数を制御する
のに用いられ、波形デイケイ制御値は、音の減衰の速度
を制御するのに用いられ、この結果として微妙な音色制
御が可能となる。

【００５０】図９は、ＲＡＭ６６における演奏データの
フォーマットを示すものである。

【００５１】所望の楽曲の演奏データは、楽曲進行に従
ってデルタタイムデータΔＴ、イベントデータＥＶ、デ
ルタタイムデータΔＴ、イベントデータＥＶ…のように
データΔＴ及びＥＶを交互に配置したものである。いず
れのデルタタイムデータΔＴも、［ｍｓ］の単位で時間
を表わすもので、最初のデルタタイムデータは、最初の
イベントまでの時間を表わし、イベント間のデルタタイ
ムデータは、イベント間の相対時間を表わす。例えば和
音発音のように１タイミングに複数イベントがあるとき
は、該イベント間のデルタタイムデータは０を表わす。

【００５２】各イベントデータＥＶは、図１０に示すよ
うに３バイトのデータからなる。第１バイトのうち上位
４ビットがイベント種類データＥＳであり、下位４ビッ
トがチャンネルナンバデータＣＨＮである。イベント種
類データＥＳは、キーオン又はキーオフのようなイベン
ト種類を表わす。チャンネルナンバデータＣＨＮは、０
〜１５のいずれかのチャンネルナンバを表わす。チャン
ネルナンバ１〜１５は、音源回路６０の第１〜第１５の
音源チャンネルに対応しているが、チャンネルナンバ０
は、テンポ制御マークとして使用される。

【００５３】各イベントデータＥＶにおいて、第２バイ
トは、キーコードデータＫＣであり、音高を表わす。ま
た、第３バイトは、ベロシティデータＶＬであり、押鍵
速度に対応する音量を表わす。

【００５４】イベントデータＥＶとしては、チャンネル
ナンバ０のテンポ制御用のイベントデータと、チャンネ
ルナンバ１〜１５の発音／非発音制御用のイベントデー
タ（キーオン／オフに係るイベントデータ）との２種類
のものが存在する。発音／非発音制御用のイベントデー
タは、楽曲を構成する各音符毎に楽音信号の発生及び減
衰開始を制御するもので、自動演奏の分野で広く使用さ
れている。一方、テンポ制御用のイベントデータは、こ
の発明を実施するために使用されるもので、以下では、
簡単のため「テンポ制御データ」と称する。

【００５５】テンポ制御データとしては、３拍子の場
合、Ｃ₃ ，Ｃ＃₃ ，Ｄ₃ の３種類のキーコードを有する
ものが使用される。そして、Ｃ₃ ，Ｃ＃₃ ，Ｄ₃ のキー
コードを有するテンポ制御データは、基準となるテンポ
において第１拍、第２拍、第３拍のタイミングに対応す
る位置に配置され、このような順序で読出される。ま
た、４拍子の楽曲の場合、Ｃ₃ ，Ｄ₃ ，Ｃ₃ ，Ｄ₃ のテ
ンポ制御データがそれぞれ第１拍，第２拍，第３拍，第
４拍のタイミングに対応する位置に配置され、このよう
な順序で読出される。テンポ制御は、一例として、Ｃ₃
のキーコードを有するテンポ制御データの読出タイミン
グに対して、Ｃ₃ のキーコードを有するテンポ制御情報
ＴＣの受信タイミングが早ければテンポを進めるよう
に、また遅ければテンポを遅らせるように行なわれる。

【００５６】図１１は、再生処理を示すもので、この処
理は、タイマ６８から割込命令信号が発生されるたびに
（すなわち１［ｍｓ］の周期で）行なわれる。以下の説
明にて言及されるフラグ、レジスタ等は、ＲＡＭ６６内
に存在するものである。

【００５７】ステップ１３０では、ランフラグＲＵＮが
１か判定する。フラグＲＵＮは、前述の演奏スタートス
イッチをオンするたびに１であれば０になり、０であれ
ば１になるもので、ＲＵＮ＝１は、自動演奏中であるこ
とを表わす。ステップ１３０の判定結果が肯定的（Ｙ）
であればステップ１３２に移る。

【００５８】ステップ１３２では、読出停止フラグＰＡ
ＵＳＥが０か判定する。フラグＰＡＵＳＥは、ＲＡＭ６
６からテンポ制御データを読出したにもかかわらず、そ
の読出タイミングまでに対応するテンポ制御情報ＴＣが
受信されていないときに１となるもので、ステップ１３
２の判定結果が肯定的（Ｙ）であるとき（ＴＣを受信済
みのとき）は、ステップ１３４に移る。

【００５９】ステップ１３４では、デルタタイムレジス
タＴＩＭＥが０か判定する。レジスタＴＩＭＥには、Ｒ
ＡＭ６６から読出したデルタタイムデータΔＴをセット
し（ステップ１４２）、データΔＴの示す値を割込みの
たびに１ずつ減算している（ステップ１４８）ので、Ｔ
ＩＭＥ＝０は、次のイベントデータを読出すべきタイミ
ングになったことを意味する。ステップ１３４の判定結
果が肯定的（Ｙ）であればステップ１３６に移る。

【００６０】ステップ１３６では、ＲＡＭ６６のアドレ
スを１つ進めてデータを読出す。そして、ステップ１３
８に移り、読出したデータがデルタタイムデータΔＴか
判定する。ステップ１３４の後初めてステップ１３８に
きたときは、ステップ１３８の判定結果が否定的（Ｎ）
となる（ΔＴの次は必ずイベントデータＥＶの読出しと
なる）ので、ステップ１４０に移る。ステップ１４０で
は、図１２について後述するようにイベント対応処理を
行なう。この後、ステップ１３６に戻る。

【００６１】ステップ１３６では、再びアドレスを進め
てデータを読出す。そして、ステップ１３８で読出デー
タがデルタタイムデータΔＴか判定すると、判定結果が
肯定的（Ｙ）となり、ステップ１４２に移る。

【００６２】ステップ１４２では、読出されたデルタタ
イムデータΔＴをレジスタＴＩＭＥにセットする。そし
て、ステップ１４４でＴＩＭＥ＝０か判定する。通常
は、読出直後にデルタタイムデータΔＴがゼロになるこ
とはないが、前述したように和音発音等の場合にはΔＴ
＝０のこともある。このような場合には、ステップ１４
４の判定結果が肯定的（Ｙ）となり、ステップ１３６に
戻る。

【００６３】ステップ１３６では、次のイベントデータ
を読出し、ステップ１３８を介してステップ１４０でイ
ベント対応処理を行なう。そして、ステップ１３６に戻
って次のデルタタイムデータΔＴを読出してステップ１
３８，１４２を介して再びステップ１４４にくる。ステ
ップ１４４の判定結果が肯定的（Ｙ）であれば、ステッ
プ１３６に戻る。ステップ１３６では、次のイベントデ
ータを読出し、ステップ１３８を介してステップ１４０
でイベントデータ対応処理を行なう。このようにして、
和音を構成する第１〜第３音を実質的に同時に発音させ
ることができる。ステップ１４０の後は、上記したと同
様にステップ１３６，１３８，１４２，１４４の処理を
行なう。

【００６４】ステップ１４４の判定結果が否定的（Ｎ）
であったときは、ステップ１４６に移る。ステップ１４
６では、レジスタＴＩＭＥの値にテンポ係数レジスタＴ
ＭＫの値（テンポ係数ＴＭＫ）を乗じたものをＴＩＭＥ
にセットする。

【００６５】テンポ係数ＴＭＫは、基準値が１であり、
指揮棒３２の揺動速度が速い又は遅いに応じてそれぞれ
１より小さく又は大きくなるように後述のステップ１５
４の処理で変更される。従って、ＴＩＭＥの値は、テン
ポ係数ＴＭＫの乗算により修正され、この結果として自
動演奏のテンポが指揮棒３２の揺動速度に追従すべく制
御される。

【００６６】ステップ１４６の処理が終ったとき又はス
テップ１３４の判定結果が否定的（Ｎ）であった（読出
すべきタイミングに達していない）ときは、ステップ１
４８に移る。ステップ１４８では、ＴＩＭＥの値を１減
らす。そして、ステップ１５０に移り、読出間隔レジス
タＲＢの値を１増やす。レジスタＲＢは、図１４に示す
ようにあるテンポ制御データＴＥＶ₁ の読出タイミング
から次のテンポ制御データＴＥＶ₂ の読出タイミングま
での時間間隔に対応する数値を得るためのものである。

【００６７】ステップ１５０の処理が終ったとき又はス
テップ１３２の判定結果が否定的（Ｎ）であった（ＴＣ
の受信待ちである）ときは、ステップ１５２に移る。ス
テップ１５２では、受信間隔レジスタＲＡの値を１増や
す。レジスタＲＡは、図１４に示すようにあるテンポ制
御情報ＴＣ₁ の受信タイミングから次のテンポ制御情報
ＴＣ₂ の受信タイミングまでの時間間隔に対応する数値
を得るためのものである。ステップ１５２の後は、ステ
ップ１５４に移り、図１３について後述するようにテン
ポ制御処理を実行する。

【００６８】ステップ１５４の処理が終ったとき又はス
テップ１３０の判定結果が否定的（Ｎ）であった（自動
演奏中でない）ときは、図示しないメインルーチンにリ
ターンする。

【００６９】図１２は、イベント対応処理を示すもの
で、ステップ１６０では、読出データがテンポ制御デー
タＴＥＶか判定する。この判定結果が肯定的（Ｙ）であ
ればステップ１６２に移る。

【００７０】ステップ１６２では、受信フラグＴＣＲＦ
が１か（テンポ制御情報ＴＣを受信済みか）判定する。
この判定結果が肯定的（Ｙ）であればステップ１６４に
移り、ＴＣＲＦに０をセットする。これは、テンポ制御
データＴＥＶを読出したときに対応するテンポ制御情報
ＴＣが受信済みであることを意味する。

【００７１】ステップ１６２の判定結果が否定的（Ｎ）
であったときは、ステップ１６６に移り、テンポ制御デ
ータＴＥＶ中のキーコードデータＫＣをレジスタＫＥＹ
にセットする。そして、ステップ１６８に移り、レジス
タＰＡＵＳＥに１をセットする。これは、テンポ制御デ
ータＴＥＶに対応するテンポ制御情報ＴＣを受信するま
でＲＡＭ６６からの演奏データ読出しを停止するためで
ある。すなわち、図１１では、ステップ１３２でＰＡＵ
ＳＥ＝１であればステップ１３６〜１４６の読出処理を
しないでステップ１４８に移る。そして、テンポ制御情
報ＴＣが受信されると、ステップ１５４の処理でＰＡＵ
ＳＥ＝１となり、この後は、ＲＡＭ６６からの演奏デー
タ読出しが行なわれる。

【００７２】ステップ１６０の判定結果が否定的（Ｎ）
であったときは、ステップ１７０に移り、発音／非発音
制御用のイベントデータＰＥＶのうち発音用のものだけ
ベロシティデータＶＬの値をＲＡＭ６６内の音量制御レ
ジスタにあるダイナミクス制御値に応じて修正する。例
えば、指揮棒の振りが強いときは、ダイナミクス制御値
に応じて音量を高めるべくデータＶＬの値を修正する。
そして、ステップ１７２に移る。

【００７３】ステップ１７２では、発音／非発音制御用
のイベントデータＰＥＶを音源回路６０に送出する。こ
のとき送出されるデータが発音制御用のイベントデータ
（キーオンに係るイベントデータ）であればそれに対応
する楽音信号の発生が開始され、非発音制御用のイベン
トデータ（キーオフに係るイベントデータ）であればそ
れに対応する楽音信号の減衰が開始される。

【００７４】ステップ１６４，１６８又は１７２の処理
が終ったときは、図１１のルーチンにリターンする。

【００７５】図１３は、テンポ制御処理を示すもので、
ステップ１８０では、テンポ制御情報ＴＣの受信ありか
判定する。この判定結果が否定的（Ｎ）であれば図１１
のルーチンにリターンする。

【００７６】ステップ１８０の判定結果が肯定的（Ｙ）
であったときは、ステップ１８２でＰＡＵＳＥ＝１か
（読出停止中か）判定する。この判定結果が肯定的
（Ｙ）である場合は、テンポ制御データＴＥＶの読出し
よりそれに対応するテンポ制御情報ＴＣの受信が遅れた
（揺動速度が遅い）場合であり、その一例を図１４に示
す。すなわち、テンポ制御データＴＥＶ₂ が読出された
時点でＴＥＶ₂ に対応するテンポ制御情報ＴＣ₂'が受信
されておらず（ＰＡＵＳＥ＝１）、この後でＴＣ₂'が受
信された場合である。

【００７７】一方、ステップ１８２の判定結果が否定的
（Ｎ）である場合は、テンポ制御データＴＥＶの読出し
よりそれに対応するテンポ制御情報ＴＣの受信が早かっ
た（揺動速度が速い）場合であり、その一例を図１４に
示す。すなわち、テンポ制御データＴＥＶ₂ が読出され
た時点でＴＥＶ₂ に対応するテンポ制御情報ＴＣ₂ がす
でに受信されている（ＰＡＵＳＥ＝０）場合である。

【００７８】ステップ１８２の判定結果が肯定的（Ｙ）
であったときは、ステップ１８４に移り、受信したテン
ポ制御情報ＴＣのキーコードＫＣとレジスタＫＥＹのキ
ーコードＫＣとが一致するか判定する。この判定結果が
否定的（Ｎ）であれば図１１のルーチンにリターンし、
肯定的（Ｙ）であればステップ１８６に移る。換言すれ
ば、テンポ制御情報ＴＣを受信してそのキーコードＫＣ
が読出しに係るテンポ制御データＴＣＶのキーコードＫ
Ｃと一致することを条件としてステップ１８６〜１９６
の処理を行なう。

【００７９】ステップ１８６では、レジスタＲＡ，ＲＢ
の値の比ＲＡ／ＲＢをレジスタＲＡＴＥにセットする。
そして、ステップ１８８に移り、レジスタＴＭＫの値に
ＲＡＴＥの値を乗じたものをＴＭＫにセットする。この
結果、テンポ係数ＴＭＫがＲＡＴＥの値に応じて修正さ
れたことになる。一例として、図１４のＴＥＶ₂ ，ＴＣ
₂'の例では、比ＲＡ／ＲＢの値は、１より大きくなり、
テンポ係数ＴＭＫは、１より大きくなる。

【００８０】次に、ステップ１９０では、テンポ係数Ｔ
ＭＫの値のリミット処理を行なう。これは、ＴＭＫ値が
大きすぎないように所定値（例えば２．０）以下に制限
する処理である。

【００８１】この後、ステップ１９２，１９４，１９６
では、それぞれレジスタＲＢ，ＲＡ，フラグＰＡＵＳＥ
に０をセットする。そして、図１１のルーチンにリター
ンする。

【００８２】次回の割込みにより図１１のルーチンに入
り、ステップ１４６でレジスタＴＩＭＥの値にテンポ係
数ＴＭＫを乗ずると、ＴＩＭＥの値は以前より大きくな
り、自動演奏のテンポは揺動速度に追従して遅くなる。

【００８３】一方、ステップ１８２の判定結果が否定的
（Ｎ）であったときは、ステップ１９８に移り、次のテ
ンポ制御データＴＥＶをサーチする。そして、ステップ
２００に移る。

【００８４】ステップ２００では、受信したテンポ制御
情報ＴＣのキーコードＫＣとサーチしたテンポ制御デー
タＴＥＶのキーコードＫＣとが一致するか判定する。こ
れは、前述のステップ１８４に対応する処理である。こ
の判定結果が否定的（Ｎ）であれば図１１のルーチンに
リターンし、肯定的（Ｙ）であればステップ２０２に移
る。

【００８５】ステップ２０２では、前のテンポ制御デー
タの読出タイミングからサーチしたテンポ制御データＴ
ＥＶの読出タイミングまで時間間隔をレジスタＲＢにセ
ットする。例えば、図１４に示すように発音／非発音制
御用のイベントデータＰＥＶを読出した後テンポ制御情
報ＴＣ₂ を受信してからテンポ制御データＴＥＶ₂ をサ
ーチした場合、レジスタＲＢには、テンポ制御データＴ
ＥＶ₁ の読出タイミングからＴＣ₂ の受信タイミングま
での時間間隔に対応する数値がセットされているだけ
で、ＴＣ₂ の受信タイミングからＴＥＶ₂ を（サーチで
はなく）演奏進行に応じて読出すべきタイミングまでの
時間間隔に対応する数値が含まれていない。この時間間
隔に対応する数値は、ＴＥＶ₂ を読出すべきタイミング
で０になるレジスタＴＩＭＥにおいてＴＣ₂ 受信時に残
されている数値ＲＴに等しい。そこで、レジスタＲＢの
値にＴＩＭＥの値ＲＴを加えたものをＲＢにセットす
る。

【００８６】また、図１５に示すように発音／非発音制
御用のイベントデータＰＥＶを読出した後テンポ制御情
報ＴＣ₂ を受信してからサーチ動作により発音／非発音
制御用のイベントデータＰＥＶ’及びテンポ制御データ
ＴＥＶ₂ を読出した場合には、ＴＣ₂ の受信タイミング
からＰＥＶ’を演奏進行に応じて読出すべきタイミング
までの時間に対応してレジスタＴＩＭＥの値ＲＴを考慮
すると共に、ＰＥＶ’を演奏進行に応じて読出すべきタ
イミングからＴＥＶ₂ を演奏進行に応じて読出すべきタ
イミングまでの時間に対応して数値ＲＴ’を考慮する。
数値ＲＴ’は、データＰＥＶ’及びＴＥＶ₂ のイベント
間相対時間をΔＴとし、テンポ係数をＴＭＫとすると、
次の数２の式で表わされる。

【００８７】

【数２】ＲＴ’＝ΔＴ×ＴＭＫ従って、この場合には、レジスタＰＢの値にレジスタＴ
ＩＭＥの値ＲＴと数値ＲＴ’とを加えたものをＲＢにセ
ットする。なお、ＴＥＶ₂ をサーチする際にＰＥＶ’の
ようなイベントデータが複数読出されるときは各イベン
トデータについてＲＴ’と同様の考慮を払えばよい。

【００８８】次に、ステップ２０４では、レジスタＲＢ
の値に１／Ｎを乗じたものをＲＢにセットすると共に、
レジスタＴＩＭＥの値に１／Ｎを乗じたものをＴＩＭＥ
にセットする。ここで、Ｎは、ＲＢの値をレジスタＲＡ
の値に近づけるために適宜選定される定数である。

【００８９】次に、ステップ２０６では、フラグＴＣＲ
Ｆに１をセットする。この結果、この後の割込みにより
図１２のステップ１６２にくると、判定結果が肯定的
（Ｙ）となり、ステップ１６４でＴＣＲＴ＝０とされ
る。

【００９０】次に、ステップ２０８では、レジスタＲ
Ａ，ＲＢの値の比ＲＡ／ＲＢをレジスタＲＡＴＥにセッ
トする。そして、ステップ２１０に移り、レジスタＴＭ
Ｋの値にＲＡＴＥの値を乗じたものをＴＭＫにセットす
る。この結果、テンポ係数ＴＭＫがＲＡＴＥの値に応じ
て修正されたことになる。一例として、図１４のＴ
Ｃ₂，ＴＥＶ₂ の例では、比の値ＲＡ／ＲＢが１より小
さくなり、テンポ係数ＴＭＫが１より小さくなる。この
後、ステップ２１２に移る。

【００９１】ステップ２１２では、テンポ係数ＴＭＫの
値のリミット処理を行なう。これは、ＴＭＫ値が小さす
ぎないように所定値（例えば０．５）以上に制限する処
理である。

【００９２】この後、ステップ２１４，２１６では、そ
れぞれレジスタＲＢ，ＲＡに０をセットする。そして、
図１１のルーチンにリターンする。

【００９３】次回の割込みにより図１１のルーチンに入
り、ステップ１４６でレジスタＴＩＭＥの値にテンポ係
数ＴＭＫを乗ずると、ＴＩＭＥの値は以前より小さくな
り、自動演奏のテンポは揺動速度に追従して速くなる。

【００９４】この発明は、上記した実施形態に限定され
るものではなく、種々の改変形態で実施可能なものであ
る。例えば、次の（１）〜（１３）のような変更が可能
である。

【００９５】（１）ピーク検出出力及びピーク種類（動
作種類）判別出力に基づいてテンポ制御情報を作成する
ようにしたが、動作種類判別を省略し、ピーク検出出力
に応じてテンポ制御情報を発生させるようにしてもよ
い。

【００９６】（２）揺動動作を検知するためのセンサ
は、圧電振動ジャイロセンサ等の角速度センサに限ら
ず、加速度センサや磁気又は光を用いたセンサであって
もよい。また、揺動動作を撮影し、画像処理によって揺
動動作を検知するものであってもよい。さらに、複数種
類のセンサを組合せて用いてもよい。

【００９７】（３）ピークや谷等の特徴点の検出方法
は、上記したものに限らず、他の条件を用いて検出して
もよい。

【００９８】（４）判別する揺動動作の種類は、３種類
に限らず、もっと多くの種類の動作を判別するようにし
てもよい。

【００９９】（５）揺動分析装置と指揮棒とを別体とし
たが、指揮棒に揺動分析装置を内蔵させるようにしても
よい。また、揺動分析装置と自動演奏装置付き電子楽器
とを別体としたが、これらを一体に構成してもよい。さ
らに、揺動分析装置からの出力情報ＴＣ，ＳＣは、図２
の電子楽器以外の電子楽器や自動演奏装置に供給して上
述のような演奏制御を行なうようにしてもよい。

【０１００】（６）揺動動作の検知手段として、２つの
センサを用いたが、３つ以上のセンサを用いてもよい。
例えば、３拍子用と、２，４拍子用とで異なるセンサを
用いるようにしてもよいし、３つ以上のセンサの出力を
総合的に判断して動作を検知するようにしてもよい。

【０１０１】（７）センサは、指揮棒に装着したが、指
揮棒に代わる揺動部材に装着したり、手など身体の一部
に装着したり、マイクロホンに内蔵したり、カラオケ装
置等の機器のリモートコントローラに内蔵したりしても
よい。センサと揺動分析装置との間の通信は、有線又は
無線のいずれでもよい。

【０１０２】（８）演奏中に演奏テンポを制御するよう
にしたが、演奏に先立って演奏テンポを決定する場合に
もこの発明を適用することができる。

【０１０３】（９）演奏データの記憶方式は、イベント
＋デルタタイム（イベント間相対時間）としたが、イベ
ント＋絶対時間等の他の方式を採用してもよい。また、
デルタタイムは、ｍｓの単位であるとしたが、音符の長
さを単位とする（例えば４分音符の１／２４とする）よ
うにしてもよい。

【０１０４】（１０）テンポの制御は、デルタタイムの
値にテンポ係数を乗算し、デルタタイムの値を変化させ
ることで行なうようにしたが、図１１のタイマ割込みの
周期を変化させることで行なうようにしてもよい。ま
た、１回のタイマ割込みにおいてデルタタイムの値から
減算する値を１以外の値とすることによりテンポを制御
するようにしてもよい。さらに、デルタタイムの値を変
化させるには、乗算に限らず、加算等の処理を用いても
よい。

【０１０５】（１１）テンポ制御にあっては、テンポが
なめらかに変化するように変化前の値から目標値までの
間を補間するようにしてもよい。ダイナミクスの制御も
同様にしてなめらかな変化が得られるようにしてもよ
い。

【０１０６】（１２）楽音制御情報ＳＣに応じて演奏音
の音量、音色等を制御するようにしたが、楽音制御情報
ＳＣに応じて演奏音の音高、効果等を制御したり、演奏
パート数等を制御したりしてもよい。

【０１０７】（１３）揺動動作の特徴点検出と動作種類
判別の両方に対してニューラルネットワークを適用した
が、揺動動作の特徴点検出のみ又は動作種類判別のみに
ニューラルネットワークを適用するようにしてもよい。

【０１０８】

【発明の効果】以上のように、この発明によれば、ニュ
ーラルネットワークにより揺動動作の特徴点検出や動作
種類判別を行なうようにしたので、検出精度や判別精度
が向上し、信頼性の高い演奏態様制御が可能となり、安
定した音楽演奏を行なえる効果が得られるものである。

【０１０９】また、ニューラルネットワークでは、ファ
ジィ制御に比べて検出乃至判別ルールをすべて記述する
必要がなく、処理が簡単であること、試行錯誤により性
能を向上させうること、ユーザーの癖や特徴を学習させ
うることなどの利点もある。

【図面の簡単な説明】

【図１】この発明に係る揺動分析装置の回路構成を示
すブロック図である。

【図２】図１の装置の出力に応じて自動演奏可能な電
子楽器の回路構成を示すブロック図である。

【図３】指揮棒の揺動動作の説明図である。

【図４】絶対角速度の変化の一例を示す波形図であ
る。

【図５】ｘｙ平面内の角度の説明図である。

【図６】ニューラルネットワークの入出力例を示す図
である。

【図７】センサ出力処理を示すフローチャートであ
る。

【図８】ピーク検出処理を示すフローチャートであ
る。

【図９】演奏データのフォーマットを示す図である。

【図１０】イベントデータのフォーマットを示す図で
ある。

【図１１】再生処理を示すフローチャートである。

【図１２】イベント対応処理を示すフローチャートで
ある。

【図１３】テンポ制御処理を示すフローチャートであ
る。

【図１４】テンポ制御動作の説明図である。

【図１５】テンポ制御動作の説明図である。

【符号の説明】

１０：揺動分析装置、１２，５２：バス、１６，１８：
Ａ／Ｄ変換回路、２０，６２：ＣＰＵ、２２，６４：Ｒ
ＯＭ、２４，６６：ＲＡＭ、２６，６８：タイマ、２
８，７０：ＭＩＤＩインターフェース、３２：指揮棒、
３４，３６：角速度センサ、５０：電子楽器、６０：音
源回路。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ１０Ｈ 1/46 Ｇ１０Ｈ 1/46

Claims

【特許請求の範囲】

【請求項１】揺動動作を検知する検知手段と、この検知手段の検知出力に基づいて揺動動作の特徴点を
検出する検出手段であって、ニューラルネットワークを
用いて特徴点の検出を行なうものと、前記検出手段の検出出力に基づいて演奏態様を制御する
演奏制御手段とを備えた演奏制御装置。
【請求項２】揺動動作を検知する検知手段と、この検知手段の検知出力に基づいて揺動動作の特徴点を
検出する検出手段と、前記検知手段の検知出力に基づいて揺動動作の動作種類
を判別する判別手段であって、ニューラルネットワーク
を用いて動作種類の判別を行なうものと、前記検出手段の検出出力及び前記判別手段の判別出力に
基づいて演奏制御情報を作成する作成手段と、この作成手段からの演奏制御情報に基づいて演奏態様を
制御する演奏制御手段とを備えた演奏制御装置。