JPH11339060A - 楽音および画像生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 演奏情報に同期して各楽器あるいはパートの
演奏の様子を３Ｄアニメーション表示する。 【解決手段】 各楽器毎あるいは各パート毎の細分化さ
れた演奏パターンの演奏動作の軌跡を記憶した動作情報
と該動作情報における発音のタイミングを特定する発音
ポイントマーカーとを含む動作部品からなるデータベー
スを有し、当該演奏情報に対応する動作部品を前記デー
タベースから順次読み出して、基本動作情報を生成し、
この基本動作情報に基づいて前記演奏情報に同期した３
Ｄアニメーション画像を生成して、画像表示部７に表示
する。楽器チェンジスイッチ４４、プレイヤーチェンジ
スイッチ４５、ステージチェンジスイッチ４７により、
表示画像を任意に選択することができるとともに、視点
チェンジスイッチ４８により、任意の視点からの画像を
表示させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽音を生成すると
ともに、その演奏形態を３Ｄアニメーション画像により
表示することのできる楽音および画像生成装置に関す
る。

【０００２】

【従来の技術】従来より、電子楽器等において、自動リ
ズム演奏あるいは自動ベース・コード演奏など、所望の
自動演奏パターンに従って自動演奏を行うことが知られ
ている。すなわち、コードバッキングパートやベースパ
ートについては演奏者が楽曲の進行に従って和音（コー
ド）を順次指定することにより指定された和音に基づい
てコードバッキング音、ベース音が所定の演奏パターン
に従って自動的に発音される。一方、打楽器パートの演
奏は、各種リズム毎にノーマルパターンとバリエーショ
ンパターンが用意されており、いずれかのパターン（ス
タイル）を選択して自動演奏することができるようにな
っている。また、前記バリエーションパターンは１個に
限らず、複数用意されている場合もある。一般に、この
ような演奏パターンは１〜数小節分の長さを持ち、これ
を繰り返すことにより連続的な自動リズム演奏が行われ
るようになされている。

【０００３】このような場合、メインの演奏パターンは
同じパターンが繰り返されるので演奏が単調になりがち
である。そこで、フィルインあるいはブレーク、アドリ
ブ等と称されるサブパターンを用意しておき、人為的な
スイッチ操作等による指示に応じてこのサブパターンに
従う演奏を一時的に挿入し、その後メインのパターンに
移行するようにすることが行われている。ここで、前記
メインのパターンおよび各サブパターンは、データベー
ス化されており、演奏者の操作により読み出されて再生
されるようになされている。

【０００４】図１４は、このような自動演奏における演
奏パターン（スタイル）の遷移の一例を示す図である。
この図に示す例では、メインＡとメインＢの２つのメイ
ンパターン（ノーマルパターンとバリエーションパター
ン）と、各メインパターンにそれぞれ対応する第１およ
び第２のフィルインパターン、すなわち、メインＡを演
奏中に挿入するフィルインパターンとしてＡ→Ａフィル
イン（FILL AA）、および、メインＡからメインＢへ移
行するときのフィルインＡ→Ｂ（FILL AB）、また、メ
インＢを演奏中に挿入するフィルインパターンとしてＢ
→Ｂフィルイン（FILL BB）、および、メインＢからメ
インＡへ移行するＢ→Ａフィルイン（FILL BA）、さら
に、各メインパターンに対応するイントロパターン（IN
TRO A、INTRO B）およびエンディングパターン（ENDING
A、ENDING B）の各演奏パターンを有している。また、
前記各パターン（スタイル）を切り換えるときに操作さ
れる「FILL A」および「FILL B」の２つのフィルインパ
ターン選択スイッチ、および、エンディングパターンを
選択する「ENDING A」および「ENIDING B」、イントロ
パターンを選択する「INTRO A」および「INTRO B」の各
操作スイッチが設けられている。

【０００５】例えば、「INTRO A」が操作されたとき、
まず、イントロＡが演奏され、その演奏が終了した後
に、メインＡの演奏が開始される。そして、メインＡの
演奏中に、前記「FILL A」スイッチが押されたときに
は、前記FILL AAパターンを挿入して、その後メインＡ
に復帰し、前記「FILL B」スイッチが押されたときに
は、前記FILL ABを挿入して、その後メインＢに移行す
る。また、「ENDING A」が押されたときには、エンディ
ングＡを演奏してその演奏を終了する。一方、「INTRO
B」が操作されると、イントロＢが演奏された後に、メ
インＢの演奏が開始される。そして、メインＢ演奏中
に、前記「FILL A」スイッチが押されたときには、前記
FILL BAパターンを挿入して、その後メインＡに移行
し、前記「FILL B」スイッチが押されたときには、前記
FILL BBパターンを挿入して、その後メインＢに復帰す
るようになされている。さらに、「ENDING B」が押され
ると、エンディングＢを演奏してその演奏を終了する。

【０００６】このように、操作スイッチが操作されたと
きの演奏状態に応じて、演奏中のメインパターンと移行
先のメインパターンとに対応したフィルインパターンが
選択され、挿入されるようになされており、演奏が単調
にならないようにすることができる。なお、上記図１４
ではメインパターンがＡとＢの２つだけの場合を示した
が、これに限られない。また、上記した以外のバリエー
ションおよび遷移の仕方も、種々知られている。例え
ば、１つのパートの一部の楽器についてのみフィルイン
を行なうようにすることもできる。

【０００７】また、上述した自動伴奏に限らず、所望の
曲の各音符についてその音符の音高、発音開始／消音開
始タイミング等を、例えば、ＳＭＦ（Standard MIDI Fi
le）などの形式で演奏情報として記憶しておき、この演
奏情報（曲データ）を順次読み出して楽音を生成する自
動演奏装置も知られている。演奏者は、ただ単に、演奏
開始スイッチおよび演奏終了スイッチを操作するのみで
よい。

【０００８】

【発明が解決しようとする課題】上述したような従来の
自動伴奏や自動演奏を行なうことのできる電子楽器にお
いては、演奏者が演奏パターンを切り換えることによ
り、音によるインタラクション（相互作用）を行うこと
はできるが、視覚によるインタラクションを行なうこと
ができなかった。このような電子楽器に表示部を設け
て、自動演奏や自動伴奏における曲名を表示すること、
あるいは、演奏時の小節やテンポを表示することが行な
われていた。また、演奏者が次に押鍵すべき押鍵指示を
表示部により表示することも行なわれていた。しかしな
がら、表示部に演奏自体を表示することは行なわれてお
らず、演奏の様子を見るといったことは実現されていな
かった。

【０００９】そこで、本発明は、演奏スタイルに合わせ
た動作を演奏と同期させて表示することにより、様々な
楽器演奏を見て楽しみながら演奏することが可能な楽音
および画像生成装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明の楽音および画像生成装置は、演奏情報に基
づいて楽音を生成する楽音生成部と、選択された楽器あ
るいはパートにおける前記演奏情報に対応する演奏の様
子を示す画像データを前記演奏情報に同期して生成する
画像生成部とを有するものである。これにより、楽曲デ
ータに同期して、任意の楽器あるいはパートにおけるそ
の演奏の様子を画像表示装置に表示させることが可能と
なり、演奏者は音によるインタラクションだけでなく、
視覚によるインタラクションも楽しむことができるよう
になる。

【００１１】また、各楽器毎あるいは各パート毎の、細
分化された演奏パターンの演奏動作の軌跡を記憶した動
作情報を含む動作部品により構築された部品データベー
スを有し、前記画像生成部は、該部品データベースから
前記演奏情報に対応する動作部品を読み出し、該読み出
した動作部品を順次接続することにより得られた情報に
基づいて当該演奏情報に対応する３Ｄアニメーション画
像データを生成するものである。動作部品をデータベー
ス化しているため、複数のパターンや楽曲に対して共通
の動作部品を使用することができるとともに、随時必要
な部品をデータベースに追加していくことが可能とな
る。したがって、効率的に３Ｄアニメーション画像を生
成表示させることが可能となる。

【００１２】さらに、前記動作部品は前記細分化された
演奏パターンの演奏動作の軌跡を表す動作情報と発音の
タイミングを示す発音ポイントマーカーとを有するもの
である。これにより、テンポの変更等に対して共通の動
作部品を使用することが可能となり、データベースのサ
イズを小さくすることができる。また、この発音ポイン
トマーカーを楽音生成部との同期に用いることにより、
楽音と画像とのより高精度の同期が可能となる。

【００１３】さらにまた、前記生成される３Ｄアニメー
ション画像データにおける演奏キャラクタおよび視点は
操作者により変更可能とされている。これにより、操作
者は多彩な３Ｄアニメーション画像を楽しむことができ
るようになるとともに、模範的な演奏をズームアップし
て表示させることが可能となる。さらにまた、前記演奏
キャラクタおよび視点の変更に応じて、前記動作情報を
補正する手段を有するものである。これにより、前記動
作情報を演奏キャラクタあるいは視点に共通の情報とす
ることができ、データベースのサイズを小さくすること
が可能となる。

【００１４】さらにまた、前記画像生成部は、前記演奏
情報に基づいて生成される楽音のテンポが変更されたと
きであっても、当該画像データにおける発音動作に対応
する部分の画像再生速度は一定とされた前記画像データ
を生成するようになされているものである。これによ
り、テンポが変更されたときであっても、楽器の発音動
作にかかわる画像は通常の速度で生成され、自然な画像
を再生することが可能となる。さらにまた、前記画像生
成部は、前記演奏情報あるいは楽音生成部の発音状態に
基づいて、その生成する画像データを修飾するようにな
されているものである。これにより、楽音の音量や音源
のエンベロープ情報などに対応した楽器の揺れ状態を表
現することが可能となり、自然な演奏動作を表現するこ
とができる。さらにまた、前記画像生成部は、前記選択
された楽器あるいはパート毎に、その再生フレーム数を
設定することができるようになされているものである。
これにより、たとえば、演奏する楽曲に応じて、あるい
は、視点の切り換えなどに応じて、ソロプレーヤーとバ
ックプレーヤーとで再生フレーム数を変更することが可
能となり、ＣＰＵの負荷を軽減することが可能となる。

【００１５】

【発明の実施の形態】図１は、本発明の楽音および画像
生成装置の一実施の形態の構成例を示すブロック図であ
る。この図において、１はこの装置全体の動作を制御す
る中央処理装置（ＣＰＵ）、２はこの楽音および画像生
成装置を制御する制御プログラムを記憶するプログラム
記憶装置、３はリズムパターンや自動ベース・コードパ
ターン等の各種自動演奏パターンが格納されたスタイル
データベース、演奏の様子を表示するための３Ｄ画像を
生成するための動作部品データベースおよびシーン部品
データベース、その他の各種データを記憶するとともに
作業領域として使用されるＲＯＭおよびＲＡＭなどから
なる記憶装置、４は鍵盤（キーボード）および操作パネ
ルに設けられた各種の操作子からなる操作スイッチ群で
ある。５は音源部であり、複数チャンネル分の音階音お
よびリズム音の楽音信号を生成する。この音源部は、波
形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成
方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡ
のアナログシンセサイザ方式等どのような方式のもので
あってもよい。また、専用のハードウエアを用いて構成
された音源回路に限られることはなく、ＤＳＰとマイク
ロプログラムを用いて構成された音源回路や、あるい
は、ＣＰＵとソフトウエアのプログラムにより構成され
たものであってもよい。なお、この音源部５には、生成
された楽音に対してビブラートやリバーブなど各種のエ
フェクトを施すためのエフェクト処理部も含まれてい
る。また、６は前記音源部５から出力される楽音を放音
するためのサウンドシステムである。

【００１６】７は、画像表示装置（グラフィックディス
プレイ）であり、この楽音および画像生成装置の動作状
態や操作スイッチの操作状態を表示するとともに、選択
された楽器あるいはパートの演奏の様子を例えば３Ｄの
アニメーション画像で表示する。また、８はハードディ
スク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶ
Ｄ等の外部記憶装置、９は外部のＭＩＤＩ機器との通信
を行うためのＭＩＤＩインターフェース回路である。さ
らに、１０は外部に接続されたモニタ１１に前記演奏の
様子を示す画像を表示するためのビデオインターフェー
ス回路、１２は前記各構成要素間のデータ伝送を行うた
めのバスである。

【００１７】図２は、本発明の楽音および画像生成装置
の一実施の形態の外観の一例を示す図である。この例に
おいては、前記操作スイッチ群４として、鍵盤４０、自
動演奏の開始を指示するスタートスイッチ４１、自動演
奏の終了を指示するストップスイッチ４２、自動演奏す
るリズムおよびメインおよびバリエーションなどの演奏
パターンを選択するスタイルセレクトスイッチ４３、演
奏の様子を表示する楽器あるいはパートを選択する楽器
チェンジスイッチ４４、演奏の様子を表示する際にどの
ようなキャラクタによる演奏を表示させるかを選択する
プレイヤーチェンジスイッチ４５、フィルインを行なう
楽器を選択するフィルインスイッチ４６、演奏の様子を
表示するときの背景を選択するステージチェンジスイッ
チ４７および演奏の様子を表示するときの視点を決定す
るための視点チェンジスイッチ４８が設けられている。
ここで、前記楽器チェンジスイッチ４４、プレイヤーチ
ェンジスイッチ４５およびフィルインスイッチ４６にお
けるＤ，Ｇ，ＢおよびＫは、それぞれ、ドラムパート、
ギターパート、ベースパートおよびキーボードパートを
選択するためのスイッチであり、Ａ〜Ｄは、それぞれ、
前記Ｄ，Ｇ，Ｂ，Ｋにより選択されたパートにおける詳
細を選択するスイッチである。また、この例において
は、画像表示装置７（あるいは外部モニタ１１）に複数
のパート（キーボード、ベースおよびドラムの３つのパ
ート）の演奏の様子が３Ｄアニメーション画像により表
示されている。

【００１８】このように３Ｄアニメーション画像を表示
する処理について説明する前に、まず、前記動作部品デ
ータベース２０について説明する。この動作部品データ
ベース２０は、様々な楽器毎あるいはパート毎に、多様
な演奏パターンをそれぞれ細分化し、該細分化されたパ
ターンの演奏動作を、例えばモーションキャプチャーデ
ータとして取り込み、ｘ，ｙ，ｚ軸方向に分解するとと
もに、発音タイミング（例えば、ドラムの場合には打点
位置）を該取り込んだデータにマーキングしてデータベ
ース化したものである。これら細分化された演奏動作の
データを動作部品と呼ぶ。図３は、ドラムパートの動作
部品の一例を示す図であり、この図に示すように、ドラ
ムパートの細分化された短いフレーズＡ，Ｂ，Ｃ，Ｄ，
…の演奏パターン毎にそのパターン演奏時の演奏者の動
作の軌跡を示す動作情報および前記発音ポイントマーカ
ーのデータにより各動作部品が構成されており、前記動
作部品データベース２０に格納されている。なお、この
例においては、シンバル、スネアドラムおよびバスドラ
ムの３つの楽器の動作情報を１つの動作部品としている
が、ピアノやサックスといった楽器の場合には各楽器毎
に動作部品を生成する。

【００１９】前記動作部品を作成する処理について、図
４のフローチャートを参照して説明する。まず、ステッ
プＳ１０において、特定の楽器にて細分化された特定の
フレーズを演奏者が演奏している状態をモーションキャ
プチャーデータとして取得する。図５の（ａ）はその様
子を説明するための図であり、この図に示すように、演
奏者の体の要部および必要に応じて楽器に３Ｄデジタイ
ザを装着し、前記細分化された特定のフレーズを演奏し
てもらい、そのときの演奏者のからだの動きを記録す
る。なお、３Ｄデジタイザとしては、磁気的なものある
いは光学的なものなどが知られている。そして、ステッ
プＳ１１において、このようにして取得したモーション
キャプチャーデータにおいて、各部位の中心点の軌跡を
ｘｙｚ座標系に分解し、各部位の移動状態及び位置を示
す動作情報を取得する。なお、このときに時間データも
同時に記録してもよい。

【００２０】次に、ステップＳ１２に進み、発音の起こ
った位置（発音ポイント）の要所部位の座標およびその
演奏開始からの経過時間を判別することができるように
マーカー（発音ポイントマーカーと呼ぶ）として記憶す
る。例えば、図５の（ｂ）に示すフレーズの演奏である
場合には、図中に示す３つの位置が発音ポイントとな
り、それぞれの経過時間ｔ，ｔ’，ｔ”が判別可能に記
憶される。なお、この発音ポイントマーカーは、前記取
得した動作情報データの集合内で、発音ポイントに対応
するデータを特定することができるようになっていれ
ば、どのような形式のものであってもよい。そして、ス
テップＳ１３に進み、前述のようにして取得したデータ
と演奏されたフレーズとの対応付けを行う。そして、再
生時の位置の変更（演奏者および楽器の形状や大きさの
変更）あるいは時間の変更（テンポの切り替え）に対応
することができる形式のデータとしてデータベース化し
ておく。なお、前記動作部品データとしては、前述した
ｘｙｚ座標および時間の各データおよび発音ポイントマ
ーカーの他にも、各部位毎の移動速度や加速度などのデ
ータも含ませるようにしてもよい。

【００２１】このようして作成された動作部品データベ
ース２０を用いて３Ｄアニメーション画像を生成表示す
る処理について、自動伴奏機能を有する装置の場合を例
にとって説明する。図６は、この自動伴奏再生における
処理の流れを示す図であり、１つのパートの楽音と演奏
の様子を示す３Ｄアニメーション画像の再生処理の流れ
を示している。複数のパートの演奏の様子を示す場合に
は、この図６に示した処理をそれぞれのパートについて
実行し、それらを合成して表示すればよい。

【００２２】まず、演奏者により、前述した操作スイッ
チ群４が操作され、自動伴奏制御操作が実行されると、
ステップＳ２０の処理が実行される。このステップＳ２
０では、演奏者によりなされた操作に応じて、再生すべ
きパターンを前記スタイルデータベース２１から選択す
る。これは、前述した従来の自動伴奏機能との場合と同
様の処理である。このようにして選択された演奏スタイ
ルデータは、ステップＳ２１とステップＳ２５の各処理
に引き渡される。

【００２３】ステップＳ２５は、前述した従来の自動伴
奏処理と同様の処理であり、選択された演奏スタイルデ
ータに含まれている演奏情報に基づいて、キーオンイベ
ント、コントロールチェンジなどの発音イベント、音源
制御パラメータを生成する。このようにして生成された
音源制御パラメータなどは、音源部５に入力され、対応
する楽音が生成されて（ステップＳ２６）、前記サウン
ドシステム６から出力される。

【００２４】一方、ステップＳ２１では、前記選択され
た演奏スタイルデータに基づいて、対応する動作部品を
前記動作部品データベース２０から選択し、基本動作情
報を生成する。ここで、自動伴奏の場合には、各演奏ス
タイルに対応する動作部品は予め知ることができるた
め、前記選択された演奏スタイルデータ中に対応する動
作部品を特定する情報を含ませることができる。

【００２５】図７を用いて、この基本動作情報の生成の
一例について説明する。図７の（ａ）は、前記動作部品
データベース２０に格納されている各動作部品に対応す
るフレーズの一例である。すなわち、前記動作部品デー
タベース２０には、この図に示したフレーズＡ，Ｂ，
Ｃ，Ｄ，…にそれぞれ対応する動作部品がデータベース
化されて格納されている。そして、選択された演奏スタ
イルに対応する演奏パターンが図７の（ｂ）に示されて
いるパターンであるとする。この場合、このステップＳ
２１において、前記パターンに応じた動作部品を前記動
作部品データベース２０から読み出す。そして、各動作
部品の末尾の部分と後続する動作部品の先頭部分を重ね
合わせて、それらを繋ぎあわせることにより、基本動作
情報を生成する。この結果、図７の（ｂ）に示した基本
パターンについては、Ａ→Ｂ→Ｃ→Ｂというように対応
する動作部品がつなげられることとなる。

【００２６】また、前述した特定の楽器に対するフィル
インなどのバリエーション操作がなされた場合には、ス
テップＳ２２に進み、前記ステップＳ２１において生成
した基本動作情報に対し、フィルインに応じた動作情報
を重ね合わせるあるいは差し替える処理を行う。例え
ば、演奏すべきスタイルパターンが図６の（ｃ）に示す
ようなバリエーションパターン、すなわち、ドラムパー
トのうちのシンバルとスネアドラムについてフィルイン
を行なうものである場合には、前記ステップＳ２１にお
いて生成した基本動作情報（Ａ→Ｂ→Ｃ→Ｂ）の最後の
部分とその一つ前のデータを動作部品Ｄのデータに入れ
替えることにより、このバリエーションパターンに対応
する動作情報を得ることができる。このように動作部品
のうちの一部を他の部品の一部と差し替えることによ
り、前述したバリエーション動作に対応することができ
る。

【００２７】次に、ステップＳ２３に進み、前記入力操
作子４４により設定される表示パート選択データ、前記
入力操作子４５からの演奏者キャラクタ選択データ、前
記入力操作子４８からの視点切り替え操作データ、前記
入力操作子４７からのステージチェンジ操作データなど
に応じて、シーン部品データベース２２からこれらに対
応する情報を選択して読み出すとともに、これらの情報
に基づいて前記動作情報に含まれている座標データの補
正処理を行う。すなわち、演奏状態を表示するパートあ
るいは楽器、演奏をしているキャラクタ、選択されたス
テージ、および指定された視点（カメラ位置）に対応す
るシーン部品を前記シーン部品データベース２２から読
み出す。なお、複数のパートあるいは楽器の演奏状態の
表示が指示されたときは、それらの配置に対応したシー
ン部品が読み出される。

【００２８】図８を参照して、前記座標データの補正処
理の一例について説明する。この例は、演奏の状態を表
示すべき楽器がシンバルである場合を示しており、動作
情報には、初期位置（ｘ０，ｙ０，ｚ０）からシンバル
上のターゲット位置（ｘｔ，ｙｔ，ｚｔ）までの（１）
で示すスティックの軌跡が含まれているとする。このと
き、操作者により選択された演奏者キャラクタあるいは
視点位置データ等のデータによりシンバルの高さが変更
され、ターゲットの座標が（ｘｔ’，ｙｔ’，ｚｔ’）
になったとする。このときは、（２）で示す軌跡となる
ように、このステップＳ２３において、前記動作情報の
補正を行う。また、演奏者が変更され、前記スティック
の初期位置が図中の破線で示す位置に変更されたときに
は、（３）で示す軌跡となるように動作情報の補正を行
い、さらに、演奏者とシンバルの高さの両者が変更され
たときには、（４）で示す軌跡となるように、前記動作
情報の補正処理を行う。このようにして、このステップ
Ｓ２３において、モデル位置が決定され、それに対応す
るようにアニメーションが決定される。

【００２９】このとき、本発明においては、前述したよ
うに動作部品データベース２０に格納されている各動作
部品には、時間軸に沿った座標データだけではなく発音
ポイントマーカーも含まれており、この発音ポイントマ
ーカーにより、各発音ポイントの座標およびその動作情
報の再生開始から発音ポイントまでの時間あるいは速度
を取得することができる。したがって、この発音ポイン
トマーカーに基づいて、生成する映像と生成する楽音と
の同期を取るようにしている。

【００３０】すなわち、前記図５の（ｂ）に示したよう
に、各発音ポイントまでの基準テンポにおける時間ｔ，
ｔ’，ｔ”を前記動作部品から取得することができる。
したがって、前記動作部品を作成したときのテンポ（基
準テンポ）に対し演奏するテンポがｋ倍のテンポに変更
されたときには、前記動作情報の再生開始から発音ポイ
ントまで１／ｋ倍の時間（速度であればｋ倍の速度）で
到達するように、その動作情報の再生間隔が短くあるい
は長くなるように動作情報読み出しの間引きをおこなっ
たり、複数回同じ動作位置を読み出すなどのように制御
すれば良い。また、移動時間あるいは移動速度が座標毎
に用意されている場合、すなわち各部位がある座標から
次の座標に移動するまでの時間あるいは速度の情報が動
作部品中に含まれている場合には、それが時間のときに
は１／ｋ倍、速度のときにはｋ倍にそれぞれ変更（補
正）して制御すればよい。

【００３１】ところで、全ての動作について上述のよう
に単純に時間軸を制御するだけでは、不自然な画像とな
る場合がある。例えば、テンポを半分にすると画像の動
作速度が全体的に半分の速度となり、ドラムの演奏など
の場合には、そっと叩くような画像となり、音量を抑え
た演奏のように見えることとなってしまう。これを避け
るためには、動作を開始してから発音ポイントまでの動
作において、発音動作に関する個所（発音動作開始点か
ら消音動作点まで）を認識できるようにしておき、発音
動作開始点から消音動作点までの動作速度は、テンポを
変更しても変更しないようにする。

【００３２】図９を用いてこの様子を説明する。この図
において横軸は時間、縦軸は演奏動作（例えば、ドラム
スティックの位置）を示している。図の（ａ）に示すよ
うに、通常のテンポの場合には、発音動作開始点からド
ラムスティックの移動が開始され、発音点においてもっ
とも低い位置に達し、消音動作点でまたもとの位置に戻
っている。（ｂ）はテンポを遅く変更した場合に単純に
時間軸を伸長した場合を示しており、発音動作開始点→
発音点→消音動作点までの時間も（ａ）の場合よりも長
くなっている。そこで、（ｃ）に示すように、発音動作
開始点まではテンポに対応した速度で画像を再生し、発
音動作開始点から消音動作点までは前記（ａ）の場合と
同じ速度で再生するようにする。これにより、音量に対
応した実際の演奏と同様の画像を表示することができ
る。なお、テンポを早くした場合にも、同様に発音動作
開始点から消音動作点までの再生速度は変更しないよう
にする。

【００３３】また、前記音源制御パラメータ生成ステッ
プＳ２５（図６）において発生されるエンベロープやベ
ロシティ等の音源制御パラメータを利用して、動作情報
の修飾を行うようにしている。このことについて、シン
バルの揺れ動作を例にとって、図１０を参照して説明す
る。図１０の（ａ）は、シンバルの揺れの様子を示す図
である。前述のように前記動作部品データベース２０に
は、モーションキャプチャにより作成された標準的なシ
ンバルの揺れ動作が格納されている。この動作部品に基
づいて、楽音中の発音タイミングに同期してシンバルの
揺れを表す動作情報を生成するのであるが、このとき
に、ベロシティあるいはトラックボリュームなどの楽音
制御パラメータに基づき、ベロシティあるいはトラック
ボリュームが大きいときはシンバルの揺れを大きくし、
逆に小さければ揺れも小さくするように動作情報を生成
する。

【００３４】すなわち、最大音量をＭとし、発音時の音
量をｍとする。また、揺れの周期は正弦波で表現されて
いるとする。ここで、シンバルの揺れの最大振幅値をＡ
とすると、発音後のシンバルの揺れは、次の式（１）で
表される。 揺れ量＝（ｍ／Ｍ）・Ａ・ｓｉｎｔ …（１） ここで、ｔは時間を表している。また、最大エンベロー
プ値をＥとし、その後音源チャンネルでシンバルを発音
しているチャンネルのエンベロープ値ｅを読み出し、こ
れを入力情報として使用する。この場合には、シンバル
の揺れ量は次の式（２）により表すことができる。 揺れ量＝（ｍ／Ｍ）・（ｅ／Ｅ）・Ａ・ｓｉｎｔ …（２） すなわち、音源のエンベロープ値ｅの減衰に応じて、シ
ンバルの揺れ量も周期運動を繰り返しながら減衰してい
く。図１０の（ｂ）は、この様子を示す図である。この
ようにして算出した揺れ量を動作情報の補正演算に用い
ることにより、音量に合致した高品質の画像を作成する
ことができる。

【００３５】さらに、演奏者単位あるいはパート単位
で、画像の再生フレームレートを変更することもでき
る。例えば、バックプレイヤーや視点切り換えで後ろに
移動したプレイヤーなどについては、再生フレームレー
トを落とすようにすることもできる。図１１はこの様子
を示す図であり、（ａ）のようにソロパートのプレイヤ
ーと２人のバックパートのプレイヤー（バック１および
バック２）の画像を再生する場合を例にとって説明す
る。この場合には、（ｂ）に示すように、ソロプレイヤ
ーは通常の再生フレームレート（例えば、３０フレーム
／秒）で画像を生成し、バック１およびバック２のプレ
イヤーについては、例えばその１／２のフレームレート
で交互に画像を生成するようにする。これにより、ＣＰ
Ｕの演算負荷を減少させることが可能となる。

【００３６】さらにまた、発音ポイントの画像生成処理
に到達したことを、画像処理部Ｓ２４から前記音源制御
パラメータ生成ステップＳ２５に報知し、これに基づい
て、前記Ｓ２６における発音処理を行うようにすれば、
発音と生成される画像の同期の確実性を向上させること
が可能となる。このようにして、演奏のテンポに応じて
正しい発音ポイントを有する演奏画像を生成することが
可能となる。

【００３７】次に、ステップＳ２４に進み、前記ステッ
プＳ２３により決定された情報を用いて画像生成処理
（レンダリング）が実行される。すなわち、前記シーン
情報および動作情報に基づいて、シーンの映像化が行わ
れる。すなわち、前記シーン情報や動作情報に基づい
て、座標変換、隠面消去、交点・交線・交面などの算
出、シェーディング、テクスチャーマッピングなどの処
理を行い、画像表示装置上の画像の各ピクセルの輝度値
を出力して、３Ｄアニメーション画像を生成し、画像表
示装置７に出力する。以上のようにして、自動伴奏デー
タに同期して、任意のパートの演奏の状態を３Ｄアニメ
ーション画像で表示することができる。

【００３８】次に、所望の曲の曲データを再生する自動
演奏装置に適用した本発明の実施の形態について、図１
２の流れ図を参照して説明する。このような自動演奏を
行う場合には、演奏すべき楽曲の演奏情報（曲データ）
が曲データベース２３に格納されている。操作者が自動
演奏させたい曲を選択すると、ステップＳ３０におい
て、前記この曲データベース２３から選択された曲の再
生データが所定長ずつ読み出される。そして、この再生
データは、ステップＳ３１とステップＳ３４に与えられ
る。ステップＳ３４、Ｓ３５は、前記自動伴奏の場合に
おけるステップＳ２５、Ｓ２６と同一の処理であり、再
生データに基づく楽音を生成しサウンドシステム６から
出力する。

【００３９】ステップＳ３１〜Ｓ３３は再生データに対
応する３Ｄアニメーション画像を生成する処理である。
ステップＳ３１においては、前記動作部品データベース
２０から、前記所定長の再生データに最も近い動作部品
を選択して読み出す。そして、前記ステップＳ２１と同
様に、読み出された各動作部品の末尾の部分と後続する
動作部品の先頭部分を重ね合わせてつなぎあわせること
により、基本動作情報を生成する。すなわち、演奏デー
タの最初から細分化されたフレーズに対応する長さ（第
１の部分という）を取り出し、これと最も近いフレーズ
に対応する動作部品を前記動作部品データベース２０か
ら読み出す。次に、前記取り出した第１の部分の末尾を
先頭として同様に第２の部分を取り出し、前記動作部品
データベース２０からこれに最も近い動作部品を読み出
し、前記最初に取り出した動作部品に接続する。以下同
様に、前述の動作を繰り返し、対応する動作部品をつな
げていくことにより、基本動作情報を生成する。なお、
以上は、汎用的に用意された動作部品を流用して任意の
曲データに適応させる一例を示したものであるが、動作
部品を標準基本セット化（例えば、ＧＭ基本音色のよう
に音色番号で基本音色が自動的に対応付けされているよ
うに）し、曲データ内で使用するべき前記基本セットの
該当動作部品に対応する動作部品指示情報を曲データ中
に曲の進行に合わせて入れるようにしておいても良い。

【００４０】そして、ステップＳ３２に進み、前記ステ
ップＳ２３と同様に、モデル位置の決定およびアニメー
ションの決定を行う。そして、ステップＳ３３に進み、
前記ステップＳ２４と同様にして動作情報に対応した３
Ｄアニメーション画像を生成し、表示装置７に表示させ
る。このようにして、自動演奏の場合にも、その楽曲の
演奏状態を表す３Ｄアニメーション画像を表示させるこ
とができる。

【００４１】次に、本発明の楽音および画像生成装置の
外観の他の例を図１３に示す。この図に示した例は、画
像表示装置７の左右に各操作子が配置されており、画面
上には１つのパート（この例では、ドラムパート）を演
奏している様子が３Ｄアニメーションで表示されてい
る。ここで、操作子５１は自動演奏のスタートボタン、
５２は自動演奏のストップボタン、５３は演奏のテンポ
をアップさせるためのテンポアップボタン、５４はテン
ポダウンボタン、５５は画像表示装置７に演奏状態を表
示させるときの演奏者を選択するための演奏者選択ボタ
ン、５６は同じく演奏状態を表示させるときにどの楽器
の演奏状態を表示させるかを選択決定するための楽器選
択ボタンである。また、５７および５８は自動演奏のメ
インパターン（メインスタイル）を選択するためのボタ
ンであり、５７はメインＡを選択するメインＡボタン、
５８はメインＢを選択するメインＢボタンである。さら
に、５９はイントロのパターンを選択するためのイント
ロボタン、６０はフィルインパターンを挿入するための
フィルインボタン、６１はエンディングパターンを選択
するためのエンディングボタンである。さらにまた、６
２は前述した画像表示装置７に３Ｄの演奏状態を表示す
る場合における視点を移動させるための視点移動ボタン
である。

【００４２】以上のように、本発明において表示する画
像は、１つのパートあるいは複数のパートのいずれであ
っても、表示することができる。また、鍵盤部を持たな
いシーケンサなどにも適用できることは明らかである。
さらに、以上の説明では、自動伴奏あるいは自動演奏の
場合を例にとって説明したが、打ち込み等により入力さ
れたメロディパートの演奏データに対しても、同様にし
て３Ｄアニメーション画像を表示させることができる。

【００４３】なお、前記ステージチェンジスイッチ４７
により選択されたステージに応じて、前記音源部５にお
いて付与するエフェクトを変化させるようにすることが
できる。例えば、ホールを選択したときは、ディレイを
大きくし、屋外を選択したときはディレイを少なくする
というように、前記表示される画像のシチュエーション
に応じて効果を変更させることができる。また、上記に
おいては、モーション・キャプチャーにより動作情報
（モーション・ファイル）を得る場合を例にとって説明
したが、キーフレーム法のようなモーション・キャプチ
ャー以外の方法により動作情報を生成するようにしても
よい。

【００４４】

【発明の効果】以上説明したように、本発明によれば、
楽曲データに同期して３Ｄアニメーション画像を表示さ
せることができる。したがって、操作者はコードやフィ
ルイン等に応じた音によるインタラクションだけではな
く、３Ｄアニメーション画像によるインタラクションも
楽しむことができる。また、動作部品をデータベース化
しているため、複数のパターンや楽曲に対し動作部品を
共通に使用することができるとともに、必要な部品をデ
ータベースに追加していくことができる。したがって、
効率的に３Ｄアニメーション画像を生成することが可能
となる。さらに、動作部品として動作情報とともに発音
ポイントマーカーを備えているために、テンポの変更等
に対して共通の動作部品を使用することが可能となり、
データベースのサイズを小さくすることが可能となる。
さらにまた、楽音の演奏と同期した不自然さのない画像
を表示することができる。さらにまた、操作者は、複数
のキャラクタのなかから自分の好みに合ったキャラクタ
を選択することができる。さらにまた、操作者は、表示
画像の視点の位置を変更することができるので、任意の
位置からみた模範的な演奏状態を見ることが可能とな
り、教育的な用途にも使用することができる。

【図面の簡単な説明】

【図１】 本発明の楽音および画像生成装置の一実施の
形態の構成例を示すブロック図である。

【図２】 本発明の楽音および画像生成装置の一実施の
形態の外観図である。

【図３】 動作部品データベースを説明するための図で
ある。

【図４】 動作部品の生成を説明するためのフローチャ
ートである。

【図５】 動作部品の生成について説明するための図で
ある。

【図６】 自動伴奏における画像生成表示処理および楽
音生成処理の流れ図である。

【図７】 基本動作情報の作成について説明するための
図である。

【図８】 座標補正処理について説明するための図であ
る。

【図９】 テンポを変更した場合の処理について説明す
るための図である。

【図１０】 楽器の動作の修飾処理について説明するた
めの図である。

【図１１】 再生フレームレートの変更処理について説
明するための図である。

【図１２】 自動演奏における画像生成表示処理および
楽音生成処理の流れ図である。

【図１３】 本発明の楽音および画像生成装置の外観の
他の例を示す図である。

【図１４】 自動伴奏処理における演奏パターンの遷移
の例を示す図である。

【符号の説明】

１ ＣＰＵ、２ プログラム記憶装置、３ 記憶装置、
４ 操作スイッチ群、５音源部、６ サウンドシステ
ム、７ 画像表示装置、８ 外部記憶装置、９ＭＩＤＩ
インターフェース回路、１０ ビデオインターフェース
回路、１１ モニタ、２０ 動作部品データベース、２
１ スタイルデータベース、２２ シーン部品データベ
ース、２３ 曲データベース、４０ 鍵盤、４１ スタ
ートスイッチ、４２ ストップスイッチ、４３ スタイ
ルセレクトスイッチ、４４ 楽器チェンジスイッチ、４
５ プレイヤーチェンジスイッチ、４６ フィルインス
イッチ、４７ ステージチェンジスイッチ、４８ 視点
チェンジスイッチ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 関根 聡 静岡県浜松市中沢町10番１号 ヤマハ株式 会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 演奏情報に基づいて楽音を生成する楽
   音生成部と、 選択された楽器あるいはパートにおける前記演奏情報に
   対応する演奏の様子を示す画像データを前記演奏情報に
   同期して生成する画像生成部とを有することを特徴とす
   る楽音および画像生成装置。
2. 【請求項２】 各楽器毎あるいは各パート毎の、細分
   化された演奏パターンの演奏動作の軌跡を記憶した動作
   情報を含む動作部品により構築された部品データベース
   を有し、 前記画像生成部は、該部品データベースから前記演奏情
   報に対応する動作部品を読み出し、該読み出した動作部
   品を順次接続することにより得られた情報に基づいて当
   該演奏情報に対応する３Ｄアニメーション画像データを
   生成することを特徴とする前記請求項１記載の楽音およ
   び画像生成装置。
3. 【請求項３】 前記動作部品は前記細分化された演奏
   パターンの演奏動作の軌跡を表す動作情報と発音のタイ
   ミングを示す発音ポイントマーカーとを有することを特
   徴とする前記請求項２記載の楽音および画像生成装置。
4. 【請求項４】 前記生成される３Ｄアニメーション画
   像データにおける演奏キャラクタおよび視点は操作者に
   より変更可能とされていることを特徴とする前記請求項
   ３記載の楽音および画像生成装置。
5. 【請求項５】 前記演奏キャラクタおよび視点の変更
   に応じて、前記動作情報を補正する手段を有することを
   特徴とする前記請求項４記載の楽音および画像生成装
   置。
6. 【請求項６】 前記画像生成部は、前記演奏情報に基
   づいて生成される楽音のテンポが変更されたときであっ
   ても、当該画像データにおける発音動作に対応する部分
   の画像再生速度は一定とされた前記画像データを生成す
   るようになされていることを特徴とする前記請求項１記
   載の楽音および画像生成装置。
7. 【請求項７】 前記画像生成部は、前記演奏情報ある
   いは楽音生成部の発音状態に基づいて、その生成する画
   像データを修飾するようになされていることを特徴とす
   る前記請求項１記載の楽音および画像生成装置。
8. 【請求項８】 前記画像生成部は、前記選択された楽
   器あるいはパート毎に、その再生フレーム数を設定する
   ことができるようになされていることを特徴とする前記
   請求項１記載の楽音および画像生成装置。