JPH10143155A - 仮想楽器作成方法 - Google Patents

Abstract

(57)【要約】 【課題】 計算機画面上で仮想的な楽器を作成する仮想
楽器作成方法を提供する。 【解決手段】 画面には、作成イベント発生を設定する
対象111(以下、楽器と呼ぶ)、鍵盤楽器を模した図形112
(以下、パレットと呼ぶ)、マウスと連動した図形113(以
下、絵筆と呼ぶ)が表示される。パレット112上には、異
なる音程を発生するボタン状の領域が配列されている。
使用者は、自分が望む音程に絵筆113を持っていきマウ
スをクリックしてその音程を選択する。次に、楽器上に
絵筆を持っていき、マウスボタンを押しながら絵筆を動
かすことにより、MIDI情報を発生する領域を設定してい
く。選択した内容は、マウス131でクリックした際に対
応する音が発生することによって、使用者に確認され
る。 【効果】 使用者は、自らの嗜好に合せた自由形状・音
色の楽器をデザインできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機による仮想
楽器作成方法に関する。

【０００２】

【従来の技術】情報入力の手段として、矩形領域(ウィ
ンドウ)に機能的に分割された画面上を、座標値を視覚
的に入力できるマウス等の装置を用いて運用するシステ
ム(ウィンドウシステム)が、現在、多くの計算機におい
て主流となっている。このようなシステムでの使用者と
のインターフェイスの開発では、単なる機能だけではな
く、画面上の視覚的なデザインも重要となる。近年、こ
のような開発過程自体も、視覚的に行えるような環境が
整いつつある。

【０００３】計算機と音楽用の音源装置との情報のやり
取りでは、古くからMIDIという形式の標準データが用い
られてきた。これによって計算機や音源の機種に依存し
ない音楽情報を作成・運用することが可能となってい
る。

【０００４】現在、音源を駆動するためのデータを作成
する多くのソフトウェア(音楽ソフト)が存在する。音楽
ソフトで作成されたデータは、計算機による自動演奏に
よって何度でも再現できる。音楽ソフトでのデータ入力
の手段には、MIDI対応の楽器(主にキーボード)からの入
力及び計算機上での入力の2通りがある。後者では、キ
ーボードを模した図形をマウスでクリックする、といっ
たインターフェイスを持つソフトウェアも存在する。

【０００５】近年、計算機の演算能力の飛躍的向上に伴
い、使用者に対して、計算機画面上に3次元的情報を呈
示する技術が一般化しつつある。また、これと併せて、
3次元情報を作成するソフトウェアも多く開発されてい
る。さらに、使用者の手の3次元的な動きを検出し計算
機に入力できる装置(データグローブ)、使用者の視線の
変化に応じた立体視画像を表示する技術等により、計算
機上の3次元世界(仮想的3次元空間)を使用者が疑似体験
できるシステムも可能となった。

【０００６】

【発明が解決しようとする課題】計算機使用に際して使
用者の多様な嗜好に対応するためには、現行の矩形領域
を主とする画面の機能的分割よりも、より自由度の高い
インターフェイスのデザインが要求される。また、使用
者が自らの嗜好を満足させるためには、使用者自身がデ
ザイン可能であることが望ましい。従って、このような
インターフェイスのデザインを容易に行えるようなソフ
トウェアが必要である。

【０００７】従来の音楽ソフト上では、使用者がMIDI情
報の出力をリアルタイムで計算機に行わせる機能は、デ
ータ作成時のインターフェイスとして提供されている。
従って、その行為自体は日常的な意味での演奏とは言え
ない。使用者の計算機を用いた音楽との係わり合いをよ
り多様にするためには、演奏のためのインターフェイス
としての計算機の利用が必要である。

【０００８】従来、3次元情報は、視覚的表現を中心に
扱われてきた。一方、人間の表現活動において音楽は重
要な地位を占めている。3次元情報を扱うシステム上
で、人間の表現活動がより総合的に行われるためには、
音楽活動を含めたシステム構成が必要である。また、従
来のMIDI情報の楽器入力は鍵盤楽器が主であった。計算
機が人間の創造的活動により貢献するためには、より自
由な形式での楽器入力を実現することが望ましい。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明では、従来技術として存在する描画用ソフト
ウェアのインターフェイスを用いて、計算機画面の機能
のデザインを行う。そして、この描画用ソフトウェアの
インターフェイスを用いて、計算機画面上にMIDI情報を
出力する領域を設定する。これにより使用者が、仮想的
3次元空間内で楽器を作成し演奏することができる。

【００１０】

【発明の実施の形態】

(実施例１)本実施例は、計算機画面上の矩形領域中に、
マウスクリックによって計算機にMIDI情報を外部音源に
出力させることが可能な領域を設定するソフトウェアで
ある。これによって、楽器を模した図形が画面上に作成
される。

【００１１】作成過程での使用者の作業手順の例を図１
（ａ）〜（ｃ）に示す。画面には、作成イベント発生を
設定する対象111(以下、楽器と呼ぶ)、鍵盤楽器を模し
た図形112(以下、パレットと呼ぶ)、マウスと連動した
図形113(以下、絵筆と呼ぶ)が表示される。パレット112
上には、異なる音程を発生するボタン状の領域が配列さ
れている。画面110において、使用者は、自分が望む音
程に絵筆を持っていきマウスクリックすることにより、
その音程を選択する。選択した内容は、クリックした際
に対応する音が発生することによって、使用者に確認さ
れる。次に、楽器上に絵筆を持っていき、マウスボタン
を押しながら絵筆を動かすことにより、画面120のよう
にMIDI情報を発生する領域を設定していく。設定した領
域は、その領域に色が付くことによって使用者に確認さ
れる。この際の使用者の作業は、通常のペイントソフト
と全く同様である。また、透明度を設定することによ
り、複数の音色を楽器上で混合することもできる。楽器
及びパレットの個数は任意であり、使用者が自ら作成し
た楽器をパレットとして用いることもできる。

【００１２】使用者がパレット上の音の出ない場所をク
リックすることにより、作成過程は終了する。この場
合、画面130のように、マウスと連動する図形が絵筆と
は異なる図形131になる。この状態で、楽器上をクリッ
クすると、対応する楽音が発生する。また、ボタンを押
したままマウスを動かす(ドラッグする)ことにより、音
程の連続変化やビブラート等の特殊効果を音色に加える
られるように設定することも可能である。マウスドラッ
グの効果の設定は楽器単位で行われる。

【００１３】本実施例のソフトウェアの基本的なデータ
構造及びアルゴリズムを図２〜図９に示す。

【００１４】図２に示すように、パネルは、楽器及びパ
レットを表すデータである。本ソフトウェアは、ウィン
ドウシステム上での動作を前提としており、各パネル
は、1つのウィンドウとして実現される。パネルには、
そのパネルが楽器かパレットかを表す状態、MIDI情報を
発生する領域のリスト、及び、マウスドラッグ時に行わ
れる処理が、データとして含まれる。

【００１５】これ以外に、ウィンドウシステムと関連す
るデータも含まれるが、これは省略する。パネル上にあ
る各領域は、マウスクリックを受け付けるパネル上の座
標値の集合とクリック時に実行されるプログラムが必要
とするデータ(色及びMIDIデータ)によって定義される。
各領域には、複数のMIDIデータがリストとして割当られ
ている。絵筆データは、絵筆の現在の状態を格納するも
ので、1つのアプリケーションプロセスに対して1つだけ
存在する。絵筆には、最も最近にクリックされた領域の
内容が記憶される。絵筆内の状態のフィールドは、その
内容が、楽器上の領域だったかパレット上の領域だっか
かを示すもので、これによって作成モードと演奏モード
の区別も行われる。その他のフィールドは、ペイントす
る際のブラシのパターンと音色を多重に定義する際の透
明度(加算の仕方)である。

【００１６】通常のウィンドウシステム上でのプログラ
ムと同様、本発明のソフトウェアは、マウス操作によっ
てイベントが発生することによって、パネルに対して定
義された手続きが実行される。イベントとして認識され
るのは、図３に示すマウスクリック、図４に示すボタン
を押した状態でのマウスのドラッグ、及び、図５に示す
ボタンの解放の3つである。但し、パネル領域からマウ
スが出た場合もボタンの解放と同じ扱いをする。

【００１７】外部音源に対しては、図６に示すようにマ
ウスクリック時にキーノートオンが、また図７に示すよ
うにマウスリリース時にキーノートオフが送られる。さ
らに図８に示すように、マウスドラッグ時の処理が設定
された楽器の場合、ベンダー情報等が送られる。図８の
例では、マウスを上下に動かすと、音程が連続的に変化
する。外部音源に出力される内容は、絵筆を参照するこ
とによって行われる。

【００１８】楽器作成時の領域の設定は、図９のよう
に、２値画像ブラシパターンのパネル上での軌跡を領域
に加えていくことによって行われる。絵筆の透明度が０
でない場合は、以前に設定された領域との重なりがチェ
ックされる。重なりが存在する場合には、透明度に従っ
て加算された色及びMIDIデータを持つ別の領域が生成さ
れる。なお、同一のパネル上では、領域の内容が一致す
れば、連続領域でなくても同一の領域として管理され
る。

【００１９】図１０は、実際に使用者が作成した楽器の
例である。マウスの移動によって様々な旋律形が得られ
る。また、反復的な動作を行うことにより打楽器的な演
奏も可能である。

【００２０】(実施例２)本実施例は、図１１に示した使
用者に仮想現実感を体験させるシステム上で、本発明を
実現した例である。画像表示装置1180は、使用者が仮想
空間上の物体の奥行き感を体験できるように計算機1110
が画像生成装置1140を用いて生成した画像を使用者の両
眼に表示する。ヘッドフォン1160は、計算機1110がMIDI
音源1130を用いて生成した音像を提示する。一方、使用
者の頭部の位置及び方向は装置1170を通して、また使用
者の手の動きは装置1190を通して、Ｉ０1150を経由して
計算機1110に入力される。計算機1110には外部記憶装置
1120が接続されている。このシステム上では、使用者
は、使用者の動きに連動して変化する仮想空間を視聴覚
的に体験できる。これらの技術については、例えば、特
開平6-47170号公報に記載されている。

【００２１】仮想楽器となる仮想空間中の3次元物体の
形状の作成は、通常のコンピュータグラフィックスシス
テムにおける3次元形状作成ソフトウェア(モデラー)に
よって行う。モデラーが与える形状データは、物体表面
を多角形に区分した面素から構成されている。

【００２２】図１２（ａ）、（ｂ）、図１３（ａ）、
（ｂ）は、仮想楽器の作成における使用者の作業を図示
したものである。図１２は、画面1210中に表示される、
仮想空間の設定、ファイル入出力、システム終了等の命
令を実行するためのパネルである。楽器の作成過程で
は、仮想空間中に、以下のような物体が使用者に呈示さ
れる。

【００２３】1. 作成の対象となる物体1311。以下、楽
器と呼ぶ。

【００２４】2. 作成のため参照される予め用意された
仮想楽器1312。以下、パレットと呼ぶ。

【００２５】3. 使用者の手の動きと連動して動く物体1
313。以下、手のモデルと呼ぶ。

【００２６】これらは、機能的には実施例１と同様であ
るが、3が、他の2者と同一の仮想空間中の物体というデ
ータ構造を持つ点が異なる。使用者が一人なら手のモデ
ルは1ないし2、複数の使用者が同一の仮想空間を共有す
る場合それ以上となる。

【００２７】使用者は、パレット上の絵の具を楽器に塗
布するような動作を行うことによって、楽器の表面に好
みの音色を配置していく。具体的な手順は、以下の通り
である。

【００２８】1. パレットの選択。図１２の画面1220に
示すとおり、パレット化のボタンを押してから、既に存
在する仮想楽器の中より適当なものを選ぶことにより、
その仮想楽器をパレットの状態にする。

【００２９】2. MIDI情報の選択。図１３の画面1310に
示すように、手のモデルによってパレット上のある発音
領域に触れる。これによって、対応するMIDI情報が外部
音源に出力され、かつ、手のモデル上の接触した部分の
色が変わる。

【００３０】3. 発音領域の設定。図１３の画面1320に
示すように、手のモデル上の色の変った部分で楽器に触
れる。色の変った部分と接触した楽器上の表面に、選択
されたMIDI情報を発生させる発音領域が設定される。実
施例１と同様、楽器上での音の混合も可能である。

【００３１】4. 発音領域の消去。一旦設定した領域を
消去する際には、図１３の消去用のパレット1321を用い
る。作業は、通常の領域設定と同様である。これは通常
のデータと同じく透明度の属性を持っており、これによ
って、部分的に発音領域の音量を下げることもできる。

【００３２】作成された仮想楽器は、手のモデルを接触
させることにより演奏が行われる。演奏する過程では、
物体間の接触が起った際の速度から音量データが計算さ
れ、これが、発音領域に設定された音色データととも
に、MIDI情報として外部音源に出力される。図１４
（ａ）、（ｂ）のように、接触後、手のモデルの一部が
楽器1411の内部にめり込んだ状態の間は、そのめり込ん
だ部分の運動1413によって、音色の一時的装飾、例え
ば、めり込み方が大になるとビブラートが深くかかる。
めり込み部分が接触面1421と平行に動くと音程が連続的
に変化する、等の制御を行うことができる。これらの機
能は楽器単位で設定される。

【００３３】仮想空間内の物体どうしが衝突が起きれ
ば、擬似的な物理法則に従って、それらの空間的配置が
変化する。これは、通常の仮想現実感システムと同様で
ある。本システムでは、これに加え、発音領域への物体
の接触によってMIDI情報が発生する。使用者は、直接手
のモデルで演奏するだけではなく、物体間の接触によっ
て、より意外性の高い音楽を創造することができる。ま
た、外部モデラーによって予め変形した手のモデルを用
いれば、現実には不可能な演奏を容易に行うことが可能
となる。

【００３４】本実施例のソフトウェアの基本的なデータ
構造及びアルゴリズムを図１５〜図１９に示す。

【００３５】仮想空間内の存在物は、図１２のパネル12
11を除いて、全て図15の物体というデータで表現され
る。各物体は、3次元表現に必要な形状に関するデータ
を持つ。形状データは、各物体を構成する面素及び頂点
データ等からなる。本ソフトウェアでは、手のモデルは
関節を持った運動を行うので、関節情報等もデータとし
て持っている。他の通常の物体は、単純な剛体模型であ
る。物体の属性の質量は、他の物体との接触による動き
にくさを表わす(ただし、手のモデルとの接触では意味
を持たない)。また、本ソフトウェアでは、物体の変形
は考慮していない。属性の固さは、他の物体が、どの位
めり込まないようにするかを表す。これは、図１４に示
したような処理を行う際に重要な意味を持つ。硬すぎる
と、手のモデルが楽器の中に入り込まず、楽器がすぐに
動いてしまう。逆に固さが0だと他の物体との接触で動
き出すことはなくなる。

【００３６】他のフィールドは、図２のパネルのデータ
構造と類似している。ただし、物体の状態として絵筆の
状態が追加される。これは、実施例１でのマウスカーソ
ルにあたるもの(手のモデル)も、物体のデータとして表
現されるためである。また、発音領域は、本実施例で
は、面素の集合として管理される。各面素上には、物体
の内側から外側に向いた法線ベクトルが定義されてい
る。なお、図１７において、MIDIデータ内の2つの音量
パラメータは、実際に出力される音量を物体の衝突の速
さから計算するためのものである。

【００３７】図１５の最後の接触処理データは、発音す
る領域と他の物体との接触の状態を管理するためのもの
である。図１６に、その管理の仕方の基本的なアルゴリ
ズムを示した。基本的な処理の概要は、以下の通りであ
る。

【００３８】ある領域の面素をある物体上の頂点が初め
て通過したなら、その領域と物体の組を、面素と頂点と
共に記憶する。この時、図１７の接触処理が呼ばれる。
初めに接した際の面素と頂点は、音量の計算や図１９中
のドラッグ処理で用いられる。その物体が領域と空間的
な交わりが無くなったら、図１８の解放処理が呼ばれ、
その組は接触管理のテーブルから除かれる。なお、空間
的な配置の変化を引き起す物体間の接触の検出等につい
ては、通常の仮想空間システムと同様なので、図１８に
は示さなかった。また、図２０の領域設定処理は、基本
的には、実施例１の図９と同様である。

【００３９】

【発明の効果】本発明により、計算機画面上に、自由な
形状を持つ機能領域を容易にデザインできるようになっ
た。これによって、使用者は、自分の嗜好にあった計算
機のインターフェイスを容易で構成できるようになっ
た。

【００４０】本発明により、計算機画面上に、自由な形
状を持つ楽器の機能を模した図形を容易にデザインでき
るようになった。また、これにより、計算機を通して音
楽を演奏するという娯楽を使用者に与えることができ
た。

【００４１】本発明により、仮想3次元の世界で、使用
者は自由な形状の楽器を作成し、演奏することが可能と
なった。これによって、使用者の計算機を通した音楽的
創造性活動に新たな可能性を提供した。

【図面の簡単な説明】

【図１】（ａ）〜（ｃ）はそれぞれ実施例1のソフトウ
ェアで楽器を模擬した図形を作成する作業の概略図。

【図２】実施例1のソフトウェアのデータ構造図。

【図３】実施例1のソフトウェアでのマウスクリック時
の処理図。

【図４】実施例1のソフトウェアでのマウスドラッグ時
の処理図。

【図５】実施例1のソフトウェアでのマウスリリース時
の処理図。

【図６】実施例1のソフトウェアでのキーノートオン処
理図。

【図７】実施例1のソフトウェアでのキーノートオフ処
理図。

【図８】実施例1のソフトウェアでのドラッグ時の音源
制御図。

【図９】実施例1のソフトウェアでの発音領域の設定処
理図。

【図１０】実施例1のソフトウェアの作成さた図形の例
示図。

【図１１】実施例2の仮想現実感を実現するシステムの
構成図。

【図１２】（ａ）、（ｂ）はそれぞれ実施例2のソフト
ウェアでのパレットの選択図。

【図１３】（ａ）、（ｂ）はそれぞれ実施例2のソフト
ウェアでの楽器作成図。

【図１４】（ａ）、（ｂ）はそれぞれ実施例2のソフト
ウェアで楽器演奏時の楽音の一時的変化をもたらす方法
図。

【図１５】実施例2のソフトウェアのデータ構造図。

【図１６】実施例2のソフトウェアのメイン部の処理
図。

【図１７】実施例2のソフトウェアでの発音領域と物体
との接触の処理図。

【図１８】実施例2のソフトウェアでの発音領域と物体
とが離れた場合の処理図。

【図１９】実施例2のソフトウェアでの発音領域に物体
がめり込んでいる場合の処理図。

【図２０】実施例2のソフトウェアでの発音領域設定処
理図。

Claims (5)

【特許請求の範囲】
1. 【請求項１】計算機画面上の座標点を指定する装置を用
   いて座標点を指定することにより、プログラム実行命令
   を発生させることが可能な座標点を含む計算機画面上の
   領域を設定する仮想楽器作成方法において、前記領域に
   対応した図形の輪郭線を画面上に描画することによっ
   て、前記領域の設定を行うことを特徴とする仮想楽器作
   成方法。
2. 【請求項２】計算機画面上の座標点を指定する装置を用
   いて座標点を指定することにより、プログラム実行命令
   を発生させることが可能な座標点を含む計算機画面上の
   領域を設定する仮想楽器作成方法において、前記座標点
   指定装置によって画具で絵の具を塗布する作業を模擬し
   た行為を行うことによって、前記領域の設定を行うこと
   を特徴とする仮想楽器作成方法。
3. 【請求項３】計算機画面上の座標点を指定する装置を用
   いて座標点を指定することにより、計算機に対してMIDI
   情報を外部音源に出力するプログラムの実行命令を発生
   させることが可能な座標点を含む計算機画面上の領域を
   複数個設定し、前記座標点指定装置によって演奏可能な
   楽器を模擬した図形を画面上に作成することを特徴とす
   る仮想楽器作成方法。
4. 【請求項４】計算機の記憶装置上に構成される複数個の
   ３次元物体の表示が可能なソフトウェアによって実現さ
   れる仮想的３次元空間を用い、３次元物体の表面上に、
   異なる３次元物体との接触によって、計算機に対してMI
   DI情報を外部音源に出力するプログラムの実行命令を発
   生させる領域を設定し、上記３次元物体間の接触を引き
   起すことによって、演奏可能となる楽器を模擬した３次
   元物体を作成することを特徴とする仮想楽器作成方法。
5. 【請求項５】外部における実３次元空間中での運動を検
   知する外部装置と、この装置によって検知された運動を
   仮想空間中の３次元物体の運動として呈示するソフトウ
   ェアとを備え、３次元物体表面に画具で絵の具を塗布す
   る作業を模擬した行為を行い、異なる３次元物体との接
   触によって計算機に対してMIDI情報を外部音源に出力す
   ることを特徴とする仮想楽器。