JPH1040067A

JPH1040067A - ポインティングデバイスの操作に連動した音の制御方式

Info

Publication number: JPH1040067A
Application number: JP8208952A
Authority: JP
Inventors: Kenichi Yokogawa; 健一横川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-07-19
Filing date: 1996-07-19
Publication date: 1998-02-13

Abstract

(57)【要約】【課題】音を利用したユーザインタフェースを構築する
際、ポインティングデバイスの多種多様な操作に応じて
効果音を生成する制御方式の提供。【解決手段】ポインティングデバイス１を操作すると、
ポインティングデバイス状態検出部２は、その移動方向
と移動量の情報を検出し、ポインティングデバイス移動
情報格納部６に格納し、音要素変換部３は、ポインティ
ングデバイス移動情報格納部６の情報をもとに音要素変
換テーブル７に従って音や音楽を奏でるための要素（例
えば音量、音の再生速度、リズム、音色など）を生成
し、音要素格納部８へ格納する。音出力制御機構４は、
音要素格納部８に格納された音や音楽を奏でるための要
素から、実際に音や音楽を出力制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ等情報処理装置におけるポインティングデバイス
を利用したユーザインタフェースに係り、特に、ポイン
ティングデバイスの操作に連動した音の制御方式に関す
る。

【０００２】

【従来の技術】パーソナルコンピュータ、ワークステー
ション等の情報処理装置におけるマウス等のポインティ
ングデバイスと連動したユーザインタフェースとして
は、従来、一般に、ポインティングデバイスに対応して
表示画面上にカーソルを表示する方式とされている。

【０００３】また、ゲームなど特定のアプリケーション
ソフトにおいては、入力された移動方向と移動量の情報
により、表示画面上の特定のイメージキャラクタが特定
の動作を行うような方式が実装されている場合もある。

【０００４】このように、従来の表示画面上のイメージ
キャラクタが移動及び動作を行うことにより、視覚で理
解できるユーザインタフェースが一般的である。

【０００５】ところで、操作者の視覚だけでなく、聴覚
で理解できるユーザインタフェースの実現が望まれてい
る。

【０００６】視覚によらず聴覚による理解を目的とした
方式として、例えば特開平７−１６８６９１号公報に
は、視覚によらないで、表示画面上の所望図形領域にカ
ーソルを移動し、図形の選択を可能としたシステムとし
て、カーソル位置の表示画面上の図形領域の進入・離脱
に応じて、表示画面上の各表示図形の位置及び該図形に
関連する音及び音声属性を管理するテーブルを参照し、
該図形に関連する音又は音声を出力して、ユーザに通知
するようにした方式が提案されている。また、特開平１
−３０４５２１号公報には、マウス等のポインティング
デバイスの操作によるカーソル移動の一定間隔ごとに音
声を出力することにより、これによりカーソルの移動量
を知ることができるようにした情報処理装置が提案され
ている。

【０００７】

【発明が解決しようとする課題】上記した従来技術にお
いては、音を利用したユーザインタフェースを構築する
際、ポインティングデバイスの多種多様な操作に応じて
互いに異なる効果音を生成することはできない、という
問題点を有している。

【０００８】その理由は、ポインティングデバイスの操
作に関係して音を鳴らす手段が、予め特定の条件に限ら
れているからである。

【０００９】従って、本発明は、上記事情に鑑みてなさ
れたものであって、その目的は、ポインティングデバイ
スの操作により音あるいは音楽を可変させ、これによ
り、ポインティングデバイスの操作を効果音として聴覚
で理解可能とする方式を提供することにある。

【００１０】

【課題を解決するための手段】前記目的を達成するた
め、本発明のポインティングデバイスの操作に連動した
音の制御方式は、ポインティングデバイスの移動情報を
検出する手段と、ポインティングデバイスの移動情報を
もとに、音又は音楽を発生するための要素を生成する手
段と、前記音または音楽を発生るための要素から、音ま
たは音楽を出力制御する手段と、を備えたことを特徴と
する。

【００１１】ポインティングデバイスから入力された移
動情報（移動方向と移動量）をもとに音または音楽を奏
でるための要素を生成する手段によって、ポインティン
グデバイスの操作に連動して音または音楽を変化させる
ことができる。

【００１２】

【発明の実施の形態】本発明の好ましい実施の形態につ
いて図面を参照して以下に説明する。図１は、本発明の
実施の形態の構成をブロック図にて示したものである。

【００１３】図１を参照すると、本発明の実施の形態
は、ポインティングデバイス１と、ポインティングデバ
イス状態検出部２と、音要素変換部３と、音出力制御機
構４と、スピーカ５と、ポインティングデバイス移動情
報格納部６と、音要素変換テーブル７と、音要素格納部
８と、を備えて構成されている。

【００１４】この音出力制御機構４は、音量制御部４ａ
と、再生速度制御部４ｂと、リズム制御４ｃと、音色制
御部４ｄと、を備えて構成されている。

【００１５】ポインティングデバイス移動情報格納部６
は、ポインティングデバイス１の移動方向と移動量の情
報を格納する。

【００１６】音要素変換テーブル７は、ポインティング
デバイス１の移動方向と移動量をもとに、音要素を決定
するための２次元マトリックステーブルから構成されて
いる。

【００１７】音要素格納部８は、音量、再生速度、リズ
ム、音色などの音要素を格納する。

【００１８】ポインティングデバイス状態検出部２は、
ポインティングデバイス１からの信号を入力して、その
移動方向と移動量の情報を検出する。また、検出した移
動方向と移動量の情報を、ポインティングデバイス移動
情報格納部６に格納する。

【００１９】音要素変換部３は、ポインティングデバイ
ス移動情報格納部６に格納されているポインティングデ
バイス１の移動情報から、音要素変換テーブル７を参照
して、音または音楽を奏でるための要素に変換し、音要
素格納部８に格納する。

【００２０】音出力制御機構４は、音要素格納部８に格
納された音または音楽を奏でるための要素から、実際に
奏でる音または音楽を生成し、スピーカ５に出力する。

【００２１】音出力制御機構４において、音量制御部４
ａは音量を制御し、再生速度制御部４ｂは、音または音
楽の再生速度を制御し、リズム制御部４ｃは、音または
音楽のリズムを制御し、音色制御部４ｄは音色を制御す
る。

【００２２】次に、本発明の実施の形態の動作につい
て、図１と図２を参照して説明する。

【００２３】ポインティングデバイス１を操作すると、
ポインティングデバイス状態検出部２は、ポインティン
グデバイス１の移動方向と移動量の情報をポインティン
グデバイス移動情報格納部６に格納する。

【００２４】音要素変換部３は、ポインティングデバイ
ス移動情報格納部６の移動方向と移動量の情報をもと
に、図２に示すような、音要素変換テーブル７に従っ
て、音要素を生成する。

【００２５】図２は、音要素変換テーブル７の構成を模
式的に示す図である。図２において、移動量はａ、ｂ、
ｃ、ｄ、…、０で表現し、移動方向はｅ、ｆ、ｇ、ｈ、
…、ＮＵＬＬで表現する。「ＮＵＬＬ」は移動量が
「０」のときの移動方向を表す。

【００２６】ここで、ポインティングデバイス１の入力
による移動量を「ｂ」、移動方向を「ｇ」とすると、生
成される音要素は「ｂｇ」となる。この「ｂｇ」は、音
要素の実データ又は音要素へのポインタとされ、音要素
は、音量、再生速度、リズム、及び音色を含む。

【００２７】生成された音要素は、音要素格納部８に格
納される。音出力制御機構４は、音要素格納部８に格納
された音要素を参照し、音量は音量制御部４ａへ、再生
速度は再生速度制御部４ｂへ、リズムはリズム制御部４
ｃへ、音色は音色制御部４ｄへ通知し、それぞれの制御
指示を行う。そして、音出力制御機構４で合成された音
または音楽は、スピーカ５によって出力される。

【００２８】次に図１、図２、図３を参照して、本発明
の一実施例の要部動作について詳しく説明する。

【００２９】以下、図２において移動量は、ａ＜ｂ＜ｃ
＜ｄの順に大きな値を表し、移動方向はｆが右水平方
向、ｇが右斜め上方向を表すものととする。

【００３０】また、図３において、カーソル３１、カー
ソル３２、カーソル３３はそれぞれある時点における、
ポインティングデバイス１の位置を表し、カーソル３１
は現在のポインティングデバイスの位置を表す。

【００３１】カーソルが、カーソル３１の位置に停止し
ている時、ポインティングデバイス１から入力された移
動量は「０」で、移動方向は「ＮＵＬＬ」であり、音要
素はＺである。

【００３２】カーソル３１をカーソル３２の位置へすば
やく動かすと、移動量は「ｄ」で、移動方向は「ｇ」で
あり、音要素は「ｄｇ」となる。この操作に続いて、カ
ーソル３２をカーソル３３の位置へゆっくり動かすと、
移動量は「ｂ」で、移動方向は「ｆ」であり、音要素は
「ｂｆ」となる。

【００３３】すなわち、ポインティングデバイス１をカ
ーソル３１の位置からカーソル３２の位置まですばやく
動かし、続いてカーソル３３の位置までゆっくり動かす
と、音は「Ｚ」から「ｄｇ」となり、さらに「ｂｆ」へ
と変化する。

【００３４】本実施例においては、ポイティングデバイ
スの移動情報をタイマ等により所定時間毎に取得し、こ
れにより移動量及び移動方向に応じて音又は音楽を出力
するような構成としてもよい。また、本実施例において
は、ポインティングデバイスの移動等の操作に応じて音
声にて通知するような構成としてもよい。さらに、例え
ばゲーム機器への適用に際して、ポインティングデバイ
スの操作に連動した効果音の生成するなど、音や音楽を
利用したユーザインタフェースの構築を容易とするとい
う作用効果を有する。

【００３５】

【発明の効果】以上説明したように、本発明によれば、
下記記載の効果を奏する。

【００３６】第１の効果は、ポインティングデバイスの
操作を聴覚で理解でき、パーソナルコンピュータ等にお
ける操作性が向上する、ということである。

【００３７】その理由は、ポインティングデバイスの操
作に連動して音を変化させることができるからである。

【００３８】第２の効果は、ポインティングデバイスの
操作に連動した効果音の生成など、音や音楽を利用した
ユーザインタフェースの構築が容易にできるようにな
る、ということである。

【００３９】その理由は、ポインティングデバイスの操
作に連動して音を変化させることができるからである。

【図面の簡単な説明】

【図１】本発明の実施の形態の構成を示すブロック図で
ある。

【図２】本発明の実施の形態における音要素変換テーブ
ル７の構成の一例を示す図である。

【図３】本発明の実施例を説明するための図であり、表
示画面上のカーソル移動の様子を示す図である。

【符号の説明】

１ポインティングデバイス２ポインティングデバイス状態検出部３音要素変換部４音出力制御機構４ａ音量制御部４ｂ再生速度制御部４ｃリズム制御部４ｄ音色制御部５スピーカ６ポインティングデバイス移動情報格納部７音要素変換テーブル８音要素格納部３１、３２、３３カーソル

Claims

【特許請求の範囲】

【請求項１】ポインティングデバイスの移動情報を検出
する手段と、前記ポインティングデバイスの移動情報をもとに、音又
は音楽を発生するための要素を生成する手段と、前記音または音楽を発生するための要素に基づき該要素
に対応した音または音楽を出力制御する手段と、を備えたことを特徴とする音の制御方式。
【請求項２】ポインティングデバイスを利用したユーザ
インタフェースの制御方式において、前記ポインティングデバイスの操作に連動して該操作を
識別可能とするような音、音声、音楽、及びこれらの組
合わせの少なくとも一を出力することを特徴とする制御
方式。
【請求項３】前記ポインティングデバイスの移動量及び
移動方向などの移動情報と音、音声、又は音楽の要素と
の対応関係を予め格納したテーブルを備え、前記ポインティングデバイスの移動情報を検出した際
に、前記テーブルを参照して、音要素を得て、この音要
素からサウンドを合成出力する、ことを特徴とする制御
方式。
【請求項４】前記音要素が、再生速度、リズム、音量、
音色、及びこれらの組合わせのうち少なくとも一を含む
ことを特徴とする請求項３記載の制御方式。