JPH0792968A - 電子楽器の音像定位装置 - Google Patents

電子楽器の音像定位装置

Info

Publication number
JPH0792968A
JPH0792968A JP5258862A JP25886293A JPH0792968A JP H0792968 A JPH0792968 A JP H0792968A JP 5258862 A JP5258862 A JP 5258862A JP 25886293 A JP25886293 A JP 25886293A JP H0792968 A JPH0792968 A JP H0792968A
Authority
JP
Japan
Prior art keywords
sound
localization
sound image
positions
image localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5258862A
Other languages
English (en)
Other versions
JP3578783B2 (ja
Inventor
Toshihiro Inoue
俊弘 井上
Hiroyuki Torimura
浩之 鳥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP25886293A priority Critical patent/JP3578783B2/ja
Priority to TW083108220A priority patent/TW366482B/zh
Priority to US08/302,112 priority patent/US5585587A/en
Publication of JPH0792968A publication Critical patent/JPH0792968A/ja
Priority to US08/725,544 priority patent/US5771294A/en
Application granted granted Critical
Publication of JP3578783B2 publication Critical patent/JP3578783B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/001—Acoustic presence detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specified by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/115—FIR impulse, e.g. for echoes or room acoustics, the shape of the impulse response is specified in particular according to delay times

Landscapes

  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Signal Processing (AREA)
  • Geology (AREA)
  • Remote Sensing (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Stereophonic System (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

(57)【要約】 【目的】 多彩な音像の定位ができる電子楽器の音像定
位装置を提供すること。 【構成】 音源３６の音群１〜８を分配装置３７により
音像定位回路３８の５系統のＦＩＲフィルタに割り当て
る。この割り当てはパネルに設けられた設定部３１によ
り行う。そして、各音群の音色を設定部３１により行う
と共に、各音群を所望の定位位置に割り当てる。係数メ
モリ３３には音像を確定位置に定位させるためのＦＩＲ
フィルタの係数データが記憶されており、設定された定
位置に応じた係数データが読み出されＦＩＲフィルタの
係数器に設定される。これにより、所望の定位位置に所
望の音色の音像を定位させることができる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、電子楽器の音像定位装
置に関するものであり、多数の音源を備える電子楽器に
適用して好適なものである。
【０００２】
【従来の技術】オーディオ装置においては古くからバイ
ノーラル方式と呼ばれる音像定位方式が知られており、
このバイノーラル方式により録音された信号を再生して
ヘッドホンで聴くことによりコンサート会場での臨場感
や複雑な音場の再生をリアルに行うようにしている。そ
して、電子楽器の分野においても臨場感を高めるために
演奏音を定位させて、よりリアルな臨場感を得るように
することが行われている。このような、従来の電子楽器
の音像定位装置を図１０及び図１１を参照しながら説明
する。
【０００３】図１０にはダミーヘッド１０２の右耳及び
左耳までの室１０４における伝達関数を求める概要が示
されているが、この図に示す例においては人間の耳がほ
ぼ左右対称になっていることを利用して、右耳だけにマ
イクロホンを設けるだけで右耳及び左耳までの伝達関数
を測定しようとするものである。伝達関数は周知のよう
にインパルスを印加した時のインパルス応答をラプラス
変換したものであるため、音源をインパルス音源とする
ことにより上記の右耳及び左耳までの伝達関数を容易に
求めることができる。そこで、この図に示す○印の各位
置にインパルス音源１０３を位置させてインパルス状の
音を発音させ、この音をダミーヘッド１０１の右耳に設
けたマイクロホン１０２で受けることにより、インパル
ス音源１０３が位置した○印の位置からの伝達関数を測
定するようにする。さらに、インパルス音源１０３の設
定位置を順次変えていくことにより○印の位置のすべて
の伝達関数を測定する。
【０００４】ところで、左耳までの伝達関数は右耳と左
耳とが左右対称の位置にあることから○印の位置を反転
した位置の右耳の伝達関数を用いるようにすることによ
り、左耳までの伝達関数とすることができる。このよう
にして求めた伝達関数を用いて音像を定位させる装置が
図１１に示されている。この図において、トーンジェネ
レータ１２１はキーボード１２０のイベントに制御され
て発音が制御される音源部であり、各インパルス音源１
０３を設置した位置の伝達関数のデータはＦＩＲ係数テ
ーブル１２４に収納されている。そして、トーンジェネ
レータ１２１から出力された信号はＦＩＲ(Finite Impu
lse Responce）フィルタ１２２及びＦＩＲフィルタ１２
３に印加され、ＦＩＲフィルタ１２２，１２３にはＦＩ
Ｒ係数テーブル１２４から読み出された音像定位座標
Ｘ，Ｙに応じたＦＩＲ係数が設定されている。そして、
このＦＩＲフィルタ１２２，１２３により上記のように
求めた伝達関数を電気的にシミュレーションするフィル
タとされることにより上記伝達関数をシミュレーション
できるようにしている。
【０００５】なお、補間器１２５は音像を定位すべき位
置の座標Ｘ，Ｙが測定した○印のポイントではない位置
の時に、隣接する測定位置の係数データを用いて、音像
を定位すべき位置の係数を内分演算によって算出してい
る。このようにして、音像定位処理の施された信号はア
ンプ１２６により増幅されて左チャンネルの出力信号と
なり、またアンプ１２７により増幅されて右チャンネル
の信号として出力されこれらの出力信号をヘッドホンで
聴くことにより、設定された位置に定位された音像とす
ることができる。
【０００６】
【発明が解決しようとする課題】しかしながら、図１０
に示すようにして伝達関数の測定を行うと、測定を行う
左右の位置を全く左右対称にすることが不可能に近いこ
とから、測定位置の誤差が生じるようになり、この誤差
によりダミーヘッドに設けたマイクで受ける応答信号が
微妙にずれるようになる。このため、測定された伝達関
数もずれたようになり、この伝達関数を用いた音像定位
装置で定位した音像がぼやけた音像となってしまうと共
に、ダミーヘッドの前方及び後方の位置においては、測
定した右耳における伝達関数をそのまま左耳の伝達関数
としているため、ステレオとならずモノラルになってし
まうという問題点があった。
【０００７】また、音像を定位する音源が１つしか設け
られていないため、広い空間で複数の音源が演奏してい
るような臨場感を得ることができないという問題点があ
った。そこで、本発明は多彩な音像の定位ができる電子
楽器の音像定位装置を提供することを目的としている。
さらに、本発明は複数の聴取位置を選択できる音像定位
装置を提供することを目的をしている。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、本発明は複数の音色を選択して発音できる複数の音
群を用意し、この複数の音群を、それぞれ音像を定位さ
せる複数の音像定位位置のいずれかに割り当てると共
に、所定の音像定位位置に割り当てられた音群を定位回
路により所望の定位位置に定位させるようにしたもので
ある。また、本発明は音群の音像を複数の音像定位位置
のいずれかに割り当て、割り当てられた音像定位位置に
上記音群を定位させると共に、音像定位された楽音を聴
取する聴取位置を複数箇所選択できるようにしたもので
ある。なお、図１に示すようにして伝達関数を測定する
と、ダミーヘッドの左右に設けたマイクから伝達関数の
測定を行えるので、測定位置の誤差が生じないようにな
る。このため、測定された伝達関数はずれることがな
く、この伝達関数を用いた音像定位装置で定位した音像
はクッキリとした音像とできると共に、測定した右耳と
左耳における伝達関数を用いているため、ステレオとな
らずモノラルになってしまうという問題点を解決するこ
とができる。
【０００９】
【作用】本発明によれば、複数の音源毎に異なる音像を
定位させることができるため、各音群が広い空間で演奏
しているような臨場感を得ることができる。また、聴取
位置を選択できるため、演奏しながら聴衆に聞こえてい
る音場を確認することができる。
【００１０】
【実施例】本発明において音場の伝達関数を測定する概
要を図１に示す。この図において、１〜１９はインパル
ス音源を設置して伝達関数を測定する位置を示してお
り、この位置を音像定位位置としてオーケストラにおけ
る各楽器の位置に対応させることができる。そして、こ
の図では３の位置にインパルス音源をおき指揮者Ａの位
置において伝達関数を測定する場合が示されている。す
なわち、３の位置においたインパルス音源から発せられ
たインパルス音は直接指揮者の位置Ａに置かれたダミー
ヘッド２３−１に達すると共に、室２０の壁に当たって
反射されてダミーヘッド２３−１に達する。このダミー
ヘッド２３−１に達した音はその右耳に設けられたマイ
クＲ２１−１と左耳に設けられたマイクロホンＬ２２−
１により受信され、この受信信号を処理することにより
伝達関数が求められる。
【００１１】また、ダミーヘッドは指揮者の位置Ａだけ
に設けられているのではなく、第２のダミーヘッド２３
−２が室２０の音楽を鑑賞する際の最適位置Ｂに設けら
れており、さらに第３のダミーヘッド２３−３が後方の
位置Ｃに設けられている。これらのダミーヘッド２３−
２，２３−３にもダミーヘッド２３−１と同様に右耳に
マイクロホンＲ２１−２，Ｒ２１−３が設けられ、左耳
にマイクロホンＬ２２−２，Ｌ２３−２がそれぞれ設け
られており、例えば、３の位置に置いたインパルス音源
から発せられたインパルス音を受けることより、それぞ
れの位置Ｂ，Ｃの伝達関数を求めるようにしている。
【００１２】このように、１〜１１の各位置にインパル
ス音源を位置させるようにして、図示するＡ，Ｂ，Ｃの
各位置の伝達関数をそれぞれ測定するようにする。ま
た、１２〜１９の位置の各伝達関数は、１〜８の位置と
１２〜１９の位置とが線対称に位置していることから、
測定された１〜８の位置の伝達関数の右耳と左耳の伝達
関数を入れ替えることにより１２〜１９の位置の伝達関
数を作成するようにする。従って、測定のためにインパ
ルス音源を置く位置の数を半減することができ、伝達関
数を容易に求めることができるようになる。
【００１３】また、図１に示すようにして伝達関数を求
めたことにより、位置の誤差に伴う伝達関数のずれがな
いことから測定したポイントによる再現性が良くなり、
また伝達関数の左右を入れ替えたことによる誤差も人間
の左右の形状による僅かな違いだけとなる。さらに、真
正面の９，１０，１１の位置の伝達関数も左右で微妙に
異なるため、モノラルとなることがなくなる。なお、伝
達関数には室の残響特性も含まれているが、このような
測定を大ホール，ライブハウス，ジャズクラブ，スタジ
アム，小ホールにおいて予め行いその伝達関数のデータ
を記録しておくことにより、図２に記録された種々の室
の臨場感を有する音像定位を行うことができる残響特性
を含む伝達関数のデータ例を示す。
【００１４】この図に示すように、測定された室のタイ
プはホール，チャーチ，・・・，ルームとなっており、
その聴取位置は図１に図示する指揮者位置Ａ，最適位置
Ｂ，後方の位置Ｃであり、定位位置すなわちインパルス
音源をおいて測定した位置は図１に図示する１〜１１と
されている。そして、各データは室のタイプをホールと
し定位位置を１とした場合において、聴取位置が指揮者
位置Ａの場合の左耳から得られたデータがＨＬ１Ａ，右
耳から得られたデータがＨＲ１Ｂであり、聴取位置が最
適位置Ｂの場合の左耳から得られたデータがＨＬ１Ｂ，
右耳から得られたデータがＨＲ１Ｂであり、さらに、聴
取位置が後方の位置Ｃの場合の左耳から得られたデータ
がＨＬ１Ｃ，右耳から得られたデータがＨＲ１Ｃであ
る。
【００１５】また、室のタイプをチャーチとし定位位置
を１１とした場合の例を上げると、聴取位置がＡの場合
の左耳から得られたデータがＣＬ１１Ａ，右耳から得ら
れたデータがＣＲ１１Ａであり、聴取位置が最適Ｂの場
合の左耳から得られたデータがＣＬ１１Ｂ，右耳から得
られたデータがＣＲ１１Ｂであり、聴取位置を後方の位
置Ｃとした場合の左耳から得られたデータがＣＬ１１
Ｃ，右耳から得られたデータがＣＲ１１Ｃである。この
図に示す他のデータも上記データと同様にして得たデー
タであるので、他のデータの説明はここでは省略する。
なお、一般に音像定位回路はＦＩＲフィルタにより構成
されることから、上記各データはＦＩＲフィルタの係数
データとされている。
【００１６】また、この表に見られるように定位位置１
２〜１９に対するデータは示されていないが、これらの
定位位置１２〜１９におけるデータは図３に示す変換テ
ーブルに基づいて得ることができる。すなわち、定位位
置１２の対称位置が７であるので、前記の通り定位位置
７の左右のデータを入れ替えれば定位位置１２のデータ
とすることができる。すなわち、左耳から得られたデー
タＨＬ７Ａを右耳側のデータＨＲ１２Ａとし、右耳から
得られたデータＨＲ７Ａを左耳側のデータＨＬ１２Ａと
する。このようにして変換テーブルに基づき定位位置１
２〜１９の各データを得ることができる。
【００１７】そして、これらのデータの内所望のタイプ
の室において所望の定位位置のデータを選択して音像定
位装置に印加することにより所望の音像定位を得ること
ができるようになる。次に、図４に示す定位位置１〜１
９の内●印で示す定位位置１，６，９，１５，１７の位
置に複数の音色を選択できる音群を定位でき、さらにそ
の聴取位置を指揮者の位置Ａ、最適位置Ｂ及び後方の位
置Ｃの一つが選択できる電子楽器の音像定位装置を図５
及び図６を参照しながら説明する。なお、図４に示す例
では定位位置１に割り当てられた音群の音色としてコー
ラスとピアノとパーカッションが選択されており、定位
位置６に割り当てられた音群の音色としてギターとスト
リングスが、定位位置９に割り当てられた音群の音色と
してコーラスとトランペットとドラムが、定位位置１５
に割り当てられた音群の音色としてストリングスが、定
位位置１７に割り当てられた音群の音色としてコーラス
とバスがそれぞれ選択されている。
【００１８】図５において、制御部３０は主にマイクロ
コンピュータ（ＣＰＵ）により構成されており、電子楽
器全体を制御している。また、ＲＯＭ３４には制御部３
０の制御プログラム及び各種楽音制御データ等が記憶さ
れており、ＲＡＭ３５は制御部３０のワーキングレジス
タ等に用いられている。さらに鍵盤部３２は、上鍵盤、
下鍵盤、ペタル鍵盤により構成されている。音源３６は
音群１ないし音群８の８つの音群により構成されてお
り、各音群１〜８はギターやピアノ等の複数の音色を選
択することができ、選択された音色が出力されている。
このため、この電子楽器においては８つの音群から出力
される８つの音色を同時に発音することができる。これ
らの音群１〜８のうち、４つの音群が鍵盤部３２の上鍵
盤に割り当てられており、２つの音群が下鍵盤に割り当
てられ残る２つの音群がペダル鍵盤に割り当てられてい
る。したがって、上鍵盤を押鍵すると選択された４つの
音色が同時に発音される。同様に下鍵盤、ペタル鍵盤を
押鍵するとそれぞれ選択された２音色が同時に発音され
る。また、これらに音色の音量バランス、鍵域設定は設
定部３１で設定される。
【００１９】また、係数メモリ３３には室のタイプ，聴
取位置，定位位置ごとに音像定位回路３８を構成するＦ
ＩＲフィルタの係数がそれぞれ記憶されており、制御部
３０の制御の基で設定部３１により指定された音群１〜
８ごとの定位位置や聴取位置のＦＩＲ係数が係数メモリ
３３から読み出されて音像定位回路３８に印加されてい
る。そして、音像定位回路３８には５系統のＦＩＲフィ
ルタが設けられており、この５系統のＦＩＲフィルタの
それぞれが図４に示す●印の定位位置のそれぞれに対応
している。しかしながら、音像定位回路３８にはＦＩＲ
フィルタの数より多い８つの音群が供給されるため、分
配装置３７により音群１〜音群８を５系統のＦＩＲフィ
ルタに割り当てている。このＦＩＲフィルタには前記の
ように係数メモリ３３から読み出された係数が入力され
ており、この係数が設定されたＦＩＲフィルタにより音
像定位処理された右チャンネルと左チャンネルの２系統
の信号が音像定位回路３８から出力されている。
【００２０】この時、ヘッドホン４８がヘッドホンジャ
ック４７に差し込まれていたとすると、このジャック４
７の作用によりセレクタ４０が音像定位回路３８の出力
をＤＡコンバータ４１に印加するよう選択し、セレクタ
４２がＤＡコンバータ４１の出力をアンプ４６に印加す
るよう選択するようになる。このため、音像定位回路３
８の出力はＤＡコンバータ４１によりアナログ信号に変
換され、アンプ４６により増幅されてヘッドホン４８を
駆動する。これにより、ヘッドホン４８からは図４に示
すような定位位置に各音群が定位された音像を、設定さ
れた聴取位置により聴取することができるようになる。
【００２１】また、ヘッドホン４８がジャック４７に差
し込まれていない時は、クロストークキャンセル回路３
９で処理された音像定位回路３８の出力がセレクタ４０
により選択され、その出力がＤＡコンバータ４１により
アナログ信号に変換されてセレクタ４２に印加される。
そして、変換されたアナログ信号はセレクタ４２により
アンプ４３に印加されるようにされて、このアンプ４３
により増幅されて左のスピーカＬ４５及び右のスピーカ
Ｒ４４から発音される。
【００２２】なお、クロストークキャンセル回路３９は
一方の耳から他方の耳へクロストークする信号成分をキ
ャンセルすることにより、キャンセル処理された信号が
スピーカ４５，４４から発音された時に、所定の定位位
置に音像を定位させるための回路である。このような回
路は特開昭４−１５０４００号公報に記載されているよ
うに従来から知られている回路である。また、スピーカ
から発音させることにより音像を所定位置に定位させる
にはスピーカの位置及び聴取する位置が予め定められて
いる必要があるが、電子楽器においては一般にスピーカ
は内蔵されており、更に演奏する位置は固定されている
ため設定したとおりに音像を定位させることができる。
【００２３】次に、分配装置３７と音像定位回路３８の
詳細を図６に示す。この図において、分配装置３７は音
源３６の音群１〜８の８つの音群に対応して８つの分配
回路３７−１〜３７−８により構成されている。これら
の分配回路のうちの一つの分配回路３７−１を図６では
詳細に示しているが、分配回路３７−１〜３７−８はす
べて同じ構成とされている。そこで、分配回路３７−１
について説明すると、分配回路３７−１は乗算器３７−
１−１〜３７−１−５の５つの乗算器からなり、各乗算
器３７−１−１〜３７−１−５には制御部３０よりの乗
算係数がそれぞれ入力されている。乗算係数は任意の係
数を設定することができ、例えば乗算器３７−１−１の
乗算係数を「０」とすると乗算器３７−１−１に入力さ
れた信号を阻止することができ、乗算係数を「１」に設
定すると入力された信号をそのまま通過させることがで
きるようになる。更に、上鍵盤のように４つの音群が割
り当てられている場合には、この係数を調整してその音
量調整を行うようにしている。これらの乗算器３７−１
−１〜３７−１−５からの出力はそれぞれ５つの加算器
３７−１１〜３７−１５に入力されている。
【００２４】このような処理が制御部３０からの制御信
号に基づいて他の分配回路３７−２〜３７−８において
も行われる。そして、分配回路３７−２〜３７−８から
の各乗算器からの出力もこれらの加算器３７−１１〜３
７−１５に入力されて、これらの加算器により加算され
て５系統の信号とされて音像定位回路３８に印加されて
いる。この音像定位回路３８は５つの定位回路３８−１
〜３８−５と加算器５６，５７から構成されているが、
定位回路３８−１〜３８−５の回路は同じ回路とされて
いるため図示する定位回路３８−１について説明を行
う。定位回路３８−１は第１のＦＩＲフィルタと第２の
ＦＩＲフィルタとからなり、この第１のＦＩＲフィルタ
は縦続接続された遅延回路５０−１〜５０−ｎと、この
遅延回路５０−１〜５０−ｎの各出力に係数を乗算する
係数器５１−１〜５１−ｎ及び係数器５１−１〜５１−
ｎの各出力を加算する加算器５２により構成されてい
る。
【００２５】また、第２のＦＩＲフィルタも同様の構成
であり、縦続接続された遅延回路５３−１〜５３−ｍ
と、この遅延回路５３−１〜５３−ｍの各出力に係数を
乗算する係数器５４−１〜５４−ｍ及び係数器５４−１
〜５４−ｍの出力を加算する加算器５２により構成され
ている。この第１のＦＩＲフィルタ及び第２のＦＩＲフ
ィルタは従来から知られているフィルタであるのでその
詳細な説明は省略するが、その係数器に設定する係数値
により種々の特性のフィルタとすることができる。この
フィルタの係数器５１−１〜５１−ｎ及び５４−１〜５
４−ｍには係数メモリ３３から制御部３０の制御に基づ
いて設定された室のタイプ、聴取位置、定位位置に応じ
た係数値が読み出されて、各係数が設定されることによ
り、所定のフィルタ処理が行われる。
【００２６】そして、所定のフィルタ処理が行われた第
１のＦＩＲフィルタの加算器５２からの出力は加算器５
６に供給され、第２のＦＩＲフィルタの加算器５５から
の出力は加算器５７に供給される。この加算器５６，５
７には他の定位回路３８−２〜３８−５からの第１のＦ
ＩＲフィルタ及び第２のＦＩＲフィルタからの出力もそ
れぞれ供給されており、供給された信号が加算されて２
系統の出力とされて出力されている。この２系統の信号
は左右に位置する発音体のＬチャンネルの信号ＬとＲチ
ャンネルの信号Ｒとされている。
【００２７】次に、図５に示す電子楽器の音像定位装置
のフローチャートを図７ないし図９に示す。図７は制御
部３０を構成するＣＰＵのフローチャートであり、電源
が投入されると、メインルーチン６０の初期設定ステッ
プに６１によりイニシャライズルーチンが実行される。
その後パネル処理ステップ６２に移行し、このパネル処
理ステップ６２において電子楽器のパネルから設定され
ているパラメータを取り込んでそのパラメータをＲＡＭ
に記憶しておく。設定されるパラメータには室のタイ
プ，聴取位置，定位位置等のパラメータがある。次に、
鍵盤処理ステップ６３において鍵盤のイベントが検出さ
れてその発音処理や消音処理が行われ、さらにその他の
処理がステップ６４により行われてパネル処理ステップ
６２に戻るようにされている。すなわち、ステップ６２
からステップ６４はループを構成して常時循環されてい
る。
【００２８】図８にパネル処理のフローチャートの詳細
を示す。この図に示すステップ７１によりホール，チャ
ーチ，ルーム等の室のタイプの選択操作があるか否かが
検出され、「イエス」の時はその選択操作された室のタ
イプのパラメータがステップ８２においてＲＡＭ３５に
記憶されて、ステップ７３に移行する。また、「ノー」
の時はステップ７３に直接移行しこのステップ７３にお
いて指揮者位置，最適位置，後方の位置の聴取位置の設
定操作があるか否かが検出される。そして、「イエス」
の時は設定された聴取位置のパラメータがステップ７４
においてＲＡＭ３５に記憶されてステップ７５に移行
し、「ノー」の時はステップ７５に直接移行し、このス
テップ７５において定位位置操作があるか否かが検出さ
れる。この操作は１〜１９の定位位置の内の５つの定位
位置を選択する操作である。
【００２９】そして、定位位置の操作がある時はステッ
プ７６において係数メモリ３３から室のタイプと聴取位
置と定位位置のパラメータに応じて、係数を読み出して
音像定位回路３８に係数を設定する。ただし、この場合
定位位置が１２〜１９の時は変換テーブルを通してから
読み出し左右の係数データを入れ替えて設定する。そし
て、ステップ７７に移行するが、定位位置の操作がない
時はステップ７７に直接移行し、このステップにおいて
定位位置に音群を割り当てる操作があるか否かが検出さ
れ、「イエス」の時は分配装置３７にその割当パラメー
タが送られ、ステップ７９に移行する。また、「ノー」
の時は直接ステップ７９に移行する。このステップ７９
において、音色設定操作があるか否かが検出され「イエ
ス」の時はステップ８０において対応する音群にギター
やピアノ等の音色情報が設定されて、「ノー」の時と同
様にパネル処理が終了しリターンされる。
【００３０】次に、鍵盤処理のフローチャートを図９に
示す。この図において、上鍵盤（ＵＫ）のイベントがス
テップ８１により検出され、「イエス」の時は上鍵盤に
割り当てられた音群１〜４の音源３６に対してイベント
に対応する発音チャンネルの割り当て及び発音指示処理
が行われてステップ８３に移行する。また、「ノー」の
時はステップ８３に直接移行して下鍵盤（ＬＫ）のイベ
ントが検出される。そして、下鍵盤のイベントがあると
検出されるとステップ８４において、下鍵盤に割り当て
られた２つの音群５，６の音源に対してイベントに対応
する発音チャンネルの割当及び発音指示処理が行われ、
ステップ８５に移行する。また、「ノー」の時はステッ
プ８５に直接移行してペダル鍵盤（ＰＫ）のイベントが
検出される。この時に、イベントが検出されて「イエ
ス」とされるとペダル鍵盤に割り当てられている２つの
音群７，８の音源３６に対して、イベントに対応する発
音チャンネルの割り当て及び発音指示処理が行われ、
「ノー」の時と同様に鍵盤処理が終了しリターンされ
る。
【００３１】前記パネル処理において説明したように、
本発明は１〜１９の定位位置のうちの５つの定位位置に
音群を、例えば図４に示すように割り当てているため、
音群の定位位置は音群の音色を変更しても変化しない。
すなわち、図４において定位位置１，９，１７に音群１
を割り当て、音群１の音色としてコーラスを選択すると
３方からコーラスが聞こえるようになり、広がった臨場
感のあるコーラスとすることができる。また、音群２を
定位位置６に割り当て音群３を定位位置１５に割り当
て、音群２と音群３の音色としてストリングスを選択す
ると、２つの位置からストリングスが聴こえるようにさ
れ、数本のストリングスがある効果を奏することができ
る。さらに、この場合音群２の音色としてギター等の音
色を選択することもできる。
【００３２】ところで、本発明においては音群の数に対
して音像定位回路のＦＩＲフィルタの数が少ないが、１
つの音群の音色を複数の音像定位回路のＦＩＲフィルタ
に割り当てることができるため、まったく同じ定位にな
らず、ＦＩＲフィルタの少なさを補うことができる。ま
た、室のタイプを混ぜることも可能であり、ある音像定
位位置にホールを割り当て、他の定位位置においてチャ
ーチを割り当てるといったように混在させると新規な音
響効果を得ることができる。なお、複数の定位位置に対
し同じ音群を割り当てる時は分配装置への係数を小さく
して、他の楽器との音量バランスをとるようにするのが
よい。
【００３３】
【発明の効果】本発明は以上のように構成されているの
で、音群ごとに音像定位位置を定めることができ、各音
源がそれぞれ広い空間で演奏しているかのような臨場感
を得ることができる。また、聴取位置を選択できるため
演奏しながら聴衆の聞こえている音場を確認することが
できる。
【図面の簡単な説明】
【図１】本発明の音場の伝達関数を測定する概要を示す
図である。
【図２】伝達関数のデータ例の表を示す図である。
【図３】定位位置の変換テーブルを示す図である。
【図４】音群を割り当てる定位位置を示す図である。
【図５】本発明の電子楽器の音像定位装置のブロック図
である。
【図６】本発明の分配装置と音源定位回路の詳細を示す
図である。
【図７】制御部のフローチャートを示す図である。
【図８】パネル処理のフローチャートを示す図である。
【図９】鍵盤処理のフローチャートを示す図である。
【図１０】従来の音場の伝達関数を測定する概要を示す
図である。
【図１１】従来の音像定位装置のブロック図である。
【符号の説明】
１〜１９ 定位位置 ２０ 室 ２１−１〜２１−３，２２−１〜２２−３，１０２ マ
イク ２３−１ 指揮者の聴取位置 ２３−２ 最適位置 ２３−３ 後方の位置 ３０ 制御部 ３１ 設定部 ３２ 鍵盤部 ３３ 係数メモリ ３４ ＲＯＭ ３５ ＲＡＭ ３６ 音源 ３７ 分配装置 ３７−１−１〜３７−１−５ 乗算器 ３７−１〜３７−８ 分配回路 ３７−１１〜３７−１５，５２，５５，５６，５７ 加
算器 ３８ 音像定位回路 ３８−１〜３８−５ 定位回路 ３９ クロストークキャンセル回路 ４０，４２ セレクタ ４１ ＤＡコンバータ ４３，４６，１２６，１２７ アンプ ４４，４５ スピーカ ４７ ジャック ４８ ヘッドホン ５０−１〜５０−ｎ，５３−１〜５３−ｍ 遅延回路 ５１−１〜５１−ｎ，５４−１〜５４−ｍ 係数器 ６０〜６４ 制御部の各ステップ ７１〜８０ パネル処理の各ステップ ８１〜８６ 鍵盤処理の各ステップ １０１ ダミーヘッド １０３ インパルス音源 １０４ 室 １２０ キーボード １２１ トーンジェネレータ １２２，１２３ ＦＩＲフィルタ １２４ ＦＩＲ係数テーブル １２５ 補間器

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】複数の音色を選択して発音できる複数の音
    群と、 該複数の音群のそれぞれを、音像を定位させるＮ個の音
    像定位位置の内のＭ個（Ｍ＜Ｎ）の音像定位位置のいず
    れかに割り当てる割り当て手段と、 上記Ｍ個の音像定位位置に割り当てられた上記音群より
    の音像を定位させるＭ個の音像定位手段とを備えること
    を特徴とする電子楽器の音像定位装置。
  2. 【請求項２】音群の音像を複数の音像定位位置のいずれ
    かに割り当てる割り当て手段と、 該割り当て手段により割り当てられた音像定位位置に上
    記音群よりの音像を定位させる音像定位手段とを備え、 上記音像定位手段は、複数の聴取位置のいずれかを選択
    して音像を定位できるようにしたことを特徴とする電子
    楽器の音像定位装置。
JP25886293A 1993-09-24 1993-09-24 電子楽器の音像定位装置 Expired - Fee Related JP3578783B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP25886293A JP3578783B2 (ja) 1993-09-24 1993-09-24 電子楽器の音像定位装置
TW083108220A TW366482B (en) 1993-09-24 1994-09-06 Acoustic image localization apparatus of electronic musical instrument
US08/302,112 US5585587A (en) 1993-09-24 1994-09-07 Acoustic image localization apparatus for distributing tone color groups throughout sound field
US08/725,544 US5771294A (en) 1993-09-24 1996-10-03 Acoustic image localization apparatus for distributing tone color groups throughout sound field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25886293A JP3578783B2 (ja) 1993-09-24 1993-09-24 電子楽器の音像定位装置

Publications (2)

Publication Number Publication Date
JPH0792968A true JPH0792968A (ja) 1995-04-07
JP3578783B2 JP3578783B2 (ja) 2004-10-20

Family

ID=17326072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25886293A Expired - Fee Related JP3578783B2 (ja) 1993-09-24 1993-09-24 電子楽器の音像定位装置

Country Status (3)

Country Link
US (2) US5585587A (ja)
JP (1) JP3578783B2 (ja)
TW (1) TW366482B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096362A (ja) * 1995-06-20 1997-01-10 Kawai Musical Instr Mfg Co Ltd 電子楽器
EP0814638A3 (en) * 1996-06-21 2003-03-19 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
JP2006340324A (ja) * 2005-06-06 2006-12-14 Fujitsu Ten Ltd 車両室内における音声再生制御装置
US7386140B2 (en) 2002-10-23 2008-06-10 Matsushita Electric Industrial Co., Ltd. Audio information transforming method, audio information transforming program, and audio information transforming device
JP2012054627A (ja) * 2010-08-31 2012-03-15 Korg Inc 音響装置
JP2022533881A (ja) * 2019-05-21 2022-07-27 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー ルームモードの局所効果を組み込むための音響フィルタの決定
WO2024185736A1 (ja) * 2023-03-06 2024-09-12 ヤマハ株式会社 音データ生成方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
FI116505B (fi) 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
US6093880A (en) * 1998-05-26 2000-07-25 Oz Interactive, Inc. System for prioritizing audio for a virtual environment
AU5009399A (en) * 1998-09-24 2000-05-04 Sony Corporation Impulse response collecting method, sound effect adding apparatus, and recording medium
JP3460602B2 (ja) * 1998-11-25 2003-10-27 ヤマハ株式会社 反射音生成装置
AU6427100A (en) * 1999-08-09 2001-03-05 Tc Electronic A/S Multi-channel processing method
EP1076328A1 (en) * 1999-08-09 2001-02-14 TC Electronic A/S Signal processing unit
JP3624805B2 (ja) * 2000-07-21 2005-03-02 ヤマハ株式会社 音像定位装置
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP4062959B2 (ja) * 2002-04-26 2008-03-19 ヤマハ株式会社 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体
WO2004002192A1 (en) * 2002-06-21 2003-12-31 University Of Southern California System and method for automatic room acoustic correction
US7567675B2 (en) * 2002-06-21 2009-07-28 Audyssey Laboratories, Inc. System and method for automatic multiple listener room acoustic correction with low filter orders
US20040091120A1 (en) * 2002-11-12 2004-05-13 Kantor Kenneth L. Method and apparatus for improving corrective audio equalization
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US7720237B2 (en) * 2004-09-07 2010-05-18 Audyssey Laboratories, Inc. Phase equalization for multi-channel loudspeaker-room responses
US7826626B2 (en) * 2004-09-07 2010-11-02 Audyssey Laboratories, Inc. Cross-over frequency selection and optimization of response around cross-over
EP1736964A1 (en) * 2005-06-24 2006-12-27 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO System and method for extracting acoustic signals from signals emitted by a plurality of sources
US8705764B2 (en) 2010-10-28 2014-04-22 Audyssey Laboratories, Inc. Audio content enhancement using bandwidth extension techniques

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1578854A (en) * 1976-02-27 1980-11-12 Victor Company Of Japan Stereophonic sound reproduction system
JPS53114201U (ja) * 1977-02-18 1978-09-11
US4188504A (en) * 1977-04-25 1980-02-12 Victor Company Of Japan, Limited Signal processing circuit for binaural signals
JPS5832840B2 (ja) * 1977-09-10 1983-07-15 日本ビクター株式会社 立体音場拡大装置
DE3579732D1 (de) * 1984-04-09 1990-10-25 Pioneer Electronic Corp Schallfeldverbesserungssystem.
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
JPS63224599A (ja) * 1987-03-13 1988-09-19 Asa Plan:Kk ステレオ処理装置
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
US5027689A (en) * 1988-09-02 1991-07-02 Yamaha Corporation Musical tone generating apparatus
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
US5127306A (en) * 1989-01-19 1992-07-07 Casio Computer Co., Ltd. Apparatus for applying panning effects to musical tone signals and for periodically moving a location of sound image
JPH0770505B2 (ja) * 1989-07-25 1995-07-31 株式会社東芝 半導体装置支持キャリヤ
US5174944A (en) * 1989-11-17 1992-12-29 Waukee Engineering Company Inc. Apparatus for separating gas from a liquid
US5052685A (en) * 1989-12-07 1991-10-01 Qsound Ltd. Sound processor for video game
EP0465662B1 (en) * 1990-01-19 1998-03-18 Sony Corporation Apparatus for reproducing acoustic signals
JP2605450B2 (ja) * 1990-05-08 1997-04-30 ヤマハ株式会社 音像定位装置
US5386082A (en) * 1990-05-08 1995-01-31 Yamaha Corporation Method of detecting localization of acoustic image and acoustic image localizing system
JPH0414998A (ja) * 1990-05-08 1992-01-20 Mitsubishi Electric Corp 音場補正装置
JPH07105999B2 (ja) * 1990-10-11 1995-11-13 ヤマハ株式会社 音像定位装置
US5305386A (en) * 1990-10-15 1994-04-19 Fujitsu Ten Limited Apparatus for expanding and controlling sound fields
US5478968A (en) * 1990-12-28 1995-12-26 Kawai Musical Inst. Mfg. Co., Ltd. Stereophonic sound generation system using timing delay
JPH04306697A (ja) * 1991-04-03 1992-10-29 Kawai Musical Instr Mfg Co Ltd ステレオ方式
JP3259846B2 (ja) * 1991-10-02 2002-02-25 ヤマハ株式会社 楽音信号形成装置
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
EP0593228B1 (en) * 1992-10-13 2000-01-05 Matsushita Electric Industrial Co., Ltd. Sound environment simulator and a method of analyzing a sound space
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
JP2897586B2 (ja) * 1993-03-05 1999-05-31 ヤマハ株式会社 音場制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096362A (ja) * 1995-06-20 1997-01-10 Kawai Musical Instr Mfg Co Ltd 電子楽器
EP0814638A3 (en) * 1996-06-21 2003-03-19 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US6850621B2 (en) 1996-06-21 2005-02-01 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US7076068B2 (en) 1996-06-21 2006-07-11 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US7082201B2 (en) 1996-06-21 2006-07-25 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US7386140B2 (en) 2002-10-23 2008-06-10 Matsushita Electric Industrial Co., Ltd. Audio information transforming method, audio information transforming program, and audio information transforming device
JP2006340324A (ja) * 2005-06-06 2006-12-14 Fujitsu Ten Ltd 車両室内における音声再生制御装置
JP2012054627A (ja) * 2010-08-31 2012-03-15 Korg Inc 音響装置
JP2022533881A (ja) * 2019-05-21 2022-07-27 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー ルームモードの局所効果を組み込むための音響フィルタの決定
WO2024185736A1 (ja) * 2023-03-06 2024-09-12 ヤマハ株式会社 音データ生成方法

Also Published As

Publication number Publication date
TW366482B (en) 1999-08-11
JP3578783B2 (ja) 2004-10-20
US5585587A (en) 1996-12-17
US5771294A (en) 1998-06-23

Similar Documents

Publication Publication Date Title
JP3578783B2 (ja) 電子楽器の音像定位装置
EP0563929B1 (en) Sound-image position control apparatus
US6931134B1 (en) Multi-dimensional processor and multi-dimensional audio processor system
US7572969B2 (en) Method for making electronic tones close to acoustic tones, recording system for the acoustic tones, tone generating system for the electronic tones
US7369663B2 (en) Method of creating reverberation by estimation of impulse response
JP2979848B2 (ja) 電子楽器
Otondo et al. A new method for the radiation representation of musical instruments in auralizations
JP2001125578A (ja) 音場再現方法およびその装置
US20240163624A1 (en) Information processing device, information processing method, and program
Luizard et al. Singing in physical and virtual environments: how performers adapt to room acoustical conditions
JP4196509B2 (ja) 音場創出装置
US6925426B1 (en) Process for high fidelity sound recording and reproduction of musical sound
Canfield-Dafilou et al. A method for studying interactions between music performance and rooms with real-time virtual acoustics
JP3855490B2 (ja) インパルス応答の収集方法および効果音付加装置ならびに記録媒体
US8901408B2 (en) Electronic keyboard musical instrument
JP3271532B2 (ja) 電気弦楽器の音像定位装置
JP3552244B2 (ja) 音場再生装置
JP7419666B2 (ja) 音信号処理装置および音信号処理方法
JP2007333813A (ja) 電子ピアノ装置、電子ピアノの音場合成方法及び電子ピアノの音場合成プログラム
Thilakan et al. The influence of room acoustic parameters on the impression of orchestral blending
JPH1070798A (ja) ３次元音響再生装置
JPH07334182A (ja) 残響音付加装置
JP3061403B2 (ja) 電子楽器
Vigeant Investigations of incorporating source directivity into room acoustics computer models to improve auralizations
Pfanzagl-Cardone Comparative 3D Audio Microphone Array Tests

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees