WO2024252919A1 - 演奏音生成方法、演奏音生成装置、およびプログラム - Google Patents

演奏音生成方法、演奏音生成装置、およびプログラム Download PDF

Info

Publication number
WO2024252919A1
WO2024252919A1 PCT/JP2024/018656 JP2024018656W WO2024252919A1 WO 2024252919 A1 WO2024252919 A1 WO 2024252919A1 JP 2024018656 W JP2024018656 W JP 2024018656W WO 2024252919 A1 WO2024252919 A1 WO 2024252919A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
musical instrument
performance
performance sound
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/018656
Other languages
English (en)
French (fr)
Inventor
繁 甲斐
吉就 中村
明央 大谷
大智 井芹
琢哉 藤島
遼 松田
颯人 山川
明彦 須山
稜大 密岡
貴洋 原
裕和 鈴木
俊太朗 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of WO2024252919A1 publication Critical patent/WO2024252919A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories

Definitions

  • An embodiment of the present invention relates to a performance sound generation method, a performance sound generation device, and a program.
  • the musical instrument 100 of Patent Document 1 has an operation unit 110 that accepts playing operations, a generation unit 120 that generates playing information representing the accepted playing operations, a detection unit 130 that detects a mobile device, and a control unit 170 that, when the mobile device is detected, starts a process of recording at least one of the playing information generated by the generation unit and a video image of the scene in which the playing operations are being performed on at least one of the musical instrument and the mobile device.
  • the piano in Patent Document 2 generates performance information indicating the received performance operation, and if the performance operation involves no pedal being pressed and the generated musical tone is a single tone, detects the tone pronunciation state of the single tone (e.g., musical tone waveform data). At this time, the piano detects the tone pronunciation state of the single tone a predetermined time after the end of the performance operation to generate the tone, so as not to be affected by the tone immediately preceding the single tone.
  • the piano transmits and outputs log data including tone pronunciation detection data indicating the detected tone pronunciation state and performance information to the server device.
  • the server device analyzes the log data collected from the piano, generates notification information for notifying the piano's status (e.g., notifying whether tuning is necessary or when tuning is recommended) and outputs it to the piano.
  • the piano 10 in Patent Document 3 detects key information using a key sensor 151, pedal information using a pedal sensor 152, hammer information using a hammer sensor 153, plunger speed information using a plunger speed sensor 154, position information of the piano 10 using a GPS sensor 155, tilt information of the piano 10 using a tilt sensor 156, ambient temperature information using an ambient temperature sensor 157, ambient humidity information using an ambient humidity sensor 158, and plunger temperature information using a plunger temperature sensor 159, and transmits log data including these detection data to a server device.
  • the server device analyzes the log data to generate notification information for notifying the state of the piano 10 (for example, notification of whether tuning is necessary or when tuning is recommended) and transmits it to the piano 10.
  • Patent Publication 2014-228750 Patent Publication 2014-228751
  • Patent Publication 2014-228752 Patent Publication 2014-228752
  • One aspect of the present disclosure aims to provide a method for generating musical performance sounds that allows a user to perceive playing a musical instrument in any environment.
  • a performance sound generating method acquires image information of a first instrument and acoustic information that changes with changes in the environment of the first instrument, acquires performance operation information from a user, renders an image of the first instrument based on the image information, and generates a performance sound of the first instrument based on the performance operation information and the acoustic information.
  • the user can perceive playing a musical instrument in any environment.
  • FIG. 1 is a configuration diagram of a performance sound generating system.
  • FIG. 2 is a block diagram showing the configuration of a PC 1. 4 is a flowchart showing an operation of the performance sound generating method of the present embodiment.
  • FIG. 11 is a configuration diagram of a performance sound generating system according to a second modified example.
  • FIG. 11 is a configuration diagram of a performance sound generating system according to a third modified example.
  • FIG. 13 is a configuration diagram of a performance sound generating system according to a modified example 5.
  • FIG. 13 is a configuration diagram of a performance sound generating system according to a sixth modified example.
  • FIG. 1 is a configuration diagram of a performance sound generation system according to this embodiment.
  • the performance sound generation system of this embodiment comprises a server 100 installed at a first location 10 and a PC installed at a second location 20.
  • the first location 10 is, for example, a musical instrument store.
  • the first location 10 comprises a first musical instrument 2 for sale.
  • the second location 20 is the home of a first performer 3, who is the user.
  • the first performer 3 at the second location 20 connects a second instrument 4 to the PC 1.
  • the first instrument 2 and the second instrument 4 are electric guitars. Note that in this embodiment, "playing" is not limited to playing an instrument, but also includes singing using a microphone.
  • FIG. 2 is a block diagram showing the configuration of PC1.
  • PC1 is an example of a performance sound generating device.
  • the PC 1 includes a display 31, a user I/F 32, a flash memory 33, a processor 34, a RAM 35, a communication I/F 36, a speaker (SP) 37, and an audio I/F 38.
  • Display 31 is, for example, an LED, LCD, or OLED, and displays various information.
  • User I/F 32 is a touch panel that is layered on the LCD or OLED of display 31.
  • user I/F 32 may be a keyboard, a mouse, or the like.
  • GUI Graphic User Interface
  • the communication I/F 36 includes a network interface and is connected to a network such as the Internet via a router (not shown). The communication I/F 36 is also connected to the camera 50.
  • the camera 50 captures video signals of the first performer 3 and the second musical instrument 4.
  • the processor 34 performs signal processing on the video signals received from the camera 50.
  • the audio I/F 38 has an analog audio terminal.
  • the audio I/F 38 is connected to an instrument or audio equipment such as a microphone via an audio cable, and receives analog sound signals.
  • the audio I/F 38 of the PC 1 is connected to the second instrument 4, and receives analog sound signals related to performance sounds from the second instrument 4.
  • the audio I/F 38 converts the received analog sound signals into digital sound signals.
  • the audio I/F 38 also converts the digital sound signals into analog sound signals.
  • the SP 37 plays sounds based on the analog sound signals.
  • the processor 34 is composed of a CPU, DSP, or SoC (System-on-a-Chip), and reads a program stored in a flash memory 33, which is a storage medium, into the RAM 35 to control each component of the PC 1.
  • the flash memory 33 stores the program of this embodiment.
  • the processor 34 performs signal processing on the digital sound signal received from the audio I/F 38.
  • the processor 34 outputs the processed digital sound signal to the audio I/F 38.
  • the audio I/F 38 converts the processed digital sound signal into an analog sound signal.
  • the SP37 reproduces the analog sound signal output from the audio I/F38 and reproduces the sound of the second instrument 4.
  • FIG. 3 is a flowchart showing the operation related to the performance sound generation method of this embodiment.
  • the processor 34 acquires image information of the first instrument and audio information of the first instrument (S11). Specifically, the processor 34 receives image information 90 and audio information 91 of the first instrument 2 from the server 100.
  • the image information 90 is 3D model data of the first musical instrument 2.
  • the model data of the first musical instrument 2 has, for example, multiple polygon data and bone data for configuring the body, neck, strings, etc. of the first musical instrument 2.
  • the multiple bone data that configure the model data of the first musical instrument 2 may have a link structure connected by multiple joint data.
  • the model data includes a link structure.
  • the image information 90 is not limited to 3D model data.
  • the image information 90 may be 2D image data.
  • the image information 90 is not limited to still images and may be videos.
  • Such image information 90 is acquired by a camera 70, which is an example of a sensor connected to the server 100.
  • 3D model data of the first musical instrument 2 is created in advance, but the camera 70 acquires an external image of the first musical instrument 2 at the current time.
  • the server 100 adjusts the previously created 3D model data based on the external image of the first musical instrument 2 at the current time acquired by the camera 70.
  • the server 100 reflects color changes caused by aging, changes in the surface reflectance of metal parts, etc.
  • the server 100 may reflect the difference in appearance between day and night within a day.
  • the server 100 recognizes the first musical instrument 2 from the external image of the first musical instrument 2 acquired by the camera 70, and specifies identification information such as the type and product name of the first musical instrument 2.
  • the server 100 prepares a database in which external images of a large number of musical instruments are associated with identification information of the musical instruments in advance, and acquires the corresponding identification information of the first musical instrument 2 from the external image of the first musical instrument 2 captured by the camera 70.
  • the server 100 may also obtain the identification information by preparing a trained model in which the relationship between the appearance image of the first musical instrument 2 and the identification information is trained using a DNN or the like, and inputting the appearance image into the trained model.
  • the server 100 obtains a large number of data sets of, for example, the appearance images of musical instruments and the identification information as a training phase.
  • the server 100 trains a specific model on the relationship between the appearance image and the identification information based on the obtained appearance images and identification information.
  • Acoustic information 91 includes data that models the sound of first musical instrument 2 as a digital sound source.
  • the sound of first musical instrument 2 changes in response to changes in the environment. For example, the properties of wood, which is the main material in a guitar body, change over time.
  • the magnets used in the pickups also change over time.
  • the sound of first musical instrument 2 changes over time.
  • the sound of first musical instrument 2 also changes depending on the temperature, humidity, etc., of the storage environment.
  • Acoustic information 91 not only models the sound when it is a new product, but also includes data that models the sound that has changed in response to these environmental changes, and changes over time.
  • the processor 34 may receive from the first performer 3 the time point (e.g., the present, one year ago, three years ago, etc.) from which image information 90 or audio information 91 is to be acquired.
  • the processor 34 acquires from the server 100 the image information 90 or audio information 91 corresponding to the received time point.
  • the acoustic information 91 may also include information about the playback environment.
  • the information about the playback environment includes, for example, information about the acoustic equipment (effectors, amplifiers, speakers, etc.) connected to the first instrument 2, and information about the reverberation of the playback space.
  • the sound of the first instrument 2 also changes depending on the acoustic equipment connected and the reverberation of the playback space. For example, the sound of the first instrument 2 differs depending on whether it is in a studio environment such as a trial room, a concert hall, outdoors, etc.
  • the acoustic information 91 may include information about these various playback environments.
  • performance operation information includes information indicating which fret is being pressed, the timing at which the fret is pressed, the timing at which it is released, information indicating which string is being picked, the picking timing, the picking speed, and whether or not a mute operation is performed.
  • performance operation information includes time parameters such as pitch (note number), tone color, attack, decay, sustain, and release.
  • the performance operation information is obtained through the performance operation of the first performer 3 on the second instrument 4.
  • the processor 34 acquires the performance operation information based on the video signal from the camera 50.
  • the processor 34 may acquire the performance operation information by acquiring the motion data of the performer, for example, using a motion sensor.
  • the processor 34 can also obtain operation information for the instrument using a sensor mounted on the instrument.
  • a sensor mounted on the instrument is a fret sensor attached to each fret.
  • the processor 34 obtains the sensor signal for each fret to obtain operation information for the instrument.
  • the processor 34 obtains the sensor signal to obtain operation information for the instrument.
  • the processor 34 may also extract features of the digital sound signal (sound signal of the second musical instrument 4) received from the audio I/F 38, compare them with features corresponding to previously detected operation information, and obtain performance operation information.
  • the processor 34 may also obtain performance operation information by preparing a trained model in which the relationship between the sound signal and the performance operation information is trained using a DNN or the like, and inputting the sound signal into the trained model.
  • the processor 34 may obtain a data set of the sound signal and the performance operation information from a server or the like.
  • the processor 34 may obtain performance operation information by acquiring a sensor signal for each fret, and acquire the sound signal received at that timing.
  • the processor 34 trains the relationship between the sound signal and the performance operation information in a specified model based on the acquired sound signal and performance operation information.
  • the processor 34 inputs the sound signal received from the second musical instrument 4 into the trained model and obtains the performance operation information.
  • the processor 34 renders an image of the first musical instrument 2 based on the image information 90 (S13). More specifically, the processor 34 uses the performance operation information to control the 3D model data of the first musical instrument 2 included in the image information 90.
  • the processor 34 may also control 3D model data of a certain performer 80.
  • the model data of the performer 80 has, for example, a plurality of polygon data and bone data for forming the performer's face, torso, arms, fingers, legs, etc.
  • the plurality of bone data has a link structure connected by a plurality of joint data.
  • the position information of each bone data of the model data is defined by the motion data.
  • the processor 34 controls the position information of the model data of the performer 80 based on the performance operation information of the performer.
  • the processor 34 renders the 3D model data of the performer 80, and controls the position information of the 3D model data based on the performance operation information.
  • the processor 34 displays an image related to the rendered 3D model data (an image of the first musical instrument 2 and an image of the performer 80 included in the image information 90) on the display 31.
  • the processor 34 generates a performance sound of the first musical instrument 2 based on the performance operation information and the acoustic information 91 (S14).
  • the performance operation information corresponds to parameters for synthesizing the sound of the sound source of the acoustic information 91.
  • the processor 34 synthesizes the sound of the sound source (the guitar sound source of the first musical instrument 2 in this embodiment) based on the performance operation information of the first performer 3.
  • the processor 34 may perform signal processing based on information about the playback environment included in the acoustic information 91. For example, if the acoustic information 91 includes information about reverberation, the processor 34 may perform signal processing to convolve impulse response data of the playback environment on the sound signal of the synthesized sound as a process to reproduce the reverberation of the playback environment. The processor 34 may also perform filter processing on the sound signal of the synthesized sound to simulate the acoustic equipment (effector, amplifier, speaker, etc.) connected to the first musical instrument 2. Specifically, the information about the playback environment includes parameters of a digital signal processing block that simulates the output characteristics of each acoustic equipment connected to the first musical instrument 2 as a digital filter.
  • the processor 34 performs signal processing of the parameters indicated in the information about the acoustic equipment on the sound signal of the synthesized sound. In this way, the processor 34 can reproduce the input/output characteristics of the acoustic equipment (effector, amplifier, speaker, etc.) connected to the first musical instrument 2 for the synthesized sound.
  • the processor 34 outputs the generated sound signal related to the performance sound of the first instrument 2 to the speaker 37 via the audio I/F 38. As a result, the performance sound of the first instrument 2 is reproduced from the speaker 37 in response to the performance operation of the first performer 3 on the second instrument 4.
  • the server 100 may execute the operations shown in S13 and S14 of FIG. 3 and transmit the video and audio signals generated in S13 and S14 to the PC 1.
  • the PC 1 receives the video and audio signals from the server 100 via the network, and reproduces the received performance sound of the first instrument 2 in response to the performance operation of the user on the second instrument 4.
  • the first performer 3 can try out the first instrument 2 in the store and listen to the performance sound of the first instrument 2 from the comfort of his or her own home using his or her own second instrument 4 at home.
  • a user of the performance sound generation method of this embodiment can have the customer experience of perceiving playing a favorite instrument other than the second instrument 4 that is actually being played. More specifically, a user of the performance sound generation method of this embodiment can have the customer experience of being able to play a favorite instrument even remotely.
  • the performance sound generation system of the first modification records non-fungible tokens (hereinafter referred to as NFTs) corresponding to image information 90 and audio information 91 in a digital ledger on the Internet.
  • NFTs non-fungible tokens
  • a musical instrument store which is the first location 10 in FIG. 1, records an NFT corresponding to image information 90 and sound information 91 of a first musical instrument 2, which is a vintage item, in a digital ledger.
  • the musical instrument store can sell image information 90 and sound information 91 of a first musical instrument 2, which is a vintage item, authenticated with the NFT, and receive payment in return.
  • the musical instrument store may, for example, set up a free trial period to provide image information 90 and sound information 91 that are not compatible with NFT, and then provide image information 90 and sound information 91 authenticated with NFT after receiving a charge.
  • FIG. 4 is a diagram showing the configuration of a performance sound generating system according to Modification 2. Components common to Fig. 1 are given the same reference numerals and description thereof will be omitted.
  • PC1 at the second location 20 and PC1A installed at the third location 30 are connected via a network.
  • PC1A has the same configuration as PC1 shown in FIG. 2.
  • a microphone 8, a camera 50, and a camera 70 are connected to PC1A.
  • second performer 7 sings using microphone 8.
  • PC1A transmits an audio signal related to the singing sound received by microphone 8 to PC1.
  • PC1A also transmits a video signal of second performer 7 received from camera 50 to PC1.
  • PC1 plays the audio signal related to the singing sound of the second performer 7 received from PC1.
  • PC1 displays the image related to the 3D model data rendered in S13 of FIG. 3 (the image of the first musical instrument 2 and the image of the performer 80 included in the image information 90) and the image of the second performer 7 received from PC1A.
  • PC1 transmits the performance operation information generated in S12 of FIG. 3 to PC1A.
  • PC1A executes the operations shown in S13 and S14 of FIG. 3 based on the received performance operation information.
  • PC1A displays the image related to the 3D model data rendered in S13 (the image of the first instrument 2 and the image of the performer 80 included in the image information 90) and the image of the second performer 7 received from the camera 50.
  • PC1A also reproduces the sound signal related to the performance sound of the first instrument 2 generated in S14.
  • PC1 may execute the operations shown in S13 and S14 of FIG. 3 and transmit the image generated in S13 and the sound signal related to the performance sound of the first instrument 2 to PC1A via the network.
  • PC1A reproduces the received image and sound signal.
  • the performance sound generation system of Variation 2 allows the first performer 3 at the second location 20 and the second performer 7 at the third location 30 to play a remote ensemble.
  • the first performer 3 can use his/her own second instrument 4 at home to play the first instrument 2 at the third location 30, which is a studio, and play an ensemble with the second performer 7 while staying at home.
  • FIG. 5 is a diagram showing the configuration of a performance sound generating system according to Modification 3. Components common to Fig. 4 are given the same reference numerals and description thereof will be omitted.
  • the first instrument 2 is an electric guitar owned by the first performer 3
  • the second instrument 4 is an electric guitar installed at the third location 30, which is a studio.
  • a camera 70 is connected to PC1.
  • a microphone 8 and two cameras 50 are connected to PC1A.
  • PC 1A executes the operations S11 to S14 shown in FIG. 3.
  • PC 1A displays the image related to the 3D model data rendered in S13 (the image of the first musical instrument 2 and the image of the performer 80 included in the image information 90) and the image of the second performer 7 received from the camera 50.
  • PC 1A also plays the sound signal related to the performance sound of the first musical instrument 2 generated in S14.
  • the first performer 3 can play the first instrument 2 at the second location 20 in his/her home while using the second instrument 4 at the third location 30, which is a studio, to perform an ensemble with the second performer 7. Therefore, the first performer 3 can perform using the sound of his/her own electric guitar wherever he/she is located, without having to carry his/her own electric guitar with him/her.
  • the image information 90 and the sound information 91 may be provided for each element.
  • a saxophone has elements such as a body, neck, mouthpiece, ligature, reed, etc.
  • the image information 90 and the sound information 91 are provided for each of these elements such as the body, neck, mouthpiece, ligature, reed, etc.
  • the PC1 renders an image of the saxophone based on a combination of multiple pieces of image information 90.
  • the PC1 generates a performance sound based on a combination of multiple pieces of audio information 91.
  • (Variation 5) 6 is a diagram showing the configuration of a performance sound generating system according to Modification 5. Components common to those in FIG. 1 are given the same reference numerals and description thereof will be omitted.
  • a first musical instrument 2 is installed at a second location 20.
  • a camera 50 and a camera 70 are connected to a PC 1.
  • the PC 1 executes the operations S11 to S14 shown in FIG. 3.
  • the image information 90 and the sound information 91 may be stored in the flash memory 33 of the PC 1, or may be stored in another device (e.g., the server 100) and downloaded by the PC 1 each time.
  • the user can also experience the sensation of playing a favorite instrument (e.g., the first instrument 2) other than the second instrument 4 that he or she is actually touching.
  • a favorite instrument e.g., the first instrument 2
  • FIG. 7 is a diagram showing the configuration of a performance sound generating system according to Modification 6. Components common to Fig. 6 are given the same reference numerals and description thereof will be omitted.
  • a first musical instrument 2 is placed at a second location 20.
  • a first performer 3 plays the first musical instrument 2.
  • the first musical instrument 2 and a camera 50 are connected to a PC 1.
  • the PC 1 executes the operations S11 to S14 shown in FIG. 3.
  • the image information 90 and the sound information 91 may be stored in the flash memory 33 of the PC 1, or may be stored in another device (e.g., the server 100) and downloaded by the PC 1 each time.
  • the first performer 3 plays the first musical instrument 2, and the PC 1 renders an image of the first musical instrument 2 and 3D model data of the performer 80.
  • the PC 1 also generates the performance sound of the first musical instrument 2 based on the first performer 3 playing the first musical instrument 2 and the acoustic information 91.
  • the PC 1 obtains acoustic information 91 that models the sound of the first instrument 2 when it was new, it can generate the performance sound of the first instrument 2 when it was new. Therefore, the user can play the performance sound of the first instrument 2 when it was new. Conversely, for example, if the PC 1 obtains acoustic information 91 that models the past sound of the first instrument 2, it can generate the past performance sound (vintage sound) even for a new first instrument 2.
  • the PC 1 may display an image of a virtual concert hall or the like on the display 31 and perform processing to reproduce the reverberation of the playback environment of the concert hall or the like. This allows the user to have a new customer experience, for example, by perceiving that they are experiencing a live performance in a beloved live music venue or concert hall that does not currently exist.
  • the present invention may be a performance sound generation method that acquires image information of a first instrument and audio information of the first instrument, acquires information on a user's performance operation on a second instrument, renders an image of the first instrument based on the image information, and generates a performance sound of the first instrument based on the performance operation information and the audio information.
  • Image information 90 and audio information 91 do not need to be acquired via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

演奏音生成方法は、第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する。

Description

演奏音生成方法、演奏音生成装置、およびプログラム
　この発明の一実施形態は、演奏音生成方法、演奏音生成装置、およびプログラムに関する。
　特許文献１の楽器１００は、演奏操作を受け付ける操作部１１０と、該受け付けられた演奏操作を表す演奏情報を生成する生成部１２０と、携帯端末を検知する検知部１３０と、前記携帯端末が検出されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部１７０とを有する。
　特許文献２のピアノは、受け付けた演奏操作を示す演奏情報を生成して、その演奏操作がペダルが押されておらず、且つ、発生させた楽音が単音である場合には、その単音の楽音の発音状態（例えば楽音音波形データ）を検出する。この際、ピアノは、単音の直前の楽音の影響を受けないように、その楽音を発生させるための演奏操作の終了時点から、所定時間が経過した後の単音の発音状態を検出する。ピアノは、検出した発音状態を示す発音検出データと演奏情報とを含むログデータをサーバ装置へ送信出力する。サーバ装置は、ピアノから収集したログデータを解析して、ピアノの状態に関する通知（例えば調律の要否や調律推奨時期の通知）をするための通知情報を生成してピアノへ出力する。
　特許文献３のピアノ１０は、キーセンサ１５１によりキー情報を検出し、ペダルセンサ１５２によりペダル情報を検出し、ハンマセンサ１５３によりハンマ情報を検出し、プランジャ速度センサ１５４によりプランジャ速度情報を検出し、ＧＰＳセンサ１５５によりピアノ１０の位置情報を検出し、傾斜センサ１５６によりピアノ１０の傾斜情報を検出し、周辺温度センサ１５７により周辺温度情報を検出し、周辺湿度センサ１５８により周辺湿度情報を検出し、プランジャ温度センサ１５９によりプランジャ温度情報を検出し、これらの検出データを含むログデータをサーバ装置へ送信する。サーバ装置は、ログデータを解析してピアノ１０の状態を通知するための通知情報（例えば調律の要否や調律推奨時期の通知）を生成して、ピアノ１０へ送信する。
特開２０１４－２２８７５０ 特開２０１４－２２８７５１ 特開２０１４－２２８７５２
　本開示のひとつの態様は、利用者が任意の環境で楽器を演奏している様に知覚することができる演奏音生成方法を提供することを目的とする。
　本発明の一実施形態に係る演奏音生成方法は、第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する。
　本発明の一実施形態によれば、利用者が任意の環境で楽器を演奏している様に知覚することができる。
演奏音生成システムの構成図である。 ＰＣ１の構成を示すブロック図である。 本実施形態の演奏音生成方法に係る動作を示すフローチャートである。 変形例２に係る演奏音生成システムの構成図である。 変形例３に係る演奏音生成システムの構成図である。 変形例５に係る演奏音生成システムの構成図である。 変形例６に係る演奏音生成システムの構成図である。
　図１は、本実施形態に係る演奏音生成システムの構成図である。本実施形態の演奏音生成システムは、第１地点１０に設置されたサーバ１００および第２地点２０に設置されたＰＣを備える。第１地点１０は、例えば楽器店の店舗である。第１地点１０は、販売用の第１楽器２を備える。第２地点２０は利用者である第１演者３の自宅である。
　第２地点２０の第１演者３は、ＰＣ１に第２楽器４を接続する。本実施形態では一例として、第１楽器２および第２楽器４はエレキギターである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。
　図２は、ＰＣ１の構成を示すブロック図である。本実施形態において、ＰＣ１は演奏音生成装置の一例である。
　ＰＣ１は、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、およびオーディオＩ／Ｆ３８を備えている。
　表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を構成する。
　通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。また、通信Ｉ／Ｆ３６は、カメラ５０に接続される。
　カメラ５０は、第１演者３および第２楽器４の映像信号を取得する。プロセッサ３４は、カメラ５０から受け付けた映像信号に信号処理を施す。
　オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１のオーディオＩ／Ｆ３８は、第２楽器４に接続され、第２楽器４から演奏音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。
　プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１の各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。
　プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号に信号処理を施す。プロセッサ３４は、信号処理後のデジタル音信号をオーディオＩ／Ｆ３８に出力する。オーディオＩ／Ｆ３８は、信号処理後のデジタル音信号をアナログ音信号に変換する。
　ＳＰ３７は、オーディオＩ／Ｆ３８から出力されるアナログ音信号を再生し、第２楽器４の音を再生する。
　ＰＣ１のプロセッサ３４は、本実施形態の演奏音生成方法を実行する。図３は、本実施形態の演奏音生成方法に係る動作を示すフローチャートである。
　プロセッサ３４は、まず、第１楽器の画像情報と、該第１楽器の音響情報を取得する（Ｓ１１）。具体的には、プロセッサ３４は、サーバ１００から、第１楽器２の画像情報９０および音響情報９１を受信する。
　画像情報９０は、第１楽器２の３Ｄモデルデータである。第１楽器２のモデルデータは、例えば第１楽器２のボディ、ネック、および弦等を構成するための複数のポリゴンデータおよびボーンデータを有する。第１楽器２のモデルデータを構成する複数のボーンデータは、複数の関節データによって結合されたリンク構造を有していてもよい。特に可動域を有する楽器の場合、モデルデータは、リンク構造を含むことが好ましい。また、画像情報９０は、３Ｄモデルデータに限らない。画像情報９０は、２Ｄ画像データであってもよい。また、画像情報９０は、静止画に限らず動画であってもよい。
　このような画像情報９０は、サーバ１００に接続されたセンサの一例であるカメラ７０により取得される。第１楽器２の３Ｄモデルデータは予め作成されるが、カメラ７０は、現時点の第１楽器２の外観映像を取得する。サーバ１００は、カメラ７０で取得した現時点の第１楽器２の外観映像に基づいて、予め作成された３Ｄモデルデータを調整する。例えば、サーバ１００は、経年変化により生じる色の変化、金属部品の表面反射度の変化等を反映する。あるいはサーバ１００は、１日の中での昼と夜の外観の違いを反映してもよい。なお、サーバ１００は、カメラ７０で取得した第１楽器２の外観映像から第１楽器２を認識し、第１楽器２の種類、製品名等の識別情報を特定する。サーバ１００は、予め多数の楽器の外観映像と楽器の識別情報とを対応付けたデータベースを用意し、カメラ７０で撮影した第１楽器２の外観映像で、対応する第１楽器２の識別情報を取得する。また、サーバ１００は、例えば、第１楽器２の外観映像と、識別情報と、の関係をＤＮＮ等で訓練した訓練済モデルを用意して、当該訓練済モデルに外観映像を入力することにより識別情報を求めてもよい。この場合、サーバ１００は、訓練段階として、例えば楽器の外観映像と、識別情報とのデータセットを多数取得する。サーバ１００は、取得した外観映像および識別情報に基づいて、所定のモデルに、外観映像と、識別情報と、の関係を訓練させる。サーバ１００は、実行段階として、カメラ７０から受け付けた第１楽器２の外観映像を訓練済モデルに入力し、識別情報を取得する。これにより、サーバ１００は、Ｓ１１において第１楽器２の画像情報９０および音響情報９１を割り出してＰＣ１Ａに送信することができる。
　音響情報９１は、第１楽器２の音をデジタル音源としてモデリングしたデータを含む。第１楽器２の音は、環境変化に応じて変化する。例えばギターのボディにおける主たる素材である木の性質は、時間の経過により変化する。また、ピックアップに使われているマグネットも時間の経過により変化する。第１楽器２の音は、時間の経過により変化する。また、保存環境における温度、湿度等によっても、第１楽器２の音は変化する。音響情報９１は、新製品時の音をモデリングしただけでなく、これらの環境変化に応じて変化した音をモデリングしたデータを含み、時間の経過により変化する。
　なお、Ｓ１１の処理において、プロセッサ３４は、第１演者３から、どの時点（例えば現在、１年前、３年前等）の画像情報９０または音響情報９１を取得するか、受け付けてもよい。プロセッサ３４は、受け付けた時点に対応する画像情報９０または音響情報９１をサーバ１００から取得する。
　また、音響情報９１は、再生環境に関する情報を含んでいてもよい。再生環境に関する情報は、例えば第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）に関する情報、および再生空間の響きに関する情報を含む。第１楽器２の音は、接続される音響機器および再生空間の響きによっても変化する。例えば、第１楽器２の音は、試奏室等のスタジオ環境、コンサートホール、屋外、等によって異なる。音響情報９１は、これらの様々な再生環境に関する情報を含んでいてもよい。
　次に、プロセッサ３４は、第１演者３の演奏操作情報を取得する（Ｓ１２）。演奏操作情報とは、例えばギターであれば、どのフレットを押下しているか示す情報、該フレットを押下したタイミング、離したタイミング、どの弦をピッキングしたかを示す情報、ピッキングのタイミング、ピッキングの速さ、あるいはミュート操作の有無、等である。また、演奏操作情報とは、例えばシンセサイザー等の鍵盤楽器では、音高（ノートナンバー）、音色、アタック、ディケイ、サスティン、リリース等の時間パラメータ等である。
　本実施形態では、演奏操作情報は、第２楽器４に対する第１演者３の演奏操作により取得される。
　プロセッサ３４は、演奏操作情報をカメラ５０の映像信号に基づいて取得する。あるいは、プロセッサ３４は、例えばモーションセンサにより演奏者のモーションデータを取得し、演奏操作情報を取得してもよい。
　また、プロセッサ３４は、楽器に搭載されたセンサにより、楽器の操作情報を取得することも可能である。楽器に搭載されたセンサとは、例えばギターの場合には、フレット毎に取り付けられたフレットセンサである。プロセッサ３４は、フレット毎のセンサ信号を取得して楽器の操作情報を取得する。あるいはピッキングする弦がセンサに置き換えられた電子楽器である場合も、プロセッサ３４は、センサ信号を取得して楽器の操作情報を取得する。
　また、プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号（第２楽器４の音信号）の特徴量を抽出し、予め検出しておいた操作情報に対応する特徴量と対比し、演奏操作情報を取得してもよい。また、プロセッサ３４は、例えば、音信号と、演奏操作情報と、の関係をＤＮＮ等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することにより演奏操作情報を求めてもよい。プロセッサ３４は、訓練段階として、例えば音信号と、演奏操作情報とのデータセットをサーバ等から取得する。あるいは、プロセッサ３４は、訓練段階として、フレット毎のセンサ信号を取得して演奏操作情報を取得し、そのタイミングで受け付けた音信号を取得してもよい。プロセッサ３４は、取得した音信号および演奏操作情報に基づいて、所定のモデルに、音信号と、演奏操作情報と、の関係を訓練させる。プロセッサ３４は、実行段階として、第２楽器４から受け付けた音信号を訓練済モデルに入力し、演奏操作情報を取得する。
　そして、プロセッサ３４は、画像情報９０に基づいて第１楽器２の画像をレンダリングする（Ｓ１３）。より具体的には、プロセッサ３４は、演奏操作情報を用いて、画像情報９０に含まれる第１楽器２の３Ｄモデルデータを制御する。また、プロセッサ３４は、ある演者８０の３Ｄモデルデータを制御してもよい。演者８０のモデルデータは、例えば演者の顔、胴、腕、指、および脚等を構成するための複数のポリゴンデータおよびボーンデータを有する。複数のボーンデータは、複数の関節データによって結合されたリンク構造を有する。モデルデータの各ボーンデータの位置情報は、モーションデータにより定義される。プロセッサ３４は、演者８０のモデルデータの位置情報を、演奏者の演奏操作情報に基づいて制御する。プロセッサ３４は、演者８０の３Ｄモデルデータをレンダリングし、該３Ｄモデルデータの位置情報を、演奏操作情報に基づいて制御する。プロセッサ３４は、レンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）を表示器３１に表示する。
　そして、プロセッサ３４は、演奏操作情報および音響情報９１に基づいて、第１楽器２の演奏音を生成する（Ｓ１４）。演奏操作情報は、音響情報９１の音源の音を合成するためのパラメータに対応する。プロセッサ３４は、第１演者３の演奏操作情報に基づいて音源（本実施形態では第１楽器２のギター音源）の音を合成する。
　プロセッサ３４は、音響情報９１に含まれる再生環境に関する情報に基づいて信号処理を施してもよい。例えば、音響情報９１に響きに関する情報が含まれている場合、プロセッサ３４は、再生環境の響きを再現する処理として、合成した音の音信号に対して、再生環境のインパルス応答データを畳み込む信号処理を行ってもよい。また、プロセッサ３４は、合成した音の音信号に対して、第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）をシミュレートするフィルタ処理を施してもよい。具体的には、再生環境に関する情報は、第１楽器２に接続される各音響機器の入力に対する出力の特性をデジタルフィルタとしてシミュレートしたデジタル信号処理ブロックのパラメータを含む。プロセッサ３４は、合成した音の音信号に対して、音響機器に関する情報で示されたパラメータの信号処理を施す。これにより、プロセッサ３４は、合成した音に対して、第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）の入出力特性を再現することができる。
　プロセッサ３４は、生成した第１楽器２の演奏音に係る音信号をオーディオＩ／Ｆ３８を介してスピーカ３７に出力する。これにより、スピーカ３７から、第１演者３の第２楽器４に対する演奏操作に対応して、第１楽器２の演奏音が再生される。なお、サーバ１００が図３のＳ１３およびＳ１４に示す動作を実行し、Ｓ１３およびＳ１４で生成した映像および音信号をＰＣ１に送信してもよい。この場合、ＰＣ１は、ネットワークを介して、サーバ１００から映像および音信号を受信して、第２楽器４に対する利用者の演奏操作に応じて、受信した第１楽器２の演奏音を再生する。
　このようにして、第１演者３は、自宅の自身の第２楽器４を用いて、自宅に居ながらにして、店舗にある第１楽器２を試奏し、第１楽器２の演奏音を聴くことができる。本実施形態の演奏音生成方法の利用者は、実際に触れている第２楽器４以外の好きな楽器を演奏するように知覚できるという顧客体験を得ることができる。より具体的には、本実施形態の演奏音生成方法の利用者は、遠隔でも好きな楽器を演奏することができるという顧客体験を得ることができる。
（変形例１）　
　変形例１の演奏音生成システムは、画像情報９０および音響情報９１に対応する非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ　Ｔｏｋｅｎ：以下、ＮＦＴと称する。）をインターネット上のデジタル台帳に記録する。
　例えば、図１の第１地点１０である楽器店は、ビンテージ品である第１楽器２の画像情報９０および音響情報９１に対応するＮＦＴをデジタル台帳に記録する。これにより、楽器店は、販売している楽器の外観に関する情報と音に関する情報をＮＦＴで証明し、対応付けることができる。楽器店は、例えばＮＦＴで証明したビンテージ品である第１楽器２の画像情報９０および音響情報９１を販売し、対価を得ることができる。楽器店は、例えば無償試用期間を設定してＮＦＴに対応していない画像情報９０および音響情報９１を提供し、課金を受けた後にＮＦＴで証明された画像情報９０および音響情報９１を提供してもよい。
（変形例２）　
　図４は、変形例２に係る演奏音生成システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。
　変形例２に係る演奏音生成システムは、第２地点２０のＰＣ１と、第３地点３０に設置されたＰＣ１Ａと、がネットワークを介して接続されている。ＰＣ１Ａの構成は、図２に示したＰＣ１と同じ構成である。
　ＰＣ１Ａには、マイク８、カメラ５０およびカメラ７０が接続されている。第３地点３０では、第２演者７がマイク８を用いて歌唱を行う。ＰＣ１Ａは、マイク８で受け付けた歌唱音に係る音信号をＰＣ１に送信する。また、ＰＣ１Ａは、カメラ５０から受け付けた、第２演者７の映像信号をＰＣ１に送信する。
　ＰＣ１は、ＰＣ１から受信した第２演者７の歌唱音に係る音信号を再生する。ＰＣ１は、図３のＳ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびＰＣ１Ａから受信した第２演者７の映像を表示する。
　ＰＣ１は、図３のＳ１２で生成した演奏操作情報をＰＣ１Ａに送信する。ＰＣ１Ａは、受信した演奏操作情報に基づいて、図３のＳ１３およびＳ１４に示す動作を実行する。ＰＣ１Ａは、Ｓ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびカメラ５０から受け付けた、第２演者７の映像を表示する。また、ＰＣ１Ａは、Ｓ１４で生成した第１楽器２の演奏音に係る音信号を再生する。あるいは、ＰＣ１が図３のＳ１３およびＳ１４に示す動作を実行し、Ｓ１３およびＳ１４で生成した映像および第１楽器２の演奏音に係る音信号を、ネットワークを介してＰＣ１Ａに送信してもよい。ＰＣ１Ａは、受信した映像および音信号を再生する。
　このようにして、変形例２に係る演奏音生成システムは、第２地点２０の第１演者３および第３地点３０の第２演者７が遠隔合奏を行うことができる。変形例２に係る演奏音生成システムでは、第１演者３は、自宅の自身の第２楽器４を用いて、自宅に居ながらにして、スタジオである第３地点３０にある第１楽器２を演奏し、第２演者７と合奏を行うことができる。
（変形例３）　
　図５は、変形例３に係る演奏音生成システムの構成図である。図４と共通する構成は同一の符号を付し、説明を省略する。
　変形例３に係る演奏音生成システムでは、第１楽器２は第１演者３の所有するエレキギターであり、第２楽器４は、スタジオである第３地点３０に設置されたエレキギターである。
　ＰＣ１には、カメラ７０が接続されている。ＰＣ１Ａには、マイク８、２つのカメラ５０が接続されている。
　ＰＣ１Ａは、図３に示すＳ１１～Ｓ１４の動作を実行する。ＰＣ１Ａは、Ｓ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびカメラ５０から受け付けた、第２演者７の映像を表示する。また、ＰＣ１Ａは、Ｓ１４で生成した第１楽器２の演奏音に係る音信号を再生する。
　変形例３に係る演奏音生成システムでは、第１演者３は、スタジオである第３地点３０の第２楽器４を用いながら、自宅にある第２地点２０の第１楽器２を演奏して、第２演者７と合奏を行うことができる。そのため、第１演者３は、所有するエレキギターを持ち運ぶことなく、どの場所でも所有するエレキギターの音で演奏を行うことができる。
　（変形例４）　
　複数の要素から構成される楽器の場合、画像情報９０および音響情報９１は、要素毎に設けられていてもよい。例えば、サックスの場合、本体・ネック・マウスピース・リガチャー・リード等の要素を有する。画像情報９０および音響情報９１は、これら本体・ネック・マウスピース・リガチャー・リード等の要素毎に設けられている。
　ＰＣ１は、図３のＳ１３の動作において、複数の画像情報９０の組み合わせに基づいてサックスの映像をレンダリングする。また、図３のＳ１４の動作において、複数の音響情報９１の組み合わせに基づいて演奏音を生成する。
　これにより、利用者は、楽器を構成する複数の要素の組み合わせにより、外観および音色が変えて演奏することができる。
　（変形例５）　
　図６は、変形例５に係る演奏音生成システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。
　変形例５に係る演奏音生成システムでは、第２地点２０に第１楽器２が設置されている。ＰＣ１には、カメラ５０およびカメラ７０が接続されている。
　ＰＣ１は、図３に示すＳ１１～Ｓ１４の動作を実行する。画像情報９０および音響情報９１は、ＰＣ１のフラッシュメモリ３３に記憶されていてもよいし、他装置（例えばサーバ１００）に記憶されていて、ＰＣ１が都度ダウンロードしてもよい。
　この場合も、利用者は、実際に触れている第２楽器４以外の好きな楽器（例えば第１楽器２）を演奏するように知覚できるという顧客体験を得ることができる。
　（変形例６）　
　図７は、変形例６に係る演奏音生成システムの構成図である。図６と共通する構成は同一の符号を付し、説明を省略する。
　変形例６に係る演奏音生成システムでは、第２地点２０に第１楽器２が設置されている。第１演者３は、第１楽器２を演奏する。ＰＣ１には、第１楽器２およびカメラ５０が接続されている。
　ＰＣ１は、図３に示すＳ１１～Ｓ１４の動作を実行する。画像情報９０および音響情報９１は、ＰＣ１のフラッシュメモリ３３に記憶されていてもよいし、他装置（例えばサーバ１００）に記憶されていて、ＰＣ１が都度ダウンロードしてもよい。
　変形例６では、第１演者３は、第１楽器２を演奏し、ＰＣ１は第１楽器２の画像および演者８０の３Ｄモデルデータをレンダリングする。また、ＰＣ１は、第１演者３は、第１楽器２を演奏し、音響情報９１に基づいて、第１楽器２の演奏音を生成する。
　これにより、利用者は、任意の環境で楽器を演奏している様に知覚することができるという新たな顧客体験を得ることができる。例えば、ＰＣ１は、新品時の第１楽器２の音をモデリングした音響情報９１を取得すれば、新品時の第１楽器２の演奏音を生成できる。したがって、利用者は、新品時の第１楽器２の演奏音を鳴らすことができる。あるいは逆に、例えば、ＰＣ１は、第１楽器２の過去の音をモデリングした音響情報９１を取得すれば、新品の第１楽器２であっても、過去の演奏音（ビンテージサウンド）を生成できる。
　また、ＰＣ１は、音響情報９１に響きに関する情報が含まれている場合、表示器３１に仮想的なコンサートホール等の映像を表示し、当該コンサートホール等の再生環境の響きを再現する処理を行ってもよい。これにより、利用者は、例えば現存しない、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているように知覚することができるという新たな顧客体験を得ることができる。
　本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、請求の範囲によって示される。さらに、本発明の範囲は、請求の範囲と均等の範囲を含む。
　例えば、本発明は、第１楽器の画像情報と、該第１楽器の音響情報と、を取得し、第２楽器に対する利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、演奏音生成方法であってもよい。
　この場合も、自宅等にある第２楽器を演奏することで、楽器店等の遠隔地に設置されている第１楽器の音を再現することができる。したがって、利用者は、遠隔でも好きな楽器を演奏することができる。
　図６または図７に示した様に、本発明においてネットワークの構成は必須ではない。画像情報９０および音響情報９１は、ネットワークを介して取得する必要はない。
２：第１楽器、３：第１演者、４：第２楽器、７：第２演者、８：マイク、１０：第１地点、２０：第２地点、３０：第３地点、３１：表示器、３２：ユーザＩ／Ｆ、３３：フラッシュメモリ、３４：プロセッサ、３５：ＲＡＭ、３６：通信Ｉ／Ｆ、３７：スピーカ、３８：オーディオＩ／Ｆ、５０：カメラ、７０：カメラ、８０：演者、９０：画像情報、９１：音響情報、１００：サーバ

Claims (17)

  1. 　第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
    　利用者の演奏操作情報を取得し、
    　前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
    　前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
    　演奏音生成方法。
  2. 　前記演奏操作情報は、第２楽器に対する前記利用者の演奏操作により取得される、
    　請求項１に記載の演奏音生成方法。
  3. 　前記画像情報または前記音響情報は、時間の経過で変化する、
    　請求項２に記載の演奏音生成方法。
  4. 　前記第１楽器の演奏音を、ネットワークを介して前記利用者の利用する情報処理装置に送信し、
    　前記情報処理装置が、前記第１楽器の演奏音を、前記ネットワークを介して受信し、
    　前記第２楽器に対する前記利用者の演奏操作に応じて、前記第１楽器の演奏音を再生する、
    　請求項２または請求項３に記載の演奏音生成方法。
  5. 　さらに、再生環境に関する情報を取得し、
    　前記再生環境に関する情報に基づいて、生成した前記第１楽器の演奏音に信号処理を施す、
    　請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。
  6. 　前記第１楽器の前記画像情報および前記音響情報を、ネットワークを介して取得する、
    　請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。
  7. 　前記第１楽器の演奏音を再生する、
    　請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。
  8. 　前記画像情報および前記音響情報に対応する非代替性トークンを記録する、
    　請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。
  9. 　前記第１楽器の前記画像情報および前記音響情報を前記非代替性トークンで証明し、
    　証明された前記第１楽器の前記画像情報および前記音響情報を提供する、
    　請求項８に記載の演奏音生成方法。
  10. 　第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
    　利用者の演奏操作情報を取得し、
    　前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
    　前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
    　処理を行うプロセッサを備えた演奏音生成装置。
  11. 　前記演奏操作情報は、第２楽器に対する前記利用者の演奏操作により取得される、
    　請求項１０に記載の演奏音生成装置。
  12. 　前記音響情報は、時間の経過で変化する、
    　請求項１１に記載の演奏音生成装置。
  13. 　前記画像情報は、３Ｄモデルデータを含む、
    　請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。
  14. 　前記画像情報は、センサによって取得される、
    　請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。
  15. 　前記演奏操作情報は、センサによって取得される、
    　請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。
  16. 　前記プロセッサは、前記画像情報および前記音響情報に対応する非代替性トークンを記録する、
    　請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。
  17. 　第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
    　利用者の演奏操作情報を取得し、
    　前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
    　前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
    　処理を情報処理装置に実行させるプログラム。
PCT/JP2024/018656 2023-06-06 2024-05-21 演奏音生成方法、演奏音生成装置、およびプログラム Pending WO2024252919A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-093238 2023-06-06
JP2023093238A JP2024175446A (ja) 2023-06-06 2023-06-06 演奏音生成方法、演奏音生成装置、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024252919A1 true WO2024252919A1 (ja) 2024-12-12

Family

ID=93795471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/018656 Pending WO2024252919A1 (ja) 2023-06-06 2024-05-21 演奏音生成方法、演奏音生成装置、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024175446A (ja)
WO (1) WO2024252919A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024530561A (ja) * 2021-07-29 2024-08-23 ミエロ，クラウディオ 楽器をリモートでテストするためのシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271374A (ja) * 1994-03-30 1995-10-20 Yamaha Corp 電子楽器
JP2007264025A (ja) * 2006-03-27 2007-10-11 Yamaha Corp 演奏装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271374A (ja) * 1994-03-30 1995-10-20 Yamaha Corp 電子楽器
JP2007264025A (ja) * 2006-03-27 2007-10-11 Yamaha Corp 演奏装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKINA, USHO: "Keyword", NIKKEI KONPYUTA - NIKKEI COMPUTER, NIKKEI MAGUROUHIRUSHA, TOKYO,, JP, no. 1044, 10 June 2021 (2021-06-10), JP , pages 65, XP009559777, ISSN: 0285-4619 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024530561A (ja) * 2021-07-29 2024-08-23 ミエロ，クラウディオ 楽器をリモートでテストするためのシステム
JP7723120B2 (ja) 2021-07-29 2025-08-13 ミエロ，クラウディオ 楽器をリモートでテストするためのシステム

Also Published As

Publication number Publication date
JP2024175446A (ja) 2024-12-18

Similar Documents

Publication Publication Date Title
US11341947B2 (en) System and method for musical performance
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
JP2003536106A (ja) 対話型マルチメディア装置
JP5684492B2 (ja) 電気通信機能を備えたギターその他の楽器及び当該楽器を用いてなるエンターテインメント・システム
WO2024252919A1 (ja) 演奏音生成方法、演奏音生成装置、およびプログラム
KR100819775B1 (ko) 네트워크 기반의 음악연주/노래반주 서비스 장치, 시스템, 방법 및 기록매체
JP6568351B2 (ja) カラオケシステム、プログラム及びカラオケ音声再生方法
WO2018008434A1 (ja) 演奏上演装置
JP5459331B2 (ja) 投稿再生装置及びプログラム
US20240273981A1 (en) Tactile signal generation device, tactile signal generation method, and program
KR100757399B1 (ko) 네트워크 기반의 음악연주/노래반주 서비스 시스템을이용한 스타 육성 서비스 방법
JP2009244712A (ja) 演奏システム及び録音方法
Doyle Ghosts of electricity: Amplification
WO2022163137A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN115398534A (zh) 播放控制方法、控制系统及程序
JP2862062B2 (ja) カラオケ装置
WO2024202979A1 (ja) パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム
JP2024176165A (ja) コンテンツ情報処理方法およびコンテンツ情報処理装置
JP6003861B2 (ja) 音響データ作成装置、プログラム
JP2014048471A (ja) サーバ、音楽再生システム
JP2014071215A (ja) 演奏装置、演奏システム、プログラム
WO2025155589A1 (en) Audio composition and playback
JP2014048470A (ja) 音楽再生装置、音楽再生システム、音楽再生方法
Earl Home Music Production: A Complete Guide to Setting Up Your Home Recording Studio to Make Professional Sounding Music at Home: Getting Started
Mathebula The classic sound of Rudy Van Gelder. An investigation of the recording techniques used to create the iconic blue note sound

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819152

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE