WO2023127422A1 - 情報処理装置、情報処理方法、プログラム、情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、情報処理システム Download PDF

Info

Publication number
WO2023127422A1
WO2023127422A1 PCT/JP2022/044839 JP2022044839W WO2023127422A1 WO 2023127422 A1 WO2023127422 A1 WO 2023127422A1 JP 2022044839 W JP2022044839 W JP 2022044839W WO 2023127422 A1 WO2023127422 A1 WO 2023127422A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
content
music
information processing
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/044839
Other languages
English (en)
French (fr)
Inventor
惇一 清水
学 藤木
千尋 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2023570773A priority Critical patent/JPWO2023127422A1/ja
Priority to US18/724,643 priority patent/US20250068380A1/en
Priority to EP22915653.4A priority patent/EP4460040A4/en
Priority to CN202280086378.0A priority patent/CN118451728A/zh
Publication of WO2023127422A1 publication Critical patent/WO2023127422A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set

Definitions

  • the present technology relates to an information processing device, an information processing method, a program, and an information processing system, and in particular, an information processing device capable of realizing a content viewing experience that maintains a worldview intended by an artist without boring the user. , an information processing method, a program, and an information processing system.
  • Patent Document 1 describes a technique for generating parameters for creating music based on information from each part in the automobile and generating musical score data based on the generated parameters.
  • the experience of listening to music using information obtained from the vehicle body, as disclosed in Patent Document 1 is a passive experience. It is easy for the user to get tired of the music, for the reason that an unexpected change in music occurs. Also, the musical experience intended by the artist cannot be fully realized.
  • This technology has been developed in view of this situation, and it is intended to realize a content viewing experience that maintains the world view intended by the artist without boring the user.
  • An information processing apparatus includes a content information setting unit that sets content information including content parameter information that defines details of content reproduction control, and a condition for executing the content reproduction control.
  • An information processing method or program sets content information including content parameter information that defines details of content reproduction control, and triggers that define conditions for executing the content reproduction control.
  • a step of setting content generation parameters by setting information and linking the content information and the trigger information is included.
  • content information including content parameter information that defines details of content reproduction control is set, trigger information that defines conditions for executing the content reproduction control is set, and A content generation parameter is set by linking the content information and the trigger information.
  • An information processing apparatus includes an event acquisition unit that acquires an event when a user moves, content information including content parameter information that defines details of content playback control, and content playback control. an acquisition unit that acquires content generation parameters that are set in association with trigger information that defines conditions for executing the trigger A content reproduction control unit that controls reproduction of the content based on the content information linked with the information.
  • An information processing method or program acquires an event when a user moves, and executes content information including content parameter information that defines details of content playback control, and the content playback control. acquires the content generation parameters set in association with trigger information that defines the conditions when the and controlling reproduction of the content based on the content information obtained.
  • an event when the user moves is acquired, and content information including content parameter information defining content reproduction control details and conditions for executing the content reproduction control are obtained.
  • content information including content parameter information defining content reproduction control details and conditions for executing the content reproduction control are obtained.
  • FIG. 4 is a diagram illustrating an example of content reproduction control on the user side;
  • FIG. 4 is a diagram showing an example of trigger information set in advance by a producer and content reproduction control;
  • FIG. 10 is a diagram showing an example of playback control using an additional track;
  • FIG. FIG. 4 is a diagram showing an example of components of content; It is a figure showing an example of composition of an information processing system concerning one embodiment of this art.
  • 2 is a block diagram showing a hardware configuration example of a producer terminal;
  • FIG. 3 is a block diagram showing a hardware configuration example of a user terminal;
  • FIG. 1 is a block diagram showing a functional configuration example of an information processing system;
  • FIG. FIG. 4 is a diagram showing the data structure of content generation parameters;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a setting screen displayed on the creator's terminal;
  • FIG. 10 is a diagram showing an example of a product in a series of operations performed by the creator using the setting screen;
  • 4 is a flow chart showing the operation of the creator's terminal;
  • FIG. 3 is a diagram showing an example of a reproduction space in which content is output;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • FIG. 4 is a diagram showing a specific example in which content reproduction control is performed on the user side;
  • 4 is a flowchart when content reproduction control is performed on the user side.
  • FIG. 4 is a diagram showing an example of tracks that are subject to playback control;
  • FIG. 4 is a diagram showing an example of playback control for tracks generated by sound source separation;
  • FIG. 4 is a diagram showing types of sound sources; It is a block diagram which shows the structural example of a music control part. It is a figure which shows the example of each information.
  • FIG. 10 is a diagram showing a specific example of remixing an existing song;
  • FIG. 10 is a diagram showing an example of a process of connecting existing songs;
  • FIG. 3 is a diagram showing an example of tracks that constitute existing music;
  • FIG. 10 is a diagram showing another example of the process of connecting existing songs;
  • FIG. 10 is a diagram showing an example of a production workflow when sound source separation is used;
  • FIG. 4 is a diagram showing a configuration example of an information processing server when sound source separation is performed on the cloud side; It is a figure which shows the example of object recognition.
  • FIG. 10 is a diagram showing a specific example of remixing an existing song
  • FIG. 10 is a diagram showing an example of a process of connecting existing songs
  • FIG. 3 is a diagram showing an example of tracks that constitute existing music
  • FIG. 4 is a diagram showing an example of music generation
  • FIG. 10 is a diagram showing another example of object recognition
  • FIG. 10 is a diagram showing another example of music generation
  • FIG. 4 is a diagram showing an image of music generation according to the position of an object
  • FIG. 10 is a diagram showing a display example of a user terminal during music reproduction
  • FIG. 5 is a diagram showing an example of luminance detection positions
  • FIG. 10 is a diagram showing an example of state changes of effect images
  • FIG. 4 is a diagram showing an example of music generation
  • FIG. 10 is a diagram showing a display example of a map used for area setting;
  • the information processing system of this technology is mainly realized by the configuration on the side of creators such as artists and the configuration on the side of users who drive cars.
  • the content generation parameter is information that associates an algorithm that defines details related to content reproduction control with trigger information that defines trigger conditions for executing content reproduction control.
  • the content generation parameters may be stored in a server on the network and provided to the user via the server, or may be stored in the local terminal.
  • the content whose reproduction is controlled based on the above-mentioned content generation parameters and the position information and vehicle body information of the car the user is driving is output to the in-vehicle space and presented to the user.
  • the content is reproduced so that the output content dynamically changes according to the user's driving conditions and the surrounding environment.
  • the following playback control is performed based on content generation parameters, vehicle position information, and vehicle body information. 1. Apply reverb to the vocal as it approaches Tokyo Tower 2 . 2. Adding a synthesizer sound to the content being played when turning right or left at a specific intersection. Decrease the volume of the content being played when stopped, and gradually increase the volume after starting
  • trigger information includes, for example, area information indicating the start and end of an area set in advance by the creator, landmark information indicating landmarks such as Tokyo Tower and Rainbow Bridge, specific intersections, tunnels, and bridges. It is information including POI (Point of Interest) information indicating specific points such as.
  • POI Point of Interest
  • These pieces of information are set in advance by the creator as conditions that trigger the execution of content playback control. For example, conditions such as when the area is switched, when approaching the vicinity of a landmark, when turning left or right at an intersection designated as a specific point, and the like are set as triggers.
  • the location information and body information of the vehicle driven by the user are used as described above.
  • the vehicle body information is, for example, information indicating start/stop, acceleration/deceleration, right/left turn, and speed of the vehicle. If the user is not on a moving object, the user's own position information, walking speed, or the like may be used.
  • This information is actually measured by the user using various sensors such as sensors installed in the vehicle driven by the user, acceleration sensors and gyro sensors installed in the smartphone set in the vehicle, Defined as an event below.
  • playback control was performed based on content generation parameters preset by the creator. Content is output to the user side.
  • the user may control the content generation parameters as long as they do not deviate from the creator's settings and intentions.
  • the control of the content generation parameter on the user side is, for example, a process of changing the content generation parameter set in advance by the creator side.
  • Video data (moving image data) may be used as content without being limited to music data, or data including music data and video data may be used as content.
  • the content may be, for example, audio data such as environmental sounds or radio, or may be data other than those described above.
  • the audio data includes data of sounds different from music (natural sounds such as the sound of waves, the sound of rain, and the sound of a stream, sound effects, human voices, guidance sounds, mechanical sounds, and so on).
  • Music data consists of a time series of one or more parts characterized by melody, rhythm, harmony, key, etc.
  • a piece of music data can contain a plurality of the same parts.
  • a part can include repetition of a predetermined pattern or phrase by some or all of the sounds (elements) that make up the part.
  • music data playback control using this technology is performed in the interior space of the car driven by the user.
  • the present technology can also be applied when enjoying music viewing experience on a moving object other than a car, such as a ship, an airplane, a train, or a bicycle. Note that the present technology can be applied not only when the user is on the mobile object, but also when the user is walking.
  • a smartphone is installed in the vehicle.
  • the vehicle decelerates/stops, starts/accelerates, turns right/left, Events such as the current position, specific points, and landmarks are detected, playback control is performed based on these events and content generation parameters, and the playback sound (music) of the playback-controlled music data is output to the vehicle interior space.
  • GPS Global Positioning System
  • the vehicle decelerates/stops, starts/accelerates, turns right/left
  • Events such as the current position, specific points, and landmarks are detected
  • playback control is performed based on these events and content generation parameters
  • the playback sound (music) of the playback-controlled music data is output to the vehicle interior space.
  • the same playback control may be performed when passing around the landmark for the first time and when it is the second time, and it is determined that there is a high possibility that the user will feel bored.
  • different reproduction control may be performed for the first time and the second time.
  • Such settings can also be set in advance by the producer.
  • the smart phone installed in the car is used as an example of the device used for controlling the playback of music data, but a PC installed in the car, a car navigation system, etc., may also be used.
  • the information obtained from the various traffic databases described above may be information obtained in real time from a cloud server via a network, or may be obtained in advance and stored in a storage medium such as a memory. It may be information that is
  • FIG. 1 is a diagram showing an example of music data reproduction control on the user side.
  • the musical notes shown on the left side of FIG. 1 indicate that the reproduced sound of music data A is being output inside the vehicle while driving in Area 1.
  • Other musical notes shown in FIG. 1 also indicate that the reproduced sound of the music data subject to reproduction control is being output while traveling in each area.
  • music data B assigned to the music data B when the running area is switched from area 1 to area 2 as indicated by the broken line in FIG. music data B assigned to the music data B. That is, when the user acquires an event indicating that area 1 is switched to area 2, and the acquired event is determined to satisfy the trigger information preset by the producer, music data A is changed to music data A. Playback control to switch to data B is performed.
  • the music data B is switched to the music data B+ ⁇ .
  • the music data B+ ⁇ is music data obtained by adding an additional track ⁇ to the music data B, which is the main track.
  • music data B+ ⁇ is played. That is, when the user acquires an event indicating that the user is running in the vicinity of a landmark in area 2, and it is determined that the acquired event satisfies the trigger information set in advance by the producer, music data B+ ⁇ is changed to music data The playback is switched to B+ ⁇ .
  • the music data B+ ⁇ is music data obtained by adding an additional track ⁇ different from the additional track ⁇ to the music data B, which is the main track.
  • processing to impart arbitrary musical effects such as imparting reverb processing to vocals of the main track, may be applied to the reproduced sound of music data B. good.
  • Music data playback control is performed based on the music generation parameters preset by the producer.
  • the creator can arbitrarily set what kind of playback control the user should perform when what kind of event is detected by the user. For example, setting Tokyo Tower as a landmark, increasing the volume as the distance to Tokyo Tower approaches, and performing localization processing and panning processing so that the sound source is localized in the direction of Tokyo Tower. set.
  • FIG. 2 is a diagram showing an example of trigger information preset by the producer and playback control of music data.
  • FIG. 2A is a diagram showing an example of trigger information.
  • Trigger information includes POI information that indicates the start and end points of specific points (intersections, tunnels, bridges, etc.), landmark information that indicates the start and end points of landmarks (Tokyo Tower, Rainbow Bridge, etc.), start and end points of each area, Area information indicating the end, start/stop time, stop time, information indicating the start/end of right/left turn, speed information, and the like are included.
  • FIG. 2B is a diagram showing an example of music data playback control.
  • Types of music data playback control include effect processing (Low Pass Filter/Reverb/Echo, etc.), output of sound effects and event detection sounds, volume control/crossfade in/out, addition of additional tracks, content switching (environmental sound , guidance voice, etc.), localization/panning processing, musical score generation, and the like. Not limited to this, it is possible for the producer to set in advance the reproduction control of music data other than the above.
  • music data playback control may be realized by music generation parameters that link trigger information and music information set in advance by the producer, or may be implemented by the user. may be realized at the time of output of
  • FIG. 3 is a diagram showing an example of playback control using additional tracks.
  • the main track and additional tracks are music data of a predetermined duration, such as 10 seconds, 15 seconds, or 4 or 8 bars.
  • the additional tracks Add11 and Add12 are added to the main track M1 at time t2, which is the next reproduction start timing of the main track M1. is added to and played.
  • the additional track Add11 is a track that adds sequence changes to the main track M1
  • the additional track Add12 is a track that adds rhythm changes to the main track M1. .
  • the additional tracks are not limited to the above example, and can be arbitrarily set by the producer.
  • a track having the same time as the main track M1 is set in advance as an additional track. While the car is stopped, the user listens to the reproduced sound of the main track M1, which gives a different impression than when the car is running. Note that the additional track may have a playback time different from that of the main track M1.
  • the main track M1 to which the additional tracks Add11 and Add12 are added is reproduced for the first time between times t2 and t3, and the main track M1 to which the additional tracks Add11 and Add12 are added is reproduced for the second time. is performed between times t3 and t4. Further, the main track M1 to which the additional tracks Add11 and Add12 are added is reproduced for the third time between times t4 and t5.
  • the additional track Add13 is added to the main track M1 instead of the additional tracks Add11 and Add12. .
  • the main track M1 to which the additional track Add13 is added is reproduced so that the reproduced sounds of the additional tracks Add11 and Add12 fade out after time T2, and the reproduced sound of the additional track Add13 fades in instead.
  • the main track M1 to which the additional track Add13 is added is reproduced for the first time. Immediately after starting the car, the user hears the reproduced sound of the main track M1, which has a different impression from that when the car is running or stopped.
  • the second reproduction of the main track M1 to which the additional track Add13 is added is performed between times t7 and t8.
  • the additional track Add13 fades out, and only the main track M1 is reproduced during the time from t8 to t9.
  • the main track M1 to which the additional tracks Add14 and Add15 are added is reproduced.
  • an event such as a stop is detected at a timing more than a predetermined percentage of the time required for one loop playback of the main track M1
  • the playback with the additional track added will be performed before the start of the next loop playback of the main track M1.
  • the time T3 when the stop is detected is the timing when one reproduction of the main track M1 during the time t7 to t8 has advanced more than a predetermined ratio such as 80%
  • the reproduction with the additional tracks Add14 and Add15 is performed. , is started at time t9, which is the start timing of the next loop of the main track M1.
  • the additional track Add14 is a track that adds a sequence change to the main track M1 like the additional track Add11, and the additional track Add15 adds a rhythm change to the main track M1 like the additional track Add12. This is the track to add.
  • the additional track Add11 and the additional track Add14, and the additional track Add12 and the additional track Add15 may be the same music data or different music data.
  • loop playback of the main track M1 is continued in the same way, with additional tracks being added according to the conditions of the car.
  • the reproduced sound of the main track assigned to the area is presented to the user while sequentially changing the impression.
  • the user can obtain a new listening experience of music by listening to the reproduced sound of the main track that changes according to his or her driving.
  • the additional tracks Add11 and Add12 are simultaneously added to the main track M1.
  • the present technology is not limited to this. (or the additional tracks Add14, Add15) may be added to the main track M1, or both or either one of the additional tracks Add11, Add12 (or the additional tracks Add14, Add15) may be added to the main track M1. Playback control may be performed such that it is added to the main track M1 with a delay of the number of bars.
  • the additional track may consist of one material, or may consist of multiple different materials.
  • the aforementioned main track and additional track are loop material with a predetermined number of bars and playback time.
  • Both the main track and the additional track may not be loop material, or only one of them may be loop material.
  • FIG. 4 is a diagram showing an example of constituent elements of music data.
  • files for tracks on each line from lines 1 to 45 are prepared by the producer when setting the music generation parameters.
  • four types of track files of Rhythm, Bass, Harmony, and Vocal are shown as an example.
  • the second column from the left shows the name of each file.
  • the producer side selects the tracks that make up the main track from among these tracks that they have uploaded in advance.
  • tracks selected by the producer side are indicated by black circles.
  • a main track M1 which is one main track, is constructed using each track of the 45th row as material.
  • a main track M1 constituted by each track shown in FIG. 4 is the same track as the main track M1 described with reference to FIG.
  • the main tracks M2 and M3 are also composed of the tracks indicated by the black circles in the 4th and 5th columns selected in the same manner. Each main track set in this manner is assigned to an arbitrary area.
  • the additional tracks described in FIG. 3 are also set in advance in the same manner.
  • the additional track may be set by selecting the same track as the track that constitutes the main track, or the additional track may be set by selecting a track that is different from the track that constitutes the main track. You may do so.
  • the main track may be set by specifying a specific section of an existing song that has been uploaded in advance, instead of selecting from pre-registered components (materials).
  • the main track is set using an existing song, for example, the number of measures of the main track, the playback time of the main track, the start of the section that can be used as the main track (loop material) among the sections that make up the existing song Information such as position, end position, playback time, etc. is set in advance by the producer.
  • FIG. 5 is a diagram illustrating a configuration example of an information processing system 1 according to an embodiment of the present technology.
  • the information processing system 1 includes a producer terminal 11, which is a structure on the producer side, an information processing server 12, and a music data reproduction system 13, which is a structure on the user side.
  • the music data reproduction system 13 is composed of a car 21 driven by a user and a user terminal 22 installed inside the car 21 .
  • the user terminal 22 is, for example, a smart phone.
  • the producer terminal 11, the information processing server 12, and the music data reproduction system 13 are connected via a network 31 so as to be able to communicate with each other.
  • the network 31 is constructed by, for example, the Internet or a wide area communication network.
  • any WAN (Wide Area Network) or LAN (Local Area Network) may be used as the network 31, and the protocol for constructing the network 31 is not limited.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the creator terminal 11. As shown in FIG.
  • the creator terminal 11 is configured by a computer such as a PC.
  • the producer terminal 11 includes a CPU (Central Processing Unit) 51, a ROM (Read Only Memory) 52, a RAM (Random Access Memory) 53, an input/output interface 55, and a bus 54 connecting them together.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input unit 56, an output unit 57, a storage unit 58, a communication unit 59, a drive unit 60, and the like are connected to the input/output interface 55.
  • the input unit 56 is, for example, a keyboard, pointing device, touch panel, or other operating device. If input portion 56 includes a touch panel, the touch panel may be integrated with output portion 57 .
  • the output unit 57 is composed of a display device and a speaker.
  • the storage unit 58 is a non-volatile storage device, such as an HDD, flash memory, or other solid-state memory.
  • the communication unit 59 is a communication module for communicating with other devices via the network 31.
  • the communication unit 59 may use either wired or wireless communication.
  • the drive unit 60 is a device capable of driving a removable recording medium 61 such as an optical recording medium or magnetic recording tape.
  • Information processing by the creator terminal 11 having the hardware configuration described above is realized by cooperation between software stored in the storage unit 58 or the ROM 52 and the hardware resources of the creator terminal 11 .
  • the information processing method according to the present technology is realized by loading a program constituting software stored in the ROM 52 or the like into the RAM 53 and executing the program.
  • the program is installed on the creator's terminal 11 via the removable recording medium 61, for example.
  • the program may be installed on the creator terminal 11 via a global network or the like.
  • any non-transitory storage medium readable by the producer terminal 11 may be used.
  • the information processing server 12 which is a server on the cloud, has the same configuration as the creator terminal 11 as shown in FIG.
  • the information processing server 12 may be configured by a plurality of computers.
  • FIG. 7 is a block diagram showing an example hardware configuration of the user terminal 22 that constitutes the music data reproduction system 13 .
  • the user terminal 22 is configured by connecting a photographing unit 72 , a microphone 73 , a sensor 74 , a display 75 , an operation unit 76 , a speaker 77 , a storage unit 78 and a communication unit 79 to the control unit 71 .
  • the control unit 71 is composed of a CPU, a ROM, a RAM, and the like.
  • the control unit 71 executes a predetermined program and controls the overall operation of the user terminal 22 according to user's operation.
  • the user terminal 22 having the control unit 71 functions as a sensing device that senses the current position of the car 21 driven by the user, acceleration of the vehicle body, steering operation, and the like. Further, since the user terminal 22 has the speaker 77, it may function as an output device for outputting the reproduced sound of music data.
  • the photographing unit 72 is configured by a lens, an imaging device, etc., and performs photographing according to control by the control unit 71 .
  • the imaging unit 72 outputs image data obtained by imaging to the control unit 71 .
  • the current position can be obtained based on image data obtained by the imaging unit 72 instead of obtaining the current position using GPS.
  • the microphone 73 supplies the collected sound data to the control unit 71 .
  • the sensor 74 is composed of a GPS sensor (positioning sensor), an acceleration sensor, a gyro sensor, and the like.
  • the sensor 74 measures the current position, speed, acceleration, etc. of the car 21 driven by the user, and outputs sensor data indicating the measurement results to the control unit 71 .
  • the control unit 71 detects that a steering operation has been performed based on the current position, acceleration, and the like, and acquires events such as the car 21 turning left or right or turning at a curve.
  • the display 75 is configured by an LCD (Liquid Crystal Display) or the like, and displays various information such as menu screens and images being captured according to control by the control unit 71 .
  • the area in which the vehicle is currently traveling and the music data linked to that area may be displayed in a playlist format.
  • the operation unit 76 is composed of operation buttons, a touch panel, and the like provided on the surface of the housing of the user terminal 22 .
  • the operation unit 76 outputs information indicating the details of the user's operation to the control unit 71 .
  • the speaker 77 outputs sound based on the reproduction signal of the music data supplied from the control section 71 .
  • the storage unit 78 is composed of a flash memory or a memory card inserted into a card slot provided in the housing.
  • the storage unit 78 stores various data such as image data supplied from the control unit 71 .
  • image data it is also possible to record, for example, how many times the user has circumnavigated the landmark, so that the reproduction control of the music data differs depending on the number of weeks.
  • the communication unit 79 performs wireless or wired communication with an external device such as the information processing server 12 .
  • FIG. 8 is a block diagram showing an example of the functional configuration of the information processing system 1. As shown in FIG.
  • the producer terminal 11 of the information processing system 1 implements a music generation parameter setting section 101 .
  • the music generation parameter setting section 101 is composed of a music information setting section 111 and a trigger information setting section 112 .
  • the music control section 301 is composed of a position information acquisition section 311 , a vehicle body information acquisition section 312 , a music generation parameter control section 313 and a music reproduction control section 314 .
  • the position information acquisition unit 311 and the vehicle body information acquisition unit 312 function as an event acquisition unit that acquires events that occur on the user side. Note that the functions of the position information acquisition unit 311 and the vehicle body information acquisition unit 312 will be described below separately for the position information acquisition unit 311 and the vehicle body information acquisition unit 312, not for the event acquisition unit.
  • the events include events that occur when the user does not board a mobile object (walking, etc.) in addition to events when the user boards a mobile object such as a car.
  • the music control unit 301 may be realized in either one of the car 21 and the user terminal 22 that constitute the music data reproduction system 13, and the car 21 and the user terminal 22 may cooperate to operate the music control unit 301. may be realized.
  • An example of joint operation between the car 21 and the user terminal 22 is, for example, that the car 21 implements the vehicle body information acquisition unit 312 and the user terminal 22 implements the location information acquisition unit 311 .
  • the music information setting section 111 of the music generation parameter setting section 101 which is a component of the producer terminal 11, sets, for example, music information related to music data used for each area according to an operation by the producer. Details of the music information will be described later.
  • trigger information setting unit 112 trigger information defining trigger conditions for executing playback control of music data is set according to an operation by the producer. Details of the trigger information will be described later.
  • the music generation parameter setting section 101 sets music generation parameters based on the music information set by the music information setting section 111 and the trigger information set by the trigger information setting section 112 . For example, information linking music information and trigger information is set as a music generation parameter.
  • the music generation parameter setting unit 101 transmits the music generation parameters to the information processing server 12 via the network 31 .
  • the music generation parameters transmitted from the music generation parameter setting section 101 are stored in a database and managed.
  • the information processing server 12 manages various information such as track files uploaded from the producer terminal 11 .
  • Information such as music generation parameters managed by the information processing server 12 is supplied to the music data reproduction system 13 at a predetermined timing. For example, a plurality of music generation parameters that link various pieces of music information and trigger information are supplied to the music data reproduction system 13 .
  • Various external databases such as a map server 211 and a traffic information server 212 may be connected to the network 31 in addition to the information processing server 12 that stores and supplies music generation parameters.
  • the position information acquisition unit 311 of the music control unit 301 which is a component of the music data reproduction system 13, for example, based on sensor data (such as GPS data) acquired from the sensor 74 built in the user terminal 22, The position information of the vehicle 21 to be driven is acquired.
  • the vehicle body information acquisition unit 312 acquires vehicle body information of the car 21 driven by the user based on sensor data (for example, speed data, acceleration data, etc.) acquired from the sensor 74 .
  • the vehicle body information is, for example, information indicating start/stop, acceleration/deceleration, right/left turn, steering at a curve, etc. when the car 21 is actually running.
  • the music generation parameter control unit 313 responds to the music generation parameters sent from the music generation parameter setting unit 101 or from the information processing server 12 via the network 31 by the vehicle body position acquired by the position information acquisition unit 311 . and the vehicle information obtained by the vehicle information obtaining unit 312.
  • a music generation parameter indicating the content of the playback control is set in advance to ⁇ add an additional track to the main track in the form of an arpeggio when turning right or left at a specific intersection I''. think.
  • the trigger information "specific intersection I” and “turn left or right” and the algorithm “add additional tracks to the main track in arpeggio format” are linked and set as music generation parameters.
  • position information for determining whether or not the car 21 driven by the user has entered a "specific intersection I", and "right or left turn” are required.
  • position information is obtained based on sensor data measured by a GPS sensor (positioning sensor) or the like
  • vehicle body information is obtained based on sensor data measured by an acceleration sensor or a gyro sensor.
  • the vehicle information may be acquired using a sensor mounted on the car 21 instead of the sensor mounted on the user terminal 22 .
  • Playback control is based on an algorithm that adds additional tracks in arpeggiated form to the main track inside.
  • the parameter control section 313 may appropriately control the music generation parameters, or such settings may be made in advance by the producer.
  • the control of music generation parameters is, for example, a process of changing content generation parameters preset by the producer.
  • the music reproduction control unit 314 performs reproduction control on music data based on the music generation parameters controlled by the music generation parameter control unit 313 .
  • the music reproduction control unit 314 When the music generation parameter control unit 313 controls the music generation parameters preset by the producer, the music reproduction control unit 314 performs reproduction control based on the music generation parameters after control. On the other hand, if the music generation parameter control unit 313 does not control the music generation parameters preset by the producer, the music playback control unit 314 reproduces the music preset by the producer. Playback control is performed based on generation parameters.
  • the output unit 401 outputs music data whose reproduction is controlled by the music reproduction control unit 314 .
  • the output unit 401 is, for example, the in-vehicle audio system of the vehicle 21 driven by the user or the speaker 77 built in the user terminal 22 set in the vehicle, but is not limited to this and may be an external speaker.
  • the music reproduction control section 314 may be configured to include the output section 401 .
  • the music reproduction control unit 314 and the output unit 401 are connected by wire or wirelessly, and in the case of wireless connection, various protocols such as Bluetooth (registered trademark) and Wi-Fi (registered trademark) may be used.
  • FIG. 9 is a diagram showing the data structure of the music generation parameters 501 set by the music generation parameter setting section 101 of FIG.
  • the music generation parameters 501 are configured by associating music information 511 and trigger information 512 .
  • the music information 511 is music information set by the music information setting unit 111 .
  • the music information 511 is composed of music parameter information 511A, music metadata information 511B, and tag information 511C.
  • the music parameter information 511A is, for example, information about an algorithm that indicates what kind of playback control is to be performed for music data linked to each area.
  • the music parameter information 511A indicates an algorithm such as "Add an additional track to the main track in arpeggio form” or "Increase the volume of the main track in proportion to the speed” as described above.
  • the music metadata information 511B is information indicating attributes of music data, such as key, beat, BPM (Beats Per Minute), chord, and playback time of music data.
  • the music metadata information 511B may also include, for example, tonality information and instrument type information. Also, if the music data is object audio data, the position data of each object forming the music data may be included as the music metadata information 511B.
  • the type of data to be specified in the music metadata information 511B can be set in advance by the producer.
  • the tag information 511C is, for example, information specifying which main track and additional track are assigned to each set area. Here, if there are multiple additional tracks assigned to each area, they may be linked as one group. Information different from the information specifying the track may be set as the tag information.
  • the trigger information 512 is trigger information set by the trigger information setting unit 112 .
  • the trigger information 512 is composed of area information 512A, landmark information 512B, POI information 512C, and moving object information 512D.
  • the area information 512A is information about the area set on the map by the creator. For example, information on the start position and end position of the area (A in FIG. 2) is set as the area information 512A. A large area (corresponding to a scene described later) composed of a plurality of areas may be set as the area information 512A. Although the details will be described later, the creator can set an area of arbitrary shape on a display screen such as a GUI (Graphical User Interface), for example.
  • GUI Graphic User Interface
  • the landmark information 512B is information indicating landmarks such as Tokyo Tower and Rainbow Bridge.
  • the creator can also set arbitrary buildings such as shrines, temples, and schools as landmarks.
  • the POI information 512C is information indicating specific points other than the aforementioned areas and landmarks. For example, intersections, tunnels, bridges (A in FIG. 2), etc. are set as specific points indicated by the POI information 512C. Which intersections, tunnels, bridges, etc. are set as specific points may be arbitrarily set by the creator, or may be set according to information published on the database of an external service such as Google Map (registered trademark). You may make it set based on.
  • Google Map registered trademark
  • the mobile object information 512D is information associated with a specific event based on location information. For example, as shown in A of FIG. 2, it is information about a moving body such as a car 21 driven by a user, such as start/stop, stop time, right/left turn, and speed.
  • FIG. 10 to 22 a series of operations performed by the creator on the screen will be described with reference to FIGS. 10 to 22.
  • FIG. The series of operations performed by the producer on the setting screen includes, as described above, trigger information that defines the conditions that trigger the execution of music data playback control, and algorithms that define various contents related to playback control. is an operation for setting music generation parameters using, for example, a GUI.
  • the setting screen may be displayed on the display that constitutes the output unit 57 of the creator terminal 11 or may be displayed on an external display connected to the creator terminal 11 .
  • FIG. 10 to 20 are diagrams showing display examples of setting screens displayed on the creator terminal 11.
  • FIG. 10 to 20 are diagrams showing display examples of setting screens displayed on the creator terminal 11.
  • the setting screen is composed of an area setting section 601 used to set an area and a detailed setting section 602 used to make detailed settings for each area set using the area setting section 601 .
  • the area setting portion 601 displays a map of the range selected by the creator.
  • the map displayed in the area setting unit 601 may be pre-stored in the creator terminal 11, or may be acquired via the network 31 from the database of an external service such as the aforementioned Google Map (registered trademark). It may be
  • Fig. 10 is also a screen for adding (newly creating) a scene.
  • the scene is the aforementioned large area. Since a large area includes a plurality of areas, it is more efficient and effective to achieve scalability by setting each scene (that is, large area) rather than setting individual areas individually.
  • the setting screen shifts to the screen of FIG. 11, which is a screen for making detailed settings for the additional scene.
  • the detailed setting portion 602 in FIG. 10 displays an INTRO SCENE tab 621, which is a tab operated when INTRO SCENE, which is a scene that has already been set, is selected.
  • FIG. 11 is a diagram showing the screen after the additional scene creation tab 622 is selected.
  • the setting of the scene to be added and the setting of the main track and additional tracks assigned to the scene to be added are performed.
  • the producer inputs information about the scene to be added to SCENE INFO 702, and inputs information about the main track assigned to the scene to be added to MUSIC INFO 703.
  • the information input to MUSIC INFO 703 is included in the aforementioned music metadata information 511B.
  • the name and ID of the scene are entered as information about the scene to be added.
  • “Creative Scene” is input as the scene name and "01" is input as the ID.
  • Scene names can be set and changed arbitrarily.
  • the track list 701 shows information about additional tracks to be added to the main track during playback control of music data.
  • the additional track is a component of the music data described with reference to FIG. In the example of FIG. 11, three material files of kick, snare, and key are displayed in the track list 701 .
  • the upload tab 704 is a tab operated when uploading music data files.
  • FIG. 12 is a diagram showing an example of a screen used for setting grouping when there are multiple additional tracks.
  • three material files of kick, bass, and vox are displayed in the track list 701 in a grouped state.
  • kick and vox are set as materials for Group1.
  • multiple additional tracks are generally used to achieve various playback controls for the music data, and it is more efficient in terms of production to group each additional track than to handle each additional track individually. good. Producers can set and check combinations of multiple additional tracks that they set themselves.
  • the upload button 705 may be selected to upload.
  • FIG. 13 is a diagram showing the screen after adding one scene.
  • the detailed setting section 602 additionally includes a Creative Scene tab 623 that is operated when selecting the added "Creative Scene" scene.
  • Fig. 14 is a diagram showing a screen used for setting each area that constitutes the "Creative Scene" scene and for setting TAG Information.
  • TAG Information for example, information about main tracks and additional tracks assigned to each area is set.
  • an area A1 of arbitrary size and shape is drawn on the map within the area setting section 601.
  • the creator can select the range of area A1 on the map.
  • the display of the detailed setting section 602 is used to set TAG Information indicating the main track and additional tracks allocated to area A1.
  • the main track assigned to area A1 is set using the display of Area Music ID 801, and the additional track is set using the display of Additional Tracks 802.
  • Area Music ID indicating the main track assigned to area A1 and information indicating additional tracks are set as TAG Information.
  • an Area Music ID of "Area01" is set, and Group2 (FIG. 12) is selected from Group1 to Group3 set as groups for additional tracks.
  • TAG Information is the aforementioned tag information 511C (FIG. 9).
  • the setting of the area on the map by the area setting unit 601 is performed, for example, by arbitrarily setting it on the producer side using a device such as a mouse.
  • the area may be set by selecting an area with an arbitrary shape from among a plurality of preset areas.
  • the setting screen shifts to the screen of FIG. 15 showing the screen used for setting the algorithm defining various contents regarding the reproduction control in the area A1.
  • FIG. 15 is a diagram showing a screen used for algorithm setting in area A1.
  • the creator selects an algorithm to be used in area A1 from the algorithm list 901 of the detail setting section 602.
  • FIG. Algorithm list 901 displays the names of selectable algorithms, for example, in a pull-down format.
  • three types of algorithms are displayed: "Arpeggio" (arpeggio), "Synth” (synthesizer), and "Rhythm” (rhythm).
  • the type of algorithm is not limited to this example. For example, two types may be used, or four or more types may be used.
  • the trigger information related to scenes and areas is arbitrarily set by the creator using a screen (not shown).
  • the trigger information setting and algorithm setting for the scene and each area that constitutes the scene are completed.
  • Music generation parameters are set by associating the trigger information with the algorithm.
  • FIG. 16 is a diagram showing an example of a screen for setting POI information.
  • the POI information is information regarding a specific point, such as a start point and an end point.
  • a point P1 is displayed in addition to the area A1.
  • the button 613 By selecting the button 613, it is possible to set the point P1 at an arbitrary position on the map within the area setting section 601. For example, with the button 613 selected, the point P1 is set by clicking an arbitrary point on the map in the area setting section 601 with the cursor.
  • an algorithm list 902 is displayed in the detail setting section 602, like the screen of FIG. Algorithm list 902 is used by the producer to set an algorithm that defines various details regarding playback control at point P1.
  • point P1 is a special point set by the creator, a unique parameter may be set for the point P1.
  • FIG. 18 is a diagram showing a state in which the "Arpeggio" algorithm is selected from the algorithm list for point P1.
  • parameters such as the length of the notes of the additional track to be played back in arpeggiated form are set as parameters specific to point P1.
  • the trigger information related to point P1 is arbitrarily set by the creator using a screen (not shown), as in the case of scenes and areas.
  • FIG. 19 is a diagram showing an example of a screen regarding landmark setting.
  • the landmark is information such as a start point and an end point related to landmarks such as Tokyo Tower and Rainbow Bridge.
  • the landmark L1 is displayed.
  • the button 611 By selecting the button 611, it is possible to set the landmark L1 at an arbitrary position on the map in the area setting section 601. For example, with the button 611 selected, the landmark L1 is set by clicking an arbitrary point on the map in the area setting section 601 with the cursor.
  • the setting screen shifts to the screen in FIG.
  • the algorithm list 905 for the landmark L1 is displayed in the detail setting section 602.
  • Algorithm list 905 is used by the creator to set algorithms that define various details regarding playback control for landmark L1.
  • a transition may be made to a screen for setting an algorithm defining various contents regarding the reproduction control in the landmark L1.
  • Screen transition means may be appropriately changed by the vendor or creator of the application of the setting screen.
  • Arbitrary parameters may be added or changed by the creator.
  • Type of additional track that is additionally played when the user-driven car drives around the landmark L1 (select Guidance in CONTENTS TYPE) 2.
  • Processing based on the distance between the car 21 driven by the user and the landmark L1 (select Distance in PLAYBACK SETTING) 3.
  • Set volume change as effect processing (select Volume Change in EFFECT SETTING)
  • the main track is changed from the music data to the guidance voice regarding the landmark L1.
  • the landmark L1 is a special point set by the creator. , the creator can express various variations, and it becomes possible to provide a music experience that users will not get tired of. For example, the producer provides a musical experience such as "apply reverb processing only to the vocal of the main track as the landmark L1 is approached” or "change the type of guidance voice according to the number of times the landmark L1 is passed". can do.
  • each algorithm set using the display of the algorithm lists 901, 902, and 905 described above is the music parameter information 511A (FIG. 9) described above.
  • the unique parameter 903 at point P1 and the unique parameter at landmark L1 may be included in the music parameter information 511A.
  • the area setting section 601 is displayed on the left side of the display screen, and the detail setting section 602 is displayed on the right side of the display screen.
  • the left and right sides may be reversed, or the layout may be changed by the creator's preference.
  • FIG. 21 is a diagram showing an example of a product in a series of operations by the creator using the setting screen.
  • areas numbered 1 to 22 are set on the map. Each area number corresponds to the Area Music ID, and the main track identified by the Area Music ID is displayed as an icon. As an example, Area 1 to Area 22 may be collectively displayed as one scene (large area).
  • the main track may be played by clicking the speaker icon in each area so that the producer can check the preview.
  • the shape of the icon is not limited to this.
  • Each area may be displayed in a way that the creator can identify it, such as by color-coding. Also, if there are particularly important areas or favorite areas, they may be displayed with an icon such as a star mark.
  • each producer will set music generation parameters for many regions other than Japan, including foreign countries (for example, Tokyo and Osaka for Japan, New York and Paris for foreign countries).
  • a product set for a specific region may be diverted to another region, or the product may be shared among producers. This makes it possible to increase production efficiency and achieve scalability.
  • layout proposals for products produced in a specific region that have been diverted to another region can be displayed, and layout proposals produced in the past by experienced producers can be displayed in a pull-down format for novice producers. You may enable it to be selected.
  • FIG. 22 is a flowchart relating to a series of operations performed by the creator using the setting screen. The processing of each step shown in FIG. 22 is performed by each section of the music generation parameter setting section 101 according to the operation of the producer (FIG. 8).
  • step S1 the music generation parameter setting section 101 accepts selection of the scene addition tab 622 by the producer, and a screen used for setting the main track and the additional track to be assigned to the scene (large area) to be added (newly created). display.
  • step S2 the music information setting unit 111 sets information about the main track to be played back in the additional scene according to the producer's operation on the screen for detailed setting of the main track to be assigned to the additional scene.
  • step S3 the music information setting unit 111 sets information regarding additional tracks to be added to the main track set in step S2.
  • step S4 the music information setting unit 111 sets information about the main track for each area that constitutes a scene.
  • step S5 the music information setting unit 111 sets information regarding additional tracks to be added to the main track set in step S4.
  • a single additional track may be set, or a group of multiple additional tracks may be set.
  • step S6 the trigger information setting unit 112 sets trigger information.
  • step S7 the music information setting unit 111 sets music parameter information according to the algorithm set by the producer.
  • step S8 the trigger information setting unit 112 sets POI information and landmark information indicating the setting contents according to the POI and landmark settings made by the creator. Similar to steps S6 and S7, trigger information setting and algorithm setting are performed for the POIs and landmarks set in step S8.
  • step S9 the music generation parameter setting unit 101 sets music generation parameters by associating trigger information set for scenes, areas, POIs, and landmarks with music information including algorithm settings.
  • step S10 the music generation parameter setting unit 101 transmits the music generation parameters set in step S9 to the information processing server 12 via the network 31. After that, a series of processes related to the setting of music generation parameters is completed.
  • FIGS. 10 to 22 A series of operations performed by the creator on the screen and an example of the screen displayed on the creator side have been described above using FIGS. 10 to 22.
  • FIG. 23 is a diagram showing a reproduction space in the music data reproduction system 13.
  • the reproduction space is the interior space of the car 21 driven by the user, as described above.
  • a user terminal 22 such as a smart phone is installed on a dashboard in the vehicle interior.
  • the music data whose reproduction is controlled may be output from the speaker 77 of the user terminal 22 or may be output from the audio system of the car 21.
  • FIGS. 24 to 30 are diagrams showing specific examples of music data reproduction control in the music data reproduction system 13.
  • FIG. The musical notes in FIGS. 24 to 30 indicate that the reproduced sound (music) of the music data is being output inside the car 21 while driving through each area or point, as in the case of FIG. show.
  • FIG. 24 is a diagram showing an example of regeneration control when the travel area is switched.
  • the scenery on the left side of FIG. 24 is the scenery in front of the car 21 traveling in the area A11 shown on the map on the right side. While traveling in the area A11, as indicated by the musical notes under the scenery, the reproduced sound of the music data (main track) assigned to the area A11 is output inside the vehicle.
  • FIG. 25A is a diagram showing an example of reproduction control on a curve.
  • playback control is performed by dynamically changing parameters such as volume according to the amount of steering operation. For example, the steeper the curve, the louder the additional track added to the main track.
  • FIG. 25B is a diagram showing an example of regeneration control based on stopping/starting at an intersection or the like.
  • the reproduction control is performed by changing the types of notes forming the additional tracks added to the main track according to the acceleration at the time of starting. For example, the greater the acceleration, the greater the proportion of 16th notes and 32nd notes that make up the additional track, which can give the user a sense of exhilaration.
  • FIG. 26 is a diagram showing an example of playback control based on passage of landmarks.
  • Fig. 26 shows the scenery when approaching Tokyo Tower, which is set as the landmark L1.
  • the reproduced sound of the music data set for the landmark L1 is output with the sound source localized in the direction of the landmark L1.
  • the reproduction control based on passage of the landmark is performed such that the vocal of the main track is subjected to reverb processing as it approaches the landmark L1.
  • reproduction control such as changing the type of additional track to be added to the main track is performed between the first and second passages.
  • FIG. 27 is a diagram showing an example of reproduction control when traveling at a specific point indicated by POI information.
  • FIG. 27A shows reproduction control when the vehicle enters a specific intersection P11 indicated by the POI information and then proceeds straight.
  • FIG. 27B shows the regeneration control when the vehicle enters the intersection P11 and then turns right (left).
  • FIG. 28 is a diagram showing another example of reproduction control when traveling at a specific point indicated by POI information.
  • points such as tunnels are points where location information from the GPS sensor is easily interrupted.
  • point p1 which is the starting point of point P12 in FIG.
  • a hatched point P12 indicates the range within the tunnel.
  • the current vehicle is based on the position information acquired by the position information acquisition unit 311 and the vehicle body information acquired by the vehicle body information acquisition unit 312 before entering point P12.
  • the time from the travel position to the point P12 is measured in advance. Synchronous playback is performed according to the time until the point P12 is entered, so that even if the position information from the GPS sensor is interrupted at the point p1, the synchronously played back sound can be played without skipping or the like. It is possible to output in the car.
  • FIG. 29 is a diagram showing an example of regeneration control based on traffic conditions in the area in which the vehicle is running.
  • FIG. 29 shows the traffic situation while driving in area A11.
  • a of FIG. 29 shows a situation where no traffic jam occurs in area A11
  • B of FIG. 29 shows a situation where traffic jam occurs in area A11.
  • Traffic congestion is a stressful situation for the user, and even in a situation where traffic congestion is occurring, the user may feel bored if music data is simply output based on the same playback control as in normal times. There is a possibility that
  • information on areas where traffic congestion occurs is acquired in advance from the traffic information server 212 or the like, and an alert sound is output when the distance to the area where traffic congestion occurs is within a predetermined distance.
  • Playback control may be performed such as As a result, the user can know in advance that he or she will encounter traffic congestion, and can consider alternative routes.
  • the content of music data playback control is dynamic depending on road conditions and weather (maintained roads and bad roads, road conditions on sunny days and road conditions on rainy and snowy days, etc.). may be changed to When detecting road conditions, various information about road conditions (road surface dry, wet, wet, snow, ice, gravel, coefficient of friction, etc.) may be acquired by the user terminal 22 or the sensor of the vehicle 21.
  • FIG. 30 is a diagram showing an example of reproduction control based on information such as speed information of a travel area.
  • Area A11 shown in FIG. 30 is the same area as area A11 in FIG. For example, it is assumed that the area A11 in FIG. 30 and the adjacent area A12 have different speed limits.
  • area A11 is an area including general roads with a speed limit of 40 km/h.
  • Area A12 is an area including a highway with a speed limit of 80 km/h. In both area A11 and area A12, when the music generation parameter indicating the content of the playback control is set to "add an alert sound to the main track and play it when the speed of the car 21 reaches 40 km/h". think of.
  • the speed limit in area A12 is 80 km/h, so it is extremely likely that the vehicle will run at a speed faster than 40 km/h during normal driving. Therefore, if the above-mentioned music generation parameter indicating the contents of the playback control that "when the speed of the car 21 reaches 40 km/h, the alert sound is added to the main track and played" remains unchanged, the alert sound will not be sent to the user. will be output continuously.
  • FIG. 1 A specific example of music data reproduction control in the music data reproduction system 13 has been described above with reference to FIGS. A specific example of music data reproduction control is not limited to the cases of FIGS. 24 to 30. FIG.
  • FIG. 31 is a flow chart when music data playback control is performed in the music data playback system 13, which is the configuration on the user side.
  • the processing of each step is started after the music generation parameters sent from the information processing server 12 are acquired by the music control unit 301 .
  • a plurality of music production parameters created by different producers are obtained.
  • Acquisition of the music generation parameters is performed by the communication unit 79 of the user terminal 22, but instead, the acquisition may be performed by the communication unit mounted on the car 21 driven by the user.
  • the music generation parameters are set in association with the trigger information and the music information.
  • the trigger information is information that defines a trigger condition for executing playback control of music data, and is indicated by A in FIG. 2, for example.
  • the music information includes information such as music parameter information 511A that indicates what kind of reproduction control is to be performed on music data.
  • the music parameter information 511A is, for example, information regarding an algorithm indicating what kind of reproduction control is to be performed for music data linked to each area.
  • step S ⁇ b>11 the position information acquisition section 311 of the music control section 301 acquires position information of the car 21 driven by the user based on various sensor data supplied from the sensor 74 .
  • step S ⁇ b>12 the vehicle body information acquisition unit 312 acquires vehicle body information of the vehicle 21 based on various sensor data supplied from the sensor 74 .
  • the aforementioned event acquisition is performed through steps S11 and S12. That is, the position information acquisition unit 311 and the vehicle body information acquisition unit 312 function as an event acquisition unit that acquires events that occur on the user side.
  • step S ⁇ b>13 the music generation parameter control unit 313 determines the position information of the car 21 acquired by the position information acquisition unit 311 and the vehicle body information of the car 21 acquired by the vehicle body information acquisition unit 312 . determines whether or not the trigger information set in the music generation parameters acquired in 1. is satisfied. That is, it is determined whether the acquired event satisfies the trigger information.
  • step S13 If it is determined in step S13 that the acquired event satisfies the trigger information set in the music generation parameters acquired before the start of processing, the process proceeds to step S14.
  • step S14 the music generation parameter control unit 313 determines whether it is necessary to change the music generation parameters acquired before the start of processing, based on the acquired event and trigger information.
  • step S14 If it is determined in step S14 that it is necessary to change the music generation parameters acquired before the start of processing, the processing proceeds to step S15.
  • the music data reproduction system 13 when changing the music generation parameters in the music data reproduction system 13, when the music generation parameters are set on the producer side, the music data reproduction system 13 is set in advance so that the music generation parameters are changed. may be set to
  • step S15 the music generation parameter control unit 313 changes (controls) the music generation parameters acquired before the start of processing.
  • the music generation parameters acquired before the start of processing are changed, for example, the example described with reference to FIG. 30 can be mentioned.
  • step S16 the music reproduction control section 314 performs music data reproduction control based on the music generation parameters changed in step S15.
  • step S14 determines whether the music generation parameter does not need to be changed. If it is determined in step S14 that the music generation parameter does not need to be changed, the process of step S15 is skipped, and music data reproduction control is performed in step S16.
  • step S15 the music generation parameters acquired before the start of processing are not changed in step S15.
  • step S16 reproduction control is performed on the music data based on the music generation parameters acquired before the start of processing.
  • step S17 the output unit 401 outputs the reproduced sound of the music data whose reproduction is controlled to the vehicle interior space. If it is determined in step S13 that the trigger information set in the music generation parameters is not satisfied, the process proceeds to step S17 to continue outputting the reproduced sound.
  • step S18 the music control unit 301 determines whether or not the user has finished driving. Whether or not the operation has ended may be determined by turning the engine ON/OFF, for example. If it is determined in step S18 that the operation will not end, the processes after step S11 are restarted. If it is determined in step S18 that the operation has ended, the process ends.
  • the process may be started and terminated based on the user's voice recognized by the microphone 73 provided in the user terminal 22.
  • the microphone 73 provided in the user terminal 22 or the speech recognition system of the car 21 recognizes wake words such as "I'm a little sleepy so play some music” and "I want to concentrate on driving so please stop playing music”. is the case.
  • a biosensor provided in the seat of the car 21 acquires biometric data such as the sweating state, heart rate, and electroencephalogram of the driver and passengers, and based on those biodata, the driver's It is conceivable to estimate the degree of drowsiness, the degree of tension, etc., and use it to control the music generation parameters.
  • the music generation parameters so as to perform playback control such as adding music data that encourages wakefulness or voice that encourages rest as an additional track for a driver who is becoming sleepy. be.
  • the music generation parameter may be changed so as to perform playback control such that a voice encouraging driving is added as an additional track according to the user's degree of nervousness. In this way, this technology can also be applied to accessibility.
  • FIG. 32 is a diagram showing an example of tracks to be subjected to reproduction control.
  • playback is performed for tracks set using existing songs and tracks (sound source data) newly created by the producer and uploaded to the information processing server 12 as shown in A of FIG.
  • a track obtained by performing sound source separation on an existing music piece may be used as an object of reproduction control.
  • FIG. 33 is a diagram showing an example of playback control for tracks generated by sound source separation.
  • the vehicle has started running from position P1, which is a position within a certain area. From the position P1 to the position P2, the above-described reproduction control is performed according to the vehicle body information and the like, targeting the existing music set for the area in which the vehicle is running. For example, playback control for existing music delivered by a streaming service is performed up to position P2.
  • trigger information or the like is set to switch the music subject to playback control to a remix compatible music when approaching position P2 where a landmark such as Tokyo Tower is located.
  • the user terminal 22 acquires the remix compatible music and performs sound source separation.
  • Separation information including information indicating that the content (music) can be separated, for example, is associated with the remix compatible music.
  • the music for which sound source separation is possible is acquired based on the separation information, and sound source separation is performed.
  • FIG. 34 is a diagram showing types of sound sources.
  • four types of sound source separation are possible: 2 sound sources, 4 sound sources, 6 sound sources, and 10 sound sources.
  • 2 sound sources For example, when sound source separation is performed for two sound sources, tracks for Vocal and Others are obtained, and when sound source separation for four sound sources is performed, tracks for Bass, Drums, Vocal, and Others are obtained.
  • Information indicating the types of separable sound sources may be included in the separation information.
  • playback control reflecting driving information is performed up to position P3 for each track acquired by sound source separation.
  • sound source separation of two sound sources is performed in the user terminal 22 and respective tracks of Vocal and Others are acquired, musical effects suitable for the Vocal track are given by playback control.
  • the contents of playback control are switched depending on the type of track obtained by sound source separation.
  • the contents of music effects such as effects may be set for each track.
  • the Vocal track is processed while driving through a tunnel, such as adding reverb.
  • a track obtained from the same music as the main track may be used, or a track obtained from another music may be used. good too.
  • music tracks with similar parameters such as BPM and keys are added to the main track.
  • FIG. 35 is a block diagram showing a configuration example of the music control unit 301 including the configuration for performing sound source separation as described above.
  • the same components as those described with reference to FIG. 8 and the like are denoted by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • the music control unit 301 shown in FIG. 35 includes a music acquisition unit 701, a music information acquisition unit, in addition to the position information acquisition unit 311, the vehicle body information acquisition unit 312, the music generation parameter control unit 313, and the music reproduction control unit 314 described above. 702, a sound source separation unit 703, a driving information acquisition unit 704, and a music reconstruction unit 705 are provided.
  • the position information acquisition unit 311 and the vehicle body information acquisition unit 312 are provided as functional units that configure the driving information acquisition unit 704
  • the music generation parameter control unit 313 is provided as a functional unit that configures the music reconstruction unit 705 .
  • the music acquisition unit 701 acquires music data, which is data of a music to be subjected to sound source separation.
  • the music data may be obtained from a server that provides a streaming service, a server on the cloud such as the information processing server 12 , or may be obtained from within the user terminal 22 .
  • the music data acquired by the music acquisition unit 701 is associated with music information, meta information, and separation information.
  • Each piece of music data may be associated with at least one of the three types of information rather than all of the three types of information.
  • Music information is information that indicates the attributes of a song, such as key, beat, and BPM.
  • the music metadata information 511B described above corresponds to music information.
  • the meta information includes information indicating the parts (sections) used for remixing, information indicating the remix method, and so on. At least one of the information constituting the music parameter information 511A described above may be included in the meta information.
  • the separation information includes information indicating the type of sound source as described with reference to FIG. It contains information indicating whether At least one of the information may be included in the separation information instead of including all three types of information. In addition to the information described above, information such as sound source waveform data and musical score data may be included.
  • separation information including information indicating that sound source separation has been performed is associated with music data for which sound source separation has been performed in the user terminal 22 or the information processing server 12 used by a certain user. . If the data of each track obtained by sound source separation is stored in the server that performed the sound source separation, information indicating the storage location of the data of each track may be included in the separation information.
  • the user terminal 22 does not perform sound source separation, and the data of each track is acquired based on the information indicating the storage location. be. In addition, reproduction control is performed on the acquired data of each track. This eliminates the need to perform sound source separation each time, making it possible to reduce the processing load on the user terminal 22 .
  • a playlist selected by the user is referred to, and sound source separation is performed before playback of each song is started.
  • the playlist includes information indicating the playback order of each piece of music.
  • the music data acquired by the music acquisition unit 701 is supplied to the music information acquisition unit 702 and the sound source separation unit 703 .
  • the music information acquisition unit 702 acquires music information by analyzing the music data supplied from the music acquisition unit 701 or by referring to music information linked to the music data.
  • the music information includes, for example, genre of music, chord progression, structural information such as A melody/B melody, score information such as MIDI data, and information indicating BPM. information may be included.
  • Acquisition of music information by the music information acquisition unit 702 is performed by analyzing track data supplied from the sound source separation unit 703 as appropriate. For example, by analyzing a vocal track, melody information is acquired as music information.
  • the music information acquired by the music information acquisition unit 702 is supplied to the music reconstruction unit 705 .
  • the sound source separation unit 703 performs sound source separation on the music data supplied from the music acquisition unit 701, and acquires data of a predetermined number of tracks such as 2 sound sources, 4 sound sources, 6 sound sources, and 10 sound sources.
  • the number of sound sources separated by the sound source separation unit 703 may be automatically set by the music control unit 301, for example, or may be set by the user as appropriate.
  • the sound source separation by the sound source separation unit 703 may be performed by analyzing the signal, or may be performed using an inference model generated by machine learning. In the latter case, the sound source separation unit 703 prepares an inference model that receives music data and outputs track data of each sound source. The track data of each sound source acquired by the sound source separation unit 703 is supplied to the music information acquisition unit 702 and the music reconstruction unit 705 .
  • the inference model used for sound source separation may be re-learned to improve the performance of sound source separation.
  • the driving information acquisition section 704 is configured to include a position information acquisition section 311 and a vehicle body information acquisition section 312 .
  • a position information acquisition unit 311 of the driving information acquisition unit 704 acquires position information of the car 21 driven by the user based on data supplied from a positioning sensor or the like built into the user terminal 22 as the sensor 74 .
  • the vehicle body information acquisition section 312 of the driving information acquisition section 704 acquires the vehicle body information of the car 21 driven by the user based on the sensor data supplied from the sensor 74 .
  • the vehicle body information is information indicating the running state of the vehicle 21, such as starting/stopping, accelerating/decelerating, turning left or right, turning the steering wheel on a curve, and the like.
  • the position information acquired by the position information acquisition unit 311 and the vehicle body information acquired by the vehicle body information acquisition unit 312 are supplied to the music reconstruction unit 705 together with other information as driving information, as shown in FIG. 36C.
  • map information and external information are shown as information constituting driving information.
  • External information is information including POI information and area information included in the trigger information 512 .
  • the music generation parameter control unit 313 of the music reconstruction unit 705 performs reproduction control that reflects the position information and vehicle body information included in the driving information supplied from the driving information acquisition unit 704 based on the music generation parameters.
  • the music composed of arbitrary tracks separated by the sound source separation unit 703 is remixed.
  • the music generation parameters indicating the music remixed by the music reconstruction unit 705 are supplied to the music reproduction control unit 314 together with the data of each track.
  • the music reproduction control unit 314 reproduces each track based on the music generation parameters indicating the remixed music supplied from the music reconstruction unit 705 .
  • a reproduced sound based on the music generation parameters is output from a speaker that constitutes the output unit 401 (FIG. 8), such as the speaker 77 built in the user terminal 22 .
  • the information processing server 12 which is a server on the cloud.
  • FIG. 37 is a diagram showing a concrete example of remixing an existing song.
  • an existing song with a stereo sound source is acquired as a target for sound source separation.
  • the existing music to be subjected to sound source separation is analyzed by the music information acquisition unit 702, and section information such as BPM, A melody/B melody, etc. is acquired.
  • sound source separation is performed by the sound source separation unit 703, and the Vocal track and the Others track are obtained.
  • main melody information main melody
  • music generation parameters indicating the chord progression, instrumentation, and performance information are set by the music reconstruction unit 705 (music generation parameter control unit 313) based on the main melody information of the vocal track. ) and remixed using music generation parameters.
  • the performance information is information indicating how to play each musical instrument, tone color, and the like. For example, music generation parameters are generated that indicate a chord progression that matches the main melody information of the vocal track.
  • Driving information is also used as appropriate to generate music generation parameters.
  • a piece of music consisting of a Vocal track and an Other track is generated as a piece of music after remixing.
  • the Other track is, for example, a track used for harmonizing the Vocal track.
  • the entire music piece may be remixed, or a partial remix such as the chorus may be performed.
  • Other tracks may be prepared in advance by the producer, or may be automatically generated based on information obtained from the system (information processing server 12).
  • FIG. 38 is a diagram showing an example of the process of joining existing songs.
  • the processing for switching the music to be played back from music A to music B will be described. It is assumed that the music B is set as the music to be reproduced after the music A according to a playlist or a list of music prepared in advance.
  • the playback order of songs may be recommended using local data of the user terminal 22 or a DB on the cloud. Song recommendations are based on key, BPM, artist name, genre, and more.
  • Music A and music B are existing music including Vocal tracks and Other tracks, respectively, as shown in FIG.
  • Vocal track T A1 and Other track T A2 are obtained by sound source separation for music A
  • Vocal track T B1 and Other track T B2 are obtained by sound source separation for music B.
  • the trigger information or the like is set such that when the landmark approaches the position P11, the music subject to reproduction control is switched to the remix compatible music.
  • the vocal track T A1 of the song A continues to be reproduced, and the other track of the song B is replaced with the other track T A2 of the song A. Playback of T B2 has started.
  • reproduction control targeting Vocal track T A1 of music A and Other track T B2 of music B is performed.
  • the vocal track T B1 of music B is used as the object of reproduction control together with the other track T B2 of music B. be done.
  • Information indicating a section in which playback control is performed for tracks of different songs may be included as meta information (B in FIG. 36) as information on a location suitable for splicing.
  • meta information information on the start position and end position of each section such as the intro, A melody, and B melody is set in the meta information as information on a part suitable for splicing.
  • the information about the parts suitable for splicing is set, for example, by the producer or by analyzing the music.
  • a predetermined limit may be set for a track that has restrictions on the playback location and remix method, and optimization at the time of splicing may be performed.
  • remixing may be performed after signal processing such as time stretching. Also, instead of using all the constituent elements of a specific sound source obtained by sound source separation for remixing, only some constituent elements such as tone color may be used for remixing.
  • FIG. 40 is a diagram showing another example of joining processing of existing songs.
  • the speed follow-up mode is a mode in which a piece of music with a BPM corresponding to the running speed is played.
  • reproduction control is performed according to vehicle body information, etc., for a 120 BPM song set for the area in which the vehicle is traveling. Instead of the entire piece of music, a section of a piece of music may be played back.
  • the music of 128 BPM is used as the target of reproduction control
  • the music of 124 BPM is used as the target of reproduction control.
  • the trigger information or the like is set to switch the music subject to playback control to the remix compatible music when the position P24 is approached.
  • the music of 124 BPM is maintained as the object of reproduction control.
  • the music of 124 BPM is used as the target of reproduction control, as in the immediately preceding section.
  • the target of playback control is switched to the specific sound source track of the 124 BPM music obtained by sound source separation.
  • the music is remixed by adding a sound source track of another music with the same BPM (124 BPM).
  • remixing for example, if the running speed is faster than the threshold speed, the track of the song whose BPM is higher than the threshold is selected, and if the running speed is slower than the threshold speed, the song whose BPM is lower than the threshold is selected. track is selected.
  • FIG. 41 is a diagram showing an example of a production workflow when sound source separation is used.
  • sound source separation of existing music is performed on the cloud side (information processing server 12 side).
  • the producer operates the producer terminal 11 and uploads the existing music as indicated by arrow #1.
  • settings such as meta information are made for each track as indicated by arrow #3.
  • a downward pointing triangle in FIG. 41 indicates the setting position of the meta information.
  • Trigger information defining trigger conditions for executing playback control is set as meta information as appropriate.
  • FIG. 42 is a diagram showing a configuration example of the information processing server 12 when sound source separation is performed on the cloud side.
  • the music control unit 301 is implemented in the information processing server 12 as shown in FIG. Not all functional units of the music control unit 301 are implemented, but some functional units may be implemented in the information processing server 12 .
  • the same components as those described with reference to FIG. 35 are given the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • music data uploaded as a target for sound source separation is acquired by the music acquisition unit 701 and output to the music information acquisition unit 702 and the sound source separation unit 703 .
  • the driving information acquisition unit 704 acquires vehicle body information based on sensor data transmitted from the vehicle 21 .
  • reproduction control unit 314 reproduction control based on the music generation parameters supplied from the music reconstruction unit 705 is performed for the data of each track.
  • Data of the reproduced sound is transmitted to the user terminal 22 and output from the speaker in the car 21 .
  • ⁇ Playback control Recognizes the object in the image captured by the imaging unit 72, which is the camera of the user terminal 22, and changes the music generation parameter according to the position of the recognized object on the image.
  • Playback control may be performed by By dynamically changing the music generation parameters so as to follow changes in the state of the object in the image, such as the position on the image, the music itself that is output to the user can be played dynamically in real time. will change with
  • a depth map or thermography obtained from a depth sensor may be used to change the music generation parameter to perform playback control. .
  • FIG. 43 is a diagram showing an example of object recognition.
  • cars C1 and C2 are shown in the image taken while driving, as shown in A of FIG. 43, cars C1 and C2 are recognized as shown in a frame in B of FIG.
  • the automobile C1 is photographed at a lower left position from the center of the image, and the automobile C2 is photographed at a slightly right position from the center.
  • the user terminal 22 is prepared with a recognition model corresponding to the type of object to be recognized.
  • FIG. 44 is a diagram showing an example of music generation.
  • the state of the landscape shown in the upper part of FIG. 44 is the same as the state described with reference to FIG.
  • the automobile C1 is shown at a lower left position from the center of the image
  • the automobile C2 is shown at a slightly right position from the center.
  • music generation parameters indicating the scale of the melody are set based on the positions of the cars C1 and C2 recognized by object recognition, and music based on the set music generation parameters is played. For example, when the car C1 and the car C2 are recognized while playing music linked to the area in which they are traveling, the music generation parameters are set based on the respective positions of the car C1 and the car C2, and the set music is played. The music continues to play, adding sounds according to the generation parameters.
  • the music generation parameters are set based on the changed positions of the cars C1 and C2 (change ), and the music that has been varied using the set music generation parameters is played.
  • the different arrangement of notes shown in the upper and lower stages of FIG. 44 indicates that different music is being reproduced.
  • the user can drive while enjoying the changes in the music.
  • the user can enjoy ever-changing music because the music generation parameters are set so as to reflect the movement of the car or object that the user is driving.
  • FIG. 45 is a diagram showing another example of object recognition.
  • the scenery shown in FIG. 45 is the scenery photographed when the car driven by the user is approaching the intersection.
  • the recognition model used for object recognition is switched to the model for person recognition.
  • the person H1 and the person H2 are shown in the photographed image as shown in FIG. 45A
  • the person H1 and the person H2 are recognized as shown in a frame in FIG. 45B.
  • the person H1 and the person H2 are shown at positions to the right of the center of the image.
  • music generation parameters are set based on the respective positions of person H1 and person H2, and music based on the set music generation parameters is played.
  • music generation parameters are set based on the respective positions of person H1 and person H2, and music based on the set music generation parameters is played.
  • a car is also shown in the image shown in FIG. 46, but the car is not recognized, and the music generation parameters are set based on the position of the person to be recognized.
  • a car may be recognized along with a person, and music generation parameters may be set based on the positions of the person and the car.
  • the type of object to be reflected in the music generation parameters is switched according to the user's movement state, such as the running state such as running/stopped, or the current position.
  • the type of object to be reflected in the settings of the music generation parameters can be switched so that an object that is easy for the user to visually recognize as moving is targeted for recognition.
  • An object that a user can easily visually recognize as moving while driving is an automobile, and an object that is easily visually recognized by a user at an intersection is a person.
  • FIG. 47 is a diagram showing an image of music generation according to the position of an object.
  • a keyboard is virtually arranged in front of a rectangle F indicating the imaging range of the user terminal 22, and the virtually arranged keyboard is pressed according to the position of an object. become an image. For example, if the object is on the left side of the image, the music generation parameters are set so that a low melody sound is added to the main music. Also, when the object appears on the right side of the image, the music generation parameters are set so as to add a high melody sound to the main music.
  • the type of object to be recognized is switched, and the music changes according to the movement (change in position) of the object, so that the user can visually see which movement of the object the change in the music is linked to. It becomes possible to understand.
  • a music generation parameter is associated with each type of object, and the music generation parameter associated with a recognized object may change according to the state of the object.
  • a rhythm music generation parameter is associated with an automobile as a recognition target
  • a melody music generation parameter is associated with a person.
  • Brightness of Captured Image Reproduction control may be performed such that music is changed based on the brightness of the image displayed on the display 75 .
  • This function is used, for example, when the user displays an image (moving image) of scenery or the like on the display 75 .
  • the image displayed on the display 75 may be an image captured by the imaging unit 72 or may be an image captured by another imaging device and imported into the user terminal 22 . Images taken by the camera of the user terminal 22 attached to the dashboard of the car may be used for playing music.
  • FIG. 48 is a diagram showing a display example of the user terminal 22 during music playback.
  • FIG. 48 shows the user terminal 22 displaying an image of a beach scene.
  • image analysis is performed on each frame of the moving image, and the music output to the user changes based on the detected brightness.
  • Music variation is achieved by varying the music generation parameters based on luminance.
  • the brightness of the image shown in FIG. 48 changes according to changes in wave conditions and the like.
  • the music being played will change in conjunction with changes in the state of the waves.
  • the luminance detection positions are set at a plurality of positions within the frame as indicated by crosses in FIG. In the example of FIG. 49, five detection positions in the vertical direction and seven detection positions in the horizontal direction are arranged at regular intervals. For example, the brightness of pixels at each detection position is detected, and music is reproduced based on each brightness.
  • the pixel whose luminance is to be detected at one detection position may be one pixel, or may be a plurality of pixels. Note that the luminance detection positions may be fixed, or the positions and the number of detection positions may be changed by the user. Moreover, it may change dynamically according to the type of content.
  • the effect image P in FIG. 48 displayed superimposed on the landscape image indicates the respective detection positions.
  • a pale-colored circular image with a predetermined degree of transparency is displayed as the effect image P.
  • Five effect images P are arranged in the vertical direction and seven in the horizontal direction, and displayed at equal intervals.
  • the size of the effect image P changes according to the brightness of each detection position, as shown in FIG. Since the brightness of each detection position changes according to the change of the wave state, the size of the effect image P displayed at each detection position changes in conjunction with the change of the wave state.
  • the color of the effect image P may change according to the luminance, or the shape of the effect image P may change according to the luminance. In this way, it is possible to change the state of various components of the effect image according to the luminance.
  • the luminance detection position may be set at only one position instead of being set at a plurality of positions.
  • mapping may be performed to set the detection position to an arbitrary position based on the analysis results of the image.
  • the number and locations of detection positions change according to the content of the image.
  • FIG. 51 is a diagram showing an example of music generation.
  • FIG. 51 shows an example of music generation based on luminance at each detection position of detection positions P1 to P3, which are some of the detection positions.
  • Detection positions P1 to P3 are detection positions set at the upper left, center, and lower right of the image, respectively.
  • a scale sample A which is music of a predetermined length, is commonly set for each detection position.
  • a music generation parameter specifying which note of the scale to start playing changes with brightness.
  • it is designated to reproduce from the scale indicated by the ellipse #1 according to the brightness of the detection position P1, and to reproduce from the scale indicated by the ellipse #2 according to the brightness of the detection position P2. specified. Further, it is designated to reproduce from the scale indicated by the ellipse #3 according to the brightness of the detection position P3.
  • the sound of scale sample A reproduced from the scale specified by each music generation parameter is synthesized and output.
  • the image of music generation as described above is an image in which a musical instrument is virtually arranged at each detection position on the image, and sound is output from the plurality of virtually arranged musical instruments.
  • the work on the creator terminal 11 may be performed using a three-dimensional simulation tool.
  • FIG. 52 is a diagram showing a display example of a map used for area setting.
  • a three-dimensional map such as that shown in FIG. 52 may be displayed on the setting screen such as that shown in FIG. 10 and used to set the area.
  • a three-dimensional map is displayed, for example, by a three-dimensional simulation tool.
  • the producer can set points that trigger remixing of music by specifying positions P101 and P102, which are positions on the three-dimensional map.
  • This technology can also be applied to music playback on moving bodies other than automobiles, such as trains and bicycles. Further, the playback control as described above may be performed while the user is walking.
  • An old sound source such as a tape sound source may be used as a target for sound source separation. There is a possibility that the sound quality will improve, such as by eliminating noise during recording.
  • the good/bad compatibility when used in combination during remixing may be set for each track.
  • tracks with easy-to-understand parts, and tracks obtained from songs with a standard band composition are compatible with each other.
  • tracks acquired from songs with uneven parts and tracks acquired from songs performed using folk instruments are incompatible with each other.
  • the quality of sound source separation may be evaluated by quantitative evaluation or qualitative evaluation. Quality evaluation may be performed based on user reviews, such as by statistically analyzing comments.
  • the track data may be uploaded to the information processing server 12 together with the existing music data as correct data for sound source separation.
  • the production workflow is provided with a mechanism for collecting learning data used for learning an inference model for sound source separation.
  • the track data of each sound source obtained by sound source separation that has already been performed may be stored in the information processing server 12 .
  • the user terminal 22 requests the information processing server 12 for track data after sound source separation, and the track data transmitted from the information processing server 12 in response to the request is used for reproduction control.
  • music data may be set for each area set in the Metaverse space, and music data playback control may be performed when the area is switched. Further, when there is an acquaintance of the user in the area, reproduction control may be performed such that the notification sound is additionally reproduced as an additional track to the main track.
  • the present technology can also be configured as follows. (1) a content information setting unit that sets content information including content parameter information that defines content playback control; a trigger information setting unit that sets trigger information defining conditions for executing playback control of the content; A content generation parameter setting unit that sets content generation parameters by linking the content information and the trigger information. (2) The information processing apparatus according to (1), further comprising a display unit that displays a screen for setting the content generation parameter. (3) the content information further includes metadata of the content; The metadata is information including at least one of key, beat, BPM, chord, playback time, tonality, instrument type, and position data of the content if the content is object audio. The information processing apparatus according to (1) or (2) above.
  • the content information further includes information for associating first content data constituting the content with information relating to at least one second content data added to the first content data.
  • the information processing apparatus according to any one of (3) to (3).
  • the first content data and the second content data are loop materials having a predetermined number of bars and playback time, and the content generation parameters define details of playback control Information according to (4) above processing equipment.
  • the first content data is composed of data selected from data prepared in advance or using existing music
  • the trigger information is information including at least one of POI information, landmark information, area information, information related to a moving object boarded by the user, and information of the user himself/herself.
  • the information processing device according to any one of the above.
  • the POI information is set as information indicating the start and end points of the POI
  • the landmark information is set as information indicating the start point and end point of the landmark
  • the area information is set as information indicating the start and end of the area
  • the information processing apparatus according to (7), wherein the information about the moving body is set as information indicating start/stop, stop time, right/left turn start/end, and speed of the moving body.
  • the information processing device according to (7) or (8), wherein at least one of the POI information, the landmark information, and the area information has a unique parameter.
  • the information processing apparatus according to any one of (1) to (9), wherein the content is track data of a specific sound source obtained by sound source separation targeting existing music.
  • the information processing device setting content information including content parameter information that defines content playback control details; setting trigger information defining conditions for executing playback control of the content; An information processing method for setting a content generation parameter by linking the content information and the trigger information.
  • the event acquisition unit acquires at least one of a position of the user, information indicating a state of a mobile object boarded by the user, and information of the user himself/herself.
  • the trigger information is at least one of POI information, landmark information, area information, and information about a mobile object on which a user boards.
  • the separation information includes at least one of information indicating whether or not sound source separation is possible for a song, information indicating the type of sound source, and information indicating whether or not sound source separation has been performed.
  • the information processing device Get events when the user moves, Acquiring a content generation parameter set by linking content information including content parameter information defining details of content reproduction control and trigger information defining conditions for executing the content reproduction control, An information processing method, wherein, when the event that satisfies the condition defined by the trigger information is acquired, the reproduction of the content is controlled based on the content information associated with the trigger information.
  • the computer Get events when the user moves, Acquiring a content generation parameter set by linking content information including content parameter information defining details of content reproduction control and trigger information defining conditions for executing the content reproduction control, A program for executing a process of controlling reproduction of the content based on the content information associated with the trigger information when the event that satisfies the condition defined by the trigger information is acquired.
  • a content information setting unit that sets content information including content parameter information that defines content playback control; a trigger information setting unit that sets trigger information defining conditions for executing playback control of the content; a first information processing device comprising: a content generation parameter setting unit that sets content generation parameters by linking the content information and the trigger information; an event acquisition unit that acquires an event when the user moves; an acquisition unit that acquires the content generation parameter; a content reproduction control unit that controls reproduction of the content based on the content information associated with the trigger information when the event that satisfies the condition defined by the trigger information is acquired; an information processing device;
  • An information processing system comprising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本技術は、ユーザを飽きさせにくいコンテンツ視聴体験を提供することができるようにする情報処理装置、情報処理方法、プログラム、情報処理システムに関する。 本技術の一側面の情報処理装置は、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、コンテンツ情報とトリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部とを備える。本技術は、スマートフォンや車載装置に適用することができる。

Description

情報処理装置、情報処理方法、プログラム、情報処理システム
　本技術は、情報処理装置、情報処理方法、プログラム、情報処理システムに関し、特に、ユーザを飽きさせることなく、かつアーティストが意図する世界観を保ったコンテンツ視聴体験を実現できるようにした情報処理装置、情報処理方法、プログラム、情報処理システムに関する。
　自動運転機能を搭載したEV車の進展により、乗車中の体験向上をもたらすことができるような技術が求められている。
　特許文献１には、音楽を作成するためのパラメータを自動車内の各部からの情報に基づいて生成し、生成したパラメータに基づいて、楽譜データを生成する技術が記載されている。
特開２００６－６９２８８号公報
　特許文献１に開示されているような、車体から得られる情報を用いた音楽視聴体験は受動的な体験であり、音楽変化が単調になってしまうといった理由や、車体情報の誤検出によって意図せぬ音楽変化が発生してしまうといった理由などにより、ユーザを飽きさせやすい。また、アーティストが意図した音楽体験を十分に実現できない。
　本技術はこのような状況に鑑みてなされたものであり、ユーザを飽きさせることなく、かつアーティストが意図する世界観を保ったコンテンツ視聴体験を実現できるようにするものである。
　本技術の第１の側面の情報処理装置は、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部とを備える。
　本技術の第１の側面の情報処理方法またはプログラムは、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定し、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定し、前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するステップを含む。
　本技術の第１の側面においては、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報が設定され、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報が設定され、前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータが設定される。
　本技術の第２の側面の情報処理装置は、ユーザの移動時におけるイベントを取得するイベント取得部と、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得する取得部と、前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うコンテンツ再生制御部とを備える。
　本技術の第２の側面の情報処理方法またはプログラムは、ユーザの移動時におけるイベントを取得し、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得し、前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うステップを含む。
　本技術の第２の側面においては、ユーザの移動時におけるイベントが取得され、コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータが取得され、前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御が行われる。
ユーザ側でのコンテンツの再生制御の例を示す図である。 制作者側で事前に設定するトリガ情報とコンテンツの再生制御の例を示す図である。 追加トラックを用いた再生制御の例を示す図である。 コンテンツの構成要素の例を示す図である。 本技術の一実施形態に係る情報処理システムの構成例を示す図である。 制作者端末のハードウェア構成例を示すブロック図である。 ユーザ端末のハードウェア構成例を示すブロック図である。 情報処理システムの機能構成例を示すブロック図である。 コンテンツ生成パラメータのデータ構造を示す図である。 制作者端末に表示される設定画面の例を表す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 制作者端末に表示される設定画面の例を示す図である。 設定画面を用いた制作者の一連の操作における成果物の例を示す図である。 制作者端末の操作を示すフローチャートである。 コンテンツが出力される再生空間の例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる具体例を示す図である。 ユーザ側でコンテンツの再生制御が行われる際のフローチャートである。 再生制御の対象となるトラックの例を示す図である。 音源分離によって生成されたトラックを対象とした再生制御の例を示す図である。 音源の種類を示す図である。 音楽制御部の構成例を示すブロック図である。 各情報の例を示す図である。 既存楽曲のリミックスの具体例を示す図である。 既存楽曲の繋ぎ合わせ処理の例を示す図である。 既存楽曲を構成するトラックの例を示す図である。 既存楽曲の繋ぎ合わせ処理の他の例を示す図である。 音源分離を用いた場合の制作ワークフローの例を示す図である。 音源分離がクラウド側で行われる場合の情報処理サーバの構成例を示す図である。 物体認識の例を示す図である。 音楽生成の例を示す図である。 物体認識の他の例を示す図である。 音楽生成の他の例を示す図である。 物体の位置に応じた音楽生成のイメージを示す図である。 音楽再生中のユーザ端末の表示例を示す図である。 輝度の検出位置の例を示す図である。 演出画像の状態変化の例を示す図である。 音楽生成の例を示す図である。 エリアの設定に用いられる地図の表示例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の概略
　２．システム構成の例
　３．制作者端末における処理
　４．ユーザ側での音楽データ再生制御の例
　５．変形例
＜本技術の概略＞
　はじめに、本技術の概略について説明する。
　本技術の情報処理システムは、主に、アーティストなどの制作者側の構成と、車を運転するユーザ側の構成とによって実現される。
　まず、制作者側では、コンテンツの再生制御に用いられるコンテンツ生成パラメータが事前に設定される。コンテンツ生成パラメータは、コンテンツの再生制御に関する内容を定義するアルゴリズムと、コンテンツの再生制御を実行する際のトリガとなる条件を定義するトリガ情報とを紐付けた情報である。コンテンツ生成パラメータは、ネットワーク上のサーバに格納され、サーバを介して、ユーザ側に提供されてもよいし、ローカル端末に格納されていてもよい。
　その後、ユーザ側では、前述のコンテンツ生成パラメータと、ユーザが運転する車の位置情報および車体情報とに基づいて再生制御されたコンテンツが車内空間に出力され、ユーザに提示される。例えば、出力内容がユーザの運転状況や周囲の環境に応じて動的に変化するようにしてコンテンツの再生が行われる。
　これにより、制作者は、自身の世界観や趣向をより強く反映したコンテンツ視聴体験をユーザに提供することができる。また、ユーザは、自身の運転状況や周囲の環境に応じて動的に変化するコンテンツを楽しむことができる。
　例えば、コンテンツ生成パラメータと、車の位置情報および車体情報に基づいて、以下のような再生制御が行われる。
　１．東京タワーに近づくにつれてボーカルにリバーブ処理を施す
　２．特定の交差点で右左折したら再生中のコンテンツに対してシンセサイザの音を付加する
　３．停止時には再生中のコンテンツのボリュームを下げ、発進後のボリュームを徐々に上げる
　例えば上記１の再生制御の場合、コンテンツ生成パラメータのアルゴリズムとして、「ボーカルにリバーブ処理を施す」ことを示す情報が設定される。
　また、上記１の再生制御の場合、コンテンツ生成パラメータのトリガ情報として、「東京タワーに近づくにつれて」を示す情報が設定される。このように、トリガ情報は、例えば、制作者側で事前に設定したエリアの開始・終了を示すエリア情報、東京タワーやレインボーブリッジなどのランドマークを示すランドマーク情報、特定の交差点、トンネル、橋などの特定のポイントを示すＰＯＩ（Point of Interest）情報などを含む情報である。
　これらの情報が、コンテンツの再生制御を実行する際のトリガとなる条件として、制作者側で事前に設定される。例えば、エリアが切り替わった場合、ランドマーク近傍に近づいた場合、特定のポイントとして指定されている交差点で右左折した場合、などの条件がトリガとして設定される。
　以上、制作者側で事前に設定されたコンテンツ生成パラメータに基づいて、コンテンツの再生制御が行われ、ユーザ側に提示される流れの概略について説明した。
　一方、ユーザ側において、実際にコンテンツの再生制御が行われるためには、前述のトリガ情報を満たすかどうかを、ユーザ側で判定する必要がある。
　本技術では、トリガ情報を満たすかどうかを判定するために、前述したユーザが運転する車の位置情報や車体情報などが用いられる。車体情報は、例えば、車の発進・停止、加速・減速、右左折、速度を示す情報である。ユーザが移動体に搭乗していない場合は、ユーザ自身の位置情報や歩行速度などが用いられてもよい。
　これらの情報は、ユーザが運転する車に搭載されたセンサや、車内に設定されたスマートフォンに内蔵された加速度センサやジャイロセンサなどの各種センサを用いて、ユーザ側で実測される情報であり、以下イベントと定義する。
　ユーザ側で実測された車の位置情報や車体情報などのイベントが、トリガ情報を満たすと判定された場合には、制作者側で事前に設定されたコンテンツ生成パラメータに基づく再生制御が行われたコンテンツが、ユーザ側に出力される。
　一方、イベントがトリガ情報を満たさないと判定された場合、基本的には、制作者側で事前に設定されたコンテンツ生成パラメータに基づく再生制御は行われない。ただし、詳しくは後述するが、制作者の設定や意図を逸脱しない範囲であれば、ユーザ側でコンテンツ生成パラメータの制御が行われるようにしてもよい。ここで、ユーザ側におけるコンテンツ生成パラメータの制御とは、例えば、制作者側で事前に設定されたコンテンツ生成パラメータを変更する処理である。
　以下において、コンテンツが音楽データであるとして説明する。音楽データに限らず、映像データ（動画データ）がコンテンツとして用いられるようにしてもよいし、音楽データと映像データとを含むデータがコンテンツとして用いられるようにしてもよい。
　また、コンテンツは、例えば、環境音、ラジオなどの音声データであってもよいし、前述以外のデータであってもよい。なお、音声データは、音楽とは異なる音（波の音や雨音、せせらぎ音といった自然音、効果音、人声、ガイダンス音声、機械音、・・・など）のデータを含む。
　音楽データは、メロディ、リズム、和声、調（キー）などにより特徴付けられた１以上のパートの時系列によって構成される。１つの音楽データに同じパートが複数含まれるようにすることができる。パートは、パートを構成する音（要素）の一部または全部による所定のパターンあるいはフレーズの繰り返しを含むことができる。
　以下において、本技術を用いた音楽データの再生制御が行われるのは、ユーザが運転する車の車内空間とする。本技術は、船舶、航空機、電車、自転車などの、車以外の移動体で音楽の視聴体験を享受する場合にも適用可能である。なお、本技術は、ユーザが前記移動体に搭乗している場合だけでなく、歩行時にも適用可能である。また、詳細については後述するが、車内には例えばスマートフォンが設置される。
　ＧＰＳ（Global Positioning System）センサなどの測位センサ、加速度センサ、ジャイロセンサ、カメラなどの、スマートフォンに内蔵された各種のセンサによる測定結果に基づいて、車体の減速・停止、発進・加速、右左折、現在位置、特定のポイント、ランドマークなどのイベントが検出され、それらのイベントと、コンテンツ生成パラメータとに基づく再生制御が行われ、再生制御された音楽データの再生音（音楽）が車内空間に出力される。これにより、ユーザは、制作者の意図が十分に反映され、動的に変化する音楽の視聴体験を享受することができる。
　上記に加えて、各種の交通データベースにアクセスすることにより、道路状況（整備された道であるか、悪路であるかどうかなど）、混雑（渋滞）状況、走行エリア毎の制限速度などの情報が取得され、それらに基づいて音楽データの再生制御が行われるようにしてもよい。
　また、例えばランドマーク周辺を通過するのが１回目の場合と２回目の場合とで同じ再生制御が行われるようにしてもよいし、ユーザにとって退屈なものとして感じられる可能性が高いと判断される場合には、１回目と２回目とで異なる再生制御が行われるようにしてもよい。このような設定も、制作者側で事前に設定することが可能である。
　ここで、音楽データの再生制御に用いられるデバイスとして、車内に設置されたスマートフォンを例に挙げたが、例えば車内に設置されたＰＣやカーナビなどが用いられるようにしてもよい。また、前述の各種の交通データベースから得られる情報は、クラウド上のサーバからネットワークを経由してリアルタイムに取得される情報であってもよいし、事前に取得され、メモリなどの記憶媒体に格納されている情報であってもよい。
・ユーザ側での再生制御
　図１は、ユーザ側での音楽データの再生制御の例を示す図である。
　図１の左側に示す状態は、ユーザが運転する車がエリア１を走行している状態である。エリア１の走行中、エリア１に対して割り当てられた音楽データＡが再生される。後述するように、それぞれのエリアに対しては、ループ再生に用いられるメイントラックが制作者により事前に割り当てられている。ここでいうメイントラックとは、各エリアで主として再生される音楽データである。
　図１の左側に示す音符は、エリア１の走行中に、音楽データＡの再生音が車内で出力されていることを表す。図１に示す他の音符も、再生制御の対象になっている音楽データの再生音がそれぞれのエリアの走行中に出力されていることを示す。
　次に、図１の破線で境界を示すように、走行エリアがエリア１からエリア２に切り替わった場合、再生されるメイントラックが、エリア１に対して割り当てられた音楽データＡから、エリア２に対して割り当てられた音楽データＢに切り替わる。すなわち、エリア１からエリア２に切り替わったというイベントをユーザ側で取得し、かつ、取得したイベントが制作者側で事前に設定されたトリガ情報を満足すると判定された場合に、音楽データＡから音楽データＢに切り替わる再生制御が行われる。
　エリア２の走行中、交差点などの特定のポイントにおいて、停止・発進、右左折などが行われた場合、音楽データＢから音楽データＢ＋αへの再生に切り替わる。すなわち、エリア２の特定のポイントにおける停止・発進、右左折などのイベントをユーザ側で取得し、取得したそれらのイベントが制作者側で事前に設定されたトリガ情報を満足すると判定された場合に、音楽データＢから音楽データＢ＋αへの再生に切り替わる。なお、音楽データＢ＋αは、メイントラックである音楽データＢに対して、追加トラックαを付加した音楽データである。
　さらに、図１の右側に示すように、ユーザが運転する車がエリア２にあるランドマークに近付いた場合（距離が所定の距離以内になった場合）、音楽データＢ＋βの再生が行われる。すなわち、エリア２のランドマーク近傍を走行中というイベントをユーザ側で取得し、取得したイベントが制作者側で事前に設定されたトリガ情報を満足すると判定された場合に、音楽データＢ＋αから音楽データＢ＋βへの再生に切り替わる。なお、音楽データＢ＋βは、メイントラックである音楽データＢに対して、追加トラックαとは異なる追加トラックβを付加した音楽データである。トラックを追加するのではなく、例えば、メイントラックのボーカルに対してリバーブ処理を付与する、などの任意の音楽効果を付与する処理が音楽データＢの再生音に対して施されるようにしてもよい。
　音楽データの再生制御は、制作者側で事前に設定されている音楽生成パラメータに基づいて行われる。このような再生制御に限らず、ユーザ側でどのようなイベントを検出した際にどのような再生制御をユーザ側で行うかは、制作者が任意に設定可能である。例えば、ランドマークとして東京タワーを設定し、東京タワーまでの距離が近づくにつれてボリュームを大きくする、東京タワーの方向に音源を定位させるように定位処理やパニング処理を行う、などの再生制御の内容が設定される。
　図２は、制作者側で事前設定するトリガ情報と音楽データの再生制御の例を示す図である。
　図２のＡは、トリガ情報の一例を示す図である。トリガ情報には、特定のポイント(交差点・トンネル・橋など)の始点・終点を示すＰＯＩ情報、ランドマーク（東京タワー、レインボーブリッジなど）の始点・終点を示すランドマーク情報、各エリアの開始・終了を示すエリア情報、発進・停止、停止時間、右左折の開始・終了などを示す情報、速度情報などが含まれる。
　図２のＢは、音楽データの再生制御の例を示す図である。音楽データ再生制御の種類としては、エフェクト処理（Low Pass Filter/Reverb/Echoなど）、効果音・イベント検出音の出力、ボリューム制御／クロスフェードイン・アウト、追加トラックの付加、コンテンツ切替（環境音、ガイダンス音声など）、定位／パニング処理、楽譜生成などが挙げられる。これに限らず、前述以外の音楽データの再生制御を制作者側で事前に設定することが可能である。
　なお、ここで挙げた音楽データの再生制御の例が、制作者側で事前に設定されたトリガ情報と音楽情報を紐付けた音楽生成パラメータによって実現されるようにしてもよいし、ユーザ側での出力の際に実現されるようにしてもよい。
　図３は、追加トラックを用いた再生制御の例を示す図である。
　図３を参照して、図２で説明した音楽データの再生制御の例のうちの、再生中のメイントラックに追加トラックを付加する再生制御について説明する。メイントラックおよび追加トラックは、１０秒、１５秒、あるいは４小節、８小節といったような所定の時間の音楽データである。
　あるエリアの走行中、そのエリアに割り当てられたメイントラックＭ１のループ再生が行われる。図３において、時刻ｔ１～ｔ２の時間、時刻ｔ２～ｔ３の時間、時刻ｔ３～ｔ４の時間、・・・のそれぞれの時間が、メイントラックＭ１の１回の再生にかかる時間である。
　メイントラックＭ１の再生が行われている状態で、時刻Ｔ１において車の停止が検出された場合、メイントラックＭ１の次の再生開始のタイミングである時刻ｔ２において、追加トラックＡｄｄ１１、Ａｄｄ１２がメイントラックＭ１に付加されて再生される。図３の例においては、追加トラックＡｄｄ１１は、シーケンス（Sequence）の変化をメイントラックＭ１に追加するトラックであり、追加トラックＡｄｄ１２は、リズム（Rhythm）の変化をメイントラックＭ１に追加するトラックである。なお、追加トラックは前述の例に限らず、制作者側で任意に設定される。
　このように、追加トラックとして、メイントラックＭ１の１回の再生時間と同じ時間のトラックが事前に設定される。走行中とは異なる印象のメイントラックＭ１の再生音を、車の停止中にユーザは聴くことになる。なお、追加トラックはメイントラックＭ１とは異なる再生時間であってもよい。
　図３の例においては、追加トラックＡｄｄ１１、Ａｄｄ１２を付加したメイントラックＭ１の１回目の再生が時刻ｔ２～ｔ３の時間に行われ、追加トラックＡｄｄ１１、Ａｄｄ１２を付加したメイントラックＭ１の２回目の再生が時刻ｔ３～ｔ４の時間に行われる。また、追加トラックＡｄｄ１１、Ａｄｄ１２を付加したメイントラックＭ１の３回目の再生が時刻ｔ４～ｔ５の時間に行われる。
　追加トラックＡｄｄ１１、Ａｄｄ１２を付加したメイントラックＭ１の４回目の再生中の時刻Ｔ２において車の発進が検出された場合、追加トラックＡｄｄ１１、Ａｄｄ１２の代わりに、追加トラックＡｄｄ１３がメイントラックＭ１に付加される。
　追加トラックＡｄｄ１１、Ａｄｄ１２の再生音が時刻Ｔ２以降においてフェードアウトし、代わりに追加トラックＡｄｄ１３の再生音がフェードインするように、追加トラックＡｄｄ１３を付加したメイントラックＭ１の再生が行われる。時刻ｔ６～ｔ７の時間において、追加トラックＡｄｄ１３を付加したメイントラックＭ１の１回目の再生が行われる。走行中や停止中とは異なる印象のメイントラックＭ１の再生音を、車の発進直後にユーザは聴くことになる。
　その後、追加トラックＡｄｄ１３を付加したメイントラックＭ１の２回目の再生が時刻ｔ７～ｔ８の時間において行われる。２回目の再生中の時刻Ｔ３において停止が再び検出された場合、追加トラックＡｄｄ１３がフェードアウトし、時刻ｔ８～ｔ９の時間においてはメイントラックＭ１のみが再生される。
　その後、時刻ｔ９～ｔ１０の時間において、追加トラックＡｄｄ１４、Ａｄｄ１５を付加したメイントラックＭ１の再生が行われる。メイントラックＭ１の１回のループ再生にかかる時間の所定の割合以上進んだタイミングで停止などのイベントが検出された場合、追加トラックを付加した再生は、メイントラックＭ１の次のループ再生の開始のタイミングに同期して行われる。停止が検出された時刻Ｔ３は、時刻ｔ７～ｔ８の時間におけるメイントラックＭ１の１回の再生が８割などの所定の割合以上進んだタイミングであるから、追加トラックＡｄｄ１４、Ａｄｄ１５を付加した再生は、メイントラックＭ１の次のループの開始のタイミングである時刻ｔ９に開始されることになる。
　追加トラックＡｄｄ１４は、追加トラックＡｄｄ１１と同様にシーケンス（Sequence）の変化をメイントラックＭ１に追加するトラックであり、追加トラックＡｄｄ１５は、追加トラックＡｄｄ１２と同様にリズム（Rhythm）の変化をメイントラックＭ１に追加するトラックである。なお、追加トラックＡｄｄ１１と追加トラックＡｄｄ１４、追加トラックＡｄｄ１２と追加トラックＡｄｄ１５は、それぞれ、同一の音楽データであってもよいし、異なる音楽データであってもよい。
　以降、同様にしてメイントラックＭ１のループ再生が、追加トラックを車の状況に応じて付加するなどして続けられる。このように、エリアに割り当てられたメイントラックの再生音は、印象を順次変化させてユーザに提示される。ユーザは、自分の運転に応じて変化するメイントラックの再生音を聴くことにより、音楽の新たな視聴体験を得ることができる。
　なお、前述の例では追加トラックＡｄｄ１１、Ａｄｄ１２（または追加トラックＡｄｄ１４、Ａｄｄ１５）が同時にメイントラックＭ１に付加される例について説明したが、本技術はこれに限定されず、例えば、追加トラックＡｄｄ１１、Ａｄｄ１２（または追加トラックＡｄｄ１４、Ａｄｄ１５）のいずれか一方のみがメイントラックＭ１に付加されてもよいし、追加トラックＡｄｄ１１、Ａｄｄ１２（または追加トラックＡｄｄ１４、Ａｄｄ１５）の両方またはいずれか一方に対して、所定の小節数分遅延させてメイントラックＭ１に付加されるといった再生制御が行われてもよい。
　なお、追加トラックは、１つの素材から成り立っていてもよいし、異なる複数の素材から成り立っていてもよい。
　ここで、前述のメイントラックと追加トラックは、所定の小節数と再生時間を持ったループ素材である。メイントラックと追加トラックの両方がループ素材でなくても良いし、どちらか一方だけがループ素材であってもよい。
・音楽データの構成要素
　図４は、音楽データの構成要素の例を示す図である。
　一例として、１～４５行目の各行のトラックのファイルが音楽生成パラメータの設定時に制作者側によって用意される。ここでは、左端の列に示すように、一例として、Rhythm, Bass, Harmony, Vocalの４種類のトラックのファイルが示されている。左から２列目は、各ファイルの名前を示す。
　制作者側は、自身が事前にアップロードしたこれらのトラックの中から、メイントラックを構成するトラックを選択する。ここでは一例として、制作者側が選択したトラックが黒丸で示されている。
　例えば、左から３列目に示すように、２３行目、２７行目、２９乃至３１行目、３３行目、３４行目、３９行目、４１行目、４２行目、４４行目、４５行目のそれぞれのトラックを素材として、１つのメイントラックであるメイントラックＭ１が構成される。図４に示す各トラックにより構成されるメイントラックＭ１は、図３を参照して説明したメイントラックＭ１と同じトラックである。
　メイントラックＭ２，Ｍ３も、同様にして選択された４列目と５列目の黒丸で示すそれぞれのトラックを素材として構成される。このようにして設定されたそれぞれのメイントラックが任意のエリアに割り当てられる。
　なお、図３で説明した追加トラックも、同様にして事前に設定される。メイントラックを構成するトラックと同じトラックを選択するようにして追加トラックが設定されるようにしてもよいし、メイントラックを構成するトラックとは異なるトラックを選択するようにして追加トラックが設定されるようにしてもよい。
　また、事前に登録した構成要素（素材）の中から選択するのではなく、事前にアップロードされた既存楽曲の特定の区間を指定するようにしてメイントラックの設定が行われるようにしてもよい。既存楽曲を用いてメイントラックの設定が行われる場合、例えばメイントラックの小節数、メイントラックの再生時間、既存楽曲を構成するセクションのうちの、メイントラック（ループ素材）として使用可能なセクションの開始位置・終了位置・再生時間などの情報の設定が、制作者側で事前に行われる。
　以上、本技術の概略について説明した。以後、本技術の実施形態について、より詳細に説明する。
＜システム構成の例＞
　図５は、本技術の一実施形態に係る情報処理システム１の構成例を示す図である。
　情報処理システム１は、制作者側の構成である制作者端末１１と、情報処理サーバ１２と、ユーザ側の構成である音楽データ再生システム１３とを有する。
　音楽データ再生システム１３は、一例としてユーザが運転する車２１と、車２１の車内に設置されたユーザ端末２２で構成される。ユーザ端末２２は、例えば、スマートフォンなどである。
　制作者端末１１、情報処理サーバ１２、および音楽データ再生システム１３は、ネットワーク３１を介して相互に通信可能に接続されている。ネットワーク３１は、例えばインターネットや広域通信回線網などにより構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などがネットワーク３１として用いられるようにしてもよく、ネットワーク３１を構築するためのプロトコルは限定されない。
・制作者端末の構成
　図６は、制作者端末１１のハードウェア構成例を示すブロック図である。
　図６に示すように、制作者端末１１はＰＣなどのコンピュータにより構成される。制作者端末１１は、ＣＰＵ(Central Processing Unit)５１、ＲＯＭ(Read Only Memory)５２、ＲＡＭ(Random Access Memory)５３、入出力インタフェース５５、及びこれらを互いに接続するバス５４を備える。
　入出力インタフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、及びドライブ部６０などが接続される。
　入力部５６は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部５６がタッチパネルを含む場合、そのタッチパネルは出力部５７と一体となり得る。
　出力部５７は、表示デバイスやスピーカにより構成される。出力部５７を構成する、液晶、ＥＬなどを用いた表示デバイスは、音楽生成パラメータの設定時に制作者により用いられる画面などの各種の画面を表示する。
　記憶部５８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。
　通信部５９は、ネットワーク３１を介して他のデバイスと通信するための通信モジュールである。通信部５９は、有線及び無線のどちらを利用して通信するものであってもよい。
　ドライブ部６０は、例えば光学記録媒体、磁気記録テープなど、リムーバブル記録媒体６１を駆動することが可能なデバイスである。
　上記のようなハードウェア構成を有する制作者端末１１による情報処理は、記憶部５８またはＲＯＭ５２などに記憶されたソフトウェアと、制作者端末１１のハードウェア資源との協働により実現される。具体的には、ＲＯＭ５２などに記憶された、ソフトウェアを構成するプログラムをＲＡＭ５３にロードして実行することにより、本技術に係る情報処理方法が実現される。
　プログラムは、例えばリムーバブル記録媒体６１を介して制作者端末１１にインストールされる。あるいは、グローバルネットワークなどを介してプログラムが制作者端末１１にインストールされてもよい。その他、制作者端末１１が読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　なお、クラウド上のサーバである情報処理サーバ１２は、図６に示すような制作者端末１１の構成と同じ構成を有する。複数台のコンピュータによって情報処理サーバ１２が構成されるようにしてもよい。
・ユーザ端末の構成
　図７は、音楽データ再生システム１３を構成するユーザ端末２２のハードウェア構成例を示すブロック図である。
　ユーザ端末２２は、制御部７１に対して、撮影部７２、マイクロフォン７３、センサ７４、ディスプレイ７５、操作部７６、スピーカ７７、記憶部７８、通信部７９が接続されることによって構成される。
　制御部７１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成される。制御部７１は、所定のプログラムを実行し、ユーザの操作に応じてユーザ端末２２の全体の動作を制御する。制御部７１を有するユーザ端末２２は、ユーザが運転する車２１の現在位置、車体の加速度、ハンドル操作などをセンシングするセンシングデバイスとして機能する。また、ユーザ端末２２はスピーカ７７を有しているので、音楽データの再生音を出力する出力デバイスとして機能してもよい。
　撮影部７２は、レンズ、撮像素子などにより構成され、制御部７１による制御に従って撮影を行う。撮影部７２は、撮影によって得られた画像データを制御部７１に出力する。例えば、ＧＰＳが機能しづらいトンネルや高層ビルの間、山間部などでは、ＧＰＳで現在位置を取得する代わりに、撮影部７２で得られた画像データを基に現在位置を取得することができる。
　マイクロフォン７３は、集音した音声のデータを制御部７１に供給する。
　センサ７４は、ＧＰＳセンサ（測位センサ）、加速度センサ、ジャイロセンサなどにより構成される。センサ７４は、ユーザが運転する車２１の現在位置、速度、加速度などを計測し、計測結果を示すセンサデータを制御部７１に出力する。例えば、制御部７１においては、現在位置や加速度などに基づいてステアリング操作が行われたことが検出され、車２１が右左折やカーブで曲がったなどのイベントが取得される。
　ディスプレイ７５は、ＬＣＤ（Liquid Crystal Display）などにより構成され、制御部７１による制御に従って、メニュー画面や撮影中の画像などの各種の情報を表示する。例えば、現在走行中のエリアと、そのエリアに紐付けられた音楽データがプレイリスト形式で表示されてもよい。
　操作部７６は、ユーザ端末２２の筐体表面に設けられた操作ボタンやタッチパネルなどにより構成される。操作部７６は、ユーザによる操作の内容を示す情報を制御部７１に出力する。
　スピーカ７７は、制御部７１から供給された音楽データの再生信号に基づいて音を出力する。
　記憶部７８は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。記憶部７８は、制御部７１から供給された画像のデータなどの各種のデータを記憶する。また画像データ以外にも、例えばユーザがランドマークを何周したかの情報を記録しておき、何週目かによって音楽データの再生制御を異なるものにすることも可能である。
　通信部７９は、情報処理サーバ１２などの外部の装置との間で無線や有線の通信を行う。
・機能構成
　図８は、情報処理システム１の機能構成例を示すブロック図である。
　図８に示すように、情報処理システム１の制作者端末１１においては音楽生成パラメータ設定部１０１が実現される。音楽生成パラメータ設定部１０１は、音楽情報設定部１１１とトリガ情報設定部１１２により構成される。
　一方、情報処理システム１の音楽データ再生システム１３においては音楽制御部３０１が実現される。音楽制御部３０１は、位置情報取得部３１１、車体情報取得部３１２、音楽生成パラメータ制御部３１３、音楽再生制御部３１４から構成される。
　ここで、位置情報取得部３１１と車体情報取得部３１２が、ユーザ側で生じるイベントを取得するイベント取得部として機能する。なお、以下では位置情報取得部３１１、車体情報取得部３１２の機能についてはイベント取得部としてではなく、位置情報取得部３１１と、車体情報取得部３１２とで個別に説明する。なお、イベントには、ユーザが車などの移動体に搭乗する場合のイベントに加えて、ユーザが移動体に搭乗しない場合（歩行時など）に生じるイベントも含まれる。
　ここで、音楽制御部３０１は、音楽データ再生システム１３を構成する車２１とユーザ端末２２のうちの、いずれか一方において実現されてもよいし、車２１とユーザ端末２２が共同動作することで実現されるようにしてもよい。車２１とユーザ端末２２が共同動作する例としては、例えば、車２１で車体情報取得部３１２が実現され、ユーザ端末２２で位置情報取得部３１１が実現される、などである。
　制作者端末１１の構成である音楽生成パラメータ設定部１０１の音楽情報設定部１１１は、例えば、エリア毎に使用される音楽データに関する音楽情報を制作者による操作に従って設定する。音楽情報の詳細については後述する。
　トリガ情報設定部１１２では、音楽データの再生制御を実行する際のトリガとなる条件を定義したトリガ情報が、制作者による操作に従って設定される。トリガ情報の詳細については後述する。
　音楽生成パラメータ設定部１０１は、音楽情報設定部１１１により設定された音楽情報と、トリガ情報設定部１１２により設定されたトリガ情報とに基づいて音楽生成パラメータを設定する。例えば、音楽情報とトリガ情報とを紐付けた情報が音楽生成パラメータとして設定される。音楽生成パラメータ設定部１０１は、音楽生成パラメータを、ネットワーク３１を介して情報処理サーバ１２に送信する。
　情報処理サーバ１２においては、音楽生成パラメータ設定部１０１から送信されてきた音楽生成パラメータがデータベースに格納され、管理される。音楽生成パラメータ以外にも、制作者端末１１からアップロードされたトラックのファイルなどの各種の情報が情報処理サーバ１２においては管理される。情報処理サーバ１２が管理する音楽生成パラメータなどの情報は、所定のタイミングで音楽データ再生システム１３に供給される。例えば、様々な音楽情報とトリガ情報とを紐付けた複数の音楽生成パラメータが音楽データ再生システム１３に対して供給される。
　音楽生成パラメータを格納・供給する情報処理サーバ１２以外にも、地図サーバ２１１や交通情報サーバ２１２などの各種の外部データベースがネットワーク３１に接続されてもよい。
　音楽データ再生システム１３の構成である音楽制御部３０１の位置情報取得部３１１は、例えば、ユーザ端末２２に内蔵されたセンサ７４から取得されたセンサデータ（例えばＧＰＳデータなど）に基づいて、ユーザが運転する車２１の位置情報を取得する。
　車体情報取得部３１２は、センサ７４から取得されたセンサデータ（例えば速度データ、加速度データなど）に基づいて、ユーザが運転する車２１の車体情報を取得する。ここで、車体情報は、例えば、車２１が実際に走行している時の発進・停止、加速・減速、右左折、カーブでハンドルを切る等を示す情報である。
　音楽生成パラメータ制御部３１３は、音楽生成パラメータ設定部１０１から、または情報処理サーバ１２から、ネットワーク３１を経由して送られてくる音楽生成パラメータに対して、位置情報取得部３１１により取得された車体の位置情報と、車体情報取得部３１２により取得された車体情報とに基づく制御を行う。
　例えば、制作者端末１１において、「特定の交差点Ｉでの右左折時に、メイントラックに追加トラックをアルペジオ形式で付加する」という再生制御の内容を示す音楽生成パラメータが事前に設定されている場合を考える。
　この例では「特定の交差点Ｉ」と「右左折」というトリガ情報と、「メイントラックに追加トラックをアルペジオ形式で付加」というアルゴリズムとが紐付けられて音楽生成パラメータとして設定されている。
　この場合、トリガ情報により定義される条件を満たすかどうか判定するためには、ユーザが運転する車２１が「特定の交差点Ｉ」に進入したかどうかを判定するための位置情報と、「右左折」したかを判定するための車体情報が必要になるが、それらは車２１の車内に設定されたユーザ端末２２のセンサ７４によりリアルタイムに取得される。前述したように、位置情報はＧＰＳセンサ（測位センサ）などにより計測されたセンサデータに基づいて取得され、車体情報は加速度センサやジャイロセンサにより計測されたセンサデータに基づいて取得される。なお、ユーザ端末２２に搭載されたセンサではなく、車２１に搭載されたセンサを用いて車体情報が取得されるようにしてもよい。
　車２１が「特定の交差点Ｉ」に進入したことと、右左折したことを示すセンサデータが検出され、イベントとして取得された場合、前述したトリガ情報により定義される条件を満たすことになり、再生中のメイントラックに追加トラックをアルペジオ形式で付加するアルゴリズムに基づく再生制御が行われる。
　一方で、交差点Ｉとは異なる交差点で右左折した場合や、特定の交差点Ｉに進入はしたものの右左折ではなく直進した場合、取得されるイベントは、前述のトリガ情報により定義される条件を満たさないため、再生中のメイントラックに追加トラックをアルペジオ形式で付加する再生制御は行われない。その代わりに、例えば「特定の交差点Ｉを直進」というトリガ情報と、「メイントラックにシンセサイザの追加トラックを付加」というアルゴリズムとを紐付けた音楽生成パラメータが併せて設定されていた場合は、車２１が「特定の交差点Ｉを直進」したというイベントに応じて、再生中のメイントラックにシンセサイザの追加トラックを付加して再生する再生制御が行われる。
　なお、ユーザ側で取得されたイベントが、事前に制作者側で設定されたトリガ情報により定義される条件を満たす場合のみ、音楽データの再生制御が行われる例について説明したが、制作者側での設定時には予期し得なかったケースが起こりうる場合も考えられる。そのため、ユーザ側で取得されたイベントが、制作者側で事前に設定したトリガ情報により定義される条件を満たさない場合であっても、制作者側の設定を逸脱しない範囲であれば、音楽生成パラメータ制御部３１３で音楽生成パラメータの制御を適宜行うようにしてもよいし、そのような設定が制作者側で事前に行われるようにしてもよい。音楽生成パラメータの制御とは、例えば、制作者側で事前に設定されたコンテンツ生成パラメータを変更する処理である。
　音楽再生制御部３１４は、音楽データに対して、音楽生成パラメータ制御部３１３で制御された音楽生成パラメータに基づく再生制御を行う。
　音楽生成パラメータ制御部３１３により、制作者側で事前に設定された音楽生成パラメータの制御が行われた場合は、音楽再生制御部３１４は、制御後の音楽生成パラメータに基づく再生制御を行う。一方で、音楽生成パラメータ制御部３１３により、制作者側で事前に設定された音楽生成パラメータの制御が行われなかった場合は、音楽再生制御部３１４は、制作者側で事前に設定された音楽生成パラメータに基づく再生制御を行う。
　出力部４０１は、音楽再生制御部３１４で再生制御された音楽データの出力を行う。なお、出力部４０１は、例えば、ユーザが運転する車２１の車内オーディオシステムや、車内に設定されたユーザ端末２２に内蔵されたスピーカ７７であるが、これに限らず外付けのスピーカなどであってもよい。また、音楽再生制御部３１４が出力部４０１を備える構成であってもよい。音楽再生制御部３１４と出力部４０１は有線または無線で接続され、無線接続の場合には、Bluetooth（登録商標）やWi-Fi（登録商標）などの種々のプロトコルが用いられてよい。
　図９は、図８の音楽生成パラメータ設定部１０１で設定される音楽生成パラメータ５０１のデータ構造を示す図である。
　図９に示すように、音楽生成パラメータ５０１は、音楽情報５１１とトリガ情報５１２とを紐付けることによって構成される。
　音楽情報５１１は、音楽情報設定部１１１により設定される音楽情報である。音楽情報５１１は、音楽パラメータ情報５１１Ａ、音楽メタデータ情報５１１Ｂ、タグ情報５１１Ｃから構成される。
　音楽パラメータ情報５１１Ａは、各エリアに紐付けられた音楽データに対して、どのような再生制御を行うかを示すアルゴリズムに関する情報などである。例えば、前述したような「メイントラックに追加トラックをアルペジオ形式で付加」や、「速度に比例してメイントラックの音量を上げる」などのアルゴリズムが音楽パラメータ情報５１１Ａによって示される。
　音楽メタデータ情報５１１Ｂは、例えば、音楽データのキー、拍、ＢＰＭ（Beats Per Minute）、コード、再生時間といった、音楽データの属性を示す情報である。これに限らず、例えばトーナリティ情報や楽器種別情報などが音楽メタデータ情報５１１Ｂに含まれていてもよい。また、音楽データがオブジェクトオーディオデータの場合、音楽データを構成する各オブジェクトの位置データが音楽メタデータ情報５１１Ｂとして含まれるようにしてもよい。音楽メタデータ情報５１１Ｂにどのような種類のデータを指定するかは制作者側で事前に設定することが可能である。
　タグ情報５１１Ｃは、例えば、設定した各エリアに対して、どのメイントラックと追加トラックを割り当てるかを指定する情報である。ここで、各エリアに割り当てられる追加トラックが複数ある場合は、それらが１つのグループとして紐付けられていてもよい。なお、トラックを指定する情報とは異なる情報がタグ情報として設定されるようにしてもよい。
　トリガ情報５１２は、トリガ情報設定部１１２により設定されるトリガ情報である。トリガ情報５１２は、エリア情報５１２Ａ、ランドマーク情報５１２Ｂ、ＰＯＩ情報５１２Ｃ、移動体情報５１２Ｄから構成される。
　エリア情報５１２Ａは、制作者側で地図上に設定されたエリアに関する情報である。例えば、エリアの開始位置、終了位置（図２のＡ）の情報がエリア情報５１２Ａとして設定される。複数のエリアから構成される大エリア（後述するシーン（Scene）に対応）がエリア情報５１２Ａとして設定されるようにしてもよい。詳しくは後述するが、制作者は、例えば、ＧＵＩ（Graphical User Interface）などの表示画面上で任意の形状のエリアを設定することが可能である。
　ランドマーク情報５１２Ｂは、東京タワーやレインボーブリッジなどのランドマークを示す情報である。制作者は、寺社仏閣や学校など、任意の建造物をランドマークとして設定することも可能である。
　ＰＯＩ情報５１２Ｃは、前述のエリアやランドマーク以外の特定のポイントを示す情報である。例えば、交差点、トンネル、橋（図２のＡ）などが、ＰＯＩ情報５１２Ｃが示す特定のポイントとして設定される。どの交差点、トンネル、橋などを特定のポイントとして設定するかは制作者側で任意に設定されてもよいし、Google Map（登録商標）などの外部のサービスのデータベース上で公開されている情報に基づいて設定されるようにしてもよい。
　移動体情報５１２Ｄは、位置情報による特定のイベントに紐づく情報である。例えば、図２のＡに示すように、発進・停止、停止時間、右左折、速度などの、ユーザが運転する車２１などの移動体に関する情報である。
＜制作者端末における処理＞
・設定画面の例
　続いて、図１０～図２２を用いて、制作者が画面上で行う一連の操作について説明する。制作者が設定画面上で行う一連の操作とは、前述したように、音楽データ再生制御が実行される際のトリガとなる条件を定義したトリガ情報と、再生制御に関する各種の内容を定義したアルゴリズムとを紐付けることで、音楽生成パラメータを、例えばＧＵＩなどを用いて設定する操作のことである。設定画面は、制作者端末１１の出力部５７を構成するディスプレイに表示されてもよいし、制作者端末１１に接続された外部のディスプレイに表示されてもよい。
　図１０～図２０は、制作者端末１１に表示される設定画面の表示例を示す図である。
　設定画面は、エリアを設定するために用いられるエリア設定部６０１と、エリア設定部６０１を用いて設定した各エリアの詳細設定を行うために用いられる詳細設定部６０２によって構成される。エリア設定部６０１には、制作者が選択した範囲の地図が表示される。エリア設定部６０１に表示される地図は、制作者端末１１に事前に記憶されているものでもよいし、前述したGoogle Map（登録商標）などの外部サービスのデータベースから、ネットワーク３１を経由して取得されるものであってもよい。
　図１０は、シーン（Scene）の追加（新規作成）を行う画面でもある。ここで、シーンとは、前述した大エリアのことである。大エリアは複数のエリアを含むため、単独のエリアを個別に設定するよりも、シーン（すなわち大エリア）単位で設定した方が効率がよく、スケーラビリティを実現する上でも効果的となる。
　詳細設定部６０２内のシーン追加タブ６２２が選択された場合、設定画面は、追加シーンの詳細設定を行う画面である図１１の画面に移行する。なお、図１０の詳細設定部６０２には、設定済みのシーンであるINTRO SCENEを選択するときに操作されるタブであるINTRO SCENEタブ６２１が表示されている。
　図１１は、追加シーン作成タブ６２２の選択後の画面を示す図である。
　図１１の画面を用いて、追加するシーンの設定と、追加するシーンに割り当てられるメイントラックと追加トラックの設定が行われる。
　図１１の画面において、制作者は、追加するシーンに関する情報をSCENE INFO７０２に入力し、追加するシーンに割り当てられるメイントラックに関する情報をMUSIC INFO７０３に入力する。ここで、MUSIC INFO７０３に入力された情報は、前述した音楽メタデータ情報５１１Ｂに含まれる。
　SCENE INFO７０２には、追加するシーンに関する情報として、シーンの名前とＩＤが入力される。図１１では、一例として、シーンの名前として「Creative Scene」が入力され、ＩＤとして「０１」が入力されている。シーンの名前は任意に設定、変更が可能である。
　一般的に多くのシーンを設定することになる制作過程において、名前とＩＤをシーンに付与することは、制作者が区別をしやすくなるというだけでなく、複数の制作者が共同で制作活動を行う際にも有用である。例えば、図１１のような、「Creative Scene」という名前を付与することにより、シーンの性質（どのような種類のメイントラックが使われているか、など）、あるいは、複数設定されるシーンの中でも重要なシーンであるという推定が容易となり、内容をシーン毎に確認する必要が無い、効率的な制作が可能になる。
　続いて、制作者は、トラックリスト７０１に示された追加トラックの中から、使用する追加トラックを選択する。トラックリスト７０１には、音楽データの再生制御時にメイントラックに付加する追加トラックの情報が示される。追加トラックは、図４を参照して説明した音楽データの構成要素である。図１１の例においては、kick、snare、keyの３つの素材のファイルがトラックリスト７０１に表示されている。
　なお、既存楽曲を用いてメイントラックを設定する場合や、追加トラックを追加する場合には、アップロードタブ７０４を選択することで、既存楽曲や追加トラックのアップロードが可能となる。アップロードタブ７０４は、音楽データのファイルをアップロードするときに操作されるタブである。
　図１２は、追加トラックが複数ある場合に、グループ化の設定を行うことに用いられる画面の例を示す図である。図１２の例においては、kick、bass、voxの３つの素材のファイルがグループ化された状態でトラックリスト７０１に表示されている。例えば、kickとvoxは、Group１の素材として設定されている。
　追加トラックは、前述したシーン同様、音楽データの様々な再生制御を実現するために複数使用されるのが一般的であり、各追加トラックを個別に扱うよりもグループ化した方が制作上効率がよい。制作者は、自身で設定した複数の追加トラックの組み合わせを設定、確認することができる。
　トラックリスト７０１で選択した追加トラックの組み合わせの他に、事前に作成しておいた追加トラックの組み合わせがあればアップロードボタン７０５を選択してアップロードしてもよい。
　以上の操作を行うことで、シーンの追加（新規作成）が終了となる。図１３は、１つのシーンの追加後の画面を示す図である。詳細設定部６０２には、INTRO SCENEタブ６２１に加えて、追加された「Creative Scene」シーンを選択するときに操作されるCreative Sceneタブ６２３が追加されている。
　続いて、シーンを構成する各エリアの設定が行われる。シーンを構成する各エリアに対しても、個別に設定を行うことが可能である。図１３のCreative Sceneタブ６２３が選択された場合、「Creative Scene」シーンを構成する各エリアの設定に用いられる図１４、図１５の画面が表示される。
　図１４は、「Creative Scene」シーンを構成する各エリアの設定と、TAG Informationの設定に用いられる画面を示す図である。TAG Informationとして、例えば、各エリアに割り当てるメイントラックと追加トラックの情報が設定される。
　エリア設定部６０１のボタン６１３が選択された場合、エリア設定部６０１内のマップ上に、任意の大きさ・形状のエリアＡ１が描画される。制作者は、エリアＡ１の範囲をマップ上で選択することができる。マップ上においてエリアＡ１の範囲が選択された場合、詳細設定部６０２の表示を用いて、エリアＡ１に割り当てるメイントラックと追加トラックを示すTAG Informationを設定することができる状態になる。
　なお、設定済みのエリアが２つ以上ある場合には、それらが夫々表示されてもよいし、識別しやすいように色分けされていてもよい。また、制作者の方で重点的に扱いたいエリアについては、何かしらのアイコン（星マークなど）が付与されたり、色分けされたり（通常は白基調だが、重要なエリアについては赤色にするなど）することで、他のエリアと区別可能に表示されてもよい。
　エリアＡ１に割り当てるメイントラックがArea Music ID８０１の表示を用いて設定され、追加トラックがAdditional Tracks８０２の表示を用いて設定される。エリアＡ１に割り当てるメイントラックを示すArea Music IDと、追加トラックを示す情報がTAG Informationとして設定される。図１４の例では、一例として、「Area０１」のArea Music IDが設定され、追加トラックのグループとして設定されたGroup１乃至Group３の中からGroup２（図１２）が選択されている。ここで、TAG Informationは、前述したタグ情報５１１Ｃ（図９）である。
　エリア設定部６０１の地図上でのエリアの設定は、例えば、マウスなどの機器を用いて制作者側で任意に設定するようにして行われる。予め設定された複数の形状のエリアの中から任意の形状のエリアを選択するようにしてエリアの設定が行われるようにしてもよい。
　その後、エリア設定部６０１のボタン６１２が選択された場合、設定画面は、エリアＡ１における、再生制御に関する各種の内容を定義したアルゴリズムの設定に用いられる画面を示す図１５の画面に移行する。
　図１５は、エリアＡ１におけるアルゴリズムの設定に用いられる画面を示す図である。詳細設定部６０２のアルゴリズムリスト９０１の中から、エリアＡ１で使用するアルゴリズムが制作者によって選択される。アルゴリズムリスト９０１には、選択可能なアルゴリズムの名前が例えばプルダウン形式で表示される。図１５の例においては、「Arpeggio」（アルペジオ）、「Synth」（シンセサイザ）、「Rhythm」（リズム）の３種類のアルゴリズムが表示されている。なお、アルゴリズムの種類はこの例に限定されない。例えば２種類であってもよいし、４種類以上であってもよい。
　なお、シーンおよびエリアに関連するトリガ情報については、図示せぬ画面を用いて、制作者により任意に設定される。
　以上の操作により、シーンおよびシーンを構成する各エリアに関する、トリガ情報の設定とアルゴリズムの設定が完了した状態になる。トリガ情報とアルゴリズムとが紐付けられることで、音楽生成パラメータが設定される。
　次に、ＰＯＩ情報の設定を行う操作について説明する。図１６は、ＰＯＩ情報の設定に関する画面の例を示す図である。前述したように、ＰＯＩ情報は、特定のポイントに関する、始点・終点などの情報である。
　図１６の画面のエリア設定部６０１の地図上には、エリアＡ１に加えて、ポイントＰ１が表示されている。
　ボタン６１３を選択することで、エリア設定部６０１内のマップ上の任意の位置にポイントＰ１を設定することが可能となる。例えば、ボタン６１３を選択した状態で、エリア設定部６０１内のマップ上の任意の地点をカーソルでクリックすることによってポイントＰ１が設定される。
　その後、ボタン６１２が選択された場合、設定画面は、図１７の画面に移行する。図１７の画面には、図１５の画面と同様に、アルゴリズムリスト９０２が詳細設定部６０２に表示される。アルゴリズムリスト９０２を用いて、ポイントＰ１における再生制御に関する各種の内容を定義したアルゴリズムが制作者によって設定される。
　なお、ポイントＰ１は、制作者によって設定される特別なポイントであることから、ポイントＰ１に固有のパラメータが設定されるようにしてもよい。
　図１８は、ポイントＰ１のアルゴリズムリストから「Arpeggio」（アルペジオ）のアルゴリズムが選択された状態を示す図である。例えば、図１８のPARAMETER SETTING９０３の表示を用いて、アルゴリズムに加えて、アルペジオ形式で再生される追加トラックの音符の長さなどがポイントＰ１に固有のパラメータとして設定される。固有のパラメータとして音符の長さを変更したり、休符を適宜追加したりすることで、制作者は、様々なバリエーションの表現が可能になり、ユーザが飽きにくい音楽体験を提供することが可能になる。
　なお、ポイントＰ１に関連するトリガ情報については、シーンおよびエリアの場合と同様に、図示せぬ画面を用いて、制作者により任意に設定される。
　次に、ランドマークの設定を行う操作について説明する。図１９は、ランドマークの設定に関する画面の例を示す図である。前述したように、ランドマークは、東京タワーやレインボーブリッジなどのランドマークに関する始点・終点等の情報である。
　図１９の画面のエリア設定部６０１の地図上には、エリアＡ１とポイントＰ１に加えて、ランドマークＬ１が表示されている。
　ボタン６１１を選択することで、エリア設定部６０１内のマップ上の任意の位置にランドマークＬ１を設定することが可能となる。例えば、ボタン６１１を選択した状態で、エリア設定部６０１内のマップ上の任意の地点をカーソルでクリックすることによってランドマークＬ１が設定される。
　その後、ランドマークＬ１が選択された場合、設定画面は、図２０の画面に移行する。図２０の画面では、ランドマークＬ１のアルゴリズムリスト９０５が詳細設定部６０２に表示される。アルゴリズムリスト９０５を用いて、ランドマークＬ１における再生制御に関する各種の内容を定義したアルゴリズムが制作者によって設定される。
　なお、エリアＡ１や、ポイントＰ１のときと同様に、ボタン６１２を選択することで、ランドマークＬ１における、再生制御に関する各種の内容を定義したアルゴリズムを設定する画面に移行されるようにしてもよい。画面の移行手段については、設定画面のアプリの納品業者や、制作者によって適宜変更されてよい。
　ここで、アルゴリズムリスト９０５では、一例として、以下の３つが設定されている。これに限らず、任意のパラメータを制作者が追加・変更してもよい。
　１．ユーザが運転する車がランドマークＬ１の周辺を走行する際に付加再生される追加トラックの種別(CONTENTS TYPEでGuidanceを選択)
　２．ユーザが運転する車２１とランドマークＬ１との距離に基づく処理(PLAYBACK SETTINGでDistanceを選択)
　３．エフェクト処理として音量の変更を設定(EFFECT SETTINGでVolume Changeを選択)
　これにより、ユーザ側では、例えば、ランドマークＬ１が存在するエリアを走行する際には、ランドマークＬ１とユーザが運転する車２１の距離が近くなるほど、メイントラックの音量が（ユーザの耳に損傷を与えず、かつユーザが不快に思わない範囲で）徐々に大きくなり、ランドマークＬ１に近づくと、メイントラックが音楽データからランドマークＬ１に関するガイダンス音声に変更される、という音楽体験を享受することができる。
　このように、ランドマークＬ１は、ポイントＰ１と同様に、制作者によって設定される特別なポイントであることから、ランドマークＬ１に対しても、ポイントＰ１と同様に固有のパラメータ設定を行うことで、制作者は様々なバリエーションの表現が可能になり、ユーザが飽きにくい音楽体験を提供する事が可能になる。例えば、制作者は、「ランドマークＬ１に近づくにつれて、メイントラックのボーカルにのみリバーブ処理を付与する」、「ランドマークＬ１の通過回数に応じてガイダンス音声の種類を変える」などの音楽体験を提供することができる。
　上述の音楽体験をユーザ側に提供する事で、日々のドライブ体験に付加価値をもたらすことができる。また、観光バスなどを運営する業者に提供することで、バスツアーなどの観光サービスなどにも応用することが可能である。
　ここで、上述したアルゴリズムリスト９０１、９０２、９０５の表示を用いて設定される各アルゴリズムは、前述した音楽パラメータ情報５１１Ａ（図９）である。加えて、ポイントＰ１における固有のパラメータ９０３や、ランドマークＬ１における固有のパラメータが音楽パラメータ情報５１１Ａに含まれてもよい。
　なお、図１０～図２０の例では、一例としてエリア設定部６０１が表示画面の左側にあり、詳細設定部６０２が表示画面の右側に表示されるものとしているが、画面の配置としてはこれに限らず、左右が逆になっていてもよいし、制作者側で好みの配置に変更できるようなものであってもよい。
　図２１は、設定画面を用いた制作者の一連の操作における成果物の例を示す図である。
　図２１の例では、１～２２の番号が付されたエリアがマップ上に設定されている。各エリアの番号がArea Music IDに相当し、Area Music IDにより識別されるメイントラックがアイコンで表示されている。一例として、エリア１～エリア２２をまとめて１つのシーン（大エリア）として表示されてもよい。
　また、制作者が試聴確認を行うことができるように、各エリア上のスピーカのアイコンをクリックすることでメイントラックが再生されるものであってもよい。なお、アイコンの形状はこれに限定されない。
　各エリアは、色分けされるなどして、制作者が識別可能なように表示されてもよい。また、特に重要なエリアや、お気に入りのエリアなどがある場合は、星マークなどのアイコンが付加されて表示されるようにしてもよい。
　日本以外の外国も含めた多くの地域（例えば、日本であれば東京、大阪、外国であればニューヨークやパリなど）を対象とした音楽生成パラメータの設定をそれぞれの制作者が行うことが予想される。ある特定の地域を対象として設定された成果物を、別の地域に転用したり、制作者間で成果物を共有したりすることができるようにしてもよい。これによりと、制作の効率を上げ、スケーラビリティを実現することが可能となる。
　従って、ある特定の地域で制作した成果物を別の地域に転用した際のレイアウト案が表示されたり、初心者の制作者向けに、経験豊富な制作者が過去に制作したレイアウト案をプルダウン形式で選択できるようにしてもよい。
・制作者端末の動作
　図２２は、制作者が設定画面を用いて行う一連の操作に関するフローチャートである。図２２に示す各ステップの処理が、制作者の操作に応じて、音楽生成パラメータ設定部１０１の各部により行われる（図８）。
　はじめに、ステップＳ１において、音楽生成パラメータ設定部１０１は、制作者によるシーン追加タブ６２２の選択を受け付け、追加（新規作成）するシーン（大エリア）に割り当てるメイントラックと追加トラックの設定に用いられる画面を表示させる。
　ステップＳ２において、音楽情報設定部１１１は、追加シーンに割り当てるメイントラックの詳細設定を行う画面に対する制作者の操作に応じて、追加シーン内で再生するメイントラックに関する情報を設定する。
　ステップＳ３において、音楽情報設定部１１１は、ステップＳ２で設定されたメイントラックに付加する追加トラックに関する情報を設定する。
　ステップＳ１～ステップＳ３の処理により、シーンの追加（新規作成）が完了する。続いて、シーンを構成するエリア毎の設定に移行する。
　ステップＳ４において、音楽情報設定部１１１は、シーンを構成するエリア毎のメイントラックに関する情報を設定する。
　ステップＳ５において、音楽情報設定部１１１は、ステップＳ４で設定されたメイントラックに付加する追加トラックに関する情報を設定する。単一の追加トラックが設定されるようにしてもよいし、複数の追加トラックをまとめたグループが設定されるようにしてもよい。
　ステップＳ４とステップＳ５の処理により、前述したTAG Information、すなわちタグ情報５１１Ｃの設定が行われる。
　ステップＳ６において、トリガ情報設定部１１２は、トリガ情報を設定する。
　ステップＳ７において、音楽情報設定部１１１は、制作者によるアルゴリズムの設定に応じて、音楽パラメータ情報を設定する。
　ステップＳ８において、トリガ情報設定部１１２は、制作者によるＰＯＩとランドマークの設定に応じて、それらの設定内容を示すＰＯＩ情報とランドマーク情報を設定する。ステップＳ８において設定されたＰＯＩとランドマークに対して、ステップＳ６、Ｓ７と同様に、トリガ情報の設定とアルゴリズムの設定が行われる。
　ステップＳ９において、音楽生成パラメータ設定部１０１は、シーン、エリア、ＰＯＩ、ランドマークについて設定されたトリガ情報と、アルゴリズムの設定を含む音楽情報とを紐付けることで音楽生成パラメータを設定する。
　ステップＳ１０において、音楽生成パラメータ設定部１０１は、ステップＳ９で設定した音楽生成パラメータを、ネットワーク３１を経由して情報処理サーバ１２に送信する。その後、音楽生成パラメータの設定に関する一連の処理が完了する。
　以上、図１０～図２２を用いて制作者が画面上で行う一連の操作と、制作者側に表示される画面の例について説明した。
＜ユーザ側での音楽データ再生制御の例＞
　制作者側の構成である制作者端末１１で事前に設定された音楽生成パラメータに基づいて、ユーザ側の構成である音楽データ再生システム１３において、どのような音楽データ再生制御が行われるかについて、図２３～図３１を用いて説明する。
　図２３は、音楽データ再生システム１３における再生空間を示す図である。
　再生空間は、前述したようにユーザが運転する車２１の車内空間である。車内空間のダッシュボードなどには、図２３に示すようにスマートフォンなどのユーザ端末２２が設置される。
　前述したように、再生制御された音楽データは、ユーザ端末２２のスピーカ７７から出力されるものであってもよいし、車２１のオーディオシステムから出力されるものであってもよい。
　図２４～図３０は、音楽データ再生システム１３における、音楽データの再生制御の具体的な例を示す図である。図２４～図３０の図中の音符は、図１の場合と同様に、各エリアやポイントなどの走行中に、音楽データの再生音（音楽）が車２１の車内で出力されていることを示す。
・再生制御の具体例１
　図２４は、走行エリアが切り替わった場合の再生制御の例を示す図である。
　図２４の左側の風景は、右隣の地図上に示すエリアＡ１１の走行中の車２１の前方の風景である。エリアＡ１１の走行中、風景の下の音符で示すように、エリアＡ１１に割り当てられた音楽データ（メイントラック）の再生音が車内に出力される。
　矢印の先に示すように、走行エリアがエリアＡ１１からエリアＡ１２に切り替わった場合、エリアの切り替わりに基づく再生制御が行われ、エリアＡ１２に割り当てられた音楽データの再生音が車内に出力される。図２４の右側の風景は、走行エリアが切り替わったときの車２１の前方の風景である。
・再生制御の具体例２
　図２５のＡは、カーブにおける再生制御の例を示す図である。
　図２５のＡに示すように、カーブにおいてステアリング操作が行われた場合、音量などのパラメータをステアリング操作量に応じて動的に変更するようにして再生制御が行われる。例えば、カーブが急であるほどメイントラックに付加される追加トラックの音量が大きくなる。
・再生制御の具体例３
　図２５のＢは、交差点などにおける停止・発進に基づく再生制御の例を示す図である。
　図２５のＢに示すように、例えば、発進時の加速度に応じて、メイントラックに付加される追加トラックを構成する音符の種類を変更するようにして再生制御が行われる。例えば、加速度が大きいほど、追加トラックを構成する１６分音符や３２分音符の割合が多くなることで、ユーザに爽快感をもたらすことができる。
・再生制御の具体例４
　図２６は、ランドマークの通過に基づく再生制御の例を示す図である。
　図２６には、ランドマークＬ１として設定された東京タワーに近付くときの風景が示されている。ランドマークＬ１に近付いた場合、ランドマークＬ１に対して設定された音楽データの再生音は、音源をランドマークＬ１の方向に定位させた状態で出力される。
　図２６に示すように、ランドマークＬ１に近づくにつれてメイントラックのボーカルにリバーブ処理を行うような再生制御が、ランドマーク通過に基づく再生制御として行われる。ランドマークＬ１の近傍を複数回通過する場合、１回目の通過時と２回目の通過時とで、メイントラックに付加する追加トラックの種別を変更するなどの再生制御が行われる。
・再生制御の具体例５
　図２７は、ＰＯＩ情報で示される特定のポイントを走行する場合の再生制御の例を示す図である。
　図２７のＡは、ＰＯＩ情報で示される特定の交差点Ｐ１１に進入し、その後直進した場合の再生制御を示す。図２７のＢは、交差点Ｐ１１に進入し、その後右折（左折）した場合の再生制御を示す。
　前述したように、直進した場合と右左折した場合とで、それぞれ異なる再生制御が行われることによって、それぞれ異なる再生音が車内に出力される。
・再生制御の具体例６
　図２８は、ＰＯＩ情報で示される特定のポイントを走行する場合の再生制御の他の例を示す図である。
　特定のポイントの中でも、例えばトンネルなどのポイントは、ＧＰＳセンサによる位置情報が途切れやすいポイントである。ここで、図２８のポイントＰ１２の始点となる地点ｐ１においてＧＰＳセンサによるデータが途切れる場合を考える。ハッチを付して示すポイントＰ１２は、トンネル内の範囲を示す。
　この場合、音楽生成パラメータの設定時に、車２１の位置情報を使用するトリガ情報が設定されている場合、ＧＰＳセンサによる位置情報が途切れると音飛びなどが発生し、音楽データの再生制御、および、再生制御された音楽データの再生音の出力に不具合が生じる場合がある。
　そこで、図２８の右側に示すように、ポイントＰ１２に進入する前に、位置情報取得部３１１により取得された位置情報と、車体情報取得部３１２により取得された車体情報とに基づいて、現在の走行位置からポイントＰ１２に進入するまでの時間が事前に計測される。ポイントＰ１２に進入するまでの時間に応じて同期再生が行われることで、地点ｐ１にてＧＰＳセンサによる位置情報が途切れた場合でも、音飛び等を発生させることなく、同期再生された再生音を車内に出力させることが可能となる。
　このような処理を行うことで、ユーザに不快感を与えることを防ぐことができる。
・再生制御の具体例７
　図２９は、走行中のエリアの交通状況に基づく再生制御の例を示す図である。
　図２９には、エリアＡ１１の走行中の交通状況が示されている。図２９のＡは、エリアＡ１１に渋滞が発生していない状況を示し、図２９のＢはエリアＡ１１に渋滞が発生している状況を示す。
　渋滞はユーザにとってストレスを感じやすい状況であり、渋滞が発生しているような状況下であっても、通常時と同様の再生制御に基づく音楽データが出力されるだけでは、ユーザが退屈に感じてしまう可能性がある。
　そこで、走行エリアの交通状況に応じて音楽データの再生制御の内容を動的に変更することで、ユーザのストレスを軽減し、かつ退屈させにくい音楽体験を提供することができる。
　また、例えば、渋滞が発生しているエリアの情報を交通情報サーバ２１２などから事前に取得し、渋滞が発生しているエリアまでの距離が所定の距離以内になった場合に、アラート音を出力するなどの再生制御が行われるようにしてもよい。これにより、ユーザは自身が渋滞に遭遇することを事前に把握することができ、迂回路の検討などが可能になる。
　交通状況以外にも、例えば道路状況や天候（整備された道路と悪路、晴れの日の路面状況と雨や雪の日の路面状況など）に応じて音楽データの再生制御の内容が動的に変更されるようにしてもよい。道路状況を検出する際には、道路状況に関する種々の情報（路面の乾燥、湿潤、濡れ、氷雪、砂利、摩擦係数など）が、ユーザ端末２２または車２１のセンサによって取得されてもよい。
・再生制御の具体例８
　図３０は、走行エリアの速度情報などの情報に基づく再生制御の例を示す図である。
　図３０に示すエリアＡ１１は、図２９のエリアＡ１１と同じエリアである。図３０におけるエリアＡ１１と、その隣のエリアであるエリアＡ１２では、例えば、制限速度が異なるものとする。
　ここで、エリアＡ１１は、制限速度が時速４０ｋｍの一般道路を含むエリアである。エリアＡ１２は、制限速度が時速８０ｋｍの高速道路を含むエリアである。エリアＡ１１とエリアＡ１２の両方において、「車２１の速度が時速４０ｋｍに達した場合はアラート音をメイントラックに付加して再生する」という再生制御の内容を示す音楽生成パラメータが設定されている場合を考える。
　この場合、エリアＡ１１の制限速度は時速４０ｋｍであるので、エリアＡ１１を走行中であれば、ユーザが運転する車２１の速度が４０ｋｍを超える可能性は低く、前述した「車２１の速度が時速４０ｋｍに達した場合はアラート音をメイントラックに付加して再生する」という再生制御の内容を示す音楽生成パラメータは適切であるということができる。
　一方で、エリアＡ１１からエリアＡ１２にエリアが切り替わった場合、エリアＡ１２の制限速度は時速８０ｋｍであるので、通常の走行時には時速４０ｋｍより速い速度で走行する可能性が極めて高い。よって、上述した「車２１の速度が時速４０ｋｍに達した場合はアラート音をメイントラックに付加して再生する」という再生制御の内容を示す音楽生成パラメータのままであると、ユーザ対してアラート音が絶え間なく出力され続けることになってしまう。
　前述した例では、ユーザの不注意を招く可能性もあり、安全運転の観点からも好ましくない。そこで、音楽データの再生制御の内容を走行エリアの速度情報に応じて動的に変更することで、不自然な再生制御が行われることから生じるユーザの不注意を防ぐことができる。例えば、「車２１の速度が時速８０ｋｍに達した場合はアラート音をメイントラックに付加して再生する」という再生制御の内容を示す音楽生成パラメータに変更され、変更後の音楽生成パラメータに基づいて、エリアＡ１２における再生制御が行われる。
　以上、図２４～図３０を用いて音楽データ再生システム１３における、音楽データの再生制御の具体的な例を説明した。なお、音楽データの再生制御の具体的な例は、図２４～図３０の場合に限定されない。
・音楽データ再生システムの動作
　図３１は、ユーザ側の構成である音楽データ再生システム１３において、音楽データの再生制御が行われる際のフローチャートである。
　例えば、情報処理サーバ１２から送られてくる音楽生成パラメータが、音楽制御部３０１により取得された後に各ステップの処理が開始される。様々な制作者により作成された複数の音楽生成パラメータが取得される。音楽生成パラメータの取得は、ユーザ端末２２の通信部７９によって行われるが、代わりに、ユーザが運転する車２１に搭載された通信部で取得されてもよい。
　音楽生成パラメータには、前述したように、トリガ情報と音楽情報とが紐付けられて設定されている。トリガ情報は、音楽データの再生制御を実行する際のトリガとなる条件を定義した情報であり、例えば図２のＡで示される。音楽情報は、音楽データに対してどのような再生制御を行うかを示す音楽パラメータ情報５１１Ａなどの情報を含む。ここで、音楽パラメータ情報５１１Ａは、各エリアに紐付けられた音楽データに対して、どのような再生制御を行うかを示すアルゴリズムに関する情報などである。
　したがって、音楽データ再生システム１３において適切な音楽データの再生制御が行われるためには、トリガ情報で定義されている条件を満たすかどうかを判定する必要がある。この判定は音楽制御部３０１の各部により行われる（図８）。
　ステップＳ１１において、音楽制御部３０１の位置情報取得部３１１は、センサ７４から供給された各種のセンサデータに基づいて、ユーザが運転する車２１の位置情報を取得する。
　ステップＳ１２において、車体情報取得部３１２は、センサ７４から供給された各種のセンサデータに基づいて、車２１の車体情報を取得する。
　ステップＳ１１、Ｓ１２により、前述のイベント取得が行われることになる。すなわち、位置情報取得部３１１と車体情報取得部３１２は、ユーザ側で生じるイベントを取得するイベント取得部として機能する。
　ステップＳ１３において、音楽生成パラメータ制御部３１３は、位置情報取得部３１１により取得された車２１の位置情報と、車体情報取得部３１２により取得された車２１の車体情報とに基づいて、処理開始前に取得した音楽生成パラメータで設定されているトリガ情報を満たすかどうかを判定する。すなわち、取得したイベントがトリガ情報を満たすかどうかを判定する。
　ステップＳ１３において、取得したイベントが、処理開始前に取得した音楽生成パラメータで設定されているトリガ情報を満たすと判定された場合、処理はステップＳ１４に進む。
　ステップＳ１４において、音楽生成パラメータ制御部３１３は、取得したイベントとトリガ情報に基づいて、処理開始前に取得した音楽生成パラメータの変更が必要かどうかを判定する。
　ステップＳ１４において、処理開始前に取得した音楽生成パラメータの変更が必要であると判定された場合、処理はステップＳ１５に進む。なお、音楽データ再生システム１３において、音楽生成パラメータの変更を行う場合には、制作者側で音楽生成パラメータを設定する際に、音楽データ再生システム１３において音楽生成パラメータの変更が行われるように事前に設定しておいてもよい。
　ステップＳ１５において、音楽生成パラメータ制御部３１３は、処理開始前に取得した音楽生成パラメータを変更する（制御する）。ここで、処理開始前に取得した音楽生成パラメータの変更が行われる例としては、例えば、図３０で説明した例が挙げられる。
　次に、ステップＳ１６において、音楽再生制御部３１４は、ステップＳ１５で変更された音楽生成パラメータに基づいて音楽データの再生制御を行う。
　一方、ステップＳ１４において、音楽生成パラメータの変更が必要ではないと判定された場合、ステップＳ１５の処理がスキップされた後、ステップＳ１６において音楽データの再生制御が行われる。
　この場合は、ステップＳ１５における、処理開始前に取得した音楽生成パラメータの変更が行われない。
　そのため、ステップＳ１６においては、処理開始前に取得した音楽生成パラメータに基づく再生制御が音楽データに対して行われる。
　続いて、ステップＳ１７において、出力部４０１は、再生制御された音楽データの再生音を車内空間に出力させる。音楽生成パラメータで設定されているトリガ情報を満たさないとステップＳ１３において判定された場合、処理はステップＳ１７に進み、再生音の出力が続けられる。
　その後、ステップＳ１８において、音楽制御部３０１は、ユーザが運転を終了したかどうかが判定される。運転が終了したかどうかは、例えばエンジンのＯＮ／ＯＦＦにより判定してもよい。運転が終了しないとステップＳ１８において判定された場合、ステップＳ１１以降の処理が再度開始される。運転が終了したとステップＳ１８において判定された場合、処理は終了となる。
　ここでは、運転終了により処理が終了される例を説明したが、ユーザ端末２２が備えるマイクロフォン７３で認識したユーザの音声に基づいて、処理の開始・終了が行われるようにしてもよい。
　例えば、「少し眠気があるので音楽をかけて」、「運転に集中したいから音楽の再生を止めて」、といったウェイクワードを、ユーザ端末２２が備えるマイクロフォン７３や、車２１の音声認識システムで認識した場合である。
　この他にも、例えば、車２１の座席に設けられた生体センサによって、運転手や同乗者の発汗状態や心拍、脳波などの生体データを取得し、それらの生体データに基づいて、運転手の眠気度や緊張度などを推定し、音楽生成パラメータの制御に用いることが考えられる。
　例えば、眠気度が大きくなってきた運転手には、覚醒を促すような音楽データや休息を促す音声を追加トラックとして付加再生するといった再生制御を行うように音楽生成パラメータを変更することが可能である。
　また、高齢者や運転免許を取得して日が浅い運転手は運転に苦手意識を持ちやすく、運転時には高い緊張を強いられることが考えられる。そこで、ユーザの緊張度合に応じて、運転を励ますような音声が追加トラックとして付加されるような再生制御を行うように音楽生成パラメータを変更してもよい。このように、本技術はアクセシビリティへの応用も可能である。
＜音源分離を用いた再生制御＞
　図３２は、再生制御の対象となるトラックの例を示す図である。
　以上においては、既存楽曲を用いて設定されたトラックや、図３２のＡに示すように、制作者によって新規に作成され、情報処理サーバ１２にアップロードされたトラック（音源データ）を対象とした再生制御について説明したが、図３２のＢに示すように、既存楽曲に対して音源分離を行うことによって得られたトラックが再生制御の対象として用いられるようにしてもよい。
　図３２のＢの例においては、既存楽曲を対象として音源分離が行われ、Vocal（Vo）、Drum（Dr）、Bass（Ba）、および、Otherの４種類の音源のトラックが取得されている。また、音楽生成パラメータにより定義されるトリガ情報などに基づいて、運転情報を反映させたリミックス（再構成）が４種類の音源のトラックを対象として行われ、リミックス後の音楽データが車内での再生に用いられている。
　このように、既存楽曲を対象とした音源分離によって取得されたそれぞれのトラックが再生制御に用いられるようにすることにより、制作者は、音楽生成パラメータによる再生制御の対象となるトラックを新規に作成して用意する必要がない。また、所定の事業者が提供するストリーミングサービスによって配信される楽曲などを再生制御の対象として用いることができるため、音楽生成パラメータを用いた再生制御を車内向けのサービスとして提供する場合にそのサービスの拡大が可能となる。
　図３３は、音源分離によって生成されたトラックを対象とした再生制御の例を示す図である。
　図３３の例においては、あるエリア内の位置である位置Ｐ１を出発地として走行が開始されている。位置Ｐ１から位置Ｐ２までの間、走行中のエリアに対して設定された既存楽曲を対象として、車体情報などに応じた上述した再生制御が行われる。例えば、ストリーミングサービスによって配信される既存楽曲を対象とした再生制御が位置Ｐ２までの間に行われる。
　この例においては、東京タワーなどのランドマークがある位置Ｐ２に近付いたときに、再生制御の対象となる楽曲をリミックス対応楽曲に切り替えることがトリガ情報などによって設定されている。走行位置が位置Ｐ２に近付くことに応じて、リミックス対応楽曲がユーザ端末２２により取得され、音源分離が行われる。
　リミックス対応楽曲には、例えば、音源分離が可能なコンテンツ（楽曲）であることを示す情報を含む分離情報が紐付けられている。ユーザ端末２２においては、音源分離が可能な楽曲が分離情報に基づいて取得され、音源分離が行われる。
　図３４は、音源の種類を示す図である。
　例えば、図３４に示すように、２音源、４音源、６音源、１０音源の４種類の音源分離が可能とされる。例えば、２音源の音源分離が行われる場合、VocalとOthersのそれぞれのトラックが取得され、４音源の音源分離が行われる場合、Bass、Drums、Vocal、Othersのそれぞれのトラックが取得される。分離可能な音源の種類を示す情報が分離情報に含まれるようにしてもよい。
　図３３の例においては、音源分離によって取得されたそれぞれのトラックを対象として、運転情報を反映させた再生制御が位置Ｐ３までの間に行われる。例えば、２音源の音源分離がユーザ端末２２において行われ、VocalとOthersのそれぞれのトラックが取得されている場合、Vocalのトラックに適した音楽効果が再生制御によって付与される。このように、音源分離によって取得されたトラックの種類によって、再生制御の内容が切り替わる。
　エフェクトなどの音楽効果の内容がトラック毎に設定されるようにしてもよい。例えばVocalのトラックに対しては、リバーブをかけるなどの処理がトンネルの走行中に行われる。
　音源分離によって取得されたメイントラックに付加する他のトラックとして、メイントラックと同じ楽曲から取得されたトラックが用いられるようにしてもよいし、他の楽曲から取得されたトラックが用いられるようにしてもよい。例えば、BPMやキーなどのパラメータが似た楽曲のトラックがメイントラックへの付加に用いられる。
・音楽制御部の構成
　図３５は、以上のような音源分離を行う構成を含む音楽制御部３０１の構成例を示すブロック図である。図３５に示す構成のうち、図８等を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３５に示す音楽制御部３０１には、上述した位置情報取得部３１１、車体情報取得部３１２、音楽生成パラメータ制御部３１３、音楽再生制御部３１４に加えて、楽曲取得部７０１、楽曲情報取得部７０２、音源分離部７０３、運転情報取得部７０４、および楽曲再構成部７０５が設けられる。位置情報取得部３１１と車体情報取得部３１２は、運転情報取得部７０４を構成する機能部として設けられ、音楽生成パラメータ制御部３１３は、楽曲再構成部７０５を構成する機能部として設けられる。
　楽曲取得部７０１は、音源分離の対象となる楽曲のデータである楽曲データを取得する。楽曲データは、ストリーミングサービスを提供するサーバ、情報処理サーバ１２などのクラウド上のサーバから取得されるようにしてもよいし、ユーザ端末２２内から取得されるようにしてもよい。
　図３６のＡに示すように、楽曲取得部７０１が取得する楽曲データには、音楽情報、メタ情報、および分離情報が紐付けられる。それぞれの楽曲データに３種類の全ての情報が紐付けられるのではなく、少なくともいずれかの情報が紐付けられるようにしてもよい。
　音楽情報は、キー、拍、BPMなどの、楽曲の属性を示す情報である。上述した音楽メタデータ情報５１１Ｂが音楽情報に対応する。
　メタ情報には、リミックスに用いられる箇所（区間）を示す情報、リミックスの手法を示す情報などが含まれる。上述した音楽パラメータ情報５１１Ａを構成する情報のうちの少なくともいずれかの情報がメタ情報に含まれるようにしてもよい。
　分離情報には、図３４を参照して説明したような音源の種類を示す情報、音源分離が可能な楽曲であるか否かを示す情報、および、音源分離が行われたことがあるか否かを示す情報が含まれる。３種類の全ての情報が含まれるのではなく、少なくともいずれかの情報が分離情報に含まれるようにしてもよい。また、上述した情報に加えて、音源の波形データや楽譜データなどの情報が含まれていてもよい。
　例えば、あるユーザが使用するユーザ端末２２や情報処理サーバ１２において音源分離が行われた楽曲データに対しては、音源分離が行われたことがあることを示す情報を含む分離情報が紐付けられる。音源分離によって取得されたそれぞれのトラックのデータが音源分離を行ったサーバなどに保存されている場合、それぞれのトラックのデータの保存場所を示す情報が分離情報に含まれるようにしてもよい。
　音源分離が行われたことがあることを示す情報が分離情報に含まれている場合、ユーザ端末２２においては音源分離が行われずに、各トラックのデータが保存場所を示す情報に基づいて取得される。また、取得された各トラックのデータを対象として再生制御が行われる。これにより、音源分離をその都度行う必要がなく、ユーザ端末２２の処理負担を軽減することが可能となる。
　このように、既存楽曲の音源分離が音楽再生開始後にリアルタイム処理として行われるのではなく、音楽再生開始前の事前処理として行われるようにすることが可能である。既存楽曲の音源分離が事前処理として行われる場合、例えば、ユーザが選択したプレイリストを参照し、それぞれの楽曲の再生が開始される前に音源分離が行われる。プレイリストには、それぞれの楽曲の再生順を示す情報などが含まれる。
　また、既存楽曲の音源分離が、エッジ端末側の処理としてユーザ端末２２において行われるのではなく、クラウド側の処理として情報処理サーバ１２において行われるようにすることが可能である。音源分離がクラウド側の処理として行われる場合、音源分離の対象となる楽曲がインターネット経由で情報処理サーバ１２にアップロードされ、音源分離が行われる。
　楽曲取得部７０１により取得された楽曲データは、楽曲情報取得部７０２と音源分離部７０３に供給される。
　楽曲情報取得部７０２は、楽曲取得部７０１から供給された楽曲データを解析することにより、または、楽曲データに紐付けられている音楽情報などを参照することにより楽曲情報を取得する。図３６のＢに示すように、楽曲情報は、例えば、楽曲のジャンル、コード進行、Ａメロ／Ｂメロなどの構造情報、MIDIデータなどの楽譜情報、BPMなどを示す情報であるが、これら以外の情報が含まれていてもよい。
　楽曲情報取得部７０２による楽曲情報の取得は、適宜、音源分離部７０３から供給されたトラックのデータを解析することによって行われる。例えば、Vocalのトラックを解析することにより、メロディの情報が楽曲情報として取得される。楽曲情報取得部７０２により取得された楽曲情報は楽曲再構成部７０５に供給される。
　音源分離部７０３は、楽曲取得部７０１から供給された楽曲データを対象とした音源分離を行い、２音源、４音源、６音源、１０音源などの所定の数のトラックのデータを取得する。音源分離部７０３で分離される音源の数は、例えば音楽制御部３０１にて自動で設定されるものであってもよいし、ユーザが適宜設定できるものであってもよい。
　音源分離部７０３による音源分離が、信号を解析することによって行われるようにしてもよいし、機械学習によって生成された推論モデルを用いて行われるようにしてもよい。後者の場合、楽曲データを入力とし、各音源のトラックのデータを出力とする推論モデルが音源分離部７０３に用意される。音源分離部７０３により取得された各音源のトラックのデータは、楽曲情報取得部７０２と楽曲再構成部７０５に供給される。
　既存楽曲を構成する各音源のトラックデータがあらかじめ用意されている場合、音源分離に用いられる推論モデルの再学習が行われ、音源分離の性能向上が図られるようにしてもよい。
　運転情報取得部７０４は、位置情報取得部３１１と車体情報取得部３１２を含むように構成される。運転情報取得部７０４の位置情報取得部３１１は、センサ７４としてユーザ端末２２に内蔵された測位センサなどから供給されたデータに基づいて、ユーザが運転する車２１の位置情報を取得する。
　運転情報取得部７０４の車体情報取得部３１２は、センサ７４から供給されたセンサデータに基づいて、ユーザが運転する車２１の車体情報を取得する。上述したように、車体情報は、発進・停止、加速・減速、右左折、カーブでハンドルを切るなどの車２１の走行状態を示す情報である。
　位置情報取得部３１１により取得された位置情報と車体情報取得部３１２により取得された車体情報は、図３６のＣに示すように他の情報とともに運転情報として楽曲再構成部７０５に供給される。図３６のＣの例においては、車体情報と位置情報の他に、地図情報と外部情報が運転情報を構成する情報として示されている。外部情報は、トリガ情報５１２に含まれるPOI情報とエリア情報を含む情報である。
　楽曲再構成部７０５の音楽生成パラメータ制御部３１３は、運転情報取得部７０４から供給された運転情報に含まれる位置情報と車体情報を反映させた再生制御を音楽生成パラメータに基づいて行うことによって、音源分離部７０３により分離された任意のトラックからなる楽曲のリミックスを行う。楽曲再構成部７０５によるリミックス後の楽曲を示す音楽生成パラメータは、各トラックのデータとともに音楽再生制御部３１４に供給される。
　音楽再生制御部３１４は、楽曲再構成部７０５から供給されたリミックス後の楽曲を示す音楽生成パラメータに基づいて、各トラックを再生する。音楽生成パラメータに基づく再生音は、ユーザ端末２２に内蔵されたスピーカ７７などの、出力部４０１（図８）を構成するスピーカから出力される。
　後述するように、図３５に示す構成のうちの少なくとも一部が、クラウド上のサーバである情報処理サーバ１２に設けられるようにすることが可能である。
・リミックスの具体例
　図３７は、既存楽曲のリミックスの具体例を示す図である。
　図３７の例においては、ステレオ音源の既存楽曲が音源分離の対象として取得されている。この場合、図３７の上段に示すように、音源分離の対象となる既存楽曲が楽曲情報取得部７０２により解析され、BPM、Aメロ／Bメロ等のセクション情報が取得される。また、音源分離が音源分離部７０３により行われ、VocalトラックとOthersトラックが取得されている。
　図３７の中段に示すように、音源分離によって取得されたVocalトラックが楽曲情報取得部７０２により解析され、メインのメロディ情報（主旋律）が取得される。
　図３７の下段に示すように、例えば、コード進行、楽器編成、演奏情報の内容を示す音楽生成パラメータが、Vocalトラックのメインのメロディ情報に基づいて楽曲再構成部７０５（音楽生成パラメータ制御部３１３）により生成され、音楽生成パラメータを用いてリミックスが行われる。演奏情報は、各楽器の弾き方、音色などを示す情報である。例えば、Vocalトラックのメインのメロディ情報に合うコード進行を示す音楽生成パラメータが生成される。
　音楽生成パラメータの生成には運転情報も適宜用いられる。例えば、図３７の下段に示すように、VocalトラックとOtherトラックからなる楽曲がリミックス後の楽曲として生成される。Otherトラックは、例えば、Vocalトラックに対するハーモナイズの処理に用いられるトラックである。ハーモナイズの処理において、楽曲全体のリミックスが行われるようにしてもよいし、サビ部分などの部分的なリミックスが行われるようにしてもよい。Otherトラックについては、制作者により事前に用意されるようにしてもよいし、システム（情報処理サーバ１２）から取得された情報に基づいて自動で生成されるようにしてもよい。
　このように、音源分離が行われ、既存楽曲の重要なトラック（例えばVocalトラックが該当する。Vocalのない楽曲の場合は例えばその曲のメインとなる楽器が該当する）のメロディ情報に基づいて音楽生成パラメータの生成が行われることにより、既存楽曲の雰囲気を残しながらアレンジを加えるようなリミックスが可能となる。
・既存楽曲の繋ぎ合わせ
　図３８は、既存楽曲の繋ぎ合わせ処理の例を示す図である。
　ここでは、再生対象の楽曲を楽曲Ａから楽曲Ｂに切り替える場合の処理について説明する。あらかじめ用意されたプレイリストや楽曲一覧などにより、楽曲Ａの次に再生する楽曲が楽曲Ｂであるとして設定されているものとする。ユーザ端末２２のローカルデータ、もしくはクラウド上のDBを用いて、楽曲の再生順がレコメンドされるようにしてもよい。楽曲のレコメンドは、キー、BPM、アーティスト名、ジャンルなどに基づいて行われる。
　楽曲Ａ、楽曲Ｂは、それぞれ、図３９に示すようにVocalトラックとOtherトラックを含む既存楽曲である。楽曲Ａを対象とした音源分離によりVocalトラックＴA1とOtherトラックＴA2が取得され、楽曲Ｂを対象とした音源分離によりVocalトラックＴB1とOtherトラックＴB2が取得される。
　図３８の例においては、あるエリアの走行中、走行中のエリアに対して設定された楽曲Ａが再生される。楽曲Ａの再生中、適宜、VocalトラックＴA1とOtherトラックＴA2を対象として、車体情報などに応じた再生制御が行われる。
　ランドマークがある位置Ｐ１１に近付いたときに、再生制御の対象となる楽曲をリミックス対応楽曲に切り替えることがトリガ情報などによって設定されているものとする。図３８の例においては、走行位置が位置Ｐ１１に近付くことに応じて、楽曲ＡのVocalトラックＴA1の再生がそのまま続けられるとともに、楽曲ＡのOtherトラックＴA2に代えて、楽曲ＢのOtherトラックＴB2の再生が開始されている。位置Ｐ１２までの間、楽曲ＡのVocalトラックＴA1と楽曲ＢのOtherトラックＴB2を対象とした再生制御が行われる。
　走行位置が位置Ｐ１２に近付き、楽曲Ａの再生が終わった場合、楽曲ＡのVocalトラックＴA1に代えて、楽曲ＢのVocalトラックＴB1が楽曲ＢのOtherトラックＴB2とともに再生制御の対象として用いられる。
　このように、先に再生対象になる楽曲の一部のトラックと次に再生対象になる楽曲の一部のトラックとを対象とした再生制御が行われた後に、次の楽曲への切り替えが行われるようにしてもよい。
　異なる楽曲のトラックを対象とした再生制御が行われる区間を示す情報が、繋ぎ合わせに適した箇所の情報としてメタ情報（図３６のＢ）として含まれるようにしてもよい。例えば、イントロ、Aメロ、Bメロなどの各区間の開始位置、終了位置の情報が、繋ぎ合わせに適した箇所の情報としてメタ情報に設定される。繋ぎ合わせに適した箇所の情報は、例えば制作者により、または、楽曲を解析することにより設定される。
　このように、楽曲の繋ぎ合わせの際には、繋ぎ合わせによる違和感が生じないようにするためのリミックスが行われる。
　例えば、Drumのような音源のトラックについては、他の楽曲のどの箇所に追加しても比較的違和感はない場合が多いが、Vocalのようなメロディがはっきりしているトラックについては、追加する箇所を制限する必要がある場合が多い。このように、再生箇所、リミックスの手法に制約があるトラックに対して所定の制限が設定され、繋ぎ合わせ時の最適化が行われるようにしてもよい。
　ある楽曲のBPMと次に再生する楽曲のBPMが異なる場合、タイムストレッチなどの信号処理が行われた後にリミックスが行われるようにしてもよい。また、音源分離によって取得された特定の音源の構成要素の全てをリミックスに用いるのではなく、音色などの一部の構成要素のみがリミックスに用いられるようにしてもよい。
　図４０は、既存楽曲の繋ぎ合わせ処理の他の例を示す図である。
　ここでは、速度追従モードでの再生制御時における繋ぎ合わせ処理について説明する。速度追従モードは、走行速度に応じたBPMの楽曲を再生対象とするモードである。
　図４０の例においては、位置Ｐ２１から位置Ｐ２２までの区間の走行中、走行中のエリアに対して設定された１２０BPMの楽曲を対象として、車体情報などに応じた再生制御が行われている。１つの楽曲全体ではなく、１つの楽曲を構成するセクション単位の区間が再生対象として用いられるようにしてもよい。
　同様に、位置Ｐ２２から位置Ｐ２３までの区間においては１２８BPMの楽曲が再生制御の対象として用いられ、位置Ｐ２３から位置Ｐ２４までの区間においては１２４BPMの楽曲が再生制御の対象として用いられている。
　位置Ｐ２４に近付いたときに、再生制御の対象となる楽曲をリミックス対応楽曲に切り替えることがトリガ情報などによって設定されているものとする。図４０の例においては、走行位置が位置Ｐ２４に近付くことに応じて、１２４BPMの楽曲を再生制御の対象とすることが維持される。位置Ｐ２４から位置Ｐ２５までの区間においても、直前の区間と同様に１２４BPMの楽曲が再生制御の対象として用いられる。
　走行位置が位置Ｐ２５に近付いたとき、再生制御の対象が、音源分離によって取得された１２４BPMの楽曲の特定の音源のトラックに切り替えられる。図４０の例においては、同じBPM（１２４BPM）の他の楽曲の音源のトラックを付加するようにして、楽曲のリミックスが行われている。このように、リミックス時、例えば走行速度が閾値となる速度より速い場合にはBPMが閾値より高い楽曲のトラックが選択され、走行速度が閾値となる速度より遅い場合にはBPMが閾値より低い楽曲のトラックが選択される。
　このように、リミックス前に再生されていた楽曲のBPMと同じBPMの楽曲がリミックスの対象として選択されるようにすることにより、走行速度に応じた自然な形での楽曲の繋ぎ合わせが可能となる。楽曲のBPMが大きく変化してしまうとユーザに違和感を与えてしまうが、そのようなことを防ぐことが可能となる。
・制作ワークフロー
　図４１は、音源分離を用いた場合の制作ワークフローの例を示す図である。
　図４１の例においては、既存楽曲の音源分離がクラウド側（情報処理サーバ１２側）で行われる。この場合、制作者は、制作者端末１１を操作し、矢印＃１に示すように既存楽曲をアップロードすることになる。
　アップロードされた既存楽曲のデータを取得した情報処理サーバ１２においては、音源分離が行われ、矢印＃２の先に示すようにそれぞれの音源のトラックが取得される。制作者は、それぞれのトラックを試聴するなどして品質を確認することができる。
　品質の確認後、矢印＃３の先に示すように、それぞれのトラックに対してメタ情報などの設定が行われる。図４１の下向きの三角はメタ情報の設定位置を示す。適宜、再生制御を実行する際のトリガとなる条件を定義したトリガ情報などがメタ情報として設定される。
　図４２は、音源分離がクラウド側で行われる場合の情報処理サーバ１２の構成例を示す図である。
　この場合、図４２に示すように、音楽制御部３０１が情報処理サーバ１２において実現される。音楽制御部３０１の全ての機能部が実現されるのではなく、一部の機能部が情報処理サーバ１２において実現されるようにしてもよい。図４２に示す音楽制御部３０１の構成のうち、図３５を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４２に示す音楽制御部３０１においては、音源分離の対象としてアップロードされた楽曲データが楽曲取得部７０１により取得され、楽曲情報取得部７０２と音源分離部７０３に出力される。
　運転情報取得部７０４においては、車２１から送信されてきたセンサデータに基づいて車体情報が取得される。
　音楽再生制御部３１４においては、各トラックのデータを対象として、楽曲再構成部７０５から供給された音楽生成パラメータに基づく再生制御が行われる。再生音のデータがユーザ端末２２に対して送信され、車２１内のスピーカから出力される。
＜撮影画像から取得された情報に基づく再生制御＞
・認識物体の状態に応じた再生制御
　ユーザ端末２２のカメラである撮影部７２によって撮影された画像に写る物体を認識し、認識した物体の画像上の位置に応じて音楽生成パラメータを変化させるようにして再生制御が行われるようにしてもよい。画像上の位置などの、画像に写る物体の状態が変化することに追従するようにして音楽生成パラメータが動的に変化することにより、ユーザに向けて出力されている音楽自体が動的にリアルタイムで変化することになる。なお、カメラである撮影部７２によって撮影された画像の他に、例えば、デプスセンサから取得されるデプスマップやサーモグラフィを用いて音楽生成パラメータを変化させるようにして再生制御が行われるようにしてもよい。
　上述した音源分離によって生成された各音源のトラックデータを用いて、このような再生制御が行われるようにすることが可能である。
　図４３は、物体認識の例を示す図である。
　例えば、走行中に撮影された画像に図４３のＡに示すように自動車Ｃ１、Ｃ２が写っている場合、自動車Ｃ１、Ｃ２が図４３のＢに枠で囲んで示すように認識される。図４３の例においては、画像の中心より左下寄りの位置に自動車Ｃ１が写り、中心から若干右寄りの位置に自動車Ｃ２が写っている。ユーザ端末２２には、認識対象の物体の種類に応じた認識モデルが用意されている。
　図４４は、音楽生成の例を示す図である。
　図４４の上段に示す風景の状態は、図４３を参照して説明した状態と同じ状態である。ユーザ端末２２のディスプレイ７５に表示されている画像には、画像の中心より左下寄りの位置に自動車Ｃ１が写り、中心から若干右寄りの位置に自動車Ｃ２が写っている。
　この場合、物体認識により認識された自動車Ｃ１と自動車Ｃ２のそれぞれの位置に基づいて、メロディの音階などを示す音楽生成パラメータが設定され、設定された音楽生成パラメータに基づく音楽が再生される。例えば、走行中のエリアに紐付けられた音楽の再生中に自動車Ｃ１と自動車Ｃ２が認識された場合、自動車Ｃ１と自動車Ｃ２のそれぞれの位置に基づいて音楽生成パラメータが設定され、設定された音楽生成パラメータに応じた音を加えて音楽の再生が続けられる。
　所定の時間が経過し、図４４の下段に示すように自動車Ｃ１と自動車Ｃ２の位置が変化した場合、自動車Ｃ１と自動車Ｃ２のそれぞれの変化後の位置に基づいて音楽生成パラメータが設定され（変更され）、設定された音楽生成パラメータを用いて変化させた音楽が再生される。図４４の上段と下段に示す音符の並びが異なることは、それぞれ異なる音楽が再生されていることを示す。
　このように、認識された物体の位置に応じて音楽が変化することにより、ユーザは、音楽の変化を楽しみながら運転することができる。また、自分が運転する自動車が動いたり物体が動いたりしたことを反映するようにして音楽生成パラメータが設定されることから、ユーザは、変化し続ける音楽を楽しむことができる。
　図４５は、物体認識の他の例を示す図である。
　図４５に示す風景は、ユーザが運転する自動車が交差点に差し掛かったときに撮影された風景である。交差点に差し掛かった場合、物体認識に用いる認識モデルが人物認識用のモデルに切り替えられる。例えば、撮影された画像に図４５のＡに示すように人物Ｈ１、人物Ｈ２が写っている場合、人物Ｈ１、人物Ｈ２が図４５のＢに枠で囲んで示すように認識される。図４５の例においては、画像の中心より右寄りの位置に人物Ｈ１と人物Ｈ２が写っている。
　この場合、図４６の上段に示すように、人物Ｈ１と人物Ｈ２のそれぞれの位置に基づいて音楽生成パラメータが設定され、設定された音楽生成パラメータに基づく音楽が再生される。所定の時間が経過し、図４６の下段に示すように人物Ｈ１と人物Ｈ２の位置が変化した場合、人物Ｈ１と人物Ｈ２のそれぞれの変化後の位置に基づいて音楽生成パラメータが設定され、設定された音楽生成パラメータを用いて変化させた音楽が再生される。
　図４６に示す画像には自動車も写っているが、自動車は認識されずに、認識対象となっている人物の位置に基づいて音楽生成パラメータが設定される。人物とともに自動車が認識され、人物と自動車の位置に基づいて音楽生成パラメータが設定されるようにしてもよい。
　このように、ユーザ端末２２においては、音楽生成パラメータに反映させる物体の種類が、走行中／停車中などの走行状態や現在位置などの、ユーザの移動の状態に応じて切り替えられる。例えば、動いていることをユーザが視覚的に認識しやすい物体が認識対象となるようにして、音楽生成パラメータの設定に反映させる物体の種類が切り替えられる。走行中に動いていることをユーザが視覚的に認識しやすい物体は自動車であり、交差点にいるときにユーザが視覚的に認識しやすい物体は人物である。
　図４７は、物体の位置に応じた音楽生成のイメージを示す図である。
　以上のような音楽生成のイメージは、ユーザ端末２２の撮影範囲を示す矩形Ｆの前方に鍵盤が仮想的に配置されていて、仮想的に配置されている鍵盤が物体の位置に応じて押されるイメージになる。例えば、物体が画像上の左側に写っている場合、低いメロディの音をメインの音楽に付加するようにして音楽生成パラメータが設定される。また、物体が画像上の右側に写っている場合、高いメロディの音をメインの音楽に付加するようにして音楽生成パラメータが設定される。
　認識対象の物体の種類が切り替えられるとともに、物体の動き（位置の変化）に応じて音楽が変化することにより、ユーザは、音楽の変化がどの物体の動きに連動しているのかを視覚的に理解することが可能となる。
　それぞれの種類の物体に対して音楽生成パラメータが紐付けられており、認識された物体に紐付けられた音楽生成パラメータがその物体の状態に応じて変化するようにしてもよい。例えば、認識対象としての自動車に対してはリズムの音楽生成パラメータが紐付けられ、人物に対してはメロディの音楽生成パラメータが紐付けられる。
・撮影画像の輝度に応じた再生制御
　ディスプレイ７５に表示されている画像の輝度に基づいて音楽を変化させるような再生制御が行われるようにしてもよい。この機能は、例えば、ユーザが、風景などが写る画像（動画像）をディスプレイ７５に表示させている状態で用いられる。
　ディスプレイ７５に表示される画像は、撮影部７２により撮影された画像であってもよいし、他の撮影装置により撮影され、ユーザ端末２２に取り込まれた画像であってもよい。自動車のダッシュボードに取り付けられたユーザ端末２２のカメラにより撮影された画像が音楽の再生に用いられるようにしてもよい。
　図４８は、音楽再生中のユーザ端末２２の表示例を示す図である。
　図４８においては、浜辺の風景の画像を表示するユーザ端末２２が示されている。ユーザ端末２２においては、動画像の各フレームを対象として画像解析が行われ、検出された輝度に基づいて、ユーザに向けて出力されている音楽が変化する。音楽の変化は、音楽生成パラメータを輝度に基づいて変化させることによって実現される。
　図４８に示す画像の輝度は、波の状態の変化などに応じて変化する。再生中の音楽が、波の状態の変化に連動して変化することになる。
　輝度の検出位置は、図４９にバツ印で示すようにフレーム内の複数箇所に設定される。図４９の例においては、縦方向に５個、横方向に７個の検出位置が等間隔に並べて設定されている。例えば、それぞれの検出位置にある画素の輝度が検出され、それぞれの輝度に基づいて音楽が再生される。１つの検出位置の輝度の検出対象となる画素が１つの画素であってもよいし、複数の画素であってもよい。なお、輝度の検出位置は固定であってもよいし、ユーザ側で検出位置の位置や数を変更できるようにしてもよい。また、コンテンツの種別に応じて動的に変化してもよい。
　風景の画像に重ねて表示される図４８の演出画像Ｐは、それぞれの検出位置を示している。図４８の例においては、所定の透明度が設定された薄い色付きの円形の画像が演出画像Ｐとして表示されている。演出画像Ｐは、縦方向に５個、横方向に７個、等間隔に並べて表示される。
　演出画像Ｐの大きさは、図５０に示すように、各検出位置の輝度に応じて変化する。それぞれの検出位置の輝度が波の状態の変化に応じて変化するから、それぞれの検出位置に表示された演出画像Ｐの大きさは、波の状態の変化に連動して変化することになる。
　演出画像Ｐの大きさが変化するのではなく、演出画像Ｐの色が輝度に応じて変化するようにしてもよいし、演出画像Ｐの形状が輝度に応じて変化するようにしてもよい。このように、演出画像の各種の構成要素の状態を輝度に応じて変化させるようにすることが可能である。また、輝度の検出位置が複数箇所に設定されるのではなく、１箇所だけ設定されるようにしてもよい。
　以上のような音楽生成の開始前、画像の解析結果などに基づいて、任意の位置に検出位置を設定するマッピングが行われるようにしてもよい。この場合、画像の内容などに応じて、検出位置の数と場所が変化することになる。
　図５１は、音楽生成の例を示す図である。
　図５１の例においては、一部の検出位置である検出位置Ｐ１乃至Ｐ３のそれぞれの検出位置における輝度に基づく音楽生成の例が示されている。検出位置Ｐ１乃至Ｐ３は、それぞれ、画像上の左上、中央、右下に設定された検出位置である。
　図５１の白抜き矢印の先に示すように、各検出位置に対して、所定の長さの音楽である音階サンプルＡが共通に設定される。例えば、どの音階の音から再生するかを指定する音楽生成パラメータが、輝度によって変化する。図５１の例においては、検出位置Ｐ１の輝度に応じて、楕円＃１で示す音階から再生することが指定され、検出位置Ｐ２の輝度に応じて、楕円＃２で示す音階から再生することが指定されている。また、検出位置Ｐ３の輝度に応じて、楕円＃３で示す音階から再生することが指定されている。
　それぞれの音楽生成パラメータによって指定される音階から再生された音階サンプルＡの音が合成され、出力される。以上のような音楽生成のイメージは、画像上の各検出位置に楽器が仮想的に配置されていて、仮想的に配置されている複数の楽器から音を出力しているイメージになる。
　各検出位置に対して同じ音楽が設定されるのではなく、それぞれ異なる音楽が設定されるようにしてもよい。
＜変形例＞
　制作者端末１１上での作業が三次元的なシミュレーションツールを用いて行われるようにしてもよい。
　図５２は、エリアの設定に用いられる地図の表示例を示す図である。
　図５２に示すような三次元マップが図１０等の設定画面に表示され、エリアの設定に用いられるようにしてもよい。三次元マップは、例えば三次元のシミュレーションツールによって表示される。制作者は、三次元マップ上の位置である位置Ｐ１０１，Ｐ１０２を指定するなどして、楽曲のリミックスのトリガとなるポイントの設定などを行うことができる。
　本技術は、電車、自転車などの、自動車以外の移動体での音楽再生にも適用可能である。また、以上のような再生制御がユーザの歩行時に行われるようにしてもよい。
　テープ音源などの古い音源が音源分離の対象として用いられるようにしてもよい。収録時のノイズがなくなるなどして音質が向上する可能性がある。
　リミックス時に組み合わせて用いたときの相性の良い／悪いがトラック毎に設定されるようにしてもよい。例えば、パートがわかりやすいトラック同士、スタンダードなバンド構成の楽曲から取得されたトラック同士は相性がいいトラックとなる。また、パートの偏りがあるような楽曲から取得されたトラック同士、民族楽器を用いて演奏された楽曲から取得されたトラック同士は相性が悪いトラックとなる。
　音源分離の品質の評価が、定量的評価または定性的評価によって行われるようにしてもよい。コメントを統計的に解析するなどして、ユーザのレビューに基づいて品質評価が行われるようにしてもよい。
　制作者が各音源のトラックデータを事前に設定できる場合、そのトラックデータが音源分離の正解データとして既存楽曲のデータとともに情報処理サーバ１２にアップロードされるようにしてもよい。このように、音源分離用の推論モデルの学習に用いられる学習データを収集する仕組みが制作ワークフローに用意される。
　リミックス時にその都度音源分離を行うのではなく、既に行われた音源分離によって取得された各音源のトラックデータが情報処理サーバ１２に保存されるようにしてもよい。この場合、ユーザ端末２２から情報処理サーバ１２に対して音源分離済みのトラックデータのリクエストが行われ、リクエストに応じて情報処理サーバ１２から送信されてきたトラックデータが再生制御に用いられる。
＜他の変形例＞
　以上、本技術の第１の実施形態について説明した。なお、本技術はユーザが車などの移動体に搭乗している場合だけでなく、ユーザが徒歩で移動している場合にも適用可能である。
　また、現実世界だけでなくＡＲやＶＲを用いたゲームやアプリケーション、メタバースなどの仮想空間にも適用することが可能である。
　例えば、メタバース空間内でユーザが自動車に乗ってメタバース空間内を移動するアプリケーションを考える。この場合、ユーザは現実世界の車ではなく、メタバース空間内の車にアバターとして搭乗することで、仮想空間内を移動することが考えられる。
　その際に、メタバース空間内で設定されているエリア毎に音楽データが設定され、エリアが切り替わる際に音楽データの再生制御が行われるようにしてもよい。また、エリア内にユーザの知り合いがいる場合などに、メイントラックに通知音が追加トラックとして付加再生されるような再生制御が行われてもよい。
　このように、本技術を仮想空間に適用することで、ユーザは、仮想空間においても現実世界により近い臨場感や体験を享受することができる。
・構成の組み合わせ例
　なお、本技術は、以下のような構成をとることもできる。
（１）
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、
　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、
　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部と
　を備える情報処理装置。
（２）
　前記コンテンツ生成パラメータを設定するための画面を表示する表示部を備える
　前記（１）に記載の情報処理装置。
（３）
　前記コンテンツ情報は、さらに、前記コンテンツのメタデータを含み、
　前記メタデータは、前記コンテンツのキー、拍、BPM、コード、再生時間、トーナリティ、楽器種別、前記コンテンツがオブジェクトオーディオの場合は前記コンテンツの位置データに関する情報、のうちの少なくともいずれかを含む情報である
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記コンテンツ情報は、さらに、前記コンテンツを構成する第１のコンテンツデータと、前記第１のコンテンツデータに付加される少なくとも１つの第２のコンテンツデータに関する情報を関連付けるための情報を含む
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記第１のコンテンツデータと前記第２のコンテンツデータは、所定の小節数と再生時間を有するループ素材であり、前記コンテンツ生成パラメータによって再生制御の内容が定義される
　前記（４）に記載の情報処理装置。
（６）
　前記第１のコンテンツデータは、あらかじめ用意されたデータの中から選択されたデータによって、または、既存の楽曲を用いて構成され、
　前記第２のコンテンツデータは、あらかじめ用意されたデータの中から選択されたデータによって構成される
　前記（４）または（５）に記載の情報処理装置。
（７）
　前記トリガ情報は、ＰＯＩ情報、ランドマーク情報、エリア情報、ユーザが搭乗する移動体に関する情報、前記ユーザ自身の情報のうちの、少なくともいずれかを含む情報である
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記ＰＯＩ情報は、ＰＯＩの始点・終点を示す情報として設定され、
　前記ランドマーク情報は、ランドマークの始点・終点を示す情報として設定され、
　前記エリア情報は、エリアの開始・終了を示す情報として設定され、
　前記移動体に関する情報は、前記移動体の発進・停止、停止時間、右左折の開始・終了、速度を示す情報として設定される
　前記（７）に記載の情報処理装置。
（９）
　前記ＰＯＩ情報、前記ランドマーク情報、前記エリア情報のうちの少なくとも１つが固有のパラメータを有する
　前記（７）または（８）に記載の情報処理装置。
（１０）
　前記コンテンツは、既存の楽曲を対象とした音源分離によって取得された特定の音源のトラックデータである
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　情報処理装置が、
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定し、
　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定し、
　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定する
　情報処理方法。
（１２）
　コンピュータに、
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定し、
　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定し、
　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定する
　処理を実行させるためのプログラム。
（１３）
　ユーザの移動時におけるイベントを取得するイベント取得部と、
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得する取得部と、
　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うコンテンツ再生制御部と
　を備える情報処理装置。
（１４）
　前記イベント取得部は、前記ユーザの位置、前記ユーザが搭乗する移動体の状態を示す情報、前記ユーザ自身の情報のうちの、少なくともいずれかの情報を取得する
　前記（１３）に記載の情報処理装置。
（１５）
　前記トリガ情報は、ＰＯＩ情報、ランドマーク情報、エリア情報、ユーザが搭乗する移動体に関する情報のうちの、少なくともいずれかである
　前記（１３）または（１４）に記載の情報処理装置。
（１６）
　前記コンテンツ生成パラメータの制御を行うかどうかを前記イベントと前記トリガ情報とに基づいて判定するコンテンツ生成パラメータ制御部をさらに備える
　前記（１３）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記コンテンツ生成パラメータの制御を実行すると判定された場合、前記コンテンツ再生制御部は、前記イベントに応じて制御された前記コンテンツ生成パラメータに基づく再生制御を行う
　前記（１６）に記載の情報処理装置。
（１８）
　前記コンテンツ生成パラメータ制御部は、交通状況または制限速度に基づいて、前記コンテンツ生成パラメータの制御を実行する
　前記（１６）または（１７）に記載の情報処理装置。
（１９）
　既存の楽曲を対象とした音源分離を行い、各音源のトラックデータを取得する音源分離部をさらに備え、
　前記コンテンツ再生制御部は、音源分離によって取得された前記トラックデータを前記コンテンツとして再生制御を行う
　前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（２０）
　音源分離の対象とする前記既存の楽曲を、音源分離が可能な楽曲であるか否かを示す情報を含む分離情報に基づいて取得する楽曲取得部をさらに備える
　前記（１９）に記載の情報処理装置。
（２１）
　前記分離情報には、音源分離が可能な楽曲であるか否かを示す情報とともに、音源の種類を示す情報と、音源分離が行われたことがあるか否かを示す情報のうちの少なくともいずれかが含まれる
　前記（１９）または（２０）に記載の情報処理装置。
（２２）
　情報処理装置が、
　ユーザの移動時におけるイベントを取得し、
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得し、
　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行う
　情報処理方法。
（２３）
　コンピュータに、
　ユーザの移動時におけるイベントを取得し、
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得し、
　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行う
　処理を実行させるためのプログラム。
（２４）
　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、
　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、
　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部と
　を備える第１の情報処理装置と、
　ユーザの移動時におけるイベントを取得するイベント取得部と、
　前記コンテンツ生成パラメータを取得する取得部と、
　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うコンテンツ再生制御部と
　を備える第２の情報処理装置と、
　を備える情報処理システム。
　１　情報処理システム,　１１　制作者端末,　１２　情報処理サーバ,　１３　音楽データ再生システム,　２１　車,　２２　ユーザ端末,　１０１　音楽生成パラメータ設定部,　１１１　音楽情報設定部,　１１２　トリガ情報設定部,　３０１　音楽制御部,　３１１　位置情報取得部,　３１２　車体情報取得部,　３１３　音楽生成パラメータ制御部,　３１４　音楽再生制御部,　４０１　出力部

Claims (24)

  1. 　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、
    　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、
    　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部と
    　を備える情報処理装置。
  2. 　前記コンテンツ生成パラメータを設定するための画面を表示する表示部を備える
    　請求項１に記載の情報処理装置。
  3. 　前記コンテンツ情報は、さらに、前記コンテンツのメタデータを含み、
    　前記メタデータは、前記コンテンツのキー、拍、BPM、コード、再生時間、トーナリティ、楽器種別、前記コンテンツがオブジェクトオーディオの場合は前記コンテンツの位置データに関する情報、のうちの少なくともいずれかを含む情報である
    　請求項１に記載の情報処理装置。
  4. 　前記コンテンツ情報は、さらに、前記コンテンツを構成する第１のコンテンツデータと、前記第１のコンテンツデータに付加される少なくとも１つの第２のコンテンツデータに関する情報を関連付けるための情報を含む
    　請求項１に記載の情報処理装置。
  5. 　前記第１のコンテンツデータと前記第２のコンテンツデータは、所定の小節数と再生時間を有するループ素材であり、前記コンテンツ生成パラメータによって再生制御の内容が定義される
    　請求項４に記載の情報処理装置。
  6. 　前記第１のコンテンツデータは、あらかじめ用意されたデータの中から選択されたデータによって、または、既存の楽曲を用いて構成され、
    　前記第２のコンテンツデータは、あらかじめ用意されたデータの中から選択されたデータによって構成される
    　請求項４に記載の情報処理装置。
  7. 　前記トリガ情報は、ＰＯＩ情報、ランドマーク情報、エリア情報、ユーザが搭乗する移動体に関する情報、前記ユーザ自身の情報のうちの、少なくともいずれかを含む情報である
    　請求項１に記載の情報処理装置。
  8. 　前記ＰＯＩ情報は、ＰＯＩの始点・終点を示す情報として設定され、
    　前記ランドマーク情報は、ランドマークの始点・終点を示す情報として設定され、
    　前記エリア情報は、エリアの開始・終了を示す情報として設定され、
    　前記移動体に関する情報は、前記移動体の発進・停止、停止時間、右左折の開始・終了、速度を示す情報として設定される
    　請求項７に記載の情報処理装置。
  9. 　前記ＰＯＩ情報、前記ランドマーク情報、前記エリア情報のうちの少なくとも１つが固有のパラメータを有する
    　請求項７に記載の情報処理装置。
  10. 　前記コンテンツは、既存の楽曲を対象とした音源分離によって取得された特定の音源のトラックデータである
    　請求項１に記載の情報処理装置。
  11. 　情報処理装置が、
    　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定し、
    　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定し、
    　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定する
    　情報処理方法。
  12. 　コンピュータに、
    　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定し、
    　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定し、
    　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定する
    　処理を実行させるためのプログラム。
  13. 　ユーザの移動時におけるイベントを取得するイベント取得部と、
    　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得する取得部と、
    　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うコンテンツ再生制御部と
    　を備える情報処理装置。
  14. 　前記イベント取得部は、前記ユーザの位置、前記ユーザが搭乗する移動体の状態を示す情報、前記ユーザ自身の情報のうちの、少なくともいずれかの情報を取得する
    　請求項１３に記載の情報処理装置。
  15. 　前記トリガ情報は、ＰＯＩ情報、ランドマーク情報、エリア情報、ユーザが搭乗する移動体に関する情報のうちの、少なくともいずれかである
    　請求項１３に記載の情報処理装置。
  16. 　前記コンテンツ生成パラメータの制御を行うかどうかを前記イベントと前記トリガ情報とに基づいて判定するコンテンツ生成パラメータ制御部をさらに備える
    　請求項１３に記載の情報処理装置。
  17. 　前記コンテンツ生成パラメータの制御を実行すると判定された場合、前記コンテンツ再生制御部は、前記イベントに応じて制御された前記コンテンツ生成パラメータに基づく再生制御を行う
    　請求項１６に記載の情報処理装置。
  18. 　前記コンテンツ生成パラメータ制御部は、交通状況または制限速度に基づいて、前記コンテンツ生成パラメータの制御を実行する
    　請求項１６に記載の情報処理装置。
  19. 　既存の楽曲を対象とした音源分離を行い、各音源のトラックデータを取得する音源分離部をさらに備え、
    　前記コンテンツ再生制御部は、音源分離によって取得された前記トラックデータを前記コンテンツとして再生制御を行う
    　請求項１３に記載の情報処理装置。
  20. 　音源分離の対象とする前記既存の楽曲を、音源分離が可能な楽曲であるか否かを示す情報を含む分離情報に基づいて取得する楽曲取得部をさらに備える
    　請求項１９に記載の情報処理装置。
  21. 　前記分離情報には、音源分離が可能な楽曲であるか否かを示す情報とともに、音源の種類を示す情報と、音源分離が行われたことがあるか否かを示す情報のうちの少なくともいずれかが含まれる
    　請求項２０に記載の情報処理装置。
  22. 　情報処理装置が、
    　ユーザの移動時におけるイベントを取得し、
    　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得し、
    　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行う
    　情報処理方法。
  23. 　コンピュータに、
    　ユーザの移動時におけるイベントを取得し、
    　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報と、前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報とが紐付けられて設定されたコンテンツ生成パラメータを取得し、
    　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行う
    　処理を実行させるためのプログラム。
  24. 　コンテンツの再生制御の内容を定義したコンテンツパラメータ情報を含むコンテンツ情報を設定するコンテンツ情報設定部と、
    　前記コンテンツの再生制御を実行する際の条件を定義したトリガ情報を設定するトリガ情報設定部と、
    　前記コンテンツ情報と前記トリガ情報を紐付けることでコンテンツ生成パラメータを設定するコンテンツ生成パラメータ設定部と
    　を備える第１の情報処理装置と、
    　ユーザの移動時におけるイベントを取得するイベント取得部と、
    　前記コンテンツ生成パラメータを取得する取得部と、
    　前記トリガ情報によって定義された条件となる前記イベントが取得された場合、前記トリガ情報と紐付けられた前記コンテンツ情報に基づいて、前記コンテンツの再生制御を行うコンテンツ再生制御部と
    　を備える第２の情報処理装置と、
    　を備える情報処理システム。
PCT/JP2022/044839 2021-12-28 2022-12-06 情報処理装置、情報処理方法、プログラム、情報処理システム Ceased WO2023127422A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023570773A JPWO2023127422A1 (ja) 2021-12-28 2022-12-06
US18/724,643 US20250068380A1 (en) 2021-12-28 2022-12-06 Information processing apparatus, information processing method, program, and information processing system
EP22915653.4A EP4460040A4 (en) 2021-12-28 2022-12-06 Information processing device, information processing method, program, and information processing system
CN202280086378.0A CN118451728A (zh) 2021-12-28 2022-12-06 信息处理装置、信息处理方法、程序和信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-214483 2021-12-28
JP2021214483 2021-12-28

Publications (1)

Publication Number Publication Date
WO2023127422A1 true WO2023127422A1 (ja) 2023-07-06

Family

ID=86998633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044839 Ceased WO2023127422A1 (ja) 2021-12-28 2022-12-06 情報処理装置、情報処理方法、プログラム、情報処理システム

Country Status (5)

Country Link
US (1) US20250068380A1 (ja)
EP (1) EP4460040A4 (ja)
JP (1) JPWO2023127422A1 (ja)
CN (1) CN118451728A (ja)
WO (1) WO2023127422A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025234158A1 (ja) * 2024-05-10 2025-11-13 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
WO2026069674A1 (ja) * 2024-09-30 2026-04-02 株式会社ソニー・インタラクティブエンタテインメント 音ファイル生成装置および音ファイル生成方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12551792B2 (en) * 2023-03-16 2026-02-17 Honda Motor Co., Ltd. Systems and methods for gamification in a meta verse

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2005031038A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報出力装置
JP2006069288A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 車載音楽生成装置及び車載エンタテイメントシステム
JP2006254285A (ja) * 2005-03-14 2006-09-21 Sony Corp 車載装置及び車載装置の制御方法
JP2006273015A (ja) * 2005-03-28 2006-10-12 Yamaha Motor Co Ltd 車両の音声発生装置
WO2007032388A1 (ja) * 2005-09-14 2007-03-22 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2008145789A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 車両用楽音再生装置、車両用楽音再生方法、及びプログラム
JP2016188959A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 出力装置、出力方法及び出力装置用プログラム
JP2020057955A (ja) * 2018-10-03 2020-04-09 パイオニア株式会社 振動制御装置、振動制御方法、振動制御プログラム、及び記憶媒体
JP2020156049A (ja) * 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 音量制御装置、音量制御システム、音量制御方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344268A (ja) * 2001-05-14 2002-11-29 Matsushita Electric Ind Co Ltd 音声再生装置
KR100921584B1 (ko) * 2006-12-06 2009-10-14 야마하 가부시키가이샤 탑재식 음악 재생 장치 및 음악 정보 분배 시스템
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
US10068620B1 (en) * 2017-06-20 2018-09-04 Lp-Research Inc. Affective sound augmentation for automotive applications
US11929051B2 (en) * 2020-10-01 2024-03-12 General Motors Llc Environment awareness system for experiencing an environment through music
KR20220154499A (ko) * 2021-05-13 2022-11-22 현대자동차주식회사 모빌리티의 사운드 생성 장치, 그를 포함한 시스템 및 그 방법
US12444394B2 (en) * 2021-12-15 2025-10-14 Distributed Creation Inc. Scalable similarity-based generation of compatible music mixes

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2005031038A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報出力装置
JP2006069288A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 車載音楽生成装置及び車載エンタテイメントシステム
JP2006254285A (ja) * 2005-03-14 2006-09-21 Sony Corp 車載装置及び車載装置の制御方法
JP2006273015A (ja) * 2005-03-28 2006-10-12 Yamaha Motor Co Ltd 車両の音声発生装置
WO2007032388A1 (ja) * 2005-09-14 2007-03-22 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2008145789A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 車両用楽音再生装置、車両用楽音再生方法、及びプログラム
JP2016188959A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 出力装置、出力方法及び出力装置用プログラム
JP2020057955A (ja) * 2018-10-03 2020-04-09 パイオニア株式会社 振動制御装置、振動制御方法、振動制御プログラム、及び記憶媒体
JP2020156049A (ja) * 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 音量制御装置、音量制御システム、音量制御方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4460040A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025234158A1 (ja) * 2024-05-10 2025-11-13 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
WO2026069674A1 (ja) * 2024-09-30 2026-04-02 株式会社ソニー・インタラクティブエンタテインメント 音ファイル生成装置および音ファイル生成方法

Also Published As

Publication number Publication date
EP4460040A4 (en) 2025-04-02
US20250068380A1 (en) 2025-02-27
CN118451728A (zh) 2024-08-06
EP4460040A1 (en) 2024-11-06
JPWO2023127422A1 (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
WO2023127422A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
US12283271B2 (en) Voice feedback for user interface of media playback device
US11874124B2 (en) Duration-based customized media program
US11929051B2 (en) Environment awareness system for experiencing an environment through music
Kari et al. Soundsride: Affordance-synchronized music mixing for in-car audio augmented reality
US11188293B2 (en) Playback sound provision device
US20230410774A1 (en) Dynamic sounds from automotive inputs
JP2016167771A (ja) ダイジェスト映像生成装置
JP2008203338A (ja) 楽音発生装置及び楽音発生方法
CN101689207B (zh) 提供对内容项集合的访问
CN118506752A (zh) 用于汽车的aigc音乐生成方法、计算机装置和存储介质
JP5865708B2 (ja) 施設、自然、歴史、ルートに関する画像及び音声の再生及びデータの制作方法
JP2009043353A (ja) タイトル付与装置、タイトル付与方法、タイトル付与プログラム、および記録媒体
JP7782452B2 (ja) 情報処理システム及びコンテンツ再生装置
US20260120667A1 (en) Dynamic chunking for sounds from automotive inputs
JP2023077685A (ja) カラオケシステム、サーバ装置
WO2026070345A1 (ja) 信号処理装置および方法
WO2025234158A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP4642607B2 (ja) 移動再生装置による音声・画像の再生方法
Yagerline Orange Line: Ambient Music and the Washington, DC Metro
WO2024122322A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2025147661A1 (en) Dynamic chunking for sounds from automotive inputs
DE102021116641A1 (de) Verfahren, System und Computerprogramm zur interaktiven Auswahl und Wiedergabe von in Echtzeit erzeugten Audio- und/oder Videosequenzen in einem Kraftfahrzeug
JP2020118894A (ja) 再生制御装置、再生装置、再生制御方法、およびプログラム
JP2005243182A (ja) 選曲装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915653

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023570773

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18724643

Country of ref document: US

Ref document number: 202280086378.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022915653

Country of ref document: EP

Effective date: 20240729

WWP Wipo information: published in national office

Ref document number: 18724643

Country of ref document: US