WO2020008931A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020008931A1
WO2020008931A1 PCT/JP2019/024911 JP2019024911W WO2020008931A1 WO 2020008931 A1 WO2020008931 A1 WO 2020008931A1 JP 2019024911 W JP2019024911 W JP 2019024911W WO 2020008931 A1 WO2020008931 A1 WO 2020008931A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
output
sound
processing
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/024911
Other languages
English (en)
French (fr)
Inventor
猛史 荻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to DE112019003350.6T priority Critical patent/DE112019003350T5/de
Priority to US17/251,017 priority patent/US11653146B2/en
Priority to JP2020528803A priority patent/JP7347421B2/ja
Publication of WO2020008931A1 publication Critical patent/WO2020008931A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/16—Automatic control
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/12—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices
    • H03G9/18—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices for tone control and volume expansion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Literature 1 discloses a technique for enhancing a beat and improving a sense of reality by outputting a low frequency region of an audio signal as vibration together with an audio output based on the audio signal.
  • the present disclosure provides a mechanism capable of further improving the user experience accompanied by vibration presentation.
  • an information processing apparatus including a control unit configured to output a vibration corresponding to sound data to the vibration device based on a vibration output characteristic of the vibration device.
  • an information processing method executed by a processor including: causing a vibration corresponding to sound data to be output to the vibration device based on a vibration output characteristic of the vibration device.
  • FIG. 1 is a diagram for describing an outline of a content providing system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a processing flow of signal processing performed by the information processing device according to the embodiment.
  • 4 is a graph illustrating an example of a frequency-acceleration characteristic of the vibration device according to the embodiment.
  • FIG. 9 is a diagram for describing an example of a DRC process performed by the information processing device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a waveform formed by signal processing performed by the information processing apparatus according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of setting processing parameters of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of vibration data generated by the information processing device according to the embodiment.
  • FIG. 1 is a diagram for explaining an outline of the content providing system 1 according to the present embodiment.
  • the content providing system 1 includes a sound output device 10 and a terminal device 20.
  • the sound output device 10 is a device that outputs sound.
  • the sound output device 10 is a headphone.
  • the sound output device 10 may be realized as an earphone, a speaker, or the like.
  • the sound output device 10 is connected to the terminal device 20 by wire or wirelessly, and outputs a sound based on data received from the terminal device 20.
  • the terminal device 20 is a device that controls output of content.
  • the terminal device 20 is a smartphone.
  • the terminal device 20 may be realized as a PC (Personal Computer) or a tablet terminal.
  • the content is data including at least sound data, such as music or a movie.
  • the content may include image (moving image / still image) data in addition to the sound data.
  • the terminal device 20 has functions as the information processing device 100, the vibration device 200, and the display device 300.
  • FIG. 1 illustrates an example in which the information processing device 100, the vibration device 200, and the display device 300 are integrally configured as the terminal device 20, but each may be configured as a separate device. Hereinafter, each device will be described.
  • the vibration device 200 is a device that presents vibration to a vibration presenting target.
  • the vibration presentation target include an arbitrary object such as a human, an animal, or a robot.
  • the description will be given on the assumption that the vibration presentation target is the user, and the vibration presentation target is the user.
  • the vibration device 200 presents vibration to a user who contacts the vibration device 200.
  • the vibration device 200 presents vibration to the hand of the user holding the terminal device 20.
  • the vibration device 200 is connected to the information processing device 100 by wire or wirelessly, and outputs vibration based on data received from the information processing device 100.
  • the display device 300 is a device that outputs an image (still image / moving image).
  • the display device 300 is realized, for example, as a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a laser projector, an LED projector, a lamp, or the like.
  • the display device 300 is connected to the information processing device 100 by wire or wirelessly, and outputs an image based on data received from the information processing device 100.
  • the information processing device 100 is a device that controls the entire content providing system 1.
  • the information processing device 100 causes the sound output device 10, the vibration device 200, and the display device 300 to cooperate to output a content.
  • the information processing apparatus 100 causes the display device 300 to display an image, causes the sound output device 10 to output sound synchronized with the image, and causes the vibration device 200 to output vibration synchronized with the sound.
  • the information processing apparatus 100 can output a low-pitched portion (that is, a low-frequency sound) as vibration, thereby reinforcing a low-pitched portion that is difficult to hear with a bodily sensation and improving the user experience.
  • the frequency of sound that can be heard by human ears is about 20 Hz to 20,000 Hz.
  • the sensitivity characteristic of the human ear that is, audibility
  • the graph 30 is a graph showing an example of the characteristics of the sound output from the sound output device 10, where the horizontal axis represents the frequency and the vertical axis represents the sound pressure level.
  • the audible frequency band 31 generally referred to as 20 Hz to 20,000 Hz, for example, it is assumed that the sensitivity of the sound in the frequency band 32 of 100 Hz or higher is high, and the sensitivity of the sound in the frequency band 33 lower than 100 Hz is low.
  • the sound in the frequency band 33 be output from the vibration device 200 as vibration.
  • the user can enjoy the content with a high sense of realism by illusioning that the user feels vibration in his hand as if he were listening to a low tone.
  • the characteristics of the output sound may differ depending on the sound output device 10.
  • sound output characteristics may differ depending on the sound output device 10.
  • headphones are relatively easy to output bass parts, while earphones are relatively difficult to output bass parts.
  • vibration output characteristics may differ depending on the vibration device 200.
  • a frequency that easily vibrates and a frequency that hardly vibrates may be different.
  • the user experience may be degraded.
  • the lower limit of the frequency that can be output by the sound output device 10 is 500 Hz
  • the vibration device 200 outputs a vibration of 100 Hz or less
  • the frequency difference between the sound and the vibration increases.
  • the bass part is not reinforced by the bodily sensation, but rather provides vibrations that seem to be irrelevant, thus deteriorating the user experience.
  • the information processing apparatus 100 causes the vibration device 200 to output vibration corresponding to sound data in accordance with the output characteristics of the output device involved in providing the content.
  • the output characteristics of the output device involved in providing the content are, for example, sound output characteristics and / or vibration output characteristics.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a RAM (Random Access Memory) 101, a CPU (Central Processing Unit) 103, a DSP / amplifier 105, and a GPU (Graphics Processing Unit) 107.
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the RAM 101 is an example of a storage unit that stores information.
  • the RAM 101 stores content data and outputs the data to the CPU 103.
  • Such a function as the storage unit may be realized by a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like instead of or together with the RAM 101.
  • the CPU 103 is an example of a control unit that functions as an arithmetic processing device and a control device, and controls overall operations in the information processing device 100 according to various programs.
  • the CPU 103 processes the content data output from the RAM 101, outputs sound data and vibration data to the DSP / amplifier 105, and outputs image data to the GPU 107.
  • the CPU 103 controls the vibration device 200 to output a vibration corresponding to the sound data based on the sound output characteristics of the sound output device 10 and / or the vibration output characteristics of the vibration device 200.
  • the function as such a control unit may be realized by an electric circuit, a DSP, an ASIC, or the like instead of or together with the CPU 103.
  • the vibration data includes at least information indicating characteristics such as amplitude and frequency of vibration to be output from the vibration device 200.
  • the vibration data may be a drive signal for driving the vibration device 200.
  • the DSP / amplifier 105 has a function of applying predetermined processing to a signal and amplifying the signal.
  • the DSP / amplifier 105 amplifies the signal output from the CPU 103 and outputs the signal to a corresponding output device.
  • the DSP / amplifier 105 amplifies sound data (for example, a sound signal) and outputs the amplified sound data to the sound output device 10.
  • the sound output device 10 outputs a sound based on the sound signal output from the DSP / amplifier 105.
  • the DSP / amplifier 105 amplifies vibration data (for example, a drive signal) and outputs the amplified data to the vibration device 200.
  • the vibration device 200 outputs vibration by driving based on the vibration data output from the DSP / amplifier 105. Note that at least a part of the signal processing performed by the CPU 103 may be executed by the DSP / amplifier 105.
  • the GPU 107 functions as an image processing device and performs processing such as drawing a screen to be displayed on the display device 300.
  • the GPU 107 processes the image data output from the CPU 103 and outputs the processed image data to the display device 300.
  • the display device 300 performs display based on the image data output from the GPU 107.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing device 100 includes an acquisition unit 110, a generation unit 120, an image processing unit 130, and an output control unit 140.
  • the acquisition unit 110, the generation unit 120, and the output control unit 140 can be implemented in the CPU 103 and / or the DSP / amplifier 105, and the image processing unit 130 can be implemented in the GPU 107.
  • the acquisition unit 110 has a function of acquiring content data.
  • the acquisition unit 110 may acquire content data from a storage unit incorporated in the information processing device 100 such as the RAM 101, or may acquire content data from an external device via a wired or wireless communication path. .
  • the acquisition unit 110 outputs sound data among the acquired content data to the generation unit 120 and the output control unit 140, and outputs image data to the image processing unit 130.
  • the generation unit 120 has a function of generating vibration data based on sound data of content. For example, the generation unit 120 converts sound data into vibration data by applying a predetermined process to the sound data. The generation unit 120 generates vibration data from the sound data based on the sound output characteristics of the sound output device 10 and / or the vibration output characteristics of the vibration device 200. Then, the generation unit 120 outputs the generated vibration data to the output control unit 140.
  • the image processing unit 130 has a function of performing processing such as drawing a screen to be output to the display device 300 based on the image data of the content.
  • the image processing unit 130 outputs the processed image data to the output control unit 140.
  • the output control unit 140 has a function of controlling output of information by various output devices.
  • the output control unit 140 causes the sound output device 10 to output a sound based on the sound data output from the acquisition unit 110.
  • the output control unit 140 causes the vibration device 200 to output vibration based on the vibration data output from the generation unit 120.
  • the output control unit 140 causes the display device 300 to output an image based on the image data output from the image processing unit 130.
  • FIG. 4 is a block diagram illustrating an example of a processing flow of signal processing performed by the information processing device 100 according to the present embodiment.
  • the sound data is used for generating vibration data while being treated as it is as sound data.
  • generation of vibration data will be mainly described.
  • the generation unit 120 applies the inverse volume processing 151 to the sound data.
  • the inverse volume process is a process of applying a volume setting opposite to the volume setting applied to the sound data.
  • the volume setting applied to the sound data is, for example, a setting for increasing or decreasing the overall volume and a setting for increasing or decreasing the volume for each frequency band, and can be set by the user or the sound output device 10.
  • the generation unit 120 performs amplitude control for returning the volume of the sound data to the original volume, such as reducing the increased volume and increasing the reduced volume with reference to the volume setting.
  • the inverse volume process may include a process for normalizing the volume.
  • the generation unit 120 applies the audio cut filter 152 to the audio data to which the inverse volume processing 151 has been applied.
  • the sound cut filter 152 is a filter that removes a frequency band corresponding to a human voice from sound data. Outputting a human voice as a vibration is often felt uncomfortable for the user, but such a filter can reduce the discomfort.
  • the generation unit 120 generates vibration data for causing the vibration device 200 to vibrate based on the first frequency.
  • the first frequency is a frequency that defines an upper limit of a signal (also referred to as a first partial signal) to which the processing for an ultra-low sound is applied.
  • the first frequency is also a frequency that defines the lower limit of the frequency of a signal to which the processing for the bass portion is applied (also referred to as a second partial signal).
  • the generation unit 120 generates vibration data for causing the vibration device 200 to vibrate based on the second frequency.
  • the second frequency is a frequency that defines the upper limit of the frequency of the second partial signal.
  • the generation unit 120 applies different signal processing to each of the first partial signal and the second partial signal.
  • the processing for the ultra-low-frequency portion applied to the first partial signal and the processing for the low-frequency portion applied to the second partial signal will be described in detail.
  • Ultra low frequency extraction processing 161 The generation unit 120 applies the ultra-low sound extraction processing 161 to the sound data to which the sound cut filter 152 has been applied.
  • the super bass extraction process 161 is a process of extracting a first partial signal which is a signal of a super bass portion of the sound data. Specifically, the generation unit 120 extracts a first partial signal, which is a signal having a frequency equal to or lower than the first frequency, from the sound data.
  • the first frequency is a frequency corresponding to the vibration output characteristic of the vibration device 200.
  • the first frequency is a frequency (frequency equal to or close to the resonance frequency) corresponding to the resonance frequency (or resonance point) of the vibration device 200.
  • the vibration output characteristics of the vibration device 200 are output by the vibration device 200, including, for example, frequency-acceleration characteristics, resonance frequency, upper / lower limits of outputable frequencies, magnitude of outputable vibration, response speed, and the like. This is a concept showing the characteristics of vibration.
  • FIG. 5 is a graph showing an example of a frequency-acceleration characteristic of the vibration device 200 according to the present embodiment. The horizontal axis of this graph is frequency, and the vertical axis is acceleration.
  • the vibration device 200 typically, it is difficult for the vibration device 200 to output vibration having a frequency equal to or lower than the resonance frequency. Also, no vibration is output below a certain frequency lower than the resonance frequency (the lower limit of the frequency that can be output).
  • the resonance frequency of the vibration device 200 is 100 Hz, and it is shown that acceleration (that is, vibration) is difficult to occur at a frequency of 100 Hz or less. Therefore, by applying a dedicated process for an ultra-low sound portion to sound data having a resonance frequency or less that is difficult to vibrate, vibration data suitable for vibration output characteristics can be generated.
  • the first frequency is a frequency corresponding to the lowest resonance frequency.
  • the generation unit 120 applies an envelope conversion process 162 to the first partial signal extracted by the super bass extraction process 161.
  • the envelope processing 162 is processing for extracting the outer shape of the amplitude of the sound data. By applying the envelope processing 162, saturation of the vibration data in the amplitude direction is prevented.
  • the generation unit 120 applies the attack sound extraction processing 163 to the first partial signal to which the envelope processing 162 has been applied.
  • the attack sound extraction processing 163 is processing for extracting an attack sound.
  • the attack sound is a rising sound.
  • the attack sound corresponds to, for example, a beat that forms a beat.
  • the generation unit 120 calculates a spectrum at each time of the input sound data, and calculates a time differential value of the spectrum per unit time. Then, the generation unit 120 compares the peak value of the waveform of the time differential value of the spectrum with a predetermined threshold value, and extracts a waveform having a peak exceeding the threshold value as an attack sound component.
  • the extracted attack sound component includes information on the timing of the attack sound and the intensity of the attack sound at that time. Then, the generation unit 120 applies an envelope to the extracted attack sound component, generates and outputs a waveform that rises at the timing of the attack sound and attenuates at a speed lower than the rising speed.
  • the generation unit 120 applies the DRC processing 164 to the first partial signal to which the envelope processing 162 has been applied.
  • the DRC process 164 is a process of controlling the amplitude so that a predetermined relationship is established between the amplitude of the input signal and the amplitude of the output signal.
  • the DRC processing 164 typically generates a reverberation component in which the fall of the sound is emphasized. An example of the DRC process 164 will be described with reference to FIG.
  • FIG. 6 is a diagram for explaining an example of the DRC process 164 executed by the information processing apparatus 100 according to the present embodiment.
  • the graph 40 in FIG. 6 shows an example of the relationship between the amplitude of the input signal and the amplitude of the output signal in the DRC processing 164, where the horizontal axis is the amplitude of the input signal and the vertical axis is the amplitude of the output signal.
  • the minimum value and the maximum value of the amplitude match between the input signal and the output signal, and between the minimum value and the maximum value, the amplitude of the output signal is larger than the amplitude of the input signal.
  • the input signal 41 is converted into the output signal 42.
  • the adder 165 combines (for example, adds) the first partial signal to which the attack sound extraction processing 163 has been applied and the first partial signal to which the DRC processing 164 has been applied. That is, the adder 165 adds the extracted attack sound component and the reverberation component. This makes it possible to add a lingering sound to the attack sound. Note that the adder 165 may add weights to the respective signals.
  • the addition performed by the envelope processing 162, the attack sound extraction processing 163, the DRC processing 164, and the adder 165 applied to the first partial signal is also referred to as a first processing.
  • the generation unit 120 applies the zero point detection processing 166 to the first partial signal to which the addition by the adder 165 has been applied.
  • the zero point detection process 166 is a process for detecting a timing at which the amplitude of the input signal becomes equal to or smaller than a predetermined threshold.
  • the predetermined threshold is typically zero, but may be a non-zero positive number.
  • the zero point detection processing 166 outputs, as a detection result, a predetermined positive number (for example, 1) that is not 0 during a period that is equal to or less than a predetermined threshold, and outputs 0 when the detection result exceeds the predetermined threshold.
  • the zero point detection processing 166 outputs 1 when the amplitude of the input signal is 0, and outputs 0 when the amplitude of the input signal exceeds 0.
  • the detection result of the zero point detection processing 166 is used in the bass part processing described later.
  • the sine wave oscillator 167 oscillates a sine wave having a predetermined frequency.
  • the sine wave oscillator 167 oscillates a sine wave having a frequency corresponding to the vibration output characteristics of the vibration device 200.
  • the sine wave oscillator 167 oscillates a sine wave of the first frequency.
  • the multiplier 168 multiplies a result obtained by applying the first processing to the first partial signal with a sine wave of the first frequency oscillated by the sine wave oscillator 167. As described above with respect to the very low frequency sound extraction processing 161, the vibration device 200 is unlikely to vibrate at a frequency equal to or lower than the first frequency. In this regard, by the multiplication by the multiplier 168, it is possible to artificially express the ultra-low sound portion that is difficult to vibrate at the first frequency.
  • the generation unit 120 applies the bass extraction processing 171 to the sound data to which the sound cut filter 152 has been applied.
  • the bass extraction process 171 is a process of extracting a bass signal (hereinafter, also referred to as a second partial signal) from the sound data.
  • the generation unit 120 extracts a second partial signal that is a signal that is higher than the first frequency and lower than or equal to the second frequency from the sound data.
  • the second frequency is a frequency higher than the first frequency.
  • the second frequency can be set arbitrarily. However, the second frequency is desirably a frequency corresponding to the sensitivity characteristics of the human ear and the sound output characteristics of the sound output device 10.
  • the second frequency be higher than the lower limit of the human audible frequency band.
  • the second partial signal is generated from sound data including a human audible frequency band.
  • the lower limit of the human audible frequency band is, for example, 20 Hz. Accordingly, the frequency band that can be heard by the user among the sounds output from the sound output device 10 based on the sound data and the frequency band of the vibration that is output based on the bass part of the sound data overlap. Therefore, it is possible to prevent the sound and the vibration from being perceived as separate stimuli, and to prevent the user experience from deteriorating.
  • the second frequency be a frequency higher than the lower limit of the frequency band in which the sound output device 10 can output.
  • the second partial signal is generated from sound data including a frequency band that can be output by the sound output device 10.
  • the generation unit 120 applies the sound source adjustment processing 172 to the second partial signal extracted by the bass extraction processing 171.
  • the sound source adjustment processing 172 performs, for example, processing to amplify the amplitude of the input signal.
  • the amplification factor is an arbitrary real number. In the sound source adjustment processing 172, amplification need not be performed.
  • the generation unit 120 applies the envelope processing 173 to the second partial signal extracted by the bass extraction processing 171.
  • the processing content of the envelope processing 173 is the same as that of the envelope processing 162.
  • the generation unit 120 applies the attack sound extraction processing 174 to the second partial signal to which the envelope processing 173 has been applied.
  • the processing content of the attack sound extraction processing 174 is the same as that of the attack sound extraction processing 163.
  • the generation unit 120 applies the DRC process 175 to the second partial signal to which the envelope processing 173 has been applied.
  • the processing content of the DRC processing 175 is the same as that of the DRC processing 164.
  • the adder 176 adds the second partial signal to which the attack sound extraction processing 174 has been applied and the second partial signal to which the DRC processing 175 has been applied.
  • the processing content of the adder 176 is the same as that of the adder 165.
  • the addition performed by the envelope processing 173, the attack sound extraction processing 174, the DRC processing 175, and the adder 176 applied to the second partial signal is also referred to as a second processing.
  • the types of processing included in the first processing applied to the first partial signal and the second processing applied to the second partial signal are different.
  • the present technology is not limited to such an example.
  • the first processing and the second processing may include processing different from each other.
  • the parameters in the same process may be different between the first process and the second process.
  • the threshold for extracting the attack sound component may be different between the attack sound extraction processing 163 and the attack sound extraction processing 174.
  • the multiplier 177 multiplies the result obtained by applying the second processing to the second partial signal by the second partial signal amplified by the sound source adjustment processing 172. Further, the multiplier 177 multiplies the detection result by the zero point detection processing 166.
  • the adder 153 combines (for example, adds) the first partial signal to which the processing for the ultra-low-frequency portion has been applied and the second partial signal to which the processing for the low-frequency portion has been applied, thereby adding the vibration data. Generate.
  • the second partial signal is multiplied by the detection result of the zero point detection processing 166. Therefore, the adder 153 applies the processing for the ultra-low-frequency portion of the first partial signal to which the processing for the ultra-low-frequency portion is applied and the second partial signal to which the processing for the low-frequency portion is applied. And a signal in a period in which the amplitude of the first partial signal is equal to or less than a predetermined threshold.
  • the adder 153 is configured to apply the processing for the super bass part of the first partial signal to which the processing for the super bass part is applied and the second partial signal to which the processing for the bass part is applied. And a signal during a period in which the amplitude of the first partial signal is zero. This prevents the vibration data from being saturated in the amplitude direction due to the synthesis. Note that the adder 153 may add weights to the respective signals.
  • vibration data is generated from the sound data.
  • FIG. 7 is a diagram illustrating an example of a waveform formed by signal processing by the information processing device 100 according to the present embodiment.
  • the horizontal axis of each waveform shown in FIG. 7 is time, and the vertical axis is the amplitude with the center at 0.
  • the waveform 51 is an example of a waveform of the sound data input to the generation unit 120.
  • the waveform 52 is an example of the waveform of the second partial signal extracted by the bass extraction processing 171.
  • the waveform 53 is an example of the waveform of the second partial signal to which the envelope processing 173 has been applied.
  • the waveform 54 is an example of a waveform of an attack sound component extracted by the attack sound extraction processing 174.
  • the waveform 55 is an example of the waveform of the afterglow component extracted by the DRC processing 175.
  • the waveform 56 is an example of the waveform of the second partial signal to which the attack sound component and the reverberation component are added by the adder 176.
  • the generation unit 120 causes the vibration device 200 to output a vibration corresponding to the sound data based on various information. Then, the generation unit 120 variably sets a processing parameter for generating vibration data based on various information. For example, the generation unit 120 variably sets the parameters of the various processes described above with reference to FIG. Thereby, it is possible to present the optimum vibration to the user without requiring the user to manually set the parameters.
  • a setting criterion for parameter setting will be described.
  • the generation unit 120 causes the vibration device 200 to output a vibration corresponding to the sound data based on the vibration output characteristics of the vibration device 200. That is, the generation unit 120 sets the processing parameters based on the vibration output characteristics of the vibration device 200. For example, the generation unit 120 sets the first frequency based on the resonance frequency of the vibration device 200. In addition, the generation unit 120 determines whether or not the vibration device 200 (or the terminal device 20 including the vibration device 200) is foldable, and if it is foldable, whether the vibration device 200 is open or closed, and the temperature of the vibration device 200. , The processing parameter may be set. This is because the vibration output characteristics can change due to these. By setting based on such vibration output characteristics, it becomes possible to cause the vibration device 200 to output an appropriate vibration corresponding to the characteristics of the vibration device 200.
  • the generation unit 120 can cause the vibration device 200 to output a vibration corresponding to the sound data based on the sound output characteristics of the sound output device 10. That is, the generation unit 120 can set the processing parameters based on the sound output characteristics of the sound output device 10. For example, the generation unit 120 sets the second frequency based on the sound output characteristics. Specifically, the generation unit 120 sets the second frequency to a frequency higher than the lower limit of the frequency band in which the sound output device 10 can output. Alternatively, the generation unit 120 may set a processing parameter based on a volume that can be output by the sound output device 10 or a frequency that can be output. With such a setting, it becomes possible to cause the vibration device 200 to output appropriate vibration according to the sound output characteristics of the sound output device 10.
  • the generation unit 120 can cause the vibration device 200 to output a vibration corresponding to the sound data based on the characteristics of the sound data. That is, the generation unit 120 can set the processing parameters based on the characteristics of the sound data.
  • the characteristics of the sound data include attributes of content including sound data, such as sound data of a movie, sound data of a music, sound data of a game, or sound data of a news. .
  • the generation unit 120 sets a parameter for extracting an attack sound component and a parameter for extracting a reverberation component in accordance with the attribute of the content.
  • the characteristics of the sound data include a sound volume.
  • the generation unit 120 performs the process of restoring the volume adjustment by the user by the inverse volume process 151. With such a setting, it is possible to cause the vibration device 200 to output an appropriate vibration according to the characteristics of the sound data.
  • the generation unit 120 may cause the vibration device 200 to output a vibration corresponding to the sound data based on the characteristics of the user who receives the vibration provided by the vibration device 200. That is, the generation unit 120 can set the processing parameters based on the characteristics of the user who receives the vibration provided by the vibration device 200. For example, the generation unit 120 sets a processing parameter such that a strong vibration is output to a user who perceives vibration or a user accustomed to vibration, and a weak vibration is output to a user who is not so. Set processing parameters.
  • the characteristics of the user include attributes of the user such as age and gender.
  • attributes of the user there are tastes for the content such as a frequency of watching a drama, a frequency of listening to music, and a frequency of playing a game. With such a setting, it is possible to cause the vibration device 200 to output appropriate vibration according to the characteristics of the user.
  • the generation unit 120 can cause the vibration device 200 to output a vibration corresponding to the sound data based on a usage state of the vibration device 200 by a user who receives the vibration provided by the vibration device 200. That is, the generation unit 120 can set the processing parameters based on the usage state of the vibration device 200 by the user who receives the vibration provided by the vibration device 200.
  • the usage status includes the length of time of use of the vibration device 200, the use time of the vibration device 200, and the operation of the user who is using the vibration device 200. For example, the generation unit 120 sets the processing parameters so that a strong vibration is output because the user becomes accustomed to the vibration as the use time of the vibration device 200 is longer.
  • the generation unit 120 sets a processing parameter such that a weak vibration is output. For example, when the user uses the vibration device 200 while walking or riding on a train, the generation unit 120 sets the processing parameters so that strong vibration is output because the vibration is hardly perceived. On the other hand, when the user uses the vibration device 200 while sitting, the generation unit 120 sets the processing parameters so that the vibration is easily perceived and the weak vibration is output. With such a setting, it is possible to cause the vibration device 200 to output an appropriate vibration in accordance with the usage state of the vibration device 200 by the user.
  • FIG. 8 is a diagram showing an example of setting processing parameters of the information processing apparatus 100 according to the present embodiment.
  • FIG. 8 shows setting examples A to C as an example.
  • the setting example A is a setting example when the sound output device 10 is a headphone and the content is music.
  • the setting example B is a setting example when the sound output device 10 is a speaker and the content is music.
  • Setting example C is a setting example in a case where the sound output device 10 is a headphone and the content is a movie.
  • a signal of 100 Hz to 500 Hz is extracted as a second partial signal.
  • the input signal is amplified three times.
  • the attack sound extraction processing 174 an attack sound component is extracted after the input signal is amplified six times.
  • the DRC process 175 an input / output-related process having a relatively large input / output difference as shown is applied.
  • the adder 176 the output from the attack sound extraction processing 174 and the output from the DRC processing 175 are weighted and added in a ratio of 1: 0.8.
  • the ultra-low sound extraction processing 161 a signal of 0 Hz to 100 Hz is extracted as a first partial signal.
  • the attack sound extraction processing 163 the attack sound component is extracted after the input signal is amplified six times.
  • the DRC processing 164 processing related to input / output with a relatively large input / output difference as shown is applied.
  • the adder 165 the output from the attack sound extraction processing 163 and the output from the DRC processing 164 are weighted and added at a ratio of 1: 0.8.
  • a signal of 200 Hz to 500 Hz is extracted as a second partial signal.
  • the input signal is amplified three times.
  • the attack sound extraction processing 174 an attack sound component is extracted after the input signal is amplified six times.
  • the DRC process 175 an input / output-related process having a relatively large input / output difference as shown is applied.
  • the adder 176 the output from the attack sound extraction processing 174 and the output from the DRC processing 175 are weighted and added in a ratio of 1: 0.8. Further, the processing for the ultra-low sound portion is not performed.
  • a signal of 100 Hz to 500 Hz is extracted as a second partial signal.
  • the input signal is doubled.
  • the attack sound extraction processing 174 the attack sound component is extracted after the input signal is amplified three times.
  • the DRC process 175 an input / output-related process having a relatively small input / output difference is applied as shown.
  • the adder 176 the output from the attack sound extraction processing 174 and the output from the DRC processing 175 are weighted and added one to one.
  • a signal of 0 Hz to 100 Hz is extracted as a first partial signal.
  • attack sound extraction processing 163 an attack sound component is extracted after the input signal is amplified three times.
  • DRC process 164 a process related to input / output with a relatively small input / output difference as shown in the figure is applied.
  • the adder 165 the output from the attack sound extraction processing 163 and the output from the DRC processing 164 are weighted and added one to one.
  • FIG. 9 is a diagram illustrating an example of vibration data generated by the information processing device 100 according to the present embodiment.
  • a waveform 61 shown in FIG. 9 is an example of a waveform of sound data input to the generation unit 120, and waveforms 62 to 64 are examples of a waveform of vibration data generated from the sound data shown in the waveform 61.
  • the waveform 62 is an earphone having a sound output characteristic that makes it difficult for the sound output device 10 to output a low tone, has a vibration output characteristic that the vibration device 200 cannot output a vibration of 50 Hz or less, and has a waveform when the content is a movie. It is.
  • the waveform 63 is a headphone having a sound output characteristic in which the sound output device 10 easily outputs a low sound, has a vibration output characteristic in which the vibration device 200 cannot output a vibration of 50 Hz or less, and has a waveform when the content is a game. It is.
  • the waveform 64 is a headphone having sound output characteristics in which the sound output device 10 can easily output a low tone, has a vibration output characteristic in which the vibration device 200 cannot output a vibration of 50 Hz or less, and has a waveform when the content is music. It is.
  • the information processing apparatus 100 causes the vibration device 200 to output the vibration corresponding to the sound data based on the vibration output characteristics of the vibration device 200.
  • the information processing device 100 considers the vibration output characteristics, for example, to prevent the frequency of the output sound from being separated from the frequency of the vibration. In this way, it is possible to prevent the user experience from deteriorating. Then, it is possible to more reliably reinforce the low-pitched sound portion that is difficult to hear with the bodily sensation of vibration and improve the user experience.
  • each device described in this specification may be realized as a single device, or some or all may be realized as separate devices.
  • the generation unit 120 is provided in an apparatus such as a server connected to the acquisition unit 110, the image processing unit 130, and the output control unit 140 via a network or the like. May be.
  • at least two of the information processing device 100, the vibration device 200, the display device 300, and the sound output device 10 illustrated in FIG. 2 may be realized as one device.
  • the information processing device 100, the vibration device 200, and the display device 300 may be realized as the terminal device 20.
  • the series of processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • a program constituting the software is stored in advance in a storage medium (non-transitory @ media) provided inside or outside each device, for example.
  • Each program is read into the RAM at the time of execution by a computer, for example, and executed by a processor such as a CPU.
  • the storage medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above-described computer program may be distributed, for example, via a network without using a storage medium.
  • a control unit configured to output a vibration corresponding to sound data to the vibration device based on a vibration output characteristic of the vibration device;
  • An information processing device comprising: (2) The information processing device according to (1), wherein the control unit generates vibration data for causing the vibration device to vibrate based on a first frequency corresponding to the vibration output characteristic. (3) The control unit extracts a first partial signal that is a signal of the first frequency or less from the sound data, and extracts a second partial signal of a signal that exceeds the first frequency and is equal to or less than a second frequency from the sound data.
  • the information processing according to (2) wherein the vibration data is generated by extracting partial signals of the first partial signal and applying different signal processing to the first partial signal and the second partial signal to combine the first partial signal and the second partial signal.
  • the control unit may include, among the first partial signal to which the signal processing is applied and the second partial signal to which the signal processing is applied, the first partial signal to which the signal processing is applied.
  • the information processing device according to (3) wherein the signal is synthesized with a signal whose amplitude is equal to or less than a predetermined threshold.
  • the information processing device includes multiplication of a result of applying the second processing to the second partial signal and a signal obtained by amplifying the second partial signal.
  • the first processing and the second processing include an envelope processing.
  • the first processing and the second processing may include the extraction of an attack sound and the application of a DRC process, and the synthesis of the extraction result of the attack sound and the DRC processing result.
  • An information processing apparatus according to claim 1.
  • the information processing device according to any one of (3) to (8), wherein the control unit applies, to the sound data, a sound volume setting opposite to a sound volume setting applied to the sound data.
  • the information processing device according to claim 1.
  • (14) The information processing device according to any one of (3) to (13), wherein the control unit causes the vibration device to output a vibration corresponding to the sound data based on a characteristic of the sound data.
  • (15) The control unit according to any one of (3) to (14), wherein the control unit causes the vibration device to output a vibration corresponding to the sound data based on a characteristic of a user who receives provision of the vibration by the vibration device.
  • An information processing apparatus according to claim 1.
  • (16) The control unit according to any of (3) to (15), wherein the control unit causes the vibration device to output a vibration corresponding to the sound data based on a use state of the vibration device by a user who is provided with the vibration by the vibration device.
  • the information processing device according to claim 1.
  • An information processing method executed by a processor including: (18) Computer A control unit configured to output a vibration corresponding to sound data to the vibration device based on a vibration output characteristic of the vibration device; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • General Physics & Mathematics (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

振動装置（２００）の振動出力特性に基づいて、音データに対応する振動を前記振動装置（２００）に出力させる制御部、を備える情報処理装置（１００）。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。例えば、下記特許文献１には、音声信号に基づく音声出力と共に音声信号の低周波数領域を振動として出力することで、ビートを強調し臨場感を向上させる技術が開示されている。
特許第４４６７６０１号公報
　しかし、上記特許文献１に開示された技術では、単に音声信号に基づいてビートが抽出されて、抽出されたビートが振動として出力されるのみであった。振動を出力する振動装置の特性によって出力される振動の特性が異なり得ること等を考慮すれば、上記特許文献１に開示された技術には未だ向上の余地があると言える。
　そこで、本開示では、振動提示を伴うユーザ体験をより向上させることが可能な仕組みを提供する。
　本開示によれば、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、を備える情報処理装置が提供される。
　また、本開示によれば、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させること、を含む、プロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、振動提示を伴うユーザ体験をより向上させることが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るコンテンツ提供システムの概要を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 本実施形態に係る情報処理装置により実行される信号処理の処理フローの一例を示すブロック図である。 本実施形態に係る振動装置の周波数―加速度特性の一例を示すグラフである。 本実施形態に係る情報処理装置により実行されるＤＲＣ処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理により形成される波形の一例を示す図である。 本実施形態に係る情報処理装置の処理パラメータの設定例を示す図である。 本実施形態に係る情報処理装置により生成される振動データの一例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．概要
　　２．構成例
　　　２．１．ハードウェア構成例
　　　２．２．機能構成例
　　３．信号処理
　　４．パラメータ設定
　　５．まとめ
　＜＜１．概要＞＞
　まず、図１を参照して、本開示の一実施形態に係るコンテンツ提供システムの概要を説明する。
　図１は、本実施形態に係るコンテンツ提供システム１の概要を説明するための図である。図１に示した例では、コンテンツ提供システム１は、音出力装置１０及び端末装置２０を含む。
　音出力装置１０は、音を出力する装置である。図１に示した例では、音出力装置１０はヘッドホンである。他にも、音出力装置１０は、イヤホン又はスピーカ等として実現されてもよい。音出力装置１０は、端末装置２０と有線又は無線により接続され、端末装置２０から受信したデータに基づいて音を出力する。
　端末装置２０は、コンテンツの出力を制御する装置である。図１に示した例では、端末装置２０はスマートフォンである。他にも、端末装置２０は、ＰＣ（Personal　Computer）又はタブレット端末等として実現されてもよい。また、コンテンツとは、音楽又は映画等の、少なくとも音データを含むデータである。コンテンツは、音データに加えて画像（動画像／静止画像）データを含んでいてもよい。
　端末装置２０は、情報処理装置１００、振動装置２００、及び表示装置３００としての機能を有する。図１では、情報処理装置１００、振動装置２００及び表示装置３００が端末装置２０として一体的に構成される例が示されているが、各々は別個の装置として構成されてもよい。以下、各装置について説明する。
　振動装置２００は、振動提示対象に対し振動を提示する装置である。振動提示対象としては、人間、動物、又はロボット等の任意の物体が挙げられる。図１に示した例では、振動提示対象はユーザであり、以下では振動提示対象はユーザであるものとして説明する。振動装置２００は、振動装置２００に接触するユーザに対し振動を提示する。図１に示した例では、振動装置２００は、端末装置２０を持つユーザの手に対し、振動を提示する。振動装置２００は、情報処理装置１００と有線又は無線により接続され、情報処理装置１００から受信したデータに基づいて振動を出力する。
　表示装置３００は、画像（静止画像／動画像）を出力する装置である。表示装置３００は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ又はランプ等として実現される。表示装置３００は、情報処理装置１００と有線又は無線により接続され、情報処理装置１００から受信したデータに基づいて画像を出力する。
　情報処理装置１００は、コンテンツ提供システム１の全体を制御する装置である。情報処理装置１００は、音出力装置１０、振動装置２００及び表示装置３００を協働させて、コンテンツを出力させる。例えば、情報処理装置１００は、表示装置３００により画像を表示させると共に、画像と同期した音を音出力装置１０から出力させ、音と同期した振動を振動装置２００から出力させる。例えば、情報処理装置１００は、低音部分（即ち、低周波数の音）を振動として出力させることで、聞き取りにくい低音部分を体感により補強し、ユーザ体験を向上させることができる。
　一般的には、人間が耳で聞きとり可能な音の周波数は、２０Ｈｚ～２万Ｈｚ程度と言われている。また、人間の耳の感度特性（即ち、聞こえやすさ）は、周波数によって異なる。例えば、低い周波数の音の感度は低く、音として認識されにくくなる。グラフ３０は、音出力装置１０から出力される音の特性の一例を示すグラフであり、横軸は周波数であり、縦軸は音圧レベルである。一般的に、２０Ｈｚ～２万Ｈｚと言われる可聴周波数帯３１のうち、一例として１００Ｈｚ以上の周波数帯３２の音の感度は高く、１００Ｈｚ未満の周波数帯３３の音の感度は低いものとする。この場合、周波数帯３３の音が、振動として振動装置２００から出力されることが望ましい。これにより、ユーザは、手に振動を感じることを、低音を聞いているように錯覚することで、コンテンツを高臨場感で楽しむことができる。
　ただし、音出力装置１０によって、出力される音の特性（以下、音出力特性とも称する）は異なり得る。例えば、ヘッドホンは低音部分を比較的出力しやすい一方で、イヤホンは低音部分を比較的出力しにくい。同様に、振動装置２００によって、出力される振動の特性（以下、振動出力特性とも称する）は異なり得る。例えば、振動装置２００によって、振動しやすい周波数及び振動しにくい周波数は異なり得る。
　これらの出力特性が何ら考慮されずにコンテンツが出力される場合、ユーザ体験が劣化し得る。例えば、音出力装置１０によって出力可能な周波数の下限が５００Ｈｚである場合、振動装置２００から１００Ｈｚ以下の振動が出力されると、音と振動との周波数差が大きくなる。この場合、ユーザは、手に感じる振動を低音として錯覚しにくくなり、音と振動とを別個の刺激として知覚してしまう。そうすると、低音部分は体感により補強されず、むしろ無関係とも思える振動が提供されることとなるので、ユーザ体験が劣化する。
　このような事情に鑑み、本実施形態に係る情報処理装置１００を提案するに至った。本実施形態に係る情報処理装置１００は、コンテンツの提供に関与する出力装置の出力特性に応じて、音データに対応する振動を振動装置２００に出力させる。コンテンツの提供に関与する出力装置の出力特性とは、例えば音出力特性及び／又は振動出力特性である。これにより、上述したユーザ体験の劣化を防止し、ユーザ体験をより向上させることが可能となる。
　以上、本実施形態に係るコンテンツ提供システム１の概要を説明した。以下、コンテンツ提供システム１の詳細を説明する。
　＜＜２．構成例＞＞
　＜２．１．ハードウェア構成例＞
　以下、図２を参照して、情報処理装置１００のハードウェア構成例を説明する。図２は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、ＲＡＭ（Random　Access　Memory）１０１、ＣＰＵ（Central　Processing　Unit）１０３、ＤＳＰ／アンプ１０５及びＧＰＵ（Graphics　Processing　Unit）１０７を含む。
　ＲＡＭ１０１は、情報を記憶する記憶部の一例である。ＲＡＭ１０１は、コンテンツのデータを記憶し、ＣＰＵ１０３に出力する。このような記憶部としての機能は、ＲＡＭ１０１に代えて、又は共に、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現されてもよい。
　ＣＰＵ１０３は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する、制御部の一例である。ＣＰＵ１０３は、ＲＡＭ１０１から出力されたコンテンツのデータを処理して、音データ及び振動データをＤＳＰ／アンプ１０５に出力し、画像データをＧＰＵ１０７に出力する。その際、ＣＰＵ１０３は、音出力装置１０の音出力特性及び／又は振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる制御を行う。このような制御部としての機能は、ＣＰＵ１０３に代えて、又は共に、電気回路、ＤＳＰ又はＡＳＩＣ等により実現されてもよい。なお、振動データとは、振動装置２００から出力されるべき振動の振幅及び周波数等の特性を示す情報を少なくとも含む。振動データは、振動装置２００を駆動させるための駆動信号であってもよい。
　ＤＳＰ／アンプ１０５は、信号に所定の処理を適用し、信号を増幅する機能を有する。ＤＳＰ／アンプ１０５は、ＣＰＵ１０３から出力された信号を増幅して、対応する出力装置に出力する。例えば、ＤＳＰ／アンプ１０５は、音データ（例えば、音信号）を増幅して音出力装置１０に出力する。音出力装置１０は、ＤＳＰ／アンプ１０５から出力された音信号に基づいて音を出力する。また、ＤＳＰ／アンプ１０５は、振動データ（例えば、駆動信号）を増幅して振動装置２００に出力する。振動装置２００は、ＤＳＰ／アンプ１０５から出力された振動データに基づいて駆動することで、振動を出力する。なお、ＣＰＵ１０３が行う信号処理の少なくとも一部は、ＤＳＰ／アンプ１０５により実行されてもよい。
　ＧＰＵ１０７は、画像処理装置として機能し、表示装置３００に表示させる画面の描画等の処理を行う。ＧＰＵ１０７は、ＣＰＵ１０３から出力された画像データを処理して、処理後の画像データを表示装置３００に出力する。表示装置３００は、ＧＰＵ１０７から出力された画像データに基づいて表示を行う。
　＜２．２．機能構成例＞
　続いて、図３を参照して、情報処理装置１００の機能構成例を説明する。図３は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。図３に示すように、情報処理装置１００は、取得部１１０、生成部１２０、画像処理部１３０及び出力制御部１４０を含む。なお、取得部１１０、生成部１２０及び出力制御部１４０は、ＣＰＵ１０３及び／又はＤＳＰ／アンプ１０５において実装され、画像処理部１３０はＧＰＵ１０７において実装され得る。
　取得部１１０は、コンテンツのデータを取得する機能を有する。取得部１１０は、ＲＡＭ１０１等の情報処理装置１００が内蔵する記憶部からコンテンツのデータを取得してもよいし、有線又は無線の通信路を介して外部装置からコンテンツのデータを取得してもよい。取得部１１０は、取得したコンテンツのデータのうち、音データを生成部１２０及び出力制御部１４０に出力し、画像データを画像処理部１３０に出力する。
　生成部１２０は、コンテンツの音データに基づいて振動データを生成する機能を有する。例えば、生成部１２０は、音データに所定の処理を適用することで、音データを振動データに変換する。生成部１２０は、音出力装置１０の音出力特性及び／又は振動装置２００の振動出力特性に基づいて、音データから振動データを生成する。そして、生成部１２０は、生成した振動データを出力制御部１４０に出力する。
　画像処理部１３０は、コンテンツの画像データに基づいて、表示装置３００に出力させるための画面の描画等の処理を行う機能を有する。画像処理部１３０は、処理後の画像データを出力制御部１４０に出力する。
　出力制御部１４０は、各種の出力装置による情報の出力を制御する機能を有する。出力制御部１４０は、取得部１１０から出力された音データに基づく音を音出力装置１０により出力させる。出力制御部１４０は、生成部１２０から出力された振動データに基づく振動を振動装置２００により出力させる。出力制御部１４０は、画像処理部１３０から出力された画像データに基づく画像を表示装置３００により出力させる。
　＜＜３．信号処理＞＞
　以下、図４を参照しながら、情報処理装置１００による信号処理の一例を説明する。図４は、本実施形態に係る情報処理装置１００により実行される信号処理の処理フローの一例を示すブロック図である。図４に示すように、音データは、そのまま音データとして取り扱われつつも、振動データ生成のためにも用いられる。以下では、振動データの生成について主に説明する。
　（前処理）
　・インバースボリューム処理１５１
　図４に示すように、まず、生成部１２０は、音データに対しインバースボリューム処理１５１を適用する。インバースボリューム処理とは、音データに適用された音量設定と逆向きの音量設定を適用する処理である。音データに適用された音量設定とは、例えば、全体的な音量の増減及び周波数帯毎の音量の増減の設定であり、ユーザ又は音出力装置１０により設定され得る。生成部１２０は、音量設定を参照して、増加された音量を減じ、減じられた音量を増加する等、音データの音量を元の音量に戻すための振幅制御を行う。インバースボリューム処理は、音量をノーマライズする処理を含んでいてもよい。
　・音声カットフィルタ１５２
　次いで、生成部１２０は、インバースボリューム処理１５１を適用後の音データに対し、音声カットフィルタ１５２を適用する。音声カットフィルタ１５２は、人間の声に相当する周波数帯域を音データから除去するフィルタである。人の声が振動として出力されることはユーザにとって不快に感じられることが多いところ、かかるフィルタにより不快感を軽減することが可能となる。
　これらの前処理の後、生成部１２０は、第１の周波数に基づいて、振動装置２００を振動させるための振動データを生成する。第１の周波数は、超低音用の処理が適用される信号（第１の部分信号とも称する）の上限を規定する周波数である。また、第１の周波数は、低音部分用の処理が適用される信号（第２の部分信号とも称する）の周波数の下限を規定する周波数でもある。さらに、生成部１２０は、第２の周波数に基づいて、振動装置２００を振動させるための振動データを生成する。第２の周波数は、第２の部分信号の周波数の上限を規定する周波数である。生成部１２０は、第１の部分信号及び第２の部分信号にそれぞれ異なる信号処理を適用する。以下、第１の部分信号に適用される超低音部分用の処理と、第２の部分信号に適用される低音部分用の処理とについて、詳しく説明する。
　（超低音部分用の処理）
　・超低音抽出処理１６１
　生成部１２０は、音声カットフィルタ１５２を適用後の音データに対し、超低音抽出処理１６１を適用する。超低音抽出処理１６１とは、音データのうち超低音部分の信号である第１の部分信号を抽出する処理である。詳しくは、生成部１２０は、音データから第１の周波数以下の信号である第１の部分信号を抽出する。
　第１の周波数とは、振動装置２００の振動出力特性に対応する周波数である。例えば、第１の周波数は、振動装置２００の共振周波数（又は共振点）に対応する周波数（共振周波数と同一又は近い周波数）である。振動装置２００の振動出力特性とは、例えば、周波数―加速度特性、共振周波数、出力可能な周波数の上限／下限、出力可能な振動の大きさ、及び応答速度等を含む、振動装置２００により出力される振動の特性を示す概念である。振動装置２００の振動出力特性の一例を、図５に示す。図５は、本実施形態に係る振動装置２００の周波数―加速度特性の一例を示すグラフである。本グラフの横軸は周波数であり、縦軸は加速度である。典型的には、振動装置２００は、共振周波数以下の周波数の振動を出力しにくい。また、共振周波数より小さいある周波数（出力可能な周波数の下限）以下では、振動が出力されない。図５に示した例では、振動装置２００の共振周波数は１００Ｈｚであり、１００Ｈｚ以下の周波数では加速度（即ち、振動）が出にくいことが示されている。そこで、振動しにくい共振周波数以下の音データに対して、それ専用の超低音部分用の処理が適用されることで、振動出力特性に適合する振動データを生成することが可能となる。なお、共振周波数が複数ある場合、第１の周波数は、最も低い共振周波数に対応する周波数である。
　・エンベロープ化処理１６２
　生成部１２０は、超低音抽出処理１６１により抽出された第１の部分信号に対し、エンベロープ化処理１６２を適用する。エンベロープ化処理１６２とは、音データの振幅の外形を取り出す処理である。エンベロープ化処理１６２が適用されることで、振動データが振幅方向に飽和（saturation）することが防止される。
　・アタック音抽出処理１６３
　生成部１２０は、エンベロープ化処理１６２を適用後の第１の部分信号に対し、アタック音抽出処理１６３を適用する。アタック音抽出処理１６３とは、アタック音を抽出する処理である。アタック音とは、立ち上がりの音である。アタック音は、例えば、拍を成すビートに相当する。
　アタック音抽出処理１６３としては、上記特許文献１に開示されているビート抽出処理と同様の処理が用いられ得る。簡単に説明すると、生成部１２０は、入力された音データの各時刻におけるスペクトルを算出し、単位時間当たりのスペクトルの時間微分値を算出する。そして、生成部１２０は、スペクトルの時間微分値の波形のピーク値と所定の閾値とを比較し、当該閾値を超えるピークを有する波形を、アタック音成分として抽出する。この抽出されたアタック音成分には、アタック音のタイミング及びそのときのアタック音の強度の情報が含まれる。そして、生成部１２０は、抽出したアタック音成分にエンベロープをかけ、アタック音のタイミングで立ち上がり、立ち上がり速度より遅い速度で減衰する波形を生成して出力する。
　・ＤＲＣ（Dynamic　Range　Control）処理１６４
　生成部１２０は、エンベロープ化処理１６２を適用後の第１の部分信号に対し、ＤＲＣ処理１６４を適用する。ＤＲＣ処理１６４は、入力信号の振幅と出力信号の振幅との間に所定の関係が成立するように、振幅を制御する処理である。ＤＲＣ処理１６４により、典型的には、音の立下りが強調された余韻成分が生成される。ＤＲＣ処理１６４の一例を、図６を参照して説明する。
　図６は、本実施形態に係る情報処理装置１００により実行されるＤＲＣ処理１６４の一例を説明するための図である。図６のグラフ４０は、ＤＲＣ処理１６４における入力信号の振幅と出力信号の振幅との関係の一例を示しており、横軸は入力信号の振幅であり、縦軸は出力信号の振幅である。グラフ４０によれば、入力信号と出力信号とで振幅の最小値及び最大値は一致し、最小値と最大値との間では出力信号の振幅は入力信号の振幅よりも大きい。このようなＤＲＣ処理１６４が適用される場合、例えば入力信号４１が出力信号４２に変換される。入力信号４１と出力信号４２とを比較すると、出力信号４２の立下りの方が緩やかであり、ピークに達してから０になるまでの時間が長いことが分かる。このように、ＤＲＣ処理１６４が適用されることで、音の立下り時間が長引くので、音の余韻が強調される。
　・加算器１６５
　加算器１６５は、アタック音抽出処理１６３を適用後の第１の部分信号とＤＲＣ処理１６４を適用後の第１の部分信号とを合成（例えば、加算）する。つまり、加算器１６５は、抽出されたアタック音成分と余韻成分とを加算する。これにより、アタック音に余韻を付加することが可能となる。なお、加算器１６５は、各々の信号に重みを付して加算してもよい。
　なお、第１の部分信号に対して適用される、エンベロープ化処理１６２、アタック音抽出処理１６３、ＤＲＣ処理１６４及び加算器１６５による加算は、第１の処理とも称される。
　・ゼロ点検出処理１６６
　生成部１２０は、加算器１６５による加算を適用後の第１の部分信号に対し、ゼロ点検出処理１６６を適用する。ゼロ点検出処理１６６とは、入力された信号の振幅が所定の閾値以下となるタイミングを検出する処理である。所定の閾値は、典型的にはゼロであるが、ゼロ以外の正数であってもよい。ゼロ点検出処理１６６は、検出結果として、所定の閾値以下である期間は０ではない所定の正数（例えば、１）を出力し、所定の閾値を超える場合には０を出力する。例えば、ゼロ点検出処理１６６は、入力された信号の振幅が０である場合に１を出力し、入力された信号の振幅が０を超える場合に０を出力する。ゼロ点検出処理１６６による検出結果は、後述する低音部分用処理において用いられる。
　・正弦波発振器１６７
　正弦波発振器１６７は、所定の周波数の正弦波を発振する。正弦波発振器１６７は、振動装置２００の振動出力特性に対応する周波数の正弦波を発振する。例えば、正弦波発振器１６７は、第１の周波数の正弦波を発振する。
　・乗算器１６８
　乗算器１６８は、第１の部分信号に対し第１の処理を適用した結果と正弦波発振器１６７により発振された第１の周波数の正弦波とを乗算する。超低音抽出処理１６１に関し上記説明したように、振動装置２００は、第１の周波数以下の周波数では振動しにくい。この点、乗算器１６８による乗算により、振動しにくい超低音部分を第１の周波数で疑似的に表現することが可能となる。
　（低音部分用の処理）
　・低音抽出処理１７１
　生成部１２０は、音声カットフィルタ１５２を適用後の音データに対し、低音抽出処理１７１を適用する。低音抽出処理１７１とは、音データのうち低音部分の信号（以下、第２の部分信号とも称する）を抽出する処理である。詳しくは、生成部１２０は、音データから第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出する。第２の周波数は、第１の周波数よりも大きい周波数である。第２の周波数は、任意に設定可能である。ただし、第２の周波数とは、人間の耳の感度特性、及び音出力装置１０の音出力特性に対応する周波数であることが望ましい。
　例えば、第２の周波数は、人間の可聴周波数帯の下限よりも高い周波数であることが望ましい。換言すると、第２の部分信号は、人間の可聴周波数帯を含む音データから生成されることが望ましい。人間の可聴周波数帯の下限とは、例えば、２０Ｈｚである。これにより、音データに基づき音出力装置１０から出力される音のうちユーザが聞き取り可能な周波数帯と、音データの低音部分に基づいて出力される振動の周波数帯とが重複することとなる。よって、音と振動とを別個の刺激として知覚してしまうことが防止されて、ユーザ体験の劣化を防止することが可能となる。
　また、第２の周波数は、音出力装置１０が出力可能な周波数帯の下限よりも高い周波数であることが望ましい。換言すると、第２の部分信号は、音出力装置１０が出力可能な周波数帯を含む音データから生成されることが望ましい。これにより、音出力装置１０から出力される音の周波数帯と振動装置２００から出力される振動の周波数帯とが重複することとなる。よって、音と振動とを別個の刺激として知覚してしまうことが防止されて、ユーザ体験の劣化を防止することが可能となる。
　・音源調整処理１７２
　生成部１２０は、低音抽出処理１７１により抽出された第２の部分信号に対し、音源調整処理１７２を適用する。音源調整処理１７２は、例えば入力された信号の振幅を増幅させる処理を行う。増幅率は、任意の実数である。なお、音源調整処理１７２において、増幅が実施されなくてもよい。
　・エンベロープ化処理１７３
　生成部１２０は、低音抽出処理１７１により抽出された第２の部分信号に対し、エンベロープ化処理１７３を適用する。エンベロープ化処理１７３の処理内容は、エンベロープ化処理１６２と同様である。
　・アタック音抽出処理１７４
　生成部１２０は、エンベロープ化処理１７３を適用後の第２の部分信号に対し、アタック音抽出処理１７４を適用する。アタック音抽出処理１７４の処理内容は、アタック音抽出処理１６３と同様である。
　・ＤＲＣ処理１７５
　生成部１２０は、エンベロープ化処理１７３を適用後の第２の部分信号に対し、ＤＲＣ処理１７５を適用する。ＤＲＣ処理１７５の処理内容は、ＤＲＣ処理１６４と同様である。
　・加算器１７６
　加算器１７６は、アタック音抽出処理１７４を適用後の第２の部分信号とＤＲＣ処理１７５を適用後の第２の部分信号とを加算する。加算器１７６の処理内容は、加算器１６５と同様である。
　なお、第２の部分信号に対して適用される、エンベロープ化処理１７３、アタック音抽出処理１７４、ＤＲＣ処理１７５及び加算器１７６による加算は、第２の処理とも称される。ここで、図４に示した例では、第１の部分信号に対して適用される第１の処理と第２の部分信号に対して適用される第２の処理とで、含む処理の種別が同一であるが、本技術は係る例に限定されない。例えば、第１の処理及び第２の処理は、互いに異なる処理を含んでいてもよい。また、第１の処理と第２の処理とで、同一の処理におけるパラメータは異なっていてもよい。例えば、アタック音抽出処理１６３とアタック音抽出処理１７４とで、アタック音成分を抽出する際の閾値が異なっていてもよい。
　・乗算器１７７
　乗算器１７７は、第２の部分信号に対し第２の処理を適用した結果と音源調整処理１７２により増幅された第２の部分信号とを乗算する。さらに、乗算器１７７は、ゼロ点検出処理１６６による検出結果を乗算する。
　（合成処理）
　・加算器１５３
　加算器１５３は、超低音部分用の処理が適用された第１の部分信号と低音部分用の処理が適用された第２の部分信号とを合成（例えば、加算）することで、振動データを生成する。ここで、第２の部分信号には、ゼロ点検出処理１６６による検出結果が乗算されている。そのため、加算器１５３は、超低音部分用の処理が適用された第１の部分信号と、低音部分用の処理が適用された第２の部分信号のうち、超低音部分用の処理が適用された第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成することとなる。例えば、加算器１５３は、超低音部分用の処理が適用された第１の部分信号と、低音部分用の処理が適用された第２の部分信号のうち、超低音部分用の処理が適用された第１の部分信号の振幅がゼロである期間の信号と、を合成する。これにより、合成によって振動データが振幅方向に飽和することが防止される。なお、加算器１５３は、各々の信号に重みを付して加算してもよい。
　以上説明した処理により、音データから振動データが生成される。
　（波形の一例）
　図７は、本実施形態に係る情報処理装置１００による信号処理により形成される波形の一例を示す図である。図７に示す各々の波形の横軸は時間であり、縦軸は中央を０とする振幅である。波形５１は、生成部１２０に入力される音データの波形の一例である。波形５２は、低音抽出処理１７１により抽出された第２の部分信号の波形の一例である。波形５３は、エンベロープ化処理１７３が適用された第２の部分信号の波形の一例である。波形５４は、アタック音抽出処理１７４により抽出されたアタック音成分の波形の一例である。波形５５は、ＤＲＣ処理１７５により抽出される余韻成分の波形の一例である。波形５６は、加算器１７６によりアタック音成分と余韻成分とが加算された第２の部分信号の波形の一例である。
　＜＜４．パラメータ設定＞＞
　生成部１２０は、様々な情報に基づいて、音データに対応する振動を振動装置２００に出力させる。そして、生成部１２０は、様々な情報に基づいて、振動データの生成のための処理パラメータを可変に設定する。例えば、生成部１２０は、図４を参照して上記説明した各種処理のパラメータを可変に設定する。これにより、ユーザによる手動のパラメータ設定を要さずに、最適な振動をユーザに提示することが可能となる。以下、パラメータ設定の設定基準の一例を説明する。
　・設定基準の一例
　生成部１２０は、振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる。即ち、生成部１２０は、振動装置２００の振動出力特性に基づいて、処理パラメータを設定する。例えば、生成部１２０は、振動装置２００の共振周波数に基づいて第１の周波数を設定する。また、生成部１２０は、振動装置２００（又は振動装置２００を含む端末装置２０）が折り畳み可能であるか否か、折り畳み可能である場合には開いているか閉じているか、及び振動装置２００の温度に基づいて、処理パラメータを設定してもよい。これらにより、振動出力特性は変化し得るためである。このような振動出力特性に基づく設定により、振動装置２００の特性に応じた適切な振動を振動装置２００に出力させることが可能となる。
　生成部１２０は、音出力装置１０の音出力特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、音出力装置１０の音出力特性に基づいて、処理パラメータを設定し得る。例えば、生成部１２０は、音出力特性に基づいて、第２の周波数を設定する。具体的には、生成部１２０は、音出力装置１０が出力可能な周波数帯の下限よりも高い周波数に、第２の周波数を設定する。他にも、生成部１２０は、音出力装置１０が出力可能な音量、又は出力可能な周波数等に基づいて、処理パラメータを設定してもよい。このような設定により、音出力装置１０の音出力特性に応じた適切な振動を振動装置２００に出力させることが可能となる。
　生成部１２０は、音データの特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、音データの特性に基づいて、処理パラメータを設定し得る。音データの特性としては、映画の音データであるか、音楽の音データであるか、ゲームの音データであるか又はニュースの音データである等の、音データを含むコンテンツの属性が挙げられる。例えば、生成部１２０は、これらコンテンツの属性に応じてアタック音成分の抽出のためのパラメータや、余韻成分抽出のためのパラメータを設定する。また、音データの特性としては、音量が挙げられる。例えば、生成部１２０は、ユーザによる音量調整を元に戻す処理を、インバースボリューム処理１５１により行う。このような設定により、音データの特性に応じた適切な振動を振動装置２００に出力させることが可能となる。
　生成部１２０は、振動装置２００による振動の提供を受けるユーザの特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、振動装置２００による振動の提供を受けるユーザの特性に基づいて、処理パラメータを設定し得る。例えば、生成部１２０は、振動を知覚しすいユーザや振動に慣れたユーザに対しては強い振動が出力されるよう処理パラメータを設定し、そうでないユーザに対しては弱い振動が出力されるよう処理パラメータを設定する。ユーザの特性としては、年齢及び性別等のユーザの属性が挙げられる。他にも、ユーザの属性としては、ドラマを見る頻度、音楽を聴く頻度、及びゲームをする頻度等のコンテンツに対する趣向が挙げられる。このような設定により、ユーザの特性に応じた適切な振動を振動装置２００に出力させることが可能となる。
　生成部１２０は、振動装置２００による振動の提供を受けるユーザによる振動装置２００の使用状況に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、振動装置２００による振動の提供を受けるユーザによる振動装置２００の使用状況に基づいて、処理パラメータを設定し得る。使用状況としては、振動装置２００の使用時間の長さ、振動装置２００の使用時刻、振動装置２００を使用中のユーザの動作が挙げられる。例えば、生成部１２０は、振動装置２００の使用時間が長いほどユーザが振動に慣れてくるので、強い振動が出力されるよう処理パラメータを設定する。例えば、生成部１２０は、振動装置２００の使用時刻が夜である場合、弱い振動が出力されるよう処理パラメータを設定する。例えば、生成部１２０は、ユーザが歩きながら又は電車に乗りながら振動装置２００を使用する場合、振動が知覚されにくいので強い振動が出力されるよう処理パラメータを設定する。一方で、生成部１２０は、ユーザが座りながら振動装置２００を使用する場合、振動が知覚されやすいので弱い振動が出力されるよう処理パラメータを設定する。このような設定により、ユーザによる振動装置２００の使用状況に応じた適切な振動を振動装置２００に出力させることが可能となる。
　・パラメータ設定の具体例
　以下、図８を参照しながら、処理パラメータの具体的な設定例を説明する。
　図８は、本実施形態に係る情報処理装置１００の処理パラメータの設定例を示す図である。図８では、一例として、設定例Ａ～Ｃが示されている。設定例Ａは、音出力装置１０がヘッドホンであり、コンテンツが音楽である場合の設定例である。設定例Ｂは、音出力装置１０がスピーカであり、コンテンツが音楽である場合の設定例である。設定例Ｃは、音出力装置１０がヘッドホンであり、コンテンツが映画である場合の設定例である。
　まず、設定例Ａについて説明する。低音抽出処理１７１においては、１００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が３倍に増幅される。アタック音抽出処理１７４では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対０．８で重み付け加算される。また、超低音抽出処理１６１においては、０Ｈｚ～１００Ｈｚの信号が第１の部分信号として抽出される。アタック音抽出処理１６３では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１６４では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１６５では、アタック音抽出処理１６３からの出力とＤＲＣ処理１６４からの出力とが、１対０．８で重み付け加算される。
　次いで、設定例Ｂについて説明する。低音抽出処理１７１においては、２００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が３倍に増幅される。アタック音抽出処理１７４では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対０．８で重み付け加算される。また、超低音部分用の処理は、実施されない。
　次に、設定例Ｃについて説明する。低音抽出処理１７１においては、１００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が２倍に増幅される。アタック音抽出処理１７４では、入力信号が３倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的小さい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対１で重み付け加算される。また、超低音抽出処理１６１においては、０Ｈｚ～１００Ｈｚの信号が第１の部分信号として抽出される。アタック音抽出処理１６３では、入力信号が３倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１６４では、図示のように入出力差が比較的小さい入出力関係の処理が適用される。加算器１６５では、アタック音抽出処理１６３からの出力とＤＲＣ処理１６４からの出力とが、１対１で重み付け加算される。
　・パラメータ設定に対応する波形の具体例
　以下、図９を参照しながら、パラメータ設定に対応する波形の具体例を説明する。
　図９は、本実施形態に係る情報処理装置１００により生成される振動データの一例を示す図である。図９に示す波形６１は、生成部１２０に入力される音データの波形の一例であり、波形６２～波形６４は、波形６１に示した音データから生成される振動データの波形の一例である。波形６２は、音出力装置１０が低音を出力しにくい音出力特性を有するイヤホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツが映画である場合の波形である。波形６３は、音出力装置１０が低音を出力しやすい音出力特性を有するヘッドホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツがゲームである場合の波形である。波形６４は、音出力装置１０が低音を出力しやすい音出力特性を有するヘッドホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツが音楽である場合の波形である。
　＜＜５．まとめ＞＞
　以上、図１～図９を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる。情報処理装置１００は、音データに対応する振動を振動装置２００に出力させる際に、振動出力特性を考慮することで、例えば出力される音の周波数と振動の周波数とが離隔することを防止する等して、ユーザ体験の劣化を防止することができる。そして、聞き取りにくい低音部分を、より確実に振動の体感により補強し、ユーザ体験を向上させることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図３に示した情報処理装置１００の機能構成例のうち、生成部１２０が、取得部１１０、画像処理部１３０及び出力制御部１４０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。また、例えば、図２に示した情報処理装置１００、振動装置２００、表示装置３００及び音出力装置１０のうち少なくとも２つの装置は、ひとつの装置として実現されてもよい。例えば、図１に示したように、情報処理装置１００、振動装置２００及び表示装置３００が、端末装置２０として実現されてもよい。
　また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書において図４に示した処理フローを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
を備える情報処理装置。
（２）
　前記制御部は、前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成する、前記（３）に記載の情報処理装置。
（５）
　前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、前記（３）又は（４）に記載の情報処理装置。
（６）
　前記信号処理は、前記第２の部分信号に対し第２の処理を適用した結果と前記第２の部分信号が増幅された信号との乗算を含む、前記（５）に記載の情報処理装置。
（７）
　前記第１の処理及び前記第２の処理は、エンベロープ化処理を含む、前記（６）に記載の情報処理装置。
（８）
　前記第１の処理及び前記第２の処理は、アタック音の抽出及びＤＲＣ処理の適用、並びに前記アタック音の抽出結果と前記ＤＲＣ処理結果との合成を含む、前記（６）又は（７）に記載の情報処理装置。
（９）
　前記制御部は、前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用する、前記（３）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記第１の周波数は、前記振動装置の共振周波数に対応する周波数である、前記（３）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記第２の周波数は、人間の可聴周波数帯の下限よりも高い周波数である、前記（３）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記第２の周波数は、前記音データに基づき音を出力する音出力装置が出力可能な周波数帯の下限よりも高い周波数である、前記（３）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記制御部は、前記音データに基づき音を出力する音出力装置の音出力特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記制御部は、前記音データの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記制御部は、前記振動装置による振動の提供を受けるユーザの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記制御部は、前記振動装置による振動の提供を受けるユーザによる前記振動装置の使用状況に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させること、
を含む、プロセッサにより実行される情報処理方法。
（１８）
　コンピュータを、
　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
として機能させるためのプログラム。
　１　　　コンテンツ提供システム
　１０　　音出力装置
　２０　　端末装置
　１００　　情報処理装置
　１０１　　ＲＡＭ
　１０３　　ＣＰＵ
　１０５　　ＤＳＰ／アンプ
　１０７　　ＧＰＵ
　１１０　　取得部
　１２０　　生成部
　１３０　　画像処理部
　１４０　　出力制御部
　２００　　振動装置
　３００　　表示装置

Claims (18)

  1. 　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
    を備える情報処理装置。
  2. 　前記制御部は、前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成する、請求項３に記載の情報処理装置。
  5. 　前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、請求項３に記載の情報処理装置。
  6. 　前記信号処理は、前記第２の部分信号に対し第２の処理を適用した結果と前記第２の部分信号が増幅された信号との乗算を含む、請求項５に記載の情報処理装置。
  7. 　前記第１の処理及び前記第２の処理は、エンベロープ化処理を含む、請求項６に記載の情報処理装置。
  8. 　前記第１の処理及び前記第２の処理は、アタック音の抽出及びＤＲＣ処理の適用、並びに前記アタック音の抽出結果と前記ＤＲＣ処理結果との合成を含む、請求項６に記載の情報処理装置。
  9. 　前記制御部は、前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用する、請求項３に記載の情報処理装置。
  10. 　前記第１の周波数は、前記振動装置の共振周波数に対応する周波数である、請求項３に記載の情報処理装置。
  11. 　前記第２の周波数は、人間の可聴周波数帯の下限よりも高い周波数である、請求項３に記載の情報処理装置。
  12. 　前記第２の周波数は、前記音データに基づき音を出力する音出力装置が出力可能な周波数帯の下限よりも高い周波数である、請求項３に記載の情報処理装置。
  13. 　前記制御部は、前記音データに基づき音を出力する音出力装置の音出力特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、請求項３に記載の情報処理装置。
  14. 　前記制御部は、前記音データの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、請求項３に記載の情報処理装置。
  15. 　前記制御部は、前記振動装置による振動の提供を受けるユーザの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、請求項３に記載の情報処理装置。
  16. 　前記制御部は、前記振動装置による振動の提供を受けるユーザによる前記振動装置の使用状況に基づいて、前記音データに対応する振動を前記振動装置に出力させる、請求項３に記載の情報処理装置。
  17. 　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させること、
    を含む、プロセッサにより実行される情報処理方法。
  18. 　コンピュータを、
    　振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
    として機能させるためのプログラム。
PCT/JP2019/024911 2018-07-04 2019-06-24 情報処理装置、情報処理方法及びプログラム Ceased WO2020008931A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019003350.6T DE112019003350T5 (de) 2018-07-04 2019-06-24 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
US17/251,017 US11653146B2 (en) 2018-07-04 2019-06-24 Information processing device, information processing method, and program
JP2020528803A JP7347421B2 (ja) 2018-07-04 2019-06-24 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-127718 2018-07-04
JP2018127718 2018-07-04

Publications (1)

Publication Number Publication Date
WO2020008931A1 true WO2020008931A1 (ja) 2020-01-09

Family

ID=69059654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024911 Ceased WO2020008931A1 (ja) 2018-07-04 2019-06-24 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11653146B2 (ja)
JP (1) JP7347421B2 (ja)
DE (1) DE112019003350T5 (ja)
WO (1) WO2020008931A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192747A1 (ja) * 2020-03-25 2021-09-30 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体
DE112022000997T5 (de) 2021-02-08 2023-12-07 Sony Group Corporation Steuervorrichtung, die taktile reize anwendet
JP2025501796A (ja) * 2022-12-30 2025-01-24 エーエーシー テクノロジーズ （ナンジン） カンパニーリミテッド 触覚フィードバックに基づく超低周波音響効果補償システム及び方法、記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11771991B2 (en) * 2021-02-15 2023-10-03 Nintendo Co., Ltd. Non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375694U (ja) * 1989-11-24 1991-07-30
JP2001212508A (ja) * 1999-04-14 2001-08-07 Matsushita Electric Ind Co Ltd 駆動回路、電気機械音響変換装置および携帯端末装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4467601B2 (ja) 2007-05-08 2010-05-26 ソニー株式会社 ビート強調装置、音声出力装置、電子機器、およびビート出力方法
GB0902869D0 (en) * 2009-02-20 2009-04-08 Wolfson Microelectronics Plc Speech clarity
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
CN104811838B (zh) * 2013-12-30 2020-02-18 骷髅头有限公司 用于立体声触觉振动的耳机以及相关系统和方法
JP6322830B2 (ja) * 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
JP6761225B2 (ja) * 2014-12-26 2020-09-23 和俊 尾花 手持ち型情報処理装置
US9842476B2 (en) * 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
WO2017061577A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 信号処理装置、信号処理方法及びコンピュータプログラム
JP6701132B2 (ja) * 2017-07-12 2020-05-27 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375694U (ja) * 1989-11-24 1991-07-30
JP2001212508A (ja) * 1999-04-14 2001-08-07 Matsushita Electric Ind Co Ltd 駆動回路、電気機械音響変換装置および携帯端末装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192747A1 (ja) * 2020-03-25 2021-09-30 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体
DE112022000997T5 (de) 2021-02-08 2023-12-07 Sony Group Corporation Steuervorrichtung, die taktile reize anwendet
US12530946B2 (en) 2021-02-08 2026-01-20 Sony Group Corporation Control device that provides tactile stimulus
JP2025501796A (ja) * 2022-12-30 2025-01-24 エーエーシー テクノロジーズ （ナンジン） カンパニーリミテッド 触覚フィードバックに基づく超低周波音響効果補償システム及び方法、記憶媒体
JP7688703B2 (ja) 2022-12-30 2025-06-04 エーエーシー テクノロジーズ （ナンジン） カンパニーリミテッド 触覚フィードバックに基づく超低周波音響効果補償システム及び方法、記憶媒体

Also Published As

Publication number Publication date
JP7347421B2 (ja) 2023-09-20
DE112019003350T5 (de) 2021-03-18
JPWO2020008931A1 (ja) 2021-08-05
US20210219050A1 (en) 2021-07-15
US11653146B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
JP4467601B2 (ja) ビート強調装置、音声出力装置、電子機器、およびビート出力方法
US20190075383A1 (en) Headphones with combined ear-cup and ear-bud
WO2024021682A1 (zh) 音频处理方法、虚拟低音增强系统、设备和存储介质
CN108365827B (zh) 具有动态阈值的频带压缩
JP7347421B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018038086A (ja) サウンドステージ拡張用の装置及び方法
JP5074115B2 (ja) 音響信号処理装置及び音響信号処理方法
JP7476930B2 (ja) 振動体感装置
US11985467B2 (en) Hearing sensitivity acquisition methods and devices
TW200919953A (en) Automatic gain control device and method
TWM519370U (zh) 具有可依據聽力生理狀況調整等化器設定之電子裝置及聲音播放裝置
EP3603106B1 (en) Dynamically extending loudspeaker capabilities
KR102446946B1 (ko) 다중대역 더커
JP5340121B2 (ja) オーディオ信号再生装置
CN112088353A (zh) 动态处理效果体系架构
WO2021111965A1 (ja) 音場生成システム、音声処理装置および音声処理方法
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
WO2021065560A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN115379355A (zh) 管理目标声音回放
JP6266903B2 (ja) ゲーム音声の音量レベル調整プログラムおよびゲームシステム
CN107959906B (zh) 音效增强方法及音效增强系统
US11309858B2 (en) Method for inducing brainwaves by sound and sound adjusting device
WO2020026797A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US12614537B2 (en) Wearable acoustic device, wearable acoustic system, and acoustic processing method
WO2023189193A1 (ja) 復号装置、復号方法および復号プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829999

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528803

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19829999

Country of ref document: EP

Kind code of ref document: A1