WO2017168870A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2017168870A1
WO2017168870A1 PCT/JP2016/087316 JP2016087316W WO2017168870A1 WO 2017168870 A1 WO2017168870 A1 WO 2017168870A1 JP 2016087316 W JP2016087316 W JP 2016087316W WO 2017168870 A1 WO2017168870 A1 WO 2017168870A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature information
feature
processing apparatus
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/087316
Other languages
English (en)
French (fr)
Inventor
井手　直紀
拓也 藤田
章 中村
拓也 成平
亮 中橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP16897086.1A priority Critical patent/EP3438972B1/en
Priority to JP2018508391A priority patent/JPWO2017168870A1/ja
Priority to US16/086,636 priority patent/US20190087734A1/en
Publication of WO2017168870A1 publication Critical patent/WO2017168870A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the present disclosure relates to an information processing apparatus and an information processing method.
  • Patent Document 1 discloses a technique for performing learning using a statistical expression indicating a feature of intonation or the like in order to express a natural speech voice when generating voice data from text.
  • the acquisition unit that acquires the first feature information that is given meaning and the second feature information that is not specified, the first feature information and the second feature that are acquired by the acquisition unit
  • an information processing apparatus including a generation unit that generates time-series data having characteristics indicated by information.
  • a notification unit that notifies the first device with meaning and the second feature information with no meaning to another device, the first feature information, and the second feature information.
  • An information processing apparatus includes an acquisition unit that acquires time-series data having the characteristics indicated by
  • the acquired first feature information and the non-separated second feature information are acquired, and the acquired first feature information and the second feature information indicate Generating time-series data having characteristics by a processor is provided.
  • the first feature information with meaning and the second feature information with no meaning are notified to another device, and the first feature information and the second feature information are Obtaining a time-series data having the characteristics shown by a processor from the other device.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a system according to an embodiment of the present disclosure. It is a block diagram which shows an example of a logical structure of the processing apparatus which concerns on this embodiment. It is a block diagram which shows an example of the logical structure of the terminal device which concerns on this embodiment. It is a figure for demonstrating the outline
  • Auto-encoder is a neural network technology, also called a self-encoder.
  • VAE variational auto-encoder
  • GAN generation adversarial network
  • the auto-encoder is described in detail in “Takayuki Okaya,“ Deep Learning ”, Kodansha, April 8, 2015”.
  • VAE includes "Kingma, Diederik P., and Max Welling.” Auto-encoding variational bayes. "ArXiv preprint arXiv: 1312.6114 (2013).” And “Kingma, Diederik P., et al.” Semi-supervised It is described in detail in “learning with deep generative models.” Advances in Neural Information Processing Systems. 2014. “ GAN is described in detail in “Goodfellow, Ian, et al.“ Generative adversarial nets. ”Advances in Neural Information Processing Systems. 2014.”.
  • an auto encoder coupled to a recurrent neural network may be used as a time-series extended version of VAE.
  • the RNN is described in detail in “Takayuki Okaya,“ Deep Learning ”, Kodansha, April 8, 2015”.
  • Variational recurrent auto-encoders "ArXiv preprint arXiv: 1412.6581 (2014).”, “Bayer, Justin, and Christian Osendorfer. "Learning stochastic recurrent networks.” arXiv preprint arXiv: 1411.7610 (2014). "and” Chung, Junyoung, et al. "A recurrent latent variable model for sequential data.” Advancesinprocessing.2015 Is described in detail.
  • the auto encoder is a function composed of a neural network.
  • the data x is input to the first projection function defined by the neural network, and is once converted into the intermediate variable z.
  • ⁇ is all the weight parameters (including bias) of the first neural network.
  • the intermediate variable z is input to the second projection function defined by the neural network, and the reconstructed data x ′ is output.
  • ⁇ is all the weight parameters (including bias) of the second neural network.
  • the first projection function may be referred to as an encoder
  • the second projection function may be referred to as a decoder.
  • the encoder corresponds to an inference net described later
  • the decoder corresponds to a generation net described later.
  • the first projection function and the second projection function are learned so that the reconstructed data x ′ is close to the data x.
  • ⁇ and ⁇ that minimize the objective function L shown in the above equation (3) are learned.
  • learning is performed by updating ⁇ and ⁇ so that L becomes smaller in accordance with the gradient obtained by differentiating the objective function L with respect to each of ⁇ and ⁇ .
  • the encoder and the decoder are used in combination. On the other side of the learning, the encoder and the decoder may be used separately.
  • the process by which the encoder calculates the variable z from the data x can also be referred to as inference.
  • the variable z can also be referred to as a feature quantity.
  • the process of the decoder calculating the reconstructed data x 'from the variable z can also be referred to as generation.
  • VAE is a model that incorporates the concept of probability into an auto encoder.
  • the first and second projection functions are not deterministic but are probabilistic projections including sampling from probability distributions p (z
  • x) a probability distribution q (z
  • these probability distributions are approximated by a distribution determined by a limited number of parameters, such as a Gaussian distribution, a Bernoulli distribution, or a multinomial distribution.
  • the probability distribution is expressed as the following equation.
  • ⁇ (x) and ⁇ (z) are the projection functions that output the parameters ⁇ and ⁇ of the probability distribution with respect to the input (x, z).
  • Equation (1) and Equation (2) are random variables and include the stochastic process
  • the VAE equation can also be expressed by Equation (1) and Equation (2).
  • learning is performed by maximizing model evidence (such as likelihood) unlike the method of minimizing the objective function L shown in Equation (3).
  • model evidence such as likelihood
  • a parameter that maximizes the lower bound of the model evidence is required.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a system according to an embodiment of the present disclosure. As shown in FIG. 1, the system 1 includes a processing device 100 and a terminal device 200.
  • the processing device 100 and the terminal device 200 are connected by a network 300.
  • the network 300 is a wired or wireless transmission path for information transmitted from devices connected by the network 300.
  • the network 300 may include, for example, a cellular network, a wired LAN (Local Area Network), or a wireless LAN.
  • the processing apparatus 100 is an information processing apparatus that performs various processes.
  • the terminal device 200 is an information processing device that functions as an interface with a user. Typically, the system 1 interacts with the user through the cooperation of the processing device 100 and the terminal device 200.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the processing apparatus 100 according to the present embodiment.
  • the processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the communication unit 110 has a function of transmitting / receiving information.
  • the communication unit 110 receives information from the terminal device 200 and transmits information to the terminal device 200.
  • Storage unit 120 The storage unit 120 temporarily or permanently stores a program for operating the processing apparatus 100 and various data.
  • Control unit 130 provides various functions of the processing apparatus 100.
  • the control unit 130 includes an acquisition unit 131, a calculation unit 133, a learning unit 135, and a notification unit 137.
  • Control unit 130 may further include other components other than these components. That is, the control unit 130 can perform operations other than the operations of these components.
  • the acquisition unit 131 acquires information.
  • the calculation unit 133 performs various calculations using an auto encoder described later.
  • the learning unit 135 performs learning related to an auto encoder described later.
  • the notification unit 137 notifies the terminal device 200 of information indicating the calculation result by the calculation unit 133. Other detailed operations will be described in detail later.
  • FIG. 3 is a block diagram illustrating an example of a logical configuration of the terminal device 200 according to the present embodiment.
  • the terminal device 200 includes an input unit 210, an output unit 220, a communication unit 230, a storage unit 240, and a control unit 250.
  • the input unit 210 has a function of accepting input of information.
  • the input unit 210 receives input of information from the user.
  • the input unit 210 may accept a character input using a keyboard or a touch panel, a voice input, or a gesture input.
  • the input unit 210 may accept data input from a storage medium such as a flash memory.
  • the output unit 220 has a function of outputting information.
  • the output unit 220 outputs information by image, sound, vibration, light emission, or the like.
  • the communication unit 230 has a function of transmitting and receiving information.
  • the communication unit 230 receives information from the processing device 100 and transmits information to the processing device 100.
  • Storage unit 240 The storage unit 240 temporarily or permanently stores a program for operating the terminal device 200 and various data.
  • Control unit 250 provides various functions of the terminal device 200.
  • the control unit 250 includes a notification unit 251 and an acquisition unit 253.
  • the control unit 250 may further include other components other than these components. That is, the control unit 250 can perform operations other than the operations of these components.
  • the notification unit 251 notifies the processing device 100 of information indicating the user input input to the input unit 210.
  • the acquisition unit 253 acquires information indicating the calculation result by the processing device 100 and causes the output unit 220 to output the information. Other detailed operations will be described in detail later.
  • the intermediate variable z in the auto encoder is also regarded as a feature amount for expressing the data x.
  • the method of capturing the intermediate variable z as a feature amount is effective when the feature amount representing the data x is difficult to design. Design difficulties are, for example, difficult to obtain as data, difficult to quantify, a concept in which multiple concepts are fused and their combination is unknown, or it can be completely expressed as a concept in the first place. It means no etc. In such a case, it is desirable to represent the feature quantity by a neural network and leave the handling of the feature quantity to the neural network.
  • a feature quantity that is easy to design is also conceivable as information for expressing the data x.
  • “Easy design” means, for example, that it can be easily expressed as a concept and that it is easy to quantify the feature value corresponding to the concept. Since the feature quantity that is easy to design is a feature quantity that has a corresponding concept (hereinafter also referred to as a label), it is hereinafter also referred to as labeled feature information (corresponding to the first feature information that is given meaning).
  • labeled feature information corresponding to the first feature information that is given meaning
  • a feature quantity that is difficult to design expressed by the intermediate variable z is a feature quantity that does not have a corresponding label, and is hereinafter also referred to as unlabeled feature information (corresponding to second feature information that is not given meaning).
  • the labeled feature information may be input to the neural network separately from the unlabeled feature information.
  • Equation (2) indicating the generated net is changed as follows.
  • y is feature information with a label
  • z is feature information without a label
  • the identification net is expressed by the following function.
  • FIG. 4 is a diagram for explaining the outline of the auto encoder according to this embodiment.
  • the auto encoder 10 includes an identification net 11, an inference net 13, and a generation net 15.
  • the identification net 11 includes a discriminator 12 corresponding to the function h ⁇ ( ⁇ ) shown in the mathematical formula (7), which is a discriminating unit for discriminating the labeled feature information y from the data x.
  • the inference net 13 includes an inference unit 14 corresponding to the function f ⁇ ( ⁇ ) shown in the above equation (6), which is an inference unit for inferring unlabeled feature information z from the data x and the labeled feature information y.
  • the inference net 13 can also be understood as removing feature information y with label from data x and extracting feature information z without label.
  • the generation net 15 is a generation unit that generates data x having the features indicated by the labeled feature information y and the unlabeled feature information z from the labeled feature information y and the unlabeled feature information z. It includes a generator 16 corresponding to the function g ⁇ (•) shown.
  • the labeled feature information y may be a 10-dimensional feature value
  • the unlabeled feature information z may be a 50-dimensional feature value.
  • a 60-dimensional feature value in which the feature values are connected in series is input to the generator 16.
  • the labeled feature information y is a multidimensional feature amount indicating the feature of the time-series data x.
  • the labeled feature information y may include information indicating the framework of the time series data x.
  • the information indicating the framework is information indicating the basic structure of the target time series data x.
  • the information indicating the framework is also referred to as framework information below.
  • the labeled feature information y can include information indicating the context of the time-series data x as a feature that can be easily expressed as a concept.
  • the context information is information indicating a situation in which target time-series data x is generated.
  • the information indicating the context is also referred to as context information below.
  • the unlabeled feature information z is a multidimensional feature amount indicating the feature of the time series data x.
  • the system 1 learns parameters of a neural network (that is, each of an inference unit, a discriminator, and a generator). For example, the system 1 learns to optimize a predetermined objective function.
  • the feature information y with label does not need to be associated as shown in FIG. In the latter case, the system 1 may estimate the labeled feature information y by the identification net 11 and associate it with the time-series data x. In addition, the association between the labeled feature information y and the time-series data x may be performed by the user.
  • the system 1 may learn the unlabeled feature information z. Learning in this case refers to inferring unlabeled feature information z corresponding to the time-series data x by the inference net 13 after the parameter learning. The same applies to the feature information y with label.
  • the learning result can be stored in the storage unit 120, for example.
  • the system 1 (for example, the calculation unit 133) generates time-series data x using the learned neural network. Specifically, the system 1 inputs the feature information with label y and the feature information z without label to the generator 16 to generate time-series data x having the features indicated by the feature information with label y and the feature information z without label. To do. As a result, the system 1 can generate time-series data x reflecting both difficult-to-design feature quantities and easy-to-design feature quantities.
  • System 1 may acquire feature information y with label and feature information z without label used for generation.
  • the acquisition source may be variously considered as another device (for example, the terminal device 200) or the storage unit 120.
  • the feature information y with label used for generation may be output from the discriminator 12, and the feature information z without label used for generation is output from the inference device 14. Also good.
  • FIG. 5 is a flowchart showing an example of the flow of learning processing executed in the processing apparatus 100 according to the present embodiment.
  • the acquisition unit 131 acquires a learning data set (step S102).
  • the learning unit 135 identifies the labeled feature information y from the time series data included in the learning data set by the classifier 12 (step S104).
  • the learning unit 135 obtains the unlabeled feature information z from the time series data included in the learning data set and the labeled feature information y included in the learning data set or identified by the classifier 12 by the inference unit 14. Inference is performed (step S106).
  • the learning unit 135 generates time-series data x from the labeled feature information y included in the learning data set or identified by the classifier 12 and the inferred unlabeled feature information z by the generator 16 ( Step S108).
  • the learning unit 135 determines whether to end the learning (step S110). For example, the learning unit 135 determines to end when the difference between the time series data x included in the learning data set and the generated time series data x is equal to or less than a predetermined threshold, and determines not to end when the difference is exceeded. To do. The same applies to the feature information y with label.
  • the learning unit 135 updates the parameters (for example, weight parameters and bias) of the neural network (the discriminator 12, the inference unit 14, and / or the generator 16) (step S112). Thereafter, the process returns to step S104 again.
  • storage part 120 memorize
  • FIG. 6 is a sequence diagram showing an example of the flow of interaction processing executed in the system 1 according to the present embodiment.
  • the processing device 100 and the terminal device 200 are involved in this sequence.
  • the terminal device 200 receives user input of the feature information y with label and the feature information z without label (step S202).
  • the terminal device 200 (for example, the notification unit 251) notifies the processing device 100 of the labeled feature information y and the unlabeled feature information z, and the processing device 100 (for example, the acquisition unit 131) acquires (step S204). .
  • the processing device 100 (for example, the calculation unit 133) generates time-series data x using the notified feature information y with label and feature information z without label (step S206).
  • the processing device 100 (for example, the notification unit 137) notifies the generated time series data x to the terminal device 200, and the terminal device 200 (for example, the acquisition unit 253) acquires (step S208).
  • the terminal device 200 (for example, the output unit 220) outputs the acquired time series data x (step S210).
  • FIG. 7 is a sequence diagram showing an example of the flow of interaction processing executed in the system 1 according to the present embodiment.
  • the processing device 100 and the terminal device 200 are involved in this sequence.
  • the terminal device 200 receives user input of the time series data x (step S302).
  • the terminal device 200 receives user input of the time series data x (step S302).
  • the terminal device 200 (for example, the notification unit 251) notifies the processing device 100 of the time series data x
  • the processing device 100 for example, the acquisition unit 131) acquires (step S304).
  • the processing device 100 for example, the arithmetic unit 133) identifies the feature information y with label from the time series data x and infers feature information z without label (step S306).
  • the processing device 100 changes the feature information y with label for a response to a user input, for example (step S308), and includes feature information z without label and feature information with label after change.
  • Time series data x is generated using y (step S310).
  • the processing device 100 (for example, the notification unit 137) notifies the generated time series data x to the terminal device 200, and the terminal device 200 (for example, the acquisition unit 253) acquires (step S312).
  • the terminal device 200 for example, the output unit 220) outputs the acquired time series data x (step S314).
  • processing apparatus 100 The basic technical features of the processing apparatus 100 according to this embodiment have been described above. Next, various embodiments of the processing apparatus 100 will be specifically described.
  • the time series data x is voice data including speech.
  • Time series data x is voice data obtained by reading out text information.
  • the labeled feature information y and the unlabeled feature information z are information indicating the features of the audio data x.
  • the feature information is collectively referred to as voice feature information.
  • the voice feature information expresses a feature related to the individuality of the speaker represented by a voiceprint, a feature related to the background of the speaker such as resentment or intonation, and a feature such as emotion.
  • the context information in the labeled feature information y may include information indicating the speaker's context.
  • the context information includes, for example, a label for identifying an individual, a generation (for example, a child, an adult), a man and a woman, a resentment (for example, a speaker's home region), a state (for example, emotions such as emotions), and a occupation (for example, an announcer). , Information on the speaker itself such as a stewardess or an elevator guide).
  • the context information may be information related to an environment in which a speaker speaks, such as a speaking partner (for example, a speaker's child, husband, etc.), a talking area or place (for example, work, school, home, etc.).
  • the context information may be information related to a topic spoken by the speaker, such as a context before and after the talk, a topic (for example, public talk, serious consultation, etc.).
  • the frame information in the feature information y with label is text information such as a speech manuscript or a movie speech.
  • the framework information can be 26-dimensional information corresponding to, for example, 26 letters of the alphabet.
  • the unlabeled feature information z indicates features other than the labeled feature information y in the voice feature information.
  • the unlabeled feature information z is also referred to as utterance style information.
  • Neural network configuration The configuration of the neural network according to this embodiment will be described with reference to FIGS.
  • FIG. 8 is a diagram showing an example of the configuration of the identification net 11 according to the present embodiment. As shown in FIG. 8, the discriminator 12 identifies text information and context information from voice data.
  • FIG. 9 is a diagram illustrating an example of the configuration of the inference net 13 according to the present embodiment.
  • the inference unit 14 infers utterance style information from text information, context information, and voice data.
  • FIG. 10 is a diagram illustrating an example of the configuration of the generation net 15 according to the present embodiment.
  • the generator 16 generates audio data from text information, context information, and speech style information.
  • the system 1 learns parameters of a neural network (that is, each of an inference unit, a discriminator, and a generator). For example, the system 1 learns to optimize a predetermined objective function.
  • the system 1 may learn voice feature information. Learning in this case refers to inferring utterance style information corresponding to speech data by the inference unit 14 after the parameter learning.
  • the system 1 may perform learning by connecting the identification net 11 and the generation net 15 to infer utterance style information.
  • FIG. 11 is a diagram for explaining an example of inference processing according to the present embodiment. What should be noted here is that the text information and context information output from the discriminator 12 are input to the inference unit 14 and the input is only voice data. Thereby, a user's operation load is reduced.
  • the system 1 may store the learned voice feature information in association with the identification information. As a result, the voice feature information can be edited by selecting a speaker, which will be described later.
  • TTS text to speech
  • TTS is a technique for automatically generating voice data from text, and can generate voice data at a lower cost than when recording by uttering a voice actor or the like.
  • the system 1 uses, for example, the generator 16 that inputs the voice feature information in addition to the text information, instead of the TTS engine, thereby generating voice data that reflects, for example, the beat.
  • the user can generate voice data in which the text information is read out by voice having desired characteristics by inputting the text information desired to be converted into voice data and desired voice feature information into the system 1. .
  • the user can edit the voice feature information.
  • the user edits the voice feature information via the terminal device 200.
  • the editing of the audio feature information may be performed by a function or a command line interface, or may be performed by a graphical interface or the like.
  • FIG. 12 shows an example of a graphical interface.
  • FIG. 12 is a diagram illustrating an example of a user interface according to the present embodiment.
  • a voice feature information editing screen 20 shown in FIG. 12 is displayed by, for example, the terminal device 200 and accepts a voice feature information editing operation by the user.
  • the audio feature information editing screen 20 includes an adjustment unit 21 for multidimensional feature amounts z 0 to z 49 that are utterance style information, and a multidimensional feature amount adjustment unit 22 that is context information. Including. Labels such as “joy”, “anger”, and “sorrow”, and “region A”, “region B”, and “region C” are associated with the multi-dimensional feature amount that is context information.
  • the labels may be categorized as “feeling” for “joy”, “anger”, and “sorrow”, and “region A”, “region B”, and “region C” as “growing”, respectively.
  • the user can adjust each feature amount by moving the knob 23 indicating the value of each feature amount up and down.
  • the user can intentionally adjust the feature amount corresponding to the concept of emotion or resentment so that sound data having a desired feature is generated by operating the adjustment unit 22. Is possible.
  • the user can perform trial and error by operating the adjustment unit 21 so that sound data having desired characteristics is generated. In this way, the user can easily control the characteristics of audio data other than text information.
  • the user can control the feature of the voice data with the compressed information of the limited number of voice feature information, so that the operation load is reduced.
  • GUI editing can be finely edited. Therefore, editing by GUI is useful for creating audio contents by professional users.
  • application scene for example, in the process of creating animation or CG (Computer Graphics), creation of scenes and lines, and creation of audio content after creation of moving image content can be mentioned.
  • CG Computer Graphics
  • the editing operation of the voice feature information may be performed by the user selecting the speaker. In this case, the operation load on the user is further reduced.
  • the system 1 (for example, the storage unit 120) stores a combination of speaker identification information and voice feature information in advance as a voice feature information DB.
  • FIG. 13 is a diagram showing an example of the audio feature information DB according to the present embodiment. As shown in FIG. 13, the system 1 stores identification information of each speaker and voice feature information in association with each other. Note that the speaker identification information is also regarded as the voice feature information identification information.
  • FIG. 14 is a diagram illustrating an example of a user interface according to the present embodiment.
  • a speaker selection screen 30 shown in FIG. 14 is displayed by the terminal device 200, for example, and accepts a speaker selection operation by the user. For example, it is assumed that the user selects “Speaker X” on the speaker selection screen 30 shown in FIG. Then, the processing apparatus 100 (for example, the acquisition unit 141) acquires the identification information of “speaker X” (that is, identification information of the voice feature information). Then, the processing device 100 (for example, the arithmetic unit 133) generates audio data having a feature indicated by the audio feature information corresponding to the identification information.
  • the speaker's choice may be an individual name or a group name.
  • the choice of the speaker may be a person who actually exists. In this case, voice data is generated as if a person who actually exists read the text.
  • the choices of speakers are “announcer”, “bus guide”, “yakuza”, “teacher”, “doctor”, “kabuki actor”, “rakugoka”, “butler”, etc. It may be a name. In that case, voice data in which a text is read out in a typical way of speaking of each occupation person is generated.
  • the speaker's choice may be a character such as a movie or an animation work.
  • the choice of the speaker may be a race in a fantasy work such as “Fairy”, “Yokai”, “Monster”, or an occupation in a fantasy work such as “Mage”.
  • the voice feature information may be adjusted on the voice feature information editing screen 20 shown in FIG.
  • voice data as if the selected person read the text with a different voice from the person himself / herself can be generated.
  • the editing by speaker selection described above is simpler than the editing by GUI. Therefore, editing by speaker selection is useful for light users who are not satisfied with the default mechanical voice, but are satisfied with some degree of customization.
  • a voice switching of a voice assist agent that provides information by voice.
  • the editing operation of the voice feature information may be performed based on the recognition result of the user voice. In this case, the operation load on the user is further reduced.
  • the context information can be edited in response to an instruction by the user voice.
  • the user edits the context information by speaking a context information adjustment instruction.
  • the system 1 (for example, the calculation unit 133) increases the value of the feature amount corresponding to “joy”.
  • the system 1 may also control a feature quantity having an effect contrary to the feature quantity designated by the user in order to support an editing operation designated by the user. For example, when the user utters “speak more honest”, the system 1 may decrease the value of the feature amount corresponding to “anger”, “sorrow”, and “easy”.
  • the user may edit the voice feature information by feeding back the quality of the voice feature information.
  • the system 1 outputs voice data while changing the voice feature information at an appropriate granularity such as for each utterance, and the user feeds back “good” or “bad”. Then, the system 1 controls each feature amount so that it is close to the voice feature information fed back as “good” and far from the voice feature information fed back as “bad”.
  • the voice feature information may be automatically edited according to the user voice without being explicitly performed by the user.
  • the audio feature information used for generating the audio data may be feature information indicating a feature corresponding to the feature of the user voice. In this case, the user's operation load is further reduced because the user's favorite audio data is generated without editing the audio feature information.
  • the system 1 may generate voice data using the voice feature information indicating the feature of the user voice as it is.
  • the system 1 identifies or infers voice feature information (eg, context information and utterance style information) from the user voice using the discriminator 12 and the reasoner 14, and newly acquired text for the response Audio data is generated based on the information.
  • voice feature information eg, context information and utterance style information
  • the system 1 can respond to the user voice with the same stroke as the user's stroke or can respond to the user voice at the same speed as the user speaks.
  • the system 1 may control the voice feature information according to the user attribute or state.
  • the system 1 uses voice feature information corresponding to the user's “gender”, “age”, “who”, “feeling emotional”, “birthplace”, “race”, “degree of concentration in the system”, and the like. Audio data may be generated.
  • these attributes or states can be acquired from a user database prepared in advance or a result of image recognition or voice recognition. By such automatic editing, the system 1 can respond slowly to children, for example, and can respond to elderly people at a high volume.
  • a translation scene is an example of a scene where automatic editing is applied according to the user's voice.
  • the system 1 by applying automatic editing in accordance with the user voice, the system 1 generates voice data reflecting voice feature information similar to the user voice while translating text included in the user voice. It is possible. Therefore, it is possible to leave nuances such as voice prints and emotions included in the original voice in the translated voice. This makes it possible to meet the potential needs of users who want to listen to the translated speech of movies or speech in the original speaker's voice color or to feel the speaker's emotions etc. realistically only from the speech. It becomes.
  • FIG. 15 the processing by the processing apparatus 100 in the translation scene will be described in detail.
  • FIG. 15 is a view for explaining audio data generation processing in a translation scene according to the present embodiment.
  • the system 1 uses the discriminator 12, the reasoner 14, the generator 16, and the translator 42 to generate speech data translated from the speech data.
  • the system 1 (for example, the acquisition unit 141) acquires the speech data x to be translated by dividing it into appropriate sections.
  • the system 1 (for example, the arithmetic unit 133) inputs the speech data x to be translated into the discriminator 12, and estimates the text information y and the context information y.
  • the text information y and the context information y may be estimated by a person other than the discriminator 12 or by a voice recognizer or the like.
  • the system 1 inputs the speech data x, the text information y, and the context information y to the inference device 14 and estimates the speech style information z.
  • the system 1 inputs the text information y to the translator 42 and estimates the text information y ′ obtained by translating the text information y into a desired language. The translation may be performed by a person other than the translator 42.
  • the system 1 inputs the translated text information y ′ and the utterance style information z to the generator 16 to generate translated speech data x ′.
  • the system 1 may also input the context information y to the generator 16.
  • the processing apparatus 100 may remove the feature amount of speech from the audio feature information input to the generator 16.
  • the system 1 may generate music data that is played according to the score, using the score as the framework information.
  • the discriminator 12 has an automatic music recording function for identifying musical score information from music data.
  • the inference unit 14 infers music feature information indicating, for example, a player's characteristics, musical instrument characteristics, and acoustic characteristics of the performance venue from the music data and score information. Note that at least part of the music feature information may be identified by the identifier 12.
  • the generator 16 generates music data from the score information and the music feature information. Thereby, the system 1 can generate music data in which, for example, a score, a performer, a musical instrument, a performance hall, or the like is changed.
  • the music data recorded in a place with a poor acoustic state it is possible to improve the acoustic state of the music data by changing the music feature information to a place with a good acoustic state.
  • performance styles, song replacement, singer or lyrics replacement, and the like are possible.
  • the time series data x is sensor data obtained by sensing an animal body with a sensor.
  • Time series data x is sensor data obtained by sensing a moving object.
  • sensing objects such as humans, animals, cars, and insects.
  • the sensor for sensing may be an arbitrary sensor such as an acceleration sensor or a gyro sensor.
  • the sensor may be an image sensor, and the time series data x may be moving image data.
  • the labeled feature information y and the unlabeled feature information z are information indicating the characteristics of the motion of the sensing object.
  • the feature information is collectively referred to as operation feature information.
  • the motion feature information expresses features such as the motion type, motion magnitude, and frequency of the moving object.
  • Context information of the feature information y with label is information indicating, for example, the action type of the moving object.
  • the action type when the moving object is a human, for example, “standing”, “sitting”, “walking”, “running” and the like can be mentioned.
  • examples of the action type include “fly” and “call a friend” when the moving object is an insect.
  • information indicating such an operation type is also referred to as operation type information.
  • the framework information is information indicating the structure of the behavior of the moving object, for example.
  • the information indicating the composition of the behavior is information such as walking for 10 seconds and running for 10 seconds, for example.
  • the description of the framework information is omitted to simplify the description.
  • the unlabeled feature information z indicates features other than the labeled feature information y in the operation feature information.
  • the unlabeled feature information z is also referred to as operation style information.
  • Neural network configuration The configuration of the neural network according to the present embodiment will be described with reference to FIGS.
  • FIG. 16 is a diagram illustrating an example of the configuration of the identification net 11 according to the present embodiment. As shown in FIG. 16, the discriminator 12 identifies the operation type information from the sensor data.
  • FIG. 17 is a diagram illustrating an example of the configuration of the inference net 13 according to the present embodiment. As shown in FIG. 17, the inference unit 14 infers action style information from action type information and sensor data.
  • FIG. 18 is a diagram illustrating an example of the configuration of the generation net 15 according to the present embodiment. As shown in FIG. 18, the generator 16 generates sensor data from the action type information and the action style information.
  • the system 1 learns parameters of a neural network (that is, each of an inference unit, a discriminator, and a generator). For example, the system 1 learns to optimize a predetermined objective function. An example of the flow of processing related to this learning will be described with reference to FIG.
  • FIG. 19 is a flowchart illustrating an example of the flow of learning processing executed in the processing device 100 according to the present embodiment.
  • the learning unit 135 learns the parameters of the neural network so as to minimize the objective function L according to the following equation (step S404).
  • w is a parameter of the discriminator 12
  • u is a parameter of the inference unit 14
  • v is a parameter of the generator 16.
  • the objective function L may be in the form shown in the above mathematical formula (3).
  • storage part 120 memorize
  • the system 1 may learn the operation feature information. Learning in this case refers to identifying or inferring action type information or action style information corresponding to sensor data by the discriminator 12 or the inference unit 14 after the parameter learning.
  • the system 1 may store the learned operation feature information in association with the identification information. Thereby, the operation style information can be edited by selecting the identification information described later.
  • the user can edit the operation feature information.
  • the user edits the operation feature information via the terminal device 200.
  • the editing of the motion feature information can be performed in the same manner as the editing of the audio feature information described above.
  • the GUI will be described with reference to FIG. 20, and description of the other will be omitted.
  • FIG. 20 is a diagram illustrating an example of a user interface according to the present embodiment.
  • An operation feature information editing screen 50 shown in FIG. 20 is displayed by the terminal device 200, for example, and accepts an operation for editing operation feature information by a user.
  • the action feature information editing screen 50 includes an adjustment unit 51 for multidimensional feature quantities z 0 to z 49 that are action style information, and a multidimensional feature quantity adjustment unit 52 that is action type information. including. Labels such as “walking”, “running”, and “standing” are associated with the multi-dimensional feature quantity that is the action type information. The labels may be categorized as “walking”, “running” and “standing” into “human motion”.
  • the user can adjust each feature amount by moving up and down the knob 53 indicating the value of each feature amount.
  • the moving object may be a robot or a device having an actuator.
  • the system 1 may generate a control signal for operating the actuator included in the moving object as time series data x.
  • the system 1 (for example, the arithmetic unit 133) generates a control signal corresponding to the sensor data. If the correspondence between the control signal and sensor data obtained by sensing the device having the actuator that operates based on the control signal is known, the system 1 generates a control signal for causing the device to perform a desired operation. It becomes possible.
  • An example of the configuration of the generation net 15 for generating such a control signal will be described with reference to FIG.
  • FIG. 21 is a diagram illustrating an example of the configuration of the generation net 15 according to the present embodiment.
  • the control signal generator 62 is connected to the generator 16 in the generation net 15 according to the present embodiment.
  • the control signal generator 62 has a function of generating a corresponding control signal s from the sensor data x. Therefore, the generation net 15 can generate the control signal s for causing the device having the actuator to perform the operation having the characteristics indicated by the operation type information y and the operation style information.
  • the control signal generator 62 may be configured by a neural network, more specifically, a feedforward network. An example of the flow of parameter learning processing of the control signal generator 62 will be described with reference to FIG.
  • FIG. 22 is a flowchart illustrating an example of the flow of learning processing executed in the processing device 100 according to the present embodiment.
  • the learning unit 135 learns the parameters of the neural network so as to minimize the objective function L according to the following equation (step S504).
  • a is a parameter of the control signal generator 62.
  • the objective function L may be in the form shown in the above mathematical formula (3).
  • storage part 120 memorize
  • control signal generator 62 and other neural networks may be learned separately or may be learned together. May be.
  • the system 1 (for example, the arithmetic unit 133) uses the generator 16 and the control signal generator 62 to generate a control signal from the action type information and the action style information.
  • a user can generate a control signal for causing a device having an actuator to perform a desired operation by inputting desired operation type information and style information to the system 1.
  • the system 1 may generate a control signal using the generation net 15 shown in FIG. 21, or may generate a control signal by combining the generation net 15 with other components. An example of this will be described with reference to FIGS.
  • FIG. 23 is a diagram for explaining an example of a control signal generation process according to the present embodiment.
  • the system 1 may generate a control signal by combining the generation net 15 described with reference to FIG. 21 with the inference net 13 described with reference to FIG.
  • the inference unit 14 infers the motion style information of the sensing target moving object and inputs it to the generator 16.
  • the generator 16 generates sensor data
  • the control signal generator 62 generates a control signal.
  • the moving object to be sensed may not be a device having an actuator, for example, a person.
  • the system 1 can cause, for example, a humanoid robot to perform an operation similar to that of a person based on sensor data obtained by sensing a person.
  • FIG. 24 is a diagram for explaining an example of a control signal generation process according to the present embodiment.
  • the system 1 may generate a control signal by combining the operation net information selector 64 with the generation net 15 described with reference to FIG.
  • the action style information selector 64 has a function of outputting action style information corresponding to the identification information selected by the user, for example. The association between the identification information and the action style information is performed by the learning described above.
  • FIG. 25 is a diagram for explaining an example of a control signal generation process according to the present embodiment.
  • the system 1 combines the generated net 15 described with reference to FIG. 21 with the identification net 11 described with reference to FIG. 16 and the inference net 13 described with reference to FIG. A control signal may be generated.
  • the operation type information y output from the discriminator 12 is input to the inference device 14 and the input is only the sensor data x accordingly. Thereby, a user's operation load is reduced.
  • the time-series data x is generated from the feature information y with label and the feature information z without label.
  • the time series data x, the labeled feature information y, and the unlabeled feature information z are not limited to the above-described example, and can be considered in various ways.
  • the feature information y with label may be a score
  • the feature information z without label may be a performance feature and a singing feature
  • the time series data x may be song data.
  • the system 1 learns performance characteristics and singing characteristics from a data set including a plurality of combinations of music score and singing data including lyrics of a certain artist, and different artists as if the artist sang. Singing data corresponding to the score can be generated.
  • the labeled feature information y may be a novel plot
  • the unlabeled feature information z may be a writer feature (for example, style)
  • the time-series data x may be a novel.
  • the system 1 learns the writer's characteristics from a data set including a plurality of combinations of plots and novels of a certain writer, and generates a novel corresponding to the newly input plot as if the writer wrote. It becomes possible to do.
  • the feature information with label y may be text information in a first language
  • the feature information without label z may be a language feature
  • the time series data x may be second text information.
  • the system 1 learns language features using a bilingual corpus (that is, a data set) including Japanese text and English text, and converts newly input Japanese text into English text. It becomes possible to output.
  • the labeled feature information y may be a picture plot
  • the unlabeled feature information z may be a painter feature
  • the time-series data x may be a drawing order.
  • the system 1 learns the painter characteristics from a data set including a plurality of combinations of a plot of a picture such as “Many sunflowers are under the blue sky” and a drawing order of pictures drawn based on the plot. It is possible to generate a drawing order for the newly input picture plot.
  • FIG. 26 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 26 can realize, for example, the processing apparatus 100 or the terminal apparatus 200 illustrated in FIGS. 2 and 3, respectively.
  • Information processing by the processing device 100 or the terminal device 200 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the control unit 130 shown in FIG. 2 or the control unit 250 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can be formed by a device that detects information about the user.
  • the input device 906 includes various sensors such as an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, and a force sensor. Can be included.
  • the input device 906 includes information related to the information processing device 900 state, such as the posture and movement speed of the information processing device 900, and information related to the surrounding environment of the information processing device 900, such as brightness and noise around the information processing device 900. May be obtained.
  • the input device 906 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and receives position information including the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • a GNSS module to measure may be included.
  • the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone, or the like, or near field communication.
  • Wi-Fi registered trademark
  • the input device 906 can form, for example, the input unit 210 shown in FIG.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly.
  • Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device or the audio output device can form, for example, the output unit 220 shown in FIG.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 120 shown in FIG. 2 or the storage unit 240 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the communication unit 110 illustrated in FIG. 2 or the communication unit 230 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the system 1 uses the first feature information with meaning (that is, feature information with label) and the second feature information with no meaning (that is, feature information without label).
  • the time series data having the features indicated by the feature information with label and the feature information without label is generated. This makes it possible to appropriately characterize the data. More specifically, the user can easily generate time-series data having a desired feature by selecting or editing feature information with a label and feature information without a label according to a desired feature. Is possible.
  • the processing device 100 and the terminal device 200 are described as separate devices, but the present technology is not limited to such an example.
  • the processing device 100 and the terminal device 200 may be realized as one device.
  • An acquisition unit that acquires first feature information that is given meaning and second feature information that is not given meaning;
  • a generating unit that generates time-series data having the characteristics indicated by the first feature information and the second feature information acquired by the acquiring unit;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the first feature information includes information indicating a context of the time-series data.
  • the information indicating the framework is text information
  • the information processing apparatus according to (3), wherein the time-series data is voice data obtained by reading the text information.
  • the information processing apparatus includes information regarding the speaker itself.
  • the information processing apparatus includes information regarding an environment in which a speaker speaks.
  • the information processing apparatus includes information related to a topic spoken by a speaker.
  • the information indicating the framework is music score information, The information processing apparatus according to (3), wherein the time-series data is music data played according to the score information.
  • the information indicating the context is information indicating an operation type, The information processing apparatus according to (2) or (3), wherein the time-series data is sensor data obtained by sensing a moving object.
  • the information indicating the context is information indicating an operation type
  • the information processing apparatus according to (2) or (3), wherein the time-series data is a control signal for operating an actuator included in a moving object.
  • the acquisition unit acquires identification information corresponding to the first feature information and the second feature information
  • the information processing apparatus according to any one of (1) to (12), wherein the generation unit generates time-series data having characteristics corresponding to the identification information.
  • the information processing apparatus according to any one of (1) to (13), wherein the generation unit generates the time-series data using a neural network.
  • the information processing apparatus according to (14), further including a learning unit that learns parameters of the neural network.
  • the information processing apparatus according to any one of (1) to (15), further including an identification unit that identifies the first feature information from the time-series data.
  • the information processing apparatus further includes an inference unit that infers the second feature information from the time series data and the first feature information. Processing equipment.
  • a notifying unit for notifying other devices of the first feature information with meaning and the second feature information without meaning An acquisition unit that acquires time-series data having the characteristics indicated by the first feature information and the second feature information from the other device;
  • An information processing apparatus comprising: (19) Obtaining meaningful first feature information and non-meaning second feature information; Generating time-series data having the characteristics indicated by the acquired first characteristic information and the second characteristic information by a processor;
  • An information processing method including: (20) Notifying other devices of the first feature information that is given meaning and the second feature information that is not given meaning; Obtaining time-series data having the features indicated by the first feature information and the second feature information from the other device by a processor;
  • An information processing method including:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Machine Translation (AREA)

Abstract

【課題】データの特徴付けを適切に行うことが可能な仕組みが提供する。 【解決手段】意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得する取得部と、前記取得部により取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを生成する生成部と、を備える情報処理装置。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　近年、データを画一的に表現するのではなく、何らかの特徴を付けて表現する技術が注目されている。例えば、下記特許文献１では、テキストから音声データを生成する際に自然な発話音声を表現するために、イントネーションの特徴等を示す統計的表現を用いた学習を行う技術が開示されている。
特表平８－５０８１２７号公報
　しかし、データの特徴付けを適切に行うことは困難であった。一例として音声に関して言えば、個人の声紋、イントネーション、アクセント、訛り、間の取り方、会話前後のコンテキスト、又は今の話者の状態（特に喜怒哀楽の感情の状態）等を、数値等の特徴量として操作可能に設計することは困難であった。そのため、データの特徴付けを適切に行うことが可能な仕組みが提供されることが望ましい。
　本開示によれば、意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得する取得部と、前記取得部により取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを生成する生成部と、を備える情報処理装置が提供される。
　また、本開示によれば、意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知する通知部と、前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置から取得する取得部と、を備える情報処理装置が提供される。
　また、本開示によれば、意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得することと、取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データをプロセッサにより生成することと、を含む情報処理方法が提供される。
　また、本開示によれば、意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知することと、前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置からプロセッサにより取得することと、を含む情報処理方法が提供される。
　以上説明したように本開示によれば、データの特徴付けを適切に行うことが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。 本実施形態に係る処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る端末装置の論理的な構成の一例を示すブロック図である。 本実施形態に係るオートエンコーダの概要を説明するための図である。 本実施形態に係る処理装置において実行される学習処理の流れの一例を示すフローチャートである。 本実施形態に係るシステムにおいて実行されるインタラクション処理の流れの一例を示すシーケンス図である。 本実施形態に係るシステムにおいて実行されるインタラクション処理の流れの一例を示すシーケンス図である。 第１の実施形態に係る識別ネットの構成の一例を示す図である。 同実施形態に係る推論ネットの構成の一例を示す図である。 同実施形態に係る生成ネットの構成の一例を示す図である。 同実施形態に係る推論処理の一例を説明するための図である。 同実施形態に係るユーザインタフェースの一例を示す図である。 同実施形態に係る音声特徴情報ＤＢの一例を示す図である。 同実施形態に係るユーザインタフェースの一例を示す図である。 同実施形態に係る翻訳場面における音声データ生成処理を説明するための図である。 第２の実施形態に係る識別ネットの構成の一例を示す図である。 同実施形態に係る推論ネットの構成の一例を示す図である。 同実施形態に係る生成ネットの構成の一例を示す図である。 同実施形態に係る処理装置において実行される学習処理の流れの一例を示すフローチャートである。 同実施形態に係るユーザインタフェースの一例を示す図である。 同実施形態に係る生成ネット１５の構成の一例を示す図である。 同実施形態に係る処理装置において実行される学習処理の流れの一例を示すフローチャートである。 同実施形態に係る制御信号生成処理の一例を説明するための図である。 同実施形態に係る制御信号生成処理の一例を説明するための図である。 同実施形態に係る制御信号生成処理の一例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　　１．１．オートエンコーダの概要
　　　１．２．オートエンコーダの詳細
　　　１．３．ＶＡＥの詳細
　　２．構成例
　　　２．１．システムの構成例
　　　２．２．処理装置の構成例
　　　２．３．端末装置の構成例
　　３．基本的な技術的特徴
　　４．第１の実施形態
　　　４．１．各種データ
　　　４．２．ニューラルネットの構成
　　　４．３．学習
　　　４．４．音声データの生成
　　　４．５．補足
　　５．第２の実施形態
　　　５．１．各種データ
　　　５．２．ニューラルネットの構成
　　　５．３．学習
　　　５．４．センサデータの生成
　　　５．５．制御信号の生成
　　６．補足
　　７．ハードウェア構成例
　　８．まとめ
　＜＜１．はじめに＞＞
　　＜１．１．オートエンコーダの概要＞
　オートエンコーダ（Auto-Encoder）とは、自己符号化器とも称される、ニューラルネットの技術である。本明細書では、オートエンコーダの一例として、変分オートエンコーダ（ＶＡＥ：Variational　Auto-Encoder）を用いた技術を説明する。もちろん、変分オートエンコーダ以外の、例えば生成アドバーサリアルネットワーク（ＧＡＮ：Generative　Adversarial　Network）が用いられてもよい。
　なお、オートエンコーダは、「岡谷貴之、“深層学習”、講談社、２０１５年４月８日」に詳しく記載されている。また、ＶＡＥは、「Kingma,　Diederik　P.,　and　Max　Welling.　"Auto-encoding　variational　bayes."　arXiv　preprint　arXiv:1312.6114　(2013).」、及び「Kingma,　Diederik　P.,　et　al.　"Semi-supervised　learning　with　deep　generative　models."　Advances　in　Neural　Information　Processing　Systems.　2014.」に詳しく記載されている。また、ＧＡＮは、「Goodfellow,　Ian,　et　al.　"Generative　adversarial　nets."　Advances　in　Neural　Information　Processing　Systems.　2014.」に詳しく記載されている。
　また、ＶＡＥの時系列拡張版として、再帰ニューラルネット（ＲＮＮ：Recurrent　Neural　Network）と結合したオートエンコーダが用いられてもよい。ＲＮＮについては、「岡谷貴之、“深層学習”、講談社、２０１５年４月８日」に詳しく記載されている。また、ＲＮＮとＶＡＥとが結合したオートエンコーダに関しては、「Fabius,　Otto,　and　Joost　R.　van　Amersfoort.　"Variational　recurrent　auto-encoders."　arXiv　preprint　arXiv:1412.6581　(2014).」、「Bayer,　Justin,　and　Christian　Osendorfer.　"Learning　stochastic　recurrent　networks."　arXiv　preprint　arXiv:1411.7610　(2014).」、及び「Chung,　Junyoung,　et　al.　"A　recurrent　latent　variable　model　for　sequential　data."　Advances　in　neural　information　processing　systems.　2015.」に詳しく記載されている。
　　＜１．２．オートエンコーダの詳細＞
　オートエンコーダは、ニューラルネットで構成される関数である。オートエンコーダでは、まず、次式のように、データｘは、ニューラルネットで規定された第１の射影関数に入力されて、一旦、中間変数ｚに変換される。
Figure JPOXMLDOC01-appb-M000001
　ただし、φは、第１のニューラルネットのすべての重みパラメータ（バイアスも含む）である。
　そして、次式のように、この中間変数ｚは、ニューラルネットで規定された第２の射影関数に入力されて、再構成データｘ’が出力される。
Figure JPOXMLDOC01-appb-M000002
　ただし、θは、第２のニューラルネットのすべての重みパラメータ（バイアスも含む）である。
　ここで、第１の射影関数はエンコーダとも称され、第２の射影関数はデコーダとも称され得る。なお、エンコーダは、後述する推論ネットに相当し、デコーダは、後述する生成ネットに相当する。
　オートエンコーダでは、再構成データｘ’が、データｘに近くなるように、第１の射影関数と第２の射影関数とが学習される。学習のための目的関数は、学習データセットをＸ＝｛ｘｎ｝とすると例えば次式で表現される。
Figure JPOXMLDOC01-appb-M000003
　例えば、上記数式（３）に示した目的関数Ｌを最小化するφ及びθが学習される。例えば、勾配法などは、目的関数Ｌをφ及びθの各々で微分することで得られた勾配に従って、Ｌが小さくなるようφ及びθを更新することで、学習が行われる。
　学習の際にはエンコーダとデコーダとが組み合わされて使用される一方、学習以外の場面ではエンコーダとデコーダとが別々に使用されてもよい。エンコーダがデータｘから変数ｚを計算する過程は推論とも称され得る。変数ｚは特徴量とも称され得る。また、デコーダが変数ｚから再構成データｘ’を計算する過程は生成とも称され得る。
　　＜１．３．ＶＡＥの詳細＞
　ＶＡＥは、オートエンコーダに確率の概念をもちこんだモデルである。
　ＶＡＥでは、データｘ及び変数ｚが確率変数として扱われる。つまり、第１及び第２の射影関数が、決定論的ではなく、確率分布ｐ（ｚ│ｘ）、ｐ（ｘ│ｚ）からのサンプリングを含む確率的な射影となる。なお、事後確率ｐ（ｚ│ｘ）としては、変分法で近似された確率分布ｑ（ｚ│ｘ）が用いられる。さらに、これらの確率分布は、ガウス分布、ベルヌーイ分布、又は多項分布のような限られた個数のパラメータで決まる分布で近似される。このようにパラメタライズされた確率分布が用いられる場合、上記確率分布は次式のように表される。
Figure JPOXMLDOC01-appb-M000004
　ここで、φ（ｘ）、θ（ｚ）は、入力（ｘ，ｚ）に対して、確率分布のパラメータφ及びθの各々が出力となる射影関数である
　数式（１）及び数式（２）の変数を確率変数と考えて確率過程も含むものとすれば、ＶＡＥの数式も数式（１）及び数式（２）で表現可能である。なお、ＶＡＥでは、数式（３）に示した目的関数Ｌを最小化する方法とは異なり、モデルエビデンス（尤度のようなもの）を最大化することで学習が行われる。実際には、モデルエビデンスの下界を最大化するパラメータが求められる。詳しい数式については、上記文献に詳しく記載されているので説明を省略する。
　＜＜２．構成例＞＞
　　＜２．１．システムの構成例＞
　図１は、本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。図１に示すように、システム１は、処理装置１００及び端末装置２００を含む。
　処理装置１００及び端末装置２００は、ネットワーク３００により接続される。ネットワーク３００は、ネットワーク３００により接続されている装置から送信される情報の有線又は無線の伝送路である。ネットワーク３００は、例えばセルラーネットワーク、有線ＬＡＮ（Local　Area　Network）、又は無線ＬＡＮ等を含み得る。
　処理装置１００は、各種処理を行う情報処理装置である。端末装置２００は、ユーザとのインタフェースとして機能する情報処理装置である。典型的には、システム１は、処理装置１００及び端末装置２００の協働により、ユーザとのインタラクションを行う。
　続いて、図２及び図３を参照して、各装置の構成例を説明する。
　　＜２．２．処理装置の構成例＞
　図２は、本実施形態に係る処理装置１００の論理的な構成の一例を示すブロック図である。図２に示すように、処理装置１００は、通信部１１０、記憶部１２０及び制御部１３０を含む。
　（１）通信部１１０
　通信部１１０は、情報を送受信する機能を有する。例えば、通信部１１０は、端末装置２００からの情報を受信し、端末装置２００への情報を送信する。
　（２）記憶部１２０
　記憶部１２０は、処理装置１００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
　（３）制御部１３０
　制御部１３０は、処理装置１００の様々な機能を提供する。制御部１３０は、取得部１３１、演算部１３３、学習部１３５及び通知部１３７を含む。なお、制御部１３０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１３０は、これらの構成要素の動作以外の動作も行い得る。
　各構成要素の動作を簡易に説明する。取得部１３１は、情報を取得する。演算部１３３は、後述するオートエンコーダを用いて各種演算を行う。学習部１３５は、後述するオートエンコーダに関する学習を行う。通知部１３７は、演算部１３３による演算結果を示す情報を端末装置２００に通知する。その他の詳細な動作は、後に詳しく説明する。
　　＜２．３．端末装置の構成例＞
　図３は、本実施形態に係る端末装置２００の論理的な構成の一例を示すブロック図である。図３に示すように、端末装置２００は、入力部２１０、出力部２２０、通信部２３０、記憶部２４０及び制御部２５０を含む。
　（１）入力部２１０
　入力部２１０は、情報の入力を受け付ける機能を有する。例えば、入力部２１０は、ユーザからの情報の入力を受け付ける。入力部２１０は、例えばキーボード又はタッチパネル等による文字入力を受け付けてもよいし、音声入力を受け付けてもよいし、ジェスチャ入力を受け付けてもよい。その他、入力部２１０は、フラッシュメモリ等の記憶媒体からのデータ入力を受け付けてもよい。
　（２）出力部２２０
　出力部２２０は、情報の出力を行う機能を有する。例えば、出力部２２０は、画像、音声、振動、又は発光等により情報を出力する。
　（３）通信部２３０
　通信部２３０は、情報を送受信する機能を有する。例えば、通信部２３０は、処理装置１００からの情報を受信し、処理装置１００への情報を送信する。
　（４）記憶部２４０
　記憶部２４０は、端末装置２００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
　（５）制御部２５０
　制御部２５０は、端末装置２００の様々な機能を提供する。制御部２５０は、通知部２５１及び取得部２５３を含む。なお、制御部２５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部２５０は、これらの構成要素の動作以外の動作も行い得る。
　各構成要素の動作を簡易に説明する。通知部２５１は、入力部２１０に入力されたユーザ入力を示す情報を処理装置１００に通知する。取得部２５３は、処理装置１００による演算結果を示す情報を取得して、出力部２２０により出力させる。その他の詳細な動作は、後に詳しく説明する。
　＜＜３．基本的な技術的特徴＞＞
　続いて、本実施形態に係るシステム１の基本的な技術的特徴を説明する。
　（１）オートエンコーダ
　オートエンコーダにおける中間変数ｚは、データｘを表現するための特徴量とも捉えられる。中間変数ｚを特徴量と捉える方式は、データｘを表現する特徴量が設計困難な場合に有効である。設計困難とは、例えば、データとして取得することが困難である、数値化することが困難である、複数の概念が融合され且つその組み合わせ方が不明な概念である、又はそもそも概念として表現し切れない等を指す。このような場合、特徴量をニューラルネットにより表現して、特徴量の取り扱いをニューラルネットに任せてしまうことが望ましい。
　一方で、データｘを表現するための情報として、設計容易な特徴量も考えられる。設計容易とは、例えば概念として容易に表現でき且つ当該概念に対応する特徴量の数値化も容易であることを指す。設計容易な特徴量は、対応する概念（以下、ラベルとも称する）が有る特徴量であるから、以下ではラベル有り特徴情報（意味付けされた第１の特徴情報に相当）とも称する。一方で、中間変数ｚにより表現される設計困難な特徴量は、対応するラベルが無い特徴量であるから、以下ではラベル無し特徴情報（意味付けされない第２の特徴情報に相当）とも称する。
　ラベル有り特徴情報は、ラベル無し特徴情報とは別に、ニューラルネットに入力されてもよい。この場合、生成ネットを示す数式（２）は、次式のように変更される。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｙはラベル有り特徴情報であり、ｚはラベル無し特徴情報である。
　同様に、推論ネットを示す数式（１）は、次式のように変更される。
Figure JPOXMLDOC01-appb-M000006
　さらに、データｘから、ラベル有り特徴情報ｙを推定するモデルも考えられる。これを識別ネットとすると、識別ネットは、以下の関数で表現される。
Figure JPOXMLDOC01-appb-M000007
　以上説明した、識別ネット、推論ネット、及び生成ネットを組み合わせたオートエンコーダを、図４に示した。
　図４は、本実施形態に係るオートエンコーダの概要を説明するための図である。図４に示すように、オートエンコーダ１０は、識別ネット１１、推論ネット１３、及び生成ネット１５を含む。
　識別ネット１１は、データｘからラベル有り特徴情報ｙを識別する識別部である、上記数式（７）に示した関数ｈφ（・）に対応する識別器１２を含む。
　推論ネット１３は、データｘ及びラベル有り特徴情報ｙからラベル無し特徴情報ｚを推論する推論部である、上記数式（６）に示した関数ｆφ（・）に対応する推論器１４を含む。推論ネット１３は、データｘから、ラベル有り特徴情報ｙを除去して、ラベル無し特徴情報ｚを抽出する、とも捉えることができる。
　生成ネット１５は、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚから、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚが示す特徴を有するデータｘを生成する生成部である、上記数式（５）に示した関数ｇθ（・）に対応する生成器１６を含む。例えば、ラベル有り特徴情報ｙは１０次元の特徴量であり、ラベル無し特徴情報ｚは５０次元の特徴量であり得る。この場合、各々の特徴量が直列的に連結された、６０次元の特徴量が生成器１６へ入力されることとなる。
　（２）各種情報
　　・データｘ
　データｘは、時系列データである。
　　・ラベル有り特徴情報ｙ
　ラベル有り特徴情報ｙは、時系列データｘの特徴を示す多次元の特徴量である。
　例えば、ラベル有り特徴情報ｙは、時系列データｘの枠組みを示す情報を含み得る。枠組みを示す情報とは、対象の時系列データｘの基礎的な構造を示す情報である。枠組みを示す情報を、以下では枠組み情報とも称する。
　また、ラベル有り特徴情報ｙは、概念として容易に表現できる特徴として、時系列データｘのコンテキストを示す情報を含み得る。コンテキスト情報とは、対象の時系列データｘが発生する状況を示す情報である。コンテキストを示す情報を、以下ではコンテキスト情報とも称する。
　　・ラベル無し特徴情報ｚ
　ラベル無し特徴情報ｚは、時系列データｘの特徴を示す多次元の特徴量である。
　（３）学習
　システム１（例えば、学習部１４５）は、ニューラルネット（即ち、推論器、識別器、及び生成器の各々）のパラメータを学習する。例えば、システム１は、所定の目的関数を最適化するように学習する。
　ここで、学習データセットＸは、Ｘｌ＝｛ｘｎ，ｙｎ｝のように、時系列データｘにラベル有り特徴情報ｙが対応付けられていてもよいし、Ｘｕ＝｛ｘｎ｝のようにラベル有り特徴情報ｙが対応付けられていなくてもよい。後者の場合、システム１は、識別ネット１１によりラベル有り特徴情報ｙを推定して、時系列データｘに対応付けてもよい。その他、ラベル有り特徴情報ｙと時系列データｘとの対応付けは、ユーザにより行われてもよい。
　他にも、システム１は、ラベル無し特徴情報ｚを学習してもよい。この場合の学習とは、上記パラメータ学習後の推論ネット１３により、時系列データｘに対応するラベル無し特徴情報ｚを推論することを指す。ラベル有り特徴情報ｙに関しても同様である。
　学習結果は、例えば記憶部１２０に記憶され得る。
　（４）時系列データの生成
　システム１（例えば、演算部１３３）は、上記学習後のニューラルネットを用いて、時系列データｘを生成する。詳しくは、システム１は、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚを生成器１６に入力することで、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚが示す特徴を有する時系列データｘを生成する。これにより、システム１は、設計困難な特徴量及び設計容易な特徴量の双方を反映した時系列データｘを生成することが可能となる。
　システム１（例えば、取得部１３１）は、生成に用いられるラベル有り特徴情報ｙ及びラベル無し特徴情報ｚを取得してもよい。取得元は、他の装置（例えば、端末装置２００）、又は記憶部１２０等、多様に考えられる。また、生成に用いられるラベル有り特徴情報ｙは、識別器１２から出力されたものであってもよいし、生成に用いられるラベル無し特徴情報ｚは、推論器１４から出力されたものであってもよい。
　（５）処理の流れ
　続いて、図５～図７を参照して、システム１により実行される各種処理の流れの一例を説明する。
　図５は、本実施形態に係る処理装置１００において実行される学習処理の流れの一例を示すフローチャートである。図５に示すように、まず、取得部１３１は、学習データセットを取得する（ステップＳ１０２）。次いで、学習部１３５は、識別器１２により、学習データセットに含まれる時系列データからラベル有り特徴情報ｙを識別する（ステップＳ１０４）。次に、学習部１３５は、推論器１４により、学習データセットに含まれる時系列データ、及び学習データセットに含まれる又は識別器１２により識別されたラベル有り特徴情報ｙからラベル無し特徴情報ｚを推論する（ステップＳ１０６）。次いで、学習部１３５は、生成器１６により、学習データセットに含まれる又は識別器１２により識別されたラベル有り特徴情報ｙ、及び推論されたラベル無し特徴情報ｚから時系列データｘを生成する（ステップＳ１０８）。次に、学習部１３５は、学習を終了するか否かを判定する（ステップＳ１１０）。例えば、学習部１３５は、学習データセットに含まれる時系列データｘと、生成された時系列データｘとの差異が所定の閾値以下である場合に終了すると判定し、超える場合は終了しないと判定する。ラベル有り特徴情報ｙに関しても同様である。終了しないと判定された場合、学習部１３５は、ニューラルネット（識別器１２、推論器１４及び／又は生成器１６）のパラメータ（例えば、重みパラメータ及びバイアス）を更新する（ステップＳ１１２）。その後、処理は再度ステップＳ１０４に戻る。終了すると判定された場合、記憶部１２０は、学習結果を示す情報を記憶する（ステップＳ１１４）。
　図６は、本実施形態に係るシステム１において実行されるインタラクション処理の流れの一例を示すシーケンス図である。本シーケンスには、処理装置１００及び端末装置２００が関与する。図６に示すように、端末装置２００（例えば、入力部２１０）は、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚのユーザ入力を受け付ける（ステップＳ２０２）。次いで、端末装置２００（例えば、通知部２５１）は、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚを処理装置１００へ通知し、処理装置１００（例えば、取得部１３１）が取得する（ステップＳ２０４）。次に、処理装置１００（例えば、演算部１３３）は、通知されたラベル有り特徴情報ｙ及びラベル無し特徴情報ｚを用いて時系列データｘを生成する（ステップＳ２０６）。次いで、処理装置１００（例えば、通知部１３７）は、生成した時系列データｘを端末装置２００へ通知し、端末装置２００（例えば取得部２５３）が取得する（ステップＳ２０８）。そして、端末装置２００（例えば、出力部２２０）は、取得した時系列データｘを出力する（ステップＳ２１０）。
　図７は、本実施形態に係るシステム１において実行されるインタラクション処理の流れの一例を示すシーケンス図である。本シーケンスには、処理装置１００及び端末装置２００が関与する。図７に示すように、端末装置２００（例えば、入力部２１０）は、時系列データｘのユーザ入力を受け付ける（ステップＳ３０２）。次いで、端末装置２００（例えば、通知部２５１）は、時系列データｘを処理装置１００へ通知し、処理装置１００（例えば、取得部１３１）が取得する（ステップＳ３０４）。次に、処理装置１００（例えば、演算部１３３）は、時系列データｘからラベル有り特徴情報ｙを識別し、ラベル無し特徴情報ｚを推論する（ステップＳ３０６）。次いで、処理装置１００（例えば、演算部１３３）は、例えばユーザ入力への応答のためにラベル有り特徴情報ｙを変更して（ステップＳ３０８）、ラベル無し特徴情報ｚ及び変更後のラベル有り特徴情報ｙを用いて時系列データｘを生成する（ステップＳ３１０）。次に、処理装置１００（例えば、通知部１３７）は、生成した時系列データｘを端末装置２００へ通知し、端末装置２００（例えば取得部２５３）が取得する（ステップＳ３１２）。そして、端末装置２００（例えば、出力部２２０）は、取得した時系列データｘを出力する（ステップＳ３１４）。
　以上、本実施形態に係る処理装置１００の基本的な技術的特徴を説明した。続いて、処理装置１００の多様な実施形態を具体的に説明する。
　＜＜４．第１の実施形態＞＞
　本実施形態は、時系列データｘが話声を含む音声データである形態である。
　　＜４．１．各種データ＞
　　・時系列データｘ
　時系列データｘは、テキスト情報を読み上げた音声データである。
　　・ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚ
　ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚは、音声データｘの特徴を示す情報である。これらの特徴情報をまとめて、音声特徴情報とも称する。例えば、音声特徴情報は、声紋に代表される発話者の個性に関する特徴、訛り又はイントネーション等の発話者のバックグランドに関する特徴、及び感情等の特徴を表現する。
　ラベル有り特徴情報ｙのうちコンテキスト情報は、話者のコンテキストを示す情報を含み得る。コンテキスト情報は、例えば個人を識別するラベル、世代（例えば、子供、大人）、男女、訛り（例えば、話者の出身地域）、状態（例えば、喜怒哀楽等の感情）、職業（例えば、アナウンサー、スチュワーデス、エレベータ案内係等）等の話者自身に関する情報であってもよい。また、コンテキスト情報は、例えば話し相手（例えば、話者の子供、夫等）、話している地域又は場所（例えば、職場、学校、自宅等）等の話者が話す環境に関する情報であってもよい。また、コンテキスト情報は、話の前後のコンテキスト、トピック（例えば、世間話、深刻な相談等）等の、話者が話す話題に関する情報であってもよい。
　また、ラベル有り特徴情報ｙのうち枠組み情報は、例えばスピーチの原稿又は映画のセリフ等のテキスト情報である。この場合、枠組み情報は、例えばアルファベット２６文字に対応する２６次元の情報となり得る。
　ラベル無し特徴情報ｚは、音声特徴情報のうち、ラベル有り特徴情報ｙ以外の特徴を示す。本実施形態では、ラベル無し特徴情報ｚを発話スタイル情報とも称する
　　＜４．２．ニューラルネットの構成＞
　本実施形態に係るニューラルネットの構成を、図８～図１０を参照して説明する。
　図８は、本実施形態に係る識別ネット１１の構成の一例を示す図である。図８に示すように、識別器１２は、音声データからテキスト情報及びコンテキスト情報を識別する。
　図９は、本実施形態に係る推論ネット１３の構成の一例を示す図である。図９に示すように、推論器１４は、テキスト情報、コンテキスト情報及び音声データから発話スタイル情報を推論する。
　図１０は、本実施形態に係る生成ネット１５の構成の一例を示す図である。図９に示すように、生成器１６は、テキスト情報、コンテキスト情報及び発話スタイル情報から音声データを生成する。
　　＜４．３．学習＞
　システム１（例えば、学習部１４５）は、ニューラルネット（即ち、推論器、識別器、及び生成器の各々）のパラメータを学習する。例えば、システム１は、所定の目的関数を最適化するように学習する。
　また、システム１は、音声特徴情報を学習してもよい。この場合の学習とは、上記パラメータ学習後の推論器１４により、音声データに対応する発話スタイル情報を推論することを指す。他にも、図１１に示すように、システム１は、識別ネット１１と生成ネット１５とを連結して発話スタイル情報を推論することで、学習を行ってもよい。なお、図１１は、本実施形態に係る推論処理の一例を説明するための図である。ここで注目すべきは、識別器１２から出力されたテキスト情報及びコンテキスト情報が推論器１４に入力される点と、それに伴い入力が音声データのみである点である。これにより、ユーザの操作負荷が軽減される。システム１は、学習した音声特徴情報を識別情報と対応付けて記憶してもよい。これにより、後述する話者の選択による音声特徴情報の編集が可能となる。
　　＜４．４．音声データの生成＞
　（１）ＴＴＳ
　システム１（例えば、演算部１３３）は、テキスト情報から音声データを生成する。テキスト情報から音声データの生成には、例えば、テキストＴｏスピーチ（ＴＴＳ：Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）変換技術が用いられる。ＴＴＳは、テキストから音声データを自動的に生成する技術であり、声優等に発話させて録音する場合と比較して安価に音声データを生成可能である。一般的なＴＴＳエンジンでは、機械的な音声が生成されるのみであって、例えば訛りが反映された音声は生成されない。そこで、システム１は、テキスト情報に加えて音声特徴情報を入力する生成器１６をＴＴＳエンジンに代えて用いることで、例えば訛りが反映された音声データを生成する。
　ユーザは、音声データ化を所望するテキスト情報、及び所望する音声特徴情報をシステム１に入力することで、所望する特徴を有する音声でテキスト情報が読み上げられた音声データを生成させることが可能となる。
　（２）音声特徴情報の編集
　ユーザは、音声特徴情報を編集可能である。例えば、ユーザは、端末装置２００を介して音声特徴情報を編集する。音声特徴情報の編集は、関数又はコマンドラインインタフェースにより行われてもよいし、グラフィカルインタフェース等により行われてもよい。一例として、グラフィカルインタフェースの例を図１２に示す。
　　－ＧＵＩ
　図１２は、本実施形態に係るユーザインタフェースの一例を示す図である。図１２に示す音声特徴情報編集画面２０は、例えば端末装置２００により表示され、ユーザによる音声特徴情報の編集操作を受け付ける。図１２に示すように、音声特徴情報編集画面２０は、発話スタイル情報である多次元の特徴量ｚ０～ｚ４９の調節部２１、及びコンテキスト情報である多次元の特徴量の調節部２２を含む。コンテキスト情報である多次元の特徴量には、それぞれ「喜」「怒」及び「哀」、並びに「地域Ａ」「地域Ｂ」及び「地域Ｃ」といったラベルが対応付けられる。ラベルは、「喜」「怒」及び「哀」が「感情」に、「地域Ａ」「地域Ｂ」及び「地域Ｃ」が「訛り」に、それぞれカテゴリ分けされてもよい。ユーザは、各々の特徴量の値を示すつまみ２３を上下させることで、各々の特徴量を調節可能である。
　図１２に示すように、ユーザは、調節部２２を操作することで、感情又は訛りといった概念に対応する特徴量を、所望する特徴を有する音声データが生成されるよう意図的に調節することが可能である。また、ユーザは、調節部２１を操作することで、所望する特徴を有する音声データが生成されるよう試行錯誤することが可能となる。このようにして、ユーザは、テキスト情報以外の音声データの特徴を簡単に制御することが可能である。別の観点から言えば、ユーザは、有限個の音声特徴情報という圧縮された情報で音声データの特徴を制御することが可能となるので、操作負荷が軽減される。
　上記説明したＧＵＩによる編集は、細やかな編集が可能である。そのため、ＧＵＩによる編集は、プロフェッショナルなユーザによる音声コンテンツの作成に有用である。適用場面の一例として、例えばアニメーション又はＣＧ（Computer　Graphics）作成過程における、シーン及びセリフの作成、並びに動画コンテンツの作成後の、音声コンテンツの作成が挙げられる。
　　－話者の選択
　音声特徴情報の編集操作は、ユーザによる話者の選択により行われてもよい。この場合、ユーザの操作負荷がさらに軽減される。
　例えば、システム１（例えば、記憶部１２０）は、予め話者の識別情報と音声特徴情報との組み合わせを、音声特徴情報ＤＢとして記憶しておく。図１３は、本実施形態に係る音声特徴情報ＤＢの一例を示す図である。図１３に示すように、システム１は、各々の話者の識別情報と、音声特徴情報とを対応付けて記憶する。なお、話者の識別情報は、音声特徴情報の識別情報とも捉えられる。
　図１４は、本実施形態に係るユーザインタフェースの一例を示す図である。図１４に示す話者選択画面３０は、例えば端末装置２００により表示され、ユーザによる話者の選択操作を受け付ける。例えば、ユーザは、図１４に示した話者選択画面３０において、「話者Ｘ」を選択したものとする。すると、処理装置１００（例えば、取得部１４１）は、「話者Ｘ」の識別情報（即ち、音声特徴情報の識別情報）を取得する。そして、処理装置１００（例えば、演算部１３３）は、当該識別情報に対応する音声特徴情報が示す特徴を有する音声データを生成する。
　なお、話者の選択肢は、個人の名称であってもよいし、グループの名称であってもよい。前者の一例として、例えば話者の選択肢は、現実の存在する人物であってもよい。この場合、現実に存在する人物があたかもテキストを読み上げたかのような音声データが生成される。後者の一例として、話者の選択肢は、「アナウンサー」、「バスガイド」、「ヤクザ」、「教師」、「医者」、「歌舞伎役者」、「落語家」、「執事」等の、職業名であってもよい。その場合、各々の職業の人の代表的な話し方でテキストが読み上げられた音声データが生成される。同様に、話者の選択肢は、映画又はアニメ作品等の登場人物であってもよい。また、話者の選択肢は、「妖精」、「妖怪」、「モンスター」等のファンタジー作品における種族、「魔法使い」等のファンタジー作品における職業等であってもよい。
　なお、図１４に示した話者選択画面３０により話者が選択された後、図１２に示した音声特徴情報編集画面２０により、音声特徴情報が調整されてもよい。例えば、音声特徴情報編集画面２０において訛りの音声特徴情報が編集された場合、選択した人物が、本人とは異なる訛りでテキストを読み上げたかのような音声データが生成され得る。
　上記説明した話者選択による編集は、ＧＵＩによる編集と比較して簡易である。そのため、話者選択による編集は、デフォルトの機械的な音声では満足できないものの、ある程度のカスタマイズで満足するライトユーザにとって有用である。適用場面の一例として、音声で情報を提供する音声アシストエージェントの音声の切り替えが挙げられる。
　　－ユーザ音声での指示
　音声特徴情報の編集操作は、ユーザ音声の認識結果に基づいて行われてもよい。この場合、ユーザの操作負荷がさらに軽減される。
　例えば、コンテキスト情報は、ユーザ音声による指示に応じて編集され得る。具体的には、ユーザは、コンテキスト情報の調節指示を発話することで、コンテキスト情報を編集する。具体的には、ユーザが「もっと嬉しそうにしゃべって」と発話した場合、システム１（例えば、演算部１３３）は、「喜」に対応する特徴量の値を上昇させる。また、システム１は、ユーザが指示した編集操作を支援するために、ユーザが指示した特徴量に反する効果を有する特徴量をも制御してもよい。例えば、ユーザが「もっと嬉しそうにしゃべって」と発話した場合、システム１は、「怒」「哀」「楽」に対応する特徴量の値を下降させてもよい。
　また、ユーザは、音声特徴情報の良し悪しをフィードバックすることで、音声特徴情報を編集してもよい。具体的には、システム１は、発話毎等の適切な粒度で音声特徴情報を変更しつつ音声データを出力し、ユーザは「良い」又は「悪い」とフィードバックする。すると、システム１は、「良い」とフィードバックされた音声特徴情報に近く、且つ「悪い」とフィードバックされた音声特徴情報から遠くなるよう、各々の特徴量を制御する。
　　－ユーザ音声に応じた自動編集
　音声特徴情報の編集は、ユーザにより明示的に行われずとも、ユーザ音声に応じて自動的に行われてもよい。例えば、音声データの生成に用いられる音声特徴情報は、ユーザ音声が有する特徴に対応する特徴を示す特徴情報であってもよい。この場合、ユーザが音声特徴情報を編集せずとも好みの音声データが生成されるので、ユーザの操作負荷がさらに軽減される。
　例えば、システム１（例えば、演算部１３３）は、ユーザ音声の特徴を示す音声特徴情報をそのまま用いて音声データを生成してもよい。そのためには、システム１は、識別器１２及び推論器１４を用いてユーザ音声から音声特徴情報（例えば、コンテキスト情報及び発話スタイル情報）を識別又は推論し、新たに取得された応答のためのテキスト情報に基づいて音声データを生成する。このような自動編集により、システム１は、例えば、ユーザの訛りと同様の訛りでユーザ音声に応答したり、ユーザの話す速度と同一の速度でユーザ音声に応答したりすることが可能となる。
　また、システム１は、ユーザの属性又は状態等に応じて音声特徴情報を制御してもよい。例えば、システム１は、ユーザの「性別」「年齢」「誰であるか」「喜怒哀楽」「出身地」「人種」「システムへの集中度合い」等に応じた音声特徴情報を用いて音声データを生成してもよい。なお、これらの属性又は状態は、予め用意されたユーザデータベース、又は画像認識若しくは音声認識等の結果により取得され得る。このような自動編集により、システム１は、例えば子供に対してはゆっくり応答し、お年寄りには大きな音量で応答することが可能となる。
　ユーザ音声に応じた自動編集の適用場面の一例として、翻訳場面が挙げられる。
　例えば、外国映画の吹き替え又はスピーチの同時翻訳等は、通常、本来の話者とは異なる話者により行われる。そのため、異なる話者の音声からは、本来の話者の音声に含まれていた声紋及び喜怒哀楽等のニュアンスが失われる場合が多い。この点、ユーザ音声に応じた自動編集が適用されることで、システム１は、ユーザ音声に含まれるテキストを翻訳しつつ、ユーザ音声と同様の音声特徴情報を反映させた、音声データを生成することが可能である。よって、翻訳された音声に、本来の音声に含まれていた声紋及び喜怒哀楽等のニュアンスを残すことが可能となる。これにより、映画又はスピーチ等の翻訳音声を、本来の話者の声色で聞いてみたい、又は話者の感情等を音声だけからリアルに感じ取りたい、というユーザの潜在的な欲求を満たすことが可能となる。以下、図１５を参照して、翻訳場面における処理装置１００による処理を詳しく説明する。
　図１５は、本実施形態に係る翻訳場面における音声データ生成処理を説明するための図である。図１５に示すように、システム１は、識別器１２、推論器１４、生成器１６及び翻訳器４２を用いて、音声データから翻訳された音声データを生成する。まず、システム１（例えば、取得部１４１）は、翻訳対象の音声データｘを適切な区間に区切って取得する。次いで、システム１（例えば、演算部１３３）は、翻訳対象の音声データｘを識別器１２に入力して、テキスト情報ｙ及びコンテキスト情報ｙを推定する。なお、テキスト情報ｙ及びコンテキスト情報ｙの推定は、識別器１２以外にも、人により行われてもよいし、音声認識器等により行われてもよい。そして、システム１は、音声データｘ、テキスト情報ｙ及びコンテキスト情報ｙを推論器１４に入力して、発話スタイル情報ｚを推定する。他方、システム１は、テキスト情報ｙを翻訳器４２に入力して、テキスト情報ｙが所望の言語に翻訳されたテキスト情報ｙ´を推定する。なお、翻訳は、翻訳器４２以外にも人により行われてもよい。そして、システム１は、翻訳されたテキスト情報ｙ´及び発話スタイル情報ｚを生成器１６に入力して、翻訳された音声データｘ´を生成する。このとき、もちろんシステム１は、コンテキスト情報ｙも生成器１６に入力してもよい。
　なお、翻訳場面では、国ごとに訛りの傾向は異なるので、例えば英語の訛りを日本語の訛りに適切に変換することは困難な場合がある。そのため、処理装置１００は、生成器１６に入力する音声特徴情報から訛りの特徴量を取り除いてもよい。
　　＜４．５．補足＞
　上記では、テキスト情報を枠組み情報として音声データを生成する例を説明したが、本技術はかかる例に限定されない。
　例えば、システム１は、楽譜を枠組み情報として、楽譜に従った演奏された音楽データを生成してもよい。この場合、識別器１２は、音楽データから楽譜情報を識別する、自動採譜機能を有する。また、推論器１４は、音楽データ及び楽譜情報から、例えば、演奏者の特徴、楽器の特徴、演奏会場の音響の特徴等を示す音楽特徴情報を推論する。なお、これらの音楽特徴情報の少なくとも一部は、識別器１２により識別されてもよい。また、生成器１６は、楽譜情報及び音楽特徴情報から音楽データを生成する。これにより、システム１は、例えば楽譜、演奏者、楽器又は演奏会場等を変更した音楽データを生成することが可能となる。
　具体的には、音響状態の良くない場所で録音された音楽データに関し、音楽特徴情報を音響状態の良い場所のものに変更することで、音楽データの音響状態を改善することが可能である。同様に、演奏スタイル、曲の入れ替え、歌手又は歌詞の入れ替え等も可能となる。あるいは、作曲スタイルを取り込んだ楽曲の自動作成も可能となる。
　＜＜５．第２の実施形態＞＞
　本実施形態は、時系列データｘが、動物体をセンサによりセンシングしたセンサデータである形態である。
　　＜５．１．各種データ＞
　　・時系列データｘ
　時系列データｘは、動物体をセンシングしたセンサデータである。センシング対象の動物体は、人、動物、車、昆虫等多様に考えられる。センシングするセンサは、例えば加速度センサ、又はジャイロセンサ等の任意のセンサであってもよい。その他、センサはイメージセンサであり、時系列データｘは動画データであってもよい。
　　・ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚ
ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚは、センシング対象の動物体の動作の特徴を示す情報である。これらの特徴情報をまとめて、動作特徴情報とも称する。例えば、動作特徴情報は、動物体の動作の種別、動作の大きさ、及び周波数等の特徴を表現する。
　ラベル有り特徴情報ｙのうちコンテキスト情報は、例えば動物体の動作種別を示す情報である。動作種別としては、動物体が人である場合、例えば「立つ」「座る」「歩く」「走る」等が挙げられる。他にも、動作種別は、動物体が昆虫である場合の「飛ぶ」「仲間を呼ぶ」等が挙げられる。以下では、このような動作種別を示す情報を、動作種別情報とも称する。
　ラベル有り特徴情報ｙのうち枠組み情報は、例えば動物体の行動の構成を示す情報である。行動の構成を示す情報とは、例えば１０秒歩いて１０秒走る、といった情報である。なお、本実施形態では、説明を簡略化するため、枠組み情報に関しては説明を省略する。
　ラベル無し特徴情報ｚは、動作特徴情報のうち、ラベル有り特徴情報ｙ以外の特徴を示す。本実施形態では、ラベル無し特徴情報ｚを動作スタイル情報とも称する
　　＜５．２．ニューラルネットの構成＞
　本実施形態に係るニューラルネットの構成を、図１６～図１８を参照して説明する。
　図１６は、本実施形態に係る識別ネット１１の構成の一例を示す図である。図１６に示すように、識別器１２は、センサデータから動作種別情報を識別する。
　図１７は、本実施形態に係る推論ネット１３の構成の一例を示す図である。図１７に示すように、推論器１４は、動作種別情報及びセンサデータから動作スタイル情報を推論する。
　図１８は、本実施形態に係る生成ネット１５の構成の一例を示す図である。図１８に示すように、生成器１６は、動作種別情報及び動作スタイル情報からセンサデータを生成する。
　　＜５．３．学習＞
　システム１（例えば、学習部１４５）は、ニューラルネット（即ち、推論器、識別器、及び生成器の各々）のパラメータを学習する。例えば、システム１は、所定の目的関数を最適化するように学習する。この学習に関する処理の流れの一例を、図１９を参照して説明する。
　図１９は、本実施形態に係る処理装置１００において実行される学習処理の流れの一例を示すフローチャートである。図１９に示すように、まず、取得部１３１は、動物体をセンシングしたセンサデータＸ＝｛ｘｎ｝、及び当該動物体の動作種別情報Ｙ＝｛ｙｎ｝の組み合わせから成る学習データセットＤ＝｛Ｘ，Ｙ｝を取得する（ステップＳ４０２）。次いで、学習部１３５は、次式に従い、目的関数Ｌを最小化するようニューラルネットのパラメータを学習する（ステップＳ４０４）。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｗは識別器１２のパラメータであり、ｕは推論器１４のパラメータであり、ｖは生成器１６のパラメータである。また、目的関数Ｌは、上記数式（３）に示した形式であってもよい。そして、記憶部１２０は、学習結果を示す情報を記憶する（ステップＳ４０６）。
　また、システム１は、動作特徴情報を学習してもよい。この場合の学習とは、上記パラメータ学習後の識別器１２又は推論器１４により、センサデータに対応する動作種別情報又は動作スタイル情報を識別又は推論することを指す。システム１は、学習した動作特徴情報を識別情報と対応付けて記憶してもよい。これにより、後述する識別情報の選択による動作スタイル情報の編集が可能となる。
　　＜５．４．センサデータの生成＞
　（１）生成
　システム１（例えば、演算部１３３）は、生成器１６を用いて、動作種別情報及び動作スタイル情報からセンサデータ（より正確には、疑似的なセンサデータ）を生成する。ユーザは、所望する動作種別情報及びスタイル情報をシステム１に入力することで、所望するセンサデータを生成させることが可能となる。
　（２）動作特徴情報の編集
　ユーザは、動作特徴情報を編集可能である。例えば、ユーザは、端末装置２００を介して動作特徴情報を編集する。動作特徴情報の編集は、上述した音声特徴情報の編集と同様にして行われ得る。一例として、図２０を参照してＧＵＩに関して説明し、他については説明を省略する。
　図２０は、本実施形態に係るユーザインタフェースの一例を示す図である。図２０に示す動作特徴情報編集画面５０は、例えば端末装置２００により表示され、ユーザによる動作特徴情報の編集操作を受け付ける。図２０に示すように、動作特徴情報編集画面５０は、動作スタイル情報である多次元の特徴量ｚ０～ｚ４９の調節部５１、及び動作種別情報である多次元の特徴量の調節部５２を含む。動作種別情報である多次元の特徴量には、それぞれ「歩く」「走る」及び「立つ」といったラベルが対応付けられる。ラベルは、「歩く」「走る」及び「立つ」が「人の動作」にカテゴリ分けされてもよい。ユーザは、各々の特徴量の値を示すつまみ５３を上下させることで、各々の特徴量を調節可能である。
　　＜５．５．制御信号の生成＞
　（１）概要
　動物体は、アクチュエータを有するロボット又は車等の装置であってもよい。この場合、システム１は、動物体に含まれるアクチュエータを動作させるための制御信号を、時系列データｘとして生成してもよい。
　例えば、システム１（例えば、演算部１３３）は、センサデータに対応する制御信号を生成する。制御信号と当該制御信号に基づいて動作するアクチュエータを有する装置をセンシングしたセンサデータとの対応関係が既知であれば、システム１は、当該装置に所望の動作を行わせるための制御信号を生成することが可能となる。このような制御信号を生成するための生成ネット１５の構成の一例を、図２１を参照して説明する。
　図２１は、本実施形態に係る生成ネット１５の構成の一例を示す図である。図２１に示すように、本実施形態に係る生成ネット１５において、生成器１６に制御信号生成器６２が連結される。制御信号生成器６２は、センサデータｘから対応する制御信号ｓを生成する機能を有する。よって、生成ネット１５は、動作種別情報ｙ及び動作スタイル情報が示す特徴を有する動作をアクチュエータを有する装置に行わせるための、制御信号ｓを生成することが可能である。
　（２）学習
　制御信号生成器６２は、ニューラルネット、より具体的にはフィードフォワードネットワークにより構成されていてもよい。制御信号生成器６２のパラメータの学習処理の流れの一例を、図２２を参照して説明する。
　図２２は、本実施形態に係る処理装置１００において実行される学習処理の流れの一例を示すフローチャートである。図２２に示すように、まず、取得部１３１は、アクチュエータに入力した制御信号Ｓ＝｛ｓｎ｝、及び当該アクチュエータを有する装置をセンシングしたセンサデータＸ＝｛ｘｎ｝の組み合わせから成る学習データセットＤ＝｛Ｘ，Ｓ｝を取得する（ステップＳ５０２）。次いで、学習部１３５は、次式に従い、目的関数Ｌを最小化するようニューラルネットのパラメータを学習する（ステップＳ５０４）。
Figure JPOXMLDOC01-appb-M000009
　ここで、ａは制御信号生成器６２のパラメータである。また、目的関数Ｌは、上記数式（３）に示した形式であってもよい。そして、記憶部１２０は、学習結果を示す情報を記憶する（ステップＳ５０６）。
　なお、制御信号生成器６２と他のニューラルネット（例えば、識別器１２、推論器１４及び／又は生成器１６）とは、別箇に学習が行われてもよいし、まとめて学習が行われてもよい。
　（３）生成
　システム１（例えば、演算部１３３）は、生成器１６及び制御信号生成器６２を用いて、動作種別情報及び動作スタイル情報から制御信号を生成する。ユーザは、所望する動作種別情報及びスタイル情報をシステム１に入力することで、アクチュエータを有する装置に所望する動作を行わせるための制御信号を生成させることが可能となる。
　システム１は、図２１に示した生成ネット１５を用いて制御信号を生成してもよいし、生成ネット１５に他の構成要素を組み合わせて制御信号を生成してもよい。その一例を、図２３～図２５を参照して説明する。
　図２３は、本実施形態に係る制御信号生成処理の一例を説明するための図である。図２３に示すように、システム１は、図２１を参照して説明した生成ネット１５に、図１７を参照して説明した推論ネット１３を組み合わせて制御信号を生成してもよい。図２３に示した構成によれば、推論器１４は、センシング対象の動物体の動作スタイル情報を推論し、生成器１６に入力する。そして、生成器１６はセンサデータを生成し、制御信号生成器６２は制御信号を生成する。センシング対象の動物体は、アクチュエータを有する装置でない、例えば人であってもよい。この場合、システム１は、人をセンシングしたセンサデータに基づいて、例えば人型ロボットに人と同様の動作を行わせることが可能となる。
　図２４は、本実施形態に係る制御信号生成処理の一例を説明するための図である。図２４に示すように、システム１は、図２１を参照して説明した生成ネット１５に、動作スタイル情報選択器６４を組み合わせて制御信号を生成してもよい。動作スタイル情報選択器６４は、例えばユーザにより選択された識別情報に対応する動作スタイル情報を出力する機能を有する。識別情報と動作スタイル情報との対応付けは、上述した学習により行われる。
　図２５は、本実施形態に係る制御信号生成処理の一例を説明するための図である。図２５に示すように、システム１は、図２１を参照して説明した生成ネット１５に、図１６を参照して説明した識別ネット１１及び図１７を参照して説明した推論ネット１３を組み合わせて制御信号を生成してもよい。ここで注目すべきは、識別器１２から出力された動作種別情報ｙが推論器１４に入力される点と、それに伴い入力がセンサデータｘのみである点である。これにより、ユーザの操作負荷が軽減される。
　＜＜６．補足＞＞
　上記説明したように、本開示の一実施形態では、ラベル有り特徴情報ｙ及びラベル無し特徴情報ｚから時系列データｘが生成される。時系列データｘ、ラベル有り特徴情報ｙ、及びラベル無し特徴情報ｚは、上述した例に限定されず、多様に考えられる。
　例えば、ラベル有り特徴情報ｙが楽譜であり、ラベル無し特徴情報ｚが演奏特徴及び歌唱特徴であり、時系列データｘが歌唱データであってもよい。この場合、システム１は、あるアーティストの歌詞を含んだ楽譜と歌唱データとの組み合わせを複数含むデータセットにより演奏特徴及び歌唱特徴を学習し、当該アーティストがあたかも歌唱したかのような、異なるアーティストの楽譜に対応する歌唱データを生成することが可能となる。
　例えば、ラベル有り特徴情報ｙが小説のプロットであり、ラベル無し特徴情報ｚが作家特徴（例えば、作風）であり、時系列データｘが小説であってもよい。この場合、システム１は、ある作家のプロットと小説との組み合わせを複数含むデータセットにより作家特徴を学習し、当該作家があたかも執筆したかのような、新しく入力されたプロットに対応する小説を生成することが可能となる。
　例えば、ラベル有り特徴情報ｙは第１の言語のテキスト情報であり、ラベル無し特徴情報ｚは言語特徴であり、時系列データｘは第２のテキスト情報であってもよい。この場合、システム１は、日本語のテキストと英語のテキストを含む対訳コーパス（即ち、データセット）を用いて言語特徴を学習し、新しく入力された日本語のテキストを英語のテキストに変換して出力することが可能となる。
　例えば、ラベル有り特徴情報ｙは絵のプロットであり、ラベル無し特徴情報ｚは画家特徴であり、時系列データｘは絵の描き順であってもよい。この場合、システム１は、「たくさんのヒマワリが青空の下にある」といった絵のプロットと、それをもとに描かれた絵の描き順との組み合わせを複数含むデータセットにより画家特徴を学習し、新しく入力された絵のプロットに対する絵の描き順を生成することが可能となる。
　＜＜７．ハードウェア構成例＞＞
　最後に、図２６を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２６は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２６に示す情報処理装置９００は、例えば、図２及び図３にそれぞれ示した処理装置１００又は端末装置２００を実現し得る。本実施形態に係る処理装置１００又は端末装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す制御部１３０、又は図３に示す制御部２５０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３に示す入力部２１０を形成し得る。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図３に示す出力部２２０を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部１２０又は図３に示す記憶部２４０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２に示す通信部１１０又は図３に示す通信部２３０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜８．まとめ＞＞
　以上、図１～図２６を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム１は、意味付けされた第１の特徴情報（即ち、ラベル有り特徴情報）及び意味付けされない第２の特徴情報（即ち、ラベル無し特徴情報）を取得して、ラベル有り特徴情報及びラベル無し特徴情報が示す特徴を有する時系列データを生成する。これにより、データの特徴付けを適切に行うことが可能となる。より具体的には、ユーザは、所望する特徴に合わせてラベル有り特徴情報及びラベル無し特徴情報を選択したり編集したりすることで、所望する特徴を有する時系列データを、容易に生成させることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、処理装置１００と端末装置２００とが別箇の装置であるものとして説明したが、本技術はかかる例に限定されない。例えば、処理装置１００と端末装置２００とはひとつの装置として実現されてもよい。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得する取得部と、
　前記取得部により取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを生成する生成部と、
を備える情報処理装置。
（２）
　前記第１の特徴情報は、前記時系列データのコンテキストを示す情報を含む、前記（１）に記載の情報処理装置。
（３）
　前記第１の特徴情報は、前記時系列データの枠組みを示す情報を含む、前記（２）に記載の情報処理装置。
（４）
　前記枠組みを示す情報は、テキスト情報であり、
　前記時系列データは、前記テキスト情報を読み上げた音声データである、前記（３）に記載の情報処理装置。
（５）
　前記コンテキストを示す情報は、話者自身に関する情報を含む、前記（４）に記載の情報処理装置。
（６）
　前記コンテキストを示す情報は、話者が話す環境に関する情報を含む、前記（４）又は（５）に記載の情報処理装置。
（７）
　前記コンテキストを示す情報は、話者が話す話題に関する情報を含む、前記（４）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記枠組みを示す情報は、楽譜情報であり、
　前記時系列データは、前記楽譜情報に従って演奏された音楽データである、前記（３）に記載の情報処理装置。
（９）
　前記コンテキストを示す情報は、動作種別を示す情報であり、
　前記時系列データは、動物体をセンシングしたセンサデータである、前記（２）又は（３）に記載の情報処理装置。
（１０）
　前記コンテキストを示す情報は、動作種別を示す情報であり、
　前記時系列データは、動物体に含まれるアクチュエータを動作させるための制御信号である、前記（２）又は（３）に記載の情報処理装置。
（１１）
　前記第１の特徴情報は、ユーザ音声による指示に応じて編集される、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記第１の特徴情報及び前記第２の特徴情報は、ユーザ音声が有する特徴に対応する特徴を示す、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記取得部は、前記第１の特徴情報及び前記第２の特徴情報に対応する識別情報を取得し、
　前記生成部は、前記識別情報に対応する特徴を有する時系列データを生成する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記生成部は、ニューラルネットにより前記時系列データを生成する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記情報処理装置は、前記ニューラルネットのパラメータを学習する学習部をさらに備える、前記（１４）に記載の情報処理装置。
（１６）
　前記情報処理装置は、前記時系列データから前記第１の特徴情報を識別する識別部をさらに備える、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記情報処理装置は、前記時系列データ及び前記第１の特徴情報から前記第２の特徴情報を推論する推論部をさらに備える、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知する通知部と、
　前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置から取得する取得部と、
を備える情報処理装置。
（１９）
　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得することと、
　取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データをプロセッサにより生成することと、
を含む情報処理方法。
（２０）
　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知することと、
　前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置からプロセッサにより取得することと、
を含む情報処理方法。
　１　　　　システム
　１１　　　識別ネット
　１２　　　識別器
　１３　　　推論ネット
　１４　　　推論器
　１５　　　生成ネット
　１６　　　生成器
　４２　　　翻訳器
　６２　　　制御信号生成器
　６４　　　動作スタイル情報選択器
　１００　　処理装置
　１１０　　通信部
　１２０　　記憶部
　１３０　　制御部
　１３１　　取得部
　１３３　　演算部
　１３５　　学習部
　１３７　　通知部
　２００　　端末装置
　２１０　　入力部
　２２０　　出力部
　２３０　　通信部
　２４０　　記憶部
　２５０　　制御部
　２５１　　通知部
　２５３　　取得部

Claims (20)

  1. 　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得する取得部と、
    　前記取得部により取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを生成する生成部と、
    を備える情報処理装置。
  2. 　前記第１の特徴情報は、前記時系列データのコンテキストを示す情報を含む、請求項１に記載の情報処理装置。
  3. 　前記第１の特徴情報は、前記時系列データの枠組みを示す情報を含む、請求項２に記載の情報処理装置。
  4. 　前記枠組みを示す情報は、テキスト情報であり、
    　前記時系列データは、前記テキスト情報を読み上げた音声データである、請求項３に記載の情報処理装置。
  5. 　前記コンテキストを示す情報は、話者自身に関する情報を含む、請求項４に記載の情報処理装置。
  6. 　前記コンテキストを示す情報は、話者が話す環境に関する情報を含む、請求項４に記載の情報処理装置。
  7. 　前記コンテキストを示す情報は、話者が話す話題に関する情報を含む、請求項４に記載の情報処理装置。
  8. 　前記枠組みを示す情報は、楽譜情報であり、
    　前記時系列データは、前記楽譜情報に従って演奏された音楽データである、請求項３に記載の情報処理装置。
  9. 　前記コンテキストを示す情報は、動作種別を示す情報であり、
    　前記時系列データは、動物体をセンシングしたセンサデータである、請求項２に記載の情報処理装置。
  10. 　前記コンテキストを示す情報は、動作種別を示す情報であり、
    　前記時系列データは、動物体に含まれるアクチュエータを動作させるための制御信号である、請求項２に記載の情報処理装置。
  11. 　前記第１の特徴情報は、ユーザ音声による指示に応じて編集される、請求項１に記載の情報処理装置。
  12. 　前記第１の特徴情報及び前記第２の特徴情報は、ユーザ音声が有する特徴に対応する特徴を示す、請求項１に記載の情報処理装置。
  13. 　前記取得部は、前記第１の特徴情報及び前記第２の特徴情報に対応する識別情報を取得し、
    　前記生成部は、前記識別情報に対応する特徴を有する時系列データを生成する、請求項１に記載の情報処理装置。
  14. 　前記生成部は、ニューラルネットにより前記時系列データを生成する、請求項１に記載の情報処理装置。
  15. 　前記情報処理装置は、前記ニューラルネットのパラメータを学習する学習部をさらに備える、請求項１４に記載の情報処理装置。
  16. 　前記情報処理装置は、前記時系列データから前記第１の特徴情報を識別する識別部をさらに備える、請求項１に記載の情報処理装置。
  17. 　前記情報処理装置は、前記時系列データ及び前記第１の特徴情報から前記第２の特徴情報を推論する推論部をさらに備える、請求項１に記載の情報処理装置。
  18. 　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知する通知部と、
    　前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置から取得する取得部と、
    を備える情報処理装置。
  19. 　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を取得することと、
    　取得された前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データをプロセッサにより生成することと、
    を含む情報処理方法。
  20. 　意味付けされた第１の特徴情報及び意味付けされない第２の特徴情報を他の装置に通知することと、
    　前記第１の特徴情報及び前記第２の特徴情報が示す特徴を有する時系列データを前記他の装置からプロセッサにより取得することと、
    を含む情報処理方法。
PCT/JP2016/087316 2016-03-28 2016-12-14 情報処理装置及び情報処理方法 Ceased WO2017168870A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16897086.1A EP3438972B1 (en) 2016-03-28 2016-12-14 Information processing system and method for generating speech
JP2018508391A JPWO2017168870A1 (ja) 2016-03-28 2016-12-14 情報処理装置及び情報処理方法
US16/086,636 US20190087734A1 (en) 2016-03-28 2016-12-14 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-063784 2016-03-28
JP2016063784 2016-03-28

Publications (1)

Publication Number Publication Date
WO2017168870A1 true WO2017168870A1 (ja) 2017-10-05

Family

ID=59962890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087316 Ceased WO2017168870A1 (ja) 2016-03-28 2016-12-14 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US20190087734A1 (ja)
EP (1) EP3438972B1 (ja)
JP (1) JPWO2017168870A1 (ja)
WO (1) WO2017168870A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036413A (ja) * 2016-08-30 2018-03-08 日本電信電話株式会社 音声合成学習装置、方法、及びプログラム
CN109119090A (zh) * 2018-10-30 2019-01-01 Oppo广东移动通信有限公司 语音处理方法、装置、存储介质及电子设备
CN109326302A (zh) * 2018-11-14 2019-02-12 桂林电子科技大学 一种基于声纹比对和生成对抗网络的语音增强方法
JP2019079436A (ja) * 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成方法、画像生成装置、及び画像生成プログラム
JP2019109306A (ja) * 2017-12-15 2019-07-04 日本電信電話株式会社 音声変換装置、音声変換方法及びプログラム
WO2019163753A1 (ja) * 2018-02-20 2019-08-29 日本電信電話株式会社 音声信号解析装置、方法、及びプログラム
JP2019159823A (ja) * 2018-03-13 2019-09-19 富士通株式会社 学習プログラム、学習方法および学習装置
WO2019244930A1 (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
JP2020098501A (ja) * 2018-12-18 2020-06-25 富士通株式会社 学習プログラム、学習方法および学習装置
JP2020154654A (ja) * 2019-03-19 2020-09-24 富士通株式会社 推定プログラム、推定装置および推定方法
WO2020220541A1 (zh) * 2019-04-29 2020-11-05 平安科技（深圳）有限公司 一种识别说话人的方法及终端
JP2021511536A (ja) * 2018-01-11 2021-05-06 ネオサピエンス株式会社Ｎｅｏｓａｐｉｅｎｃｅ， Ｉｎｃ． 多言語テキスト音声合成方法
JPWO2020031544A1 (ja) * 2018-08-10 2021-08-02 ヤマハ株式会社 楽譜データの情報処理装置
CN113269222A (zh) * 2021-03-15 2021-08-17 上海电气集团股份有限公司 用于检测升降设备的特征值选取方法、检测方法和系统
JP2021521492A (ja) * 2018-05-11 2021-08-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ クロックワーク階層化変分エンコーダ
JP2021182159A (ja) * 2020-10-27 2021-11-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 歌のマルチメディアの合成方法、合成装置、電子機器及び記憶媒体
JP2023505670A (ja) * 2019-12-10 2023-02-10 グーグル エルエルシー アテンションベースのクロックワーク階層型変分エンコーダ
JP2024003166A (ja) * 2018-04-11 2024-01-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 機械学習に基づく音声符号化及び復号のための知覚に基づく損失関数
JP2024502049A (ja) * 2020-12-30 2024-01-17 アイフライテック カンパニー，リミテッド 情報合成方法、装置、電子機器及びコンピュータ可読記憶媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12558778B2 (en) * 2016-09-07 2026-02-24 Autodesk, Inc. Configuring a robotic camera to mimic cinematographic styles
US10971142B2 (en) * 2017-10-27 2021-04-06 Baidu Usa Llc Systems and methods for robust speech recognition using generative adversarial networks
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
WO2020089961A1 (ja) * 2018-10-29 2020-05-07 健一 海沼 音声処理装置、およびプログラム
CN110288965B (zh) * 2019-05-21 2021-06-18 北京达佳互联信息技术有限公司 一种音乐合成方法、装置、电子设备及存储介质
JP7244390B2 (ja) * 2019-08-22 2023-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびプログラム
CN110930977B (zh) * 2019-11-12 2022-07-08 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备
CN112489606B (zh) * 2020-11-26 2022-09-27 北京有竹居网络技术有限公司 旋律生成方法、装置、可读介质及电子设备
US11617952B1 (en) 2021-04-13 2023-04-04 Electronic Arts Inc. Emotion based music style change using deep learning
KR20240016975A (ko) * 2021-05-05 2024-02-06 딥 미디어 인크. 오디오 및 비디오 트렌스레이터
CN114055483A (zh) * 2021-09-30 2022-02-18 杭州未名信科科技有限公司 一种基于机械臂书写汉字的方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02304493A (ja) * 1989-05-19 1990-12-18 Hitachi Ltd 音声合成システム
JP2007265345A (ja) * 2006-03-30 2007-10-11 Sony Corp 情報処理装置および方法、学習装置および方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149547A1 (ja) * 2007-06-06 2008-12-11 Panasonic Corporation 声質編集装置および声質編集方法
EP3151239A1 (en) * 2015-09-29 2017-04-05 Yandex Europe AG Method and system for text-to-speech synthesis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02304493A (ja) * 1989-05-19 1990-12-18 Hitachi Ltd 音声合成システム
JP2007265345A (ja) * 2006-03-30 2007-10-11 Sony Corp 情報処理装置および方法、学習装置および方法、並びにプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MASAMITSU MURASE: "Ningen Robot Kyocho no Tameno RNNPB ni yoru Giji Symbol no Kakutoku to sono Kaisosei no Kaiseki", DAI 24 KAI ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN YOKOSHU, September 2006 (2006-09-01), XP009509224 *
See also references of EP3438972A4 *
TETSUYA OGATA: "Gesture and Sound Generation of Robot based on Cross-Modal Translation using Recurrent Neural Network with Parametric Bias", IEICE TECHNICAL REPORT, vol. 106, no. 298, October 2006 (2006-10-01), pages 27 - 32, XP009509223 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036413A (ja) * 2016-08-30 2018-03-08 日本電信電話株式会社 音声合成学習装置、方法、及びプログラム
JP7023669B2 (ja) 2017-10-26 2022-02-22 株式会社Preferred Networks 画像生成方法、画像生成装置、及び画像生成プログラム
JP2019079436A (ja) * 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成方法、画像生成装置、及び画像生成プログラム
JP2019109306A (ja) * 2017-12-15 2019-07-04 日本電信電話株式会社 音声変換装置、音声変換方法及びプログラム
JP7178028B2 (ja) 2018-01-11 2022-11-25 ネオサピエンス株式会社 多言語テキスト音声合成モデルを利用した音声翻訳方法およびシステム
JP2022169714A (ja) * 2018-01-11 2022-11-09 ネオサピエンス株式会社 多言語テキスト音声合成モデルを利用した音声翻訳方法およびシステム
JP7142333B2 (ja) 2018-01-11 2022-09-27 ネオサピエンス株式会社 多言語テキスト音声合成方法
US11217224B2 (en) 2018-01-11 2022-01-04 Neosapience, Inc. Multilingual text-to-speech synthesis
US11810548B2 (en) 2018-01-11 2023-11-07 Neosapience, Inc. Speech translation method and system using multilingual text-to-speech synthesis model
US12080273B2 (en) 2018-01-11 2024-09-03 Neosapience, Inc. Translation method and system using multilingual text-to-speech synthesis model
JP7500020B2 (ja) 2018-01-11 2024-06-17 ネオサピエンス株式会社 多言語テキスト音声合成方法
JP7445267B2 (ja) 2018-01-11 2024-03-07 ネオサピエンス株式会社 多言語テキスト音声合成モデルを利用した音声翻訳方法およびシステム
US11769483B2 (en) 2018-01-11 2023-09-26 Neosapience, Inc. Multilingual text-to-speech synthesis
JP2021511536A (ja) * 2018-01-11 2021-05-06 ネオサピエンス株式会社Ｎｅｏｓａｐｉｅｎｃｅ， Ｉｎｃ． 多言語テキスト音声合成方法
JP2021511534A (ja) * 2018-01-11 2021-05-06 ネオサピエンス株式会社Ｎｅｏｓａｐｉｅｎｃｅ， Ｉｎｃ． 多言語テキスト音声合成モデルを利用した音声翻訳方法およびシステム
JP2022153569A (ja) * 2018-01-11 2022-10-12 ネオサピエンス株式会社 多言語テキスト音声合成方法
JP2019144403A (ja) * 2018-02-20 2019-08-29 日本電信電話株式会社 音声信号解析装置、方法、及びプログラム
US11798579B2 (en) 2018-02-20 2023-10-24 Nippon Telegraph And Telephone Corporation Device, method, and program for analyzing speech signal
WO2019163753A1 (ja) * 2018-02-20 2019-08-29 日本電信電話株式会社 音声信号解析装置、方法、及びプログラム
JP2019159823A (ja) * 2018-03-13 2019-09-19 富士通株式会社 学習プログラム、学習方法および学習装置
JP7106902B2 (ja) 2018-03-13 2022-07-27 富士通株式会社 学習プログラム、学習方法および学習装置
JP2024003166A (ja) * 2018-04-11 2024-01-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 機械学習に基づく音声符号化及び復号のための知覚に基づく損失関数
JP7690545B2 (ja) 2018-04-11 2025-06-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 機械学習に基づく音声符号化及び復号のための知覚に基づく損失関数
US12361956B2 (en) 2018-04-11 2025-07-15 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
EP4647969A3 (en) * 2018-04-11 2025-12-17 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
JP7376629B2 (ja) 2018-05-11 2023-11-08 グーグル エルエルシー クロックワーク階層化変分エンコーダ
JP2022071074A (ja) * 2018-05-11 2022-05-13 グーグル エルエルシー クロックワーク階層化変分エンコーダ
JP2021521492A (ja) * 2018-05-11 2021-08-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ クロックワーク階層化変分エンコーダ
JP7035225B2 (ja) 2018-05-11 2022-03-14 グーグル エルエルシー クロックワーク階層化変分エンコーダ
JP2019219915A (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
WO2019244930A1 (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
JP7119631B2 (ja) 2018-06-20 2022-08-17 日本電信電話株式会社 検知装置、検知方法および検知プログラム
JP7230919B2 (ja) 2018-08-10 2023-03-01 ヤマハ株式会社 楽譜データの情報処理装置
JPWO2020031544A1 (ja) * 2018-08-10 2021-08-02 ヤマハ株式会社 楽譜データの情報処理装置
US11967302B2 (en) 2018-08-10 2024-04-23 Yamaha Corporation Information processing device for musical score data
CN109119090A (zh) * 2018-10-30 2019-01-01 Oppo广东移动通信有限公司 语音处理方法、装置、存储介质及电子设备
CN109326302A (zh) * 2018-11-14 2019-02-12 桂林电子科技大学 一种基于声纹比对和生成对抗网络的语音增强方法
JP7143752B2 (ja) 2018-12-18 2022-09-29 富士通株式会社 学習プログラム、学習方法および学習装置
JP2020098501A (ja) * 2018-12-18 2020-06-25 富士通株式会社 学習プログラム、学習方法および学習装置
JP7205328B2 (ja) 2019-03-19 2023-01-17 富士通株式会社 推定プログラム、推定装置および推定方法
JP2020154654A (ja) * 2019-03-19 2020-09-24 富士通株式会社 推定プログラム、推定装置および推定方法
US11145062B2 (en) 2019-03-19 2021-10-12 Fujitsu Limited Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program
WO2020220541A1 (zh) * 2019-04-29 2020-11-05 平安科技（深圳）有限公司 一种识别说话人的方法及终端
JP2023171934A (ja) * 2019-12-10 2023-12-05 グーグル エルエルシー アテンションベースのクロックワーク階層型変分エンコーダ
JP7362929B2 (ja) 2019-12-10 2023-10-17 グーグル エルエルシー アテンションベースのクロックワーク階層型変分エンコーダ
JP7611335B2 (ja) 2019-12-10 2025-01-09 グーグル エルエルシー アテンションベースのクロックワーク階層型変分エンコーダ
JP2023505670A (ja) * 2019-12-10 2023-02-10 グーグル エルエルシー アテンションベースのクロックワーク階層型変分エンコーダ
JP7138222B2 (ja) 2020-10-27 2022-09-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 歌のマルチメディアの合成方法、合成装置、電子機器及び記憶媒体
JP2021182159A (ja) * 2020-10-27 2021-11-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 歌のマルチメディアの合成方法、合成装置、電子機器及び記憶媒体
JP2024502049A (ja) * 2020-12-30 2024-01-17 アイフライテック カンパニー，リミテッド 情報合成方法、装置、電子機器及びコンピュータ可読記憶媒体
JP7605997B2 (ja) 2020-12-30 2024-12-24 アイフライテック カンパニー，リミテッド 情報合成方法、装置、電子機器及びコンピュータ可読記憶媒体
CN113269222A (zh) * 2021-03-15 2021-08-17 上海电气集团股份有限公司 用于检测升降设备的特征值选取方法、检测方法和系统

Also Published As

Publication number Publication date
EP3438972A1 (en) 2019-02-06
US20190087734A1 (en) 2019-03-21
JPWO2017168870A1 (ja) 2019-02-07
EP3438972B1 (en) 2022-01-26
EP3438972A4 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
WO2017168870A1 (ja) 情報処理装置及び情報処理方法
CN110688911B (zh) 视频处理方法、装置、系统、终端设备及存储介质
CN112840398B (zh) 将音频内容变换为图像
JP6019108B2 (ja) 文字に基づく映像生成
CN118591823A (zh) 提供交互式化身服务的方法和设备
JP2014519082A5 (ja)
CN116597858A (zh) 语音口型匹配方法、装置、存储介质及电子设备
CN114154636A (zh) 数据处理方法、电子设备及计算机程序产品
WO2021153101A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN118898986A (zh) 语音合成模型训练、语音合成方法及任务平台
CN117316185A (zh) 一种音视频的生成方法、装置、设备及存储介质
CN120340498B (zh) 一种机器人自适应互动方法及系统
CN119295608A (zh) 口型动画生成、模型训练方法、装置、设备及介质
JP6790791B2 (ja) 音声対話装置および対話方法
CN119785756B (zh) 语音生成中的数据处理方法、装置及电子设备
JP7714731B1 (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
CN121580336B (zh) 用于约束数字人多模态输出的方法、装置及计算机设备
JP7469211B2 (ja) 対話型コミュニケーション装置、コミュニケーションシステム及びプログラム
KR20200048976A (ko) 전자 장치 및 그 제어 방법
CN121331090A (zh) 一种语音合成方法及相关装置
JP2026069001A (ja) システム
JP2026033169A (ja) システム
HK40117899A (zh) 语音合成模型训练、语音合成方法及任务平台
CN121096315A (zh) 语音生成方法、装置、电子设备、存储介质及产品
KR20260054038A (ko) 사용자 정의 프롬프트 기반의 실시간 인공지능 시각적 페르소나 생성 및 출력 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018508391

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016897086

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016897086

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16897086

Country of ref document: EP

Kind code of ref document: A1