WO2018097439A1 - 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법 - Google Patents

발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2018097439A1
WO2018097439A1 PCT/KR2017/006627 KR2017006627W WO2018097439A1 WO 2018097439 A1 WO2018097439 A1 WO 2018097439A1 KR 2017006627 W KR2017006627 W KR 2017006627W WO 2018097439 A1 WO2018097439 A1 WO 2018097439A1
Authority
WO
WIPO (PCT)
Prior art keywords
language
text
context vector
output
input text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/006627
Other languages
English (en)
French (fr)
Inventor
김상하
김은경
유지상
류종엽
이재원
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170048534A external-priority patent/KR102544249B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/463,959 priority Critical patent/US11314951B2/en
Priority to CN201780081483.4A priority patent/CN110114765B/zh
Priority to EP17873361.4A priority patent/EP3540611A4/en
Publication of WO2018097439A1 publication Critical patent/WO2018097439A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • Various embodiments of the present disclosure relate to a bidirectional electronic device and a method of operating the same, and more particularly, to a bidirectional electronic device and a method of operating the same, which share information regarding the context of each language in a bidirectional translation.
  • AI Artificial Intelligence
  • AI technology is composed of elementary technologies that utilize machine learning (deep learning) and machine learning.
  • Machine learning is an algorithm technology that classifies / learns characteristics of input data by itself
  • element technology is a technology that simulates the functions of human brain cognition and judgment by using machine learning algorithms such as deep learning. It consists of technical areas such as understanding, reasoning / prediction, knowledge representation, and motion control.
  • Linguistic understanding is a technology for recognizing and applying / processing human language / characters and includes natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
  • Visual understanding is a technology that recognizes and processes objects as human vision, and includes object recognition, object tracking, image retrieval, person recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference Prediction is a technique for judging, logically inferring, and predicting information. It includes knowledge / probability-based inference, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation / classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), operation control (action control), and the like.
  • Deep learning may also be used when performing bidirectional translation.
  • NMT Neural Machine Translation
  • SMT Statistical Machine Translation
  • the computer can learn the optimal result among the translation results of the sentence to be translated so that the natural translation can be performed.
  • Various embodiments provide an apparatus for performing bidirectional translation using a context vector of each language including information related to the context of a conversation in an environment where a conversation is conducted in a plurality of languages, and an operation thereof. There is this.
  • a method of operating an electronic device may include: obtaining a first input text of a first language; Performing a first directional translation that translates the first input text into a first output text of a second language based on a context vector generated by the text that was obtained prior to obtaining the first input text; Updating the context vector based on the first input text and the first output text; And outputting the first output text.
  • FIG. 1 is a diagram illustrating an example of performing bidirectional translation according to an embodiment.
  • 2A-2C are diagrams illustrating a bidirectional translation system according to one embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of a processor in an electronic device according to an embodiment.
  • FIG. 5A is a flowchart of a method of performing a first direction translation by an electronic device according to an embodiment
  • FIG. 5B is a flowchart of a method of performing bidirectional translation by an electronic device according to an embodiment.
  • FIG. 6 illustrates a process of performing a first direction translation according to an embodiment.
  • FIG. 7 is a diagram illustrating a process of performing a first direction translation and a second direction translation according to an embodiment.
  • FIG. 8 is a diagram illustrating a process of initializing a context vector, according to an exemplary embodiment.
  • FIG. 9 is a flowchart of a method of updating or initializing a context vector by an electronic device according to an embodiment.
  • FIG. 10 is a diagram for describing a method of sharing a context vector in a plurality of talker conversations, according to an exemplary embodiment.
  • a method of operating an electronic device may include: obtaining a first input text of a first language; Performing a first directional translation that translates the first input text into a first output text of a second language based on a context vector generated by the text that was obtained prior to obtaining the first input text; Updating the context vector based on the first input text and the first output text; And outputting the first output text.
  • an electronic device may include an acquirer configured to acquire a first input text of a first language; Perform a first directional translation that translates the first input text into a first output text in a second language based on a context vector generated by the text that was obtained prior to obtaining the first input text, and wherein the first At least one processor for updating the context vector based on input text and the first output text; And an output unit configured to output the first output text.
  • the context vector includes a first context vector generated based on text of the first language and a second context vector generated based on text of the second language
  • the at least one processor performs the first directional translation based on the second context vector, updates the first context vector based on the first input text, and based on the first output text.
  • the second context vector can be updated.
  • the at least one processor is configured to: input the first text that was obtained before acquiring the first input text and the first output text that was output before acquiring the first input text. Generate the first context vector based on at least one of the output texts of the language, and output the input text of the second language that was obtained before acquiring the first input text and the output that was output before acquiring the first input text.
  • the second context vector may be generated based on at least one of output texts of a second language.
  • the at least one processor in performing the first direction translation, a plurality of first corresponding to a plurality of words included in the first input text of the first language Generate a plurality of first hidden vectors sequentially based on input vectors, determine weights of each of the plurality of first hidden vectors, weights of each of the plurality of first hidden vectors, A plurality of first output vectors may be determined using one hidden vectors and the second context vector, and a plurality of words to be included in the first output text may be determined based on the plurality of first output vectors.
  • the at least one processor may initialize the first context vector and the second context vector.
  • the at least one processor may be further configured to determine whether an association degree between the last generated vector of the plurality of first hidden vectors and the first context vector is less than a predetermined reference value or the plurality of processors.
  • the first context vector and the second context vector may be initialized when an association degree between the last generated vector of the second hidden vectors and the second context vector is less than a predetermined reference value.
  • the context vector further includes a third context vector generated based on text of a third language
  • the acquiring unit further acquires a third input text of the third language.
  • the at least one processor performs a third direction translation that translates the third input text of the third language into a third output text of the first language based on the updated first context vector.
  • the updated first context vector and the third context vector are updated based on the third input text and the third output text, respectively, and the output unit may output the third output text.
  • a recording medium includes: a method of translating an uttered language, the method comprising: obtaining a first input text of a first language; Performing a first directional translation that translates the first input text into a first output text of a second language based on a context vector generated by the text that was obtained prior to obtaining the first input text; Updating the context vector based on the first input text and the first output text; And a program for executing a method comprising the step of outputting said first output text.
  • Expressions such as "first" or “second” used in various embodiments of the present disclosure may modify various elements of the various embodiments, but do not limit the corresponding elements.
  • the above expressions do not limit the order and / or importance of the corresponding elements.
  • the above expressions may be used to distinguish one component from another.
  • both a first user device and a second user device are user devices and represent different user devices.
  • the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • a part is “connected” to another part, this includes not only “directly connected” but also “electrically connected” with another element in between. .
  • the fact that a part is “connected” with another part includes a case where a part is in a state capable of performing data communication with another part through signal transmission and reception.
  • Some embodiments may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented in algorithms running on one or more processors.
  • the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as “module” and “configuration” can be used broadly and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • the term “speaker” may refer to a person who utters a certain word, and the term “listener” may mean a person who hears a spoken word.
  • the speaker and the listener change every moment, and confusion may occur in distinguishing each person. Therefore, in the present disclosure, a person who uses the first language is classified as a "first speaker” and a person who uses the second language as a "second speaker” based on the language used by each person.
  • text may mean data for the purpose of conveying meaning to the other party.
  • Text may include natural language data such as letters, symbols, words, phrases, sentences, diagrams, and charts, data in the form of artificial language character arrangements, or voice data.
  • text may mean that a word spoken by a speaker is expressed as a text or voice signal.
  • target language means a language for translation purposes.
  • the second language may be the target language.
  • the term “input vector” refers to an information of each of a plurality of words included in the input text as an m-dimensional (m is an arbitrary natural number) real vector, and the term “context vector”. Means that the information about the context is expressed as an n-dimensional (n is any natural number) real vector.
  • the input vector and the context vector may be word embedding vectors corresponding to specific words.
  • the term “hidden vector” is sequentially changed by a plurality of input vectors for use in updating a context vector based on the input vector and translating the input text into output text.
  • Each of the temporary information is represented by k-dimensional (k is an arbitrary natural number) vectors.
  • FIG. 1 is a diagram illustrating an example of performing bidirectional translation according to an embodiment.
  • FIG. 1 a first speaker 110 and a second speaker 120 using different languages are shown.
  • the content spoken in the first language used by the first speaker 110 is translated into the second language used by the second speaker 120.
  • the second direction translation 140 is required in which the first direction translation 130 and the second speaker 120 are uttered in the second language and translated into the first language used by the first speaker 110.
  • the first speaker 110 and the second speaker 120 may use an electronic device that performs the functions of the first direction translation 130 and the second direction translation 140.
  • the electronic device when the first speaker 110 utters "Hello Hixon. It's been a while," in Korean, the electronic device according to an embodiment performs the first direction translation 130, thereby the second speaker 120. You can print the translated text "Hi Japson. Long time no see.” In English. Subsequently, when the second speaker 120 utters "Oh Chul-soo. Nice to meet you! In English, the electronic device according to an embodiment performs the second direction translation 140, whereby the first speaker ( 110) You can print the text translated into Korean "O Chul-soo. Nice to meet you!
  • the translation may be frequently performed without the speaker's intention because the translation is performed without considering the utterance of the other party. Accordingly, as shown in FIG. 1, the electronic device acquires information about a context for each language obtained while performing the first direction translation 130 and performs the second direction translation 140. Information about the context of each language can be shared 150 to be used for translation in each direction. According to an embodiment, the electronic device may perform a translation that more closely matches the intention of the speaker by sharing information about a context.
  • 2A-2C are diagrams illustrating a bidirectional translation system according to one embodiment.
  • FIGS. 2A to 2C Although only two speakers are shown in FIGS. 2A to 2C, the number of speakers is not limited to two, and the disclosure of FIGS. 2A to 2C is a case in which one speaker monologues or three or more speakers talk. Applicable to
  • the electronic devices 200-1, 200-2, 200-5, and 200-6 illustrated in FIGS. 2A to 2C may be smartphones, tablet PCs, laptop computers, and wearable devices.
  • a wearable device, a desktop, an e-book device, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, or an MP3 player may be implemented as various devices or servers, but is not limited thereto.
  • FIG. 2A is a diagram illustrating a translation system including the electronic device 200-1 according to an embodiment.
  • the electronic device 200-1 may receive the speech of the first speaker 110.
  • the electronic device 200-1 may translate the received speech into a second language and output the translated speech to the second speaker 120.
  • the electronic device 200-1 may be a smartphone.
  • the electronic device 200-1 When the first speaker 110 utters "Hi Schoson. It's been a while,” in Korean toward the electronic device 200-1, the electronic device 200-1 translates it into English after receiving the utterance, "Hi Japson.” . Long time no see. "
  • the electronic device 200-1 may output text translated in the form of letters on the screen or output text translated in the form of a voice signal.
  • the electronic device 200-1 when the second speaker 120 speaks the second language, the electronic device 200-1 receives the speech of the second speaker 120 and translates the first speaker 110 into the first language. You can also perform reverse translations to.
  • 2B is a diagram illustrating a translation system including an electronic device 200-2 and a server 200-3 according to an embodiment.
  • the electronic device 200-2 and the server 200-3 may be interconnected by wireless or wired, and may transmit and receive data to each other.
  • the electronic device 200-2 when the first speaker 110 speaks the first language, the electronic device 200-2 receives the speech of the first speaker 110 and translates the second speaker 120 into the second language. ), And information necessary for translation may be received from the server 200-3.
  • the electronic device 200-2 receives the spoken contents and transmits them to the server 200-3, and the server translates the spoken contents into the second language. To transmit to the electronic device 200-2 again.
  • the electronic device 200-2 may transmit the content translated into the second language to the second speaker 120.
  • the electronic device 200-2 may receive the spoken content and transmit it to the server 200-3.
  • the server 200-3 may transmit, to the electronic device 200-2, the text “I have one sister and one sister.” In which the uttered contents are translated.
  • the electronic device 200-2 when the second speaker 120 speaks the second language, the electronic device 200-2 receives the speech of the second speaker 120 and translates the first speaker 110 into the first language. ), And information necessary for translation may be received from the server 200-3.
  • the electronic device 200-2 receives the spoken contents and transmits them to the server 200-3, and the server translates the spoken contents into the first language. To transmit to the electronic device 200-2 again.
  • the electronic device 200-2 may transmit the content translated into the first language to the first speaker 110.
  • 2C is a diagram illustrating a translation system including a server 200-4 and a plurality of electronic devices 200-5 and 200-6 according to an embodiment.
  • the electronic device 200-5 may receive the spoken contents and transmit the same to the server 200-4.
  • the server 200-4 may translate the content spoken in the first language into the second language and transmit the translated content to the electronic device 200-6.
  • the electronic device 200-6 may output the translated content to the second speaker 120.
  • the electronic device 200-6 may receive the transmitted content and transmit the same to the server 200-4.
  • the server 200-4 may translate the content spoken in the second language into the first language and transmit the translated content to the electronic device 200-5.
  • the electronic device 200-5 may output the translated content to the first speaker 110.
  • a translation system may include at least one electronic device and further include a server.
  • a bidirectional translation method performed in the “electronic device” will be described.
  • some or all of the operations of the electronic device described below may be performed in the server, and may be partially performed by the plurality of electronic devices.
  • FIG. 3 is a block diagram illustrating a configuration of an electronic device according to an exemplary embodiment.
  • the electronic device 200 may include an acquirer 310, a processor 320, and an output unit 330.
  • the electronic device 200 may be implemented by more components than all the components shown in FIG. 3.
  • the electronic device 200 according to an embodiment of the present invention may be included in at least one of a home appliance, a mobile computing device, and a server, or may be connected wirelessly or wirelessly to at least one of the home appliance, a mobile computing device, and a server. It can be implemented to be connected.
  • the acquirer 310 may obtain input text of at least one language.
  • the acquirer 310 may acquire a first input text of a first language.
  • the acquirer 310 may acquire a second input text of a second language.
  • the type of language of the input text that can be obtained by the acquirer 310 is not limited to a specific language.
  • the acquisition unit 310 May be obtained by converting a speech of “tired” and a speech of “Me, too” into text in a form that the processor 320 may process.
  • the acquirer 310 may include a microphone, and may directly receive a speaker's voice through the microphone.
  • the acquirer 310 may convert the received voice into text by performing voice recognition.
  • the acquirer 310 may receive the text converted from the voice received from the external device from the external device.
  • the acquirer 310 is included in the electronic device 200, but according to another exemplary embodiment, the acquirer 310 is included in a separate device and is connected to the electronic device 200. It can be implemented in the form that is connected to.
  • the acquirer 310 and the processor 320 are illustrated in separate configurations. However, the embodiment is not limited thereto.
  • the acquirer 310 according to an exemplary embodiment may be a component included in the processor 320, or some or all of the functions performed by the acquirer 310 may be performed by the processor 320.
  • the processor 320 may perform a series of processes for translating the input text acquired by the acquirer 310 in one embodiment.
  • the processor 320 may perform the first direction translation 130 that translates the first input text of the first language into the first output text of the second language based on the context vector. For example, the first input text "tired" of the first language may be translated into "Tired", the first output text of the second language.
  • the processor 320 may update the context vector based on the first input text and the first output text.
  • the processor 320 may perform the second direction translation 140 that translates the second input text of the second language into the second output text of the first language based on the updated context vector.
  • the second input text “Me, too” of the second language may be translated into the second output text “I am tired” of the first language.
  • the processor 320 may update the context vector again based on the second input text and the second output text.
  • the processor 320 may operate by an artificial intelligence system based on deep learning.
  • the electronic device 200 may include a plurality of processors.
  • the output unit 330 may output a translation result performed by the processor 320.
  • the output unit 330 may notify the user of the result of the translation, or transmit it to an external device (for example, a smart phone, a smart TV, a smart watch, a server, etc.).
  • the output unit 330 may include a display capable of outputting the translated text or a speaker capable of outputting the translated speech signal.
  • the output unit 330 may output at least one of the first output text and the second output text.
  • the output unit 330 may output a voice corresponding to at least one of the first output text and the second output text and transmit the voice to the listener.
  • the voice corresponding to at least one of the first output text and the second output text may be delivered only to the listener, or both to the listener and the speaker.
  • the output unit 330 may output a letter corresponding to at least one of the first output text and the second output text and transmit the letter to the listener.
  • the output unit 330 may display a letter corresponding to at least one of the first output text and the second output text through a display. Characters corresponding to at least one of the first output text and the second output text may be delivered only to the listener, or both to the listener and the speaker.
  • the method of outputting at least one of the first output text and the second output text is not limited to using voice and text.
  • the block diagram of the electronic device 200 illustrated in FIG. 3 may be used to implement the electronic devices 200-1, 200-2, 200-5, and 200-6 illustrated in FIGS. 2A to 2C.
  • FIG. 4 is a block diagram illustrating a configuration of a processor in an electronic device according to an embodiment.
  • Some or all of the blocks shown in FIG. 4 may be implemented in hardware and / or software configurations that perform particular functions.
  • the functions performed by the blocks shown in FIG. 4 may be implemented by one or more microprocessors or by circuit configurations for the function.
  • Some or all of the blocks shown in FIG. 4 may be software modules comprised of various programming languages or script languages that are executed in the processor 320 according to one embodiment.
  • the processor 320 may include a language identifier 410, a context manager 420, and a translator 430.
  • the language identifier 410 may identify the type of language spoken by the speaker in one embodiment. More specifically, the language identifier 410 may identify the type of language of the input text by analyzing the input text acquired by the acquirer 310. When the first speaker 110 speaks the first language, the language identifier 410 may identify that the type of the spoken language is the first language.
  • the spoken language may be referred to as a source language.
  • the language identifier 410 may analyze the first input text to identify that the type of the language of the first input text is the first language.
  • the language identifier 410 may analyze the second input text to identify that the type of the language of the second input text is the second language.
  • the acquirer 310 acquires the first input text
  • the language identifier 410 may analyze the first input text to identify that the source language is the first language
  • the acquirer 310 may determine the second input text.
  • the language identification unit 410 may analyze the second input text to identify that the source language is the second language.
  • the language identifier 410 may determine which language to translate the spoken language into. In other words, the language identifier 410 may determine a target language based on the identified source language. For example, when the first speaker 110 speaks in the first language, the language identifier 410 may determine the second language as a target language to translate the speeches of the first language.
  • the electronic device 200 may preset language pairs used in performing bidirectional translation.
  • the electronic device 200 may preset language pairs used for bidirectional translation in English and Korean.
  • the target language to which the source language is translated may be automatically determined to be Korean.
  • the target language to which the source language is translated may be automatically determined to be English.
  • the language identifier 410 may determine the target language based on information previously stored in the memory (not shown in the figure).
  • the memory may store a type of language most frequently selected as a target language when the speaker uses the electronic device 200, and may be used as a reference when later determining the target language.
  • the language identifier 410 may identify the listener using an external sensor (not shown), and may determine a target language used by the identified listener.
  • the external sensor may identify the listener based on, for example, the skin color of the listener, the color of the iris, the palmistry, the fingerprint, the tone, and the like, and may determine the target language used by the listener based on the identified listener's nationality, race, and the like. .
  • the language identification unit 410 may determine the target language based on the information input from the speaker or the listener.
  • the input unit (not shown in the drawing) may receive a type of language used by the listener from the speaker or the listener, and the language identifier 410 may input the language of the listener used by the speaker or the listener.
  • the target language may be determined based on the type.
  • the context manager 420 may update the context vector based on the first input text of the first language and the first output text of the second language in one embodiment. More specifically, the context manager 420 may update the context vector while the translation unit 430 translates the first input text of the first language into the first output text of the second language. In addition, the context manager 420 may update the context vector even when the translation unit 430 translates the second input text of the second language into the second output text of the first language.
  • the context manager 420 may initialize the context vector. A detailed process of initializing the context vector by the context manager 420 will be described later with reference to FIG. 8.
  • the translator 430 may perform the first direction translation 130 for translating the first input text of the first language into the first output text of the second language based on the context vector in one embodiment.
  • the translation unit 430 may perform the second direction translation 140 for translating the second input text of the second language into the second output text of the first language based on the context vector.
  • the translator 430 may switch the direction of the translation. For example, if the speaker receives information indicating that the speaker has been switched from the first speaker 110 to the second speaker 120, the translation unit 430 stops the first direction translation 130. And second direction translation 140.
  • a block diagram of the electronic device 200 and the processor 320 illustrated in FIGS. 3 and 4 is a block diagram for an embodiment.
  • Each component of the block diagram may be integrated or added according to the specification of the electronic device 200 that is actually implemented. That is, two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining the embodiments, the specific operation or apparatus does not limit the scope of the present disclosure.
  • the translation engine that the electronic device 200 described above may use in translating a plurality of speaker conversations is not limited to one processor 320 or one translation unit 430 included in one processor. While performing translation in each direction, a plurality of processors or a plurality of different translation units may be used for each direction.
  • the electronic device 200 may use an artificial intelligence system based on deep learning.
  • the electronic device 200 may use an artificial neural network machine translation (NMT).
  • NMT neural network machine translation
  • FIG. 5A is a flowchart of a method of performing a first direction translation by an electronic device according to an embodiment
  • FIG. 5B is a flowchart of a method of performing bidirectional translation by an electronic device according to an embodiment.
  • Each step of the method illustrated in FIGS. 5A and 5B may be performed by a component of the electronic device 200 illustrated in FIG. 3, and detailed descriptions overlapping with the description of FIG. 3 will be omitted.
  • the electronic device 200 is the subject of an operation has been described as an example, but the following description may be applied to the case where the server is the subject of an operation.
  • Each step of the method shown in FIGS. 5A and 5B may be implemented using artificial intelligence techniques.
  • the electronic device 200 may obtain a first input text of a first language. For example, as illustrated in FIG. 1, the electronic device 200 may obtain a first input text of "Hi Hison. It's been a while" from the speech of the first speaker 110.
  • the electronic device 200 may perform a first direction translation that translates the first input text of the first language into the first output text of the second language based on the context vector. More specifically, the electronic device 200 translates the first input text into the first output text of the second language based on the context vector generated based on the text obtained before the first input text is obtained.
  • Direction translation can be performed. For example, as illustrated in FIG. 1, the electronic device 200 may translate the first input text "Hi Japson. Long time.” Into the first output text "Hi Japson. Long time no see.” have.
  • the electronic device 200 may increase the accuracy of the translation by performing the translation using the context vector in which the contents of the previous conversation are reflected.
  • the context vector means that the information about the context is expressed as a vector corresponding to a specific position in n-dimensional space (where n is any natural number).
  • the context vector can be updated whenever information about the context is accumulated.
  • the updated context vector only changes the position of the vector in the n-dimensional vector space as compared with the context vector before the update, but may accumulate and include information about various contexts generated as the conversation accumulates.
  • the context vector may include a first context vector generated based on text in a first language and a second context vector generated based on text in a second language.
  • the context vector may further include a context vector of another language (eg, a third context vector of a third language).
  • the electronic device 200 is based on at least one of input text of a first language that was obtained before acquiring the first input text and output text of the first language that was output before acquiring the first input text.
  • To generate a first context vector the electronic device 200 may generate a second context based on at least one of an input text of a second language acquired before acquiring the first input text and an output text of the second language output before acquiring the first input text. You can create a vector. That is, the electronic device 200 may generate a context vector based on the speaker's previous speech.
  • a second context vector may be used in the first direction translation 130 for translating input text of the first language into output text of the second language, and translating input text of the second language into output text of the first language.
  • the first context vector may be used for the second direction translation 140.
  • the electronic device 200 may update the context vector based on the first input text and the first output text.
  • the context vector before the speaker first speaks may be in an initialized state.
  • the n-dimensional context vector may take a preset initial value.
  • the electronic device 200 may update the context vector based on the acquired first input text and the first output text in which the first input text is translated.
  • the electronic device 200 may update the context vector based on the input text and the output text of the previous utterance. In this case, the electronic device 200 may again update the context vector based on the acquired first input text and the first output text in which the first input text is translated.
  • the electronic device 200 may output the first output text. For example, as illustrated in FIG. 1, the electronic device 200 may output a first output text of “Hi Japson. Long time no see.” Generated by translating the first input text.
  • FIG. 5A a method of translating a first direction using a context vector is described.
  • the embodiment is not limited thereto, and the electronic device 200 according to an embodiment may perform bidirectional translation.
  • 5B is a flowchart illustrating a first direction translation method and a second direction translation method of an electronic device according to an embodiment.
  • 5B illustrates a first direction translation in which a first language is translated into a second language when the first speaker 110 speaks in the first language and the second speaker 120 speaks in the second language in response to the speech.
  • 130 is a flowchart illustrating a series of processes in which the second direction translation 140 for translating the second language into the first language is performed. Since steps 525 and 540 perform the same operations as those in steps 505 and 520 of FIG. 5A, detailed descriptions thereof will be omitted.
  • the electronic device 200 may obtain a first input text of a first language.
  • the electronic device 200 translates the first input text of the first language into the first output text of the second language based on the second context vector generated by the text of the second language. Can be performed.
  • the electronic device 200 may update the first context vector based on the first input text and update the second context vector based on the first output text.
  • the electronic device 200 may output the first output text.
  • the electronic device 200 may obtain a second input text of a second language. For example, the electronic device 200 may obtain a second input text of "Oh Chul-soo. Nice to meet you! From the second speaker 120.
  • the electronic device 200 translates the second input text of the second language into the second output text of the first language based on the first context vector generated by the text of the first language. Can be performed.
  • the electronic device 200 may perform a second direction translation that translates the second input text of the second language into the second output text of the first language based on the updated context vector in step 530.
  • the electronic device 200 may translate the second input text of "Oh Chul-soo. Nice to meet you! Into a second output text of "Oh, Cheol-soo. Nice to meet you!
  • the electronic device 200 may update the second context vector based on the second input text, and update the first context vector based on the second output text. In other words, the electronic device 200 may again update the context vector updated in operation 530 based on the second input text and the second output text.
  • the electronic device 200 may output the second output text.
  • the electronic device 200 may output the second output text, “Oh, Cheol-soo. Nice to meet you!” Generated by translating the second input text.
  • FIG. 6 illustrates a process of performing a first direction translation according to an embodiment.
  • the electronic device 200 may determine the plurality of first input vectors 610 corresponding to the plurality of words included in the first input text of the first language.
  • the electronic device 200 "Hi jepseun. Long time no" of agent is “Hi” first input is the corresponding vector x 1, "jepseun” 1 for obtaining the input text, the electronic device 200 and The plurality of first input vectors 610 including the corresponding first input vector x 2 and the first input vector x 3 corresponding to “Long time no time” may be determined.
  • the electronic device 200 may sequentially generate the plurality of first hidden vectors 640 based on the determined plurality of first input vectors 610.
  • the first hidden vector may be calculated through Equation 1 below.
  • the function f 1 can use W in the operation, which can be interpreted as a parameter matrix learned (or to be learned) to change the dimension of the first input vector x t to correspond to the dimension of the first hidden vector h t . .
  • W is an n * m matrix, and the operation method of the function f 1 may vary.
  • the electronic device 200 may determine weights of each of the plurality of first hidden vectors 640.
  • the weight may vary depending on which of the plurality of output hidden vectors s 1 , s 2 , ..., s K (K is a natural number, the total number of words to be included in the first output text) is used.
  • the weight is determined in the process of performing an operation between the t-th output Hidden vector s a to yield t t-1 th output Hidden vector s t-1 and a plurality of first input hidden vector 640 Can be.
  • the electronic device 200 may calculate a vector b at which the weight of each of the plurality of first hidden vectors 640 is applied to each of the plurality of first hidden vectors 640.
  • the process of calculating the vector b at can be confirmed by Equation 2 below.
  • Equation 2 i may mean an index of a plurality of words included in the first input text, and j may mean an index of a plurality of words included in the first output text.
  • the electronic device 200 may include a vector b at which weights are considered in the plurality of first hidden vectors 640, a t ⁇ 1 th output hidden vector s t ⁇ 1, and a t ⁇ 1 th first output vector y.
  • the output hidden vector s t can be determined using t -1 .
  • the formula for calculating the output hidden vector s t can be found in Equation 3 below.
  • the output hidden vector s 0 may coincide with the second context vector c 2 , updated based on previous speeches.
  • the operation method of the function f 2 may vary.
  • the electronic device 200 may update the second context vector 620 using the plurality of output hidden vectors.
  • the process of updating the second context vector 620 can be confirmed by referring to Equation 4 below.
  • c 2u - 1 is interpreted as a concept meaning a second context vector 620 before updating
  • c 2u means a second context vector 620 after updating
  • a second context vector c 2u before update - if using a first hidden and the output vector s t perform the function f 3 calculation can calculate the vector c 2u second context after the update.
  • the operation method of the function f 3 may vary.
  • a relationship of Equation 5 may be established between the t ⁇ 1 th first output vector y t ⁇ 1 , the t th output hidden vector s t, and the t th first output vector y t , and By using the relationship of the plurality of first output vectors 630 y 1 to y K (K is a natural number) can be determined.
  • the operation method of the function f 4 may vary.
  • the electronic device 200 may determine a plurality of words to be included in the first output text based on the determined plurality of first output vectors 630.
  • the total number of the plurality of first output vectors 630 may match the total number of words to be included in the first output text.
  • the electronic device 200 may first select one or more candidate words for each first output vector, and then determine only one word corresponding to each first output vector and combine the determined words. The combined words may form the first output text.
  • FIG. 7 is a diagram illustrating a process of performing a first direction translation and a second direction translation according to an embodiment.
  • Block 702 of FIG. 7 illustrates a process of translating a first input text of a first language spoken by a first speaker into a first output text of a second language.
  • Block 703 illustrates a process of translating a second input text of a second language spoken by a second speaker into a second output text of a first language.
  • Block 701 refers to the process of translating the input text of the spoken first language into the output text of the second language before the first speaker speaks the first input text.
  • the process in which the translation is performed in block 702 may correspond to the process of performing the first direction translation in FIG. 6.
  • the first context vector 710 shown in FIG. 7 is a context vector generated based on text in the first language. According to an embodiment, the first context vector 710 may be updated based on the input text of the first language.
  • the second context vector 620 may be used in the course of the translation being performed in blocks 701 and 702 and may be updated based on the output text of the second language.
  • the electronic device 200 may update the first context vector 710 by using the plurality of first hidden vectors 640.
  • the process of updating the first context vector 710 can be confirmed by referring to Equation 6 below.
  • c 1u - 1 is interpreted as a concept meaning a first context vector 710 before updating and c 1u means a first context vector 710 after updating.
  • a first context vector c 1u before update - When using the 1 in the first hidden vector h t perform the function f 5 operation can calculate a vector c 1u first context after the update.
  • the operation method of the function f 5 may vary.
  • the second context vector 620 which is used to translate the first input text into the first output text, is in the process of translating previous speeches shown in block 701. It may have been updated.
  • the electronic device 200 may transmit the second input text to the first language of the first language. 2 can be translated into the output text. In other words, the electronic device 200 performs a second direction translation 140 that translates the second input text of the second language spoken by the second speaker 120 into the second output text of the first language.
  • the electronic device 200 may generate a plurality of second input vectors 720 corresponding to the second input text, and generate a plurality of second input vectors 720 based on the plurality of second input vectors 720.
  • Hidden vectors 730 may be generated, and a plurality of second output vectors may be generated based on the first context vector 710 and the plurality of second hidden vectors 730.
  • the principle of the second direction translation 140 is the same as that of the first direction translation 130 described above with reference to FIG. 6.
  • the second context vector 620 may be updated based on the input text of the first language.
  • the first context vector 710 may be used in the course of the translation being performed in block 703 and may be updated based on the output text of the first language.
  • the electronic device 200 may perform first direction translation and second direction translation using a context vector. Accordingly, when the information about the entire conversation history between the speakers is stored in the database DB and compared with the method of using the stored information when necessary, the electronic device 200 according to an embodiment uses the context vector to display the context. By managing the related information, the data storage capacity of the electronic device 200 can be reduced. In addition, since the translation method using the electronic device 200 according to an embodiment does not require an additional search operation such as a database search, resource overhead may be prevented.
  • the electronic device 200 may solve the aforementioned problem by initializing a context vector when a topic of a conversation is switched.
  • FIG. 8 is a diagram illustrating a process of initializing a context vector, according to an exemplary embodiment.
  • the electronic device 200 may initialize the context vector. More specifically, when it is determined that the topic of the spoken language is switched, the electronic device 200 may initialize the first context vector 810 and the second context vector 820.
  • the electronic device 200 may determine the first context vector 810. And the second context vector 820 may be initialized. For example, when the first hidden vector h T 830 is generated last among the plurality of first hidden vectors, the degree of association between the first hidden vector h T 830 and the first context vector 810 is shown. If it is less than the predetermined reference value, the electronic device 200 may initialize the first context vector 810 and the second context vector 820.
  • the electronic device 200 may determine the first context vector 810. And the second context vector 820 may be initialized. For example, when the first hidden vector h T 830 is generated last of the plurality of first hidden vectors, the distance between the first hidden vector h T 830 and the first context vector 810 is previously determined. If greater than the determined reference value, the electronic device 200 may initialize the first context vector 810 and the second context vector 820. The association degree between the first hidden vector h T (830) in the first context vector first hidden The larger the distance between the vector 810 h T (830) in the first context vector 810 may be less.
  • the electronic device 200 may talk about utterance. May be determined to be inverted and may initialize the first context vector 810 and the second context vector 820.
  • the electronic device 200 may initialize the context vector based on the degree of association between the input vector and the context vector, even in various directions of translation. . For example, referring to block 703, the electronic device 200 may determine that the first context vector, when the association between the vector h T and the second context vector 620 of the second hidden vectors 730, is small. 710 and the second context vector 620 may be initialized.
  • the electronic device 200 when the electronic device 200 performs the first direction translation 130 and the second direction translation 140, at least one hidden vector and a first vector among the plurality of first hidden vectors 640 are formed.
  • the electronic device 200 may initialize the first context vector 710 and the second context vector 620.
  • the electronic device 200 initializes the context vector when the topic of the conversation is switched, thereby reducing the accuracy of the translation by using the context vector updated based on the previous conversation. You can prevent it.
  • FIG. 9 is a flowchart of a method of updating or initializing a context vector by an electronic device according to an embodiment.
  • steps 910, 960, and 970 perform the same operations as those in steps 505, 515, and 520 of FIG. 5A, detailed descriptions thereof will be omitted.
  • the electronic device 200 may obtain a first input text of a first language.
  • the electronic device 200 may generate a plurality of first hidden vectors 640 based on the first input text.
  • the electronic device 200 may determine whether an association degree between the last generated vector of the plurality of first hidden vectors 640 and the first context vector 710 is less than a predetermined reference value.
  • step 930 If it is determined in step 930 that the degree of association between the last generated vector among the plurality of first hidden vectors 640 and the first context vector 710 is less than a predetermined reference value, the electronic device 200 determines in step 940 that the first hidden vector 640 has an association degree.
  • the first context vector 710 and the second context vector 620 may be initialized.
  • step 930 If it is determined in step 930 that the degree of association between the last generated vector among the plurality of first hidden vectors 640 and the first context vector 710 is equal to or greater than a predetermined reference value, the process proceeds directly to step 950 and the electronic device 200. ) May perform a first direction translation 130 that translates the first input text of the first language into the first output text of the second language based on the context vector.
  • the electronic device 200 may update the context vector based on the first input text and the first output text.
  • the electronic device 200 may output the first output text.
  • FIG. 10 is a diagram for describing a method of sharing a context vector in a plurality of talker conversations, according to an exemplary embodiment.
  • the electronic device 200 may obtain a first input text of a first language, a second input text of a second language, and a third input text of a third language.
  • the first context vector c 1 may be generated based on the utterance of the first speaker using the first language or based on the translation of the utterance of the speaker using another language into the first language. Can be updated.
  • the second context vector c 2 may be generated and updated based on the utterance of the second speaker using the second language or based on the translation of the utterance of the speaker using another language into the second language.
  • the third context vector c 3 may be generated and updated based on the utterance of the third speaker using the third language or based on the translation of the utterance of the speaker using another language into the third language.
  • the electronic device 200 may update the first context vector c 1 and the second context vector c 2 in the process of translating the dialogue between the first speaker and the second speaker. More specifically, the electronic device 200 performs a first direction translation for translating the content spoken by the first speaker into the second language and a second direction translation for translating the content spoken by the second speaker into the first language. Therefore, the first context vector c 1 and the second context vector c 2 may be updated.
  • the electronic device 200 may update the second context vector c 2 and the third context vector c 3 in the process of translating the dialogue between the second speaker and the third speaker. According as more specifically, the translation of the electronic device 200 to translate the content the second speaker is ignited into a third language, the third speaker utterance information in the second language, the second context vector (c 2) and The third context vector c 3 may be updated.
  • the electronic device 200 may update the first context vector c 1 and the third context vector c 3 in the process of translating the dialogue between the first speaker and the third speaker. More specifically, the electronic device 200 translates the third direction translation 1010 for translating the content spoken by the third speaker into the first language and the fourth direction translation for translating the content spoken by the first speaker into the third language. In operation 1020, the first context vector c 1 and the third context vector c 3 may be updated.
  • the electronic device 200 performs a third direction translation for translating the content spoken by the third speaker into the first language and a fourth direction translation for translating the content spoken by the first speaker into the third language. In doing so, the electronic device 200 translates the dialogue between the first speaker and the second speaker, the dialogue between the second speaker and the third speaker, and the updated first and third context vectors c 1 and c 3. At least one of) may be used (1030, 1040).
  • the electronic device 200 outputs the third input text of the third language to the third output of the first language based on the first context vector c 1 updated in the dialogue between the first speaker and the second speaker.
  • the third direction translation 1010 for translating the text may be performed.
  • the electronic device 200 may output the third output text according to an embodiment.
  • one electronic device 200 may perform a plurality of speaker-to-speaker translations, and the updated context vector may be translated into another combination while translating a particular combination of speaker-to-speaker conversations among the plurality of speakers. Can be used when translating pedestrian conversations. Through this, since the context extracted from the dialogue between the speakers in various combinations can be shared in the process of performing the translation, the electronic device 200 may perform the natural and accurate translation when translating the dialogue between the plurality of speakers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다.

Description

발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
다양한 실시예들은 양방향 전자 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 양방향 번역에 있어서 각 언어들의 문맥에 관한 정보를 공유하는 양방향 전자 장치 및 그 동작 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
양방향 번역을 수행할 때에도 딥러닝이 이용될 수 있는데, 구체적으로 인공 신경망 기계 번역(NMT, Neural Machine Translation)이 개발 및 발전 중에 있다. NMT는 종래의 통계 기반 번역(SMT, Statistical Machine Translation)이 주로 구(phrase) 단위를 번역했던 것과 다르게 문장(sentence) 전체를 고려하여 번역하는 방식이다. 번역하고자 하는 문장의 번역 결과 중 최적의 결과를 컴퓨터가 반복적으로 학습하여 자연스러운 번역을 수행할 수 있도록 한다.
다양한 실시예들은 복수의 언어들로 대화가 이루어지는 환경에서, 대화의 문맥(context)과 관련된 정보를 포함하는 각 언어의 문맥 벡터를 이용하여 양방향 번역을 수행하는 장치 및 그 동작 방법을 제공하는데 그 목적이 있다.
일부 실시예에 따른 전자 장치의 동작 방법은, 발화된(uttered) 언어를 번역하는 방법에 있어서, 제 1 언어의 제 1 입력 텍스트를 획득하는 단계; 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하는 단계; 상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 단계; 및 상기 제 1 출력 텍스트를 출력하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따라 양방향 번역이 수행되는 일 예를 도시하는 도면이다.
도 2a 내지 도 2c는 일 실시예에 따른 양방향 번역 시스템을 도시하는 도면이다.
도 3은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 전자 장치 내 프로세서의 구성을 나타내는 블록도이다.
도 5a는 일 실시예에 따라 전자 장치가 제 1 방향 번역을 수행하는 방법의 흐름도이고, 도 5b는 일 실시예에 따라 전자 장치가 양방향 번역을 수행하는 방법의 흐름도이다.
도 6은 일 실시예에 따라 제 1 방향 번역을 수행하는 과정을 도시한 도면이다.
도 7은 일 실시예에 따라 제 1 방향 번역 및 제 2 방향 번역을 수행하는 과정을 도시한 도면이다.
도 8은 일 실시예에 따라 문맥 벡터가 초기화되는 과정을 도시한 도면이다.
도 9는 일 실시예에 따라 전자 장치가 문맥 벡터를 업데이트 하거나 초기화 하는 방법의 흐름도이다.
도 10은 일 실시예에 따른 다수의 화자간 대화에서 문맥 벡터가 공유되는 방법을 설명하기 위한 도면이다.
일부 실시예에 따른 전자 장치의 동작 방법은, 발화된(uttered) 언어를 번역하는 방법에 있어서, 제 1 언어의 제 1 입력 텍스트를 획득하는 단계; 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하는 단계; 상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 단계; 및 상기 제 1 출력 텍스트를 출력하는 단계를 포함할 수 있다.
일부 실시예에 따른 전자 장치는, 제 1 언어의 제 1 입력 텍스트를 획득하는 획득부; 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하고, 상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 적어도 하나의 프로세서(processor); 및 상기 제 1 출력 텍스트를 출력하는 출력부를 포함할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 문맥 벡터는, 상기 제 1 언어의 텍스트에 기초하여 생성된 제 1 문맥 벡터 및 상기 제 2 언어의 텍스트에 기초하여 생성된 제 2 문맥 벡터를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제 2 문맥 벡터에 기초하여 상기 제 1 방향 번역을 수행하고, 상기 제 1 입력 텍스트에 기초하여 상기 제 1 문맥 벡터를 업데이트 하고, 상기 제 1 출력 텍스트에 기초하여 상기 제 2 문맥 벡터를 업데이트 할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 상기 제 1 언어의 입력 텍스트 및 상기 제 1 입력 텍스트를 획득하기 전에 출력되었던 상기 제 1 언어의 출력 텍스트 중 적어도 하나에 기초하여 상기 제 1 문맥 벡터를 생성하고, 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 상기 제 2 언어의 입력 텍스트 및 상기 제 1 입력 텍스트를 획득하기 전에 출력되었던 상기 제 2 언어의 출력 텍스트 중 적어도 하나에 기초하여 상기 제 2 문맥 벡터를 생성할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제 1 방향 번역을 수행함에 있어서, 상기 제 1 언어의 제 1 입력 텍스트에 포함된 복수의 단어들과 대응되는 복수의 제 1 입력 벡터들에 기초하여 복수의 제 1 히든 벡터들을 순차로 생성하고, 상기 복수의 제 1 히든 벡터들 각각의 가중치들을 결정하고, 상기 복수의 제 1 히든 벡터들 각각의 가중치들, 상기 복수의 제 1 히든 벡터들 및 상기 제 2 문맥 벡터를 이용하여 복수의 제 1 출력 벡터들을 결정하고, 상기 복수의 제 1 출력 벡터들에 기초하여 상기 제 1 출력 텍스트에 포함될 복수의 단어들을 결정할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 발화된 언어의 화제가 전환되었다고 판단되는 경우 상기 제 1 문맥 벡터 및 상기 제 2 문맥 벡터를 초기화 할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 복수의 제 1 히든 벡터들 중 최후에 생성된 벡터와 상기 제 1 문맥 벡터간의 연관도가 미리 결정된 기준값 미만인 경우 또는 상기 복수의 제 2 히든 벡터들 중 최후에 생성된 벡터와 상기 제 2 문맥 벡터간의 연관도가 미리 결정된 기준값 미만인 경우 상기 제 1 문맥 벡터 및 상기 제 2 문맥 벡터를 초기화 할 수 있다.
일 실시예에 따른 전자 장치에 있어서, 상기 문맥 벡터는 제 3 언어의 텍스트에 기초하여 생성된 제 3 문맥 벡터를 더 포함하고, 상기 획득부는, 상기 제 3 언어의 제 3 입력 텍스트를 더 획득하고, 상기 적어도 하나의 프로세서는, 상기 업데이트 된 제 1 문맥 벡터에 기초하여 상기 제 3 언어의 제 3 입력 텍스트를 상기 제 1 언어의 제 3 출력 텍스트로 번역하는 제 3 방향 번역을 수행하고, 상기 제 3 입력 텍스트 및 상기 제 3 출력 텍스트 각각에 기초하여 상기 업데이트 된 제1 문맥 벡터 및 상기 제3 문맥 벡터를 업데이트하며, 상기 출력부는, 상기 제3 출력 텍스트를 출력할 수 있다.
일부 실시예에 따른 기록 매체는, 발화된(uttered) 언어를 번역하는 방법에 있어서, 제 1 언어의 제 1 입력 텍스트를 획득하는 단계; 상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하는 단계; 상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 단계; 및 상기 제 1 출력 텍스트를 출력하는 단계를 포함하는 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체이다.
아래에서는 첨부한 도면을 참조하여 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서에서 사용된 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시의 다양한 실시 예에서 사용된 "제 1" 또는 "제 2" 등의 표현들은 다양한 실시 예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제 1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다.
예를 들어, 본 개시의 다양한 실시 예의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 다른 부분과 “연결”되어 있다고 함은 어떤 부분이 다른 부분과 신호 송수신을 통해 데이터 통신을 수행할 수 있는 상태가 되어 있는 경우를 포함한다.
일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “모듈” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에 기재된 실시예에서 "화자"라는 용어는 어떠한 말을 발화한 사람을 의미하고, "청자"라는 용어는 발화된 말을 듣는 사람을 의미할 수 있다. 복수의 사람들이 대화를 함에 있어서, 화자와 청자는 시시각각 변화하므로 각 사람을 구분하는데 혼선이 발생할 수 있다. 따라서, 본 개시에서는 각 사람이 사용하는 언어에 기초하여, 제 1 언어를 사용하는 사람을 "제 1 화자"로, 제 2 언어를 사용하는 사람을 "제 2 화자"로 구분하기도 할 것이다.
본 개시에 기재된 실시예에서 "텍스트"라는 용어는, 상대방에게 의미를 전달하는 것을 목적으로 하는 데이터를 의미할 수 있다. “텍스트”는, 문자, 기호, 단어, 구, 문장, 다이어그램, 도표 등의 자연 언어 형태의 데이터, 인공 언어 문자 배열 형태의 데이터 또는 음성 데이터를 포함할 수 있다. 예를 들어, “텍스트”는, 화자에 의해 발화된 말이 문자 또는 음성 신호로 표현된 것을 의미할 수 있다.
본 개시에 기재된 실시예에서 "타겟(target) 언어"라는 용어는 번역의 목적이 되는 언어를 의미한다. 예를 들어, 제 1 언어의 텍스트를 제 2 언어의 텍스트로 번역함에 있어서, 제 2 언어가 타겟 언어가 될 수 있다.
본 개시에 기재된 실시예에서 "입력 벡터"라는 용어는 입력 텍스트에 포함된 복수의 단어들 각각의 정보를 m차원(m은 임의의 자연수) 실수 벡터로 표현한 것을 의미하며, "문맥 벡터"라는 용어는 문맥에 관한 정보를 n차원(n은 임의의 자연수) 실수 벡터로 표현한 것을 의미한다. 입력 벡터 및 문맥 벡터는 특정 단어와 대응되는 벡터(word embedding vector) 일 수 있다.
또한, 본 개시에 기재된 실시예에서 "히든 벡터"라는 용어는, 입력 벡터에 기초하여 문맥 벡터를 업데이트 하고 입력 텍스트를 출력 텍스트로 번역할 때 이용하기 위해, 복수의 입력 벡터들에 의해 순차로 변화하는 임시의 정보들 각각을 k차원(k는 임의의 자연수) 벡터들로 표현한 것을 의미한다.
이하 첨부된 도면을 참고하여 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따라 양방향 번역이 수행되는 일 예를 도시하는 도면이다.
도 1에는, 서로 다른 언어를 사용하는 제 1 화자(110) 및 제 2 화자(120)가 도시된다. 제 1 화자(110) 및 제 2 화자(120)가 대화하기 위해서는, 제 1 화자(110)가 사용하는 제 1 언어로 발화된 내용이 제 2 화자(120)가 사용하는 제 2 언어로 번역되는 제 1 방향 번역(130) 및 제 2 화자(120)가 제 2 언어로 발화된 내용이 제 1 화자(110)가 사용하는 제 1 언어로 번역되는 제 2 방향 번역(140)이 요구된다. 제 1 화자(110) 및 제 2 화자(120)는 제 1 방향 번역(130) 및 제 2 방향 번역(140) 기능을 수행하는 전자 장치를 이용할 수 있다.
예를 들어, 제 1 화자(110)가 한국어로 "안녕 젭슨. 오랜만이야."라고 발화하면, 일 실시예에 따른 전자 장치는 제 1 방향 번역(130)을 수행함으로써, 제 2 화자(120)에게 영어로 "Hi Japson. Long time no see."라고 번역된 텍스트를 출력할 수 있다. 이어서, 제 2 화자(120)가 영어로 "Oh Chul-soo. Nice to meet you!"라고 발화하면, 일 실시예에 따른 전자 장치는 제 2 방향 번역(140)을 수행함으로써, 제 1 화자(110)에게 한국어로 "오 철수야. 만나서 반가워!"라고 번역된 텍스트를 출력할 수 있다.
제 1 방향 번역(130) 및 제 2 방향 번역(140)이 독립적으로 수행되는 경우, 상대방의 발화를 고려하지 않고 번역이 수행되므로 화자의 의도와 다르게 번역되는 경우가 빈번하게 발생할 수 있다. 따라서, 일 실시예에 따른 전자 장치는, 도 1에 도시된 바와 같이 제 1 방향 번역(130)을 수행하면서 획득한 각 언어별 문맥에 관한 정보와 제 2 방향 번역(140)을 수행하면서 획득한 각 언어별 문맥에 관한 정보를 공유(150)하여 각 방향 번역에 이용할 수 있다. 일 실시예에 따른 전자 장치는, 문맥에 관한 정보를 공유함으로써 화자의 의도에 보다 부합하는 번역을 수행할 수 있다.
도 2a 내지 도 2c는 일 실시예에 따른 양방향 번역 시스템을 도시하는 도면이다.
도 2a 내지 도 2c에는 두 명의 화자만이 도시되어 있지만 화자의 수는 두 명에 한정되지 않으며, 도 2a 내지 도 2c의 개시 내용은 한 명의 화자가 독백하는 경우 또는 세 명 이상의 화자가 대화하는 경우에도 적용될 수 있다.
일 실시예에 따르면, 도 2a 내지 도 2c에 도시된 전자 장치(200-1, 200-2, 200-5, 200-6)는 스마트폰, 태블릿 PC, 노트북 컴퓨터(laptop computer), 웨어러블 디바이스(wearable device), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등의 다양한 기기 또는 서버로 구현될 수 있으며, 이에 한정되지 않는다.
도 2a는 일 실시예에 따라 전자 장치(200-1)를 포함하는 번역 시스템을 도시하는 도면이다.
일 실시예에 따르면, 전자 장치(200-1)는 제 1 화자(110)가 제 1 언어로 발화하면, 제 1 화자(110)의 발화를 수신할 수 있다. 전자 장치(200-1)는 수신된 발화를 제 2 언어로 번역하여 제 2 화자(120)에게 출력할 수 있다.
예를 들어, 전자 장치(200-1)는 스마트폰일 수 있다. 제 1 화자(110)가 전자 장치(200-1)를 향해 한국어로 "안녕 젭슨. 오랜만이야."라고 발화하면, 전자 장치(200-1)는 발화를 수신한 후 영어로 번역하여 "Hi Japson. Long time no see."라는 발화를 출력할 수 있다. 전자 장치(200-1)는, 화면 상에 글자의 형태로 번역된 텍스트를 출력하거나, 음성 신호의 형태로 번역된 텍스트를 출력할 수 있다.
일 실시예에 따르면, 전자 장치(200-1)는 제 2 화자(120)가 제 2 언어로 발화하면, 제 2 화자(120)의 발화를 수신하고 제 1 언어로 번역하여 제 1 화자(110)에게 출력하는 역방향의 번역도 수행할 수 있다.
도 2b는 일 실시예에 따라 전자 장치(200-2) 및 서버(200-3)를 포함하는 번역 시스템을 도시하는 도면이다.
전자 장치(200-2) 및 서버(200-3)는 무선 또는 유선으로 상호 연결될 수 있으며, 상호간에 데이터를 송수신할 수 있다.
일 실시예에 따르면, 전자 장치(200-2)는 제 1 화자(110)가 제 1 언어로 발화하면, 제 1 화자(110)의 발화를 수신하고 제 2 언어로 번역하여 제 2 화자(120)에게 출력할 수 있으며, 이때 번역에 필요한 정보를 서버(200-3)로부터 수신할 수 있다.
또는, 제 1 화자(110)가 제 1 언어로 발화하면 전자 장치(200-2)는 발화된 내용을 수신하여 서버(200-3)에 송신하고, 서버는 발화된 내용을 제 2 언어로 번역하여 다시 전자 장치(200-2)로 송신할 수 있다. 전자 장치(200-2)는 제 2 언어로 번역된 내용을 제 2 화자(120)에게 전달할 수 있다.
예를 들어, 미국인 화자가 "I have two sisters."라고 발화한 경우, 전자 장치(200-2)는 발화된 내용을 수신하여 서버(200-3)에 송신할 수 있다. 서버(200-3)는 발화된 내용이 번역된 "나는 누나 한 명과 여동생 한 명이 있어."라는 텍스트를 전자 장치(200-2)에게 송신할 수 있다.
일 실시예에 따르면, 전자 장치(200-2)는 제 2 화자(120)가 제 2 언어로 발화하면, 제 2 화자(120)의 발화를 수신하고 제 1 언어로 번역하여 제 1 화자(110)에게 출력할 수 있으며, 이때 번역에 필요한 정보를 서버(200-3)로부터 수신할 수 있다.
또는, 제 2 화자(120)가 제 2 언어로 발화하면 전자 장치(200-2)는 발화된 내용을 수신하여 서버(200-3)에 송신하고, 서버는 발화된 내용을 제 1 언어로 번역하여 다시 전자 장치(200-2)로 송신할 수 있다. 전자 장치(200-2)는 제 1 언어로 번역된 내용을 제 1 화자(110)에게 전달할 수 있다.
도 2c는 일 실시예에 따라 서버(200-4) 및 복수의 전자 장치(200-5, 200-6)들을 포함하는 번역 시스템을 도시하는 도면이다.
일 실시예에 따르면, 제 1 화자(110)가 제 1 언어로 발화하면 전자 장치(200-5)는 발화된 내용을 수신하여 서버(200-4)로 송신할 수 있다. 서버(200-4)는 제 1 언어로 발화된 내용을 제 2 언어로 번역하여 전자 장치(200-6)에 송신할 수 있다. 전자 장치(200-6)는 번역된 내용을 제 2 화자(120)에게 출력할 수 있다.
일 실시예에 따르면, 제 2 화자(120)가 제 2 언어로 발화하면 전자 장치(200-6)는 발화된 내용을 수신하여 서버(200-4)로 송신할 수 있다. 서버(200-4)는 제 2 언어로 발화된 내용을 제 1 언어로 번역하여 전자 장치(200-5)에 송신할 수 있다. 전자 장치(200-5)는 번역된 내용을 제 1 화자(110)에게 출력할 수 있다.
도 2a, 2b 및 2c에 도시된 바와 같이, 다양한 실시예에 따른 번역 시스템은 적어도 하나의 전자 장치를 포함하고, 서버를 더 포함할 수 있다. 이하에서는, 설명의 편의를 위해 “전자 장치”에서 수행되는 양방향 번역 방법에 대해 서술하도록 하겠다. 다만, 이하에서 기술되는 전자 장치의 동작의 일부 또는 전부는 서버에서도 수행될 수 있으며, 복수의 전자 장치들에 의해 부분적으로 수행될 수 있다.
도 3은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
일 실시예에 따른 전자 장치(200)는 획득부(310), 프로세서(320) 및 출력부(330)를 포함할 수 있다. 그러나, 도 3에 도시된 구성 요소 모두보다 많은 구성 요소에 의해 전자 장치(200)가 구현될 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 전자 장치(200)는, 가전 제품, 모바일 컴퓨팅 디바이스 및 서버 중 적어도 하나에 포함되거나, 가전 제품, 모바일 컴퓨팅 디바이스 및 서버 중 적어도 하나에 유, 무선으로 연결되도록 구현될 수 있다.
일 실시예에 따른 획득부(310)는, 적어도 하나의 언어의 입력 텍스트를 획득할 수 있다. 예를 들어 획득부(310)는, 제 1 언어의 제 1 입력 텍스트를 획득할 수 있다. 또한, 획득부(310)는 제 2 언어의 제 2 입력 텍스트를 획득할 수 있다. 획득부(310)가 획득할 수 있는 입력 텍스트의 언어의 종류는 특정 언어에 한정되지 않는다.
예를 들어 제 1 화자(110)가 제 1 언어인 한국어로 "피곤하다"라고 발화하자 제 2 화자(120)가 제 2 언어인 영어로 "Me, too"라고 발화하는 경우, 획득부(310)는 "피곤하다"라는 발화 및 "Me, too"라는 발화를 프로세서(320)가 처리 가능한 형태의 텍스트로 변환하여 획득할 수 있다.
획득부(310)는, 마이크로폰(Microphone)을 포함하고, 마이크로폰을 통해 화자의 음성을 직접 수신할 수 있다. 획득부(310)는, 음성 인식을 수행함으로써 수신된 음성을 텍스트로 변환할 수 있다. 또는, 획득부(310)는 외부 장치에서 수신된 음성이 변환된 텍스트를 외부 장치로부터 수신할 수 있다. 도 3에는 획득부(310)가 전자 장치(200)의 내부에 포함되는 것으로 도시되었으나, 다른 일 실시예에 따른 획득부(310)는 별도의 장치 내에 포함되고 전자 장치(200)와는 유, 무선으로 연결되는 형태로 구현될 수 있다. 도 3에서는 설명의 편의를 위하여, 획득부(310)와 프로세서(320)를 별도의 구성으로 도시하였다. 그러나 실시예는 이에 한정되지 않는다. 일 실시예에 따른 획득부(310)는 프로세서(320)에 포함되는 구성이거나, 획득부(310)가 수행하는 기능의 일부 또는 전부가 프로세서(320)에 의해 수행될 수 있다.
프로세서(320)는, 일 실시예에서 획득부(310)가 획득한 입력 텍스트를 번역하는 일련의 프로세스를 수행할 수 있다.
일 실시예에 따르면, 프로세서(320)는 문맥 벡터에 기초하여 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역(130)을 수행할 수 있다. 예를 들어, 제 1 언어의 제 1 입력 텍스트인 "피곤하다"를 제 2 언어의 제 1 출력 텍스트인 "Tired"로 번역할 수 있다.
일 실시예에 따르면, 프로세서(320)는 제 1 입력 텍스트 및 제 1 출력 텍스트에 기초하여 문맥 벡터를 업데이트 할 수 있다.
일 실시예에 따르면, 프로세서(320)는 업데이트 된 문맥 벡터에 기초하여 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역(140)을 수행할 수 있다. 예를 들어, 제 2 언어의 제 2 입력 텍스트인 "Me, too"를 제 1 언어의 제 2 출력 텍스트인 "나도 피곤하다"로 번역할 수 있다.
일 실시예에 따르면, 프로세서(320)는 제 2 입력 텍스트 및 제 2 출력 텍스트에 기초하여 문맥 벡터를 다시 업데이트(reupdate) 할 수 있다.
일 실시예에 따른 프로세서(320)는, 딥러닝에 기반한 인공지능 시스템에 의해 동작할 수 있다.
도 3에는 한 개의 프로세서만 도시되었지만, 전자 장치(200)는 복수개의 프로세서를 포함할 수 있다.
출력부(330)는, 프로세서(320)에서 수행된 번역 결과를 출력 할 수 있다. 출력부(330)는, 번역이 수행된 결과를 사용자에게 알리거나, 외부 디바이스(예를 들어, 스마트 폰, 스마트 TV, 스마트 와치, 서버 등)에게 송신할 수 있다. 예를 들어, 출력부(330)는 번역된 텍스트를 출력할 수 있는 디스플레이 또는 번역된 텍스트가 변환된 음성 신호를 출력할 수 있는 스피커를 포함할 수 있다.
일 실시예에 따른 출력부(330)는, 제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나를 출력할 수 있다.
일 실시예에 따르면, 출력부(330)는 제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나와 대응되는 음성을 출력하여 청자에게 전달할 수 있다. 제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나와 대응되는 음성은 청자에게만 전달되거나, 청자 및 화자 모두에게 전달될 수 있다.
또는, 출력부(330)는 제 1 출력 텍스트 및 제 2 출력 텍스트중 적어도 하나와 대응되는 글자를 출력하여 청자에게 전달할 수 있다. 예를 들어, 출력부(330)는 제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나와 대응되는 글자를 디스플레이를 통해 디스플레이 할 수 있다. 제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나와 대응되는 글자는 청자에게만 전달되거나, 청자 및 화자 모두에게 전달될 수 있다.
제 1 출력 텍스트 및 제 2 출력 텍스트 중 적어도 하나를 출력하는 방법은 음성 및 글자를 이용하는 것에 한정되지 않는다.
도 3에 도시된 전자 장치(200)의 블록도는 도 2a 내지 도 2c에 도시된 전자 장치(200-1, 200-2, 200-5, 200-6)를 구현하는데 이용될 수 있다.
도 4는 일 실시예에 따른 전자 장치 내 프로세서의 구성을 나타내는 블록도이다.
도 4에 도시된 블록들의 일부 또는 전부는, 특정 기능을 실행하는 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 도 4에 도시된 블록들이 수행하는 기능들은, 하나 이상의 마이크로프로세서에 의해 구현되거나, 해당 기능을 위한 회로 구성들에 의해 구현될 수 있다. 도 4에 도시된 블록들의 일부 또는 전부는 일 실시예에 따른 프로세서(320)에서 실행되는 다양한 프로그래밍 언어 또는 스크립트 언어로 구성된 소프트웨어 모듈일 수 있다.
일 실시예에 따른 프로세서(320)는 언어 식별부(410), 문맥 관리부(420) 및 번역부(430)를 포함할 수 있다.
언어 식별부(410)는, 일 실시예에서 화자에 의해 발화된 언어의 종류를 식별할 수 있다. 보다 구체적으로, 언어 식별부(410)는 획득부(310)가 획득한 입력 텍스트를 분석하여 입력 텍스트의 언어의 종류를 식별할 수 있다. 제 1 화자(110)가 제 1 언어로 발화한 경우, 언어 식별부(410)는 발화된 언어의 종류가 제 1 언어임을 식별할 수 있다. 발화된 언어는 소스(source) 언어라고 지칭될 수 있다.
예를 들어 획득부(310)가 제 1 입력 텍스트를 획득하는 경우 언어 식별부(410)는 제 1 입력 텍스트를 분석하여 제 1 입력 텍스트의 언어의 종류가 제 1 언어임을 식별할 수 있고, 획득부(310)가 제 2 입력 텍스트를 획득하는 경우 언어 식별부(410)는 제 2 입력 텍스트를 분석하여 제 2 입력 텍스트의 언어의 종류가 제 2 언어임을 식별할 수 있다. 획득부(310)가 제 1 입력 텍스트를 획득하는 경우 언어 식별부(410)는 제 1 입력 텍스트를 분석하여 소스 언어가 제 1 언어임을 식별할 수 있고, 획득부(310)가 제 2 입력 텍스트를 획득하는 경우 언어 식별부(410)는 제 2 입력 텍스트를 분석하여 소스 언어가 제 2 언어임을 식별할 수 있다.
또한, 언어 식별부(410)는 발화된 언어를 어떠한 언어로 번역할 지 결정할 수 있다. 다시 말해, 언어 식별부(410)는 식별된 소스 언어에 기초하여 타겟(target) 언어를 결정할 수 있다. 예를 들어 제 1 화자(110)가 제 1 언어로 발화한 경우, 언어 식별부(410)는 제 1 언어의 발화들을 번역할 타겟 언어로서 제 2 언어를 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 양 방향 번역을 수행함에 있어서 이용되는 언어쌍을 미리 설정할 수 있다. 예를 들어, 전자 장치(200)는 양 방향 번역에 이용되는 언어쌍을 영어 및 한국어로 미리 설정할 수 있다. 이때, 만약 전자 장치(200)가 소스 언어로서 영어를 식별한 경우, 소스 언어가 번역될 타겟 언어는 자동으로 한국어로 결정될 수 있다. 반대로, 전자 장치(200)가 소스 언어로서 한국어를 식별한 경우, 소스 언어가 번역될 타겟 언어는 자동으로 영어로 결정될 수 있다. 다른 실시예에 따르면, 언어 식별부(410)는 메모리(도면에 도시되지 않음)에 미리 저장된 정보에 기초하여 타겟 언어를 결정할 수 있다. 예를 들어, 메모리는 화자가 전자 장치(200)를 이용할 때 가장 빈번하게 타겟 언어로 선택되는 언어의 종류를 저장하고 있다가, 이후에 타겟 언어를 결정할 때 참고 자료로서 이용할 수 있다.
또는, 언어 식별부(410)는 외부 센서(도면에 도시되지 않음)를 이용하여 청자를 식별할 수 있고, 식별된 청자가 사용하는 타겟 언어를 결정할 수 있다. 외부 센서는, 예를 들어 청자의 피부색, 홍채의 색, 손금, 지문, 음색 등에 기초하여 청자를 식별할 수 있고, 식별된 청자의 국적, 인종 등에 기초하여 청자가 사용하는 타겟 언어를 결정할 수 있다.
또는, 언어 식별부(410)는 화자 또는 청자로부터 입력 받은 정보에 기초하여 타겟 언어를 결정할 수 있다. 예를 들어, 입력부(도면에 도시되지 않음)는 화자 또는 청자로부터 청자가 사용하는 언어의 종류를 입력 받을 수 있고, 언어 식별부(410)는 화자 또는 청자로부터 입력 받은, 청자가 사용하는 언어의 종류에 기초하여 타겟 언어를 결정할 수 있다.
문맥 관리부(420)는, 일 실시예에서 제 1 언어의 제 1 입력 텍스트 및 제 2 언어의 제 1 출력 텍스트에 기초하여 문맥 벡터를 업데이트 할 수 있다. 보다 구체적으로, 문맥 관리부(420)는, 번역부(430)가 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 과정에서, 문맥 벡터를 업데이트 할 수 있다. 또한, 문맥 관리부(420)는 번역부(430)가 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 과정에서도 문맥 벡터를 업데이트 할 수 있다.
또한, 문맥 관리부(420)는, 일 실시예에서 발화된 언어의 화제가 전환되었다고 판단되는 경우 문맥 벡터를 초기화 할 수 있다. 문맥 관리부(420)가 문맥 벡터를 초기화하는 구체적인 과정은 도 8에 대한 설명에서 후술하기로 한다.
번역부(430)는, 일 실시예에서 문맥 벡터에 기초하여 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역(130)을 수행할 수 있다.
또한, 번역부(430)는 문맥 벡터에 기초하여 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역(140)을 수행할 수 있다.
일 실시예에 따른 번역부(430)는, 언어 식별부(410)로부터 대화의 화자가 전환되었다는 정보를 수신한 경우, 번역의 방향을 전환할 수 있다. 예를 들어, 화자가 제 1 화자(110)에서 제 2 화자(120)로 전환되었다는 정보를 언어 식별부(410)로부터 수신한 경우, 번역부(430)는 제 1 방향 번역(130)을 중단하고 제 2 방향 번역(140)을 수행할 수 있다.
한편, 도 3 및 도 4에 도시된 전자 장치(200) 및 프로세서(320)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(200)의 사양에 따라 통합 또는 추가될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 또는 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리범위를 제한하지 아니한다.
전술된 전자 장치(200)가 복수의 화자간 대화를 번역함에 있어서 이용될 수 있는 번역 엔진은, 하나의 프로세서(320) 또는 하나의 프로세서에 포함된 하나의 번역부(430)에 한정되지 않는다. 각 방향의 번역을 수행하면서, 각 방향별로 서로 다른 복수의 프로세서 또는 서로 다른 복수의 번역부가 이용될 수 있다.
또한, 전술된 전자 장치(200)가 제 1 방향 번역(130) 및 제 2 방향 번역(140) 등을 수행함에 있어서, 전자 장치(200)는 딥러닝에 기반한 인공지능 시스템을 이용할 수 있다. 예를 들어, 전자 장치(200)는 인공 신경망 기계 번역(NMT)을 이용할 수 있다.
도 5a는 일 실시예에 따라 전자 장치가 제 1 방향 번역을 수행하는 방법의 흐름도이고, 도 5b는 일 실시예에 따라 전자 장치가 양방향 번역을 수행하는 방법의 흐름도이다.
도 5a 및 도 5b에 도시된 방법의 각 단계는, 도 3에 도시된 전자 장치(200)의 구성 요소에 의해 수행될 수 있으며, 도 3에 대한 설명과 중복되는 구체적인 내용은 설명을 생략한다. 설명의 편의상 전자 장치(200)가 동작의 주체인 경우만을 예로 들어 설명하였지만, 이하의 설명은 서버가 동작의 주체인 경우에도 적용될 수 있다. 도 5a 및 도 5b에 도시된 방법의 각 단계는, 인공지능 기술을 이용하여 구현될 수 있다.
보다 나은 이해를 위해, 도 1에 도시된 제 1 화자(110)와 제 2 화자(120)의 대화 장면을 참조하여 설명하기로 한다.
단계 505에서, 전자 장치(200)는 제 1 언어의 제 1 입력 텍스트를 획득할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 전자 장치(200)는 제 1 화자(110)의 발화로부터 "안녕 젭슨. 오랜만이야."라는 제 1 입력 텍스트를 획득할 수 있다.
단계 510에서, 전자 장치(200)는 문맥 벡터에 기초하여 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행할 수 있다. 보다 구체적으로, 전자 장치(200)는 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 기초하여 생성된 문맥 벡터에 기초하여, 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 전자 장치(200)는 "안녕 젭슨. 오랜만이야."라는 제 1 입력 텍스트를 "Hi Japson. Long time no see."라는 제 1 출력 텍스트로 번역할 수 있다.
발화에는 다양한 문맥이 존재하며, 문맥에 따라 번역의 내용이 결정될 수 있다. 예를 들어, "미안하지만 꺼줄 수 있어"라는 한국어 입력 텍스트는 "Sorry, but could you turn off the radio?"로 번역될 수 있고, "Sorry, but could you put out the fire?"로 번역될 수도 있다. 이때 만약 이전 대화에서 영어를 사용하는 화자가 "I like this song on radio."라고 발화했었다면, "미안하지만 꺼줄 수 있어?"의 올바른 번역은 문맥상 "Sorry, but could you turn off the radio?"가 될 것임을 확인할 수 있다. 따라서, 일 실시예에 따른 전자 장치(200)는, 이전 대화의 내용이 반영된 문맥 벡터를 이용하여 번역을 수행함으로써, 번역의 정확도를 높일 수 있다.
문맥 벡터는, 전술한 바와 같이 문맥에 관한 정보를 n차원(n은 임의의 자연수) 공간상의 특정 위치에 대응하는 벡터로 표현한 것을 의미한다. 문맥 벡터는 문맥에 관한 정보가 축적될 때마다 업데이트 될 수 있다. 업데이트 된 문맥 벡터는 업데이트 전의 문맥 벡터와 비교할 때 n차원 벡터 공간상에서 벡터의 위치가 변화한 것뿐이지만, 대화가 축적되면서 발생한 다양한 문맥에 관한 정보를 누적하여 포함할 수 있다.
일 실시예에 따르면, 문맥 벡터는 제 1 언어의 텍스트에 기초하여 생성된 제 1 문맥 벡터와 제 2 언어의 텍스트에 기초하여 생성된 제 2 문맥 벡터를 포함할 수 있다. 그러나 실시예는 이에 한정되지 않으며, 문맥 벡터는 다른 언어의 문맥 벡터(예를 들어, 제3 언어의 제3 문맥 벡터)를 더 포함할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제 1 입력 텍스트를 획득하기 전에 획득되었던 제 1 언어의 입력 텍스트 및 제 1 입력 텍스트를 획득하기 전에 출력되었던 제 1 언어의 출력 텍스트 중 적어도 하나에 기초하여 제 1 문맥 벡터를 생성할 수 있다. 또한, 전자 장치(200)는 제 1 입력 텍스트를 획득하기 전에 획득되었던 제 2 언어의 입력 텍스트 및 제 1 입력 텍스트를 획득하기 전에 출력되었던 제 2 언어의 출력 텍스트 중 적어도 하나에 기초하여 제 2 문맥 벡터를 생성할 수 있다. 즉, 전자 장치(200)는 화자들의 이전 발화에 기초하여 문맥 벡터를 생성할 수 있다.
제 1 언어의 입력 텍스트를 제 2 언어의 출력 텍스트로 번역하는 제 1 방향 번역(130)에는 제 2 문맥 벡터가 이용될 수 있고, 제 2 언어의 입력 텍스트를 제 1 언어의 출력 텍스트로 번역하는 제 2 방향 번역(140)에는 제 1 문맥 벡터가 이용될 수 있다. 번역을 수행함에 있어서 문맥 벡터가 이용되는 구체적인 방법은 도 6에 대한 설명에서 후술하기로 한다.
단계 515에서, 전자 장치(200)는 제 1 입력 텍스트 및 제 1 출력 텍스트에 기초하여 문맥 벡터를 업데이트 할 수 있다.
일 실시예에 따르면, 화자가 최초로 발화하기 전의 문맥 벡터는 초기화 상태일 수 있다. 초기화 상태에서 n차원 문맥 벡터는 미리 설정된 초기값을 취할 수 있다. 전자 장치(200)는, 획득한 제 1 입력 텍스트 및 제 1 입력 텍스트가 번역된 제 1 출력 텍스트에 기초하여 문맥 벡터를 업데이트 할 수 있다.
일 실시예에 따르면, 제 1 입력 텍스트가 발화되기 이전에 이미 다른 발화가 존재했던 경우엔 이전 발화의 입력 텍스트 및 출력 텍스트에 기초하여 전자 장치(200)가 문맥 벡터를 업데이트 한 상태일 수 있다. 이때 전자 장치(200)는 획득한 제 1 입력 텍스트 및 제 1 입력 텍스트가 번역된 제 1 출력 텍스트에 기초하여 문맥 벡터를 다시 업데이트(reupdate) 할 수 있다.
단계 520에서, 전자 장치(200)는 제 1 출력 텍스트를 출력할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 전자 장치(200)는 제 1 입력 텍스트가 번역되어 생성된 "Hi Japson. Long time no see."라는 제 1 출력 텍스트를 출력할 수 있다.
도 5a에서는 문맥 벡터를 이용하여 제 1 방향을 번역하는 방법을 설명하였으나 실시예는 이에 한정되지 않으며, 일 실시예에 따른 전자 장치(200)는 양방향 번역을 수행할 수 있다.
도 5b는 일 실시예에 따른 전자 장치의 제 1 방향 번역 방법 및 제 2 방향 번역 방법을 구체화한 흐름도이다.
도 5b는 제 1 화자(110)가 제 1 언어로 발화하자 발화에 응답하여 제 2 화자(120)가 제 2 언어로 발화하는 경우에, 제 1 언어를 제 2 언어로 번역하는 제 1 방향 번역(130) 및 제 2 언어를 제 1 언어로 번역하는 제 2 방향 번역(140)이 수행되는 일련의 과정을 도시한 흐름도이다. 단계 525 및 540은 도 5a의 단계 505 및 520에서의 동작과 동일한 동작을 수행하므로, 상세한 설명은 생략한다.
단계 525에서, 전자 장치(200)는 제 1 언어의 제 1 입력 텍스트를 획득할 수 있다.
단계 530에서, 전자 장치(200)는 제 2 언어의 텍스트에 의하여 생성된 제 2 문맥 벡터에 기초하여 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행할 수 있다.
단계 535에서, 전자 장치(200)는 제 1 입력 텍스트에 기초하여 제 1 문맥 벡터를 업데이트 하고, 제 1 출력 텍스트에 기초하여 제 2 문맥 벡터를 업데이트 할 수 있다.
단계 540에서, 전자 장치(200)는 제 1 출력 텍스트를 출력할 수 있다.
단계 545에서, 전자 장치(200)는 제 2 언어의 제 2 입력 텍스트를 획득할 수 있다. 예를 들어, 전자 장치(200)는 제 2 화자(120)로부터 "Oh Chul-soo. Nice to meet you!"라는 제 2 입력 텍스트를 획득할 수 있다.
단계 550에서, 전자 장치(200)는 제 1 언어의 텍스트에 의하여 생성된 제 1 문맥 벡터에 기초하여 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역을 수행할 수 있다. 다시 말하면, 전자 장치(200)는 단계 530에서 업데이트 된 문맥 벡터에 기초하여 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역을 수행할 수 있다. 예를 들어, 전자 장치(200)는 "Oh Chul-soo. Nice to meet you!"라는 제 2 입력 텍스트를 "오 철수야. 만나서 반가워!"라는 제 2 출력 텍스트로 번역할 수 있다.
단계 555에서, 전자 장치(200)는 제 2 입력 텍스트에 기초하여 제 2 문맥 벡터를 업데이트 하고, 제 2 출력 텍스트에 기초하여 제 1 문맥 벡터를 업데이트 할 수 있다. 다시 말하면, 전자 장치(200)는 제 2 입력 텍스트 및 제 2 출력 텍스트에 기초하여, 단계 530에서 업데이트 되었던 문맥 벡터를 다시 업데이트(reupdate) 할 수 있다.
단계 560에서, 전자 장치(200)는 제 2 출력 텍스트를 출력할 수 있다. 예를 들어, 전자 장치(200)는 제 2 입력 텍스트가 번역되어 생성된 "오 철수야. 만나서 반가워!"라는 제 2 출력 텍스트를 출력할 수 있다.
도 6은 일 실시예에 따라 제 1 방향 번역을 수행하는 과정을 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 제 1 언어의 제 1 입력 텍스트에 포함된 복수의 단어들과 대응되는 복수의 제 1 입력 벡터들(610)을 결정할 수 있다.
예를 들어 전자 장치(200)가 "안녕 젭슨. 오랜만이야."라는 제 1 입력 텍스트를 획득한 경우, 전자 장치(200)는 "안녕"과 대응되는 제 1 입력 벡터 x1, "젭슨"과 대응되는 제 1 입력 벡터 x2 및 "오랜만이야"와 대응되는 제 1 입력 벡터 x3를 포함하는 복수의 제 1 입력 벡터들(610)을 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 결정된 복수의 제 1 입력 벡터들(610)에 기초하여, 복수의 제 1 히든 벡터들(640)을 순차로 생성할 수 있다.
예를 들어, 제 1 입력 벡터 xt가 m차원 벡터(m은 자연수)이고 제 1 히든 벡터 ht가 n차원인 경우, 제 1 히든 벡터는 아래의 수학식1을 통해 산출될 수 있다.
[수학식 1]
Figure PCTKR2017006627-appb-I000001
t는 제 1 입력 텍스트에 포함된 복수의 단어들의 인덱스를 의미하고, T는 제 1 입력 텍스트에 포함된 복수의 단어들의 총 수를 의미할 수 있다. 함수 f1는 연산 과정에서 W를 이용할 수 있는데, 제 1 입력 벡터 xt의 차원을 제 1 히든 벡터 ht의 차원과 대응되도록 변경하기 위해 학습된(또는 학습될) 파라미터 매트릭스로 해석될 수 있다. W는 n*m행렬이며, 함수 f1의 연산 방법은 다양할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 복수의 제 1 히든 벡터들(640) 각각의 가중치들을 결정할 수 있다. 가중치는 복수의 출력 히든 벡터들 s1, s2, ... , sK (K는 자연수, 제 1 출력 텍스트에 포함될 복수의 단어들의 총 수) 중 어느 것을 산출할 때 이용되느냐에 따라 달라질 수 있고, 복수의 제 1 히든 벡터들(640) h1, h2, ... , hT 중 어느 것과 대응되느냐에 따라 달라질 수 있다. 예를 들어 출력 히든 벡터 s3를 산출할 때 이용되는 가중치로서 제 1 히든 벡터 h2와 대응되는 가중치는 a3,2로 결정될 수 있다.
일 실시예에 따르면, 가중치는 t번째 출력 히든 벡터 st를 산출하기 위해 t-1 번째 출력 히든 벡터 st-1과 복수의 제 1 입력 히든 벡터들(640)간의 연산을 수행하는 과정에서 결정될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 복수의 제 1 히든 벡터들(640) 각각의 가중치를 복수의 제 1 히든 벡터들(640) 각각에 적용한 벡터 bat를 산출할 수 있다. 벡터 bat를 산출하는 과정은 아래의 수학식2에서 확인할 수 있다.
[수학식 2]
Figure PCTKR2017006627-appb-I000002
수학식2에서 i는 제 1 입력 텍스트에 포함된 복수의 단어들의 인덱스를 의미할 수 있고, j는 제 1 출력 텍스트에 포함된 복수의 단어들의 인덱스를 의미할 수 있다.
일 실시예에 따르면, 출력 히든 벡터 st(t=0, 1, ... , K)는 복수의 제 1 출력 벡터들(630)을 산출하는 과정에 이용되는 히든 벡터일 수 있다. 전자 장치(200)는 복수의 제 1 히든 벡터들(640)에 각각의 가중치들이 고려된 벡터(bat), t-1번째 출력 히든 벡터 st-1 및 t-1 번째 제 1 출력 벡터 yt -1을 이용하여 출력 히든 벡터 st를 결정할 수 있다. 출력 히든 벡터 st를 산출하는 공식은 아래의 수학식3에서 확인할 수 있다.
[수학식 3]
Figure PCTKR2017006627-appb-I000003
출력 히든 벡터 s0는, 이전 발화들에 기초하여 업데이트 된 제 2 문맥 벡터 c2와 일치할 수 있다. 함수 f2의 연산 방법은 다양할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 복수의 출력 히든 벡터들을 이용하여 제 2 문맥 벡터(620)를 업데이트 할 수 있다. 제 2 문맥 벡터(620)가 업데이트 되는 과정은 아래의 수학식4를 참조하면 확인할 수 있다.
[수학식 4]
Figure PCTKR2017006627-appb-I000004
본 개시에서는 설명의 편의상 c2u - 1는 업데이트 전의 제 2 문맥 벡터(620)를, c2u 는 업데이트 된 후의 제 2 문맥 벡터(620)를 의미하는 개념으로 해석하기로 한다. 업데이트 전의 제 2 문맥 벡터 c2u - 1와 출력 히든 벡터 st를 이용하여 함수 f3 연산을 수행하면 업데이트 된 후의 제 2 문맥 벡터 c2u 를 산출할 수 있다. 함수 f3의 연산 방법은 다양할 수 있다.
일 실시예에 따르면, t-1번째 제 1 출력 벡터 yt -1, t번째 출력 히든 벡터 st 및 t번째 제 1 출력 벡터 yt 간에는 수학식5의 관계가 성립할 수 있으며, 수학식5의 관계를 이용하여 복수의 제 1 출력 벡터들(630) y1 내지 yK(K는 자연수)를 결정할 수 있다.
[수학식 5]
Figure PCTKR2017006627-appb-I000005
함수 f4의 연산 방법은 다양할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 결정된 복수의 제 1 출력 벡터들(630)에 기초하여 제 1 출력 텍스트에 포함될 복수의 단어들을 결정할 수 있다. 복수의 제 1 출력 벡터들(630)의 총 수는 제 1 출력 텍스트에 포함될 복수의 단어들의 총 수와 일치할 수 있다. 전자 장치(200)는 우선 각 제 1 출력 벡터 별로 하나 이상의 후보 단어를 선정한 후, 각 제 1 출력 벡터와 대응되는 하나의 단어씩만을 결정하여 결정된 단어들을 조합할 수 있다. 조합된 단어들은 제 1 출력 텍스트를 형성할 수 있다.
도 7은 일 실시예에 따라 제 1 방향 번역 및 제 2 방향 번역을 수행하는 과정을 도시한 도면이다.
도 7의 블록(702)은, 제 1 화자가 발화한 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 과정을 도시한다. 블록(703)은, 제 2 화자가 발화한 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 과정을 도시한다. 블록(701)은, 제 1 화자가 제 1 입력 텍스트를 발화하기 전에 발화된 제 1 언어의 입력 텍스트를 제 2 언어의 출력 텍스트로 번역하는 과정을 의미한다. 블록(702)에서 번역이 수행되는 과정은 도 6에서 제 1 방향 번역을 수행하는 과정과 대응될 수 있다.
도 7에 도시된 제 1 문맥 벡터(710)는 제 1 언어의 텍스트에 기초하여 생성된 문맥 벡터이다. 일 실시예에 따르면, 제 1 문맥 벡터(710)는 제 1 언어의 입력 텍스트에 기초하여 업데이트 될 수 있다. 제 2 문맥 벡터(620)는 블록(701, 702)에서 번역이 수행되는 과정에서 이용될 수 있고, 제 2 언어의 출력 텍스트에 기초하여 업데이트 될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 복수의 제 1 히든 벡터들(640)을 이용하여 제 1 문맥 벡터(710)를 업데이트 할 수 있다. 제 1 문맥 벡터(710)가 업데이트 되는 과정은 아래의 수학식6을 참조하면 확인할 수 있다.
[수학식 6]
Figure PCTKR2017006627-appb-I000006
본 개시에서는 설명의 편의상 c1u - 1는 업데이트 전의 제 1 문맥 벡터(710)를, c1u 는 업데이트 된 후의 제 1 문맥 벡터(710)를 의미하는 개념으로 해석하기로 한다. 업데이트 전의 제 1 문맥 벡터 c1u - 1와 제 1 히든 벡터 ht를 이용하여 함수 f5 연산을 수행하면 업데이트 된 후의 제 1 문맥 벡터 c1u 를 산출할 수 있다. 함수 f5의 연산 방법은 다양할 수 있다.
도 7의 블록(702)에 도시된 바와 같이, 제 1 입력 텍스트를 제 1 출력 텍스트로 번역하기 위해 이용되는 제 2 문맥 벡터(620)는 블록(701)에 도시된 이전 발화들을 번역하는 과정에서 업데이트 되었을 수 있다.
블록(703)에 도시된 바와 같이, 제 2 화자가 발화한 제 2 언어의 제 2 입력 텍스트가 획득되면, 일 실시예에 따른 전자 장치(200)는, 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역할 수 있다. 다시 말하면, 전자 장치(200)는 제 2 화자(120)가 발화한 제 2 언어의 제 2 입력 텍스트를 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역(140)을 수행한다.
보다 구체적으로, 전자 장치(200)는 제 2 입력 텍스트와 대응되는 복수의 제 2 입력 벡터들(720)을 생성할 수 있고, 복수의 제 2 입력 벡터들(720)에 기초하여 복수의 제 2 히든 벡터들(730)을 생성할 수 있으며, 제 1 문맥 벡터(710) 및 복수의 제 2 히든 벡터들(730)에 기초하여 복수의 제 2 출력 벡터들을 생성할 수 있다. 제 2 방향 번역(140)의 원리는 도 6에서 전술한 제 1 방향 번역(130)의 원리와 동일하다.
일 실시예에 따르면, 제 2 문맥 벡터(620)는 제 1 언어의 입력 텍스트에 기초하여 업데이트 될 수 있다. 제 1 문맥 벡터(710)는 블록(703)에서 번역이 수행되는 과정에서 이용될 수 있고, 제 1 언어의 출력 텍스트에 기초하여 업데이트 될 수 있다.
앞서 살펴본 바와 같이, 일 실시예에 따르면 전자 장치(200)는 문맥 벡터를 이용하여 제 1 방향 번역 및 제 2 방향 번역을 수행할 수 있다. 따라서, 화자들 간의 전체 대화 히스토리에 관한 정보를 데이터 베이스(DB)에 저장하고, 필요할 때 저장된 정보를 이용하는 방식과 비교할 때, 일 실시예에 따른 전자 장치(200)는 문맥 벡터를 이용하여 문맥에 관한 정보를 관리함으로써 전자 장치(200) 내의 데이터 저장 용량을 절감할 수 있다. 또한, 일 실시예에 따른 전자 장치(200)를 이용한 번역 방식은 데이터 베이스 검색 등의 추가 서치 작업을 요구하지 않으므로, 리소스 오버헤드(resource overhead)를 예방할 수 있다.
한편, 대화를 하는 도중에 화제가 바뀌는 경우, 이전의 발화들에 기초하여 생성된 문맥 벡터를 이용하는 것이 번역 품질 개선에 도움이 되지 않고 오히려 방해되는 경우가 발생할 수 있다. 일 실시예에 따른 전자 장치(200)는, 대화의 화제가 전환되는 경우 문맥 벡터를 초기화함으로써 전술된 문제점을 해결할 수 있다.
도 8은 일 실시예에 따라 문맥 벡터가 초기화되는 과정을 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 발화된 언어의 화제가 전환되었다고 판단되는 경우 문맥 벡터를 초기화 할 수 있다. 보다 구체적으로, 전자 장치(200)는 발화된 언어의 화제가 전환되었다고 판단되는 경우 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다.
일 실시예에 따르면, 복수의 제 1 히든 벡터들 중 적어도 하나의 히든 벡터와 제 1 문맥 벡터(810)간의 연관도가 미리 결정된 기준값 미만인 경우, 전자 장치(200)는 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다. 예를 들어, 제 1 히든 벡터 hT(830)가 복수의 제 1 히든 벡터들 중 최후에 생성된 경우에, 제 1 히든 벡터 hT(830)와 제 1 문맥 벡터(810)간의 연관도가 미리 결정된 기준값 미만이면, 전자 장치(200)는 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다.
다시 말하면, 복수의 제 1 히든 벡터들(640) 중 최후에 생성된 벡터와 제 1 문맥 벡터(810)간의 거리가 미리 결정된 기준값보다 큰 경우, 전자 장치(200)는 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다. 예를 들어, 제 1 히든 벡터 hT(830)가 복수의 제 1 히든 벡터들 중 최후에 생성된 경우에, 제 1 히든 벡터 hT(830)와 제 1 문맥 벡터(810)간의 거리가 미리 결정된 기준값보다 크면, 전자 장치(200)는 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다. 제 1 히든 벡터 hT(830)와 제 1 문맥 벡터(810)간의 거리가 클수록 제 1 히든 벡터 hT(830)와 제 1 문맥 벡터(810)간의 연관도는 작을 수 있다.
예를 들어, 미리 결정된 기준값이 0.1인데 복수의 제 1 히든 벡터들(640) 중 hT(830)와 제 1 문맥 벡터(810)간의 거리가 0.11인 경우, 전자 장치(200)는 발화의 화제가 전환되었다고 판단하고 제 1 문맥 벡터(810) 및 제 2 문맥 벡터(820)를 초기화 할 수 있다.
한편, 실시예는 도 8에 의해 제한되지 않으며, 도 7에 도시된 바와 같이 다양한 방향의 번역에 있어서도 전자 장치(200)는 입력 벡터와 문맥 벡터 간의 연관도에 기초하여 문맥 벡터를 초기화 할 수 있다. 예를 들어 블록(703)을 참조하면, 전자 장치(200)는 복수의 제 2 히든 벡터들(730) 중 벡터 hT와 제 2 문맥 벡터(620)간의 연관도가 작을 경우 제 1 문맥 벡터(710) 및 제 2 문맥 벡터(620)를 초기화 할 수 있다.
따라서, 도 7과 같이 전자 장치(200)가 제 1 방향 번역(130) 및 제 2 방향 번역(140)을 수행함에 있어서, 복수의 제 1 히든 벡터들(640) 중 적어도 하나의 히든 벡터와 제 1 문맥 벡터(710) 간의 연관도가 미리 결정된 기준값 미만인 경우 또는 복수의 제 2 히든 벡터들(730) 중 적어도 하나의 히든 벡터와 제 2 문맥 벡터(620) 간의 연관도가 미리 결정된 기준값 미만인 경우, 전자 장치(200)는 제 1 문맥 벡터(710) 및 제 2 문맥 벡터(620)를 초기화 할 수 있다.
도 8에 도시된 바와 같이, 일 실시예에 따른 전자 장치(200)는 대화의 화제가 전환되는 경우 문맥 벡터를 초기화 함으로써, 이전 대화에 기초하여 업데이트 되었던 문맥 벡터를 이용함으로써 번역의 정확도가 떨어지는 것을 방지할 수 있다.
도 9는 일 실시예에 따라 전자 장치가 문맥 벡터를 업데이트 하거나 초기화 하는 방법의 흐름도이다.
단계 910, 960 및 970은 도 5a의 단계 505, 515 및 520에서의 동작과 동일한 동작을 수행하므로, 상세한 설명은 생략한다.
단계 910에서, 전자 장치(200)는 제 1 언어의 제 1 입력 텍스트를 획득할 수 있다.
단계 920에서, 전자 장치(200)는 제 1 입력 텍스트에 기초하여 복수의 제 1 히든 벡터들(640)을 생성할 수 있다.
단계 930에서, 전자 장치(200)는 복수의 제 1 히든 벡터들(640) 중 최후에 생성된 벡터와 제 1 문맥 벡터(710)간의 연관도가 미리 결정된 기준값 미만인지 여부를 판단할 수 있다.
단계 930에서 복수의 제 1 히든 벡터들(640) 중 최후에 생성된 벡터와 제 1 문맥 벡터(710)간의 연관도가 미리 결정된 기준값 미만이라고 판단된 경우, 단계 940에서 전자 장치(200)는 제 1 문맥 벡터(710) 및 제 2 문맥 벡터(620)를 초기화 할 수 있다.
단계 930에서 복수의 제 1 히든 벡터들(640) 중 최후에 생성된 벡터와 제 1 문맥 벡터(710)간의 연관도가 미리 결정된 기준값 이상이라고 판단된 경우, 곧바로 단계 950으로 진행하여 전자 장치(200)는 문맥 벡터에 기초하여 제 1 언어의 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역(130)을 수행할 수 있다.
단계 960에서, 전자 장치(200)는 제 1 입력 텍스트 및 제 1 출력 텍스트에 기초하여 문맥 벡터를 업데이트 할 수 있다.
단계 970에서, 전자 장치(200)는 제 1 출력 텍스트를 출력할 수 있다.
도 10은 일 실시예에 따른 다수의 화자간 대화에서 문맥 벡터가 공유되는 방법을 설명하기 위한 도면이다.
전자 장치(200)는, 일 실시예에 따라 제 1 언어의 제 1 입력 텍스트, 제 2 언어의 제 2 입력 텍스트 및 제 3 언어의 제 3 입력 텍스트를 획득할 수 있다.
일 실시예에 따르면, 제 1 문맥 벡터(c1)는 제 1 언어를 사용하는 제 1 화자의 발화에 기초하거나, 타 언어를 사용하는 화자의 발화가 제 1 언어로 번역된 것에 기초하여 생성 및 업데이트 될 수 있다. 제 2 문맥 벡터(c2)는 제 2 언어를 사용하는 제 2 화자의 발화에 기초하거나, 타 언어를 사용하는 화자의 발화가 제 2 언어로 번역된 것에 기초하여 생성 및 업데이트 될 수 있다. 제 3 문맥 벡터(c3)는 제 3 언어를 사용하는 제 3 화자의 발화에 기초하거나, 타 언어를 사용하는 화자의 발화가 제 3 언어로 번역된 것에 기초하여 생성 및 업데이트 될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제 1 화자와 제 2 화자간의 대화를 번역하는 과정에서 제 1 문맥 벡터(c1)와 제 2 문맥 벡터(c2)를 업데이트 할 수 있다. 보다 구체적으로, 전자 장치(200)는 제 1 화자가 발화한 내용을 제 2 언어로 번역하는 제 1 방향 번역 및 제 2 화자가 발화한 내용을 제 1 언어로 번역하는 제 2 방향 번역을 수행함에 있어서, 제 1 문맥 벡터(c1)와 제 2 문맥 벡터(c2)를 업데이트 할 수 있다.
또한, 전자 장치(200)는 제 2 화자와 제 3 화자간의 대화를 번역하는 과정에서 제 2 문맥 벡터(c2)와 제 3 문맥 벡터(c3)를 업데이트 할 수 있다. 보다 구체적으로, 전자 장치(200)는 제 2 화자가 발화한 내용을 제 3 언어로 번역하고, 제 3 화자가 발화한 내용을 제 2 언어로 번역함에 있어서, 제 2 문맥 벡터(c2)와 제 3 문맥 벡터(c3)를 업데이트 할 수 있다.
또한, 전자 장치(200)는 제 1 화자와 제 3 화자간의 대화를 번역하는 과정에서 제 1 문맥 벡터(c1)와 제 3 문맥 벡터(c3)를 업데이트 할 수 있다. 보다 구체적으로, 전자 장치(200)는 제 3 화자가 발화한 내용을 제 1 언어로 번역하는 제 3 방향 번역(1010) 및 제 1 화자가 발화한 내용을 제 3 언어로 번역하는 제 4 방향 번역(1020)을 수행함에 있어서, 제 1 문맥 벡터(c1)와 제 3 문맥 벡터(c3)를 업데이트 할 수 있다.
일 실시예에 따르면, 전자 장치(200)가 제 3 화자가 발화한 내용을 제 1 언어로 번역하는 제 3 방향 번역 및 제 1 화자가 발화한 내용을 제 3 언어로 번역하는 제 4 방향 번역을 수행함에 있어서, 전자 장치(200)는 제 1 화자와 제 2 화자간 대화, 제 2 화자와 제 3 화자간 대화를 번역하면서 업데이트 된 제 1 문맥 벡터(c1) 및 제 3 문맥 벡터(c3) 중 적어도 하나를 이용(1030, 1040) 할 수 있다.
보다 구체적으로, 전자 장치(200)는 제 1 화자와 제 2 화자간 대화에서 업데이트 된 제 1 문맥 벡터(c1)에 기초하여, 제 3 언어의 제 3 입력 텍스트를 제 1 언어의 제 3 출력 텍스트로 번역하는 제 3 방향 번역(1010)을 수행할 수 있다.
전자 장치(200)는, 일 실시예에 따라 제 3 출력 텍스트를 출력할 수 있다.
도 10에 도시된 바와 같이, 하나의 전자 장치(200)는 다수의 화자간 번역을 수행할 수 있고, 다수의 화자 중 특정 조합의 화자간 대화를 번역하면서 업데이트 된 문맥 벡터는 또 다른 조합의 화자간 대화를 번역할 때 이용될 수 있다. 이를 통해 다양한 조합의 화자간 대화에서 추출된 문맥이 번역을 수행하는 과정에서 공유될 수 있으므로, 전자 장치(200)는 다수의 화자들간의 대화를 번역할 때 자연스럽고 정확한 번역을 수행할 수 있다.
전술한 발명의 설명은 예시를 위한 것이며, 발명이 속하는 기술분야의 통상의 지식을 가진 자는 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
개시의 권리범위는 후술하는 특허청구범위에 의하여 나타내어 질 수 있으며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함될 수 있는 것으로 해석되어야 한다.

Claims (15)

  1. 발화된(uttered) 언어를 번역하는 방법에 있어서,
    제 1 언어의 제 1 입력 텍스트를 획득하는 단계;
    상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하는 단계;
    상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 단계; 및
    상기 제 1 출력 텍스트를 출력하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 2 언어의 제 2 입력 텍스트를 획득하는 단계;
    상기 업데이트 된 문맥 벡터에 기초하여 상기 제 2 입력 텍스트를 상기 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역을 수행하는 단계;
    상기 제 2 입력 텍스트 및 상기 제 2 출력 텍스트에 기초하여 상기 업데이트 된 문맥 벡터를 다시 업데이트(reupdate) 하는 단계; 및
    상기 제 2 출력 텍스트를 출력하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 문맥 벡터는,
    상기 제 1 언어의 텍스트에 기초하여 생성된 제 1 문맥 벡터 및 상기 제 2 언어의 텍스트에 기초하여 생성된 제 2 문맥 벡터를 포함하고,
    상기 제 1 방향 번역을 수행하는 단계는,
    상기 제 2 문맥 벡터에 기초하여 상기 제 1 방향 번역을 수행하는 단계를 포함하고,
    상기 문맥 벡터를 업데이트 하는 단계는,
    상기 제 1 입력 텍스트에 기초하여 상기 제 1 문맥 벡터를 업데이트 하는 단계; 및
    상기 제 1 출력 텍스트에 기초하여 상기 제 2 문맥 벡터를 업데이트 하는 단계를 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 제 1 문맥 벡터는,
    상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 상기 제 1 언어의 입력 텍스트 및 상기 제 1 입력 텍스트를 획득하기 전에 출력되었던 상기 제 1 언어의 출력 텍스트 중 적어도 하나에 기초하여 생성되고,
    상기 제 2 문맥 벡터는,
    상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 상기 제 2 언어의 입력 텍스트 및 상기 제 1 입력 텍스트를 획득하기 전에 출력되었던 상기 제 2 언어의 출력 텍스트 중 적어도 하나에 기초하여 생성되는, 방법.
  5. 제 3 항에 있어서,
    상기 제 1 방향 번역을 수행하는 단계는,
    상기 제 1 언어의 제 1 입력 텍스트에 포함된 복수의 단어들과 대응되는 복수의 제 1 입력 벡터들에 기초하여 복수의 제 1 히든 벡터들을 순차로 생성하는 단계;
    상기 복수의 제 1 히든 벡터들 각각의 가중치들을 결정하는 단계;
    상기 복수의 제 1 히든 벡터들 각각의 가중치들, 상기 복수의 제 1 히든 벡터들 및 상기 제 2 문맥 벡터를 이용하여 복수의 제 1 출력 벡터들을 결정하는 단계; 및
    상기 복수의 제 1 출력 벡터들에 기초하여 상기 제 1 출력 텍스트에 포함될 복수의 단어들을 결정하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 제 1 방향 번역을 수행하는 단계는,
    상기 발화된 언어의 종류가 상기 제 1 언어임을 식별하는 단계; 및
    상기 제 1 언어의 발화들을 번역할 타겟(target) 언어로서 상기 제 2 언어를 결정하는 단계를 더 포함하는, 방법.
  7. 제 5 항에 있어서,
    상기 발화된 언어의 화제가 전환되었다고 판단되는 경우 상기 제 1 문맥 벡터 및 상기 제 2 문맥 벡터를 초기화하는 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 제 1 문맥 벡터 및 상기 제 2 문맥 벡터를 초기화하는 단계는,
    상기 복수의 제 1 히든 벡터들 중 최후에 생성된 벡터와 상기 제 1 문맥 벡터간의 연관도가 미리 결정된 기준값 미만인 경우 또는 상기 복수의 제 2 히든 벡터들 중 최후에 생성된 벡터와 상기 제 2 문맥 벡터간의 연관도가 미리 결정된 기준값 미만인 경우 상기 제 1 문맥 벡터 및 상기 제 2 문맥 벡터를 초기화하는 단계를 포함하는, 방법.
  9. 제 3 항에 있어서,
    상기 문맥 벡터는 제 3 언어의 텍스트에 기초하여 생성된 제 3 문맥 벡터를 더 포함하고,
    상기 방법은,
    상기 제 3 언어의 제 3 입력 텍스트를 획득하는 단계;
    상기 업데이트 된 제 1 문맥 벡터에 기초하여 상기 제 3 언어의 제 3 입력 텍스트를 상기 제 1 언어의 제 3 출력 텍스트로 번역하는 제 3 방향 번역을 수행하는 단계;
    상기 제 3 입력 텍스트 및 상기 제 3 출력 텍스트 각각에 기초하여 상기 업데이트 된 제1 문맥 벡터 및 상기 제3 문맥 벡터를 업데이트 하는 단계; 및
    상기 제 3 출력 텍스트를 출력하는 단계를 더 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 제 1 방향 번역은 인공 신경망 기계 번역(NMT)을 이용하여 수행되는, 방법.
  11. 발화된(uttered) 언어를 번역하는 전자 장치에 있어서,
    제 1 언어의 제 1 입력 텍스트를 획득하는 획득부;
    상기 제 1 입력 텍스트를 획득하기 전에 획득되었던 텍스트에 의하여 생성된 문맥 벡터에 기초하여, 상기 제 1 입력 텍스트를 제 2 언어의 제 1 출력 텍스트로 번역하는 제 1 방향 번역을 수행하고, 상기 제 1 입력 텍스트 및 상기 제 1 출력 텍스트에 기초하여 상기 문맥 벡터를 업데이트 하는 적어도 하나의 프로세서(processor); 및
    상기 제 1 출력 텍스트를 출력하는 출력부를 포함하는, 전자 장치.
  12. 제 11 항에 있어서,
    상기 획득부는,
    상기 제 2 언어의 제 2 입력 텍스트를 획득하고,
    상기 적어도 하나의 프로세서는,
    상기 업데이트 된 문맥 벡터에 기초하여 상기 제 2 입력 텍스트를 상기 제 1 언어의 제 2 출력 텍스트로 번역하는 제 2 방향 번역을 수행하고, 상기 제 2 입력 텍스트 및 상기 제 2 출력 텍스트에 기초하여 상기 업데이트 된 문맥 벡터를 다시 업데이트 하며,
    상기 출력부는,
    상기 제 2 출력 텍스트를 출력하는, 전자 장치.
  13. 제 11 항에 있어서,
    상기 문맥 벡터는,
    상기 제 1 언어의 텍스트에 기초하여 생성된 제 1 문맥 벡터 및 상기 제 2 언어의 텍스트에 기초하여 생성된 제 2 문맥 벡터를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제 2 문맥 벡터에 기초하여 상기 제 1 방향 번역을 수행하고, 상기 제 1 입력 텍스트에 기초하여 상기 제 1 문맥 벡터를 업데이트 하고, 상기 제 1 출력 텍스트에 기초하여 상기 제 2 문맥 벡터를 업데이트 하는, 전자 장치.
  14. 제 11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 발화된 언어의 종류가 상기 제 1 언어임을 식별하고, 상기 제 1 언어의 발화들을 번역할 타겟 언어로서 상기 제 2 언어를 결정하는, 전자 장치.
  15. 제 1 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2017/006627 2016-11-28 2017-06-23 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법 Ceased WO2018097439A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/463,959 US11314951B2 (en) 2016-11-28 2017-06-23 Electronic device for performing translation by sharing context of utterance and operation method therefor
CN201780081483.4A CN110114765B (zh) 2016-11-28 2017-06-23 通过共享话语的上下文执行翻译的电子设备及其操作方法
EP17873361.4A EP3540611A4 (en) 2016-11-28 2017-06-23 ELECTRONIC DEVICE FOR TRANSLATING BY SHARING THE CONTEXT OF AN EXPRESSION AND OPERATING METHOD THEREFOR

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0159416 2016-11-28
KR20160159416 2016-11-28
KR1020170048534A KR102544249B1 (ko) 2016-11-28 2017-04-14 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
KR10-2017-0048534 2017-04-14

Publications (1)

Publication Number Publication Date
WO2018097439A1 true WO2018097439A1 (ko) 2018-05-31

Family

ID=62195858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006627 Ceased WO2018097439A1 (ko) 2016-11-28 2017-06-23 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US11314951B2 (ko)
WO (1) WO2018097439A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178099B (zh) * 2018-11-28 2023-03-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN118711577A (zh) 2018-12-14 2024-09-27 谷歌有限责任公司 用于联网系统的基于语音的接口
CN110598671B (zh) * 2019-09-23 2022-09-27 腾讯科技（深圳）有限公司 基于文本的虚拟形象行为控制方法、设备和介质
KR20220056593A (ko) * 2020-10-28 2022-05-06 주식회사 아모센스 음성을 처리할 수 있는 모바일 단말기 및 이의 작동 방법
CN116368490A (zh) 2021-02-04 2023-06-30 三星电子株式会社 电子装置及其控制方法
WO2023063746A1 (ko) 2021-10-15 2023-04-20 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023063569A1 (ko) * 2021-10-15 2023-04-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CA3254834A1 (en) * 2022-03-17 2023-09-21 Smarsh, Inc. NATURAL LANGUAGE PROCESSING SYSTEMS AND METHODS
US20230315993A1 (en) * 2022-03-17 2023-10-05 Smarsh, Inc. Systems and processes for natural language processing
US12314300B1 (en) * 2023-12-28 2025-05-27 Open Text Inc. Methods and systems of content integration for generative artificial intelligence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060009963A1 (en) * 2004-07-12 2006-01-12 Xerox Corporation Method and apparatus for identifying bilingual lexicons in comparable corpora
US20140229158A1 (en) * 2013-02-10 2014-08-14 Microsoft Corporation Feature-Augmented Neural Networks and Applications of Same
US20150006157A1 (en) * 2012-03-14 2015-01-01 Nec Corporation Term synonym acquisition method and term synonym acquisition apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694286B1 (ko) 2012-05-02 2017-01-09 한국전자통신연구원 양방향 자동 통역 및 번역 서비스 제공 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060009963A1 (en) * 2004-07-12 2006-01-12 Xerox Corporation Method and apparatus for identifying bilingual lexicons in comparable corpora
US20150006157A1 (en) * 2012-03-14 2015-01-01 Nec Corporation Term synonym acquisition method and term synonym acquisition apparatus
US20140229158A1 (en) * 2013-02-10 2014-08-14 Microsoft Corporation Feature-Augmented Neural Networks and Applications of Same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAHDANAU, DZMITRY ET AL.: "NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE", RXIV PREPRINT ARXIV:1409.0473, 19 May 2016 (2016-05-19), XP055504646 *
KWON, HONG-SEOK ET AL.: "Enhancing Performance of Bilingual Lexicon Extraction through Refinement of Pivot-context Vectors", JOURNAL OF KIISE: SOFTWARE AND APPLICATIONS, vol. 41, no. 7, July 2014 (2014-07-01), pages 492 - 500, XP009514808 *

Also Published As

Publication number Publication date
US11314951B2 (en) 2022-04-26
US20200387676A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
WO2018097439A1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2020213996A1 (en) Method and apparatus for interrupt detection
WO2022019538A1 (ko) 언어 모델 및 이를 포함하는 전자 장치
WO2019117466A1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
WO2020213842A1 (en) Multi-model structures for classification and intent determination
WO2020130447A1 (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2021029643A1 (en) System and method for modifying speech recognition result
WO2020060311A1 (en) Electronic device and method for providing or obtaining data for training thereof
WO2020180000A1 (ko) 음성 인식 모델에서 사용되는 언어를 확장시키는 방법 및 음성 인식 모델을 포함하는 전자 장치
EP3785258A1 (en) Electronic device and method for providing or obtaining data for training thereof
WO2022211590A1 (en) Electronic device for processing user utterance and controlling method thereof
WO2021158040A1 (ko) 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법
WO2022030913A1 (ko) 음역 검색을 위한 방법 및 이를 지원하는 전자 장치
WO2020171545A1 (en) Electronic device and system for processing user input and method thereof
WO2020101178A1 (en) Electronic apparatus and wifi connecting method thereof
WO2023177051A1 (ko) 증강된 문장 후보에 기반하여 사용자 발화를 처리하는 방법 및 전자 장치
WO2023038292A1 (ko) 전자 장치 및 전자 장치의 음성 처리 방법
WO2023017975A1 (ko) 상태 변경에 따라 음성 명령 처리 결과를 출력하는 전자 장치 및 그의 동작 방법
WO2023022381A1 (ko) 전자 장치 및 전자 장치의 발화 처리 방법
WO2022182038A1 (ko) 음성 명령 처리 장치 및 방법
WO2022131566A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021246812A1 (ko) 딥러닝 nlp 모델을 활용한 뉴스 긍정도 분석 솔루션 및 장치
WO2023158076A1 (ko) 전자 장치 및 전자 장치의 발화 처리 방법
WO2023177079A1 (ko) 합성 벡터에 기반하여 사용자 발화를 처리하는 서버, 전자 장치, 및 이의 동작 방법
WO2023058944A1 (ko) 전자 장치 및 응답 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873361

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017873361

Country of ref document: EP

Effective date: 20190612