KR102403803B1 - 디스플레이장치, 음성취득장치 및 그 음성인식방법 - Google Patents

디스플레이장치, 음성취득장치 및 그 음성인식방법 Download PDF

Info

Publication number
KR102403803B1
KR102403803B1 KR1020210070587A KR20210070587A KR102403803B1 KR 102403803 B1 KR102403803 B1 KR 102403803B1 KR 1020210070587 A KR1020210070587 A KR 1020210070587A KR 20210070587 A KR20210070587 A KR 20210070587A KR 102403803 B1 KR102403803 B1 KR 102403803B1
Authority
KR
South Korea
Prior art keywords
voice
voice input
external
user
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210070587A
Other languages
English (en)
Other versions
KR20210068353A (ko
Inventor
최찬희
장종혁
류희섭
박경미
박승권
배재현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200094662A external-priority patent/KR102262050B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020210070587A priority Critical patent/KR102403803B1/ko
Publication of KR20210068353A publication Critical patent/KR20210068353A/ko
Priority to KR1020220064348A priority patent/KR102501655B1/ko
Application granted granted Critical
Publication of KR102403803B1 publication Critical patent/KR102403803B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 디스플레이장치, 음성취득장치 및 그 음성인식방법에 관한 것으로서, 디스플레이장치는, 영상을 표시하는 디스플레이부와; 복수의 외부기기와 통신을 수행하는 통신부와; 사용자가 발화한 음성을 인식하는 음성인식엔진을 포함하며, 음성취득부로부터 음성신호를 수신하고, 상기 수신된 음성신호를 인식하기 위한 후보 명령어를 상기 복수의 외부기기 중 적어도 하나로부터 수신하도록 상기 통신부를 제어하는 제어부를 포함한다. 이에 의하여, 다양한 음성취득장비의 활용도를 높이고 이를 이용한 연계 서비스가 가능하며, 음성인식을 위한 후보 명령어들을 동적으로 등록/삭제 가능하도록 함으로써, 처리속도 지연이나 인식률 저하 등의 문제에 유연하게 대처하여 전체 음성인식시스템의 효율을 높일 수 있다.

Description

디스플레이장치, 음성취득장치 및 그 음성인식방법{DISPLAY APPARATUS, VOICE ACQUIRING APPARATUS AND VOICE RECOGNITION METHOD THEREOF}
본 발명은 디스플레이장치, 음성취득장치 및 그 음성인식방법에 관한 것으로서, 보다 상세하게는 사용자가 발화한 음성을 인식하는 디스플레이장치, 음성취득장치 및 그 음성인식방법에 관한 것이다.
사용자가 발화한 음성을 인식하는 음성인식기능을 갖는 전자기기의 사용이 점차 늘어나고 있다. 음성인식은 PC, 이동통신기기뿐만 아니라 디지털 TV, 에어컨, 홈시어터 등과 같은 다양한 전자기기에서도 적극적으로 사용되는 추세이다.
이러한 음성인식기능을 수행하기 위해서는, TV와 같은 메인기기에 사용자가 발화한 음성을 입력받는 마이크와 입력된 음성을 인식하는 음성인식엔진을 마련하고, 음성인식엔진은 마이크로 입력된 음성을 미리 저장된 후보 명령어와 비교하여, 그 결과에 따라 발화된 음성을 인식할 수 있다.
그런데, 종래의 음성인식기능을 가지는 전자기기의 경우, 사용자가 발화한 음성을 입력받는 수단이 고정되어 있으므로, 휴대폰과 같은 음성입력이 가능한 다양한 입력 수단을 활용하기가 어렵다. 또한, 후보 명령어가 다양할수록 인식률이 높아지기는 하지만, 후보 명령어의 개수가 증가될수록 비교 대상이 많아져 음성인식 처리속도가 느려지고, 메인기기의 저장용량이 제한적일 수 밖에 없으므로, 후보 명령어가 지속적으로 추가되기가 어려운 단점이 있다.
본 발명 실시예에 따른 디스플레이장치는, 영상을 표시하는 디스플레이부와; 복수의 외부기기와 통신을 수행하는 통신부와; 사용자가 발화한 음성을 인식하는 음성인식엔진을 포함하며, 음성취득부로부터 음성신호를 수신하고, 상기 수신된 음성신호를 인식하기 위한 후보 명령어를 상기 복수의 외부기기 중 적어도 하나로부터 수신하도록 상기 통신부를 제어하는 제어부를 포함한다.
상기 음성취득부는 복수로 마련되며, 상기 제어부는 복수의 음성취득부 중 적어도 하나로부터 음성 입력이 감지되면, 상기 음성 입력이 감지된 음성취득부로부터 음성신호를 수신할 수 있다.
상기 음성취득부는 상기 디스플레이장치에 마련된 내장 마이크와, 상기 복수의 외부기기 중 적어도 하나에 마련된 제1 외부 마이크와, 상기 디스플레이장치 및 상기 복수의 외부기기와 분리된 제2 외부 마이크 중 적어도 하나를 포함할 수 있다.
상기 외부기기는 적어도 하나의 어플리케이션을 포함하며, 상기 후보 명령어는 상기 어플리케이션에 의해 관리될 수 있다.
상기 후보 명령어를 관리하며, 상기 디스플레이장치에 마련되는 내장 어플리케이션을 더 포함할 수 있다.
상기 수신된 후보 명령어를 저장하는 저장부를 더 포함하고, 상기 음성인식엔진은 상기 수신된 후보 명령어를 이용하여 음성을 인식할 수 있다.
상기 제어부는, 상기 복수의 음성취득부 중 어느 하나에 대한 웨이크업 키워드가 발화되는 것이 감지되면, 상기 감지된 웨이크업 키워드에 대응하는 음성취득부를 활성화하고, 상기 활성화된 음성취득부로부터 음성신호를 수신할 수 있다.
상기 제어부는, 상기 복수의 음성취득부 중 어느 하나에 마련된 소정 버튼의 조작에 따른 트리거 신호가 입력되면, 상기 입력된 트리거 신호에 대응하는 음성취득부를 활성화하고, 상기 활성화된 음성취득부로부터 음성신호를 수신할 수 있다.
상기 제어부는 상기 음성신호에 대한 음성인식 결과 및 상기 음성인식 결과에 따른 후보 명령어를 표시하도록 상기 디스플레이부를 제어할 수 있다.
상기 디스플레이부는 상기 후보 명령어를 관리하는 어플리케이션 정보를 더 표시할 수 있다.
상기 음성인식엔진은 상기 수신된 후보 명령어 중 상기 수신된 음성신호와 일치 또는 유사한 명령어를 결정하여 상기 음성을 인식할 수 있다.
한편, 본 발명 실시예에 따른 음성취득장치는, 음성인식기능을 갖는 디스플레이장치와 통신을 수행하는 통신부와; 사용자가 발화한 음성을 입력받는 음성취득부와; 상기 입력된 음성을 전기적인 음성신호로 변환하는 음성변환부와; 상기 변환된 음성신호 및 상기 음성신호를 인식하기 위한 후보 명령어를 상기 디스플레이장치로 송신하도록 상기 통신부를 제어하는 제어부를 포함한다.
적어도 하나의 어플리케이션을 더 포함하며, 상기 후보 명령어는 상기 어플리케이션에 의해 관리될 수 있다.
한편, 본 발명 실시예에 따른 디스플레이장치의 음성인식방법은, 음성취득부로부터 음성신호를 수신하는 단계와; 상기 수신된 음성신호를 인식하기 위한 후보 명령어를 복수의 외부기기 중 적어도 하나로부터 수신하는 단계와; 상기 수신된 음성신호 및 후보 명령어에 따라 사용자가 발화한 음성을 인식하는 단계를 포함한다.
복수의 음성취득부 중 적어도 하나로부터 음성 입력을 감지하는 단계를 더 포함하며, 상기 음성신호를 수신하는 단계는 상기 음성 입력이 감지된 음성취득부로부터 음성신호를 수신할 수 있다.
상기 음성취득부는 상기 디스플레이장치에 마련된 내장 마이크와, 상기 복수의 외부기기 중 적어도 하나에 마련된 제1 외부 마이크와, 상기 디스플레이장치 및 상기 복수의 외부기기와 분리된 제2 외부 마이크 중 적어도 하나를 포함할 수 있다.
상기 외부기기는 적어도 하나의 어플리케이션을 포함하며, 상기 후보 명령어는 상기 어플리케이션에 의해 관리될 수 있다.
상기 후보 명령어를 관리하며, 상기 디스플레이장치에 마련되는 내장 어플리케이션을 더 포함할 수 있다.
상기 수신된 후보 명령어를 저장하는 단계를 더 포함하고, 상기 음성을 인식하는 단계는 상기 수신된 후보 명령어를 이용하여 음성을 인식할 수 있다.
상기 음성 입력을 감지하는 단계는, 상기 복수의 음성취득부 중 어느 하나에 대한 웨이크업 키워드가 발화되는 것을 감지하는 단계와; 상기 감지된 웨이크업 키워드에 대응하는 음성취득부를 활성화하는 단계를 포함할 수 있다.
상기 음성 입력을 감지하는 단계는, 상기 복수의 음성취득부 중 어느 하나에 마련된 소정 버튼의 조작에 따른 트리거 신호가 입력되는 것을 감지하는 단계와; 상기 입력된 트리거 신호에 대응하는 음성취득부를 활성화는 단계를 포함할 수 있다.
상기 음성신호에 대한 음성인식 결과 및 상기 음성인식 결과에 따른 후보 명령어를 표시하는 단계를 더 포함할 수 있다.
상기 표시하는 단계는, 상기 후보 명령어를 관리하는 어플리케이션 정보를 더 표시할 수 있다.
상기 음성을 인식하는 단계는, 상기 수신된 후보 명령어 중 상기 수신된 음성신호와 일치 또는 유사한 명령어를 결정하여 상기 음성을 인식할 수 있다.
도 1은 본 발명의 실시예에 의한 음성인식시스템의 예시도이며,
도 2는 본 발명의 일실시예에 의한 음성인식시스템의 구성을 도시한 블록도이며,
도 3은 본 발명 일실시예에 따라 음성인식을 수행하는 예를 설명하는 도면이며,
도 4는 도 3의 음성인식 결과 표시되는 화면의 예를 도시한 도면이며,
도 5는 본 발명 다른 실시예에 따라 음성인식을 수행하는 예를 설명하는 도면이며,
도 6은 본 발명 실시예에 의한 음성인식시스템의 음성인식방법을 도시한 흐름도이며,
도 7은 도 6의 음성입력을 감지하는 과정을 보다 상세하게 도시한 흐름도이며,
도 8은 도 6의 음성인식을 수행하는 과정을 보다 상세하게 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 관하여 상세히 설명한다.
도 1은 본 발명의 실시예에 의한 음성인식시스템의 예시도이다.
도 1에 도시된 바와 같이, 본 발명 실시예에 의한 음성인식시스템은 메인기기(100), 복수의 음성취득장치(201, ... , 202) 및 복수의 외부기기(301, 302, ... , 303)를 포함한다. 메인기기(100), 복수의 음성취득장치(201, 202) 및 복수의 외부기기(301, 302, 303)는 상호 통신 가능하도록 연결된다.
메인기기(100)에는 사용자가 발화한 음성이 입력되는 마이크와 같은 음성취득부(140) 및 입력된 음성을 인식하는 음성인식엔진(181)이 마련되며, 통신부(160)를 통해 음성취득장치(201, 202) 및 외부기기(301, 302, 303)와 통신을 수행한다. 또한, 메인기기(100)에는 하나 이상의 내장 어플리케이션(171, 172)(Native Application)이 마련되어, 메인기기(100)가 다양한 기능(서비스)을 수행할 수 있도록 구동된다. 본 실시예의 내장 어플리케이션(171, 172)에는 수행하는 기능에 대응 즉, 수행 가능한 서비스 시나리오에 포함된 후보 명령어가 미리 저장되며, 내장 어플리케이션(171, 172)에 저장된 후보 명령어는 음성인식 시 음성인식엔진(181)으로 전달되어, 음성인식엔진(181)이 음성인식을 수행할 수 있도록 한다.
음성취득장치(201, 202)는 사용자가 발화한 음성을 입력받는 마이크와 같은 음성취득부를 포함하며, 입력된 음성에 대응하는 음성신호는 음성인식을 위해 메인기기(100)로 전달된다.
음성취득장치(201, 202)는 사용자가 발화한 음성을 입력받고, 이를 전기적인 음성신호로 변환하여 메인기기(100)로 송신한다. 음성취득장치(201, 202)는 메인기기(100)와 무선통신이 가능한 외부장치이며, 무선통신은 무선랜(wireless LAN), RF(radio frequency) 통신, 블루투스(Bluetooth), 지그비(Zigbee), 적외선(IR: infrared) 통신 등을 포함한다.
외부기기(301, 302, 303)에는 하나 이상의 외부 어플리케이션(Dev. Application)이 마련되어, 각각의 외부기기(301, 302, 303)가 필요로 하는 기능(서비스)을 수행할 수 있다. 본 실시예의 외부 어플리케이션에는 대응하는 외부기기(301, 302, 303)가 수행하는 기능에 대응하는 후보 명령어가 미리 저장되며, 외부 어플리케이션에 저장된 후보 명령어는 음성인식 시 음성인식엔진(181)으로 전달되어, 음성인식엔진(181)이 음성인식을 수행할 수 있도록 한다.
여기서, 내장 어플리케이션(171, 172) 및 외부 어플리케이션에 미리 등록되는 후보 명령어는 해당 어플리케이션의 기능/동작과 관련된 명령어일 수 있다. 예를 들어, 메인기기(100)가 TV 인 경우, TV의 채널이동, 볼륨조절 등과 관련된 후보 명령어가 내장 어플리케이션(171, 172) 중 어느 하나에 저장될 수 있으며, 외부기기(302)가 에어컨인 경우, 온도조절(올림/내림), 바람의 세기조절(강풍/약풍/미풍) 등과 관련된 후보 명령어가 외부기기(302)에 포함된 어플리케이션에 저장될 수 있다.
본 발명은 도 1의 외부기기1(301)과 같이, 외부기기 또는 음성취득장치가 음성취득부와 외부 어플리케이션을 모두 포함하도록 구현될 수 있다. 이 경우, 외부기기1(301)에 마련된 음성취득부로부터 음성이 입력되면, 외부기기1(301)의 외부 어플리케이션에 미리 저장된 후보 명령어가 메인기기(100)의 음성인식엔진(181)으로 전달되어, 음성인식이 수행될 수 있다.
본 실시예의 음성인식시스템은 적어도 하나의 음성취득부를 포함하며, 음성취득부로부터 음성 입력이 감지되면, 음성 입력이 감지된 음성취득부를 활성화시켜 음성 스트림(stream)을 수신한다. 음성취득부가 복수로 마련된 경우, 복수의 음성취득부 중 음성 입력이 감지된 음성취득부를 활성화 시켜 음성 스트림을 수신할 수 있다. 여기서, 복수의 음성취득부는 메인기기(100)에 마련된 내장 마이크와, 복수의 외부기기(301, 302, 303) 중 적어도 하나에 마련된 제1 외부 마이크와, 메인기기(100) 및 복수의 외부기기(301, 302, 303)와 분리된 별도의 음성취득장치(201, 202)에 마련된 제2 외부 마이크를 포함할 수 있다.
메인기기(100)는 복수의 음성취득부 중 어느 하나에 대한 웨이크업 키워드(wakeup keyword)가 발화되는 것이 감지되면, 감지된 웨이크업 키워드에 대응하는 음성취득부를 활성화하고, 활성화된 음성취득부로부터 음성신호를 수신할 수 있다. 또한, 메인기기(100)는 복수의 음성취득부 중 어느 하나에 마련된 소정 버튼의 조작(이벤트 발생)에 따른 트리거 신호(trigger signal)가 입력되면, 입력된 트리거 신호에 대응하는 음성취득부를 활성화하고, 활성화된 음성취득부로부터 음성신호를 수신할 수 있다.
본 실시예의 메인기기(100)는 음성인식모드에서 동작하며 웨이크업 키워드나 트리거 신호에 의해 어느 하나의 음성취득부가 활성화되면, 다른 음성취득부는 비활성화시켜 음성인식에 있어 오류가 발생하는 것을 방지할 수 있다. 메인기기(100)는 이에 따른 원거리 또는 근거리 음성인식모드로 동작 가능하다. 또한, 후술하는 디스플레이부(130)에 연결된 음성취득부를 나타내는 UI를 표시하여 사용자의 편의를 도울 수 있게 한다.
그리고, 메인기기(100)는 수신된 음성신호를 인식하기 위한 후보 명령어를 복수의 외부기기(301, 302, 303) 중 적어도 하나로부터 수신할 수 있다. 수신된 후보 명령어는 음성인식을 위해 음성인식엔진(181)으로 전달 가능하다.
복수의 외부기기(301, 302, 303)는 적어도 하나의 어플리케이션을 포함하며, 후보 명령어는 대응하는 각 어플리케이션에 의해 관리될 수 있다. 또한, 메인기기(100)는 내장 어플리케이션(171, 172)을 더 포함하며, 내장 어플리케이션(171, 172)은 대응하는 후보 명령어를 관리한다. 내장 어플리케이션(171, 172)에 의해 관리되는 후보 명령어는 음성인식을 위해 음성인식엔진(181)으로 전달 가능하다.
본 발명의 메인기기(100)는 도 2와 같이 TV와 같은 디스플레이장치로 구현될 수 있다.도 2는 본 발명의 일실시예에 의한 음성인식시스템의 구성을 도시한 블록도이다.
디스플레이장치(100)는 외부의 영상공급원(미도시)으로부터 제공되는 영상신호를 영상으로 표시 가능하도록 기 설정된 영상처리 프로세스에 따라서 처리한다.
본 실시예의 시스템에서 디스플레이장치(100)는 방송국의 송출장비로부터 수신되는 방송신호/방송정보/방송데이터에 기초한 방송 영상을 처리하는 TV 또는 셋탑 박스(set top box)로 구현되는 경우에 관해 설명한다. 그러나, 본 발명의 사상이 디스플레이장치(100)의 구현 예시에 한정되지 않는 바, 디스플레이장치(100)는 TV, 셋탑 박스 이외에도 영상을 처리 가능한 다양한 종류의 구현 예시가 적용될 수 있다.
또한, 디스플레이장치(100)는 표시 가능한 영상의 종류가 방송 영상에 한정되지 않는 바, 예를 들면 디스플레이장치(100)는 다양한 형식의 영상공급원(미도시)으로부터 수신되는 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 GUI(graphic user interface) 등의 영상을 표시하도록 처리할 수 있다.
본 발명의 실시예에 따르면, 디스플레이장치(100)는 스마트 TV로 구현될 수 있다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우저 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 TV이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
본 실시예의 디스플레이장치(100)에는 사용자 음성을 인식하는 음성인식엔진(181)이 마련된다. 인식된 음성에 대응하는 커맨드(Command) 즉, 제어명령은 대응하는 어플리케이션으로 송신되어 해당 기능에 따른 동작을 수행하게 된다. 여기서, 제어명령에 대응하는 어플리케이션이 내장 어플리케이션(171, 172) 중 어느 하나인 경우, 디스플레이장치(100)는 해당 어플리케이션에 의해 제어명령에 따른 동작을 수행한다. 또한, 제어명령에 대응하는 어플리케이션이 외부 어플리케이션인 경우, 해당 제어명령은 외부 어플리케이션이 포함된 외부기기(301, 302, 303)로 송신되어, 외부기기(301, 302, 303)가 해당 어플리케이션에 의해 제어명령에 따른 동작을 수행할 수 있다.
한편, 도 2에서는 메인기기가 TV와 같은 디스플레이장치로 구현된 경우를 도시하고 있지만, 본 발명은 이에 한정되지 않으며 메인기기는 다양한 전자장치 예를 들어, PC 등으로 구현될 수 있다.
도 2에 도시된 실시예에서는 음성취득장치가 복수로 구비되며, 예를 들어 휴대폰(200)과, 리모컨(remote controller)(300)으로 구현된 것을 일례로 한다. 여기서, 리모컨(300)은 음성취득장치와 외부기기의 역할을 모두 수행하며, 휴대폰(200)은 음성취득 기능을 가지는 스마트폰일 수 있다.
리모컨(300)은 사용자의 조작에 의해 기 설정된 커맨드(제어명령)를 대응하는 장치에 전송한다. 본 실시예의 리모컨은 디스플레이장치(100) 또는 외부기기에 커맨드를 전송하도록 기 설정될 수 있으며, 경우에 따라 복수의 장치에 커맨드를 전송하는 통합 리모컨으로 구현될 수 있다. 또한, 리모컨(300)은 TV 리모컨 및/또는 에이컨 리모컨을 포함할 수도 있다.
한편, 본 발명의 음성취득장치는 휴대폰(200)과 리모컨(300)뿐 아니라 휴대용 단말장치, 마이크 송신기 등 사용자가 발화한 음성을 입력받을 수 있는 다양한 장치로 구현될 수 있다.
도 2에 도시된 실시예에서는 외부기기가 복수로 구비되며, 예를 들어 리모컨(300)과, 에어컨(air conditioner)(400)으로 구현된 것을 일례로 한다. 앞서 설명한 바와 같이, 리모컨(300)은 음성취득장치와 외부기기의 역할을 모두 수행한다.
도 2의 실시예에서는 외부기기가 리모컨(300)과 에어컨(400)으로 구현된 것을 그 일례로 하지만, 본 발명의 외부기기는 이에 한정되지 않으며, 무선통신이 가능한 다양한 전자기기 예를 들어, 홈시어터, 라디오, VCR, DVD, 세탁기, 냉장고, 로봇청소기 등으로 구현될 수 있다. 또한, 외부기기에 마이크와 같은 음성취득부가 마련되면, 음성취득장치의 역할을 함께 수행할 수 있다.
본 실시예의 외부기기에는 기능을 수행하기 위한 어플리케이션(372, 472)이 구비되며, 각 어플리케이션(372, 472)에는 후보 명령어가 미리 저장되어 관리되며, 후보 명령어는 음성인식을 위해 디스플레이장치(100)로 송부될 수 있다.
외부기기 즉, 리모컨(300)과 에어컨(400)는 음성인식 결과에 따라 디스플레이장치(100)로부터 수신된 제어명령에 대응하는 동작을 수행한다.
이하, 도 2를 참조하여, 음성인식시스템의 각 구성을 보다 상세하게 설명한다.
도 2에 도시된 바와 같이, 디스플레이장치(100)는 영상신호를 수신하는 영상수신부(110), 영상수신부(110)에 수신되는 영상신호를 처리하는 영상처리부(120), 영상처리부(120)에 의해 처리되는 영상신호를 영상으로 표시하는 디스플레이부(130), 사용자가 발화한 음성을 입력받는 제1음성취득부(140), 입력된 음성을 전기적인 음성신호로 변환하는 제1음성변환부(150), 외부장치와 통신을 수행하는 제1통신부(160), 각종 데이터가 저장되는 제1저장부(170), 디스플레이장치(100)를 제어하는 제1제어부(180)를 포함한다.
영상수신부(110)는 영상신호를 수신하여 영상처리부(120)에 전달하며, 수신하는 영상신호의 규격 및 디스플레이장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 영상수신부(110)는 방송국(미도시)으로부터 송출되는 RF(radio frequency) 신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 영상신호가 방송신호인 경우, 영상수신부(110)는 이 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 포함한다.
또한, 영상신호는 외부기기로부터 입력될 수 있으며, 예컨대, 영상신호는 PC, AV기기, 스마트폰, 스마트패드 등과 같은 외부기기로부터 입력될 수 있다. 또한, 영상신호는 인터넷 등과 같은 네트워크를 통해 수신되는 데이터로부터 기인한 것일 수 있다. 이 경우, 디스플레이장치(100)는, 제1통신부(160)를 통해 네트워크 통신을 수행하거나, 별도의 네트워크 통신부를 더 포함할 수 있다. 또한, 영상신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 제1저장부(170)에 저장된 데이터로부터 기인한 것일 수 있다. 제1저장부(170)는 디스플레이장치(100)의 내부 또는 외부에 마련될 수 있으며, 외부에 마련되는 경우 제1저장부(170)가 연결되는 연결부(미도시)를 더 포함할 수 있다.
영상처리부(120)는 영상신호에 대해 기 설정된 다양한 영상처리 프로세스를 수행한다. 영상처리부(120)는 이러한 프로세스를 수행한 영상신호를 디스플레이부(130)에 출력함으로써, 디스플레이부(130)에 영상이 표시되게 한다.
영상처리부(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 다양한 영상 포맷에 대응하는 디코딩(decoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame refresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 라인 스캐닝(line scanning) 등을 포함할 수 있다. 영상처리부(120)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 SoC(system-on-chip)로 구현될 수 있다.
디스플레이부(130)는 영상처리부(120)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(130)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(130)가 액정 방식인 경우, 디스플레이부(130)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다.
본 발명의 디스플레이부(130)는 인식된 음성에 대한 정보로서 음성인식결과를 표시할 수 있다. 여기서, 음성인식결과는 텍스트, 그래픽, 아이콘 등의 다양한 형태로 표시 가능하며, 텍스트는 문자와 숫자를 포함한다. 본 실시예의 디스플레이부(130)는 음성인식 결과에 따른 후보 명령어 및 어플리케이션 정보를 더 표시할 수 있다. 이와 관련하여서는 후술하는 도 4에서 보다 상세하게 설명하기로 한다.
사용자는 디스플레이부(130)에 표시된 음성인식결과에 의해 음성이 올바르게 인식되었는지를 확인할 수 있으며, 리모컨에 마련된 사용자입력부(390)를 조작하여 표시된 후보 명령어 중에서 사용자가 발화한 음성에 대응하는 명령어를 선택하거나, 음성인식 결과와 관련된 정보를 선택하여 확인할 수도 있다.
제1음성취득부(140)는 사용자가 발화한 음성을 입력받는 것으로서, 마이크(microphone)로 구현될 수 있다.
제1음성변환부(150)는 제1음성취득부(140)에서 입력된 음성을 전기적인 음성신호로 변환한다. 변환된 음성신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가진다. 여기서, 제1음성변환부(150)는 사용자의 입력음성을 디지털로 변환하는 A/D 변환부로 구현될 수 있다.
한편, 제1음성취득부(140)가 디지털 마이크인 경우, 별도의 A/D 변환을 필요로 하지 않으므로, 제1음성취득부(140)가 제1음성변환부(150)를 포함할 수 있다.
제1통신부(160)는 음성취득장치 및 외부기기 즉, 도 2의 휴대폰(200), 리모컨(300) 및 에어컨(400)와 통신을 수행한다. 본 실시예의 제1통신부(160)는 무선통신을 수행할 수 있으며, 무선통신은 적외선 통신, RF, 지그비, 블루투스 중 적어도 하나를 포함한다.
제1저장부(170)는 제1제어부(180)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 제1저장부(170)는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 저장매체로 구현된다. 제1저장부(170)는 제1제어부(180)에 의해 액세스되며, 제1제어부(180)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
제1저장부(170)에 저장되는 데이터는, 예를 들면 디스플레이장치(100)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
본 실시예의 제1저장부(170)에는 사용자가 발화한 음성을 인식하기 위한 각종 데이터가 저장될 수 있다. 예를 들어, 제1저장부(170)는 수신된 음성신호에 대응하는 음성인식대상정보로서, 후보 명령어(이하 명령어 후보군 이라고도 한다)가 포함된 명령어 테이블(171)을 저장할 수 있다. 명령어 테이블(171)에서는 각 어플리케이션 별로 후보 명령어가 관리될 수 있다.
본 실시예의 제1저장부(170)에는 디스플레이장치(100)의 기능 수행을 위한 하나 이상의 어플리케이션 예를 들어, 어플리케이션 1 및 2(172, 173)가 더 저장된다. 어플리케이션 1 및 2(172, 173)는 후술하는 제1제어부(180)의 제어에 따라 구동되어, 디스플레이장치(100)의 각종 기능을 수행한다. 도 2에서는 디스플레이장치(100)에 2개의 어플리케이션(172, 173)이 내장된 경우를 예로 들어 도시하였지만, 디스플레이장치(100)가 수행하는 기능이 다양한 바, 본 발명의 디스플레이장치(100)에는 3개 이상의 어플리케이션이 내장될 수 있다.
어플리케이션 1 및 2(172, 173)는 수행하는 기능에 대응하는 후보 명령어를 각각 관리한다. 어플리케이션 1 및 2(172, 173)에서 관리되는 후보 명령어들은 필요에 따라 명령어 테이블(171)에 등록/삭제될 수 있다.
제1 및/또는 제2 어플리케이션(172, 173)의 후보 명령어가 명령어 테이블(171)에 등록되면, 음성인식엔진(181)은 명령어 테이블(171)에 등록된 후보 명령어를 이용하여 음성인식을 수행하게 된다.
본 실시예의 명령어 테이블(171)에 등록/삭제 가능한 후보 명령어는 후술하는 리모컨(300)의 어플리케이션 3(372)에서 관리되는 후보 명령어 및 에어컨(400)의 어플리케이션 4(472)에서 관리되는 어플리케이션을 더 포함할 수 있다.
제1제어부(180)는 디스플레이장치(100)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제1제어부(180)는 영상처리부(120)가 처리하는 영상처리 프로세스의 진행, 리모컨(300)으로부터의 커맨드에 대한 대응 제어동작을 수행함으로써, 디스플레이장치(100)의 전체 동작을 제어한다.
제1제어부(180)는 예를 들어 CPU에 소프트웨어가 결합된 형태로 구현될 수 있다.
제1제어부(180)는 사용자가 발화한 음성을 인식하는 음성인식엔진(181)을 포함한다. 음성인식엔진(181)의 음성인식기능은 기 알려진 음성인식알고리즘을 이용하여 수행될 수 있다. 예를 들어, 음성인식엔진(181)은 음성신호의 음성특징 벡터를 추출하고, 추출된 음성특징 벡터를 제1저장부(170)의 명령어 테이블(171)에 저장된 후보 명령어들과 비교하여 음성을 인식할 수 있다. 또한, 명령어 테이블(171)에 저장된 후보 명령어 중 추출된 음성특징 벡터와 일치하는 명령어가 없는 경우, 유사도가 높은 명령어로 음성인식 결과를 보정하여 음성을 인식할 수 있다. 여기서, 유사도가 높은 후보 명령어가 복수인 경우, 제1제어부(180)는 디스플레이부(130)에 복수의 후보 명령어를 표시하고, 사용자에 의해 어느 하나를 선택받을 수 있다.
본 실시예의 음성인식엔진(181)은 CPU에 상주하는 임베디드 음성인식엔진(181)으로 구현된 것을 예로 들어 설명하지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 음성인식엔진(181)은 CPU와 별개인 디스플레이장치(100) 내에 내장된 장치 즉, 마이컴(Micro Computer)과 같은 별도의 칩으로 구현될 수 있다.
한편, 본 발명은 음성인식엔진(181)이 디스플레이장치(100)와 물리적으로 분리된 서버(이하, 클라우드 서버 라고도 한다(도시 안됨))에 마련된 경우를 포함한다. 클라우드 서버는 디스플레이장치(100)와 인터넷과 같은 네트워크를 통하여 통신을 수행한다. 여기서, 네트워크는 유선 또는 무선 네트워크일 수 있다. 이러한 경우, 음성인식엔진(181)은 클라우드 서버의 CPU에 상주하는 임베디드 음성인식엔진이나, CPU와 별개로 클라우드 서버 내에 내장된 장치 즉, 마이컴(Micro Computer)과 같은 별도의 칩으로 구현될 수 있다.
제1제어부(180)는 음성인식엔진(181)의 인식결과에 대응하는 동작을 수행할 수 있다. 예를 들어, 디스플레이장치(100)가 TV인 경우 영화나 뉴스를 사용자가 시청하고 있을 때, 음성인식엔진(181)이 볼륨 업, 볼륨 다운 또는 소리 크게, 소리 작게 등을 인식하면, 제1제어부(180)는 이에 대응하도록 영화나 뉴스의 소리 크기(볼륨)를 조절할 수 있다.
제1제어부(180)는 음성인식엔진(181)의 인식결과, 인식된 음성이 리모컨(300), 에어컨(400)과 같은 외부기기를 제어하는 음성인 경우, 인식된 음성에 대응하는 제어명령을 해당 외부기기로 송신하도록 제1통신부(160)를 제어할 수 있다. 예를 들어, 음성인식엔진(181)이 온도 올려를 인식하면, 제1제어부(180)는 이를 에어컨에 대한 음성으로 인식하고, 에어컨의 온도를 상승시키도록 하는 커맨드를 에어컨(400)으로 송신하도록 제1통신부(160)를 제어할 수 있다.
이하, 휴대폰(200)의 구체적인 구성에 관해 설명한다.
도 2에 도시된 바와 같이, 휴대폰(200)은 음성취득장치로서 사용자가 발화한 음성을 입력받는 제2음성취득부(240), 입력된 음성을 전기적인 음성신호로 변환하는 제2음성변환부(250), 외부와 통신을 수행하는 제2통신부(260), 한정되지 않는 데이터가 저장되는 제2저장부(270) 및 휴대폰(200)을 제어하는 제2제어부(280)를 포함한다.
제2음성취득부(240)는 사용자가 발화한 음성을 입력받는 것으로서, 마이크로 구현될 수 있다. 제2음성변환부(250)는 제2음성취득부(240)에서 입력된 음성을 전기적인 음성신호로 변환한다. 변환된 음성신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가진다. 여기서, 제1음성변환부(250)는 사용자의 입력음성을 디지털로 변환하는 A/D 변환부로 구현될 수 있다.
한편, 제2음성취득부(240)가 디지털 마이크인 경우, 별도의 A/D 변환을 필요로 하지 않으므로, 제2음성취득부(240)가 제2음성변환부(240)를 포함할 수 있다.
제2통신부(260)는 디스플레이장치(100)와 통신을 수행한다. 본 실시예의 제2통신부(260)는 유선 또는 무선통신을 수행하며, 무선통신은 RF, 지그비, 블루투스 중 적어도 하나를 포함한다.
본 실시예의 제2통신부(260)는 제2음성변환부(250)로부터 전달된 음성신호를 디스플레이장치(100)에 송신한다.
제2저장부(270)는 제2제어부(280)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 제2저장부(270)는 플래시메모리(flash-memory)와 같은 비휘발성 저장매체로 구현된다. 제2저장부(270)는 제2제어부(280)에 의해 액세스되며, 제2제어부(280)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
제2저장부(270)에 저장되는 데이터는, 예를 들면 휴대폰(200)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
제2제어부(280)는 휴대폰(200)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제2제어부(280)는 사용자의 조작에 대응하는 커맨드를 생성하고, 생성된 커맨드에 대응하는 동작을 수행하여 그 결과를 디스플레이부(도시안됨)에 표시할 수 있다.
제2제어부(280)는 예를 들어 MCU(Micro Controller Unit)에 소프트웨어가 결합된 형태로 구현될 수 있다.
본 실시예의 제2제어부(280)는 제2음성취득부(240)를 통해 사용자가 발화한 음성이 입력되면, 이를 전기적인 음성신호로 변환하도록 제2음성변환부(250)를 제어하고, 변환된 음성신호를 디스플레이장치(100)로 송신하도록 제2통신부(260)를 제어한다.
이하, 리모컨(300)의 구체적인 구성에 관해 설명한다.
도 2에 도시된 바와 같이, 리모컨(300)은 음성취득장치이며 동시에 외부기기로서, 사용자의 조작을 입력받는 사용자입력부(330), 사용자가 발화한 음성을 입력받는 제3음성취득부(340), 입력된 음성을 전기적인 음성신호로 변환하는 제3음성변환부(350), 외부와 통신을 수행하는 제3통신부(360), 한정되지 않은 데이터가 저장되는 제3저장부(370) 및 리모컨(300)을 제어하는 제3제어부(380)를 포함한다.
사용자입력부(330)는 사용자의 조작 및 입력에 의해, 기 설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 제3제어부(380)에 전달한다. 사용자입력부(330)는 리모컨(300)의 외측에 설치된 메뉴 키, 숫자 키 등을 포함하는 버튼으로 구현될 수 있다. 리모컨(300)이 TV 리모컨인 경우, 사용자입력부(330)는 사용자의 터치입력을 수신하는 터치감지부 및/또는 리모컨(300)의 모션을 감지하는 모션감지부를 더 포함할 수 있다.
제3음성취득부(340)는 사용자가 발화한 음성을 입력받는 것으로서, 마이크로 구현될 수 있다.
제3음성변환부(350)는 제3음성취득부(340)에서 입력된 음성을 전기적인 음성신호로 변환한다. 변환된 음성신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가진다. 여기서, 제3음성변환부(350)는 사용자의 입력음성을 디지털로 변환하는 A/D 변환부로 구현될 수 있다.
한편, 제3음성취득부(340)가 디지털 마이크인 경우, 별도의 A/D 변환을 필요로 하지 않으므로, 제3음성취득부(340)는 제3음성변환부(350)를 포함할 수 있다.
제3통신부(360)는 디스플레이장치(100)와 통신을 수행한다. 본 실시예의 제3통신부(360)는 무선통신을 수행하며, 무선통신은 적외선 통신, RF, 지그비, 블루투스 중 적어도 하나를 포함한다.
본 실시예의 제3통신부(360)는 제3음성변환부(350)로부터 전달된 음성신호를 디스플레이장치(100)에 송신하며, 후술하는 제3저장부(370) 내의 어플리케이션 3(372)에 의해 관리되는 후보 명령어를 디스플레이장치(100)에 송신한다.
제3저장부(370)는 제3제어부(380)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 제3저장부(370)는 플래시메모리(flash-memory)와 같은 비휘발성 저장매체로 구현된다. 제3저장부(370)는 제3제어부(380)에 의해 액세스되며, 제3제어부(380)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
제3저장부(370)에 저장되는 데이터는, 예를 들면 리모컨(300)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
본 실시예의 제3저장부(370)에는 리모컨(300)의 기능 수행을 위한 하나 이상의 어플리케이션 예를 들어, 어플리케이션 3(372)이 더 저장된다. 어플리케이션 3(372)는 후술하는 제3제어부(380)의 제어에 따라 구동되어, 리모컨(300)의 각종 기능을 수행한다. 본 발명에서는 어플리케이션 3(372)과 후술하는 어플리케이션 4(472)를 디스플레이장치(100) 내장 어플리케이션(172, 173)과의 구별을 위해 외부 어플리케이션이라 한다.
도 2에서는 리모컨(300)에 1개의 어플리케이션(372)이 마련된 경우를 예로 들어 도시하였지만, 본 발명은 리모컨(300)에 2개 이상의 어플리케이션이 구비되는 경우도 포함한다.
어플리케이션 3(372)은 수행하는 기능에 대응하는 후보 명령어를 관리한다. 어플리케이션 3(372)에서 관리되는 후보 명령어들은 필요에 따라 디스플레이장치(100)의 명령어 테이블(171)에 등록/삭제될 수 있다.
제3제어부(380)는 리모컨(300)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제3제어부(260)는 사용자입력부(330)에 대한 사용자의 조작에 대응하는 커맨드를 생성하고, 생성된 커맨드를 디스플레이장치(100)로 송신하도록 제3통신부(360)를 제어할 수 있다.
제3제어부(380)는 예를 들어 MCU(Micro Controller Unit)에 소프트웨어가 결합된 형태로 구현될 수 있다.
본 실시예의 제3제어부(380)는 제3음성취득부(340)를 통해 사용자가 발화한 음성이 입력되면, 이를 전기적인 음성신호로 변환하도록 제3음성변환부(350)를 제어하고, 변환된 음성신호를 디스플레이장치(100)로 송신하도록 제3통신부(360)를 제어한다.
제3제어부(380)는 디스플레이장치(100)와 통신을 수행하면서, 제3저장부(370)의 어플리케이션 3(372)에서 관리되는 후보 명령어를 디스플레이장치(100)로 송신할 수 있다. 송신된 후보 명령어는 디스플레이장치(100)의 명령어 테이블(171)에 등록되어, 음성인식엔진(181)의 음성인식 동작에 이용된다.
또한, 제3제어부(380)는 디스플레이장치(100)로부터 음성인식에 따른 제어명령이 수신되는 경우, 제3통신부(360)를 통해 이를 수신하고, 수신된 제어명령에 대응하는 동작을 수행할 수 있다.
이하, 에어컨(400)의 구체적인 구성에 관해 설명한다.
도 2에 도시된 바와 같이, 에어컨(400)은 외부기기로서, 외부와 통신을 수행하는 제4통신부(340), 한정되지 않은 데이터가 저장되는 제4 저장부(470) 및 에어컨(400)를 제어하는 제4제어부(480)를 포함한다.
제4통신부(460)는 디스플레이장치(100)와 통신을 수행한다. 본 실시예의 제4통신부(460)는 무선통신을 수행하며, 무선통신은 RF, 지그비, 블루투스 중 적어도 하나를 포함한다.
본 실시예의 제4통신부(460)는 후술하는 제4저장부(370) 내의 어플리케이션 4(472)에 의해 관리되는 후보 명령어를 디스플레이장치(100)에 송신한다.
제4저장부(470)는 제4제어부(480)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 제4저장부(470)는 플래시메모리(flash-memory)와 같은 비휘발성 저장매체로 구현된다. 제4저장부(470)는 제4제어부(480)에 의해 액세스되며, 제4제어부(480)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
제4저장부(470)에 저장되는 데이터는, 예를 들면 휴대폰(200)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 부가데이터 등을 포함한다.
본 실시예의 제4저장부(470)에는 에어컨(300)의 기능 수행을 위한 하나 이상의 어플리케이션(외부 어플리케이션) 예를 들어, 어플리케이션 4(472)가 더 저장된다. 어플리케이션 4(472)는 후술하는 제4제어부(480)의 제어에 따라 구동되어, 에어컨(400)의 각종 기능을 수행한다.
도 2에서는 에어컨(400)에 1개의 어플리케이션(472)이 마련된 경우를 예로 들어 도시하였지만, 본 발명은 에어컨(400)에 2개 이상의 어플리케이션이 구비되는 경우도 포함한다.
어플리케이션 4(472)는 수행하는 기능에 대응하는 후보 명령어를 관리한다. 어플리케이션 4(472)에서 관리되는 후보 명령어들은 필요에 따라 디스플레이장치(100)의 명령어 테이블(171)에 등록/삭제될 수 있다.
제4제어부(460)는 에어컨(400)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제4제어부(260)는 에어컨 리모컨에 대한 사용자의 조작에 대응하는 제어명령을 수신하고, 수신된 제어명령에 따른 제어동작 예를 들어, 온도 조절 등을 수행할 수 있다.
제4제어부(460)는 예를 들어 MCU(Micro Controller Unit)에 소프트웨어가 결합된 형태로 구현될 수 있다.
본 실시예의 제4제어부(460)는 디스플레이장치(100)와 통신을 수행하면서, 제4저장부(470)의 어플리케이션 4(472)에서 관리되는 후보 명령어를 디스플레이장치(100)로 송신할 수 있다. 송신된 후보 명령어는 디스플레이장치(100)의 명령어 테이블(171)에 등록되어, 음성인식엔진(181)의 음성인식 동작에 이용된다.
또한, 제4제어부(480)는 디스플레이장치(100)로부터 음성인식에 따른 제어명령이 수신되는 경우, 제4통신부(460)를 통해 이를 수신하고, 수신된 제어명령에 대응하는 동작을 수행할 수 있다.
도 2의 실시예에 따르면, 본 발명 음성인식시스템의 메인기기로서 디스플레이장치(100)의 제1제어부(180)는 복수의 음성취득부(140, 240, 340) 중 적어도 어느 하나로부터 입력 음성이 감지되면, 음성 입력이 감지된 음성취득부로부터 음성신호를 수신하도록 제1통신부(140)를 제어한다. 또한, 제1제어부(180)는 수신된 음성신호를 인식하기 위한 후보 명령어를 제1통신부(140)를 통해 복수의 외부기기(300, 400)의 외부 어플리케이션(372, 472) 중 적어도 하나 또는 내장 어플리케이션(172, 173)로부터 전달받고, 전달받은 후보 명령어는 제1저장부(170)의 명령어 테이블(171)에 등록한다. 음성인식엔진(181)은 명령어 테이블(171)에 등록된 후보 명령어와 음성신호를 비교하여, 음성인식을 수행하게 된다.
이렇게 본 실시예에 따른 메인기기로서 디스플레이장치(100)는 사용자의 발화를 입력 받을 수 있는 다양한 장비에서 입력되는 음성을 감지하므로, 다양한 음성취득장비의 활용도를 높일 수 있다. 또한, 음성인식을 위한 후보 명령어를 구동중인 어플리케이션으로부터 전달받아 사용하므로, 음성인식을 위한 후보 명령어들을 동적으로 등록/삭제 가능하도록 함으로써, 메인기기가 구비하는 후보 명령어들이 불필요하게 무한 증가되는 것을 방지할 수 있다.
한편, 본 발명 실시예의 디스플레이장치(100)는 디스플레이장치(100)에 구비된 음성취득부(140)로부터 음성인식을 입력받고, 내부 어플리케이션(171, 172, 173)과 외부 어플리케이션(372, 472) 중 적어도 하나로부터 후보 명령어를 수신하여, 음성인식엔진(181)에서 음성인식을 수행하도록 구현될 수 있다.
이하, 도 3 및 도 4를 참조하여, 본 발명의 음성인식시스템에서 음성인식을 수행하는 일실시예에 대하여 보다 상세하게 설명하기로 한다.
도 3은 본 발명 일실시예에 따라 음성인식을 수행하는 예를 설명하는 도면이고, 도 4는 도 3의 음성인식 결과 표시되는 화면의 예를 도시한 도면이다.
도 3에 도시된 바와 같이, 디스플레이장치(100)는 하나 이상의 어플리케이션(내장 어플리케이션 및 외부 어플리케이션 포함)으로부터 명령어 테이블(171)에 저장되는 후보 명령어를 등록 받을 수 있다.
구체적으로, 도 3을 참조하면, 어플리케이션 1(172)(내장 어플리케이션)로부터 명령어 테이블(171)로 명령어 A, B가 전달되고(501), 전달된 명령어 A, B는 명령어 테이블(171)에 저장된다(502). 음성인식엔진(181)은 명령어 테이블(171)에 저장된 명령어 A, B를 후보 명령어로 등록한다(504).
또한, 어플리케이션 3(372)(외부 어플리케이션)으로부터 명령어 테이블(171)로 명령어 C, D가 전달되고(505), 전달된 명령어 C, D는 명령어 테이블(171)에 등록된다(507). 음성인식엔진(181)은 명령어 테이블(171)에 저장된 명령어 C, D를 후보 명령어로 등록한다(508).
따라서, 음성인식엔진(181)에는 어플리케이션 1(172) 및 어플리케이션 3(372)로부터 전달된 A, B, C, D가 후보 명령어로 등록된다.
이렇게 A, B, C, D가 후보 명령어로 등록된 상태에서, 디스플레이장치(100)와 분리된 제2음성취득부(240)에서 A 가 음성 입력되는 것을 감지할 수 있다. 감지된 음성 A는 제2음성변환부(250)에서 음성신호로 변환되어, 제2 및 제1 통신부(260, 160)를 통해 음성인식엔진(181)으로 전달된다(509).
음성인식엔진(181)은 A 음성에 대한 음성신호를 등록된 후보 명령어 A, B, C, D와 비교하고 일치 또는 유사한 명령어를 결정하여, A 음성을 인식한다(510).
제1제어부(180)는 인식결과를 디스플레이부(130)로 전달하고(511), 디스플레이부(130)에는 도 4와 같은 음성인식 결과화면이 표시될 수 있다.
도 4에 도시된 바와 같이, 디스플레이부(130)에는 음성인식 결과 A(60)와, 음성인식 결과에 따른 후보 명령어 A, B, C, D(61, 62, 63, 64)를 나타내는 UI가 표시될 수 있다. 또한, 디스플레이부(130)에는 음성인식 결과에 따른 명령어 A를 관리하는 어플리케이션 정보(어플리케이션 1)(65)를 나타내는 UI가 더 표시될 수 있다.
사용자는 도 4와 같이 화면에 표시되는 UI를 통해, 음성인식 결과뿐 아니라 후보 명령어까지 확인할 수 있고, 음성인식 결과가 발화 의도와 맞지 않은 경우, 후보 명령어 중 어느 하나를 선택할 수 있다. 또한, 어플리케이션 정보를 통해 음성인식결과와 관련된 장치의 정보까지도 획득 가능하다.
제1제어부(180)는 도 4와 같은 음성인식 결과에 따른 제어명령을 어플리케이션 1(172)로 전달한다(512). 어플리케이션 1(172)는 제1제어부(180)의 제어에 따라 인식된 음성 A에 따른 제어동작을 수행하게 된다. 예를 들어, 음성 A가 볼륨 내려인 경우, 디스플레이장치(100)의 볼륨이 작게 조절된다.
도 3 및 도 4에서 설명한 바와 같이, 본 발명의 디스플레이장치(100)는 기설정된 조건에 따라 일부 어플리케이션의 명령어(예를 들어, A, B, C, D)를 후보어로 미리 등록하고, 사용자의 음성 발화가 감지되면 미리 등록된 후보 명령어를 이용하여 음성을 인식하고, 그 결과를 표시, 대응하는 제어동작을 실행할 수 있다.
도 3 및 도 4의 실시예에서는 어플리케이션 1(172)과 어플리케이션 3(372)의 명령어가 후보 명령어로 등록되고, 제2음성취득부(240)를 통해 사용자 음성을 입력받는 경우를 예로 들어 설명하였지만, 본 발명은 다양한 내장 및 외부 어플리케이션으로부터 명령어를 전달받아 후보 명령어를 동적으로 등록/삭제할 수 있으며, 다양한 음성취득부로부터 음성을 입력받는 경우를 모두 포함함은 물론이다.
이하, 도 5를 참조하여, 본 발명의 음성인식시스템에서 음성인식을 수행하는 다른 실시예에 대하여 보다 상세하게 설명하기로 한다.
도 5는 본 발명 다른 실시예에 따라 음성인식을 수행하는 예를 설명하는 도면이다.
도 5에 도시된 바와 같이, 디스플레이장치(100)와 분리된 제3음성취득부(340)에서 E 가 음성 입력되는 것을 감지할 수 있다. 감지된 음성 E는 제3음성변환부(350)에서 음성신호로 변환되어, 제3 및 제1 통신부(360, 160)를 통해 음성인식엔진(181)으로 전달된다(701).
디스플레이장치(100)는 음성입력이 감지된 기기에 대응하는 어플리케이션 3(372)로부터 명령어 테이블(171)에 저장되는 후보 명령어를 등록 받을 수 있다. 구체적으로, 도 5를 참조하면, 어플리케이션 3(372)로부터 명령어 테이블(171)로 명령어 E, F가 전달되고(702), 전달된 명령어 E, F는 명령어 테이블(171)에 저장된다(703). 음성인식엔진(181)은 명령어 테이블(171)에 저장된 명령어 E, F를 후보 명령어로 등록한다(705).
따라서, 음성인식엔진(181)에는 어플리케이션 3(372)로부터 전달된 E, F 가 후보 명령어로 등록된다.
이렇게 E, F 가 후보 명령어로 등록된 상태에서, 음성인식엔진(181)은 E 음성에 대한 음성신호를 등록된 후보 명령어 E, F 와 비교하고 일치 또는 유사한 명령어를 결정하여, E 음성을 인식한다(706).
제1제어부(180)는 인식결과를 디스플레이부(130)로 전달하고(707), 디스플레이부(130)에는 음성인식 결과화면이 표시될 수 있다.
제1제어부(180)는 음성인식 결과에 따른 제어명령을 어플리케이션 3(372)로 전달한다(708). 어플리케이션 3(372)는 제3제어부(380)의 제어에 따라 인식된 음성 E에 따른 제어동작을 수행하게 된다. 여기서, 음성인식 결과에 따른 제어명령이 디스플레이장치(100)를 제어하는 명령인 경우, 제어명령은 어플리케이션 1(172) 또는 어플리케이션 2(173)로 전달될 수 있다.
도 5에서 설명한 바와 같이, 본 발명의 디스플레이장치(100)는 사용자의 음성 발화가 감지되면, 음성이 입력된 기기에 대응하는 어플리케이션의 명령어(예를 들어, E, F)를 후보 명령어로 등록하고, 당해 등록된 후보 명령어를 이용하여 음성을 인식하고, 그 결과를 표시, 대응하는 제어동작을 실행할 수 있다. 후보 명령어는 동적으로 등록/삭제가 가능하다.
도 5의 실시예에서는 제3음성취득부(340)를 통해 사용자 음성을 입력받고, 어플리케이션 3(372)의 명령어가 후보 명령어로 등록되는 경우를 예로 들어 설명하였지만, 본 발명은 다양한 음성취득부로부터 음성을 입력받을 수 있으며, 다양한 내장 및 외부 어플리케이션으로부터 명령어를 전달받아 후보 명령어를 동적으로 등록/삭제하는 경우를 모두 포함함은 물론이다.
이하, 본 실시예에 따른 음성인식시스템의 음성인식방법에 관해 도면을 참조하여 설명한다.
도 6은 본 발명 실시예에 의한 음성인식시스템의 음성인식방법을 도시한 흐름도이다.
도 6에 도시된 바와 같이, 본 발명의 음성인식시스템은 복수의 음성취득부(140, 240, 340) 중 어느 적어도 하나로부터 음성입력을 감지할 수 있다(S810). 여기서, 감지된 사용자 음성은 대응하는 음성변환부(150, 250, 350)에서 전기적인 음성신호로 변환된다
제1제어부(180)는 단계 S810에서 감지 및 변환된 음성신호를 수신한다(S820). 여기서, 외부의 음성취득부(240, 340)에서 음성입력이 감지된 경우, 제1통신부(160)를 통해 음성신호가 수신될 수 있다.
음성인식엔진(181)에는 단계 S820에서 수신된 음성신호의 음성인식을 위한 후보 명령어가 등록된다(S830). 여기서, 등록되는 후보 명령어는 명령어 테이블(171)에 미리 저장된 것이거나, 내장 또는 외부 어플리케이션(172, 173, 372, 472)로부터 수신되어 명령어 테이블(171)에 동적으로 저장된 것일 수 있다.
음성인식엔진(181)은 단계 S830에서 등록된 후보 명령어를 이용하여 단계 S810에서 사용자가 발화한 음성을 인식한다(S840).
제1제어부(180)는 단계 S840의 음성인식 결과를 디스플레이부(130)에 표시한다. 여기서, 디스플레이부(130)에는 음성신호에 대한 음성인식 결과, 음성인식 결과에 따른 후보 명령어, 어플리케이션 정보 등이 표시될 수 있다.
제1제어부(180)는 단계 S840의 음성인식 결과에 따른 제어명령을 생성하여 이를 수행할 수 있는 어플리케이션으로 전달한다(S860). 이에 따라, 생성된 제어명령에 따른 동작이 수행될 수 있다.
도 7은 도 6의 음성입력을 감지하는 과정을 보다 상세하게 도시한 흐름도이다.
도 7에 도시된 바와 같이, 메인기기인 디스플레이장치(100)는 음성에 의한 사용자 입력이 가능한 음성 입력모드로 동작할 수 있다(S811). 본 발명에서의 음성 입력모드는 다양한 음성취득부(140, 240, 340)로부터 음성입력이 가능하도록 동작된다.
음성입력을 감지하는 방법 중 하나로서, 제1제어부(180)는 복수의 음성취득부(140, 240, 340) 중 어느 하나에서 웨이크업 키워드의 발화를 감지할 수 있다(S812). 여기서, 웨이크업 키워드는 특정 음성취득부를 통한 음성입력을 활성화시키는 것으로서, 미리 설정될 수 있다. 예를 들어, 디스플레이장치(100)의 제1음성취득부(140)는 채널, 볼륨 등의 TV 제어와 관련된 음성을 웨이크업 키워드로 설정할 수 있으며, 휴대폰(200)의 제2음성취득부(240)는 통화, 연락처 등과 관련된 음성을 웨이크업 키워드로 설정할 수 있다.
한편, 음성입력을 감지하는 다른 방법으로서, 제1제어부(180)는 복수의 음성취득부(140, 240, 340) 중 어느 하나로부터 소정 버튼(음성입력 버튼)의 조작에 따른 트리거 신호가 입력되면, 해당 음성취득부로부터 음성입력을 감지할 수 있다(S813). 예를 들어, 사용자가 특정 음성취득장치에 마련된 음성입력 버튼을 조작하면, 해당 장치에 구비된 음성입력부로부터 음성이 입력되는 것이 감지된다.
제1제어부(180)는 단계 S812 및 S813의 감지 결과에 따라, 복수의 음성취득부(140, 240, 340) 중 음성입력에 해당하는 어느 하나를 활성화한다(S812). 이렇게 어느 하나의 음성취득부를 활성화 함으로써 불필요한 음성이 감지되어 혼란을 야기하는 것을 방지할 수 있다.
그리고, 단계 S820에서 활성화된 음성취득부로부터 음성인식엔진(181)으로 음성신호가 수신되어, 음성인식을 수행할 수 있게 된다.
도 8은 도 6의 음성인식을 수행하는 과정을 보다 상세하게 도시한 흐름도이다.
도 8에 도시된 바와 같이, 도 6의 단계 S830과 같이 음성인식엔진(181)은 복수의 어플리케이션(172, 372, 472) 중 하나 이상의 소정 어플리케이션으로부터 후보 명령어를 수신 및 등록할 수 있다.
음성인식엔진(181)은 단계 S830에서 등록된 후보 명령어와 도 6의 단계 S820에서 수신된 음성신호와 일치/유사 여부를 판단할 수 있다(S841).
단계 S840의 판단 결과, 일치/유사한 후보 명령어가 존재하면, 음성인식엔진(181)은 일치/유사한 명령어를 결정하여 음성인식을 수행하고, 제1제어부(180)는 그 결과를 디스플레이부(130)에 표시하게 된다.
단계 S840의 판단 결과, 일치/유사한 후보 명령어가 존재하지 않으면, 음성인식엔진(181)가 단계 S830에서의 어플리케이션과 다른 어플리케이션의 후보 명령어를 수신 및 등록 여부를 결정할 수 있다(S842). 여기서, 제1제어부(180)는 사용자의 선택 또는 기입력된 설정에 따라 다른 어플리케이션의 후보 명령어를 수신 및 등록할 수 있으며, 기설정된 순서에 따라 복수의 어플리케이션의 후보 명령어가 순차적으로 수신 및 등록 가능하다. 또한, 디스플레이장치(100)의 제1저장부(170)의 용량을 고려하여, 이전에 등록되었던 후보 명령어는 선택적으로 삭제될 수 있다.
단계 S842에서 등록된 후보 명령어 중에도 일치/유사한 후보 명령어가 존재하지 않는 경우, 단계 S842 및 단계 841이 순차적으로 반복되어, 음성인식을 수행할 수 있다.
한편, 단계 S842에서 다른 어플리케이션의 후보 명령어를 수신 및 등록하지 않도록 결정하면, 음성인식엔진(181)은 음성인식을 중단하고, 제1제어부(180)는 음성인식 실패를 그 결과로서 디스플레이부(130)에 표시할 수 있다.
이와 같이, 본 발명의 실시예에 의하면 메인기기가 사용자의 발화를 입력 받을 수 있는 다양한 장비에서 입력되는 음성을 감지하므로, 다양한 음성취득장비의 활용도를 높이고 이를 이용한 연계 서비스가 가능하다.
또한, 음성인식을 위한 후보 명령어를 복수의 어플리케이션으로부터 전달받아 사용하므로, 음성인식을 위한 후보 명령어들을 동적으로 등록/삭제 가능하도록 함으로써, 메인기기가 구비하는 후보 명령어들이 불필요하게 증가되는 것을 방지하여, 처리속도 지연이나 인식률 저하 등의 문제에 유연하게 대처 가능하며 전체 음성인식시스템의 효율을 높일 수 있다.
또한, 음성인식 결과, 후보명령어, 어플리케이션 정보뿐 아니라, 음성인식에 활용되는 다양한 음성취득장비 및 후보 명령어 제공장비의 정보까지도 사용자가 쉽게 인지하도록 하여, 사용자 편의성을 보다 높일 수 있게 된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
100 : 메인기기, 디스플레이장치 110 : 영상수신부
120 : 영상처리부 130 : 디스플레이부
140 : 제1음성취득부 150 : 제1음성변환부
160 : 제1통신부 170 : 제1저장부
171 : 명령어 테이블 172, 173 : 어플리케이션
180 : 제1제어부 161 : 음성인식엔진
201, 202 : 음성취득장치 200 : 휴대폰
240: 제2음성취득부 250 : 제2음성변환부
260 : 제2통신부 270 : 제2저장부
280 : 제2제어부 301, 302, 303 : 외부기기
300 : 리모컨 330 : 사용자입력부
340 : 제3음성취득부 350 : 제2음성변환부
360 : 제3통신부 370 : 제3저장부
371 : 어플리케이션 380 : 제3제어부
400 : 에어컨 460 : 제4통신부
470 : 제4저장부 472 : 어플리케이션
180 : 제4제어부

Claims (20)

  1. 디스플레이장치에 있어서,
    디스플레이부;
    음성 입력 수신부;
    적어도 하나의 외부기기와 통신을 수행하는 통신부; 및
    적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 음성 입력 수신부를 통해 트리거 워드가 포함된 사용자 음성 입력이 수신되지 않고, 외부 음성 입력 수신부를 구비한 어느 하나의 외부기기에 입력된 사용자 비음성 입력에 의한 트리거 신호가 통신부를 통해 수신되면,
    상기 외부기기의 외부 음성 입력 수신부를 통해 수신된 사용자 음성 입력에 대응하는 기능을 활성화하고, 상기 트리거 신호가 수신된 후 상기 음성 입력 수신부를 통해 수신되는 사용자 음성 입력에 대응하는 기능은 비활성화하고,
    상기 외부기기를 통해 사용자 비음성 입력에 의한 트리거 신호가 수신되지 않고, 상기 음성 입력 수신부를 통해 트리거 워드가 포함된 사용자 음성 입력이 수신되면,
    상기 음성 입력 수신부를 통해 수신한 상기 트리거 워드가 포함된 사용자 음성 입력에 대응하는 기능을 활성화하고,
    상기 활성화된 기능을 통해 획득된 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  2. 제1항에 있어서,
    상기 외부기기는 타 기기와 통신을 수행하는 외부 통신부가 마련된 리모컨을 포함하는, 디스플레이장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 트리거 신호 또는 상기 트리거 워드가 포함된 사용자 음성 입력 중 어느 하나의 수신에 기초하여, 상기 디스플레이부에 음성인식을 나타내는 UI를 표시하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 사용자 비음성 입력에 의한 트리거 신호는, 상기 외부기기에 마련된 소정 버튼에 대한 입력을 포함하는, 디스플레이장치.
  5. 제1항에 있어서,
    상기 음성 입력 수신부는 상기 디스플레이장치에 마련된 내장 마이크를 포함하고, 상기 외부 음성 입력 수신부는 상기 외부기기에 마련된 외부 마이크를 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 트리거 신호의 수신에 기초하여, 상기 내장 마이크를 비활성화하도록 제어하고,
    상기 트리거 워드가 포함된 사용자 음성 입력의 수신에 기초하여, 상기 외부 마이크를 통한 음성 입력이 수신되지 않도록 상기 내장 마이크가 활성화되도록 제어하는, 디스플레이장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    복수의 어플리케이션 중 상기 획득된 텍스트에 대응하는 기능과 관련되는 제1어플리케이션에 의해 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1어플리케이션이 상기 디스플레이장치에 의해 실행되는 것에 기초하여, 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  8. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1어플리케이션이 상기 외부기기에 의해 실행되는 것에 기초하여, 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  9. 제6항에 있어서,
    상기 제1어플리케이션은 상기 디스플레이장치에 마련되고,
    상기 외부기기는 적어도 하나의 제2어플리케이션을 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 통신부를 통해 상기 외부기기로부터 상기 제2어플리케이션의 정보를 수신하고,
    상기 수신된 정보에 기초하여 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  10. 제1항에 있어서,
    상기 외부기기는 복수 개 마련되며,
    상기 적어도 하나의 프로세서는,
    상기 복수의 외부기기 중 어느 하나에서 상기 획득된 텍스트에 대응하는 기능이 실행되도록 제어하는, 디스플레이장치.
  11. 디스플레이장치를 제어하는 방법에 있어서,
    음성 입력 수신부를 통해 트리거 워드가 포함된 사용자 음성 입력이 수신되지 않고, 외부 음성 입력 수신부를 구비한 어느 하나의 외부기기에 입력된 사용자 비음성 입력에 의한 트리거 신호가 통신부를 통해 수신되면, 상기 외부기기의 외부 음성 입력 수신부를 통해 수신된 사용자 음성 입력에 대응하는 기능을 활성화하고, 상기 트리거 신호가 수신된 후 상기 음성 입력 수신부를 통해 수신되는 사용자 음성 입력에 대응하는 기능은 비활성화하는 동작;
    상기 외부기기를 통해 사용자 비음성 입력에 의한 트리거 신호가 수신되지 않고, 상기 음성 입력 수신부를 통해 트리거 워드가 포함된 사용자 음성 입력이 수신되면, 상기 음성 입력 수신부를 통해 수신한 상기 트리거 워드가 포함된 사용자 음성 입력에 대응하는 기능을 활성화하는 동작; 및
    상기 활성화된 기능을 통해 획득된 텍스트에 대응하는 기능이 실행되도록 제어하는 동작을 포함하는, 방법.
  12. 제11항에 있어서,
    상기 외부기기는 타 기기와 통신을 수행하는 외부 통신부가 마련된 리모컨을 포함하는, 방법.
  13. 제11항에 있어서,
    상기 트리거 신호 또는 상기 트리거 워드가 포함된 사용자 음성 입력 중 어느 하나의 수신에 기초하여, 음성인식을 나타내는 UI를 표시하는 동작을 포함하는, 방법.
  14. 제11항에 있어서,
    상기 사용자 비음성 입력에 의한 트리거 신호는, 상기 외부기기에 마련된 소정 버튼에 대한 입력을 포함하는, 방법.
  15. 제11항에 있어서,
    상기 음성 입력 수신부는 상기 디스플레이장치에 마련된 내장 마이크를 포함하고, 상기 외부 음성 입력 수신부는 상기 외부기기에 마련된 외부 마이크를 포함하며,
    상기 트리거 신호의 수신에 기초하여, 상기 내장 마이크를 비활성화하는 동작; 및
    상기 트리거 워드가 포함된 사용자 음성 입력의 수신에 기초하여, 상기 외부 마이크를 통한 음성 입력이 수신되지 않도록 상기 내장 마이크를 활성화하는 동작을 더 포함하는, 방법.
  16. 제11항에 있어서,
    상기 텍스트에 대응하는 기능이 실행되도록 제어하는 동작은,
    복수의 어플리케이션 중 상기 획득된 텍스트에 대응하는 기능과 관련되는 제1어플리케이션에 의해 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 방법.
  17. 제16항에 있어서,
    상기 텍스트에 대응하는 기능이 실행되도록 제어하는 동작은,
    상기 제1어플리케이션이 상기 디스플레이장치에 의해 실행되는 것에 기초하여, 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 방법.
  18. 제16항에 있어서,
    상기 텍스트에 대응하는 기능이 실행되도록 제어하는 동작은,
    상기 제1어플리케이션이 상기 외부기기에 의해 실행되는 것에 기초하여, 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 방법.
  19. 제16항에 있어서,
    상기 제1어플리케이션은 상기 디스플레이장치에 마련되고,
    상기 외부기기는 적어도 하나의 제2어플리케이션을 포함하며,
    상기 외부기기로부터 상기 제2어플리케이션의 정보를 수신하는 동작을 더 포함하며,
    상기 수신된 정보에 기초하여 상기 텍스트에 대응하는 기능이 실행되도록 제어하는, 방법.
  20. 제11항에 있어서,
    상기 외부기기는 복수 개 마련되며,
    상기 텍스트에 대응하는 기능이 실행되도록 제어하는 동작은, 상기 복수의 외부기기 중 어느 하나에서 상기 획득된 텍스트에 대응하는 기능이 실행되도록 제어하는, 방법.
KR1020210070587A 2020-07-29 2021-06-01 디스플레이장치, 음성취득장치 및 그 음성인식방법 Active KR102403803B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210070587A KR102403803B1 (ko) 2020-07-29 2021-06-01 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020220064348A KR102501655B1 (ko) 2020-07-29 2022-05-25 디스플레이장치, 음성취득장치 및 그 음성인식방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200094662A KR102262050B1 (ko) 2012-11-09 2020-07-29 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020210070587A KR102403803B1 (ko) 2020-07-29 2021-06-01 디스플레이장치, 음성취득장치 및 그 음성인식방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094662A Division KR102262050B1 (ko) 2012-11-09 2020-07-29 디스플레이장치, 음성취득장치 및 그 음성인식방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064348A Division KR102501655B1 (ko) 2020-07-29 2022-05-25 디스플레이장치, 음성취득장치 및 그 음성인식방법

Publications (2)

Publication Number Publication Date
KR20210068353A KR20210068353A (ko) 2021-06-09
KR102403803B1 true KR102403803B1 (ko) 2022-05-30

Family

ID=76415202

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020210070587A Active KR102403803B1 (ko) 2020-07-29 2021-06-01 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020220064348A Active KR102501655B1 (ko) 2020-07-29 2022-05-25 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020230016144A Active KR102643172B1 (ko) 2020-07-29 2023-02-07 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020240027667A Ceased KR20240031995A (ko) 2020-07-29 2024-02-27 디스플레이장치, 음성취득장치 및 그 음성인식방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020220064348A Active KR102501655B1 (ko) 2020-07-29 2022-05-25 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020230016144A Active KR102643172B1 (ko) 2020-07-29 2023-02-07 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR1020240027667A Ceased KR20240031995A (ko) 2020-07-29 2024-02-27 디스플레이장치, 음성취득장치 및 그 음성인식방법

Country Status (1)

Country Link
KR (4) KR102403803B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4425936A4 (en) * 2021-10-29 2025-05-21 LG Electronics Inc. System comprising tv and remote control, and control method therefor
WO2023219191A1 (ko) * 2022-05-13 2023-11-16 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296881A (ja) 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
US20020072912A1 (en) 2000-07-28 2002-06-13 Chih-Chuan Yen System for controlling an apparatus with speech commands

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197379A (ja) * 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
KR100560750B1 (ko) * 2003-12-04 2006-03-13 삼성전자주식회사 홈네트워크의 음성 인식 시스템
KR20110028103A (ko) * 2009-09-11 2011-03-17 주식회사 카서 다목적 근거리 무선 통신 장치 및 시스템
EP2518722A3 (en) * 2011-04-28 2013-08-28 Samsung Electronics Co., Ltd. Method for providing link list and display apparatus applying the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296881A (ja) 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
US20020072912A1 (en) 2000-07-28 2002-06-13 Chih-Chuan Yen System for controlling an apparatus with speech commands

Also Published As

Publication number Publication date
KR102501655B1 (ko) 2023-02-21
KR20210068353A (ko) 2021-06-09
KR102643172B1 (ko) 2024-03-04
KR20220073723A (ko) 2022-06-03
KR20230022930A (ko) 2023-02-16
KR20240031995A (ko) 2024-03-08

Similar Documents

Publication Publication Date Title
JP6640502B2 (ja) ディスプレイ装置、音声取得装置およびその音声認識方法
US20170223301A1 (en) Image processing apparatus, voice acquiring apparatus, voice recognition method thereof and voice recognition system
US20240046934A1 (en) Display apparatus capable of releasing a voice input mode by sensing a speech finish and voice control method thereof
US9544633B2 (en) Display device and operating method thereof
US20220006526A1 (en) Image display device and operation method thereof
KR20240031995A (ko) 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR20210025812A (ko) 전자장치, 디스플레이장치 및 그 제어방법
KR102262050B1 (ko) 디스플레이장치, 음성취득장치 및 그 음성인식방법
US12087296B2 (en) Display device and artificial intelligence server
US12505835B2 (en) Home appliance and server
US20220415322A1 (en) Display device

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20210601

Patent event code: PA01071R01D

Filing date: 20200729

Application number text: 1020200094662

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210629

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20210601

Comment text: Divisional Application of Patent

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210730

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220224

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220525

Patent event code: PA01071R01D

Filing date: 20200729

Application number text: 1020200094662

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220525

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220526

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250429

Start annual number: 4

End annual number: 4