KR20140131093A - 음성 인식을 위한 방법 및 그 전자 장치 - Google Patents

음성 인식을 위한 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20140131093A
KR20140131093A KR20130049986A KR20130049986A KR20140131093A KR 20140131093 A KR20140131093 A KR 20140131093A KR 20130049986 A KR20130049986 A KR 20130049986A KR 20130049986 A KR20130049986 A KR 20130049986A KR 20140131093 A KR20140131093 A KR 20140131093A
Authority
KR
South Korea
Prior art keywords
mode
electronic device
recognition function
voice recognition
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR20130049986A
Other languages
English (en)
Inventor
조정민
최보근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130049986A priority Critical patent/KR20140131093A/ko
Priority to US14/265,748 priority patent/US20140330561A1/en
Publication of KR20140131093A publication Critical patent/KR20140131093A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음성 인식을 수행하기 위한 방법 및 그 전자 장치에 관한 것으로서, 전자 장치의 음성 인식 방법은, 음성 인식 기능을 실행하는 과정과, 전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 과정과, 상기 결정된 모드에 따라 입력 음성을 처리하는 과정을 포함하여, 전자 장치에서 수신된 음성 신호를 텍스트로 변환하는 기능과 수신된 음성 신호를 명령어로 인식하여 해당 명령어에 따른 전자 장치의 동작을 수행하는 기능을 자유롭게 전환할 수 있는 효과가 있다.

Description

음성 인식을 위한 방법 및 그 전자 장치{METHOD FOR RECOGNIZING FOR A VOICE AN ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치에 관한 것으로서, 특히 전자 장치에서 음성을 인식하기 위한 방법 및 장치에 관한 것이다.
최근 출시되는 스마트폰 및 태블릿 PC(Personal Computer) 등과 같은 대부분의 전자 장치는 음성 인식 기능을 제공하고 있다. 특히, 점차 전자 장치의 기술이 발전됨에 따라, 전자 장치는 사용자의 음성을 인식하여 다양한 기능을 제공하고 있다.
일반적으로, 전자 장치의 음성 인식 기능은 인식된 사용자의 음성을 텍스트로 변환하거나 혹은 인식된 사용자의 음성을 명령어로 판단하여, 전자 장치의 특정 기능을 수행하는 용도로 사용된다. 예를 들어, 전자 장치는 사용자로부터 음성 신호를 수신하고, 수신된 음성 신호를 분석하여 해당 음성 신호를 해당 음성 신호에 대응하는 텍스트로 변환하여 디스플레이 및 입력할 수 있다. 다른 예를 들어, 전자 장치는 사용자로부터 음성 신호를 수신하고, 수신된 음성 신호를 분석하여 해당 음성 신호에 포함된 명령어를 확인하고, 해당 명령에 대응하는 기능을 수행할 수 있다.
이와 같은 전자 장치에서 음성 신호를 텍스트로 변환하여 디스플레이하는 기능 및 음성 신호에 대응하는 명령어에 따른 동작을 수행하는 기능은 별도의 모드(예: 텍스트 디스플레이 모드, 동작 수행 모드)로 설정되어 명확히 구분된다. 즉, 종래의 전자 장치는 사용자가 음성 신호만으로 전자 장치를 자유롭게 제어하는 것을 고려하지 않은 상태로 설계되었다.
따라서, 전자 장치에서 음성 신호를 텍스트로 변환하는 기능과 음성 신호에 대응하는 명령어를 수행하는 기능을 자유롭게 전환할 수 있는 기술이 제공될 필요가 있다.
따라서, 본 발명의 실시 예는 전자 장치에서 음성 인식을 위한 방법 및 장치를 제공함에 있다.
본 발명의 다른 실시 예는 전자 장치에서 적어도 하나의 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 음성 인식 기능의 모드에 따라 입력된 음성 신호를 처리하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 입력된 음성 신호에 대응하는 텍스트를 디스플레이하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 입력된 음성 신호에 대응하는 전자 장치의 동작을 수행하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 입력된 음성 신호를 무시하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 전자 장치에서 음성 인식 방법에 있어서, 음성 인식 기능을 실행하는 과정과, 전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 과정과, 상기 결정된 모드에 따라 입력 음성을 처리하는 과정을 포함하며, 상기 음성 인식 기능의 모드는 음성에 대응하는 텍스트 디스플레이 모드, 음성에 대응하는 상기 전자 장치의 동작 수행 모드 및 대기 모드 중 적어도 하나를 포함한다.
본 발명의 실시 예에 따르면, 음성을 인식하는 장치에 있어서, 하나 이상의 프로세서; 터치 감지 디스플레이; 마이크; 메모리; 및 상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서, 상기 프로그램은 음성 인식 기능을 실행하고, 전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정한 후, 상기 결정된 모드에 따라 입력 음성을 처리하는 명령어를 포함하며, 상기 음성 인식 기능의 모드는 음성에 대응하는 텍스트 디스플레이 모드, 음성에 대응하는 상기 전자 장치의 동작 수행 모드 및 대기 모드 중 적어도 하나를 포함한다.
본 발명에서는 전자 장치에서 적어도 하나의 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정하고, 수신된 음성 신호를 음성 인식 기능의 모드에 따라 처리함으로써, 전자 장치에서 수신된 음성 신호를 텍스트로 변환하는 기능과 수신된 음성 신호를 명령어로 인식하여 해당 명령어에 따른 전자 장치의 동작을 수행하는 기능을 자유롭게 전환할 수 있는 효과가 있다.
도 1a는 본 발명의 실시 예에 따라 음성을 인식하는 전자 장치의 블록 구성을 도시하는 도면,
도 1b는 본 발명의 실시 예에 따라 음성을 인식하는 프로세서의 블록 구성을 도시하는 도면,
도 2a는 본 발명의 실시 예에 따른 전자 장치에서 입력된 음성 신호를 음성 인식 기능의 모드에 따라 처리하는 절차를 도시하는 도면,
도 2b는 본 발명의 실시 예에 따른 전자 장치에서 입력된 음성 신호를 음성 인식 기능의 모드에 따라 처리하는 수단을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치에서 센서로부터 입력된 정보를 바탕으로 입력된 음성 신호를 처리하는 절차를 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 전자 장치에서 음성 인식 기능을 실행하는 예를 도시하는 도면,
도 5a는 본 발명의 실시 예에 따른 전자 장치에서 음성 인식 기능의 텍스트 디스플레이 모드를 도시하는 도면,
도 5b는 본 발명의 실시 예에 따른 전자 장치에서 음성 인식 기능의 동작 수행 모드를 도시하는 도면,
도 5c는 본 발명의 실시 예에 따른 전자 장치에서 음성 인식 기능의 대기 모드를 도시하는 도면,
도 6a 내지 6c는 본 발명의 실시 예에 따른 전자 장치에서 근접 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 예를 도시하는 도면,
도 7은 본 발명의 실시 예에 따른 전자 장치에서 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 세가지 모드를 토글링하는 예를 도시하는 도면,
도 8 및 9는 본 발명의 실시 예에 따른 전자 장치에서 모션 센서를 통해 음성 인식 기능의 모드를 결정하는 예를 도시하는 도면 및
도 10은 본 발명의 실시 예에 따른 전자 장치에서 결정된 음성 인식 기능의 모드를 나타내기 위한 예를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 설명에서 전자 장치는 음성 인식 기능을 지원하는 이동통신 단말기, 스마트폰(Smart Phone), 태블릿 PC(Tablet Personal Computer), 디지털 카메라, MP3, 네비게이션, 랩탑(Laptop), 넷북(Netbook) 및 컴퓨터(Computer) 등을 포함한다.
도 1a는 본 발명의 실시 예에 따라 음성을 인식하는 전자 장치의 블록 구성을 도시하고 있다.
도 1a를 참조하면, 전자 장치(100)는 메모리(110), 프로세서(120), 터치 스크린(Touch Screen)(130), 동작 센서(140) 및 오디오 제어부(150)를 포함한다. 메모리(110) 및 프로세서(120) 각각은 다수 개의 메모리(110) 및 다수 개의 프로세서(120)로 구성될 수 있다.
메모리(110)는 데이터 저장부(111), 운영 체제 프로그램(112), 애플리케이션 프로그램(113), 그래픽 사용자 인터페이스 프로그램(114), 음성 인식 프로그램(115) 및 동작 감지 프로그램(116) 등을 포함한다. 또한, 소프트웨어 구성요소인 프로그램은 명령어들의 집합으로 표현할 수 있으므로, 프로그램은 명령어 세트(instruction set)라고 표현하기도 한다. 프로그램은 또한 모듈로 표현하기도 한다.
메모리(110)는 본 발명의 실시 예를 수행하는 명령어들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다.
데이터 저장부(111)는 메모리(110)에 저장된 프로그램에 대응하는 기능을 수행하는 중에 발생되는 데이터를 저장한다. 본 발명에 따른 데이터 저장부(111)는 음성 인식 기능에 대한 적어도 하나의 모드를 저장할 수 있다. 이때, 음성 인식 기능에 대한 모드는 텍스트 디스플레이 모드, 동작 수행 모드 및 대기(waiting) 모드 중 적어도 하나를 포함할 수 있다. 텍스트 디스플레이 모드는 입력되는 음성 신호를 텍스트로 변환하여 터치 스크린(130)에 디스플레이하는 모드를 의미하며, 받아쓰기(Dictation) 모드라 칭할 수도 있다. 텍스트 디스플레이 모드는 문자 메시지, 메모, 네비게이션, 인터넷 등과 같이 텍스트 입력이 가능한 애플리케이션 이용 시에 이용될 수 있다. 동작 수행 모드는 입력되는 음성 신호에 대응하는 명령어를 결정하고, 결정된 명령어에 대응하는 동작을 수행하는 모드를 의미하며, 명령어(Command) 모드라 칭할 수도 있다. 동작 수행 모드는 애플리케이션의 실행이나 종료, 플랫폼의 특정 기능 실행, 애플리케이션 내에서 편집 기능 혹은 특정 동작 수행을 위해 이용될 수 있다. 대기 모드는 음성 인식 동작 중에 입력되는 음성 신호를 처리하지 않고 무시(혹은 폐기)하는 모드를 의미한다. 대기 모드는 텍스트 디스플레이 모드 중에 일시적으로 입력 음성 신호를 텍스트로 변환하지 않기 위해 이용될 수 있다.
더하여, 데이터 저장부(111)는 전자 장치(100)의 적어도 하나의 센서로부터 입력되는 정보와 음성 인식 기능의 모드를 매핑하여 저장할 수 있다. 예를 들어, 데이터 저장부(111)는 전자 장치(100)의 센서로부터 입력된 제 1 정보와 음성 인식 기능의 텍스트 디스플레이 모드를 매핑하여 저장할 수 있다. 다른 예를 들어, 데이터 저장부(111)는 전자 장치(100)의 센서로부터 입력된 제 2 정보와 음성 인식 기능의 동작 수행 모드를 매핑하여 저장할 수 있다. 또 다른 예를 들어, 데이터 저장부(111)는 전자 장치(100)의 센서로부터 입력된 제 3 정보와 음성 인식 기능의 대기 모드를 매핑하여 저장할 수 있다. 여기서, 센서는 근접 센서, 기울기 센서, 자이로 센서 등과 같이 전자 장치(100)의 동작을 감지할 수 있는 동작 센서(Motion Sensor)일 수 있다.
더하여, 데이터 저장부(111)는 음성 인식 기능에 대한 각각의 모드에 대해, 해당 모드로 전환하거나 해당 모드의 실행을 유지하기 위한 적어도 하나의 센서 값에 대한 임계 범위를 저장할 수 있다. 예를 들어, 데이터 저장부(111)는 텍스트 디스플레이 모드로 전환하거나 텍스트 디스플레이 모드를 유지하기 위해서는, 제 1 센서로부터 입력되는 센서값이 제 1 임계값 내지 제 2 임계값에 해당되어야 함을 나타내는 정보를 저장할 수 있다. 다른 예로, 데이터 저장부(111)는 음성 인식 기능에 대한 각각의 모드에 대해, 해당 모드로의 전환을 위한 적어도 하나의 센서 값의 변경 범위에 대한 정보를 저장할 수 있다. 예를 들어, 데이터 저장부(111)는 텍스트 디스플레이 모드로의 전환을 위해서는, 제 1 시점에 입력되는 센서 값과 제 2 시점에 입력되는 센서값의 차이가 임계값보다 크거나 같아야 함을 나타내는 정보를 저장할 수 있다.
더하여, 데이터 저장부(111)는 수신된 음성 신호를 음성 인식 기능의 모드가 결정될 때까지 임시 저장하는 버퍼를 포함할 수 있다.
더하여, 데이터 저장부(111)는 음성 인식 기능의 명령어 및 특수 문자 키워드를 저장할 수 있다. 이때, 명령어는 음성 신호 수신 시, 수신된 음성 신호를 텍스트로 변환하여 디스플레이하지 않고, 수신된 음성 신호에 대응하는 전자 장치(100)의 기능을 수행하도록 하는 단어를 의미하며, 특수 문자 키워드는 음성 신호 수신 시, 수신된 음성 신호를 텍스트로 변환하여 디스플레이하지 않고, 수신된 음성 신호에 대응하는 특수 문자를 디스플레이하도록 하는 단어를 의미한다. 예를 들어, 데이터 저장부(111)는 "잘라내기", "복사", "붙여넣기" 및 "삭제" 등과 같은 단어를 음성 인식 기능의 명령어로 저장할 수 있다. 다른 예를 들어, 데이터 저장부(111)는 "물음표", "느낌표" 및 "마침표"등과 같은 단어를 음성 인식 기능의 특수 문자 키워드로 저장할 수 있다.
운영 체제 프로그램(112)(예를 들어, WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제)은 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 운영 체제 프로그램(112)은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(프로그램) 사이의 통신을 원활하게 하는 기능을 수행한다.
애플리케이션 프로그램(113)은 브라우저(browser), 이메일(email), 메시지(message), 워드 프로세싱(word processing), 어드레스 북(address book), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service), 전화, 스케줄 관리 및 업무 관리등의 애플리케이션을 포함한다.
그래픽 사용자 인터페이스 프로그램(114)은 사용자와 전자 장치(100) 사이의 그래픽을 이용한 사용자 인터페이스를 제공하는 적어도 하나의 소프트웨어 구성요소를 포함한다. 즉, 그래픽 사용자 인터페이스 프로그램(114)은 터치 스크린(130)의 전면에 사용자 인터페이스 정보를 표시하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 본 발명에 따라 그래픽 사용자 인터페이스 프로그램(114)은 음성 인식 기능을 통해 음성 신호가 수신된 경우, 수신된 음성 신호의 처리 결과를 디스플레이하기 위한 명령어를 포함한다. 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 텍스트 디스플레이 모드에서, 음성 신호 "물음표"가 수신된 경우, 수신된 음성 신호를 텍스트로 변환한 "물음표"를 터치 스크린(130)에 디스플레이하기 위한 명령어를 포함한다. 다른 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 동작 수행 모드에서, 음성 신호 "알람"이 수신된 경우, 알람 기능의 실행 화면을 디스플레이하기 위한 명령어를 포함한다. 뎌하여, 전자 장치(100)는
더하여, 그래픽 사용자 인터페이스 프로그램(114)은 음성 인식 기능이 실행중인 경우, 음성 인식 기능의 모드 종류를 나타내는 그래픽 효과를 디스플레이하기 위한 명령어를 포함한다. 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 음성 인식 기능의 현재 모드를 나타내는 텍스트를 디스플레하기 위한 명령어를 포함한다. 다른 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 음성 인식 기능의 현재 모드를 나타내는 메시지를 디스플레이하기 위한 명령어를 포함한다. 또 다른 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 음성 인식 기능의 현재 모드를 나타내는 UI(User Interface)를 디스플레이하기 위한 명령어를 포함한다.
음성 인식 프로그램(115)은 마이크(152)로부터 음성 인식 기능이 실행중인 경우, 마이크(152)로부터 음성 신호를 수신할 수 있다. 다시 말해, 음성 인식 프로그램(115)은 음성 인식 기능이 실행된 경우, 마이크(152)의 전원을 켠 후, 해당 마이크로(152)를 통해 음성 신호를 수신할 수 있다.
더하여, 음성 인식 프로그램(115)은 마이크(152)를 통해 음성 신호가 수신된 경우, 현재 실행중인 음성 인식 기능의 모드를 확인하여, 수신된 음성 신호를 확인된 모드에 따라 처리할 수 있다. 이때, 음성 인식 프로그램(115)은 미리 설정된 음성 인식 기능의 모드를 확인하거나, 혹은 수신된 음성 신호를 메모리 내 버퍼에 저장한 후, 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 여기서, 음성 인식 기능의 모드는 음성 신호 수신 시, 수신된 음성 신호에 대응하는 텍스트를 디스플레이하는 텍스트 디스플레이 모드, 수신된 음성 신호에 대응하는 전자 장치의 동작을 수행하는 동작 수행 모드 및 음성 신호 수신을 중지하는 대기 모드 중 적어도 하나의 모드일 수 있다.
확인된 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 음성 인식 프로그램(115)은 수신된 음성 신호에 대응하는 텍스트를 디스플레이할 수 있다. 자세히 말해, 음성 인식 프로그램(115)은 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 수신된 음성 신호를 해당 음성 신호에 대응하는 텍스트로 변환하여 디스플레이할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로그램(115)은 수신된 "삼성"이라는 음성 신호를 텍스트로 인식하여, 텍스트 "삼성"을 실행된 음성 인식 기능의 텍스트 입력 영역에 디스플레이할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 상태에서, "잘라내기"라는 음성 신호가 수신된 경우, 음성 인식 프로그램(115)은 수신된 "잘라내기"라는 음성 신호를 텍스트로 인식하여, 텍스트 "잘라내기"를 실행된 음성 인식 기능의 텍스트 입력 영역에 디스플레이할 수 있다.
확인된 음성 인식 기능의 모드가 동작 수행 모드인 경우, 음성 인식 프로그램(115)은 수신된 음성 신호에 대응하는 전자 장치(100)의 동작을 수행할 수 있다. 자세히 말해, 음성 인식 프로그램(115)은 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 동작 수행 모드인 경우, 수신된 음성 신호를 전자 장치(100)의 동작을 수행하는 명령어로 인식하여, 해당 명령어에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한 후, 해당 명령어에 의해 수행될 수 있는 동작이 존재하는 경우, 해당 동작을 수행할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 동작 수행 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로그램(115)은 수신된 "삼성"이라는 음성 신호를 명령어로 인식하여, 명령어 "삼성"에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한 후, 명령어 "삼성"에 매핑된 동작이 존재하지 않음을 확인하여, 수신된 음성 신호를 무시할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 동작 수행 모드인 상태에서, "잘라내기"라는 음성 신호가 수신된 경우, 음성 인식 프로그램(115)은 수신된 "잘라내기"라는 음성 신호를 명령어로 인식하여, 명령어 "잘라내기"에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한다. 이때, 명령어 "잘라내기"에 매핑된 동작이 명령어 "잘라내기" 이전에 디스플레이된 컨텐츠(예를 들어, 텍스트 및 이미지)를 잘라내는 동작인 경우, 음성 인식 프로그램(115)은 명령어 "잘라내기" 이전에 디스플레이된 컨텐츠를 잘라내는 동작을 수행할 수 있다.
확인된 음성 인식 기능의 모드가 대기 모드인 경우, 음성 인식 프로그램(115)은 수신된 음성 신호를 무시할 수 있다. 다시 말해, 음성 인식 프로그램(115)은 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 대기 모드인 경우, 대기 모드인 상태에서 수신된 모든 음성 신호를 무시할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 대기 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로그램(115)은 수신된 "삼성"이라는 음성 신호를 버퍼에 임시 저장한 후, 일정 시간 경과 후에, 임시 저장된 음성 신호를 삭제할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 대기 모드인 경우, 음성 인식 프로그램(115)은 마이크(152)를 제어하여 음성 신호 수신을 중지할 수 있다.
동작 감지 프로그램(116)은 음성 인식 기능이 실행된 경우, 적어도 하나의 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 예를 들어, 동작 감지 프로그램(116)은 전자 장치(100)의 각도를 감지할 수 있는 센서로부터 입력된 전자 장치(100)의 각도 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 다른 예를 들어, 동작 감지 프로그램(116)은 전자 장치(100)로 접근하는 객체를 감지할 수 있는 센서로부터 입력된 객체의 거리 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 또 다른 예를 들어, 동작 감지 프로그램(116)은 객체의 동작을 감지할 수 있는 센서로부터 입력된 객체의 동작 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다.
프로세서(120)는 도시되지는 않았지만 적어도 하나의 프로세서 및 주변 인터페이스로 구성될 수 있다. 또한, 프로세서(120)는 메모리(110)에 저장되어 있는 특정한 프로그램(명령어 세트)을 실행하여 그 프로그램에 대응하는 특정한 다수의 기능을 수행한다.
터치 스크린(130)은 터치 감지 디스플레이(touch-sensitive display)로서, 전자 장치(100)와 사용자 사이에 터치 입력/출력을 위한 인터페이스를 제공한다. 터치 스크린(130)은 터치 센서(미도시)를 통해 터치(혹은 접촉)를 감지하고, 감지되는 터치 입력을 전자 장치(100)로 전달하고, 전자 장치(100)로부터의 출력을 사용자에게 시각적으로 제공하는 매개체이다. 즉, 터치 스크린(130)은 터치 입력에 반응하여, 사용자에게 텍스트, 그래픽 및 비디오를 기반으로 하는 시각적 출력을 제공한다.
터치 스크린(130)은 사용자의 터치 입력을 감지하는 터치 감지면을 포함하여, 햅틱(haptic) 접촉, 택타일(tactile) 접촉 또는 이들의 조합 방식에 의한 사용자 터치를 입력을 감지한다. 예를 들면, 터치 스크린(130)의 터치 감지 지점은 터치 감지면에 대한 접촉에 사용된 손가락의 폭(digit)에 대응한다. 또한, 터치 스크린(130)은 터치 감지면을 통해 스타일러스(stylus) 펜(pen) 등과 같은 외부 장치에 의한 접촉을 감지한다. 검출된 접촉은, 터치스크린 상에 표시되는 사용자 인터페이스 대상(예를 들어, 소프트 키)에 대응하는 상호 작용(interaction)으로 변환한다.
터치 스크린(130)은 LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)등과 같은 다양한 디스플레이 기술을 사용할 수 있으며. 본 발명의 터치 스크린(130)은 이러한 디스플레이 기술을 이용하는 터치 스크린으로 한정되는 것은 아니다. 또한, 터치 스크린(130)은 용량형(capacitive) 검출, 저항형(resistive) 검출, 적외선형 (infrared) 검출 또는 표면 음파 검출 기술과 같은 여러 가지 터치 검출(혹은 감지(sensing)) 기술을 이용하여 터치 감지면에 대한 접촉의 시작, 접촉의 이동 또는 접촉의 중단이나 종료를 감지할 수 있다. 본 발명에 따른 터치 스크린(130)은 음성 인식 기능의 현재 모드를 나타내는 정보를 디스플레이할 수 있다. 또한, 터치 스크린(130)은 음성 인식 기능의 모드가 변경되는 경우, 음성 인식 기능의 모드가 변경됨을 나타내는 정보를 디스플레이할 수 있다.
오디오 제어부(150)는 스피커(미도시) 및 마이크(152)에 결합되어 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력과 출력 기능을 수행한다. 즉, 오디오 제어부(142)는 스피커(speaker)(미도시)를 통해 오디오 신호를 출력하고, 마이크(152)를 통해 사용자의 음성 신호를 입력받기 위한 기능을 수행한다. 오디오 제어부(150)는 프로세서(120)를 통해 데이터 스트림을 수신하고, 수신한 데이터 스트림을 전기 스트림으로 변환한 후, 변환된 전기 스트림(electric signal)을 스피커(미도시)로 전달한다. 오디오 제어부(150)는 마이크(152)로부터 변환된 전기 스트림을 수신하고, 수신된 전기 스트림을 오디오 데이터 스트림으로 변환한 후, 변환된 오디오 데이터 스트림을 프로세서(120)로 전송한다. 오디오 제어부(150)는 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)을 포함할 수 있다. 스피커(미도시)는 오디오 제어부(150)로부터 수신된 전기 스트림을 사람이 들을 수 있는 음파(sound wave)로 변환하여 출력한다. 마이크(152)는, 사람이나 기타 다른 소리원(sound source)들로부터 전달된 음파를 전기 스트림으로 변환한다. 본 발명에 따른 오디오 제어부(150)는 음성 인식 기능이 실행된 경우, 마이크(152)를 자동 구동하여 사용자의 음성 신호를 수신할 수 있다.
도 1b는 본 발명의 실시 예에 따라 음성을 인식하는 프로세서의 블록 구성을 도시하고 있다.
도 1b를 참조하면, 프로세서(120)는 음성 인식 프로세서(122) 및 동작 감지 프로세서(124)를 포함한다.
음성 인식 프로세서(122)는 마이크(152)로부터 음성 인식 기능이 실행중인 경우, 마이크(152)로부터 음성 신호를 수신할 수 있다. 다시 말해, 음성 인식 프로세서(122)는 음성 인식 기능이 실행된 경우, 마이크(152)의 전원을 켠 후, 해당 마이크로(152)를 통해 음성 신호를 수신할 수 있다.
더하여, 음성 인식 프로세서(122)는 마이크(152)를 통해 음성 신호가 수신된 경우, 현재 실행중인 음성 인식 기능의 모드를 확인하여, 수신된 음성 신호를 확인된 모드에 따라 처리할 수 있다. 이때, 음성 인식 프로세서(122)는 미리 설정된 음성 인식 기능의 모드를 확인하거나, 혹은 수신된 음성 신호를 메모리 내 버퍼에 저장한 후, 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 여기서, 음성 인식 기능의 모드는 음성 신호 수신 시, 수신된 음성 신호에 대응하는 텍스트를 디스플레이하는 텍스트 디스플레이 모드, 수신된 음성 신호에 대응하는 전자 장치의 동작을 수행하는 동작 수행 모드 및 음성 신호 수신을 중지하는 대기 모드 중 적어도 하나의 모드일 수 있다.
확인된 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 음성 인식 프로세서(122)는 수신된 음성 신호에 대응하는 텍스트를 디스플레이할 수 있다. 자세히 말해, 음성 인식 프로세서(122)는 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 수신된 음성 신호를 해당 음성 신호에 대응하는 텍스트로 변환하여 디스플레이할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로세서(122)는 수신된 "삼성"이라는 음성 신호를 텍스트로 인식하여, 텍스트 "삼성"을 실행된 음성 인식 기능의 텍스트 입력 영역에 디스플레이할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 상태에서, "잘라내기"라는 음성 신호가 수신된 경우, 음성 인식 프로세서(122)는 수신된 "잘라내기"라는 음성 신호를 텍스트로 인식하여, 텍스트 "잘라내기"를 실행된 음성 인식 기능의 텍스트 입력 영역에 디스플레이할 수 있다.
확인된 음성 인식 기능의 모드가 동작 수행 모드인 경우, 음성 인식 프로세서(122)는 수신된 음성 신호에 대응하는 전자 장치(100)의 동작을 수행할 수 있다. 자세히 말해, 음성 인식 프로세서(122)는 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 동작 수행 모드인 경우, 수신된 음성 신호를 전자 장치(100)의 동작을 수행하는 명령어로 인식하여, 해당 명령어에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한 후, 해당 명령어에 의해 수행될 수 있는 동작이 존재하는 경우, 해당 동작을 수행할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 동작 수행 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로세서(122)는 수신된 "삼성"이라는 음성 신호를 명령어로 인식하여, 명령어 "삼성"에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한 후, 명령어 "삼성"에 매핑된 동작이 존재하지 않음을 확인하여, 수신된 음성 신호를 무시할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 동작 수행 모드인 상태에서, "잘라내기"라는 음성 신호가 수신된 경우, 음성 인식 프로세서(122)는 수신된 "잘라내기"라는 음성 신호를 명령어로 인식하여, 명령어 "잘라내기"에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한다. 이때, 명령어 "잘라내기"에 매핑된 동작이 명령어 "잘라내기" 이전에 디스플레이된 컨텐츠(예를 들어, 텍스트 및 이미지)를 잘라내는 동작인 경우, 음성 인식 프로세서(122)는 명령어 "잘라내기" 이전에 디스플레이된 컨텐츠를 잘라내는 동작을 수행할 수 있다.
확인된 음성 인식 기능의 모드가 대기 모드인 경우, 음성 인식 프로세서(122)는 수신된 음성 신호를 무시할 수 있다. 다시 말해, 음성 인식 프로세서(122)는 음성 신호가 수신된 상태에서, 음성 인식 기능의 모드 확인 결과, 현재 음성 인식 기능의 모드가 대기 모드인 경우, 대기 모드인 상태에서 수신된 모든 음성 신호를 무시할 수 있다. 예를 들어, 현재 음성 인식 기능의 모드가 대기 모드인 상태에서, "삼성"이라는 음성 신호가 수신된 경우, 음성 인식 프로세서(122)는 수신된 "삼성"이라는 음성 신호를 버퍼에 임시 저장한 후, 일정 시간 경과 후에, 임시 저장된 음성 신호를 삭제할 수 있다. 다른 예를 들어, 현재 음성 인식 기능의 모드가 대기 모드인 경우, 음성 인식 프로세서(122)는 마이크(152)를 제어하여 음성 신호 수신을 중지할 수 있다.
동작 감지 프로세서(124)는 음성 인식 기능이 실행된 경우, 적어도 하나의 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 예를 들어, 동작 감지 프로세서(124)는 전자 장치(100)의 각도를 감지할 수 있는 센서로부터 입력된 전자 장치(100)의 각도 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 다른 예를 들어, 동작 감지 프로세서(124)는 전자 장치(100)로 접근하는 객체를 감지할 수 있는 센서로부터 입력된 객체의 거리 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 또 다른 예를 들어, 동작 감지 프로세서(124)는 객체의 동작을 감지할 수 있는 센서로부터 입력된 객체의 동작 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다.
도 2a는 본 발명의 실시 예에 따른 전자 장치(100)에서 입력된 음성 신호를 음성 인식 기능의 모드에 따라 처리하는 절차를 도시하고 있다.
도 2a를 참조하면, 전자 장치(100)는 201단계에서 음성 인식 기능을 실행할 수 있다. 전자 장치(100)는 음성 인식 기능을 실행하기 위한 메뉴 선택 혹은 아이콘 선택 시, 음성 인식 기능을 실행할 수 있다.
이후, 전자 장치(100)는 203단계로 진행하여 전자 장치(100)의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정할 수 있다. 자세히 말해, 전자 장치(100)는 전자 장치(100)에 구비된 적어도 하나의 센서로부터 정보를 입력받은 후, 입력된 정보를 바탕으로 음성 인식 기능 모드를 입력된 정보에 대응하는 음성 인식 기능의 모드로 결정할 수 있다. 이때, 전자 장치(100)의 모드는 텍스트 디스플레이 모드, 동작 수행 모드 및 대기 모드 중 적어도 하나의 모드일 수 있다.
이후, 전자 장치(100)는 205단계로 진행하여 결정된 모드에 따라 입력 음성을 처리할 수 있다. 전자 장치(100)의 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 텍스트로 변환하여, 변환된 텍스트를 디스플레이할 수 있다. 전자 장치(100)의 음성 인식 기능의 모드가 동작 수행 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 명령어로 인식하여, 인식된 명령어에 대응하는 전자 장치(100)의 기능을 수행할 수 있다. 전자 장치(100)의 음성 인식 기능의 모드가 대기 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 무시할 수 있다.
도 2b는 본 발명의 실시 예에 따른 전자 장치(100)에서 입력된 음성 신호를 음성 인식 기능의 모드에 따라 처리하는 수단을 도시하고 있다.
도 2b를 참조하면, 전자 장치(100)는 음성 인식 기능을 실행하는 수단(211)을 포함한다. 이때, 전자 장치(100)는 마이크 등과 같이 사용자로부터 음성 신호를 수신할 수 있는 수단을 포함할 수 있다.
더하여, 전자 장치(100)는 전자 장치(100)의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 수단(213)을 포함한다. 이때, 전자 장치(100)는 적어도 하나의 센서를 구비할 수 있으며, 전자 장치(100)에 구비된 센서는 자이로 센서, 기울기 센서, 동작 센서 및 근접 센서 중 적어도 하나의 센서일 수 있다.
더하여, 전자 장치(100)는 결정된 모드에 따라 입력 음성을 처리하는 수단(215)을 포함한다. 이때, 전자 장치(100)는 수신된 음성 신호를 텍스트로 변환하는 수단, 수신된 음성 신호에 대응하는 전자 장치(100)의 동작을 수행하는 수단 및 수신된 음성 신호를 무시하는 수단 중 적어도 하나의 수단을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치(100)에서 센서로부터 입력된 정보를 바탕으로 입력된 음성 신호를 처리하는 절차를 도시하고 있다.
도 3을 참조하면, 전자 장치(100)는 301단계에서 음성 인식 기능을 수행한다. 예를 들어, 전자 장치(100)는 도 4에 도시된 바와 같이, 음성 인식 기능을 실행 시키기 위한 메뉴(401)가 선택된 경우, 음성 인식 기능을 실행할 수 있다.
이후, 전자 장치(100)는 303단계로 진행하여 음성 신호가 수신되는지 여부를 확인한다. 다시 말해, 전자 장치(100)는 전자 장치(100)에 구비된 마이크(152)를 통해 사용자의 음성 신호가 수신되는지 여부를 확인한다.
만약, 음성 신호가 수신된 경우, 전자 장치(100)는 305단계로 진행하여 음성 인식 기능의 모드를 확인한다. 이후, 전자 장치(100)는 307단계에서 확인된 음성 인식 기능의 모드가 텍스트 디스플레이 모드인지, 동작 수행 모드인지 혹은 대기 모드인지 여부를 확인한다. 다른 예들 를어, 전자 장치(100)는 305단계로 진행하여 음성 인식 기능의 모드를 확인한다. 전자 장치(100)에 구비된 센서는 동작 센서, 기울기 센서, 자이로 센서, 중력 센서 및 가속도 센서, 기타 움직임 센서 중 적어도 하나의 센서를 통해 수신된 정보를 수신하여 수신된 정보를 바탕으로
음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 전자 장치(100)는 309단계로 진행하여 수신된 음성 신호에 대응하는 텍스트를 디스플레이한다. 자세히 말해, 확인된 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 텍스트로 변환하여, 변환된 텍스트를 텍스트 디스플레이 영역에 디스플레이할 수 있다. 예를 들어, 텍스트 디스플레이 모드에서 음성 신호 "텍스트 잘라내기"가 수신된 경우, 전자 장치(100)는 도 5a에 도시된 바와 같이, 수신된 음성 신호를 텍스트로 변환하여, 변환된 "텍스트 잘라내기"(501)라는 텍스트를 텍스트 디스플레이 영역(503)에 디스플레이할 수 있다. 이후, 전자 장치(100)는 313단계로 진행하여 적어도 하나의 센서로부터 정보가 입력되는지 여부를 확인할 수 있다.
음성 인식 기능의 모드가 동작 수행 모드인 경우, 전자 장치(100)는 311단계로 진행하여 수신된 음성 신호에 대응하는 전자 장치(100)의 동작을 수행한다. 자세히 말해, 확인된 음성 인식 기능의 모드가 동작 수행 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 전자 장치(100)의 동작을 수행하는 명령어로 인식하여, 해당 명령어에 매핑된 전자 장치(100)의 동작이 존재하는지 확인한 후, 해당 명령어에 의해 수행될 수 있는 동작이 존재하는 경우, 해당 동작을 수행할 수 있다. 예를 들어, 동작 수행 모드에서 음성 신호 "텍스트 잘라내기"가 수신된 경우, 전자 장치(100)는 수신된 음성 신호 "텍스트" 및 "잘라내기"를 명령어로 인식하여, "텍스트" 및 "잘라내기"에 매핑된 동작이 존재하는지 확인한다. 먼저, 전자 장치(100)는 명령어 "텍스트"에 매핑된 전자 장치(100)의 동작이 없음을 확인하고, 음성 신호 "텍스트"를 텍스트로 변환하여 디스플레이한다. 이후, 전자 장치(100)는 명령어 "잘라내기"에 매핑된 전자 장치(100)의 동작이 이전에 디스플레이된 컨텐츠를 잘라내는 동작임을 확인하여, 도 5b에 도시된 바와 같이, 명령어 "잘라내기" 이전에 디스플레이된 텍스트 "텍스트"를 잘라내기(511) 할 수 있다. 이후, 전자 장치(100)는 313단계로 진행하여 적어도 하나의 센서로부터 정보가 입력되는지 여부를 확인할 수 있다.
음성 인식 기능의 모드가 대기 모드인 경우, 전자 장치(100)는 313단계로 진행하여 적어도 하나의 센서로부터 정보가 입력되는지 여부를 확인할 수 있다. 음성 인식 기능의 모드가 대기 모드인 경우, 전자 장치(100)는 수신된 음성 신호를 무시할 수 있다. 예를 들어, 대기 모드에서 음성 신호 "텍스트 잘라내기"가 수신된 경우, 전자 장치(100)는 수신된 음성 신호 "텍스트 잘라내기"를 무시할 수 있다.
만약, 적어도 하나의 센서로부터 정보가 입력되지 않는 경우, 전자 장치(100)는 303단계로 되돌아가 이하 단계를 재수행한다.
반면, 적어도 하나의 센서로부터 정보가 입력되는 경우, 전자 장치(100)는 315단계로 진행하여 입력된 정보를 바탕으로 음성 인식 기능의 모드를 결정한다. 다시 말해, 전자 장치(100)는 적어도 하나의 센서로부터 입력된 정보를 바탕으로 음성 인식 기능의 모드를 텍스트 디스플레이 모드, 동작 수행 모드 및 대기 모드 중 하나의 모드로 결정할 수 있다. 이때, 전자 장치(100)는 입력된 정보를 확인하여, 해당 정보에 대응하는 음성 인식 기능의 모드를 결정할 수 있다. 예를 들어, 전자 장치(100)에 근접 센서가 구비된 경우, 전자 장치(100)는 도 6a에 도시된 바와 같이, 전자 장치(100)와 근접 센서에 감지된 객체의 거리(601)가 제 1 임계 거리 이내인 경우, 음성 인식 기능의 모드를 텍스트 디스플레이 모드로 결정할 수 있다. 다른 예를 들어, 전자 장치(100)에 근접 센서가 구비된 경우, 전자 장치(100)는 도 6b에 도시된 바와 같이, 전자 장치(100)와 근접 센서에 감지된 객체의 거리(611)가 제 1 임계 거리 이상, 제 2 임계 거리 이내인 경우, 음성 인식 기능의 모드를 동작 수행 모드로 결정할 수 있다. 또 다른 예를 들어, 전자 장치(100)에 근접 센서가 구비된 경우, 전자 장치(100)는 도 6c에 도시된 바와 같이, 전자 장치(100)로부터 제 2 임계 거리 이내에 감지되는 객체가 존재하지 않는 경우, 음성 인식 기능의 모드를 대기 모드로 결정할 수 있다.
또한, 전자 장치(100)는 적어도 하나의 센서로부터 정보 입력 시, 세 개의 서로 다른 음성 인식 기능의 모드를 순서대로 설정할 수 있다. 예를 들어, 적어도 하나의 센서로부터 정보 입력 시, 전자 장치(100)는 도 7에 도시된 바와 같이, 텍스트 디스플레이 모드, 동작 수행 모드 혹은 대기 모드를 순서대로 토글링하여 음성 인식 기능의 모드를 설정할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 전자 장치(100)의 동작 센서에 오른쪽에서 왼쪽으로 진행하는 객체의 동작 정보가 입력되는 경우, 전자 장치(100)는 음성 인식 기능의 모드를 순서대로 토글링할 수 있다. 만약, 현재 음성 인식 기능의 모드가 텍스트 디스플레이 모드이고, 다음 순서의 모드가 동작 수행 모드인 경우, 전자 장치(100)는 오른쪽에서 왼쪽으로 진행하는 객체의 움직임 감지 시, 음성 인식 기능의 모드를 텍스트 디스플레이 모드에서 동작 수행 모드로 변경하여 설정할 수 있다. 다른 예를 들어, 도 9에 도시된 바와 같이, 전자 장치(100)의 동작 센서에 물건을 움켜쥐는 듯한 객체의 동작 정보가 입력되는 경우, 전자 장치(100)는 음성 인식 기능의 모드를 순서대로 토글링할 수 있다. 만약, 현재 음성 인식 기능의 모드가 동작 수행 모드이고, 다음 순서의 모드가 대기 모드인 경우, 전자 장치(100)는 물건을 움켜쥐는 듯한 객체의 동작 감지 시, 음성 인식 기능의 모드를 동작 수행 모드에서 대기 모드로 변경하여 설정할 수 있다. 이때, 전자 장치(100)는 도 10에 도시된 바와 같이, 전자 장치(100)에 구비된 LED 램프(1001)를 통하여 음성 인식 기능의 현재 모드를 나타낼 수 있다. 예를 들어, 전자 장치(100)는 음성 인식 기능의 모드가 텍스트 디스플레이 모드인 경우, LED 램프(1001)를 빨간색으로 설정하고, 음성 인식 기능의 모드가 동작 수행 모드인 경우, LED 램프(1001)를 노란색으로 설정하고, 음성 인식 기능의 모드가 대기 모드인 경우, LED 램프(1001)를 파란색으로 설정할 수 있다.
본 명세서에 설명된 발명의 실시 예 및 모든 기능 동작들은 본 명세서에서 개시된 구조 및 이들의 균등 구조들을 포함하는 컴퓨터 소프트웨어, 펌웨어(firmware), 또는 하드웨어로, 또는 이들의 하나 이상의 조합으로 실시될 수 있다. 또한, 본 명세서에서 설명된 발 명의 실시 예들은 하나 이상의 컴퓨터 프로그램 제품, 즉 데이터 프로세싱 장치에 의해 실행되거나 이 장치의 동작을 제어하기 위한 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터프로그램 명령어들의 하나 이상의 모듈로 실시될 수 있다.
컴퓨터 판독가능 매체는 머신 판독가능 저장 매체, 머신 판독가능 저장 기판, 메모리 장치, 머신 판독가능 전파 스트림에 영향을 주는 물질의 구성, 또는 이들의 하나 이상의 조합이 될 수 있다. 데이터 프로세싱 장치라는 용어는 예로 프로그램 가능한 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함하는 데이터를 프로세싱하기 위한 모든 기기, 장치 및 머신을 포함한다. 기기는 하드웨어에 부가하여 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템 또는 하나 이상의 이들의 조합을 구성하는 코드를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야한다.

Claims (21)

  1. 음성 인식 기능을 실행하는 과정과,
    전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 과정과,
    상기 결정된 모드에 따라 입력 음성을 처리하는 과정을 포함하며,
    상기 음성 인식 기능의 모드는 음성에 대응하는 텍스트 디스플레이 모드, 음성에 대응하는 상기 전자 장치의 동작 수행 모드 및 대기 모드 중 적어도 하나를 포함하는
    전자 장치의 제어 방법.
  2. 제 1 항에 있어서,
    전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 과정은,
    적어도 하나의 센서로부터 음성 인식 기능의 모드를 결정하기 위한 정보가 입력된 경우, 상기 음성 인식 기능의 모드별 미리 설정된 센서 정보의 관계를 바탕으로 상기 입력된 정보에 대응하는 음성 인식 기능의 모드를 확인하는 과정과,
    상기 음성 인식 기능의 모드를 상기 확인된 모드로 결정하는 과정을 포함하는
    전자 장치의 제어 방법.
  3. 제 1 항에 있어서,
    전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정하는 과정은,
    적어도 하나의 센서로부터 음성 인식 기능의 모드를 결정하기 위한 정보가 입력된 경우, 상기 입력된 정보가 상기 음성 인식 모드 전환 조건을 만족하는지 여부를 검사하는 과정과,
    상기 모드 전환 조건을 만족할 시, 다수의 음성 인식 기능의 모드에 대해 미리 결정된 순서를 기반으로 현재 실행 중인 음성 인식 기능의 모드의 다음 순서에 대응하는 음성 인식 기능의 모드를 결정하는 과정을 포함하는
    전자 장치의 제어 방법.
  4. 제 1 항에 있어서,
    상기 결정된 모드가 텍스트 디스플레이 모드인 경우, 상기 입력 음성을 상기 입력 음성에 대응하는 텍스트로 변환하는 과정과,
    상기 변환된 텍스트를 디스플레이 장치에 디스플레이하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  5. 제 4 항에 있어서,
    상기 변환된 텍스트를 디스플레이 장치에 디스플레이하는 과정은,
    상기 디스플레이 장치의 텍스트 입력 가능 영역에 상기 변환된 텍스트를 입력하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  6. 제 1 항에 있어서,
    상기 결정된 모드가 동작 수행 모드인 경우, 상기 입력 음성을 명령어로 인식하는 과정과,
    상기 명령어에 대응하는 상기 전자 장치의 동작이 존재하는지 여부를 확인하는 과정과,
    상기 명령어에 대응하는 상기 전자 장치의 동작을 수행하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  7. 제 1 항에 있어서,
    상기 결정된 모드가 대기 모드인 경우, 상기 입력 음성을 무시하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  8. 제 1 항에 있어서,
    상기 센서는 근접 센서, 기울기 센서, 자이로 센서 및 동작 센서 중 적어도 하나의 센서인
    전자 장치의 제어 방법.
  9. 제 1 항에 있어서,
    상기 음성 인식 기능의 모드가 결정된 경우, 상기 결정된 음성 인식 모드에 따라 상기 전자 장치에 구비된 램프의 색상을 서로 다르게 출력하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  10. 제 1 항에 있어서,
    상기 음성 인식 기능의 모드가 결정된 경우, 상기 결정된 음성 인식 기능의 모드를 나타내는 메시지를 디스플레이하는 과정을 더 포함하는
    전자 장치의 제어 방법.
  11. 하나 이상의 프로세서;
    터치 감지 디스플레이;
    마이크;
    메모리; 및
    상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서,
    상기 프로그램은 음성 인식 기능을 실행하고, 전자 장치의 적어도 하나의 센서로부터 입력되는 정보를 바탕으로 음성 인식 기능의 모드를 결정한 후, 상기 결정된 모드에 따라 입력 음성을 처리하는 명령어를 포함하며, 상기 음성 인식 기능의 모드는 음성에 대응하는 텍스트 디스플레이 모드, 음성에 대응하는 상기 전자 장치의 동작 수행 모드 및 대기 모드 중 적어도 하나를 포함하는
    전자 장치.
  12. 제 11 항에 있어서,
    상기 프로그램은 적어도 하나의 센서로부터 음성 인식 기능의 모드를 결정하기 위한 정보가 입력된 경우, 상기 음성 인식 기능의 모드별 미리 설정된 센서 정보의 관계를 바탕으로 상기 입력된 정보에 대응하는 음성 인식 기능의 모드를 확인한 후, 상기 음성 인식 기능의 모드를 상기 확인된 모드로 결정하는 명령어를 포함하는
    전자 장치.
  13. 제 11 항에 있어서,
    상기 프로그램은 적어도 하나의 센서로부터 음성 인식 기능의 모드를 결정하기 위한 정보가 입력된 경우, 상기 입력된 정보가 상기 음성 인식 모드 전환 조건을 만족하는지 여부를 검사한 후, 상기 모드 전환 조건을 만족할 시, 다수의 음성 인식 기능의 모드에 대해 미리 결정된 순서를 기반으로 현재 실행 중인 음성 인식 기능의 모드의 다음 순서에 대응하는 음성 인식 기능의 모드를 결정하는 명령어를 포함하는
    전자 장치.
  14. 제 11 항에 있어서,
    상기 프로그램은 상기 결정된 모드가 텍스트 디스플레이 모드인 경우, 상기 입력 음성을 상기 입력 음성에 대응하는 텍스트로 변환한 후, 상기 변환된 텍스트를 디스플레이 장치에 디스플레이하는 명령어를 더 포함하는
    전자 장치.
  15. 제 14 항에 있어서,
    상기 프로그램은 상기 변환된 텍스트를 디스플레이 장치에 디스플레이한 후, 상기 디스플레이 장치의 텍스트 입력 가능 영역에 상기 변환된 텍스트를 입력하는 명령어를 더 포함하는
    전자 장치.
  16. 제 11 항에 있어서,
    상기 프로그램은 상기 결정된 모드가 동작 수행 모드인 경우, 상기 입력 음성을 명령어로 인식하고, 상기 명령어에 대응하는 상기 전자 장치의 동작이 존재하는지 여부를 확인한 후, 상기 명령어에 대응하는 상기 전자 장치의 동작을 수행하는 명령어를 더 포함하는
    전자 장치.
  17. 제 11 항에 있어서,
    상기 프로그램은 상기 결정된 모드가 대기 모드인 경우, 상기 입력 음성을 무시하는 명령어를 더 포함하는
    전자 장치.
  18. 제 11 항에 있어서,
    상기 센서는 근접 센서, 기울기 센서, 자이로 센서 및 동작 센서 중 적어도 하나의 센서인
    전자 장치.
  19. 제 11 항에 있어서,
    상기 프로그램은 상기 음성 인식 기능의 모드가 결정된 경우, 상기 결정된 음성 인식 모드에 따라 상기 전자 장치에 구비된 램프의 색상을 서로 다르게 출력하는 명령어를 더 포함하는
    전자 장치.
  20. 제 11 항에 있어서,
    상기 프로그램은 상기 음성 인식 기능의 모드가 결정된 경우, 상기 결정된 음성 인식 기능의 모드를 나타내는 메시지를 디스플레이하는 명령어를 더 포함하는
    전자 장치.
  21. 전자 장치에 의해 실행될 경우, 상기 장치로 하여금 제 1항의 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장 매체.
KR20130049986A 2013-05-03 2013-05-03 음성 인식을 위한 방법 및 그 전자 장치 Withdrawn KR20140131093A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130049986A KR20140131093A (ko) 2013-05-03 2013-05-03 음성 인식을 위한 방법 및 그 전자 장치
US14/265,748 US20140330561A1 (en) 2013-05-03 2014-04-30 Voice recognition method and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130049986A KR20140131093A (ko) 2013-05-03 2013-05-03 음성 인식을 위한 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20140131093A true KR20140131093A (ko) 2014-11-12

Family

ID=51841926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130049986A Withdrawn KR20140131093A (ko) 2013-05-03 2013-05-03 음성 인식을 위한 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US20140330561A1 (ko)
KR (1) KR20140131093A (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240107A (zh) * 2018-09-30 2019-01-18 深圳创维－Rgb电子有限公司 一种电器设备的控制方法、装置、电器设备和介质
KR20190060157A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20190136080A (ko) * 2017-05-16 2019-12-09 애플 인크. 피어 투 피어 전송들을 위한 사용자 인터페이스들
WO2019245331A1 (ko) * 2018-06-22 2019-12-26 삼성전자 주식회사 텍스트 입력 디바이스 및 그 방법
US10796294B2 (en) 2017-05-16 2020-10-06 Apple Inc. User interfaces for peer-to-peer transfers
US10909524B2 (en) 2018-06-03 2021-02-02 Apple Inc. User interfaces for transfer accounts
KR102232308B1 (ko) * 2020-06-01 2021-03-26 이혁수 스마트 입력 장치 및 그 동작 방법
US11074572B2 (en) 2016-09-06 2021-07-27 Apple Inc. User interfaces for stored-value accounts
US11100498B2 (en) 2018-06-03 2021-08-24 Apple Inc. User interfaces for transfer accounts
US11221744B2 (en) 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US11481769B2 (en) 2016-06-11 2022-10-25 Apple Inc. User interface for transactions
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11983702B2 (en) 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US12002042B2 (en) 2016-06-11 2024-06-04 Apple, Inc User interface for transactions
US12118562B2 (en) 2020-05-29 2024-10-15 Apple Inc. Configuring an account for a second user identity

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9620116B2 (en) * 2013-12-24 2017-04-11 Intel Corporation Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
CN108831459B (zh) * 2018-05-30 2021-01-05 出门问问信息科技有限公司 语音识别方法及装置
CN112309399B (zh) * 2020-10-30 2023-02-24 上海淇玥信息技术有限公司 一种基于语音执行任务的方法、装置和电子设备
CN112767753B (zh) * 2021-01-08 2022-07-22 中国石油大学胜利学院 一种督导式智能在线教学系统及其作用方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035805B1 (en) * 2000-07-14 2006-04-25 Miller Stephen S Switching the modes of operation for voice-recognition applications
US8555201B2 (en) * 2008-06-05 2013-10-08 Qualcomm Incorporated Wireless communication device having deterministic control of foreground access of the user interface
KR101330810B1 (ko) * 2012-02-24 2013-11-18 주식회사 팬택 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
KR102179811B1 (ko) * 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002042B2 (en) 2016-06-11 2024-06-04 Apple, Inc User interface for transactions
US11481769B2 (en) 2016-06-11 2022-10-25 Apple Inc. User interface for transactions
US12165127B2 (en) 2016-09-06 2024-12-10 Apple Inc. User interfaces for stored-value accounts
US11074572B2 (en) 2016-09-06 2021-07-27 Apple Inc. User interfaces for stored-value accounts
US11797968B2 (en) 2017-05-16 2023-10-24 Apple Inc. User interfaces for peer-to-peer transfers
US10796294B2 (en) 2017-05-16 2020-10-06 Apple Inc. User interfaces for peer-to-peer transfers
US12579531B2 (en) 2017-05-16 2026-03-17 Apple Inc. User interfaces for peer-to-peer transfers
KR20190136080A (ko) * 2017-05-16 2019-12-09 애플 인크. 피어 투 피어 전송들을 위한 사용자 인터페이스들
US12147964B2 (en) 2017-05-16 2024-11-19 Apple Inc. User interfaces for peer-to-peer transfers
US11221744B2 (en) 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
US11222325B2 (en) 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
KR20190060157A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 전자 장치 및 그 제어 방법
US12260860B2 (en) 2017-11-24 2025-03-25 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US11455990B2 (en) 2017-11-24 2022-09-27 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US10909524B2 (en) 2018-06-03 2021-02-02 Apple Inc. User interfaces for transfer accounts
US11514430B2 (en) 2018-06-03 2022-11-29 Apple Inc. User interfaces for transfer accounts
US11100498B2 (en) 2018-06-03 2021-08-24 Apple Inc. User interfaces for transfer accounts
US11900355B2 (en) 2018-06-03 2024-02-13 Apple Inc. User interfaces for transfer accounts
US11194547B2 (en) 2018-06-22 2021-12-07 Samsung Electronics Co., Ltd. Text input device and method therefor
US11762628B2 (en) 2018-06-22 2023-09-19 Samsung Electronics Co., Ltd. Text input device and method therefor
WO2019245331A1 (ko) * 2018-06-22 2019-12-26 삼성전자 주식회사 텍스트 입력 디바이스 및 그 방법
CN109240107A (zh) * 2018-09-30 2019-01-18 深圳创维－Rgb电子有限公司 一种电器设备的控制方法、装置、电器设备和介质
US11610259B2 (en) 2019-03-24 2023-03-21 Apple Inc. User interfaces for managing an account
US12131374B2 (en) 2019-03-24 2024-10-29 Apple Inc. User interfaces for managing an account
US11688001B2 (en) 2019-03-24 2023-06-27 Apple Inc. User interfaces for managing an account
US11669896B2 (en) 2019-03-24 2023-06-06 Apple Inc. User interfaces for managing an account
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US12118562B2 (en) 2020-05-29 2024-10-15 Apple Inc. Configuring an account for a second user identity
KR102232308B1 (ko) * 2020-06-01 2021-03-26 이혁수 스마트 입력 장치 및 그 동작 방법
US11983702B2 (en) 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US12547300B2 (en) 2021-05-14 2026-02-10 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account

Also Published As

Publication number Publication date
US20140330561A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
KR20140131093A (ko) 음성 인식을 위한 방법 및 그 전자 장치
AU2018260953B2 (en) Context aware service provision method and apparatus of user device
TWI635414B (zh) 用戶裝置的情景感知服務的提供方法和裝置
US9400590B2 (en) Method and electronic device for displaying a virtual button
US11262895B2 (en) Screen capturing method and apparatus
CN104007816B (zh) 用于提供语音-言语服务的方法和实现该方法的移动终端
KR102062763B1 (ko) 상황 정보 기반의 정보 제공 방법 및 시스템과 그 기록 매체
KR102021048B1 (ko) 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
CN105264870B (zh) 使用悬停输入的用户输入
KR20140080146A (ko) 컨텐츠 사용 이력을 디스플레이하는 방법 및 그 전자 장치
KR20150047451A (ko) 메시지 표시방법, 장치, 단말기장치, 프로그램 및 기록매체
KR102056485B1 (ko) 수신 메시지 특성에 따른 메시지 수신 알림 방법 및 장치
CN103677559A (zh) 用于显示信息的低功率检测设备和方法
KR101999762B1 (ko) 외부기기와 연결하기 위한 방법 및 그 전자 장치
CN103164156A (zh) 便携式终端的触摸输入方法和设备
US9842589B2 (en) Voice input device, voice input method and program
KR20140110452A (ko) 전자장치에서 근접 터치를 이용한 사용자 인터페이스 제어 방법 및 장치
KR20140116642A (ko) 음성 인식 기반의 기능 제어 방법 및 장치
KR102156848B1 (ko) 수신 메시지 특성에 따른 메시지 수신 알림 방법 및 장치
KR20130108748A (ko) 메뉴 설정 서비스를 제공하기 위한 방법 및 그 전자 장치
KR101426791B1 (ko) 입력 제스처를 감지하여 선택받은 기호를 입력하는 전자 장치 및 방법
US11659077B2 (en) Mobile terminal and method for controlling the same
CN106488027A (zh) 一种指示灯的控制方法及移动终端
KR20130115693A (ko) 확대 이미지를 제공하기 위한 방법 및 그 전자 장치
CN105677133A (zh) 交互方法、交互设备及门廊电话

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130503

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid