KR101683083B1 - 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용 - Google Patents

가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용 Download PDF

Info

Publication number
KR101683083B1
KR101683083B1 KR1020120109552A KR20120109552A KR101683083B1 KR 101683083 B1 KR101683083 B1 KR 101683083B1 KR 1020120109552 A KR1020120109552 A KR 1020120109552A KR 20120109552 A KR20120109552 A KR 20120109552A KR 101683083 B1 KR101683083 B1 KR 101683083B1
Authority
KR
South Korea
Prior art keywords
user
context information
context
received
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120109552A
Other languages
English (en)
Other versions
KR20130035983A (ko
Inventor
토마스 로버트 그루버
크리스토퍼 딘 브리검
다니엘 에스. 킨
그레고리. 노빅
벤자민 에스. 핍스
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/250,854 external-priority patent/US9858925B2/en
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130035983A publication Critical patent/KR20130035983A/ko
Application granted granted Critical
Publication of KR101683083B1 publication Critical patent/KR101683083B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Digital Computer Display Output (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

가상 비서는 자연어 또는 사용자로부터의 제스처 입력을 대체하기 위하여 컨텍스트 정보를 이용한다. 컨텍스트는 사용자의 의도를 해명하고 사용자 입력의 해석 후보의 수를 감소시키는데 도움이 되며, 사용자가 과도한 해명 입력을 제공할 필요를 감소시킨다. 컨텍스트는 정보 처리 문제를 제한하기 위해 그리고/또는 결과를 맞춤화하기 위하여 비서가 명확한 사용자 입력을 대체할 수 없는 임의의 이용가능한 정보를 포함할 수 있다. 컨텍스트는 예컨대 음성 인식, 자연어 처리, 태스크 플로우 처리, 및 대화 생성을 포함하는 다양한 양상의 처리 동안 솔루션을 제한하는데 사용될 수 있다.

Description

가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용{USING CONTEXT INFORMATION TO FACILITATE PROCESSING OF COMMANDS IN A VIRTUAL ASSISTANT}
관련 출원들에 대한 상호 참조
본 출원은, 2009년 6월 5일에 "Contextual Voice Commands" 라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 실용 출원 제 12/479,477 호(대리인 문서 번호 P7393US1)의 부분 계속 출원으로서의 우선권을 주장한다.
본 출원은, 2011년 1월 10일에 "Intelligent Automated Assistant" 라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 실용 출원 제 12/987,982 호(대리인 문서 번호 P10575US1)의 부분 계속 출원으로서의 우선권을 더 주장한다.
미국 실용 출원 제 12/987,982 호는, 2010년 1월 18일에 "Intelligent Automated Assistant" 라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 가특허 출원 제 61/295,774 호(대리인 문서 번호 SIRIP003P)로부터의 우선권을 주장한다.
본 출원은, 2011년 6월 3일에 "Generating and Processing Data Items That Represent Tasks to Perform" 이라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 가출원 제 61/493,201 호(대리인 문서 번호 P11337P1)로부터의 우선권을 더 주장한다.
본 출원은, 본 출원과 동일자에 "Generating and Processing Task Items that Represent Tasks to Perform" 이라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 실용 출원 제 / 호(대리인 문서 번호 P11337US1)와 관련된 것이다.
본 출원은, 본 출원과 동일자에 "Automatically Adapting User Interfaces for Hands-Free Interaction" 이라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 실용 출원 제 / 호(대리인 문서 번호 P11357US1)와 관련된 것이다.
본 발명은 가상 비서(virtual assistant)에 관한 것으로서, 보다 구체적으로는, 그러한 비서에 제공된 커맨드들의 해석 및 처리를 개선시키기 위한 메카니즘들에 관한 것이다.
오늘날의 전자 디바이스들은, 인터넷을 통해서 및 다른 소스들로부터, 크고, 성장하는, 그리고 다양한 양의 기능들, 서비스들 및 정보에 액세스할 수 있다. 그러한 디바이스들의 기능은, 많은 소비자 디바이스, 스마트폰, 태블릿 컴퓨터 등이 다양한 태스크들을 수행하기 위한 소프트웨어 애플리케이션들을 실행시킬 수 있으며, 상이한 유형의 정보를 제공할 수 있게 됨에 따라, 빠르게 증가하고 있다. 때때로, 각각의 애플리케이션, 기능, 웹사이트 또는 특징은, 그 자신의 사용자 인터페이스 및 그 자신의 동작 패러다임들을 가지며, 그 중 많은 것이 배우기 부담스럽거나 또는 사용자들을 압도하는 것이다. 또한, 많은 사용자들은 그들의 전자 디바이스들 또는 다양한 웹사이트들에 대해 어떤 기능 및/또는 정보가 이용가능한지를 찾는 것조차도 어려울 수 있으므로, 그러한 사용자들은 좌절감을 느끼거나 압도당할 수 있으며, 또는 단순히 그들에게 이용가능한 자원들을 효율적인 방식으로 이용하지 못할 수 있다.
특히, 초보 사용자들, 또는 정상적으로 기능하지 못하거나 장애를 갖고/갖거나, 나이가 많고, 바쁘고, 집중을 못하고/못하거나, 차량을 동작중인 개인들은 그들의 전자 디바이스들과 효율적으로 인터페이싱하고/하거나, 온라인 서비스들에 효율적으로 참여하는데 어려움을 가질 수 있다. 특히, 그러한 사용자들은 그들의 사용을 위해 이용가능할 수 있는 다수의 다양하고 일관성이 없는 기능들, 애플리케이션들 및 웹사이트들에 어려움을 가질 것이다.
따라서, 현존하는 시스템들은 때때로 사용 및 네비게이션이 어렵고, 때로는 사용자들에게 일관성이 없고 압도적인 인터페이스들을 제공함으로써, 사용자들이 기술을 효율적으로 이용하는 것을 방해한다.
본 명세서에서 가상 비서 라고도 지칭되는 지능형 자동 비서(intelligent automated assistant)가 사람과 컴퓨터 간에 개선된 인터페이스를 제공할 수 있다. 2011년 1월 10일에 "Intelligent Automated Assistant" 라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 관련 미국 실용 출원 제 12/987,982 호(대리인 문서 번호 P10575US1)에 기술된 바와 같이 구현될 수 있는 그러한 비서는, 사용자들이 말로 표현된 및/또는 텍스트 형태의 자연어를 이용하여 디바이스 또는 시스템과 상호작용할 수 있도록 한다. 그러한 비서는 사용자 입력들을 해석하고, 사용자의 의도를 태스크들 및 그러한 태스크들에 대한 파라미터들로 조작할 수 있게 하고, 그러한 태스크들을 지원하기 위한 서비스들을 실행시키고, 사용자가 이해할 수 있는 출력을 생성한다.
가상 비서는, 예를 들면, 지식 기반(knowledge base)들, 모델들 및/또는 데이터를 포함하는 사용자 입력을 처리하기 위해, 다수의 정보 소스들 중 임의의 것을 이끌어 낼 수 있다. 많은 경우에 있어서, 사용자의 입력 하나만으로는 사용자의 의도 및 수행될 태스크를 명확하게 정의하기에 충분하지 않다. 이것은 입력 스트림, 사용자들 사이의 개인적인 차이 및/또는 자연어 고유의 모호성 때문일 수 있다. 예를 들어, 전화 상에서의 텍스트 메시징 애플리케이션의 사용자는 가상 비서를 호출(invoke)하여, "그녀에게 전화하라(call her)"는 커맨드를 말할 수 있다. 그러한 커맨드는 완전하게 합리적인 영어이지만, 이러한 요청에 대해 많은 해석들 및 가능한 해결책들이 존재할 수 있기 때문에, 그것은 정확하고, 실행가능한 표현이 아니다. 따라서, 추가의 정보를 갖지 않고서, 가상 비서는 그러한 입력을 올바르게 해석 및 처리하지 못할 수도 있다. 이러한 유형의 모호성은 에러들, 부정확한 동작들의 수행 및/또는 입력을 명확하게 하라는 요청들로 사용자에게 과도한 부담을 주는 것을 초래할 수 있다.
본 발명의 다양한 실시예에 따르면, 가상 비서는 사용자로부터의 자연어 또는 제스처(gestural) 입력을 보충하기 위해, (본 명세서에서 "컨텍스트(context)" 이라고도 지칭되는) 컨텍스트 정보를 이용한다. 이것은 사용자의 의도를 명확하게 하고, 사용자 입력의 후보 해석들의 수를 감소시키는데 도움을 주며, 사용자가 과도한 해명(clarification) 입력을 제공할 필요성을 감소시킨다. 컨텍스트는 정보-처리 문제를 제한하고/하거나 결과들을 개인화하기 위해 명시적인 사용자 입력을 보충하도록 비서에 의해 이용될 수 있는 임의의 이용가능한 정보를 포함할 수 있다. 예를 들어, 사용자로부터의 입력이 ("그녀에게 전화하라(call her)는 커맨드"에서의 "그녀(her)"와 같은) 대명사를 포함한다면, 가상 비서는 컨텍스트를 이용하여 그러한 대명사의 지시 대상을 추론, 예를 들면, 전화를 받게 될 개인의 아이덴티티(identity) 및/또는 이용할 전화 번호를 확인할 수 있다. 컨텍스트의 다른 이용들이 본 명세서에서 기술된다.
본 발명의 다양한 실시예에 따르면, 전자 디바이스 상에서 구현된 가상 비서에서의 계산(computation)들을 수행하기 위한 컨텍스트 정보를 획득 및 적용하기 위해 임의의 수의 메카니즘들이 구현될 수 있다. 다양한 실시예에서, 가상 비서는 2011년 1월 10일에 "Intelligent Automated Assistant" 라는 제목으로 출원되었으며 그 전체 개시 내용이 본 명세서에서 참조로 인용되는 미국 실용 출원 제 12/987,982 호(대리인 문서 번호 P10575US1)에 기술된 바와 같은 지능형 자동 비서다. 그러한 비서는 자연어 대화를 이용한 통합적인 대화의 방식으로 사용자와 관계를 형성하며, 정보를 얻거나 또는 다양한 동작들을 수행하는 것이 적절할 경우 외부의 서비스들을 호출한다. 본 명세서에 서술된 기술들에 따르면, 컨텍스트 정보가 그러한 비서에서 이용되어, 예를 들면, 음성 인식, 자연어 처리, 태스크 플로우 처리 및 대화 생성과 같은 정보 처리 기능들을 수행할 때의 모호성을 감소시킨다.
본 발명의 다양한 실시예에 따르면, 가상 비서는 다양하고 상이한 종류의 동작들, 기능들 및/또는 피처(feature)들의 수행에 컨텍스트를 이용하고, 및/또는, 그것이 설치되는 전자 디바이스의 복수의 피처들, 동작들 및 애플리케이션들을 조합하도록 구성, 설계 및/또는 동작가능하게 될 수 있다. 일부 실시예에 있어서, 본 발명의 가상 비서는 사용자로부터 입력을 적극적으로 유도해 내는 것, 사용자의 의도를 해석하는 것, 경합 해석들의 차이를 명확히 하는 것, 필요에 따라 명확한 정보를 요구 및 수신하는 것 및/또는 파악한 의도에 기초하여 액션들을 수행(또는 개시)하는 것 중 어느 하나 또는 모두를 수행할 때에 컨텍스트를 이용할 수 있다.
예컨대, 전자 디바이스에서 이용할 수 있는 애플리케이션들 또는 서비스들뿐만 아니라, 인터넷과 같은 전자 네트워크를 통해 이용할 수 있는 서비스들을 활성화 및/또는 인터페이싱함으로써, 동작들을 수행할 수 있다. 다양한 실시예에 있어서, 그러한 외부 서비스들의 활성화는 애플리케이션 프로그래밍 인터페이스(API)들이나 어떤 다른 적합한 메커니즘에 의해 수행될 수 있다. 이와 같이, 본 발명의 다양한 실시예에 따라 구현된 가상 비서는 전자 디바이스의 많은 상이한 애플리케이션들 및 기능들에 대한, 그리고 인터넷을 통해 이용할 수 있는 서비스들에 대한, 사용자의 경험을 통합, 간소화 및 개선할 수 있다. 이로써, 사용자는 디바이스에서 그리고 웹 접속 서비스들에서 이용할 수 있는 기능이 무엇인지, 원하는 것을 얻기 위해 어떻게 그러한 서비스들과 인터페이싱할지, 그리고 어떻게 그러한 서비스들로부터 수신한 출력을 해석할지, 학습해야 하는 짐을 덜 수 있다. 오히려 본 발명의 가상 비서는 사용자와 그러한 다양한 서비스들 사이에서 중개 역할을 할 수 있다.
또한, 다양한 실시예에 있어서, 본 발명의 가상 비서는 사용자가 종래의 그래픽 사용자 인터페이스에 비해 더 사용하기 쉽고 덜 부담스러운 것으로 여길 수 있는 대화식 인터페이스를 제공한다. 사용자는 예컨대 음성, 그래픽 사용자 인터페이스들(버튼들 및 링크들), 텍스트 기입 등과 같은, 다수의 이용가능한 입력 및 출력 메커니즘들 중 어느 하나를 이용하여 가상 비서와 일상 대화에서 쓰이는 대화의 형태로 관계를 맺을 수 있다. 시스템은 디바이스 API들, 웹, 이메일 등과 같이, 다수의 상이한 플랫폼들 중 어느 하나를 이용하여 구현될 수 있다. 추가의 입력에 대한 요구들은 그러한 대화의 컨텍스트로 사용자에게 제시될 수 있다. 정해진 세션 내의 이전 이벤트들 및 통신들뿐만 아니라 사용자에 관한 히스토리 및 프로파일 정보를 고려하여 적절한 컨텍스트로 사용자 입력을 해석할 수 있도록 단기 및 장기 메모리를 사용할 수 있다.
또한, 다양한 실시예에 있어서, 디바이스 상의 피처, 동작 또는 애플리케이션과 사용자의 상호 작용으로부터 얻는 컨텍스트 정보는 그 디바이스 또는 다른 디바이스 상의 다른 피처들, 동작들 또는 애플리케이션들의 동작을 간소화하는 데에 이용될 수 있다. 예컨대, 가상 비서는 (전화한 사람과 같은) 전화 호출의 컨텍스트를 이용하여 텍스트 메시지의 개시를 간소화할 수 있다(예컨대, 사용자가 텍스트 메시지의 수신인을 명백히 지정하지 않아도 텍스트 메시지를 동일한 사람에게 보내야 한다고 결정할 수 있다). 이로써, 본 발명의 가상 비서는 "그에게 텍스트 메시지를 보내라"와 같은 커맨드들을 해석할 수 있고, 여기서 "그"는 현재 전화 호출로부터 및/또는 디바이스 상의 임의의 피처, 동작 또는 애플리케이션으로부터 얻는 컨텍스트 정보에 따라 해석된다. 다양한 실시예에 있어서, 가상 비서는 다양한 종류의 이용가능한 컨텍스트 데이터를 고려하여, 어떤 어드레스 북 연락처를 이용할지, 어떤 연락처 데이터를 이용할지, 연락처에 어떤 전화 번호를 이용할지 등을 결정함으로써, 사용자가 그러한 정보를 수동으로 재지정할 필요가 없게 한다.
컨텍스트 정보 소스는 현재 시간, 위치, 애플리케이션 또는 데이터 객체와 같이, 가상 비서에 대한 인터페이스로서 이용되는 디바이스의 현재 상태; 사용자의 어드레스 북, 캘린더 및 애플리케이션 사용 히스토리와 같은 개인 데이터; 및 최근 언급된 사람 및/또는 장소와 같이, 사용자와 가상 비서 간의 대화의 상태를 포함하며, 이것은 예시적인 것이지 제한적인 것이 아니다.
가상 비서의 동작에서 다양한 계산 및 추론에 컨텍스트를 적용할 수 있다. 예컨대, 사용자 입력을 처리할 때 애매함을 줄이거나 솔루션들의 수를 제약하는 데에 컨텍스트를 이용할 수 있다. 따라서, 다양한 처리 단계 동안 솔루션들을 제약하는 데에 컨텍스트를 이용할 수 있으며, 이것은 예시적인 것이지 제한적인 것이 아니다.
ㆍ음성 인식 - 보이스 입력을 수신하고 후보 해석을 텍스트로, 예컨대 "call her", "collar" 및 "call Herb"로 생성한다. 음성 인식 모듈에 의해 어떤 단어들 및 어구들을 고려할지, 어떻게 그것들을 서열화할지, 고려시 임계치 위로서 어떤 것을 수락할지를 제약하는 데에 컨텍스트를 이용할 수 있다. 예컨대, 사용자의 어드레스 북은 음성의 다른 언어-일반 모델에 개인 이름들을 추가하여, 이들 이름들이 인식되고 우선순위를 가질 수 있게 한다.
ㆍ자연어 처리( NLP ) - 텍스트를 파싱하고 단어들을 구문론적 및 의미론적 규칙들과 연관시키는데, 예컨대 사용자 입력이 대명사 "그녀"가 나타내는 사람에게 전화 호출을 행하는 것에 관한 것임을 결정하고, 이 사람에 대한 특정 데이터 표현을 찾는 것이다. 예컨대, 텍스트 메시징 애플리케이션의 컨텍스트는 "그녀"의 해석을 "내가 텍스트로 대화하고 있는 사람"을 의미하는 것으로 제약하는 것을 도울 수 있다.
ㆍ태스크 플로우 처리 - 사용자 태스크, 태스크 단계들, 및 그 태스크를 돕는 데에 이용되는 태스크 파라미터들, 예컨대 "그녀"가 나타내는 사람에 대해 어떤 전화 번호를 이용할지를 식별한다. 또한, 텍스트 메시징 애플리케이션의 컨텍스트는 시스템이 텍스트 메시징 대화에 현재 또는 최근 이용한 번호를 이용해야 한다는 것을 나타내도록 전화 번호의 해석을 제약할 수 있다.
ㆍ대화 생성 - 그들 태스크에 관하여 사용자와의 대화의 일부로서 비서 응답들을 생성하는데, 예컨대 사용자의 의도를 "응, 내가 레베카에게 그녀의 모바일에 전화할께..."라는 응답으로 바꾸어 표현한다(paraphrase). 다변(verbosity) 및 격식없는 어조(informal tone)의 레벨은 컨텍스트 정보에 의해 안내될 수 있는 선택권이다.
다양한 실시예에 있어서, 본 발명의 가상 비서는 전자 디바이스의 다양한 피처들 및 동작들을 제어할 수 있다. 예컨대, 가상 비서는 API들이나 다른 수단에 의해 디바이스 상의 기능 및 애플리케이션과 인터페이싱하는 서비스들을 호출하여, 그 디바이스 상의 종래의 사용자 인터페이스를 이용하여 개시되어야 했던 기능들 및 동작들을 수행할 수 있다. 그러한 기능들 및 동작들은 예컨대, 알람 설정, 전화 걸기, 텍스트 메시지 또는 이메일 메시지 전송, 캘린더 이벤트 추가 등을 포함할 수 있다. 그러한 기능들 및 동작들은 사용자와 가상 비서 간의 일상 대화에서 쓰이는 대화의 컨텍스트에서 부가 기능들로서 수행될 수 있다. 그러한 기능들 및 동작들은 그러한 대화의 컨텍스트에서 사용자에 의해 지정되거나, 그 대화의 컨텍스트에 기초하여 자동으로 수행될 수 있다. 당업자라면, 이로써 가상 비서를 전자 디바이스 상의 다양한 동작들을 개시 및 제어하는 제어 메커니즘으로서 이용할 수 있고, 따라서 버튼 또는 그래픽 사용자 인터페이스와 같은 종래의 메커니즘의 대안으로서 이용할 수 있다는 것을 인식할 것이다. 본 명세서에 기재한 바와 같이, 그러한 가상 비서의 제어 메커니즘으로서의 이용을 알리고 개선하는 데에 컨텍스트 정보를 이용할 수 있다.
첨부 도면은 본 발명의 여러 실시예들을 도시하며, 설명과 함께, 실시예들에 따라 본 발명의 원리를 설명하는 기능을 한다.　 본 기술 분야의 당업자는 도면에 도시된 특정 실시예들이 단지 예시적이고 본 발명의 범위를 제한하도록 의도되지 않음을 인식할 것이다.
도 1은 일 실시예에 따라 가상 비서 및 그 동작에 영향을 줄 수 있는 컨텍스트의 소스들의 일부 예들을 도시하는 블록도.
도 2는 일 실시예에 따라, 가상 비서에서의 다양한 처리 스테이지들에서 컨텍스트를 이용하는 방법을 도시하는 흐름도.
도 3은 일 실시예에 따라, 음성 도출 및 해석에서 컨텍스트를 이용하는 방법을 도시하는 흐름도.
도 4는 일 실시예에 따라, 자연어 처리에서 컨텍스트를 이용하는 방법을 도시하는 흐름도.
도 5는 일 실시예에 따라, 태스크 플로우 처리에서 컨텍스트를 이용하는 방법을 도시하는 흐름도.
도 6은 일 실시예에 따라, 클라이언트와 서버 사이에서 분산되는 컨텍스트의 소스들의 예를 도시하는 블록도.
도 7a 내지 도 7d는 다양한 실시예들에 따라 컨텍스트 정보를 획득하고 조정하기 위한 메카니즘들의 예들을 도시하는 이벤트 다이어그램.
도 8a 내지 도 8d는 본 발명의 다양한 실시예들과 관련하여 이용될 수 있는 컨텍스트 정보의 다양한 표현의 예를 도시하는 도면.
도 9는 일 실시예에 따라, 다양한 컨텍스트 정보 소스에 대한 정책들을 캐싱하고 통신을 지정하는 설정 테이블의 예를 도시하는 도면.
도 10은 일 실시예에 따라, 상호작용 시퀀스의 처리 동안 도 9에 설성된 컨텍스트 정보 소스들에 액세스하는 예를 도시하는 이벤트 다이어그램.
도 11 내지 도 13은 일 실시예에 따라, 대명사에 대한 지시 대상을 도출하기 위해 텍스트 메시징 도메인에서 애플리케이션 컨텍스트를 이용하는 예를 도시하는 일련의 스크린샷.
도 14는 일 실시예에 따라, 이름 명확화(name disambiguation)를 프롬프트하는 가상 비서를 도시하는 스크린샷.
도 15는 일 실시예에 따라, 커맨드에 대한 위치를 추론하기 위해 대화 컨텍스트를 이용하는 가상 비서를 도시하는 스크린샷.
도 16은 일 실시예에 따라, 컨텍스트의 소스로서 전화 선호도 리스트를 이용하는 예를 도시하는 스크린샷.
도 17은 내지 도 20은 일 실시예에 따라, 커맨드를 해석하고 동작화하기 위해 현재 애플리케이션 컨텍스트를 이용하는 예를 도시하는 일련의 스크린 샷들.
도 21은 상이한 애플리케이션을 호출하는 커맨드를 해석하기 위해 현재 애플리케이션 컨텍스트를 이용하는 예를 도시하는 스크린샷.
도 22 내지 도 24는 일 실시예에 따라, 착신 텍스트 메시지의 형태로 이벤트 컨텍스트를 이용하는 예를 도시하는 일련의 스크린샷.
도 25a 및 도 25b는 일 실시예에 따라, 이전 대화 텍스트를 이용하는 예를 도시하는 일련의 스크린 샷.
도 26a 및 도 26b는 일 실시예에 따라, 후보 해석들 중에서 하나를 선택하기 위한 사용자 인터페이스의 예를 도시하는 스크린 샷들.
도 27은 가상 비서 시스템의 일 실시예의 예를 도시하는 블록도.
도 28은 적어도 일 실시예에 따라 가상 비서의 적어도 일부를 구현하기에 적합한 컴퓨팅 디바이스를 도시하는 블록도.
도 29는 적어도 일 실시예에 따라, 독립형 컴퓨팅 시스템 상의 가상 비서의 적어도 일부를 구현하기 위한 아키텍쳐를 도시하는 블록도.
도 30은 적어도 일 실시예에 따라, 분산형 컴퓨팅 네트워크 상의 가상 비서의 적어도 일부를 구현하기 위한 아키텍쳐를 도시하는 블록도.
도 31은 여러 상이한 유형의 클라이언트들 및 동작 모드들을 도시하는 시스템 아키텍쳐를 도시하는 블록도.
도 32는 일 실시예에 따라 본 발명을 구현하기 위해 서로 통신하는 클라이언트와 서버를 도시하는 블록도.
본 발명의 각종 실시예들에 따라, 가상 비서의 동작들의 지원시 정보 처리 기능들을 수행하기 위해 다양한 컨텍스트 정보가 획득되고 적용된다.　 설명을 위해, "가상 비서"라는 용어는 "지능형 자동화 비서"라는 용어와 동등하고, 둘 다는 아래의 기능들 중 하나 이상을 수행하는 임의의 정보 처리 시스템을 지칭한다.
Figure 112012079876745-pat00001
음성(spoken) 또는 텍스트 형태로, 인간 언어 입력을 해석
Figure 112012079876745-pat00002
단계들 및/또는 파라미터들로 태스크를 표현하는 것과 같은, 실행될 수 있는 형태로 사용자 의도를 표현하는 것의 동작화.
Figure 112012079876745-pat00003
프로그램들, 메소드들, 서비스들, API들 등을 호출함으로써 태스크 표현들을 실행; 및
Figure 112012079876745-pat00004
언어 및/또는 그래픽 형태로 사용자에 대한 출력 응답들을 생성.
이러한 가상 비서의 예는 2011년 1월 10에 출원된 "지능형 자동화 비서"(참조 번호 P10575US1)라는 제목의 관련 미국 실용신안 제12/987,982호에 개시되어 있고, 그 전체 개시물은 참조로 본원에 포함된다.
이제, 첨부 도면에 도시된 바와 같은 실시예들을 참조하여 각종 기술들이 상세히 설명될 것이다.　 이하의 설명에서는, 본원에서 기술된 하나 이상의 양태들 및/또는 특징들 또는 참조내용의 전반적인 이해를 제공하기 위해 다수의 특정 상세들이 개시된다.　 그러나, 당업자들에게, 본원에서 기술된 하나 이상의 양태들 및/또는 특징들 또는 참조내용은 이들 특정 상세들의 전부 또는 일부 없이도 실시될 수 있음이 자명할 것이다.　 다른 예들에서, 본원에서 기술된 양태들 및/또는 특징들 또는 참조내용의 일부가 모호해지지 않도록 공지의 프로세스 단계 및/또는 구조는 상세히 기술되지 않았다.
본 출원서에서 하나 이상의 상이한 발명들이 설명될 수 있다. 또한, 본원에서 설명된 하나 이상의 발명(들)에 대해 다양한 실시예들이 본 특허 출원서에서 설명될 수 있고, 오직 예시적인 목적으로 제시된다. 설명된 실시예들은 어떤 의미로든 한정하도록 의도되지 않는다. 본 발명(들) 중 하나 이상은, 개시 내용으로부터 명백하듯이, 다양한 실시예들에 널리 적용될 수 있다. 이러한 실시예들은 본 기술분야의 당업자가 본 발명(들) 중 하나 이상을 실시하는 것이 가능하도록 충분히 상세히 설명되며, 그외의 실시예들이 이용될 수 있고, 구조적, 논리적, 소프트웨어, 전기적 및 그외의 변경들이 본 발명(들)의 범주를 벗어나지 않으면서 이루어질 수 있다는 것이 이해될 것이다. 따라서, 본 기술분야의 당업자는 본 발명(들) 중 하나 이상이 다양한 변형들 및 대안들로 실시될 수 있음을 인지할 것이다. 본 발명(들) 중 하나 이상의 특정 피처들은 하나 이상의 특정 실시예들 또는 본 개시내용의 일부를 형성하며, 본 발명(들) 중 하나 이상의 특정 실시예들이 예시의 방법으로써 도시되는 도면들을 참조하여 설명될 수 있다. 그러나, 그러한 피처들은 그들이 참조하여 설명되는 하나 이상의 특정 실시예들 또는 도면들에서의 사용으로 한정되는 것은 아님을 이해해야 한다. 본 개시내용은 본 발명(들) 중 하나 이상의 모든 실시예들의 문자적 기술 또는 모든 실시예들에 존재해야 하는 본 발명(들) 중 하나 이상의 피처들의 나열 어느 것도 아니다.
본 특허 출원서에 제공되는 섹션들의 주제(heading)들 및 본 특허 출원서의 제목은 편의를 위한 것일 뿐, 임의의 방식으로 본 개시내용을 한정하는 것으로 받아들여서는 아니된다.
서로 통신하는 디바이스들은, 명백히 달리 특정되지 않는 한, 서로 연속적인 통신을 할 필요는 없다. 또한, 서로 통신하는 디바이스들은 하나 이상의 중계물들(intermediaries)을 통해 직접적으로 또는 간접적으로 통신할 수 있다.
서로 통신하는 몇몇 컴포넌트들을 이용하는 실시예들의 설명이 모든 그러한 컴포넌트들이 요구된다는 것을 의미하지는 않는다. 반대로, 다양한 선택적 컴포넌트들이 설명되어 본 발명(들) 중 하나 이상의 광범위한 가능한 실시예들을 예시한다.
또한, 프로세스 단계들, 방법 단계들, 알고리즘 등이 순차적인 순서로 설명될 수 있으나, 그러한 프로세스들, 메소드들 및 알고리즘들은 임의의 적절한 순서로 동작하도록 구성될 수 있다. 다시 말해서, 본 특허 출원서에서 설명될 수 있는 단계들의 임의의 시퀀스 또는 순서는, 그 자체로는, 그 단계들이 그 순서로 수행되어야 한다는 요건을 나타내는 것은 아니다. 또한, (예를 들어, 하나의 단계가 다른 단계 후에 설명되기 때문에) 비동시적으로 발생하는 것으로 설명되거나 시사되었지만, 일부 단계들은 동시에 수행될 수 있다. 또한, 도면에서의 그것의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변형들 및 변경들을 배제한다는 것을 의미하지 않으며, 예시된 프로세스 또는 그것의 단계들 중 임의의 단계가 본 발명(들) 중 하나 이상에 필요하다는 것을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지는 않는다.
단일 디바이스 또는 물품이 설명되는 경우, 하나보다 많은 디바이스/물품(그들이 공조하든 아니든)은 단일 디바이스/물품을 대신하여 이용될 수 있다. 마찬가지로, 하나보다 많은 디바이스 또는 물품이 설명되는 경우(그들이 공조하든 아니든), 단일 디바이스/물품이 하나보다 많은 디바이스 또는 물품을 대신하여 이용될 수 있음이 명백할 것이다.
디바이스의 기능성 및/또는 피처들은 그러한 기능성/피처들을 갖는 것으로 명시적으로 설명되지 않은 하나 이상의 다른 디바이스들에 의해 대안적으로 실시될 수있다. 따라서, 본 발명(들) 중 하나 이상의 다른 실시예들은 디바이스 자체를 필요로 하지 않는다.
본원에서 설명되거나 참조된 기술들 및 메커니즘들은 때로는 명료함을 위해 하나의 형식(singular form)으로 설명될 것이다. 그러나, 특정 실시예들은 달리 언급되지 않는 한, 메커니즘의 다수의 예시화 또는 다수의 기법의 반복을 포함한다는 것을 유의해야 한다.
가상 비서(virtual assistant)라고도 알려진, 지능형 자동 비서를 구현하기 위한 기술의 맥락 내에서 설명되었으나, 본 명세서에서 설명된 다양한 양태들 및 기술들이 또한 채용되고/되거나, 인간 및/또는 소프트웨어와의 컴퓨터화된 상호작용을 수반하는 그외의 기술 분야에 적용될 수 있다.
가상 비서 기술(예를 들어, 본 명세서에서 설명된 하나 이상의 가상 비서 시스템 실시예들에 의해 활용되고, 제공되고, 및/또는 구현된)이 이하의 하나 이상에서 개시되며, 그 전체 개시내용이 본 명세서에 참조로서 포함된다.
Figure 112012079876745-pat00005
미국 실용 출원 번호 제12/987,982호, "Intelligent Automated Assistant", 대리인 정리 번호 P10575US1, 2011.1.10 제출.
Figure 112012079876745-pat00006
미국 가특허 출원 번호 제61/295,774호, "Intelligent Automated Assistant", 대리인 정리 번호 SIRIP003P, 2010.1.18 제출.
Figure 112012079876745-pat00007
미국 특허 출원 번호 제11/518,292호, "Method And Apparatus for Building an Intelligent Automated Assistant", 2006년 9월 8일 제출.
Figure 112012079876745-pat00008
미국 가특허 출원 번호 제61/186,414호, "System and Method for Semantic Auto-Completion", 2009.6.12 제출.
하드웨어 아키텍처
일반적으로, 본 명세서에서 개시된 가상 비서 기술들은 하드웨어 또는 소프트웨어와 하드웨어의 조합 상에서 구현될 수 있다. 예를 들어, 그것들은 특별하게 구성된 머신 상에서 및/또는 네트워크 인터페이스 카드 상에서 운영 체제 커널(operating system kernel)로, 개별적인 사용자 프로세스로, 네트워크 애플리케이션들에 바운드된 라이브러리로 구현될 수 있다. 특정 실시예에서, 본 명세서에서 개시된 기술들은 운영 체제 또는 운영 체제 상에서 실행하는 애플리케이션과 같은 소프트웨어로 구현될 수 있다.
본 명세서에서 개시된 가상 비서 실시예(들)의 적어도 일부의 소프트웨어/하드웨어 하이브리드 구현(들)은 메모리에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 프로그램가능한 머신 상에서 구현될 수 있다. 그러한 네트워크 디바이스들은 상이한 유형들의 네트워크 통신 프로토콜들을 이용하도록 구성되거나 설계될 수 있는 다수의 네트워크 인터페이스들을 가질 수 있다. 이들 머신들의 일부에 대한 일반적인 아키텍처는 본 명세서에 개시된 설명으로부터 명백할 수 있다. 특정 실시예들에 따라, 본 명세서에 개시된 다양한 가상 비서 실시예들의 피처들 및/또는 기능성들의 적어도 일부는, 최종 사용자 컴퓨터 시스템, 컴퓨터, 네트워크 서버 또는 서버 시스템과 같은 하나 이상의 범용 네트워크 호스트 머신들, 모바일 컴퓨팅 디바이스(예를 들어, PDA(personal digital assistant), 모바일 폰, 스마트폰, 랩톱, 태블릿 컴퓨터 등), 가전 디바이스, 음악 재생기 또는 라우터, 스위치 등과 같은 임의의 그외의 적절한 전자 디바이스 또는 그 조합으로 구현될 수 있다. 적어도 일부 실시예들에서, 본 명세서에서 개시된 다양한 가상 비서 실시예들의 피처들 및/또는 기능들의 적어도 일부는 하나 이상의 가상화된 컴퓨팅 환경들(예를 들어, 네트워크 컴퓨팅 클라우드들 등)에서 구현될 수 있다.
이제 도 28을 참조하면, 본 명세서에 개시된 가상 비서(virtual assistant) 피처들 및/또는 기능들의 적어도 일부를 구현하기에 적합한 컴퓨팅 디바이스(60)를 나타내는 블록도가 도시된다. 컴퓨팅 디바이스(60)는, 예를 들면, 엔드 유저 컴퓨터 시스템, 네트워크 서버 또는 서버 시스템, 모바일 컴퓨팅 디바이스 (예를 들면, PDA(personal digital assistant), 모바일 폰, 스마트폰, 랩탑, 테블릿 컴퓨터 등), 가전 디바이스, 음악 재생기, 또는 임의의 다른 적당한 전자 디바이스, 또는 그들의 임의의 조합 또는 부분이 될 수 있다. 컴퓨팅 디바이스(60)는 클라이언트들 및/또는 서버들과 같은 다른 컴퓨팅 디바이스와 인터넷과 같은 통신 네트워크를 통하여 그러한 통신을 위한 공지의 프로토콜을 사용하여 무선 또는 유선으로 통신하도록 구성될 수 있다.
일 실시예에서, 컴퓨팅 디바이스(60)는 중앙 처리 유닛(CPU)(62), 인터페이스들(68), 및 (PCI(peripheral component interconnect) 등의) 버스(67)를 포함한다. 적절한 소프트웨어 또는 펌웨어의 제어 하에서 동작할 때, CPU(62)는 특정하게 구성된 컴퓨팅 디바이스 또는 기계의 기능들과 연관된 특정 기능들을 구현하는 것을 책임질 수 있다. 예를 들면, 적어도 일 실시예에서, 사용자의 개인 디지털 비서(PDA) 또는 스마트폰이 CPU(62), 메모리(61, 65), 및 인터페이스(들)(68)을 활용하는 가상 비서 시스템으로서 기능하도록 구성되거나 또는 디자인될 수 있다. 적어도 일 실시예에서, CPU(62)가 소프트웨어 모듈들/컴포넌트들 - 이들은, 예를 들어, 운영 시스템 및 임의의 적절한 응용 프로그램 소프트웨어, 드라이버들 등을 포함할 수 있음 - 의 제어 하에서 하나 이상의 상이한 타입의 가상 비서 기능들 및/또는 작업들을 수행하도록 초래될 수 있다.
CPU(62)는 예를 들어, 모토롤라의 프로세서 또는 인텔 마이크로프로세서 패밀리 또는 MIPS 마이크로프로세서 패밀리와 같은 하나 이상의 프로세서(들)(63)을 포함할 수 있다. 일부 실시예에서, 프로세서(들)(63)은 컴퓨팅 디바이스(60)의 동작들을 제어하기 위해 특별히 디자인된 하드웨어(예를 들면, ASIC(application-specific integrated circuit)들, EEPROM(electrically erasable programmable read-only memory)들, FPGA(field-programmable gate array)들 등)를 포함할 수 있다. 특정 실시예에서, (비휘발성 RAM(random access memory) 및/또는 ROM(read-only memory) 등의) 메모리(61)가 또한 CPU(62)의 부분을 형성한다. 그러나, 메모리가 시스템과 결합할 수 있는 많은 상이한 방식들이 있다. 메모리 블록(61)은 예를 들면, 데이터, 프로그래밍 명령어들 등의 캐싱(caching) 및/또는 저장과 같은 다양한 목적을 위해 사용될 수 있다.
본 명세서에서 사용되는 바와 같이, "프로세서"라는 용어는 단지 당해 기술 분야에서 프로세서라고 지칭되는 그러한 집적 회로들에 한정되는 것이 아니라, 마이크로컨트롤러, 마이크로컴퓨터, 프로그램가능 로직 컨트롤러(programmable logic controller), ASIC(application-specific integrated circuit), 및 임의의 다른 프로그램가능 회로를 널리 지칭한다.
일 실시예에서, 인터페이스들(68)은 (때때로 "라인 카드들"로 지칭되는) 인터페이스 카드들로서 제공된다. 일반적으로, 그것들은 컴퓨팅 네트워크 상의 데이터 패킷들의 전송 및 수신을 제어하고 때때로 컴퓨팅 디바이스(60)와 함께 사용되는 다른 주변기기들을 지원한다. 제공될 수 있는 인터페이스들 중에는 이더넷 인터페이스들, 프레임 릴레이 인터페이스들, 케이블 인터페이스들, DSL 인터페이스들, 토큰 링 인터페이스들 등이 있다. 또한, 예를 들어 유니버설 시리얼 버스(USB), 시리얼, 이더넷, 화이어와이어, PCI, 패러랠, 무선 주파수(RF), 블루투스TM, (예를 들면, 근거리 자기장 마그네틱들을 이용하는) 근거리 자기장 통신, 802.11(WiFi), 프레임 릴레이, TCP/IP, ISDN, 패스트 이더넷 인터페이스들, 기가비트 이더넷 인터페이스들, 비동기 전달 모드(ATM) 인터페이스들, 고속 시리얼 인터페이스(HSSI) 인터페이스들, POS(Point of Sale) 인터페이스들, FDDI(fiber data distributed interface)들 등과 같은 다양한 타입의 인터페이스들이 제공될 수 있다. 일반적으로, 이러한 인터페이스들(68)은 적절한 매체와의 통신에 적절한 포트들을 포함할 수 있다. 일부 경우들에서, 그것들은 또한 독립적인 프로세서를 포함할 수 있으며, 일부 사례에서 휘발성 및/또는 비휘발성 메모리(예를 들면, RAM)를 포함할 수 있다.
도 28에 도시된 시스템이 본 명세서에 기술된 발명의 기술을 구현하기 위한 컴퓨팅 디바이스(60)에 대한 하나의 특정 아키텍쳐를 도시하지만, 이는 절대로 본 명세서에 기술된 특징들 및 기술들의 적어도 일부가 구현될 수 있는 유일한 디바이스 아키텍쳐는 아니다. 예를 들면, 하나 또는 임의의 수의 프로세서들(63)을 가지는 아키텍쳐들이 사용될 수 있으며, 그러한 프로세서들(63)은 하나의 디바이스 내에 존재하거나 임의의 수의 디바이스들 사이에 분포할 수 있다. 일 실시예에서, 하나의 프로세서(63)는 라우팅 계산과 함께 통신을 취급한다. 다양한 실시예들에서, 상이한 타입의 가상 비서 특징들 및/또는 기능들이 (개인 디지털 비서 또는 클라이언트 소프트웨어를 실행 중인 스마트폰과 같은) 클라이언트 디바이스 및 (이하에서 더 상세히 설명될 서버 시스템과 같은) 서버 시스템(들)을 포함하는 가상 비서 시스템에서 구현될 수 있다.
네트워크 디바이스 구성과 무관하게, 본 발명의 시스템은 데이터, 범용 네트워크 연산들을 위한 프로그램 명령어들 및/또는 본 명세서에 기술된 가상 비서 기술들의 기능과 관련된 다른 정보를 저장하도록 구성된 하나 이상의 메모리들 또는 (예를 들면, 메모리 블록(65)과 같은) 메모리 모듈들을 채용할 수 있다. 프로그램 명령어들은 예를 들어 운영 시스템의 동작 및/또는 하나 이상의 응용 프로그램들을 제어할 수 있다. 메모리 또는 메모리들은 또한 데이터 구조들, 키워드 분류 정보, 광고 정보, 사용자 클릭 및 노출(click and impression) 정보, 및/또는 본 명세서에 설명된 다른 특정한 비 프로그램 정보를 저장하도록 구성될 수 있다.
그러한 정보 및 프로그램 명령어들이 본 명세서에 설명된 시스템들/방법들을 구현하기 위해 채용될 수 있기 때문에, 적어도 일부의 네트워크 디바이스 실시예들은 비일시적(nontransitory) 기계 판독가능 저장 매체를 포함할 수 있는데, 비일시적 기계 판독가능 저장 매체는, 예를 들어, 본 명세서에서 설명된 다양한 작업들을 실행하기 위한 프로그램 명령어들, 상태 정보 등을 저장하도록 구성되거나 설계될 수 있다. 그러한 비일시적 기계 판독가능 매체의 예들은 하드 디스크들, 플로피 디스크들, 및 마그네틱 테이프와 같은 마그네틱 매체; CD-ROM 디스크들과 같은 광학 매체; 플롭티컬 디스크(floptical disk)들과 같은 마그네토-광학 매체, 및 프로그램 명령어들을 저장하고 실행하도록 특별히 구성된 판독전용 메모리 디바이스들(ROM), 플래시 메모리, 멤리스터(memristor) 메모리, 랜덤 액세스 메모리(RAM) 등과 같은 하드웨어 디바이스들을 포함하지만, 이에 한정되는 것은 아니다. 프로그램 명령어들의 예들은 컴파일러에 의해 생성된 것과 같은 기계 코드(machine code), 및 해석기를 사용하는 컴퓨터에 의해 실행될 수 있는 더 높은 레벨의 코드를 포함하는 파일들 양쪽을 포함한다.
일 실시예에서, 본 발명의 시스템은 독립형 컴퓨팅 시스템 상에 구현된다. 이제 도 29를 참조하면, 적어도 일 실시예에 따라 독립형 컴퓨팅 시스템 상에 가상 비서의 적어도 부분을 구현하는 아키텍쳐를 도시하는 블록도가 도시된다. 컴퓨팅 디바이스(60)는 가상 비서(1002)를 구현하는 소프트웨어를 실행하는 프로세스(들)(63)을 포함한다. 입력 디바이스(1206)는 예를 들어 키보드, 터치스크린, (예를 들면, 음성 입력용의) 마이크로폰, 마우스, 터치 패드, 트랙볼, 5 웨이 스위치(five-way switch), 조이스틱, 및/또는 그것들의 결합을 포함하여, 사용자 입력을 수신하기에 적당한 임의의 타입이 될 수 있다. 출력 디바이스(1207)는 스크린, 스피커, 프린터, 및/또는 그들의 조합이 될 수 있다. 메모리(1210)는 소프트웨어를 실행하는 중에 프로세서(들)(63)에 의해 사용되는, 당해 기술 분야에 알려진 것과 같은 구조 및 아키텍쳐를 가지는 랜덤 액세스 메모리가 될 수 있다. 스토리지 디바이스(1208)는 데이터를 디지털 형태로 저장하기 위한 임의의 마그네틱, 광학, 및/또는 전기적 스토리지 디바이스가 될 수 있다; 예로는 플래시 메모리, 마그네틱 하드 디스크, CD-ROM 등이 포함된다.
다른 실시예에서, 본 발명의 시스템은 임의의 수의 클라이언트들 및/또는 서버들을 갖는 것과 같은 분산된 컴퓨팅 네트워크 상에 구현된다. 이제 도 30을 참조하면, 적어도 일 실시예에 따라, 분산된 컴퓨팅 네트워크 상에 가상의 비서의 적어도 일부분을 구현하기 위한 아키텍처를 도시하는 블록도가 도시되어 있다.
도 30에 도시된 배열에서, 임의의 수의 클라이언트들(1304)이 제공된다; 각각의 클라이언트(1304)는 본 발명의 클라이언트측 부분들을 구현하기 위한 소프트웨어를 실행할 수 있다. 또한, 클라이언트들(1304)로부터 수신된 요청들을 핸들링하기 위해 임의의 수의 서버들(1340)이 제공될 수 있다. 클라이언트들(1304) 및 서버들(1340)은 인터넷과 같은 전자 네트워크(1361)를 통해 서로 통신할 수 있다. 네트워크(1361)는 예를 들어 유선 및/또는 무선 프로토콜들을 포함하는 임의의 공지된 네트워크 프로토콜들을 사용하여 구현될 수 있다.
또한, 일 실시예에서, 서버들(1340)은 추가 정보의 취득 또는 특정한 사용자들과의 이전 상호작용들에 관한 데이터의 저장이 필요한 경우 외부 서비스들(1360)을 호출할 수 있다. 외부 서비스들(1360)과의 통신은 예를 들어 네트워크(1361)를 통해 발생할 수 있다. 다양한 실시예들에서, 외부 서비스들(1360)은 웹-인에이블된 서비스들 및/또는 하드웨어 디바이스 자체에 관한 또는 그것에 설치된 기능을 포함한다. 예를 들어, 스마트폰 또는 다른 전자 디바이스에 비서(1002)가 구현되는 실시예에서, 비서(1002)는 캘린더 애플리케이션("앱(app)"), 연락처 및/또는 다른 소스들에 저장된 정보를 취득할 수 있다.
다양한 실시예들에서, 비서(1002)는 그것이 설치된 전자 디바이스의 다수의 피처들 및 동작들을 제어할 수 있다. 예를 들어, 비서(1002)는, 달리 디바이스의 종래의 사용자 인터페이스를 사용하여 개시될 수 있는 기능들 및 동작들을 수행하기 위해, API들을 통해 또는 다른 수단에 의해 디바이스의 기능 및 애플리케이션들과 인터페이스하는 외부 서비스들(1360)을 호출할 수 있다. 이러한 기능들 및 동작들은, 예를 들어, 알람을 설정하고, 전화하고, 텍스트 메시지 또는 이메일 메시지를 전송하고, 캘린더 이벤트를 추가하는 것 등을 포함할 수 있다. 이러한 기능들 및 동작들은 사용자와 비서(1002) 사이의 일상 대화에서 쓰이는 대화의 컨텍스트에서 추가 기능들로서 수행될 수 있다. 이러한 기능들 및 동작들은 이러한 대화의 컨텍스트에서 사용자에 의해 특정될 수 있고, 또는 대화의 컨텍스트에 기초하여 자동으로 수행될 수 있다. 당업자는 비서(1002)가 그에 의해 전자 디바이스의 다양한 동작들을 개시하고 제어하기 위한 제어 메커니즘으로서 사용될 수 있고, 전자 디바이스는 버튼들 또는 그래픽 사용자 인터페이스들 등의 종래의 메커니즘들에 대한 대안으로서 사용될 수 있다는 것을 인식할 것이다.
예를 들어, 사용자는 비서(1002)에 "나는 내일 아침 8시에 일어날 필요가 있다"라는 입력을 제공할 수 있다. 비서(1002)가 본 명세서에 기술된 기술들을 이용하여 사용자의 의도를 판정하면, 비서(1002)는 외부 서비스들(1340)을 호출하여 디바이스의 알람 시계 기능 또는 애플리케이션과 인터페이싱한다. 비서(1002)는 사용자를 대신하여 알람을 설정한다. 이러한 방식으로, 사용자는 알람을 설정하거나 또는 디바이스의 다른 기능들을 수행하기 위한 종래의 메커니즘들에 대한 대체물로서 비서(1002)를 사용할 수 있다. 사용자의 요청들이 모호하거나 또는 추가의 명료화를 필요로 하는 경우, 비서(1002)는 적극적인 유도(elicitation), 바꾸어 말하기(paraphrasing), 제안들 등을 포함하며 취득 컨텍스트 정보를 포함하는 본 명세서에 기술된 다양한 기술들을 사용할 수 있어 정확한 서비스들(1340)이 호출되고 의도된 동작이 취해진다. 일 실시예에서, 비서(1002)는 서비스(1340)를 호출하여 기능을 수행하기 전에 임의의 적절한 소스로부터의 추가의 컨텍스트 정보의 요청 및/또는 확인을 사용자에게 재촉할 수 있다. 일 실시예에서, 사용자는 특정한 서비스들(1340)을 호출하는 비서(1002)의 능력을 선택적으로 디스에이블할 수 있거나 또는 원한다면 이러한 모든 서비스 호출을 디스에이블할 수 있다.
본 발명의 시스템은 동작 모드들 및 클라이언트들(1304)의 다수의 상이한 유형들 중 임의의 것을 이용하여 구현될 수 있다. 이제, 도 31을 참조하면, 동작 모드들 및 클라이언트들(1304)의 몇몇의 상이한 유형들을 예시하는 시스템 아키텍처를 도시하는 블록도가 도시된다. 당업자는, 도 31에 도시된 동작 모드들 및 클라이언트들(1304)의 다양한 유형들이 단순히 예시적이며, 본 발명의 시스템은 도시된 것들 이외의 동작 모드들 및/또는 클라이언트들(1304)을 이용하여 구현될 수 있다는 것을 인식할 것이다. 또한, 시스템은 동작 모드들 및/또는 이러한 클라이언트들(1304) 중 임의의 것 또는 모두를 단독으로 또는 임의의 조합으로 포함할 수 있다. 도시된 예시들은 다음을 포함한다:
Figure 112012079876745-pat00009
입력/출력 디바이스들 및/또는 센서들(1402)을 갖는 컴퓨터 디바이스들. 클라이언트 컴포넌트는 임의의 이러한 컴퓨터 디바이스(1402)에 배치될 수 있다. 적어도 하나의 실시예는 네트워크(1361)를 통한 서버들(1340)과의 통신을 가능하게 하기 위해 웹 브라우저(1304A) 또는 다른 소프트웨어 애플리케이션을 사용하여 구현될 수 있다. 입력 및 출력 채널들은 예를 들어 시각 및/또는 청각 채널들을 포함하는 임의의 유형일 수 있다. 예를 들어, 일 실시예에서, 본 발명의 시스템은, 웹 브라우저의 동등물이 음성에 의해 구동되고 출력을 위해 음성을 사용하는 맹인용 비서의 실시예를 가능하게 하는, 음성 기반 통신 방법들을 사용하여 구현될 수 있다.
Figure 112012079876745-pat00010
클라이언트가 모바일 디바이스(1304B)의 애플리케이션으로서 구현될 수 있는 I/O 및 센서들(1406)을 갖는 모바일 디바이스들. 이것은 휴대폰, 스마트폰, PDA, 태블릿 디바이스, 네트워크 게임 콘솔 등을 포함하지만 이에 한정되는 것은 아니다.
Figure 112012079876745-pat00011
클라이언트가 기기(1304C)의 임베딩된 애플리케이션으로서 구현될 수 있는 I/O 및 센서들(1410)을 갖는 소비자 가전들.
Figure 112012079876745-pat00012
클라이언트가 임베딩된 시스템 애플리케이션(1304D)으로서 구현될 수 있는 대시보드 인터페이스들 및 센서들(1414)을 갖는 승용차들 및 다른 차량들. 이것은 네비게이션 시스템, 음성 제어 시스템, 차량내 엔터테인먼트 시스템 등을 포함하지만 이에 한정되는 것은 아니다.
Figure 112012079876745-pat00013
클라이언트가 디바이스 상주 애플리케이션(1304E)으로서 구현될 수 있는, 라우터들(1418) 또는 네트워크에 상주하거나 네트워크와 인터페이스하는 임의의 다른 디바이스 등의 네트워킹된 컴퓨팅 디바이스들.
Figure 112012079876745-pat00014
비서의 실시예가 이메일 모달리티 서버(1426)를 통해 접속되는 이메일 클라이언트들(1424). 이메일 모달리티 서버(1426)는, 예를 들어 사용자로부터의 입력을 비서로 전송된 이메일 메시지들로서 수취하고 응답들로서 비서로부터의 출력을 사용자에게 전송하는, 통신 브리지로서 동작한다.
Figure 112012079876745-pat00015
비서의 실시예가 메시지 모달리티 서버(1430)를 통해 접속되는 인스턴트 메시지 클라이언트들(1428). 메시지 모달리티 서버(1430)는, 사용자로부터의 입력을 비서로 전송된 메시지들로서 수취하고 비서로부터의 출력을 응답 시의 메시지들로서 사용자에게 전송하는, 통신 브리지로서 동작한다.
Figure 112012079876745-pat00016
비서의 실시예가 VoIP(Voice over Internet Protocol) 모달리티 서버(1430)를 통해 접속되는 음성 전화들(1432). VoIP 모달리티 서버(1430)는, 사용자로부터의 입력을 비서에게 말한 음성으로서 수취하고 비서로부터의 출력을 예를 들어 응답 시의 합성된 음성으로서 사용자에게 전송하는, 통신 브리지로서 동작한다.
이메일, 인스턴트 메시징, 토론 포럼들, 그룹 채팅 세션들, 실시간 도움 또는 고객 지원 세션들, 등을 포함하지만 이에 제한되지는 않는 메시징 플랫폼들에 대해, 비서(1002)는 대화들 내의 참가자로서 기능할 수 있다. 비서(1002)는 대화를 모니터링하고, 일대일 상호작용들에 대한 본원에 개시된 하나 이상의 기법들 및 방법들을 이용하는 개인들 또는 그룹에 응답할 수 있다.
다양한 실시예들에서, 본 발명의 기법들을 구현하기 위한 기능성은 임의의 수의 클라이언트 및/또는 서버 컴포넌트들 중에 분산될 수 있다. 예를 들면, 다양한 소프트웨어 모듈들은 본 발명과 관련된 다양한 기능들을 수행하기 위해 구현될 수 있고, 그러한 모듈들은 서버 및/또는 클라이언트 컴포넌트들 상에서 구동하기 위해 다양하게 구현될 수 있다. 그러한 구성에 대한 추가적인 상세는, 그 전체가 참조로서 본원에 통합되는, 2011년 1월 10일에 출원된, 대리인 문서 번호 P10575US1인, 관련된 미국 특허 출원 제12/987,982호, "Intelligent Automated Assistant"에 제공된다.
도 32의 예에서, 입력 유도 기능 및 출력 처리 기능은 클라이언트(1304) 및 서버(1340)에 분산되고, 입력 유도의 클라이언트 부분(2794a) 및 출력 처리의 클라이언트 부분(2792a)은 클라이언트(1304)에 위치하고, 입력 유도의 서버 부분(2794b) 및 출력 처리의 서버 부분(2792b)은 서버(1340)에 위치한다. 이하의 컴포넌트들은 서버(1340)에 위치한다:
Figure 112012079876745-pat00017
완성된 어휘(2758b);
Figure 112012079876745-pat00018
언어 패턴 인식기들의 완성된 라이브러리(2760b);
Figure 112012079876745-pat00019
단기 개인 메모리의 마스터 버전(2752b);
Figure 112012079876745-pat00020
장기 개인 메모리의 마스터 버전(2754b).
일 실시예에서, 클라이언트(1304)는, 응답성을 향상시키고 네트워크 통신에 대한 의존을 감소시키기 위해, 이들 컴포넌트들의 서브세트들 및/또는 부분들을 국부적으로 유지한다. 그러한 서브세트들 및/또는 부분들은 공지된 캐시 관리 기법들에 따라 유지되고 업데이트될 수 있다. 그러한 서브세트들 및/또는 부분들은, 예를 들면, 이하를 포함한다:
Figure 112012079876745-pat00021
어휘의 서브세트(2758a);
Figure 112012079876745-pat00022
언어 패턴 인식기들의 라이브러리의 서브세트(2760a);
Figure 112012079876745-pat00023
단기 개인 메모리의 캐시(2752a);
Figure 112012079876745-pat00024
장기 개인 메모리의 캐시(2754a).
추가적인 컴포넌트들은, 예를 들어, 이하를 포함하는, 서버(1340)의 부분으로서 구현될 수 있다.
Figure 112012079876745-pat00025
언어 해석기(2770);
Figure 112012079876745-pat00026
대화 플로우 프로세서(2780);
Figure 112012079876745-pat00027
출력 프로세서(2790);
Figure 112012079876745-pat00028
도메인 엔티티 데이터베이스들(2772);
Figure 112012079876745-pat00029
태스크 플로우 모델들(2786);
Figure 112012079876745-pat00030
서비스 편성(2782);
Figure 112012079876745-pat00031
서비스 능력 모델들(2788).
이들 컴포넌트들 각각은 이하에 더욱 상세히 설명될 것이다. 서버(1340)는 필요할 때 외부 서비스들(1360)과 인터페이싱함으로써 추가적인 정보를 얻는다.
개념상의 아키텍쳐
이제 도 27을 참조하면, 가상 비서(1002)의 특정 예시의 실시예의 간략화된 블록도가 도시된다. 상기에 언급한 관련된 미국 특허 출원들에 더욱 상세히 개시된 바와 같이, 가상 비서(1002)의 상이한 실시예들은, 가상 비서 기술에 일반적으로 관련되는 다양한 상이한 유형의 동작들, 기능들, 및/또는 피처들을 제공하도록 구성되고, 설계되고, 및/또는 동작가능할 수 있다. 또한, 본원에 더욱 상세히 개시되는 바와 같이, 본원에 개시된 가상 비서(1002)의 다양한 동작들, 기능들, 및/또는 특징들 중 많은 수가 가상 비서(1002)와 상호작용하는 상이한 엔티티들에 대해 상이한 유형의 장점들 및/또는 이점들을 가능하게 하거나 또는 제공할 수 있다. 도 27에 도시된 실시예는 전술한 임의의 하드웨어 아키텍쳐들을 이용하여, 또는 상이한 유형의 하드웨어 아키텍쳐를 이용하여 구현될 수 있다.
예를 들면, 상이한 실시예들에 따르면, 가상 비서(1002)는, 예를 들면, 이하 중 하나 이상(또는 그의 조합들)과 같은, 다양한 상이한 유형들의 동작들, 기능성들, 및/또는 특징들을 제공하도록 구성되고, 설계되고, 및/또는 동작가능할 수 있다:
Figure 112012079876745-pat00032
제품들 및 서비스들을 찾거나, 발견하거나, 그 중에서 선택하거나, 구매하거나, 예약하거나, 또는 주문하기 위해 인터넷을 통해 이용가능한 데이터 및 서비스들의 애플리케이션을 자동화함. 이들 데이터 및 서비스들을 이용하는 것의 프로세스를 자동화하는 것에 더하여, 가상 비서(1002)는 또한 한번에 데이터 및 서비스들의 몇몇 소스들의 결합된 사용을 가능하게 할 수 있다. 예를 들면, 그것은 몇몇 리뷰 사이트들로부터 제품들에 관한 정보를 결합하고, 다수의 유통업자로부터 가격 및 입수가능성을 확인하고, 그들의 위치들 및 시간 제약들을 확인하고, 사용자가 그들의 문제에 대한 개인화된 해법을 찾는 것을 도와줄 수 있다.
Figure 112012079876745-pat00033
(영화들, 이벤트들, 공연들, 전시들, 쇼들 및 어트랙션들을 포함하나 이에 제한되지 않는) 해야할 일들; (여행 목적지들, 호텔들 및 머무르기 위한 그외의 장소들, 랜드마크들 및 관심 있는 그외의 사이트들, 등을 포함하나 이에 제한되지 않는) 가야할 장소들; (레스토랑 및 바와 같은) 먹거나 또는 마시기 위한 장소들, 다른 사람들을 만나기 위한 시간들 및 장소들, 및 인터넷 상에서 찾을 수 있는 엔터테인먼트 또는 소셜 상호작용의 임의의 그외의 소스들에 대해 찾거나, 조사하거나, 그 중에서 선택하거나, 예약하거나, 그렇지 않은 경우 배우기 위해 인터넷을 통해 이용가능한 데이터 및 서비스들의 이용을 자동화함.
Figure 112012079876745-pat00034
(위치 기반 탐색을 포함하는) 탐색; 네비게이션(지도들 및 방향들); (이름 또는 그외의 속성들에 의해 비지니스들 또는 사람들을 찾는 것과 같은) 데이터베이스 검색; 기상 상태 및 예보를 얻는 것, 마켓 아이템들의 가격 또는 금융 거래의 상태를 확인하는 것; 교통 상황 또는 항공편의 상태를 모니터링하는 것; 캘린더들 및 스케쥴들을 액세스하고 업데이트하는 것; 리마인더들, 경보들, 태스크들, 및 프로젝트들을 관리하는 것; 이메일 또는 그외의 메시징 플랫폼들을 통해 통신하는 것; 및 국부적으로 또는 원격으로 디바이스들을 동작시키는 것(예를 들면, 전화를 거는 것, 전등 및 온도를 제어하는 것, 가정 보안 디바이스들을 제어하는 것, 음악 또는 비디오를 플레이하는 것, 등)을 포함하는 그래픽 사용자 인터페이스들을 갖는 전용 애플리케이션들에 의해 다르게 제공되는 자연어 대화를 통해 애플리케이션들 및 서비스들의 동작을 가능하게 함. 일 실시예에서, 가상 비서(1002)는 디바이스 상에서 이용가능한 많은 기능들 및 앱들을 시작하고, 동작시키고, 제어하는 데에 이용될 수 있다.
Figure 112012079876745-pat00035
활동들, 제품들, 서비스들, 엔터테인먼트의 소스, 시간 관리, 또는 자연어의 상호작용 대화 및 데이터 및 서비스들에 대한 자동화된 액세스로부터 이익을 얻는 임의의 그외의 유형의 추천 서비스에 대한 개인적 추천들을 제공함.
상이한 실시예들에 따르면, 가상 비서(1002)에 의해 제공되는 다양한 유형의 기능들, 동작들, 액션들 및/또는 그외의 특징들 중 적어도 일부는 하나 이상의 클라이언트 시스템(들)에서, 하나 이상의 서버 시스템(들)에서, 및/또는 그의 조합에서 구현될 수 있다.
상이한 실시예들에 따라, 가상 비서(1002)에 의해 제공되는 다양한 유형의 기능, 동작, 액션, 및/또는 다른 특징들의 적어도 일부는 본원에서 더 자세히 설명되는 바와 같이, 사용자 입력을 해석하고 동작화하는 컨텍스트 관련 정보를 사용할 수 있다.
예를 들면, 적어도 하나의 실시예에서, 가상 비서(1002)는 구체적인 태스크 및/또는 동작을 수행할 때 다양한 상이한 유형들의 데이터 및/또는 다른 유형들의 정보를 이용 및/또는 발생시키도록 동작할 수 있다. 이는 예를 들면, 입력 데이터/정보 및/또는 출력 데이터/정보를 포함할 수 있다. 예를 들면, 적어도 하나의 실시예에서, 가상 비서(1002)는 예를 들면, 하나 이상의 로컬 및/또는 원격 메모리와 같은 하나 이상의 상이한 유형의 소스들, 디바이스 및/또는 시스템들로부터의 정보를 액세스, 프로세스, 및/또는 이용하도록 동작할 수 있다. 또한, 적어도 하나의 실시예에서, 가상 비서(1002)는, 예를 들면, 하나 이상의 로컬 및/또는 원격 디바이스의 메모리 및/또는 시스템에 저장될 수 있는 하나 이상의 상이한 유형의 출력 데이터/정보를 발생시키도록 동작할 수 있다.
가상 비서(1002)에 의해 액세스 및/또는 이용될 수 있는 입력 데이터/정보의 상이한 유형들의 예시는 하기의 하나 이상(또는 그들의 조합)을 포함할 수 있으나 이에 한정되지는 않는다.
Figure 112012079876745-pat00036
이동 전화 및 태블릿과 같은 이동 디바이스, 마이크를 구비한 컴퓨터, 블루투스 헤드셋, 자동차 음성 제어 시스템, 전화를 통한 시스템, 응답 서비스 상의 기록, 통합 메시징 서비스 상의 오디오 음성 메일, 클록 라디오와 같은 음성 입력을 갖는 소비자 애플리케이션, 전화국, 홈 엔터테인먼트 제어 시스템, 및 게임 컨솔로부터의 : 음성 입력
Figure 112012079876745-pat00037
컴퓨터 또는 이동 디바이스 상의 키보드, 원격 제어 또는 다른 소비자 전자 디바이스 상의 키패드, 비서에 보내지는 이메일 메시지, 비서에 보내지는 인스턴트 메시지 또는 유사한 단문 메시지, 멀티유저 게임 환경에서의 플레이어들로부터 수신한 텍스트, 및 메시지 피드에서 스트리밍되는 텍스트로부터의 텍스트 입력
Figure 112012079876745-pat00038
센서 또는 위치 기반 시스템으로부터 들어오는 위치 정보. 예시는 글로벌 위치확인 시스템(GPS) 및 이동 전화 상의 어시스트티드 GPS(A-GPS)를 포함한다. 일 실시예에서, 위치 정보는 명확한 사용자 입력과 결합된다. 일 실시예에서, 본 발명의 시스템은 알려진 어드레스 정보 및 현재 위치 결정에 기초하여, 사용자가 집에 있을 때를 검출할 수 있다. 이러한 방식으로, 사용자가 집 밖에 있을 때와는 달리 집에 있을 때에 흥미가 있을 수 있는 정보의 유형뿐만 아니라 사용자가 집에 있는지의 여부에 따라 사용자를 대신해 호출되어야 하는 서비스 및 액션의 유형들에 대한 특정 추론들이 행해질 수 있다.
Figure 112012079876745-pat00039
클라이언트 디바이스 상의 클록으로부터의 시간 정보. 이는 예를 들면, 로컬 시간 및 시간 존을 가리키는 전화기 또는 다른 클라이언트 디바이스로부터의 시간을 포함할 수 있다. 또한, 시간은 사용자 요청의 내용, 예를 들면 "한 시간 안에" 및 "오늘밤"과 같은 어구를 해석하는 데에 사용될 수 있다.
Figure 112012079876745-pat00040
나침반, 가속도계, 자이로스코프, 및/또는 이동 속도 데이터, 뿐만 아니라 이동 또는 핸드헬드 디바이스로부터의 또는 자동차 제어 시스템과 같은 임베디드 시스템으로부터의 다른 센서 데이터. 이는 원격 제어로부터 응용들 및 게임 콘솔까지의 디바이스 위치확인 데이터를 포함할 수 있다.
Figure 112012079876745-pat00041
클릭킹 및 메뉴 선택 및 그래픽 유저 인터페이스(GUI)를 갖는 임의의 디바이스 상의 GUI로부터의 다른 이벤트. 추가 예시들은 터치 스크린에의 터치를 포함한다.
Figure 112012079876745-pat00042
센서들 및 알람 클록, 캘린더 알림, 가격 변동 트리거, 위치 트리거, 서버로부터의 디바이스로의 푸시 통지 등과 같은 다른 데이터-구동 트리거로부터의 이벤트.
본원에서 설명되는 실시예들에의 입력은 대화 및 요청 히스토리를 포함하는 사용자 상호작용 히스토리의 내용을 또한 포함할 수 있다.
상기의 상호-참조되는 관련 미국 실용신안 출원에 기재된 바와 같이, 많은 상이한 유형들의 출력 데이터/정보가 가상 비서(1002)에 의해 생성될 수 있다. 이들은 하기의 하나 이상(또는 그들의 조합)을 포함할 수 있지만 이에 한정되는 것은 아니다.
Figure 112012079876745-pat00043
출력 디바이스에 및/또는 디바이스의 사용자 인터페이스에 직접 보내지는 텍스트 출력;
Figure 112012079876745-pat00044
이메일을 통해 사용자에게 보내지는 텍스트 및 그래픽;
Figure 112012079876745-pat00045
메시징 서비스를 통해 사용자에게 보내지는 텍스트 및 그래픽;
Figure 112012079876745-pat00046
하기의 하나 이상(또는 그들의 조합)을 포함할 수 있는 음성 출력:
ㅇ 합성된 음성;
ㅇ 샘플링된 음성;
ㅇ 기록된 음성;
Figure 112012079876745-pat00047
사진, 리치 텍스트, 비디오, 사운드, 및 하이퍼링크(예를 들면, 웹 브라우저에 렌더링되는 컨텐츠)를 갖는 정보의 그래픽 레이아웃;
Figure 112012079876745-pat00048
디바이스가 턴온 또는 턴오프되게 하고, 사운드를 발생시키게 하고, 컬러를 변경하고, 진동하고, 빛을 제어하게 하는 등의 디바이스상의 물리적 작용을 제어하는 액츄에이터 출력;
Figure 112012079876745-pat00049
매핑 애플리케이션을 호출, 전화기를 음성 다이얼링, 이메일 또는 인스턴트 메시지를 전송, 미디어를 재생, 캘린더, 태스크 매니저, 및 노트 애플리케이션의 엔트리를 작성, 및 다른 애플리케이션들과 같은 디바이스 상의 다른 애플리케이션을 호출;
Figure 112012079876745-pat00050
원격 카메라, 휠체어의 제어, 원격 스피커 상의 음악 재생, 원격 디스플레이 상의 비디오 재생 등과 같은 디바이스에 부착 또는 제어되는 디바이스들에의 물리적 액션을 제어하는 액츄에이터 출력.
도 27의 가상 비서(1002)는 구현될 수 있는 가상 비서 시스템 실시예들의 넓은 범위로부터의 하나의 예시라는 것이 이해될 수 있다. (도시되지 않은) 가상 비서 시스템의 다른 실시예들은 예를 들면, 도 27의 가상 비서 시스템 실시예에 설명된 것들보다 추가적인, 적은 및/또는 상이한 컴포넌트/특징들을 포함할 수 있다.
가상 비서(1002)는 복수의 상이한 유형의 컴포넌트, 디바이스, 모듈, 프로세스, 시스템 등을 포함할 수 있는데, 이는 예를 들어 하드웨어 및/또는 하드웨어 및 소프트웨어의 조합들의 사용을 통해 구현 및/또는 예시될 수 있다. 예를 들어, 도 27의 실시예에 도시된 바와 같이, 비서(1002)는 시스템, 컴포넌트, 디바이스, 프로세스 등(또는 이들의 조합)의 다음 유형들 중 하나 이상을 포함할 수 있다.
Figure 112012079876745-pat00051
하나 이상의 액티브 온톨로지(ontology)들(1050);
Figure 112012079876745-pat00052
액티브 입력 유도 컴포넌트(들)(2794)(클라이언트 부분(2794a) 및 서버 부분(2794b)을 포함할 수 있음);
Figure 112012079876745-pat00053
단기 개인 메모리 컴포넌트(들)(2752)(마스터 버전(2752b) 및 캐시(2752a)를 포함할 수 있음);
Figure 112012079876745-pat00054
장기 개인 메모리 컴포넌트(들)(2754)(마스터 버전(2754b) 및 캐시(2754a)를 포함할 수 있으며, 예를 들어, 개인 데이터베이스들(1058), 애플리케이션 선호도 및 사용 히스토리(1072) 등을 포함할 수 있음);
Figure 112012079876745-pat00055
도메인 모델 컴포넌트(들)(2756);
Figure 112012079876745-pat00056
어휘 컴포넌트(들)(2758)(완전한 어휘(2758b) 및 서브세트(2758a)를 포함할 수 있음);
Figure 112012079876745-pat00057
언어 패턴 인식기(들) 컴포넌트(들)(2760)(전체 라이브러리(2760b) 및 서브세트(2760a)를 포함할 수 있음);
Figure 112012079876745-pat00058
언어 해석기 컴포넌트(들)(2770);
Figure 112012079876745-pat00059
도메인 엔티티 데이터베이스(들)(2772);
Figure 112012079876745-pat00060
대화 플로우 프로세서 컴포넌트(들)(2780);
Figure 112012079876745-pat00061
서비스 편성 컴포넌트(들)(2782);
Figure 112012079876745-pat00062
서비스 컴포넌트(들)(2784);
Figure 112012079876745-pat00063
태스크 플로우 모델 컴포넌트(들)(2786);
Figure 112012079876745-pat00064
대화 플로우 모델 컴포넌트(들)(2787);
Figure 112012079876745-pat00065
서비스 모델 컴포넌트(들)(2788);
Figure 112012079876745-pat00066
출력 프로세서 컴포넌트(들)(2790);
특정 클라이언트/서버 기반 실시예들에서, 이 컴포넌트들 중 일부 또는 전부가 클라이언트(1304)와 서버(1340) 사이에 분산될 수 있다.
일 실시예에서, 가상 비서(1002)는 예를 들어 터치스크린 입력, 키보드 입력, 음성 입력, 및/또는 이들의 임의의 조합을 포함하는, 임의의 적합한 입력 모달리티를 통해 사용자 입력(2704)을 수신한다. 본원에 더 상세하게 설명되는 바와 같이, 일 실시예에서, 비서(1002)는 이벤트 컨텍스트(2706) 및/또는 컨텍스트의 몇몇 다른 유형들 중 임의의 것을 포함할 수 있는 컨텍스트 정보(1000)도 수신한다.
본원에 설명된 기법들에 따라 사용자 입력(2704) 및 컨텍스트 정보(1000)를 처리하면, 가상 비서(1002)는 사용자에게 제시할 출력(2708)을 생성한다. 출력(2708)은 임의의 적합한 출력 모달리티에 따라 생성될 수 있는데, 이는 컨텍스트(1000) 뿐 아니라, 적합하다면 다른 요소들에 의해 통지될 수 있다. 출력 모달리티들의 예들은, 스크린 상에 표시되는 시각적 출력, (음성 출력 및/또는 비프음들 및 다른 소리들을 포함할 수 있는) 청각적 출력, (진동과 같은) 햅틱 출력, 및/또는 이들의 임의의 조합을 포함한다.
도 27에 도시된 다양한 컴포넌트들의 동작에 관한 추가적인 세부 사항들은, 본원에 전체가 참조로서 통합된, 2011년 1월 10일에 출원된, 변호사 도켓 번호 P10575US1인, 관련된 미국 특허 출원 번호 12/987,982, "Intelligent Automated Assistant"에 제공된다.
컨텍스트
위에서 설명한 바와 같이, 일 실시예에서, 가상 비서(1002)는 정보 처리 기능들을 수행하기 위해 다양한 컨텍스트 정보를 획득하고 적용한다. 다음의 설명이 제시된다:
Figure 112012079876745-pat00067
가상 비서(1002)에 의해 사용될 컨텍스트 정보의 소스들의 범위
Figure 112012079876745-pat00068
컨텍스트 정보를 나타내고, 조직하고, 탐색하기 위한 기법들
Figure 112012079876745-pat00069
컨텍스트 정보가 가상 비서의 몇몇 기능들의 동작을 지원할 수 있는 방법들
Figure 112012079876745-pat00070
분산된 시스템 내에서 컨텍스트 정보를 효과적으로 획득하고, 액세스하고, 적용하기 위한 방법들
본 기술분야의 당업자는 컨텍스트 정보를 사용하기 위한 소스들, 기법들 및 방법들에 관한 뒤따르는 설명은 단지 예시적일 뿐이며, 본 발명의 필수적 특성들로부터 벗어나지 않으면서 다른 소스들, 기법들 및 방법들이 사용될 수 있다는 것을 인식할 것이다.
컨텍스트의 소스들
가상 비서(1002)에 의해 수행되는 정보 처리의 단계들을 통해, 사용자 입력의 가능한 해석들을 감소시키기 위해 몇몇 상이한 종류들의 컨텍스트가 사용될 수 있다. 예들은 애플리케이션 컨텍스트, 개인 데이터 컨텍스트, 및 이전 대화 히스토리을 포함한다. 본 기술분야의 당업자는, 컨텍스트의 다른 소스들도 이용 가능할 수 있다는 것을 인식할 것이다.
이제 도 1을 참조하면, 일 실시예에 따른 가상 비서(1002), 및 그것의 동작에 영향을 줄 수 있는 컨텍스트의 소스들의 일부 예들을 도시하는 블록도가 도시되었다. 가상 비서(1002)는 음성 또는 타이핑된 언어와 같은 사용자 입력(2704)을 취하고, 사용자에게 출력(2708)을 생성하고 그리고/또는 사용자를 대신하여 액션들을 수행한다(2710). 도 1에 도시된 가상 비서(1002)는 구현될 수 있는 광범위한 가상 비서 시스템 실시예들 중 단지 하나의 예일 뿐이다. 가상 비서 시스템의 다른 실시예들(도시되지 않음)은, 도 1에 도시된 가상 비서(1002)의 예에 예시된 것에 비해 추가적인, 더 적은 및/또는 상이한 컴포넌트들/특징들을 포함할 수 있다.
본원에 더 상세히 설명되는 것과 같이, 가상 비서(1002)는 사전들, 도메인 모델들 및/또는 태스크 모델들과 같은, 지식 및 데이터의 다수의 상이한 소스들 중 임의의 것에 접근할 수 있다. 본 발명의 관점에서, 백그라운드 소스라 지칭되는 그러한 소스들은 비서(1002) 내부에 있다. 사용자 입력(2704) 및 백그라운드 소스들 외에, 가상 비서(1002)는 또한 예를 들어 디바이스 센서 데이터(1056), 애플리케이션 선호도 및 사용 히스토리(1072), 대화 히스토리 및 보조 메모리(1052), 개인 데이터베이스(1058), 개인 음향 컨텍스트 데이터(1080), 현재 애플리케이션 컨텍스트(1060), 및 이벤트 컨텍스트(2706)을 포함하는, 컨텍스트의 몇몇 소스들로부터의 정보에 접근할 수 있다. 이는 본원에 상세하게 설명될 것이다.
애플리케이션 컨텍스트 (1060)
애플리케이션 컨텍스트(1060)는, 사용자가 무언가를 하고 있는 애플리케이션 또는 유사한 소프트웨어의 상태를 가리킨다. 예를 들면, 사용자는 텍스트 메시징 애플리케이션을 사용하여 특정한 사람과 채팅을 할 수 있다. 가상 비서(1002)는, 텍스트 메시징 애플리케이션의 사용자 인터페이스에 특정되거나 사용자 인터페이스의 일부일 필요는 없다. 오히려, 가상 비서(1002)는 임의의 수의 애플리케이션들로부터 컨텍스트를 수신할 수 있고, 각 애플리케이션은 자신의 컨텍스트를 건네 주어 가상 비서(1002)에게 알릴 수 있다.
가상 비서(1002)가 호출된 경우에 사용자가 현재 애플리케이션을 사용하고 있으면, 그 애플리케이션의 상태는 유용한 컨텍스트 정보를 제공할 수 있다. 예를 들면, 가상 비서(1002)가 이메일 애플리케이션 내로부터 호출된 경우, 컨텍스트 정보는 송신자 정보, 수신자 정보, 보낸 날짜 및/또는 시간, 제목, 이메일 컨텐트로부터 추출된 데이터, 메일박스 또는 폴더 이름 등을 포함할 수 있다.
도 11 내지 도 13을 참조하면, 일 실시예에 따라, 텍스트 메시징 도메인에서 애플리케이션 컨텍스트를 사용하여, 대명사가 지시하는 대상을 도출하는 예를 도시하는 한 세트의 스크린 샷들이 도시된다. 도 11은, 사용자가 테스트 메시징 애플리케이션을 사용하는 동안 디스플레이될 수 있는 스크린(1150)을 도시한다. 도 12는, 가상 비서(1002)가 텍스트 메시징 애플리케이션의 컨텍스트에서 활성화된 후의 스크린(1250)을 도시한다. 이 예에서, 가상 비서(1002)는 사용자에게 프롬프트(1251)를 제시한다. 일 실시예에서, 사용자는 마이크로폰 아이콘(1252)를 탭핑함으로써 음성 입력(spoken input)을 제공할 수 있다. 다른 실시예에서, 비서(1002)는 언제라도 음성 입력을 받아들일 수 있고, 입력을 제공하기 전에 사용자에게 마이크로폰 아이콘(1252)을 탭핑할 것을 요구하지 않는다; 따라서, 아이콘(1252)은 비서(1002)가 음성 입력을 대기중이라는 리마인더일 수 있다.
도 13에서, 스크린(1253)에 도시된 바와 같이, 사용자는 가상 비서(1002)와 대화를 하고 있다. 사용자가 말한 입력 "call him"이 반향되었고(echoed back), 가상 비서(1002)는 특정 전화 번호의 특정 사람에게 전화를 걸 것이라고 응답하고 있다. 사용자의 애매한 입력을 해석하기 위해, 가상 비서(1002)는, 본원에서 더 자세히 기술되는 바와 같이, 다양한 소스의 컨텍스트를 결합해 사용하여 대명사가 지시하는 대상을 도출한다.
도 17 내지 도 20을 참조하면, 일 실시예에 따라, 현재 애플리케이션 컨텍스트를 사용하여 커맨드를 해석하고 조작할 수 있게 하는 다른 예를 도시한다.
도 17에서, 사용자에게 사용자의 이메일 인박스(1750)가 제시되고, 사용자는 특정 이메일 메시지(1751)를 보기 위해 선택한다. 도 18은, 보려는 이메일 메시지가 선택된 후의 이메일 메시지(1751)를 도시한다; 이 예에서, 이메일 메시지(1751)는 이미지를 포함한다.
도 19에서, 사용자는, 이메일 애플리케이션 내로부터의 이메일 메시지(1751)를 보는 동안 가상 비서(1002)를 활성화시켰다. 일 실시예에서, 이메일 메시지(1751)가 스크린 위쪽으로 옮겨져서 디스플레이되어, 가상 비서(1002)로부터의 프롬프트(150)를 위한 공간을 만든다. 이러한 디스플레이는, 가상 비서(1002)가 현재 보여지는 이메일 메시지(1751)의 컨텍스트에서 보조를 제공하고 있다는 관념을 강화시킨다. 따라서, 가상 비서(1002)에 대한 사용자의 입력은 보여지는 이메일 메시지(1751)의 현재 컨텍스트에서 해석될 것이다.
도 20에서, 사용자는 커맨드(2050)를 제공했다: "Reply let's get this to marketing right away". 이메일 메시지(1751) 및 이메일 메시지가 디스플레이되는 이메일 애플리케이션에 관한 정보를 포함하여, 컨텍스트 정보가 커맨드(2050)를 해석하는데 사용된다. 이 컨텍스트는 커맨드(2050)의 "reply"와 "this"란 단어의 의미를 판정하고, 특정 메시지 스레드 상의 특정 수신인에 대한 이메일 구성 트랜잭션을 어떻게 설정해야 할지 결정하는데 사용될 수 있다. 이 경우에, 가상 비서(1002)는 컨텍스트 정보에 액세스하여, "marketing"이 "John Applecore"라는 이름의 수신인을 가리킨다는 것을 판정할 수 있고, 수신인에 대해 사용할 이메일 어드레스를 판정할 수 있다. 따라서, 가상 비서(1002)는 사용자가 승인하고 전송할 이메일(2052)을 구성한다. 이러한 방식으로, 가상 비서(1002)는, 현재 애플리케이션의 상태를 기술하는 컨텍스트 정보와 함께 사용자 입력에 기초하여, (이메일 메시지를 구성하는) 작업을 조작할 수 있게 할 수 있다.
애플리케이션 컨텍스트는 또한, 애플리케이션들에 걸쳐 사용자 의도의 의미를 식별할 수 있게 도움을 줄 수 있다. 도 21을 참조하면, 보고 있는 이메일(예컨대, 이메일 메시지(1751))의 컨텍스트에서 사용자가 가상 비서(1002)를 호출하고, 사용자의 커멘드(2150)는 "Send him a text..."라고 말한 예를 도시한다. 커멘드(2150)는, 가상 비서(1002)에 의해 이메일보다 텍스트 메시지가 송신되야 한다는 것을 나타내는 것으로서 해석된다. 그러나, "him"이라는 단어의 사용은 동일한 수신인(John Appleseed)이 의도된다는 것을 가리킨다. 따라서, 가상 비서(1002)는, 이 통신이 이러한 수신인에게 상이한 채널(디바이스에 저장된 연락처 정보로부터 획득된 사람의 전화 번호로의 텍스트 메시지)로 가야 한다는 것으로 인식한다. 따라서, 가상 비서(1002)는 사용자가 승인하고 전송할 텍스트 메시지(2152)를 구성한다.
애플리케이션(들)로부터 획득될 수 있는 컨텍스트 정보의 예들에는 아래의 것이 포함되지만 이들로만 제한되지는 않는다:
Figure 112012079876745-pat00071
애플리케이션의 아이덴티티;
Figure 112012079876745-pat00072
현재 이메일 메시지, 현재 음악 또는 재생목록 또는 재생되는 채널, 현재 책 또는 영화 또는 사진, 현재 캘린더 일/주/달, 현재 리마인더 리스트, 현재 전화 통화, 현재 텍스트 메시징 대화, 현재 지도 위치, 현재 웹 페이지 또는 검색 쿼리, 위치 감지 애플리케이션들을 위한 현재 도시 또는 다른 위치, 현재 소셜 네트워크 프로필, 또는 현재 객체들의 임의의 다른 애플리케이션 특정 개념;
Figure 112012079876745-pat00073
이름, 장소, 날짜, 및 현재 객체들로부터 추출될 수 있는 식별가능한 다른 엔티티 또는 값.
개인 데이터베이스들(1058)
컨텍스트 데이터의 다른 소스는 전화기와 같은 디바이스에 있는 사용자의 개인 데이터베이스(들)(1058)이며, 그 예로는 이름들과 전화 번호들을 포함한 어드레스 북이다. 도 14를 참조하면, 일 실시예에 따라, 애매한 이름에 대해 가상 비서(1002)가 프롬프팅하는 스크린 샷(1451)의 예를 도시한다. 여기에서, 사용자는 "Call Herb"라고 말했다; 가상 비서(1002)는 사용자의 어드레스 북에서 일치하는 연락처들 중에서 사용자가 선택하도록 프롬프트한다. 따라서, 어드레스 북은 개인 데이터 컨텍스트의 소스로서 사용된다.
일 실시예에서, 사용자의 개인 정보는, 사용자의 의도 또는 가상 비서(1002)의 다른 기능들을 해석 및/또는 조작할 수 있게 하기 위한 컨텍스트로서 사용하기 위해 개인 데이터베이스(1058)로부터 획득된다. 예를 들면, 사용자의 연락처 데이터베이스 내의 데이터는, 사용자가 누군가를 이름만으로 언급했을 때, 사용자의 커맨드를 해석할 때의 애매함을 감소시키기 위해 사용될 수 있다. 개인 데이터베이스들(1058)로부터 획득될 수 있는 컨텍스트 정보의 예들에는 아래의 것이 포함되지만 이들로만 제한되지는 않는다:
Figure 112012079876745-pat00074
사용자의 연락처 데이터베이스(어드레스 북) -- 이름, 전화 번호, 물리 어드레스, 네트워크 어드레스, 계정 식별자, 중요한 날짜에 관한 정보가 포함됨 -- 사람, 회사, 조직, 위치, 웹 사이트, 및 사용자가 참조할 수 있는 다른 엔티티에 대한 것;
Figure 112012079876745-pat00075
사용자 자신의 이름, 선호되는 발음, 어드레스, 전화 번호, 등;
Figure 112012079876745-pat00076
어머니, 아버지, 자매, 상사 등과 같은 사용자가 명명한 관계;
Figure 112012079876745-pat00077
캘린더 이벤트, 특별한 날의 명칭, 사용자가 참조할 수 있는 명명된 다른 엔트리들을 포함하는, 사용자의 캘린더 데이터;
Figure 112012079876745-pat00078
해야 하거나 기억해야 하거나 얻어야 할 것의 목록을 포함하여 사용자가 참조할 수 있는 사용자의 리마인더 또는 작업 목록;
Figure 112012079876745-pat00079
노래, 장르, 재생 목록, 및 사용자가 참조할 수 있는 사용자의 뮤직 라이브러리와 연관된 다른 데이터;
Figure 112012079876745-pat00080
사람, 장소, 카테고리, 태그, 레이블, 또는 사용자의 미디어 라이브러리 내의 포토 또는 비디오 또는 다른 미디어 상의 다른 상징적 이름;
Figure 112012079876745-pat00081
제목, 저자, 장르, 또는 사용자의 개인 라이브러리에 있는 다른 문헌 또는 어드레스 북의 다른 상징적 이름 .
대화 히스토리 (1052)
컨텍스트 데이터의 다른 소스는 가상 비서(1002)와 사용자의 대화 히스토리(1052)이다. 이러한 히스토리에는, 예를 들어, 도메인, 사람, 장소 등에 대한 참조가 포함될 수 있다. 도 15를 참조하면, 일 실시예에 따라, 가상 비서(1002)가 대화 컨텍스트를 사용하여 커멘드에 대한 위치를 추론하는 예를 도시한다. 스크린(1551)에서, 사용자는 먼저 "What's the time in New York"이라고 묻는다; 가상 비서(1002)는 뉴욕 시의 현재 시간을 제공함으로써 응답한다(1552). 이후에 사용자는 "What's the weather"이라고 묻는다. 가상 비서(1002)는 이전의 대화 히스토리를 사용하여, 날씨 쿼리가 의도한 위치가 대화 히스토리에서 언급된 마지막 위치인 것으로 추론한다. 따라서, 그 응답(1553)은, 뉴욕 시에 대한 날씨 정보를 제공한다.
다른 예로서, 사용자가 "find camera shops near here"이라고 말하면, 결과들을 조사한 후에, "how about in San Francisco?"라고 말하고, 비서는 대화 컨텍스트를 사용하여 "how about"이 의미하는 바가 "do the same task(find camera stores)"라고 판정하고, "in San Francisco"가 의미하는 바가 "changing the locus of the search from here to San Francisco"라고 판정한다. 가상 비서(1002)는 또한, 사용자에게 제공된 이전의 출력과 같은, 이전의 대화의 세부내용들을 컨텍스트로 사용할 수 있다. 예를 들면, 가상 비서(1002)가 "Sure thing, you're the boss"와 같이 유머로 의도된 재치 있는 응답을 사용했다면, 가상 비서는 이러한 응답을 이미 말했다는 것을 기억하고, 대화 세션 내에서 그러한 문구를 반복하지 않게 할 수 있다.
대화 히스토리 및 가상 보조 메모리로부터의 컨텍스트 정보의 예로는,
Figure 112012079876745-pat00082
대화에서 언급된 사람들;
Figure 112012079876745-pat00083
대화에서 언급된 장소들 및 위치들;
Figure 112012079876745-pat00084
포커스되는 현재의 시간 프레임;
Figure 112012079876745-pat00085
이메일이나 캘린더와 같이, 포커스되는 현재의 애플리케이션 도메인;
Figure 112012079876745-pat00086
이메일을 읽는 것 또는 캘린더 엔트리를 생성하는 것과 같이, 포커스되는 현재의 태스크;
Figure 112012079876745-pat00087
막 읽은 이메일 메시지 또는 막 생성한 캘린더 엔트리와 같이, 포커스되는 현재의 도메인 객체들;
Figure 112012079876745-pat00088
질문을 하고 있는지 및 어떤 가능한 대답들이 예상되는지와 같이, 대화 또는 트랜잭션 플로우의 현재의 상태;
Figure 112012079876745-pat00089
"good Italian restaurants"와 같이, 사용자 요청들의 히스토리;
Figure 112012079876745-pat00090
리턴된 레스토랑 세트와 같이, 사용자 요청들의 결과들의 히스토리;
Figure 112012079876745-pat00091
대화에서 비서에 의해 이용된 어구들의 히스토리;
Figure 112012079876745-pat00092
"my mother is Rebecca Richards" 및 "I liked that restaurant"와 같이, 사용자가 비서에게 말한 사실들
이 포함되지만, 이에 제한되지는 않는다.
이하 도 25a 및 도 25b를 참조하면, 일 실시예에 따른 이전의 대화 컨텍스트의 이용의 예를 도시한 일련의 스크린샷들이 도시되어 있다. 도 25a에서, 사용자는 John으로부터의 임의의 신규 이메일에 대한 요청(2550)을 입력하였다. 가상 비서(1002)는 John으로부터의 이메일 메시지(2551)를 디스플레이함으로써 응답한다. 도 25b에서, 사용자는 커맨드(2552) "Reply let's get this to marketing right away"를 입력한다. 가상 비서(1002)는 이전의 대화 컨텍스트를 이용하여 커맨드(2552)를 해석하는데; 상세하게는, 이 커맨드는 도 25에 디스플레이된 이메일 메시지(2551)을 언급하는 것으로 해석된다.
디바이스 센서 데이터(1056)
일 실시예에 있어서, 가상 비서(1002)를 실행하는 물리 디바이스는 하나 이상의 센서를 가질 수 있다. 이러한 센서들은 컨텍스트 정보의 소스들을 제공할 수 있다. 이러한 정보의 예로는,
Figure 112012079876745-pat00093
사용자의 현재 위치;
Figure 112012079876745-pat00094
사용자의 현재 위치에서의 현지 시간;
Figure 112012079876745-pat00095
디바이스의 위치, 방위 및 모션;
Figure 112012079876745-pat00096
현재의 광 레벨; 온도 및 다른 환경 척도;
Figure 112012079876745-pat00097
사용 중인 마이크로폰들 및 카메라들의 속성들;
Figure 112012079876745-pat00098
이용되고 있는 현재의 네트워크들 및 접속된 네트워크들의 서명들 - 이 네트워크는 이더넷, Wi-Fi 및 블루투스를 포함함 -
이 포함되지만, 이에 제한되지는 않는다. 서명들은 네트워크 액세스 포인트들의 MAC 어드레스들, 할당된 IP 어드레스들, 블루투스 네임들과 같은 디바이스 식별자들, 주파수 채널들 및 무선 네트워크들의 다른 속성들을 포함한다.
센서들은, 예를 들어 가속도계, 나침반, GPS 유닛, 고도 검출기, 광 센서, 온도계, 기압계, 클록, 네트워크 인터페이스, 배터리 테스트 회로 등을 포함한 임의의 타입의 센서일 수 있다.
애플리케이션 선호도 및 사용 히스토리 (1072)
일 실시예에 있어서, 다양한 애플리케이션들에 대한 사용자의 선호도들 및 설정들뿐만 아니라 사용자의 사용 히스토리(1072)를 기술하는 정보가 사용자의 의도 또는 가상 비서(1002)의 다른 기능을 해석하고/하거나 조작할 수 있게 하기 위해 컨텍스트로서 이용된다. 이러한 선호도 및 히스토리(1072)의 예로는,
Figure 112012079876745-pat00099
단축키, 즐겨찾기, 북마크, 친구 리스트, 또는 사람들, 회사들, 어드레스들, 전화 번호들, 장소들, 웹 사이트들, 이메일 메시지들 또는 임의의 다른 참조들에 대한 사용자 데이터의 임의의 다른 집합;
Figure 112012079876745-pat00100
디바이스 상에서 이루어진 최근의 통화들;
Figure 112012079876745-pat00101
대화 상대방들을 포함하는 최근의 텍스트 메시지 대화들;
Figure 112012079876745-pat00102
지도 또는 방향에 대한 최근의 요청들;
Figure 112012079876745-pat00103
최근의 웹 검색들 및 URL들;
Figure 112012079876745-pat00104
주식 애플리케이션에 열거된 주식들;
Figure 112012079876745-pat00105
재생되는 최근의 노래나 비디오 또는 다른 미디어;
Figure 112012079876745-pat00106
경보 애플리케이션들 상에 설정된 알람의 명칭들;
Figure 112012079876745-pat00107
디바이스 상의 애플리케이션들 또는 다른 디지털 객체들의 명칭들;
Figure 112012079876745-pat00108
사용자의 선호 언어 또는 사용자의 위치에서 사용 중인 언어
가 포함되지만, 이에 제한되지는 않는다.
이하 도 16을 참조하면, 일 실시예에 따라 컨텍스트의 소스로서 전화기 즐겨찾기 리스트의 이용의 일례가 도시되어 있다. 스크린(1650)에서, 즐겨찾기 연락처들(1651)의 리스트가 도시되어 있다. 사용자가 "call John"에 대한 입력을 제공하는 경우, 이러한 즐겨찾기 연락처들(1651)의 리스트가 이용되어, "John"이 John Appleseed의 모바일 번호를 언급한다고 결정할 수 있는데, 그 이유는 그 번호가 이 리스트에 나타나기 때문이다.
이벤트 컨텍스트 (2706)
일 실시예에 있어서, 가상 비서(1002)는 가상 비서(1002)와 사용자의 상호작용에 독립적으로 일어나는 비동기 이벤트들과 연관된 컨텍스트를 이용할 수 있다. 이하 도 22 내지 도 24를 참조하면, 일 실시예에 따라 이벤트 컨텍스트 또는 경보 컨텍스트를 제공할 수 있는 이벤트가 발생한 이후의 가상 비서(1002)의 기동을 나타내는 일례가 도시되어 있다. 이 경우, 이벤트는 도 22에 도시된 바와 같이 착신 텍스트 메시지(2250)이다. 도 23에서, 가상 비서(1002)가 호출되었고, 프롬프트(1251)와 함께 텍스트 메시지(2250)가 나타난다. 도 24에서, 사용자는 커맨드 "call him"(2450)을 입력하였다. 가상 비서(1002)는 이벤트 컨텍스트를 이용하여, 착신 텍스트 메시지(2250)를 송신한 사람을 의미하는 것으로 "him"을 해석함으로써 커맨드를 명확하게 한다. 가상 비서(1002)는 발신 통화를 위해 어떤 전화 번호를 이용할지를 결정하기 위해서 이벤트 컨텍스트를 또한 이용한다. 전화를 걸고 있다는 것을 나타내기 위해서 확인 메시지(2451)가 디스플레이된다.
경보 컨텍스트 정보의 예로는,
Figure 112012079876745-pat00109
착신 텍스트 메시지들 또는 페이지들;
Figure 112012079876745-pat00110
착신 이메일 메시지들;
Figure 112012079876745-pat00111
착신 전화 통화들;
Figure 112012079876745-pat00112
리마인더 통지들 또는 태스크 경보들;
Figure 112012079876745-pat00113
캘린더 경보들;
Figure 112012079876745-pat00114
알람 클록, 타이머 또는 다른 시간-기반 경보들;
Figure 112012079876745-pat00115
게임으로부터의 스코어나 다른 이벤트의 통지들;
Figure 112012079876745-pat00116
주가 경보와 같은 금융 이벤트의 통지들;
Figure 112012079876745-pat00117
뉴스 플래시들 또는 다른 방송 통지들;
Figure 112012079876745-pat00118
임의의 애플리케이션으로부터의 푸시 통지들
이 포함되지만, 이에 제한되지는 않는다.
개인 음향 컨텍스트 데이터(1080)
음성 입력을 해석하는 경우, 가상 비서(1002)는 음성이 입력되는 음향 환경을 또한 고려할 수 있다. 예를 들어, 조용한 사무실의 잡음 프로파일은 자동차나 공공 장소의 잡음 프로파일과 상이하다. 음성 인식 시스템이 음향 프로파일 데이터를 식별 및 저장할 수 있는 경우, 이러한 데이터가 또한 컨텍스트 정보로서 제공될 수 있다. 사용 중인 마이크로폰의 속성, 현재 위치 및 현재의 대화 상태와 같은 다른 컨텍스트 정보와 결합되는 경우, 음향 컨텍스트는 입력의 인식 및 해석을 지원할 수 있다.
컨텍스트의 표현 및 액세스
전술한 바와 같이, 가상 비서(1002)는 다수의 상이한 소스들 중 임의의 소스로부터의 컨텍스트 정보를 이용할 수 있다. 가상 비서(1002)에 이용가능해질 수 있도록 컨텍스트를 표현하기 위해 다수의 상이한 메커니즘 중 임의의 메커니즘이 이용될 수 있다. 이하 도 8a 내지 도 8d를 참조하면, 본 발명의 다양한 실시예와 관련하여 이용될 수 있는 바와 같은 컨텍스트 정보의 표현의 수개의 예가 도시되어 있다.
사람들, 장소들, 시간들 , 도메인들, 태스크들 및 객체들의 표현
도 8a는 사용자의 현재 위치의 지리 좌표와 같은 단순한 속성을 나타내는 컨텍스트 변수들의 예들(801-809)을 도시한다. 일 실시예에 있어서, 컨텍스트 변수들의 코어 세트에 대해 현재의 값이 유지될 수 있다. 예를 들어, 현재의 사용자, 포커스되는 현재의 위치, 포커스되는 현재의 시간 프레임, 포커스되는 현재의 애플리케이션 도메인, 포커스되는 현재의 태스크 및 포커스되는 현재의 도메인 객체가 존재할 수 있다. 도 8a에 도시된 바와 같은 데이터 구조가 이러한 표현에 이용될 수 있다.
도 8b는 연락처에 대한 컨텍스트 정보를 저장하는데 이용될 수 있는 보다 복잡한 표현의 예(850)를 도시한다. 또한, 연락처에 대한 데이터를 포함하는 표현의 예(851)도 도시되어 있다. 일 실시예에 있어서, 연락처(또는 사람)는 이름, 성별, 어드레스, 전화 번호에 대한 속성, 및 연락처 데이터베이스에 유지될 수 있는 다른 속성을 갖는 객체로서 표현될 수 있다. 장소, 시간, 애플리케이션 도메인, 태스크, 도메인 객체 등에 대해 유사한 표현이 이용될 수 있다.
일 실시예에 있어서, 주어진 타입의 현재 값들의 세트가 표현된다. 이러한 세트는 현재의 사람들, 현재의 장소들, 현재의 시간들 등을 언급할 수 있다.
일 실시예에 있어서, 컨텍스트 값은 히스토리로 배열되어, 반복 N에서, 현재의 컨텍스트 값들의 프레임이 존재하며, 또한 반복 N-1에서 현재였던 컨텍스트 값의 프레임이 존재하는데, 이는 요구되는 히스토리의 길이에 대해 소정 제한을 한다. 도 8c는 컨텍스트 값들의 히스토리를 포함하는 어레이(811)의 예를 도시한다. 상세하게는, 도 8c의 각 열은 컨텍스트 변수를 나타내는데, 여기서 행들은 상이한 시간들에 대응한다.
일 실시예에 있어서, 타이핑된 컨텍스트 변수들의 세트는 도 8d에 도시된 바와 같이 히스토리로 배열된다. 이 예에서, 사람들을 언급하는 컨텍스트 변수들의 세트(861)는 장소들을 언급하는 컨텍스트 변수들의 다른 세트(871)와 함께 도시되어 있다. 따라서, 히스토리에서의 특정 시간에 대한 관련 컨텍스트 데이터가 검색 및 적용될 수 있다.
당업자는, 도 8a 내지 도 8d에 도시된 특정한 표현들은 단지 예시일 뿐이고, 컨텍스트를 나타내기 위한 많은 다른 메커니즘 및/또는 데이터 포맷이 이용될 수 있다는 것을 인식할 것이다. 예들은 다음을 포함한다:
Figure 112012079876745-pat00119
일 실시예에서는, 가상 비서(1002)가 사용자에게 어떻게 어드레스하고 사용자의 집, 업무, 이동 전화 등을 참조할지를 알 수 있도록 시스템의 현재 사용자가 일부 특수한 방식으로 표현될 수 있다.
Figure 112012079876745-pat00120
일 실시예에서는, 가상 비서(1002)가 "나의 엄마" 또는 "나의 상사의 집"과 같은 참조(reference)들을 이해할 수 있도록 사람들 간의 관계가 표현될 수 있다.
Figure 112012079876745-pat00121
장소는, 이름, 거리 어드레스, 지리적 좌표 등과 같은 속성들을 갖는 객체로서 표현될 수 있다.
Figure 112012079876745-pat00122
시간은 (년, 월, 일, 시간, 분 또는 초 등의) 유니버셜 타임, 타임존 오프셋, 레졸루션을 포함하는 속성들을 갖는 객체로서 표현될 수 있다. 시간 객체는 또한 "오늘", "이번 주", "이번 (다가오는) 주말", "다음 주", "애니의 생일" 등과 같은 심볼 시간을 나타낼 수도 있다. 또한, 시간 객체는 시기들 또는 시점들을 나타낼 수 있다.
Figure 112012079876745-pat00123
이메일, 텍스트 메시징, 전화, 캘린더, 연락처, 사진, 비디오, 지도, 날씨, 리마인더, 시계, 웹 브라우저, 페이스북, 판도라 등과 같은 담화(discourse)의 도메인 또는 애플리케이션 또는 서비스를 나타내는 애플리케이션 도메인의 면에서 또한 컨텍스트가 제공될 수 있다. 현재의 도메인은 어떤 도메인에 초점이 맞추어져 있는지를 표시한다.
Figure 112012079876745-pat00124
컨텍스트는 또한 도메인 내에서 수행하기 위한 하나 이상의 태스크, 또는 동작들을 정의할 수 있다. 예를 들어, 이메일 도메인 내에서는, 이메일 메시지 판독, 이메일 검색, 새로운 이메일 작성 등과 같은 태스크들이 있다.
Figure 112012079876745-pat00125
도메인 객체들은 다양한 도메인과 연관된 데이터 객체들이다. 예를 들면, 이메일 도메인은 이메일 메시지 상에서 동작하며, 캘린더 도메인은 캘린더 이벤트 상에서 동작한다.
여기에 제공되는 설명을 목적으로, 컨텍스트 정보의 표현을 주어진 유형의 컨텍스트 변수로 언급한다. 예를 들면, 현재 사용자의 표현은 타입 사람(type person)의 컨텍스트 변수이다.
컨텍스트 도출의 표현
일 실시예에서는, 컨텍스트 변수의 도출이 정보 처리에 사용될 수 있도록 명시적으로 표현된다. 컨텍스트 정보의 도출는 정보를 결론짓고 검색하게 되어 있는 간섭들의 소스 및/또는 셋트들을 특징으로 한다. 예를 들면, 도 8b에 도시되어 있는 개인(person) 컨텍스트 값(851)이 이벤트 컨텍스트(2706)로부터 획득된 텍스트 메시지 도메인 객체로부터 도출될 수 있다. 이러한 컨텍스트 값(851)의 소스가 표현될 수 있다.
사용자 요청 및/또는 의도의 히스토리의 표현
일 실시예에서는, 사용자 요청의 히스토리가 저장될 수 있다. 일 실시예에서는, (자연어 처리로부터 도출된) 사용자 의도의 심오한 구조적 표현의 히스토리가 또한 저장될 수 있다. 이는 가상 비서(1002)로 하여금 이전에 해석된 입력의 컨텍스트에서 새로운 입력이 의미가 맞게끔 되게 해준다. 예를 들면, 사용자가 "뉴욕 날씨는 어때?"라고 물으면, 언어 해석기(2770)는 뉴욕의 위치를 언급하는 것으로 질문을 해석할 수 있다. 그러면, 사용자가 "이번 주는 어때?"라고 말하면, 가상 비서(1002)는 이전 해석을 참조하여, "어때"를 "날씨가 어때"를 의미하는 것으로 해석해야 하는 것으로 판단할 수 있다.
결과 히스토리의 표현
일 실시예에서는, 사용자 요청의 결과의 히스토리가 도메인 객체의 형태로 저장될 수 있다. 예를 들어, "좋은 이탈리아 레스토랑을 찾아주세요."라는 사용자의 요청에 대해, 레스토랑을 표시하는 도메인 객체들의 셋트가 반환될 수 있다. 그 후, 사용자가 "아밀리오스를 불러주세요."와 같은 커맨드를 입력하면, 가상 비서(1002)는, 검색 결과 내에서, 불러올 수 있는 모든 가능한 장소들 중에서 가장 작은 셋트인 아밀리오스라는 이름의 레스토랑에 대한 결과를 검색할 수 있다.
컨텍스트 변수의 지연된 바인딩
일 실시예에서는, 컨텍스트 변수가 필요에 따라(on demand) 검색되거나 유도되는 정보를 나타낼 수 있다. 예를 들어, 현재 위치를 나타내는 컨텍스트 변수가, 액세스시에, 디바이스로부터 현재 위치 데이터를 검색하는 API를 호출한 다음, 예를 들어, 거리 어드레스를 계산하기 위한 다른 처리를 할 수 있다. 그 컨텍스트 변수의 값은 캐싱 정책에 따라서, 특정 시간 기간 동안 유지될 수 있다.
컨텍스트 검색
가상 비서(1002)는, 정보 처리 문제를 해결하기 위해, 관련 컨텍스트 정보를 검색하기 위한 많은 서로 다른 접근법 중 임의의 방법을 사용할 수 있다. 서로 다른 유형의 검색의 예는, 이에 제한되는 바는 아니지만, 다음을 포함한다:
Figure 112012079876745-pat00126
컨텍스트 변수 이름에 의한 검색. "현재 사용자의 이름(first name)"과 같이, 요구된 컨텍스트 변수의 이름이 알려져 있는 경우, 가상 비서(1002)는 그 이름의 인스턴스를 검색할 수 있다. 히스토리가 유지되고 있는 경우, 가상 비서(1002)는 먼저 현재 값들을 검색한 다음, 매칭이 발견될 때까지 이전 데이터를 컨설팅한다.
Figure 112012079876745-pat00127
컨텍스트 변수 유형에 의한 검색. 개인과 같은, 요청된 컨텍스트 변수의 유형이 알려져 있는 경우, 가상 비서(1002)는 이러한 유형의 컨텍스트 변수의 인스턴스들을 검색할 수 있다. 히스토리가 유지되는 경우, 가상 비서(1002)는 먼저 현재 값들을 검색한 다음, 매칭이 발견될 때까지 이전 데이터를 컨설팅할 수 있다.
일 실시예에서는, 현재 정보 처리 문제가 단 하나의 매칭을 요구하는 경우, 매칭이 일단 발견되면 검색은 종료한다. 여러 개의 매칭이 허용되는 경우에는, 몇몇 제한에 도달할 때까지 매칭 결과가 검색될 수 있다.
일 실시예에서는, 적절하다면, 가상 비서(1002)가 특정 유도를 갖는 데이터에 대한 검색을 제한할 수 있다. 예를 들어, 이메일을 보내기 위해 태스크 플로우 내에서 사람 객체를 찾고 있는 경우, 가상 비서(1002)는 그 유도가 그 도메인과 연관된 애플리케이션인 컨텍스트 변수를 고려하기만 하면 될 수 있다.
일 실시예에서, 가상 비서(1002)는 컨텍스트 변수의 임의의 이용 가능한 속성들을 이용한 발견법(heuristics)에 따라 매칭을 서열화하는 규칙을 이용한다. 예를 들어, "그녀에게 늦겠다고 전해줘"라는 커맨드를 포함하는 사용자 입력을 처리하는 경우, 가상 비서(1002)는 컨텍스트를 참조하여 "그녀"를 해석한다. 그러는 동안, 가상 비서(1002)는, 그 도출이 텍스트 메시징 및 이메일과 같은 통신 애플리케이션을 위한 애플리케이션 사용 히스토리인 사람 객체에 대한 기본설정을 표시하도록 서열화를 적용할 수 있다. 또 다른 예로서, "그녀에게 전화를 해"라는 커맨드를 해석하는 경우, 가상 비서(1002)는 전화 번호가 알려져 있지 않은 사람 객체들보다는 전화 번호가 있는 사람 객체들을 선호하는 것으로 서열화를 적용할 수 있다. 일 실시예에서, 서열화 규칙은 도메인들과 연관될 수 있다. 예를 들어, 이메일 및 전화 도메인에 대한 개인 변수의 서열화를 위해 서로 다른 서열화 규칙들이 이용될 수 있다. 당업자는, 이러한 임의의 서열화 규칙(들)이, 필요한 컨텍스트 정보에 대한 특수한 표현 및 액세스에 따라서 창출 및/또는 적용될 수 있다는 것을 인식할 것이다.
가상 비서 처리를 향상시키기 위한 컨텍스트의 이용
전술한 바와 같이, 컨텍스트는 가상 비서(1002)의 동작과 관련하여 각종 계산 및 추론에 적용될 수 있다. 지금 도 2를 참조하면, 일 실시예에 따른, 가상 비서(1002)에서의 다양한 처리 단계들에서 컨텍스트를 사용하는 방법(10)을 도시하는 흐름도가 도시된다.
방법(10)은 가상 비서(1002)의 하나 이상의 실시예들과 관련되어 구현될 수 있다.
적어도 일 실시예에서는, 방법(10)이 다양한 유형의 기능들, 동작들, 액션들, 및/또는 예를 들면 이하의 하나 이상의 단계들(또는 이들의 조합)과 같은 다른 특징들을 수행하도록 동작될 수 있다:
Figure 112012079876745-pat00128
사용자와 가상 비서(1002) 간의 대화 인터페이스의 인터페이스 제어 흐름 루프를 실행한다. 방법(10)의 적어도 한 번의 반복은 대화에서 플라이(ply)로서 역할을 할 수 있다. 대화 인터페이스는, 대화 방식으로, 발성을 앞뒤로 함으로써 사용자와 비서(1002)가 통신하는 인터페이스이다.
Figure 112012079876745-pat00129
가상 비서(1002)에 대한 실행적인 제어 흐름을 제공한다. 즉, 절차는 입력의 수집, 입력의 처리, 출력의 생성, 및 출력의 사용자에의 제시를 제어한다.
Figure 112012079876745-pat00130
가상 비서(1002)의 컴포넌트들 간의 통신을 조정한다. 즉, 하나의 컴포넌트의 출력이 다른 하나의 컴포넌트에 피딩되는 장소 그리고 환경으로부터의 전체 입력 및 환경에 대한 액션이 발생할 수 있는 장소를 지시할 수 있다.
적어도 일부 실시예들에서는, 방법(10)의 일부가 또한 컴퓨터 네트워크의 다른 디바이스들 및/또는 시스템들에서 구현될 수 있다.
특정한 실시예에 따르면, 방법(10)의 다수의 인스턴스들 또는 스레드들이 동시에 구현되고/되거나 하나 이상의 프로세서(63) 및/또는 하드웨어의 다른 조합 및/또는 하드웨어와 소프트웨어의 이용에 의해 동시에 개시될 수 있다. 적어도 일 실시예에서는, 방법(10)의 하나 이상의 또는 선택된 일부가 하나 이상의 클라이언트(들)(1304), 하나 이상의 서버(들)(1340), 및/또는 이들의 조합에서 구현될 수 있다.
예를 들면, 적어도 일부 실시예들에서는, 방법(10)의 다양한 양태, 특징 및/또는 기능성들이 소프트웨어 컴포넌트, 네트워크 서비스, 데이터베이스, 및/또는 기타, 또는 이들의 임의의 조합에 의해 수행, 구현 및/또는 개시될 수 있다.
상이한 실시예들에 따르면, 방법(10)의 하나 이상의 스레드 또는 인스턴스는 방법(10)의 적어도 하나의 인스턴스의 개시를 트리거하기 위하여 (예를 들어, 최소 임계값 기준과 같은) 하나 이상의 상이한 유형의 기준(criteria)을 만족시키는 하나 이상의 조건 또는 이벤트의 검출에 응답하여 개시될 수 있다. 방법의 하나 이상의 상이한 스레드 또는 인스턴스의 예들의 개시 및/또는 구현을 트리거할 수 있는 다양한 유형의 조건 또는 이벤트의 예는 다음 중 하나 이상(또는 그 결합)(이에 제한되지 않음)을 포함할 수 있다:
Figure 112012079876745-pat00131
예를 들어, 다음 중 하나 이상(이에 제한되지 않음)과 같은 가상 비서(1002)의 인스턴스를 갖는 사용자 세션:
ㅇ 예를 들어, 가상 비서(1002)의 실시예를 구현 중인 모바일 디바이스 애플리케이션을 시동 중인(starting up) 모바일 디바이스 애플리케이션;
ㅇ 예를 들어, 가상 비서(1002)의 실시예를 구현 중인 애플리케이션을 시동 중인 컴퓨터 애플리케이션;
ㅇ "음성 입력 버튼"과 같은, 눌려지는 모바일 디바이스 상의 전용 버튼;
ㅇ 헤드셋, 전화 핸드셋 또는 기지국, GPS 네비게이션 시스템, 소비자 기기, 리모트 컨트롤 또는 보조자를 호출하는 것과 연관될 수 있는 버튼을 갖는 임의의 기타 디바이스와 같은 컴퓨터 또는 모바일 디바이스에 부착된 주변 디바이스 상의 버튼;
ㅇ 웹브라우저로부터 가상 비서(1002)를 구현하는 웹사이트로 시작된 웹세션;
ㅇ 기존의 웹브라우저 세션 내로부터 예를 들어, 가상 비서(1002) 서비스가 요청되는 가상 비서(1002)를 구현하는 웹사이트로 시작된 상호작용;
ㅇ 가상 비서(1002)의 구현물과의 통신을 조정하는 모달리티 서버(1426)로 전송된 이메일 메시지;
ㅇ 텍스트 메시지가 가상 비서(1002)의 구현물과의 통신을 조정하는 모달리티 서버(1426)로 전송됨;
ㅇ 가상 비서(1002)의 구현물과의 통신을 조정하는 모달리티 서버(1434)에 전화 통화가 행해짐;
ㅇ 가상 비서(1002)의 구현을 제공하는 애플리케이션에 경보 또는 통지와 같은 이벤트가 전송됨.
Figure 112012079876745-pat00132
가상 비서(1002)를 제공하는 디바이스가 턴온 및/또는 시작될 때.
상이한 실시예들에 따르면, 방법(10)의 하나 이상의 상이한 스레드 또는 인스턴스는 수동으로, 자동으로, 통계적으로, 동적으로, 동시에 및/또는 그 조합으로 개시 및/또는 구현될 수 있다. 또한, 방법(10)의 상이한 인스턴스들 및/또는 실시예들은 하나 이상의 상이한 시구간에서 개시될 수 있다(예를 들어, 특정 시구간 동안, 규칙적인 주기적 구간에, 불규칙적인 주기적 구간에, 수요 시 등).
적어도 일 실시예에서, 방법(10)의 주어진 인스턴스는 전술한 바와 같은 컨텍스트 데이터를 포함한 특정 태스크들 및/또는 동작들을 수행할 때, 다양한 상이한 유형의 데이터 및/또는 기타 유형의 정보를 사용 및/또는 생성할 수 있다. 데이터는 또한 임의의 다른 유형의 입력 데이터/정보 및/또는 출력 데이터/정보를 포함할 수 있다. 예를 들어, 적어도 일 실시예에서, 방법(10)의 적어도 하나의 인스턴스는 예를 들어, 하나 이상의 데이터베이스와 같은 하나 이상의 상이한 유형의 소스로부터의 정보를 액세스, 처리 및/또는 그렇지 않으면 사용할 수 있다. 적어도 일 실시예에서, 적어도 데이터베이스 정보의 일부분은 하나 이상의 로컬 및/또는 리모트 메모리 디바이스와의 통신을 통해 액세스될 수 있다. 또한, 방법(10)의 적어도 하나의 인스턴스는 예를 들어, 로컬 메모리 및/또는 리모트 메모리 디바이스들에 저장될 수 있는 하나 이상의 상이한 유형의 출력 데이터/정보를 생성할 수 있다.
적어도 일 실시예에서, 방법(10)의 주어진 인스턴스의 초기 구성은 하나 이상의 상이한 유형의 초기화 파라미터를 사용하여 수행될 수 있다. 적어도 일 실시예에서, 초기화 파라미터들 중 적어도 일부는 하나 이상의 로컬 및/또는 리모트 메모리 디바이스와의 통신을 통해 액세스될 수 있다. 적어도 일 실시예에서, 방법(10)의 인스턴스에 제공된 초기화 파라미터의 적어도 일부는 입력 데이터/정보에 대응할 수 있고, 및/또는 입력 데이터/정보로부터 파생될 수 있다.
도 2의 특정 예에서, 단일 사용자가 음성 입력 기능들을 갖는 클라이언트 애플리케이션으로부터 네트워크를 통해 가상 비서(1002)의 인스턴스에 액세스하고 있다고 가정한다.
음성 입력은 유도(elicitation)되어 해석된다(100). 유도는 임의의 적절한 모드에서 프롬프트들을 제시하는 것을 포함할 수 있다. 다양한 실시예들에서, 클라이언트의 사용자 인터페이스는 입력의 여러 모드들을 제공한다. 이들은 예를 들어, 다음을 포함할 수 있다;
Figure 112012079876745-pat00133
액티브 타이핑된 입력(active typed-input) 유도 절차를 호출할 수 있는, 타이핑된 입력을 위한 인터페이스;
Figure 112012079876745-pat00134
액티브 음성 입력 유도 절차를 호출할 수 있는, 음성 입력을 위한 인터페이스;
Figure 112012079876745-pat00135
액티브 GUI 기반 입력 유도를 호출할 수 있는, 메뉴로부터 입력들을 선택하기 위한 인터페이스.
이들 각각을 수행하기 위한 기술들이 상기 참조된 관련 특허 출원들에서 개시된다. 당업자는 다른 입력 모드들이 제공될 수 있다는 것을 인식할 것이다. 단계(100)의 출력은 입력 음성의 후보 해석의 집합(190)이다.
후보 해석의 집합(190)은 언어 해석기(2770)(자연어 프로세서 또는 NLP라고도 칭함)에 의해 처리되며(200), 언어 해석기(2770)는 텍스트 입력을 파싱하고, 사용자 의도의 가능한 해석의 집합(290)을 생성한다.
단계(300)에서, 사용자의 의도의 표시(들)(290)는 도 5와 관련하여 기술된 플로우 분석 절차 및 대화의 실시예를 구현하는 대화 플로우 프로세서(2780)로 전달된다. 대화 플로우 프로세서(2780)는 어느 의도의 해석이 가장 가능성 있는지를 결정하고, 이 해석을 도메인 모델들의 인스턴스들 및 태스크 모델의 파라미터들에 맵핑하고, 태스크 플로우에서 다음 플로우 단계를 결정한다.
단계(400)에서, 식별된 플로우 단계가 실행된다. 일 실시예에서, 플로우 단계의 호출은 사용자의 요청 대신에 서비스들의 집합을 호출하는 서비스 편성 컴포넌트(2782)에 의해 수행된다. 일 실시예에서, 이들 서비스들은 일부 데이터를 공통 결과로 참가시킨다(contribute).
단계(500)에서, 대화 응답이 생성된다. 단계(700)에서, 응답이 출력을 위하여 클라이언트 디바이스로 전송된다. 디바이스 상의 클라이언트 소프트웨어는 이것을 클라이언트 디바이스의 스크린(또는 다른 출력 디바이스) 상에 렌더링한다.
응답을 본 후, 사용자가 완료하면(790), 방법은 종료한다. 사용자가 종료하지 않으면, 단계(100)로 리턴함으로써 루프의 다른 반복이 개시된다.
컨텍스트 정보(1000)가 방법(10)의 다양한 포인트들에서 시스템의 다양한 컴포넌트들에 의해 사용될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 컨텍스트(1000)는 단계(100, 200, 300 및 500)에서 사용될 수 있다. 이들 단계들에서의 컨텍스트(1000)의 사용의 추가적인 설명이 이하에서 제공된다. 그러나, 당업자는 본 발명의 핵심적인 특징들로부터 벗어나지 않고, 컨텍스트 정보의 사용이 이들 특정 단계들에 제한되지 않고, 또한 시스템이 다른 포인트들에서 컨텍스트 정보를 사용할 수 있다는 것을 인식할 것이다.
또한, 당업자는 방법(10)의 상이한 실시예들이 도 2에 도시된 특정 실시예에 도시된 것 외의 추가의 특징들 및/또는 동작들을 포함할 수 있고, 도 2의 특정 실시예에 도시된 것과 같은 방법(10)의 특징들 및/또는 동작들 중 적어도 일부를 생략할 수 있다는 것을 인식할 것이다.
음성 유도 및 해석에서의 컨텍스트 사용
이제 도 3을 참조하면, 일 실시예에 따른 음성 인식을 향상시키도록, 음성 유도 및 해석(100)에서 컨텍스트를 사용하기 위한 방법을 도시하는 흐름도가 도시되어 있다. 컨텍스트(1000)는 예를 들어, 음소(phoneme)들을 단어들에 매칭시키는 후보 가설들의 생성, 서열화 및 필터링을 가이드하기 위하여 음성 인식에서의 명확성(disambiguation)을 위하여 사용될 수 있다. 상이한 음성 인식 시스템들은 생성, 서열 및 필터의 다양한 혼합들을 사용하지만, 컨텍스트(1000)는 일반적으로 임의의 스테이지에서 가설 공간을 감소시키기 위하여 적용될 수 있다.
방법이 시작된다(100). 가상 비서(1002)는 청각 신호의 형태로 보이스 또는 음성 입력을 수신한다(121). 음성-텍스트 변환 서비스(122) 또는 프로세서는 청각 신호의 후보 텍스트 해석(124)의 집합을 생성한다. 일 실시예에서, 음성-텍스트 변환 서비스(122)는 예를 들어, Massachusetts주의 Burlington의 Nuance Communications, Inc.에서 이용가능한 Nuance Recognizer를 사용하여 구현된다.
일 실시예에서, 가상 비서(1002)는 음성 입력(121)의 후보 텍스트 해석(124)을 생성하기 위하여 통계 언어 모델들(1029)을 사용한다. 일 실시예에서, 컨텍스트(1000)는 음성-텍스트 변환 서비스(122)에 의해 생성되는 후보 해석들(124)의 생성, 필터링 및/또는 서열화를 바이어스하기 위하여 적용된다. 예를 들어,
Figure 112012079876745-pat00136
음성-텍스트 변환 서비스(122)는 통계 언어 모델들(1029)을 바이어스하기 위하여 사용자 퍼스널 데이터베이스(들)(1058)로부터의 어휘를 사용할 수 있다.
Figure 112012079876745-pat00137
음성-텍스트 변환 서비스(122)는 커스텀 통계 언어 모델(1029)을 선택하기 위하여 대화 상태 컨텍스트를 사용할 수 있다. 예를 들어, 예/아니오 질문을 할 때, 이들 단어들을 듣는 쪽으로 바이어스되는 통계 언어 모델(1029)이 선택될 수 있다.
Figure 112012079876745-pat00138
음성-텍스트 변환 서비스(122)는 적절한 단어들 쪽으로 바이어스하기 위하여 현재 애플리케이션 컨텍스트를 사용할 수 있다. 예를 들어, "그녀에게 전화하는 것(call her)"는 텍스트 메시지 애플리케이션 컨텍스트에서 "칼라(collar)"보다 선호(prefer)될 수 있는데, 왜냐하면 이러한 컨텍스트는 전화걸 수 있는 사람 객체(Person Object)들을 제공하기 때문이다.
예를 들어, 주어진 음성 입력은 해석들 "그녀에게 전화하는 것" 및 "칼라"를 생성하기 위하여 음성-텍스트 변환 서비스(122)를 이끌어낼 수 있다. 통계적 언어 모델(SLM; 1029)들에 의해 가이드된, 음성-텍스트 변환 서비스(speech-to-text service; 122)는 문법적 제약사항에 의해 "call"을 들은 후에 이름들을 듣는 것으로 튜닝(tune)될 수 있다. 음성-텍스트 변환 서비스(122)는 또한 컨텍스트(1000)에 기초하여 튜닝될 수 있다. 예를 들어, "Herb"가 사용자 어드레스 북의 이름이라면, 이 컨텍스트는 "Herb"를 두 번째 음절의 해석으로서 간주하기 위하여 임계값을 낮추는 데에 이용될 수 있다. 즉, 사용자의 개인 데이터 컨텍스트에서의 이름들의 존재(presence)는 가설(hypotheses)을 세우는데 사용되는 통계적 언어 모델(1029)의 조정 및 선택에 영향을 미칠 수 있다. 이름 "Herb"는 일반 SLM(1029)의 일부일 수 있거나, 컨텍스트(1000)에 의해 직접 추가될 수 있다. 일 실시예에서, 이것은 추가적인 SLM(1029)로서 추가될 수 있는데, 이는 컨텍스트(1000)에 기초하여 조정된다. 일 실시예에서, 이것은 기존의 SLM(1029)의 조정일 수 있는데, 이는 컨텍스트(1000)에 기초하여 조정된다.
일 실시예에서, 통계적 언어 모델(1029)들은 또한, 장기 개인 메모리(2754)에 저장될 수 있는 애플리케이션 선호도 및 사용 히스토리(1072; application preferences and usage history) 및/또는 개인 데이터베이스(1058)로부터 단어, 이름, 및 어구를 찾기 위해서 조정된다. 예를 들어, 통계적 언어 모델(1029)에는 할일(to-do) 항목들, 리스트 항목들, 개인 메모들, 캘린더 엔트리들, 연락처/어드레스 북의 사람 이름들, 이메일 어드레스들, 연락처/어드레스 북에 언급된 거리 또는 도시명, 및 기타 등등이 주어질 수 있다.
서열화 컴포넌트(ranking component)는 후보 해석들(candidate interpretations; 124)을 분석하고 이들이 가상 비서(virtual assistant; 1002)의 구문론적 및/또는 의미론적 모델에 얼마나 부합한지에 따라 이 후보 해석들을 서열화한다(126). 사용자 입력에 대한 제약사항의 소스들은 어느 것이라도 이용될 수 있다. 예를 들어, 일 실시예에서, 비서(1002)는 해석들이 구문론적 및/또는 의미론적인 관점, 도메인 모델, 태스크 플로우 모델, 및/또는 대화 모델, 및/또는 기타 등등으로 얼마나 잘 파싱(parse)하는지에 따라 음성-텍스트 해석기(interpreter)의 출력을 서열화할 수 있다: 이는, 앞서 참조된 관련 U.S. 실용신안 출원 명세서에서 기술된 바와 같이, 후보 해석(124) 내의 단어들의 여러 가지 조합들이 개념들, 관계들, 엔터티들, 액티브 온톨로지(active ontology)의 속성들 및 그 관련 모델들에 얼마나 부합할 것인지를 평가한다.
후보 해석들의 서열화(126)는 컨텍스트(1000)에 의해 또한 영향받을 수 있다. 예를 들어, 사용자가 현재 가상 비서(1002)가 호출될 때 텍스트 메시징 애플리케이션으로 대화를 전달하고 있는 경우, 어구 "call her"은 단어 "collar"보다 올바른 해석이 될 가능성이 더 높은데, 그 이유는 이 컨텍스트에서 전화를 할(call) 잠재적인 "her"가 있기 때문이다. 이러한 바이어스(bias)는 현재 애플리케이션 컨텍스트가 "전화걸 수 있는 엔터티(callable entities)"를 제공할 수 있는 애플리케이션을 지시할 때 "call her" 또는 "call <contact name>"과 같이 우세한 어구들로 가설의 서열화(126)를 조정함으로써 이루어질 수 있다.
각종 실시예들에서, 도 3에 도시된 자연어 처리 절차의 임의의 실시예를 포함하는 텍스트 입력들의 해석을 위하여 비서(1002)에 의해 사용되는 알고리즘 또는 절차는 음성-텍스트 변환 서비스(122)에 의해 생성된 후보 텍스트 해석들(124)을 서열화하고 스코어링(score)하는 데에 이용될 수 있다.
컨텍스트(1000)는 후보 해석들(124)의 서열화에 영향을 주거나 그 생성을 제약하는 대신에 또는 그에 더하여, 후보 해석들(124)을 필터링하는 데에도 사용될 수 있다. 예를 들어, 필터링 규칙은 "Herb"에 대한 어드레스 북 엔트리의 컨텍스트가, 이 컨텍스트를 포함하는 어구는, 비록 다른 경우에 필터링 임계값 이하에 있을 경우더라도, 최상위 후보(130)로 간주되어야 함을 충분히 나타낸다고 규정할 수 있다. 사용되고 있는 특정 음성 인식 기술에 따라서, 컨텍스트의 바이어스에 기초한 제약들이 생성, 서열화, 및/또는 필터링 단계에 적용될 수 있다.
일 실시예에서, 서열화 컴포넌트(126)는 해석들(124)로부터 최고 서열화 음성 해석이 특정된 임계값을 초과하여 서열화된다고 결정하면(128), 이 최고 서열화 해석은 자동으로 선택될 수 있다(130). 어떠한 해석도 특정된 임계값을 초과하여 서열화되지 않으면, 음성의 가능한 후보 해석들(134)이 사용자에게 제공된다(132). 그러면 사용자가 디스플레이된 선택사항들(choices) 중에서 선택을 할 수 있다(136).
이제 도 26a 및 26b를 참조하여 보면, 일 실시예에 따른, 후보 해석들 중에서 선택을 하기 위한 사용자 인터페이스의 일례를 도시하는 스크린 샷이 도시된다. 도 26a는 모호한 해석(ambiguous interpretation; 2651) 아래에 점선이 있는 사용자의 음성의 표시를 도시한다. 사용자가 텍스트 상으로 태핑(tap)한다면, 도 26b에 도시된 바와 같이, 대안적인 해석들(2652A, 2652B)을 보여준다. 일 실시예에서, 컨텍스트(1000)는 후보 해석들(2652A, 2652B) 중 어떤 것이 바람직한 해석인지(도 26a에서 초기 디폴트로 도시됨)에 그리고 도 26b에서와 같이 제시한 대안들의 유한 집합에서의 선택에도 영향을 미칠 수 있다.
각종 실시예에서, 디스플레이된 선택사항 중에서의 사용자 선택(136)은 예컨데, 다모드 입력을 포함하는, 임의의 입력 모드에 의해 이루어질 수 있다. 이러한 입력 모드는 적극 유도형 입력(actively elicited typed input), 적극 유도형 음성 입력, 입력에 대한 적극 제시형 GUI, 및/또는 기타 등등을 포함하지만, 이에 제한되지 않는다. 일 실시예에서, 사용자는, 예컨테 태핑 또는 스피킹에 의하여, 후보 해석들(134) 중에서 선택을 할 수 있다. 스피킹의 경우, 새로운 음성 입력의 가능한 해석은 제공된 선택사항의 소형 세트(134)로 크게 제약된다.
입력이 자동으로 선택되든지(130) 사용자에 의해 선택되는지(136) 간에, 그 결과의 하나 이상의 텍스트 해석(들)(190)이 리턴된다. 적어도 하나의 실시예에서, 이 리턴된 입력에 주석이 달려서, 단계 136에서 어떠한 선택이 이루어졌는지에 대한 정보가 컨텍스트의 입력과 함께 보유된다. 이는, 예를 들어, 스트링의 기초를 이루는 의미론적 개념 또는 엔터티가 이 스트링 리턴시에 스트링과 연관될 수 있도록 해줌으로써, 후속 언어 해석의 정확도를 높여준다.
도 1에 관련하여 기술된 소스들은 어느 것이라도 도 3에 도시된 음성 유도 및 해석 방법에 컨텍스트(1000)를 제공할 수 있다. 예를 들자면, 다음과 같다:
Figure 112012079876745-pat00139
개인 음향 컨텍스트 데이터(Personal Acoustic Context Data; 1080)가, 가능한 SLM(1029)들로부터 선택을 하거나 다른 경우 이들 SLM을 인식된 음향 컨텍스트들에 최적화시키도록 튜닝하는 데에 이용될 수 있다.
Figure 112012079876745-pat00140
사용 중인 마이크로폰 및/또는 카메라의 속성들을 기술하는 디바이스 센서 데이터(1056)가, 가능한 SLM(1029)들로부터 선택을 하거나 다른 경우 이들 SLM을 인식된 음향 컨텍스트들에 최적화시키도록 튜닝하는 데에 이용될 수 있다.
Figure 112012079876745-pat00141
개인 데이터베이스(1058) 및 애플리케이션 선호도 및 사용 히스토리(1072)로부터의 어휘(Vocabulary)가 컨텍스트(1000)로서 이용될 수 있다. 예를 들어, 미디어 명칭 및 아티스트의 이름이 언어 모델(1029)을 튜닝하는 데에 이용될 수 있다.
Figure 112012079876745-pat00142
대화 히스토리 및 보조 메모리(1052)의 일부인 현재의 대화 상태(Current dialog state)가 음성-텍스트 변환 서비스(122)에 의해 후보 해석들(124)의 생성/필터링/서열화를 바이어스하는 데에 이용될 수 있다. 예를 들어, 대화 상태의 한 종류는 예/아니오 질문을 하는 것이다. 이러한 상태일 때, 절차(100)는 이들 단어를 듣는 방향으로 바이어싱하는 SLM(1029)을 선택할 수 있거나, 122에서 컨텍스트-특정 조정으로 이들 단어의 서열화 및 필터링을 바이어싱할 수 있다.
자연어 처리에서의 컨텍스트 사용
컨텍스트(1000)는 자연어 처리(NLP) - 텍스트 입력을 가능한 파스(parse)들을 나타내는 의미론적 구조로 파싱하는 것 - 을 용이하게 하는 데에 이용될 수 있다. 이제 도 4를 참조하여 보면, 일 실시예에 따른, 언어 해석기(2770)에 의해 수행될 수 있는, 자연어 처리에 있어 컨텍스트를 사용하기 위한 방법을 도시하는 플로우 차트가 도시된다.
방법은 200에서 시작한다. 입력 텍스트(202)가 수신된다. 일 실시예에서, 입력 텍스트(202)는 패턴 인식기(2760), 어휘 데이터베이스(2758), 온톨로지들 및 기타 모델들(1050)을 이용하여 단어들 및 어구들에 대해 매칭되어(210), 사용자 입력과 개념들 간의 연관성(associations)을 식별한다. 단계 210는 후보 구문론적 파스들(212) 세트를 산출하는데, 이 파스들은 후보 의미론적 파스들(222)을 산출하는 의미론적 관련성(semantic relevance; 220)에 대하여 매치된다. 그 다음 후보 파스들은 230에서 모호한 대안들을 제거하는 처리가 수행되고, 필터링되고, 관련성에 의해 분류된 다음(232) 리턴된다.
자연어 처리 전반에 걸쳐, 가설 공간 및 제약 가능 파스들을 줄이기 위해 컨텍스트 정보(1000)가 적용될 수 있다. 예를 들어, 언어 해석기(2770)가 2개의 후보 "call her" 및 "call Herb"를 수신하였다면, 언어 해석기(2770)는 단어 "call", "her", 및 "Herb"에 대한 바인딩(212)들을 찾을 것이다. 애플리케이션 컨텍스트(1060)는 "call"에 대한 가능한 단어 뜻을 "phone call"을 의미하는 것으로 제약하는 데에 이용될 수 있다. 컨텍스트는 또한 "her" 및 "Herb"에 대한 지시 대상(referents)을 찾는 데에도 이용될 수 있다. "her"에 대해서는, 컨텍스트 소스(1000)들이 전화걸 수 있는 엔터티들의 소스를 찾기 위해 검색될 수 있다. 이 예에서, 텍스트 메시징 대화의 대상자가 전화걸 수 있는 엔터티이고, 이 정보는 텍스트 메시징 애플리케이션으로부터 오는 컨텍스트의 일부이다. "Herb"의 경우에는, 사용자의 어드레스 북이, (도메인 엔터티 데이터베이스(2772)로부터의 가장 선호하는 숫자들과 같은) 애플리케이션 선호도 및 (도메인 엔터티 데이터베이스(2772)로부터의 최근 건 전화와 같은) 애플리케이션 사용 히스토리와 같은 다른 개인 데이터에서와 같이, 명확히 하는(disambiguating) 컨텍스트의 소스이다. 이 예에서, 현재 텍스트 메시징을 하는 자는 Rebec-caRichards이고, 이 사용자의 어드레스 북에 HerbGowen이 있는 경우, 언어 해석기(2770)에 의해 생성된 2개의 파스들은 "Phone-Call(RebeccaRichards)" 및 "PhoneCall (HerbGowen)"를 나타내는 의미론적 구조일 것이다.
애플리케이션 선호도 및 사용 히스토리(1072)로부터의 데이터, 대화 히스토리 및 보조 메모리(1052), 및/또는 개인 데이터베이스(1058)는 언어 해석기(2770)에 의해 후보 구문론적 파스들(212)을 생성하는 데에 또한 사용될 수 있다. 이러한 데이터는, 예를 들어, 단기 메모리 및/또는 장기 메모리(2752, 2754)로부터 획득될 수 있다. 이런 식으로, 성능을 향상시키고, 모호함을 줄이며, 인터렉션의 대화적인 성격을 강화시키기 위해 동일한 세션에서 사전에 제공되었던 입력 및/또는 사용자에 대하여 알려진 정보가 이용될 수 있다. 또한, 유효한 후보 구문론적 파스들(212)을 결정함에 있어 명확한 추론(evidential reasoning)을 구현하는 데에 액티브 온톨로지(1050), 도메인 모델들(2756), 및 태스크 플로우 모델들(2786)로부터의 데이터가 이용될 수 있다.
의미론적 매칭(220)에서, 언어 해석기(2770)는 가능한 파싱 결과들의 조합을, 이들이 도메인 모델들 및 데이터베이스들과 같은 의미론적 모델들에 얼마나 잘 부합하는지에 따라 고려한다. 의미론적 매칭(220)은, 예를 들어, 액티브 온톨로지(1050), 단기 개인 메모리(2752), 및 장기 개인 메모리(2754)로부터의 데이터를 사용할 수 있다. 예를 들어, 의미론적 매칭(220)은 대화의 장소들 또는 로컬 이벤트(대화 히스토리 및 보조 메모리(1052)) 또는 개인의 가장 선호하는 장소들(애플리케이션 선호도 및 사용 히스토리(1072))에 대한 이전 참조로부터의 데이터를 이용할 수 있다. 의미론적 매칭(220) 단계는 또한 어구들을 도메인 의도 구조(domain intent structure)들로 해석하는 데에 컨텍스트(1000)를 이용한다. 후보, 또는 잠재적인 의미론적 파스 결과들의 세트가 생성된다(222).
명확화 단계(disambiguation step)(230)에서, 언어 해석기(2770)는 후보 의미론적 파스 결과들(222)의 입증 강도에 중점을 둔다. 명확화(230)는 바라지 않거나 중복의 대안들을 제거함으로써 후보 의미론적 파스(222)의 수를 줄이는 것에 관련된다. 명확화(230)는, 예를 들어, 액티브 온톨로지(active ontology)(1050)의 구조로부터의 데이터를 이용할 수 있다. 적어도 일 실시예에서, 액티브 온톨로지 내의 노드들 사이의 접속들은 후보 의미론적 파스 결과들(222) 중에서 명확화를 위한 입증 지지를 제공한다. 일 실시예에서, 컨텍스트(1000)는 명확화와 같은 것을 돕는데 사용된다. 그러한 명확화의 예시들은: 동일한 이름을 갖는 몇몇 사람들 중 하나를 결정하는 단계; "응답(reply)"(이메일 또는 텍스트 메세지)과 같은 명령어에 대한 지시 대상(referent)을 결정하는 단계; 대명사의 역참조(pronoun dereferencing) 등을 포함한다.
예를 들어, "허브 호출(call Herb)"와 같은 입력은 "허브"와 매칭하는 임의의 엔티티(entity)를 잠재적으로 나타낸다. 그러한 엔티티들은 사용자의 어드레스 북(개인 데이터베이스들(1058)) 뿐만 아니라, 개인 데이터베이스들(1058) 및/또는 도메인 엔티티 데이터베이스(2772)로부터의 사업자의 이름들의 데이터베이스 내에 임의의 수만큼 있을 수 있다. 컨텍스트의 몇몇 소스들은 단계(232)에서 "허브들"을 매칭하는 세트를 제한하고/하거나, 그것들을 순위를 매기고 필터링할 수 있다. 예를 들어:
Figure 112012079876745-pat00143
인기 전화 번호 리스트 상에 있거나 최근에 호출된 허브와 같은 다른 애플리케이션 선호들 및 사용 히스토리(1072), 또는 텍스트 메세지 대화 또는 이메일 스레드(email thread)에 대한 최근 단체(party);
Figure 112012079876745-pat00144
아버지 또는 형제와 같이, 관계로서 이름지어진 허브같은, 개인 데이터베이스(1058)에서 언급된 허브, 또는 최근 캘린더 이벤트의 리스트된 참석자. 태스크가 전화 호출 대신에 미디어 재생인 경우, 미디어 제목, 제작자 등으로부터의 이름들은 제한의 소스들이 될 수 있다;
Figure 112012079876745-pat00145
요청이나 결과들 내의 대화(1052)의 최근 플라이(ply). 예를 들어, 도 25a 내지 25b에 연계하여 위에서 설명된 바와 같이, 존(John)으로부터의 이메일을 검색한 후에, 대화 컨텍스트 내에 여전히 있는 검색 결과를 이용하여, 사용자는 답변을 작성할 수 있다. 비서(1002)는 특정한 애플리케니션 도메인 객체 컨텍스트를 식별하기 위해 대화 컨텍스트를 사용할 수 있다.
또한, 컨텍스트(1000)는 적절한 이름들 외의 단어들에서의 모호성을 감소시키는 것을 도울 수 있다. 예를 들어, (도 20에 도시된 바와 같이) 이메일 애플리케이션의 사용자가 비서(1002)에게 "응답(reply)"이라고 말하는 경우, 애플리케이션의 컨텍스트는 단어가 텍스트 메세지 응답의 반대에 있는 것처럼 이메일 응답과 연관되어야 한다는 것을 결정하는 것을 돕는다.
단계(232)에서, 언어 해석기(2770)는 사용자 의도(290)의 표현으로서의 최고 의미론적 파스들을 필터링하고 분류한다(232). 컨텍스트(1000)는 그러한 필터링과 분류(232)를 공지하는데 사용될 수 있다. 결과는 사용자 의도(290)의 표현이다.
태스크 플로우 처리에서의 컨텍스트 사용
이제 도 5를 참조하면, 일 실시예에 따라, 대화 플로우 프로세서(2780)에 의해 수행될 수 있는 것과 같이. 태스크 플로우 처리에서의 컨텍스트를 사용하는 방법을 도시하는 플로우 다이어그램이 도시된다. 태스크 플로우 처리에서, 도 4의 방법으로부터 발생된 후보 파스들은 실행될 수 있는 동작의 태스크 설명들을 만들어 내기 위해 서열화되고 예시 되어진다.
방법이 시작된다(300). 사용자 의도(290)의 다수의 후보 표현이 수신된다. 일 실시예에서, 도 4와 연계하여 설명된 바와 같이, 사용자 의도(290)의 표현들은 의미론적 파스들의 세트를 포함한다.
단계(312)에서, 대화 플로우 프로세서(2780)는 사용자 의도의 결정에 기초하여, 수행하기 위한 태스크 및 그것의 파라미터를 결정하기 위한 다른 정보와 함께 의미론적 파스(들)의 선호되는 해석을 결정한다. 정보는, 예를 들어, 도메인 모델들(2756), 태스크 플로우 모델들(2786) 및/또는 대화 플로우 모델들(2787), 또는 그것들의 조합으로부터 획득될 수 있다. 예를 들어, 태스크는 전화 걸기일 수 있고, 태스크 파라미터는 전화하기 위한 전화번호이다.
일 실시예에서, 컨텍스트(1000)는 초기값들을 추론하여 모호성을 해결함으로써 파라미터들(312)의 결합을 가이드하기 위해 수행 단계(312)에서 사용된다. 예를 들어, 컨텍스트(1000)는 태스크 설명과 사용자 의도의 최고의 해석이 있는지를 결정하는 것의 예시를 가이드할 수 있다.
예를 들어, 의도 입력들(290)이 "전화걸기(RebeccaRichards)" 및 전호 걸기(HerbGowen)"라고 가정해 보라. 전화 걸기 태스크는 PhoneNumber 파라미터를 요구한다. 몇몇의 컨텍스트(100)의 소스들은 Rebecca 및 Herb에 대한 어떤 전화번호가 작동할지를 결정하도록 구성될 수 있다. 이 예시에서, 연락처 데이터베이스 내의 Rebecca를 위한 어드레스 북 엔트리는 두 개의 전화번호들을 가지고, Herb를 위한 엔트리는 전화번호들은 가지지 않고, 하나의 이메일 어드레스를 가진다. 연락처 데이터베이스와 같은 개인 데이터베이스(1058)로부터의 컨텍스트 정보(1000)는 가상 비서(1002)로 하여금 Herb보다 Rebecca를 선호하게 하는데, 이는 Rebecca의 전화번호는 있지만, Herb의 전화번호는 없기 때문이다. Rebecca를 위해 어떤 전화번호를 사용할지를 결정하기 위해, 애플리케이션 컨텍스트(1060)는 Rebecca와 텍스트 메세지 대화를 수행하는데 사용된 번호를 선택하도록 컨설팅할 수 있다. 따라서, Rebecca Rechards와 의 텍스트 메세지 대화의 컨텍스트 내의 "call her"는 Rebecca가 텍스트 메세지용으로 사용하고 있는 이동 전화에 전화를 걸라는 것임을 가상 비서(1002)는 결정할 수 있다. 이 특별한 정보는 단계(390)에서 리턴된다.
컨텍스트(1000)는 전화 번호의 모호성을 줄이는 것 이외의 것을 위해 사용될 수 있다. 그것은, 태스크 파라미터를 위한 값을 갖는 컨텍스트(1000)의 임의의 소스가 이용 가능한 한, 태스크 파라미터를 위한 다수의 가능한 값들이 있을 때는 언제든지 사용될 수 있다. 컨텍스트(1000)가 모호성을 줄일 수 있는(그리고 사용자로 하여금 후보들 중에서 선택하도록 하는 것을 피할 수 있는) 다른 예시들은; 이메일 어드레스들; 물리적 어드레스들; 시간과 날짜들; 장소; 리스트 이름; 미디어 제목들; 아티스트 이름들; 비지니스 이름들; 또는 임의의 다른 값 공간을, 제한 없이, 포함한다.
태스크 플로우 처리(300)를 위해 필요한 다른 종류의 추론들은 컨텍스트(1000)로부터 이득을 취할수도 있다. 예를 들어, 초기값 추론은 현재 위치 시간 및 다른 현재의 값들을 사용할 수 있다. 초기값 추론은 사용자의 요청에서 암시된 태스크 파라미터의 값들을 결정하는데 유용할 수 있다. 예를 들어, 누군가가 "날씨가 어때요?"라고 말하면, 그것은 이 근처의 현재 날씨가 어떤지를 암시적으로 의미한다.
단계(310)에서, 대화 플로우 프로세서(2780)는 사용자 의도의 이 해석이 진행하기에 충분하도록 강하게 지지 되는지 및/또는 대안의 모호한 파스들보다 더 지지 되는지를 결정한다. 만약, 경쟁적인 모호성 또는 충분한 불확실성이 있다면, 그 후에, 대화 플로우 단계를 설정하여 실행 단계가 대화로 하여금 사용자로부터 더 많은 정보에 대한 프롬프트를 출력하도록 하기 위해, 단계(322)가 수행된다. 사용자가 모호성을 해결하도록 하게 하는 스크린 샷이 도 14에 도시된다. 컨텍스트(1000)는, 사용자가 선택하는 후보 아이템들의 디스플레이된 메뉴를 분류하고 주석을 다는 단계(322)에서 사용될 수 있다.
단계(320)에서, 태스크 플로우 모델은 적절한 다음 단계를 결정하도록 컨설팅된다. 정보는, 예를 들어, 도메인 모델들(2756), 태스크 플로우 모델들(2786) 및/또는 대화 플로우 모델(2787), 또는 그것들의 임의의 조합으로부터 획득될 수 있다.
단계(320) 또는 단계(322)의 결과는 사용자의 요청(390)의 표현이며, 이는 적절한 서비스에 보내기 위한 대화 플로우 프로세서(2780) 및 서비스 편성(2782)에 대해 충분한 태스크 파라미터들을 포함할 수 있다.
대화 생성을 개선하기 위한 컨텍스트의 사용
대화 응답 생성(500) 중에, 비서(1002)는 그것의 사용자의 의도와 태스크에서 그것이 어떻게 동작하는지의 이해를 다시 다른 말로 바꾸어 표현(paraphrase)할 수 있다. 그러한 출력의 예시는 "오케이, Rebecca에게 그녀의 이동전화로 전화를 걸겠습니다...". 이는 사용자로 하여금 비서(1002)가 호출을 위치시키는 것과 같은 연관된 태스크 자동화를 수행하도록 인증하게 하는 것을 허용한다. 대화 생성 단계(500)에서, 비서(1002)는 사용자의 의도의 이해를 다른 말로 표현하는 것에 있어서 사용자에게 얼마나 상세히 전달할 수 있는지를 결정한다.
일 실시예에서, 또한, 컨텍스트(1000)는 대화에 있어서의 상세의 적절한 레벨의 선택을 가이드 하는 것뿐 아니라, (정보를 반복하는 것을 피하기 위해) 이전의 출력에 기초하여 필터링하는 것에 사용될 수 있다. 예를 들어, 비서(1002)는 사람과 전화 번호가 이름을 언급할지에 대한 여부와 레벨의 상세한 정도를 결정하기 위한 컨텍스트(1000)로부터 추론될 수 있다는 사실을 이용할 수 있다. 적용될 수 있는 규칙들의 예시는, 제한 없이 다음 사항들을 포함한다:
Figure 112012079876745-pat00146
컨텍스트에 의해 대명사가 해결되었을 때, 전화 걸 사람의 이름을 언급하라.
Figure 112012079876745-pat00147
사람이 텍스트 메세지와 같은 유사 컨텍스트로부터 추론되는 경우, 이름(first name)만을 사용하라.
Figure 112012079876745-pat00148
전화 번호가 애플리케이션 또는 개인 데이터 컨텍스트로부터 추론되는 경우, 다이얼 할 실제 번호보다 "이동 전화"와 같은 전화 번호의 상징적 이름을 사용하라.
상세의 적절한 레벨을 가이드하는 단계에 부가하여, 또한, 컨텍스트(1000)는, 예를 들어, 반복을 피하도록 이전의 발언(utterance)들을 필터링하기 위해, 그리고 대화중의 이전에 언급된 엔티티들을 나타내기 위해 대화 생성 단계(500)에서 사용될 수 있다.
본 기술분야의 숙련자는 컨텍스트(1000)가 다른 방식들로 사용될 수도 있다는 것을 알게 될 것이다. 예를 들어, 이곳에 설명된 기술들과 연계하여, 컨텍스트(1000)는 전체 명세서가 참조로서 이곳에 통합되고, 2009년 6월 5일에 출원된, 대리인 문서 번호 P7393US1인 "Contextual Voice Commands"에 관한 관련 U.S 유틸리티 출원 번호 제12/479,477호에 설명된 메카니즘에 따라 이용될 수 있다.
컨텍스트 수집 및 통신 메카니즘
다양한 실시예들에서, 상이한 메카니즘들이 가상 비서(1002) 내의 컨텍스트 정보를 수집하고 통신하는데 이용된다. 예를 들어, 일 실시예에서, 가상 비서(1002)는 클라이언트/서버 환경에서 구현되어 그것의 서비스들이 클라이언트와 서버 사이에 분포되며, 컨텍스트(1000)의 소스들이 분포될 수도 있다.
이제 도 6을 참조하면, 일 실시예에 따른, 클라이언트(1304)와 서버(1340) 사이의 컨텍스트(1000)의 소스들의 분포의 예시가 도시된다. 이동 컴퓨팅 디바이스 또는 다른 디바이스일 수 있는 클라이언트 디바이스(1304)는 디바이스 센서 데이터(1056), 현재 애플리케이션 컨텍스트(1060), 이벤트 컨텍스트(2706) 등과 같은 컨텍스트 정보(1000)의 소스가 될 수 있다. 컨텍스트(1000)의 다른 소스들은 클라이언트(1304) 또는 서버(1340) 또는 양쪽 모두의 일부 조합 상에 분포될 수 있다. 예시들은 애플리케이션 선호도 및 사용 히스토리(1072c, 1072s); 대화 히스토리 및 보조 메모리(1052c, 1052s); 개인 데이터베이스들(1058c, 1058s); 및 개인 음향 컨텍스트 데이터(1080c, 1080s)를 포함한다. 이들 예시들의 각각에서, 컨텍스트(1000)의 소스들은 서버(1340), 클라이언트(1304), 또는 둘 모두 상에 존재할 수 있다. 더욱이, 위에서 설명된 바와 같이, 도 2에서 도시된 다양한 단계들은 클라이언트(1304) 또는 서버(1340), 또는 둘 모두의 일부 조합에 의해 수행될 수 있다.
일 실시예에서, 컨텍스트(1000)는 클라이언트(1304) 및 서버(1340)와 같은 분포된 컴포넌트들 사이에서 통신될 수 있다. 그러한 통신은 로컬 API 또는 분산 네트워크, 또는 일부 다른 수단들에 의한 것일 수 있다.
이제 도 7a 내지 도 7d를 참조하면, 다양한 실시예들에 따라, 컨텍스트 정보(1000)를 획득하고 코디네이트하기 위한 메카니즘들의 예시들을 도시하는 이벤트 다이어그램들이 도시된다. 다양한 기술들이 컨텍스트를 로딩 또는 통신하기 위해 존재하여, 필요할 때 또는 유용할 때, 가상 비서(1002)에 대해 이용 가능하게 된다. 이들 메카니즘들 각각은 가상 비서(1002)의 동작; 디바이스 또는 애플리케이션 초기화(601); 초기 사용자 입력(602); 초기 입력 처리(603); 및 컨텍스트에 의존하는 처리(604)에 관해 위치할 수 있는 4 개의 이벤트들에 관하여 설명된다.
도 7a는 사용자 입력(602)이 시작되는 경우, 컨텍스트 정보(1000)가 "풀(pull)" 메카니즘을 이용하여 로딩되는 접근법을 도시한다. 사용자가 가상 비서(1002)를 호출하고, 적어도 일부 입력(602)을 제공하는 경우, 가상 비서(1002)는 컨텍스트(1000)를 로딩한다(610). 로딩(610)은 적절한 소스로부터 컨텍스트 정보(1000)를 요청하거나 검색하는 것에 의해 수행될 수 있다. 입력 처리(603)는 컨텍스트(1000)가 로딩된(610) 경우 시작한다.
도 7b는 디바이스 또는 애플리케이션이 초기화되었을 때(601), 일부 컨텍스트 정보(1000)가 로딩되며(620), 사용자 입력이 시작되는 경우(602), 부가적인 컨텍스트 정보(1000)가 풀 메카니즘을 이용하여 로딩되는 접근법을 도시한다. 일 실시예에서, 초기화에서 로딩된(620) 컨텍스트 정보(1000)는 정적 컨텍스트(즉, 자주 바뀌지 않는 컨텍스트)를 포함하며; 사용자 입력이 시작된 경우(602), 로딩되는(621) 컨텍스트 정보(1000)는 동적 컨텍스트(즉, 정적 컨텍스트가 로딩 되었기(620) 때문에 바뀔 수 있는 컨텍스트)를 포함한다. 그러한 접근법은 시스템의 런타임 성능으로부터 정적 컨텍스트 정보(1000)를 로딩하는 것의 비용을 제거함으로써 성능을 개선시킬 수 있다.
도 7c는 도 7b의 접근법의 변형예를 도시한다. 본 예에서, 동적 컨텍스트 정보(1000)는 입력 처리가 시작(603)된 후 로딩(621)의 지속을 허용한다. 따라서, 로딩(621)은 입력 처리와 병렬로 일어날 수 있다. 가상 비서(1002) 절차는 처리가 수신된 컨텍스트 정보(1000)에 의존할 때 단계(604)에서 단지 차단된다.
도 7d는 아래와 같은 5가지 상이한 방식 중 어느 하나로 컨텍스트를 다루는 완전 구성가능한 버전을 도시한다:
Figure 112012079876745-pat00149
정적 컨텍스트(static contextual) 정보(1000)는 컨텍스트 소스에서 가상 비서(1002)를 실행하는 환경 또는 디바이스로의 일 방향으로 동기화(640)된다. 데이터가 컨텍스트 소스에서 변경될 때, 그 변경은 가상 비서(1002)에게 푸시(push)된다. 예컨대, 어드레스 북은 초기에 생성 또는 인에이블될 때 가상 비서(1002)에 동기화된다. 어드레스 북이 수정될 때마다, 변경은 가상 비서(1002)에게 즉시 또는 일괄 접근 방식으로 푸시된다. 도 7d에 도시된 바와 같이, 이런 동기화(640)는 사용자 입력이 시작(602)되기 전을 포함하는 어느 때나 일어날 수 있다.
Figure 112012079876745-pat00150
일 실시예에서, 사용자 입력이 시작(602)될 때, 정적 컨텍스트 소스는 동기화 상태를 체크할 수 있다. 필요한 경우, 나머지 정적 컨텍스트 정보(1000)를 동기화하는 프로세스가 시작된다(641).
Figure 112012079876745-pat00151
사용자 입력이 시작(602)될 때, 일부 동적 컨텍스트(1000)는 사실상 610 및 621에서 로딩(642)된다. 컨텍스트(1000)를 소비하는 절차들은 이들이 필요로 하는 아직까지 로딩되지 않은 컨텍스트 정보(1000)를 대기하도록 단지 차단된다.
Figure 112012079876745-pat00152
다른 컨텍스트 정보(1000)는 이들이 필요로 할 때 프로세스에 의해 온디맨드(On demand)(643)식으로 로딩된다.
Figure 112012079876745-pat00153
이벤트 컨텍스트(2706)는 이벤트가 일어날 때 소스에서 가상 비서(1002)를 실행하는 디바이스로 전송(644)된다. 이벤트 컨텍스트(2706)를 소비하는 프로세스는 준비될 이벤트의 캐시를 단지 대기하며, 그 이후 어떠한 시간도 차단함이 없이 처리될 수 있다. 이런 식으로 로딩된 이벤트 컨텍스트(2706)는 다음 중 어느 하나를 포함할 수 있다:
Figure 112012079876745-pat00154
사용자 입력이 시작(602)되기 전에 로딩된 이벤트 컨텍스트(2706), 예컨대, 비판독 메시지 통지. 이런 정보는 예컨대 동기화된 캐시를 이용하여 유지될 수 있다.
Figure 112012079876745-pat00155
사용자 입력의 시작(602)과 동시 또는 그 이후에 로딩된 이벤트 컨텍스트(2706). 예컨대, 사용자가 가상 비서(1002)와 대화중, 텍스트 메시지가 도착할 수 있다; 비서(1002)에게 이런 이벤트를 통지하는 이벤트 컨텍스트는 비서(1002) 처리에 병렬로 푸시될 수 있다.
일 실시예에서, 컨텍스트 정보(1000)를 획득하고 조정하는 유연성은, 각각의 컨텍스트 정보(1000)의 소스에 대해, 모든 요청에 이용가능한 정보를 갖는 값에 대한 통신 비용을 밸런싱하는(balance) 액세스 API 및 통신 정책(policy)을 규정함으로써 달성된다. 예컨대, 모든 음성-텍스트 변환 요청에 관련된 변수들, 즉 마이크로폰의 파라미터를 기술하는(describe) 디바이스 센서 데이터(1056) 또는 개인용 음향 컨텍스트 데이터(1080)가 모든 요청에 대해 로딩될 수 있다. 이런 통신 정책은 예컨대 구성 테이블에서 특정될 수 있다.
도 9를 참고하면, 일 실시예에 따르는, 컨텍스트 정보(1000)의 여러 소스에 대한 캐싱 정책(caching policy) 및 통신을 특정하는데 사용될 수 있는 구성 테이블(900)의 예가 도시된다. 사용자 이름, 어드레스 북 이름, 어드레스 북 번호, SMS 이벤트 컨텍스트, 및 캘린더 데이터베이스를 포함하는 다수의 상이한 컨텍스트 소스들 각각에 대해서, 컨텍스트 로딩의 특정 타입은 도 2의 단계들 각각에서 특정된다: 음성 정보를 유도하고 해석한다(100); 자연어를 해석한다(200); 태스크를 식별한다(300); 대화 응답을 생성한다(500). 테이블(900) 내의 각각의 엔트리는 다음 중 하나를 나타낸다:
Figure 112012079876745-pat00156
동기화(Sync): 컨텍스트 정보(1000)는 디바이스 상에서 동기화된다.
Figure 112012079876745-pat00157
온 디맨드(On demand): 컨텍스트 정보(1000)는 가상 비서(1002)의 요청에 응답하여 제공된다.
Figure 112012079876745-pat00158
푸시(Push): 컨텍스트 정보(1000)는 디바이스에 푸시된다.
완전 구성가능한 방법에서는 잠재적으로 관련된 컨텍스트 정보(1000)의 큰 공간이 인간과 기계 사이의 자연어 대화(interaction)를 스트림라인(streamline)하는 것을 가능하게 한다. 비호율성을 초래할 수 있는 모든 시간에 이런 정보 모두를 로딩하기보다는, 일부 정보는 컨텍스트 소스 및 가상 비서(1002) 모두에서 유지되고, 반면에 다른 정보는 온디맨드식으로 쿼리(query)된다. 예컨대, 전술한 바와 같이, 음성 인식과 같은 실시간 동작에 사용되는 이름과 같은 정보는 국부적으로 유지되며, 반면에 사용자의 개인용 캘린더와 같은 일부 가능한 요청에 의해서만 사용되는 정보는 주문형으로 쿼리된다. 수신 SMS 이벤트와 같은 사용자가 비서를 호출(invoking)할 때 기대할 수 없는 데이터는 이벤트가 발생될 때 푸시된다.
도 10을 참고하면, 일 실시예에 따르는, 비서(1002)가 사용자와 대화하는 대화형 시퀀스(interaction sequence)의 처리 동안에, 도 9에 구성된 컨텍스트 정보 소스를 액세싱하는 예를 도시한 이벤트도(950)가 도시된다.
도 10에 도시된 시퀀스는 다음의 대화형 시퀀스를 나타낸다:
Figure 112012079876745-pat00159
T1: 비서(1002): "안녕 스티브, 제가 무엇을 도와드릴까요?"
Figure 112012079876745-pat00160
T2: 사용자: "나의 다음 미팅은 언제인가?"
Figure 112012079876745-pat00161
T3: 비서(1002): "너의 다음 미팅은 중역 회의실에서 오후 1시입니다"
Figure 112012079876745-pat00162
T4: [수신 SMS 메시지의 사운드]
Figure 112012079876745-pat00163
T5: 사용자:"그 메시지를 나에게 읽어라"
Figure 112012079876745-pat00164
T6: 비서(1002): "존슨으로부터의 너의 메시지는 '점심 어떻게 할까'"입니다"
Figure 112012079876745-pat00165
T7: 사용자: "존슨에게 오늘은 점심 같이 할 수 없다고 말해라"
Figure 112012079876745-pat00166
T8: 비서(1002): "OK, 그에게 말할 것이다"
시간 T0에서, 대화가 시작되기 전에, 사용자 이름이 동기화되며(770), 어드레스 북 이름이 동기화된다(771). 이것은 도 7d의 엘리먼트(640)에 도시된 바와 같이 초기화 시간에 로딩되는 정적 컨텍스트의 예이다. 이는 비서(1002)가 사용자를 그의 성("스티브")으로 부르는 것을 가능하게 한다.
시간 T1에서, 동기화 단계(770 및 771)가 완료된다. 시간 T2에서, 사용자는 도 2의 단계 100, 200 및 300에 따라 처리되는 요청을 말한다. 태스크 식별 단계(300)에서, 가상 비서(1002)는 컨텍스트(1000)의 소스로서 사용자 개인용 데이터베이스(1058)에게 쿼리한다(774): 특히, 가상 비서(1002)는 테이블(900)에 따르는 온디맨드 액세스에 대해 구성되는 사용자의 캘린더 데이터베이스로부터 정보를 요청한다. 시간 T3에서, 단계 500가 수행되고 대화 응답이 생성된다.
시간 T4에서, SMS 메시지가 수신된다: 이는 이벤트 컨텍스트(2706)의 예이다. 테이블(900)의 구성에 기초하여, 이벤트의 통지가 가상 비서(1002)에게 푸시된다(773).
시간 T5에서, 사용자는 가상 비서(1002)에게 SMS 메시지를 읽도록 요청한다. 이벤트 컨텍스트(2706)의 존재는 수행 단계(200)에서 NLP 컴포넌트에게 "그 메시지"를 새로운 SMS 메시지로서 해석하도록 가이드한다. 시간 T6에서, 단계 300이 태스크 컴포넌트에 의해 수행될 수 있어 SMS 메시지를 사용자에게 읽어주도록 API를 호출한다. 시간 T7에서, 사용자는 애매한 동사("tell") 및 이름("Johnny")으로 요청을 행한다. NLP 컴포넌트는 단계(773)에서 수신되는 이벤트 컨텍스트(2706)를 포함하는 컨텍스트(1000)의 다양한 소스를 이용하여 이러한 모호함을 해결함으로써 자연어(200)를 해석한다: 이는 NLP 컴포넌트에게 말을 하여, 커맨드가 개인 이름 조니(Johney)로부터의 SMS 메시지를 참고하게 하는 것이다. 단계 T7에서, 수신된 이벤트 컨텍스트 객체로부터 사용하는 번호를 탐색함에 의해 이름을 매칭하는 단계(771)를 포함하는 플로우 단계(400)의 실행이 수행된다. 비서(1002)는 따라서 새로운 SMS 메시지를 작성할 수 있으며, 이를 단계 T8에서 확인한 바와 같이 조니(Johney)에게 전송한다.
본 발명은 가능한 실시예에 대해서는 특별히 상세히 개시한다. 당업자에게는 다른 실시예도 실시가능함을 이해할 것이다. 먼저, 컴포넌트의 특정 명명, 용어의 대문자, 속성, 데이터 구조, 또는 임의의 다른 프로그래밍 또는 구조적 양상은 강제적이거나 중요한 것이 아니고, 발명 또는 그 특징을 구현하는 메카니즘은 다른 이름, 포맷 또는 프로토콜을 가질 수 있다. 더욱이, 시스템은 전술한 바와 같이 하드웨어 및 소프트웨어의 조합으로 또는 전체가 하드웨어 소자로 또는 전체가 소프트웨어 소자로 구현될 수 있다. 또한, 전술한 여러 시스템 컴포넌트들 간의 기능성 특정 분할은 단지 예시적이며 강제적이 아니다: 단일 시스템 컴포넌트에 의해 수행되는 기능은 오히려 다중 컴포넌트에 의해 수행될 수 있으며, 다중 컴포넌트에 의해 수행되는 기능은 오히려 단일 컴포넌트에 의해 수행될 수 있다.
여러 실시예에서, 본 발명은 전술한 기술을 수행하기 위한 시스템 또는 방법으로서 단일 또는 임의의 조합으로 구현될 수 있다. 다른 실시예에서, 본 발명은 컴퓨팅 디바이스 또는 다른 전자 디바이스에서의 프로세서로 하여금 전술한 기술을 수행하게 야기하는 비일시적인 컴퓨터 판독가능한 저장 매체 및 이 매체에 인코딩된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있다.
명세서에서 "일 실시예" 또는 "하나의 실시예"를 참고하는 것은 실시예와 결합해서 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되는 것을 의미한다. 명세서의 여러 곳에서 "하나의 실시예"라는 문구의 출현은 반드시 동일 실시예를 모두 참고할 필요는 없다.
전술한 설명 중 일부는 컴퓨팅 디바이스의 메모리 내 데이터 비트상의 동작의 알고리즘 및 심볼의 관점에서 제시된다. 이들 알고리즘 설명 및 표현은 다른 당업자에게 작업의 실체를 가장 효율적으로 전달하기 위해 당업자에 의해 사용되는 의미이다. 알고리즘은 이하 일반적으로 소정의 결과를 가져오는 단계(지시)의 일관성있는 시퀀스인 것으로 고려된다. 이 단계는 물리량의 물리적 조작을 요구하는 단계이다. 통상, 반드시 필요치는 않지만, 이들 양은 저장, 전달, 조합, 비교 및 그밖에 조작될 수 있는 전기, 자기, 또는 광학 신호의 형태를 취한다. 이들 신호를 비트, 값, 소자, 심볼, 문자, 용어, 수 등으로 언급하는 것은 통상의 용법의 이유에서 항상 편리하다. 더욱이, 일반성의 상실 없이 모듈 또는 코드 디바이스로서 물리량의 물리적 조작을 요구하는 단계의 소정 구성을 언급하는 것은 언제나 편리하다.
그러나, 이들 및 유사한 용어 모두가 적당한 물리량에 연관되며 이들 양에 적용되는 단순한 편리한 라벨임에 명심해야 한다. 특별히 언급되지 않는한 전술한 설명에서 명확한 바와 같이, 전체 명세서에서 "처리", "컴퓨팅", "계산", "표시", 또는 "결정" 등과 같은 용어를 활용하는 논의는 컴퓨터 시스템 메모리 또는 레지스터 또는 이런 정보 저장, 전송 또는 디스플레이 디바이스와 같은 다른 디바이스 내에서 물리(전자)량으로서 표현되는 데이터를 조작 및 변환하는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 모듈 및/또는 디바이스의 동작 및 프로세스를 참고함을 이해해야 한다.
본 발명의 소정 양상은 알고리즘의 형태로 개시된 프로세스 단계 및 지시를 포함한다. 본 발명의 프로세스 단계 및 지시가 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있으며, 소프트웨어로 구현될 때 각종 운영 체제에 의해 사용되는 상이한 플랫폼상에 상주하도록 다운로드되고 동작할 수 있음에 유의해야 한다.
본 발명은 또한 전술한 동작을 수행하는 장치에 관한 것이다. 이런 장치는 요구되는 목적을 위해 특별히 구성될 수 있거나, 또는 컴퓨팅 디바이스에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이런 컴퓨터 프로그램은 제한적이지 않게 플로피 디스크, 광 디스크, CD-ROM, 자기 광학 디스크, 판독 전용 메모리(ROM), RAM, EPROM, EEPROM, 자기 또는 광학 카드, ASIC 또는 전자 지시를 저장하는데 적합한 소정 타입의 매체, 및 컴퓨터 시스템 버스에 연결된 각각의 매체를 포함하는 소정 타입의 디스크와 같은 컴퓨터 판독가능한 저장 매체에 저장될 수 있다. 더욱이, 본 명세서에서 언급된 컴퓨팅 디바이스는 단일 프로세서를 포함할 수 있거나, 또는 증가된 컴퓨팅 능력을 위한 다중 프로세서 설계를 채용하는 아키텍쳐를 가질 수 있다.
본 명세서에 개시된 알고리즘 및 디스플레이는 임의의 특정 컴퓨팅 디바이스, 가상화 시스템 또는 다른 장치에만 고유하게 관련되지 않는다. 다양한 범용 시스템은 개시된 교시에 따라 프로그램으로 사용될 수 있고, 또는 필요한 방법 단계를 수행하기 위해 보다 특별한 장치를 구성하는 것이 더 편리하다고 판명될 수도 있다. 각종 이러한 시스템에 요구되는 구조는 전술한 설명에서 자명할 것이다. 또한, 본 발명은 어떤 특정 프로그래밍 언어를 참고해서 설명되지 않았다. 각종 프로그래밍 언어가 전술한 본 발명의 교시를 구현하는데 사용될 수 있으며 특정 언어의 참고는 본 발명의 가능한 최선의 모드를 개시하고자 제공된 것임을 이해해야 한다.
따라서, 여러 실시예에서, 본 발명은 컴퓨터 시스템, 컴퓨팅 디바이스, 또는 다른 전자 디바이스 또는 이들의 임의의 조합을 제어하기 위한 소프트웨어, 하드웨어 및/또는 다른 소자로서 구현될 수 있다. 이런 전자 디바이스는, 본 기술 분야에서 공지된 기술에 따르는, 예컨대 프로세서, 입력 디바이스(예를 들어, 키보드, 마우스, 터치패드, 트랙패드, 조이스틱, 트랙볼, 마이크로폰, 및/또는 이들의 임의의 조합), 출력 디바이스(예를 들어, 스크린, 스피커 등), 메모리, 장기 스토리지(예를 들어, 자기 스토리지, 광 스토리지 등), 및/또는 네트워크 연결성을 포함한다. 이런 전자 디바이스는 휴대용 또는 비휴대용일 수 있다. 본 발명을 구현하는데 사용되는 전자 디바이스의 예는, 모바일 폰, 개인 휴대 단말기, 스마트폰, 키오스크(kiosk), 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 가전 제품, 가정용 오락 디바이스, 음악 플레이어, 카메라, 텔레비젼, 셋탑 박스, 전자 게임 유닛 등을 포함한다. 본 발명을 구현하는 전자 디바이스는 예컨대 미국 캘리포니아 쿠퍼티노의 애플(사)에서 구입가능한 iOS 또는 MacOS, 또는 디바이스의 사용에 적합한 임의의 다른 운영 체제와 같은 임의의 운영 체제를 사용할 수 있다.
본 발명이 제한된 수의 실시예로 설명된다 할지라도, 당업자에게는 개시된 본 발명의 범위를 벗어남이 없이 다른 실시예가 고안될 수 있음을 이해할 것이다. 또한, 본 명세서에서 사용되는 언어는 판독가능성 및 도구적인 목적에서 선택된 것이고, 본 발명의 주제를 제한하고 억제하고자 선택된 것은 아니다. 따라서, 본 발명의 개시는 예시적인 것으로 의도된 것이고 이하 특허청구범위 개시된 발명의 범위를 제한하는 것이 아니다.

Claims (33)

  1. 적어도 하나의 프로세서를 갖는 컴퓨팅 디바이스 상에서 태스크(task)를 수행하기 위해 사용자 입력을 해석하기 위한 방법을 구현하기 위해 인코딩된 컴퓨터 프로그램 코드를 갖는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서가,
    출력 디바이스가 사용자에게 입력을 위한 프롬프트(prompt)를 야기하는 단계;
    입력 디바이스를 통해 음성(spoken) 사용자 입력을 수신하는 단계;
    컨텍스트(context) 소스로부터 컨텍스트 정보를 수신하는 단계 - 상기 컨텍스트 정보는 상기 음성 사용자 입력이 수신되는 음향 환경을 기술하는 음향 환경 데이터를 포함함 - ;
    사용자 의도의 표현을 도출(derive)하기 위해 상기 수신된 음성 사용자 입력을 해석하는 단계 - 상기 해석하는 단계는, 상기 사용자 의도의 표현을 도출하기 위해 상기 수신된 컨텍스트 정보의 상기 음향 환경 데이터에 기초하여 상기 수신되는 음성 사용자 입력을 명확히하는(disambiguating) 것을 포함함 - ;
    상기 도출된 사용자 의도의 표현에 적어도 부분적으로 기초하여 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하는 단계;
    상기 적어도 하나의 파라미터를 이용하여 적어도 하나의 태스크를 실행하여 결과를 도출하는 단계;
    상기 도출된 결과에 기초하여 대화 응답을 생성하는 단계; 및
    상기 출력 디바이스가 상기 생성된 대화 응답을 출력하게 야기하는 단계를 포함하는 방법을 수행하게 하도록 구성되며,
    상기 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서가, 상기 수신된 컨텍스트 정보를 이용하여, 상기 출력 디바이스가 사용자에게 입력을 위한 프롬프트를 야기하는 단계, 상기 수신된 음성 사용자 입력을 해석하는 단계, 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하는 단계, 및 대화 응답을 생성하는 단계 중 적어도 하나를 수행하게 하도록 구성되는, 컴퓨터 판독가능 저장 매체.
  2. 태스크를 수행하기 위해 사용자 입력을 해석하기 위한 시스템으로서,
    사용자에게 입력을 위한 프롬프트를 제공하도록 구성된 출력 디바이스와,
    음성 사용자 입력을 수신하도록 구성된 입력 디바이스와,
    상기 출력 디바이스 및 상기 입력 디바이스에 통신가능하게 연결된 적어도 하나의 프로세서
    를 포함하며,
    상기 적어도 하나의 프로세서는,
    컨텍스트 소스로부터 컨텍스트 정보를 수신하는 단계 - 상기 컨텍스트 정보는 상기 음성 사용자 입력이 수신되는 음향 환경을 기술하는 음향 환경 데이터를 포함함 - ;
    상기 수신된 음성 사용자 입력을 해석하여 사용자 의도의 표현을 도출하는 단계 - 상기 해석하는 것은, 상기 사용자 의도의 표현을 도출하기 위해 상기 수신된 컨텍스트 정보의 상기 음향 환경 데이터에 기초하여 상기 수신되는 음성 사용자 입력을 명확히하는(disambiguating) 것을 포함함 - ;
    상기 도출된 사용자 의도의 표현에 적어도 부분적으로 기초하여 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하는 단계;
    적어도 하나의 파라미터를 이용하여 적어도 하나의 태스크를 실행하여 결과를 도출하는 단계; 및
    상기 도출된 결과에 기초하여 대화 응답을 생성하는 단계를 수행하도록 구성되며,
    상기 출력 디바이스는 또한 생성된 대화 응답을 출력하도록 구성되며,
    상기 수신된 컨텍스트 정보를 이용하여, 상기 사용자에게 입력을 위한 프롬프트를 제공하는 단계, 상기 수신된 음성 사용자 입력을 해석하는 단계, 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하는 단계, 및 대화 응답을 생성하는 단계 중 적어도 하나가 수행되는 사용자 입력 해석 시스템.
  3. 삭제
  4. 제2항에 있어서,
    상기 출력 디바이스는 대화형(conversational) 인터페이스를 통해 상기 사용자에게 프롬프트를 제공하도록 구성되며,
    상기 입력 디바이스는 상기 대화형 인터페이스를 통해 상기 음성 사용자 입력을 수신하도록 구성되며,
    상기 적어도 하나의 프로세서는 상기 음성 사용자 입력을 텍스트 표현으로 변환하도록 구성되는 사용자 입력 해석 시스템.
  5. 제4항에 있어서, 적어도 하나의 프로세서는, 상기 음성 사용자 입력의 복수의 후보 텍스트 해석(candidate text interpretation)들을 생성하고 상기 생성된 후보 텍스트 해석들의 서브세트를 적어도 서열화(ranking)함에 의해, 상기 음성 사용자 입력을 텍스트 표현으로 변환하도록 구성되고,
    상기 생성 및 서열화하는 것 중 적어도 하나는 상기 수신된 컨텍스트 정보를 이용하여 수행되는 사용자 입력 해석 시스템.
  6. 제5항에 있어서, 상기 생성 및 서열화하는 것 중 적어도 하나에서 사용되는 상기 수신된 컨텍스트 정보는, 상기 음성 사용자 입력이 수신되는 음향 환경을 기술하는 상기 음향 환경 데이터, 적어도 하나의 센서로부터 수신된 데이터, 상기 사용자와 연관된 데이터베이스로부터 획득된 어휘, 애플리케이션 선호도와 연관된 어휘, 사용 히스토리로부터 획득된 어휘, 및 현재 대화 상태로 이루어지는 그룹으로부터 선택된 적어도 하나를 포함하는 사용자 입력 해석 시스템.
  7. 제2항에 있어서, 상기 출력 디바이스는 상기 수신된 컨텍스트 정보에 적어도 부분적으로 기초하여 적어도 하나의 프롬프트를 생성함에 의해 사용자에게 프롬프트를 제공하도록 구성되는 사용자 입력 해석 시스템.
  8. 제2항에 있어서, 적어도 하나의 프로세서는 상기 수신된 컨텍스트 정보의 상기 음향 환경 데이터에 기초하여 상기 수신된 음성 사용자 입력을 명확히(disambiguate)하여 상기 수신된 컨텍스트 정보에 적어도 부분적으로 기초하여 상기 수신된 음성 사용자 입력상에서 자연어 처리를 수행함에 의해 사용자 의도의 표현을 도출하도록 구성되는 사용자 입력 해석 시스템.
  9. 제8항에 있어서, 상기 수신된 음성 사용자 입력을 명확히(disambiguate)하는데 사용되는 상기 수신된 컨텍스트 정보는, 이벤트를 기술하는 데이터, 애플리케이션 컨텍스트, 사용자에 의해 이전에 제공된 입력, 사용자에 대한 알려진 정보, 로케이션, 날짜, 환경 조건, 및 히스토리로 이루어지는 그룹으로부터 선택된 적어도 하나를 포함하는 사용자 입력 해석 시스템.
  10. 제2항에 있어서, 적어도 하나의 프로세서는 상기 수신된 컨텍스트 정보에 적어도 부분적으로 기초하여 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별함에 의해 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하도록 구성되는 사용자 입력 해석 시스템.
  11. 제10항에 있어서, 적어도 하나의 태스크 및 상기 태스크용의 적어도 하나의 파라미터를 식별하는데 사용되는 상기 수신된 컨텍스트 정보는, 이벤트를 기술하는 데이터, 사용자와 연관된 데이터베이스로부터의 데이터, 적어도 하나의 센서로부터 수신된 데이터, 애플리케이션 컨텍스트, 사용자에 의해 이전에 제공된 입력, 사용자에 대한 알려진 정보, 로케이션, 날짜, 환경 조건, 및 히스토리로 이루어지는 그룹으로부터 선택된 적어도 하나를 포함하는 사용자 입력 해석 시스템.
  12. 제2항에 있어서, 적어도 하나의 프로세서는 상기 수신된 컨텍스트 정보에 적어도 부분적으로 기초하여 대화 응답을 생성함으로써 대화 응답을 생성하도록 구성되는 사용자 입력 해석 시스템.
  13. 제12항에 있어서, 대화 응답을 생성하는데 사용되는 상기 수신된 컨텍스트 정보는, 사용자와 연관된 데이터베이스로부터의 데이터, 애플리케이션 컨텍스트, 사용자에 의해 이전에 제공된 입력, 사용자에 대한 알려진 정보, 로케이션, 날짜, 환경 조건, 및 히스토리로 이루어지는 그룹으로부터 선택된 적어도 하나를 포함하는 사용자 입력 해석 시스템.
  14. 제2항에 있어서, 상기 수신된 컨텍스트 정보는, 서버에 저장된 컨텍스트 정보 및 클라이언트에 저장된 컨텍스트 정보로 이루어지는 그룹으로부터 선택된 적어도 하나를 포함하는 사용자 입력 해석 시스템.
  15. 제2항에 있어서, 적어도 하나의 프로세서는, 상기 컨텍스트 정보를 컨텍스트 소스로부터 요청하고, 상기 요청에 응답하여 상기 컨텍스트 정보를 수신함에 의해 컨텍스트 정보를 컨텍스트 소스로부터 수신하도록 구성되는 사용자 입력 해석 시스템.
  16. 제2항에 있어서, 적어도 하나의 프로세서는, 상기 음성 사용자 입력을 수신하기 전에 상기 컨텍스트 정보의 적어도 일부를 수신함에 의해 컨텍스트 정보를 컨텍스트 소스로부터 수신하도록 구성되는 사용자 입력 해석 시스템.
  17. 제2항에 있어서, 적어도 하나의 프로세서는, 상기 음성 사용자 입력을 수신한 후에 상기 컨텍스트 정보의 적어도 일부를 수신함에 의해 컨텍스트 정보를 컨텍스트 소스로부터 수신하도록 구성되는 사용자 입력 해석 시스템.
  18. 제2항에 있어서, 적어도 하나의 프로세서는, 초기화 단계의 일부로서 정적(static) 컨텍스트 정보를 수신하고, 상기 음성 사용자 입력을 수신한 후에 부가적인 컨텍스트 정보를 수신함에 의해 컨텍스트 정보를 컨텍스트 소스로부터 수신하도록 구성되는 사용자 입력 해석 시스템.
  19. 제2항에 있어서, 적어도 하나의 프로세서는, 컨텍스트 정보에서 변경의 푸시 통지(push notification)을 수신하고, 상기 푸시 통지에 응답하여 국부적으로 저장된 컨텍스트 정보를 업데이트함에 의해 컨텍스트 정보를 컨텍스트 소스로부터 수신하도록 구성되는 사용자 입력 해석 시스템.
  20. 제2항에 있어서, 상기 출력 디바이스, 입력 디바이스, 및 적어도 하나의 프로세서는, 전화, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 개인 휴대 단말기, 데스크톱 컴퓨터, 키오스크(kiosk), 가전 제품, 가정용 오락 디바이스, 음악 플레이어, 카메라, 텔레비젼, 전자 게임 유닛, 및 셋톱 박스로 이루어지는 그룹으로부터 선택되는 적어도 하나의 컴포넌트로서 구현되는 사용자 입력 해석 시스템.
  21. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 애플리케이션 컨텍스트를 더 포함하는, 사용자 입력 해석 시스템.
  22. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 상기 사용자와 연관된 개인용 데이터를 더 포함하는, 사용자 입력 해석 시스템.
  23. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 상기 사용자와 연관된 데이터베이스로부터의 데이터를 더 포함하는, 사용자 입력 해석 시스템.
  24. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 대화 히스토리로부터 획득된 데이터를 더 포함하는, 사용자 입력 해석 시스템.
  25. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 적어도 하나의 센서로부터 수신된 데이터를 더 포함하는, 사용자 입력 해석 시스템.
  26. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 애플리케이션 선호도(application preference)를 더 포함하는, 사용자 입력 해석 시스템.
  27. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 애플리케이션 사용 히스토리를 더 포함하는, 사용자 입력 해석 시스템.
  28. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 이벤트를 기술하는 데이터를 더 포함하는, 사용자 입력 해석 시스템.
  29. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 현재 대화 상태를 더 포함하는, 사용자 입력 해석 시스템.
  30. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 상기 사용자에 의해 이전에 제공된 입력을 더 포함하는, 사용자 입력 해석 시스템.
  31. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 로케이션(location)을 더 포함하는, 사용자 입력 해석 시스템.
  32. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 로컬 시간을 더 포함하는, 사용자 입력 해석 시스템.
  33. 제2항에 있어서, 상기 수신된 컨텍스트 정보는 환경 조건을 더 포함하는, 사용자 입력 해석 시스템.
KR1020120109552A 2011-09-30 2012-09-28 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용 Active KR101683083B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/250,854 2011-09-30
US13/250,854 US9858925B2 (en) 2009-06-05 2011-09-30 Using context information to facilitate processing of commands in a virtual assistant

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160161496A Division KR102048375B1 (ko) 2011-09-30 2016-11-30 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용

Publications (2)

Publication Number Publication Date
KR20130035983A KR20130035983A (ko) 2013-04-09
KR101683083B1 true KR101683083B1 (ko) 2016-12-07

Family

ID=47225421

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020120109552A Active KR101683083B1 (ko) 2011-09-30 2012-09-28 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020160161496A Active KR102048375B1 (ko) 2011-09-30 2016-11-30 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020180050592A Active KR102145660B1 (ko) 2011-09-30 2018-05-02 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020190148423A Active KR102309489B1 (ko) 2011-09-30 2019-11-19 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020210128938A Active KR102447546B1 (ko) 2011-09-30 2021-09-29 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020220119609A Active KR102622737B1 (ko) 2011-09-30 2022-09-21 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020240001375A Active KR102904375B1 (ko) 2011-09-30 2024-01-04 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020160161496A Active KR102048375B1 (ko) 2011-09-30 2016-11-30 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020180050592A Active KR102145660B1 (ko) 2011-09-30 2018-05-02 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020190148423A Active KR102309489B1 (ko) 2011-09-30 2019-11-19 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020210128938A Active KR102447546B1 (ko) 2011-09-30 2021-09-29 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020220119609A Active KR102622737B1 (ko) 2011-09-30 2022-09-21 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR1020240001375A Active KR102904375B1 (ko) 2011-09-30 2024-01-04 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용

Country Status (12)

Country Link
EP (3) EP3200185A1 (ko)
JP (7) JP5698203B2 (ko)
KR (7) KR101683083B1 (ko)
CN (1) CN103226949B (ko)
AU (1) AU2012232977A1 (ko)
BR (1) BR102012024861B1 (ko)
CA (2) CA2791277C (ko)
DE (1) DE102012019178A1 (ko)
GB (1) GB2495222B (ko)
MX (1) MX2012011426A (ko)
NL (1) NL2009544B1 (ko)
RU (1) RU2542937C2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135859B1 (ko) 2019-10-24 2020-07-20 주식회사 유니온플레이스 개인화된 가상 비서를 제공하는 장치
US12277934B2 (en) 2021-02-17 2025-04-15 Samsung Electronics Co., Ltd. Electronic device for analyzing domain associations and reconstructing hints customized for a user based on a common parameter
US12505839B2 (en) 2021-12-30 2025-12-23 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (401)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8181205B2 (en) 2002-09-24 2012-05-15 Russ Samuel H PVR channel and PVR IPG information
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) * 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9728184B2 (en) 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US9311298B2 (en) 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
CN103309618A (zh) 2013-07-02 2013-09-18 姜洪明 移动操作系统
US10776375B2 (en) 2013-07-15 2020-09-15 Microsoft Technology Licensing, Llc Retrieval of attribute values based upon identified entities
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
CN104423844B (zh) * 2013-08-30 2019-03-29 联想(北京)有限公司 一种信息处理方法、装置和电子设备
WO2015030796A1 (en) * 2013-08-30 2015-03-05 Intel Corporation Extensible context-aware natural language interactions for virtual personal assistants
JP2015052743A (ja) * 2013-09-09 2015-03-19 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US20150074524A1 (en) * 2013-09-10 2015-03-12 Lenovo (Singapore) Pte. Ltd. Management of virtual assistant action items
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
US9754591B1 (en) 2013-11-18 2017-09-05 Amazon Technologies, Inc. Dialog management context sharing
US10162813B2 (en) * 2013-11-21 2018-12-25 Microsoft Technology Licensing, Llc Dialogue evaluation via multiple hypothesis ranking
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US8862467B1 (en) 2013-12-11 2014-10-14 Google Inc. Contextual speech recognition
US20170004829A1 (en) * 2014-01-06 2017-01-05 Ntt Docomo, Inc. Terminal apparatus, program, and server apparatus for providing information according to user data input
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
US10186256B2 (en) 2014-01-23 2019-01-22 Nuance Communications, Inc. Method and apparatus for exploiting language skill information in automatic speech recognition
US10978060B2 (en) 2014-01-31 2021-04-13 Hewlett-Packard Development Company, L.P. Voice input command
US20150234930A1 (en) 2014-02-19 2015-08-20 Google Inc. Methods and systems for providing functional extensions with a landing page of a creative
US9324321B2 (en) 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
US9529794B2 (en) 2014-03-27 2016-12-27 Microsoft Technology Licensing, Llc Flexible schema for language model customization
US9710546B2 (en) * 2014-03-28 2017-07-18 Microsoft Technology Licensing, Llc Explicit signals personalized search
DE112014006542B4 (de) * 2014-03-31 2024-02-08 Mitsubishi Electric Corporation Einrichtung und Verfahren zum Verständnis von einer Benutzerintention
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9520127B2 (en) 2014-04-29 2016-12-13 Microsoft Technology Licensing, Llc Shared hidden layer combination for speech recognition systems
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10726831B2 (en) * 2014-05-20 2020-07-28 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10838378B2 (en) 2014-06-02 2020-11-17 Rovio Entertainment Ltd Control of a computer program using media content
EP2953374B1 (en) * 2014-06-02 2021-07-28 Rovio Entertainment Ltd Control of a computer program
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
CN107113222B (zh) * 2014-06-06 2020-09-01 谷歌有限责任公司 基于环境的主动聊天信息系统
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102261552B1 (ko) 2014-06-30 2021-06-07 삼성전자주식회사 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
US10015234B2 (en) * 2014-08-12 2018-07-03 Sony Corporation Method and system for providing information via an intelligent user interface
CN104239767B (zh) * 2014-09-03 2018-05-01 陈飞 基于环境参数对自然语言命令自动补正操作序列以简化使用的装置及方法
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
KR102342623B1 (ko) 2014-10-01 2021-12-22 엑스브레인, 인크. 음성 및 연결 플랫폼
KR101610151B1 (ko) * 2014-10-17 2016-04-08 현대자동차 주식회사 개인음향모델을 이용한 음성 인식장치 및 방법
CN104360897B (zh) * 2014-10-29 2017-09-22 百度在线网络技术（北京）有限公司 对话处理方法和对话管理系统
KR20160056548A (ko) 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
DE102014224794B4 (de) * 2014-12-03 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Sprachassistenzverfahren für ein Kraftfahrzeug
US11327711B2 (en) 2014-12-05 2022-05-10 Microsoft Technology Licensing, Llc External visual interactions for speech-based devices
CN111427534B (zh) * 2014-12-11 2023-07-25 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
KR102241289B1 (ko) * 2014-12-12 2021-04-16 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US9552816B2 (en) 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
CN107206896B (zh) * 2014-12-22 2021-03-05 大众汽车有限公司 手指板条和手指板条的应用
US9836452B2 (en) * 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
US10713005B2 (en) 2015-01-05 2020-07-14 Google Llc Multimodal state circulation
US9865280B2 (en) * 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) * 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
CN106020784B (zh) * 2015-03-18 2020-09-08 小米科技有限责任公司 应用消息显示方法、装置及终端
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US20160320198A1 (en) * 2015-04-29 2016-11-03 Ford Global Technologies, Llc Ride-sharing routing using contextual constraints
US10114676B2 (en) * 2015-05-05 2018-10-30 Microsoft Technology Licensing, Llc Building multimodal collaborative dialogs with task frames
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) * 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
RU2614930C2 (ru) * 2015-06-05 2017-03-30 Закрытое акционерное общество "Лаборатория Касперского" Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20180190272A1 (en) * 2015-06-30 2018-07-05 Nuance Communications, Inc. Method and apparatus for processing user input
US10249297B2 (en) * 2015-07-13 2019-04-02 Microsoft Technology Licensing, Llc Propagating conversational alternatives using delayed hypothesis binding
DE102015213722B4 (de) * 2015-07-21 2020-01-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem
US10686738B2 (en) 2015-07-24 2020-06-16 Facebook, Inc. Providing personal assistant service via messaging
CN106469040B (zh) 2015-08-19 2019-06-21 华为终端有限公司 通信方法、服务器及设备
US10339916B2 (en) 2015-08-31 2019-07-02 Microsoft Technology Licensing, Llc Generation and application of universal hypothesis ranking model
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) * 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
CN105205133A (zh) 2015-09-15 2015-12-30 小米科技有限责任公司 信息收集方法和装置
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
EP3380949B1 (en) * 2015-11-25 2021-10-20 Microsoft Technology Licensing, LLC Automatic spoken dialogue script discovery
CN106814639A (zh) * 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN108476164B (zh) * 2015-12-21 2021-10-08 谷歌有限责任公司 在消息传送应用中自动地提供机器人服务的方法
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10049666B2 (en) 2016-01-06 2018-08-14 Google Llc Voice recognition system
WO2017138777A1 (en) 2016-02-12 2017-08-17 Samsung Electronics Co., Ltd. Method and electronic device for performing voice based actions
DE202016107174U1 (de) * 2016-03-09 2017-06-13 Simone Hajek-Glöckner Einrichtung zur psychischen Selbstschulung
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10133612B2 (en) * 2016-03-17 2018-11-20 Nuance Communications, Inc. Session processing interaction between two or more virtual assistants
US10757048B2 (en) 2016-04-08 2020-08-25 Microsoft Technology Licensing, Llc Intelligent personal assistant as a contact
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US10319371B2 (en) * 2016-05-04 2019-06-11 GM Global Technology Operations LLC Disambiguation of vehicle speech commands
US10263933B2 (en) * 2016-05-17 2019-04-16 Google Llc Incorporating selectable application links into message exchange threads
US20170337284A1 (en) * 2016-05-17 2017-11-23 Google Inc. Determining and using attributes of message exchange thread participants
US10291565B2 (en) * 2016-05-17 2019-05-14 Google Llc Incorporating selectable application links into conversations with personal assistant modules
US10783178B2 (en) 2016-05-17 2020-09-22 Google Llc Generating a personal database entry for a user based on natural language user interface input of the user and generating output based on the entry in response to further natural language user interface input of the user
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10049670B2 (en) * 2016-06-06 2018-08-14 Google Llc Providing voice action discoverability example for trigger term
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10282218B2 (en) * 2016-06-07 2019-05-07 Google Llc Nondeterministic task initiation by a personal assistant module
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10462619B2 (en) * 2016-06-08 2019-10-29 Google Llc Providing a personal assistant module with a selectively-traversable state machine
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) * 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) * 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) * 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10474946B2 (en) 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
DE102016212073A1 (de) * 2016-07-04 2018-01-04 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel
CN106250474B (zh) * 2016-07-29 2020-06-23 Tcl科技集团股份有限公司 一种语音控制的处理方法及系统
RU2635902C1 (ru) * 2016-08-05 2017-11-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система отбора обучающих признаков для алгоритма машинного обучения
US10192551B2 (en) 2016-08-30 2019-01-29 Google Llc Using textual input and user state information to generate reply content to present in response to the textual input
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11240179B2 (en) * 2016-09-16 2022-02-01 Oracle International Corporation Internet cloud-hosted natural language interactive messaging system with virtual database
DE112017003594B4 (de) 2016-09-20 2026-03-26 Google Llc Bot, der Genehmigung zum Zugriff auf Daten anfordert
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
CN117634495A (zh) 2016-09-20 2024-03-01 谷歌有限责任公司 基于消息贴纸的建议响应
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US20180096072A1 (en) * 2016-10-03 2018-04-05 Google Inc. Personalization of a virtual assistant
US10552742B2 (en) 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
EP3312724B1 (en) 2016-10-21 2019-10-30 Fujitsu Limited Microservice-based data processing apparatus, method, and program
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
CN106601216A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 通过音乐实现电子设备控制的方法及系统
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
KR102668438B1 (ko) * 2016-12-26 2024-05-24 현대자동차주식회사 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법
US10924376B2 (en) * 2016-12-30 2021-02-16 Google Llc Selective sensor polling
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102338990B1 (ko) 2017-01-23 2021-12-14 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20180102871A (ko) * 2017-03-08 2018-09-18 엘지전자 주식회사 이동단말기 및 이동단말기의 차량 제어 방법
US10636418B2 (en) 2017-03-22 2020-04-28 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
CN107122179A (zh) 2017-03-31 2017-09-01 阿里巴巴集团控股有限公司 语音的功能控制方法和装置
CN107146610B (zh) * 2017-04-10 2021-06-15 易视星空科技无锡有限公司 一种用户意图的确定方法及装置
US20180308481A1 (en) * 2017-04-20 2018-10-25 Semantic Machines, Inc. Automated assistant data flow
US20180314532A1 (en) * 2017-04-26 2018-11-01 Google Inc. Organizing messages exchanged in human-to-computer dialogs with automated assistants
KR102309031B1 (ko) 2017-04-27 2021-10-06 삼성전자 주식회사 지능형 에이전트 관리 방법 및 장치
KR102375800B1 (ko) * 2017-04-28 2022-03-17 삼성전자주식회사 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
KR102380717B1 (ko) 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US9865260B1 (en) 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
CN110574023A (zh) * 2017-05-11 2019-12-13 苹果公司 脱机个人助理
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
WO2018212941A1 (en) * 2017-05-15 2018-11-22 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10275651B2 (en) 2017-05-16 2019-04-30 Google Llc Resolving automated assistant requests that are based on image(s) and/or other sensor data
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
WO2018212822A1 (en) 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US11074280B2 (en) * 2017-05-18 2021-07-27 Aiqudo, Inc Cluster based search and recommendation method to rapidly on-board commands in personal assistants
US10664533B2 (en) * 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
CN109102802B (zh) 2017-06-21 2023-10-17 三星电子株式会社 用于处理用户话语的系统
US10742435B2 (en) * 2017-06-29 2020-08-11 Google Llc Proactive provision of new content to group chat participants
US11017037B2 (en) * 2017-07-03 2021-05-25 Google Llc Obtaining responsive information from multiple corpora
KR102406718B1 (ko) * 2017-07-19 2022-06-10 삼성전자주식회사 컨텍스트 정보에 기반하여 음성 입력을 수신하는 지속 기간을 결정하는 전자 장치 및 시스템
US11074911B2 (en) 2017-09-05 2021-07-27 First Advantage Corporation Digital assistant
CN110019699B (zh) * 2017-09-05 2023-10-20 声音猎手公司 域间通过语法槽的分类
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10394957B2 (en) * 2017-09-25 2019-08-27 Microsoft Technology Licensing, Llc Signal analysis in a conversational scheduling assistant computing system
KR102487669B1 (ko) 2017-09-29 2023-01-13 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN107773982B (zh) * 2017-10-20 2021-08-13 科大讯飞股份有限公司 游戏语音交互方法及装置
WO2019103200A1 (ko) * 2017-11-23 2019-05-31 주식회사 모다 통합 음성비서 서비스 제공 방법 및 장치
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
WO2019112614A1 (en) * 2017-12-08 2019-06-13 Google Llc Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
CN109920429A (zh) * 2017-12-13 2019-06-21 上海擎感智能科技有限公司 一种用于车载的语音识别数据处理方法及系统
US11836592B2 (en) * 2017-12-15 2023-12-05 International Business Machines Corporation Communication model for cognitive systems
KR102532300B1 (ko) * 2017-12-22 2023-05-15 삼성전자주식회사 어플리케이션 실행 방법 및 이를 위한 장치
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
KR102066451B1 (ko) * 2018-02-02 2020-01-15 주식회사 오비고 차량용 ai 서비스를 제공하는 방법 및 이를 이용한 장치
CN110209776B (zh) * 2018-02-13 2023-10-27 鼎捷软件股份有限公司 操作虚拟助理的方法及系统
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
CN111819566A (zh) * 2018-03-05 2020-10-23 谷歌有限责任公司 通过自动助理在先前对话场境之间的转变
KR102508677B1 (ko) 2018-03-08 2023-03-13 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) * 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11056107B2 (en) * 2018-03-30 2021-07-06 International Business Machines Corporation Conversational framework
US11113473B2 (en) 2018-04-02 2021-09-07 SoundHound Inc. Interpreting expressions having potentially ambiguous meanings in different domains
CN109948017B (zh) 2018-04-26 2021-03-30 华为技术有限公司 一种信息处理方法及装置
EP3753016A4 (en) 2018-05-02 2021-05-05 Samsung Electronics Co., Ltd. CONTEXTUAL RECOMMENDATION
US10877718B2 (en) 2018-05-07 2020-12-29 Spotify Ab Adaptive voice communication
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN110489517B (zh) * 2018-05-09 2023-10-31 鼎捷软件股份有限公司 虚拟助理的自动学习方法及系统
KR102695306B1 (ko) 2018-06-27 2024-08-16 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
KR102795892B1 (ko) * 2018-05-17 2025-04-16 현대자동차주식회사 대화 시스템 및 대화 처리 방법
KR102914689B1 (ko) 2018-07-11 2026-01-19 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR102562227B1 (ko) 2018-06-12 2023-08-02 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
KR20200042127A (ko) 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
KR20190133100A (ko) 2018-05-22 2019-12-02 삼성전자주식회사 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
KR102788793B1 (ko) * 2018-05-23 2025-04-01 주식회사 케이티 음성 메시지 서비스를 제공하는 미디어 재생 장치 및 방법
EP3576084B1 (de) 2018-05-29 2020-09-30 Christoph Neumann Effiziente dialoggestaltung
KR20190135676A (ko) 2018-05-29 2019-12-09 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
KR102777603B1 (ko) 2018-06-22 2025-03-10 현대자동차주식회사 대화 시스템 및 이를 이용한 차량
KR102783184B1 (ko) 2018-06-25 2025-03-19 현대자동차주식회사 대화 시스템 및 대화 처리 방법
US11386338B2 (en) * 2018-07-05 2022-07-12 International Business Machines Corporation Integrating multiple domain problem solving in a dialog system for a user
KR102914685B1 (ko) 2018-07-11 2026-01-19 현대자동차주식회사 대화 시스템 및 대화 처리 방법
US11075007B2 (en) 2018-07-18 2021-07-27 International Business Machines Corporation Dynamic selection of virtual agents in a mutli-domain expert system
EP4373054A3 (en) 2018-08-20 2024-07-10 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
JP7159707B2 (ja) * 2018-09-04 2022-10-25 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
KR102748336B1 (ko) 2018-09-05 2024-12-31 삼성전자주식회사 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
CN110930999A (zh) * 2018-09-19 2020-03-27 上海博泰悦臻电子设备制造有限公司 语音互动方法、装置及车辆
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US12418517B2 (en) * 2018-10-19 2025-09-16 Apple Inc. Media intercom over a secure device to device communication channel
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
WO2020085924A1 (en) 2018-10-26 2020-04-30 Motorola Solutions, Inc Device, system and method for modifying actions associated with an emergency call
KR102883520B1 (ko) * 2018-11-13 2025-11-12 엔에이치엔 주식회사 인공지능 스피커 및 이를 이용한 대화 진행 방법
US11386889B2 (en) * 2018-12-03 2022-07-12 Google Llc Contextual tagging and biasing of grammars inside word lattices
RU2701090C1 (ru) * 2018-12-19 2019-09-24 Самсунг Электроникс Ко., Лтд. Система и способ для автоматического выполнения команд, заданных пользователем
JP7286772B2 (ja) * 2018-12-28 2023-06-05 グーグル エルエルシー 選択されたサジェスチョンによる自動アシスタントへのボイス入力の補足
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11455982B2 (en) * 2019-01-07 2022-09-27 Cerence Operating Company Contextual utterance resolution in multimodal systems
RU2721999C1 (ru) * 2019-03-18 2020-05-25 Сергей Александрович Гайдамаков Ассоциативная сеть контактов, заметок и/или событий
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
KR102865791B1 (ko) * 2019-04-10 2025-09-29 삼성전자주식회사 자연어 응답을 생성하는 전자 장치 및 자연어 응답 생성 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
EP3966808B1 (en) * 2019-05-10 2026-01-28 Google LLC Using context information with end-to-end models for speech recognition
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
WO2020242493A1 (en) * 2019-05-31 2020-12-03 Google Llc Dynamically assigning multi-modality circumstantial data to assistant action requests for correlating with subsequent requests
EP3959713B1 (en) * 2019-05-31 2023-08-23 Apple Inc. Voice assistant discoverability through on-device targeting and personalization
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN110211584A (zh) * 2019-06-04 2019-09-06 广州小鹏汽车科技有限公司 车辆控制方法、装置、存储介质及控制终端
CN110413654B (zh) * 2019-06-20 2023-11-21 平安科技（深圳）有限公司 一种确定客户可信联系信息的方法、装置、计算机设备和存储介质
US11438452B1 (en) 2019-08-09 2022-09-06 Apple Inc. Propagating context information in a privacy preserving manner
CN119296533A (zh) * 2019-08-15 2025-01-10 深圳引望智能技术有限公司 语音交互方法、装置、终端及存储介质
KR102884820B1 (ko) * 2019-08-16 2025-11-14 엘지전자 주식회사 인공 지능을 이용한 음성 인식 방법 및 그 장치
US11551676B2 (en) * 2019-09-12 2023-01-10 Oracle International Corporation Techniques for dialog processing using contextual data
EP4034984A1 (en) * 2019-09-24 2022-08-03 Apple Inc. Resolving natural language ambiguities with respect to a simulated reality setting
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US20210104220A1 (en) * 2019-10-08 2021-04-08 Sarah MENNICKEN Voice assistant with contextually-adjusted audio output
KR20210046475A (ko) * 2019-10-18 2021-04-28 삼성전자주식회사 전자 장치 및 이의 음성 인식 기능 구동 방법
US20210125610A1 (en) * 2019-10-29 2021-04-29 Facebook Technologies, Llc Ai-driven personal assistant with adaptive response generation
US11227583B2 (en) 2019-11-05 2022-01-18 International Business Machines Corporation Artificial intelligence voice response system having variable modes for interaction with user
EP3847546B1 (en) 2019-11-27 2024-08-14 Google LLC Interfacing with applications via dynamically updating natural language processing
US11574634B2 (en) 2019-11-27 2023-02-07 Google Llc Interfacing with applications via dynamically updating natural language processing
CN110995936B (zh) * 2019-12-19 2021-03-19 大众问问(北京)信息科技有限公司 一种语音交互方法、装置及设备
CN111061453B (zh) * 2019-12-26 2023-12-26 北京官匠空间科技有限公司 一种用于app生态系统的语音交互方法、装置
CN111222322B (zh) * 2019-12-31 2022-10-25 联想(北京)有限公司 信息处理方法和电子设备
US20230134103A1 (en) * 2020-03-25 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method
CN111488441B (zh) * 2020-04-08 2023-08-01 北京百度网讯科技有限公司 问题解析方法、装置、知识图谱问答系统和电子设备
KR102389179B1 (ko) * 2020-04-14 2022-04-22 주식회사 오비고 차량 AVN 시스템의 상태 정보를 이용한 차량앱 제어 방법 및 이를 이용한 AI Service Agent
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US12027163B2 (en) 2020-07-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
CN112182373B (zh) * 2020-09-25 2023-06-02 中国人民大学 一种基于上下文表示学习的性化搜索方法
EP3989057A1 (de) * 2020-10-23 2022-04-27 Deutsche Telekom AG Adaptiver sprachassistent bedienbar durch einen nutzer mittels eines nutzerendgeräts
KR20220057249A (ko) 2020-10-29 2022-05-09 삼성전자주식회사 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
US11705111B2 (en) 2020-11-12 2023-07-18 Samsung Electronics Co., Ltd. Methods and systems for predicting non-default actions against unstructured utterances
US12112747B2 (en) 2020-12-04 2024-10-08 Samsung Electronics Co., Ltd. Method for controlling external device based on voice and electronic device thereof
CN112631138A (zh) * 2020-12-09 2021-04-09 创维集团有限公司 一种基于智能家居智能控制系统的办公控制方法
US11886482B2 (en) * 2021-03-12 2024-01-30 Google Llc Methods and systems for providing a secure automated assistant
CN113066489B (zh) * 2021-03-16 2024-10-29 深圳地平线机器人科技有限公司 语音交互方法、装置、计算机可读存储介质及电子设备
CN117099077A (zh) * 2021-03-23 2023-11-21 微软技术许可有限责任公司 具有用户视图上下文和多模态输入支持的支持语音助手的客户端应用
US11705125B2 (en) 2021-03-26 2023-07-18 International Business Machines Corporation Dynamic voice input detection for conversation assistants
CN113297359B (zh) * 2021-04-23 2023-11-28 阿里巴巴新加坡控股有限公司 交互信息的方法以及装置
US12288036B2 (en) 2021-06-01 2025-04-29 Apple Inc. Reform input in flow execution
DE102021120246A1 (de) 2021-08-04 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Spracherkennungssystem
US12300230B2 (en) 2021-08-11 2025-05-13 MeetKai, Inc. Conversational artificial intelligence system in a virtual reality space
US12243523B2 (en) 2021-09-24 2025-03-04 Apple Inc. Digital assistant for providing handsfree notification management
US12518092B2 (en) 2021-10-15 2026-01-06 Adeia Guides Inc. Systems and methods to generate contextual based actions
TWI823195B (zh) * 2021-11-25 2023-11-21 荷蘭商荷蘭移動驅動器公司 智慧推薦方法及系統
KR20230105254A (ko) 2022-01-03 2023-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
DE102022112444A1 (de) 2022-05-18 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Spracherkennungssystem
US12424218B2 (en) 2022-05-27 2025-09-23 Apple Inc. Digital assistant response framework
US11978436B2 (en) 2022-06-03 2024-05-07 Apple Inc. Application vocabulary integration with a digital assistant
US11995457B2 (en) 2022-06-03 2024-05-28 Apple Inc. Digital assistant integration with system interface
CN115064168B (zh) * 2022-08-17 2022-12-13 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质
US12235889B2 (en) 2022-08-26 2025-02-25 Google Llc Device messages provided in displayed image compilations based on user content
CN120077361A (zh) * 2022-08-30 2025-05-30 谷歌有限责任公司 减少与自动化助理请求一起传输的元数据
US12585696B2 (en) 2022-08-30 2026-03-24 Google Llc Reducing metadata transmitted with automated assistant requests
WO2024058474A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 음성 인식을 수행하는 전자 장치 및 이의 제어 방법
EP4528721A4 (en) 2022-09-15 2025-07-09 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PERFORMING VOICE RECOGNITION, AND CONTROL METHOD THEREOF
EP4586132A4 (en) * 2022-09-28 2025-08-13 Lg Electronics Inc ARTIFICIAL INTELLIGENCE DEVICE AND METHOD OF OPERATING THE SAME
US12332730B2 (en) 2022-10-11 2025-06-17 Cisco Technology, Inc. Error context for bot optimization
WO2024102123A1 (en) * 2022-11-09 2024-05-16 Google Llc Voice input disambiguation
CN115565519B (zh) * 2022-11-30 2023-04-07 广汽埃安新能源汽车股份有限公司 对话语音生成方法、装置、设备、计算机可读介质
US11695867B1 (en) 2022-12-07 2023-07-04 V Group Inc. Methods and systems for facilitating context-to-call communications between communication points via dedicated context-to-call-enabled contact numbers
KR102551531B1 (ko) * 2023-04-10 2023-07-05 (주)인스웨이브시스템즈 맥락 기반 대화형 서비스 제공 시스템 및 방법
EP4462197A1 (de) * 2023-05-11 2024-11-13 BSH Hausgeräte GmbH Elektronisches gerät und verfahren zur interaktion mit einem nutzer in einem haushalt
KR102572200B1 (ko) 2023-06-29 2023-08-29 (주)인스웨이브시스템즈 맥락 기반 대화형 서비스 제공 시스템 및 방법
WO2025041876A1 (ko) * 2023-08-22 2025-02-27 엘지전자 주식회사 대화형 인공지능을 위한 프롬프트 생성을 위한 장치 또는 이를 위한 방법
WO2025080070A1 (ko) * 2023-10-13 2025-04-17 삼성전자주식회사 전자 장치 및 사용자 발화 처리 방법
WO2025127383A1 (ko) * 2023-12-11 2025-06-19 삼성전자주식회사 캐싱을 이용하여 커맨드에 대응하는 기능을 실행하기 위한 전자 장치 및 그 방법
US20250198790A1 (en) * 2023-12-15 2025-06-19 Google Llc Generating a Customized Digital Map Via a Generative Machine-Learned Model
WO2026003999A1 (ja) * 2024-06-26 2026-01-02 株式会社I’mbesideyou 情報処理システム及び情報処理方法
WO2026014661A1 (ko) * 2024-07-08 2026-01-15 삼성전자주식회사 메시지를 생성하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독가능 저장 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324512B1 (en) 1999-08-26 2001-11-27 Matsushita Electric Industrial Co., Ltd. System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US20080091406A1 (en) 2006-10-16 2008-04-17 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339288A (ja) * 1995-06-14 1996-12-24 Canon Inc 情報処理装置及びその制御方法
RU2163032C2 (ru) * 1995-09-14 2001-02-10 Эрикссон Инк. Система адаптивной фильтрации аудиосигналов для улучшения разборчивости речи при наличии шума
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
US20030093281A1 (en) * 1999-05-21 2003-05-15 Michael Geilhufe Method and apparatus for machine to machine communication using speech
JP4200607B2 (ja) * 1999-09-03 2008-12-24 ソニー株式会社 情報処理装置および方法、並びにプログラム格納媒体
JP3941299B2 (ja) * 1999-10-12 2007-07-04 三菱電機株式会社 音声対話装置
US6353794B1 (en) * 1999-10-19 2002-03-05 Ar Group, Inc. Air travel information and computer data compilation, retrieval and display method and system
JP2001188721A (ja) * 1999-12-28 2001-07-10 Casio Comput Co Ltd データ入力装置及びデータ入力処理プログラムを記憶した記憶媒体
JP2001216131A (ja) * 2000-02-04 2001-08-10 Sony Corp 情報処理装置および方法、並びにプログラム格納媒体
JP2001318839A (ja) * 2000-05-11 2001-11-16 Casio Comput Co Ltd 情報収集装置及び記憶媒体
KR100380829B1 (ko) * 2000-09-09 2003-04-18 주식회사 모빅텔커뮤니케이션스 에이전트를 이용한 대화 방식 인터페이스 운영 시스템 및방법과 그 프로그램 소스를 기록한 기록 매체
US20020087306A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented noise normalization method and system
US7257537B2 (en) * 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
US7031916B2 (en) * 2001-06-01 2006-04-18 Texas Instruments Incorporated Method for converging a G.729 Annex B compliant voice activity detection circuit
US20030233230A1 (en) * 2002-06-12 2003-12-18 Lucent Technologies Inc. System and method for representing and resolving ambiguity in spoken dialogue systems
US7003464B2 (en) * 2003-01-09 2006-02-21 Motorola, Inc. Dialog recognition and control in a voice browser
JP2004239963A (ja) * 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
CN100485603C (zh) * 2003-04-04 2009-05-06 雅虎公司 用于从搜索查询中产生概念单元的系统和方法
KR20040088975A (ko) * 2003-04-14 2004-10-20 주식회사 케이티 개인비서 전화서비스 시스템 및 그 방법
US7302392B1 (en) * 2003-10-07 2007-11-27 Sprint Spectrum L.P. Voice browser with weighting of browser-level grammar to enhance usability
US7669177B2 (en) * 2003-10-24 2010-02-23 Microsoft Corporation System and method for preference application installation and execution
US20060036430A1 (en) 2004-08-12 2006-02-16 Junling Hu System and method for domain-based natural language consultation
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8126120B2 (en) * 2005-12-12 2012-02-28 Tellme Networks, Inc. Providing missed call and message information
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
IL174107A0 (en) 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
US7599861B2 (en) * 2006-03-02 2009-10-06 Convergys Customer Management Group, Inc. System and method for closed loop decisionmaking in an automated care system
JP5146979B2 (ja) * 2006-06-02 2013-02-20 株式会社国際電気通信基礎技術研究所 自然言語における多義解消装置及びコンピュータプログラム
US8423347B2 (en) * 2006-06-06 2013-04-16 Microsoft Corporation Natural language personal information management
JP4716432B2 (ja) * 2006-06-09 2011-07-06 勝美 吉野 高齢者対応通信システム
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080147411A1 (en) * 2006-12-19 2008-06-19 International Business Machines Corporation Adaptation of a speech processing system from external input that is not directly related to sounds in an operational acoustic environment
US8762143B2 (en) * 2007-05-29 2014-06-24 At&T Intellectual Property Ii, L.P. Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
US9954996B2 (en) * 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US8082148B2 (en) * 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8121837B2 (en) * 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
KR101462932B1 (ko) 2008-05-28 2014-12-04 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
US8117136B2 (en) 2008-08-29 2012-02-14 Hewlett-Packard Development Company, L.P. Relationship management on a mobile computing device
JP2010066519A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd 音声対話装置、音声対話方法、および音声対話プログラム
JP2010079103A (ja) * 2008-09-26 2010-04-08 Brother Ind Ltd 音声対話装置及びそのプログラム並びに音声対話処理方法
US8285545B2 (en) * 2008-10-03 2012-10-09 Volkswagen Ag Voice command acquisition system and method
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US20100146437A1 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Glanceable animated notifications on a locked device
US8539382B2 (en) 2009-04-03 2013-09-17 Palm, Inc. Preventing unintentional activation and/or input in an electronic device
US10255566B2 (en) * 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9117448B2 (en) * 2009-07-27 2015-08-25 Cisco Technology, Inc. Method and system for speech recognition using social networks
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
JP4848450B2 (ja) * 2009-11-26 2011-12-28 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数の宛先アドレスに送信される電子メールの処理方法、コンピュータ・プログラム及び装置
US8301121B2 (en) * 2010-01-22 2012-10-30 Sony Ericsson Mobile Communications Ab Regulating alerts generated by communication terminals responsive to sensed movement
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
EP2559030B1 (en) * 2010-03-19 2017-06-21 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324512B1 (en) 1999-08-26 2001-11-27 Matsushita Electric Industrial Co., Ltd. System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US20080091406A1 (en) 2006-10-16 2008-04-17 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135859B1 (ko) 2019-10-24 2020-07-20 주식회사 유니온플레이스 개인화된 가상 비서를 제공하는 장치
US12277934B2 (en) 2021-02-17 2025-04-15 Samsung Electronics Co., Ltd. Electronic device for analyzing domain associations and reconstructing hints customized for a user based on a common parameter
US12505839B2 (en) 2021-12-30 2025-12-23 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
RU2542937C2 (ru) 2015-02-27
KR20210122755A (ko) 2021-10-12
JP6740162B2 (ja) 2020-08-12
JP7357113B2 (ja) 2023-10-05
AU2012232977A1 (en) 2013-04-18
CA2791277C (en) 2019-01-15
JP2020194557A (ja) 2020-12-03
KR102048375B1 (ko) 2019-11-25
KR20220136304A (ko) 2022-10-07
JP7082645B2 (ja) 2022-06-08
JP2013080476A (ja) 2013-05-02
KR20180052112A (ko) 2018-05-17
JP7631460B2 (ja) 2025-02-18
CA3023918A1 (en) 2013-03-30
NL2009544B1 (en) 2017-05-24
KR102309489B1 (ko) 2021-10-07
KR102904375B1 (ko) 2025-12-26
GB2495222A (en) 2013-04-03
CN103226949B (zh) 2017-02-01
JP6285883B2 (ja) 2018-02-28
BR102012024861A2 (pt) 2017-02-14
KR20190132321A (ko) 2019-11-27
CA2791277A1 (en) 2013-03-30
KR20240010057A (ko) 2024-01-23
JP5698203B2 (ja) 2015-04-08
BR102012024861B1 (pt) 2021-02-09
JP2022119908A (ja) 2022-08-17
JP2017139004A (ja) 2017-08-10
CN103226949A (zh) 2013-07-31
EP3200185A1 (en) 2017-08-02
GB2495222B (en) 2016-10-26
KR102622737B1 (ko) 2024-01-10
EP2575128A3 (en) 2013-08-14
JP2015122104A (ja) 2015-07-02
EP2575128A2 (en) 2013-04-03
KR102447546B1 (ko) 2022-09-26
JP2025076458A (ja) 2025-05-15
JP2023169360A (ja) 2023-11-29
NL2009544A (en) 2013-04-03
DE102012019178A1 (de) 2013-04-04
KR102145660B1 (ko) 2020-08-18
CA3023918C (en) 2022-11-29
RU2012141604A (ru) 2014-04-10
EP3392876A1 (en) 2018-10-24
KR20160142802A (ko) 2016-12-13
GB201217449D0 (en) 2012-11-14
KR20130035983A (ko) 2013-04-09
MX2012011426A (es) 2013-04-01

Similar Documents

Publication Publication Date Title
KR102622737B1 (ko) 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
AU2023202497B2 (en) Processing of commands in a virtual assistant
US10475446B2 (en) Using context information to facilitate processing of commands in a virtual assistant
HK1183151A (en) Using context information to facilitate processing of commands in a virtual assistant

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150529

Effective date: 20160229

Free format text: TRIAL NUMBER: 2015101003059; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150529

Effective date: 20160229

PJ1301 Trial decision

St.27 status event code: A-3-3-V10-V15-crt-PJ1301

Decision date: 20160229

Appeal event data comment text: Appeal Kind Category : Appeal against decision to decline refusal, Appeal Ground Text : 2012 0109552

Appeal request date: 20150529

Appellate body name: Patent Examination Board

Decision authority category: Office appeal board

Decision identifier: 2015101003059

PS0901 Examination by remand of revocation

St.27 status event code: A-6-3-E10-E12-rex-PS0901

S901 Examination by remand of revocation
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

St.27 status event code: A-3-4-F10-F13-rex-PS0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20201028

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20211027

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20221017

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 10