KR20170096774A - 전자기기의 사용자 행동기반 정황인식 작동모드 - Google Patents

전자기기의 사용자 행동기반 정황인식 작동모드 Download PDF

Info

Publication number
KR20170096774A
KR20170096774A KR1020160018446A KR20160018446A KR20170096774A KR 20170096774 A KR20170096774 A KR 20170096774A KR 1020160018446 A KR1020160018446 A KR 1020160018446A KR 20160018446 A KR20160018446 A KR 20160018446A KR 20170096774 A KR20170096774 A KR 20170096774A
Authority
KR
South Korea
Prior art keywords
user
behavior
electronic device
user behavior
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020160018446A
Other languages
English (en)
Inventor
이준영
Original Assignee
이준영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준영 filed Critical 이준영
Priority to KR1020160018446A priority Critical patent/KR20170096774A/ko
Priority to PCT/KR2016/002099 priority patent/WO2017142116A1/en
Publication of KR20170096774A publication Critical patent/KR20170096774A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Telephone Function (AREA)

Abstract

전자기기의 사용자들의 사용행태를 관찰한 결과, 사용자는 그들의 행동에 변화가 있을 때 전자기기의 기능을 바꾼다는 것을 알 수 있었다. 예를 들면, 사용자가 취침을 하고자 할 때, 그 사용자는 TV와 조명을 끄고, 알람을 맞추고, 스마트폰을 진동 또는 무음모드로 바꾼다. 이 모든 기능의 변화는 사용자의 행동 "취침"과 관련이 있으며, 이 기능의 변화는 버튼, 터치스크린, 또는 기타 인터페이스 방식에 대해 여러 번의 클릭, 핀칭 (pinch), 스와이프 (swipe) 등이 필요하며, 많은 사용자에게는 매우 복잡한 작업일 수밖에 없다. 본 발명은 이러한 사용자 인터페이스 방식의 복잡성을 줄이고자 하는 시스템과 방법이다. 본 발명의 경우, 새로운 사용자 행동을 감지하면 본 발명의 시스템과 방법은 감지된 사용자 행동에 맞게 미리 정의된 작동모드에 따라 필요한 기능상의 변화를 자동으로 적용한다. 그러므로 본 발명의 사용자 인터페이스와 사용자 경험은 간단하고, 직관적이며 기능의 복잡성을 가진 현대 전자기기에 적합하다.

Description

전자기기의 사용자 행동기반 정황인식 작동모드 {Activity-centric contextual modes of operation for electronic devices}
전자기기들의 기능들이 증가하면서 발생하는 복잡성을 해소하기 위하여 새로운 개념의 전자기기 제어 및 사용자 인터페이스 방식을 제공하는 시스템과 방법
현재 모바일 기기와 컴퓨터들은 사용자 인터페이스가 앱 (애플리케이션)을 중심으로 구성되어 있다. 다시 말하면, 앱 아이콘과 기능 버튼들로 구성되어 있다. 예를 들면, 사용자가 음악을 듣고자 한다면 사용자는 오디오 앱 아이콘을 클릭하고 또 다른 버튼들을 클릭하여 원하는 재생목록을 선택하고 음악을 재생한다. 이와 같은 사용자 인터페이스, 즉 "앱 아이콘과 버튼들을 클릭"하는 방식은 1984년 애플에서 맥킨토시 128K를 시판하면서 GUI (Graphical User Interface) 와 마우스의 조합으로 시작되어 아직까지도 대표적인 컴퓨팅 환경으로 이어져 왔다.
1996년 출시한 애플의 아이폰에서 도입한 터치스크린과, 터치 동작인식 등 획기적인 기술들이 1984년 이후 시도되었지만, "앱 아이콘과 버튼들을 클릭"하는 기본은 변하지 않았다. 현재 탭, 스와이프 (swipe), 핀치 (pinch)와 같은 새로운 기술들이 개발되었지만, 모두 "앱 아이콘과 버튼들을 클릭"을 쉽게 하기 위한 방법들일 뿐이다. 그뿐 아니라, 일반적인 전자기기의 경우에도 대표적인 사용자 인터페이스는 전원스위치와 기능버튼들이며, "전원스위치와 버튼들을 클릭"으로 표현될 수 있다. 그러므로 모바일기기와 일반적인 전자기기의 대표적인 사용자 인터페이스는 모두 "전원과 기능버튼들을 클릭"하는 방식이다.
최근 스마트기기들이 개발되면서 많은 전자기기에 컴퓨팅 및 네트워킹 기능이 추가되고 있으며, 그로 인하여 각각의 기기들의 기능을 넘어 네트워크에 연결된 다른 기기와 함께 "집단"기능으로 연계된다. 예를 들어, 스마트폰들은 가전제품, 홈오토메이션시스템, 자동차 전장, 기타 네트워크에 연결된 전자기기 등과 연동되고 있다. 이러한 추세는 더 많은 기능을 제공하는 반면에 사용자 인터페이스에 있어서 복잡성을 증대시키고 있다. 대부분의 경우, 다른 전자기기와 연동하고 제어를 하기 위해 서로 다른 시스템과 방법을 사용하고 있으며 더 많은 아이콘, 스위치, 버튼들이 필요하게 되고 이로 인해 복잡성을 증대시키게 되고 상호연결성 (interconnectivity)과 제어의 가치를 저해하게 된다.
기존의 사용자 인터페이스는 "기능중심의" 사용자 인터페이스라고 표현할 수 있다. 사용자는 "전원스위치와 버튼들을 클릭"하여 모바일기기와 전자기기를 사용자의 필요에 따라 끊임없이 기능을 조절하고 있다. 하지만, 단일의 전자기기 또는 네트워크에 연결된 여러 전자기기의 기능적 복잡성은 "기능중심의" 사용자 인터페이스의 한계를 보여준다. 음성인식 및 동장인식도 기술적인 발전과 사용자 인터페이스의 용이성에 따라 인기를 끌고 있지만 이들 또한 "전원스위치와 버튼을 클릭"하기 위한 또 다른 편의기능의 역할이다.
과거에 비추어 볼 때, 기능의 증대는 복잡성의 증대를 불러일으켰으며 새로운 사용자 인터페이스는 일반적인 해결책이었다. 이제 "앱 아이콘과 버튼을 클릭"과 "전원스위치와 버튼을 클릭"하는 방식을 넘어선 새로운 사용자 인터페이스가 필요한 시점이다. 본 발명은 모바일기기 및 일반적인 전자기기에 적용되는 사용자 인터페이스의 시스템과 방법을 개량하여, 모바일기기 및 전자기기의 기능적 복잡성을 해결하는 사용자 경험을 제공하기 위함이다.
모바일기기 및 전자기기들의 기능적 복잡성을 해결하기 위하여 새로운 사용자 인터페이스를 필요로 한다. 복잡성을 해결하기 위해서는 단순화를 필요로 하며, 단순화는 공통분모를 요구한다. 본 발명은 정황, 엄밀히 말하여 사용자 정황, 영문으로 user context (유저컨텍스트), 을 공통분모로 적용하여 전자기기의 기능적 복잡성을 단순화하고자 한다.
컨텍스트 (정황) 는 (어떤 일의) 맥락, 전후 사정으로 정의되어 있다. 아직까지 유저컨텍스트 (사용자 정황) 는 위치인식으로 인식되어 왔다. 모바일기기가 확산되면서 사용자의 위치정보가 가장 보편적인 유저컨텍스트 (사용자 정황) 였다.
본 발명은 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 유저컨텍스트, 즉 사용자 정황으로 활용하여, 이를 사용자 행동기반 정황으로 정의한다. (이후로 사용자의 행동 그리고/또는 사용자의 행동을 취하려는 의도를 사용자의 행동으로 간략 표기한다.) 본 발명은 전자기기의 기능적 복잡성을 단순화하기 위하여 사용자의 행동을 공통분모로 활용한다. 그러한 활용은 사용자 행동의 변화에 따라 전자기기의 기능 변화가 수반됨을 가정한다. 예를 들면, 사용자가 요리를 할 때는 사용자는 스마트폰을 핸즈프리로 사용하고, 주방조명 외에는 전등을 모두 소등하고, 클래식음악을 듣고 싶어할 수 있다. 하지만, 사용자가 텔레비전을 시청할때에는 사용자는 스마트폰을 진동모드로 사용하고, 거실조명을 약하게 하고, 음악재생을 중단하려 할 것이다. 사용자가 다른 행동을 할 때 그 행동변화에 따라 사용자는 전자기기들에 대해 다른 기능이나 반응을 원하게 된다.
다시 말해, 전자기기의 복잡한 기능변화는 사용자의 행동변화로부터 일어날 수 있다. 이러한 일대다 (一對多) 관계, 즉 하나의 행동변화 대비 여러 기능변화, 는 복잡성을 단순화하는 핵심요소이다. 이 사용자의 행동과 전자기기의 기능들과의 일대다 관계는 "작동모드"로 정의된다. 각각의 작동모드는 사용자의 행동변화에 필요한 전자기기의 기능변화를 포함한다. 따라서, 본 발명에서 각각의 사용자 행동은 연관된 작동모드 (본 발명에서 전자기기의 사용자 행동기반 정황인식 작동모드로 정의) 를 가지고 있다.
본 발명에서 사용자의 행동을 사용자의 정황 (유저컨텍스트, 본 발명에서 정의하는 사용자 행동기반 정황) 으로 활용하기 위하여 육하원칙 (누가, 무엇을, 언제, 어디서, 왜, 어떻게) 을 이용하여 사용자의 행동에 대한 모든 정보를 취합한다. 따라서, 사용자 행동의 상세한 요소는 사용자 그룹 (누가), 사물/대상 (무엇을), 시간 (언제), 위치 (어디서), 의도/이유 (왜), 기타 정황정보 (어떻게) 의 일부나 모두를 포함할 수 있으며 데이터 구조를 활용하여 정의할 수 있다. 표준화된 데이터 구조는 전자기기 내부 또는 전자기기들 간에서 사용자 행동에 대한 정보를 수집, 저장, 접근, 커뮤니케이션 하기 위해 필요할 수 있다.
사용자 행동을 육하원칙을 이용하여 사용자 행동기반 정황으로 정의할 때, 그 사용자 행동에 맞는 전자기기의 기능적 변화는 본 발명에서 표현하는 "사용자 행동기반 정황인식 작동모드"로 정의된다. 작동모드는 소프트웨어 및 하드웨어에 대한 기능과 세팅을 포함할 수 있다. 예를 들면, 스마트폰의 작동모드는 오디오앱의 재생목록과 볼륨조절 또는 스마트폰 기기 자체의 벨소리 세팅이 포함될 수 있다. 스마트홈의 조명제어시스템 작동모드는 밝기조절 세팅이 포함될 수 있다. 그러므로 사용자의 행동이 "요리"에서 "텔레비젼 시청"으로 바뀌게 되면, 미리 설정된 "텔레비젼 시청"이라는 사용자 행동의 정황인식 작동모드에 따라 스마트폰은 자동적으로 진동모드로 전환되고 오디오앱을 정지시키고 스마트홈 조명제어시스템은 거실 조명을 약하게 조절하게 된다.
사용자는 미리 각각의 사용자 행동에 대하여 전자기기들이 어떻게 작동해야 하는지 정황인식 작동모드에 미리 설정해 놓으면 된다. 그렇게 되면, 매번 사용자가 미리 설정한 사용자 행동으로 전환했을 때, 전자기기들은 미리 설정된 기능과 세팅으로 전환하게 된다. 그러므로 본 발명은 사용자의 모바일 경험뿐 아니라 모든 전자기기에 대한 경험을 간소화시킨다. 사용자는 스마트폰, 웨어러블기기, 가전기기, 홈오토메이션기기, 자동차관련 전자기기 및 기타 전자기기를 사용자의 행동의 변화로써 제어할 수 있게 된다.
전자기기들은 점점 스마트해지고 다른 환경 조건에 다르게 작동하기 위해 환경을 모니터링하기 위한 센서들을 사용한다. 본 발명은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 주요 환경 조건으로 전제한다. 그러므로 본 발명의 전자기기들은 사용자의 새로운 행동 그리고/또는 새로운 행동을 취하려는 사용자의 의도를 감지하고, 서로 다른 사용자 행동 그리고/또는 행동을 취하려는 사용자의 의도에 따라 전자기기들은 다르게 작동한다. 각각의 사용자 행동에 대하여 하나 또는 다수의 연관된 사용자 행동기반 정황인식 작동모드를 정의하며, 그 작동모드는 다른 사용자 행동에 따라 전자기기들이 어떻게 다르게 작동하는지 정의한다. 본 발명은 네트워크 상의 다수의 전자기기들에 대해 사용자 행동기반 정황인식 작동모드를 어떻게 구현하는지 구현방법을 제시한다. 그러므로 하나의 전자기기에서 새로운 사용자 행동이 감지되었을 때, 그 전자기기가 새로운 사용자 행동을 네트워크 상의 다른 전자기기들에게 통보하고, 그 네트워크 상의 다른 전자기기들이 새로운 사용자 행동에 연계되어 미리 정의된 정황인식 작동모드로 변환한다.
전자기기들은 기능들로 넘쳐나고 있다. 그러한 기능의 복잡성은 결국 사용자 경험을 저해하고 그 전자기기들의 가능성을 제한한다. 예를 들면, 스마트폰이 광대한 기능들로 모든 이의 일상을 바꾸었지만, 많은 이들은 그 가능성들을 사용하는데 어려움을 겪고 있고 기존의 플립폰 보다도 사용하기 어려워 하고 있다. 본 발명은 전자기기와의 사용자 상호작용 (interation) 을 간단하게 하는 시스템과 방법을 정의한다. 서로 다른 사용자 행동에 대하여 사용자 행동기반 정황인식 작동모드들이 일단 정의되고 나면, 새로운 사용자 행동이 감지되었을 때 본 발명의 전자기기들은 그들의 기능들을 자동으로 바꿀 수 있다. 그러므로, 그 전자기기들과의 사용자 상호작용 (interaction) 은 새로운 사용자 행동을 선택하는 수준으로 단순해지거나, 나아가 그 전자기기들이 사용자 행동을 자동으로 감지하는 수준으로 단순해진다. 미래에 사람의 움직임 인식이나 음성 인식 등의 기술들이 발전하게 되면, 본 발명의 홈오토메이션시스템은 사용자가 조깅을 하려는 의도를 사용자가 런닝화를 신으려는 움직임을 통해 분석하고 파악하여, 사용자에게 "조깅을 할 준비가 되었나요"라고 확인하게 되고, 사용자의 상호작용 (interation) 은 단지 "예" 또는 "아니오"를 대답하는 수준으로 단순해질 것이다.
도.1은 종래 전자기기의 사용자 경험 시나리오 예시,
도.2는 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "조깅"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.3은 도.1의 사용자 시나리오 100에 서술된 사용자 행동 "취침"에 대한 사용자 행동, 전자기기들, 전자기기들의 기능과 세팅들간의 일대다 연관 관계,
도.4는 전자기기의 일 실시예,
402 입력부
404 출력부
406 제어부
408 그래픽모듈
410 네트워크
412 메모리
414 저장기기
416 통신모듈
418 사용자 행동기반 정황인식 작동모드 제어모듈
도.5는 전자기기 400의 다양한 실시예,
도.6은 사용자 행동의 감지방법에 대한 다양한 실시예,
도.7은 본 발명의 일 실시예에 따른 사용자 행동의 데이터 구조,
도.8은 본 발명의 일 실시예에 따른 정황인식 작동모드의 데이터 구조,
도.9는 본 발명의 일 실시예에 따는 사용자 행동과 정황인식 작동모드 간의 연관관계도,
도.10은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드가 적용된 사용자 경험 시나리오,
도.11은 종래 스마트폰의 아키텍처 실시예,
도.12는 본 발명의 일 실시예에 따른 스마트폰의 아키텍처,
도.13A는 본 발명의 일 실시예에 따른 흐름도 (1/2),
도.13B는 본 발명의 일 실시예에 따른 흐름도 (2/2),
도.14는 본 발명의 일 실시예에 따른 홈스크린 화면,
도.15는 본 발명의 일 실시예에 따른 초기 화면,
도.16은 본 발명의 일 실시예에 따른 새로운 사용자 행동 편집 화면,
도.17은 본 발명의 일 실시예에 따른 자동감지 편집 화면,
도.18은 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.19는 본 발명의 일 실시예에 따른 센서 입력 편집 화면,
도.20은 본 발명의 일 실시예에 따른 블루투스 입력 편집 화면,
도.21은 본 발명의 일 실시예에 따른 사용자 행동기반 정황인식 작동모드 편집 화면,
도.22는 본 발명의 일 실시예에 따른 애플리케이션 활성화 편집 화면,
도.23은 본 발명의 일 실시예에 따른 주기기 세팅 편집 화면,
도.24는 본 발명의 일 실시예에 따른 주변기기 편집 화면,
도.25는 본 발명의 일 실시예에 따른 주변기기 세팅 편집 화면,
도.26은 본 발명의 일 실시예에 따른 새로운 사용자 행동 시작 확인 화면,
도.27은 본 발명의 일 실시예에 따른 세팅 편집 화면,
도.28은 본 발명의 일 실시예에 따른 새로운 사용자 행동 감지 확인 화면,
도.29는 본 발명의 일 실시예에 따른 새로운 사용자 행동 알림 확인 화면,
도.30은 본 발명의 일 실시예에 따른 정황인식 작동모드 부재 알림 화면.
단수 또는 복수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 시스템과 방법을 도.1부터 도.30까지 참조하여 설명하였다.
도.1은 사용자가 조깅과 취침이라는 행동을 취했을 때 사용자의 전자기기들에 대한 사용자 경험에 대한 일 실시예에 따른 사용자 시나리오 100을 보여준다. 시나리오 100은 첫 단계 102로서 "사용자는 조깅을 하기로 결심"이라는 새로운 행동을 취하려는 의도로 시작한다. 단계 104와 106을 통해 사용자는 사용자의 운동을 추적하는 앱을 시작하고 앱에서 운동종류를 "조깅"으로 선택한다. 단계 108, 110, 112를 통해 사용자는 조깅에 적합한 음악 재생목록을 선택하고, 조깅 중에 수신전화의 벨소리를 듣기 위해 무음/진동 스위치를 무음/진동에서 벨소리가 들리도록 바꿔주고, 조깅에 적합하게 볼륨을 조절한다. 단계 114를 통해서 사용자는 집을 나서기 전에 모든 조명을 끈다. 이제 사용자는 조깅할 준비를 모두 마쳤다. 사용자는 단계 116을 통해 운동을 추적하는 앱의 시작 버튼을 누르고 단계 118을 통해 조깅을 한다. 단계 120을 통해 사용자는 조깅을 마친 후 운동을 추적하는 앱의 종료 버튼을 누르고 추적정보를 저장한다. 단계 122, 124, 126, 128을 통해 사용자는 집에 들어 오면서 조명을 키고, 보일러를 키고, 샤워를 하고, 샤워가 끝난 후 보일러를 끈다.
단계 102부터 128까지의 단계들은 사용자의 조깅 행동과 관련되어 있으며, 사용자는 스마트폰, 보일러, 조명기기의 3가지 다른 전자기기들을 접한다. 사용자가 3가지 전자기기들과 접하는 것은 사용자의 조깅 행동에 맞게 3가지 전자기기들의 기능과 세팅을 조정해 주기 위해서이다.
단계 130부터 136은 사용자가 샤워 후 취침을 하기 위하여 "취침"이라는 새로운 사용자 행동에 맞는 전자기기들의 기능과 세팅을 조정하는 단계들을 보여준다. 단계 132를 통해 "취침"이라는 사용자 행동을 위하여 사용자는 오디오를 켜고, 취침 전에 듣기 적합한 음악 재생목록을 선택하고, 30분 후 꺼지도록 오디오의 타이머를 조정한다. 단계 134와 136을 통해 사용자는 조명기기의 타이머를 30분에 맞추고 취침을 시작한다. 단계 130부터 136에 이르는 단계들로 사용자는 조명기기와 오디오의 2가지 전자기기들을 접한다.
예시적인 시나리오 100은 종래의 전자기기들과의 사용자 경험을 예로 들고 있으며, 조깅과 취침이라는 2가지 사용자 행동과, 스마트폰, 보일러, 조명기기, 오디오의 4가지 전자기기들, 그리고 그 4가지 전자기기들의 다양한 기능과 세팅의 조정을 포함한다. 사용자 행동이 변화할 때 사용자는 새로운 사용자 행동에 적합하도록 전자기기들을 켜거나 끄거나 또는 그 전자기기들의 기능과 세팅들을 조정해 준다. 미래의 전자기기들이 더욱 똑똑해지고 네트워크화가 될수록 사용자들은 더욱더 많은 기능을 누릴 수 있지만, 사용자 행동이 변화할 때마다 그 기능들과 세팅들을 계속 조정해줘야 하기 때문에 사용자 인터페이스는 복잡성이 증대될 것이다.
본 발명은 사용자 인터페이스의 복잡성을 해결하는 해법을 제시한다. 복잡성을 해결하기 위해서 본 발명은 사용자 행동을 공통분모로 사용하여, 전자기기들의 복잡한 기능과 세팅들을 분류하고, 현재의 사용자 행동에 필요한 전자기기들의 기능과 세팅들만을 그룹화한다. 도.2와 도.3은 예시적인 사용자 시나리오 100에서 보여준 사용자 행동 "조깅"과 "취침"에 관련된 전자기기들과 그들의 기능과 세팅들 간의 연관도 200과 300으로서 각각의 실시예를 보여준다. 도.2에서 보여주는 것과 같이 사용자 행동 "조깅" 202는 스마트폰 204, 조명기기 214, 보일러 218의 3가지 전자기기들과 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들과 관련이 있다. 도.3은 사용자 행동 "취침" 302가 조명기기 214, 오디오 306의 2가지 전자기기들과 304, 308의 2가지 기능과 세팅들과 관련이 있음을 보여준다.
도.2와 도.3에서 보이는 바와 같이, 사용자 행동, 전자기기들, 그 전자기기들의 기능과 세팅들 간의 일대다 관계는 본 발명의 핵심요소이다. 본 발명은 이 일대다 관계를 복잡성을 해결하는데 활용하고 사용자 경험을 단순화한다. 사용자 행동 "조깅"이 감지되면 206, 208, 210, 212, 216, 220의 6가지 기능과 세팅들이 자동으로 204, 214 218의 3가지 전자기기들에서 조정될 수 있다. 사용자 행동 "취침"이 감지되면 304, 308의 2가지 기능과 세팅들이 자동으로 214, 306의 전자기기들에서 조정될 수 있다.
본 발명은 예시적인 시나리오 100에서 보여주듯이 사용자는 사용자 행동의 변화에 따라 전자기기들로부터 다른 작동을 원하기 때문에 기능과 세팅들을 조정한다는 사실에 주목한다. 그러므로 사용자 행동의 변화는 전자기기들의 여러 기능과 세팅들의 변화들의 근본 원인이다. 본 발명은 사용자의 행동을 감지하고 그 감지한 사용자 행동에 맞게 전자기기들의 기능과 세팅들을 자동으로 조정해 주는 시스템과 방법을 제시한다. 본 발명은 해당 전자기기들의 미리 지정된 기능과 세팅들의 조정을 "작동모드"라고 정의한다. 각각의 다른 사용자 행동은 각각의 다른 전자기기 작동모드와 연계된다. 본 발명에서 사용자 행동을 사용자의 정황, 즉 사용자 컨텍스트, 로 정의하고 있기 때문에, 각각의 사용자 행동에 대한 "작동모드"는 "사용자 행동기반 정황인식 작동모드"로 정의한다. 사용자 행동기반 정황인식 작동모드는 사용자 행동의 변화가 감지되었을 때 전자기기들의 모드 또는 상태에 대한 정보를 담고 있다. 기능과 세팅의 조정은 전자기기들의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다.
기능은 입력기능 (예: 마이크), 출력기능 (예: 오디오 출력), 커뮤니케이션기능 (예: 블루투스), 그래픽기능 (예: 디스플레이 밝기조절), 또는 상기 표기된 기능들의 조합 등을 포함한다. 예를 들면, "비밀 미팅"이라는 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드는 녹화를 방지하기 위해 마이크를 끄거나 사진촬영을 금지하기 위해 카메라기능을 끄는 것 등을 포함한다.
사용자 행동기반 정황인식 작동모드는 사용자에게 접근성이 주어진 전자기기들의 하나 또는 그 이상의 구성요소들에 대한 우선순위와 가용성을 변경시킬 수 있다. 구성요소는 미디어요소 (예: 음악, 동영상), 커뮤니케이션요소 (예: 이메일, 문자, 연락처), 기타 구성요소 (예: 인터넷 브라우저의 즐겨찾기 링크), 또는 상기에 표기된 요소들의 조합 등을 포함한다. 예를 들면, "재택 (at home)"이라는 사용자 행동기반 정황인식 작동모드는 업무관련 또는 회사기밀관련 이메일, 연락처, 즐겨찾기 링크 등을 비활성화시킬 수 있다.
도.4는 본 발명의 일 실시예에 따른 하나 또는 그 이상의 사용자 행동기반 정황인식 작동모드를 포함하는 전자기기 400을 보여준다. 전자기기 400은 음악재생기기, 동영상재생기기, 게임기기, 개인용 컴퓨터, 프린터, 스마트폰, 태블릿기기, 패블릿기기, 스마트워치, 기타 웨어러블기기, 디지털개인비서, 기타 커뮤니케이션기기, 카메라, 가전기기, 홈오토메이션기기, 자동차용 전자기기, 키오스크와 같은 사용자 인터페이스기기, 상기 기기들의 조합 등 다양한 전자기기가 될 수 있다. 경우에 따라, 전자기기 400은 진공청소와 같은 단순한 기능만을 제공할 수도 있고, 진공청소뿐 아니라 음악도 재생하는 다양한 기능을 포함할 수도 있다.
전자기기 400은 휴대용일 수도 있고, 손안에 들고 다닐 수도 있고, 몸에 걸칠 수도 있고, 인체에 이식시킬 수도 있고, 또는 사용자가 가는 곳마다 사용할 수 있도록 또 다른 형태를 포함할 수도 있다. 또한, 전자기기 400은 휴대성이 없이 텔레비전이나 공조기기와 같이 정적일 수도 있다. 추가로, 전자기기 400은 휴대성도 없고 정적이지 않지만 자동차 네비게이션기기, 자동차 운전성제어기기, 비행기의 좌석과 같이 움직이는 기구에 포함된 전자기기로서 움직일 수 있다.
전자기기 400은 입력부 402, 출력부 404, 제어부 406, 그래픽부 408, 통신버스 410, 메모리부 412, 저장부 414, 통신부 416, 사용자 행동기반 정황인식 작동모드 제어부 418 등을 포함할 수 있다. 입력부 402는 터치 인터페이스, GPS 센서, 마이크, 카메라, 신경 센서 외 인간의 행동 또는 행동을 취하려는 의도를 감지할 수 있는 기타의 감지방법을 포함할 수 있다. 출력부 404는 디스플레이, 스피커 및 그 외의 사용자에게 정보나 미디어를 제공하는 방법들을 포함한다. 전자기기 400은 운영체계나 애플리케이션을 포함할 수 있다. 그 운영체계나 애플리케이션은 제어부 406에서 작동하면서 전자기기 400의 기능과 세팅들을 제어할 수 있다. 그 운영체계나 애플리케이션은 메모리부 412나 저장부 414에 저장될 수 있다. 그래픽부 408은 시스템, 소프트웨어나 기타의 영상 정보나 미디어를 사용자에게 제공하는 방법을 포함할 수 있다. 통신부 416은 와이파이, 이더넷, 블루투스, NFC, 적외선, 셀룰러, 기타의 통신 프로토콜, 또는 상기의 조합 등으로 통신 네트워크와 연계하여 작동할 수 있다. 사용자 행동기반 정황인식 제어모듈 418은 소프트웨어로 구현될 수도 있으며, 다른 경우에는 하드웨어나 펌웨어, 또는 그들의 조합으로 구현될 수도 있다. 사용자 행동기반 정황인식 제어모듈 418은 또 다른 전자기기 400의 입력부 402, 제어부 406, 통신부 416과 같은 컴포넌트로부터 정보를 받아서 새로운 사용자 행동을 감지하기 위해 활용할 수 있다.
사용자 행동기반 정황인식 작동모드를 구현하는 시스템과 방법은 전자기기 400과 같은 형태의 단수의 기기, 다른 형태의 단수의 기기, 또는 전자기기 400 또는 다른 형태의 기기들의 조합으로 구성된 복수의 기기들을 포함할 수 있다. 도.5는 사용자 행동기반 정황인식 작동모드의 실시예에 해당되는 다양한 형태의 전자기기들을 예시 500을 통해 보여준다. 도.5의 예시에서 전자기기 400의 다양한 형태로서 스마트폰 502, 웨어러블기기 506, 가전기기 508, 홈오토메이션기기 510, 자동차용 전자기기 512, 키오스크와 같이 유통에서 활용하는 사용자 인터페이스기기 514들을 네트워크 504에 모두 연결된 형태로 보여준다. 네트워크 504는 와이파이, 블루투스, 이더넷, TCP/IP, GSM, CDMA, 기타 통신 프로토콜, 또는 상기의 조합 등의 유무선 방식일 수 있다. 도.5의 전자기기들은 사용자 행동기반 정황인식 작동모드와 사용자의 현재 행동에 대한 정보를 공유하기 위해 상호 간에 통신할 수 있다. 도.5의 모든 전자기기들은 새로운 사용자 행동을 감지하고 그 사용자 행동 또는 해당하는 정황인식 작동모드에 대한 정보를 네트워크 504에 연결된 다른 전자기기들과 통신할 수 있다. 도.5의 예시에서는 스마트폰 502은 주기기라고 명칭하고 다른 형태의 전자기기들은 주변기기라고 명칭한다. 본 발명의 모든 전자기기들은 주기기 또는 주변기기가 될 수 있다. 다수의 전자기기의 사용자 행동기반 정황인식 작동모드에 대한 이해를 돕기 위해 사용자가 주로 작동하는 전자기기를 주기기라고 명칭하고 네트워크상의 주기기가 아닌 나머지의 전자기기들은 주변기기라고 명칭한다.
본 발명은 사용자의 행동을 사용자의 정황으로 감지하는 시스템과 방법을 제시한다. 사용자 행동의 감지는 사용자의 명시적인 입력 또는 암시된 가정을 포함한다. 다시 말해서 사용자는 수동으로 사용자의 행동을 입력하거나 전자기기들이 가용한 정보를 분석하여 사용자의 행동을 추정할 수 있다. 도.6에서 일 실시예 600으로 사용자 행동을 감지할 수 있는 방법들을 나열하였다.
도.6에서 보여주듯이 사용자 행동감지 602는 수동적인 경우 604와 자동적인 경우 612로 나뉜다. 수동적인 경우는 경우 606과 같이 사용자가 사용자 행동을 사용자 행동목록에서 선택하는 경우, 경우 608과 같이 사용자가 NFC, QR 코드, RFID, 또는 미리 정의된 사용자 행동에 해당하는 다른 방법들로 태깅하는 경우, 또는 경우 610과 같이 사용자가 미리 정의된 사용자 행동에 해당하는 특정 앱을 작동시키는 경우 등이다. 수동적인 감지는 새로운 사용자 행동을 취하려는 사용자의 의도를 나타내는 직접적인 동작을 포함한다. 반대로, 자동적인 감지는 가용한 암시적 정보들로부터 사용자 행동을 추정한다. 자동적인 감지는 경우 614와 같이 사용자의 위치가 사용자의 특정 행동을 암시하는 경우, 경우 616과 같이 현재의 시간이 사용자의 특정 행동을 암시하는 경우, 경우 618과 같이 특정의 전자기기가 사용자의 특정 행동을 암시하는 경우, 경우 620과 같이 특정한 사용자와의 근접성이 사용자의 특정 행동을 암시하는 경우 등이다.
사용자의 명시적인 입력의 방법은 전자기기들의 입력부를 이용한 내부적인 입력 (예: 스마트폰의 터치스크린) 또는 네트워크로 연결된 또 다른 전자기기들의 입력부를 이용한 외부적인 입력 (예: 사용자의 스마트폰과 연결되어 있는 스마트워치와 같은 웨어러블기기의 입력부) 등을 포함한다.
자동적인 감지는 위치기반 센서, 태깅 방식, 캘린더 입력, 또는 기타 감지장치 (예: 사무실 근처에서 GPS로 "업무" 행동 감지, 스타벅스의 와이파이 연결로 "커피휴식" 행동 감지, 쇼핑몰에서 NFC 태깅하여 "쇼핑" 행동 감지, 미팅일정에 대한 캘린더 입력으로 해당시간에 "미팅" 행동 감지, 시계 알람 입력으로 해당시간에 "기상" 행동 감지, 차량의 블루투스 연결로 "운전" 행동 감지) 등을 포함한다. 기술의 발전이 계속될수록 모션분석, 신경계분석, 또는 다른 방식의 사용자 행동 감지나 사용자의 행동을 취하려는 의지 감지 등이 사용자 행동을 자동으로 감지하기 위해 활용될 수 있다.
사용자 행동 감지 602는 새로운 사용자 행동의 라이프사이클 중 어느 순간에도 이루어질 수 있다. 예를 들면, 새로운 사용자 행동은 사용자 행동 이전, 변화, 도중, 종료, 이후 등에서 감지될 수 있다.
새로운 사용자 행동이 감지되었을 때, 언어학의 육하원칙 (언제, 어디서, 누가, 무엇을, 왜, 어떻게) 을 활용하여 사용자 행동에 대한 정보를 수집하고 완결된 상황을 파악하여 통합적인 사용자 정황을 도출할 수 있다. 다시 말해, 본 발명의 시스템과 방법이 사용자 행동을 감지하였을 때, 본 발명은 감지된 사용자 행동과 관련된 시간 (언제), 장소 (어디서), 사용자 그룹 (누가), 대상 (무엇을), 의도 (왜), 기타 정황적 정보 (어떻게) 등의 정보를 감지하고 측정하여 기록할 수 있다.
육하원칙을 이용하여 사용자 행동을 사용자 정황으로 도출하는 것은 기존의 사용자 정황을 도출하는 방식 대비 획기적인 혁신이다. 스마트폰이 도입된 이후, 위치인식 (location awareness) 은 가장 보편적인 사용자 정황 정보였었다. 하지만, 전자기기들의 범주가 커지고 기능들이 늘어나면서, 위치인식만으로 사용자의 정황을 도출하는 것에 대한 한계를 갖고 있었다. 가속도 센서, 동작인식, 영상분석 등 다양한 기술들이 위치인식을 넘어선 사용자 정황을 도출하기 위해 개발되었지만 그 기술들은 완성도 있는 "통합적인" 사용자 정황을 정의하기 위한 하나의 체계 (프레임워크) 로는 부족하였다. 육하원칙을 프레임워크로 활용하여 사용자 행동으로 사용자 정황을 정의함으로써, 본 발명은 사용자의 현재 정황에 대한 정보를 수집하고 완결된 상황을 (마치 언어학에서 육하원칙으로 가능하듯이) 파악할 수 있다.
사용자 행동의 시간 (육하원칙의 언제) 을 감지하기 위해서, 타이머 또는 전자기기들의 시계 기능으로 사용자 행동의 상대적 또는 절대적 시간 정보를 측정할 수 있다. 사용자의 장소 (육하원칙의 어디서) 를 감지하기 위해서, GPS, 블루투스, 와이파이, NFC 태그, 상기의 조합 등 위치인식 기술들이 사용될 수 있다. 사용자 그룹에 대한 정보를 감지하기 위하여, 전자기기들에 저장된 사용자 식별 정보, NFC 태그, RFID 칩, 바코드, 안면 인식, 지문 인식, 홍채 인식, 또는 기타 관련된 사용자 행동의 사용자나 사용자 그룹을 감지할 수 있는 바이오메트릭 인식 기술 등이 사용될 수 있다. 대상 정보 (육하원칙의 무엇을) 는 사용자 행동과 관련된 모든 대상에 대한 정보 (예를 들면, "조깅" 사용자 행동의 경우는 사용자가 무엇을 소지하고 있는가, 또는 "식사" 사용자 행동의 경우는 사용자가 무엇을 먹고 있는가) 를 포함할 수 있다. 사용자의 의도는 사용자의 의도를 확인할 수 있는 명시적인 입력 또는 암시적인 정보로 추론된 가정 등을 포함한다. 사용자가 "샤워"라는 사용자 행동을 취했을 때, 사용자는 그 의도로 "조깅 후"라고 입력할 수도 있고, 전자기기에서 이전의 사용자 행동 "조깅"으로부터 "조깅 후"라는 의도를 가정할 수 있다. 육하원칙의 어떻게는 사용자 행동과 관련된 사용자나 환경에 대하여 다양한 정황적인 정보 (예를 들면, 사용자의 기분 또는 날씨 등) 를 포함할 수 있다. 본 발명의 시스템과 방법은 육하원칙의 일부 또는 전부를 사용자 정황 인식의 필요에 따라 포함할 수 있다.
사용자 행동에 관련된 프로필이나 정의는 다양한 전자기기들 간에 정보를 메모리나 저장기기에 저장하고 접근하고 휴대성이나 호환성을 확보하기 위하여 도.7의 데이터구조와 같이 표준화된 포멧을 사용할 수 있다. 데이터구조는 사용자 행동 아이디 702, 사용자 행동 명 704, 사용자 행동 설명 706, 시작 시간 708, 종료 시간 710, 경도와 위도의 위치 712, 사용자 그룹 714, 관련된 대상 716, 의도 718, 기타 정황적 정보 720 등을 포함할 수 있다. 데이터구조 700은 전자기기 400에 (예를 들면, 메모리 412나 저장부 414에) 저장될 수 있다. 그 외에도, 데이터구조 700의 일부 또는 전부는 전자기기 400과 통신하는 또 다른 외부 시스템이나 기기에 위치해 있을 수 있다.
새로운 사용자 행동이 사용자 정황으로 육하원칙의 데이터와 함께 감지되면, 감지된 사용자 행동에 맞게 전자기기들의 기능과 세팅들에 변화를 적용한다. 전자기기들의 기능과 세팅들의 변화는 본 발명에서 "사용자 행동기반 정황인식 작동모드"라고 정의한다. "사용자 행동기반 정황인식 작동모드"는 사용자의 정황으로서 정의된 하나의 사용자 행동에 맞는 작동모드를 가리킨다. 사용자 행동기반 정황인식 작동모드는 각각의 사용자 행동에 대하여 미리 정의되고, 사용자 행동이 감지되었을 때 해당하는 정황인식 작동모드가 메모리부 412나 저장부 414로부터 액세스 되어 전자기기들에 적용된다. 도.8은 도.1에 표기된 시나리오 100의 사용자 행동기반 정황인식 작동모드에 대한 예시적인 데이터구조 800을 보여준다. 또 다른 실시예에서는 사용자 행동에 해당하는 사용자 행동기반 정황인식 작동모드를 명기하는 것 외에 사용자 행동기반 정황인식 작동모드를 전자기기 400에 적용하기 위해 필요한 프로파일이나 정의에 노래, 비디오, 이메일 등의 자산에 대한 참조 정보나 다운로드 또는 동기화가 필요한 애플리케이션에 대한 정보를 포함할 수 있다.
정황인식 작동모드의 데이터구조는 모드 ID 802, 사용자 행동 ID 804, 전자기기 ID 806, 전자기기명 808, 모드명 810, 모드설명 812, 모드오너 814, 개인 또는 공용모드 구분자 816, 변경이 필요한 전자기기 기능 및 세팅 818, 모드 우선순위 820 등을 포함할 수 있다. 모드 ID 802는 해당하는 사용자 행동 ID 804가 있으며, 사용자 행동 ID에 해당하는 새로운 사용자 행동이 감지되었을 때, 해당하는 모드 802의 정황인식 작동모드가 전자기기ID 806에 해당하는 전자기기에 적용된다. 예를 들면, 도.8의 행 822와 같이, 사용자 행동 ID SPZ002에 해당하는 새로운 사용자 행동이 감지되었을 때, 모드 ID STP021에 해당하는 사용자 행동기반 정황인식 작동모드는 전자기기 ID 734066에 해당하는 스마트폰 기기에 적용된다. 모드명 810과 모드설명 812는 사용자 행동기반 정황인식 작동모드의 명칭과 설명을 정의한다. 모드오너 814와 개인 또는 공용모드 구분자 816은 정황인식 작동모드의 작성자들과 모드가 공용의 목적으로 공유될 수 있는지에 대한 여부를 정의한다. 전자기기 기능 및 세팅 818은 전자기기 808에 변경이 필요한 기능과 세팅을 정의한다. 그 변경은 전자기기 808의 하나 또는 그 이상의 기능, 앱, 구성요소들의 켜기, 끄기, 접근권한 등을 포함한다. 모드 우선순위 820은 다른 모드 대비 우선순위를 정의한다.
도.8의 행 822, 824, 826, 828, 830은 도.1의 시나리오 100에서의 사용자 행동기반 정황인식 작동모드의 예를 보여준다. 시나리오 100에서 사용자는 사용자 행동 "조깅"을 위해 스마트폰의 기능과 세팅의 변경이 필요하다. 본 발명에서는 사용자 행동 "조깅"에 필요한 스마트폰의 기능과 세팅에 대해 변경이 미리 정의되고 사용자 행동 "조깅"이 감지되었을 때 스마트폰에 자동으로 적용된다. 행 822에서 정의하였듯이, 사용자 행동 ID SPZ002의 사용자 행동 "조깅"이 감지되었을 때, 행 822의 열 818에서 정의한 기능과 세팅이 자동으로 적용된다. 그 변경은 운동 추적 앱 (추적 앱)을 작동하고, 음악 재생목록을 조깅 (조깅용 재생목록) 에 맞추고, 벨소리를 켜는 (볼륨레벨7) 것이다. 매 행은 해당하는 사용자 행동에 맞게 하나의 전자기기에 대해 하나의 사용자 행동기반 정황인식 작동모드을 정의한다. 따라서, 본 예시에서는, 사용자 행동 "조깅"은 3개의 전자기기에 관련되므로 열 822, 824, 826에서와 같이 3개의 관련된 사용자 행동기반 정황인식 작동모드를 포함한다. 마찬가지로, 사용자 행동 "취침"에 해당하는 열 828과 830의 2개의 사용자 행동기반 정황인식 작동모드는 사용자 행동 "취침"이 감지되었을 때 적용된다.
다른 실시예에서는 하나의 사용자 행동에 대하여 사용자 특화된 사용자 행동기반 정황인식 작동모드를 정의할 수 있다. 모드오너 814는 그 모드의 원래의 작성자를 정의한다. 개인 또는 공용모드 구분자 816은 사용자 행동기반 정황인식 작동모드가 개인 용도인지 공용 용도인지를 정의한다. 사용자는 사용자 행동기반 정황인식 작동모드의 전체 또는 일부에 한한 정보를 정의할 수 있으며, 그 모드는 네트워크 서버에 "게재"되어 다른 사용자들이 그 특화된 사용자 행동기반 정황인식 작동모드를 사용하거나, 그 반대의 경우로 다른 사용자들이 "게재"한 사용자 행동기반 정황인식 작동모드를 사용할 수 있다.
도.9는 도.1의 시나리오 100에서 보여준 사용자 행동 "조깅"의 예시에 대한 사용자 행동과 정황인식 작동모드의 상관관계도의 일 실시예 900을 보여준다. 도.9는 도.7의 행 722에서 정의된 사용자 행동 "조깅"이 도.8의 행 822, 824, 826에서 정의된 3개의 다른 사용자 행동기반 정황인식 작동모드들과 연계됨을 보여준다. 그러므로, 행 722에서 정의된 사용자 행동 "조깅"이 감지되었을 때 행 822. 824, 826에서 정의된 사용자 행동기반 정황인식 작동모드가 해당하는 전자기기들에 적용된다.
도.10은 본 발명의 사용자 행동기반 정황인식 작동모드에 따른 사용자 체험을 일 실시예 시나리오 1000으로 보여준다. 시나리오 1000은 도.1의 시나리오 100에서의 행동과 같이 사용자가 조깅과 취침 행동을 취했을 때 전자기기들과의 사용자 체험을 보여준다. 시나리오 1000은 "사용자가 조깅을 하기로 결심"이라는 첫 번째 단계 1002로 새로운 행동에 대한 사용자의 의도로부터 시작한다. 다음으로, 사용자는 도.1의 단계 104와 106과 같이 운동 추적 앱을 키고 운동 추적 앱의 운동유형목록에서 "조깅"을 선택하는 대신에, 단계 1004와 같이 주기기 (스마트폰)에서 사용자 행동 "조깅"을 선택한다. 이것은 본 발명과 종래의 사용방식 간의 사용자 인터페이스의 차이이다. 본 발명에서는 사용자의 주된 상호작용 (interaction) 은 사용자 행동을 선택하는 것이며, 종래의 사용방식에서 사용자의 주된 상호작용은 앱들과 이루어진다. 사용자의 행동이 감지되면, 사용자 행동기반 정황인식 작동모드가 단계 1006, 1008, 1014, 1020, 1022와 같이 자동으로 적용된다. 주기기 (스마트폰) 의 사용자 행동 "조깅"에 대한 사용자 행동기반 정황인식 작동모드는 단계 1006과 1008과 같이 운동 추적 앱을 키고, 미리 설정된 조깅에 해당하는 음악 재생목록을 선택하고, 벨소리를 무음에서 키고, 음량을 미리 지정된 세팅으로 조절하는 것이다. 단계 1010과 같이 주기기 (스마트폰) 은 새로운 사용자 행동을 주변기기들에게 네트워크를 통해 전송하여 주변기기들이 사용자 행동 "조깅"에 해당하는 그들의 사용자 행동기반 정황인식 작동모드들을 적용할 수 있도록 한다. 사용자가 집을 나서면서, 사용자는 단계 1012와 같이 운동 추적 앱의 시작 버튼을 누른다. 주변기기로서 조명제어기의 사용자 행동기반 정황인식 작동모드는 단계 1014와 같이 사용자가 조깅을 시작하게 되면 조명을 끄고 단계 1020과 같이 사용자가 조깅을 마치게 되면 조명을 다시 키는 것이다. 단계 1016의 조깅이 끝나면, 사용자는 단계 1018과 같이 운동 추적 앱의 종료 버튼을 누르고 조깅의 운동 추적 정보를 저장한다. 또 다른 주변기기로서 보일러의 사용자 행동기반 정황인식 작동모드는 단계 1022와 같이 사용자가 조깅을 마치게 되면 보일러를 켜고, 사용자가 샤워를 하는 단계 1024 동안 기다렸다가, 단계 1026과 같이 미리 정해놓은 일정시간이 지나면 꺼지게 된다.
사용자 행동 "조깅"과 같은 개념으로, 단계 1028과 같이 사용자가 취침을 하기로 마음먹었을 때, 사용자는 단계 1030과 같이 주기기 (스마트폰)에서 새로운 사용자 행동 "취침"을 선택하기만 하면 되고, 주기기 (스마트폰)은 단계 1032와 같이 새로운 사용자 행동을 네트워크를 통해 주변기기들에 전송한다. 결과적으로 주변기기로서, 오디오와 조명제어기는 단계 1034와 1036과 같이 미리 정의된 재생목록을 재생하고 미리 정의된 시간이 지나면 작동을 멈추게 된다. 마지막으로 사용자는 단계 1038과 같이 취침을 시작한다.
시나리오 1000의 사용자 행동기반 정황인식 작동모드에서는, 사용자는 기능의 복잡성에 귀찮아 할 필요가 없다. 사용자의 주된 상호작용은 단계 1004와 1030과 같이 사용자 행동목록에서 "조깅"과 "취침"을 각각의 경우에 따라 선택해 주기만 하면 된다. 사용자 행동기반 정황인식 작동모드 제어기가 사용자 행동 "조깅"과 "취침"을 감지하면, 주기기와 주변기기들은 각각 자동으로 "조깅"과 "취침"에 맞는 사용자 행동기반 정황인식 작동모드를 적용한다. 본 발명의 시나리오 1000과 비교하면, 기존 방식의 시나리오 100은 앱 및 전자기기들의 기능과 세팅과의 사용자 상호작용이 더 많이 발생한다. 시나리오 100에서는, 사용자는 사용자가 행동을 바꿀 때마다 전자기기들의 각각의 기능과 세팅들을 계속 켜거나 끄거나 또는 바꾸는 작업을 수행한다. 시나리오 1000에서는, 사용자의 상호작용은 제한적이고 직관적이다. 사용자는 간단히 사용자 행동을 선택하면 되며 필요한 대부분의 변화가 미리 지정된대로 자동으로 적용된다.
본 발명은 사용자의 상호작용을 각각의 기능과 세팅들에서 사용자 행동의 선택으로 바꾸어준다. 도.11은 기존 방식의 예시적인 스마트폰 아키텍처 1100을 보여준다. 도.11의 기존 아키텍처는 4개의 기본 단계, 하드웨어 단계 1102, 운영시스템 단계 1104, 애플리케이션 1106, 1108, 1110을 포함한 애플리케이션 단계, 그리고 사용자 인터페이스 단계 1118, 로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1106, 1108, 1110의 1112, 1114, 1116의 기능들을 변경하고자 한다면, 그 사용자는 인터페이스 단계 1118을 통해 직접 변경한다. 그러므로 사용자 인터페이스는 애플리케이션의 기능들과 직접 연계되어 있다.
도.12는 본 발명의 예시적인 스마트폰 아키텍처 1200을 보여준다. 본 발명의 새로운 아키텍처는 5개의 단계, 하드웨어 단계 1202, 운영시스템 단계 1204, 애플리케이션 1206, 1208, 1210을 포함한 애플리케이션 단계, 사용자 행동기반 정황인식 작동모드 제어 단계 1218, 그리고 사용자 인터페이스 단계 1222로 구성되어 있다. 예를 들면, 사용자가 행동을 변경하고 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하고자 한다면, 그 사용자는 사용자 행동 1220을 선택하면 되고 사용자 행동기반 정황인식 작동모드 제어 단계 1218이 애플리케이션 1206, 1208, 1210의 1212, 1214, 1216의 기능들을 변경하는 사용자 행동 1220의 사용자 행동기반 정황인식 작동모드를 자동으로 적용하게 된다. 그러므로 도.11에서 보여준 기존 방식과 다르게 본 발명의 사용자 인터페이스는 사용자 행동기반 정황인식 작동모드와 직접 연계되고 애플리케이션들의 기능들과는 간접적으로만 연계된다.
도.13A와 도.13B는 부분 1과 부분 2로서 본 발명의 일 실시예에 의한 순서도 1300을 보여준다. 순서도 1300은 본 발명의 예시적인 사용 절차를 보여준다. 단계 1302와 같이, 사용자는 하나의 사용자 행동에 대하여 해당하는 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정한다. 사용자 행동기반 정황인식 작동모드는 전자기기들 내에서 편집하고 설정할 수 있다. 또한, 사용자 행동기반 정황인식 작동모드는 다른 전자기기들이나 가능한 커뮤니케이션 방식들을 활용하여 네트워크에 연결된 저장소에서 불러와서 추가 편집을 통해서도 설정할 수 있다. 편집을 마치면, 그 사용자 행동기반 정황인식 작동모드는 전자기기, 네트워크상의 저장소, 또는 그 모두에 저장될 수 있다. 단계 1302에서, 사용자는 해당하는 사용자 행동에 맞는 자동감지 기준을 설정할 수 있으며, 이는 단계 1310에서 새로운 사용자 행동을 자동으로 감지하는데 사용된다.
단계 1302에서 사용자 행동기반 정황인식 작동모드와 자동감지 기준이 설정되면, 전자기기는 단계 1306과 같이 새로운 사용자 행동을 감지할 때까지 단계 1304와 같이 대기상태로 기다린다. 사용자 행동은 단계 1308, 1310, 1312와 같이 여러 방법으로 감지될 수 있다. 단계 1308과 같이, 사용자는 미리 설정된 사용자 행동목록으로부터 직접 수동으로 사용자 행동을 선택할 수 있다. 사용자에 의한 사용자 행동의 수동적 선택은 새로운 사용자 행동 또는 사용자가 새로운 사용자 행동을 취하려는 의도를 명시적으로 사용자가 표현하는 것이다. 단계 1310과 같이, 본 발명의 전자기기들은 단계 1302에서 설정된 자동감지 기준들을 모니터링하여 새로운 사용자 행동을 자동적으로 감지할 수 있다. 단계 1302에서 미리 설정된 기준들이 맞게 되면, 전자기기는 단계 1320과 같이 전자기기는 새로운 사용자 행동에 대해 사용자와 확인절차를 가질 수 있다.
단계 1312와 같이, 주변기기들은 새로운 사용자 행동을 통보할 수 있으며, 단계 1314와 같이 그 사용자 행동에 대하여 메모리부 412 또는 저장부 414를 스캐닝하여 미리 설정된 사용자 행동기반 정황인식 작동모드의 존재 여부를 확인한다. 만약 메모리부 412 또는 저장부 414에 사용자 행동기반 정황인식 작동모드가 존재하지 않는 경우, 사용자는 단계 1318과 같이 새로운 사용자 행동기반 정황인식 작동모드를 새롭게 작성하여 설정할 수 있다.
단계 1316과 같이 새로운 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 메모리부 412나 저장부 414에서 액세스 되거나 단계 1318과 같이 새롭게 설정되면, 새로운 사용자 행동으로 전환하기 이전에 단계 1320과 같이 사용자 확인단계를 거치게 된다. 사용자 확인단계 1320을 거친 후, 기존의 사용자 행동기반 정황인식 작동모드는 향후 필요성을 위하여 메모리부 412, 저장부 414, 네트워크상의 저장소, 또는 그들의 조합에 단계 1322와 같이 백업 된다. 단계 1324와 같이, 사용자 행동기반 정황인식 작동모드는 전자기기에 적용된다. 즉, 이미 설정해 놓은 기능들의 변화가 전자기기에 적용된다. 마지막으로, 단계 1326과 같이 "확인된" 새로운 사용자 행동은 다른 기기들에 통지되고, 단계 1304의 대기모드로 전자기기는 복귀한다.
도.14부터 도.30까지는 본 발명에 해당하는 일 실시예의 스마트폰 스크린샷들을 보여준다. 이 스크린샷들은 도.13A와 도.13B의 시나리오 1300과 함께 본 발명의 사용과 설정에 대한 절차를 이해하는데 쓰일 수 있다. 이 스크린샷들은 전자기기의 운영 시스템에 대한 일반적인 기술을 가진 사람들이 어려움 없이 본 발명을 만들고 사용하기 위한 상세 명세를 제공한다. 전자기기의 운영 시스템과 기능들에 대한 공개된 API (Application Programming Interface) 의 부재로 일반적인 프로그래머들이 본 발명의 프로토타입을 만들기는 어려울 수 있지만, 전자기기 제조회사의 운영 시스템 프로그래머들은 이 내용과 설명으로 본 발명을 제작할 수 있을 것이다.
도.14는 본 발명의 홈스크린샷의 예시를 보여준다. 이 실시예에서, 홈스크린은 "Activity (사용자 행동)" 아이콘 1402를 포함하고, 아이콘을 누르면 도.15에서 보여주듯이 본 발명의 초기화면으로 이동한다. 다른 실시예의 경우, 전자기기는 다른 방식으로 사용자 행동기반 정황인식 작동모드를 작동할 수 있다. (예를 들어, 또 다른 물리적인 버튼을 사용하거나 기존의 버튼을 일정 기간이상 누르고 있는 경우에 작동하게 할 수도 있다.) 도.15는 본 발명의 초기화면으로서 제목라벨 1502, "새로운 사용자 행동 추가" 버튼 1504, 기존의 사용자 행동목록, 사용자 행동 선택 슬라이더 1506, 세팅 버튼 1508을 보여준다.
도.15부터 도.25까지 사용자 행동기반 정황인식 작동모드와 자동감지 기준을 설정하는 도.13의 단계 1302를 일 실시예의 스크린샷으로 설명한다. "새로운 사용자 행동 추가" 버튼 1504을 누르면 도.16의 새로운 사용자 행동 편집 화면 1600으로 이동한다. 새로운 사용자 행동 편집 화면 1600은 사용자 행동명 편집셀 1606, 사용자 행동 설명 편집셀 1608, "새로운 자동감지 조건 추가" 버튼 1610, 기존 자동감지 조건셀 1612, "새로운 사용자 행동기반 정황인식 작동모드 추가" 버튼 1614, 현재 사용자 행동기반 정황인식 작동모드셀 1616을 포함한다. 편집셀 1606과 1608을 터치했을 때, 텍스트 편집을 위해 키보드가 올라올 수 있다. "Cancel (취소)" 버튼 1602를 누르면 초기화면 1500으로 사용자를 되돌려 보낸다. 사용자가 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드에 대한 편집을 완료하면, 사용자는 "Done (완료)" 버튼 1604를 눌러 새로운 사용자 행동, 자동감지 조건, 사용자 행동기반 정황인식 작동모드를 저장하고 초기화면 1500으로 이동한다.
사용자는 "새로운 자동감지 조건 추가" 버튼 1610을 통해 새로운 자동감지 조건을 추가할 수 있으며, 도.13의 단계 1310과 같이 본 발명의 일 실시예에서 새로운 사용자 행동을 감지하는 조건을 정의하기 위해 활용된다. 도.17의 자동감지 조건 편집창 1700의 예는 본 실시예의 자동감지 조건의 예시들을 보여준다. 본 실시예는 새로운 사용자 행동을 자동으로 감지하기 위해 3가지 방법으로 구성된다. 본 실시예는 미리 지정된 앱의 구동 (application activation) 1704, 미리 지정된 센서의 입력 (sensor input) 1706, 미리 지정된 캘린더 입력 (calendar entry) 1708에 의해 자동 감지될 수 있다. 스크린샷 1700의 예시에서는, 셀 1714와 1718에서 예시를 들은 것과 같이 네비게이션 앱 (navigation) 또는 미리 지정된 블루투스를 감지하였을 때 셀 1606의 예시와 같은 새로운 사용자 행동 "Driving (운전)"을 자동으로 감지할 수 있다. 비활성화된 스위치 1720에서 보여주듯이 본 예시에서는 캘린더 입력 (calendar entry) 에 의한 사용자 행동 "Driving (운전)"의 자동감지는 허용되지 않는다. "Cancel (취소)" 버튼 1702를 누르면 사용자는 도.18의 새로운 사용자 행동 편집창 1600으로 되돌아간다. 사용자가 새로운 자동감지 조건에 대한 편집을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1710을 누름으로써 새로운 자동감지 조건을 저장하고 새로운 사용자 행동 편집창 1600으로 이동할 수 있다.
앱 작동 셀 1714의 예시에서 보여주듯이, 네비게이션 앱을 작동시키면 사용자 행동 "Driving (운전)"의 자동감지를 유발시킨다. 사용자는 "Add application activation (앱 작동 추가)" 버튼 1712를 통해 도.18의 앱 작동 편집 스크린 1800의 예시적인 스크린샷으로 이동하여 더 많은 앱들을 앱 작동 셀 1714에 추가할 수 있다. 본 예시에서는, 운동 추적 앱 (exercise tracker) 과 네비게이션 앱 (navigation) 의 2가지 선택 가능한 앱들중에 네이게이션 앱 (navigation) 셀 1806만 선택되었고 체크 마크 1808로 구분되어 있다. 선택과정이 완료되면, 사용자는 "Done (완료)" 버튼 1804를 눌러 선택내용을 저장하고 스크린 1700으로 이동할 수 있다. 사용자가 선택내용을 취소하고 스크린 1700으로 이동하고자 한다면, 사용자는 "Cancel (취소)" 버튼 1802를 누르면 된다.
센서입력 셀 1718의 예시에서 보여주듯이, 미리 설정된 블루투스 입력에 의해 사용자 행동 "운전"의 자동 감지가 발생한다. 사용자는 "Add sensor input (센서입력 추가)" 버튼 1716을 통해 센서입력에 의한 자동 감지 조건을 추가할 수 있으며, 이를 통해 도.19의 예시적인 센서입력 편집 창 1900으로 이동한다. 도.19는 센서입력을 어떻게 자동 감지 조건으로 추가하는지 보여준다. 본 예시에서, 셀 1906은 사용자의 차량에서 "MY_CAR"라는 블루투스 네트워크를 발견하여 자동 감지 조건에 추가하였음을 보여준다. 화살표 버튼 1908은 도.20의 예시적인 블루투스 입력 편집 창 2000으로 이동하여 발견된 모든 블루투스 네트워크를 보여줄 수 있다. 본 예시에서는, 사용자는 셀 2006에서 보여주듯이 "MY_CAR"라는 블루투스 네트워크를 선택한다. 정보 버튼 2008은 해당 셀의 블루투스 네트워크에 대한 상세정보를 제공한다. 자동 감지 조건으로 블루투스 네트워크에 대해 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2004를 눌러 선택결과를 저장하고 스크린 1900으로 이동할 수 있다. 사용자가 선택결과를 취소하고 스크린 1900으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 2002를 누르면 된다. NFC, QR 코드, 와이파이, 블루투스, 기타 태깅 기술, 기타 네트워크 기술, 상기 기술의 혼합형태 등 다른 센서 입력들이 자동 감지 조건으로 사용될 수 있다. 모든 센서 입력에 대한 선택을 완료하게 되면, 사용자는 "Done (완료)" 버튼 1904를 누러 선택 결과를 저장하고 스크린 1700으로 이동할 수 있다. 사용자기 선택 결과를 취소하고 스크린 1700으로 되돌아가고자 한다면, 사용자는 "Cancel (취소)" 버튼 1902를 누를 수 있다.
현재 사용자 행동기반 정황인식 작동모드 셀 1616은 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드를 보여준다. 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 가 사용자 행동 "운전"에 대한 예시적인 사용자 행동기반 정황인식 작동모드로 정의되었다. 그러므로 예시적인 사용자 행동 "운전"이 감지되면, 셀 1616에서 보여주듯이 네비게이션 앱 (navigation), 주기기 세팅 (settings), 차고 게이트 제어기 (garage gate control) 의 미리 지정된 기능들이 자동으로 적용된다.
사용자 행동기반 정황인식 작동모드를 편집하기 위해서, 사용자는 도.16의 "사용자 행동기반 정황인식 작동모드 추가" 버튼 1614를 활용할 수 있다. "사용자 행동기반 정황인식 작동모드 추가" 버튼은 도.21의 예시적인 사용자 행동기반 정황인식 작동모드 편집창으로 이동할 수 있다. 스마트폰의 예시적인 실시예에서는, 전자기기들의 기능 변화에는 2106에서 보여주듯이 자동으로 앱을 작동시키거나 2110에서 보여주듯이 스마트폰의 기기 세팅을 바꿔주거나, 2114에서 보여주듯이 주변기기의 세팅을 바꿔줄 수 있다.
스크린 2100의 예시에서, 네비게이션 앱은 사용자 행동기반 정황인식 작동모드의 하나로 정의되었다. 그러므로 사용자 행동 "운전"이 감지되면, 네비게이션 앱은 자동으로 작동한다. 사용자 행동 "운전"을 위해 작동할 앱을 더 추가하기 위해서, "앱 추가" 버튼 2108을 활용할 수 있다. "앱 추가" 버튼 2108은 모든 추가가능한 앱들이 표기되어 있는 도.22의 예시적인 앱 작동 편집 창 2200으로 이동한다. 도.22의 예시에서, 운동 추적 앱 (exercise tracker) 과 네이게이션 앱 (navigation) 이 추가 가능한 앱들이며 네비게이션 앱은 체크 마크 2206으로 표시되었듯이 선택되었다. 선택이 완료되면, 사용자는 "Done (완료)" 버튼 2204를 눌러서 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2202를 누를 수 있다.
사용자 행동기반 정황인식 작동모드는 2110과 같이 주기기의 기기 세팅을 정의할 수 있으며, 예시의 사용자 행동 "운전"이 감지되었을 때, 미리 정의된 주기기의 세팅들이 적용될 수 있다. 예시에서, 화살표 2112를 누르면 도.23의 예시적인 주기기 세팅 편집 창 2300으로 이동하고 사용자는 사용자 행동 "운전"에 맞게 주기기의 세팅을 변경할 수 있다. 스크린 2300에서 보여주듯이, 사용자 행동기반 정황인식 작동모드의 주기기 세팅은 와이파이 네트워크 (Wi-Fi), 블루투스 네트워크 (Bluetooth), 셀룰러 데이터 사용방법 (Cellular Data), 기기 음량 (Sounds), 기기 보안 (Privacy) 등을 포함할 수 있다. 주기기 세팅이 사용자 행동기반 정황인식 작동모드에 정의되면, 사용자는 "Done (완료)" 버튼 2304를 눌러 선택결과를 저장하고 스크린 2100으로 되돌아갈 수 있다. 사용자가 선택결과를 취소하고 스크린 2100으로 되돌아가려고 하는 경우 "Cancel (취소)" 버튼 2302를 누를 수 있다.
사용자 행동기반 정황인식 작동모드는 주변기기도 포함될 수 있으며 예시적인 사용자 행동 "운전"이 감지되었을 때, 주변기기에 미리 지정된 세팅들이 적용될 수 있다. 예시적인 사용자 행동 "운전"의 경우, 도.21에서 보여주듯이 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"이 감지되었을 때 작동하는 주변기기로 선택되었다. 사용자 행동 "운전"에 대한 추가적인 주변기기 세팅을 정의하기 위하여, 도.21의 "주변기기 추가" 버튼 2116을 활용할 수 있다. "주변기기 추가" 버튼 2116은 도.24의 예시적인 주변기기 편집 창 2400으로 이동하여, 사용자가 사용자 행동기반 정황인식 작동모드에 주변기기를 편집하거나 추가하도록 할 수 있다. 도.24의 예시에서, 차고 게이트 제어 시스템 (garage gate control) 이 사용자 행동 "운전"을 위한 사용자 행동기반 정황인식 작동모드에 주변기기로서 선택되었다. "Detail information (상세 정보)" 화살표 2406은 도.25의 예시적인 주변기기 세팅 편집 창 2500으로 이동하여, 사용자가 사용자 행동 "운전"을 위해 차고 게이트 제어 시스템 (garage gate control) 의 기능과 세팅을 편집할 수 있다. 본 예시에서, 차고 게이트 제어 시스템 (garage gate control) 은 사용자의 주기기인 스마트폰의 네비게이션 앱 (navigation) 과 연동하여 차고 게이트를 열거나 닫을 수 있다. 본 예시에서, 사용자의 자택 주변에서 네비게이션이 켜지거나 네비게이션의 목적지로서 자택에 도착하였을 때 차고 게이트는 열릴 수 있다. 스크린 2400은 주변 또는 네트워크 (와이파이, 블루투스, NFC 등) 상에서 연결 가능한 다른 주변기기들 (도.24의 예시에서 진공청소기 (vacuum cleaner), 스마트TV (smart TV), 조명제어 시스템 (lighting control system))을 보여줄 수 있다.
도.16부터 도.25는 도.13의 단계 1302에서 어떻게 사용자 행동기반 정황인식 작동모드가 정의되는지 보여준다. 사용자 행동에 해당하는 사용자 행동기반 정황인시 작동모드가 정의되면, 전자기기는 도.13의 단계 1304와 같이 대기모드로서, 단계 1308과 같이 사용자의 직접적인 입력에 의해 사용자 행동을 감지하거나, 단계 13010과 같이 자동으로 감지되거나, 단계 1312와 같이 다른 전자기기들에서 알림으로 전달받아서 감지하기 위해 기다릴 수 있다.
도.26은 단계 1308에서 사용자의 직접적인 입력에 의해 어떻게 새로운 사용자 행동이 감지되는지 보여준다. 사용자는 본 발명의 초기화면 1500에서 슬라이더 버튼 1506을 눌러 본 예시의 새로운 사용자 행동 "조깅"을 수동으로 선택하여, 도.26의 새로운 사용자 행동 시작 확인 창 2600으로 이동할 수 있다. 본 발명의 창 2600은 단계 1316과 같이 사용자 행동 "조깅"에 맞는 사용자 행동기반 정황인식 작동모드와 자동 감지 조건을 액세스하여 표시한다. 사용자는 버튼 2604를 이용하여 자동 감지 조건을 수정할 수 있고, 버튼 2606을 이용하여 사용자 행동기반 정황인식 작동모드를 수정할 수 있다. 버튼 2604는 도.17의 창 1700과 동일한 자동 감지 조건 편집 창으로 이동하여, 단계 1302와 같이 사용자가 자동 감지 조건을 수정할 수 있도록 한다. 버튼 2606은 도 21의 창 2100과 동일한 사용자 행동기반 정황인식 작동모드 편집 창으로 이동하여, 단계 1302와 같이 사용자가 사용자 행동기반 정황인식 작동모드를 수정할 수 있도록 한다. 사용자가 자동 감지 조건과 사용자 행동기반 정황인식 작동조건을 확정하면, 사용자는 "Start activity (사용자 행동 시작)" 버튼 2608을 누름으로서 도.13B의 단계 1320과 같이 새로운 사용자 행동을 확정하거나, "Activity (행동)" 버튼 2602를 눌러 수정 내용을 취소하고 도.15의 초기화면 1500으로 되돌아갈 수 있다.
도.28은 예시적으로 새로운 사용자 행동 감지 확정 창 2800을 보여준다. 도.13A의 단계 1310과 같이 미리 지정한 자동 감지 조건을 만족하면, 본 발명의 전자기기는 단계 1316과 같이 도.28의 새로운 사용자 행동 감지 확정 창 2800을 표시한다. 새로운 사용자 행동 감지 확정 창 2800은 새로운 사용자 행동 경고 (new activity "jog" detected) 2802, 사용자 행동 설명 (user-activity description) 2804, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2806, Cancel (취소) 버튼 2808, Start Activity (시작) 버튼 2810을 표시한다. 사용자는 Cancel (취소) 버튼 2808을 이용하여 자동 감지 경고를 무시하고 이전 창으로 되돌아갈 수도 있고, Start Activity (시작) 버튼 2810을 이용하여 도.13B의 단계 1320과 같이 자동 감지 경고를 수락하고 감지된 사용자 행동을 시작할 수도 있다.
도.29와 도.30은 각각 예시적인 새로운 사용자 행동 알림 창과 예시적인 사용자 행동기반 정황인식 작동모드 부재 경고 창을 보여준다. 도.13A의 단계 1312와 같이 주변기기들이 새로운 사용자 행동을 공지하게 되면, 본 발명의 전자기기는 단계 1316과 같이 공지된 사용자 행동이 주기기에 존재하는 경우, 도.29의 새로운 사용자 행동 알림 확인 창 2900을 표시하고, 단계 1318과 같이 공지된 사용자 행동이 주기기에 존재하지 않는 경우, 도.30의 사용자 행동기반 정황인식 작동모드 부재 경고 창 3000을 표시한다.
주기기에 공지된 사용자 행동이 존재하면, 주기기는 새로운 사용자 행동 알림 (new activity "jog" notified) 2902, 사용자 행동 설명 (user-activity description) 2904, 사용자 행동기반 정황인식 작동모드 정보 (mode of operation) 2906, Cancel (취소) 버튼 2908, Start activity (수락) 버튼 2910을 표시한다. 사용자는 알림 경고를 무시하고 기존의 창으로 이동하기 위해 Cancel (취소) 버튼 2908을 이용할 수 있고, 도.13B의 단계 1320과 같이 Start activity (수락) 버튼 2910을 이용하여 알림 경고를 수락하고 공지된 사용자 행동을 시작할 수 있다.
주기기에 공지된 사용자 행동이 존재하지 않는 경우, 주기기는 주기기에 공지된 사용자 행동에 대한 사용자 행동기반 정황인식 작동모드가 존재하지 않다는 메세지와 함께 새로운 사용자 행동 공지 경고 (new activity "jog" notified no contextual mode available) 3002를 표시한다. 주기기는 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004과 cancel (취소) 버튼 3006을 함께 표시할 수 있다. 사용자 행동기반 정황인식 작동모드 편집 버튼 (define contextual mode) 3004는 도.16의 창 1600과 동일한 새로운 사용자 행동 편집 창으로 새로운 사용자 행동 편집을 위해 이동할 수 있다. 사용자는 공지 경고를 무시하고 cancel (취소) 버튼 3006을 눌러 기존 창으로 되돌아갈 수 있다.
본 발명의 초기 화면 1500에서 세팅 버튼 1508을 이용하여 도.27의 예시적인 세팅 편집 창 2700으로 이동할 수 있다. 창 2700의 예시적인 세팅이 보여 주듯이, 본 발명의 세팅은 자동 감지를 활성화/비활성화하는 자동 감지 스위치 (automatic detection), 사용자 확정을 활성화/비활성화하는 사용자 확정 스위치 (confirm activity changes), 사용자 행동의 캘린더 입력을 활성화/비활성화하는 캘린더 입력 스위치 (save activity to calendar), 주변기기에서의 새로운 사용자 행동 공지를 활성화/비활성화하는 공지 스위치 (notification) 등을 포함할 수 있다.

Claims (20)

  1. 모바일 기기, 웨어러블 기기, 스마트TV, 가전제품, 홈오토메이션 기기, 빌딩자동화 기기, 자동차용 전자기기, 로봇, 사용자 인터페이스 기기 외 다양한 전자기기에 대하여 다양한 사용자 행동을 정황으로 다양한 정황인식 작동모드를 관리하는 방법으로서,
    A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 단계: 및
    그리고 단계 A에서 파악된 사용자 행동에 따라,
    B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 단계를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
    감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.
  2. 제 1항에서, 사용자 행동이나 사용자가 행동을 취하려는 의도를 정의함에 있어서 육하원칙 (언제, 어디서, 누가, 무었을, 왜, 어떻게) 을 적용하여 사용자 행동에 대한 정보를 데이터 구조로 수집, 저장, 액세스하는 방법을 추가적으로 포함한다.
  3. 제 1항에서, 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 스마트 시계, 스마트 목걸이, 스마트 반지, 스마트 장신구 등 다양한 웨어러블 기기의 입력부를 통해 사용자의 입력을 활용하는 방법을 포함한다.
  4. 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, NFC, QR 코드, 바코드, RFID, 기타 태깅 기술 등 사용자 행동 감지를 위한 태깅 방법들을 포함한다.
  5. 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 음성인식, 움직임/제스처 인식, 기타 인공지능 기술 등의 사용자의 행동과 거동을 분석하는 방법을 포함한다.
  6. 제 1항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 전자기기의 데이터, 입력부 또는 통신 데이터를 미리 정의한 기준값과 비교 모니터링하여 자동으로 사용자 행동을 감지하고, 미리 정의한 데이터 구조를 활용하여 상기의 미리 정의한 기준값을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 방법을 포함한다.
  7. 제 1항에서, 미리 정의된 세팅 값에 있어서, 미리 정의한 데이터 구조를 활용하려 전자기기의 기능 세팅을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 방법을 포함한다.
  8. 제 1항에서, 전자기기의 기능이란 전자기기의 입력부, 출력부, 통신모듈, 저장기기, 메모리, 미디어 자산, 그리고/또는 소프트웨어 요소 등에 대한 접근성을 포함한다.
  9. 제 1항에서, 전자기기는 네트워크에 연결되어 사용자 행동 또는 사용자가 행동을 취하려는 의도와 연관된 정황인식 작동모드를 네트워크를 통해 통신, 편집, 저장, 액세스한다.
  10. 제 1항에서 사용자 행동 또는 사용자가 행동을 취하려는 의도를 전자기기가 포함하고 있는 캘린더 기능의 입력 항목으로 포함한다.
  11. 모바일 기기, 웨어러블 기기, 스마트TV, 가전제품, 홈오토메이션 기기, 빌딩자동화 기기, 자동차용 전자기기, 로봇, 사용자 인터페이스 기기 외 다양한 전자기기에 대하여 다양한 사용자 행동을 정황으로 다양한 정황인식 작동모드를 관리하는 시스템으로서,
    A. 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로, 또는 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악하는 부: 및
    그리고 A부에서 파악된 사용자 행동에 따라,
    B. 하나 또는 여러 개의 전자기기에 하나 또는 여러 개의 연관된 작동모드를 적용하는 부를 포함한다. 여기서 작동모드란 미리 지정된 세팅 값으로 전자기기의 하나 또는 여러 개의 기능을 변경하는 것을 포함한다.
    감지된 사용자 행동에 맞춰 (감지된 사용자 행동을 정황으로) 전자기기의 기능들을 변경하는 것은 전자기기의 사용자 경험을 획기적으로 개선하고 단순화시키는 "정황적인" 사용자 경험을 제공한다.
  12. 제 11항에서, 사용자 행동이나 사용자가 행동을 취하려는 의도를 정의함에 있어서 육하원칙 (언제, 어디서, 누가, 무었을, 왜, 어떻게) 을 적용하여 사용자 행동에 대한 정보를 데이터 구조로 수집, 저장, 액세스하는 부를 추가적으로 포함한다.
  13. 제 11항에서, 전자기기의 입력부를 통해 사용자의 입력에 의해 수동적으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 스마트 시계, 스마트 목걸이, 스마트 반지, 스마트 장신구 등 다양한 웨어러블 기기의 입력부를 통해 사용자의 입력을 활용하는 부를 포함한다.
  14. 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, NFC, QR 코드, 바코드, RFID, 기타 태깅 기술 등 사용자 행동 감지를 위한 태깅 부들을 포함한다.
  15. 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 음성인식, 움직임/제스처 인식, 기타 인공지능 기술 등의 사용자의 행동과 거동을 분석하는 부를 포함한다.
  16. 제 11항에서, 행동 감지 방법으로 자동으로 사용자의 행동이나 사용자가 행동을 취하려는 의지를 파악함에 있어서, 전자기기의 데이터, 입력부 또는 통신 데이터를 미리 정의한 기준값과 비교 모니터링하여 자동으로 사용자 행동을 감지하고, 미리 정의한 데이터 구조를 활용하여 상기의 미리 정의한 기준값을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 부를 포함한다.
  17. 제 11항에서, 미리 정의된 세팅 값에 있어서, 미리 정의한 데이터 구조를 활용하려 전자기기의 기능 세팅을 전자기기의 저장 장치 (메모리, 저장기기 등) 또는 네트워크상의 저장 장치에 편집, 저장, 공유 그리고/또는 액세스하는 부를 포함한다.
  18. 제 11항에서, 전자기기의 기능이란 전자기기의 입력부, 출력부, 통신모듈, 저장기기, 메모리, 미디어 자산, 그리고/또는 소프트웨어 요소 등에 대한 접근성을 포함한다.
  19. 제 11항에서, 전자기기는 네트워크에 연결되어 사용자 행동 또는 사용자가 행동을 취하려는 의도와 연관된 정황인식 작동모드를 네트워크를 통해 통신, 편집, 저장, 액세스한다.
  20. 제 11항에서 사용자 행동 또는 사용자가 행동을 취하려는 의도를 전자기기가 포함하고 있는 캘린더 기능의 입력 항목으로 포함한다.
KR1020160018446A 2016-02-17 2016-02-17 전자기기의 사용자 행동기반 정황인식 작동모드 Ceased KR20170096774A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160018446A KR20170096774A (ko) 2016-02-17 2016-02-17 전자기기의 사용자 행동기반 정황인식 작동모드
PCT/KR2016/002099 WO2017142116A1 (en) 2016-02-17 2016-03-02 Activity-centric contextual modes of operation for electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160018446A KR20170096774A (ko) 2016-02-17 2016-02-17 전자기기의 사용자 행동기반 정황인식 작동모드

Publications (1)

Publication Number Publication Date
KR20170096774A true KR20170096774A (ko) 2017-08-25

Family

ID=59625271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160018446A Ceased KR20170096774A (ko) 2016-02-17 2016-02-17 전자기기의 사용자 행동기반 정황인식 작동모드

Country Status (2)

Country Link
KR (1) KR20170096774A (ko)
WO (1) WO2017142116A1 (ko)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230004884A (ko) * 2020-05-11 2023-01-06 애플 인크. 디지털 어시스턴트 하드웨어 추출
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11973894B2 (en) 2019-04-30 2024-04-30 Apple Inc. Utilizing context information with an electronic device
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US12061752B2 (en) 2018-06-01 2024-08-13 Apple Inc. Attention aware virtual assistant dismissal
US12067990B2 (en) 2014-05-30 2024-08-20 Apple Inc. Intelligent assistant for home automation
US12118999B2 (en) 2014-05-30 2024-10-15 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US12136419B2 (en) 2019-03-18 2024-11-05 Apple Inc. Multimodality in digital assistant systems
US12154571B2 (en) 2019-05-06 2024-11-26 Apple Inc. Spoken notifications
US12175977B2 (en) 2016-06-10 2024-12-24 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12200297B2 (en) 2014-06-30 2025-01-14 Apple Inc. Intelligent automated assistant for TV user interactions
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US12211502B2 (en) 2018-03-26 2025-01-28 Apple Inc. Natural assistant interaction
US12216894B2 (en) 2019-05-06 2025-02-04 Apple Inc. User configurable task triggers
US12219314B2 (en) 2020-07-21 2025-02-04 Apple Inc. User identification using headphones
US12236952B2 (en) 2015-03-08 2025-02-25 Apple Inc. Virtual assistant activation
US12260234B2 (en) 2017-01-09 2025-03-25 Apple Inc. Application integration with a digital assistant
US12293763B2 (en) 2016-06-11 2025-05-06 Apple Inc. Application integration with a digital assistant
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US12333404B2 (en) 2015-05-15 2025-06-17 Apple Inc. Virtual assistant in a communication session
US12361943B2 (en) 2008-10-02 2025-07-15 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US12367879B2 (en) 2018-09-28 2025-07-22 Apple Inc. Multi-modal inputs for voice commands
US12386491B2 (en) 2015-09-08 2025-08-12 Apple Inc. Intelligent automated assistant in a media environment
US12608171B2 (en) 2015-09-08 2026-04-21 Apple Inc. Zero latency digital assistant

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
HK1220268A1 (zh) 2013-06-09 2017-04-28 苹果公司 用於實現跨數字助理的兩個或更多個實例的會話持續性的設備、方法、和圖形用戶界面
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11889149B2 (en) 2018-09-11 2024-01-30 International Business Machines Corporation Intelligent mitigation of concentration conflicts
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110909159B (zh) * 2019-09-29 2022-09-16 珠海格力电器股份有限公司 一种用户意图识别方法、装置、终端及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
CN115033152B (zh) * 2022-06-22 2024-06-14 中国商用飞机有限责任公司 显示界面的控制方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011001989A1 (ja) * 2009-06-29 2011-01-06 Tokuyama Masaaki ワークフロー処理プログラム、情報処理装置、及び、ワークフロー処理方法
US10346849B2 (en) * 2011-07-12 2019-07-09 Ca, Inc. Communicating personalized messages using quick response (QR) codes
JP5915341B2 (ja) * 2012-04-06 2016-05-11 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9066326B2 (en) * 2013-03-14 2015-06-23 Google Technology Holdings LLC Automatic user notification, with quick response (QR) code generation following failed NFC device pairing
US9356710B2 (en) * 2014-04-08 2016-05-31 Mastercard International Incorporated Methods and apparatus for consumer testing of an NFC device

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12477470B2 (en) 2007-04-03 2025-11-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12361943B2 (en) 2008-10-02 2025-07-15 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US12277954B2 (en) 2013-02-07 2025-04-15 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US12118999B2 (en) 2014-05-30 2024-10-15 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US12067990B2 (en) 2014-05-30 2024-08-20 Apple Inc. Intelligent assistant for home automation
US12200297B2 (en) 2014-06-30 2025-01-14 Apple Inc. Intelligent automated assistant for TV user interactions
US12236952B2 (en) 2015-03-08 2025-02-25 Apple Inc. Virtual assistant activation
US12333404B2 (en) 2015-05-15 2025-06-17 Apple Inc. Virtual assistant in a communication session
US12386491B2 (en) 2015-09-08 2025-08-12 Apple Inc. Intelligent automated assistant in a media environment
US12608171B2 (en) 2015-09-08 2026-04-21 Apple Inc. Zero latency digital assistant
US12175977B2 (en) 2016-06-10 2024-12-24 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12293763B2 (en) 2016-06-11 2025-05-06 Apple Inc. Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US12260234B2 (en) 2017-01-09 2025-03-25 Apple Inc. Application integration with a digital assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US12211502B2 (en) 2018-03-26 2025-01-28 Apple Inc. Natural assistant interaction
US12386434B2 (en) 2018-06-01 2025-08-12 Apple Inc. Attention aware virtual assistant dismissal
US12061752B2 (en) 2018-06-01 2024-08-13 Apple Inc. Attention aware virtual assistant dismissal
US12367879B2 (en) 2018-09-28 2025-07-22 Apple Inc. Multi-modal inputs for voice commands
US12136419B2 (en) 2019-03-18 2024-11-05 Apple Inc. Multimodality in digital assistant systems
US11973894B2 (en) 2019-04-30 2024-04-30 Apple Inc. Utilizing context information with an electronic device
US12278918B2 (en) 2019-04-30 2025-04-15 Apple Inc. Utilizing context information with an electronic device
US12154571B2 (en) 2019-05-06 2024-11-26 Apple Inc. Spoken notifications
US12216894B2 (en) 2019-05-06 2025-02-04 Apple Inc. User configurable task triggers
KR20230004884A (ko) * 2020-05-11 2023-01-06 애플 인크. 디지털 어시스턴트 하드웨어 추출
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
KR20230003587A (ko) * 2020-05-11 2023-01-06 애플 인크. 디지털 어시스턴트 하드웨어 추출
US12219314B2 (en) 2020-07-21 2025-02-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
WO2017142116A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
KR20170096774A (ko) 전자기기의 사용자 행동기반 정황인식 작동모드
US20160179087A1 (en) Activity-centric contextual modes of operation for electronic devices
US12223228B2 (en) User interfaces for audio media control
US11212486B1 (en) Location based device grouping with voice control
US10354014B2 (en) Virtual assistant system
CN107005612B (zh) 数字助理警报系统
Shafer et al. Interaction issues in context-aware intelligent environments
EP2744152B1 (en) User terminal apparatus, network apparatus for enabling an intelligent communication, and control method thereof
US9729821B1 (en) Sensor fusion for location based device grouping
CN108885485A (zh) 基于存在性检测的数字助理体验
US12381880B2 (en) Media service configuration
US12244754B2 (en) Interfaces and devices for dynamically-available media playback
CN105278336A (zh) 应用的显示方法、装置及终端
CN109857787B (zh) 一种展示方法及终端
CN114830086A (zh) 操作系统等级分布式环境计算
KR20250160407A (ko) 오디오 메시지를 위한 사용자 인터페이스
US11960914B2 (en) Methods and systems for suggesting an enhanced multimodal interaction
KR20170097890A (ko) 전자 장치 및 이의 서비스 제공 방법
Kim Transforming Everyday Objects into IoT Control Interfaces: Design and Evaluation of the'e-Rings' System
Nguyen Designing smart interactions for smart objects

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160217

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180316

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181119

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180316

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I