KR20170124593A - 지능형 상호작용 방법, 장비 및 시스템 - Google Patents

지능형 상호작용 방법, 장비 및 시스템 Download PDF

Info

Publication number
KR20170124593A
KR20170124593A KR1020177028787A KR20177028787A KR20170124593A KR 20170124593 A KR20170124593 A KR 20170124593A KR 1020177028787 A KR1020177028787 A KR 1020177028787A KR 20177028787 A KR20177028787 A KR 20177028787A KR 20170124593 A KR20170124593 A KR 20170124593A
Authority
KR
South Korea
Prior art keywords
smart
control information
information
pointer icon
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020177028787A
Other languages
English (en)
Inventor
시린 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170124593A publication Critical patent/KR20170124593A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G17/00—Structural details; Housings
    • G04G17/02—Component assemblies
    • G04G17/06—Electric connectors, e.g. conductive elastomers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

지능형 상호작용 방법, 장비 및 시스템. 방법은, 한 쌍의 지능형 안경이 지능형 시계에 의해 송신된 제어 정보를 수신하는 단계(S101) - 제어 정보는 수신되는 사용자 입력 조작에 따라 지능형 시계에 의해 생성되며, 여기서 포인터 아이콘이 한 쌍의 지능형 안경의 인간-컴퓨터 인터페이스 상에서 제공됨 - ; 및 한 쌍의 지능형 안경이, 제어 정보에 따라, 포인터 아이콘의 모션을 제어하는 단계(S102)를 포함한다. 한 쌍의 지능형 안경의 구조에 대한 제한 없이, 실현될 수 있는 기능들이 크게 증가하고; 게다가, 또한 장면들(scenes)에 대한 제한 없이, 사용자와 한 쌍의 지능형 안경의 상호작용의 편의가 촉진된다.

Description

지능형 상호작용 방법, 장비 및 시스템
본 발명의 실시예들은 착용가능 기술들(wearable technologies)에 관한 것이고, 특히, 지능형 상호작용 방법, 디바이스, 및 시스템에 관한 것이다.
착용가능 기술들의 발달로, 스마트 시계들, 스마트 글래스(smart glasses) 등이 소비자들 사이에서 널리 대중화된 착용가능한 디바이스들이 되고 있다.
스마트 글래스의 경우에, 현재 스마트 글래스의 다리 상의 터치패드는 입력 상호작용 도구로서 사용되고, 맨 컴퓨터 상호작용은 음성 입력과 결합하여 수행된다. 그러나, 상호작용 방법은 다음의 단점들을 갖는다:
터치패드의 크기 제한으로 인해, 단지 1-차원 이동이 입력될 수 있고, 대응하는 메뉴들은 단지 기능이 다양하지 않은 1-차원 스크롤 메뉴들(scrolling menus)로 만들어질 수 있다. 게다가, 음성 입력은 효율적이지만, 애플리케이션 시나리오는 제한된다. 예를 들어, 잡음이 많은 환경 및 고요를 필요로 하는 도서관과 같은 공공 장소는 음성 입력의 사용을 제한한다.
본 발명의 실시예들은 전술한 상호작용 방법의 다양하지 않은 기능들 및 제한된 애플리케이션 시나리오의 문제들을 해결하기 위해 지능형 상호작용 방법, 디바이스, 및 시스템을 제공한다.
제1 양태에 따르면, 본 발명의 실시예는 지능형 상호작용 방법을 제공하고,
여기서 포인터 아이콘(pointer icon)은 스마트 글래스의 맨-머신 인터페이스 상에서 설정되고, 방법은,
스마트 글래스에 의해, 스마트 시계에 의해 송신된 제어 정보를 수신하는 단계 - 제어 정보는 수신되는 사용자 입력 조작에 따라 스마트 시계에 의해 생성됨 - ; 및
스마트 글래스에 의해, 제어 정보에 따라 포인터 아이콘의 이동을 제어하는 단계를 포함한다.
제1 양태를 참조하여, 제1 양태의 제1 가능한 구현 방식에서, 제어 정보는 변위 정보를 포함하는데, 여기서 변위 정보는 사용자 입력 조작에 대응하고 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함하며;
스마트 글래스에 의해, 제어 정보에 따라 포인터 아이콘의 이동을 제어하는 단계는,
스마트 글래스에 의해, 포인터 아이콘을 변위만큼 이동하도록 제어하는 단계를 포함한다.
제1 양태의 제1 가능한 구현 방식을 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 제어 정보는 힘 정보를 추가로 포함하고, 힘 정보는 사용자 입력 조작에 대응하는 누르는 힘(pressing force)을 표현하는 데 사용되며;
스마트 글래스에 의해, 포인터 아이콘을 변위만큼 이동하도록 제어하는 단계는,
스마트 글래스에 의해, 힘 정보에 따라 포인터 아이콘을 이동시키는 이동 속도를 제어하는 단계를 포함한다.
제1 양태를 참조하여, 제1 양태의 제3 가능한 구현 방식에서, 제어 정보는 각도 정보를 포함하고, 각도 정보는 팔에 착용되고, 팔의 축 방향에 대해 회전하는 스마트 시계의 종방향 회전 각도, 및 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 스마트 시계의 각도를 기준으로서 사용함으로써, 팔에 수직인 축 방향에 대한 스마트 시계의 횡방향 회전 각도를 포함하고;
스마트 글래스에 의해, 제어 정보에 따라 포인터 아이콘의 이동을 제어하는 단계는,
스마트 글래스에 의해, 미리 설정된 시작 지점으로부터 시작하여, 맨-머신 인터페이스의 X-축을 따르는
Figure pct00001
의 거리만큼, 및 맨-머신 인터페이스의 Y-축을 따르는
Figure pct00002
의 거리만큼 이동하도록 포인터 아이콘을 제어하는 단계를 포함하며, 여기서
Figure pct00003
는 종방향 회전 각도를 표현하고,
Figure pct00004
는 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수이다.
제2 양태에 따르면, 본 발명의 실시예는 지능형 상호작용 방법을 제공하고, 이는,
스마트 글래스에 의해, 스마트 시계에 의해 송신된 제어 정보를 수신하는 단계 - 제어 정보는 팔에 착용되고, 팔이 신체의 앞에 수평으로 배치될 때, 팔의 축 방향에 대해 회전하는 스마트 시계의 각도임 - ; 및
스마트 글래스에 의해, 제어 정보에 따라 스마트 글래스의 맨-머신 인터페이스 상의 스마트 글래스의 메뉴들의 스크롤을 제어하는 단계를 포함하며, 여기서 맨-머신 인터페이스 상의 스크롤된 메뉴들의 양은 각도의 크기에 의존한다.
제3 양태에 따르면, 본 발명의 실시예는 지능형 디바이스를 제공하는데, 여기서 포인터 아이콘은 지능형 디바이스의 맨-머신 인터페이스 상에서 설정되고, 지능형 디바이스는,
수신기 - 수신기는 스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성되고, 제어 정보는 수신되는 사용자 입력 조작에 따라 스마트 시계에 의해 생성됨 - ; 및
프로세서 - 프로세서는 제어 정보에 따라 포인터 아이콘의 이동을 제어하도록 구성됨 - 를 포함한다.
제3 양태를 참조하여, 제3 양태의 제1 가능한 구현 방식에서, 제어 정보는 변위 정보를 포함하며, 여기서 변위 정보는 사용자 입력 조작에 대응하고 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함하고, 프로세서는 포인터 아이콘을 변위만큼 이동하도록 제어하도록 구체적으로 구성된다.
제3 양태의 제1 가능한 구현 방식을 참조하여, 제3 양태의 제2 가능한 구현 방식에서, 제어 정보는 힘 정보를 추가로 포함하고, 힘 정보는 사용자 입력 조작에 대응하는 누르는 힘을 표현하는 데 사용되고, 프로세서는,
힘 정보에 따라 포인터 아이콘을 이동시키는 이동 속도를 제어하도록 추가로 구성된다.
제3 양태를 참조하여, 제2 양태의 제3 가능한 구현 방식에서, 제어 정보는 각도 정보를 포함하고, 각도 정보는 팔에 착용되고, 팔의 축 방향에 대해 회전하는 스마트 시계의 종방향 회전 각도, 및 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 스마트 시계의 각도를 기준으로서 사용함으로써, 팔에 수직인 축 방향에 대한 스마트 시계의 횡방향 회전 각도를 포함하고, 프로세서는,
미리 설정된 시작 지점으로부터 시작하여, 맨-머신 인터페이스의 X-축을 따르는
Figure pct00005
의 거리만큼, 및 맨-머신 인터페이스의 Y-축을 따르는
Figure pct00006
의 거리만큼 이동하도록 포인터 아이콘을 제어하도록 구체적으로 구성되며, 여기서
Figure pct00007
는 종방향 회전 각도를 표현하고,
Figure pct00008
는 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수이다.
제3 양태 또는 제3 양태의 제1 내지 제3 가능한 구현 방식들 중 어느 하나를 참조하여, 제3 양태의 제4 가능한 구현 방식에서, 지능형 디바이스는 스마트 글래스이다.
제4 양태에 따르면, 본 발명의 실시예는 지능형 디바이스를 제공하고, 이는,
수신기 - 수신기는 스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성되고, 제어 정보는 팔에 착용되고, 팔이 신체의 앞에 수평으로 배치될 때, 팔의 축 방향에 대해 회전하는 스마트 시계의 각도임 - ; 및
프로세서 - 프로세서는 제어 정보에 따라 지능형 디바이스의 맨-머신 인터페이스 상의 지능형 디바이스의 메뉴들의 스크롤을 제어하도록 구성되며, 여기서 맨-머신 인터페이스 상의 스크롤된 메뉴들의 양은 각도의 크기에 의존함 - 를 포함한다.
제4 양태를 참조하여, 제4 양태의 제1 가능한 구현 방식에서, 지능형 디바이스는 스마트 글래스이다.
제5 양태에 따르면, 본 발명의 실시예는 지능형 상호작용 시스템을 제공하고, 이는,
수신되는 사용자 입력 조작에 따라 제어 정보를 생성하도록 구성되는 스마트 시계; 및
제3 양태 또는 제4 양태 중 어느 하나에 따른 지능형 디바이스를 포함하며,
여기서 스마트 시계는 지능형 디바이스와 통신 접속 상태이다.
본 발명의 실시예들에서의 지능형 상호작용 방법, 디바이스 및 시스템에 따르면, 스마트 시계가 사용자 입력 조작의 수신자로서 사용된다. 스마트 시계의 구조체는 사용자 입력 조작을 제어 정보로 변환하는 데 사용되어, 스마트 글래스의 맨-머신 인터페이스 상의 포인터 아이콘의 이동을 제어하여, 사용자와 스마트 글래스 사이의 상호작용을 구현한다. 상호작용 방법은 스마트 글래스의 구조체에 의해 제한되지 않는다. 그러므로, 상호작용 방법에 의해 구현될 수 있는 기능들이 크게 증가한다. 게다가, 상호작용 방법은 시나리오에 의해 제한되지 않기 때문에, 사용자와 스마트 글래스 사이의 상호작용의 편의를 개선한다.
본 발명의 실시예들에서의 또는 종래 기술에서의 기술적 솔루션들을 보다 명확하게 설명하기 위해, 다음은, 실시예들 또는 종래 기술을 설명하기 위해 요구되는 첨부 도면들을 간단히 설명한다. 명백하게, 다음의 설명에서의 첨부 도면들은 단지 본 발명의 일부 실시예를 도시하고, 본 기술 분야의 통상의 기술자는 창의적인 노력들 없이 이러한 첨부 도면들로부터 다른 도면들을 여전히 도출할 수 있다.
도 1은 본 발명에 따른 지능형 상호작용 방법의 애플리케이션 시나리오의 예에 대한 다이어그램이고;
도 2는 본 발명에 따른 지능형 상호작용 방법의 제1 실시예의 플로우차트이고;
도 3a는 본 발명에 따른 지능형 상호작용 방법의 제2 실시예에서의 힘 정보(S)와 누르는 힘(F) 사이의 대응관계의 예에 대한 다이어그램이고;
도 3b는 본 발명에 따른 지능형 상호작용 방법의 제2 실시예에서의 힘 정보(S)와 누르는 힘(F) 사이의 대응관계의 또 다른 예에 대한 다이어그램이고;
도 4는 본 발명에 따른 지능형 상호작용 방법의 또 다른 애플리케이션 시나리오의 예에 대한 다이어그램이고;
도 5는 본 발명에 따른 지능형 상호작용 방법의 제2 실시예의 플로우차트이고;
도 6은 본 발명에 따른 지능형 상호작용 방법의 또 다른 애플리케이션 시나리오의 예에 대한 다이어그램이고;
도 7은 본 발명에 따른 지능형 상호작용 방법의 또 다른 애플리케이션 시나리오의 예에 대한 다이어그램이고;
도 8은 본 발명에 따른 지능형 디바이스의 제1 실시예의 개략적인 구조도이다.
다음은, 본 발명의 실시예들에서의 첨부 도면들을 참조하여, 본 발명의 실시예들에서의 기술적 솔루션들을 명확하고 완전하게 설명한다. 명백하게, 설명된 실시예들은 본 발명의 실시예들의 단지 일부이지만 전부는 아니다. 창의적인 노력들 없이 본 발명의 실시예들에 기초하여 본 기술 분야의 통상의 기술자에 의해 획득된 모든 다른 실시예는 본 발명의 보호 범위 내에 있을 것이다.
스마트 글래스는 또한 지능형 글래스로서 알려져있다. 스마트 글래스는 독립적인 운영 체제를 갖고, 사용자는 소프트웨어 및 게임들과 같은 소프트웨어 서비스 제공자들에 의해 제공되는 프로그램들, 및 어젠더(agenda) 추가, 지도 내비게이션(map navigation), 친구와의 상호작용, 사진 촬영(photographing) 및 비디오 녹화(videotaping)의 기능들을 설치할 수 있고, 친구와 화상 통화를 수행하는 것은 음성 또는 조작에 의해 완료될 수 있고, 무선 네트워크 액세스는 이동 통신 네트워크를 사용하여 구현될 수 있다.
스마트 글래스의 기본 아키텍처는 콧대(bridge of a nose) 상에 횡방향으로 놓일 수 있는 평행한 프레임, 프레임의 다리 상에 배치되는 터치패드, 프레임의 우측 상에 위치한 와이드 스트라이프 컴퓨터(wide stripe computer), 및 투명 디스플레이 스크린을 포함한다.
본 발명의 실시예들에서의 기술적 솔루션들은, 스마트 글래스 및 스마트 시계가 동시에 착용되고, 스마트 글래스가 외부 포인터 도구를 필요로 하는 시나리오, 및 휴대용 지능형 디바이스, 예를 들어, 마우스를 갖지 않는 개인용 컴퓨터(Personal Computer, 간단히 PC)가 외부 포인터 도구를 필요로 하는 시나리오에 적용가능하다.
본 발명의 실시예는 지능형 상호작용 시스템을 제공한다. 지능형 상호작용 시스템은 스마트 시계 및 지능형 디바이스를 포함한다. 스마트 시계는 수신되는 사용자 입력 조작에 따라 제어 정보를 생성하도록 구성된다. 지능형 디바이스는 아래에 설명된 임의의 지능형 디바이스이다. 스마트 시계는 지능형 디바이스와 통신 접속 상태이다. 도 1에 도시된 바와 같이, 이러한 예에서, 지능형 디바이스는 예로서 스마트 글래스를 사용하여 설명된다. 통신은 스마트 시계와 스마트 글래스 사이에서 블루투스(Blue-Tooth, 간단히 BT) 또는 블루투스 로우 에너지(Blue-Tooth Low Energy, 간단히 BLE)의 기술적 경로를 사용함으로써 수행된다.
도 2는 본 발명에 따른 지능형 상호작용 방법의 제1 실시예의 플로우차트이다. 본 발명의 실시예는 사용자와 스마트 글래스 사이의 상호작용을 구현하기 위해, 지능형 상호작용 방법을 제공한다. 방법은 지능형 상호작용 방법을 실행하기 위한 임의의 장치에 의해 실행될 수 있고, 장치는 소프트웨어 및/또는 하드웨어에 의해 구현될 수 있다. 이러한 실시예에서, 장치는 스마트 글래스에 통합될 수 있고, 포인터 아이콘은 스마트 글래스의 맨-머신 인터페이스 상에서 설정된다. 도 2에 도시된 바와 같이, 방법은 다음을 포함한다:
S101: 스마트 글래스가 스마트 시계에 의해 송신된 제어 정보를 수신하는 단계 - 제어 정보는 수신되는 사용자 입력 조작에 따라 스마트 시계에 의해 생성됨 -
S102: 스마트 글래스가 제어 정보에 따라 포인터 아이콘의 이동을 제어하는 단계.
구체적으로, 사용자는 스마트 시계의 터치스크린 상에서 터치 입력을 수행하거나 스마트 시계 상에서 키-누름 입력을 수행하고; 스마트 시계는 사용자 입력 조작(터치 입력 및 키-누름 입력을 포함하는)에 따라, 스마트 글래스의 맨-머신 인터페이스(Man Machine Interface, 간단히 MMI) 상의 포인터 아이콘을 제어하는 데 사용되는 제어 정보를 생성하고, 제어 정보를 스마트 글래스로 송신한다. 스마트 시계에 의해, 제어 정보를 스마트 글래스로 송신하는 것은 BT 또는 BLE의 기술적 경로를 사용함으로써 구현될 수 있지만, 본 발명은 그에 제한되지 않는다.
스마트 글래스는 제어 정보에 따라 포인터 아이콘의 이동을 제어하여, 사용자가 스마트 글래스와 상호작용하게 한다.
포인터 아이콘은 스마트 글래스의 맨-머신 인터페이스 상에서 설정되며, 여기서 포인터 아이콘은, 예를 들어, 커서(cursor)이다라는 점에 유의해야 한다. 본 명세서에서 설명된 설정은 스마트 글래스에 애플리케이션(Application, 간단히 APP)을 설치함으로써 소프트웨어 또는 구현을 사용하여 구현하는 것을 포함한다. 예를 들어, 레이어가 맨-머신 인터페이스 상에 달려있고, 레이어는 포인터 아이콘을 디스플레이하도록 구성된다.
본 발명의 이러한 실시예에 따르면, 스마트 시계가 사용자 입력 조작의 수신자로서 사용된다. 스마트 시계의 구조체는 사용자 입력 조작을 제어 정보로 변환하는 데 사용되어, 스마트 글래스의 맨-머신 인터페이스 상의 포인터 아이콘의 이동을 제어하여, 사용자와 스마트 글래스 사이의 상호작용을 구현한다. 상호작용 방법은 스마트 글래스의 구조체에 의해 제한되지 않는다. 그러므로, 상호작용 방법에 의해 구현될 수 있는 기능들이 크게 증가한다. 게다가, 상호작용 방법은 시나리오에 의해 제한되지 않기 때문에, 사용자와 스마트 글래스 사이의 상호작용의 편의를 개선한다.
다음은 여러 개의 구체적인 실시예를 사용함으로써 본 발명의 기술적 솔루션들을 상세히 설명한다.
일 실시예에서, 제어 정보는 변위 정보를 포함할 수 있다. 변위 정보는 사용자 입력 조작에 대응하고 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함할 수 있다. 이러한 실시예에서, S102는 스마트 글래스에 의해 포인터 아이콘을 전술한 변위만큼 이동하도록 제어하는 단계를 포함할 수 있다.
구체적으로, 스마트 시계는 터치스크린의 내장 센서를 판독하고, 손가락의 접촉 위치들에 관한 좌표 정보를 획득하고, 좌표 계산에 의해 변위 정보를 획득한다. 스마트 시계는 2회 수집된 손가락의 접촉 위치들의 좌표 P1(X1, Y1)과 P2(X2, Y2)를 비교함으로써 변위 D1((X2-X1), (Y2-Y1))을 획득한다. 스마트 시계는 BT 또는 BLE 경로를 사용함으로써 좌표 또는 변위 정보를 스마트 글래스(또는 PC)로 송신할 수 있다. 이에 대응하여, 스마트 글래스는 스마트 시계로부터 변위 정보를 획득한다. 포인터 아이콘의 애플리케이션 기능을 입력한 후에, 스마트 글래스(또는 PC)는 획득된 좌표 또는 변위 정보에 따라 MMI 상의 포인터 아이콘의 대응하는 이동을 구현한다. 예를 들어, 도 1에 도시된 바와 같이, 손가락이 스마트 시계의 터치스크린 상에서 왼쪽(화살표 방향)으로 플릭하고(flick), 이에 대응하여, 스마트 글래스의 MMI 상의 포인터 아이콘이 왼쪽으로 이동한다.
상기에 기초하여, 제어 정보는 힘 정보를 추가로 포함할 수 있다. 힘 정보는 사용자 입력 조작에 대응하는 누르는 힘을 표현하는 데 사용된다. 스마트 시계는 터치스크린의 내장된 힘 센서를 판독하고, 누르는 힘을 획득한다. 이러한 경우에, 스마트 글래스에 의해, 포인터 아이콘을 전술한 변위만큼 이동하도록 제어하는 단계는, 힘 정보에 따라 스마트 글래스에 의해, 포인터 아이콘을 이동시키는 이동 속도를 제어하여 사용자와 스마트 글래스 사이의 상호작용을 구현하는 단계를 포함할 수 있으며, 여기서 힘 정보의 크기는 포인터 아이콘의 이동 속도를 결정한다. 예를 들어, 힘 정보가 증가함에 따라 포인터 아이콘의 이동 속도가 증가할 수 있고, 또는 힘 정보가 증가함에 따라 포인터 아이콘의 이동 속도가 감소할 수 있다.
힘 정보는 연속적 또는 부분적으로 이산적일 수 있다는 점에 추가로 유의해야 한다. 힘 정보와 누르는 힘 사이의 대응관계는 다수의 유형을 포함한다. 예를 들어, 힘 정보(S)는 도 3a에 도시된 바와 같이, 누르는 힘(F)에 정비례하고; 또는 힘 정보(S)와 누르는 힘(F) 사이의 대응관계는 도 3b에 도시된 바와 같이, 일-대-다(one-to-many)이다. 0 내지 F1의 범위인 누르는 힘들에 대응하는 힘 정보는 0이고, F1 내지 F2의 범위인 누르는 힘들에 대응하는 힘 정보는 S1인 등이다. 대응하는 시간 기간에서의 스마트 글래스 또는 PC 상의 포인터 아이콘의 변위는:
Figure pct00009
(a는 미리 설정된 상수)이며, 여기서 S는 S1, S2 또는 S3일 수 있다.
또 다른 실시예에서, 제어 정보는 각도 정보를 포함할 수 있다. 각도 정보는 팔에 착용되고, 팔의 축 방향에 대해 회전하는 스마트 시계의 종방향 회전 각도, 및 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 스마트 시계의 각도를 기준으로서 사용함으로써, 팔에 수직인 축 방향에 대한 스마트 시계의 횡방향 회전 각도를 포함한다. 이러한 경우에, S102는, 스마트 글래스에 의해, 미리 설정된 시작 지점으로부터 시작하여, 맨-머신 인터페이스의 X-축을 따르는
Figure pct00010
의 거리만큼, 및 맨-머신 인터페이스의 Y-축을 따르는
Figure pct00011
의 거리만큼 이동하도록 포인터 아이콘을 제어하는 단계를 포함하며, 여기서
Figure pct00012
는 종방향 회전 각도를 표현하고,
Figure pct00013
는 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수이고, X-축과 Y-축은 맨-머신 인터페이스 상에서 서로 수직이다.
도 4를 참조하면, 스마트 시계 내의 자이로스코프(gyroscope)는 스마트 글래스의 포인터 아이콘의 센서로서 사용된다. 교정 동안 한 각도(an angle)를 기준으로서 사용하여, 팔뚝의 축 방향에 대한 스마트 시계의 회전 각도가
Figure pct00014
이고, 팔뚝에 수직인 축에 대한 스마트 시계의 회전 각도가
Figure pct00015
일 때, 출발 지점(original point)(예를 들어, 스마트 글래스의 안경(eyeglass)의 기하학적 중심 지점)에 대한 목표 디바이스(스마트 글래스, PC, 등일 수 있는)의 포인터 아이콘의 목적지 지점(destination point)까지의 변위 D(X, Y)는
Figure pct00016
및
Figure pct00017
에 의해 획득될 수 있다.
도 5는 본 발명에 따른 지능형 상호작용 방법의 제2 실시예의 플로우차트이다. 본 발명의 이러한 실시예는 사용자와 스마트 글래스 사이의 상호작용을 구현하기 위해, 지능형 상호작용 방법을 제공한다. 방법은 지능형 상호작용 방법을 실행하기 위한 임의의 장치에 의해 실행될 수 있고, 장치는 소프트웨어 및/또는 하드웨어에 의해 구현될 수 있다. 이러한 실시예에서, 장치는 스마트 글래스에 통합될 수 있다. 도 5에 도시된 바와 같이, 방법은 다음을 포함한다:
S501: 스마트 글래스가 스마트 시계에 의해 송신된 제어 정보를 수신하는 단계 - 제어 정보는 팔에 착용되고, 팔이 신체의 앞에 수평으로 배치될 때, 팔의 축 방향에 대해 회전하는 스마트 시계의 각도임 - .
S502: 스마트 글래스가 제어 정보에 따라 스마트 글래스의 맨-머신 인터페이스 상의 스마트 글래스의 메뉴들의 스크롤을 제어하는 단계 - 맨-머신 인터페이스 상의 스크롤된 메뉴들의 양은 각도의 크기에 의존함 - .
이러한 실시예는, 메뉴들을 스크롤하는 스마트 글래스, 예를 들어, 초기의 구글 글래스(google glass)의 조작에 적용가능하다.
이러한 실시예에서, 스마트 글래스는 사용자와 스마트 글래스 사이의 상호작용을 구현하기 위해, 제어 정보에 따라 스마트 글래스의 메뉴들의 스크롤을 제어할 수 있다. 이러한 실시예에 따라, 스마트 시계의 방위각에 있어서의 변동들, 예를 들어, 스마트 시계의 상향, 하향, 좌향, 또는 우향의 기울기를 감지함으로써, 스마트 글래스의 메뉴들의 스크롤이 출력된다.
도 6에 도시된 바와 같이, 정상 상태에서 사용자가 스마트 시계를 보는 것과 동일하게, 왼쪽 팔은 신체의 앞에 수평으로 배치되고, 왼쪽 팔에 착용된 스마트 시계는 왼쪽 팔의 축 방향에 대해 회전하고; 스마트 시계는 자이로스코프(Gyroscope)로부터 데이터를 판독함으로써 스마트 시계가 왼쪽 팔의 축 방향에 대해 회전하는 각도를 획득한 다음에, BT 또는 BLE의 경로를 사용함으로써 제어 정보를 스마트 글래스로 전송하여, 스마트 글래스의 스크롤된 메뉴들의 양을 결정한다. 현재 선택되는 메뉴가 스마트 글래스의 MMI 상에서 하이라이트되어 사용자에게 현재 메뉴의 상태를 상기시키고, 그 결과 사용자는 미리 선택된 메뉴의 위치에 도달하도록 스마트 시계의 회전 각도를 조정할 수 있다.
본 발명의 이러한 실시예에 따라, 스마트 시계가 사용자 입력 조작의 수신자로서 사용된다. 스마트 시계의 구조체는 사용자 입력 조작을 제어 정보로 변환하는 데 사용되어, 스마트 글래스의 맨-머신 인터페이스 상의 메뉴의 디스플레이를 제어하여, 사용자와 스마트 글래스 사이의 상호작용을 구현한다. 상호작용 방법은 스마트 글래스의 구조체에 의해 제한되지 않는다. 그러므로, 상호작용 방법에 의해 구현될 수 있는 기능들이 크게 증가한다. 게다가, 상호작용 방법은 시나리오에 의해 제한되지 않기 때문에, 사용자와 스마트 글래스 사이의 상호작용의 편의를 개선한다.
게다가, 스마트 글래스는 스마트 시계에 의해 송신된 기동 정보를 추가로 수신할 수 있다. 상기에 기초하여, 스마트 글래스가 기동 정보를 검출한 후에, 메뉴가 맨-머신 인터페이스 상에서 디스플레이된다. 예를 들어, 사용자의 손가락이 터치스크린을 터치하는 동작을 검출할 때, 스마트 시계는 스마트 글래스의 메뉴에 진입하기 위해, 기동 정보를 스마트 글래스로 전송한다.
사용자가 스마트 시계의 상이한 측면을 노크(knocking)함으로써 스마트 글래스의 상이한 기능 및 단축 키를 추가로 구현할 수 있다는 점에 상보적으로 유의해야 한다. 예를 들어, 왼팔을 횡방향으로 놓고 시계를 보는 제스처를 기준으로서 사용하여, 스마트 시계의 왼쪽 상단을 노크하는 것은 스마트 글래스의 확인 동작을 구현할 수 있다. 또 다른 예를 들면, PC 애플리케이션에서, 왼팔을 횡방향으로 놓고 시계를 보는 제스처를 기준으로서 사용하여, 스마트 시계의 왼쪽 상단, 오른쪽 상단, 및 왼쪽 하단을 노크하는 것은 도 7에 도시된 바와 같이, 각각 왼쪽 마우스 버튼, 교정 키, 및 오른쪽 마우스 버튼을 구현할 수 있다.
도 8은 본 발명에 따른 지능형 디바이스의 제1 실시예의 개략적인 구조도이다. 본 발명의 이러한 실시예는 사용자와 지능형 디바이스 사이의 상호작용을 구현하기 위해, 지능형 디바이스를 제공한다. 도 8에 도시된 바와 같이, 지능형 디바이스(80)는, 수신기(81), 및 프로세서(82)를 포함한다.
수신기(81)는 스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성된다. 제어 정보는 수신되는 사용자 입력 조작에 따라 스마트 시계에 의해 생성된다. 프로세서(82)는 제어 정보에 따라 포인터 아이콘의 이동을 제어하도록 구성된다. 포인터 아이콘은 지능형 디바이스(80)의 맨-머신 인터페이스 상에서 설정된다.
이러한 실시예에서의 지능형 디바이스는 도 2에 도시된 방법 실시예의 기술적 솔루션을 실행하도록 구성될 수 있고, 그것의 구현 원리들 및 기술적 효과들은 유사하고, 상세들은 본 명세서에서 다시 설명되지 않는다.
일 구현 방식에서, 제어 정보는 변위 정보를 포함한다. 변위 정보는 사용자 입력 조작에 대응하고 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함할 수 있다. 프로세서(82)는 포인터 아이콘을 변위만큼 이동하게 제어하도록 구체적으로 구성될 수 있다.
게다가, 제어 정보는 힘 정보를 추가로 포함한다. 힘 정보는 사용자 입력 조작에 대응하는 누르는 힘을 표현하는 데 사용된다. 프로세서(82)는 사용자와 지능형 디바이스(80) 사이의 상호작용을 구현하기 위해 포인터 아이콘을 이동시키는 이동 속도를 힘 정보에 따라 제어하도록 추가로 구성될 수 있으며, 여기서 힘 정보의 크기는 포인터 아이콘의 이동 속도를 결정한다.
힘 정보와 누르는 힘 사이의 대응관계는 적어도 다음의 유형들을 포함할 수 있다: 힘 정보가 누르는 힘에 정비례하는 것, 힘 정보와 누르는 힘 사이에 일-대-다의 대응관계(one-to-many correspondence), 등.
또 다른 구현 방식에서, 제어 정보는 각도 정보를 포함할 수 있다. 각도 정보는 팔에 착용되고, 팔의 축 방향에 대해 회전하는 스마트 시계의 종방향 회전 각도, 및 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 스마트 시계의 각도를 기준으로서 사용함으로써, 팔에 수직인 축 방향에 대한 스마트 시계의 횡방향 회전 각도를 포함한다. 포인터 아이콘은 스마트 글래스의 맨-머신 인터페이스 상에서 설정된다. 프로세서(82)는 미리 설정된 시작 지점으로부터 시작하여, 맨-머신 인터페이스의 X-축을 따르는
Figure pct00018
의 거리만큼, 및 맨-머신 인터페이스의 Y-축을 따르는
Figure pct00019
의 거리만큼 이동하게 포인터 아이콘을 제어하도록 구체적으로 구성될 수 있으며, 여기서
Figure pct00020
는 종방향 회전 각도를 표현하고,
Figure pct00021
는 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수이고, X-축과 Y-축은 맨-머신 인터페이스 상에서 서로 수직이다.
지능형 디바이스(80)는 스마트 글래스일 수 있다는 점에 상보적으로 유의해야 한다.
도 8에 도시된 구조를 참조하여, 수신기(81)는 스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성된다. 제어 정보는 팔에 착용되고, 팔이 신체의 앞에 수평으로 배치될 때, 팔의 축 방향에 대해 회전하는 스마트 시계의 각도이다. 프로세서(82)는 제어 정보에 따라 지능형 디바이스(80)의 맨-머신 인터페이스 상의 지능형 디바이스의 메뉴들의 스크롤을 제어하도록 구성되며, 여기서 맨-머신 인터페이스 상의 스크롤된 메뉴들의 양은 각도의 크기에 의존한다.
이러한 실시예에서의 지능형 디바이스는 도 5에 도시된 방법 실시예의 기술적 솔루션을 실행하도록 구성될 수 있고, 그것의 구현 원리들 및 기술적 효과들은 유사하고, 상세들은 본 명세서에서 다시 설명되지 않는다.
본 출원에서 제공된 여러 개의 실시예들에서, 개시된 장치 및 방법은 다른 방식들로 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, 설명된 디바이스 실시예는 단지 예이다. 예를 들어, 유닛 또는 모듈 구분은 단지 논리적인 기능 구분이고 실제 구현에서 다른 구분일 수 있다. 예를 들어, 복수의 유닛 또는 모듈이 결합되거나 또 다른 시스템에 통합될 수 있거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 게다가, 디스플레이되거나 논의된 상호 결합들 또는 직접 결합들 또는 통신 연결들은 일부 인터페이스를 통해 구현될 수 있다. 디바이스들 또는 모듈들 사이의 간접 결합들 또는 통신 연결들은 전자적, 기계적, 또는 다른 형태들로 구현될 수 있다.
별도의 부분들로서 설명된 모듈들은 물리적으로 분리되거나 아닐 수 있고, 모듈들로서 디스플레이된 부분들은 물리적 모듈들이거나 아닐 수 있고, 하나의 위치에 위치될 수 있거나, 복수의 네트워크 유닛 상에 분산될 수 있다. 모듈들의 일부 또는 전부는 실시예들의 솔루션들의 목적들을 달성하기 위해 실제의 필요들에 따라 선택될 수 있다.
본 기술분야의 통상의 기술자는, 방법 실시예들의 단계들의 전부 또는 일부가 관련 하드웨어에게 지시하는 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터-판독가능 저장 매체에 저장될 수 있다. 프로그램이 구동될 때, 방법 실시예들의 단계들이 수행된다. 전술한 저장 매체는, ROM, RAM, 자기 디스크, 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
마지막으로, 전술한 실시예들은 본 발명을 제한하기 위해서가 아니라, 단지 본 발명의 기술적 솔루션들을 설명하기 위해서 의도된다는 점에 유의해야 한다. 본 발명이 전술한 실시예들을 참조하여 상세히 설명되지만, 본 기술분야의 통상의 기술자는, 본 발명의 실시예들의 기술적 솔루션들의 범위로부터 벗어나지 않고, 전술한 실시예들에서 설명된 기술적 솔루션들에 수정들을 여전히 행할 수 있거나 또는 그것의 일부 또는 모든 기술적 특징에 등가의 대체들을 행할 수 있다는 것을 이해해야 한다.

Claims (13)

  1. 포인터 아이콘(pointer icon)이 스마트 글래스(smart glasses)의 맨-머신 인터페이스(man-machine interface) 상에서 설정되는 지능형 상호작용 방법으로서,
    상기 스마트 글래스에 의해, 스마트 시계(smart watch)에 의해 송신된 제어 정보를 수신하는 단계 - 상기 제어 정보는 수신되는 사용자 입력 조작에 따라 상기 스마트 시계에 의해 생성됨 - ; 및
    상기 스마트 글래스에 의해, 상기 제어 정보에 따라 상기 포인터 아이콘의 이동을 제어하는 단계
    를 포함하는 지능형 상호작용 방법.
  2. 제1항에 있어서, 상기 제어 정보는 변위 정보를 포함하고, 상기 변위 정보는 상기 사용자 입력 조작에 대응하고 상기 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함하고;
    상기 스마트 글래스에 의해, 상기 제어 정보에 따라 상기 포인터 아이콘의 이동을 제어하는 단계는,
    상기 스마트 글래스에 의해, 상기 변위만큼 이동하도록 상기 포인터 아이콘을 제어하는 단계
    를 포함하는 방법.
  3. 제2항에 있어서, 상기 제어 정보는 힘 정보를 추가로 포함하고, 상기 힘 정보는 상기 사용자 입력 조작에 대응하는 누르는 힘(pressing force)을 표현하는 데 사용되고;
    상기 스마트 글래스에 의해, 상기 변위만큼 이동하도록 상기 포인터 아이콘을 제어하는 단계는,
    상기 스마트 글래스에 의해, 상기 힘 정보에 따라 상기 포인터 아이콘을 이동시키는 이동 속도를 제어하는 단계
    를 포함하는 방법.
  4. 제1항에 있어서, 상기 제어 정보는 각도 정보를 포함하고, 상기 각도 정보는 팔에 착용되고, 상기 팔의 축 방향에 대해 회전하는 상기 스마트 시계의 종방향 회전 각도, 및 상기 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 상기 스마트 시계의 각도를 기준으로서 사용함으로써, 상기 팔에 수직인 축 방향에 대한 상기 스마트 시계의 횡방향 회전 각도를 포함하고;
    상기 스마트 글래스에 의해, 상기 제어 정보에 따라 상기 포인터 아이콘의 이동을 제어하는 단계는,
    상기 스마트 글래스에 의해, 상기 미리 설정된 시작 지점으로부터 시작하여, 상기 맨-머신 인터페이스의 X-축을 따르는
    Figure pct00022
    의 거리만큼, 및 상기 맨-머신 인터페이스의 Y-축을 따르는
    Figure pct00023
    의 거리만큼 이동하도록 상기 포인터 아이콘을 제어하는 단계 -
    Figure pct00024
    는 상기 종방향 회전 각도를 표현하고,
    Figure pct00025
    는 상기 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수임 -
    를 포함하는 방법.
  5. 지능형 상호작용 방법으로서,
    스마트 글래스에 의해, 스마트 시계에 의해 송신된 제어 정보를 수신하는 단계 - 상기 제어 정보는 팔에 착용되고, 상기 팔이 신체의 앞에 수평으로 배치될 때, 상기 팔의 축 방향에 대해 회전하는 상기 스마트 시계의 각도임 - ; 및
    상기 스마트 글래스에 의해, 상기 제어 정보에 따라 상기 스마트 글래스의 맨-머신 인터페이스 상의 상기 스마트 글래스의 메뉴들의 스크롤을 제어하는 단계 - 상기 맨-머신 인터페이스 상의 상기 스크롤된 메뉴들의 양은 상기 각도의 크기에 의존함 -
    를 포함하는 지능형 상호작용 방법.
  6. 포인터 아이콘이 지능형 디바이스의 맨-머신 인터페이스 상에서 설정되는 지능형 디바이스로서,
    스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성되는 수신기 - 상기 제어 정보는 수신되는 사용자 입력 조작에 따라 상기 스마트 시계에 의해 생성됨 - ; 및
    프로세서 - 상기 프로세서는 상기 제어 정보에 따라 상기 포인터 아이콘의 이동을 제어하도록 구성됨 -
    를 포함하는 지능형 디바이스.
  7. 제6항에 있어서, 상기 제어 정보는 변위 정보를 포함하고, 상기 변위 정보는 상기 사용자 입력 조작에 대응하고 상기 스마트 시계의 터치스크린에 의해 획득되는 변위를 포함하고, 상기 프로세서는,
    상기 포인터 아이콘을 상기 변위만큼 이동하게 제어하도록 구체적으로 구성되는 지능형 디바이스.
  8. 제7항에 있어서, 상기 제어 정보는 힘 정보를 추가로 포함하고, 상기 힘 정보는 상기 사용자 입력 조작에 대응하는 누르는 힘을 표현하는 데 사용되고, 상기 프로세서는,
    상기 힘 정보에 따라 상기 포인터 아이콘을 이동시키는 이동 속도를 제어하도록 추가로 구성되는 지능형 디바이스.
  9. 제6항에 있어서, 상기 제어 정보는 각도 정보를 포함하고, 상기 각도 정보는 팔에 착용되고, 상기 팔의 축 방향에 대해 회전하는 상기 스마트 시계의 종방향 회전 각도, 및 상기 팔이 신체의 앞에 수평으로 배치될 때, 미리 설정된 시작 지점에서의 상기 스마트 시계의 각도를 기준으로서 사용함으로써, 상기 팔에 수직인 축 방향에 대한 상기 스마트 시계의 횡방향 회전 각도를 포함하고, 상기 프로세서는,
    상기 미리 설정된 시작 지점으로부터 시작하여, 상기 맨-머신 인터페이스의 X-축을 따르는
    Figure pct00026
    의 거리만큼, 및 상기 맨-머신 인터페이스의 Y-축을 따르는
    Figure pct00027
    의 거리만큼 이동하게 상기 포인터 아이콘을 제어하도록 구체적으로 구성되며,
    Figure pct00028
    는 상기 종방향 회전 각도를 표현하고,
    Figure pct00029
    는 상기 횡방향 회전 각도를 표현하고, p는 미리 설정된 상수인 지능형 디바이스.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 지능형 디바이스는 스마트 글래스인 지능형 디바이스.
  11. 지능형 디바이스로서,
    수신기 - 상기 수신기는 스마트 시계에 의해 송신된 제어 정보를 수신하도록 구성되고, 상기 제어 정보는 팔에 착용되고, 상기 팔이 신체의 앞에 수평으로 배치될 때 상기 팔의 축 방향에 대해 회전하는 상기 스마트 시계의 각도임 - ; 및
    프로세서 - 상기 프로세서는 상기 제어 정보에 따라 상기 지능형 디바이스의 맨-머신 인터페이스 상의 상기 지능형 디바이스의 메뉴들의 스크롤을 제어하도록 구성되고, 상기 맨-머신 인터페이스 상의 상기 스크롤된 메뉴들의 양은 상기 각도의 크기에 의존함 -
    를 포함하는 지능형 디바이스.
  12. 제11항에 있어서, 상기 지능형 디바이스는 스마트 글래스인 지능형 디바이스.
  13. 지능형 상호작용 시스템으로서,
    수신되는 사용자 입력 조작에 따라 제어 정보를 생성하도록 구성되는 스마트 시계; 및
    제6항 내지 제12항 중 어느 한 항에 따른 지능형 디바이스 - 상기 스마트 시계는 상기 지능형 디바이스와 통신 접속 상태임 -
    를 포함하는 지능형 상호작용 시스템.
KR1020177028787A 2015-03-20 2015-03-20 지능형 상호작용 방법, 장비 및 시스템 Ceased KR20170124593A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/074743 WO2016149873A1 (zh) 2015-03-20 2015-03-20 智能交互方法、设备及系统

Publications (1)

Publication Number Publication Date
KR20170124593A true KR20170124593A (ko) 2017-11-10

Family

ID=56979100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177028787A Ceased KR20170124593A (ko) 2015-03-20 2015-03-20 지능형 상호작용 방법, 장비 및 시스템

Country Status (6)

Country Link
US (1) US20180253213A1 (ko)
EP (1) EP3264203A4 (ko)
JP (1) JP2018508909A (ko)
KR (1) KR20170124593A (ko)
CN (1) CN107209483A (ko)
WO (1) WO2016149873A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145614A1 (ko) 2020-01-14 2021-07-22 삼성전자 주식회사 외부 전자 장치를 제어하기 위한 전자 장치 및 그 방법
KR102894483B1 (ko) * 2020-01-14 2025-12-05 삼성전자주식회사 외부 전자 장치를 제어하기 위한 전자 장치 및 그 방법
JP7143364B2 (ja) * 2020-05-15 2022-09-28 株式会社Cygames 方法、プログラム、及び電子装置
CN113253480A (zh) * 2021-05-24 2021-08-13 昆山联滔电子有限公司 可摄像的眼镜
US12105926B2 (en) * 2022-07-28 2024-10-01 Ntt Docomo, Inc. XR manipulation feature with smart watch

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115594A (ja) * 1997-06-20 1999-01-22 Masanobu Kujirada ３次元ポインティング装置
KR20060065344A (ko) * 2004-12-10 2006-06-14 엘지전자 주식회사 카메라를 이용한 이동통신 단말기의 조그다이얼 수단 및방법
CN100383713C (zh) * 2004-12-31 2008-04-23 联想(北京)有限公司 一种便携式电子设备的信息输入装置及控制方法
WO2007107900A2 (en) * 2006-03-21 2007-09-27 Koninklijke Philips Electronics N.V. Indication of the condition of a user
CN101984396A (zh) * 2010-10-19 2011-03-09 中兴通讯股份有限公司 一种自动识别旋转手势的方法及移动终端
KR20120105818A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 이벤트 기반의 정보입력 장치 및 방법
US8194036B1 (en) * 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5576841B2 (ja) * 2011-09-09 2014-08-20 Ｋｄｄｉ株式会社 押圧による画像のズームが可能なユーザインタフェース装置、画像ズーム方法及びプログラム
EP2761362A2 (en) * 2011-09-26 2014-08-06 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP2013210963A (ja) * 2012-03-30 2013-10-10 Denso Corp 表示制御装置及びプログラム
CN103513908B (zh) * 2012-06-29 2017-03-29 国际商业机器公司 用于在触摸屏上控制光标的方法和装置
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US10528135B2 (en) * 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
CN103116411B (zh) * 2013-02-05 2015-12-09 上海飞智电子科技有限公司 定位指针位置的方法及系统
EP2998849A4 (en) * 2013-05-15 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
CN103309226B (zh) * 2013-06-09 2016-05-11 深圳先进技术研究院 配合智能眼镜使用的智能手表
CN103440097A (zh) * 2013-07-29 2013-12-11 康佳集团股份有限公司 一种基于压力控制触摸板鼠标滑动的方法及终端
EP2843507A1 (en) * 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
CN104317491B (zh) * 2014-09-30 2018-03-30 北京金山安全软件有限公司 显示内容的控制方法、装置和移动终端

Also Published As

Publication number Publication date
JP2018508909A (ja) 2018-03-29
WO2016149873A1 (zh) 2016-09-29
US20180253213A1 (en) 2018-09-06
CN107209483A (zh) 2017-09-26
EP3264203A4 (en) 2018-07-18
EP3264203A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
US10055064B2 (en) Controlling multiple devices with a wearable input device
US8482527B1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
EP2921947B1 (en) Device and method for controlling a display panel
US20180173483A1 (en) Display Method for Screen of Wearable Device and Wearable Device
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
KR20160032611A (ko) 터치 입력을 이용하여 전자 장치를 제어하는 방법 및 장치
EP3933545B1 (en) Method and apparatus for detecting a bending state of electronic device, and storage medium
CN110502162B (zh) 文件夹的创建方法及终端设备
JP2014035695A (ja) 表示制御装置、表示制御方法及びプログラム
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的系统和方法
CN112987923A (zh) 用于设备交互的方法、装置、设备和存储介质
KR20170124593A (ko) 지능형 상호작용 방법, 장비 및 시스템
CN114072750A (zh) 头戴式显示器系统以及该头戴式显示器系统所使用的头戴式显示器及其操作方法
KR101363661B1 (ko) 엣지 슬라이딩 ｕｉ가 적용된 스마트 리모트 컨트롤러
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
GB2517284A (en) Operation input device and input operation processing method
US20160291703A1 (en) Operating system, wearable device, and operation method
CN113282223A (zh) 显示方法、显示装置和电子设备
JP5756682B2 (ja) 情報処理装置
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method
CN111026303A (zh) 界面显示方法及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20171011

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171011

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181019

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190430

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20181019

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I