KR20200059509A - 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말 - Google Patents

시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말 Download PDF

Info

Publication number
KR20200059509A
KR20200059509A KR1020180144319A KR20180144319A KR20200059509A KR 20200059509 A KR20200059509 A KR 20200059509A KR 1020180144319 A KR1020180144319 A KR 1020180144319A KR 20180144319 A KR20180144319 A KR 20180144319A KR 20200059509 A KR20200059509 A KR 20200059509A
Authority
KR
South Korea
Prior art keywords
gaze
recognition
user
display
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180144319A
Other languages
English (en)
Other versions
KR102216020B1 (ko
Inventor
장수한
김유진
임승택
김상현
유현우
김형규
Original Assignee
네이버웹툰 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버웹툰 주식회사 filed Critical 네이버웹툰 주식회사
Priority to KR1020180144319A priority Critical patent/KR102216020B1/ko
Publication of KR20200059509A publication Critical patent/KR20200059509A/ko
Application granted granted Critical
Publication of KR102216020B1 publication Critical patent/KR102216020B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원은 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말에 관한 것으로서, 본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법은, 시선 인식 센서를 이용하여, 디스플레이부 상에 위치하는 사용자의 시선위치를 인식하는 시선인식단계; 및 상기 시선위치가 인식되면, 상기 디스플레이부의 설정영역 내에 상기 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시하는 인식표시단계를 포함할 수 있다.

Description

시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말 {Method for providing user interface using gaze recognition and user apparatus using the same}
본 출원은 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말에 관한 것으로서, 사용자의 시선인식여부와 인식된 시선위치를 표시할 수 있는 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말에 관한 것이다.
시선인식 기술은 눈동자의 움직임을 포착하여 사용자가 응시하는 지점을 추정하는 기술로, 정보 기술의 발전에 따라, 시선인식기술들은 다양한 분야에서 활용되고 있다. 예를들어, 광고 분야에서는 소비자들에게 광고 시안들을 보여주고 소비자들이 바라보는 위치에 대한 정보 및 바라보는 시간에 대한 정보를 수집함으로써, 사람들이 제품, 광고 모델, 회사 브랜드 중 어느 것을 많이 바라보는지 평가할 수 있다. 또한, 마케팅 분야에서는, 사람들에게 디바이스에 다수의 컨텐츠들을 제공하고, 사람들이 관심을 가지고 오래 바라보는 컨텐츠에 대해 사용자 선호도 점수를 높게 책정할 수 있다.
한편, 유무선 통신망을 이용한 정보 통신 기술은 소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 휴대단말은 그 기술의 발달로 인하여 단순한 어플리케이션을 수행하는 단계를 넘어서서 사용자들의 요구에 맞는 다양한 어플리케이션들이 설치되고 있다. 이로 인해 사용자는 휴대 단말을 통하여 음성 정보, 문자 정보, 화상 정보, MP3(MPEG(Moving Picture Experts Group) layer 3), 게임 등을 이용할 수 있다.
다만, 휴대단말은 화면 크기의 제약으로 사용자가 터치입력 등을 입력하는데 어려움이 발생할 수 있으며, 이를 해결하기 위하여 시선인식기술을 휴대단말에 대한 입력방식으로 활용하는 방안을 고려할 수 있다.
본 출원은 사용자의 시선인식여부와, 시선인식시 인식된 시선위치를 사용자에게 직관적으로 제공할 수 있는 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말을 제공하고자 한다.
본 출원은 사용자의 시선위치를 다양한 실시예로 표시할 수 있는 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말을 제공하고자 한다.
본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법은, 시선 인식 센서를 이용하여, 디스플레이부 상에 위치하는 사용자의 시선위치를 인식하는 시선인식단계; 및 상기 시선위치가 인식되면, 상기 디스플레이부의 설정영역 내에 상기 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시하는 인식표시단계를 포함할 수 있다.
본 발명의 일 실시예에 의한 사용자 단말은, 디스플레이부; 상기 디스플레이부 상에 위치하는 사용자의 시선위치를 인식하는 시선 인식 센서; 및 상기 시선위치가 인식되면, 상기 디스플레이부의 설정영역 내에 상기 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시하도록 제어하는 제어부를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말에 의하면, 사용자 단말이 현재 사용자의 시선인식을 수행하는지 여부를 직관적으로 표시할 수 있다. 따라서, 사용자는 시선인식여부를 용이하게 확인할 수 있으며, 이를 고려하여 사용자 단말을 효율적으로 제어할 수 있다.
본 발명의 일 실시예에 의한 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말에 의하면, 사용자 단말이 인식한 시선위치를 사용자에게 다양한 실시예로 표시할 수 있다. 따라서, 사용자는 인식 중인 자신의 시선위치를 직관적으로 확인할 수 있으며, 사용자 단말에 시선인식을 활용한 다양한 입력을 용이하게 인가할 수 있다.
다만, 본 발명의 실시예들에 따른 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 시선인식 인터페이스 제공 시스템을 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 사용자 단말을 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 의한 사용자 단말의 시선인식을 나타내는 개략도이다.
도4 내지 도8은 본 발명의 일 실시예에 의한 시선인식 인터페이스를 나타내는 개략도이다.
도9는 본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도1은 본 발명의 일 실시예에 의한 시선인식 인터페이스 제공 시스템을 나타내는 개략도이다.
도1을 참조하면 본 발명의 일 실시예에 의한 시선인식 인터페이스 제공 시스템은, 사용자 단말(100) 및 서비스 서버(200)를 포함할 수 있다.
이하 도1을 참조하여 본 발명의 일 실시예에 의한 시선인식 인터페이스 제공 시스템을 설명한다.
사용자 단말(100)은 다양한 종류의 어플리케이션들을 실행할 수 있으며, 실행 중인 어플리케이션을 시각이나 청각 등으로 표시하여 사용자에게 제공할 수 있다. 사용자 단말(100)은 어플리케이션을 시각적으로 표시하기 위한 디스플레이부를 포함할 수 있으며, 사용자의 입력을 인가받는 입력부, 통신부, 적어도 하나의 프로그램이 저장된 메모리 및 프로세서를 포함할 수 있다.
사용자 단말(100)은 스마트폰, 태블릿 PC 등의 이동 단말기일 수 있으며, 실시예에 따라서는 데스크탑 등의 고정형 장치도 포함될 수 있다. 여기서, 사용자 단말(100)에는 휴대폰, 스마트 폰(Smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
사용자 단말(100)은 앱 스토어(App store) 또는 플레이 스토어(play store) 등에 접속하여, 다양한 어플리케이션들을 다운로드받아 설치할 수 있다. 실시예에 따라서는 서비스 서버(200) 또는 타 기기(미도시)와의 유선 또는 무선 통신을 통하여 다운로드받는 것도 가능하다.
여기서, 어플리케이션은 온라인에서 제공되는 웹툰이나 게임, 뉴스, 이미지, 오디오, 동영상 등의 컨텐츠를 출력하는 웹 브라우저(web browser) 어플리케이션이나, 각각의 컨텐츠 제공을 위한 전용의 어플리케이션일 수 있다.
실시예에 따라서는, 사용자 단말(100)이 사용자의 시선위치를 인식하는 기능을 제공할 수 있으며, 어플리케이션은 시선위치를 인식하는 기능을 이용하여 다양한 사용자 인터페이스를 제공할 수 있다. 예를들어, 사용자의 시선위치를 인식하여 클릭(click) 등의 동작을 수행하거나, 웹툰이나 전자책 컨텐츠 등을 제공하는 어플리케이션의 경우, 사용자의 시선인식을 통하여 자연스러운 페이지 스크롤, 페이지 넘김 동작 등을 수행할 수 있다. 이 경우, 사용자는 다른 동작 등을 취하는 등 방해받지 않고 컨텐츠에 집중할 수 있으며, 기존의 터치입력 등을 대체하는 새로운 사용자 경험을 제공하는 것이 가능하다.
한편, 사용자 단말(100)은 통신 네트워크를 통하여 서비스 서버(10)와 연결될 수 있다. 여기서, 통신 네트워크는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)을 포함할 수도 있다. 다만, 본 발명에 따른 통신 네트워크는 상기 열거된 네트워크에 국한되지 않으며, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유선 또는 무선 텔레비전 네트워크 등을 포함할 수 있다.
서비스 서버(200)는 어플리케이션을 통하여 사용자 단말(100)과 연결될 수 있으며, 사용자 단말(100)의 요청에 대응하여 웹툰이나 게임, 뉴스, 이미지, 오디오, 동영상 등 다양한 컨텐츠들을 제공할 수 있다.
도2는 본 발명의 일 실시예에 의한 사용자 단말을 나타내는 블록도이다.
도2를 참조하면 본 발명의 일 실시예에 의한 사용자 단말(100)은 디스플레이부(110), 시선인식센서(120) 및 제어부(130)를 포함할 수 있다.
이하, 도2를 참조하여 본 발명의 일 실시예에 의한 사용자 단말을 설명한다.
디스플레이부(110)는 사용자 단말(100) 내에서 실행 중인 어플리케이션 또는 컨텐츠들을 표시할 수 있으며, 사용자는 디스플레이부(110)를 통하여 어플리케이션 또는 컨텐츠를 시각적으로 확인할 수 있다. 여기서, 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플랙시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등으로 구현된 것일 수 있다. 다만, 본 발명의 내용은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 디스플레이부(110)를 구현할 수 있다.
실시예에 따라서는, 디스플레이부(110)에 터치패널(미도시)이 포함될 수 있으며, 터치패널은 전자펜 또는 사용자의 신체 일부를 이용한 터치, 제스쳐 등을 입력으로 수신할 수 있다. 터치패널은 정전식, 감압식, 적외선 방식 등으로 구현할 수 있으며, 실시예에 따라서는 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 더 포함하는 것도 가능하다. 압력센서는 터치패널과 일체형으로 구현되거나, 터치 패널과는 별도의 하나 이상의 센서로 구현될 수 있다.
시선인식센서(120)는 디스플레이부(110) 상에 위치하는 사용자의 시선위치를 인식할 수 있다. 도3에 도시한 바와 같이, 시선인식센서(120)는 사용자의 눈동자를 포함하는 영상을 획득할 수 있으며, 이후 영상으로부터 사용자의 눈동자 내에 외부 광원이 맺히는 위치를 판별할 수 있다. 이 경우, 외부 광원의 위치와 눈동자 내에 외부 광원이 맺히는 위치 사이의 상관관계를 이용하여, 사용자의 동공 중심의 위치를 파악할 수 있다. 여기서, 동공 중심의 연장선이 디스플레이부(110)와 만나는 위치가 사용자의 시선위치에 해당하므로, 사용자의 동공 중심의 위치로부터 사용자의 시선위치를 인식하는 것이 가능하다. 시선인식센서(120)는 일반 카메라 또는 적외선 카메라 등으로 구현할 수 있으나, 이에 한정되는 것은 아니며, 실시예에 따라 다양한 종류의 센서나 알고리즘 등으로 구현할 수 있다.
시선인식센서(120)는 제어부(130)에 의하여 동작여부가 결정될 수 있으며, 시선인식센서(120)에서 인식한 시선위치는 제어부(130)로 제공될 수 있다. 실시예에 따라서는, 시선인식센서(120)가 사용자의 눈동자를 촬영한 영상 등 측정정보를 제어부로 전송하면, 제어부(130)에서 측정정보를 이용하여 직접 시선위치를 연산하는 것도 가능하다.
제어부(130)는 사용자 단말(100)의 전반적인 동작을 제어할 수 있으며, 실시예에 따라서는 시선인식센서(120)에서 인식한 사용자의 시선위치를 이용하여, 다양한 시선인식 인터페이스를 제공할 수 있다.
구체적으로, 제어부(130)는 디스플레이부(110)의 설정영역 내에 시선위치가 인식 중임을 알리는 인식표시아이콘을 표시하도록 제어할 수 있다. 예를들어, 사용자가 스마트폰 등의 사용자 단말(100)을 사용하는 경우, 사용자 단말(100)은 사용자가 손가락을 이용하여 인가하는 터치입력과, 사용자의 시선인식을 통한 시선입력을 동시에 입력받을 수 있다. 다만, 사용자는 현재 시선인식 중임을 인지하지 못할 수 있으며, 이 경우 터치입력시 사용자의 손가락이 디스플레이부(110)를 가리는 등 시선인식이 정확하게 수행되지 않을 수 있다. 이를 방지하기 위하여, 제어부(130)는 디스플레이부(110) 상에 인식표시아이콘을 표시함으로써, 사용자가 현재 시선위치가 인식 중임을 용이하게 확인하도록 할 수 있다.
즉, 도4에 도시한 바와 같이, 제어부(130)는 설정영역(a) 내에 인식표시아이콘(b)을 표시하여, 현재 사용자 단말(100)이 시선인식 중임을 알릴 수 있다. 여기서, 설정영역(a)은 도4(a)에 도시한 바와 같이, 디스플레이부(110)의 상단에 표시되는 상태표시바(status bar)일 수 있으며, 인식표시아이콘(b)은 상태표시바 내에 위치할 수 있다. 또한, 도4(b)에 도시한 바와 같이, 설정영역(a)을 상태표시바 이외에 디스플레이부(110) 내의 임의의 영역에 설정하고, 설정영역(a) 내에 인식표시아이콘(b)을 표시하는 것도 가능하다.
한편, 시선인식센서(120)에 의한 시선인식은 사용자 단말(100)과 사용자의 눈동자 사이에 위치하는 사용자의 손, 팔 등의 신체부위나 다른 물체 등에 의하여 방해받을 수 있다. 이 경우 시선인식센서(120)는 시선인식에 실패하여 시선인식을 중단할 수 있다. 또는, 사용자가 스스로 시선인식 기능을 중단하고자 할 수 있다. 이와 같이, 시선위치의 인식에 실패하거나, 사용자로부터 시선인식중단요청을 입력받으면, 제어부(130)는 설정영역(a)에서 인식표시아이콘(b)을 제거할 수 있다. 즉, 사용자는 설정영역(a) 내의 인식표시아이콘(b) 유무를 확인하는 방식으로, 현재 사용자 단말(100)이 시선인식을 수행하고 있는지를 명확하게 인식할 수 있다.
추가적으로, 사용자로부터 시선인식요청을 수신하는 경우, 제어부(130)는 시선인식요청에 대응하는 제1 애니메이션을 디스플레이부(110) 상에 출력할 수 있다. 예를들어, 도5(a)에 도시한 바와 같이, 제1 애니메이션(c1)은 5, 4, 3, 2, 1, 0을 순차적으로 표시하는 카운트다운일 수 있으며, 제어부(130)는 카운트다운이 진행되는 동안 사용자에 대한 시선인식을 수행할 수 있다. 즉, 제어부(130)는 제1 애니메이션(c1)이 출력되는 동안 사용자의 시선을 추적하여 시선위치를 인식할 수 있다. 여기서, 제1 애니메이션(c1)은 카운트다운 이외에 진행상태표시바(progressive bar)가 순차적으로 채워지는 애니메이션 등 다양한 방법으로 구현할 수 있다.
또한, 실시예에 따라서는, 도5(b)에 도시한 바와 같이, 제1 애니메이션에 캐릭터 이미지(c2) 등 사용자의 시선을 끌수있는 요소를 더 포함하는 것도 가능하다. 즉, 제1 애니메이션을 이용하여 디스플레이부(110)의 특정지점에 사용자의 시선위치가 위치하도록 유도할 수 있다. 여기서, 특정지점은 시선인식센서(120)가 사용자의 시선위치를 인식하기 유리한 것으로 미리 설정된 위치에 해당한다. 예를들어, 특정지점은 디스플레이부(110)의 전체 영역 중에서 중심점이거나, 디스플레이부(110)에 포함된 꼭지점 중 어느 하나일 수 있다. 제어부(130)는 특정지점 상에 캐릭터나 기호, 문자 등을 표시하거나, 특정지점을 점멸하도록 하는 등의 방식으로 사용자의 시선을 유도할 수 있으며, 이를 통하여 시선인식센서(120)가 용이하게 사용자의 시선위치를 인식하도록 할 수 있다.
이후, 사용자의 시선위치가 인식되면, 제어부(130)는 사용자의 시선위치에 대응하는 위치를 디스플레이부(110) 상에 표시할 수 있다. 즉, 사용자가 자신의 시선위치가 디스플레이부(110) 상의 어디에 위치하는지를 직관적으로 인식할 수 있도록 디스플레이부(110)에 표시할 수 있다. 여기서, 제어부(130)는 다양한 실시예를 이용하여 사용자의 시선위치를 표시할 수 있다.
도6(a)를 참조하면, 제어부(130)는 인식된 시선위치에 대응하여, 디스플레이부(110) 상에 시선위치아이콘(d)를 표시하도록 할 수 있다. 즉, 사용자는 디스플레이부(110) 상에 위치하는 시선위치아이콘(d)을 이용하여 자신의 시선위치를 명확하게 인식할 수 있다. 이때, 제어부(130)는 시선위치아이콘(d)을 반투명하게 표시하여, 사용자가 디스플레이부(110)에 나타난 컨텐츠를 감상하는데 지장이 없도록 할 수 있다. 제어부(130)는 사용자의 시선위치의 변경에 따라, 시선위치아이콘(d)을 이동시킬 수 있다.
또한, 도6(b)에 도시한 바와 같이, 사용자의 시선위치 이동을 나타내는 제2 애니메이션(e)을 디스플레이부 상에 표시하는 방식으로 시선위치를 나타낼 수 있다. 예를들어, 시선위치가 이동하는 경로에 대응하여 물결이 치는 애니메이션이나 파동이 발생하는 애니메이션, 시선위치아이콘(d)의 잔상을 표시하는 애니메이션 등을 이용하여 시선위치 이동을 나타낼 수 있다. 여기서는, 시선위치아이콘(d)을 표시하는 경우를 예시하고 있으나, 실시예에 따라서는 시선위치아이콘(d)을 표시하지 않고 제2 애니메이션(e)만으로 사용자의 시선위치를 표시하는 것도 가능하다.
구체적으로, 제어부(130)는 제1 레이어와 제2 레이어를 중첩하여 표시하는 방식으로 시선위치를 나타낼 수 있다. 즉, 제1 레이어 상에는 실행 중인 어플리케이션 또는 컨텐츠를 표시하고, 제2 레이어 상에는 사용자의 시선위치 변경에 대응하는 제2 애니메이션(e)을 표시할 수 있다. 이후, 제1 레이어와 제2 레이어를 중첩하게 되면, 디스플레이부(110) 상에는 어플리케이션 또는 컨텐츠 상에서 이동하는 사용자의 시선위치가 제2 애니메이션으로 표시될 수 있다.
이외에도, 제어부(130)는 사용자의 시선위치에 근접한 객체들을 진동시키는 방식으로 사용자의 시선위치를 표시할 수 있다. 즉, 도7(a)에 도시한 바와 같이, 시선위치(f)가 디스플레이부(110)에 표시된 객체(g)들로부터 설정범위 내에 위치하면, 객체(g)들을 진동시켜 시선위치를 표시할 수 있다. 도7(a)에서는 시선위치(f)를 시선위치아이콘으로 표시하였으나 이는 설명의 편의를 위한 것으로서, 디스플레이부(110) 상에 시선위치아이콘을 표시하지 않고 객체들의 진동만으로 시선위치를 표시하는 것도 가능하다.
또한, 실시예에 따라서는, 시선위치(f)가 객체(g)에 가까워질수록 객체(g)의 진동주기를 짧게 나타낼 수 있다. 즉, 사용자는 객체(g)의 진동주기를 통하여 자신의 시선위치(f)를 확인할 수 있다. 여기서, 제어부(130)는 사용자가 특정 객체(g)에 시선위치를 일정시간 이상 위치하는 등의 경우에는 해당 객체(g)를 선택한 것으로 처리할 수 있으며, 해당 객체(g)에 연결된 페이지로 이동하는 등 대응하는 동작을 수행할 수 있다.
한편, 객체들이 복수개 위치하는 경우에는, 시선위치(f)와 가까운 객체(g)의 진동주기를 상대적으로 더 짧게 표시할 수 있다. 예를들어, 시선위치(f)와 객체(g)들 사이의 거리에 비례하여 진동주기를 설정하거나, 실시예에 따라서는, 시선위치(f)로부터 설정거리 이내에 위치하는 객체(g)들에 대하여는 진동주기에 가중치를 부여하여 더 빨리 진동하도록 할 수 있다. 나아가, 시선위치(f)와의 거리에 따라 복수의 단계로 구분한 후, 각각의 단계별로 상이한 진동주기를 설정하는 것도 가능하다. 따라서, 사용자는 진동주기가 빠른 객체(g) 주위에 자신의 시선위치가 위치함을 용이하게 확인할 수 있으며, 시선위치의 이동 등을 파악할 수 있다.
도8에 도시한 바와 같이, 두개의 객체(g1, g2)가 디스플레이부(110) 상에 표시된 경우, 제어부(130)는 두개의 객체(g1, g2) 중에서 상대적으로 시선위치(f)와 가까운 쪽의 객체가 더 빠르게 진동하도록 할 수 있다. 여기서, 시선위치(f)와의 거리는 제1 객체(g1)와 제2 객체(g2) 사이에 형성된 가상의 중심선을 기준할 수 있다.
따라서, 도8(a)와 같이, 사용자의 시선위치(f)가 제1 객체(g1)에 가까운 경우에는, 제1 객체(g1)가 빠르게 진동하고 제2 객체(g2)는 상대적으로 적게 진동하도록 할 수 있다. 또한, 도8(b)와 같이 사용자의 시선위치(f)가 중심선 상에 위치하는 경우에는, 제1 객체(g1) 및 제2 객체(g2) 모두 상대적으로 적게 진동할 수 있다. 반면에, 도8(c)와 같이 사용자의 시선위치(f)가 중심선을 넘는경우 제2 객체(g2)가 빠르게 진동하고 제1 객체(g1)는 상대적으로 적게 진동하도록 할 수 있다. 이를 통하여, 사용자가 자신의 시선위치(f)를 명확하게 파악하는 것이 가능하다.
추가적으로, 제어부(130)는 시선위치의 진행방향을 고려하여 객체(g)들을 진동시킬 수 있다. 즉, 도7(b)에 도시한 바와 같이, 시선위치의 진행방향을 기준으로 관심영역(h)을 설정할 수 있으며, 관심영역(h) 내에 포함된 객체들에 한하여 진동하도록 제어할 수 있다. 시선위치(f)를 기준으로 일정한 범위 내에 위치하는 객체(g)를 진동하도록 하는 경우에는, 시선위치(f) 주위의 전방위에 위치하는 객체(g)들이 모두 진동할 수 있으므로, 시선위치(f)의 정확한 위치를 확인하기 어려울 수 있다. 따라서, 시선위치(f)의 진행방향을 기준으로 관심영역(h)을 설정한 후, 관심영역(h) 내에 위치하는 객체(g)들에 한하여 진동하도록 표시할 수 있다.
도9는 본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법을 나타내는 순서도이다.
도9를 참조하면 본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법은, 시선인식단계(S110), 인식표시단계(S120), 시선표시단계(S130) 및 인식중단단계(S140)를 포함할 수 있다.
이하 도9를 참조하여 본 발명의 일 실시예에 의한 사용자 단말의 시선인식 인터페이스 제공방법을 설명한다.
시선인식단계(S110)에서는, 시선 인식 센서를 이용하여 사용자 단말의 디스플레이부 상에 위치하는 사용자의 시선위치를 인식할 수 있다. 시선인식센서는 일반 카메라 또는 적외선 카메라 등으로 구현할 수 있으나, 이에 한정되는 것은 아니며, 실시예에 따라 다양한 종류의 센서나 알고리즘 등으로 구현할 수 있다. 사용자 단말은 인식된 시선위치를 이용하여, 클릭(click) 등의 동작을 수행하거나, 웹툰이나 전자책 컨텐츠 등의 경우 페이지 스크롤, 페이지 넘김 동작 등을 수행할 수 있다.
인식표시단계(S120)에서는 시선위치가 인식되면, 디스플레이부의 설정영역 내에 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시할 수 있다. 사용자는 사용자 단말이 현재 시선인식 중임을 인지하지 못할 수 있으며, 이 경우 사용자의 신체 일부나 다른 물체 등이 디스플레이부를 가려 시선인식이 정확하게 수행되지 않을 수 있다. 이를 방지하기 위하여, 사용자 단말은 디스플레이부 상에 인식표시아이콘을 표시하여, 사용자에게 현재 시선위치가 인식 중임을 나타낼 수 있다. 즉, 설정영역 내에 인식표시아이콘을 표시하여, 현재 사용자 단말이 시선인식 중임을 알릴 수 있다. 여기서, 설정영역은 디스플레이부의 상단에 표시되는 상태표시바(status bar)이거나, 상태표시바 이외에 디스플레이부내의 임의의 영역에 설정할 수 있다.
추가적으로, 사용자로부터 시선인식요청을 수신하는 경우, 시선인식요청에 대응하는 제1 애니메이션을 디스플레이부 상에 출력할 수 있다. 즉, 제1 애니메이션이 출력되는 동안 사용자의 시선을 추적하여 시선위치를 인식할 수 있다. 여기서, 제1 애니메이션은 카운트다운이나 진행상태표시바(progressive bar) 등 다양한 방법으로 구현할 수 있다.
또한, 실시예에 따라서는, 제1 애니메이션에 캐릭터 이미지 등 사용자의 시선을 끌수있는 요소를 더 포함하는 것도 가능하다. 즉, 제1 애니메이션을 이용하여 디스플레이부의 특정지점에 사용자의 시선위치가 위치하도록 유도할 수 있다. 여기서, 특정지점은 시선인식센서가 사용자의 시선위치를 인식하기 유리한 것으로 미리 설정된 위치일 수 있다.
시선표시단계(S130)에서는 인식된 시선위치에 대응하는 위치를 디스플레이부 상에 표시할 수 있다. 즉, 사용자가 자신의 시선위치가 디스플레이부 상의 어디에 위치하는지를 직관적으로 인식할 수 있도록 디스플레이부에 표시할 수 있다. 여기서, 사용자 단말은 다양한 실시예를 활용하여 사용자의 시선위치를 표시할 수 있다.
먼저, 사용자 단말은 인식된 시선위치에 대응하여, 디스플레이부 상에 시선위치아이콘을 표시할 수 있다. 즉, 시선위치아이콘을 이용하여 디스플레이부 상에 시선위치를 명확하게 나타낼 수 있다. 이때, 시선위치아이콘을 반투명할 수 있으며, 사용자의 시선위치의 변경에 따라 이동할 수 있다.
또한, 사용자 단말은 사용자의 시선위치 이동을 나타내는 제2 애니메이션을 디스플레이부 상에 표시하는 방식으로 시선위치를 나타낼 수 있다. 예를들어, 시선위치가 이동하는 경로에 대응하여 물결이 치는 애니메이션이나 파동이 발생하는 애니메이션, 시선위치아이콘의 잔상을 표시하는 애니메이션 등을 이용하여 시선위치 이동을 나타낼 수 있다. 이 경우, 사용자 단말은 제1 레이어와 제2 레이어를 중첩하여 표시하는 방식으로 시선위치를 나타낼 수 있다. 즉, 제1 레이어 상에는 실행 중인 어플리케이션 또는 컨텐츠를 표시하고, 제2 레이어 상에는 사용자의 시선위치 변경에 대응하는 제2 애니메이션을 표시할 수 있다. 이후, 제1 레이어와 제2 레이어를 중첩하여, 디스플레이부 상에는 어플리케이션 또는 컨텐츠 상에서 이동하는 사용자의 시선위치가 제2 애니메이션으로 표시되도록 할 수 있다.
이외에도, 사용자 단말은 사용자의 시선위치에 근접한 객체들을 진동시키는 방식으로 사용자의 시선위치를 표시할 수 있다. 즉, 시선위치가 디스플레이부에 표시된 객체들로부터 설정범위 내에 위치하면, 객체들을 진동시켜 시선위치를 표시할 수 있다. 이 경우, 시선위치가 객체에 가까워질수록 객체의 진동주기를 짧게 나타낼 수 있으며, 사용자는 객체의 진동주기를 통하여 자신의 시선위치를 확인할 수 있다.
객체들이 복수개 위치하는 경우에는, 사용자 단말이 시선위치와 가까운 객체의 진동주기를 상대적으로 더 짧게 표시할 수 있다. 즉, 시선위치와 객체들 사이의 거리에 비례하여 진동주기를 설정하거나, 시선위치로부터 설정거리 이내에 위치하는 객체들에 대하여는 진동주기에 가중치를 부여하여 더 빨리 진동하도록 할 수 있다. 나아가, 시선위치와의 거리에 따라 복수의 단계로 구분한 후, 각각의 단계별로 상이한 진동주기를 설정하는 것도 가능하다.
추가적으로, 사용자단말은 시선위치의 진행방향을 고려하여 객체들을 진동시키는 것도 가능하다. 즉, 시선위치의 진행방향을 기준으로 관심영역을 설정하고, 관심영역 내에 포함된 객체들 중에서 시선위치와 근접한 객체들을 진동시킬 수 있다.
인식중단단계(S140)에서는, 시선위치의 인식에 실패하거나, 사용자로부터 시선인식중단요청을 입력받으면, 설정영역에서 인식표시아이콘을 제거할 수 있다. 시선인식센서에 의한 시선인식은 사용자 단말과 사용자의 눈동자 사이에 위치하는 사용자의 손, 팔 등의 신체부위나 다른 물체 등에 의하여 방해받을 수 있다. 이 경우 시선인식센서는 시선인식에 실패하여 시선인식을 중단할 수 있다. 또한, 사용자가 스스로 시선인식 기능을 중단하고자 하는 경우가 있을 수 있다.
이와 같이, 시선위치의 인식에 실패하거나, 사용자로부터 시선인식중단요청을 입력받으면, 사용자 단말은 설정영역에서 인식표시아이콘을 제거하여, 시선인식이 중단되었음을 표시할 수 있다. 즉, 사용자는 설정영역 내의 인식표시아이콘 유무를 확인하여, 현재 사용자 단말이 시선인식을 수행하고 있는지를 인식할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 사용자 단말 110: 디스플레이부
120: 시선인식센서 130: 제어부
200: 서비스 서버
S110: 시선인식단계 S120: 인식표시단계
S130: 시선표시단계 S140: 인식중단단계

Claims (16)

  1. 사용자 단말의 시선인식 인터페이스 제공 방법에 있어서,
    시선 인식 센서를 이용하여, 디스플레이부 상에 위치하는 사용자의 시선위치를 인식하는 시선인식단계; 및
    상기 시선위치가 인식되면, 상기 디스플레이부의 설정영역 내에 상기 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시하는 인식표시단계를 포함하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  2. 제1항에 있어서, 상기 설정영역은
    상기 디스플레이부의 상단에 표시되는 상태표시바(status bar)인 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  3. 제1항에 있어서,
    상기 시선위치의 인식에 실패하거나, 사용자로부터 시선인식중단요청을 입력받으면, 상기 설정영역에서 상기 인식표시아이콘을 제거하는 인식중단단계를 더 포함하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  4. 제1항에 있어서, 상기 시선인식단계는
    사용자로부터 시선인식요청을 수신하면, 상기 시선인식요청에 대응하는 제1 애니메이션을 상기 디스플레이부 상에 출력하고, 상기 제1 애니메이션이 출력되는 동안 사용자의 시선을 추적하여 상기 시선위치를 인식하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  5. 제4항에 있어서, 상기 시선인식단계는
    상기 제1 애니메이션을 이용하여, 상기 시선위치가 상기 디스플레이부의 특정지점에 위치하도록 유도하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  6. 제1항에 있어서,
    상기 인식된 시선위치에 대응하는 위치를 상기 디스플레이부 상에 표시하는 시선표시단계를 더 포함하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  7. 제6항에 있어서, 상기 시선표시단계는
    상기 인식된 시선위치에 대응하여, 상기 디스플레이부 상에 시선위치아이콘을 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  8. 제6항에 있어서, 상기 시선표시단계는
    상기 시선위치가 이동하면, 상기 시선위치의 이동을 나타내는 제2 애니메이션을 상기 디스플레이부 상에 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  9. 제8항에 있어서, 상기 시선표시단계는
    사용자가 선택한 컨텐츠를 포함하는 제1 레이어 상에, 상기 시선위치의 이동에 대응하는 물결이나 파동을 나타내는 제2 애니메이션을 포함하는 제2 레이어를 중첩하여 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  10. 제6항에 있어서, 상기 시선표시단계는
    상기 시선위치가 상기 디스플레이부에 표시된 객체들로부터 설정범위 내에 위치하면, 상기 객체들을 진동시켜 상기 시선위치를 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  11. 제10항에 있어서, 상기 시선표시단계는
    상기 시선위치가 상기 객체에 가까워질수록 상기 객체의 진동주기를 짧게 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  12. 제10항에 있어서, 상기 시선표시단계는
    상기 객체들이 복수개 위치하는 경우, 상기 시선위치와 가까운 객체의 진동주기를 상대적으로 더 짧게 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  13. 제12항에 있어서, 상기 시선표시단계는
    상기 시선위치와 상기 객체들 사이의 거리에 비례하여 상기 진동주기를 설정하고, 상기 시선위치로부터 설정거리 이내에 위치하는 객체에 대하여는 상기 진동주기에 가중치를 부여하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  14. 제10항에 있어서, 상기 시선표시단계는
    상기 시선위치의 진행방향을 기준으로 관심영역을 설정하고, 상기 관심영역 내에 위치하는 상기 객체를 상기 시선위치에 대응하여 진동하도록 표시하는 것을 특징으로 하는 사용자 단말의 시선인식 인터페이스 제공 방법.
  15. 하드웨어와 결합되어, 제1항 내지 제14항 중 어느 한 항의 시선인식 인터페이스 제공 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 디스플레이부;
    상기 디스플레이부 상에 위치하는 사용자의 시선위치를 인식하는 시선 인식 센서; 및
    상기 시선위치가 인식되면, 상기 디스플레이부의 설정영역 내에 상기 시선위치가 인식 중임을 나타내는 인식표시아이콘을 표시하도록 제어하는 제어부를 포함하는 사용자 단말.
KR1020180144319A 2018-11-21 2018-11-21 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말 Active KR102216020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180144319A KR102216020B1 (ko) 2018-11-21 2018-11-21 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144319A KR102216020B1 (ko) 2018-11-21 2018-11-21 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말

Publications (2)

Publication Number Publication Date
KR20200059509A true KR20200059509A (ko) 2020-05-29
KR102216020B1 KR102216020B1 (ko) 2021-02-17

Family

ID=70911724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144319A Active KR102216020B1 (ko) 2018-11-21 2018-11-21 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말

Country Status (1)

Country Link
KR (1) KR102216020B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154417A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 감정 상태를 식별하는 전자 장치 및 그 운용 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506037B1 (ko) 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130123064A (ko) * 2012-05-02 2013-11-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
KR20160109443A (ko) * 2015-03-11 2016-09-21 주식회사 비주얼캠프 시선 추적을 이용한 디스플레이 장치 및 방법
JP2016537067A (ja) * 2013-10-17 2016-12-01 チルドレンズ ヘルスケア オブ アトランタ， インコーポレイテッド 乳児及び子供の発達をアイ・トラッキングによって評価するための方法
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130123064A (ko) * 2012-05-02 2013-11-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
JP2016537067A (ja) * 2013-10-17 2016-12-01 チルドレンズ ヘルスケア オブ アトランタ， インコーポレイテッド 乳児及び子供の発達をアイ・トラッキングによって評価するための方法
KR20160109443A (ko) * 2015-03-11 2016-09-21 주식회사 비주얼캠프 시선 추적을 이용한 디스플레이 장치 및 방법
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154417A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 감정 상태를 식별하는 전자 장치 및 그 운용 방법

Also Published As

Publication number Publication date
KR102216020B1 (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
KR102270681B1 (ko) 벤딩 가능한 사용자 단말 장치 및 이의 디스플레이 방법
US20220107687A1 (en) Touch free interface for augmented reality systems
US11854148B2 (en) Virtual content display opportunity in mixed reality
US20200379560A1 (en) Implicitly adaptive eye-tracking user interface
KR102222336B1 (ko) 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법
JP5618858B2 (ja) 表示装置、通信装置及びプログラム
JP6039385B2 (ja) モバイル端末の動きに基づいて広告を提供するシステム及び方法
US9852550B2 (en) System and method of markerless injection of ads in AR
US9087056B2 (en) System and method for providing augmented content
US20170199631A1 (en) Devices, Methods, and Graphical User Interfaces for Enabling Display Management of Participant Devices
US20160357221A1 (en) User terminal apparatus and method of controlling the same
WO2012116069A1 (en) Multi-display type device interactions
KR20160131103A (ko) 메타데이터 기반 사진 및/또는 비디오 애니메이션화
US20140316884A1 (en) Interactive advertising system
CN111279300A (zh) 在多显示器环境中提供丰富的电子阅读体验
CN107609146B (zh) 信息展示方法、装置、终端及服务器
KR102422793B1 (ko) 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
KR102216020B1 (ko) 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
CN115562779A (zh) 媒体信息处理方法、装置、设备及存储介质
JP5997328B2 (ja) プログラム及び端末装置
JP5805289B2 (ja) 装置及び配信方法
CN108292193A (zh) 动画数字墨水
JP2020013381A (ja) 情報処理プログラム、情報処理方法、端末装置及び解析装置
US20170083952A1 (en) System and method of markerless injection of 3d ads in ar and user interaction
KR20170139839A (ko) 디바이스 및 그의 동영상 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6