KR20140002009A - 입력 장치, 입력 방법 및 기록 매체 - Google Patents

입력 장치, 입력 방법 및 기록 매체 Download PDF

Info

Publication number
KR20140002009A
KR20140002009A KR1020137028074A KR20137028074A KR20140002009A KR 20140002009 A KR20140002009 A KR 20140002009A KR 1020137028074 A KR1020137028074 A KR 1020137028074A KR 20137028074 A KR20137028074 A KR 20137028074A KR 20140002009 A KR20140002009 A KR 20140002009A
Authority
KR
South Korea
Prior art keywords
camera
unit
hand
display
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020137028074A
Other languages
English (en)
Other versions
KR101514170B1 (ko
Inventor
준이찌 다마이
Original Assignee
엔이씨 시스템 테크놀로지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔이씨 시스템 테크놀로지 가부시키가이샤 filed Critical 엔이씨 시스템 테크놀로지 가부시키가이샤
Publication of KR20140002009A publication Critical patent/KR20140002009A/ko
Application granted granted Critical
Publication of KR101514170B1 publication Critical patent/KR101514170B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

취득부(1)는, 표시부(130)와 카메라부(120)에 의해 촬상되는 유저의 거리를 나타내는 정보를 취득한다. 표시 제어부(2)는, 취득부(1)에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시부(130)의 표시 화면 내에 표시한다. 판별부(3)는, 카메라부(120)에 의해 촬상된 유저의 움직임 및 형상 중 적어도 한쪽에 기초하여, 유저로부터의 조작 명령을 판별한다. 실행부(4)는, 판별부(3)에 의해 판별된 조작 명령에 따른 처리를 실행한다.

Description

입력 장치, 입력 방법 및 기록 매체{INPUT DEVICE, INPUT METHOD AND RECORDING MEDIUM}
본 발명은, 입력 장치, 입력 방법 및 기록 매체에 관한 것이다.
유저의 손의 움직임에 기초하여 유저로부터의 조작 명령을 판별하는, 소위 핸드 제스처 장치가 알려져 있다. 예를 들면, 특허 문헌 1에는, 텔레비전에 표시된 조작 화면 중에 카메라에 의해 촬상한 유저의 화상을 합성하고, 조작 화면 중의 피사체의 움직임에 의해 메뉴 항목 등의 선택을 가능하게 하는 입력 장치가 개시되어 있다.
일본 특허 출원 공개 제2010-257093호 공보
특허 문헌 1의 입력 장치의 경우, 조작 화면의 크기가 항상 일정하기 때문에, 유저가 텔레비전으로부터 이격하여 조작하자고 하였을 때에, 조작 화면을 보기 어려워지므로, 조작하기 어렵다고 하는 문제가 있다.
본 발명은, 상기 실정을 감안하여 이루어진 것이며, 화면으로부터 이격하여 조작하는 경우라도 용이하게 조작할 수 있는 입력 장치, 입력 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따른 입력 장치는,
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득부와,
상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부와,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
를 구비한다.
본 발명의 제2 관점에 따른 입력 방법은,
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득 스텝과,
상기 취득 스텝에서 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어 스텝과,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별 스텝
을 포함한다.
본 발명의 제3 관점에 따른 기록 매체에 기록된 프로그램은,
컴퓨터를,
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득부,
상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
로서 기능시킨다.
본 발명에 의하면, 화면으로부터 이격하여 조작하는 경우라도 용이하게 조작할 수 있다.
도 1은 본 발명의 실시 형태에 따른 입력 장치의 사시도이다.
도 2는 도 1에 도시하는 입력 장치의 기능 블록도이다.
도 3의 (A)는 작은 조작 화면을 표시 화면 중에 표시한 모습을 도시하는 도면이다. 도 3의 (B)는 큰 조작 화면을 표시 화면에 표시한 모습을 도시하는 도면이다.
도 4는 유저의 손의 움직임과 조작 커맨드를 대응지은 커맨드 테이블을 예시하는 도면이다.
도 5의 (A)는 근거리에서 촬상된 손의 화상을 표시한 모습을 도시하는 도면이다. 도 5의 (B)는 원거리에서 촬상된 손의 화상을 표시한 모습을 도시하는 도면이다.
도 6의 (A)는 작은 조작 화면 중에 표시한 손의 움직임을 도시하는 도면이다. 도 6의 (B)는 큰 조작 화면 중에 표시한 손의 움직임을 도시하는 도면이다.
도 7은 실시 형태에 따른 입력 처리를 설명하기 위한 플로우차트이다.
도 8의 (A)는 손과 카메라의 거리가 가까운 경우에 인식할 수 있는 방향을 도시하는 도면이다. 도 8의 (B)는 손과 카메라의 거리가 먼 경우에 인식할 수 있는 방향을 도시하는 도면이다.
도 9는 손의 움직임에 동기하여 도형이 변화하는 모습을 도시하는 도면이다.
도 10은 손의 움직임에 동기하여 도형이 이동하는 모습을 도시하는 도면이다.
이하, 본 실시 형태의 입력 장치(100)에 대하여 도면을 참조하면서 설명한다.
입력 장치(100)는, 유저의 손의 움직임에 기초하여, 유저로부터의 조작 명령을 판별하는 기능을 구비한다. 입력 장치(100)는, 예를 들면 퍼스널 컴퓨터이다. 도 1은 입력 장치(100)의 외관을 도시한다. 입력 장치(100)는, 도 1에 도시한 바와 같이, 조작부(110)와, 카메라부(120)와, 표시부(130)와, 본체부(140)와, 음성 출력부(150)를 구비한다.
조작부(110)는, 키보드 등의 입력 디바이스를 구비한다. 조작부(110)는, 유저에 의한 처리 개시 명령 등의 조작 입력을 수취하여 본체부(140)에 출력한다.
카메라부(120)는, CCD(Charge Coupled Device) 이미지 센서를 이용한 카메라나 CMOS(Complementary Metal Oxide Semiconductor)를 이용한 카메라 등을 구비한다. 카메라부(120)는, 표시부(130)의 상부 중앙에 설치되어 있다. 카메라부(120)는, 표시부(130)의 대면 방향을 촬상하도록 설치되어 있다. 이 때문에, 카메라부(120)는, 표시부(130)를 보면서 입력 장치(100)를 조작하는 유저를 촬상한다.
표시부(130)는, 액정 디스플레이 등의 표시 장치를 구비한다. 표시부(130)는, 각종 화상을 표시 장치의 표시 화면 내에 표시한다. 표시부(130)에 의해 표시되는 각종 화상에는, 조작 화면이 포함된다. 「조작 화면」이란, 유저가 입력 장치(100)를 조작하기 위한 유저 인터페이스로 되는 표시 화면 중의 화상 등이다. 예를 들면, 조작 화면은, 카메라부(120)에 의해 촬상된 유저 자신이나, 메뉴 항목 등을 표시하는 윈도우 등이다.
본체부(140)는 입력 장치(100)의 본체 부분이다. 본체부(140)는, 유저에 의한 처리 개시 명령 등의 조작 입력에 따라, 각종 처리를 실행한다.
음성 출력부(150)는 스피커 등을 구비한다. 음성 출력부(150)는, 본체부(140)에 의해 실행된 처리에 따라, 음성 등을 출력한다.
다음으로 도 2를 참조하여, 본체부(140)의 기능 구성을 설명한다. 도 2에 도시한 바와 같이, 본체부(140)는 화상 기억부(141)와, 기억부(142)와, 제어부(143)를 구비한다.
화상 기억부(141)는, RAM(Random Access Memory) 등의 비디오 메모리를 구비하고, 카메라부(120)로부터 출력된 화상 데이터를 기억한다. 그 화상 데이터에는, 예를 들면 카메라부(120)에 의해 촬상된 유저 등의 상에 대응하는 화상 데이터 등이 포함된다.
기억부(142)는, RAM이나 하드디스크 등의 기억 장치를 구비한다. 기억부(142)는, 조작 화면 정보(142a)나 커맨드 테이블(142b) 등의 각종 데이터를 기억한다.
조작 화면 정보(142a)는, 예를 들면 조작 화면의 위치 및 크기에 관한 정보다. 도 3의 (A)는, 조작 화면(131)으로서, 표시 화면의 약 20％를 차지하는 직사각형의 영역으로 설정된 조작 화면(131a)을 나타낸다. 이 경우, 조작 화면(131a)에 관한 조작 화면 정보(142a)는, 예를 들면 직사각형의 1개의 정점의 좌표 (X1, Y1) 및 그 정점으로부터 직사각형의 대각선 상에 있는 정점의 좌표 (X2, Y2)이다. 좌표 (X1, Y1) 및 좌표 (X2, Y2)에 의해, 조작 화면의 위치 및 크기가 정해진다. 도 3의 (B)는, 조작 화면(131)으로서, 표시 화면의 약 80％를 차지하는 직사각형의 영역으로 설정된 조작 화면(131b)을 나타낸다. 이 경우, 조작 화면(131b)에 관한 조작 화면 정보(142a)는, 직사각형의 1개의 정점의 좌표 (X1, Y1) 및 그 정점으로부터 직사각형의 대각선 상에 있는 정점의 좌표 (X3, Y3)이다. 또한, 조작 화면 정보(142a)는, 정점의 좌표에 한하지 않고, 조작 화면으로서 설정된 영역의 무게 중심의 좌표와 무게 중심으로부터 영역의 끝까지의 거리이어도 된다.
커맨드 테이블(142b)은, 도 4에 도시한 바와 같이, 유저의 「손의 움직임」과 「조작 커맨드」를 대응지은 정보로 구성된다. 여기서 「조작 커맨드」란, 소프트웨어끼리의 인터페이스(이하, 「소프트웨어 인터페이스」라고 함)를 통하여, 오퍼레이팅 시스템이나 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어 등에 대하여 출력되는 정보이다. 조작 커맨드는, 예를 들면 오퍼레이팅 시스템에 대한 조작을 위한 정보나 재생, 정지, 빨리감기, 스킵 등의 음악 재생 소프트웨어 등을 조작하기 위한 정보이다.
도 4에서는, 조작 커맨드가 손의 움직임에 대응지어져 있다. 예를 들면, 오퍼레이팅 시스템에 대한 조작을 위한 정보로서, 「손이 빠르게 좌우로 이동」에 대하여 「조작 개시」가 대응지어져 있다. 또한, 음악 재생 소프트웨어를 조작하기 위한 정보로서, 「손이 위로 이동」에 대하여 「음량 업」이 대응지어져 있다. 또한, 「손이 오른쪽으로 이동」에 대하여 「재생」이 대응지어져 있다.
제어부(143)는, 프로세서 등을 구비하고, 기억부(142)에 기억되어 있는 프로그램에 따라 동작하고, 유저에 의한 처리 개시 명령 등의 조작 입력에 따라 다양한 처리를 실행한다. 제어부(143)는, 조작부(110)로부터 처리 개시 명령이 출력되면, 카메라부(120)에 대하여 촬상의 개시를 명령한다. 이 명령을 받아, 카메라부(120)는, 축차적으로, 촬상한 화상을 화상 기억부(141)에 출력한다. 제어부(143)는, 표시부(130)를 제어하여, 각종 화상을 표시시킨다.
또한, 제어부(143)는, 조작부(110)로부터 처리 개시 명령이 출력되면, 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어를 실행함과 함께, 소프트웨어 인터페이스를 통하여 어플리케이션 소프트웨어에 조작 커맨드를 입력하기 위한 입력 처리를 개시한다.
제어부(143)는, 취득부(1)와, 표시 제어부(2)와, 판별부(3)와, 실행부(4)로서 기능한다. 취득부(1)는, 표시부(130)(표시 장치) 또는 카메라(120)와 카메라(120)에 의해 촬상되는 유저(피사체)의 거리를 나타내는 정보를 취득한다. 여기서, 카메라부(120)는 표시부(130)의 상부 중앙에 설치되어 있어, 표시부(130)와 유저의 거리 및 카메라부(120)와 유저의 거리는, 거의 동일하다고 생각되기 때문에, 취득부(1)는, 표시부(130)와 유저의 거리를 나타내는 정보를 취득하는 것으로 한다. 취득부(1)는, 예를 들면 유저와의 거리를 나타내는 정보로서, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R을 취득한다. 표시부(130)와 카메라부(120)에 의해 촬상되는 유저의 손의 거리는, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R에 비례한다. 즉, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R이 크면 클수록, 표시부(130)와 유저의 손의 거리는 가깝다고 할 수 있다.
표시 제어부(2)는, 취득부(1)에 의해 취득된 비율 R에 기초하여 크기를 설정한 조작 화면(131)을, 표시부(130)에 표시한다. 예를 들면, 조작 화면(131)의 크기의 설정에서는, 표시 제어부(2)는, 취득부(1)에 의해 취득된 비율 R에 기초하여, 표시부(130)와 유저의 거리를 검출한다. 예를 들면, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R이 5％이면, 표시 제어부(2)는, 표시부(130)와 손의 거리를 3m로서 검출한다. 또한, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R이 10％이면, 표시 제어부(2)는, 표시부(130)와 손의 거리를 1m로서 검출한다.
표시 제어부(2)는, 취득부(1)에 의해 취득된 비율 R에 의해 나타내어지는 거리가 멀어짐에 따라 조작 화면(131)을 보다 크게 한다. 예를 들면, 표시 제어부(2)는, 검출한 거리가 소정의 임계값보다 작을 때는, 작은 조작 화면(131a)을 설정한다. 한편, 표시 제어부(2)는, 검출한 거리가 소정의 임계값보다 클 때는, 큰 조작 화면(131b)을 설정한다. 표시 제어부(2)에 의해 설정된 조작 화면(131)에 대응하는 데이터는, 표시부(130)에 출력되어, 표시 장치의 표시 화면 내에 표시된다.
표시 제어부(2)는, 조작 화면(131)에 표시하는 화상 데이터를, 화상 기억부(141)로부터 최신의 화상 데이터로서 취득한다. 표시 제어부(2)는, 조작 화면(131)의 크기에 맞추어 취득한 화상 데이터를 가공 처리하여 조작 화면을 설정한다. 표시 제어부(2)는, 화상 데이터로부터 손의 화상 데이터로서, 예를 들면 손을 둘러싸는 최소의 사각형의 4변 각각에 일정한 폭을 더한 범위의 화상에 대응하는 화상 데이터를 잘라낸다. 표시 제어부(2)는, 잘라낸 화상 데이터를, 조작 화면(131)의 크기에 맞추어 확대 또는 축소하여 조작 화면(131)에 표시하는 화상으로서 설정한다. 이에 의해, 조작 화면(131)으로서 조작 화면(131a)이 설정된 경우에는, 도 5의 (A)에 도시한 바와 같이, 조작 화면(131a)에 손의 화상이 표시된다. 또한, 조작 화면(131)으로서 조작 화면(131b)이 설정된 경우에는, 도 5의 (B)에 도시한 바와 같이, 조작 화면(131b)에 손의 화상이 표시된다.
표시 제어부(2)는, 수시로, 조작 화면(131)을 갱신한다. 예를 들면, 표시 제어부(2)는, 카메라부(120)에 의해 촬상된 유저의 제스처(움직임 및 형상 중 적어도 한쪽)에 따라 조작 화면(131)을 변화시킨다. 표시 제어부(2)는, 수시로, 화상 데이터로부터 손의 화상 데이터를 잘라내고, 설정한 화상에 대응하는 화상 데이터를 표시부(130)에 출력함으로써 조작 화면(131)을 변화시킨다.
판별부(3)는, 카메라부(120)에 의해 촬상된 유저의 제스처에 기초하여, 유저로부터의 조작 명령을 판별한다. 우선, 판별부(3)는, 화상 데이터에 사람의 손의 상이 포함되어 있는지의 여부를 판별한다. 예를 들면, 기억부(142)는, 사람의 손의 상의 특징을 추출한 패턴 데이터를 미리 기억하고 있다. 판별부(3)는, 그 패턴 데이터와 화상 데이터를 대조함으로써, 화상 데이터에 사람의 손의 상이 포함되어 있는지의 여부를 판별한다.
다음으로 판별부(3)는, 카메라부(120)에 의해 촬상된 유저의 제스처가, 조작 명령에 대응지어진 제스처에 일치하는지의 여부를 판별한다. 예를 들면, 판별부(3)는, 유저의 제스처로서, 카메라부(120)에 의해 촬상된 유저의 손의 제스처가, 조작 명령에 대응지어진 제스처에 일치하는지의 여부를 판별한다. 판별부(3)는, 손의 제스처를 판별하기 위해서, 예를 들면 손의 상의 움직임을 인식한다. 이 경우, 판별부(3)는, 수시로, 화상 데이터 중의 손의 무게 중심으로서, 화상 데이터 중의 손의 화상에 대응하는 전체 화소의 위치 좌표의 평균을 산출한다. 그 무게 중심이 일정 시간 내에 좌우로 소정의 폭 이상 이동한 경우, 판별부(3)는, 손이 좌우로 빠르게 이동하였다고 인식한다. 상기 카메라에 의해 촬상된 상기 피사체의 손의 움직임에 기초하여, 상기 피사체로부터의 조작 명령을 판별한다.
또한, 판별부(3)는, 손의 무게 중심과 화상 데이터 중의 전체 화소의 위치 좌표의 평균인 화상의 중심의 거리를, 축차적으로, 산출하여 유저의 손의 상의 움직임을 인식하도록 해도 된다. 예를 들면, 산출한 거리가 소정의 임계값 이상으로 되면, 판별부(3)는, 유저의 손이 이동하였다고 인식한다. 이때, 손의 무게 중심과 화상의 중심을 연결하는 직선이, 도 6의 (A)에 도시한 바와 같이, 좌측 경사 하방 45°로부터 좌측 경사 상방 45°의 범위에 들어 있으면, 판별부(3)는, 손이 좌측 방향으로 이동하였다고 인식한다. 또한, 손의 무게 중심과 화상의 중심을 연결하는 직선이, 도 6의 (B)에 도시한 바와 같이, 좌측 경사 상방 45°로부터 우측 경사 상방 45°의 범위에 들어 있으면, 판별부(3)는, 손이 상측 방향으로 이동하였다고 인식한다. 마찬가지로, 손의 무게 중심과 화상의 중심을 연결하는 직선이, 우측 경사 상방 45°로부터 우측 경사 하방 45°의 범위에 들어 있으면, 판별부(3)는, 손이 우측 방향으로 이동하였다 인식한다. 손의 무게 중심과 화상의 중심을 연결하는 직선이, 우측 경사 하방 45°로부터 좌측 경사 하방 45°의 범위에 들어 있으면, 판별부(3)는, 손이 하측 방향으로 이동하였다고 인식한다.
이와 같이 하여 유저의 손의 움직임을 인식하면, 판별부(3)는, 커맨드 테이블(142b)을 참조하여, 인식한 손의 움직임에 대응하는 조작 커맨드를, 유저로부터의 조작 명령으로서 판별한다. 예를 들면, 손이 좌우로 빠르게 이동하였다고 인식한 경우, 판별부(3)는, 「손이 좌우로 빠르게 이동」에 대응지어진 조작 커맨드 「조작 개시」를 유저로부터의 조작 명령으로서 판별한다. 또한, 손이 오른쪽으로 이동하였다고 인식한 경우, 판별부(3)는, 「손이 오른쪽으로 이동」에 대응지어진 조작 커맨드 「재생」을 유저로부터의 조작 명령으로서 판별한다. 또한, 손이 위로 이동하였다고 인식한 경우, 판별부(3)는, 「손이 위로 이동」에 대응지어진 조작 커맨드 「음량 업」을 유저로부터의 조작 명령으로서 판별한다.
유저로부터의 조작 명령을 판별한 경우, 제어부(143)는, 유저로부터 조작 명령을 수취한 것을 나타내는 정보로서, 예를 들면 일러스트나 메시지를 표시부(130)에 표시한다.
실행부(4)는, 판별부(3)에 의해 판별된 조작 명령에 따른 처리를 실행한다. 실행부(4)는, 조작 커맨드를, 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어에 소프트웨어 인터페이스를 통하여 출력한다. 예를 들면, 조작 커맨드가 「재생」인 경우, 실행부(4)는, 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어를 통하여 소정의 음성 데이터 등을 재생한다. 이에 의해, 음성 출력부(150)는, 음성 데이터에 대응하는 음성을 출력한다. 또한, 조작 커맨드가 「음량 업」인 경우, 실행부(4)는, 음악 재생 소프트웨어 등의 어플리케이션 소프트웨어를 통하여 음량을 올린다. 이에 의해, 음성 출력부(150)는 출력하는 음성의 음량을 올린다.
다음으로, 입력 장치(100)의 동작에 대하여 설명한다. 이하, 도 7의 플로우차트를 참조하여 입력 처리에 대하여 설명한다.
제어부(143)는, 화상 기억부(141)로부터 최신의 화상 데이터를 취득한다(스텝 S101).
판별부(3)는, 화상 데이터에 사람의 손의 상이 포함되어 있는지의 여부를 판별한다(스텝 S102). 화상 데이터에 사람의 손의 상이 포함되어 있지 않은 경우(스텝 S102 : "아니오"), 제어부(143)는 스텝 S101로 되돌아간다.
화상 데이터에 사람의 손의 상이 포함되어 있는 경우(스텝 S102 : "예"), 취득부(1)는, 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R을 취득한다(스텝 S103). 계속해서, 표시 제어부(2)는, 취득부(1)에 의해 취득된 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R에 기초하여, 표시부(130)와 촬상되는 손의 거리를 검출한다(스텝 S104).
다음에, 표시 제어부(2)는, 검출한 거리에 기초하여 조작 화면의 크기를 설정한다(스텝 S105). 표시 제어부(2)는, 표시부(130)에 설정된 크기의 조작 화면(131)을, 표시부(130)를 통하여 표시한다(스텝 S106).
표시 제어부(2)는, 화상 기억부(141)로부터 최신의 화상 데이터를 취득하고, 도 5에 도시한 바와 같이, 조작 화면(131)에, 취득한 화상 데이터에 대응하는 손의 화상을 표시한다(스텝 S107).
다음에, 판별부(3)는, 유저의 제스처를 인식하여, 조작 개시가 명령되었는지의 여부를 판별한다(스텝 S108).
제어부(143)는, 조작 개시가 명령될 때까지 대기한다(스텝 S108 : "아니오"). 조작 개시가 명령된 경우(스텝 S108 : "예"), 제어부(143)는, 유저로부터 조작 개시의 명령을 수취한 것을 나타내는 정보로서, 예를 들면 일러스트나 메시지 등의 조작 개시를 나타내는 화상을, 표시부(130)를 통하여 표시한다(스텝 S109).
판별부(3)는, 화상 데이터에 대응하는 손의 상이 이동할 때까지 대기한다(스텝 S110 : "아니오"). 손의 상이 이동하면(스텝 S110 : "예"), 판별부(3)는, 인식한 손의 상의 이동한 방향에 대응지어진 조작 커맨드에 따른 처리를 실행한다(스텝 S111).
본 실시 형태에 의하면, 유저가 입력 장치(100)로부터 먼 위치에 있을 때는, 입력 장치(100)는, 표시부(130)에 큰 조작 화면(131b)을 표시하므로, 유저는 먼 위치로부터라도 확실하게 자신의 움직임을 확인할 수 있다. 그 때문에, 유저는, 자신의 동작을 확인하면서, 용이하게 어플리케이션 소프트웨어 등의 조작을 할 수 있다.
또한, 유저가 입력 장치(100)의 근방에 있을 때는, 입력 장치(100)는, 표시부(130)에 작은 조작 화면(131a)을 표시하므로, 유저는, 어플리케이션 소프트웨어 등의 조작 중에도, 조작 화면(131)에 방해받지 않고, 유효하게 화면을 사용할 수 있다.
또한, 판별부(3)는, 카메라부(120)에 의해 촬상된 유저의 제스처의 차이에 의해 복수개의 조작 명령을 판별해도 된다. 이때, 판별부(3)는, 표시 제어부(2)에 의해 검출된 거리가 가까워짐에 따라, 보다 많은 조작 명령을 판별하도록 해도 된다. 예를 들면, 판별부(3)는, 표시 제어부(2)에 의해 검출된 거리가 소정의 임계값보다 짧은 경우는, 도 8의 (A)에 도시한 바와 같이, 조작 화면(131a)을 화면의 중심으로부터 방사선 형상으로 8분할하고, 상하좌우에, 경사 방향을 추가한 8방향으로의 손의 움직임을 인식한다. 이에 대하여, 표시 제어부(2)에 의해 검출된 거리가 소정의 임계값보다 긴 경우에는, 판별부(3)는, 도 8의 (B)에 도시한 바와 같이, 상하좌우 4방향으로의 손의 움직임을 인식한다. 이에 의해, 손이 카메라부(120)의 근방에 있어서 세세한 움직임을 포착할 있는 경우는, 보다 많은 움직임에 대응지어진 조작 커맨드를 판별할 수 있다. 이렇게 함으로써, 보다 많은 조작 입력이 가능하게 된다. 또한, 손이 카메라부(120)로부터 이격되어 있어 세세한 움직임을 포착할 없는 경우는, 보다 적은 움직임에 대응지어진 조작 커맨드를 판별하면 된다. 이렇게 함으로써, 인식하는 손의 움직임이 좁혀져, 잘못된 조작 입력을 저감하는 것이 가능하게 된다.
또한, 본 실시 형태에서는, 표시 제어부(2)는, 조작 화면(131)에 카메라부(120)에 의해 촬상한 유저의 화상을 표시하도록 하였다. 이렇게 함으로써, 유저에게 유저 자신의 움직임을 피드백할 수 있고, 유저는 자신의 움직임을 확인하면서 조작 입력을 행할 수 있다. 여기서, 조작 화면(131)에 표시하는 화상은, 카메라부(120)에 의해 촬상한 화상에 한정되지 않는다. 표시 제어부(2)는, 조작 화면(131) 중에 도형을 표시하고, 카메라부(120)에 의해 촬상된 유저의 손의 움직임에 동기하여 도형을 변화시키도록 해도 된다. 예를 들면, 도 9에 도시한 바와 같이, 표시 제어부(2)는, 조작 화면(131a) 중에 손의 상의 이동 방향에 대응하는 8종류의 화살표를 표시해도 된다. 이 경우, 유저의 손이, 예를 들면 좌측 경사 상방으로 이동하면, 좌측 경사 상방의 화살표의 색 또는 농담을 변화시켜도 된다. 또한, 예를 들면 도 10에 도시한 바와 같이, 표시 제어부(2)는, 조작 화면(131a)에 유저의 손 대신에 검정색 동그라미(●)를 표시해도 된다. 이 경우, 표시 제어부(2)는, 유저의 손이, 예를 들면 우측 경사 하방으로 이동하면, 우측 경사 하방으로 검정색 동그라미를 이동시켜도 된다. 그 밖에, 손의 움직임에 맞추어 검정색 동그라미를 삼각이나 사각으로 변화시킴으로써, 유저에게 유저 자신의 움직임을 피드백해도 된다. 이와 같이 함으로써, 유저는 간략화된 도형의 움직임에 의해 자신의 움직임을 포착할 수 있으므로, 시인성이 높아진다.
또한, 본 실시 형태에서는, 판별부(3)는, 카메라부(120)에 의해 촬상된 유저의 손의 움직임에 기초하여, 유저로부터의 조작 명령을 판별하였다. 본 발명은 이에 한정되지 않고, 판별부(3)는, 유저의 손의 형상에 기초하여, 유저로부터의 조작 명령을 판별해도 된다.
예를 들면, 기억부(142)가 손을 편 형상의 패턴 데이터, 주먹을 쥔 형상의 패턴 데이터, 집게 손가락과 가운뎃 손가락만을 세운 형상의 패턴 데이터를 기억해 두고, 판별부(3)는, 그 패턴 데이터에 기초하여 화상 데이터 중의 손의 형상을 인식한다. 그리고, 판별부(3)는, 인식한 손의 형상에 기초하여, 예를 들면 손을 편 형상일 때는 "재생" 커맨드, 주먹을 쥔 형상일 때는 "정지" 커맨드, 집게 손가락과 가운뎃 손가락만을 세운 형상일 때는 "스킵" 커맨드를 조작 명령으로서 판별한다. 이렇게 함으로써, 손의 형상에 의해서도 조작 입력할 수 있으므로, 조작 입력의 변형이 증가한다.
또한, 판별부(3)는, 제스처로서, 유저의 손 이외의 부위의 움직임이 조작 명령에 대응지어진 제스처에 일치하는지의 여부를 판별해도 된다. 예를 들면, 일정 시간 내의 유저의 눈의 깜빡임 횟수가 조작 명령에 대응지어진 제스처에 일치하는지의 여부를 판별해도 되고, 몸의 움직임이 조작 명령에 대응지어진 제스처에 일치하는지의 여부를 판별해도 된다. 몸의 움직임으로서는, 예를 들면 서거나, 앉거나, 손을 들거나 하는 동작이 있다.
또한, 표시 제어부(2)는, 취득부(1)에 의해 취득된 화상 데이터에 대응하는 화상 전체의 면적에 차지하는 손의 화상의 면적의 비율 R에 기초하여, 표시부(130)와 유저의 거리를 검출하였지만, 다른 방법을 사용하여 거리를 검출해도 된다. 예를 들면, 취득부(1)가 화상 데이터 중의 유저의 얼굴을 인식하고, 인식한 얼굴로부터 눈과 눈 사이의 거리(이하 「눈간 거리」라고 함)를 취득한다. 이때, 표시 제어부(2)는, 취득부(1)에 의해 취득된 눈간 거리에 기초하여, 표시부(130)와 유저의 거리를 검출해도 된다. 또한, 표시부(130)에 적외선 센서나 초음파 센서 등의 거리 계측용의 센서를 설치하여, 취득부(1)가 거리 계측용의 센서의 계측값을 취득하도록 한 경우, 표시 제어부(2)는, 거리 계측용의 센서의 계측값에 기초하여, 표시부(130)와 유저의 거리를 검출해도 된다. 또한, 입력 장치(100)에 2개의 카메라를 구비해 두고, 표시 제어부(2)는, 취득부(1)에 의해 취득된 2대의 카메라의 화상의 차로부터, 예를 들면 삼각법에 의해 표시부(130)와 유저의 거리를 검출해도 된다.
또한, 조작 화면 정보(142a)에 유지되는 조작 화면(131)의 크기는, 작은 조작 화면(131a)과 큰 조작 화면(131b)의 2가지로 한정되지 않고, 예를 들면 3가지 이상의 크기의 상이한 조작 화면(131)이어도 된다. 또한, 표시 제어부(2)는, 수시로, 표시부(130)와 유저의 거리를 검출하고, 그 검출한 거리에 따라, 표시 제어부(2)는, 예를 들면 거리를 조작 화면(131)의 세로의 변의 길이 또는 가로의 변의 길이로 변환하거나 하여, 조작 화면(131)을, 확대 또는 축소하도록 해도 된다.
본 실시 형태의 입력 장치(100)는, 전용의 시스템에 의해 실현해도 되고, 통상의 컴퓨터 시스템에 의해 실현해도 된다. 예를 들면, 상술한 동작을 실행하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 저장하여 배포하고, 그 프로그램을 컴퓨터에 인스톨하여, 상술한 처리를 실행함으로써 입력 장치(100)를 구성해도 된다. 또한, 인터넷 등의 네트워크 상의 서버 장치가 구비하는 디스크 장치에 저장해 두고, 예를 들면 컴퓨터에 다운로드하거나 할 수 있도록 해도 된다. 또한, 상술한 기능을, OS(Operating System)와 어플리케이션 소프트웨어의 공동에 의해 실현해도 된다. 이 경우에는, OS 이외의 부분만을 매체에 저장하여 배포해도 되고, 또한, 컴퓨터에 다운로드하거나 해도 된다.
상기 프로그램을 기록하는 기록 매체로서는, USB 메모리, 플렉시블 디스크, CD, DVD, Blu-ray Disc(등록 상표), MO, SD 카드, 메모리 스틱(등록 상표), 그 외에, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리, 자기 테이프 등의 컴퓨터 판독 가능한 기록 매체를 사용할 수 있다. 또한, 하드 디스크나 SSD(솔리드 스테이트 드라이브) 등, 통상, 시스템 또는 장치에 고정하여 사용하는 기록 매체를 사용할 수도 있다.
본 발명은, 본 발명의 광의의 정신과 범위를 일탈하지 않고, 다양한 실시 형태 및 변형이 가능하게 되는 것이다. 또한, 상술한 실시 형태는, 본 발명을 설명하기 위한 것이며, 본 발명의 범위를 한정하는 것은 아니다. 즉, 본 발명의 범위는, 실시 형태가 아니라, 청구 범위에 의해 나타내어진다. 그리고, 청구 범위 내 및 그것과 동등한 발명의 의의의 범위 내에서 실시되는 다양한 변형이, 본 발명의 범위 내로 간주된다.
상기의 실시 형태의 일부 또는 전부는, 이하의 부기와 같이도 기재될 수 있지만, 이하에는 한정되지 않는다.
(부기 1)
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득부와,
상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부와,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
를 구비하는 입력 장치.
(부기 2)
상기 표시 제어부는,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 따라 조작 화면을 변화시키는 것을 특징으로 하는 부기 1에 기재된 입력 장치.
(부기 3)
상기 표시 제어부는,
상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리가 멀어짐에 따라 조작 화면을 보다 크게 하는 것을 특징으로 하는 부기 1 또는 2에 기재된 입력 장치.
(부기 4)
상기 판별부는,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽의 차이에 의해 복수개의 조작 명령을 판별하고,
상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리가 가까워짐에 따라, 보다 많은 조작 명령을 판별하는 것을 특징으로 하는 부기 1 내지 3 중 어느 하나에 기재된 입력 장치.
(부기 5)
상기 표시 제어부는,
조작 화면 중에 도형을 표시하고,
상기 카메라에 의해 촬상된 상기 피사체의 움직임에 동기하여 상기 도형을 변화시키는 것을 특징으로 하는 부기 1 내지 4 중 어느 하나에 기재된 입력 장치.
(부기 6)
상기 표시 제어부는,
상기 표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 상기 피사체의 손의 거리를 검출하고,
상기 판별부는,
상기 카메라에 의해 촬상된 상기 피사체의 손의 움직임에 기초하여, 상기 피사체로부터의 조작 명령을 판별하는 것을 특징으로 하는 부기 1 내지 5 중 어느 하나에 기재된 입력 장치.
(부기 7)
상기 판별부는,
상기 카메라에 의해 촬상되는 상기 피사체의 손의 형상에 기초하여, 상기 피사체로부터의 조작 명령을 판별하는 것을 특징으로 하는 부기 6에 기재된 입력 장치.
(부기 8)
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득 스텝과,
상기 취득 스텝에서 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어 스텝과,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별 스텝
을 포함하는 입력 방법.
(부기 9)
컴퓨터를,
표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체의 거리를 나타내는 정보를 취득하는 취득부,
상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부,
상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
로서 기능시키는 프로그램을 기록한 기록 매체.
본 발명은, 2011년 4월 27일에 출원된 일본 특허 출원 2011-100216호에 기초한다. 본 명세서 중에 일본 특허 출원 2011-100216호의 명세서, 특허 청구 범위, 도면 전체를 참조로서 포함하는 것으로 한다.
본 발명은, 유저의 제스처에 의해 데이터를 입력하는 입력 장치, 입력 방법 및 기록 매체에 바람직하다.
1 : 취득부
2 : 표시 제어부
3 : 판별부
4 : 실행부
100 : 입력 장치
110 : 조작부
120 : 카메라부
130 : 표시부
140 : 본체부
141 : 화상 기억부
142 : 기억부
143 : 제어부
142a : 조작 화면 정보
142b : 커맨드 테이블
150 : 음성 출력부

Claims (9)

  1. 표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체와의 거리를 나타내는 정보를 취득하는 취득부와,
    상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부와,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
    를 구비하는 입력 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 따라 조작 화면을 변화시키는 것을 특징으로 하는 입력 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 표시 제어부는,
    상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리가 멀어짐에 따라 조작 화면을 보다 크게 하는 것을 특징으로 하는 입력 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 판별부는,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽의 차이에 의해 복수개의 조작 명령을 판별하고,
    상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리가 가까워짐에 따라, 보다 많은 조작 명령을 판별하는 것을 특징으로 하는 입력 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 표시 제어부는,
    조작 화면 중에 도형을 표시하고,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임에 동기하여 상기 도형을 변화시키는 것을 특징으로 하는 입력 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 표시 제어부는,
    상기 표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 상기 피사체의 손과의 거리를 검출하고,
    상기 판별부는,
    상기 카메라에 의해 촬상된 상기 피사체의 손의 움직임에 기초하여, 상기 피사체로부터의 조작 명령을 판별하는 것을 특징으로 하는 입력 장치.
  7. 제6항에 있어서,
    상기 판별부는,
    상기 카메라에 의해 촬상되는 상기 피사체의 손의 형상에 기초하여, 상기 피사체로부터의 조작 명령을 판별하는 것을 특징으로 하는 입력 장치.
  8. 표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체와의 거리를 나타내는 정보를 취득하는 취득 스텝과,
    상기 취득 스텝에서 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어 스텝과,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별 스텝
    을 포함하는 입력 방법.
  9. 컴퓨터를,
    표시 장치 또는 카메라와 상기 카메라에 의해 촬상되는 피사체와의 거리를 나타내는 정보를 취득하는 취득부,
    상기 취득부에 의해 취득된 정보에 기초하여 크기를 설정한 조작 화면을, 표시 장치의 표시 화면 내에 표시하는 표시 제어부,
    상기 카메라에 의해 촬상된 상기 피사체의 움직임 및 형상 중 적어도 한쪽에 기초하여, 피사체로부터의 조작 명령을 판별하는 판별부
    로서 기능시키는 프로그램을 기록한 기록 매체.
KR1020137028074A 2011-04-27 2012-04-27 입력 장치, 입력 방법 및 기록 매체 Expired - Fee Related KR101514170B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-100216 2011-04-27
JP2011100216 2011-04-27
PCT/JP2012/061469 WO2012147959A1 (ja) 2011-04-27 2012-04-27 入力装置、入力方法及び記録媒体

Publications (2)

Publication Number Publication Date
KR20140002009A true KR20140002009A (ko) 2014-01-07
KR101514170B1 KR101514170B1 (ko) 2015-04-21

Family

ID=47072470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137028074A Expired - Fee Related KR101514170B1 (ko) 2011-04-27 2012-04-27 입력 장치, 입력 방법 및 기록 매체

Country Status (7)

Country Link
US (1) US9323339B2 (ko)
EP (1) EP2703971A4 (ko)
JP (1) JP5769277B2 (ko)
KR (1) KR101514170B1 (ko)
CN (1) CN103608761B (ko)
IL (1) IL229042A (ko)
WO (1) WO2012147959A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072674A1 (en) * 2014-11-05 2016-05-12 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5964603B2 (ja) * 2012-02-08 2016-08-03 シャープ株式会社 データ入力装置、及び表示装置
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
KR102397397B1 (ko) * 2014-07-30 2022-05-13 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
JP2016038840A (ja) * 2014-08-11 2016-03-22 シャープ株式会社 通信装置、通信装置の制御方法および通信装置の制御プログラム
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN113253837B (zh) * 2021-04-01 2024-12-20 作业帮教育科技（北京）有限公司 空中书写方法、装置、线上直播系统和计算机设备
US20240061496A1 (en) * 2022-08-19 2024-02-22 Mobeus Industries, Inc. Implementing contactless interactions with displayed digital content
US20240201845A1 (en) * 2022-12-14 2024-06-20 Nxp B.V. Contactless human-machine interface for displays

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123612A (ja) * 1994-10-25 1996-05-17 Hitachi Ltd 位置入力方法およびそれを用いた会議支援システム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3903968B2 (ja) 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP2004078977A (ja) * 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP4142073B2 (ja) * 2006-10-13 2008-08-27 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP2008282131A (ja) * 2007-05-09 2008-11-20 Victor Co Of Japan Ltd 電子機器の制御装置
CA2699628A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN101409784A (zh) * 2007-10-10 2009-04-15 联想(北京)有限公司 摄像装置及信息提示装置
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP2010067104A (ja) * 2008-09-12 2010-03-25 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US20100251171A1 (en) * 2009-03-31 2010-09-30 Parulski Kenneth A Graphical user interface which adapts to viewing distance
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP5423183B2 (ja) * 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
JP5614014B2 (ja) 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072674A1 (en) * 2014-11-05 2016-05-12 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same

Also Published As

Publication number Publication date
EP2703971A1 (en) 2014-03-05
KR101514170B1 (ko) 2015-04-21
US20140035813A1 (en) 2014-02-06
JP5769277B2 (ja) 2015-08-26
EP2703971A4 (en) 2014-11-12
IL229042A0 (en) 2013-12-31
CN103608761A (zh) 2014-02-26
WO2012147959A1 (ja) 2012-11-01
JPWO2012147959A1 (ja) 2014-07-28
IL229042A (en) 2017-03-30
US9323339B2 (en) 2016-04-26
CN103608761B (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
KR101514170B1 (ko) 입력 장치, 입력 방법 및 기록 매체
US10678329B2 (en) Line-of-sight input device, and method of line-of-sight input
CN101739567B (zh) 终端装置和显示控制方法
KR101514168B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US8388146B2 (en) Anamorphic projection device
US9454837B2 (en) Image processing apparatus, method, and computer-readable storage medium calculating size and position of one of an entire person and a part of a person in an image
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
JP2009295031A (ja) 画像投影装置及びその制御方法
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20140009054A (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
JP5341126B2 (ja) 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9406136B2 (en) Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person
KR20150009955A (ko) 표시 제어 장치, 표시 제어 방법 및 프로그램
US10212382B2 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
JP6765884B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US12160660B2 (en) Electronic apparatus, method for controlling the same, and computer-readable storage medium storing program
JP6362110B2 (ja) 表示制御装置、その制御方法、プログラム、及び記録媒体
JP2012128766A (ja) 情報処理装置、情報処理システム、情報処理方法、及びテレビ受像機
JP6164958B2 (ja) 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体
JP2015118652A (ja) 画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200416

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200416