KR20140045865A - 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법 - Google Patents

멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법 Download PDF

Info

Publication number
KR20140045865A
KR20140045865A KR1020130067516A KR20130067516A KR20140045865A KR 20140045865 A KR20140045865 A KR 20140045865A KR 1020130067516 A KR1020130067516 A KR 1020130067516A KR 20130067516 A KR20130067516 A KR 20130067516A KR 20140045865 A KR20140045865 A KR 20140045865A
Authority
KR
South Korea
Prior art keywords
scene
user
modality
parameter
interfacing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020130067516A
Other languages
English (en)
Other versions
KR102156175B1 (ko
Inventor
한재준
한승주
박두식
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/046,017 priority Critical patent/US10133470B2/en
Publication of KR20140045865A publication Critical patent/KR20140045865A/ko
Application granted granted Critical
Publication of KR102156175B1 publication Critical patent/KR102156175B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치가 개시된다. 일 실시예는 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식하고, 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보를 생성한다.

Description

멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법{INTERFACING DEVICE OF PROVIDING USER INTERFACE EXPOLITING MULTI-MODALITY AND MEHOD THEREOF}
아래 실시예들은 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법에 관한 것이다.
휴먼 센싱 기술(human sensing technology)는 직관적인 유저 인터페이스를 제공할 수 있다. 이러한 휴먼 센싱 기술은 다양한 가전제품들에 적용되고 있다.
일반적으로, 휴먼 센싱 기술은 가전제품의 조작을 수행하기 위해 미리 결정된 특정 동작의 검출되었을 때, 검출된 동작에 해당되는 액션을 수행하도록 구현된다.
일 측에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치는 신(scene)과 관련된 정보를 포함하는 신 파라미터(scene parameter)를 획득하는 신 파라미터 획득부; 상기 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식하는 멀티 모달리티 인식부; 및 상기 신 파라미터 및 상기 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보(scene control information)를 생성하는 신 제어 정보 생성부를 포함한다.
이 때, 상기 인터페이싱 장치는 이용자 맞춤 파라미터(user customization parameter)를 획득하는 이용자 맞춤 파라미터 획득부를 더 포함하고, 상기 신 제어 정보 생성부는 상기 이용자 맞춤 파라미터에 기초하여 상기 적어도 두 개의 모달리티 입력들의 조합을 해석하는 해석부를 포함할 수 있다.
여기서, 상기 이용자 맞춤 파라미터는 특정 이용자에 대응하여, 미리 정해진 복수의 신의 제어 양상들 각각을 상기 특정 이용자의 선호도에 따라 복수의 모달리티 입력들 중 어느 하나 또는 상기 복수의 모달리티 입력들로부터 선택 가능한 둘 이상의 조합으로 매핑하는 매핑 정보를 포함할 수 있다.
또한, 상기 인터페이싱 장치는 이용자를 식별하는 이용자 식별부를 더 포함하고, 상기 이용자 맞춤 파라미터 획득부는 상기 식별된 이용자에 대응되는 이용자 맞춤 파라미터를 획득할 수 있다.
다른 일 측에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 방법은 신과 관련된 정보를 포함하는 신 파라미터를 획득하는 단계; 상기 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식하는 단계; 및 상기 신 파라미터 및 상기 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보를 생성하는 단계를 포함한다.
도 1은 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치를 나타낸 블록도.
도 2a 내지 도 2c는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 설명하기 위한 도면.
도 3a 내지 도 3b는 일 실시예에 따른 이용자 맞춤 파라미터를 이용하는 인터페이싱 장치를 나타낸 블록도.
도 4는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 시스템을 설명하기 위한 도면.
도 5는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 인터페이싱 장치(100)는 멀티 모달리티(multi modalities)를 활용하여 유저 인터페이스(user interface, UI)를 제공한다.
여기서, 모달리티(modality)는 시각 또는 청각과 같은 1차 감각 양상으로, 멀티 모달리티는 적어도 두 개의 서로 다른 유형의 모달리티들의 조합을 이용하는 기법이다.
일 실시예에 따른 인터페이싱 장치(100)는 신 파라미터(scene parameter) 획득부(110), 멀티 모달리티 인식부(120), 및 신 제어 정보(scene control information) 생성부를 포함할 수 있다.
신 파라미터 획득부(110)는 신 파라미터를 획득할 수 있다. 여기서, 신(scene)은 신 표현 장치(150)에 의하여 이용자에게 제공되는 멀티미디어 컨텐츠로, 평면 영상, 입체 영상, 음향 등을 포괄적으로 포함할 수 있다.
신 파라미터는 신(scene)과 관련된 정보를 포함하고, 특히 이용자와 인터액션(interaction)할 수 있는 신의 특성과 관련된 정보를 포함할 수 있다.
예를 들어, 신 파라미터는 신에 포함된 적어도 하나의 객체(object)의 크기와 관련된 파라미터 또는 해당 객체의 위치와 관련된 파라미터를 포함할 수 있다. 이러한 적어도 하나의 객체 각각은 인터페이싱 장치(100)에 의해 제공되는 유저 인터페이스를 통해 제어될 수 있다.
또한, 신 파라미터는 해당 객체의 이동 제어와 관련된 파라미터, 해당 객체의 회전 제어와 관련된 파라미터, 또는 해당 객체의 스케일 제어와 관련된 파라미터를 포함할 수 있다. 예를 들어, 신 파라미터는 해당 객체가 이용자의 입력에 따라 이동될 수 있는 것인지 여부, 회전될 수 있는 것인지 여부, 또는 확대되거나 축소될 수 있는 것인지 여부를 지시하는 정보를 포함할 수 있다.
또한, 신 파라미터는 신의 시점과 관련된 파라미터를 포함할 수 있다. 예를 들어, 신 파라미터는 현재 보여지고 있는 신의 시점과 관련된 정보, 신의 시점이 변경될 수 있는 것인지 여부에 대한 정보, 또는 변경 가능한 신의 시점 리스트 등을 포함할 수 있다.
멀티 모달리티 인식부(120)는 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식할 수 있다.
도면에 표시하지 않았으나, 멀티 모달리티 인식부(120)는 센서로부터 센서 데이터를 수신하고, 수신된 센서 데이터에 기초하여 적어도 두 개의 모달리티 입력들을 인식할 수 있다. 여기서, 센서는 오브젝트를 촬영하는 이미지 센서, 오브젝트까지의 거리를 측정하는 깊이 센서, 또는 음성 데이터를 획득하는 마이크 등을 포함할 수 있다.
멀티 모달리티 인식부(120)는 수신된 센서 데이터를 이용하여 멀티 모달리티 입력을 인식하기 위한 알고리즘을 수행할 수 있다. 일 실시예에 따르면, 멀티 모달리티 인식부(120)는 해당 알고리즘이 기술된 프로그램이 수행되는 프로세서, 또는 해당 알고리즘을 수행하기 위한 모듈들로 구성된 SoC(System on Chip) 등으로 구현될 수 있다.
멀티 모달리티 인식부(120)는 시선 인식부(121), 손가락 끝 인식부(122), 손 자세 인식부(123), 손 동작 인식부(124), 또는 음성 인식부(125) 중 적어도 하나를 포함할 수 있다.
여기서, 시선 인식부(121)는 이용자의 시선을 인식할 수 있다. 경우에 따라, 시선 인식부(121)는 이용자의 시선 방향 또는 신 내에서 이용자의 시선이 향하는 위치 등을 인식할 수 있다. 시선 인식부(121)는 이미지 센서로부터 수신된 이미지 데이터 또는 깊이 센서로부터 수신된 깊이 데이터를 처리함으로써, 이용자의 시선을 인식할 수 있다. 또한, 시선 인식부(121)는 이용자의 눈의 위치나 이용자의 눈의 오리엔테이션 등을 감지할 수 있다. 이 때, 시선 인식부(121)는 인터페이싱 장치(100)를 기준으로 하는 상대 좌표 또는 이용자가 위치하는 3차원 공간을 나타내는 절대 좌표를 이용할 수 있다.
손가락 끝 인식부(122)는 이용자의 손가락 끝을 인식할 수 있다. 마찬가지로, 손가락 끝 인식부(122)는 이용자의 손가락 끝이 가리키는 방향 또는 신 내에서 이용자의 손가락 끝이 가리키는 위치 등을 인식할 수 있다. 손가락 끝 인식부(122)는 이미지 센서로부터 수신된 이미지 데이터 또는 깊이 센서로부터 수신된 깊이 데이터를 처리함으로써, 이용자의 손가락 끝을 인식할 수 있다. 또한, 손가락 끝 인식부(122)는 이용자의 양 손의 위치들 및 열 손가락 끝의 위치들을 감지할 수 있다. 이 때, 손가락 끝 인식부(122)는 인터페이싱 장치(100)를 기준으로 하는 상대 좌표 또는 이용자가 위치하는 3차원 공간을 나타내는 절대 좌표를 이용할 수 있다.
손 자세 인식부(123)는 이용자의 손 자세를 인식할 수 있다. 예를 들어, 손 자세 인식부(123)는 이용자의 손이 가위 자세, 바위 자세, 또는 보 자세를 취하고 있는지 여부를 인식할 수 있다. 손 자세 인식부(123)는 이미지 센서로부터 수신된 이미지 데이터 또는 깊이 센서로부터 수신된 깊이 데이터를 처리함으로써, 이용자의 손 자세를 인식할 수 있다. 또는, 손 자세 인식부(123)는 이용자의 손이 집게 손가락만 펴고 포인팅하기 위한 자세를 취하고 있는지 여부, 엄지 손가락과 집게 손가락을 이용하여 펜을 쥐고 있는 듯한 자세를 취하고 있는지 여부 등을 인식할 수 있다.
이 때, 손 자세 인식부(123)는 미리 구비된 손 자세 데이터베이스를 이용하여 이용자의 손 자세를 인식할 수 있다. 예를 들어, 손 자세 인식부(123)는 손 자세 데이터베이스에 저장된 복수의 손 자세들 중 감지된 이용자의 손 자세와 가장 유사한 손 자세를 선택함으로써, 이용자의 손 자세를 인식할 수 있다. 이 경우, 손 자세 인식부(123)는 선택된 손 자세의 타입을 출력할 수 있다.
손 동작 인식부(124)는 이용자의 손 동작을 인식할 수 있다. 예를 들어, 손 동작 인식부(124)는 이용자의 손의 움직임 패턴을 인식할 수 있다. 경우에 따라, 손 동작 인식부(124)는 이용자의 손이 손목을 축으로 회전하는 움직임, 이용자의 손이 3차원 공간 상 특정 점을 기준으로 원 운동하는 움직임, 이용자의 손이 3차원 공간에서 이동하는 움직임 등을 인식할 수 있다. 손 동작 인식부(124)는 이미지 센서로부터 수신된 이미지 데이터 또는 깊이 센서로부터 수신된 깊이 데이터를 처리함으로써, 이용자의 손 동작을 인식할 수 있다.
이 때, 손 동작 인식부(124)는 미리 구비된 손 동작 데이터베이스를 이용하여 이용자의 손 동작을 인식할 수 있다. 예를 들어, 손 동작 인식부(124)는 손 동작 데이터베이스에 저장된 복수의 손 동작들 중 감지된 이용자의 손 동작과 가장 유사한 손 동작을 선택함으로써, 이용자의 손 동작을 인식할 수 있다. 이 경우, 손 동작 인식부(124)는 선택된 손 동작의 타입을 출력할 수 있다.
음성 인식부(125)는 이용자의 음성을 인식할 수 있다. 이 경우, 음성 인식부(125)는 이용자의 음성을 인식하고, 인식된 내용을 텍스트 스트링의 형태로 출력할 수 있다. 음성 인식부(125)는 마이크로부터 수신된 음성 데이터를 처리함으로써, 이용자의 음성을 인식할 수 있다.
신 제어 정보 생성부(130)는 신 파라미터 획득부(110)에 의해 획득된 신 파라미터 및 멀티 모달리티 인식부(120)에 의해 인식된 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보를 생성할 수 있다.
여기서, 신 제어 정보는 신에 특화된 제어 명령으로, 신에 포함된 객체 또는 신 자체의 시점 등을 제어하기 위한 정보를 포함할 수 있다.
예를 들어, 신 제어 정보는 신 내 특정 위치와 관련된 정보를 포함하는 위치 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 위치 요소를 이용하여, 이용자에 의해 제어되는 대상 객체를 특정할 수 있다. 경우에 따라, 위치 요소는 3차원 좌표 또는 2차원 좌표 등으로 표현될 수 있다.
또한, 신 제어 정보는 위치 요소가 가리키는 특정 위치에 위치하는 객체의 변형과 관련된 정보를 포함하는 변형 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 변형 요소를 이용하여, 위치 요소에 의해 특정된 대상 객체의 변형을 제어할 수 있다.
이 때, 신 표현 장치(150)는 변형 요소에 기초하여 대상 객체를 이동시키거나, 대상 객체를 회전시키거나, 대상 객체를 확대 또는 축소시킬 수 있다. 보다 구체적으로, 변형 요소가 대상 객체를 신 내의 다른 지점으로 이동시키는 명령을 포함하는 경우, 신 표현 장치(150)는 대상 객체를 해당 지점으로 이동시킬 수 있다. 또는, 변형 요소가 대상 객체를 2배 스케일링하는 명령을 포함하는 경우, 신 표현 장치(150)는 대상 객체를 2배만큼 확대시킬 수 있다.
또한, 신 제어 정보는 위치 요소가 가리키는 특정 위치에 위치하는 객체의 선택 여부와 관련된 정보를 포함하는 선택 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 선택 요소를 이용하여, 위치 요소에 의해 특정된 대상 객체의 선택 여부를 제어할 수 있다. 예를 들어, 변형 요소가 대상 객체를 선택하는 지시자를 포함하는 경우 신 표현 장치(150)는 대상 객체가 선택되도록 신을 제어하고, 그렇지 않은 경우 신 표현 장치(150)는 대상 객체가 선택되지 않도록 신을 제어할 수 있다.
또한, 신 제어 정보는 신의 시점과 관련된 정보를 포함하는 시점 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 시점 요소를 이용하여, 신 자체의 시점을 변경할 수 있다.
또한, 신 제어 정보는 이용자를 식별하는 식별자와 관련된 정보를 포함하는 이용자 식별 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 이용자 식별 요소를 이용하여, 신을 제어하고자 하는 이용자를 식별할 수 있다.
또한, 신 제어 정보는 위치 요소가 가리키는 특정 위치와 연관된 복수의 포인트들과 관련된 정보를 포함하는 연관 포인트 요소를 포함할 수 있다. 신 표현 장치(150)는 신 제어 정보에 포함된 연관 포인트 요소를 추가적으로 이용하여, 대상 객체를 제어하는 동작을 보조(assist)할 수 있다.
경우에 따라, 신 제어 정보는 유효 포인팅 해상도(effective pointing resolution)와 관련된 정보를 더 포함할 수 있다. 신 표현 장치(150)는 유효 포인팅 해상도와 관련된 정보를 이용하여 신 내 객체의 포인팅 제어를 보조할 수 있다.
신 제어 정보는 신에 특화된 명령을 위하여 표 1과 같은 어드밴스드 유저 인터페이스 디바이스 데이터 포맷(Advanced UI Device Data format)으로 구성될 수 있다.
AUIDataFrame [[
SFVec3f position
SFNode Transform3D
SFBool Select
SFNode Viewpoint
SFString UserID
MFVec3f AssociatedPoints[N]
]]
여기서, 위치 요소(position)는 BIFS(Binary Format for Scene) 설정인 BifsConfig에 규정된 3차원 스크린 좌표, 픽셀 또는 미터를 표현하는 SFVec3f(Single Field 3rd order Vector w/floating point representation) 타입일 수 있다.
또한, 변형 요소(Transform3D)는 이용자에 의해 의도된 기하학적 트랜스포메이션(geometrical transformation)을 표현하는 SFNode(Single Field Node) 타입일 수 있다.
또한, 선택 요소(Select)는 위치 요소에 의해 특정되는 신 오브젝트(scene object)가 이용자에 의해 선택되는 경우 참(true)을 나타내는 SFBool(Single Field Boolean) 타입일 수 있다.
또한, 시점 요소(Viewpoint)는 이용자에 의해 의도된 신의 시점을 표현하는 SFNode(Single Field Node) 타입일 수 있다.
또한, 이용자 식별 요소(UserID)는 각각의 이용자를 식별하는 스트링 변수(string variable)를 표현하는 SFString(Single Field String) 타입일 수 있다.
또한, 연관 포인트 요소(Associated Points)는 위치 요소와 연관된 추가적인 포인트들의 세트(set)를 표현하는 MFVec3f(Multiple Fields 3rd order Vectors w/floating point representation) 타입일 수 있다.
도 2a 내지 도 2c는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 설명하기 위한 도면이다.
도 2a를 참조하면, 일 실시예에 따른 인터페이싱 장치(220)는 시선 모달리티를 이용하여 포인팅 제어를 할 수 있다.
예를 들어, 인터페이싱 장치(220)는 이용자(210)의 시선을 감지함으로써, 디스플레이 중인 복수의 객체들 중 이용자(210)가 포인팅하고자 하는 객체(221)를 결정할 수 있다.
나아가, 인터페이싱 장치(220)는 이용자(210)가 포인팅된 객체(221)를 미리 정해진 시간(예를 들어, 3초)동안 지속적으로 주시하는 동작이나 빠르게 눈을 두 번 깜박이는 동작 등을 감지함으로써, 포인팅되고 있는 객체(221)가 선택되도록 신을 제어할 수 있다.
물론 전술한 동작들은 예시적인 사항들에 불과할 뿐, 인터페이싱 장치(220)에 의해 활용될 수 있는 멀티 모달리티의 구성을 한정하지 아니한다.
도 2b를 참조하면, 일 실시예에 따른 인터페이싱 장치(220)는 양 손 모달리티를 이용하여 트랜스포메이션 제어를 할 수 있다.
예를 들어, 인터페이싱 장치(220)는 이용자의 양 손(215)이 3차원 공간 상에서 움직이는 동작을 인식함으로써, 포인팅된 객체(221)를 이동, 회전, 확대 또는 축소시킬 수 있다.
이용자는 한 손으로 물건을 움켜쥐는 것과 같은 동작을 취할 수 있고, 인터페이싱 장치(220)는 이러한 동작을 인식함으로써 포인팅된 객체(221)를 선택할 수 있다.
또는, 이용자는 한 손으로 물건을 움켜쥐는 것과 같은 동작을 취한 이후, 그 손을 특정 방향으로 움직이는 동작을 취할 수 있다. 이 경우, 인터페이싱 장치(220)는 이러한 동작들을 인식함으로써 포인팅된 객체(221)를 해당 방향으로 이동시킬 수 있다.
또는, 이용자는 양 손으로 차량 운전대를 회전시키는 것과 같은 동작을 취할 수 있고, 인터페이싱 장치(220)는 이러한 동작을 인식함으로써 포인팅된 객체(221)를 회전시킬 수 있다.
또는, 이용자는 손목을 축으로 한 손을 회전시키는 동작을 취할 수 있고, 인터페이싱 장치(220)는 이러한 동작을 인식함으로써 포인팅된 객체(221)를 회전시킬 수 있다.
또는, 이용자는 양 손의 손바닥을 마주보게 하면서 양 손 사이의 간격을 좁히거나 벌리는 동작을 취할 수 있고, 인터페이싱 장치(220)는 이러한 동작을 인식함으로써 포인팅된 객체(221)를 축소시키거나 확대시킬 수 있다
물론 전술한 동작들은 예시적인 사항들에 불과할 뿐, 인터페이싱 장치(220)에 의해 활용될 수 있는 멀티 모달리티의 구성을 한정하지 아니한다.
이 때, 인터페이싱 장치(220)는 양 손 모달리티와 도 2a의 시선 모달리티를 함께 이용할 수 있다.
예를 들어, 인터페이싱 장치(220)는 도 2a의 시선 모달리티를 통해 이용자(210)의 시선을 감지하여 객체(221)를 포인팅하고, 양 손 모달리티를 통해 이용자의 양 손의 움직임을 인식하여 해당 객체(221)의 선택, 이동, 회전, 확대 또는 축소 등을 제어할 수 있다.
물론 전술한 동작들은 예시적인 사항들에 불과할 뿐, 인터페이싱 장치(220)에 의해 활용될 수 있는 멀티 모달리티의 구성을 한정하지 아니한다.
도 2c를 참조하면, 일 실시예에 따른 인터페이싱 장치(220)는 시선 모달리티와 음성 모달리티를 함께 이용하여 트랜스포메이션 제어를 할 수 있다.
예를 들어, 인터페이싱 장치(220)는 시선 모달리티를 통해 이용자(210)의 시선을 감지하여 객체(221)를 선택하고, 음성 모달리티를 통해 이용자(210)의 음성을 인식하여 해당 객체(221)의 선택, 이동, 회전, 확대 또는 축소 등을 제어할 수 있다.
물론 도 2a 내지 도 2c를 통하여 전술한 동작들은 예시적인 사항들에 불과할 뿐, 인터페이싱 장치(220)에 의해 활용될 수 있는 멀티 모달리티의 구성을 한정하지 아니한다.
도 3a 내지 도 3b는 일 실시예에 따른 이용자 맞춤 파라미터를 이용하는 인터페이싱 장치를 나타낸 블록도이다.
도 3a를 참조하면, 일 실시예에 따른 인터페이싱 장치(300)는 이용자 맞춤 파라미터(user customization parameter) 획득부(340)를 더 포함할 수 있다. 여기서, 신 파라미터 획득부(310), 멀티 모달리티 인식부(320), 및 신 제어 정보 생성부(330)에는 도 1을 통하여 기술한 사항들이 그대로 적용될 수 있다.
이용자 맞춤 파라미터 획득부(340)는 이용자 맞춤 파라미터를 획득할 수 있다.
여기서, 이용자 맞춤 파라미터는 특정 이용자에 대응하여, 미리 정해진 복수의 신의 제어 양상들을 해당 이용자의 선호도에 따른 모달리티들로 매핑하는 매핑 정보를 포함할 수 있다.
표 2를 참조하면, 미리 정해진 복수의 신의 제어 양상들은 포인팅, 선택, 이동, 회전, 확대, 축소, 시점 변경 등을 포함할 수 있다.
Figure pat00001
예를 들어, 인터페이싱 장치(300)가 이용자 A에 대응되는 제1 이용자 맞춤 파라미터를 획득하는 경우를 가정하자. 이 경우, 제1 이용자 맞춤 파라미터는 이용자 A에 의해 선호되는 모달리티 또는 모달리티의 조합으로 신을 제어할 수 있도록 하는 매핑 정보를 포함할 수 있다.
보다 구체적으로, 제1 이용자 맞춤 파라미터는 신에 포함된 객체의 포인팅 제어를 위하여 시선 모달리티를 이용하고, 선택 제어를 위하여 눈의 깜박임 모달리티를 이용하며, 이동 제어, 회전 제어, 스케일링 제어 및 시점 변경 제어를 위하여 음성 모달리티를 이용한다는 매핑 정보를 포함할 수 있다.
제1 이용자 맞춤 파라미터는 이용자 A에 의해 사전에 설정될 수 있고, 인터페이싱 장치(300)는 이러한 이용자 A에 특화된 파라미터를 획득함으로써 이용자 A에 특화된 유저 인터페이스를 제공할 수 있다.
또한, 인터페이싱 장치(300)가 이용자 B에 대응되는 제2 이용자 맞춤 파라미터를 획득하는 경우를 가정하자. 이 경우, 제2 이용자 맞춤 파라미터는 이용자 B에 의해 선호되는 모달리티 또는 모달리티의 조합으로 신을 제어할 수 있도록 하는 매핑 정보를 포함할 수 있다.
이 경우, 제2 이용자 맞춤 파라미터는 제1 이용자 맞춤 파라미터와 상이한 매핑 정보를 포함할 수 있다. 예를 들어, 제2 이용자 맞춤 파라미터는 신에 포함된 객체의 포인팅 제어를 위하여 손가락 끝 모달리티를 이용하고, 선택 제어를 위하여 손의 움켜쥠 등 손 동작 모달리티를 이용하며, 이동 제어를 위하여 손의 이동 등 손 동작 모달리티를 이용하고, 회전 동작을 위하여 손의 회전 등 손 동작 모달리티를 이용하며, 스케일링 제어를 위하여 음성 모달리티를 이용하고, 시점 변경 제어를 위하여 스크린을 기준으로 하는 이용자의 머리의 상대적 위치 등 머리 위치 모달리티를 이용한다는 매핑 정보를 포함할 수 있다.
마찬가지로 제2 이용자 맞춤 파라미터는 이용자 B에 의해 사전에 설정될 수 있고, 인터페이싱 장치(300)는 이러한 이용자 B에 특화된 파라미터를 획득함으로써 이용자 B에 특화된 유저 인터페이스를 제공할 수 있다.
신 제어 정보 생성부(330)는 이용자 맞춤 파라미터 획득부(340)에 의해 획득된 이용자 맞춤 파라미터에 기초하여, 멀티 모달리티 인식부(320)에 의해 인식되는 적어도 두 개의 모달리티 입력들을 해석할 수 있다.
이로 인하여, 일 실시예에 따른 인터페이싱 장치(300)는 동일한 모달리티 입력들이 인식되더라도, 이용자 맞춤 파라미터에 따라 상이한 신 제어 정보를 생성할 수 있다.
도면에 표시하지는 않았으나, 다른 실시예에 따른 인터페이싱 장치(300)는 식별부를 더 포함할 수 있다.
이 경우, 식별부는 인터페이싱 장치(300)를 이용하는 이용자를 식별할 수 있다. 식별부가 이용자를 식별하는 방식은 다양하게 구현될 수 있다. 예를 들어, 식별부는 이용자의 로그인 정보를 이용하여 이용자를 식별할 수 있다. 또는, 식별부는 이용자의 얼굴, 홍채, 지문 등 생체 정보를 활용하여 이용자를 식별할 수 있다.
이용자 맞춤 파라미터 획득부(340)는 식별부에 의해 식별된 이용자에 대응되는 이용자 맞춤 파라미터를 획득할 수 있다. 경우에 따라, 이용자 맞춤 파라미터 획득부(340)는 유선 네트워크 또는 무선 네트워크를 통해 접속 가능한 서버로부터 이용자 맞춤 파라미터를 획득할 수 있다.
이로 인하여, 일 실시예에 따른 인터페이싱 장치(300)가 이용되는 시스템 하에서, 이용자들은 자신만의 인터페이싱 설정을 다양한 환경에서 동일하게 이용할 수 있다.
예를 들어, 이용자 C는 회사에서 프리젠테이션을 위한 제1 인터페이싱 장치를 이용하고, 집에서 영화 감상을 위한 제2 인터페이싱 장치를 이용하며, 차 내에서 네비게이션 조작을 위한 제3 인터페이싱 장치를 이용할 수 있다.
일 실시예에 따르면, 제1 인터페이싱 장치, 제2 인터페이싱 장치, 및 제3 인터페이싱 장치는 각각 이용자 C를 식별하고, 이용자 C에 특화된 이용자 설정 파라미터를 이용할 수 있다. 따라서, 이용자 C는 자신에게 최적화된 입력 방식을 이용하여, 다양한 인터페이싱 장치들을 동일한 방식으로 조작할 수 있다.
이로 인하여, 일 실시예에 따른 인터페이싱 장치는 이용자가 선호하는 유저 인터페이스 동작을 커스터마이즈(customize)하고, 다양한 신에 필요한 명령을 자동으로 생성하는 기술을 제공할 수 있다. 그 결과, 이용자는 다양한 신 또는 다양한 환경에서 매번 필요한 동작 종류를 인식할 필요 없이, 이용자에게 익숙한 동작을 취함으로써 원하는 조작을 수행할 수 있다.
이를 위하여, 도 3b를 참조하면, 일 실시예에 따른 신 제어 정보 생성부(330)는 모달리티 선택부를 포함할 수 있다.
모달리티 선택부는 이용자 맞춤 파라미터 획득부(340)에 의해 획득된 이용자 맞춤 파라미터를 이용하여 포인팅 용 모달리티, 트랜지션 용 모달리티, 로테이션 용 모달리티, 스케일링 용 모달리티, 및 셀렉트 용 모달리트 등을 선택할 수 있다.
나아가, 신 제어 정보 생성부는 모달리티 선택부에 의해 선택된 포인팅 용 모달리티, 트랜지션 용 모달리티, 로테이션 용 모달리티, 스케일링 용 모달리티, 및 셀렉트 용 모달리티에 따라 모달리티 입력들을 해석할 수 있다.
도 4는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 시스템을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 인터페이싱 장치(410)는 신 표현 장치(420) 및 이용자(430) 사이에서 유저 인터페이스를 제공할 수 있다. 이하, 인터페이싱 장치(410)는 이용자(430)의 스마트 폰인 경우를 가정하자.
예를 들어, 인터페이싱 장치(410)는 제1 카메라(411), 제2 카메라(413), 블루투스 트랜시버(412), 마이크(414), 인터넷 통신부(415), 및 제어부(416)를 포함할 수 있다.
인터페이싱 장치(410)는 제1 카메라(411)를 이용하여 신 표현 장치(420)의 위치를 파악하고, 제2 카메라(412)를 이용하여 이용자(430)의 위치를 파악할 수 있다. 나아가, 인터페이싱 장치(410)는 신 표현 장치(420)와 이용자(430) 사이의 상대적인 위치를 계산할 수 있다.
경우에 따라, 인터페이싱 장치(410)는 제2 카메라(412)를 이용하여 이용자(430)의 얼굴 위치를 인식하고, 그 정보를 신 표현 장치(420)로 전송할 수 있다. 이러한 정보에 기초하여, 신 표현 장치(420)는 이용자(430)에게 입체 영상을 제공하기 위한 패럴렉스 배리어(parallex barrier) 동작 등을 수행할 수 있다.
이 때, 인터페이싱 장치(410)는 블루투스 트랜시버(412)를 이용하여 신 표현 장치(420)와 데이터를 주고 받을 수 있다. 물론 인터페이싱 장치(410)는 블루투스 기법 이외에도 다양한 근거리 통신(near filed communication) 기법을 이용할 수 있다. 도면에 도시하지 않았으나, 다른 실시예에 따른 인터페이싱 장치(410)는 클라우딩 환경을 통하여 신 표현 장치(420)와 데이터를 주고 받을 수 있다.
또한, 인터페이싱 장치(410)는 제2 카메라(413)를 이용하여 이용자(430)의 시선을 인식하거나, 이용자(430)의 손 동작 등을 인식할 수 있다. 인터페이싱 장치(410)는 마이크(414)를 이용하여 이용자(430)의 음성을 인식할 수 있다.
이 때, 인터페이싱 장치(410)는 제2 카메라(413)를 이용하여 이용자(430)를 식별하고, 식별된 이용자(430)에 대응되는 이용자 맞춤 파라미터를 원격에 위치된 서버(440)로부터 수신할 수 있다. 인터페이싱 장치(410)는 인터넷 통신부(415)를 이용하여 서버(440)에 접속할 수 있다.
제어부(416)는 전술한 동작들을 제어할 수 있다. 특히, 제어부(416)는 이용자 맞춤 파라미터에 따라 이용자(430)의 모달리티 입력들을 해석하고, 신 제어 정보를 생성할 수 있다.
인터페이싱 장치(410)는 생성된 신 제어 정보를 신 표현 장치(420)로 전송할 수 있다. 신 표현 장치(420)는 신 제어 정보에 기초하여 신에 포함된 객체 또는 신 자체의 시점 등을 제어할 수 있다.
이 때, 인터페이싱 장치(410)는 지속적으로 센싱 데이터 또는 인식 결과를 신 표현 장치(420)로 전송하는 대신, 신 표현 장치(420)가 신을 제어하는데 필요한 제어 정보를 생성하여 해당 정보만을 전송할 수 있다. 이로 인하여, 인터페이싱 장치(410)는 유저 인터페이스를 제공하기 위해 송수신되는 데이터의 양을 최적화시키는 기술을 제공할 수 있다.
도 4에 도시된 각 모듈들에는 도 1 내지 도 3b를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 5는 일 실시예에 따른 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 인터페이싱 방법은 멀티 모달리티를 활용한 유저 인터페이스를 제공할 수 있다.
예를 들어, 일 실시예에 따른 인터페이싱 방법은 단계(510)에서 신과 관련된 정보를 포함하는 신 파라미터를 획득할 수 있다. 인터페이싱 방법은 단계(520)에서 이용자로부터 입력되는 적어도 두 개의 모달리티 입력들을 인식할 수 있다. 인터페이싱 방법은 단계(540)에서 신 파라미터 및 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보를 생성할 수 있다.
경우에 따라, 인터페이싱 방법은 단계(530)에서 이용자 맞춤 파라미터를 획득할 수 있다. 이 경우, 인터페이싱 방법은 단계(540)에서 이용자 맞춤 파라미터에 기초하여 이용자로부터 입력되는 적어도 두 개의 모달리티 입력들을 해석할 수 있다.
도 5에 도시된 각 단계들에는 도 1 내지 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치에 있어서,
    신(scene)과 관련된 정보를 포함하는 신 파라미터(scene parameter)를 획득하는 신 파라미터 획득부;
    상기 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식하는 멀티 모달리티 인식부; 및
    상기 신 파라미터 및 상기 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보(scene control information)를 생성하는 신 제어 정보 생성부
    를 포함하는 인터페이싱 장치.
  2. 제1항에 있어서,
    상기 신 파라미터는
    상기 신에 포함된 적어도 하나의 객체(object)의 크기와 관련된 파라미터;
    상기 적어도 하나의 객체의 위치와 관련된 파라미터;
    상기 적어도 하나의 객체의 이동 제어와 관련된 파라미터;
    상기 적어도 하나의 객체의 회전 제어와 관련된 파라미터;
    상기 적어도 하나의 객체의 스케일 제어와 관련된 파라미터; 및
    상기 신의 시점과 관련된 파라미터
    중 적어도 하나를 포함하는 인터페이싱 장치.
  3. 제1항에 있어서,
    상기 멀티 모달리티 인식부는
    이용자의 시선을 인식하는 시선 인식부;
    이용자의 손가락 끝을 인식하는 손가락 끝 인식부;
    이용자의 손 자세를 인식하는 손 자세 인식부;
    이용자의 손 동작을 인식하는 손 동작 인식부; 및
    이용자의 음성을 인식하는 음성 인식부
    중 적어도 하나를 포함하는 인터페이싱 장치.
  4. 제1항에 있어서,
    상기 신 제어 정보는
    상기 신 내 특정 위치와 관련된 정보를 포함하는 위치 요소;
    상기 특정 위치에 위치하는 객체의 변형과 관련된 정보를 포함하는 변형 요소;
    상기 특정 위치에 위치하는 객체의 선택 여부와 관련된 정보를 포함하는 선택 요소;
    상기 신의 시점과 관련된 정보를 포함하는 시점 요소;
    이용자를 식별하는 식별자와 관련된 정보를 포함하는 이용자 식별 요소; 및
    상기 특정 위치와 연관된 복수의 포인트들과 관련된 정보를 포함하는 연관 포인트 요소
    중 적어도 하나를 포함하는 인터페이싱 장치.
  5. 제1항에 있어서,
    이용자 맞춤 파라미터(user customization parameter)를 획득하는 이용자 맞춤 파라미터 획득부
    를 더 포함하고,
    상기 신 제어 정보 생성부는
    상기 이용자 맞춤 파라미터에 기초하여 상기 적어도 두 개의 모달리티 입력들의 조합을 해석하는 해석부
    를 포함하는 인터페이싱 장치.
  6. 제5항에 있어서,
    상기 이용자 맞춤 파라미터는
    특정 이용자에 대응하여, 미리 정해진 복수의 신의 제어 양상들 각각을 상기 특정 이용자의 선호도에 따라 복수의 모달리티 입력들 중 어느 하나 또는 상기 복수의 모달리티 입력들로부터 선택 가능한 둘 이상의 조합으로 매핑하는 매핑 정보
    를 포함하는 인터페이싱 장치.
  7. 제5항에 있어서,
    이용자를 식별하는 이용자 식별부
    를 더 포함하고,
    상기 이용자 맞춤 파라미터 획득부는 상기 식별된 이용자에 대응되는 이용자 맞춤 파라미터를 획득하는 인터페이싱 장치.
  8. 제1항에 있어서,
    상기 멀티 모달리티 인식부는 센서를 통해 입력된 센서 데이터를 수신하고, 수신된 센서 데이터에 기초하여 상기 적어도 두 개의 모달리티 입력들을 인식하는 인터페이싱 장치.
  9. 제1항에 있어서,
    상기 신을 표현(representation)하는 신 표현 장치와 통신하는 통신부
    를 더 포함하고,
    상기 신 파라미터 획득부는 상기 통신부를 이용하여 상기 신 표현 장치로부터 상기 신 파라미터를 수신하며,
    상기 신 제어 정보 생성부는 상기 통신부를 이용하여 상기 신 제어 정보를 상기 신 표현 장치로 송신하는 인터페이싱 장치.
  10. 제9항에 있어서,
    상기 신 표현 장치는 상기 신 제어 정보에 기초하여 상기 신을 제어하고, 상기 제어된 신을 표현하는 인터페이싱 장치.
  11. 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 방법에 있어서,
    신과 관련된 정보를 포함하는 신 파라미터를 획득하는 단계;
    상기 신을 제어하기 위한 적어도 두 개의 모달리티 입력들을 인식하는 단계; 및
    상기 신 파라미터 및 상기 적어도 두 개의 모달리티 입력들에 기초하여 신 제어 정보를 생성하는 단계
    를 포함하는 인터페이싱 방법.
  12. 제11항에 있어서,
    이용자 맞춤 파라미터를 획득하는 단계
    를 더 포함하고,
    상기 신 제어 정보를 생성하는 단계는
    상기 이용자 맞춤 파라미터에 기초하여 상기 적어도 두 개의 모달리티 입력들을 해석하는 단계
    를 포함하는 인터페이싱 방법.
  13. 제12항에 있어서,
    상기 이용자 맞춤 파라미터는
    특정 이용자에 대응하여, 복수의 모달리티 입력들 각각 또는 상기 복수의 모달리티 입력들로부터 선택 가능한 조합 중 적어도 하나를 신의 제어 양상으로 매핑하는 매핑 정보
    를 포함하는 인터페이싱 방법.
  14. 제11항에 있어서,
    상기 신 제어 정보는
    상기 신 내 특정 위치와 관련된 정보를 포함하는 위치 요소;
    상기 특정 위치에 위치하는 객체의 변형과 관련된 정보를 포함하는 변형 요소;
    상기 특정 위치에 위치하는 객체의 선택 여부와 관련된 정보를 포함하는 선택 요소;
    상기 신의 시점과 관련된 정보를 포함하는 시점 요소;
    이용자를 식별하는 식별자와 관련된 정보를 포함하는 이용자 식별 요소; 및
    상기 특정 위치와 연관된 복수의 포인트들과 관련된 정보를 포함하는 연관 포인트 요소
    중 적어도 하나를 포함하는 인터페이싱 방법.
  15. 제11항에 있어서,
    상기 적어도 두 개의 모달리티 입력들을 인식하는 단계는
    이용자의 시선을 인식하는 단계;
    이용자의 손가락 끝을 인식하는 단계;
    이용자의 손 자세를 인식하는 단계;
    이용자의 손 동작을 인식하는 단계; 및
    이용자의 음성을 인식하는 단계
    중 적어도 하나를 포함하는 인터페이싱 방법.
  16. 제11항에 있어서,
    상기 신 파라미터는
    상기 신에 포함된 적어도 하나의 객체의 크기와 관련된 파라미터;
    상기 적어도 하나의 객체의 위치와 관련된 파라미터;
    상기 적어도 하나의 객체의 이동 제어와 관련된 파라미터;
    상기 적어도 하나의 객체의 회전 제어와 관련된 파라미터;
    상기 적어도 하나의 객체의 스케일 제어와 관련된 파라미터; 및
    상기 신의 시점과 관련된 파라미터
    중 적어도 하나를 포함하는 인터페이싱 방법.
  17. 제11항 내지 제16항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130067516A 2012-10-09 2013-06-13 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법 Active KR102156175B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/046,017 US10133470B2 (en) 2012-10-09 2013-10-04 Interfacing device and method for providing user interface exploiting multi-modality

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261711359P 2012-10-09 2012-10-09
US61/711,359 2012-10-09
US201261713822P 2012-10-15 2012-10-15
US61/713,822 2012-10-15

Publications (2)

Publication Number Publication Date
KR20140045865A true KR20140045865A (ko) 2014-04-17
KR102156175B1 KR102156175B1 (ko) 2020-09-15

Family

ID=50653132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130067516A Active KR102156175B1 (ko) 2012-10-09 2013-06-13 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법

Country Status (1)

Country Link
KR (1) KR102156175B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016399A (ko) * 2014-06-06 2017-02-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 향상된 음성 인식을 돕기 위한 시각적 컨텐츠의 변형
CN119206376A (zh) * 2024-11-25 2024-12-27 蓝卓数字科技有限公司 基于多模态大模型的ui效果图识别方法、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001100A1 (en) * 2002-06-27 2004-01-01 Alcatel Method and multimode user interface for processing user inputs
KR20110052431A (ko) * 2009-11-11 2011-05-18 한국전자통신연구원 디바이스 협업을 통한 실감 방송 구현 방법 및 이를 위한 실감 방송 시스템
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001100A1 (en) * 2002-06-27 2004-01-01 Alcatel Method and multimode user interface for processing user inputs
KR20110052431A (ko) * 2009-11-11 2011-05-18 한국전자통신연구원 디바이스 협업을 통한 실감 방송 구현 방법 및 이를 위한 실감 방송 시스템
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016399A (ko) * 2014-06-06 2017-02-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 향상된 음성 인식을 돕기 위한 시각적 컨텐츠의 변형
CN119206376A (zh) * 2024-11-25 2024-12-27 蓝卓数字科技有限公司 基于多模态大模型的ui效果图识别方法、系统及介质

Also Published As

Publication number Publication date
KR102156175B1 (ko) 2020-09-15

Similar Documents

Publication Publication Date Title
US11119581B2 (en) Displacement oriented interaction in computer-mediated reality
JP6702489B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
US10120454B2 (en) Gesture recognition control device
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US20140240225A1 (en) Method for touchless control of a device
US10133470B2 (en) Interfacing device and method for providing user interface exploiting multi-modality
CN102779000B (zh) 一种用户交互系统和方法
US20200142495A1 (en) Gesture recognition control device
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN104081307A (zh) 图像处理装置、图像处理方法和程序
WO2014016992A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
KR20140001167A (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20120086266A (ko) 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
JP7823171B2 (ja) 物理オブジェクトとのユーザインタフェースに向けられた対話を管理するための方法及びデバイス
US20160117077A1 (en) Multi-Depth-Interval Refocusing Method and Apparatus and Electronic Device
KR20170109077A (ko) 정보 처리 장치 및 기록 매체
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN106909219B (zh) 基于三维空间的交互控制方法和装置、智能终端
WO2023069591A1 (en) Object-based dual cursor input and guiding system
KR102156175B1 (ko) 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
EP4720814A1 (en) System, method, and computer program for controlling a user interface
CN102985894B (zh) 第一响应和第二响应

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6