KR20150084792A - 상호 작용 모드 선택 방법 - Google Patents

Abstract

본 발명은 적어도 2개의 사용 가능한 모드 중에서 사용자 및 디지털 렌더링 장치 사이의 상호 작용 모드를 선택하는 선택 방법에 관한 것으로, 상기 디지털 렌더링 장치는 사용자에 의해 수행된 제스처를 나타내는 적어도 하나의 정보를 획득하는 수단을 포함하고, 상기 제스처는 적어도 하나의 사지(四肢, limb) 또는 사지의 적어도 하나의 부분에 의해 수행되고, 상기 선택 방법은, - 상기 제스처를 수행하는데 사용되는 사지 또는 사지의 부분의 개수를 획득하는 단계; 및 - 상기 개수가 제1 미리 정해진 값을 초과하면, 상기 적어도 2개의 사용 가능한 모드 중에서 제1 상호 작용 모드를 선택하는 단계;와 - 상기 개수가 제2 미리 정해진 값 이하이면, 상기 적어도 2개의 사용 가능한 모드 중에서 제2 상호 작용 모드를 선택하는 단계를 포함한다.

Description

상호 작용 모드 선택 방법{METHOD OF SELECTING INTERACTIVITY MODE}

본 발명은 사용자와 디지털 정보 렌더링 장치 사이 또는 정보 재생 장치 사이의 인터페이스 분야에 관한 것이다. 더욱 상세하게는, 본 발명은 사용자와 디지털 정보 렌더링 장치 사이의 상호 작용에 관한 것이다. 전통적으로, 본 발명에 의해 주어진 의미 내에서 디지털 정보 렌더링 장치는 컴퓨터, 스마트폰, 디지털 태블릿 또는 텔레비전인 것으로 이해될 수 있다.

많은 디지털 정보 렌더링 장치가 알려져 있다. 또한, 이러한 장치와 사용자 사이의 상호 작용에 대한 많은 알려진 기술이 있다. 예를 들어, 컴퓨터에 대하여, 가장 알려진 상호 작용 수단은 마우스와 키보드의 사용이다. 인간/기계 인터페이스를 이용하여, 사용자는 키보드의 키를 사용하는 것뿐만 아니라 마우스를 이동하여 작동시키는 것에 의해 자신의 컴퓨터에 설치된 소프트웨어 애플리케이션과 상호 작용할 수 있다. 키보드/마우스/스크린의 3종의 사용은 일반적인 것으로 되어 와서, 이는 인간과 기계 사이의 상호 작용 도구에 대한 기준이다.

그러나, 가정용 컴퓨터 시장은 스마트폰과 디지털 태블릿과 같은 신세대 단말기의 마케팅 및 성공에 의해 극심하게 영향을 받았다. 사용자가 이러한 단말기를 폭넓게 채택하여, 모든 다른 단말기의 사용에 대한 재정의를 가져왔다. 이제 컴퓨터 사용의 필요성은 몇몇 특정 작업에 한정되었고, 스마트폰과 태블릿은 협의(메일, 문서 등), 게임 및 명백히 여전히 미미한 일부 편집 작업을 위하여 모든 사람에 의해 사용되고 있다.

사실, 디지털 태블릿과 스마트폰에 의해 제기되는 문제점 중 하나는 이를 성공적으로 만드는 특징, 즉 촉각 인터페이스에 실제로 관련된다. 촉각 인터페이스는 스마트폰과 태블릿의 사용을 대중화하였다: 사용의 용이성, 손가락 끝의 사용, 인터페이스 및 애플리케이션의 단순화는 이러한 단말기의 성공에 크게 기여하여 왔다.

그러나, 기계와의 촉각 인터페이스는 본질적으로 상호 작용의 제한이라는 문제점을 제기한다. 사실, 키보드와 마우스를 이용하여, 기계와의 상호 작용의 많은 가능성이 있다. 더욱 특별하게는, 애플리케이션과의 상호 작용에 대한 많은 가능성이 있다: 예를 들어, 마우스의 왼쪽 클릭, 오른쪽 클릭, 마우스 휠, 키보드의 키 의 조합, 마우스와의 키보드 조합의 공동 사용 등. 상호 작용의 이러한 모든 가능성은 달성되어야 하는 동작이나 작업을 용이하게 하거나 가속하기 위하여 사용자에게 솔루션을 제공한다. 예를 들어, 복사와 붙여넣기 기능의 사용은 "Ctrl+C"와 "Ctrl+V"와 같은 일반적인 단축키에 의해 단순화된다. 마우스 휠의 사용은 아래에서 위로 그리고 위에서 아래로 편집 스크린을 스크롤한다.

대조적으로, 촉각 인터페이스의 사용은 본질적으로 제한된다. 특히 소정의 동작을 하기 위하여 사용자가 2 이상의 손가락을 사용하게 하는 멀티-터치 기술로서 알려진 기술의 사용으로, 진보가 이루어져 왔지만, 손가락의 사용은 다음의 몇 개의 제스처로 제한된다: 왼쪽, 오른쪽, 위, 아래, 회전, 선택 등(또한, 이 양태는 이의 성공에 대한 이유의 일부이다).

이것은 여러 방식으로 설명될 수 있다: 한편, 먼저, 전문가가 "직접 처리(direct handling)" 및 "간접 처리(indirect handling)"라고 하는 것을 통하여, 다음으로, 터치 제스처를 기억하는 것에 대한 복잡성을 통하여.

직접 처리 및 간접 처리는 단말기 또는 애플리케이션과 상호 작용하는 것이 가능한 방식에 관련된다. 직접 처리에서, 사용자에 의해 이루어진 모션이나 그림은 스크린에 디스플레이된 요소와 상호 작용하는 역할을 한다. 직접 처리의 예는, 예를 들어, 스마트폰과 태블릿에서 수행될 수 있는 바와 같이, 오른쪽에서 왼쪽으로 또는 왼쪽에서 오른쪽으로 스크린을 스크롤하기 위한 손가락의 사용이다. 반대로, 간접 처리에서, 사용자에 의해 이루어질 그림 또는 모션은 (객체를 문서로 삽입하기, 문서를 열기 등을 위하여) 명령을 하는 역할을 한다. 이 사용 모드는 범용 소비자에 의해 사용되는 종래의 단말기에서는 매우 드물다.

또한, 사용 가능한 터치 스크린이 있을 때, 한 모드에서 다른 모드로의 이동은 쉽지 않다. 종종, 개발자는 예를 들어 단말기 상의 물리적 버튼의 제공 또는 터치 스크린 상의 버튼의 제공인 한 모드로부터 다른 모드로 이동하기 위한 팁을 제안한다. 한 모드로부터 다른 모드로 이동하기 위하여, 사용자는 장치나 장치의 스크린 상의 이러한 추가 버튼을 터치하여야만 하며, 이는 사용자 친화적이지도 않고 실용적이지도 않다. 또한, 대부분의 종래의 장치는 불필요한 물리적 버튼을 제거하여 단지 하나의 버튼(온/오프)만을 남기는 경향이 있다.

촉각 인터페이스에 관한 다른 문제점은 소정 개수의 제스처 및 형상을 저장할 필요에 관한 것이다. 사실, 소정의 제스처는 두드러지게 간단하고 사용자 부분에서의 기억의 노력을 거의 필요로 하지 않는다. 반면, 다른 제스처는, 특히 기억되어야 할 제스처의 전체 개수가 클 때, 기억하기에는 실질적으로 더 복잡하다. 대략 20개의 제스처를 넘어서면 표준 사용자는 기계와의 상호 작용을 가능하게 하는 제스처를 더 이상 정확하게 기억할 수 없으나, 반면 형상 기억 엔진(애플리케이션이나 운영체제로 통합됨)은 이러한 개수의 제스처 이상으로 잘 동작할 수 있다. 이것은 처음의 팜 파일럿(Palm Pilot) 타입의 PDA(personal digital assistant)가 요즈음의 단말기에 비하여 상대적으로 덜 성공한 이유이다. 사실, 그때에는 보수적인 추측으로도 대략 50개의 제스처를 나타낸 숫자와 알파벳 문자뿐만 아니라 다른 일반적인 부호를 쓰는데 요구되는 모든 제스처를 기억하기 위한 대응표를 사용하는 것이 필수적이었다. 이 대신에, 이 문제점은 키보드에 글자를 그리는 대신에 사용자가 자신의 손가락(또는 알맞은 손가락)으로 클릭할 수 있게 하는 가상 키보드의 사용을 통해 해결되었다. 역설적으로, 일부가 실제로 양호하게 작동하는 많은 형상 인식 엔진이 있지만, 이는 이러한 형상 인식 엔진의 사용을 제한하는 인적 인자이다.

여기에서, 요즈음의 촉각 단말기가 제한되는 다음의 이유가 이해될 수 있다: 사용을 간단하게 하려고 너무 노력함으로써, 개발자는 기계와의 상호 작용의 상당한 가능성을 제한하였다. 현재, 매우 유명한 Microsoft™의 Kinect™와 같은 스테레오 카메라에서 동일한 문제가 상호 작용에 대하여 직면되고 있다.

본 발명은 종래 기술의 이러한 단점을 가지지 않는다. 본 발명은 촉각 표면, 스테레오 카메라 등을 이용하여 사용자와 기계 사이의 상호 작용을 제한하지 않는 것을 가능하게 하는 방법 및 시스템을 제안한다.

본 발명은, 예를 들어, 직접 처리로부터 간접 처리로의 간단한 이동 방법을 제안한다. 또한, 본 발명은 촉각 표면을 이용하여 형상을 학습하는 간단한 방법을 제안한다.

더욱 구체적으로는, 본 발명은 적어도 2개의 사용 가능한 모드 중에서 사용자 및 디지털 렌더링 장치 사이의 상호 작용 모드를 선택하는 방법에 관한 것으로, 상기 디지털 렌더링 장치는 사용자에 의해 수행된 제스처를 나타내는 적어도 하나의 정보를 획득하는 수단을 포함하고, 상기 제스처는 적어도 하나의 사지(四肢, limb) 또는 사지의 적어도 하나의 부분에 의해 수행된다.

본 발명에 따르면, 상기 방법은,

- 상기 제스처를 수행하는데 사용되는 사지 또는 사지의 부분의 개수를 획득하는 단계; 및

- 상기 개수가 제1 미리 정해진 값을 초과할 때, 상기 적어도 2개의 사용 가능한 모드 중에서 제1 상호 작용 모드를 선택하는 단계;와

- 상기 개수가 제2 미리 정해진 값 이하일 때, 상기 적어도 2개의 사용 가능한 모드 중에서 제2 상호 작용 모드를 선택하는 단계

를 포함한다.

하나의 특정 특징에 따라, 상기 렌더링 단말기는 촉각 인터페이스를 포함하고, 상기 적어도 하나의 사지는 손이며, 상기 사지의 적어도 하나의 부분은 손가락이다.

하나의 특정 특징에 따라, 상기 렌더링 단말기는 스테레오 카메라를 포함하고, 상기 적어도 하나의 사지는 팔이고, 상기 적어도 하나의 사지의 부분은 손이다.

하나의 특정 특징에 따라, 상기 제1 미리 정해진 값은 상기 제2 미리 정해진 값과 동일하고, 상기 제1 미리 정해진 값은 1이다.

또한, 본 발명은, 적어도 하나의 실시예에서, 제스처를 인식하는 커스터마이즈된 방법에 관한 것이다. 본 발명에 따라, 이러한 방법은 다음의 단계들을 포함한다:

- 사용자에 의한 제스처의 그리기 및 스크린에서 그림의 디스플레이;

- 그리기의 종료시에, 미리 정해진 시간 경과 후에(또는 스크린으로부터 사용자의 손가락의 제거에 이어), 인식 엔진에 의해 인식된 형상의 디스플레이;

- 제스처와 관련된 커맨드의 종류에 따라 - 객체의 삽입과 같이 이것이 즉각적이면 - 동작은 이 단계에서 수행될 것이다.

- 시각적 피드백 데이터라 불리는 사용자에 의해 이루어지는 그리기의 종료 근처의 영역에서 인식된 형상을 나타내는 데이터를 디스플레이.

- 미리 정해진 기간 동안 확인 시간 카운터를 초기화:

- 본 발명의 본 실시예에서, 확인 시간 카운터는 인식된 형상을 설명하는 아이콘이나 문자일 수 있는 인식된 형상을 나타내는 데이터의 점진적인 삭제를 수행하도록 구현된다.

- 상기 카운터에 의해 정의된 시간의 경과 후에 어떠한 동작도 발생하지 않을 때, 인식된 형상은 확인된다.

- 이것이 "지연된 실행" 종류라면, 인식된 제스처와 관련된 커맨드가 이 단계에서 이루어질 것이다.

- 상기 카운터에 의해 정의된 기간의 경과 전에 동작이 발생할 때, 보정 메커니즘을 구현한다.

본 발명은, 적어도 하나의 실시예에서, 인식된 제스처를 보정하는 방법에 관한 것이다. 이 방법은,

- 보정 메커니즘을 초기화하는 단계;

- 가능한 제스처의 리스트를 디스플레이하는 단계;

- 제스처 리스트에서 제스처를 선택하는단계;

- 인식 엔진에 의해 이루어질 동작(제스처를 무시하거나 새로운 그림으로부터 학습하는 것)을 디스플레이하는 단계.

전술한 상이한 실시예들은 본 발명을 구현하기 위하여 서로 결합될 수 있다.

바람직한 구현예에 따라, 본 발명에 따른 방법의 상이한 단계들은 소프트웨어 프로그램 또는 컴퓨터 프로그램에 의해 구현되고, 이 소프트웨어는 본 발명에 따른 릴레이 모듈의 데이터 프로세서에 의한 실행을 위해 의도된 소프트웨어 명령어를 포함하고, 본 방법의 상이한 단계들의 실행을 명령하도록 설계된다.

결과로서, 본 발명은 컴퓨터에 의해 또는 데이터 프로세서에 의해 실행될 수 있는 프로그램을 제공하는 것도 목적으로 하며, 이 프로그램은 전술한 방법의 단계들의 실행을 명령하기 위한 명령어를 포함한다.

이 프로그램은 임의의 프로그램 언어를 어떤 것이든지 이용할 수 있고, 소스 코드, 오브젝트 코드, 또는 예를 들어 부분적으로 컴파일된 형태와 같은 소스 코드와 오브젝트 코드 사이의 중간 코드의 형태를 가지거나, 임의의 다른 바람직한 형태를 어떤 것이든지 가질 수 있다.

또한, 본 발명은 데이터 프로세서에 의해 판독가능하고 전술한 바와 같은 프로그램의 명령어를 포함하는 정보 캐리어를 제공하는 것을 목적으로 한다.

정보 캐리어는 프로그램을 저장할 수 있는 임의의 엔티티 또는 장치라면 어떠한 것일 수 있다. 예를 들어, 캐리어는 예를 들어 CD ROM이나 마이크로 전자회로 ROM인 ROM이나, 예를 들어 플로피 디스크나 하드 디스크 드라이브인 자기 기록 수단과 같은 저장 수단을 포함할 수 있다.

아울러, 정보 캐리어는 전기 또는 광 케이블을 통해 무선이나 다른 수단에 의해 운송될 수 있는 전기 또는 광 신호와 같은 전송 가능한 캐리어일 수 있다. 본 발명에 따른 프로그램은 특히 인터넷 타입의 네트워크로 업로드될 수 있다.

이 대신에, 정보 캐리어는 프로그램이 편입되는 집적 회로 보드일 수 있고, 회로는 논의가 되는 방법의 실행에서 실행되거나 사용되도록 조정된다.

본 발명의 다른 특성 및 특성은 간단하고 예시적인 비제한적 예로서 제공되는 바람직한 실시예에 대한 이어지는 설명과 다음의 첨부된 도면으로부터 더욱 명확하게 될 것이다:
- 도 1은 본 발명을 구현하는 애플리케이션의 예시를 제공한다;
- 도 2는 직접 제어 모드로부터 간접 제어 모드로의 이동을 예시한다;
- 도 3, 4 및 5는 직접 처리 모드에서 객체의 크기 재조정 및 제거를 예시한다;
- 도 6, 7 및 8은 손가락으로 문서에서 객체를 이동시키기 위한 객체의 직접 조작을 예시한다;
- 도 9는 명시적인 학습 인터페이스를 예시한다;
- 도 10은 제스처가 입력되는 방식을 예시한다;
- 도 11은 제스처가 제거되는 방식을 예시한다;
- 도 12는 커스터마이즈된 제스처의 인식을 위해 구현된 단계들을 설명한다;
- 도 13은 인식된 형상을 나타내는 데이터의 점진적인 감쇠를 예시한다;
- 도 14 및 15는 사용자가 인식된 제스처를 수정할 수 있게 하기 위하여 구현된 보정 메커니즘을 예시한다.
- 도 16 내지 18은 사용자에 의한 복합 제스처의 저장을 예시한다.

1. 일반적인 소개

상술한 바와 같이, 본 발명은 제스처를 캡처하는 기계의 인터페이스에 의해 획득된 제스처를 이용하는 기계와의 상호 작용 방법을 제안한다. 이 인터페이스는 디지털 태블릿의 촉각 인터페이스일 수 있다. 또한, 이 인터페이스는 스테레오 카메라일 수 있다.

본 발명은 사용자의 제스처가 해석되는 방식, (기계가 사용자에 익숙해지는 것을 보장하도록) 사용자의 제스처가 해석되는 방식 및 사용자가 기계에 의해 예측되는 제스처를 학습하는 방식에 있다.

이러한 3가지 새로운 방법의 조합은 새로운 디지털 렌더링 장치와의 상호 작용에 대한 새로운 매력적인 경험을 제공하기 위하여 하나의 동일한 애플리케이션 내에 또는 운영체제 내에 구현될 수 있다.

그러나, 설명된 이러한 기술은 해결될 문제점 및 환경에 따라 다른 것으로부터 독립적으로 구현될 수 있다.

관련된 문제점과 이슈를 예시하기 위하여, 순전히 예시로서, 도 1을 참조하여 설명된 다음의 예를 든다. 도 1에서, 애플리케이션은 사용자가 스크롤할 수 있는 문서의 리스트를 디스플레이한다(도 1 - 왼쪽의 그림). 이 "리스트" 모드에서, 사용자는 문서를 분류할 수 있다. 분류되면, 문서는 도 1(오른쪽의 그림)에서와 같이 할당된 카테고리에 대응하는 특정의 풀스크린 편집 모드에서 열릴 수 있다. 도 1의 예는 집의 평면도에서 가구 물품을 배치하는 경우에 관련된다. 이 문서 편집 모드에서, 사용자는 매우 다양한 가구를 삽입할 수 있으며, 평면도에서 가구를 정리할 수 있다.

애플리케이션의 이러한 예로부터,

- 동작을 수행하기 위하여(문서의 카테고리화,열기 및 닫기(도 1의 (a)));

- 객체를 문서에 삽입하기 위하여(도 1의 (b)));

- 삽입된 개체를 직접 조작하기 위하여,

사용자가 그릴 수 있는 3가지 종류의 제스쳐를 식별한다.

다음의 표는, 이러한 종류의 제스처의 각각에 대하여 상호 작용의 원리를 다음의 측면에서 설명한다: 제스처를 그릴 때 그려진 선으로서 사용자의 입력을 디스플레이; 시각적 피드백; 실행 전략.

제스처의 종류	시각화된 트레이싱	시각적 피드백	실행
커맨드	예	커맨드의 이름	지연됨
삽입	예	객체의 이름 객체의 삽입	즉시
조작	아니오	객체의 출현의 계속적인 업데이트	계속

처음 2개 종류의 제스처의 구현(커맨드 및 삽입)은 제스처 인식 엔진의 사용에 의존한다.

규모에 따라 수행될 사용에 연계하여 필요할 수 있는 많은 양의 제스처가 주어진다면, 문서 및/또는 애플리케이션의 각각의 카테고리에 대하여 인식 엔진의 특정 인스턴스가 사용된다(그리고 영구적으로 업데이트된다). 제스처는 사용자에 따라 다르게 그려질 수 있고, 사용자는 애플리케이션의 사용 동안 제스처를 추가 또는 제거하기 원할 수 있다(이 애플리케이션을 위해 사용될 수 있는 모든 제스처의 사전 정의를 할 필요 없이).

소정의 관련된 연구는 제스처의 커스터마이즈를 용이하게 하지만 애플리케이션을 구축하거나 제스처의 표준 라이브러리의 설정하기 위한 시스템을 제안한다. 종래의 어떠한 기존 시스템도 최종 사용자가 제스처 인식 엔진을 커스터마이즈할 수 있게 하지 않는다.

또한, 종래 사용에서, 사용자는 자신이 제스처를 만드는 방식을 서서히 변경한다. 초보 사용자는 자신의 제스처를 조심스럽고 천천히 그리는 것으로 시작하지만, 제스처의 사용에서 전문가가 될 때 그는 이를 더욱 유동적으로 한다.

이러한 요건을 대처하기 위하여, 인식 시스템은 애플리케이션에서 그 사용 동안 진화하여야 한다.

발명자들은, 사용자에 의해 제공된 몇 가지 샘플이 학습을 통해 새로운 제스처가 학습되는 것을 가능하게 하는, 동작 및 영구적 학습에서 진화하는 인식 엔진의 구현을 제안하는 아이디어를 가져왔다. 이 목적으로, 발명자들은 상호 작용하기 위하여 사용된 사지(四肢, limb)의 개수 또는 사지의 부분의 개수에 기초하는 사용자와 장치 사이의 상호 작용 방법을 제안한다. 구체적으로, 촉각 표면을 위하여, 손가락이 사용된다. 스테레오 카메라에 기초한 인식을 위하여, 팔과 손이 제스처를 만드는데 사용된다.

본 발명은 이와 같은 제스처 인식 엔진에 관련되지 않지만, 사용자와의 상호 작용이 간단하고 직관적이도록 그리고 사용자가 용이하게 디지털 렌더링 장치를 사용할 수 있도록 제스처 인식 엔진이 구현되어야(즉 사용되어야) 하는 방식에 관련된다. 본 발명의 과제인 구현은 3개의 별개의 축을 따라 지향된다: 직접 처리 모드로부터 간접 처리 모드로 또는 그 반대로의 이동; 사용자 특유의 제스처의 장치에 의한 학습; 장치에 의해 예측되는 제스처의 사용자에 의한 학습.

2. 실시예에 대한 설명

아래에서 제공되는 실시예들은 하나 이상의 손가락을 이용하여 터치 스크린에서 사용하기에 알맞다. 따라서, 이러한 실시예들에서, 사용되는 사지는 손이며, 사용되는 사지 부분은 손가락이다. 또한, 설명된 방법이 사용자가 스타일러스를 사용할 때 이러한 도구에도 적용된다는 것도 주목된다. 아울러, 이러한 실시예들에서, 단지 2개의 상호 작용 모드가 제공된다: 직접 모드 및 간접 모드. 물론, 실시예에 따라 예를 들어 3개의 모드와 같은 여러 모드가 상정될 수 있다고 이해된다. 그러나, 아래에서는, 2개의 모드가 사용 가능한 것으로 고려된다. 따라서, 제1 미리 정해진 값은 값 1을 가지며, 제2 미리 정해진 값은 제1 미리 정해진 값과 동일하다. 요약하면, 본 실시예에서, 사용자가 하나의 손가락을 이용하는지 또는 두개의 손가락을 이용하는지를 판단하는 것이 추구된다.

2.1 직접 처리/간접 처리

본 제1 실시예에서, 본 발명은 직접 처리에서 간접 처리로의 그리고 그 반대로의 이동의 새로운 구현을 제안한다. 본 발명에 따라, 직접 처리는 제스처 인식 엔진의 구현을 비활성화하는 것에 있다는 것이 상기될 수 있다. "직접 처리" 모드에서, 사용자에 의해 그려진 제스처는 제스처 인식 시스템이 아니라 더 간단하고 전문화된 모션 검출 메커니즘에 의해 해석된다. "간접 처리" 모드에서, 반대로, 제스처 인식 엔진이 사용자의 제스처 및 이러한 제스처에 대응하는 효과 커맨드 및/또는 동작을 해석하고 인식하는데 사용된다.

다른 말로 하면, 인식 엔진이 활성화될 때, 사용자에 의해 그려진 그림은 동작 및/또는 효과 커맨드를 수행하기 위하여 해석된다(동작은 간접 처리 모드이다). 엔진이 비활성화될 때, 사용자의 제스처는 이에 의해 인식되지 않는다(이는 간접 핸들링 모드이며, 예를 들어, 이동 기능을 통한 모션과 스크린에서의 좌우 스크롤의 자동 제어 링크를 설정하는 것, 회전 등을 설정하는 것 등을 위한 것이다).

여기에 제공된 실시예에서, 사용자는 그래픽 객체 또는 부호의 삽입 동작 동안 문서에서 어느 곳에서나 제스처를 만들 수 있거나 또는 애플리케이션 특유의 동작을 할 수 있다. 이러한 방식으로, 문서에서의 객체의 삽입 또는 동작의 구현은 신속하다. 그러나, 촉각 인터페이스에서의 그래픽 객체의 조작의 경우에, 손가락으로 슬라이딩하게 하는데 있어서 객체의 평행 이동과 같은 직접 조작은 사용자에 대하여 더욱 자연적이며, 따라서 선호되어야 한다.

삽입된 객체의 동시 조작(즉, 동작은 직접 처리 모드에 있다)과 제스처의 해석(인식)이 동작의 수행(예를 들어, 객체의 삽입)을 가능하게 할 수 없다는 것이 이해될 수 있다. 이러한 제한을 극복하기 위하여, 발명자들은 그래픽 객체의 직접 조작을 위한 기술 세트(역시 공지됨)의 구현을 가능하게 하는 제스처 엔트리의 임시 비활성화 방법을 정의하였다.

모드 변경: 직접 처리 모드에서 간접 처리 모드로의 이동

전술한 바와 같이, 직접 모드와 간접 모드 사이의 스위칭의 효율적인 방식은 버튼이다: 사용자는 한 모드에서 다른 모드로 이동하기 위하여 이 버튼을 누른다. 발명자들은 대신에 더욱 직관적이고 덜 거슬리는 새로운 메커니즘을 제안한다.

아울러, 이 메커니즘은 매우 간단하다: 이는 스크린 상에 배치된 손가락의 개수를 고려하는 것을 포함한다: 하나의 손가락만이 스크린 상에 배치될 때, 이는 제1 모드이다. 2개의 손가락이 배치될 때, 이는 제2 모드이다.

예를 들어, 제1 실시예에 따라, 하나의 손가락만이 배치될 때, 이는 간접 처리 모드이고, 손가락의 이동을 해석하기 위하여 엔진이 사용된다. 2개의 손가락이 배치될 때, 이는 직접 처리 모드이고, 손가락의 이동을 해석하기 위하여 엔진이 사용되지 않는다.

예를 들어, 제2 실시예에 따라, 하나의 손가락만이 배치될 때, 이는 직접 처리 모드이고, 손가락의 이동을 해석하기 위하여 엔진이 사용되지 않는다. 2개의 손가락이 배치될 때, 이는 간접 처리 모드이고, 손가락의 이동을 해석하기 위하여 엔진이 사용된다.

다른 말로 하면, 방법은,

- 제스처를 만드는데 손가락의 개수를 획득하는 단계; 및

- 이 개수가 1보다 더 클 때, 2개의 가능한 모드 중에서 제1 상호 작용 모드를 선택하는 단계;와

- 이 개수가 1일 때, 2개의 가능한 모드 중에서 제2 상호 작용 모드를 선택하는 단계

를 포함한다.

제1 및 제2 모드 사이의 선택은 가능한 유일한 것이 아니다. 다른 모드가 제안될 수 있다. 사실, 본 발명은 한 모드에서 다른 모드로 이동하는데 사용되거나 사용되지 않을 사용자에게 적합한 추가 요소(여기에서는 추가 손가락)를 이용한 사용자와 장치 사이의 상호 작용에 있다.

본 발명의 하나의 특정 실시예는 스크린 상에 배치된 손가락의 개수를 카운트하고 애플리케이션의 거동을 조정하기 위하여 "멀티-터치" 스크린으로서 알려진 스크린의 능력을 이용하여, 이에 따라 제스처 인식 엔진을 이용하여 사용자에 의해 이루어지는 모션의 해석을 가능하게 하거나 가능하게 하지 않는다. 다른 실시예에서, 멀티-터치 기술이 아닌 기술이 이러한 카운팅 동작을 수행하는데 사용된다.

도 2 내지 8을 참조하여 제공된 일 실시예에서, 터치 스크린을 터치하고 터치 스크린에 추가 손가락을 유지하는 것은 직접 처리 모드로의 이동을 가능하게 하며(도 2 내지 4), 동시에 하나 또는 두 개의 손가락을 이용하여 직접 처리와 관련된 동작을 수행하는 것을 가능하게 한다. 이는 손이 장치에 대하여 배치되는 어느 쪽에서든지 어디에서든 제스처를 생성하는데 사용되는 것이 아닌 손(예를 들어, 오른손잡이에 대하여 왼손 또는 왼손잡이에 대한 오른손)을 이용하여 모드를 변경할 수 있게 하는 이점을 가진다. 다른 손은 객체를 조작하거나 애플리케이션이 제안할 수 있는 터치에 의존하는 다른 동작을 수행하도록 자유롭게 있다. 이전 도면을 참조하여 제공된 실시예에서, 이러한 동작은 리스트의 스크롤에 관련되거나 또는 문서에서의 그래픽 객체의 조작에 관련된다.

따라서, 모드 변경이 물리적으로 명시적이지만(사용되는 사지 또는 사지의 부분의 개수의 식별이나 손가락의 접촉 개수와 관련되어), 실제로는 사용자에 대하여 암시적이게 보일 수 있다. 다른 말로 하면: 사용자의 관점에서, 모드를 변경하고 자신의 명령을 하기 위해 이루어질 2개의 별개 페이즈가 없다. 사용자의 관점으로부터, 경험은 오히려 동시성 중의 하나이다: 모드를 변경하고 동작을 하는 단계들은 실제로 서로 일치한다.

따라서, 사용자의 관점으로부터(그리고 적어도 하나의 실시예에 따른 시스템의 관점으로부터), 모드를 변경함으로써, 원하는 동작을 수행하는 위치에 이미 있으며, 반대로, 원하는 동작을 수행함으로써 모드 변경을 암시적으로 하고 있다.

사용자의 관점으로부터 암시적인 모드 변경은, 구현하는 것이 눈에 띄게 더 간단할 때, 종래의 방법에 비하여 이점을 나타낸다.

객체의 선택 및 평행 이동

도면을 참조하여 제공된 실시예에서, 직접 모드에서, 사용자는 문서에서 그래픽 객체를 조작할 수 있다. 제1 필수 동작은 이러한 객체를 선택하는 것이다. 이것은 객체를 누르는 것에 의해 수행된다. 색상을 갖는 경계선이 선택된 객체를 둘러싸, 직접 처리 모드로의 이동 및 선택된 객체를 모두 나타낸다. 이후, 이전에 선택된 객체를 선택 해제하기 위하여 다른 객체를 두드리는 것이 충분하다. 선택되면, 또는 선택 바로 후에, 손가락의 접촉 및 슬라이딩은 문서에서 선택된 객체의 이동을 발생시킨다(도 6 내지 8). 객체는 모션 동안 손가락을 따라가며 손가락이 들어 올려질 때 제자리에 유지된다.

스케일링 및 동시 회전 동작

제스처를 이용하는 것에 의한 그래픽 객체의 삽입 동안, 객체는 사용자가 이후에 조정하기 원할 수 있는 디폴트 크기 및 배향으로 배치된다. 이 목적으로, 발명자들은 중심 주위로의 객체의 회전 및 스케일링과 결합된 조작 기술을 제안한다. 시스템이 여전히 직접 모드로 스위칭되는 동안, 그리고 객체가 선택된 후에, 선택된 객체의 중심에 대하여 상대적으로 손가락을 터치하고 이동하는 것은 스케일링 및 회전 모두에 의해 객체를 수정한다.

객체의 중심 근처에서 손가락을 이동하는 것은 이를 감소시키고, 그 반대도 같다. 손가락을 객체 주위로 원형으로 동시에 이동시키는 것은 객체가 이에 따라 회전하게 할 것이다(도 3 및 4). 이러한 조작 동작은 조작된 객체로부터 멀리서 수행되며, 따라서 손가락 또는 손에 의한 객체의 마스킹의 효과를 방지한다.

객체의 제거

문서를 편집할 때, 사용자는 직접 처리 모드를 이용하여 제스처로 객체를 생성하고 그 위치, 크기 및 배향을 업데이트하지만, 객체를 제거하기 원할 수 있다. 본 발명의 이 실시예에서, 객체는 스케일링 동작의 특별한 경우로서 구현된다. 스케일링이 미리 정해진 최소 크기 아래로의 감소로 이어질 때, 제거 아이콘이 객체 상에 나타난다(도 5). 사용자가 손가락을 들어올릴 때, 최소 크기 이상으로 다시 스케일링되지 않는다면, 객체는 문서로부터 제거된다.

복사 및 붙여넣기

시스템을 위해 가지는 것이 절대적으로 필요한 필수 동작의 하나는 "복사/붙여넣기" 기능이다. 이 동작이 부족한 시스템은 일반적으로 대중에 의해 인정받지 못한다(예를 들어 첫 번째 아이폰이 출현하였을 때 그러하였다).

본 발명에 따라, 제스처를 그리는 것에 의한 객체의 추가에 대한 대안으로서, 편집 모드(즉, 직접 모드)에서 객체를 복사하고 붙여 넣는 것이 가능하다. 기술은 매우 간단하다: 직접 모드로의 이동을 제공하기 위하여 빈 공간에 손가락을 배치한 후에, 사용자는 제2 손가락으로 그 위를 누르는 것으로 객체를 선택하고, 그 다음 원래 객체와 동일한 크기와 동일한 배향을 갖는 객체를 복사하도록 문서의 빈 공간을 다시 두드린다.

다른 특성 및 이점

따라서, 본 실시예에서 알 수 있는 바와 같이, 본 발명은 사용자에게 적합한 추가 요소(예를 들어 추가의 손가락)를 이용하여 직접 처리 모드에서 간접 처리 모드로의 간단한 이동을 가능하게 한다. 본질적으로, 이 설명은 서로에 대하여 양자 택일인 단지 2개의 모드가 존재한다고 가정하여 이루어졌다. 본 발명은 2보다 큰 다수의 모드로 구현될 수 있다. 예를 들어, 제1 모드를 위한 단지 하나의 손가락, 제2 모드를 위한 2개의 손가락, 기타 등등을 사용하는 것이 충분하다.

또한, 하나의 모드로부터 다른 모드로의 이동이 반드시 고정된 위치에 손가락을 유지함으로써 수행될 필요는 없다고 특정하는 것이 흥미롭다. 사용되는 양 손가락이 움직이고 있을 수 있다. 예를 들어, 스크린에서의 2개의 손가락의 동시 움직임은 스크롤 동작을 제공할 수 있다. 동일한 스크롤이 제2 손가락이 움직이고 있는 동안 한 손가락을 정적으로 배치된 상태를 유지함으로써 수행될 수 있다. 이것은 본질적으로 단지 스크롤에 적용된 예이다. 다른 상황 및 모션도 상정될 수 있다.

아울러, 다른 실시예도 상정될 수 있다. 예를 들어, 대체적인 모드에서, 하나의 모드로부터 다른 모드로의 이동은 제스처 인식 엔진 자체에 의해 명령될 수 있다. 더욱 구체적으로는, 간접 모드로부터 직접 모드로의 이동이 이러한 방식으로 명령될 수 있다. 따라서, 간접 모드에서 제스처를 그리고, 이 제스처는, 엔진에 의해 인식되면, 직접 모드로의 이동을 가능하게 하며, 따라서 객체와의 상호 작용을 가능하게 한다.

2.2 커스터마이즈되고 발전하는 제스처

본 발명과 관련한 인식 엔진의 사용은 커스터마이즈된 제스처를 학습하기 위한(그리고 이에 따라 인식하기 위한) 매우 간단한 방법을 구현하는 것을 가능하게 한다. 더욱 구체적으로는, 본 실시예에서, 발명자들은 제스처 인식 엔진에 의해 인식될 제스처를 정의하기 위한 시스템 및 방법을 제안한다. 본 실시예에서, 기계는 사용자의 제스처를 어떻게 인식하는지를 교육받는다. 더욱 구체적으로는, 제스처 인식 엔진을 위해 의도된 제스처를 정의하기 위해 사용 가능한 방법이 있다. 본 발명에 따르면, 커스터마이즈된 제스처를 정의하고 학습하기 위한 2가지 방법이 있다:

- 명시적 학습;

- 암시적 학습.

명시적 학습

명시적 학습은 도 1과 도 9 내지 11을 참조하여 설명된다.

본발명은, 본 실시예에서, 다양한 활동을 위한 제스처에 대한 자신의 라이브러리를 정의하는 가능성을 사용자에게 제공한다. 제스처가 사용자에 의해 정의되기 때문에, 제스처가 정의될 수 있게 하는 메커니즘과 레퍼런스 라이브러리에서 제스처를 검색하기 위한 메커니즘에 대한 필요성이 있다. 또한, 사용자에게 제스처에 대한 그의 라이브러리의 제어를 제공하기 위하여, 이 메커니즘이 항상 용이하게 액세스 가능하고 사용하기 쉽게 만드는 것이 필수적이다. 이 목적으로, 본 발명은 이러한 요구를 충족시키도록 설계된 제스처 제어 패널을 제안한다.

제스처 제어 패널(도 9)

애플리케이션에서 제스처 제어 패널은 사용자에 의해 정의된 제스처를 편집하기 위하여 그리고 협의를 위하여 항상 사용 가능한 형태이다. 이는 스크린의 하부에서 항상 보이는 "빠른 액세스" 키를 누르는 것으로 활성화될 수 있다(도 1의 (c), 빠른 액세스 키는 원으로 둘러싸인 회살표로 표시된다). 활성화 동안, 제어 패널이 슬라이딩하고, 셔터로서 디스플레이된다(도 9). 빠른 액세스 키를 이용한 이러한 액세스는 항상 존재하고 항상 액세스 가능하여(마스킹되지 않음) 활동 또는 리스트 모드(list mode)의 요소의 일부로서 제스처 제어 패널을 갖는 것에 비하여 시스템과 연계하여 제스처 인식 패널을 인식하는데 도움을 준다.

이루어질 동작이 활동(애플리케이션) 사이에서 완전히 상이할 수 있기 때문에, 그리고 활동(애플리케이션)이 양식적(modal)이기 때문에(즉, 전체 스크린에서 그리고 한번에 하나씩 사용자에게 제공됨), 제스처 세트는 독립적이다. 이것은 제스처 세트가 하나의 활동(또는 하나의 애플리케이션)에 대하여 정의될 수 있고, 다른 제스처 세트는 다른 활동(다른 애플리케이션)에 대하여 정의될 수 있다는 것을 의미한다.

따라서, 사용자는 활동(애플리케이션) 사이의 임의의 간섭 없이 상이한 동작에 대하여 이루어질 동일한 제스처를 정의하도록 선택할 수 있다. 이러한 다양한 세트의 독립적인 동작을 고려하여, 제어 패널은 활동마다 정확히 하나의 제스처 리스트에 대한 관리를 가능하게 하는 수평 아코디언(horizontal accordion)을 가진다(리스트 모드에 대한 하나와 각각의 활동에 대한 하나(도 9의 (a) 부분)). 단일 제스처는 이 리스트로부터 한 번에 편집된다.

본 실시예에서, 아코디언의 페이지들은 리스트 모드에서 알 수 있는 바와 같이 활동(애플리케이션)의 색상에 대응하는 색상으로 코딩된다. 본질적으로, 이는 실시예의 단지 하나의 예이며, 필요, 제한 및 운영 체계의 "보고 느낌(look and feel)"에 따라 다른 프리젠테이션을 제안하는 것이 가능하다.

어떤 제스처는 모든 활동과 리스트 모드 사이에서 공유될 수 있다. 이는 모든 활동에 존재하는 공통 동작을 나타낸다. 애플리케이션의 본 예에서, 모든 활동 및 리스트 모드는 2개의 공통 제스처를 가진다: 열기/닫기 제스처와 삭제 제스처. 이러한 2가지 제스처가 전체적으로 공유되기 때문에, 사용자는 이를 찾아 제스처 제어 패널의 리스트 모드 페이지에서 대응하는 제스처를 편집할 수 있지만, 이러한 동작은 활동(또는 애플리케이션)에 특정하는 탭에 디스플레이되지 않는다. 이것은 특별한 실시예이다. 또한, 리스트 모드의 모든 페이지에 대하여 "핀으로 고정되는 것(pinned)"으로 제스처의 프리젠테이션을 제안하는 것이 가능하다.

커스터마이즈된 제스처의 편집

실시예의 본 예에서, 제스처 제어 패널의 각각의 페이지는 사용자에서 활동(애플리케이션) 또는 리스트 모드에 대하여 사용 가능한 동작의 리스트를 제공한다(도 9의 (b)). 제스처 제어 패널의 리스트에서의 제스처의 선택은 제스처의 샘플을 디스플레이하여 제스처를 정의하고 이러한 샘플의 편집을 가능하게 한다.

기존의 샘플이 샘플의 정의 리스트라 불리는 수평 리스트(도 9의 (d))에 디스플레이되고, 더 큰 그리기 영역(도 9의 (c))은 새로운 샘플을 그리기 위한 것이다. 이 영역에서 제스처의 샘플을 그리는 것은 샘플을 제스처의 정의에 추가한다(도 10). 시각적으로, 사용자의 입력은 샘플의 정의의 리스트에서 "줄어든다". 리스트의 제스처의 샘플이 열악하게 그러진 것으로 보이거나 사용자가 자신의 제스처를 변경하기 원한다면, 이를 리스트에서 위로 향하여 또는 아래로 향하여 슬라이딩함으로써 정의의 샘플이 리스트로부터 제거될 수 있다(도 11). 패널의 제스처의 리스트는 제스처의 정의의 샘플이 변경될 때 업데이트되는 제스처의 개관을 제공한다. 샘플의 정의의 빈 리스트는 제스처가 비활성화된 것을 의미한다.

제어 패널을 닫는 것은 관련된 활동 또는 애플리케이션에서 제스처 동작을 위하여 새로운 또는 수정된 제스처가 즉시 사용될 수 있도록 수정된 제스처의 (인식 엔진에 의한) 재계산을 활성화한다.

애플리케이션간 통합

이것은, 독립적인 애플리케이션에 대하여 그리고 사용자가 다양한 활동을 수행할 수 있는 전체 스크린에서 "쉘(shell)"(사용자 인터페이스에게 운영 체제를 제공하는 소프트웨어 레이어를 의미한다)를 제공하기 위하여 산업계에서 주연 배우의 운영 체제(iOS, 안드로이드, 윈도우즈폰 7 및 윈도우즈 8)에서, 공통 패러다임이다.

적어도 하나의 실시예에서, 본 발명은 모든 애플리케이션이 제스처 기반의 커맨드(데스크탑 컴퓨터 환경에서 찾아볼 수 있는 키보드 단축키와 같은) 및 더 많은 정밀한 제스처(문서에서의 그래픽 객체의 삽입과 같은)에 의한 콘택을 위한 제스처의 사용과 양립 가능하게 한다. 본 발명은, 적어도 하나의 실시예에서, 애플리케이션 및 이의 기능과 관계없이 제스처의 개인 라이브러리를 사용자가 정의할 수 있게 하여, 제스처 인식을 사용자의 촉각(또는 유사한) 장치와의 전체적인 경험의 일부가 되게 한다.

사실, 제스처 제어 패널을 구현하는 애플리케이션은 전체적인 촉각 경험에서 제스처의 사용자 라이브러리를 통합하도록 그래픽 쉘을 시뮬레이션한다. 따라서, 제스처 제어 패널은 스마트폰과 태블릿의 그래픽 쉘 내로 직접 통합된다. 따라서, 애플리케이션은 사용자가 단일의 일관된 인터페이스에 기초하여 정의하고 관리할 수 있는 제스처와 관련되도록 그 기능의 일부를 설명할 수 있다.

암시적 학습

암시적 학습은 제스처가 사용자에 의해 사용됨에 따라 수행된다. 더욱 구체적으로는, 암시적 제스처는 제스처의 그리기에 이어지는 사용자의 (자동) 수락 또는 거절 동안 연속적으로 구현된다. 이러한 암시적 학습 페이즈는 아래에서 더욱 상세히 설명된다.

2.3 커스터마이즈된 제스처의 인식

커스터마이즈된 제스처의 인식 메커니즘은 제스처의 그리기에 이어지는 사용자의 (자동) 수락 또는 거절에 기초한다. 본 실시예에서, 본 발명은 간접 조작 모드에서 제스처 인식 엔진과의 상호 작용 방법의 형태를 취한다. 더욱 구체적으로는, 방법은 도 12를 참조하여 설명되는 다음의 단계들을 포함한다:

- 사용자에 의한 제스처의 그리기(10) 및 스크린에서 그림의 디스플레이(20);

- 그리기의 종료시에, 미리 정해진 기간 후에(또는 스크린으로부터 사용자의 손가락의 제거에 이어), 인식 엔진에 의해 인식된 형상(40)의 디스플레이(30);

- 제스처와 관련된 커맨드의 종류에 따라 - 객체의 삽입과 같이 이것이 즉각적이면 - 동작은 이 단계에서 수행될 것이다.

- 시각적 피드백 데이터라 불리는 사용자에 의해 이루어지는 그리기(70)의 종료 근처에 영역에서 인식된 형상(60)을 나타내는 데이터를 디스플레이(50).

- 미리 정해진 기간(예를 들어 1/2 초 및 2 초 사이를 포함함) 동안 확인 시간 카운터(80)를 초기화.

- 본 발명의 본 실시예에서, 확인 시간 카운터는 인식된 형태를 설명하는 아이콘이나 문자일 수 있는 인식된 형상(60)을 나타내는 데이터의 점진적인 삭제를 수행하도록 구현된다.

- 상기 카운터에 의해 정의된 기간의 종료시에 어떠한 동작도 발생하지 않을 때, 인식된 형상(40)은 확인된다.

- 이것이 "지연된 실행" 종류라면, 인식된 제스처와 관련된 커맨드가 이 단계에서 수행될 것이다.

- 상기 카운터에 의해 정의된 기간 전에 동작이 발생하면, 보정 메커니즘(후술함)이 구현된다.

방법의 상이한 단계들은 아래에서 상세히 설명된다.

인식된 형상을 나타내는 데이터를 디스플레이하는 단계

본 발명의 일 실시예에서, 제스처의 준비 동안(예를 들어, 그리는 동안), 정확하게는 사용자가 자신의 손가락을 들어올릴 때, 사용자는 인식된 제스처에 대응하는 동작의 명칭을 포함하는 간단한 피드백을 제공받는다. 이 피드백은 인식된 형상을 나타내는 데이터이다.

본 실시예에서, 이 피드백은 제스처의 종료시 배치된 강조된 직사각형 형태를 취한다(도 13). 추적된 제스처 또는 이 제스처를 나타내는 데이터는 도 13에서 도시된 바와 같이 서서히 사라지기 전에 1.6 초 동안 보인다. 대표적인 데이터의 이러한 위치 설정 및 일시적인 성질은 차단되지 않고 직관적이지 않으면서 사용자의 일부에 대한 증가된 관찰을 가능하게 한다(일시적인 성질은 대표적인 데이터가 서서히 사라진다는 사실에 의해 예시된다).

또한, 제스처의 추적의 시각적 연속성(즉, 사용자가 그린 것의 디스플레이의 연속성)과 피드백(이 제스처를 나타내는 데이터의 디스플레이)는 만들어진 그림과 제스처 사이의 논리 링크를 설정한다.

그림이 만들어지고 인식된 형상을 나타내는 데이터가 사라지면, 사용자가 필요한 정보를 받았고 인식이 암묵적으로 확인되었다는 것이 가정된다(그 다음, 이러한 의미로 인식 엔진은 자신의 지식을 자동으로 강화한다).

표 1에서 설명된 바와 같이, 지연된 실행 커맨드와 객체의 삽입과 같은 즉각적인 실행 커맨드 사이의 구별이 이루어진다. 디스플레이 방법이 동일성을 유지하더라도, 객체의 삽입이 즉시 이루어지는 반면, 지연된 커맨드는 피드백이 사라질 때에만 실행된다.

디스플레이의 본 방법의 목적은 본질적으로 취소될 수 없는 커맨드에 대한 제스처를 보정할 시간을 사용자에게 제공하는 것이다.

인식된 형상을 위한 보정 메커니즘

제스처가 사용자에 의해 그려질 때, 인식 에러가 발생할 수 있다. 이러한 에러에 대하여 2가지 이유가 있을 수 있다: 사용자가 형편없이 제스처를 그렸거나(육체적 장애로부터 제스처를 잊는 것에 이르기까지의 다양한 이유로) 인식 엔진이 잘못되었다. 발명자들은 이러한 2가지 종류의 에러의 사용이 각각 입력된(또는 그려진) 입력을 무시하거나 이 입력을 학습하게 하는 아이디어를 가져왔다.

그러나, 사용자의 동작은 이러한 2가지 상황을 식별할 필요가 있다. 따라서, 여러 단계에서 보정 메커니즘이 제안된다(도 14 및 15). 이 메커니즘은 시간 카운터에 의해 정의되는 기간의 경과 전에 동작을 수행함으로써 활성화된다. 일 실시예에서, 메커니즘은 이것이 사라지기 전에 인식된 형상을 나타내는 데이터를 누르는(클릭하는) 것으로 활성화된다(이것은 초기화 단계이다). 그 다음, 실행되고 있는 애플리케이션과 연계하여 사용가능한 모든 제스처의 리스트가 제스처 명칭 옆에 디스플레이된다(이것은 프리젠테이션 단계이다). 리스트는 사용자에 의해 그려진 제스처와의 비교를 위하여 제스처의 미니어처 이미지뿐만 아니라 제스처의 명칭을 포함한다(이 대신에, 미니어처만 표시될 수 있고, 따라서 본 발명의 방법이 작은 크기의 스크린에 대하여 조정될 수 있게 한다). 사용자는 리스트를 탭(tap)하여 계획된 제스처를 선택한다(이것은 선택 단계이다). 오른쪽 제스처가 선택되면, 제3 단계는 그려진 입력을 무시하거나 학습하도록 엔진에게 요청하는데 있어서 사용자가 에러 종류, 즉 좋지 않은 그림 또는 인식 에러를 표시할 수 있도록 2개의 옵션의 디스플레이를 구현한다.

다른 말로 하면, 보정 메커니즘은:

- 보정 메커니즘을 초기화하는 단계;

- 가능한 제스처의 리스트를 디스플레이하는 단계;

- 제스처 리스트에서 제스처를 선택하는단계;

- 인식 엔진에 의해 수행될 동작(무시하거나 학습하는 것)을 디스플레이하는 단계.

2.4 사용자에 의한 복합 제스처의 기억

커스터마이즈되고 직관적인 제스처의 정의에 더하여, 본 발명은 또한, 적어도 하나의 실시예에서, 시각적 인식 엔진에 의해 예상되는 제스처를 인식하는 것을 가능하게 한다. 논의가 되는 제스처는 단일 블록 제스처(즉, 단일 제스처) 또는 멀티 블록 제스처(즉, 여러 단일 블록 제스처의 연속에 의해 형성된 복합 제스처)일 수 있다. 복합 제스처는 예를 들어 동일한 패밀리(family)의 제스처 사이에 동일한 근원(root)을 가진다. 본 예에서, 기계에 의해 예상되는 제스처에 대한 학습에 있어서 사용자를 돕는 것이 추구된다(따라서, 이 상황은 사용자가 자신의 제스처를 그리는 이전에 제공된 것에 반대이다).

본 발명의 본 실시예의 기본적인 주장은 다음과 같다: 제스처의 그래픽 형상은 커맨드의 계층에 대한 시멘틱스(동일한 커맨드 패밀리의 제스처를 그리기 위하여 동일한 공통 커맨드/근원 패밀리와 관련된 제스처의 그리기의 시작의 인수 분해(factorization))를 통합한다. 더욱 일반적으로는: 동일한 패밀리의 커맨드와 관련된 어떤 제스처에 대하여, 인수 분해하는 것이 가치있을 수 있다(공통 그래픽 근원은 커맨드의 패밀리를 식별하고, 이는 제1의 단일 블록 제스처이다). 그 다음, 이어지는 다른 단일 블록 제스처와의 그림의 연속에서 구별이 이루어진다(따라서, 패밀리 내의 커맨드의 식별을 가능하게 한다). 대조적으로, 다른 제스처에 대하여, 동일한 커맨드 패밀리 내에 있더라도, 그 각각에 대하여 완전하게 상이한 그림들(기억하고, 조작하고, 식별하기 더 용이한 것)을 보존하는 것이 바람직할 수 있다.

본 발명에 따르면, 기억을 돕기 위한 제안된 제스처 메뉴는:

- 커맨드의 패밀리와 연계하여 사용자에 대하여 이러한 시멘틱 요소(계층 구조)를 (2개의 상보적인 방법에 따라) 그래픽으로 강조함으로써 이러한 제스처를 표현하는 2가지 방법을 조정하는 것;

- 이러한 제스처 도움 메뉴를 이용하기 원할 때 제스처를 그리게 사용자를 고무함으로써 사용자가 이러한 제스처를 학습하는데 도움을 주는 것

을 가능하게 한다.

이러한 목적으로, 본 발명은 먼저 특정 디스플레이 기술과 다음으로 단순화된 인터페이스의 조합을 구현한다. 본 발명의 일 실시예가 도 16 내지 18을 참조하여 제공된다. 본 발명의 이러한 실시예의 기본적인 아이디어는 자체로 복잡한 동작을 정의하는 복합 제스처가 단순화된 제스처(단일 블록 제스처)의 연속이라는 관찰에 기초한다. 도 16을 참조하면, 단일 블록 제스처의 일례를 제공한다. 더욱 구체적으로는, 도 16은 단일 블록 제스처를 나타내는 그림(80)을 제공한다. 전술한 바와 같이, 제스처는, 간단하든지(단일 블록) 복잡하든지(단일 블록의 연속), 본 발명에 따라 애플리케이션에서 수행될 동작에 대응한다. 도 16에서, 단일 블록 제스처(80)는 연필 두께의 선택을 가능하게 한다. 다른 예에서, 이 제스처는 미리 정의된 애플리케이션을 여는 것, 다이얼로그 박스를 여는 것 등을 가능하게 한다. 이러한 예들은 단지 예시적이며, 어떠한 방식으로도 설명된 방법의 범위를 제한하지 않는다.

복합 제스처가 간단한 제스처의 연속이라는 관찰로부터, 발명자들은 복합 제스처의 학습을 간단한 제스처의 연속의 학습으로 세분하는 아이디어를 가졌다. 이러한 목적으로, 제1 단계는, 스크린의 미리 정해진 위치에서의 또는 촉각 표면에 사용자의 스타일러스/손가락을 유지할 때 이것의 위치에서의, 미리 정해진 간단한 제스처의 세트의 디스플레이를 포함한다. 이 디스플레이는 간단한 제스처 세트를 포함하는 휠의 형태로 수행될 수 있다. 도 16의 예에서, 단일 블록 제스처에 대하여, 휠(R1)은 3개의 연속하는 도면(E1, E2, E3)에서 연속적으로 제공된다. 본 실시예에서 예시된 바와 같이, 주어진 환경에 관한 제스처만이 강조된다. 사용자가 제스처(본 경우에서 제스처(80))를 그리기 시작할 때, 휠은 희미해지고(도면 E2) 사용자가 그리기를 시작한 제스처만이 디스플레이된 상태를 유지한다. 그 다음, 사용자가 자신의 그리기를 완료한 때에(도면 E3), 휠(R2)은 사실상 사라지고, 제스처만이 볼 수 있는 상태로 된다.

따라서, 몇 개의 간단한 제스처를 포함하는 휠이 촉각 영역의 중심에 디스플레이된다. 사용자는 검색하고 있는 제스처를 선택하기 위하여 이 휠을 살펴본다. 그 다음, 사용자는 제스처의 트레이스를 따라감으로써(즉, 제스처를 수행함으로써) 자신의 선택을 확인한다.

도 17a 및 17b를 참조하여 제공되는 제2 실시예에서, 2개의 단일 블록 제스처(G1 및 G2 또는 G1 및 G3 또는 G1 및 G4)가 연속으로 그려져 복합 제스처(G1+G2 또는 G1+G3 또는 G1+G4)를 획득한다. 복합 제스처의 제1 부분은 휠(R1)의 도움을 통해 인식된다(이것은 도면 E1에서 G1으로 표시된 처음의 단일 블록 제스처이다). 제2 페이즈에서, 학습 과정을 계속하기 위하여, 제2 휠이 나타난다(도면 E2, 휠 R2). 또한, 이는 소정 개수의 간단한 제스처(예시된 예에서는 3개)를 포함한다. 휠(R2)에서의 이러한 3개의 단일 블록 제스처는 제스처(G1)와 관련된 커맨드의 3개의 서브 커맨드에 대응한다. 직관적으로, 사용자는 스크린 상에서 제2의 간단한 제스처를 그리는 것으로 자신의 제스처를 계속하도록 요청되다. 그 다음, 본 발명의 방법이 다시 구현된다(도 17b): 그려진 제스처에 따라, 엔진은 먼저 서브 세트를 선택하고 다음으로 단일 제스처(G2 또는 G3 또는 G4)를 선택한다.

그 다음, 복합 제스처가 정의된다(예를 들어, G1과 G2에 의해 형성된 GC). 간단한 제스처의 연속을 통한 사용자에 의한 이러한 학습 과정은, 분명하게는, 종래 기술의 방법에서 제안된 바와 같은 블록에서의 학습 과정보다 훨씬 더 직관적이다. 본 발명의 방법은 예를 들어 애플리케이션에서 동작을 신속하게 수행하는 것을 가능하게 하는 많은 복합 제스처의 연습과 관찰에 의해 사용자가 학습할 수 있게 한다.

여기에서의 원리는 동작을 정의하기 위하여 복합 제스처를 계속하는 것이 가능한 한, 간단한 제스처가 정의되었을 때 새로운 휠이 나타난다는 것이다. 본 발명의 일 실시예에서, 디스플레이된 제1 휠의 요소의 개수는 애플리케이션의 메뉴의 개수에 대응한다(예를 들어, "홈", "삽입", "편집" 및 다른 메뉴). 디스플레이된 제2 휠은 초기에 인식된 메뉴의 메뉴에 대응한다(예를 들어, 제1의 간단한 제스처가 "편집" 메뉴의 인식을 가능하게 한다면, 이어지는 휠은 예를 들어 "선택", "모두선택", "오려두기", "복사", "붙여넣기"에 대응하는 요소를 포함한다). 따라서, 편집 메뉴의 동작에 대응하는 모든 복합 제스처는 동일한 간단한 제스처로 시작하고, 복합 제스처(즉, 본 예에서, 제2의 간단한 제스처)의 종료만이 수행될 동작을 정밀하게 식별하는 것을 가능하게 한다.

이 대신에, 작은 크기의 스크린(예를 들어, 스마트폰의 스크린)에 대하여, 휠은 모두 디스플레이되지 않는다. 간단한 제스처가 인식되었을 때, 이 제스처에 대응하는 휠은 이어지는 휠의 디스플레이를 가능하게 하도록 스크린에서 지워지거나 작아질 수 있다.

반대로, 큰 크기의 스크린을 위하여, 연속하는 휠을 영구적으로 디스플레이된 상태로 두는 것이 가능하다.

더욱 일반적으로, 도 18을 참조하여 제공된 바와 같이, 예를 들어 사용자에 의해 또는 재차 애플리케이션의 개발자에 의해, 동작은 카테고리화되고 계층적으로 조직화된다. 도 18에서, 페이지의 관리, 주밍(zooming), 편집 등에 관한 동작은 실제로 복합 제스처(적어도 2개의 단일 블록 제스처를 포함)인 "복합" 동작으로서 제공된다. 복합 제스처("다음", "이전", "처음")는 예를 들어 이후에 논의가 되는 제스처를 구성하는데 사용되는 공통 근원을 가진다. 도 18은, 도 17a 및 도 17b를 참조하여 제공된, 주밍과 관련된 제스처와, 도 16을 참조하여 제공된, 그림의 선의 크기와 관련된 제스처("소형", "중형" 및 "대형")를 다시 도시한다. 그림의 선의 크기에 관련된 이러한 제스처들은 카테고리화되지 않는다(이들은 복합 제스처가 아니다).

사용자 또는 개발자가 이러한 제스처를 복합 제스처로 만들기 원한다면, "복합" 박스에 체크 표시를 하고 공통인 근원을 이러한 제스처로 정의할 수 있다.

따라서, 본 발명은 먼저 하나 이상의 주어진 애플리케이션을 위한 제스처의 구성을 상당히 용이하게 하며, 다음으로 이러한 제스처가 쉽게 학습될 수 있게 한다.

Claims (5)

1. 적어도 2개의 사용 가능한 모드 중에서 사용자 및 디지털 렌더링 장치 사이의 상호 작용 모드를 선택하는 선택 방법에 있어서, 상기 디지털 렌더링 장치는 사용자에 의해 수행된 제스처를 나타내는 적어도 하나의 정보를 획득하는 수단을 포함하고, 상기 제스처는 적어도 하나의 사지(四肢, limb) 또는 사지의 적어도 하나의 부분에 의해 수행되고, 상기 선택 방법은,
   - 상기 제스처를 수행하는데 사용되는 사지 또는 사지의 부분의 개수를 획득하는 단계; 및
   - 상기 개수가 제1 미리 정해진 값을 초과할 때, 상기 적어도 2개의 사용 가능한 모드 중에서 제1 상호 작용 모드를 선택하는 단계;와
   - 상기 개수가 제2 미리 정해진 값 이하일 때, 상기 적어도 2개의 사용 가능한 모드 중에서 제2 상호 작용 모드를 선택하는 단계
   를 포함하는,
   선택 방법.
   
2. 제1항에 있어서,
   상기 렌더링 단말기는 촉각 인터페이스를 포함하고, 상기 적어도 하나의 사지는 손이며, 상기 사지의 적어도 하나의 부분은 손가락인 것을 특징으로 하는,
   선택 방법.
   
3. 제1항에 있어서,
   상기 렌더링 단말기는 스테레오 카메라를 포함하고, 상기 적어도 하나의 사지는 팔이고, 상기 적어도 하나의 사지의 부분은 손인 것을 특징으로 하는,
   선택 방법.
   
4. 제1항에 있어서,
   상기 제1 미리 정해진 값은 상기 제2 미리 정해진 값과 동일하고, 상기 제1 미리 정해진 값은 1인 것을 특징으로 하는,
   선택 방법.
   
5. 통신 네트워크로부터 다운로드 가능하고 그리고/또는 컴퓨터 판독 가능한 지지체에 저장 가능하고 그리고/또는 마이크로 프로세서에 의해 실행 가능한 컴퓨터 프로그램 제품에 있어서,
   컴퓨터에 의해 실행될 때, 제1항 내지 제4항 중 적어도 하나의 항에 따른 선택 방법을 실행하는 프로그램 코드 명령어를 포함하는 것을 특징으로 하는,
   컴퓨터 프로그램 제품.

Images