KR20200099574A - 공중 햅틱 시스템들과의 인간 상호작용들 - Google Patents

Abstract

향상된 상호작용 햅틱 피드백 및 그 영향들을 갖는 볼륨들에 대한 "항상 온(always on)" 솔루션을 관리하기 위한 전략들이 다루어진다. 초음파 트랜스듀서 어레이들은 (헤드 장착형 디스플레이 또는 다른 웨어러블 액세서리 상과 같은) 인간 상에 장착될 수 있다. 이 어레이는 사용자의 몸과 손 모두에 대한 어떤 형태의 6 자유도 추적을 이용할 수 있다. 어레이들은 터치 감각이 시뮬레이션되도록 특정 위치들에서의 포커싱된 음향 압력을 움직이는 손들에 투영하도록 조정한다. 웨어러블 마이크들을 사용하여, 반사되어 몸체 내로 전송되는 초음파 신호는 손 및 제스처 추적을 위해 사용될 수 있다.

Description

공중 햅틱 시스템들과의 인간 상호작용들

관련 출원들

본 출원은 다음 두 개의 미국 출원들의 이익을 주장하며, 이들 모두의 전체 내용이 참조로 포함된다.

1) 2017년 12월 22일자 출원된 출원 제62/609,429호; 및

2) 2018년 4월 10일자 출원된 출원 제62/655,795호

기술분야

본 개시는 일반적으로 음향 구동 공중 햅틱 시스템(acoustically-driven mid-air haptic systems)과의 인간 상호작용들에 관한 것이다.

"음장(acoustic field)"으로 지칭되는, 소리 에너지의 연속적인 분포가 공중에서 햅틱 피드백을 포함하는 응용들의 범위에 대해 사용될 수 있다.

이러한 음장에서, 하나 이상의 제어 포인트들이 정의될 수 있다. 이러한 제어 포인트들은 신호와 함께 진폭 변조되고, 그리고 결과적으로 공중에서 진동 촉각 피드백을 생성할 수 있다. 피드백을 생성하는 대안적인 방법은 진폭으로 변조되지 않은 제어 포인트들을 생성하고 그들을 공간적으로 이동시켜, 느껴질 수 있는 시공간 변조(spatio-temporal modulation)를 생성하는 것이다.

충분한 작동 표면적으로 공중 햅틱 기술이 확장될 수 있다. 작동될 수 있는 공간의 영역에 도달하기보다는, 사용자가 점유하는 로컬 공간 전부가 요청 시에(on demand) 공중 햅틱 효과들로 채워질 수 있다. 이 시나리오에서, 햅틱 효과들에 대한 기존의 지식 중 대부분은 적용 가능하지 않다. 이 시나리오에서, 인간-기계 인터페이스를 생성하는 실행 가능한 접근법을 갖는 것은 가치가 있다.

또한, 모바일 기술이 증강 현실, 가상 현실 및 혼합 현실 헤드 장착형 디스플레이들에 대해 진보함에 따라, 모바일 폰 및 태블릿 기술 공간에 대해 개발된 제스처들 및 생산성과 연관된 확립된 햅틱들을 지속하기 위한 방법들이 존재하지 않는다. 전화 또는 태블릿의 주요 특징들이 헤드 장작형 디바이스로 이동되고 나면, 기계적으로 결합된 햅틱들의 표준을 생성할 수 있는 핸드헬드(handheld) 디바이스가 존재하지 않을 것이다. 그래픽들이 햅틱 장갑 또는 암밴드와 같은 주변 디바이스 없이 공중(가능하게는 손 내에 또는 신체 상에 유지됨)으로 가상 디바이스 상에 디스플레이/투영될 수 있지만, 손 내의/상의 또는 신체 상의 디바이스에 대한 필요성을 제거하는 햅틱 감각들을 전달하는 양호한 방법이 없다.

이러한 제스처들은 시기적절하게 시각적 및 햅틱 피드백을 제공하기 위해 빠르고 효율적인 방식으로 인식될 필요가 있다. 카메라 기술은 광범위하게 이용되지만 캡처 속도에서 제한되고, 광범위한 컴퓨팅을 요구하며, 종종 높은 대기 시간(latency)을 갖는다. 웨어러블들은 불편하고 부피가 클 수 있다. 웨어러블 초음파 어레이들은 독립적인 또는 보충적인 손-추적(hand-tracking)을 제공하기 위해 사용될 수 있는 고속 신호를 제공할 수 있다.

상호작용 햅틱 피드백으로 부피의 임의의 부분이 향상될 수 있는, 부피 내에서의 햅틱 시스템과의 상호작용은 알려져 있지 않다. 본 출원에서, '항상 온' 솔루션 및 그 영향들을 관리하기 위한 다수의 상이한 전략들이 처리된다.

또한, 초음파 트랜스듀서 어레이들은 인간에(예를 들어 헤드 장착형 디스플레이 또는 다른 웨어러블 액세서리 상에) 장착될 수 있다. 이 어레이는 사용자들의 신체와 손 모두에 대해 6 자유도 추적의 일부 형태를 이용할 것이다. 이러한 추적 데이터를 사용하여, 어레이들은 터치 감각이 시뮬레이션되도록 움직이는 손들 상의 특정 위치들에서 집중된 음향 압력을 투영하도록 조정될 수 있다. 태블릿 또는 전화처럼 손바닥을 들고있는 인간은 실제 디바이스를 들고 동일한 제스처 및 상호작용에 참여하는 인간과 유사한 방식으로 햅틱을 경험할 수 있을 것이다. 웨어러블 마이크들을 사용하여 신체로 반사 및 전송되는 초음파 신호가 손 및 제스처 추적에 사용될 수 있다.

유사한 참조 번호들이 별개의 도면들 전체에 걸쳐 동일하거나 기능적으로 유사한 요소들을 지칭하는 첨부 도면들은, 아래의 상세한 설명과 함께, 명세서에 포함되고 그 일부를 형성하며, 청구된 발명을 포함하는 개념들의 실시예들을 추가로 예시하고 그러한 실시예들의 다양한 원리들 및 장점들을 설명하는 역할을 한다.
도 1은 핸드헬드 디바이스를 잡고 있는 것을 도시한다.
도 2는 공중 햅틱들로 모방(emulate)하기 위한 예시적인 핸드헬드 제스처들을 도시한다.
도 3은 햅틱을 이용한 손-기반 상호작용을 도시한다.
도 4는 햅틱이 없는 손-기반 상호작용을 도시한다.
도 5a 및 도 5b는 손가락 제스처들을 측정하기 위한 양손 구성들을 도시한다.
도 6은 손가락-대-손바닥(finger-on-palm) 추적을 도시한다.
도 7은 오므린 손바닥 제스처들을 도시한다.
숙련된 기술자들은 도면들에서의 요소들이 단순성 및 명료성을 위해 예시되어 있으며 반드시 축적대로 도시된 것은 아니라는 것을 이해할 것이다. 예를 들어, 도면들 내의 요소들 중 일부의 치수들은 본 발명의 실시예들의 이해를 향상시키는 것을 돕기 위해 다른 요소들에 비해 과장될 수 있다.
장치 및 방법 컴포넌트들은 본 명세서의 설명의 혜택을 받는 본 기술 분야의 통상의 기술자에게 쉽게 명백할 세부사항들로 본 개시를 모호하게 하지 않도록 하기 위해, 본 발명의 실시예들에 대한 이해와 관련된 특정 세부 사항들만을 도시하고, 도면들에서 통상의 기호들로 적절하게 표현되었다.

I. 유비쿼터스 공중 햅틱 피드백

A. 제어 어서팅(Asserting control)

햅틱들로 작동될 수 있는 공간 내의 사용자가 기계로의 연결을 요구하는 경우, 이들은 기계로 하여금 그들의 제스처 명령들을 "청취"하도록 하기 위해 특정 제스처를 수행해야 한다. 이 제스처는 사용자가 서비스에 액세스하기 위한 게이트웨이를 제공하는 데 필요하고 사용자에 의해 커스터마이즈될 수 있다. 이 제스처는 또한 각각의 사용자에 대해 고유할 수 있으며 사용자가 상호작용하고 있는 기계에 표시되므로 그들의 선호들에 따라 행동할 수 있다. 이것이 달성되면, 공중 햅틱 효과의 형태로 된 "준비" 신호가 손으로 방송되어, 시스템이 제스처 제어 모드로 변경되었다는 것을 시그널링한다. 이 공중 햅틱 효과는 또한 각각의 사용자에 의해 구성되고 재할당될 수 있다. 기계와의 추가 상호작용은 이어서 손 제스처들을 이용하여 수행될 수 있다. 제스처들은 더 정확한 명령들이 획득될 수 있는 다른 디바이스 상에 제어를 전송하기 위해 사용될 수 있는데, 이 경우에 시스템이 제스처 제어 모드에서 벗어나기 때문에 "준비" 신호가 꺼진다.

제스처 제어 모드에서, 각각의 사용자는, 시스템이 명령에 대응하는 동작을 수행하기 위해 사용자에 의해 소비될 필요가 있는 에너지 및 인지 대역폭의 양을 감소시킬 수 있도록, 특정 디바이스들을 제스처들에 "고정(pin)"하는 것이 가능해야 한다. 특정 부피의 공간이 근처 물체들에 결합될 수 있다. 수동 객체들에 대해, 이는 시스템이 잘못 배치된 객체들에 대해 위치 서비스들 및 햅틱들을 사용자에게 제공하여, 사용자에게 아이템을 사용하는 가장 좋은 방법 또는 단순히 아이 프리 방식(eyes free fashion)으로 객체에서 힌트를 얻는 방법을 알려주는 것을 허용한다. 제3자 전자 디바이스들 및 시스템들과 같은 시스템과 능동적으로 관여되는 객체들에 대해, 이들은 이들과 동반되고 연관되는 햅틱 효과들을 가질 수 있어서, 정보 및 이벤트들을 사용자에게 송신할 수도 있고 사용자로부터 수신할 수도 있다. 이들 공중 햅틱 효과들은 구성 가능할 수 있고 각각의 사용자에 의해 재할당될 수 있다. 각각의 디바이스는 "고정된" 상호작용들을 가질 수 있고, 여기서 각각의 명령은 작업을 캡처하는 그에 연관된 제스처 및 공중 햅틱들을 가지고 있다. 이 작업은 주어진 제3자 시스템 또는 디바이스와 연관된 가장 흔한 작업들을 고려함으로써 인지적으로 광 제스처에 자동으로 결정되고 매핑될 수 있다. 이것은 허프만 코드와 유사한 작업들과 제스처들 사이의 매핑을 자동으로 구성하는 것으로 간주될 수 있으며, 여기서 흔한 작업들은 단순한 제스처들을 할당받는 반면에, 드문 작업들은 더 복잡한 제스처들을 할당받는다.

선택 제스처는 특정 디바이스 또는 기기에 대한 제어를 어서팅하기 위해 사용자에 의해 수행될 수 있다. 이 제스처는 포인팅과 같은 원격 형태의 선택, 또는 해당 애플리케이션, 디바이스 또는 기기에 연계된 영역 또는 부피를 제스처로 선택하는 다른 방법을 포함할 수 있다. 선택의 인식 시에, 햅틱 응답이 도출되어 사용자는 선택이 발생했음을 알 수 있다. 이것은 햅틱 효과의 차이에 의해 근처의 다른 '활성' 영역들과 구별될 수 있다. 인근 영역이 비활성이면, 거기에는 어떠한 햅틱 효과도 없거나, 제스처 입력을 받아들이기 위한 기계의 준비에 대응하는 일반적 활성 효과가 존재할 수 있다.

B. 이벤트 통지들

또한, 사용자가 공간 내에 포함되는 경우, 이벤트 통지들을 생성하기 위해 공중 햅틱 피드백이 사용될 수 있다. 이들은 상이한 공중 햅틱 효과들을 이용하여 상이한 정보를 전달하도록 구성 가능할 수 있다. 공중 햅틱 효과에 대한 주기적으로 변조된 변조는 "알람" 통지를 생성하는 데 사용될 수 있다. 경고를 전달하는 공중 햅틱 통지는, 일정 기간 후에, 또는 다른 조건들이 충족될 경우, 다른 감각 양식들로 분해될 수 있다. 이벤트 통지들은 개별적으로 식별되고 인증된 사용자들에만 신중한 방식으로 적용될 수 있도록, 또는 공간 내의 모든 사람들에게 방송하도록 사용자에 의해 구성될 수 있다.

"해제" 제스처는 이벤트 통지가 발생하면 이를 해제하기 위해 사용될 수 있다. 공중 햅틱 시스템에 의해 전달되는 이벤트는 이것이 개입 없이 중지되도록 또는 이러한 방식 또는 다른 방식으로 명시적으로 무시될 때까지 지속적으로 계속 지속하도록 구성될 수 있다. 해제 동작은, 예를 들어, 일부 변경의 통지로 인해 공간 내의 모든 사용자들의 해제를 요구하거나, 단일 사용자의 동작으로 충족되도록 구성될 수 있다. 단일 사용자의 경우에, 통지는 동작에 대한 요청일 수 있으며, 이는 해제로 하여금, 새로운 이벤트 통지가 사용자에게 해제의 발생 전에 추가로 동작할 것을 요구하는 모드로 변경하거나, 다른 감각 양식으로 전달되거나, 다른 시스템을 작동시키거나, 추가 이벤트들을 스케줄링 하기 위해 "수락" 제스처를 또한 갖게 할 것이다. "해제" 동작은 타이머 알람 통지의 경우에서와 같이, 나중의 시간까지 공중 햅틱 이벤트 통지의 연기를 제공하도록 구성될 수 있다. 이러한 통지 시스템은 순전히 햅틱 자극들을 통한 통신으로 제한되지 않는다. 시스템을 통한 파라메트릭 오디오의 적용을 포함하는 추가 감지들은 사용자를 인식 및 응답 상태로 유도하기 위해 추가로 보강 및 자극하는 데 사용될 수 있다.

C. 외부 영향들

사용자가 햅틱들이 작동될 수 있는 공간 내에 포함되는 경우, 외부 변수들의 상태를 전달하기 위해 공중 햅틱 피드백이 사용될 수 있다. 햅틱 피드백 패턴을 생성하는 함수에 대한 입력으로서 외부 변수를 사용하여 햅틱 효과를 수정함으로써, 사용자는 (예를 들어) 현관문이 잠겨 있는지, 세탁 사이클의 남은 시간의 양 또는 제품의 가격을 결정할 수 있다.

이것은 이러한 변수들을 파라미터들로서 취하는 햅틱 템플릿의 형태로 설계될 수 있다. 이러한 변수들의 유형들은 부울 변수들(Boolean variables), 한 세트의 옵션들 및 실수 값들의 멤버들을 포함할 수 있다(그러나 이에 제한되지 않는다). 각각의 템플릿은 변수의 범위에 걸쳐 변하는 피드백을 생성하기 위해 이 변수들 중 하나 이상에 기초할 수 있다. 이들 템플릿들이 입력 값들을 해석하는 방식은 또한 사용자에 의해 수정되어 디바이스의 커스터마이즈를 허용할 수 있다. 템플릿들은, 손 형상에 맞도록 템플릿의 뒤틀림(warping)을 용이하게 하기 위해, 전체로서의 손, 팔뚝 표면, 임의의 손가락 뼈 또는 손가락 표면, 또는 전술한 것들의 조합에 대해, 햅틱들이 "고정"되는 위치에 대해 전역적일 수 있는 좌표 공간에 정의될 수 있다.

햅틱 피드백은 또한 피드백을 최적화하기 위해 환경 인자들에 의해 수정될 수 있다. 예를 들어, 온도 및 습도로 인해 소리의 속도가 증가함에 따라, 햅틱 포인트는 디바이스로부터 거리가 증가한다. 이것은 이동된 파장의 수가 동일하므로 파장이 더 길기 때문이다. 파장들에서 디바이스로부터의 상대 거리를 수정함으로써, 햅틱 포인트는 일관된 측정 가능 거리로 정규화될 수 있다. 동일하게, 온도는 인간 손의 감도에 영향을 미칠 것이다. 피드백의 강도를 수정함으로써, 추위의 마비 효과가 상쇄될 수 있다.

D. 추가적인 개시

이러한 실시예들의 추가 설명은 다음을 포함한다:

1. 시스템으로서,

소리 에너지의 분포를 포함하는 음장 -음장은 복수의 트랜스듀서에 의해 생성됨-;

인간 제스처들을 추적하는 추적 시스템; 및

햅틱들의 사용을 포함하는 작동 모드 및 모니터링 모드를 갖는 제어 시스템을 포함하는 인간-기계 인터페이스를 포함하고,

추적 시스템이 미리 지정된 인간 제스처를 검출할 때, 제어 시스템은 모니터링 모드로부터 작동 모드로 전환되는, 시스템.

2. 단락 1에 있어서, 미리 지정된 인간 제스처는 인간-기계 인터페이스의 사용자에 의해 정의되는, 시스템.

3. 단락 1에 있어서, 추적 시스템이 미리 지정된 인간 제스처를 검출할 때, 음장은 인간-기계 인터페이스의 사용자에 의해 인지 가능한 미리 지정된 햅틱 효과를 생성하는, 시스템.

4. 단락 3에 있어서, 미리 지정된 햅틱 효과는 인간-기계 인터페이스의 사용자의 손에 고정되는 시스템.

5. 단락 1에 있어서, 외부 이벤트의 발생 시에, 제어 시스템은 음장이 작동 모드로 진입하고, 인간-기계 인터페이스의 사용자에 의해 인지 가능한 미리 지정된 햅틱 효과를 생성하게 하는, 시스템.

Ⅱ. 몸체 장착형 초음파 햅틱 솔루션들

A. 종래 솔루션들의 단점들

1. 작동기를 갖는 액츄에이터들은 위생 문제들 및 제한된 정확도를 갖는다.

2. 고정 위치 공중 햅틱들은 햅틱 상호작용의 제한된 구역을 나타내는, 영역에 대한 고정된 위치를 갖는 "데스크탑" 경험의 제한을 갖는다.

3. 압축된 공기 와류들("스모크 링들")이 공기 내로 주입되어 멀리서 느껴질 수 있다. 이러한 프로젝터들은 기계적 액츄에이터들에 의해 조종될 필요가 있는 부피가 큰 기계적 디바이스들이다. 그들의 크기 외에도, 이동 환경에서의 가장 큰 단점은 그들의 높은 대기 시간이다. 와류들은 공기 중에서 초당 수 미터 정도만 이동한다. 사용자는 와류가 소스로부터 사용자로 이동하는 데 걸리는 시간 안에 쉽게 이동할 수 있다. 결과적으로, 이것은 예측 가능한 상호작용들(예컨대 반응적 상호작용이 아니라, 사용자가 그를 향해 움직이고 있는, 느리게 움직이는 공)을 갖는 고정된 위치 환경들에서만 실제로 적합하다. 사용자에 장착된 경우, 상호작용이 사용자에게 고정되고 햅틱 위치들이 0.5초 정도 미리 결정될 필요가 있음에 따라 효과가 더욱 복잡해진다. 이러한 대기 시간은 최소의 움직임만으로 누락 또는 의도하지 않은 피드백을 야기할 것이다. 웨어러블 초음파 어레이들은 음속(300+m/s)으로 이동하는 햅틱들을 생성하여, 인간 길이 스케일 상의 임의의 대기 시간을 사실상 제거한다. 또한, 이론적 트랜스듀서 크기들은 매우 작을 수 있고(mm), 이는 다양한 웨어러블 폼 팩터들에서의 용이한 통합을 가능하게 한다.

4. 다음의 논문 http://www.damngeeky.com/2013/05/30/11576/virtual-projection-keyboard-technology-with-haptic-feedback-on-palm-of-your-hand.html 은:

"3D 투영 시스템들 및 인터페이스들은 이미 우리의 삶의 필수 부분인 간단한 장치들(gizmos) 및 도구들(gadgets)에 내재된 기술의 미래가 될 것이다. 3dim Tech의 제스처 제어 기술과 마찬가지로, Masatoshi Ishikawa 교수 및 Hiroyuki Shinoda 교수가 이끄는 도쿄 대학 설계 팀은 당신의 손, 종이 또는 당신의 도구(들)에 입력을 제공하기 위한 임의의 다른 무작위 표면 상에 가상 키보드 또는 임의의 다른 상호작용 디스플레이를 투영하는 인터페이스 시스템을 개발하였다. 당신의 손에 가상으로 투영되는 키보드 키들 상의 동작 또는 압력을 위한 햅틱 피드백을 제공하는 약 2,000개의 초음파 방출기들에 의해 동력을 제공 받아, 새로운 기술은 미래에 대해 엄청난 잠재력을 갖는다. 그것은 회사 사무실 또는 가정 내의 임의의 위치로부터 컴퓨터, 스마트폰, 태블릿들, 임의의 다른 도구들을 작동시킬 수 있는 것을 의미한다. 본 기술은 공공에게 롤 아웃된 상업적 응용을 볼 수 있기 전에 여전히 5년이 걸리기 때문에 완성되지 않은 먼 길이지만, 지금까지 충분히 양호하게 보인다." 라고 기술한다.

본 논문은 손바닥 상에 투영된 사용자 인터페이스 및 햅틱 피드백을 제공하는 고정된 초음파 어레이를 상세히 설명한다. 논문과 본 명세서에 기술된 접근법 사이의 차이들은 다음과 같다.

a. 논문에서는 사용자 인터페이스가 프로젝터에 의해 생성되었다고 명시되어 있다. 본 명세서에 설명된 접근법은 헤드 장착 디스플레이(AR 또는 VR)에 의해 제공되는 그래픽들을 사용하는 것을 제안한다.

b. 투영되는 인터페이스가 사용자 입력과 함께 변하는지는 논문으로부터 명백하지 않다. 본 명세서에 설명된 접근법은 이러한 사용자 입력(버튼들의 변경, 텍스트의 스크롤 등)에 따라 동적으로 변화할 것이다.

c. 논문에 보여진 인터페이스는 단지 "버튼" 제스처를 제공하는 것으로 보인다. 본 명세서에 설명된 접근법은 매우 다양한 터치 기반 제스처들에 대한 피드백을 제공하는 것을 제안한다.

d. 본 명세서에 설명된 접근법은 반드시 손바닥에 투영될 필요는 없는 화면/인터페이스를 제어하도록 의도된 제스처에 대한 피드백을 제공하는 것을 제안한다.

e. 본 명세서에 설명된 접근법은 이 피드백을 제공하기 위해 추적 정보를 사용하여 업데이트하는 웨어러블 어레이를 사용하는 방법들을 제안한다.

f. 논문에 도시된 초음파 디바이스는 한 번에 하나의 초점만을 생성할 수 있다. 본 명세서에 설명된 접근법은 임의의 수 및/또는 완전한 음장들을 생성하고 제어할 수 있다.

g. 논문은 웨어러블 마이크를 사용하여 터치를 추적하기 위한 수단으로서 초음파를 사용하는 것에 대해 논의하지 않는다.

B. 신체 기반형 햅틱 디바이스들

본 명세서에 설명된 접근법은 초음파 위상 어레이들을 조작하기 위한 강건한 방법들을 확립하였다. 음향 에너지를 집중하는 것은 정적 및 동적 타겟들에 대한 정확하고 동적인 햅틱들을 생성할 수 있다. 제안된 방법의 목적은 이동성이고 헤드 장착 디스플레이들을 착용할 수 있는 사용자들의 타겟팅을 포함하기 위해 공중 햅틱 능력을 확장하는 것이다. 고정된 위치 어레이들에 더하여, 이 방법은 어레이들이 사용자들 및 영역들에서 타겟 이동 사용자들에게 또한 장착되는 것을 허용한다. 신체 부분들은 반사 및 상호작용 햅틱 표면들로서 사용될 수 있다. 그에 부가하여, 움직임 및 손-대-손 터치를 포함하여 반응적이고 정확한 손 추적으로 신체 내로 반사 및/또는 전송되는 음향 신호들이 이용될 수 있다.

도 1은 손(120)에 의해 작동되는 핸드헬드 디바이스(110)의 종래의 세로 방향 유지의 개략도(100)를 도시한다. 이러한 구성에서, 한 손 스와이프는 화면의 스크롤 또는 아마도 슬라이더의 이동에 따라 AR/VR 그래픽들을 업데이트할 수 있다. 도 2는 공중 햅틱들로 모방 하기 위한 대안적인 핸드헬드 제스처들의 개략도(200)를 도시한다. 이들은 스와이프(202), 탭(204), 핀치(206), 다중-터치(208, 210, 212, 218), 틸트(214), 흔들림(216) 및 줌(220, 222)을 포함한다.

인간 손들의 손바닥 측은 초음파 기반 햅틱에 대해 매우 민감하고 이상적인 타겟이다. 따라서, 이들은 상호작용 구역들 및 기구들에 대한 주요 초점이다. 햅틱 장갑들과 같은 주변 의류를 요구하지 않는 것에 더하여, 햅틱 감각들을 가능하게 하기 위해, 이 방법이 용이하게 할 공용 공간들에서의 향후의 AR 상호작용들에 대한 중요한 프라이버시 요소가 존재한다. 손의 제스처들은 여전히 사용자의 프라이버시를 보존하는데, 그 이유는 손 표면이 탐사되는 특정 제스처 또는 콘텐츠 유형을 드러내는 것에 대한 보호로서의 역할을 하기 때문이다.

그럼에도 불구하고, 개인의 팔들, 다리들, 및 다른 신체 부위가 또한 표면 및 상호작용 기구로 간주될 수 있다. 예를 들어, 라디오 또는 에어컨을 조정하기 위해 구동하는 동안 일부 인터페이스 요소들을 사용자의 다리에 투영할 수 있다.

햅틱들이 활성 상호작용 구역들을 타겟팅하는 것을 허용하면서, 햅틱들은 (HMD 또는 소정의 다른 착용식의 추적된 위치 액세서리에 내장 또는 부착되는 것과 같이) 사용자 상에 장착된, 또는 환경에 장착된 고정된 위치로부터의 하나 이상의 초음파 어레이들로부터 투영될 수 있다. 환경 내의 어레이들은 또한 이동식일 수 있고, 작동되는 팔들/표면들에 장착되거나 드론들 또는 로봇들로 조종할 수도 있다.

초점 조정을 달성하기 위한 하나의 핵심은 신체 또는 환경 내에 장착된 모든 초음파 어레이가 항상 각각의 트랜스듀서의 위치 및 방향을 아는 것이다. HMD들은 일반적으로 디스플레이와 관련된 "프레임"에서 ~100Hz로 작동한다. 각각의 프레임에 대해, 시스템 내의 모든 초음파 어레이들은 시스템 내에서의 그들의 위치 및 원하는 초점 위치(손 등) 둘 다에 대한 업데이트된 위치/방향 정보를 필요로 할 것이다. 이는 부착되거나 어레이들에 대한 알려진 상대 위치를 갖는 HMD에 공통적인 표준 광학 방법들(IR LED, 기준들, SLAM, 등)로 수행될 수 있다. 대안적으로, 이것은 알려진 상대 위치에 어레이가 장착된 바디 슈트의 추적을 사용하여 수행될 수 있다. 적절한 햅틱들을 생성하기 위한 초점 위치는 프레임 간 시간(전형적으로 5kHz+)보다 더 빨리 업데이트되어야 한다. 이것은 각각의 프레임마다 업데이트되는 미리 프로그래밍 된 루트로서 행해질 수 있다. 대안적으로, 어레이는 다른 빠르게 작동하는 추적기에 기초하여 초점 위치를 업데이트할 수 있다.

다른 배열에서, 어레이는 어레이 제어기에 피드백하는 알려진 위치 마이크 픽업에 음향 신호들을 동시에 전송할 수 있다. 마이크에서 진폭 및/또는 위상의 변화들을 측정함으로써, 이는 추적 업데이트들을 갖는 새로운 프레임을 기다리는 동안 프레임 간 초점 위치 조정으로서 사용될 수 있다. 다른 배열에서, 외부 마이크는 마이크로 정확하게 향하는 신호보다는 반사된 소리를 측정하는 데 사용될 수 있다. 마지막 프레임으로부터의 손 모양, 방향, 및 속도 정보는 반사된 신호, 및 그것이 움직임에 따라 어떻게 변하는지 모델링할 수 있다. 다른 배열에서, 다수의 픽업 마이크들과 함께 반사된 신호는 환경을 음향적으로 이미징할 수 있어 별도의 추적 정보를 불필요하게 한다. 이들 배열들 중 임의의 것은 전송 시간 및/또는 어레이 위치 정보를 포함하도록 코딩된 신호들을 가질 수 있다.

도 3 및 도 4는 손바닥이 사용자를 향하게 하는 잠재적인 양손 구성 및 사용자가 손을 잡는 방법을 도시한다. 안쪽을 향한 이 손바닥은 "표면 손(surface hand)"이라고 지칭되는 것이다. 사용자의 다른 손은 "상호작용 손(interacting hand)"이라고 지칭될 것이며, 스와이프들, 클릭들 및 핀치들과 같은 임의의 인터페이스 제스처들을 수반하는 양손 상호작용들을 담당할 것이다. 도 3(미국 특허 출원 2015/0248787에서 취함)은 손바닥(330) 또는 손가락 끝(340)을 통해 표면 손(320)을 터치하는 상호작용 손(310)의 햅틱 기반 개략도(300)를 도시한다. 도 4(식스 센스 웨어러블 제스처 인터페이스로부터 취함)는 숫자 패드가 투영되는(405) 표면 손(404)을 터치하는 상호작용 손(402)의 비-햅틱 기반 회로도(400)를 도시한다(405). 손들은 위치를 결정하고 투영된 키보드와의 상호작용을 계산하기 위해 추적기들(406, 408, 410)을 포함한다.

이 표면 손은 실행 가능 각도 또는 범위 내의 임의의 초음파 어레이가 AR/VR HMD에 보여진 그래픽들과 협력하여 손 상에 햅틱들을 투영하는 것을 허용한다. 결과는 상호작용될 수 있는 사용자의 손 상에 외관 상으로 투영된 인터페이스이다. 이것은 사용자에 의해 수행되는 제스처들에 대응하기 위해 손의 표면 상에 투영된 햅틱들을 제외하고는, 전화 또는 태블릿 인터페이스와 유사하다.

이 방법의 중요한 요소들 중 하나는 햅틱들이 표면 손을 향해 적용되고 지만, 필요에 따라 상호작용 손 상의 햅틱들이 또한 활성화되는 것을 의도한다. 따라서, 버튼 누름은 예를 들어 버튼이 안쪽으로 눌려지는 것에 대한 표면 손의 감각을 포함하는 반면, 햅틱은 상호작용을 행하고 있는 상호작용 손의 손가락 끝에도 적용된다. 이러한 햅틱들 중 일부는 상호작용 손을 향할 수 있고, 일부는 상호작용에 관여하는 양손의 부분들(예를 들어, 한 손의 손가락 끝 및 다른 손의 손바닥)에 의해 경험되도록 표면 손으로부터 반사되거나 스플래시(splash)되도록 의도된다.

모바일 햅틱 경험에서의 그래픽 프레젠테이션의 방법은 관련이 없으며, 헤드셋 디스플레이 내에서든 또는 신체 일부의 표면 상에 투영되든, 이러한 그래픽들을 고정하기 위해 손들 및 다른 신체 부분들만이 추적되고 사용된다. 또한, 전술한 것들과 같은 햅틱들 및 인터페이스들은 그래픽들이 기능하는 것을 요구하지 않는다. 그래픽 프레젠테이션은 AR 헤드셋 또는 다른 AR 장비에 의해 프레젠테이션될 수 있고 홀로그램들을 포함할 수 있다. 햅틱들과 함께 그래픽 프레젠테이션들이 존재하거나 존재하지 않을 수 있다.

이 방법의 일 구현은 상호작용되고 있는 표면들 상에 직접 투영되는 그래픽들 없이 사용자가 효과적으로 사용할 수 있는 터치패드형 내비게이션 인터페이스를 포함할 수 있다. 이는 사용자가 마우스를 책상 위에서 움직이고 있는 동안 컴퓨터 화면 상에서 마우스 커서가 움직이는 것과 유사하다. 다른 배열에서, 표면 손은 트랙 패드로서 기능할 수 있고, 상호작용 손은 랩탑 컴퓨터 상의 트랙 패드와 마찬가지로 동작할 수 있다. 이는 간단한 탭 및 드래그 제스처들뿐만 아니라 2-손가락 드래그, 핀치-대-줌(pinch-to-zoom) 등과 같은 2-5 손가락 상호작용들을 포함할 것이다.

이들 인터페이스들을 구현하기 이해 손-추적이 요구된다. 이는 통상적으로 광 추적을 통해 달성된다. 우수한 x-y(이미지 평면) 감도를 유지하면서, 깊이 감도는 매우 어렵다. 이 방법은 손가락이 손바닥 바로 위에서 호버링하는 것과 실제로 터치하는 것을 구별하는 데에 어려움을 가질 수 있다. 이러한 민감도의 부족은 손가락-대-손바닥 터치의 정확도를 제한하여 과장된 고에너지 제스처들을 요구하고 그의 매력을 제한할 수 있다. 이 문제는 피부 결합 마이크들을 포함함으로써 초음파로 해결될 수 있다. 이들은 헤드셋 내에, 어레이 상에, 또는 임의의 수의 웨어러블 디바이스들 상에 배치될 수 있다.

이러한 배열의 가장 기본적인 배열이 도 5a 및 도 5b에 도시되어 있다. 도 5a는 초음파 어레이가 하나의 손(506) 상에 초점(510)의 형태로 신호를 전송할 수 있는 개략도(500)를 도시한다. 초점(510)(또는 다수의 포인트들)은 영역 내로의 결합을 최대화하기 위해 어레이의 법선에 수직인 지점(들)에서 타겟팅될 수 있다. 접힌 피부 또는 터치하는 손가락들은 또한 적절한 결합을 제공할 수 있다. 초음파 어레이가 초점(510)에서 신호를 전송한 결과로서, 큰 진폭 사인파(508)가 한 손(506)에 존재하지만, 작은 진폭 사인파(504)는 다른 손(502)에 존재한다. 작은 진폭 사인파.

도 5b는 초음파 어레이가 초점(560) 형태의 신호를 하나의 손(556) 상으로 전송할 수 있는 개략도(550)를 도시한다. 초점(560)(또는 다수의 포인트들)은 영역 내로의 결합을 최대화하기 위해 어레이의 법선에 수직인 지점(들)에서 타겟팅될 수 있다. 접힌 피부 또는 터치하는 손가락들은 또한 적절한 결합을 제공할 수 있다. 한 손(556)은 터치 포인트(562)에서 다른 손(552)을 터치한다. 초음파 어레이가 초점(510) 및 터치 포인트(562)에서 신호를 전송한 결과로서, 큰 진폭 사인파(508)는 한 손(556)에 존재하고, 큰 진폭 사인파(554)는 다른 손(552)에 존재한다. 이는 초음파가 아마도 벌크 전송을 통해 터치(562)에서 피부를 통해 결합되기 때문이다.

대안적으로, 음장은 빔, 또는 송신된 신호를 원하는 영역으로 최대화하는 임의의 형상으로 형성될 수 있다. 이는 햅틱들을 생성하는 레벨에 있을 필요는 없다. 피부 결합 마이크는 신체의 수신 측(이 경우 좌측)의 음향 에너지에 더 민감하도록 배치될 것이다. 이것은 (예를 들어 시계에서) 수신 손에 가깝게 배치하거나, 헤드셋에 위치된 지향성 마이크를 갖는 것에 의해 달성될 수 있다. 이는 (예를 들어, 거품으로 둘러싸인) 반사되는 신호들과의 충돌을 피하기 위해 공중 초음파에 민감하지 않아야 한다. 이러한 배열에서, 공기와 피부 사이의 큰 음향 임피던스 불일치로 인해, 손들이 기계적으로 접촉할 때까지 손들 사이에서 매우 작은 소리만 전달될 것이다. 접촉이 발생할 때, 피부-결합된 마이크는 별개의 신호를 수신할 것이다. 신호는 다양한 내부 또는 외부 반사들을 피하기 위해 위상-키잉(phase-keying)과 같은 비행 시간을 인코딩하는 방법들을 이용할 수 있다.

다른 배열에서, 다수의 피부 결합 마이크들이 사용되고 조정되어 상대 신호들이 더 강력한 터치 검출 신호를 만들기 위해 사용될 수 있다. 또한, 기계적 접촉의 정도(접촉의 힘)는 신호 결합을 증가시킬 것이고, 따라서 힘의 척도를 제공할 것이다. 이러한 방식으로, 초음파는 손 추적의 터치 감도를 개선하는 데 사용될 수 있다.

광학 추적이 존재하지 않거나 또는 그것의 정확도 또는 대기 시간이 신뢰성 있는 제스처 인식에 충분하지 않은 경우, 손가락-대-손바닥 추적을 가능하게 하거나 개선하기 위해 음향들이 사용될 수 있다. 도 6에 하나의 배열이 있으며, 이는 손바닥(611) 상에 투영된 3개의 초점들(612, 614, 616)을 갖는 손(610)의 개략도(600)를 나타낸다. 피부 결합된 마이크는 수신 측(이 경우, 상호작용 손(619)의 손가락(620))에 민감할 것이다. 각각의 초점(612, 614, 616)은 어떤 방식으로 (위상 키, 주파수 등) 코딩된다. 손가락(620)이 터치 포인트(622)에서 손바닥(611)을 터치할 때, 그것은 각각의 초점(612, 614, 616)으로부터의 거리에 따라 상이한 양의 음향 신호를 결합할 것이다. 상호작용 손(619) 내로 수신된 음향 신호들(618)의 상대적 강도 및/또는 타이밍을 분리하고 평가함으로써, 손바닥(611) 상의 터치하는 손가락(620)의 위치를 추론하는 것이 가능하다. 이것은 높은 터치-대-호버 감도뿐만 아니라 낮은 대기 시간 x-y 검출을 가능하게 한다. 각각의 초점들로부터의 결합된 신호들을 사용하여, 상대적인 크기와 위상을 보고서 위치가 결정될 수 있다.

더 많은 초점들이 사용되어 정밀도를 증가시키고 사용자가 상호작용 손으로 하나 이상의 그림자를 만들 가능성을 최소화할 수 있다. 더 많은 중복 신호들은 또한 반사 또는 오정렬로부터의 가능한 에러들을 감소시킬 것이다. 해상도 및 정확도를 최대화하기 위해 사용자가 상호작용하고 있는 동안 초점들이 또한 조정될 수 있다.

손 상에 초점들을 투영한 다음, 상호작용 손/손가락을 이용하여, 기계적으로 결합된 신호를 픽업하고 그 신호를 피부 결합된 마이크로 측정하여 터치를 결정하는 방법이 또한 무생물 객체들에 적용될 수 있다. 예를 들어, 투영된 AR 또는 VR 상호작용 사용자 인터페이스를 갖는 평평한 테이블이 고려될 수 있다. 하나의 배열에서, 단일 초점 필드가 표면 상에 투영된다. 이것은 테이블에서의 손 결합의 전술한 설명과 유사하게 음파들(벌크 및 표면 둘 다)을 여기시킬 것이다. 상호작용 손이 테이블을 터치할 때, 그 음향 신호는 손에 결합되고, 피부 결합 마이크에 의해 픽업되고 분석될 수 있다. 손 추적 시스템과 협력하여, 이것은 고속, 고충실도 터치 대 비-터치 추적을 제공할 것이다. 다른 배열에서, 다중-포인트 장이 상호작용 표면 상에 투영될 수 있다. 손바닥 상의 다중 포인트들을 설명하는 위의 설명과 아주 유사하게(도 6), 사용자가 표면을 터치할 때, 신체는 각각의 투영된 초점에 대한 거리와 관련된 신호를 결합할 것이고, 터치 위치는 초점들에 대해 결정될 수 있다.

제어를 위해 손바닥을 이용할 필요가 없다. 도 7은 오므린 손으로 가능한 일부 추가적인 제스처들의 모음(700), 즉, 버튼(710), 다이얼(720) 및 슬라이더(730)를 도시한다. (도 7은 Google의 Project Soli로부터 취함.) 손가락들(엄지를 포함함)의 끝들은 초음파 햅틱들에 매우 민감하고, 이들 제스처들에서 피드백을 위해 타겟팅될 것이다. 일 구현에서, 탭 또는 범프는 마우스 스크롤 휠들 내의 범프와 유사하게 다이얼들 또는 스크롤들에 추가될 수 있다. 버튼에 대해, 2개의 상이한 터치 압력들이 하나(또는 둘 다)에 대한 햅틱 탭을 사용함으로써 (Apple 디바이스들 상의 3D 터치와 유사하게) 인식될 수 있다.

C. 예시적 특징들

이하, 전술한 설명의 예시적인 특징들을 예시한다:

1. 햅틱들이 모바일 위치들로부터 이동 타겟들 상으로 투영되는 것을 허용한다.

2. 햅틱 상호작용 표면들로서 작용하기 위해 사용자 자신의 부속 기관들 및 다른 신체 부분들을 사용하도록 한다.

3. 반응적이고 직관적인 햅틱 감각들을 생성하기 위해 상호작용하는 손뿐만 아니라 표면 손의 햅틱들을 동시에 조정하도록 설계된 햅틱들을 개발한다.

4. 전송된 신호들을 측정하기 위해 피부 결합 마이크들을 사용한다.

이들 실시예들의 추가 설명은 다음을 포함한다:

6. 사용자에게 부착된 알려진 상대 위치들 및 방향들을 갖는 트랜스듀서 어레이로부터 음장을 생성하는 단계;

복수의 제어 장들을 정의하는 단계 -복수의 제어 장들 각각은 트랜스듀서 어레이에 대해 알려진 공간 관계를 가짐-;

사용자가 이동함에 따라 트랜스듀서 어레이의 위치 및 방향을 동적으로 업데이트하는 단계; 및

사용자가 이동함에 따라 제어 장들의 위치와 방향을 동적으로 업데이트하는 단계

를 포함하는 방법.

7. 단락 6에 있어서, 위치 및 방향 정보는 광학 추적 시스템, 가속도계 추적 시스템 및 사용자가 착용한 추적 시스템 중 적어도 하나에 의해 제공되는, 방법.

8. 단락 6에 있어서, 음장은 공중 햅틱 피드백 시스템에 의해 생성되는, 방법.

9. 단락 8에 있어서, 공중 햅틱 피드백 시스템은 헤드-장착 디스플레이에 의해 제공되는 그래픽들 및 사용자에 의해 만들어진 제스처 중 적어도 하나로 조정되는, 방법.

10. 단락 9에 있어서, 그래픽들은 상호작용 사용자 인터페이스를 포함하는, 방법.

11. 단락 10에 있어서, 그래픽들은 사용자들의 손 가까이에 투영되는, 방법.

12. 단락 9에 있어서, 제스처들은 트랙-패드 제어 인터페이스로서 사용자의 손바닥을 사용하는, 방법.

13. 단락 6에 있어서, 사용자는 하나 이상의 피부 결합 마이크들을 착용하는, 방법.

14. 단락 13에 있어서, 음장은 사용자의 특정 신체 영역에 결합되도록 지향되는, 방법.

15. 단락 14에 있어서, 음장은 추적 정보를 제공하기 위해 신체-결합 마이크에 의해 측정되는 방법.

16. 단락 13에 있어서, 음장은 객체에 결합되도록 지향되는, 방법.

17. 단락 16에 있어서, 음장은 추적 정보를 제공하기 위해 신체-결합 마이크에 의해 측정되는, 방법.

18. 단락 15에 있어서, 신체-결합 마이크는 사용자의 특정 신체 부분에 가장 민감한, 방법.

19. 단락 15에 있어서, 음장은 신체-결합 마이크가 민감하지 않은 신체의 특정 영역에 결합하도록 지향되어, 사용자가 특정 영역과 접촉할 때, 신체-결합 마이크가 신호를 수신하는, 방법.

20. 방법으로서,

a) 알려진 상대 위치들 및 방향들을 갖는 트랜스듀서 어레이로부터 음장을 생성하는 단계;

b) 복수의 제어 장을 정의하는 단계 -복수의 제어 장 각각은 트랜스듀서 어레이에 대해 알려진 공간 관계를 가짐-;

c) 사용자 손에 제어 장을 배치하는 단계;

d) 헤드 장착 디스플레이에 의해 제공된 시각 기구들을 포함하는 사용자 인터페이스를 생성하는 단계

를 포함하는 공중 햅틱 피드백을 생성하는 단계를 포함하고,

사용자 인터페이스는 그래픽 정보를 디스플레이하기 위한 가상 화면을 포함하고, 사용자의 손 움직임은 가상 화면을 조작하는, 방법.

21. 단락 20에 있어서, 사용자 인터페이스는 스마트 폰, 터치 패드, 태블릿, GUI 인터페이스, 트랙 패드, 키보드 및 숫자 패드 중 적어도 하나를 모방하는 것인, 방법.

22. 단락 20에 있어서, 손바닥은 다른 손이 가상 화면을 조작하기 위한 트랙패드로서 기능하는, 방법.

23. 단락 22에 있어서, 손바닥에 가상 화면을 투영하는 단계를 더 포함하는, 방법.

24. 단락 20에 있어서, 사용자 손의 제어 장이 햅틱 피드백을 제공하는 방법.

Ⅲ. 결론

전술한 설명은 특정 값들을 개시하지만, 유사한 결과를 달성하기 위해 임의의 다른 특정 값들이 사용될 수 있다. 또한, 전술한 실시예들의 다양한 특징들은 개선된 햅틱 시스템의 수많은 변형들을 생성하도록 선택되고 조합될 수 있다.

전술한 명세서에서, 특정 실시예들이 설명되었다. 그러나, 본 기술분야의 통상의 기술자는 아래의 청구항들에 제시된 바와 같은 본 발명의 범위를 벗어나지 않고 다양한 수정들 및 변경들이 이루어질 수 있다는 것을 이해한다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주되어야 하며, 모든 이러한 수정들은 본 교시들의 범위 내에 포함되는 것으로 의도된다.

또한, 본 문헌에서, 제1 및 제2, 최상부 및 최하부 등과 같은 관계 용어들은 하나의 엔티티 또는 동작을 다른 엔티티 또는 동작과 구별하기 위해서만 사용될 수 있고, 이러한 엔티티 또는 동작들 사이의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지 않고도 사용될 수 있다. 용어들 "포함한다(comprises)," "포함하는(comprising)," "갖는다(has)," "갖는(having)," "포함한다(includes)," "포함하는(including)," "함유한다(contains)," "함유하는(containing)" 또는 임의의 다른 변형은 비배타적인 포함을 커버하도록 의도되며, 따라서 요소들의 목록을 포함하거나, 갖거나, 포함하거나, 함유하는 프로세스, 방법, 물건 또는 장치는 그러한 요소들만을 포함하는 것이 아니라, 명시적으로 열거되지 않거나 그러한 프로세스, 방법, 물건, 또는 장치에 고유한 다른 요소들을 포함할 수 있다. "~을 포함한다", "~을 갖는다", "~을 포함한다", "~을 함유한다"로 기재되는 요소는, 더 많은 제약들 없이, 요소를 포함하거나, 갖거나, 포함하거나, 함유하는 프로세스, 방법, 물건, 또는 장치 내의 추가적인 동일한 요소들의 존재를 배제하지 않는다. 용어 "a" 및 "an"은 본 명세서에서 달리 명시적으로 언급되지 않는 한 하나 이상으로서 정의된다. 용어들 "실질적으로", "본질적으로", "대략적으로", "약" 또는 이들의 임의의 다른 버전은 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이 근접한 것으로 정의된다. 본 명세서에서 사용되는 바와 같은 용어 "결합된"은 연결된 것으로서 정의되지만, 반드시 직접적이고 반드시 기계적일 필요는 없다. 소정 방식으로 "구성된" 디바이스 또는 구조물은 적어도 그러한 방식으로 구성되지만 나열되지 않은 방식들로 구성될 수도 있다.

본 개시의 요약은 독자가 기술적 개시의 본질을 신속하게 확인할 수 있게 하기 위해 제공된다. 이는 청구항들의 범위 또는 의미를 해석하거나 제한하기 위해 사용되지 않을 것이라는 이해 하에 제출된다. 또한, 전술한 상세한 설명에서, 본 개시의 간소화를 위해 다양한 특징들이 다양한 실시예들에서 함께 그룹화되는 것을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각각의 청구항에서 명백히 인용되는 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 주제는 단일의 개시된 실시예의 모든 특징들보다 적은 특징들에 있다. 따라서, 이하의 청구항들은 이로써 상세한 설명에 포함되며, 각각의 청구항은 개별적으로 청구된 발명대상으로서 자립한다.

Claims (24)

1. 시스템으로서,
   소리 에너지의 분포를 포함하는 음장(acoustic field) -상기 음장은 복수의 트랜스듀서들에 의해 생성됨-;
   인간 제스처들의 추적을 위한 추적 시스템; 및
   햅틱들의 사용을 포함하는 모니터링 모드 및 작동 모드를 갖는 제어 시스템
   을 포함하는 인간-기계 인터페이스를 포함하고,
   상기 추적 시스템이 미리 지정된 인간 제스처를 검출할 때, 상기 제어 시스템은 모니터링 모드에서 작동 모드로 전환되는, 시스템.
2. 제1항에 있어서, 상기 미리 지정된 인간 제스처는 상기 인간-기계 인터페이스의 사용자에 의해 정의되는, 시스템.
3. 제1항에 있어서, 상기 추적 시스템이 미리 특정된 인간 제스처를 검출할 때, 상기 음장은 상기 인간-기계 인터페이스의 사용자에 의해 인지 가능한 미리 지정된 햅틱 효과를 생성하는, 시스템.
4. 제3항에 있어서, 상기 미리 지정된 햅틱 효과는 상기 인간-기계 인터페이스의 사용자의 손에 고정되는, 시스템.
5. 제1항에 있어서, 외부 이벤트의 발생 시에, 상기 제어 시스템은 상기 음장이 액션 모드로 진입하고, 상기 인간-기계 인터페이스의 사용자에 의해 인지 가능한 미리 지정된 햅틱 효과를 생성하게 하는, 시스템.
6. 방법으로서,
   사용자에 부착된 알려진 상대 위치들 및 방향들을 갖는 트랜스듀서 어레이로부터 음장을 생성하는 단계;
   복수의 제어 장들(control fields)을 정의하는 단계 -상기 복수의 제어 장들 각각은 상기 트랜스듀서 어레이에 대해 알려진 공간 관계를 가짐-;
   상기 사용자가 이동함에 따라 상기 트랜스듀서 어레이의 상기 위치 및 방향을 동적으로 업데이트하는 단계; 및
   상기 사용자가 이동함에 따라 상기 제어 장들의 상기 위치 및 방향을 동적으로 업데이트하는 단계
   를 포함하는, 방법.
7. 제6항에 있어서, 상기 위치 및 방향 정보는 광학 추적 시스템, 가속도계 추적 시스템 및 상기 사용자에 의해 착용되는 추적 시스템 중 적어도 하나에 의해 제공되는, 방법.
8. 제6항에 있어서, 상기 음장은 공중 햅틱 피드백 시스템에 의해 생성되는, 방법.
9. 제8항에 있어서, 상기 공중 햅틱 피드백 시스템은 헤드-장착형 디스플레이에 의해 제공되는 그래픽들 및 상기 사용자에 의해 이루어진 제스처들 중 적어도 하나로 조정되는, 방법.
10. 제9항에 있어서, 상기 그래픽들은 상호작용 사용자 인터페이스를 포함하는, 방법.
11. 제10항에 있어서, 상기 그래픽들은 상기 사용자의 손 근처에 투영되는, 방법.
12. 제9항에 있어서, 상기 제스처들은 상기 사용자의 손바닥을 트랙-패드 제어 인터페이스로서 사용하는, 방법.
13. 제6항에 있어서, 상기 사용자는 하나 이상의 피부 결합 마이크를 착용하고 있는, 방법.
14. 제13항에 있어서, 상기 음장은 상기 사용자의 특정 신체 영역에 결합하도록 지향되는, 방법.
15. 제14항에 있어서, 추적 정보를 제공하기 위해 신체-결합 마이크들에 의해 음장이 측정되는, 방법.
16. 제13항에 있어서, 상기 음장은 객체에 결합하도록 지향되는, 방법.
17. 제16항에 있어서, 상기 음장은 추적 정보를 제공하기 위해 신체-결합 마이크에 의해 측정되는, 방법.
18. 제15항에 있어서, 상기 신체-결합 마이크들은 상기 사용자의 특정 신체 부분에 가장 민감한, 방법.
19. 제15항에 있어서, 상기 음장은 상기 신체-결합 마이크가 민감하지 않은 신체의 특정 영역에 결합되도록 지향되어, 상기 사용자가 상기 특정 영역과 접촉할 때 상기 신체-결합 마이크는 신호를 수신할 것인, 방법.
20. 방법으로서,
    a) 알려진 상대 위치들 및 방향들을 갖는 트랜스듀서 어레이로부터 음장을 생성하는 단계;
    b) 복수의 제어 장을 정의하는 단계 -상기 복수의 제어 장 각각은 상기 트랜스듀서 어레이에 대해 알려진 공간 관계를 가짐-;
    c) 사용자 손에 상기 제어 장들을 배치하는 단계
    d) 헤드 장착 디스플레이에 의해 제공된 시각 기구들을 포함하는 사용자 인터페이스를 생성하는 단계
    를 포함하는 공중 햅틱 피드백을 생성하는 단계
    를 포함하고, 사용자 인터페이스는 그래픽 정보를 디스플레이하기 위한 가상 화면을 포함하고, 사용자의 손 움직임은 상기 가상 화면을 조작하는, 방법.
21. 제20항에 있어서, 상기 사용자 인터페이스는 스마트폰, 터치 패드, 태블릿, GUI 인터페이스, 트랙 패드, 키보드 및 숫자 패드 중 적어도 하나를 모방하는, 방법.
22. 제20항에 있어서, 손바닥은 다른 손이 가상 화면을 조작하기 위한 트랙 패드로서 기능하는, 방법.
23. 제22항에 있어서, 손바닥에 상기 가상 화면을 투영하는 단계를 더 포함하는, 방법.
24. 제20항에 있어서, 상기 사용자 손의 상기 제어 장은 햅틱 피드백을 제공하는, 방법.
    
    
    

Images