KR20130108643A

KR20130108643A - 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들

Info

Publication number: KR20130108643A
Application number: KR1020137018504A
Authority: KR
Inventors: 야쿱 젠크; 얀 에른스트; 스튜어트 구스; 시안준 에스. 정
Original assignee: 지멘스 코포레이션
Priority date: 2010-12-16
Filing date: 2011-12-15
Publication date: 2013-10-04
Also published as: WO2012082971A1; US20130154913A1; CN103443742A; CN103443742B

Abstract

사용자에 의해 3D 컴퓨터 디스플레이로의 사용자의 응시와 결합될 수 있는 적어도 사용자의 제스처들에 의해 3D 컴퓨터 디스플레이 상에서 디스플레이되는 적어도 3D 객체를 활성화시키기 위한 그리고 상기 3D 객체와 상호작용하기 위한 시스템 및 방법들. 제1 예에서, 3D 객체는 3D CAD 객체이다. 제2 예에서, 3D 객체는 방사상 메뉴이다. 사용자의 응시는, 사용자에 의해 착용된, 적어도 내부 카메라 및 외부 카메라를 포함한 헤드 프레임에 의해 포착된다. 사용자의 제스처는 카메라에 의해 포착되고, 그리고 복수의 제스처들로부터 인지된다. 사용자의 제스처들은 센서에 의해 포착되고, 그리고 3D 컴퓨터 디스플레이에 대해 교정된다.

Description

응시 및 제스처 인터페이스를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR A GAZE AND GESTURE INTERFACE}

본 출원은, 2010년 12월 16일자로 출원된 미국 임시 특허 출원 시리얼 번호 61/423,701, 그리고 2011년 9월 22일자로 출원된 미국 임시 특허 출원 시리얼 번호 61/537,671에 대한 우선권 및 이익을 주장한다.

본 발명은, 사용자의 응시 및 제스처에 의해, 컴퓨터 디스플레이 상에서 디스플레이되는 3D 객체들의 활성화 및 상기 3D 객체와의 상호작용에 관한 것이다.

3D 기술이 더욱 이용가능하게 되어왔다. 3D TV들이 최근에 이용가능하게 되어왔다. 3D 비디오 게임들 및 영화들이 이용가능하게 되기 시작하고 있다. 컴퓨터 이용 설계(CAD) 소프트웨어 사용자들이 3D 모델들을 사용하기 시작하고 있다. 그러나, 마우스, 트랙킹 볼 등등과 같은 고전적인 입력 디바이스들을 이용하는, 3D 기술들과 설계자들의 현재 상호작용들은 전통적인 성격을 갖는다. 가공할 문제점은, 3D 기술들의 더 우수하고 더 빠른 사용을 용이하게 하는 자연스럽고 직감적인 상호작용 패러다임들을 제공하는 것이다.

따라서, 3D 디스플레이와의 3D 대화식 응시 및 제스처 상호작용을 이용하기 위한 개선된 그리고 신규한 시스템들 및 방법들이 요구된다.

본 발명의 양상에 따라, 사용자가 응시들 및 제스처들을 통해 3D 객체와 상호작용하도록 허용하기 위한 방법들 및 시스템들이 제공된다. 본 발명의 양상에 따라, 사용자에 의해 착용된 하나 또는 그 초과의 카메라들을 갖는 헤드프레임에 의해 응시 인터페이스가 제공된다. 또한, 디스플레이로 지향된 외부(exo)-카메라와 각각이 착용자의 눈으로 지향된 제1 및 제2 내부(endo)-카메라를 포함하는, 착용자에 의해 착용된 프레임을 교정하기 위한 방법들 및 장치가 제공된다.

본 발명의 양상에 따라, 사람의 눈으로 겨냥된 제1 카메라를 갖는 헤드 프레임을 착용한 상기 사람이 눈으로 3D 객체를 응시함으로써 그리고 몸의 기관(body part)으로 제스처를 만듦으로써 디스플레이 상에서 디스플레이되는 상기 3D 객체와 상호작용하기 위한 방법이 제공되고, 상기 방법은, 적어도 두 개의 카메라들을 이용하여 상기 눈의 이미지, 상기 디스플레이의 이미지 및 상기 제스처의 이미지를 감지하는 단계 ― 상기 적어도 두 개의 카메라들 중 하나는 상기 디스플레이로 겨누어 지도록 적응되게 상기 헤드 프레임 내에 장착되고, 그리고 상기 적어도 두 개의 카메라들 중 다른 하나는 상기 제1 카메라임 ―, 상기 눈의 이미지, 상기 제스처의 이미지 및 상기 디스플레이의 이미지를 프로세서에 송신하는 단계, 상기 프로세서가 상기 이미지들로부터, 상기 디스플레이에 관하여 상기 눈의 시야 방향 및 상기 헤드 프레임의 위치를 결정하고, 그리고 그런 다음 상기 사람이 응시하고 있는 상기 3D 객체를 결정하는 단계, 상기 프로세서가 복수의 제스처들 중에서 상기 제스처의 이미지로부터 상기 제스처를 인지하는 단계, 및 상기 프로세서가 상기 응시, 또는 상기 제스처, 또는 상기 응시 및 상기 제스처에 기초하여 상기 3D 객체를 추가로 프로세싱하는 단계를 포함한다.

본 발명의 추가의 양상에 따라, 제2 카메라가 상기 헤드 프레임 내에 위치되는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 제3 카메라가 상기 디스플레이 내에든 또는 상기 디스플레이에 인접한 영역 내에든 위치되는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 제2 눈의 시야 방향을 포착하기 위해 상기 헤드 프레임이 상기 사람의 상기 제2 눈으로 겨누어진 제4 카메라를 상기 헤드 프레임 내에 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 제1 눈의 시야 방향 및 상기 제2 눈의 시야 방향의 교차점으로부터 3D 초점을 결정하는 단계를 더 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 3D 객체의 추가의 프로세싱이 상기 3D 객체의 활성화를 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 3D 객체의 추가의 프로세싱이 상기 응시, 또는 상기 제스처, 또는 상기 응시 및 상기 제스처 둘 다에 기초하여 상기 3D 객체의 증가된 해상도를 갖는 렌더링을 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 3D 객체가 컴퓨터 이용 설계 프로그램에 의해 생성되는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 상기 제2 카메라로부터의 데이터에 기초하여 상기 제스처를 인지하는 단계를 더 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 상기 제스처에 기초하여 상기 디스플레이 상에서 상기 3D 객체를 움직이는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 상기 헤드 프레임을 착용한 상기 사람의 새로운 포지션으로의 포지션 변화를 결정하는 단계, 및 상기 프로세서가 상기 새로운 포지션에 대응하는 컴퓨터 3D 디스플레이 상에서 상기 3D 객체를 리-렌더링하는 단계를 더 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 상기 포지션 변화를 결정하고 그리고 상기 디스플레이의 프레임 레이트로 리-렌더링하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 응시되고 있는 상기 3D 객체에 관련된 정보를 디스플레이하는 단계를 더 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 3D 객체의 추가의 프로세싱이 상기 3D 객체에 관련된 방사상 메뉴의 활성화를 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 3D 객체의 추가의 프로세싱이 3D 공간에서 서로 위에 적층되는 복수의 방사상 메뉴들의 활성화를 포함하는 방법이 제공된다.

본 발명의 아직 추가의 양상에 따라, 상기 프로세서가 3D 컴퓨터 디스플레이 상의 영역을 겨누는 상기 사람의 손 및 팔 제스처의 상대적 포즈를 교정하는 단계, 상기 사람이 새로운 포즈로 상기 3D 컴퓨터 디스플레이를 겨누는 단계, 및 상기 프로세서가 상기 교정된 상대적 포즈에 기초하여 상기 새로운 포즈에 관련된 좌표들을 추정하는 단계를 더 포함하는 방법이 제공된다.

본 발명의 다른 양상에 따라, 사람이 제1 눈을 이용한 응시를 통해 그리고 몸의 기관에 의한 제스처를 통해 복수의 3D 객체들 중 하나 또는 그 초과와 상호작용하는 시스템이 제공되고, 상기 시스템은, 상기 복수의 3D 객체들을 디스플레이하는 컴퓨터 디스플레이, 헤드 프레임을 착용한 상기 사람의 상기 제1 눈을 겨누도록 적응된 제1 카메라 및 상기 컴퓨터 디스플레이의 영역을 겨누도록 그리고 상기 제스처를 포착하도록 적응된 제2 카메라를 포함하는 상기 헤드 프레임, 상기 제1 카메라 및 상기 제2 카메라에 의해 송신된 데이터를 수신하는 단계, 복수의 객체들 내에서 상기 응시가 지향된 3D 객체를 결정하기 위해, 수신된 데이터를 프로세싱하는 단계, 복수의 제스처들로부터 상기 제스처를 인지하기 위해, 상기 수신된 데이터를 프로세싱하는 단계, 및 상기 응시 및 제스처에 기초하여 상기 3D 객체를 추가로 프로세싱하는 단계를 수행하기 위한 명령들을 실행하도록 인에이블링된 프로세서를 포함한다.

본 발명의 아직 다른 양상에 따라, 상기 컴퓨터 디스플레이가 3D 이미지를 디스플레이하는 시스템이 제공된다.

본 발명의 아직 다른 양상에 따라, 상기 디스플레이가 입체적 뷰잉 시스템의 일부인 시스템이 제공된다.

본 발명의 추가의 양상에 따라, 디바이스가 제공되고, 상기 디바이스를 이용하여, 사람이 제1 눈으로부터의 응시 및 제2 눈으로부터의 응시를 통해 그리고 사람의 몸의 기관에 의한 제스처를 통해 3D 컴퓨터 디스플레이 상에서 디스플레이되는 3D 객체와 상호작용하고, 상기 디바이스는, 상기 사람에 의해 착용되도록 적응된 프레임, 제1 응시를 포착하기 위해 상기 제1 눈을 겨누도록 적응된, 상기 프레임 내에 장착된 제1 카메라, 제2 응시를 포착하기 위해 상기 제2 눈을 겨누도록 적응된, 상기 프레임 내에 장착된 제2 카메라, 상기 3D 컴퓨터 디스플레이를 겨누도록 그리고 상기 제스처를 포착하도록 적응된, 상기 프레임 내에 장착된 제3 카메라, 상기 제1 눈이 제1 안경을 통해 보고 그리고 상기 제2 눈이 제2 안경을 통해 보도록 상기 프레임 내에 장착된 상기 제1 안경 및 상기 제2 안경 ― 상기 제1 안경 및 상기 제2 안경은 3D 뷰잉 셔터들로서 동작함 ―, 및 상기 카메라들에 의해 생성된 데이터를 송신하기 위한 송신기를 포함한다.

도 1은 비디오-시-스루(video-see-through) 교정 시스템의 예시이다.
도 2 내지 도 4는 본 발명의 양상에 따라 사용되는 헤드-착용-멀티-카메라 시스템의 이미지들이다.
도 5는 본 발명의 양상에 따라 내부-카메라에 관한 안구의 모델을 제공한다.
도 6은 초기 교정이 수행된 이후 사용될 수 있는 하나의 단계 교정 단계를 예시한다.
도 7은 본 발명의 양상에 따른 인더스트리 응시 및 제스처 내추럴 인터페이스 시스템의 사용을 예시한다.
도 8은 본 발명의 양상에 따른 인더스트리 응시 및 제스처 내추럴 인터페이스 시스템를 예시한다.
도 9 및 도 10은 본 발명의 양상에 따른 제스처들을 예시한다.
도 11은 본 발명의 양상에 따른 포즈 교정 시스템을 예시한다.
도 12는 본 발명의 양상에 따른 시스템을 예시한다.

본 발명의 양상들은, 착용가능 센서 시스템의 교정 및 이미지들의 등록에 관한 것이거나, 또는 착용가능 센서 시스템의 교정 및 이미지들의 등록에 따라 좌우된다. 등록 및/또는 교정 시스템들 및 방법들은, 미국 특허 번호들 7,639,101; 7,190,331 및 6,753,828 내에서 개시된다. 이들 특허들 각각이 이로써 인용에 의해 포함된다.

첫째로, 착용가능 멀티-카메라 시스템의 교정을 위한 방법들 및 시스템들이 설명될 것이다. 도 1은 헤드 착용된, 멀티 카메라 눈 트랙킹 시스템을 예시한다. 컴퓨터 디스플레이(12)가 제공된다. 디스플레이(12) 상의 다양한 위치들에 교정점(14)이 제공된다. 헤드 착용된, 멀티-카메라 디바이스(20)는 한 쌍의 안경들일 수 있다. 안경들(20)은 외부-카메라(22), 제1 내부-카메라(24) 및 제2 내부-카메라(26)를 포함한다. 카메라들(22, 24 및 26) 각각으로부터의 이미지들이 출력부(30)를 통해 프로세서(28)에 제공된다. 내부-카메라들(24 및 26)은 사용자의 눈(34)으로 겨냥된다. 내부 카메라(24)는 사용자의 눈(34)으로부터 떨어져 겨냥된다. 본 발명의 양상에 따른 교정 동안, 내부-카메라는 디스플레이(12) 쪽으로 겨냥된다.

다음으로, 본 발명의 양상에 따라 도 1에 도시된 바와 같은 헤드-착용된 멀티-카메라 눈 트랙킹 시스템의 기하학적 교정을 위한 방법이 설명될 것이다.

안경들(20)의 실시예가 도 2-도 4에서 도시된다. 내부 카메라 및 외부 카메라를 갖는 프레임이 도 2에서 도시된다. 그러한 프레임은 네바다주 리노의 Eye-Com Corporation으로부터 이용가능하다. 프레임(500)은 외부-카메라(501) 및 두 개의 내부-카메라들(502 및 503)을 갖는다. 실제 내부-카메라들이 도 2에서 가시적이지 않지만, 내부-카메라들(502 및 503)의 하우징들이 도시된다. 착용가능 카메라 세트의 유사하지만 더 새로운 버전의 내부 뷰가 도 3에서 도시된다. 프레임(600) 내의 내부-카메라들(602 및 603)이 도 3에서 명확하게 도시된다. 도 4는 와이어(702)를 통해 비디오 신호들의 수신기(701)에 연결된 외부 카메라 및 내부 카메라들을 갖는 착용가능 카메라(700)를 도시한다. 또한, 유닛(701)은 카메라 및 프로세서(28)를 위한 전원을 포함할 수 있다. 대안적으로, 프로세서(28)는 어디든 위치될 수 있다. 본 발명의 추가의 실시예에서, 비디오 신호들은 원격 수신기에 무선으로 송신된다.

헤드-착용된 카메라의 착용자가 어디를 보고 있는지를 정확하게 결정하는 것이 원해진다. 예컨대, 일 실시예에서, 헤드-착용된 카메라의 착용자는 키보드를 포함할 수 있는 컴퓨터 스크린으로부터 떨어져 약 2피트와 3피트 사이에, 또는 2피트와 5피트 사이에, 또는 2피트와 9피트 사이에 포지셔닝되고, 그리고 본 발명의 양상에 따라, 시스템은, 스크린 상에서 또는 키보드 상에서 또는 교정 공간 내의 어느 곳이나 착용자의 응시가 지향되는 교정 공간 내 좌표들을 결정한다.

이미 설명된 바와 같이, 카메라들의 두 개의 세트들이 있다. 외부-카메라(22)는 세계에 대하여 멀티-카메라 시스템의 포즈에 관한 정보를 전달하고, 그리고 내부-카메라들(24 및 26)은 사용자 및 기하학적 모델을 추정하기 위한 센서 측정들에 대하여 멀티-카메라 시스템의 포즈에 관한 정보를 전달한다.

안경들을 교정하는 여러 방법들이 여기에 제공된다. 제1 방법은 2 단계 프로세스이다. 교정의 제2 방법은 상기 2 단계 프로세스에 의존하고, 그리고 그런 다음 호모그래피 단계를 사용한다. 교정의 제3 방법은, 별도의 시간들에서가 아니라 동시에 상기 2개의 단계들을 프로세싱한다.

방법 1 - 2 단계

방법 1은 두 개의 연속적인 단계들로, 즉 내부-외부 및 내부-눈 교정으로 시스템 교정을 시작한다.

방법 1의 제1 단계: 내부-외부 교정

두 개의 분리된 교정 패턴, 즉 정확하게 알려진 좌표들을 갖는 3D 내의 고정점들의 도움으로, 외부-카메라 및 내부-카메라 프레임 쌍들의 세트가 수집되고, 그리고 알려진 교정점들의 3D-포지션들의 투영(projection)들은 이미지들 전부에서 주석이 달린다. 최적화 단계에서, 각각의 외부-카메라 및 내부-카메라 쌍의 상대적 포즈가 특정한 오류 기준을 최소화시키는 회전 및 병진(translation) 파라미터들의 세트로서 추정된다.

내부-외부 교정이 눈마다 수행된다, 즉 왼쪽 눈에 관해 한 번 그리고 그런 다음 다시 오른쪽 눈에 관해 한 번 별도로 수행된다.

방법 1의 제1 단계에서, 내부 카메라 좌표계와 외부 카메라 좌표계 사이의 상대적 변환(relative transformation)이 설정된다. 본 발명의 양상에 따라, 아래의 방정식의 파라미터들

이 추정된다:

여기서

은 회전 행렬이고, 여기서

은 기술분야에서 알려진 바와 같은 회전 그룹이고,

는 내부 카메라 좌표계와 외부 카메라 좌표계 사이의 병진 벡터이고,

는 외부 카메라 좌표계에서의 지점이고,

는 외부 카메라 좌표계에서의 지점들의 벡터이고,

는 내부 카메라 좌표계에서의 지점이고, 그리고

는 내부 카메라 좌표계에서의 지점들의 벡터이다.

아래에서, 쌍

은, 로드리게스 공식(Rodrigues' formula)을 통한

및

의 연쇄로부터 구성되는 동차 행렬(homogeneous matrix)

내에서 소비된다. 행렬

는 동차 좌표들에 대한 행렬 변환으로 불린다. 행렬

는 아래와 같이 구성된다:

상기는, 표준 텍스트북 프로시저인

와

의 연쇄이다.

아래와 같이 오류 기준을 최소화시킴으로써,

의 (알려지지 않은) 파라미터들은

로서 추정된다:

1. 두 개의 분리된(즉, 견고하게 결합되지 않은) 교정 기준 그리드들

은 삼차원들 전부에서 퍼져 있는 정확하게 알려진 위치들에 적용된 M개 마커들을 갖는다;

2. 그리드들

은,

가 외부 카메라 이미지에서 가시적이고 그리고

가 내부 카메라 이미지에서 가시적이도록, 내부-외부 카메라 시스템 주변에 놓인다;

3. 내부 및 외부 카메라의 노출 각각이 취해진다;

4. 위의 단계 2에서의 가시성 조건이 위반되지 않도록, 그리드들

을 움직이지 않고, 내부 및 외부 카메라 시스템이 새로운 포지션으로 회전되고 그리고 병진된다;

5. N(두 배, 즉 외부/내부)번 노출들이 취해질 때까지, 단계 3 및 단계 4가 반복된다.

6. N번 노출들/이미지들 각각에서 그리고 각각의 카메라(내부, 외부)에 대해, 마커들의 이미징된 위치들은 주석이 달리어, M×N 마킹된 내부 이미지 위치들

및 M×N 마킹된 외부 이미지 위치들

이 야기된다.

7. N번 노출들/이미지들 각각에 대해 그리고 각각의 카메라(내부, 외부)에 대해, 외부 포즈 행렬들

및

이 단계 6의 마킹된 이미지 위치들 및 단계 1로부터의 각자의 알려진 지상실측치(groundtruth)로부터 기성품인(off-the-shelf) 외부 카메라 교정 모듈을 통해 추정된다.

8. 내부 그리드

좌표계의 세계점

를 외부 그리드

좌표계의 지점

로 변환시키는 다음의 방정식을 살펴봄으로써 최적화 기준이 도출된다:

, 여기서

는 내부 그리드 좌표계로부터 외부 그리드 좌표계로의 알려지지 않은 변환이다. 이를 기록하기 위한 다른 방식은 아래와 같다:

다시 말해, 변환

은 두 개의 그리드 좌표계들 사이의 알려지지 않은 변환이다. 다음이 바로 이어진다: N개 인스턴스들

전부에 대해 모든 지점들

이 항상 방정식 1을 통해 동일한 지점들

로 변환되는 경우,

이

의 정확한 추정치이다.

결과적으로, 오류/최적화/최소화 기준은 상기 기준이

을 선호하는 방식으로 포즈되고, 여기서 다음과 같이, 결과적

은 세트

의 각각의 멤버에 대해 가깝게 있다:

방금 설명된 이들 단계들은, 카메라들(22 및 24)의 쌍에 대해 그리고 카메라들(22 및 26)의 쌍에 대해 수행된다.

방법 1의 제2 단계: 내부-눈 교정

다음으로, 내부-눈 교정이 위의 결정된 각각의 교정 쌍에 대해 수행된다. 본 발명의 양상에 따라, 내부-눈 교정 단계는 인간 눈, 상기 인간 눈의 방위 및 중심 위치의 포지션의 기하학적 모델의 파라미터들을 추정하는 것으로 구성된다. 이는, 내부-외부 교정이 이용가능한 이후에, 사용자가 3D 스크린 공간 내 알려진 위치에 초점을 맞추는 동안 내부-카메라들로부터 동공 중심 및 외부-카메라로부터 대응하는 외부 포즈를 포함하는 센서 측정치들의 세트를 수집함으로써 수행된다.

최적화 프로시저는 알려진 지상 실측치에 대하여 모니터 상의 응시 재-투영 오류를 최소화시킨다.

목적은, 내부 눈 카메라 좌표계에서의 안구 중심

의 상대적 포지션 및 안구의 반경

을 추정하는 것이다. 내부 눈 이미지 내 동공 중심

이 주어진다면, 모니터 상의 응시 위치는 다음의 방식으로 계산된다:

단계들은 아래를 포함한다:

1. 안구 표면과

의 세계 좌표들로의 투영의 교차점

를 결정한다;

2. 벡터

에 의해 내부 카메라 좌표계에서의 응시 방향을 결정한다;

3. 앞의 섹션에서 획득된/추정된 변환에 의해 단계 2로부터의 응시 방향을 외부 세계 좌표계로 변환시킨다;

4. 예컨대 마커 트랙킹 메커니즘에 의해, 외부 카메라 좌표계와 모니터 사이에 변환을 설정한다;

5. 단계 4의 추정된 변환이 주어진다면, 모니터 표면과 단계 3으로부터의 벡터의 교차점

를 결정한다.

교정 단계에서 미지수들은, 안구 중심

및 안구 반경

이다. 안구 중심

및 안구 반경

은, 내부 이미지 내 동공 중심들

및 스크린 교차점들

의 K개 쌍들을 수집함으로써 추정된다:

. 추정된

대 실제 지상 실측치 위치들

의 재투영 오류를 최소화함으로써, 추정된 파라미터들

및

이 결정되고, 예컨대 몇몇의 메트릭

를 갖는

이다. 그런 다음, 찾아낸 안구 중심

및 안구 반경

추정치들은 방정식 3을 최소화시키는 것들이다.

지상 실측치는 미리결정된 기준점들에 의해, 예컨대 디스플레이의 알려진 좌표 그리드 상에서 디스플레이되는 지점들의 두 개의 상이한 시리즈 ― 이때, 눈마다 하나의 시리즈임 ― 로서 제공된다. 일 실시예에서, 기준점들은 디스플레이의 영역 전체에 걸쳐 의사-난수 방식으로 분산된다. 다른 실시예에서, 기준점들은 규칙적인 패턴으로 디스플레이된다.

디스플레이에 의해 정의된 공간의 유리한 교정을 획득하기 위해, 교정점들은 바람직하게 디스플레이 전체에 걸쳐 균일하거나 또는 실질상 균일한 방식으로 분산된다. 예측가능하거나 또는 랜덤한 교정 패턴의 사용은 프레임의 착용자의 선호도에 따라 좌우될 수 있다. 그러나, 바람직하게, 교정 패턴 내의 지점들 전부는 동일-선형(co-linear)이지 않아야 한다.

본 명세서에 제공된 바와 같은 시스템은 바람직하게 컴퓨터 디스플레이 상에서 적어도 또는 약 12개의 교정점들을 사용한다. 따라서, 교정을 위한 상이한 위치들의 적어도 또는 약 12개의 기준점들이 컴퓨터 스크린 상에서 디스플레이된다. 추가의 실시예에서, 더 많은 교정점들이 사용된다. 예컨대, 적어도 16개 지점들 또는 적어도 20개 지점들이 적용된다. 이들 지점들은 동시에 디스플레이될 수 있어, 눈(들)이 응시를 상이한 지점들로 지향시키는 것이 허용된다. 추가의 실시예에서, 12개보다 더 적은 교정점들이 사용된다. 예컨대, 일 실시예에서, 두 개의 교정점들이 사용된다. 교정점들의 개수의 선택은 일 양상에서 사용자의 편의 또는 편안함에 기초하고, 여기서 많은 개수의 교정점들은 착용자에 대한 부담을 형성시킬 수 있다. 매우 적은 개수의 교정점들은 사용 품질에 영향을 끼칠 수 있다. 일 실시예에서, 10-12개의 총 개수의 교정점들이 합리적인 개수인 것으로 믿어진다. 추가의 실시예에서, 한번에 단 한 개의 지점이 교정 동안 디스플레이된다.

방법 2 - 2 단계 및 호모그래피

제2 방법은 위의 2개의 단계들 및 호모그래피 단계를 사용한다. 이러한 방법은, 초기 프로세싱 단계로서 방법 1을 사용하고, 그리고 방법 1로부터 스크린 세계 공간 내의 추정된 좌표들과 스크린 좌표 공간 내의 지상 실측치 사이의 부가적 호모그래피를 추정함으로써 솔루션을 개선시킨다. 이는, 일반적으로, 전의 추정에서 체계적 편항들을 다루고 감소시켜, 그에 따라 재-투영 오류가 개선된다.

이러한 방법은 방법 1의 추정된 변수들에 기초한다, 즉 이러한 방법은 방법 1을 보충한다. 섹션 1에서의 교정 단계들이 시작된 이후, 통상적으로, 투영된 위치들

대 실제 위치들

에서의 잔여 오류가 있다. 제2 단계에서, 이러한 오류는, 잔여 오류를 호모그래피

로서 모델링함으로써 최소화된다, 즉

이다. 호모그래피는, 이전 섹션의 쌍들

의 세트를 이용한 표준 방법들에 의해 쉽게 추정되고, 그리고 그런 다음에 잔여 오류를 정정하기 위해 적용된다. 호모그래피 추정은 예컨대, 2005년 11월 15일자로 아펠 등에게 발행된 미국 특허 시리얼 번호 6,965,386 및 2008년 1월 22일자로 미탈 등에게 발행된 미국 특허 시리얼 번호 7,321,386에서 설명되고, 상기 특허들은 본 명세서에 인용에 의해 둘 다 포함된다.

호모그래피는 당업자에게 알려져 있고, 그리고 예컨대 리차드 하틀리 및 앤드류 지저맨의 "Multiple View Geometry in Computer Vision"(케임브리지 대학교 출판부, 2004년)에서 설명된다.

방법 3 - 공동 최적화

이러한 방법은, 개별적으로가 아니라, 내부-외부 및 내부-눈 공간의 파라미터들을 동시에 공동으로 최적화함으로써, 동일한 교정 문제를 다룬다. 스크린 공간 내에서의 응시 방향의 동일한 재투영 오류가 사용된다. 오류 기준의 최적화는 내부-눈 기하구조 파라미터들 뿐만 아니라 내부-외부의 공동 파라미터 공간에 걸쳐 진행된다.

이러한 방법은, 하나의 최적화 단계로서 공동으로, 위에 설명된 바와 같은 내부-외부 교정을 방법 1의 일부로서 그리고 위에 설명된 바와 같은 내부-눈 교정을 방법 1의 일부로서 취급한다. 최적화를 위한 기초는 방정식 (3)의 모니터 재투영 오류 기준이다. 구체적으로, 추정된 변수들은

및

이다. 각자의 추정치들

및

은 임의의 기성품인 최적화 방법으로부터의 출력으로서 재투영 오류 기준을 최소화시키는 솔루션들이다.

구체적으로, 이는, 아래를 수반한다:

1. 알려진 모니터 교차점들

및 내부 이미지 내 연관된 동공 중심 위치

의 세트가 주어진다면, 즉

가 주어진다면, 재투영된 응시 위치들

에 대한 재투영 오류를 계산한다. 응시 위치는 내부-눈 교정에 관련되어 위에서 설명된 방법에 의해 재투영된다.

2. 단계 1의 재투영 오류를 최소화시키는 파라미터들

및

을 찾기 위해 기성품인 최적화 방법을 사용한다.

3. 그런 다음, 추정된 파라미터들

및

은 시스템의 교정이고, 그리고 신규 응시 방향을 재투영시키기 위해 사용될 수 있다.

내부 카메라에 관련된 눈의 모델의 도면이 도 5에서 제공된다. 상기 도면은 눈 기하구조의 간략화된 뷰를 제공한다. 고시점(fixation point)들의 위치는, 본 명세서에서 제공되는 바와 같은 헤드 트랙킹 방법들에 의해 상이한 인스턴스(instance)들에서 보상되고, 그리고 스크린 상의 상이한 고시점들 d_i, d_j 및 d_k에서 도시된다.

온라인 일-점 재-교정

하나의 방법은, 시간에 따라 교정 성능을 개선시키고, 그리고 부가적인 시스템 능력들을 가능케 하여, 단순한 온-라인 재교정을 통한 더 긴 상호작용 시간; 및 전체 재교정 프로세스를 거쳐야 하는 것 없이 눈 프레임을 벗었다가 다시 한 번 더 착용하는 능력을 포함하는 개선된 사용자 편안함이 야기된다.

온-라인 재교정에 대해, 프레임 움직임(예컨대, 연장된 착용 시간으로 인해서든 또는 눈 프레임을 벗었다가 다시 착용하는 것에 의해서든 움직이는 눈-프레임일 수 있음)으로 인한 누적 교정 오류들에 대해 예컨대 누적적인 교정 오류들을 보상하기 위해 아래에 설명되는 바와 같이 단순한 프로시저가 개시된다.

방법

일-점 교정은, 임의의 이전의 교정 프로시저와 관계 없이, 실제 응시 위치와 추정된 응시 위치 사이의 스크린 좌표들에서의 병진 편향(translational bias)을 추정하고 보상한다.

재-교정 프로세스는, 예컨대 정상보다 더 낮은 트랙킹 성능으로 인해, 예컨대 사용자가 재교정에 대한 필요를 알아차릴 때 수동으로든 개시될 수 있다. 또한, 재-교정 프로세스는, 예컨대, 트랙킹 성능이 떨어지고 있다는 것을 시스템이 사용자의 행동 패턴으로부터 추론할 때(예컨대, 시스템이 타이핑을 구현하는데 사용되고 있다면, 정상보다 더 낮은 타이핑 성능이 재-교정하기 위한 필요를 표시할 수 있음), 또는 단순히 고정된 시간량 이후에, 자동으로 개시될 수 있다.

일-점 교정은, 예컨대 위에 설명된 바와 같은 전체 교정이 수행된 이후에 일어난다. 그러나, 앞서 언급된 바와 같이, 일-점 교정은 어느 교정 방법이 적용되었는지와 관계 없다.

온라인 일-점 교정이 개시될 때마다, 도 6을 참조하여, 아래의 단계들이 수행된다:

1. 스크린(800)(예컨대, 스크린 중심) 상의 알려진 포지션에 하나의 시각적 마커(806)의 디스플레이 단계;

2. 사용자가 이 지점을 응시하고 있음을 보장하는 단계(협조적 사용자에 대해, 이는, 마커를 디스플레이한 이후 작은 대기 시간에 의해 트리거링될 수 있음);

3. 프레임들을 이용하여 사용자가 어디를 응시하고 있는지를 결정하는 단계. 도 6의 경우에, 사용자는 벡터(804)를 따라 지점(802)을 응시하고 있다. 사용자가 벡터(808)를 따라 지점(806)을 응시하고 있음이 틀림없으므로, 시스템을 교정할 수 있는 벡터

가 있다.

4. 다음 차례의 단계는, 단계 1로부터의 실제 알려진 지점(806) 화면(on-screen) 위치와 스크린 좌표들에서 시스템으로부터 재투영된 응시 방향(802/804) 사이의 벡터

를 결정하는 단계이다.

5. 사용자가 어디를 응시하고 있는지의 추가의 결정들은 벡터

에 의해 정정된다.

이는, 일-점 재교정 프로세스를 종결시킨다. 응시 위치들의 후속 추정들을 위해, 새로운 일-점 재교정 또는 새로운 전체 교정이 개시될 때까지, 각자의 화면 재투영이

에 의해 보상된다.

또한, 필요할 때, 이러한 재-교정 단계에서, 부가적인 지점들이 사용될 수 있다.

일 실시예에서, 교정된 착용가능한 카메라는, 상기 착용가능한 카메라를 착용한 사용자의 응시가 어디로 지향되는지를 결정하는데 사용된다. 그러한 응시는, 자발적 또는 결정된 응시일 수 있고, 예컨대 디스플레이 상에서 디스플레이된 의도된 객체 또는 의도된 이미지로 지향된다. 또한, 응시는, 의식적으로 또는 무의식적으로 특정한 객체 또는 이미지에 끌리는 착용자에 의한 무의식적인 응시일 수 있다.

교정된 공간 내에서의 객체들 또는 이미지들의 좌표들을 제공함으로써, 시스템은, 교정된 공간 내에서의 객체의 좌표들을 교정된 응시 방향과 연관시킴으로써, 카메라의 착용자가 어느 이미지, 객체 또는 객체의 일부를 살펴보고 있는지를 결정하도록 프로그래밍될 수 있다. 따라서, 스크린 상의 이미지와 같은 객체에 대한 사용자의 응시는, 데이터 및/또는 명령들과 같은 컴퓨터 입력을 개시하기 위해 사용될 수 있다. 예컨대, 스크린 상의 이미지들은, 문자(letter)들 및 수학 기호들과 같은 기호들의 이미지들일 수 있다. 또한, 이미지들은 컴퓨터 커맨드들을 대표할 수 있다. 또한, 이미지들은 URL들을 대표할 수 있다. 또한, 움직이는 응시가 피겨(figure)들을 도출하도록 트랙킹될 수 있다. 따라서, 사용자의 터치가 컴퓨터 터치 스크린을 어떻게 활성화시키는지와 적어도 유사한, 사용자의 응시가 컴퓨터를 활성화시키는데 사용되는 것을 가능케 하는 시스템 및 다양한 방법들이 제공된다.

자발적 또는 의도적 응시의 하나의 예시적 예에서, 본 명세서에 제공된 바와 같은 시스템은 스크린 상에 키보드를 디스플레이하거나, 또는 교정 시스템과 연관된 키보드를 갖는다. 키들의 포지션들은 교정에 의해 정의되고, 그리고 따라서 시스템은 교정 공간 내에서 스크린 상에 디스플레이되는 특정 키와 연관되어 있는 바와 같이 응시 방향을 인지한다. 따라서, 착용자는, 예컨대 스크린 상에서 디스플레이되는 키보드 상의 문자로 응시를 지향시킴으로써, 문자들, 단어들 또는 문장들을 타이핑할 수 있다. 타이핑된 문자를 확인하는 것은, 응시의 지속기간에 기초할 수 있거나, 또는 확인 이미지 또는 키를 응시함으로써 이루어질 수 있다. 다른 구성들이 완전히 고려된다. 예컨대, 문자들, 단어들 또는 문장들을 타이핑하는 것이 아니라, 착용자가 사전, 목록, 또는 데이터베이스로부터 단어들 또는 개념들을 선택할 수 있다. 또한, 착용자가, 명세서에 제공된 바와 같은 시스템 및 방법들을 이용함으로써, 공식들, 피겨들, 구조들 등등을 선택할 수 있거나 그리고/또는 구성할 수 있다.

무의식적인 응시의 예로서, 착용자가 교정된 시각적 공간 내에서 하나 또는 그 초과의 객체들 또는 이미지들에 노출될 수 있다. 당업자는, 어느 객체 또는 이미지가 응시를 지향시키도록 명령받지 않은 착용자의 주의를 끄는지 그리고 상기 착용자의 주의를 잠재적으로 유지시키는지를 결정하는데 시스템을 적용할 수 있다.

SIG²N

착용가능한 멀티-카메라 시스템의 애플리케이션에서, CAD 설계자가 다음을 하는 것을 가능케 하는 SIG²N 또는 SIG2N(Siemens Industry Gaze & Gesture Natural interface)로 불리는 방법들 및 시스템들이 제공된다:

1. 리얼 3D 디스플레이 상에서 각자의 3D CAD 소프트웨어 객체들을 본다

2. 각자의 3D CAD 객체들과 직접 상호작용하기 위해 자연스런 응시 & 손들 제스처들 및 액션들을 사용한다(예컨대, 크기조정, 회전, 움직이기, 늘리기, 찌르기 등)

3. 제어의 다양한 부가적 양상들을 위해 각자의 눈들을 사용하고, 그리고 아주 근접하여 3D 객체에 관한 부가적 메타데이터를 본다.

SIG2N

3D 영화들을 보기를 즐기기 위해 3D TV들이 소비자들에 대해 입수가능하게 되기 시작하고 있다. 부가하여, 3D 비디오 컴퓨터 게임들이 나오기 시작하고 있고, 그리고 3D TV들 및 컴퓨터 디스플레이들은 그러한 게임들과 상호작용하기 위한 우수한 디스플레이 디바이스이다.

수년 동안, 3D CAD 설계자들은 종래의 2D 컴퓨터 디스플레이들을 이용하여 새로운 복잡한 물건들을 설계하기 위해 CAD 소프트웨어를 사용해왔고, 이는, 설계자들의 3D 지각 및 3D 객체 조작 & 상호작용을 내재적으로 제한한다. 이러한 입수가능한 하드웨어의 출현은, CAD 설계자들이 각자의 3D CAD 객체들을 3D로 볼 가능성을 높인다. SIG2N 아키텍처의 일 양상은, 지멘스 CAD 물건의 출력을, 상기 출력이 3D TV 또는 3D 컴퓨터 디스플레이 상에서 효과적으로 렌더링될 수 있도록 전환하는 것을 담당한다.

3D 객체와 상기 3D 객체가 어떻게 디스플레이되는지 사이에 차이가 있다. 객체는, 상기 객체가 이와 같이 디스플레이되는 삼-차원 특성들을 갖는다면 3D이다. 예컨대, CAD 객체와 같은 객체가 삼차원 특성들로 정의된다. 본 발명의 일 실시예에서, 객체는, 디스플레이 상에서 2D 방식으로 디스플레이되지만, 3D의 인상(impression) 또는 환영(illusion)을 이용하여, 2D 이미지에 환영 깊이(illusion of depth)를 제공하는 시각적 광원으로부터 쉐도우(shadow)들과 같은 조명 효과들을 제공함으로써 디스플레이된다.

인간 관찰자에 의해 3D 또는 입체적 방식으로 지각되도록, 뇌가 두 개의 별도의 이미지들을 하나의 3D 이미지 지각으로 결합시키도록 허용하는 두 개의 인간 센서들(약 5-10cm 떨어진 두 개의 눈들)을 이용함으로써 경험 되는 시차를 반영하는, 객체의 디스플레이에 의해, 두 개의 이미지들이 제공되어야 한다. 여러 알려지고 상이한 3D 디스플레이 기술들이 있다. 하나의 기술에서, 단일 스크린 또는 디스플레이로 두 개의 이미지들이 동시에 제공된다. 제1 눈에 대해, 제1 이미지를 통과시키고 제2 이미지를 차단시키고, 그리고 제2 눈에 대해, 제1 이미지를 차단시키고 제2 이미지를 통과시키는 전용 필터를 각각의 눈에 제공함으로써, 이미지들은 분리된다. 다른 기술은, 관찰자의 각각의 눈에 상이한 이미지들을 제공하는 수정체 렌즈(lenticular lense)들을 스크린에 제공하기 위한 것이다. 다른 기술은 안경들을 프레임에 결합시킴으로써 각각의 눈에 상이한 이미지를 제공하기 위한 것이고, 상기 프레임은, 두 개의 안경들 사이에서 높은 레이트로 스위칭하고, 그리고 셔터 안경들로서 알려진 스위칭 안경들에 대응하는 정확한 레이트로 좌우 눈 이미지들을 디스플레이하는 디스플레이와 협력하여 동작한다.

본 발명의 일 실시예에서, 본 명세서에 제공되는 시스템들 및 방법들은 스크린 상에서 단일 2D 이미지로 디스플레이되는 3D 객체들에 대하여 동작하고, 여기서 각각의 눈이 동일한 이미지를 수신한다. 본 발명의 일 실시예에서, 본 명세서에 제공되는 시스템들 및 방법들은 스크린 상에서 적어도 두 개의 이미지들로 디스플레이되는 3D 객체들에 대하여 동작하고, 여기서 각각의 눈은 상기 3D 객체의 상이한 이미지를 수신한다. 추가의 실시예에서, 스크린 또는 디스플레이 또는 디스플레이의 일부인 장비는, 예컨대 수정체 렌즈들을 사용함으로써 또는 두 개의 이미지들 사이를 빠르게 스위칭하도록 적응됨으로써, 상이한 이미지들을 나타내도록 적응된다. 여전히 추가의 실시예에서, 스크린은 두 개의 이미지들을 동시에 나타내지만, 필터들을 갖는 안경들은 관찰자의 좌우 눈에 대해 두 개의 이미지들의 분리를 허용한다.

본 발명의 여전히 추가의 실시예에서, 스크린은 관찰자의 제1 및 제2 눈에 대해 의도된 제1 및 제2 이미지를 빠르게 변하는 시퀀스로 디스플레이한다. 관찰자는, 디스플레이와 동기화된 방식으로 투명 모드로부터 불투명 모드로 스위칭되는 교번적 개폐 셔터(alternating opening and closing shutter)들로서 동작하는 렌즈들을 갖는 안경들의 세트를 착용하고, 그래서 제1 눈은 제1 이미지만을 보고 그리고 제2 눈은 제2 이미지를 본다. 변하는 시퀀스는, 정적 이미지일 수 있거나 또는 움직이는 또는 비디오 이미지일 수 있는 중단되지 않는 3D 이미지의 인상을 관찰자에게 남기는 속도로 일어난다.

따라서, 본 명세서의 3D 디스플레이는, 단지 스크린에 의해서든, 또는 안경들을 갖는 프레임과, 객체에 관련되어 관찰자에 대해 입체적 효과가 일어나는 방식으로 관찰자가 객체의 두 개의 상이한 이미지들을 보도록 허용하는 스크린의 결합에 의해서든 형성된 3D 디스플레이 시스템이다.

몇몇의 실시예들에서, 3D TV들 또는 디스플레이들은, 3D 시각화를 최상으로 경험하기 위하여, 관찰자가 특별 안경들을 착용할 것을 요구한다. 그러나, 다른 3D 디스플레이 기술들이 또한 알려져 있고 그리고 본 명세서에 적용가능하다. 디스플레이가 또한 3D 이미지가 투영되는 투영 스크린일 수 있음이 추가로 주의된다.

안경들을 착용하는 몇몇의 사용자들에 대한 장벽이 이미 넘어선 상태일 것이라면, 이들 안경들에 기기를 추가로 장치하는 기술은 더 이상 문제가 아닐 것이다. 본 발명의 일 실시예에서, 적용된 3D 디스플레이 기술과 관계 없이, 본 발명의 하나 또는 그 초과의 양상들에 따라 본 명세서에서 설명된 바와 같은 방법들을 적용시키기 위해, 위에서 설명되고 도 2-도 4에서 예시된 바와 같은 한 쌍의 안경들 또는 착용가능한 헤드 프레임이 사용자에 의해 사용되어야 함이 주의된다.

SIG2N 아키텍처의 다른 양상은, 적어도, 프레임 상에 장착된 적어도 두 개의 부가적인 작은 카메라들을 갖는 착용가능한 멀티-카메라 프레임을 이용하는 3D TV들이 증대될 것을 요구한다. 하나의 카메라가 관찰자의 안구에 초점이 맞추어지는 반면에, 다른 카메라는 3D TV 또는 디스플레이에 초점을 맞추고 그리고 또한 임의의 앞으로 직면하는 손 제스처들을 포착하기 위해 앞으로 초점이 맞추어질 수 있다. 본 발명의 추가의 실시예에서, 헤드 프레임은 두 개의 내부-카메라들, 즉 사용자의 좌측 안구에 초점이 맞추어진 제1 내부-카메라 및 사용자의 우측 안구에 초점이 맞추어진 제2 내부-카메라를 갖는다.

단일 내부-카메라는 시스템이 사용자의 응시가 어디로 지향되는지를 결정하도록 허용한다. 두 개의 내부-카메라들의 사용은, 각각의 안구의 응시의 교차의 결정 및 그에 따라 3D 초점의 결정을 가능케 한다. 예컨대, 사용자는 스크린 또는 투영 표면 앞에 위치되는 객체에 초점이 맞추어질 수 있다. 두 개의 교정된 내부-카메라들의 사용은 3D 초점의 결정을 허용한다.

3D 초점의 결정은, 상이한 깊이로 관심대상들의 지점들을 갖는 3D 투명 이미지와 같은 애플리케이션들에서 관련성을 갖는다. 적절한 초점을 생성하기 위해 두 개의 눈들의 응시의 교차점이 적용될 수 있다. 예컨대, 3D 의료 이미지는 투명하고, 그리고 환자의 바디 ― 앞쪽과 뒤쪽을 포함함 ― 를 포함한다. 3D 초점을 두 개의 응시들의 교차로서 결정함으로써, 컴퓨터는 사용자가 어디에 초점을 맞추는지를 결정한다. 응답하여, 예컨대 흉부를 통해 바라본 척추와 같이 사용자가 뒤쪽에 초점을 맞출 때, 컴퓨터는 뒤쪽 이미지의 뷰를 가릴 수 있는 경로의 투명도를 증가시킨다. 다른 예에서, 이미지 객체는 앞쪽으로부터 뒤쪽으로 구경되는 집과 같은 3D 객체이다. 3D 초점을 결정함으로써, 컴퓨터는 3D 초점에 대한 뷰를 가리는 뷰의 경로를 더욱 투명하게 만든다. 이는, 2개의 엔드-카메라들을 갖는 헤드 프레임을 적용함으로써, 관찰자가 3D 이미지 내에서 "벽들을 통과해 보도록" 허용한다.

본 발명의 일 실시예에서, 헤드 프레임으로부터 별도의 카메라가 사용자의 포즈 및/또는 제스처들을 포착하는데 사용된다. 본 발명의 일 실시예에서 별도의 카메라는 3D 디스플레이 내에 포함되거나 또는 3D 디스플레이에 부착되거나 또는 3D 디스플레이에 매우 가까이 있고, 그래서 3D 디스플레이를 시청하는 사용자는 상기 별도의 카메라와 직면하고 있다. 본 발명의 추가의 실시예에서 별도의 카메라는 사용자 위에 위치된다, 예컨대 상기 별도의 카메라는 천장에 부착된다. 본 발명의 여전히 추가의 실시예에서, 별도의 카메라는, 사용자가 3D 디스플레이와 직면하는 동안에 사용자의 측부로부터 사용자를 관찰한다.

본 발명의 일 실시예에서, 여러 별도의 카메라들이 시스템에 설치되고 그리고 시스템에 연결된다. 사용자의 포즈의 이미지를 획득하는데 어느 카메라가 사용될 것인지는 사용자의 포즈에 따라 좌우된다. 하나의 카메라가 하나의 포즈에 대해 잘 동작하고, 예컨대 카메라는 수평 평면에서 접거나 편 손을 위로부터 바라본다. 동일한 카메라는 수직 평면에서 움직이는, 수직 평면에서의 펴진 손에 대해 동작할 수 없다. 그 경우, 옆에서부터 움직이는 손을 바라보는 별도의 카메라가 더욱 잘 동작한다.

SIG²N 아키텍처는, 각자의 3D CAD 객체들과 자연스럽게 그리고 직관적으로 상호작용하도록 당업자가 CAD 설계자에 의해 응시 및 손 제스처들 둘 다에 대해 풍부한 지원을 구축할 수 있는 프레임워크로서 설계된다.

구체적으로, 본 발명의 적어도 하나의 양상을 이용하는, 본 명세서에 제공된 CAD 설계에 대한 휴먼 친화 인간 인터페이스는 다음을 포함한다:

1. 응시 & 제스처-기반 3D CAD 데이터 선택 & 3D CAD 데이터와의 상호작용(예컨대, 3D 객체는 일단 사용자가 상기 3D 객체로 응시를 고정시키면 활성화될 것이다("눈-오버(eye-over)" 효과 대 "마우스-오버(mouse-over")), 그리고 그런 다음 사용자는 손 제스처들을 이용함으로써 상기 3D 객체를 회전시키고, 상기 3D 객체를 움직이고 확대시키는 것과 같이 상기 3D 객체를 직접 조작할 수 있다. 컴퓨터 제어로서 카메라에 의한 제스처의 인지는 예컨대, 2006년 8월 22일자로 Liu 등에게 발행된 미국 특허 시리얼 번호 7,095,401, 그리고 2002년 3월 19일자로 Peter 등에게 발행된 미국 특허 시리얼 번호 7,095,401에서 개시되고, 이들은 본 명세서에 인용에 의해 포함된다. 도 7은 멀티-카메라 프레임을 착용한 사용자에 의한 3D 디스플레이와의 상호작용의 적어도 일 양상을 예시한다. 인간 관점으로부터, 제스처는 매우 단순할 수 있다. 제스처는 정적일 수 있다. 하나의 정적 제스처는 손바닥을 뻗거나, 또는 손가락질하는 것이다. 하나의 포지션으로 머무름으로써 특정 시간 동안 포즈를 유지함으로써, 스크린상의 객체와 상호작용하는 특정 커맨드가 영향받는다. 본 발명의 일 실시예에서, 제스처는 단순한 동적 제스처일 수 있다. 예컨대, 손은 펴지고 뻗은 포지션으로 있을 수 있고, 손목을 돌림으로써 수직 포지션으로부터 수평 포지션으로 움직일 수 있다. 그러한 제스처는 카메라에 의해 레코딩되고 컴퓨터에 의해 인지된다. 일 예에서 손을 돌림은, 본 발명의 일 실시예에서, 스크린 상에 디스플레이되고 사용자의 응시에 의해 활성화된 3D 객체를 축 주변에서 회전되도록 회전시키기 위한 커맨드로서 컴퓨터에 의해 해석된다.

2. 특히 대형 3D 환경에 대해 눈 응시 위치에 기초한 최적화된 디스플레이 렌더링. 객체에 대한 양쪽 눈들의 응시의 교차 또는 눈 응시 위치는, 예컨대 응시가 적어도 최소 시간 동안 하나의 위치에서 머문 이후에 상기 객체를 활성화시킨다. "활성화" 효과는, 객체가 "활성화"된 이후에 객체의 증가된 세부사항의 나타남일 수 있거나, 또는 증가된 해상도로, 상기 "활성화"된 객체의 렌더링일 수 있다. 다른 효과는, 배경 또는 객체의 바로 이웃의 해상도 감소일 수 있고, 상기 "활성화"된 객체가 도드라지는 것이 추가로 허용된다.

3. 콘텍스트/상황 인식을 개선시키기 위한, 눈 응시 위치에 기초한 객체 메타데이터 디스플레이. 이러한 효과는, 예컨대 응시가 객체 전체에 걸쳐 머무른 이후에 또는 응시가 객체 전체에 걸쳐 전후로 움직인 이후에 일어나고, 상기 효과는 객체에 관련된 라벨이 디스플레이되도록 활성화시킨다. 라벨은, 메타데이터 또는 객체에 관련된 임의의 다른 날짜를 포함할 수 있다.

4. 사용자 관점에 기초하여 3D를 렌더링하는데 또한 사용될 수 있는 지각된 3D 객체(예컨대, 헤드 위치)에 대하여, 사용자의 위치에 의한 객체 조작 또는 콘텍스트 변경. 본 발명의 일 실시예에서, 3D 객체는 3D 디스플레이 상에서 렌더링되고 디스플레이되고, 상기 3D 디스플레이는 카메라들을 갖는 위에서 설명된 헤드 프레임을 이용하는 사용자에 의해 보인다. 본 발명의 추가의 실시예에서, 3D 객체는 스크린에 대하여 사용자의 헤드 포지션에 기초하여 렌더링된다. 사용자가 움직이고, 그에 따라 3D 디스플레이에 대하여 프레임의 포지션이 움직이고, 그리고 렌더링된 이미지가 동일하게 유지되면, 새로운 포지션으로부터 사용자에 의해 보일 때, 객체는 왜곡되어 나타날 것이다. 본 발명의 일 실시예에서, 컴퓨터는 3D 디스플레이에 대하여 프레임 및 헤드의 새로운 포지션을 결정하고, 그리고 새로운 포지션에 따라 3D 객체를 재계산 및 재-도출하거나 또는 렌더링한다. 본 발명의 양상에 따른 객체의 3D 이미지의 재-도출 또는 리-렌더링은 3D 디스플레이의 프레임 레이트로 발생한다.

본 발명의 일 실시예에서, 객체는 고정된 뷰로부터 리-렌더링된다. 객체가 가상 카메라에 의해 고정된 포지션으로 보인다고 가정하라. 리-렌더링은, 가상 카메라가 사용자와 함께 움직이는 것을 사용자에게 나타내는 방식으로 발생한다. 본 발명의 일 실시예에서, 가상 카메라 뷰는 사용자의 포지션 또는 사용자의 헤드 프레임의 포지션에 의해 결정된다. 사용자가 움직일 때, 렌더링은, 헤드 프레임에 따라 객체에 관한 가상 카메라 움직임에 기초하여 수행된다. 이는, 사용자가 3D 디스플레이 상에서 디스플레이되는 객체 "주변을 걷도록" 허용한다.

5. 다수의 눈-프레임들과의 다수의 사용자 상호작용(예컨대, 사용자들에 대해, 동일한 디스플레이 상에서 다수의 관점들을 제공함).

아키텍처

자신의 기능 컴포넌트들을 갖는 SIG2N 아키텍처를 위한 아키텍처가 도 8에서 예시된다. SIG2N 아키텍처는 다음을 포함한다:

0. 예컨대 저장 매체(811) 상에 저장된 3D CAD 설계 시스템에 의해 생성된 CAD 모델.

1. CAD 3D 객체 데이터를 디스플레이를 위한 3D TV 포맷으로 바꾸기 위한 컴포넌트(812). 이러한 기술은, 알려져 있고, 그리고 예컨대, 3D 모니터상에서 실제 3D로 오토캐드 3D 모델을 디스플레이하는 모니터를 판매하는 캐나다 토론토의 TRUE3Di's Inc.와 같은 3D 모니터들에서 이용가능하다.

2. 카메라들과 함께 증대된 3D TV 안경들(814), 그리고 응시 트랙킹 교정을 위한 수정된 교정 및 트랙킹 컴포넌트들(815), 그리고 제스처 트랙킹 및 제스처 교정을 위한 816(이들은 아래에 상세히 설명될 것이다). 본 발명의 일 실시예에서, 도 2-도 4에서 예시된 바와 같은 프레임에는, 3D TV 또는 디스플레이를 보기 위해 기술분야에서 알려진 바와 같은 셔터 안경들 또는 LC 셔터 안경들 또는 액티브 셔터 안경들과 같은 렌즈들이 제공된다. 일반적으로, 그러한 3D 셔터 안경들은 프레임 내의 광학 중성 안경들이고, 여기서 각각의 눈의 안경은 예컨대 액정층을 포함하고, 상기 액정층은 전압이 인가될 때 어두워지는 특성을 갖는다. 3D 디스플레이 상의 디스플레이된 프레임들과 함께 순서대로 그리고 교대로 안경들을 어둡게 함으로써, 3D 디스플레이의 환영이 안경들의 착용자에 대해 생성된다. 본 발명의 양상에 따라, 셔터 안경들은 내부 및 외부 카메라들을 갖는 헤드 프레임에 포함된다.

3. 인터페이스 유닛(817)의 일부인, CAD 모델들과의 상호작용을 위한 어휘 및 제스처 인지 컴포넌트. 손가락질하기, 손 뻗기, 뻗은 손을 수평 평면과 수직 평면 사이에서 회전시키기와 같이, 이미지 데이터로부터 적어도 두 개의 상이한 제스처들을 시스템이 검출할 수 있음이 위에서 설명되었다. 많은 다른 제스처들이 가능하다. 각각의 제스처 또는 제스처들 사이의 변화들은 자신의 고유한 의미를 가질 수 있다. 일 실시예에서, 수직 포지션으로 스크린과 직면하는 손은, 하나의 어휘로 정지를 의미할 수 있고, 그리고 제2 어휘로 손으로부터 멀어지는 방향으로 움직임을 의미할 수 있다.

도 9 및 도 10은, 본 발명의 일 실시예에서 제스처 어휘의 일부인, 손의 두 개의 제스처들 또는 포즈들을 예시한다. 도 9는 가리키는 손가락을 갖는 손을 예시한다. 도 10은 펴진 채로 뻗은 손을 예시한다. 이들의 제스처들 또는 포즈들은, 예컨대 손을 갖는 팔을 위로부터 보는 카메라에 의해 레코딩된다. 시스템은, 사용자로부터 제한된 개수의 손 포즈들 또는 제스처들을 인지하도록 훈련될 수 있다. 단순한 예시적 제스처 인지 시스템에서, 두 개의 손 포즈들의 어휘가 존재한다. 그것은, 포즈가 도 9의 포즈가 아니라면 도 10의 포즈임이 틀림없고, 그리고 도 10의 포즈가 아니라면 도 9의 포즈임이 틀림없음을 의미한다. 훨씬 더 복잡한 제스처 인지 시스템들이 알려져 있다.

4. 손 제스처 이벤트들과 함께 눈 응시 정보의 통합. 위에서 설명된 바와 같이, 응시가 디스플레이된 3D 객체를 찾고 활성화시키는데 사용될 수 있는 반면에, 제스처는 활성화된 객체를 조작하는데 사용될 수 있다. 예컨대, 제1 객체 상에서의 응시는, 제스처에 의해 조작될 수 있도록 하기 위해 상기 제1 객체를 활성화시킨다. 움직이는, 활성화된 객체로 겨누어진 손가락은, 활성화된 객체가 상기 겨누어진 손가락 뒤를 따르도록 만든다. 추가의 실시예에서, 응시-오버(over)가 3D 객체를 활성화시킬 수 있는 반면에, 3D 객체를 겨누는 것은 관련 메뉴를 활성화시킬 수 있다.

5. 렌더링 전력/지연에 초점을 맞추기 위한 눈 트랙킹 정보. 응시-오버는, 응시되는 객체를 강조하거나 또는 응시-오버된 객체의 해상도 또는 밝기를 증가시키는 마우스-오버로서 동작할 수 있다.

6. CAD 객체(들)에 근접하는 부가적 메타데이터를 렌더링하기 위한 눈 응시 정보. 객체의 응시-오버는, 텍스트, 이미지들 또는 응시-오버된 객체 또는 아이콘에 관련된 다른 데이터의 디스플레이 또는 열거를 유발한다.

7. 사용자 뷰잉 각도 및 위치에 기초한 다수의 관점 능력을 갖는 렌더링 시스템. 헤드 프레임을 착용한 관찰자가 3D 디스플레이에 관하여 프레임을 움직일 때, 컴퓨터는, 관찰자에 의해 왜곡되지 않은 방식으로 보여지도록 3D 객체의 정확한 렌더링을 계산한다. 본 발명의 제1 실시예에서, 보여지는 3D 객체의 배향은 헤드 프레임을 이용하는 관찰자에 관하여 변하지 않은 채로 유지된다. 본 발명의 제2 실시예에서, 보여지는 객체의 가상 배향은 3D 디스플레이에 관하여 변하지 않은 채로 유지되고 그리고 사용자의 뷰잉 포지션에 따라 변하고, 그래서 사용자는 반원으로(in half a circle) 객체 "주변을 걸을" 수 있고 그리고 상이한 관점들로부터 객체를 볼 수 있다.

다른 애플리케이션들

본 발명의 양상들은, 사용자들이 진단을 위해 또는 공간적 인식 목적들을 발달시키기 위해 3D 객체들을 조작할 필요가 있고 3D 객체들과 상호작용할 필요가 있는 많은 다른 환경들에 적용될 수 있다. 예컨대, 의료 개입(intervention)시, 의사들(예컨대, 개입 심장전문의(interventional cardiologist)들 또는 방사선과 의사)은 종종 카테터의 항해를 안내하기 위해 3D CT/MR 모델에 의존한다. 본 발명의 양상을 이용한 본 명세서에 제공되는 바와 같은 응시 & 제스처 내추럴 인터페이스는, 더욱 정확한 3D 지각, 쉬운 3D 객체 조작을 제공할 뿐만 아니라, 각자의 공간적 제어 및 인식을 개선시킬 것이다.

3D 데이터 시각화 및 조작이 중요한 역할을 맡는 다른 애플리케이션들은, 예컨대 다음을 포함한다:

(a) 건축 자동화: 빌딩 설계, 자동화 및 관리: SIG2N을 갖춘 3D TV들이 설계자들, 오퍼레이터들, 비상 관리자들 그리고 직관적 시각화 및 3D BIM(building information model) 콘텐트와의 상호작용 도구들을 갖는 다른 사람들을 무장시키는 것을 돕는 역할을 할 수 있다.

(b) 서비스: 비디오들 및 초음파 신호들과 같은 온라인 센서 데이터와 함께 3D 설계 데이터는 현장의 또는 서비스 센터들에 있는 휴대가능한 3D 디스플레이 상에서 디스플레이될 수 있다. 이런 혼합된 리얼리티의 사용처럼, 상기 혼합된 리얼리티의 사용이 핸드 프리 동작들을 위해 응시 및 제스처 인터페이스들에 대한 직관적 인터페이스들을 요구하므로, SIG2N에 대한 우수한 애플리케이션 영역일 것이다.

제스처 구동 센서-디스플레이 교정

증가하는 개수의 애플리케이션들은, 본 명세서에서 제공되는 SIG2N 아키텍처와 같이, 광학 센서들 및 하나 또는 그 초과의 디스플레이 모듈들(예컨대, 평면-스크린 모니터들)의 조합을 포함한다. 이는, 영상-기반(vision-based) 사용자 친화 상호작용의 도메인에서 특히 자연스런 조합이고, 여기서 시스템의 사용자는 2D 모니터 또는 3D 모니터 앞에 위치되고 그리고 시각화를 위한 디스플레이를 사용하는 소프트웨어 애플리케이션과 자연스런 제스처들을 통해 핸즈프리로 상호작용한다.

이러한 상황에서, 센서와 디스플레이 사이에 상대적 포즈를 설정하는 것이 관심대상일 수 있다. 본 발명의 양상에 따라 본 명세서에 제공되는 방법은, 광학 센서 시스템이 미터법의 깊이 데이터를 제공할 수 있다면, 시스템의 협조적 사용자에 의해 수행되는 손 및 팔 제스처에 기초한 이러한 상대적 포즈의 자동 추정을 가능케 한다.

다양한 센서 시스템들은, 광학 입체적(stereo) 카메라들, 액티브 조명에 기초한 깊이 카메라들, 및 타임 오브 플라이트 카메라(time of flight camera)들과 같이 이러한 요건을 충족시킨다. 추가의 전제조건은, 센서 이미지 내에서 가시적인 사용자의 헤드 위치 그리고 손, 팔꿈치 및 어깨 관절들의 빼냄(extraction)을 허용하는 모듈이다.

이들 가정들 하에서, 두 개의 상이한 방법들이 다음의 차이와 함께 본 발명의 양상들로서 제공된다:

1. 제1 방법은 디스플레이 치수들이 알려져 있음을 가정한다.

2. 제2 방법은 디스플레이 치수들을 알 필요가 없다.

방법들 둘 다는, 도 11에 예시된 바와 같은 협조적 사용자(900)가 자신이 앞-평행 방식으로 디스플레이(901)를 볼 수 있고 자신이 센서(902)로부터 가시적인 수직으로 서있는 방식으로 서도록 요청받는 것을 공통적으로 갖는다. 그런 다음, 비-동일선형 마커들(903)의 세트가 스크린 상에서 순차적으로 도시되고, 그리고 사용자는 왼손이든 또는 오른손이든(904) 마커들 각각이 디스플레이될 때 마커들 각각 쪽을 가리키도록 요청받는다. 시스템은, 펴진 팔, 즉 곧은 팔을 기다림으로써 사용자가 가리키고 있는지를 자동으로 결정한다. 짧은 시간 기간(≤2초) 동안 팔이 곧은 채로 있고 그리고 움직이지 않을 때, 추후 교정을 위해 사용자의 기하구조가 포착된다. 이는, 각각의 마커에 대해, 별도로 그리고 연속적으로 수행된다. 후속 일괄 교정 단계에서, 카메라 및 모니터의 상대적 포즈가 추정된다.

다음 차례로, 본 발명의 상이한 양상들에 따라 두 개의 교정 방법들이 제공된다. 방법들은, 스크린 치수들이 알려져 있는지, 그리고 기준 방향들을 획득하기 위한 여러 옵션들, 즉 사용자가 실제로 가리키는 방향에 따라 좌우된다.

다음 차례의 섹션은 기준 방향들의 상이한 선택들을 설명하고, 그리고 후속 섹션은 어느 기준점들이 선택되었는지와 관계 없이 기준점들에 기초하여 두 개의 교정 방법들을 설명한다.

기여들

본 명세서에 제공되는 접근은 본 발명의 다양한 양상들에 따라 적어도 세 개의 기여들을 포함한다:

(1) 교정 프로세스를 제어하기 위한 제스처-기반 방식.

(2) 스크린-센서 교정을 위한 인간 포즈 도출 측정 프로세스.

(3) 교정 성능을 개선시키기 위한 '아이언-사이트(iron-sight)' 방법.

기준점들 설정하기

도 11은 장면의 전체 기하구조를 예시한다. 사용자(900)가 적어도 하나의 카메라일 수 있는 센서 C(902)로부터 가시적인, 스크린 D(901) 앞에 서있다. 지시 방향을 설정하기 위해, 본 발명의 일 실시예에서 하나의 기준점은 항상 특정 손가락

의 끝, 예컨대 펴진 집게 손가락의 끝이다. 다른 고정된 기준점들이 반복성 및 정확도의 척도(measure)를 갖는 한, 상기 다른 고정된 기준점들이 사용될 수 있음이 명백해야 한다. 예컨대, 뻗은 엄지손가락의 끝이 사용될 수 있다. 다른 기준점의 위치들에 대해 적어도 두 개의 옵션들이 있다:

(1) 어깨 관절

: 사용자의 팔이 마커 쪽을 가리키고 있다. 이는, 어쩌면, 익숙하지 않은 사용자에 대해 검증하기 힘든데, 그 이유는 지시 방향이 적절하다면 직접적인 시각적 피드백이 없기 때문이다. 이는, 더 높은 교정 오류를 도입시킬 수 있다.

(2) 안구 중심

: 사용자는 노치-앤드-비드(notch-and-bead) 아이언 사이트의 기능을 본질적으로 수행하고 있고, 여기서 스크린 상의 타겟은 '비드'로서 간주될 수 있고 그리고 사용자의 손가락은 '노치'로서 이해될 수 있다. 이러한 옵티오-일치(optio-coincidence)는, 지시 제스처의 정밀도에 관한 직접적인 사용자 피드백을 허용한다. 본 발명의 일 실시예에서, 사용된 눈 쪽이 사용된 팔 쪽과 동일함이 가정된다(왼쪽/오른쪽).

센서-디스플레이 교정

방법 1 - 알려진 스크린 치수들

아래에서는, 기준점들

및

의 특정한 선택 사이에 차이가 없고, 상기 기준점들

및

은 R로 요약될 것이다.

방법은 다음과 같이 진행된다:

1. (a) 하나 또는 그 초과의 디스플레이들 ― 폭

및 높이

의 3-공간

내에서 배향된 2D 직사각형들에 의해 기하구조적으로 표현됨 ― (b) 하나 또는 그 초과의 깊이-감지 미터법 광학 센서들 ― 미터법의 좌표계

에 의해 기하구조적으로 표현됨 ― 에 대해 고정되지만 알려지지 않은 위치를 보증한다.

아래에서는, 일반성의 손실 없이, 단 한 개의 디스플레이

및 하나의 카메라

가 고려된다.

2. 알려진 2D 위치들을 갖는 K개 시각적 마커들의 연속적인 시퀀스

를 스크린 표면

상에서 디스플레이한다.

3. K개 시각적 마커들 각각에 대해, (a) 카메라 시스템의 미터법 3D 좌표들

로, 센서

로부터의 센서 데이터 내의 기준점들

및

뿐만 아니라, 사용자의 오른손 및 왼손, 그리고 오른 팔꿈치 및 왼 팔꿈치, 그리고 오른쪽 어깨 관절 및 왼쪽 어깨 관절의 위치를 검출하고, (b) 왼쪽이든 오른쪽이든, 손, 팔꿈치, 그리고 어깨 위치들 사이의 각도로서 오른쪽 및 왼쪽 팔꿈치 각도를 측정하고, (c) 상기 각도가 180°와 상당히 상이하면, 다음 차례의 센서 측정을 기다리고 그리고 단계 (b)로 되돌아가고, 그리고 (d) 미리-결정된 시간 기간 동안 각도를 지속적으로 측정한다.

임의의 시간에 상기 각도가 180°와 상당히 상이하다면, 단계 (b)로 되돌아가라. 그런 다음, (e) 이러한 마커에 대해 사용자의 기준점들의 위치들을 레코딩하라. 강건함을 위해 각각의 마커에 대한 여러 측정들이 레코딩될 수 있다.

4. K개 마커들 각각에 대해 사용자의 손 및 헤드 포지션이 레코딩된 이후, 일괄 교정이 다음과 같이 진행된다:

(a) 스크린 표면

은 원점

및 두 개의 정규화된 방향들

에 의해 특징지어질 수 있다. 스크린 표면

상의 임의의 지점

은 아래와 같이 기록될 수 있다:

, 여기서

및

.

(b) 측정들의 각각의 세트

는 장면의 기하구조에 관한 약간의 정보를 산출한다: 두 개의 지점들

및

에 의해 정의된 광선은 3D 지점

에서 스크린과 교차한다. 위의 측정 단계들에 따라, 이러한 지점은 스크린 표면

상에서 3D 지점

과 일치하는 것으로 가정된다.

공식적으로,

(c) 위의 방정식에서, 좌측에 6개의 미지수들이 있고 그리고 각각의 우측에 대해 1개의 미지수가 있으며, 각각의 측정은 세 개의 균등(equality)들을 산출한다. 따라서, 최소 K=3번 측정들이 미지수들의 총 개수 및 9의 균등들의 총 개수에 대해 필요하다.

(d) 수집된 측정들에 대한 방정식들 (4)의 세트는, 스크린 표면 기하구조 및 그에 따른 상대적 포즈를 찾아내기 위해, 미지수 파라미터들

에 대해 풀린다.

(e) 각각의 마커 또는 다수의 마커들 K>3에 대한 다수의 측정들의 경우에, 방정식들 4는 대신에 지점들 사이의 거리를 최소화시키도록 수정될 수 있다:

방법 2 - 알려지지 않은 스크린 치수들

앞의 방법은 스크린 표면

의 물리적 치수들

이 알려져 있음을 가정한다. 이는, 비현실적 가정일 수 있고, 그리고 이 섹션에서 설명되는 방법은 스크린 치수들의 앎을 요구하지 않는다.

알려지지 않은 스크린 치수들의 경우에, 두 개의 부가적인 미지수들이 있다: (4) 및 (5)의

. 방정식들의 세트는

전부가 서로 근접하다면 풀리기 어려워지고, 이는, 사용자가 자신의 헤드를 움직이지 않을 때 방법 1에서의 셋업에 대한 경우이다. 이러한 문제를 다루기 위하여, 시스템은 사용자에게 디스플레잉 마커들 사이에서 움직이도록 요청한다. 헤드 포지션이 트랙킹되고, 그리고 안정적인 최적화 문제점을 보장하기 위해 헤드 포지션이 상당한 양만큼 이동했을 때에만 다음 차례의 마커가 도시된다. 이제 두 개의 부가적인 미지수들이 있으므로, 측정들의 최소 개수는 이제 12개의 미지수들 및 12개 방정식들에 대해 K=4이다. 본 명세서에서 앞서 설명된 바와 같은 모든 다른 고려사항들 및 방정식들은 그대로 유지된다.

저-지연의 자연스런 메뉴 상호작용을 위한 3D에서의 방사상 메뉴들

최신식의 광학/IR 카메라-기반 사지/손 트랙킹 시스템들은 신호 및 프로세싱 경로로 인해 포즈 검출에서 절박한(imminent) 지연을 갖는다. 즉각적인 비-시각적 피드백(즉, 촉각)의 결여와 결합하여, 이는, 종래의 마우스/키보드 상호작용과 비교할 때, 사용자들 상호작용 속도를 상당히 떨어뜨린다. 메뉴 선택 작업들에 대한 이러한 효과를 완화시키기 위하여, 본 발명의 양상과 같이 3D에서의 제스처-활성화된 방사상 메뉴들이 제공된다. 터치에 의해 동작되는 방사상 메뉴들은 알려져 있고 그리고 예컨대 1999년 7월 20일자로 구르텐바흐에게 발행된 미국 특허 시리얼 번호 5,926,178에서 설명되고, 상기 특허는 본 명세서에 인용에 의해 포함된다. 3D에서의 제스처-활성화된 방사상 메뉴들은 신규한 것으로 믿어진다. 일 실시예에서, 제1 제스처-활성화된 방사상 메뉴가 사용자의 제스처에 기초하여 3D 스크린 상에서 디스플레이된다. 다수의 엔트리들을 갖는 방사상 메뉴에서의 하나의 항목은 사용자의 제스처에 의해, 예컨대 방사상 메뉴 내의 항목을 가리킴으로써 활성화된다. 방사상 메뉴로부터의 항목은, 상기 항목을 "움켜잡음"으로써 그리고 상기 항목을 객체로 움직임으로써 메뉴로부터 복사될 수 있다. 추가의 실시예에서, 방사상 메뉴의 항목은, 3D 객체를 가리키는 사용자에 의해 상기 3D 객체로 그리고 메뉴 항목으로 활성화된다. 본 발명의 추가의 실시예에서, 디스플레이되는 방사상 메뉴는 "스태거드" 메뉴들의 시리즈의 일부이다. 사용자는, 책의 페이지들을 넘기는 것과 같이 메뉴들을 통해 떠남으로써, 상이하게 층을 이룬 메뉴들에 액세스할 수 있다.

익숙한 사용자에 대해, 이는, 지연이 없고 견고한 메뉴 상호작용, 사용자 친화 인터페이스들에 대한 중대한 컴포넌트를 가상적으로 제공한다. 메뉴 엔트리들의 밀도/개수는, 초보자를 위한 6개 엔트리들로부터 시작해 전문가를 위한 24개까지 사용자의 기량에 적응될 수 있다. 또한, 메뉴는 적어도 2개 메뉴들의 층을 가질 수 있고, 여기서 제1 메뉴는 다른 메뉴들을 상당히 숨기지만, 기본(underlying) 메뉴들을 "숨기지 않는" 3D 탭들을 도시한다.

신속한 메뉴 상호작용을 위한 청각적 및 시각적 피처들의 융합

청각적 센서들의 높은 샘플링 주파수 및 낮은 대역폭은 저-지연 상호작용을 위한 대안을 제공한다. 본 발명의 양상에 따라, 견고한 저-지연 메뉴 상호작용을 가능케 하기 위해, 적절한 시각적 큐(cue)들과 손가락들의 스냅핑(snapping)과 같은 청각적 큐들의 융합이 제공된다. 본 발명의 일 실시예에서, 견고한 다중-사용자 시나리오들에 대한 공간적 소스 명확화를 위해 마이크로폰 어레이가 사용된다.

소비자 RGBD 센서들에서 손-기반 사용자 상호작용시 견고하고 단순한 상호작용 지점 검출

손-트랙킹된 상호작용 시나리오에서, 사용자의 손들은 지속적으로 트랙킹되고, 그리고 손을 접고(close) 펴는(open) 것과 같은 키 제스처들에 대해 모니터링된다. 그러한 제스처들은, 손의 현재 위치에 따라 액션들을 개시한다. 통상적인 소비자 RGBD 디바이스들에서, 낮은 공간적 샘플링 해상도는, 손 상의 실제로 트랙킹된 위치가 손의 전체 (비-강성) 포즈에 따라 좌우됨을 암시한다. 사실상, 손을 접는 것과 같은 활성화 제스처 동안, 손 상의 고정점의 포지션은 비-강성 변형으로부터 견고하게 분리되기 어렵다. 기존 접근들은, 손 및 손가락들을 기하구조적으로 모델링 및 추정함으로써든(이는, 통상적인 상호작용 범위들에 있는 소비자 RGBD 센서들에 대해 매우 부정확할 수 있고 그리고 계산상 값비싸다), 또는 사용자들의 손목 상의 고정점을 결정함으로써든(이는, 손 및 팔 기하구조의 추가의, 어쩌면 잘못된 모델링을 암시한다) 이러한 문제점을 해결한다. 대조적으로, 본 발명의 양상에 따라 본 명세서에 제공된 접근은, 대신에, 제스처의 시간적 동작을 모델링한다. 상기 접근은 복잡한 기하구조적 모델들에 의존하거나 또는 값비싼 프로세싱을 요구하지 않는다. 첫째로, 사용자의 제스처의 지각된 개시와, 대응하는 제스처가 시스템에 의해 검출될 때의 시간 사이의 시간 기간의 통상적인 지속기간이 추정된다. 둘째로, 트랙킹된 손 지점들의 히스토리와 함께, 이러한 시간 기간은, "역-계산된" 지각된 개시 시간 직전에, 트랙킹된 손 지점으로서 상호작용 지점을 설정하는데 사용된다. 이러한 프로세스가 실제 제스처에 따라 좌우되므로, 이러한 프로세스는 넓은 범위의 제스처 복잡성들/지속기간들을 수용할 수 있다. 가능한 개선들은 적응성 메커니즘을 포함하고, 여기서 상이한 사용자들 사이의 상이한 제스처 동작들/속도들을 수용하기 위해, 지각된 그리고 검출된 액션 개시 사이의 추정 시간 기간은 실제 센서 데이터로부터 결정된다.

손 분류에서의 RGBD 데이터의 융합

본 발명의 양상에 따라, 펴진 손 대 접힌 손의 분류는 RGB 및 깊이 데이터로부터 결정된다. 이는, 본 발명의 일 실시예에서, RGB 및 깊이에 관해 별도로 훈련된 기성품인 분류자들의 융합에 의해 달성된다.

견고한 비-강제 사용자 활성화 및 비활성화 메커니즘

센서들 범위 내에 있는 그룹으로부터의 어느 사용자가 상호작용하길 원하는지를 결정하는 문제점을 다루라. 견고함에 대한 히스테리시스 임계치를 갖는 자연스런/비-강제 주의 제스처 및 질량 중심에 의한 액티브 사용자의 검출. 특정한 제스처 또는 제스처 및 응시의 조합은, 3D 디스플레이를 제어중인 사람으로서, 사람들의 그룹으로부터 사람을 선택한다. 제2 제스처 또는 제스처/응시 조합은 3D 디스플레이의 제어를 그만둔다.

3D 디스플레이를 위한 증대된 관점 적응

증대된 관점을 생성하기 위한, 렌더링된 장면 카메라 포즈의 사용자의 포즈로의 정렬(예컨대, y-축을 중심으로 360_회전).

본능적 가상 환경들에서의 자연스런 항해를 위한 깊이 센서, 가상 세계 클라이언트 및 3D 시각화의 통합

프로세서에 의한, 3D 객체와 같은 객체의 용어 "활성화"가 본 명세서에서 사용된다. 또한, 용어 "활성화된 객체"가 본 명세서에서 사용된다. 컴퓨터 인터페이스의 상황에서, 용어들 "활성화시키는", "활성화" 및 "활성화된"이 사용된다. 일반적으로, 컴퓨터 인터페이스는, 버튼들을 갖는 마우스와 같이 촉각(터치 기반) 도구를 적용시킨다. 마우스의 포지션 및 움직임은 컴퓨터 스크린 상의 포인터 또는 커서의 포지션 및 움직임과 대응한다. 일반적으로 스크린은 스크린 상에서 디스플레이되는 이미지들 또는 아이콘들과 같은 복수의 객체들을 포함한다. 마우스를 이용하여 아이콘 위로 커서를 움직이는 것은, 아이콘의 색 또는 어떤 다른 특성을 변경시킬 수 있고, 이는, 아이콘이 활성화를 위해 준비됨을 표시한다. 그러한 활성화는, 프로그램 시작하기, 아이콘에 관련된 윈도우를 포어그라운드(foreground)로 가져옴, 문서 또는 이미지를 디스플레이함 또는 임의의 다른 액션을 포함할 수 있다. 아이콘 또는 객체의 다른 활성화는 마우스 상에서의 "우측 클릭"으로 알려져 있다. 일반적으로, 이는, 객체에 관련된 옵션들의 메뉴 ― "...로 열기"; "인쇄"; "삭제"; "바이러스들 스캔"을 포함함 ― 그리고 예컨대 마이크로소프트® 윈도우즈 사용자 인터페이스의 애플리케이션들에 대해 알려진 바와 같은 다른 메뉴 항목들을 디스플레이한다.

예컨대, 설계 모드로 디스플레이되는 마이크로소프트® "파워포인트" 슬라이드와 같이 알려진 애플리케이션은 원들과 정사각형들 그리고 텍스트와 같은 상이한 객체들을 포함할 수 있다. 누군가는, 그러한 디스플레이된 객체들 위로 단지 커서를 움직임으로써 객체들을 수정하거나 또는 움직이길 원하지 않는다. 일반적으로, 사용자는 선택된 객체 위에 커서를 두어야 하고 그리고 프로세싱하기 위한 객체를 선택하기 위해 버튼(또는 터치 스크린 상의 탭)을 클릭해야 한다. 버튼을 클릭함으로써, 객체는 선택되고 그리고 객체는 추가의 프로세싱을 위해 이제 활성화된다. 활성화 단계 없이, 객체는, 일반적으로, 개별적으로 조작될 수 없다. 크기조절하기, 움직이기, 회전시키기 또는 다시 칠하기 등등과 같은 프로세싱 이후의 객체는, 커서를 객체로부터 떨어지도록 또는 객체로부터 멀리 움직이고 원격 영역을 클릭함으로써, 비-활성화된다.

본 명세서에서 3D 객체를 활성화시키는 것은 마우스를 사용한 위의 예에서와 유사한 장면에 적용된다. 3D 디스플레이 상에 디스플레이되는 3D 객체는 비-활성화될 수 있다. 한 개 또는 두 개의 내부-카메라들 및 외부-카메라를 갖는 헤드 프레임을 이용하는 사람의 응시가 3D 디스플레이 상의 3D 객체로 지향된다. 물론, 컴퓨터는 스크린 상의 3D 객체의 좌표들을 알고, 그리고 3D 디스플레이의 경우에 어디에서 3D 객체의 가상 포지션이 디스플레이에 관련되는지를 안다. 컴퓨터에 제공되는 교정된 헤드 프레임에 의해 생성된 데이터는, 컴퓨터가, 디스플레이에 대해 지향된 응시의 방향 및 좌표들을 결정하는 것을 가능케 하고 그리고 그에 따라 상기 응시를 대응하여 디스플레이된 3D 객체와 매칭시키는 것을 가능케 한다. 본 발명의 일 실시예에서, 3D 객체 상의 응시의 초점 또는 머무름은 프로세싱을 위한, 아이콘일 수 있는 3D 객체를 활성화시킨다. 본 발명의 일 실시예에서, 헤드 움직임, 눈 깜박거림 또는 손가락으로 가리키는 것과 같은 제스처와 같은, 사용자에 의한 추가의 동작이 객체를 활성화시키는데 요구된다. 본 발명의 일 실시예에서, 응시가 객체 또는 아이콘을 활성화시키고 그리고 추가의 사용자 동작이 메뉴를 디스플레이하는데 요구된다. 본 발명의 일 실시예에서, 응시 또는 머무르는 응시는 객체를 활성화시키고 그리고 특정 제스처가 객체의 추가의 프로세싱을 제공한다. 예컨대, 최소 시간 동안의 응시 또는 머무르는 응시는 객체를 활성화시키고, 그리고 손 제스처, 예컨대 제1 포지션으로부터 제2 포지션으로 움직이는 수직 평면으로 뻗은 손은 객체를 디스플레이 상에서 제1 스크린 포지션으로부터 제2 스크린 포지션으로 움직인다.

3D 디스플레이 상에서 디스플레이되는 3D 객체는, 사용자에 의해 "응시-오버"되고 있을 때, 색 및/또는 해상도가 변경될 수 있다. 본 발명의 일 실시예에서 3D 디스플레이 상에서 디스플레이되는 3D 객체는, 응시를 3D 객체로부터 떨어지도록 움직임으로써, 비-활성화된다. 당업자는 객체에, 메뉴 또는 옵션들의 팔레트로부터 선택된 상이한 프로세싱을 적용시킬 수 있다. 그러한 경우, 사용자가 메뉴를 살펴보는 동안에 "활성화"를 잃는 것은 불편할 것이다. 그러한 경우, 객체는, 사용자가 양쪽 눈 전부를 감는 것과 같은 특정 '비활성화" 응시 또는 "엄지손가락을 아래로" 제스처와 같은 비활성화 제스처 또는 비-활성화 신호로서 컴퓨터에 의해 인지되는 임의의 다른 응시 및/또는 제스처를 제공할 때까지 활성화된 채로 유지된다. 3D 객체가 비활성화될 때, 상기 3D 객체는 더 적은 밝기, 명암(contrast) 및/또는 해상도를 갖는 색들로 디스플레이될 수 있다.

그래픽스 사용자 인터페이스의 추가의 애플리케이션들에서, 아이콘의 마우스-오버는 객체 또는 아이콘에 관련된 하나 또는 그 초과의 특성들의 디스플레이를 유도할 것이다.

본 명세서에 제공되는 바와 같은 방법들은 본 발명의 일 실시예에서 시스템 또는 컴퓨터 디바이스 상에서 구현된다. 도 12에 예시된 그리고 본 명세서에 제공된 바와 같은 시스템은 데이터를 수신하고, 프로세싱하고 그리고 생성하기 위해 인에이블링된다. 시스템에는, 메모리(1801) 상에 저장될 수 있는 데이터가 제공된다. 데이터는, 하나 또는 그 초과의 내부-카메라들 및 외부-카메라를 포함하는 카메라와 같은 센서로부터 획득될 수 있거나, 또는 임의의 다른 데이터 관련 소스로부터 제공될 수 있다. 데이터는 입력부(1806) 상에 제공될 수 있다. 그러한 데이터는 이미지 데이터 또는 위치상의 데이터, 또는 CAD 데이터, 또는 영상 및 디스플레이 시스템에서 유용한 임의의 다른 데이터일 수 있다. 또한, 프로세서에는 명령 세트 또는 프로그램이 제공되거나 또는 프로세서는 명령 세트 또는 프로그램으로 프로그래밍되고, 상기 명령 세트 또는 프로그램은, 메모리(1802) 상에 저장되고 그리고 프로세서(1803)에 제공되는 본 발명의 방법들을 실행시키고, 상기 프로세서(1803)는 1802의 명령들을 실행시켜, 1801로부터의 데이터를 프로세싱한다. 이미지 데이터 또는 프로세서에 의해 제공되는 임의의 다른 데이터와 같은 데이터는, 출력 디바이스(1804) 상으로 출력될 수 있고, 상기 출력 디바이스(1804)는 3D 이미지들을 디스플레이하기 위한 3D 디스플레이 또는 데이터 저장 디바이스일 수 있다. 본 발명의 일 실시예에서 출력 디바이스(1804)는 스크린 또는 디스플레이, 바람직하게 3D 디스플레이이고, 따라서 프로세서는, 본 발명의 양상으로서 제공된 방법들에 의해 정의된 바와 같이 카메라에 의해 레코딩될 수 있고 그리고 교정된 공간 내의 좌표들과 연관될 수 있는 3D 이미지를 디스플레이한다. 스크린 상의 이미지는 카메라에 의해 레코딩되는, 사용자로부터의 하나 또는 그 초과의 제스처들에 따라 컴퓨터에 의해 수정될 수 있다. 또한, 프로세서는, 통신 디바이스로부터 외부 데이터를 수신하고 그리고 데이터를 외부 디바이스에 송신하기 위한 통신 채널(1807)을 갖는다. 본 발명의 일 실시예에서 시스템은 입력 디바이스(1805)를 갖고, 상기 입력 디바이스(1805)는 본 명세서에 설명된 바와 같은 헤드 프레임일 수 있고 그리고 또한 키보드, 마우스, 포인팅 디바이스, 하나 또는 그 초과의 카메라들 또는 프로세서(1803)에 제공될 데이터를 생성할 수 있는 임의의 다른 디바이스를 포함할 수 있다.

프로세서는 전용 하드웨어일 수 있다. 그러나, 프로세서는 또한 CPU 또는 1802의 명령들을 실행할 수 있는 임의의 다른 컴퓨팅 디바이스일 수 있다. 따라서, 도 12에 예시된 바와 같은 시스템은, 센서, 카메라 또는 임의의 다른 데이터 소스로부터 야기되는 데이터 프로세싱을 위한 시스템을 제공하고, 그리고 본 발명의 양상으로서 본 명세서에 제공되는 바와 같은 방법들의 단계들을 실행하도록 인에이블링된다.

따라서, 시스템 및 방법들은 본 명세서에서 적어도 인더스트리 응시 및 제스처 내추럴 인터페이스(SIG2N)에 대해 설명되었다.

본 발명이 다양한 형태들의 하드웨어, 소프트웨어, 펌웨어, 특별 목적 프로세서들, 또는 이들의 조합으로 구현될 수 있음이 이해될 것이다. 일 실시예에서, 본 발명은 프로그램 저장 디바이스 상에 유형으로 구현되는 애플리케이션 프로그램과 같은 소프트웨어로 구현될 수 있다. 애플리케이션 프로그램은, 임의의 적절한 아키텍처를 포함하는 기계에 업로딩될 수 있고 상기 기계에 의해 실행될 수 있다.

동반한 도면들에서 묘사되는 구성 시스템 컴포넌트들 및 방법 단계들 중 몇몇이 소프트웨어로 구현될 수 있으므로, 시스템 컴포넌트들(또는 프로세스 단계들) 사이의 실제 연결들이 본 발명이 프로그래밍되는 방식에 따라 상이할 수 있음이 추가로 이해될 것이다. 본 명세서에서 제공된 본 발명의 지침들이 주어진다면, 관련 기술분야의 당업자는 본 발명의 이들 구현들 또는 구성들 그리고 유사한 구현들 또는 구성들을 고려할 수 있을 것이다.

본 발명의 바람직한 실시예들에 적용된 바와 같이 본 발명의 근본적인 신규한 피처들이 도시되었고, 설명되었고 그리고 지적되었지만, 본 발명의 사상으로부터 벗어남 없이, 예시된 방법들 및 시스템들의 형태 및 세부사항들 그리고 그 동작에서의 다양한 생략들 및 대체들 및 변경들이 기술분야의 당업자들에 의해 이루어질 수 있음이 이해될 것이다. 그러므로, 단지, 청구항들의 범위에 의해 표시된 바와 같이 제한되는 것이 의도된다.

Claims

사람의 눈으로 겨냥된 제1 카메라를 갖는 헤드 프레임을 착용한 사람이 눈으로 3D 객체를 응시함으로써 그리고 몸의 기관(body part)으로 제스처를 만듦으로써 디스플레이 상에서 디스플레이되는 상기 3D 객체와 상호작용하기 위한 방법으로서,
적어도 두 개의 카메라들을 이용하여 상기 눈의 이미지, 상기 디스플레이의 이미지 및 상기 제스처의 이미지를 감지하는 단계 ― 상기 적어도 두 개의 카메라들 중 하나는 상기 디스플레이로 겨누어 지도록 적응되게 상기 헤드 프레임 내에 장착되고, 그리고 상기 적어도 두 개의 카메라들 중 다른 하나는 상기 제1 카메라임 ―;
상기 눈의 이미지, 상기 제스처의 이미지 및 상기 디스플레이의 이미지를 프로세서에 송신하는 단계;
상기 프로세서가 상기 이미지들로부터, 상기 디스플레이에 관하여 상기 눈의 시야 방향 및 상기 헤드 프레임의 위치를 결정하고, 그리고 그런 다음 상기 사람이 응시하고 있는 상기 3D 객체를 결정하는 단계;
상기 프로세서가 복수의 제스처들 중에서 상기 제스처의 이미지로부터 상기 제스처를 인지하는 단계; 및
상기 프로세서가 상기 응시, 또는 상기 제스처, 또는 상기 응시 및 상기 제스처에 기초하여 상기 3D 객체를 추가로 프로세싱하는 단계
를 포함하는,
방법.
제 1 항에 있어서,
제2 카메라가 상기 헤드 프레임 내에 위치되는,
방법.
제 1 항에 있어서,
제3 카메라가 상기 디스플레이 내에든 또는 상기 디스플레이에 인접한 영역 내에든 위치되는,
방법.
제 1 항에 있어서,
제2 눈의 시야 방향을 포착하기 위해 상기 헤드 프레임이 상기 사람의 상기 제2 눈으로 겨누어진 제4 카메라를 상기 헤드 프레임 내에 포함하는,
방법.
제 4 항에 있어서,
상기 프로세서가 제1 눈의 시야 방향 및 상기 제2 눈의 시야 방향의 교차점으로부터 3D 초점을 결정하는 단계
를 더 포함하는,
방법.
제 1 항에 있어서,
상기 3D 객체의 추가의 프로세싱이 상기 3D 객체의 활성화를 포함하는,
방법.
제 1 항에 있어서,
상기 3D 객체의 추가의 프로세싱이 상기 응시, 또는 상기 제스처, 또는 상기 응시 및 상기 제스처 둘 다에 기초하여 상기 3D 객체의 증가된 해상도를 갖는 렌더링을 포함하는,
방법.
제 1 항에 있어서,
상기 3D 객체가 컴퓨터 이용 설계 프로그램에 의해 생성되는,
방법.
제 1 항에 있어서,
상기 프로세서가 상기 제2 카메라로부터의 데이터에 기초하여 상기 제스처를 인지하는 단계를 더 포함하는,
방법.
제 9 항에 있어서,
상기 프로세서가 상기 제스처에 기초하여 상기 디스플레이 상에서 상기 3D 객체를 움직이는,
방법.
제 1 항에 있어서,
상기 프로세서가 상기 헤드 프레임을 착용한 상기 사람의 새로운 포지션으로의 포지션 변화를 결정하는 단계, 및 상기 프로세서가 상기 새로운 포지션에 대응하는 컴퓨터 3D 디스플레이 상에서 상기 3D 객체를 리-렌더링하는 단계
를 더 포함하는,
방법.
제 11 항에 있어서,
상기 프로세서가 상기 포지션 변화를 결정하고 그리고 상기 디스플레이의 프레임 레이트로 리-렌더링하는,
방법.
제 11 항에 있어서,
상기 프로세서가 응시되고 있는 상기 3D 객체에 관련된, 디스플레이하기 위한 정보를 생성하는 단계
를 더 포함하는,
방법.
제 1 항에 있어서,
상기 3D 객체의 추가의 프로세싱이 상기 3D 객체에 관련된 방사상 메뉴의 활성화를 포함하는,
방법.
제 1 항에 있어서,
상기 3D 객체의 추가의 프로세싱이 3D 공간에서 서로 위에 적층되는 복수의 방사상 메뉴들의 활성화를 포함하는,
방법.
제 1 항에 있어서,
상기 프로세서가 3D 컴퓨터 디스플레이 상의 영역을 겨누는 상기 사람의 손 및 팔 제스처의 상대적 포즈를 교정하는 단계;
상기 사람이 새로운 포즈로 상기 3D 컴퓨터 디스플레이를 겨누는 단계; 및
상기 프로세서가 상기 교정된 상대적 포즈에 기초하여 상기 새로운 포즈에 관련된 좌표들을 추정하는 단계
를 더 포함하는,
방법.
사람이 제1 눈을 이용한 응시를 통해 그리고 몸의 기관에 의한 제스처를 통해 복수의 3D 객체들 중 하나 또는 그 초과와 상호작용하는 시스템으로서,
상기 복수의 3D 객체들을 디스플레이하는 컴퓨터 디스플레이;
헤드 프레임을 착용한 상기 사람의 상기 제1 눈을 겨누도록 적응된 제1 카메라 및 상기 컴퓨터 디스플레이의 영역을 겨누도록 그리고 상기 제스처를 포착하도록 적응된 제2 카메라를 포함하는 상기 헤드 프레임;
상기 제1 카메라 및 상기 제2 카메라에 의해 송신된 데이터를 수신하는 단계,
복수의 객체들 내에서 상기 응시가 지향된 3D 객체를 결정하기 위해, 수신된 데이터를 프로세싱하는 단계,
복수의 제스처들로부터 상기 제스처를 인지하기 위해, 상기 수신된 데이터를 프로세싱하는 단계, 및
상기 응시 및 제스처에 기초하여 상기 3D 객체를 추가로 프로세싱하는 단계
를 수행하기 위해 명령들을 실행하도록 인에이블링된 프로세서
를 포함하는,
시스템.
제 17 항에 있어서,
상기 컴퓨터 디스플레이는 3D 이미지를 디스플레이하는,
시스템.
제 17 항에 있어서,
상기 디스플레이는 입체적 뷰잉 시스템의 일부인,
시스템.
디바이스로서,
상기 디바이스를 이용하여, 사람이 제1 눈으로부터의 응시 및 제2 눈으로부터의 응시를 통해 그리고 사람의 몸의 기관에 의한 제스처를 통해 3D 컴퓨터 디스플레이 상에서 디스플레이되는 3D 객체와 상호작용하고,
상기 디바이스는,
상기 사람에 의해 착용되도록 적응된 프레임;
제1 응시를 포착하기 위해 상기 제1 눈을 겨누도록 적응된, 상기 프레임 내에 장착된 제1 카메라;
제2 응시를 포착하기 위해 상기 제2 눈을 겨누도록 적응된, 상기 프레임 내에 장착된 제2 카메라;
상기 3D 컴퓨터 디스플레이를 겨누도록 그리고 상기 제스처를 포착하도록 적응된, 상기 프레임 내에 장착된 제3 카메라;
상기 제1 눈이 제1 안경을 통해 보고 그리고 상기 제2 눈이 제2 안경을 통해 보도록 상기 프레임 내에 장착된 상기 제1 안경 및 상기 제2 안경 ― 상기 제1 안경 및 상기 제2 안경은 3D 뷰잉 셔터들로서 동작함 ―; 및
상기 카메라들에 의해 생성된 데이터를 송신하기 위한 송신기
를 포함하는,
디바이스.