KR20170074902A

KR20170074902A - 몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법 및 그 이미지 데이터에 기초하여 공간을 주시하는 방법

Info

Publication number: KR20170074902A
Application number: KR1020177012479A
Authority: KR
Inventors: 트리스탄 살로메; 코닌크 미카엘 더; 크리스 마스카렐로; 제임스 반데르회겐; 가엘 오노레
Original assignee: 패럴랙스터
Priority date: 2014-10-22
Filing date: 2015-10-22
Publication date: 2017-06-30
Anticipated expiration: 2035-10-22
Also published as: BE1022580A9; KR102343678B1; AU2015336869A1; CA2965332C; US20180115769A1; JP2017539120A; CN107079145B; NZ731584A; AU2015336869B2; BE1022580A1; JP6595591B2; WO2016061640A1; US10218966B2; EP3210378A1; CN107079145A; CA2965332A1; EP3210378B1; BE1022580B1

Abstract

몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법은, 뷰포인트들의 구역을 결정하는 단계, 뷰포인트의 구역의 단부에 위치된 소스 포인트들의 세트를 셋업하는 단계, 스캐닝 빔에 의하여 그리고 뷰포인트의 구역에 의해 미리 결정된 범위 내에 각각 위치된 일련의 방위각 및 고도각에 따라 공간을 단계적으로 스캐닝하기 위해, 상기 소스 포인트들 각각에 매번 스캐너들의 제 1 세트의 스캐너를 배치하는 단계, 및 반사된 스캐닝 빔에 기초하여, 빔에 의해 터치된 포인트와 상기 관련된 스캐닝 빔을 생성한 스캐너 사이의 거리에 의해 형성된 이미지 데이터 및 상기 터치 포인트의 컬러 파라미터를 결정하는 단계, 및 이미지 데이터를 메모리 내에 저장하는 단계를 포함한다.

Description

몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법 및 그 이미지 데이터에 기초하여 공간을 주시하는 방법{METHOD FOR COLLECTING IMAGE DATA FOR PRODUCING IMMERSIVE VIDEO AND METHOD FOR VIEWING A SPACE ON THE BASIS OF THE IMAGE DATA}

본 발명은 몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법에 관한 것인데, 이러한 방법은 스캐닝 빔을 생성하도록 각각 제공되는 적어도 n(n>1) 개의 스캐너들의 제 1 세트를 셋업하는 단계를 포함하고, 미리 결정된 공간의 이미지 데이터를 생성하기 위하여, 스캐닝 빔을 이용해 스캐너들의 상기 제 1 세트의 스캐너들 각각에 의해 상기 공간을 스캐닝하는 단계를 더 포함한다. 또한, 본 발명은 이러한 이미지 데이터의 시각화 방법에 관한 것이다.

이러한 방법은 미국 특허 출원 2013/0083173 호로부터 공지된다. 또한 이러한 방법은 장면들을 생성하기 위해 비디오 게임에서 사용된다. 몰입형 비디오를 가지고 생성된 이미지들을 시각화할 수 있으려면, 우선 이미지 데이터를 수집할 필요가 있다. 이것은, 몰입형 비디오가 발생되는 장면을 형성하는 미리 결정된 공간을 스캐닝하는 스캐너들의 세트를 이용하여 실현된다. 이렇게 수집된 이미지 데이터는 메모리에 저장된다.

비디오 게임의 사용자가 비디오 게임의 3-차원의 장면 안에서 움직이려고 하면, 그는 일반적으로 비디오 게임을 실행하는 키보드 및 컴퓨터 마우스를 사용할 것이다. 그러면, 비디오 게임은 가상 인물의 새로운 뷰포인트로부터 시작되는 3D 장면의 렌더링을 실시간으로 계산할 것이고, 이러한 렌더링이 컴퓨터 스크린 상에 디스플레이된다. 그러면 사용자는 비디오 게임의 가상 세계에서 스스로 움직이고 가상 세계와 상호작용할 수 있게 된다.

이러한 간단한 상호작용만으로도 일부 사용자는 게임을 한 뒤 몇 분 이내에 그들이 비디오 게임의 가상 인물의 스킨 내에 있는 것처럼 느끼게 된다. 가상 몰입감은 사용자에게 가상 3D 장면 내에 물리적으로 실제로 존재하는 듯한 인상을 주는 것이다. 이러한 느낌은, 사용자의 오감에 의해 감지되는 것과 사용자가 실제로 가상 3D 장면의 물리적 등가물, 다시 말해서 실세계에 있었다면 느꼈을 것 사이의 어울림(appropriateness)에 따라 강할 수도 약할 수도 있다. 사용자 눈에 그의 머리의 회전과 코히어런트한 이미지를 제공하는 시스템이 일반적으로 가상 현실 시스템이라고 불린다.

가상 현실 시스템을 얻기 위해 가장 일반적으로 사용되는 기법은 가상 현실 헤드셋이다. 사용자는 헤드셋을 머리에 쓰고, 헤드셋은 컴퓨터에 연결된다. 사용자의 눈 앞에 배치된 스크린 및 렌즈의 세트를 이용하여, 헤드셋은 각각의 눈에 컴퓨터에 의해 실시간으로 계산된 합성 이미지를 제공한다. 헤드셋은 사용자의 머리의 배향을 측정하도록 하는 센서를 더 포함한다. 원리는 다음과 같다: 사용자가 그의 머리를 돌리면, 가상 현실 헤드셋이 이러한 머리 움직임을 캡쳐하고 사용자의 새로운 머리 배향에 대한 정보를 컴퓨터에게 전송하며, 컴퓨터는 사용자의 눈의 새로운 배향에 대응하는 두 개의 가상 카메라의 배향으로 가상 3D 장면의 입체 렌더링을 생성하고, 컴퓨터에 의해 실시간으로 렌더링된 이미지가 사용자의 눈 앞에 디스플레이된다.

그 외의 인자들이 시각적 레벨에서의 가상 몰입의 품질에 영향을 줄 것이다. 주된 인자는 사용자의 내이에 의해 측정되는 사용자의 머리 움직임과 사용자의 시야 사이의 어울림이다. 인간은 실세계에서 이러한 두 개의 감각들이 완벽하게 어울리는 것에 익숙하다. 눈이 바라보는 이미지와 사용자의 내이에 의해 감지되는 움직임 사이의 불일치(incoherence) 정도에 따라, 사용자는 경미한 불쾌감, 시각적 피로, 두통, 통증 및 구토에까지 이르게 할 수 있는 복부 불쾌감을 느낄 것이다. 그러한 효과들은 가상 현실 멀미 또는 "사이버-멀미(Cyber-Sickness)"라고 불리며, 배멀미와 유사한 것이다.

공지된 몰입형 비디오는 사용자 주위에서 360 도의 시야를 커버하는 모노스코픽 또는 입체의 미리 기록되거나 미리 계산된 무비이다. 그러한 공지된 몰입형 비디오는 가상 현실 헤드셋을 이용하여 시각화될 수 있다. 가상 현실 헤드셋은 사용자의 머리 배향을 측정하고 컴퓨터가 헤드셋 디스플레이에게 이러한 배향에 대응하는 우안과 좌안용 이미지를 전송하게 한다.

일반 비디오와 같은 알려진 몰입형 비디오의 경우, 이미지들은 미리 기록되거나 미리 계산되고, 따라서 실시간으로 계산되지 않는다. 따라서, 예를 들어 이미지를 실시간으로 계산하기 위해 1초의 1/60이 필요한 대신에, 한 시간이 넘게 계산되었을 수 있다. 따라서 이미지 품질이 가상 현실의 품질보다 훨씬 양호하게 될 수 있다.

사용자가 그의 머리를 가지고 병진 움직임을 수행하면, 그의 시야가 천이될 것이다. 이러한 천이 중에, 사용자에게 가까운 오브젝트의 이미지는 멀리 떨어진 오브젝트의 이미지보다 더 빨리 움직일 것이다. 이러한 효과는, 이동하는 열차 내에서 차창을 통해 바라볼 때, 가까운 펜스는 굉장히 빨리 움직이는 반면에 멀리 있는 산들은 마치 정지한 것처럼 보이는 것으로부터 명백하게 관찰된다. 이러한 효과는 시차(parallax)라고 불린다.

알려진 몰입형 비디오의 문제점은, 사용자의 머리의 병진 운동을 고려하지 않기 때문에 상호 시차(interactive parallax)를 제공할 수 없다는 것이다. 이러한 제한사항 때문에 알려진 몰입형 비디오의 몰입 품질이 크게 제한된다. 사실상, 사용자의 뇌는 그의 머리가 움직일 때 시차를 볼 것을 기대하지만, 이것을 감지하지는 않는다. 이러한 단점 때문에 사용자의 시각적 쾌적함과 몰입감이 감소되고 "사이버-멀미"가 발생할 위험성이 크게 증가된다.

본 발명의 목적은, 이러한 움직임, 특히 사용자의 머리의 병진 운동을 고려할 수 있는, 몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법을 실현하는 것이다.

이러한 목적을 달성하기 위해, 몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법은, 뷰포인트의 구역이 소정 볼륨을 획정함으로써 결정되고, 상기 볼륨으로부터 몰입형 비디오의 사용자가 상기 공간을 바라볼 수 있고 상기 뷰포인트의 구역 내에서 머리 움직임, 특히 병진 움직임을 할 수 있으며, 상기 뷰포인트의 구역의 단부에 위치된 m(m>1) 개의 소스 포인트들의 제 2 세트가 추후 결정되고, 상기 적어도 n 개의 스캐너의 제 1 세트를 셋업하는 단계는, 상기 소스 포인트들 각각에 매번 상기 제 1 세트의 상기 스캐너들 중 하나를 배치함으로써 실현되고, 상기 공간을 스캐닝하는 단계는, 상기 소스 포인트에 배치된 상기 스캐너에 의하여 그리고 상기 뷰포인트의 구역에 의해 미리 결정된 범위 내에 각각 위치된 일련의 방위각 및 고도각에 따라 상기 공간을 단계적으로 스캐닝함으로써 수행되며, 이미지 데이터의 생성은, 각각의 생성된 스캐닝 빔에 대하여, 매번 상기 공간 내에 위치되고 관련된 스캐닝 빔에 의해 터치되는 터치 포인트에 의해 반사된 스캐닝 빔을 수집하고, 각각의 단계마다 상기 반사된 스캐닝 빔에 기초하여, 상기 터치 포인트와 상기 관련된 스캐닝 빔을 생성한 스캐너 사이의 거리 및 상기 터치 포인트의 컬러 파라미터를 결정함으로써 수행되고, 상기 데이터는 상기 방위각과 고도각에 따라 구조화된 매트릭스 형태로 상기 메모리 내에 저장된다는 특징을 가진다.

몰입형 비디오의 사용자가 상기 공간을 바라볼 수 있고 뷰포인트 구역 내에서 사용자의 머리로 움직임을 수행할 수 있는 볼륨을 한정하는 뷰포인트의 구역을 결정함으로써, 스캐너가 배치될 소스 포인트를 결정하고, 해당 공간을 그러한 소스 포인트로부터와 같이 스캔하는 것이 가능해질 것이다. 그러면, 이러한 뷰포인트 구역에서 바라본 바와 같은 이미지 데이터를 수집하고, 따라서 사용자의 머리의 움직임 특히 병진 움직임을 고려하고 헤드셋 내에서 상호 시차 효과를 가지는 뷰를 제공하는 것이 가능해질 것이다. 상호 시차는, 수동 시차라고 정의될 수 있는 시차에 반대인 것으로 불릴 수 있는데, 이것은 몰입형 비디오의 감독에 의해 실행된 뷰포인트의 몰입형 비디오 내의 변위와 연관될 것이다.

가상 현실 시스템은 이러한 상호 시차를 가질 수 있지만, 이러한 이유로 실시간으로 사용자의 눈에 제공되는 이미지를 계산해야 한다. 실시간으로 이러한 계산을 하려면 이미지 품질이 크게 저하된다.

본 발명에 따라 상호 시차가 있는 몰입형 비디오를 생성하는 방법은, 미리 계산된 합성 이미지 또는 실제 촬영을 사용하고, 이를 통하여 가상 현실의 실시간 버전과 비교하여 더 양호한 이미지 품질을 제공한다. 몰입형 비디오에 상호 시차를 포함시키면 사용자는 매우 양호한 몰입감을 느낄 수 있게 되고, 사이버-멀미가 발생할 위험이 크게 감소된다.

뷰포인트의 구역은 스캐닝된 공간을 재생하기 위해 저장되어야 하는 정보량을 제한할 수 있다. 이렇게 정보를 제한하면 관리될 수 있는 정보 및 데이터의 양을 가질 수 있게 된다. 뷰포인트의 구역의 구성, 치수 및 형상에 의해 공간을 스캐닝하기 위해 사용되는 스캐너의 개수와 설정이 미리 결정된다.

본 발명에 따른 방법의 바람직한 제 1 실시예는, 뷰포인트의 구역이 적어도 30 cm의 높이, 적어도 30 cm의 깊이 및 적어도 30 cm의 폭을 가지는 본질적으로 직사각형 볼륨, 특히 직육면체 볼륨에 의해 형성된다는 특징을 가진다. 따라서, 머리를 제외한 신체가 고정된 위치를 유지하는 경우, 사용자의 머리의 병진 운동 및/또는 회전 도중에 도달할 수 있는 위치들이 커버될 수 있게 된다.

본 발명에 따른 방법의 바람직한 제 2 실시예는, 저장된 데이터는, 스캐너에 의해 터치된 각각의 포인트에 대하여, 상기 포인트가 상기 n 개의 스캐너 중 적어도 다른 하나에 의해 론칭된 빔에 의해 도달될 수 있는지를 결정함으로써 필터링되고, 고려된 터치 포인트가 상기 n 개의 스캐너 중 적어도 다른 하나에 의해 론칭된 빔에 의해 도달될 수 있는 경우, 미리 결정된 선택 기준들에 기초하여, 상기 고려된 터치 포인트의 저장된 데이터가 상기 저장된 데이터로부터 제거돼야 하는지가 결정된다는 특징을 가진다. 이러한 필터링 단계에 의해 유용한 정보를 제공하는 포인트만을 필터링하고 저장할 수 있게 된다. 그러면 상호 시차를 가진 몰입형 비디오를 생성하기 위해 저장된 데이터의 양이 감소될 수 있다.

본 발명에 따른 방법의 바람직한 제 3 실시예는, 선택 기준들이, 상기 고려된 터치 포인트를 생성한 상기 스캐너 및 나머지 n 개의 스캐너들 중 고려된 터치 포인트에 도달할 수 있는 하나 이상의 스캐너들에 의한, 상기 방위각에 따른 두 개의 연속적인 스캐닝 단계와 상기 고도각에 따른 두 개의 연속적인 스캐닝 단계 사이에서 스캐닝된 표면적에 기초하는 특징을 가진다.

본 발명에 따른 방법은, 사용되는 스캐너들이 가상 스캐너, 또는 물리적 스캐너라는 특징을 가지는 것이 바람직하다. 따라서, 장면은 가상 또는 물리적 스캐너를 통해 생성될 수 있고, 물리적 스캐너는 감독이 그의 무비의 장면을 자신의 카메라를 사용해서 녹화하는 것과 동일한 방식으로 사용된다.

본 발명에 따른 방법의 다른 바람직한 실시예에 따르면, 뷰포인트의 구역은 상기 공간 내에서 제 1 위치로부터 상기 제 1 위치의 미리 결정된 거리에 위치된 제 2 위치를 향해 천이되고, 스캐너들의 제 1 세트의 스캐너들 각각에 의한 스캐닝과 상기 공간의 이미지 데이터의 생성과 저장은 상기 제 1 위치에 대해 이루어진 후에 상기 뷰포인트의 구역의 각각의 제 2 위치에 대해 반복된다. 따라서, 이러한 시스템이 사용자 주위에서 시각화 시간에 몰입형 비디오의 각 시간 부분에 대한 가상 3D 장면을 생성하고 있다고 간주하는 것이 가능해진다. 그러한 단기(ephemeral) 3D 가상 장면들은 사용자가 그의 뷰포인트의 구역으로부터 볼 수 있는 것에 한정된다. 그러한 장면들의 양태가 회전하는 것은 비디오 내의 오브젝트 및/또는 사람이 움직이는 것과 무비 감독에 의해 제어되는 뷰포인트의 구역의 위치가 변위되는 것에 대응한다. 따라서, 실시간 렌더링 시에, 사용자가 이동할 때 카메라가 3D 장면에서 이동되는 가상 현실과는 대조된다. 본 발명에 따르면, 상호 시차를 가진 몰입형 무비의 생성 시에 뷰포인트의 구역이 변위된 경우 사용자 주위의 변동을 이동시키는 것은 바로 3D 장면이다.

본 발명에 따른, 상호 시차가 있는 몰입형 비디오의 시각화 방법은:

a) 사용자가 바라보게 되는 것을 결정하기 위하여, 뷰포인트의 구역 내에서 센서와 사용자의 머리 움직임을 예측하는 알고리즘을 사용하여 상기 사용자의 눈의 위치 및 배향을 결정하는 단계;

b) 사용자의 눈의 위치 및 배향에 기초하여 저장된 이미지 데이터로부터 사용자가 바라볼 수 있는 공간의 부분의 시각화를 위하여 필요한 이미지 데이터를 선택하는 단계;

c) 임시 메모리에 선택된 이미지 데이터를 로딩하는 단계;

d) 상기 임시 메모리에 저장된 이미지 데이터에 기초하여 두 개의 이미지를 생성하는 단계; 및

e) 생성된 두 개의 이미지를 사용자의 눈에 디스플레이하는 단계를 포함한다.

그러면, 가상 현실 헤드셋에서 디스플레이되는 것의 선명도와 코히어런트한 이미지 데이터로부터 로딩된 것과 같은 포인트들의 밀도를 사용자에게 디스플레이하는 것이 가능해진다.

본 발명에 따른 시각화 방법은, 생성된 두 개의 이미지를 사용자의 눈에 디스플레이하는 단계가 가상 현실 헤드셋을 이용하여 수행된다는 특징을 가지는 것이 바람직하다.

본 발명에 따르면 시각화는, 운동을 사용자에게 부여하는 디바이스 내에서 사용되고, 상기 부여된 운동의 좌표는, 이미지들의 흐름을 상기 운동과 동기화하기 위하여 상기 시각화 방법을 적용하는 시각화 시스템에 전송된다는 특징을 가지는 것이 바람직하다. 그러면 본 발명에 따른 시각화를 사용자에게 부여된 운동에 커플링하는 것이 가능해진다.

따라서, 몰입형 비디오는 놀이공원(attraction park)에서 기구를 "타는 것(ride)"에 적용될 수 있다. 이러한 타는 원리(principle of a ride)는 일반적으로 상이한 장면에 걸쳐 좌석에 적용돼야 한다. 이것은 롤러코스터에 비견되지만, 가속감보다 장면을 방문하는 것이 더 강조된다.

이제 본 발명이 본 발명에 따른 방법의 바람직한 실시예를 보여주는 도면을 이용하여 더 상세히 설명될 것이다. 도면에서:
도 1 은 사용자가 자신의 머리를 움직일 수 있는 뷰포인트의 구역을 나타내는 볼륨을 예시한다;
도 2 의 a)는 한 장면을 예시하고, 도 2 의 b)는 이러한 뷰포인트의 구역에 대해서 스캐닝된 장면의 가시 부분을 예시한다;
도 3 은 뷰포인트의 구역에 대해 스캐닝된 공간의 정밀한 개념을 예시한다;
도 4a 및 도 4b 는 미리 규정된 뷰포인트의 구역 내에 있는 적어도 n 개의 스캐너의 제 1 세트의 위치를 예시한다;
도 5a 및 도 5b 는 스캐너에 의해 방출된 스캐닝 빔에 의해 매번 스캐닝된, 공간 내의 터치된 포인트들을 예시한다;
도 6 은 두 개의 상이한 스캐너들에 의해 도달될 수 있는, 공간 내의 포인트의 개념을 예시한다;
도 7 은 장면을 스캐닝하는 것과 터치 포인트를 필터링하는 것을 예시한다;
도 8a 및 도 8b 는 피상 표면에 의해 필터링하기 위한 방법을 예시한다;
도 9a 내지 도 9d 는 스캐너들에 우선순위를 부여하는 필터링 방법을 예시한다;
도 10 은 스캐너의 중앙점에 대해 상이한 거리에 위치된 오브젝트들을 가지는 공간의 다른 스캐닝 빔을 이용하여 샘플링하는 것을 예시한다;
도 11 은 다른 터치 포인트들의 최대 및 최소 거리와 스캐너에 대해 천이된 뷰포인트에서 본 것 같은 사용자에 의한 지각 사이의 관련성의 개념을 예시한다;
도 12 는 터치 포인트의 밀도가 디스플레이의 각도 선명도와 코히어런트하다는 것을 예시한다;
도 13 은 스캐닝과 그와 관련된 저장의 생태적 표현(ecospheric representation)을 예시한다;
도 14 는 뷰포인트의 구역을 전달하는 개념을 예시한다;
도 15 는 이미지 데이터를 메모리에 저장하는 것을 예시한다; 및
도 16 은 반사된 빔을 변경하는 개념을 예시한다.

도면에서, 동일하거나 유사한 구성요소에는 동일한 참조 부호가 할당되었다.

컴퓨터 프로그램은 장면, 조명 및 카메라를 포함하는 완전한 무비 스튜디오의 등가물을 시뮬레이션할 수 있다. 여기에서, 3-차원의 오브젝트, 가상 조명 및 카메라에 대해서 언급하는데, 이러한 요소들은 실제 물리적 세계에 존재하지 않으며 컴퓨터에 시뮬레이션된 표현에서만 존재한다. 이러한 타입의 컴퓨터 프로그램의 일 예는 "오토데스크(Autodesk)"사의 "마야(Maya)" 소프트웨어이다. 예를 들어 오브젝트, 조명 및 카메라에 의해 형성된 그러한 가상의 3-차원 요소들의 세트는 가상 3D 장면, 또는 더 간단히 3D 장면 또는 가상 3D 공간이라고 불린다.

가상 3D 공간이 제자리에 놓이면, 컴퓨터는 가상 3D 공간 내의 가상 카메라에 의해 바라보는 것에 대응하는 이미지를 계산할 수 있고, 이것은 해당 3D 공간 내에 존재하는 오브젝트 및 조명과 가상 카메라의 위치를 고려한다. 이러한 계산은 3D 가상 공간 렌더링이라고 불리고, 이러한 렌더링의 결과 이미지는 합성 이미지이다.

사용자의 두 눈은 약간 상이한 두 개의 뷰포인트에 따라서 물리적 실세계를 관찰하며, 뷰포인트들은 평균적으로 성인에 대해 6.5 cm만큼 이격되어 있다. 이러한 거리는 양안간 거리라고 불린다. 동일한 실제 장면에서 뷰포인트가 이와 같이 약간 다르기 때문에, 사용자의 뇌는 그의 주변의 어느 거리에 오브젝트가 위치되어 있는지를 규정할 수 있게 된다. 입체 무비는 심도 효과를 생성하기 위해, 사용자의 눈 각각에 대해 동일한 장면의 두 개의 상이한 이미지를 렌더링하는 것으로 이루어진다.

렌더링 소프트웨어는 공간에 존재하는 오브젝트의 움직임과 오브젝트의 밝기를 고려할 수 있다. 이제 소프트웨어가 상이한 시점에 연속적인 렌더링을 제공하도록 요청받는다면, 렌더링된 이미지는 상이하게 될 것이고, 합성 이미지를 가지는 무비가 획득될 것이다. 전통적인 무비의 프레임워크에서, 어떤 액션의 일 초는 24 개의 정지 이미지로 분해되고, 따라서 영화관에서 제공하기 위해 합성 이미지의 무비를 제작하려면, 무비 내의 한 액션에 대해 1초당 24 개의 이미지를 계산할 필요가 있게 된다.

무비의 상이한 이미지들이 우선 렌더링되고 저장되고, 그 후에 예를 들어 종래의 무비에 대해 1초당 24 개의 이미지라는, 재생 미디어(diffusion media)에 대응하는 속도로 재생되는 미리 계산된 합성 이미지 방식이 있다. 각각의 합성 이미지를 계산하는 것은, 양호한 이미지 품질을 얻기 위해서는 많은 시간을 소요할 수 있다. 대부분의 경우에서, 렌더링에는 이미지 당 한 시간보다 많은 시간이 걸린다. 따라서, 컴퓨터가 하루 종일(24 시간) 무비의 일 초(초당 24 개의 이미지)의 등가물을 계산하는 것이 흔하다.

만일 컴퓨터가 각각의 이미지를 해당 이미지를 디스플레이하기 위해 사용되는 속도와 같은 속도로 렌더링할 수 있다면, 해당 렌더링은 실시간으로 계산되었다고 말할 수 있다. 다시 말하건대, 초당 24 개의 이미지가 있는 무비의 예에서, 무비를 실시간으로 렌더링하려면, 각각의 이미지가 최대 1 초의 1/24 안에 계산된다는 것을 암시한다.

가상 몰입감은 사용자에게 가상 3D 공간 내에 물리적으로 실제로 있는 듯한 인상을 주는 것이다. 이러한 느낌은, 사용자의 오감에 의해 감지되는 것과 사용자가 실제로 가상 3D 공간의 물리적 등가물에 있었다면 느꼈을 것 사이의 적절성(adequacy)에 따라 강할 수도 약할 수도 있다.

사용자 눈에 그의 머리의 회전과 코히어런트한 이미지를 제공하는 시스템이 일반적으로 가상 현실 시스템이라고 불린다.

가상 현실 시스템을 얻기 위해 가장 일반적으로 사용되는 기법은 가상 현실 헤드셋이다. 사용자는 헤드셋을 머리에 쓰고, 헤드셋은 컴퓨터에 연결된다. 사용자의 눈 앞에 배치된 스크린 및 렌즈의 세트를 이용하여, 헤드셋은 각각의 눈에 컴퓨터에 의해 실시간으로 계산된 합성 이미지를 제공한다. 헤드셋은 사용자의 머리의 배향을 측정하도록 하는 센서를 더 포함한다. 사용자의 머리의 움직임을 예측할 수 있는 알고리즘이 더 이용된다.

원리는 다음과 같으며, 사용자가 그의 머리를 돌리면, 가상 현실 헤드셋이 머리의 이러한 움직임을 지각하고, 사용자의 머리의 새로운 배향에 대한 정보를 컴퓨터로 전송하는 것이다. 컴퓨터는 새로운 사용자의 머리의 배향에 대응하는 두 개의 가상 카메라의 배향을 가진 가상 3D 장면의 입체 렌더링을 수행한다. 컴퓨터에 의해 실시간으로 렌더링된 이미지가 사용자의 눈 앞에 디스플레이된다.

현대의 가상 현실 헤드셋, 예컨대 "오큘러스(Oculus)" 사가 제조한 헤드셋은 사용자의 머리의 배향뿐만 아니라 그 위치도 고려할 수 있다는 것에 주의해야 한다.

그 외의 인자들이 시각적 레벨에서의 몰입 경험의 품질에 영향을 줄 것이다. 주된 인자는 사용자의 내이에 의해 측정되는 사용자의 머리의 운동과 사용자의 시야 사이의 적절성이다. 실제로, 사용자는 이러한 두 개의 감각들 사이의 완벽한 적절성에 익숙하다. 눈이 바라보는 이미지와 사용자의 내이에 의해 감지되는 움직임 사이의 불일치(incoherency)에 따라, 사용자는 경미한 불쾌감, 시각적 피로, 두통, 통증 및 구토에까지 이르게 할 수 있는 복부 불쾌감을 느낄 것이다. 그러한 효과들은 "가상 현실 멀미" 또는 "사이버-멀미"라고 불리며, 배멀미와 비슷한 것일 수 있다.

공간 내에서 발생하는 장면을 기록하는 동안, 종래의 카메라는 그 바로 앞에서 그리고 시야의 한계까지의 측면에서 발생하는 액션을 기록한다. 이러한 시야는 각도로 표현되고 카메라에 의해 커버되는 총 시야각을 제공한다.

구면(spherical) 비디오의 특정 케이스에서, 카메라의 시야는 수평으로 360° 및 수직으로 180°이고, 따라서 시야는 모든 방향에서 카메라가 바라볼 수 있는 전부가 된다.

입체 구면 비디오는 구면 비디오와 입체 비디오의 특징을 커플링한다. 따라서 우측 눈에 대해 하나 그리고 좌측 눈에 대해 하나의 비디오 커플에 관련된다. 그러한 두 개의 비디오 각각은 완전한 구면 시야를 커버한다.

가상 현실 헤드셋을 입체 구면 비디오와 커플링함으로써, 알려진 몰입형 비디오 시스템이 얻어진다. 가상 현실 헤드셋은 사용자의 머리의 배향을 측정하고, 이것을 컴퓨터로 송신한다. 컴퓨터는 비디오의 두 개의 입체 구면 비디오 부분 각각으로부터 사용자의 머리의 새로운 배향의 시야에 대응하는 것을 추출한다. 비디오의 그러한 두 개의 조각들이 사용자의 눈 앞에 디스플레이된다.

이러한 공지된 몰입형 비디오는 어느 정도의 몰입 특성, 예를 들어 내이에 의해 감지되는 머리의 회전 움직임과 사용자의 눈에 도달하는 이미지 사이의 어느 정도의 적절성과 사용자에 제공되는 장면의 심도를 어느 정도 지각하는 것을 제공한다. 하지만 이러한 공지된 몰입형 비디오는 고유한 뷰포인트로부터 취해진 것이고, 이들은 사용자의 머리의 병진 운동을 고려할 수 없으며, 이것이 몰입감을 크게 저하시키고 무엇보다 "사이버-멀미"가 발생할 가능성을 크게 증가시킨다.

본 발명이 고안되기 전에 비디오에서 몰입감을 얻을 수 있게 하는 두 가지 방법들은, 일면으로는 사용자의 머리의 움직임, 특히 병진을 고려할 수 있어서 양호한 몰입감을 생성하지만 이미지를 실시간으로 계산하게 해서 이미지 품질이 크게 열화되는 가상 현실과, 다른 면에서는 양호한 몰입감을 제공하지 않고 "사이버-멀미"가 발생할 위험이 높은 공지된 몰입형 비디오였다.

본 발명은 뷰포인트의 구역(zone of viewpoints; ZVP)이라고 불리고 도 1 에 도시되는 제한된 볼륨 내에서 사용자의 머리(1)의 천이를 고려할 수 있게 한다. 뷰포인트의 구역(ZVP)은 몰입형 비디오의 사용자(1)가, 장면이 발생될 수 있으며 사용자가 이러한 뷰포인트의 구역 내에서 그의 머리로 병진 및 굽힘 동작을 수행하는 공간(3)을 바라볼 수 있는 볼륨을 획정함으로써 결정된다. 실무상, 뷰포인트의 구역(ZVP)의 크기는, 사용자(1)가 신체의 나머지를 움직이지 않으면서 휴식 상태에서 자신의 위치 주위에서 자연스럽게 머리를 움직이는 높이(latitude)에 대응하는 것이 바람직하다. 이러한 휴식 위치는 사용자가 일어서거나 앉으면서 몸을 굽히지 않으면서, 사용자가 똑바로 서서 쉬고 있는 경우의 사용자의 머리(1)의 위치에 대응하는 것이 바람직하다. 움직임의 높이는 일어서는 포지션의 경우 계단을 사용하지 않고, 앉아 있는 포지션의 경우 일어서거나 의자에서 벗어나지 않으면서 사용자의 머리에 의해 일반적으로 도달될 수 있는 위치들에 대응한다. 뷰포인트의 구역(ZVP)의 정확한 크기와 그 기하학적 형상은 사용자(1)에 의해서 주시되는 위치에 따라 달라질 수 있다. 사용자는 앉거나, 눕거나, 서 있을 수 있다.

뷰포인트의 구역은, 예를 들어 적어도 30 cm, 특히 50 cm의 높이, 적어도 30 cm, 특히 1m의 깊이, 및 적어도 30 cm, 특히 1m의 폭을 가진 거의 직사각형 볼륨, 특히 직육면체 볼륨에 의해 형성된다. 뷰포인트의 구역의 이러한 치수는 사용자(1)의 머리, 및 따라서 눈의 잠재적 위치를 획정하기에 충분하다. 포인트 R은 뷰포인트의 구역(ZVP)의 중앙점이고, 다시 말해서 사용자가 휴식 포지션에 있는 경우 사용자(1)의 눈 사이에 위치된 포인트이다. 다른 실시예에 따르면, 뷰포인트의 구역은 본질적으로 팔면체 구성을 가지는 볼륨에 의해 형성된다.

예를 들어 105cm 깊이 및 45 cm 높이를 가지고 스캐너에 의해 15 cm 범위가 커버되는 평행육면체의 형상을 가지는 뷰포인트의 구역(ZVP)에서 바라본 것과 같은 공간을 스캐닝함으로써, 총 8x8x4=256 개의 스캐너를 사용할 것이다.

뷰포인트 구역(ZVP)이 충분한 크기를 제공하지만 너무 크지는 않다는 것에 주의해야 한다. 뷰포인트의 구역의 크기가 무한대로 커지면 표준 가상 현실 모드에 대응하게 될 것이다. 따라서, 이러한 뷰포인트의 구역(ZVP)은, 저장량을 제한하고 본 발명에 따른 방법에 의해 얻어지는 것과 균등한 상세 레벨을 얻기 위해 방대한 양의 정보를 저장할 필요가 있는 가상 현실 시스템과 비교할 때 이미지 데이터가 처리될 수 있게 하기 위해서, 저장될 이미지 데이터의 양을 제한할 수 있게 한다.

도 2 는 가상 현실의 장면(10)과 본 발명에 따른, 시차가 있는 몰입형 비디오의 장면(10A)에 존재하는 정보를 비교하는 예시이다. 사용자가 위치될 수 있는 가상 현실 내의 장면(10)은 완전하다. 다시 말해서, 사용자가 장면(10) 내에서 움직일 때, 가상 장면의 오브젝트들의 세트는 장면 내로 로딩된다. 반면에, 본 발명에 따르면, 뷰포인트의 구역(ZVP)으로부터 잠재적으로 볼 수 있는 요소들만이 주어진 모멘트에 로딩된다. 도 2 의 b)에서, 장면(10A)의 굵은 선은 뷰포인트의 구역(ZVP)으로부터 잠재적으로 볼 수 있는 장면의 요소의 부분을 나타낸다. 따라서, 직사각형 형상의 좌측만이 주시될 수 있는 반면에, 장면 둘레(10a)의 우측은 미리 결정된 뷰포인트의 구역(ZVP)으로부터는 주시될 수 없다. 그러면, 스캐너 빔에 의해 터치되는 포인트들의 개수가 감소될 수 있고, 따라서 터치 포인트의 정보를 기록하기 위한 메모리 용량의 필요성이 감소될 수 있다.

도 3 은 스캐너에 의해 방출된 스캐너 빔에 의해 공간 내에서 터치된 포인트의 정밀 개념도이다. 가상 현실에 있는 장면(10)의 예에서 언제나, 가상 장면에 있는 가상 오브젝트의 모델링의 정밀도는 균질하다. 다시 말해서, 모델의 세부사항의 정밀도는 가상 장면에 있는 모든 오브젝트(11 및 12)에 대해서 동일할 것이다. 본 발명의 경우, 뷰포인트의 구역(ZVP)에 가까이 존재하는 오브젝트(11)는 멀리 위치한 오브젝트(12)보다 더 높은 정밀도를 나타낸다. 따라서, 스캐너 빔에 의해 터치되고 오브젝트(11)에 근접한 포인트 P는 스캐닝의 결과 더 멀리 위치한 오브젝트(12)의 터치된 포인트 P'보다 더 많은 터치 포인트를 제공한다. 도 3 의 예에 따르면, 근접한 오브젝트(11)의 터치 포인트 P는 9개의 포인트를 제공하는 반면에, 멀리 떨어진 오브젝트(12)의 터치 포인트 P'는 3 개의 포인트만 제공한다. 따라서, 정밀도는 뷰포인트의 구역(ZVP)의 위치에 따르는 변수이고, 몰입형 무비에서 동일한 오브젝트의 정밀도는 어느 시점에는 매우 높고, 다른 시점에는 매우 낮을 수 있다. 속성에서 드러나는 바와 같이, 뷰포인트의 구역(ZVP)에 근접한 오브젝트는 양호한 분해능을 제공하고 멀리 떨어진 오브젝트는 덜 양호한 분해능을 제공하며, 따라서 모든 것은 오브젝트 및 뷰포인트의 구역(ZVP) 사이의 거리에 따라 달라진다.

도 4a 에 도시된 바와 같이, 몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하기 위해, 본 발명에 따른 방법은 각각 스캐닝 빔 r₁, …. r_j-1, r_j(j≥J)을 생성하기 위해 제공된 적어도 n 개의 스캐너 s₁, s₂, …. s_n(n>1)의 제 1 세트를 셋업하는 것을 포함한다. 스캐닝 빔의 최소 개수 J는 시각화를 위해 주시되는 디스플레이 스크린의 분해능에 따라 결정된다. 바람직하게는, 스캐닝 스텝, 다시 말해서 두 개의 후속 빔(r _j - r _j+1) 사이의 각도는 디스플레이의 각도 분해능 이하이다. 명확화를 위하여, 도면에는 스캐너들 중 하나에 대해서만 스캐닝 빔이 표현된다. 제 1 세트의 스캐너 s_i(1≤i≤n) 각각이, 공간(3)에 대한 이미지 데이터를 생성하기 위해서, 해당 공간을 스캐닝 빔을 이용하여 스캐닝하기 위해 사용되는데, 이미지 데이터는 추후 메모리에 저장된다.

적어도 n 개의 스캐너의 제 1 세트의 스캐너들을 셋업하기 위해서, 뷰포인트의 구역(ZVP)의 종말점에 위치된 m(m>1) 개의 소스 포인트(C1, C2, …, C7 및 C8)의 제 2 세트가 결정된다. 도 4a 에 도시된 8 개의 소스 포인트의 번호는 뷰포인트의 구역의 직사각형 형상에 링크되고, 오직 예로서만 주어졌을 뿐 어느 경우에도 본 발명의 범위를 한정하지 않는다. 적어도 n 개의 스캐너를 셋-업하는 것은 각각의 소스 포인트에 제 1 세트의 상기 스캐너들 중 하나를 매번 배치하는 것에 의해 실현된다.

이러한 공간을 충분한 선명도로 스캐닝하기 위해서, 스캐너들은 뷰포인트의 구역의 종말점에 배치된다. 물론, 보충 소스 포인트들을 뷰포인트의 구역 내에 결정하는 것도 가능하다. 도 4b 는 뷰포인트의 구역에 그리드가 제공되는 구성을 예시한다. 이러한 그리드는 면들 각각에 적용되는 것이 바람직하다. 이러한 그리드의 다양한 포인트는 그 위에 스캐너를 배치하기 위한 소스 포인트 C_k를 형성할 수 있다. 소스 포인트를 뷰포인트의 구역 내에 가지는 것도 역시 가능하다. 뷰포인트의 구역의 종말점에서 사용되는 소스 포인트의 개수는 중요하다. 보충적 소스 포인트를 뷰포인트의 구역의 면에 배치하면 시청 시의 몰입감의 품질이 향상될 수 있다. 반면에, 뷰포인트의 구역 내에 보충적 소스 포인트의 개수가 증가하는 것은 크게 중요하지 않다.

스캐너 라는 용어는 본 발명의 상세한 설명에서, 바람직하게는 모든 방향, 즉 360 도에서 스캐닝을 실현하는 가상 또는 물리적 3D 스캐너의 세트에 대해서 사용된다.

공간을 스캐닝하는 것은, 소스 포인트 C에 위치된 스캐너 s_i을 이용하여, 각각 뷰포인트의 구역에 의해 미리 결정된 범위 내에 있는 일련의 방위각, 및 고도각에 따라 상기 공간을 단계적으로 스캐닝함으로써 실현된다. 바람직하게는 스캐닝 스텝은 0.01° 내지 1°, 특히 0.025° 내지 0.1° 사이에 위치된 각도 값을 가진다. 이미지 데이터를 생성하는 것은, 생성된 각각의 스캐닝 빔 n(1≤j≤J) 각각에 대해, 상기 공간(3) 내에 위치되고 관련된 스캐닝 빔 r_l에 의해 터치되는 터치 포인트 P(도 5a 및 도 5b 참조)에 의해 반사되는 매 스캐닝 빔을 수집함으로써 실현된다. 반사된 스캐닝 빔에 기초하여, 터치 포인트 P와 대응하는 스캐닝 빔 r_l을 생성한 스캐너 사이의 거리(d) 및 상기 터치 포인트의 컬러 파라미터 도 각각의 단계에서 결정된다. 따라서, 각각의 터치 포인트 P에 대하여, 거리 d는 해당 포인트 P 및 고려된 스캐너의 포인트, 예를 들어 중앙점 사이에서 얻어진다. 각각의 스캐닝 빔의 방향이 알려져 있고 포인트 P까지의 거리 d가 계산되기 때문에, 스캐닝된 공간 내의 포인트 P의 3-차원의 위치가 복원될 수 있다.

예를 들어, 터치 포인트 P의 컬러는 스캐닝 빔이 가상 카메라의 비젼 빔일 경우와 같이 합성 이미지에 대한 통상적인 방법으로 계산된다. 따라서 컴퓨터는 터치 포인트 P의 컬러를 계산하기 위해서, 터치된 오브젝트의 텍스쳐 및 외관, 공간(3) 내의 가상 조명 및 그들의 반사 및 구형 가상 카메라의 위치를 고려할 것이다.

포인트 P의 거리 d 및 그 컬러가 결정된 후에, 이러한 값들은 이미지 데이터로서 메모리 내에 저장된다. 이러한 저장은 방위각과 고도각에 따라 구성된 매트릭스 형태로 이루어지는 것이 바람직하다. 각각의 매트릭스 요소는 스캐닝 빔의 각도에 대응한다. 이것이 도 15 에 도시되는데, 매트릭스의 선은 각각 고도각에 따른 스캐닝 단계를 나타내고 매트릭스의 열은 방위각에 따른 매 스캐닝 단계를 나타낸다. 따라서, 라인 r 및 열 c에서의 저장된 값 V_rc는, 고도각에 라인의 번호 r의 값을 승산한 것에 따른 스캐닝 스텝의 값과 같은 고도각을 가진 스캐닝 빔과 방위각에 번호 c의 값을 승산한 것에 따른 스캐닝 스텝의 값과 같은 방위각을 가진 스캐닝 빔에 의해 얻어진 거리 d 및 컬러를 나타낸다.

경우에 따라, 터치된 표면의 법선 벡터를 메모리에 저장하는 것도 역시 가능하다.

이러한 매트릭스 구조는 스캐닝이 발생된 방식과 같은 방식으로 데이터를 저장하고, 따라서 이들이 더 쉽게 어드레싱되게 할 수 있다.

소스 포인트의 제 2 세트와 적어도 n 개의 스캐너를 사용하기 때문에, 결과적으로 공간 내의 동일한 포인트가 두 개 이상의 스캐너에 의해 도달되게 될 것이다.

본 발명에 따른 방법에서, 뷰포인트의 구역(ZVP)에서 바라본 장면을 표현하기 위해 유용한 터치 포인트의 정보만이 메모리 내에서 유지되는 것이 바람직하다. 이러한 목적을 위해서, 스캐너에 의해 터치된 각각의 포인트에 대해, 해당 포인트가 상기 n 개의 스캐너 중 적어도 하나의 다른 것에 의해 론칭된 빔에 의해 도달될 수 있는지가 결정된다. 이러한 개념이 소스 포인트 C₁ 및 C₂에 각각 배치된 두 개의 스캐너 s₁ 및 s₂를 도시하는 도 6 에서 예시된다. 스캐너 s₁의 스캐닝 빔 r은 포인트 P에 도달할 수 있다. 이제 포인트 P는 가상(fictive) 스캐너 s_f가 배치되는 소스 포인트인 것으로 간주되고, 이러한 가상 스캐너 s_f의 빔 r_f가 스캐너 s₂가 배치된 소스 포인트 C₂에 도달할 수 있는지가 검증된다. 도달할 수 있다면, 해당 포인트 P가 스캐너 s₂에 의해 도달될 수 있다고 간주할 수 있다. 고려된 터치 포인트가 n 개의 스캐너 중 적어도 하나의 다른 것에 의해 론칭된 빔에 의해 도달될 수 있는 경우, 미리 결정된 선택 기준에 따라 고려된 터치 포인트의 저장된 데이터가 저장된 데이터로부터 지워져야 하는지가 결정된다. 이러한 필터링의 목적은 리던던트 이미지 데이터가 메모리에 저장되는 것을 방지하기 위한 것이다.

도 7 은 각각의 소스 포인트 C₁ 및 C₂에 배치된 두 개의 스캐너 s₁ 및 s₂에 대해서 장면을 스캐닝하는 것을 도시한다. 터치 포인트의 제 1 세트(4)는 공간(3)이 스캐너 s₁으로 스캐닝되는 경우 얻어진다. 터치 포인트의 제 2 세트(5)는 공간(3)을 스캐너 s₂로 스캐닝하는 경우 얻어진다. 터치 포인트의 제 1 및 제 2 세트(4, 5)는 상이하다. 스캐너 s₁은 직사각형 형상인 장면의 수평 부분에만 도달할 수 있는 반면에, 스캐너 s₂는 스캐너 s₁과 동일한 수평 구역 및 또한 도면의 우측에 있는 장면의 수직 부분에도 도달할 수 있다.

터치 포인트들의 제 1 및 제 2 세트(4, 5)를 얻은 후에, 그러한 상이한 터치 포인트들의 필터링이 추후 적용되어야 한다. 도 7 에서 6 으로 표시된 터치 포인트는 스캐너 s₁ 및 스캐너 s₂에 의해 터치된 포인트들(4 및 5)의 혼합을 나타낸다. 따라서 포인트들(6) 안에서 수평 부분의 포인트들이 중복되었고 필터링이 발생할 수 있다는 것을 알 수 있다. 그러면, 이러한 필터링은 스캐너 s₂에 의해 얻어진 수평 부분의 터치 포인트를 제거하는 것이 될 것이다. 8 로 표시된 포인트들만이 메모리에서 유지될 것이다.

필터링을 지속하기 위해, 선택 기준은 고려된 터치 포인트를 생성한 스캐너에 의한, 하나의 방위각에 따른 두 개의 연속적인 스캐닝 단계와 하나의 고도각에 따른 두 개의 연속적인 스캐닝 단계 사이에서 스캐닝된 표면적 및, 고려된 터치 포인트에 도달할 수 있는 n 개의 다른 스캐너들 중 하나 또는 여러 스캐너들에 기초하는 것이 바람직하다.

스캐닝된 표면적의 이러한 개념이 도 8a 에 도시된다. 도면에서, 빔 r_a1 및 r_a2와 r_e1 및 r_e2 각각은 각각 방위각 및 고도각에 따른 연속적인 스캐닝 빔을 나타낸다.

면은 일 면으로는 빔 r_a1 및 r_a2에 의해 터치된 포인트들과, 다른 면에서는 빔 r_e1 및 r_e2에 의해 터치된 포인트들에 의해 획정되고, 두 개의 연속적인 스캐닝 단계들 사이에서 스캐닝된 표면적을 형성한다. 이러한 스캐닝된 표면적이 결정되면, 스캐너들의 제 1 세트 중 n 개의 스캐너 중 하나 이상의 다른 것이 이러한 스캐닝된 표면에 역시 도달할 수 있는지를 검증하는 것이 가능해진다. 이러한 하나 이상의 다른 스캐너가 식별되면, 이러한 다른 스캐너들에 의한 스캐닝이 이루어지는 동안 얻어진 데이터 중에서 제거할 것을 선택하는 것이 가능해진다.

도 8b 에 도시된 다른 실시예에 따르면, 스캐닝된 표면 상의 법선 N과 터치 포인트 P를 생성한 스캐닝 빔 사이의 각도(β)가 결정된다는 점에서 필터링이 실현된다. 스캐닝 단계가 낮은 값의 각도를 가지기 때문에, 스캐너 s에 대한 터치 포인트 P의 거리 d는 후속하는 두 스캐닝 빔들 사이에서 크게 변동하지 않을 것이다. 따라서, 이러한 거리 d를 스캐닝된 표면의 면적을 결정하기 위한 파라미터로서 사용할 수 있다. 그러면 이러한 면적은 거리(d)를 각도 β의 코사인으로 나눈 것의 제곱에 비례할 것이고, 이러한 면적의 획득된 값이 선택 기준들을 형성할 수 있다. 이렇게 얻어진 선택 기준들에 기초하여, 최소의 스캐닝된 표면적을 가지는 값과 링크된 저장된 데이터만이 메모리에 저장될 것이다. 이러한 아이디어는, 대부분의 세부사항을 나타내는 터치 포인트를 유지하여, 따라서 최소 스캐닝된 표면적을 나타내는 터치 포인트를 유지하는 것이다.

이러한 실시예는, 상이한 스캐너들이 동일한 각도 선명도를 가지는 경우 이들 사이에서 동일한 포인트의 피상 표면들을 비교하기 위해 사용될 수 있다.

또한, 선택 기준들은 터치 포인트와 해당 터치 포인트를 생성한 스캐너 사이의 거리 및 터치 포인트와 n 개의 다른 스캐너 중 해당 터치 포인트에 도달할 수 있는 하나 이상의 스캐너 사이의 거리에도 기초할 수 있다. 저장된 저장 데이터는 최소 거리를 야기한 스캐너에 대응한다.

또한, 우선 소스 포인트에 배치된 n 개의 스캐너들에 우선 순위를 부여하는 것도 가능한데, 선택 기준들은 이러한 우선 순위에 기초한다. 필터링 방법이 도 9 에 예시된다. 스캐닝된 포인트 P가 더 높은 우선순위를 가지는 스캐너에서 보이는지를 검증하기 위해 각각의 스캐닝된 포인트에 대해 알고리즘이 사용된다. 그렇다면, 더 높은 우선순위를 가지는 스캐너가 해당 포인트를 기록할 것이다. 그렇지 않다면, 해당 포인트를 기록할 것은 동작 중인 스캐너가 될 것이다.

도 9 의 a)에서, s₁, s₂, 및 s₃로 표시된 3 개의 스캐너가 도시된다. 단순화하기 위해 이들은 2차원으로 표현된다. 스캐너의 우선 순위는 그들의 번호와 동일하다. 따라서, 스캐너 s₁은 s₂보다 높은 우선 순위를 가지고, S₂는 스캐너 s₃보다 우선 순위를 가진다. 도 9 의 b)는 스캐너 s₁에 대해 유지될 표면을 나타낸다. 이것이 다른 것들보다 우선순위를 가지기 때문에, 주시할 수 있는 모든 표면을 유지한다. 도 9 의 c)는 스캐너 s₂에 대해 유지될 표면을 나타낸다. 스캐너 s₂는 스캐너 s₁에 대해서 보이지 않는 두 개의 구역을 주시한다. 도 9 의 d)는 스캐너 s₃에 대해 유지될 표면을 나타낸다. 사실 상 스캐너 s₃에 대해서 저장될 표면들은 이들 뿐이고, 스캐너 s₃가 주시할 수 있는 나머지 표면들은 이미 더 높은 우선순위를 가지는 스캐너 s₁ 또는 s₂에 의해 주시되었다.

오브젝트 상의 포인트의 어떤 피상 컬러 성분은 카메라의 위치에 따라 달라질 것이고, 이러한 위치는 스캐닝된 오브젝트 상으로의 스캐닝 빔의 입사각에 영향을 줄 것이다. 이러한 성분은 합성 이미지에서 렌더링의 경면 부분(specular part)라고 불린다. 이것을 간단한 방식으로 설명하기 위해서, 이러한 부분은 스캐닝 빔의 반사와 등가이다.

동일한 조명을 가진 동일한 가상 오브젝트 상의 동일한 포인트는, 이러한 반사 성분 때문에 가상 카메라의 두 개의 상이한 위치에 대해 동일한 외형을 가지지 않을 것이다.

이러한 개념이, 예를 들어 미러와 같은 반사성 벽(15)을 포함하는 공간(3)을 도시하는 도 16 에 예시된다. 스캐너 s₁은 이러한 벽 앞에 배치되고, 이러한 벽을 향해 스캐닝 빔 r_j를 론칭한다. 이러한 벽이 반사성이기 때문에, 스캐닝 빔 r_j는 벽 상의 입사각과 동일한 각도에 따라 벽에 의해 반사될 것이고, 이러한 반사가 자신의 경로에 있는 오브젝트(16)를 터치할 스캐닝 빔 r_j를 생성할 것이다. 그러면 이러한 오브젝트에 의한 스캐닝 빔 r_j의 반영(reflexion)이 생기게 될 것이다. 그러면 이러한 반영이 벽(15)에 도달하고 그로부터 스캐너 s₁을 향해 반사될 것이다. 그러므로, 스캐너 s₁은 나중의 반사된 빔이 벽(15) 상의 포인트 P에서 온 것으로 간주하고 오브젝트(16)에서부터 온 것으로 간주하지 않을 것이다. 따라서 포인트 P의 것이라고 스캐너 s₁에 의해 간주될 것은 오브젝트(16)의 컬러이다.

중요한 경면 성질 또는 간단하게 높은 반사성 재료를 가진 오브젝트의 경우에, 따라서 상이한 위치에 배치된 두 개의 상이한 스캐너로부터 취해진 두 개의 포인트를 나란하게 배치함으로써 불일치가 생기게 될 위험성이 존재한다.

바람직하게는, 스캐닝 빔의 방향을 계산할 때 "속이는(cheat)" 포인트들의 컬러를 계산하기 위한 렌더링 기법이 사용된다.

사용된 방법은, 표면(15)에 의해 반사된 빔의 계산을 제공하기 위해 터치 포인트 P의 컬러를 계산할 때, 해당 포인트 P를 계산하는 스캐너에 의해 론칭된 스캐닝 빔의 실제 방향을 고려하지 않고, 이러한 방향이 바람직하게는 뷰포인트의 구역(ZVP)의 중앙에 위치되는 소스 포인트 K로부터 론칭된 빔 중 하나에 대응하게 하는 빔을 고려하는 것을 포함한다. 따라서, 모든 반사 및 경면(specular)은, 기록하는 3D 스캐너의 위치와 무관하게 동일한 터치 포인트 P에 대해서 코히어런트할 것이다.

미리 계산된 합성 이미지에서, 픽셀의 컬러는 일반적으로 단일 빔 론칭에 기초하지 않고, 픽셀 표면에 있는 복수 개의 빔에 기초하여 계산된다. 하나의 픽셀에 대한 각각의 론칭된 빔은 픽셀의 컬러를 결정하기 위한 샘플에 대응한다. 따라서 멀티 샘플링은 동일한 픽셀에 대해 여러 빔을 론칭하고, 픽셀의 최종 컬러를 결정하기 위해 각각의 빔에 대해 얻어진 컬러의 가중치 평균을 구하는 것으로 이루어진다. 한 픽셀에 대한 샘플의 개수가 증가되면, 특히 픽셀이 오브젝트의 경계에 대응하는 상황에서 렌더링의 품질이 크게 향상된다.

유사한 방식으로, 어느 방향에서의 터치 포인트 P의 컬러를 계산하기 위하여, 동일한 스캐닝 단계 내의 스캐닝 빔들을 승산함으로써 렌더링의 품질을 개선하는 것이 가능하다. 도 10 은 어떻게 하나의 스캐너로부터 나오고 동일한 스캐닝 단계 내에 위치된 4 개의 다른 스캐닝 빔을 이용하여 공간 내의 다른 터치 포인트 P1, P2, P3 및 P4를 결정할 수 있는지를 예시한다. 따라서, 4 개의 다른 스캐닝 빔에 의해 얻어진 4 개의 다른 터치 포인트의 컬러 및 거리 d가 평균화될 수 있다. 하지만, 거리들을 기록하는 경우에, 이러한 평균화 동작에는 문제점이 있다. 사실상, 상이한 다른 스캐닝 빔들이 상이한 거리에서 오브젝트(16 및 17)를 터치할 수 있다.

거리가 평균화되면, 이러한 경우에 스캐닝된 공간 내의 어떤 표면에도 대응하지 않는 거리를 얻게 된다. 다소 상이한 뷰포인트로부터 바라볼 때, 이러한 평균화된 포인트들은 이들이 보이드(void)에 매달려 있는 것처럼 보일 것이기 때문에 문제가 될 것이다. 보이드에 매달린 이러한 포인트는 도 10 에서 x로 표시된다. 도 10 에 도시되는 예에 따르면, P1 및 P2는 오브젝트(16)의 청색을 가진 두 개의 스캐닝된 포인트들이다. P3 및 P4는 오브젝트(17)의 적색을 가진 두 개의 스캐닝된 포인트들이다. 따라서, 다른 터치 포인트 P1, P2, P3 및 P4를 단순히 평균화하여 결정된다면 포인트 x의 컬러는 자주색이 될 것이고, 그 위치는 포인트 P1, P2, P3 및 P4의 평균 위치가 될 것이다. 이러한 포인트 x를 소스 포인트 C에 배치된 카메라로부터 바라보면, 이것은 문제점이 되지 않을 것이다. 다른 뷰포인트 D로부터, 포인트 x는 스캐닝된 공간 내의 존재하는 기하학적 구조에 대응하지 않게 될 것이고, 이러한 포인트 x는 공중에 떠 있는 것처럼 보일 것이다.

물론 모든 그러한 다른 터치 포인트들을 저장할 수도 있지만, 결과적으로 그렇게 할 경우 스캐너의 분해능이 증가되게 되어 저장된 데이터의 양이 증가될 것이다.

바람직하게는, 그들의 거리에 대해서 평균화되면 공중에 떠 있는 포인트를 생성하지 않는 복수 개의 다른 터치 포인트들을 정확하게 수집할 수 있는 방법이 사용된다. 이러한 바람직한 변형예는, 공간적으로 코히어런트한 상이한 그룹들 내의 다른 터치 포인트들을 그룹화하는 "클러스터링"이라고 불리는 방법을 채용하는 것으로 이루어진다. 이제 동일한 그룹의 다른 터치 포인트들의 거리를 평균화하면, 스캐닝된 공간 내의 현존하는 기하학적 구조와 코히어런트한 공간적 위치가 얻어진다.

예를 들어 "k-평균(k-means)"이라고 불리는 것과 같은, 인공 지능의 프레임워크에서 흔히 사용되는 몇 가지 "클러스터링" 방법이 사용될 수 있다.

마지막으로, 다른 터치 포인트들의 하나의, 두 개의 또는 3 개의 그룹이 획득되고, 이러한 그룹 내의 이러한 다른 터치 포인트의 컬러 및 그들의 심도가, 공중에 포인트가 떠 있게 되는 문제점이 없이 평균화될 수 있다.

다른 스캐닝 빔들에 의해 얻어진 다른 터치 포인트들로부터 시작해서, 각각의 다른 터치 포인트에 대해 해당하는 다른 터치 포인트와 스캐너 사이의 거리를 포함하는, 거리들의 세트가 결정된다. 그 이후에, 거리들의 상기 세트의 거리들 중에서 최소 거리 및 최대 거리가 검색된다.

예를 들어, 이것이 도 11 에 예시된다. 시각화 시점에 사용자가 뷰포인트의 구역(ZVP) 내에 머무르는 한, 사용자의 뷰포인트와 각각의 스캐너의 중심 사이에서 가능한 최대 거리가 계산될 수 있는데, 이러한 거리는 ΔZVP(델타 뷰포인트)라고 불린다. 도 11 에서 스캐너 중심이 C이고, V는 스캐너 중심에 대해 비젼 구역 내에서 가능한 가장 먼 뷰포인트의 위치이며, ΔZVP는 C와 V 사이의 거리라는 것에 주의해야 한다. dmax는 가장 먼 다른 터치 포인트 Pmax의 C에 대한 거리에 대응하고, dmin은 가장 가까운 터치 포인트 Pmin의 C에 대한 거리에 대응하며, αmin은 포인트 V로부터 포인트 C로 진행하는 직선과 V로부터 포인트 Pmin으로 진행하는 직선 사이에서 형성되는 각도에 대응하고, αmax는 포인트 V로부터 포인트 C로 진행하는 직선과 V로부터 포인트 Pmax로 진행하는 직선 사이에서 형성되는 각도이고, Δα는 αmax와 αmin 사이의 각도차이다. 그러면, 다음을 계산하는 것이 가능해진다: αmin = arctan(dmin / ΔZVP), αmax = arctan(dmax/ ΔZVP), 및 Δα=αmax - αmin.

다른 터치 포인트들이 디스플레이의 각도 선명도의 절반보다 적을 값 Δα가 되게 하는, 포인트 C에 대한 거리 범위 내에 위치된다면, 다른 터치 포인트들의 그룹들로 분할하는 것이 불필요하다. 사실상, 이러한 경우에, 거리차는 뷰포인트의 구역의 어느 포인트로부터도 감지되지 않을 것이고, 그러한 다른 터치 포인트들의 계산된 값의 가중치 평균이 결정될 것이며, 이러한 가중치 평균이, 고려된 스캐닝 단계에서 터치된 포인트에 대해 저장된 이미지 데이터의 값과 대체될 것이다.

만일 반면에 그룹을 이렇게 분리하는 것이 필요하다면, 상기 다른 터치 포인트의 위치에 기초하여 상이한 그룹들이 분리되며, 그러한 그룹들 중 한 그룹을 미리 결정된 기준에 따라 선택하며, 고려된 스캐닝 단계에서 터치된 포인트는 선택된 그룹 내의 다른 터치 포인트들에 대해 계산된 값의 가중치 평균에 의해 결정된다.

일반적 이론은, 1 Km의 거리에서 심도에서 5 cm의 갭은 뷰포인트의 구역 내의 어떠한 뷰포인트에서도 감지되지 않을 것인 반면에, 50cm 거리에서의 5 cm의 갭은 잘 감지될 것이라는 것이다.

다른 터치 포인트들의 그룹에 대한 선택 기준은 그룹을 구성하는 포인트들의 개수 또는 스캐너의 중심에 대한 이것의 평균 거리일 수 있다.

본 발명에 따른 몰입형 비디오에서 카메라 움직임의 등가물을 생성하기 위해, 뷰포인트의 구역은 공간 내에서 제 1 초기 위치로부터 이러한 제 1 위치의 미리 결정된 거리에 있는 적어도 제 2 위치를 향해 이동되는 것이 바람직하다. 스캐너들의 제 1 세트의 스캐너들 각각에 의한 스캐닝 및 공간의 이미지 데이터의 생성 및 저장은, 제 1 위치에 대해 수행된 후에 뷰포인트의 구역의 각각의 제 2 위치에 대해 반복된다.

본 발명의 특징은, 도 12 에 도시된 바와 같이 터치 포인트의 밀도가 디스플레이의 각도 분해능과 코히어런트하다는 것이다. 뷰포인트의 구역(ZVP)에서 멀리 떨어진 표면(51)은 3 개의 터치 포인트만을 제공하는 반면에, 더 근접한 표면(52)은 적어도 5 배 더 많은 터치 포인트를 제공한다. 멀리 있는 표면에 대한 터치 포인트의 밀도는 낮고, 상이한 터치 포인트들은 서로 멀리 떨어져 있다. 더 근접한 표면 상의 터치 포인트들의 밀도는 더 높고, 따라서 더 양호하게 규정된다. 이것은, 본 발명에 따라 상호 시차를 가지는 몰입형 무비를 시각화할 때의 디스플레이 선명도와 코히어런트하다.

본 발명에 따라 상호 시차가 있는 몰입형 비디오를 시각화하는 것은 다음 단계들을 포함한다:

a) 사용자가 무엇을 바라볼지 결정하기 위하여, 뷰포인트의 구역 내에서 센서와 사용자의 머리 움직임의 예측 알고리즘을 사용하여 상기 사용자의 눈의 위치 및 배향을 결정하는 단계;

b) 상기 이미지 데이터의 사용자의 눈의 위치 및 배향에 기초하여 저장된 이미지 데이터로부터 사용자가 바라볼 수 있는 공간의 부분의 시각화를 위하여 필요한 이미지 데이터를 선택하는 단계;

c) 임시 메모리에 선택된 이미지 데이터를 로딩하는 단계;

d) 상기 임시 메모리에 저장된 이미지 데이터에 기초하여 두 개의 이미지를 생성하는 단계; 및 e) 생성된 두 개의 이미지를 사용자의 눈에 디스플레이하는 단계.

제한된 시야를 가진 사용자는 주어진 시점에 이미지 데이터에 의해 인코딩되는 스캐닝된 공간의 일부만 볼 수 있다.

바람직하게는, 스캐닝된 공간은 터치 포인트들을 슬라이스로 분리하는 형태로 저장된다. 각각의 슬라이스는 스캐닝 방향의 슬라이스에 대응한다. 예를 들어, 하나의 슬라이스는 0 내지 45 도의 방위각 및 90 내지 125 도의 고도각에 대응하는, 상이한 스캐너에 의해 주시되는 포인트들을 인코딩할 수 있다.

많은 방법들이 연구되어 왔고, 터치 포인트를 디스플레이하기 위해 사용될 수 있다. 예를 들어, 다음이 있다:

,

, Mathias Paulin: Interpolatory Refinement for Real-Time Processing of Point-Base Geometry, published in Eurographics 2005, Dublin, Ireland, vol 24, N°3.

바람직하게는, 터치 포인트의 렌더링은 다시 조명되지 않고, 이러한 포인트들에서 인코딩된 컬러들은 직접적으로 사용자에게 제공될 것들이 될 것이며, 시각화 시점에 재조명은 존재하지 않는다.

바람직하게는, 포인트들의 스캐닝은 생태적(ecospheric)이고, 다시 말해서 도 13 에 도시된 바와 같이 고도각에 따라 적응된다. 구(sphere)의 극점(pole)에 있는 포인트들은 적도에 있는 것과 같은 방위각 스텝으로 스캐닝되지 않고, 이것은 리던던트 포인트가 생기는 것을 피해서 스캐닝될 포인트들의 개수를 제한하기 위한 것이다. 최소 방위각 스텝으로 스캐닝하는 것은 적도에서 실현될 반면에, 다른 위도에서 스캐닝은 더 높은 방위각 스텝을 가질 것이다. 이러한 생태적 방법은 위도를 저장 매트릭스의 세로좌표(ordinate)에 인코딩하는 이론을 유지하고, 저장 매트릭스의 가로좌표는, 정방형(equirectangular) 인코딩에서와 같지만, 방위각(azimuth)과 가로좌표 사이의 비율은 더 이상 선형이 아니다.

따라서, 각각의 스캐닝된 라인(각각의 고도), 해당 라인에 의해 표현되는 원의 균등 원주(equivalent circumference)에 대해서 계산된다. 저장 매트릭스의 한 라인이 구의 수평 단면을 나타내는 것처럼, 이것은 수평 평면 단면 상에 원을 제공할 것이다.

따라서, 이러한 원주는 sin(α)*2*PI의 반경(1)을 가진 구에 기초한다. 고도각 α이 북극에서 시작해서, 다시 말해서 북극에서 α=0 도이고 적도에서 α=90 도이며 남극에서 α=180 도라면, 따라서 적도에서의 원주에 대한 이러한 원주의 비는 간단하게 sin(α)이다.

동일한 라인 상의 모든 포인트는 Δβ의 각도 증분에 대응하여 서로 동일한 거리만큼 떨어져 있다. 하지만 이러한 각도 증분 Δβ는 선분마다 다르고, 다시 말하건대 sin(α)에 상대적이다. 수학식 Δβ=360 도/(저장 매트릭스의 열의 개수 곱하기 sin(α))에 따른다. 저장 매트릭스의 모든 열들은 적도에서만 사용되고, 모든 다른 위도는 더 적은 열들을 사용한다는 것에 주의해야 한다.

생태적 방법은, 공간 내의 각각의 터치 포인트에 대응하는 표면들의 양호한 균질성이 얻어질 수 있게 하고, 모든 스캐닝 방향을 완전히 커버한다.

도 13 에서, 모든 경도에서의 대응하는 구의 하나의 슬라이스가 원(26)의 위도 α=45°에 대해서 도시된다. 원(25)은 적도에 대응하는 위도(α=90 도)에 대한 모든 경도에 대응한다. 투영(40)은 적도의 위도에 대응하여 위에서 바라본 원이고, 그 반경은 정의에 의해 1 이며, 그 원주는 2π이고, 투영(50)은 위도 α=45°에서 위에서 바라본 원이고, 그 반경 R은 sin(α)이고 그 원주는 2π*sin(α)이다. W는 구의 중심이고, M은 대응하는 생태적 저장 매트릭스이다. 라인(90)은 위도 α=45°에 대응하는 터치 포인트들의 자획(stroke)이다. 매트릭스 M의 모든 열들이 고려되는 것은 아니고, 사실상 M의 열의 총 개수에 sin(α)를 곱하여 규정된 개수의 열만이 고려된다는 것을 알 수 있을 것이다. 라인(100)은 적도의 위도에 대응하는 터치 포인트들의 자획이고, 이것은 매트릭스 M의 모든 열을 취한다.

도 16 에 도시된 바와 같이, 뷰포인트의 구역(ZVP)은 비디오 감독이 고유한 뷰포인트로 카메라를 이동시키는 것과 같이, 비디오 감독에 의해 천이될 수 있다. 따라서, 실시간 렌더링 시에, 사용자가 이동할 때 카메라가 가상 공간에서 이동되는 가상 현실과는 대조된다. 본 발명에 따르면, 몰입형 무비를 생성하는 동안 뷰포인트의 구역(ZVP)이 이동되었을 때 사용자(1) 주위에서 이동하는 것은 공간(3)이다.

시각화 시에 이러한 시스템이 사용자(1) 주위에서 몰입형 비디오의 각 시간 부분에 대한 가상 3D 장면을 생성하고 있다고 여겨질 수 있다. 가상 단기 장면들 각각은 사용자(1)가 미리 결정된 뷰포인트의 구역(ZVP)으로부터 볼 수 있는 것에 한정된다. 그러한 장면들의 양태가 회전하는 것은 비디오 내의 오브젝트 또는 사람이 움직이는 것과 무비 감독에 의해 제어되는 뷰포인트의 구역의 위치가 이동되는 것에 대응한다.

따라서, 도 14 에서 장면(3)은 제 1 시간 t₁에서 뷰포인트의 구역(ZVP)의 제 1 위치로부터 스캐닝되고, 그 후에 제 2 시간 t₂에서 뷰포인트의 구역 내의 제 2 위치로부터 본 것처럼 다시 스캐닝된다. 따라서, t1 에서, 터치 포인트들의 제 1 세트(9)가 얻어지고, 그 이후에 t2에서 터치 포인트들의 제 2 세트(9')가 얻어진다. 사용자(1)에 대해서, 이동된 것은 이러한 장면이다.

시각화 시에, 합성 이미지를 본 발명에 따라 생성된 이미지와 합성할 수 있는 것이 중요하다. 따라서, 예를 들어, 사용자의 신체에 의해 형성된 아바타 또는 물리적으로 존재할 수도 존재하지 않을 수도 있는 다른 사용자의 신체의 아바타가 추가될 수 있다. 사용자가 주시하는 방향에 따른 텍스트 또는 방식(scheme)과 같은 정보적 요소, 또는 동적 타겟과 같은 게임 요소를 추가하는 것도 역시 가능하다. 또한, 정적 또는 동적 광고를 추가할 수도 있다.

본 발명에 따른 몰입형 비디오를 판독하면, 사용자는 가속감을 재창조하여 사용자에게 움직임을 부여하는 시스템을 착용할 수 있다.

또한, 시각화는, 예를 들어 앰비소닉(Ambisonic), HRTF(Head Related Transfer Function) 및 바이오럴(Binaural)과 같은 고전적인 기법을 가지고 3차원에서 사운드가 나오게 하는 사운드 몰입 기술에 의해 개선될 수도 있다.

Claims

몰입형 비디오를 생성하기 위한 이미지 데이터를 수집하는 방법으로서,
스캐닝 빔을 생성하도록 각각 제공되는 적어도 n(n>1) 개의 스캐너들의 제 1 세트를 셋업하는 단계를 포함하고,
미리 결정된 공간의 이미지 데이터를 생성하기 위하여, 스캐닝 빔을 이용해 스캐너들의 상기 제 1 세트의 스캐너들 각각에 의해 상기 공간을 스캐닝하는 단계를 더 포함하며,
상기 이미지 데이터는 메모리에 저장되고,
뷰포인트의 구역이 소정 볼륨을 획정함으로써 결정되고, 상기 볼륨으로부터 몰입형 비디오의 사용자가 상기 공간을 바라볼 수 있고 사용자의 머리를 가지고 상기 뷰포인트의 구역 내에서 움직임, 특히 병진 움직임을 할 수 있으며,
상기 뷰포인트의 구역의 단부에 위치된 m(m>1) 개의 소스 포인트들의 제 2 세트가 추후 결정되고,
상기 적어도 n 개의 스캐너들의 제 1 세트를 셋업하는 단계는, 상기 소스 포인트들 각각에 매번 상기 제 1 세트의 상기 스캐너들 중 하나를 배치함으로써 실현되고,
상기 공간을 스캐닝하는 단계는, 상기 소스 포인트에 배치된 상기 스캐너에 의하여 그리고 상기 뷰포인트의 구역에 의해 미리 결정된 범위 내에 각각 위치된 일련의 방위각 및 고도각에 따라 상기 공간을 단계적으로 스캐닝함으로써 실현되며,
이미지 데이터의 생성은, 각각의 생성된 스캐닝 빔에 대하여, 매번 상기 공간 내에 위치되고 관련된 스캐닝 빔에 의해 터치되는 터치 포인트에 의해 반사된 스캐닝 빔을 수집하고, 각각의 단계마다 상기 반사된 스캐닝 빔에 기초하여, 상기 터치 포인트와 상기 관련된 스캐닝 빔을 생성한 스캐너 사이의 거리(d) 및 상기 터치 포인트의 컬러 파라미터를 결정함으로써 실현되고,
상기 데이터는 상기 방위각과 고도각에 따라 구조화된 매트릭스 형태로 상기 메모리 내에 저장되는, 이미지 데이터 수집 방법.
제 1 항에 있어서,
상기 뷰포인트의 구역은 적어도 30 cm의 높이, 적어도 30 cm의 깊이 및 적어도 30 cm의 폭을 가지는 본질적으로 직사각형 볼륨, 특히 직육면체 볼륨에 의해 형성되는, 이미지 데이터 수집 방법.
제 1 항에 있어서,
상기 뷰포인트의 구역은 본질적으로 팔면체 모양인 볼륨에 의해 형성되는, 이미지 데이터 수집 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
저장된 데이터는, 스캐너에 의해 터치된 각각의 포인트에 대하여, 상기 포인트가 상기 n 개의 스캐너 중 적어도 다른 하나에 의해 론칭된 빔에 의해 도달될 수 있는지를 결정함으로써 필터링되고,
고려된 터치 포인트가 상기 n 개의 스캐너 중 적어도 다른 하나에 의해 론칭(launch)된 빔에 의해 도달될 수 있는 경우, 미리 결정된 선택 기준들에 기초하여, 상기 고려된 터치 포인트의 저장된 데이터가 상기 저장된 데이터로부터 제거돼야 하는지가 결정되는, 이미지 데이터 수집 방법.
제 4 항에 있어서,
상기 선택 기준들은, 상기 고려된 터치 포인트를 생성한 상기 스캐너 및 나머지 스캐너들 중 고려된 터치 포인트에 도달할 수 있는 하나 이상의 스캐너들에 의한, 상기 방위각에 따른 두 개의 연속적인 스캐닝 단계와 상기 고도각에 따른 두 개의 연속적인 스캐닝 단계 사이에서 스캐닝된 표면적에 기초하는, 이미지 데이터 수집 방법.
제 5 항에 있어서,
스캐닝된 표면에 수직인 라인과 상기 터치 포인트를 생성한 스캐닝 빔 사이의 각도(β)가 결정되고,
상기 표면적은 상기 거리(d)를 상기 각도 β의 코사인으로 나눈 것의 제곱에 기초하여 결정되며, 상기 선택 기준들을 형성하고,
최소 스캐닝된 면적을 가지는 값을 가지고 저장된 데이터가 유지되는, 이미지 데이터 수집 방법.
제 4 항에 있어서,
상기 선택 기준들은 상기 터치 포인트와 상기 터치 포인트를 생성한 스캐너 사이의 거리 및 상기 터치 포인트와 상기 터치 포인트에 도달할 수 있는 n 개의 다른 스캐너들 중 하나 이상의 스캐너 사이의 거리에 기초하고, 저장된 데이터는 최소 거리를 제공한 스캐너에 대한 것인, 이미지 데이터 수집 방법.
제 4 항에 있어서,
포인트 소스 상에 배치된 n 개의 스캐너들 각각에 대해 사전에 우선 순위가 구축되고,
상기 선택 기준들은 상기 우선 순위에 기초하는, 이미지 데이터 수집 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
사용되는 스캐너는 가상 스캐너 또는 물리적 스캐너인, 이미지 데이터 수집 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
방위각 스캐닝 단계는 고도각에 따라 적응되는, 이미지 데이터 수집 방법.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
동일한 스캐닝 단계 내에서 여러 다른 스캐닝 빔들이 생성되고, 다른 터치 포인트들이 상기 다른 스캐닝 빔들을 이용하여 결정되며,
추후에 각각의 다른 터치 포인트에 대하여 상기 다른 터치 포인트와 스캐너 사이의 거리를 포함하는 거리들의 세트가 결정되고,
최소 거리와 최대 거리가 상기 거리들의 세트의 거리들 중에서 검색되며,
상기 최소 거리와 최대 거리에 의존하는 기준들에 따라, 상기 다른 터치 포인트들의 거리에 기초하여 상이한 그룹 내에 상기 다른 터치 포인트들의 분산이 필요한지가 결정되고,
이러한 분산이 필요하지 않다면, 상기 다른 터치 포인트들의 가중치 평균이 계산되고 상기 가중치 평균이 상기 고려된 스캐닝 단계에 대한 상기 터치 포인트에 대하여 상기 저장된 이미지 데이터의 값을 대체하며,
이러한 분산이 필요하다면, 상기 다른 터치 포인트들의 위치에 기초하여 상기 다른 터치 포인트들이 상이한 그룹 내에서 분산되고, 미리 결정된 기준들에 따라 상기 상이한 그룹 중 하나의 그룹이 선택되며, 상기 고려된 스캐닝 단계에 대한 터치 포인트는 선택된 그룹 내의 상기 다른 터치 포인트들의 가중치 평균에 의해 결정되는, 이미지 데이터 수집 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 뷰포인트의 구역은 상기 공간 내에서 제 1 초기 위치로부터 적어도 상기 제 1 위치에서 미리 결정된 거리에 위치된 제 2 위치를 향해 천이되고,
상기 제 1 세트의 스캐너들 각각에 의한 스캐닝 및 상기 공간의 이미지 데이터의 생성과 저장은, 상기 제 1 위치에 대해 이루어진 후에 상기 뷰포인트의 구역의 각각의 제 2 위치에 대해 반복되는, 이미지 데이터 수집 방법.
제 1 항 내지 제 12 항 중 어느 한 항의 방법에 따라 수집된 이미지 데이터에 기초하여 스캐닝된 공간의 적어도 일부를 시각화하는 방법으로서,
a) 사용자가 바라보게 되는 것을 결정하기 위하여, 센서와 사용자의 머리 움직임을 예측하는 알고리즘을 사용하여 뷰포인트의 구역 내에서 상기 사용자의 눈의 위치 및 배향을 결정하는 단계;
b) 사용자의 눈의 위치 및 배향에 기초하여, 저장된 이미지 데이터로부터 사용자가 바라볼 수 있는 공간의 일부의 시각화를 위하여 필요한 이미지 데이터를 선택하는 단계;
c) 선택된 이미지 데이터를 임시 메모리에 로딩하는 단계;
d) 상기 임시 메모리에 저장된 이미지 데이터에 기초하여 두 개의 이미지를 생성하는 단계; 및
e) 생성된 두 개의 이미지를 사용자의 눈에 디스플레이하는 단계를 포함하는, 시각화 방법.
제 13 항에 있어서,
생성된 두 개의 이미지를 사용자의 눈에 디스플레이하는 단계는 가상 현실 헤드셋을 이용하여 실현되는, 시각화 방법.
제 13 항 또는 제 14 항에 있어서,
상기 방법은, 사용자에게 움직임이 부여되는 디바이스 내에서 사용되고,
상기 부여된 움직임의 좌표는, 이미지들의 흐름을 상기 움직임과 동기화하기 위하여 상기 시각화 방법을 적용하는 시각화 시스템에 전송되는, 시각화 방법.