KR20170052674A - 3 차원 비디오를 위한 이미지 스티칭 - Google Patents

3 차원 비디오를 위한 이미지 스티칭 Download PDF

Info

Publication number
KR20170052674A
KR20170052674A KR1020177009747A KR20177009747A KR20170052674A KR 20170052674 A KR20170052674 A KR 20170052674A KR 1020177009747 A KR1020177009747 A KR 1020177009747A KR 20177009747 A KR20177009747 A KR 20177009747A KR 20170052674 A KR20170052674 A KR 20170052674A
Authority
KR
South Korea
Prior art keywords
images
camera
image
cameras
certain embodiments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177009747A
Other languages
English (en)
Other versions
KR101885778B1 (ko
Inventor
사지드 사디
세르지오 페르디세스-곤잘레스
라훌 부딧라자
브라이언 동우 이
아이샤 무다스르 크와쟈
프라나브 미스트리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170052674A publication Critical patent/KR20170052674A/ko
Application granted granted Critical
Publication of KR101885778B1 publication Critical patent/KR101885778B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H04N13/0014—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/0048—
    • H04N13/0059—
    • H04N13/0242—
    • H04N13/0253—
    • H04N13/026—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에서, 방법은 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계를 포함하고, 여기서 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라들로부터의 제 2 이미지를 포함한다. 상기 방법은 또한 상기 제 1 및 제 2 이미지들 내의 복수의 특징점들 (feature points) 을 검출하는 단계를 포함한다. 상기 방법은 나아가, 상기 제 1 및 제 2 이미지들 간 오버랩 (overlap) 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계를 포함하고, 특징점들의 대응하는 쌍들의 상기 쌍은 각각 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 각각을 포함한다. 상기 방법은 또한, 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋 (offset) 에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하는 (spatially adjusting) 단계를 포함한다.

Description

3 차원 비디오를 위한 이미지 스티칭{IMAGE STITCHING FOR THREE-DIMENSIONAL VIDEO}
본 개시는 일반적으로 3D 이미징에 관한다.
인간 뇌는 이미지에서 양안 간의 차이에 기초하여 3 차원 (3D) 이미지들을 인식한다. 동일한 장면 (scene) 에 대해 미세하게 상이한 각도에서 획득된 2 개의 이미지들을 이용함으로써, 높은 수준의 정확도로 오브젝트까지의 거리를 삼각 측량 (triangulate) 할 수 있다. 각각의 눈은 좌안과 우안에 의해 보여지는 오브젝트의 미세하게 상이한 앵글을 본다. 3D 이미지의 사용은, 관람자가 또 다른 환경에 몰입할 수 있게끔 하고, 어떠한 경우 관람자가, 예를 들어, 스포츠 이벤트나 콘서트와 같은 이벤트를 상이한 명당 (vantage points) 에서 관람할 수 있게끔 한다.
몇몇의 이미지-캡쳐 (image-capture) 시스템들은 스테레오스코픽 (stereoscpic) 2D 이미지들을 캡쳐하는 것에 기초한다. 일례로서, 공간적으로 이격된 한 쌍의 평행한 카메라들을 이용하여 캡쳐된 2D 이미지들을 이용하여, 3D 이미지들이 구성될 수 있다. 다른 예로서, 두번째 스테레오스코픽 이미지를 캡쳐할 때 공간적인 오프셋 (offset) 을 형성하도록, 하나의 카메라가 물리적으로 이동될 수 있다. 많은 경우에, 이미지-캡쳐 시스템들은 정해진 각도 내에서 3D 이미지를 캡쳐하도록 제한된다
2 개의 오프셋 이미지들을 관람자의 좌안과 우안에 따로따로 표시함으로써, 3D 디스플레이들은 종종 2D 이미지들에게 깊이감 (perception of depth) 을 제공한다. 그리고 나서 이러한 2D 이미지들이 뇌에서 합쳐져 3 차원적 깊이감을 제공한다. 깊이감을 제공하기 위해 "오프셋된 (offsetting)" 2D 이미지들을 디스플레이하는 다른 예시적인 방법들은, 색채적으로 반대의 필터들 (예를 들어, 빨강색과 청록색), 상이한 편광, 또는 관람자의 양안 상에서 렌즈들을 셔터링 (shuttering) 하는 것을 포함한다.
복수의 카메라들로부터 복수의 이미지들을 수신하는 단계 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ; 상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들 (feature points) 을 검출하는 단계; 상기 제 1 및 제 2 이미지들 간 오버랩 (overlap) 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋 (offset) 에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하는 (spatially adjusting) 단계; 및 상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하는 단계를 포함하는 방법.
도 1 은 예시적인 3-D 이미지 시스템 아키텍쳐 (3D imagery system architecture) 를 도시한다.
도 2 는 카메라들의 예시적인 스테레오스코픽 쌍 (stereoscopic pair) 을 도시한다.
도 3 은 카메라 시스템의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다.
도 4 는 예시적인 카메라 시스템에 대한 평면도를 도시한다.
도 5 는 카메라 시스템의 카메라들에 의해 캡쳐된 이미지들의 예시적인 세트를 도시한다.
도 6 은 예시적인 카메라 시스템에 대한 측면도를 도시한다.
도 7 은 카메라 시스템의 카메라들에 의해 캡쳐된, 오버랩핑 이미지들 (overlapping images) 의 예시적인 세트를 도시한다.
도 8 은 이산 (discrete) 이미지들을 스티칭 (stitching) 하기 위한 예시적인 방법을 도시한다.
도 9 및 10 은 이산 이미지들을 스티칭 (stitching) 하기 위한 다른 예시적인 방법들을 도시한다.
도 11 은 이미지의 예시적인 분할 (partitioning) 을 도시한다.
도 12 는 이미지들의 예시적인 특징점 매칭 (feature point matching) 을 도시한다.
도 13 은 예시적인 탑 이미지 (top image) 와 예시적인 스티칭된 메인 이미지 (main stitchied image) 를 도시한다.
도 14 는 프로세싱 후의 도13의 예시적인 탑 이미지를 도시한다.
도 15 및 16 은 이산 (discrete) 이미지들을 스티칭 (stitching) 하기 위한 예시적인 방법들을 도시한다.
도 17 은 다양한 비디오-데이터 콤포넌트들 (video-data components) 을 포함하는 콘텐트 콘테이너 (content container)를 도시한다.
도 18 은 합성 스트림 (composite stream) 으로 콘텐트 콘테이너를 브로드캐스팅 (broadcast) 하도록 구성된 콘텐트 서버 (content server)를 도시한다.
도 19 는 언번들된 스트림들 (unbundled streams) 의 직접 전송을 포함하는 예시적인 전송 스킴 (transmission scheme) 을 도시한다.
도 20 내지 22 는 비디오 스트림의 전송을 위한 예시적인 중개 스킴 (mediated scheme) 을 각각 도시한다.
도 23 은 슬라이스된 스트림 세트 (sliced stream set) 를 도시한다.
도 24 는 비디오 스트림의 전송을 위한 예시적인 상호작용형 스킴 (interactive scheme) 을 도시한다.
도 25 는 3D 360 ° 비디오를 전송하기 위한 예시적인 방법을 도시한다.
도 26 은 사진측량 (photogrammetry) 를 이용하는 하이브리드 스티칭 (hybrid stitching) 에 기초한 예시적인 재구성 프로세스를 도시한다.
도 27 은 3D 360 ° 비디오를 재구성하기 위한 예시적인 방법을 도시한다.
도 28 은 3D 360 ° 비디오를 재구성하기 위한 다른 예시적인 방법을 도시한다.
도 29 는 일그러짐 오퍼레이션 (distortion operation) 이 이미지에 적용되기 전과 후의 단안 (monocular) 이미지들의 예시적인 세트를 도시한다.
도 30 및 31 은 예시적인 360 도 스테레오스코픽 (stereoscopic) 3D 환경을 도시한다.
도 32 는 3D 비디오와 상호작용 (interacting) 하기 위한 예시적인 방법을 도시한다.
도 33 은 예시적인 머리 장착형 클라이언트 컴퓨팅 디바이스의 블록도를 도시한다.
도 34 는 예시적인 머리 장착형 클라이언트 컴퓨팅 디바이스를 착용한 채 방 안에 서있는 사용자를 도시한다.
도 35 는 머리 장착형 클라이언트 컴퓨팅 디바이스를 착용한 사용자에 의해 관람되는 예시적인 장면 (scene) 을 도시한다.
도 36 은 예시적인 알림과 함께 도 35 의 예시적인 장면을 도시한다.
도 37 은 사용자가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다.
도 38 은 개가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다.
도 39 는 2 개의 예시적인 뷰들로 분할된 예시적인 디스플레이를 도시한다.
도 40 은 테이블이 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다.
도 41 은 굽어진 화살표가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다.
도 42 는 예시적인 도식화된 지도 (schematic map)와 함께 도 35 의 예시적인 장면을 도시한다.
도 43 은 예시적인 조감도로 도 35 의 예시적인 장면을 도시한다.
도 44 는 예시적인 컴퓨터 시스템을 도시한다.
복수의 카메라들로부터 복수의 이미지들을 수신하는 단계 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ; 상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 검출하는 단계; 상기 제 1 및 제 2 이미지들 간 오버랩 (overlap) 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 대응하는 특징점들 (feature points) 의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋 (offset) 에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하는 (spatially adjusting) 단계; 및 상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하는 단계를 포함하는 방법.
상기 제 1 및 제 2 이미지들 간 상기 오버랩 영역은 상기 제 1 및 제 2 카메라들 각각의 시계 (Field Of View:FOV) 에서의 오버랩에 비례하는 방법.
상기 검출하는 단계는: 로컬 명암 그래디언트 (local contrast gradient) 에 기초하여 상기 제 1 및 제 2 이미지들의 하나 이상의 특징들을 검출하는 단계; 및 상기 검출된 특징들의 하나 이상의 특징점들을 검출하는 단계를 포함하는 방법.
상기 추출하는 단계는 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 특징 검출 알고리즘을 이용하는 단계를 포함하는 방법.
상기 결정하는 단계는: 상기 제 1 및 제 2 이미지들을 미리 결정된 그리드 (pre-determined grid) 에서 미리 결정된 수 (pre-determined number) 의 영역들로 분할하는 단계; 상기 제 1 이미지의 에지를 따라 위치한 각각의 영역 내에 위치된 특징점들을 상기 제 2 이미지의 반대 에지를 따라 위치하는 대응하는 영역과 비교하는 단계; 및 상기 에지들의 각각의 영역 내의 특징점들의 패턴에 기초하여 특징점들 중 상기 대응하는 쌍들을 식별하는 단계를 포함하는 방법.
상기 에지를 따라 위치한 각각의 영역 내에서의 비교는 각각의 특징점 주변의 미리 결정된 영역 상에서 수행되고, 상기 미리 결정된 영역은 상기 오버랩 영역의 픽셀 수에 기초하는 방법.
상기 미리 결정된 영역에서 차이들의 제곱의 합이 미리 결정된 임계값보다 작은지 여부를 결정하는 단계를 더 포함하는 방법.
제 3 카메라로부터 제 3 이미지를 수신하는 단계; 상기 제 3 이미지는 상기 제 1 및 제 2 이미지들과 동일한 시간 기간 동안에 캡쳐되고, 상기 복수의 카메라들은 상기 제 1 오리엔테이션을 갖는 상기 제 3 카메라를 더 포함하고, 상기 제 2 카메라는 상기 제 1 및 제 3 카메라들 사이에 위치되는 방법.
상기 제 3 이미지 내에서 복수의 특징점들을 검출하는 단계; 상기 제 1 및 제 3 이미지들 간 오버랩 영역과 상기 제 3 이미지 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 상기 제 1 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 및 상기 제 2 및 제 3 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 상기 제 2 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 2 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - 를 더 포함하는 방법.
상기 제 1 및 제 3 카메라는 카메라들의 스테레오스코픽 쌍을 포함하는 방법.
제 3 카메라로부터 제 3 이미지를 수신하는 단계; 상기 복수의 카메라들은 상기 제 1 및 제 2 카메라들에 의해 정의되는 면에 직교하는 오리엔테이션을 갖는 제 3 카메라를 더 포함하는 방법.
상기 병합된 이미지와 상기 제 3 이미지 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 대응하는 특징점들의 상기 쌍들은 상기 병합된 이미지와 상기 제 3 이미지 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 상기 제 3 이미지의 중앙 주변에 방사형 와프 (radial warp) 를 적용하는 단계를 더 포함하고, 상기 제 3 이미지의 상기 중앙은 고정되는 방법.
상기 계산된 오프셋은, 대응하는 특징점들의 각각의 쌍 간의 공간적 오프셋 (spatial offset) 의 절대값에 비례하는 코스트 함수 (cost function) 를 계산함으로써 계산되는 방법.
상기 계산된 오프셋은, 하나 이상의 회전축들에 나란한 대응하는 특징점들의 각각의 쌍 간의 회전성 오프셋 (rotational offset) 에 비례하는 코스트 함수 (cost function) 을 계산함으로써 계산되는 방법.
상기 제 2 오리엔테이션은 상기 제 1 오리엔테이션과 상이하고, 각각의 이미지는 동일한 시간 기간 동안에 캡쳐되는 방법.
상기 제 1 및 제 2 이미지들을 결합하는 단계는: 상기 오버랩 영역에서 에지를 검출하는 단계; 및 상기 에지에 그래디언트 (gradient) 를 적용하는 단계를 포함하는 방법.
상기 보정하는 단계는 상기 제 1 또는 제 2 이미지를 회전 (rotation) 시키거나 평행 이동 (translation) 시키는 단계를 포함하는 방법.
명령들 (instructions) 을 구현하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체 (non-transitory computer-readable storage media) 로서, 상기 명령들은 실행될 때: 복수의 카메라들로부터 복수의 이미지들을 수신하고 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ; 상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 검출하고; 상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하고 - 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하고 (spatially adjusting); 상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하도록 작동 가능한 매체.
상기 제 1 및 제 2 이미지들 간 상기 오버랩 영역은 상기 제 1 및 제 2 카메라들 각각의 시계 (Field Of View:FOV) 에서의 오버랩에 비례하는 매체.
상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 상기 검출하는 것은: 로컬 명암 그래디언트 (local contrast gradient) 에 기초하여 상기 제 1 및 제 2 이미지들의 하나 이상의 특징들을 검출하고; 상기 검출된 특징들의 하나 이상의 특징점들을 검출하는 것을 포함하는 매체.
상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 상기 결정하는 것은: 상기 제 1 및 제 2 이미지들을 미리 결정된 그리드 (pre-determined number) 에서 미리 결정된 수 (pre-determined number) 의 영역들로 분할하고; 상기 제 1 이미지의 에지를 따라 위치한 각각의 영역 내에 위치된 특징점들을 상기 제 2 이미지의 반대 에지를 따라 위치하는 대응하는 영역과 비교하고; 상기 에지들의 각각의 영역 내의 특징점들의 패턴에 기초하여 특징점들 중 상기 대응하는 쌍들을 식별하는 것을 포함하는 매체.
상기 명령들은 실행될 때 제 3 카메라로부터 제 3 이미지를 수신하도록 더 작동 가능하고, 상기 제 3 이미지는 상기 제 1 및 제 2 이미지들과 동일한 시간 기간 동안에 캡쳐되고, 상기 복수의 카메라들은 상기 제 1 오리엔테이션을 갖는 상기 제 3 카메라를 더 포함하고, 상기 제 2 카메라는 상기 제 1 및 제 3 카메라들 사이에 위치되는 매체.
상기 명령들은 실행될 때: 상기 제 3 이미지 내에서 복수의 특징점들을 검출하고; 상기 제 1 및 제 3 이미지들 간 오버랩 영역과 상기 제 3 이미지 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하도록 더 작동 가능하고 - 상기 제 1 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 및 상기 제 2 및 제 3 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하도록 더 작동 가능하고, 상기 제 2 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 2 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함하는 매체.
대응하는 특징점들의 각각의 쌍 간의 상기 계산된 오프셋은, 대응하는 특징점들의 각각의 쌍 간의 공간적 오프셋 (spatial offset) 의 절대값에 비례하는 코스트 함수 (cost function) 를 포함하는 매체.
장치로서: 명령들을 구현하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체 (non-transitory computer-readable storage media); 및 상기 저장 매체에 커플링되고 상기 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함하고, 상기 프로세서들은 상기 명령들을 실행하여: 복수의 카메라들로부터 복수의 이미지들을 수신하고 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ; 상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 검출하고; 상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하고 - 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하고 (spatially adjusting); 상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하도록 구성된 장치.
상기 제 1 및 제 2 이미지들 간 상기 오버랩 영역은 상기 제 1 및 제 2 카메라들 각각의 시계 (FOV; Field Of View) 에서의 오버랩에 비례하는 장치.
상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 상기 검출하는 것은: 로컬 명암 그래디언트 (local contrast gradient) 에 기초하여 상기 제 1 및 제 2 이미지들의 하나 이상의 특징들을 검출하고; 상기 검출된 특징들의 하나 이상의 특징점들을 검출하는 것을 포함하는 장치.
상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 상기 결정하는 것은: 상기 제 1 및 제 2 이미지들을 미리 결정된 그리드 (pre-determined number) 에서 미리 결정된 수 (pre-determined grid) 의 영역들로 분할하고; 상기 제 1 이미지의 에지를 따라 위치한 각각의 영역 내에 위치된 특징점들을 상기 제 2 이미지의 반대 에지를 따라 위치하는 대응하는 영역과 비교하고; 상기 에지들의 각각의 영역 내의 특징점들의 패턴에 기초하여 특징점들 중 상기 대응하는 쌍들을 식별하는 것을 포함하는 장치.
상기 프로세서들은 상기 명령들을 실행하여 제 3 카메라로부터 제 3 이미지를 수신하도록 더 구성되고, 상기 제 3 이미지는 상기 제 1 및 제 2 이미지들과 동일한 시간 기간 동안에 캡쳐되고, 상기 복수의 카메라들은 상기 제 1 오리엔테이션을 갖는 상기 제 3 카메라를 더 포함하고, 상기 제 2 카메라는 상기 제 1 및 제 3 카메라들 사이에 위치되는 장치.
상기 프로세서들은 상기 명령들을 실행하여: 상기 제 3 이미지 내에서 복수의 특징점들을 검출하고; 상기 제 1 및 제 3 이미지들 간 오버랩 영역과 상기 제 3 이미지 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하도록 더 작동 가능하고 - 상기 제 1 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함하는 매체.
상기 제 2 및 제 3 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들의 하나 이상의 쌍들을 결정하도록 더 구성되고, 상기 제 2 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 2 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함하는 장치.
대응하는 특징점들의 각각의 쌍 간의 상기 계산된 오프셋은, 대응하는 특징점들의 각각의 쌍 간의 공간적 오프셋 (spatial offset) 의 절대값에 비례하는 코스트 함수 (cost function) 를 포함하는 장치.
3D 비디오를 캡쳐 (capture) 하고 재구성 (reconstruct) 하는 능력은, 게이밍 시스템, 텔레비젼, 또는 모바일 디바이스의 3D 능력들을 최대한 활용하는데 있어서 중요한 역할을 한다. 인간의 시지각 (visual perception) 의 다양한 측면들을 빈틈없이 모델링함으로써, 결과물인 3D 비디오는 눈으로 보는 자연적인 뷰 (view) 와 거의 구별되기 어려울 수 있고, 그로써 자연스러운 3D 관람 경험을 창조할 수 있다.
도 1 은 예시적인 3-D 이미지 시스템 아키텍쳐 (3D imagery system architecture) 를 도시한다. 특정 실시예들에서, 360 ° 3D 비디오를 캡쳐하고, 인코딩하고, 렌더링하기 위한 시스템 아키텍쳐 (system architecture, 100) 는 카메라 시스템 (110), 프론트-엔드 (front-end) 프로세서들 (120), 스티칭 서버 (stitching server, 130), 콘텐트 서버 (140), 및 클라이언트 시스템 (150) 을 포함할 수 있다. 본 개시가 특정 시스템들로 구성된 특정 3D 이미지 시스템을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 3-D 이미지 시스템들로 구성된 임의의 적합한 3D 이미지 시스템을 상정한다.
카메라 시스템 (110) 은, 디지털 방식으로 이미지들을 캡쳐하도록 구성된 수 쌍의 카메라들 (112) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 캡쳐된 이미지들은 실시간으로 캡쳐되어 프로세스되는 360 ° 3D 비디오에 대응할 수 있다. 카메라 시스템 (110) 의 카메라들 (112) 은 프론트-엔드 프로세서 (120) 에 연결될 수 있다. 카메라들 (112) 은 USB 등을 통해 연결될 수 있다. 다양한 카메라들 (112) 로부터의 이미지들의 스타팅 (starting) 과 스탑핑 (stopping) 을 동기화함으로써, 프론트-엔드 프로세서 (120) 은 카메라들 (112) 의 초기 제어를 제공할 수 있다. 프론트-엔드 프로세서 (120) 는 또한 셔터 스피드나 노출 시간과 같은 카메라 파라미터들을 결정하거나 설정할 수 있다. 프론트-엔드 프로세서 (120) 는 카메라 시스템 (110) 으로부터 들어오는 비디오들을 노멀라이징 (normalizing), 일그러짐 교정 (correct distortion), 압축, 또는 인코딩할 수 있다. 특정 실시예들에서, 프론트-엔드 프로세서들 (120) 의 수는 카메라 시스템 (110) 의 카메라들 (112) 의 수, 나아가 인커밍 이미지들의 사이즈 (예를 들어, 프레임 레이트나 프레임 사이즈) 에 기초할 수 있다. 프론트-엔드 프로세서들 (120) 로부터의 이미지 데이터는 스티칭 서버 (130) 에게 전송될 수 있고 (예를 들어 TCP 네트워크를 통해), 여기서, 스티칭 서버 (130) 는 카메라 시스템 (110) 에 의해 캡쳐된 이산 이미지들을 스티칭 (stitching) 하는 것을 수행한다.
후술되는 바와 같이, 3D 비디오의 완전한 프레임들 (complete frames) 을 생성하기 위해 스티칭 서버 (130) 는 다양한 카메라들로부터의 이산 이미지들을 스티칭할 수 있다. 특정 실시예들에서, 스티칭 서버 (130) 는 이산 이미지들의 이미지 얼라인먼트 (image alignment) 를 컴퓨팅할 수 있고, 완전한 프레임들 (complete frames)을 수직적 스트립 (vertical strip) 으로 세그먼테이션 (segment) 할 수 있다. 스티칭 서버 (130) 는 가변 비트 레이트 제어를 위해 스트립들을 상이한 사이즈와 비트 레이트로 재압축할 수 있다. 실시간 수행이 필요하지 않은 경우 단일의 스티칭 서버 (130) 가 이용될 수 있으나, 고해상도, 고프레임 레이트, 3D 비디오에 대한 실시간 수행이 소비되는 경우 수십 또는 수백의 스티칭 서버 (130) 가 이용될 수 있다. 3D 비디오의 프레임들은 콘텐트 서버 (140) 에 저장되거나 전송될 수 있다.
콘텐트 서버 (140) 는 클라이언트 시스템들 (150) 을 위한 콘텐트 배포 네트워크로서 작동할 수 있고, 요청된 3D 비디오의 적절한 부분들을 시청자에게 스트리밍 (stream) 하기 위해 클라이언트 시스템들 (150) 과 통신할 수 있다. 콘텐트 서버 (140) 는 요청된 3D 비디오를 프레임당 기준 (per-frame basis) 으로 클라이언트 시스템들 (150) 에게 전송할 수 있다. 특정 실시예들에서, 콘텐트 서버들 (140) 의 수는 3D 비디오를 수신하는 클라이언트 시스템들 (150) 의 수에 비례할 수 있다.
클라이언트 시스템들 (150) 은 콘텐트 서버들 (140) 에 의해 전송된 3D 비디오를 관람하는 사용자를 위한 디바이스로서 기능할 수 있다. 나아가, 클라이언트 시스템들 (150) 로부터 콘텐트 서버들 (140) 로의 입력은, 클라이언트 시스템들 (150) 로 전송되는 3D 비디오의 부분들 수정할 수 있다. 일례로서, 클라이언트 시스템 (150) 으로부터의, 사용자가 관람하는 각도를 변경하였음을 나타내는 데이터에 기초하여 3D 비디오는 보정될 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 추가적인 프레임들이 양쪽에 덧붙여진 스트레이트-온 뷰에 대응하는 프레임들을 요청할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 시청자를 위해 저해상도, 최고 프레임 (full-frame) 의 이미지들을 요청할 수 있고 3D를 재구성할 수 있다.
도 2 는 카메라들 (112) 의 예시적인 스테레오스코픽 쌍 (stereoscopic pair, 200) 을 도시한다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 은, 좌측 카메라 (L) 및 우측 카메라 (R) 로 각각 지칭되는 2 개의 카메라들 (112) 을 포함할 수 있다. 좌측 카메라 (L) 및 우측 카메라 (R) 은 사람의 좌안 및 우안에 대응하는 이미지들을 각각 캡쳐할 수 있고, 카메라들 (L 및 R) 에 의해 캡쳐된 비디오 이미지들은 3D 비디오로서 사용자에게 재생될 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 은 쌍, 스테레오 쌍 (stero pair), 카메라 쌍, 또는 카메라들의 스테레오 쌍이라 할 수 있다. 후술되는 바와 같이, 카메라 시스템 (110) 은 수 쌍 (200) 의 디지털 카메라들 ("카메라들", 112) 을 이용하여 3D 이미지들을 캡쳐할 수 있고, 카메라 시스템 (110) 은 통합된 (integrated) 디지털 카메라들 또는 하나 이상의 외부 디지털 카메라들로의 인터페이스를 이용할 수 있다. 특정 실시예들에서, 디지털 카메라는 디지털 포맷으로 이미지들을 캡쳐하거나 저장하는 디바이스를 가리킬 수 있다. 여기서, 용어 "카메라" 는 디지털 카메라를 가리킬 수 있고, 용어 "비디오" 는 디지털 비디오, 또는 디지털 포맷으로 기록되거나 저장된 비디오를 가리킬 수 있다.
특정 실시예들에서, 카메라 (112) 는 독자적인 사진 이미지들 또는 비디오로서 일련의 이미지들을 캡쳐하도록 구성된 이미지 센서를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 CCD (charge-coupled device) 이미지 센서 또는 CMOS (complementary metal-oxide-semiconductor) 액티브픽셀 이미지 센서를 포함할 수 있다. 특정 실시예들에서, 카메라 (112) 의 이미지 센서는 대략적으로 16:9, 4:3, 3:2, 또는 임의의 적합한 형상비 (aspect ratio) 를 가질 수 있다. 형상비는 예를 들어 센서의 높이에 대한 너비의 비일 수 있다. 특정 실시예들에서, 카메라 (112) 의 이미지 센서 너비는 이미지 센서의 높이보다 클 수 있다. 특정 실시예들에서, 이미지 센서의 너비와 높이는 이미지 센서의 2 개의 축 상의 픽셀들의 수의 형식으로 표현될 수 있고, 이미지 센서 너비는 이미지 센서의 가로와 세로 중 더 긴 디멘션 (dimension) 에 해당할 수 있다. 한정하고자 함은 아니고 일례로서, 이미지 센서는 500 내지 8000 픽셀의 너비 또는 높이를 가질 수 있다. 한정하고자 함은 아니고 다른 예로서, 1920 픽셀 너비 및 1080 픽셀 높이의 이미지 센서는 16:9 형상비의 이미지 센서라 할 수 있다. 특정 실시예들에서, 카메라 (112) 는, 들어오는 빛을 모으고 이미지 센서의 초점 영역 (focal area) 으로 집중시키는 렌즈 또는 렌즈들 어셈블리 (assembly) 를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 빛을 이미지 센서로 집중시키는 어안 (fisheye) 렌즈, 초광각 (ultra wide-angle) 렌즈, 광각 (wide-angle) 렌즈, 또는 일반 렌즈를 포함할 수 있다. 본 개시가 특정 이미지 센서들과 특정 렌즈들을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 이미지 센서들 및 임의의 적합한 렌즈들을 가진 임의의 적합한 카메라들을 상정한다.
특정 실시예들에서, 카메라 (112) 는, 카메라 (112) 의 위치, 초점 길이, 또는 렌즈 어셈블리의 배율 및 카메라 (112) 의 이미지 센서의 위치나 사이즈에 적어도 부분적으로 의존하는 시계 (FOV: Field Of View) 를 가질 수 있다. 특정 실시예들에서, 카메라 (112) 의 FOV 는, 카메라 (112) 를 통해 가시적인 특정 장면의 수평적, 수직적, 또는 사선 범위를 가리킬 수 있다. 카메라 (112) 의 FOV 내의 오브젝트들은 카메라 (112) 의 이미지 센서에 의해 캡쳐될 수 있고, FOV 외부의 오브젝트들은 이미지 센서 상에 나타나지 않을 수 있다. 특정 실시예들에서, FOV 는 시각 (AOV: Angle Of View) 이라 할 수 있고, FOV 또는 AOV 는 카메라 (112) 에 의해 캡쳐될 수 있거나 이미징될 수 있는 특정 장면 (scene) 의 각도 범위를 가리킬 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 30 ° 내지 200 ° 의 FOV 를 가질 수 있다. 한정하고자 함은 아니고 다른 예로서, 100 °의 FOV 를 갖는 카메라 (112) 는, 카메라 (112) 가 향하는 방향이나 오리엔테이션 (orientation, 114) 의 ±50 ° 내에 위치한 오브젝트들의 이미지들을 카메라 (112) 가 캡쳐할 수 있음을 나타낼 수 있다.
특정 실시예들에서, 카메라 (112) 는 2 개의 FOV 를 가질 수 있고, 예를 들면, 그 2 개의 FOV 는 대략적으로 서로에게 수직이도록 정향된 (oriented) 수평적 시계 (FOVH) 및 수직적 시계 (FOVV) 일 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 30 ° 내지 100 ° 범위 내의 수평적 시계 (FOVH) 및 90 ° 내지 200 ° 범위 내의 수직적 시계 (FOVV) 을 가질 수 있다. 도 2 의 예에서, 카메라 (112) 는 대략 80 ° 의 FOVH 를 가진다. 특정 실시예들에서, 카메라 (112) 의 FOVV 는 카메라 (112) 의 FOVH 보다 넓을 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 대략 45 ° 의 FOVH 및 대략 150 ° 의 FOVV 를 가질 수 있다. 특정 실시예들에서, 2 개의 상이한 FOV 를 갖는 카메라 (112) 가 적어도 부분적으로는 사각형 모양의 이미지 센서를 갖는 카메라 (112) 에 기인할 수 있다 (예를 들어, 카메라 (112) 는 16:9 형상비의 이미지 센서를 가질 수 있음). 특정 실시예들에서, 카메라 (112) 의 FOVV 가 카메라 (112) 의 이미지 센서의 너비에 대응하거나 나란하고, 카메라 (112) 의 FOVH 가 이미지 센서의 높이에 나란하도록, 카메라 (112) 가 위치될 수 있다. 한정하고자 함은 아니고 일례로서, 이미지 센서는 높이 및, 이미지 센서의 2 개 디멘션들 (dimensions) 중 더 긴 것에 해당하는 너비를 가질 수 있고, 카메라 (112) 의 이미지 센서의 너비 축이 FOVV 에 대응하도록 카메라 (112) 가 정향될 (oriented) 수 있다. 본 개시가 특정 시계들을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 시계들을 갖는 임의의 적합한 카메라들을 상정한다.
특정 실시예들에서, 카메라 (112) 는 카메라 (112) 가 가리키는 방향 또는 각도에 해당하는 오리엔테이션 (orientation, 114) 을 가질 수 있다. 특정 실시예들에서, 오리엔테이션 (114) 은 카메라 (112) 의 FOV 의 중앙을 따라 나아가게 되는 레이 (ray) 또는 라인 (line) 에 의해 표현될 수 있다. 특정 실시예들에서, 카메라 (112) 의 오리엔테이션 라인 (orientation line, 114) 은 카메라 (112) 의 세로축을 따라 대략적으로 나아가게 될 수 있고, 카메라 렌즈 어셈블리 또는 이미지 센서의 표면에 대략적으로 직교하여 나아가게 될 수 있고, 스테레오스코픽 쌍 (200) 의 카메라들 (L 및 R) 사이의 라인에 해당하는 축 (115) 에 대략적으로 직교하여 나아가게 될 수 있다. 도 2 의 예에서, 오리엔테이션 (114-L) 및 오리엔테이션 (114-R) 은 각각 축 (115) 에 대략적으로 직교하고, 오리엔테이션들 (114-L 및 114-R) 은 각각 카메라 (112) 의 FOVH 의 각각의 중앙을 따라 대략적으로 나아가게 될 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 의 각각의 카메라 (112) 는 서로에 대한 특정 오리엔테이션 (114) 을 가질 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 의 좌측 및 우측 카메라 (112) 는 각각 대략적으로 동일한 방향을 가리킬 수 있고, 좌측 및 우측 카메라들의 오리엔테이션들 (114) 은 대략적으로 평행할 수 있다 (예를 들어, 오리엔테이션들 (114) 사이의 각도는 대략적으로 0 ° 일 수 있다). 도 2 의 예에서, 좌측 카메라 오리엔테이션 (114-L) 은 우측 카메라 오리엔테이션 (114-R) 에 대략적으로 평행하고, 이는 카메라들 (L 및 R) 이 대략적으로 동일한 방향을 가리키고 있음을 나타낸다. 평행한 오리엔테이션들 (114) 을 갖는 좌측 및 우측 카메라들 (112) 은 동일한 방향을 가리키는 카메라들에 해당할 수 있고, 그러면 카메라들 (L 및 R) 은 동일한 오리엔테이션을 가지는 것이라 할 수 있다. 특정 실시예들에서, 동일한 오리엔테이션을 갖는 좌측 카메라 (L) 및 우측 카메라 (R) 는, 서로에 대해 ± 0.1 °, ± 0.5 °, ± 1 °, ± 2 °, ± 3 ° 또는 임의의 적합한 각도값 내에서 각각 평행한 오리엔테이션들 (114-L 및 114-R) 을 가리킬 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 의 오리엔테이션은 평행한 좌측 및 우측 카메라들 (112) 의 오리엔테이션 (114) 에 의해 표현될 수 있다. 한정하고자 함은 아니고 일례로서, 제 1 스테레오스코픽 쌍 (200) 의 각각의 카메라가 제 2 스테레오스코픽 쌍 (200) 의 카메라들에 대해 30 ° 정향된 (oriented) 경우, 제 1 스테레오스코픽 쌍 (200) 은 제 2 스테레오스코픽 쌍 (200) 에 대해 30 ° 오리엔테이션을 가지는 것이라 할 수 있다.
특정 실시예들에서, 좌측 카메라 (L) 및 우측 카메라 (R) 는 0이 아닌 (nonzero) 특정 각도의 오리엔테이션들 (114-L 및 114-R) 을 가질 수 있다. 한정하고자 함은 아니고 일례로서, 스테레오스코픽 쌍 (200) 의 2 개의 카메라들은, 대략 0.5 °, 1 °, 2 °, 또는 임의의 적합한 각도값의 오리엔테이션들 간의 각도를 가지고, 미세하게 서로를 향하거나 서로로부터 멀어지도록 정향될 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 의 오리엔테이션은 오리엔테이션들 (114-L 및 114-R) 의 평균에 의해 표현될 수 있다. 본 개시가 특정 오리엔테이션들을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 오리엔테이션들을 갖는 임의의 적합한 카메라들을 상정한다.
특정 실시예들에서, 한 쌍의 카메라들 (예를 들어, L 및 R) 에 있어, 카메라들 (112) 간의 카메라 상호간 간격 (ICS; inter-camera spacing) 은 2 개의 카메라들이 서로 이격된 거리에 해당할 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 은 6 cm 내지 11 cm 의 ICS 를 갖는 카메라들 (112) 를 가질 수 있다. 여기서 ICS 는 2 개의 카메라들 (112) 의 대응하는 2 개의 포인트들 또는 특징들에 의해 측정될 수 있다. 한정하고자 함은 아니고 일례로서, ICS 는 2 개의 카메라들 (112) 의 중간 포인트들 사이의 거리, 2 개의 카메라들 (112) 의 세로축들 간의 거리, 또는 2 개의 카메라들 (112) 의 오리엔테이션 라인들 (114) 간의 거리에 대응할 수 있다. 특정 실시예들에서, 스테레오스코픽 쌍 (200) 의 카메라들 (L 및 R) 은, 카메라들 (L 및 R) 을 연결하는 라인에 해당하고 카메라 오리엔테이션 라인들 (114-L 및 114-R) 에 대략적으로 직교하는 축 (115) 을 따라, ICS 거리만큼 이격될 수 있다. 도 2 의 예에서, ICS 는 이격축 (115) 을 따라 측정된 카메라들 (L 및 R) 간의 거리이다. 특정 실시예들에서, ICS 는 사람 양안의 동공들 간의 근사적 평균 거리, 또는 동공간거리 (inter-pupillary distance:IPD) 에 대응할 수 있다. 한정하고자 함은 아니고 일례로서, ICS 는 6 cm 내지 7 cm 일 수 있다 (6.5 cm 는 인간의 근사적 평균 IPD 값에 대응함). 특정 실시예들에서, 스테레오스코픽 쌍 (200) 은 평균 IPD 값보다 더 큰 ICS 값을 가질 수 있고 (예를 들면, ICS 는 7-11 cm 일 수 있음), 이러한 더 큰 ICS 값은, 재생될 때 향상된 3-D 특성들을 가지는 것으로 보이는 장면 (scene) 을 시청자에게 제공할 수 있다. 본 개시가 특정 카메라 상호간 간격들 (ICS) 을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 카메라 상호간 간격들 (ICS) 을 갖는 임의의 적합한 카메라 쌍들을 상정한다.
도 3 은 카메라 시스템 (110) 의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다. 도 3 의 예에서, 카메라 시스템 (110) 은 L1 및 R1 에 의해 형성된 제 1 카메라 쌍 (200), L2 및 R2 에 의해 형성된 제 2 카메라 쌍 (200), 및 L n 및 R n 에 의해 형성된 제 n 카메라 쌍 (200) 을 포함한다. 특정 실시예들에서, 카메라 시스템 (110) 은 또한, 카메라 쌍 (L3-R3, L3 은 도 3 에서 미도시됨) 또는 카메라 쌍 (L n -1-R n -1, R n -은 도 3 에서 미도시됨) 와 같은 추가적인 카메라 쌍들을 포함할 수 있다. 본 개시가 특정 개수의 카메라 쌍들을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 개수의 카메라 쌍들을 갖는 임의의 적합한 카메라들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 는 일직선, 곡선, 타원 (또는 타원의 일부), 원 (또는 원의 일부), 또는 임의의 다른 적합한 형태 또는 임의의 적합한 형태의 일부를 따라 배열될 수 있다. 원을 따라 배열된 카메라들 (112) 을 갖는 카메라 시스템 (110) 은 360 ° 파노라마 뷰에 걸쳐 이미지들을 기록하도록 구성될 수 있다. 도 3 의 예에서, 카메라들 (112) 은, 도 3 에서 원형의 파선으로 표현된 바와 같이, 원의 일부를 따라 배열될 수 있다. 도 3 에 도시된 카메라 시스템 (110) 은 반원에 걸쳐서 이미지들을 기록할 수 있고, 180 ° 의 시야각 (angular viewing) 을 제공할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 는 동일한 면에 각각 위치될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 의 각각의 카메라 (112) 는 수평면에 위치될 수 있고, 각각의 카메라 (112) 는 수평면을 따라 정향된 FOVH 및 수평면에 수직하도록 정향된 FOVV 를 가질 수 있다. 도 3 의 예에서, 카메라들 (112) 은 동일면에 각각 위치되고, 각각의 카메라 (112) 의 FOVH 또한 그 동일면에서 정향된다. 특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 는 각각 동일면에 위치될 수 있고, 각각의 카메라 (112) 의 오리엔테이션 (114) 또한 그 동일면에 위치될 수 있다. 도 3 의 예에서, 카메라들 (112) 은 동일면에 위치되고, 카메라 오리엔테이션들 (예를 들면, 114-L1, 114-L2, 114-R1, 및 114-R2) 또한 그 동일면에 위치되어, 각각의 카메라가 그 동일면에 수평한 방향을 가리킬 수 있다. 특정 실시예들에서, 이미지 센서 높이 디멘션 (dimension) 이 FOVH 에 나란하게 얼라인되어 대응하도록 카메라 (112) 가 배치될 수 있고, 그로 인해 카메라 (112) 의 이미지 센서 높이측이 수평면을 따라 정향된다. 추가적으로, 카메라 (112) 는, 카메라 (112) 이미지 센서의 너비 디멘션이 수평면에 수직하여 정향되도록 배치될 수 있고, 그로 인해 이미지 센서 너비는 FOVV 에 대응한다. 특정 실시예들에서, 카메라 (112) 는, 이미지의 수직적 한도가 수평적 한도보다 더 큰 형상비를 갖는 이미지를 캡쳐할 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 서로 교차 배치된 (interleaved) 복수의 카메라 쌍들 (200) 을 포함할 수 있다. 특정 실시예들에서, 교차 배치되어 있는 카메라 쌍들 (200) 은, 제 1 카메라 쌍 중 하나의 카메라가 인접한 제 2 카메라 쌍의 카메라들 사이에 위치된 모습의 카메라 배치를 가리킬 수 있다. 추가적으로, 제 2 카메라 쌍 중 하나의 카메라 또한 제 1 카메라 쌍의 카메라들 사이에 위치될 수 있다. 특정 실시예들에서, 인접하거나 접해있는 카메라 쌍 (200) 은 서로 나란히 위치된 카메라 쌍 (200) 을 가리킬 수 있고, 또는 카메라 쌍 (200) 의 하나의 카메라가 다른 카메라 쌍 (200) 의 두 카메라들 사이에 위치되도록 배치된 카메라 쌍 (200) 을 가리킬 수 있다. 특정 실시예들에서, 교차 배치된 카메라 쌍들 (200) 은, 제 1 카메라 쌍의 적어도 하나의 카메라에 의해 제 2 카메라 쌍이 서로 이격된 모습의 카메라 배치를 가리킬 수 있다. 추가적으로, 제 2 카메라 쌍의 적어도 하나의 카메라에 의해 제 1 카메라 쌍 또한 서로 이격될 수 있다. 도 3 의 예에서, 카메라 쌍 (L2-R2) 은 카메라 쌍 (L1-R1) 사이에 개재되고 (interleaved), 그 반대도 마찬가지이다. 카메라 쌍들 (L1-R1 및 L2-R2) 이 교차 배치되고 (interleaved), 그러하여 카메라 (R2) 는 카메라들 (L1 및 R1) 사이에 위치되고, 카메라 (L1) 는 카메라들 (L2 및 R2) 사이에 위치된다. 유사하게, 카메라 쌍들 (L1-R1 및 L n -R n ) 또한 서로 교차 배치된다. 카메라 쌍들 (L1-R1 및 L n -R n ) 은 교차 배치되고, 그러하여 카메라들 (L1 및 R1) 이 적어도 카메라 (L n ) 에 의해 이격되고, 카메라들 (L n -R n ) 은 적어도 카메라 (R1) 에 의해 이격된다. 도 3 의 예에서, 카메라 쌍 (L1-R1) 은 2 개의 인접 카메라 쌍들인 카메라 쌍 (L2-R2) 과 카메라 쌍 (L n -R n ) 사이에 개재된다.
특정 실시예들에서, 카메라 시스템 (110) 은 카메라들 (112) 의 제 1 쌍 (200) 을 포함할 수 있고, 여기서, 제 1 쌍의 카메라들은, 카메라들 (112) 의 제 2 쌍 (200) 중 적어도 하나의 카메라 (112) 에 의해 서로 이격될 수 있다. 도 3 의 예에서, 카메라 쌍 (L1-R1) 의 카메라들 (L1 및 R2) 은 카메라 쌍 (L2-R2) 의 카메라 (R2) 에 의해 서로 이격된다. 추가적으로, 제 1 카메라 쌍은 제 2 카메라 쌍의 오리엔테이션 (114) 과는 상이한 오리엔테이션 (114) 을 가질 수 있다. 도 3 의 예에서, 카메라 쌍 (L1-R1) 의 오리엔테이션 (114-L1 또는 114-R1 에 의해 표현될 수 있음) 은 카메라 쌍 (L2-R2) 의 오리엔테이션 (114-L2 또는 114-R2 에 의해 표현될 수 있음) 과 상이하다. 특정 실시예들에서, 카메라 시스템 (110) 은 또한 제 3 카메라 쌍 (예를 들어, 도 3 에서 L n -R n ) 을 포함할 수 있고, 제 1 카메라 쌍 (예를 들어, L1-R1) 의 카메라들은 제 3 카메라 쌍 (예를 들어, L n -R n ) 의 카메라 (예를 들어, L n ) 에 의해 서로 이격될 수 있다. 추가적으로, 제 3 카메라 쌍은 제 2 카메라 쌍의 오리엔테이션 (114) 과 상이한 오리엔테이션 (114) 을 가질 수 있다. 본 개시가 특정 배치로 배열된 특정 카메라들을 갖는 특정 카메라 시스템을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 배치로 배열된 임의의 적합한 카메라들을 갖는 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 은 특정 오리엔테이션 (114) 을 갖는, 복수의 교차 배치된 카메라 쌍들 (200) 을 포함할 수 있다. 특정 실시예들에서, 각각의 카메라 쌍 (200) 의 카메라들 (112) 은 균일하게 배열될 수 있고, 그러하여 각각의 카메라 쌍 (200) 이 하나 이상의 인접한 카메라 쌍들 (200) 에 대해 Θ 각도로 정향된다. 특정 실시예들에서, Θ 각도는 카메라들 (112) 의 인접한 쌍들 (200) 간의 오리엔테이션들 (114) 에서의 차이 또는 각도 간격 (angular spacing) 에 대응할 수 있다. 도 3 의 예에서, 카메라들 (L1 및 R1) 은, 카메라들 (L1 및 R1) 각각의 대략적으로 평행한 오리엔테이션들 (114-L1 및 114-R1) 에 의해 표현된 바와 같이, 동일한 방향을 가리키고 있다 유사하게, 카메라들 (L2 및 R2) 은 각각, 카메라들 (L2 및 R2) 각각의 대략적으로 평행한 오리엔테이션들 (114-L2 및 114-R2) 에 의해 표현된 바와 같은 방향을 따라 가리키고 있고, 여기서, 오리엔테이션들 (114-L2 및 114-R2) 은 카메라 쌍 (L1-R1) 의 오리엔테이션과 상이하다. 특정 실시예들에서, 인접한 카메라 쌍들 (200) 간의 Θ 각도는 카메라 시스템 (110) 각각의 카메라 쌍 (200) 에 대해 대략적으로 동일할 수 있고, 그로 인해 카메라 쌍들 (200) 의 오리엔테이션들 (114) 간에 균일한 차이로 카메라 쌍들 (200) 이 배열된다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 의 인접한 카메라 쌍들 (200) 은 각각 서로에 대해, 26 °, 30 °, 36 °, 45 °, 60 °, 90 °, 또는 임의의 적합한 각도로 정향될 (oriented) 수 있다. 도 3 의 예에서, 카메라 쌍 (L2-R2) 은 카메라 쌍 (L1-R1) 에 대해 Θ ≒ 30 ° 로 정향된다. 특정 실시예들에서, n 개의 균일한 간격으로 원을 따라 배열된 카메라 쌍들 (200) 을 갖는 카메라 시스템 (110) 에서 (n은 양의 정수임), 각각의 인접한 카메라 쌍 간의 Θ 각도는, Θ ≒ 360 °/n 와 같이 표현될 수 있다. 한정하고자 함은 아니고 일례로서, n = 12 로서, 균일한 간격으로 떨어진 원형 배치로 분포된 12 개의 카메라 쌍들을 갖는 카메라 시스템 (110) 에서, 각각의 인접한 카메라 쌍 간의 Θ 각도는 대략적으로 360 °/12 = 30 ° 이다. 한정하고자 함은 아니고 다른 예로서, n = 8 로서, 균일한 간격으로 떨어진 원형 배치로 분포된 8개의 카메라 쌍들을 갖는 카메라 시스템 (110) 에서, 각각의 인접한 카메라 쌍 간의 Θ 각도는 대략적으로 360 °/8 = 45 ° 이다.
특정 실시예들에서, 제 1 및 제 2 카메라 쌍 (200) 은 교차 배치될 수 있고, 그러하여 제 2 카메라 쌍의 우측 카메라 (112) 는 제 1 카메라 쌍의 좌측 카메라 (112) 에 인접하고, 제 2 카메라 쌍의 우측 카메라 (112) 의 FOVH 중앙은 제 1 카메라 쌍의 좌측 카메라 (112) 의 FOVH 중앙과 교차한다. 도 3 의 예에서, 제 1 카메라 쌍 (L1-R1) 은 제 2 카메라 쌍 (L2-R2) 사이에 개재되고, 그러하여 우측 카메라 (R2) 는 좌측 카메라 (L1) 에 인접하고, 카메라 (R2) 의 FOVH 의 중앙 (오리엔테이션 (114-R2 ) 에 의해 표현된 바와 같음) 은 카메라 (L1) 의 FOVH 의 중앙 (오리엔테이션 (114-L1) 에 의해 표현된 바와 같음) 과 교차한다. 특정 실시예들에서, 제 1 및 제 3 카메라 쌍 (200) 은 교차 배치될 수 있고, 그러하여 제 3 카메라 쌍의 좌측 카메라 (112) 는 제 1 카메라 쌍의 우측 카메라 (112) 에 인접하고, 제 3 카메라 쌍의 우측 카메라 (112) 의 FOVH 중앙은 제 1 카메라 쌍의 좌측 카메라 (112) 의 FOVH 중앙과 교차한다. 도 3 의 예에서, 제 1 카메라 쌍 (L1-R1) 은 제 n 카메라 쌍 (L n -R n ) 사이에 개재되고, 그러하여 좌측 카메라 (L n ) 는 우측 카메라 (R1) 에 인접하고, 카메라 (L n ) 의 FOVH 의 중앙 (오리엔테이션 (114-L n ) 에 의해 표현된 바와 같음) 은 카메라 (R1) 의 FOVH 의 중앙 (오리엔테이션 (114-R1) 에 의해 표현된 바와 같음) 과 교차한다. 본 개시가 특정 방식으로 교차 배치된 특정 카메라 쌍들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 교차 배치된 임의의 적합한 카메라 쌍들을 상정한다.
특정 실시예들에서, 인접한 카메라 쌍들 (200) 간의 Θ 각도는 카메라 시스템 (110) 의 하나 이상의 카메라 쌍들 (200) 에 대해 상이할 수 있고, 그로 인해 카메라 쌍들 (200) 은 균일하지 않은 각도 간격을 가질 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 에서 카메라 쌍들 (200) 의 각도 간격 또는 분포는 각각의 카메라 (112) 의 FOVH 에 적어도 일부 기초하여 달라질 수 있다. 예를 들어, 카메라 시스템 (110) 중에서 더 좁은 FOVH 를 갖는 어떤 카메라 쌍들 (200) 은, 더 넓은 FOVH 를 갖는 다른 카메라 쌍들 (200) 은 50 ° 의 각도 간격을 가지는 동안, 30 ° 의 각도 간격을 가질 수 있다. 본 개시가 특정 각도 간격의 특정 카메라 쌍들을 갖는 특정 카메라 시스템을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 각도 간격의 임의의 적합한 카메라 쌍들을 갖는 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 좌측 카메라들 (예를 들어, L1, L2, 등으로서, 사람의 좌안에 대응함) 의 세트의 각각의 FOVH 또는 우측 카메라들 (예를 들어, R1, R2, 등으로서, 사람의 우안에 대응함) 의 세트의 각각의 FOVH는 그 세트 내에서 이웃한 카메라들과 각 오버랩 (angular overlap, 116) 을 가질 수 있다. 도 3 의 예에서, 각 오버랩 (116) 은 이웃한 카메라들 (R1 및 R2) 에 의해 캡쳐된 이미지들 간에 오버랩 또는 공유된 부분에 해당한다. 도 3 에서 카메라들 (R2 및 R3), 카메라들 (R n 및 R1), 카메라들 (L1 및 L2), 및 카메라들 (L n and L n -1) 은 또한 유사한 각 오버랩들을 공유할 수 있다. 특정 실시예들에서, 각 오버랩 (116) 을 갖는 이웃한 카메라들 (112) 은, 카메라들 (112) 의 수평적 FOV 들의 10% 내지 30% 의 오버랩을 가질 수 있다. 한정하고자 함은 아니고 일례로서, 10%-30%가 오버랩하는 수평적 FOV 들을 갖는 이웃한 카메라들은 10% 내지 30% 가 오버랩하는 이미지들을 각각 캡쳐할 수 있다. 한정하고자 함은 아니고 다른 예로서, FOVH ≒ 50 ° 이고, 약 10 ° 의 각 오버랩 (116) 을 각각 갖는 이웃한 카메라들은, 약 20% (=10 °/50 °) 의 이미지 오버랩 또는 각 오버랩을 가지는 것이라 할 수 있다. 특정 실시예들에서, 그리고 후술되는 바와 같이, 이미지 특징들을 식별하고 카메라 시스템 (110) 에 의해 캡쳐된 전체 뷰를 이음새 없이 (seamlessly) 보여주는 스티칭된 이미지 (stitched image) 를 생성하기 위해 각 오버랩 (116) 이 이용될 수 있다. 본 개시가 특정 각 오버랩들을 갖는 특정 카메라들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 각 오버랩들을 갖는 임의의 적합한 카메라들을 상정한다.
도 4 는 예시적인 카메라 시스템 (110) 에 대한 평면도를 도시한다. 후술되는 바와 같이, 카메라 시스템 (110) 은 카메라들 (112) 의 스테레오스코픽 쌍 (200) 의 공간적인 배열 (spatial arrangement) 을 포함할 수 있고, 그 카메라들 (112) 은 이미지들을 캡쳐하고, 360 ° 및 스테레오스코픽 3-D 포맷으로 실시간 비디오를 기록 또는 스트림 (stream) 하도록 구성된다. 특정 실시예들에서, 카메라 시스템 (110) 은 n개의 카메라 쌍들 (200) 을 형성하는 2n 개의 카메라들 (112) 를 포함할 수 있다 (n은 양의 정수임). 특정 실시예들에서, 카메라 시스템 (110) 은 n = 1, 2, 3, 4, 6, 8, 10, 12, 14, 16, 도는 임의의 적합한 개수의 카메라 쌍들 (200) 을 포함할 수 있다. 한정하고자 함은 아니고 예들로서, 카메라 시스템 (110) 은 n=4 개의 카메라 쌍들 (200) 을 형성하는 8개의 카메라들 (112) 를 포함할 수 있고, 또는 카메라 시스템 (110) 은 n=8 개의 카메라 쌍들 (200) 을 형성하는 16개의 카메라들 (112) 를 포함할 수 있다. 도 4 의 예에서, n 은 12 이고, 카메라 시스템 (110) 은 12 개의 카메라 쌍들 (200, 예를 들어, L1-R1 부터 L12-R12) 을 형성하는 24개의 카메라를 포함한다. 앞에서 논의된 바와 같이, 카메라 시스템 (110) 의 카메라 쌍들 (200) 은 균일하게 배열될 수 있고, 그로 인해 인접한 카메라 쌍들 (200) 은 서로에 대해 Θ ≒ 360 °/n 각도로 정향된다. 도 4 의 예에서, n 은 12 이고, 카메라 시스템 (110) 의 중앙으로부터 카메라 쌍들 (200) 까지 그려진 반경 라인들 (R) 사이의 각도들 (30 °) 로 표현된 바와 같이, 카메라 쌍들 (200) 은 서로에 대해 약 30° (= 360 °/12) 로 정향된다.
특정 실시예들에서, 이웃한 좌측 카메라들의 수평적 FOV 들이 오버랩되고, 유사하게, 이웃한 우측 카메라들의 수평적 FOV 들이 오버랩될 수 있도록, 카메라 시스템 (110) 의 카메라들 (112) 이 구성될 수 있다. 도 4 의 예에서, 이웃한 좌측 카메라들의 각각의 쌍 (예를 들어, L1 및 L2, L2 및 L3, 등) 은, 10% 내지 30% 의 수평적 FOV들의 오버랩을 가질 수 있다. 유사하게, 이웃한 우측 카메라들의 각각의 쌍 (예를 들어, R1 및 R2, R2 및 R3, 등) 은, 10% 내지 30% 의 수평적 FOV들의 오버랩을 가질 수 있다. 특정 실시예들에서, 좌측 카메라들 (예를 들어, 도 4 에서 L1-L12) 의 각각의 세트는 그에 대응하는 좌측 이미지들의 세트를 캡쳐하도록 정향될 수 있고, 그 좌측 이미지들의 세트는 카메라 시스템 (110) 주변의 360 ° 전체 뷰 (full 360 ° view) 를 커버한다. 유사하게, 우측 카메라들 (예를 들어, 도 4 에서 R1-R12) 의 각각의 세트는 그에 대응하는 우측 이미지들의 세트를 캡쳐하도록 정향될 수 있고, 그 우측 이미지들의 세트는 카메라 시스템 (110) 주변의 360 ° 전체 뷰 (full 360 ° view) 를 커버한다.
특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 은 대략적으로 원형 배치로 배열될 수 있고, 카메라들 (112) 은 카메라 바디 (118, camera body) 의 원주나 바깥쪽 에지에, 또는 그 근처에 위치된다. 특정 실시예들에서, 카메라 바디 (118) 는 카메라 시스템 (110) 의 카메라들 (112), 나아가 하나 이상의 파워 서플라이들 또는 프로세서들과 같은 카메라 시스템 (110) 의 일부 디바이스들을 담거나, 수용하거나, 또는 둘러싸는 기계적인 구조, 인클로져 (enclosure), 또는 캐스팅 (casting) 에 해당할 수 있다. 도 4 의 예에서, 카메라 시스템 (110) 의 24개의 카메라들 (112) 은 원형의 모양을 갖는 카메라 바디 (118) 의 바깥쪽 에지 근처에 원형 배치로 배열된다. 특정 실시예들에서, 카메라 시스템 (110) 의 각각의 카메라 쌍 (200) 의 오리엔테이션 (114) 이 공통의 중앙 포인트 (117) 로부터 멀어지거나 방사상 바깥 방향으로 향하도록, 각각의 카메라 쌍 (200) 이 얼라인될 수 있다. 도 4 의 예에서, 중앙 포인트 (117) 는 카메라 시스템 (110) 의 바디 (118) 의 중앙에 해당하고, 각각의 카메라 쌍의 오리엔테이션은, 반경 라인 (R) 으로 표현된 바와 같이, 중앙 포인트 (117) 로부터 방사상 바깥 방향으로 향한다. 특정 실시예들에서, 카메라 시스템 (110) 의 카메라 바디 (118) 는 약 10 cm, 15 cm, 20 cm, 25 cm, 30 cm, 또는 임의의 적합한 사이즈의 직경 (119), 너비, 또는 사이즈를 가질 수 있다. 도 4 의 예에서, 카메라 바디 (118) 는, 약 20cm 직경 (119) 의 바깥쪽 에지를 가질 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은, 그것이 회전할 때 인간 머리의 사이즈에 비교할 수 있는 사이즈를 가질 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 바디 (118) 는 약 20cm 의 직경을 가질 수 있고, 카메라 쌍들 (200) 은 사람이 머리를 회전시킬 때 사람의 양안의 위치에 대응하도록 위치될 수 있다. 본 개시가 특정 사이즈들을 갖는 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 사이즈들을 갖는 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 의 2 개 이상의 카메라들 (112) 은 서로에게 인접한 것이라 할 수 있다. 특정 실시예들에서, 서로에게 인접한 2 개의 카메라들 (112) 은, 그 사이에 다른 카메라가 위치되어 있지 않고, 서로 나란히 또는 근처에 위치된 2 개의 카메라들을 가리킬 수 있다. 도 4 의 예에서, 카메라들 (L1 및 R3) 은 서로에게 인접하고, 카메라들 (L2 및 R3) 은 서로에게 인접한다. 도 4 에서 카메라 (R1) 은 카메라 (L11) 및 카메라 (L12) 에 인접한다. 특정 실시예들에서, 인접한 카메라들은 카메라들의 특정 세트 내에서, 그 세트의 일부가 아닌 다른 카메라들에 상관 없이, 식별될 수 있다. 한정하고자 함은 아니고 일례로서, 좌측 카메라들의 세트 내의 2 개의 카메라들은, 그 사이 또는 근처에 우측 카메라가 위치된 경우더라도, 서로에 인접해 있는 것으로 식별될 수 있다. 도 4 에서 좌측 카메라들 (L1 내지 L12) 의 세트에 있어 카메라 (L1) 는 카메라들 (L2 및 L12) 에 인접하고, 우측 카메라들 (R1 내지 R12) 의 세트에 있어, 카메라 (R1) 및 카메라 (R2) 는 인접한다.
도 5 는 카메라 시스템 (110) 의 카메라들 (112) 에 의해 캡쳐된 이미지들 (I1 내지 I8) 의 예시적인 세트를 도시한다. 한정하고자 함은 아니고 일례로서, 이미지들 (I1 내지 I8) 은 카메라 시스템 (110) 의 좌측 카메라들 (L1 내지 L8) 에 의해 캡쳐된 이미지들에 대응할 수 있다. 이미지들 (I1 내지 I8) 은 도 3 또는 도 4 에서 도시된 것과 유사한 카메라 시스템 (110) 을 이용하여 캡쳐된 이미지들에 해당할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 의 우측 카메라들 (112) 의 세트에 의해 캡쳐된 이미지들의 세트는, 이웃한 이미지들 사이에서 오버랩 영역들 (210) 을 가질 수 있고, 오버랩 영역들 (210) 은 대략적으로 동일한 장면에 대응하는 이웃한 이미지들의 부분들 또는 구역들에 해당한다. 도 5 의 예에서, 오버랩 영역 (2105-6) 은 이웃한 이미지들 (I-5 및 I-6) 간의 오버랩에 해당하고, 오버랩 영역 (2105-6) 에서 캡쳐된 장면 (scene) 은 다리 (bridge) 의 일부와 구름의 우측부를 포함한다. 유사하게, 오버랩 영역 (2106-7) 은 이웃한 이미지들 (I-6 및 I-7) 간의 오버랩에 해당하고, 오버랩 영역 (2106-7) 에서 캡쳐된 장면 (scene) 은 교탑 (bridge tower) 을 포함한다.
특정 실시예들에서, 오버랩 영역 (210) 은 이웃한 카메라들 (112) 의 수평적 FOV 들의 오버랩에 대응할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 의 좌측 또는 우측 카메라들 (112) 에 의해 캡쳐된 이웃한 이미지들은 10% 내지 30% 의 오버랩을 가질 수 있다. 특정 실시예들에서, 오버랩의 정도 또는 비율은 이미지의 높이, 너비, 또는 영역에 대한 오버랩 영역의 높이, 너비, 또는 영역의 비율에 대응한다. 도 5 의 예에서, 이미지들 (I-5 및 I-6) 간의 오버랩 정도는, 이미지 (I-5 또는 I-6) 의 너비 (206) 에 의해 나뉘어진 오버랩 영역 (2105-6) 의 너비 (204) 와 동일하다. 특정 실시예들에서, 오버랩 영역 (210) 의 디멘션 또는 이미지의 디멘션은 거리 관점 (예를 들어, mm 또는 cm 단위) 또는 픽셀수 관점으로 표현될 수 있다. 도 5 의 예에서, 만약 오버랩 영역 너비 (204) 가 162 픽셀이고 이미지 너비 (206) 가 1080 픽셀인 경우, 이미지들 (I-5 및 I-6) 간의 오버랩은 15% (= 162/1080) 이다. 본 개시가 특정 오버랩 영역들 또는 오버랩 정도를 가지는 특정 이미지들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 오버랩 영역들 또는 오버랩 정도를 갖는 임의의 적합한 이미지들을 상정한다.
특정 실시예들에서, 이미지의 수직적 한도 (207) 가 이미지의 수평적 한도 (206) 보다 더 큰 형상비 (aspect ratio) 를 갖는 이미지를 캡쳐하도록, 카메라 (112) 가 위치될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 는 1920 픽셀의 수직적 한도와 1080 픽셀의 수평적 한도를 갖는 이미지를 캡쳐할 수 있다. 도 5 의 예에서, 이미지 (I-6) 는 수평적 한도 (206) 보다 더 큰 수직적 한도 (207) 를 가진다.
특정 실시예들에서, 인접한 이미지들 또는 이웃한 이미지들은, 서로 나란히 위치되어 공통의 오버랩 영역 (210) 을 공유하는 이미지들을 가리킬 수 있다. 도 5 의 예에서, 이미지들 (I-2 및 I-3) 은 인접하고, 이미지 (I-6) 는 이미지들 (I-5 및 I-7) 에 인접한다. 특정 실시예들에서, 인접한 이미지들은 각각의 인접한 카메라들에 의해 캡쳐된 이미지들에 대응할 수 있다. 도 5 의 예에서, 이미지들 (I1 내지 I8) 은 좌측 카메라들 (예를 들어, 도 4 의 L1 내지 L8) 에 의해 캡쳐된 이미지들 각각에 대응할 수 있다. 이미지들 (I1 및 I2) 는 인접한 이미지들이고, 이 이미지들은 인접한 좌측 카메라들 (L1 및 L2) 각각에 의해 캡쳐된 이미지들일 수 있다.
도 6 은 예시적인 카메라 시스템 (110) 에 대한 측면도를 도시한다. 특정 실시예들에서, 카메라 시스템 (110) 은, 카메라 시스템 (110) 의 주변을 따라 배열된 사이드 카메라들 (112, side cameras) 에 의해 캡쳐된, 원통형 사이드 뷰 (cylindrical side view) 상에서 "지붕 (roof)" 을 생성하는 하나 이상의 탑 카메라들 (112T, top cameras) 을 포함할 수 있다. 특정 실시예들에서, 사이드 카메라들 (112) 은 평면 배치로 배열된 카메라들 (112) 을 가리킬 수 있고, 카메라들 (112) 의 각각의 오리엔테이션들 (114) 은, 도 3 또는 도 4 에서 도시된 카메라들 (112) 과 같이 동일 면 내에 위치된다. 특정 실시예들에서, 탑 카메라 (112T) 는, 사이드 카메라들 (112) 로부터의 이미지들과 결합될 수 있는 위쪽으로의 뷰 (upward view) 를 제공할 수 있고, 그로 인해 사용자는 3-D 비디오를 관람할 때 위 (나아가 사용자의 좌나 우, 또는 FOVV 의 아래쪽으로의 한도 내에서 아래) 를 볼 수 있다 . 특정 실시예들에서, 카메라 시스템 (110) 은, 위를 가리키는 하나 이상의 탑 카메라들 (112T), 나아가 아래를 가리키는 하나 이상의 바텀 카메라들 (bottom cameras, 미도시) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사이드 카메라들 (112) 로부터의 이미지들은 탑 카메라 (112T) 와 바텀 카메라로부터의 이미지들과 결합될 수 있고, 그로 인해 사용자는 3-D 비디오를 관람할 때 어느 방향이든 볼 수 있다 (좌, 우, 위, 또는 아래). 특정 실시예들에서, 카메라 시스템 (110) 은 2 개 이상의 탑 카메라들 (112T, 예를 들어, 스테레오스코픽 쌍을 형성할 수 있는 좌측 탑 카메라와 우측 탑 카메라) 을 포함할 수 있고, 사용자가 3-D 비디오를 보면서 위를 올려다 보는 동안 사용자의 3-D 지각을 향상시키기 위해, 탑 카메라들 (112T) 로부터의 이미지들이 결합될 수 있다. 본 개시가 특정 탑 카메라들 또는 특정 바텀 카메라들을 갖는 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 탑 카메라들 또는 임의의 적합한 바텀 카메라들을 갖는 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 탑 카메라 (112T) 는 하나 이상의 사이드 카메라들 (112) 의 수직적 시계 (FOVV) 와 오버랩하는 시계 (FOVT) 를 가질 수 있다. 한정하고자 함은 아니고 일례로서, 탑 카메라 (112T) 로부터의 이미지의 바깥쪽 에지 부분은 카메라들 (112) 로부터의 이미지들의 상부를 10-30% 오버랩할 수 있다. 도 6 의 예에서, 각 오버랩 (116) 은 탑 카메라 (112T) 의 FOVT 와 사이드 카메라 (112) 의 FOVV 간의 오버랩에 해당한다. 특정 실시예들에서, 탑 카메라 (112T) 는 상대적으로 큰 FOVT를 가질 수 있다. 한정하고자 함은 아니고 일례로서, 탑 카메라 (112T) 는 어안 렌즈 (fisheye lens) 를 포함할 수 있고, 탑 카메라 (112T) 의 FOVT 는 140 ° 내지 185 ° 범위 내일 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 사이드 카메라들 (112) 의 세트를 포함할 수 있고, 탑 카메라 (112T) 를 포함하지 않을 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 140 ° 내지 185 ° 범위 내의 FOVV 를 갖는 사이드 카메라들 (112) 을 포함할 수 있고, 사이드 카메라들 (112) 은 탑 카메라의 이용 없이, 모든 또는 대부분의 360 ° 전체 뷰를 캡쳐하도록 구성될 수 있다. 특정 실시예들에서 그리고 도 6 에 도시된 바와 같이, 카메라 시스템 (110) 은 사이드 카메라들 (112) 의 세트, 나아가 탑 카메라 (112T) 를 포함할 수 있다. 특정 실시예들에서, 탑 카메라 (112T) 를 갖는 카메라 시스템 (110) 은, 탑 카메라가 없는 카메라 시스템 (110) 에 비해, 사이드 카메라들 (112) 이 축소된 FOVV를 가질 수 있게끔 할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 100 ° 내지 160 ° 범위 내의 FOVV 를 갖는 사이드 카메라들 (112) 을 포함할 수 있다 (여기서, FOVV 는 탑 카메라 (112T) 의 FOVT 와 오버랩함).
특정 실시예들에서, 탑 카메라 (112T) 는 카메라 시스템 (110) 의 상면 근처에 위치될 수 있고, 또는 도 6 에 도시된 바와 같이, 탑 카메라 (112T) 는 카메라 시스템 (110) 의 상면을 기준으로 움푹 들어가거나 만입될 수 있다. 한정하고자 함은 아니고 일례로서, 탑 카메라 (112T) 는 움푹 들어간 곳에 위치될 수 있고, 움푹 들어간 곳은 사이드 카메라들 (112) 과 더 넓은 오버랩양을 제공할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 의 사이드 카메라들 (112) 은 각각, 카메라 시스템 (110) 의 수평면에 평행한 오리엔테이션 (114) 을 가질 수 있고, 탑 카메라 (112T) 의 오리엔테이션 (114T) 은 오리엔테이션들 (114) 에 대해 대략적으로 직교할 수 있다. 도 6 의 예에서, 사이드 카메라들 (112) 은 수평적으로 정향되고, 탑 카메라 (112T) 는 수직적 오리엔테이션 (114T) 을 가진다. 본 개시가 특정 배열들, 오리엔테이션들, 또는 시계들을 갖는 특정 탑 카메라들과 특정 에지 카메라들을 구비한 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 배열들, 오리엔테이션들, 또는 시계들을 갖는 임의의 적합한 탑 카메라들과 임의의 적합한 에지 카메라들을 구비한 임의의 적합한 카메라 시스템들을 상정한다.
도 7 은 카메라 시스템 (110) 의 카메라들 (112) 에 의해 캡쳐된, 오버랩핑 이미지들의 예시적인 세트를 도시한다. 특정 실시예들에서, n 개의 카메라 쌍들 (200) 과 하나의 탑 카메라 (112T) 를 구비한 카메라 시스템 (110) 은 비디오의 각각의 프레임에 대해 2n+1 개의 이미지들을 캡쳐할 수 있다. 도 7 에 도시된 이미지들은, 도 6 에서 도시된 것과 유사하게, 카메라 시스템 (110) 의 2n 개의 사이드 카메라들 (112) 과 탑 카메라 (112T) 를 이용하여 캡쳐될 수 있다. 특정 실시예들에서, n개의 좌측 카메라들 (112) 과 n개의 우측 카메라들 (112) 은, 전술된 바와 같이 짝을 지어 교차 배치되는 방식으로 배열될 수 있고, 그로 인해 좌측 카메라 이미지들 (I-L1 내지 I-L n ) 이 오버랩되고 우측 카메라 이미지들 (I-R1 내지 I-R n ) 이 오버랩된다. 도 7 의 예에서, 오버랩 영역들 (210L) 은 이웃한 좌측 카메라들의 이미지들의 오버랩하는 부분들에 해당하고, 오버랩 영역들 (210R) 은 이웃한 우측 카메라들의 이미지들의 오버랩하는 부분들에 해당한다. 한정하고자 함은 아니고 일례로서, 이웃한 좌측 카메라들 (2 및 3) 은, 오버랩 영역 (210L2 -3) 을 갖는 이미지들 (I-L2 및 I-L3) 을 각각 캡쳐할 수 있다. 도 7 의 예에서, 이미지 (I-Top) 는 탑 카메라 (112T) 에 의해 캡쳐된 이미지에 해당하고, 오버랩 영역 (210T) 은, 사이드 카메라들 (112) 로부터의 이미지들의 상부와 오버랩하는, 이미지 (I-Top) 의 바깥쪽 에지 부분에 해당한다. 특정 실시예들에서, 하나 이상의 사이드 카메라들 (112) 로부터의 이미지들과 탑 이미지 (I-Top) 를 스티칭 (stitching) 하기 위해 오버랩 영역 (210T) 이 이용될 수 있다.
특정 실시예들에서, 각각의 좌측 카메라 오버랩 영역 (210L) 이, 그에 대응하는 우측 카메라 (112) 의 하나의 이미지 내에서 캡쳐되고, 각각의 우측 카메라 오버랩 영역 (210R) 이, 그에 대응하는 좌측 카메라 (112) 의 하나의 이미지 내에서 캡쳐되도록, 좌측 및 우측 카메라들 (112) 이 배열될 수 있다. 도 7 의 예에서, 이미지들 (I-L1 및 I-L2) 의 오버랩 영역 (210L1 -2) 은 이미지 (I-R1) 에 대응하고, 그로 인해 좌측 카메라들 (L1 및 L2) 간의 오버랩이 우측 카메라 (R1) 에 의해 캡쳐된다. 유사하게, 이미지들 (I-R2 및 I-R3) 의 오버랩 영역 (210R2 -3) 은 이미지 (I-L3) 에 대응하고, 그로 인해 카메라들 (R2 및 R3) 간의 오버랩이 카메라 (L3) 의 시계 내에 포함된다. 특정 실시예들에서, 그리고 후술되는 바와 같이, 이미지 특징들을 식별하고 스티칭된 이미지 (stitched image) 를 생성하기 위해 2 개의 이미지들 간의 오버랩 영역 (210) 이 이용될 수 있다. 추가적으로, 다른 카메라에 의해 캡쳐된 오버랩 영역 (210) 또한 스티칭 프로세스에서 이용될 수 있다. 도 7 의 예에서, 이미지들 (I-R1 및 I-R2) 은, 그 두 이미지들의 오버랩 영역 (210R1 -2) 에 위치된 특징들에 적어도 일부 기초하여 스티칭될 수 있다. 추가적으로, 이미지 (I-L2) 는 동일한 오버랩 영역을 포함하므로, 이미지 (I-L2) 또한 스티칭 프로세스에서 이용되거나 이미지들 (I-R1 및 I-R2) 에 적용되는 스티칭 프로세스의 정확성을 검사하기 위해 이용될 수 있다. 본 개시가 특정 오버랩 영역들을 갖는 특정 이미지들을 캡쳐하도록 구성된 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 오버랩 영역들을 갖는 임의의 적합한 이미지들을 캡쳐하도록 구성된 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 은, 이미지 내의 오브젝트들에 대한 정보를 획득하기 위한 하나 이상의 뎁스 센서들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 하나 이상의 뎁스 센서들은 카메라 시스템 (110) 의 카메라들 (112) 사이 또는 근처에 위치될 수 있다. 특정 실시예들에서, 카메라들 (112) 의 FOV 내에 위치된 오브젝트들에 대한 뎁스나 거리 (depth) 정보를 결정하기 위해 뎁스 센서 (depth sensor) 가 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 의 FOV 내의 사람이 카메라 시스템 (110) 으로부터 대략 1.5 미터 떨어져 위치된 것 (배경 내의 오브젝트가 대략 4미터 떨어져 위치되는 동안) 을 결정하기 위해 뎁스 센서가 이용될 수 있다. 특정 실시예들에서, 뎁스 정보는 삼각 측량 (triangulation) 기술에 기초하여 결정될 수 있다. 한정하고자 함은 아니고 일례로서, 2 개 이상의 각각의 카메라들 (112) 에 의해 캡쳐된 2 개 이상의 이미지들은, 카메라 시스템 (110) 으로부터 그 이미지들 내 오브젝트의 거리를 결정하기 위해, 삼각 측량을 이용하여 분석될 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 구조형 광 (structured-light) 스캐닝 기술에 기초하여 작동하는 뎁스 센서를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 구조형 광 3-D 스캐너는 투영된 광 패턴 (예를 들어, 레이저 또는 LED와 같은 적외선 광원으로부터의 시트 광 (sheet of light) 또는 패러렐 스트라이프 광 (parallel stripes of light)) 으로 장면 (scene) 을 조명할 수 있고, 그 투영된 광 패턴으로 인해 반사되거나 산란된 광의 이미지는 캡쳐되어 (예를 들어, 뎁스 센서 일부인 카메라에 의해), 장면에서 오브젝트들의 거리를 결정하는데에 이용될 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 비행 시간 (time-of-flight) 기술에 기초하여 작동하는 뎁스 센서를 포함할 수 있다. 오브젝트까지의 거리는, 광 펄스가 오브젝트까지 갔다가 돌아오는데에 요구되는 시간으로부터 결정될 수 있다. 본 개시가 특정 방식으로 작동하는 특정 뎁스 센서들을 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 작동하는 임의의 적합한 뎁스 센서들을 상정한다.
특정 실시예들에서, 뎁스 센서는 카메라 시스템 (110) 근처 (예를 들어, 카메라 시스템 (110) 의 0.1-10 미터 내) 에 위치된 오브젝트들에 관한 뎁스 정보를 제공할 수 있고, 스티칭 프로세스를 향상시키기 위해 뎁스 정보가 이용될 수 있다. 후술되는 바와 같이, 장면 (scene) 의 지오메트리 (geometry) 를 계산하기 위해 스티칭 프로세스는 인접한 카메라들로부터의 오버랩된 이미지들 간의 관련성을 이용할 수 있다. 뎁스 센서를 이용함으로써, 단일의 전반적인 뎁스를 가정하기보다, 하나 이상의 카메라들 (112) 의 FOV 내 항목들의 상대적인 뎁스나 거리가 결정될 수 있다. 특정 실시예들에서, 뎁스 센서 정보는 이미지의 가까운 부분들이 먼 부분들로부터 독립적으로 스티칭될 수 있게끔 할 수 있다. 한정하고자 함은 아니고 일례로서, 가까운 오브젝트와 먼 오브젝트가 따로따로 스티칭되고나서 결합되는 식의 장면 세그멘테이션 (segmentation) 은, 이미지에서 오브젝트들과 카메라 시스템 (110) 간의 거리를 고려함으로써 향상된 스티칭 결과를 제공할 수 있다. 특정 실시예들에서, 뎁스 센서는 카메라 시스템 (110) 에 가까이 위치된 오브젝트의 이미지 일부를 연장하거나, 압축하거나, 또는 와프 (warp) 기능을 제공할 수 있고, 이는 스티칭된 이미지에서 오브젝트의 렌더링을 향상시키는 효과를 낳을 수 있다. 한정하고자 함은 아니고 일례로서, 오브젝트가 카메라 시스템 (110) 에 가까운 경우 (예를 들어, 카메라 시스템 (110) 의 0.5 미터 내에서 사람이 통과하는 경우)에 오브젝트의 거리를 확인하는 것은 스티칭된 이미지의 일그러짐 양을 저감시키는 효과를 낳을 수 있다. 특정 실시예들에서, 뎁스 센서는 카메라 시스템 (110) 의 임계 거리 내의 오브젝트들을 뷰 (view) 로부터 배제하는 기능을 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 에 매우 가까운 것으로 결정된 오브젝트 (예를 들어, 카메라 시스템 (110) 의 0.1 미터 내의 사람 손) 는 이미지 프로세싱 동안에 제거될 수 있고, 그로 인해 오브젝트가 장면의 뷰를 방해하지 않는다.
특정 실시예들에서, 카메라 시스템 (110) 은 하나 이상의 적외선 카메라들을 포함할 수 있고, 여기서, 적외선 카메라는 적외선광 (예를 들어, 대략 0.8 ㎛ 내지 14 ㎛ 파장의 광) 에 민감한 카메라를 가리킬 수 있다. 특정 실시예들에서, 적외선 카메라는 열복사에 민감할 수 있고 또는, 가시광 카메라 (예를 들어, 카메라 (112)) 는 저감된 감도를 가질 수 있는 저광 (low-light) 상황에서도 장면을 이미징하는 기능을 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라들 (112, 가시광 센싱에 최적화된 것일 수 있음) 에 더하여, 카메라 시스템 (110) 은 또한 하나 이상의 적외선 카메라들을 포함할 수 있고, 저광 상황에서 이미지 캡쳐나 렌더링을 향상시키기 위해 카메라들 (112) 과 적외선 카메라들로부터의 정보나 이미지들이 결합될 수 있다. 한정하고자 함은 아니고 다른 예로서, 카메라 시스템 (110) 주변의 360 ° 파노라마 뷰에 걸쳐서 이미지들을 캡쳐하도록 배열된 적외선 카메라들의 세트를, 카메라 시스템 (110) 이 포함할 수 있다. 한정하고자 함은 아니고 또 다른 예로서, 카메라 시스템 (110) 의 카메라들 (112) 은 가시광에 민감하도록 구성될 수 있고, 나아가 적외선에 민감하도록 구성될 수 있다. 본 개시가 특정 가시광 또는 적외선 카메라들을 갖는 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 가시광 또는 적외선 카메라들을 갖는 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 은 카메라들 (112) 과 상이한 뷰를 갖거나, 더 넓은 FOV 를 갖는 장면을 이미징하도록 구성된 하나 이상의 보조 카메라들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 후술되는 바와 같이 카메라들 (112) 의 세트를 포함할 수 있고, 카메라 시스템 (110) 은 또한, 카메라들 (112) 의 FOV 보다 더 넓은 FOV 를 가지는 하나 이상의 어안 카메라들 또는 스테레오스코픽 카메라들을 포함할 수 있다. 특정 실시예들에서, 더 넓은 FOV 를 갖는 보조 카메라들은, 균일한 색이나 텍스처의 광활한 공간 (예를 들어, 벽)을 관람할 때조차, 카메라들 (112) 로부터의 캡쳐된 이미지들이 성공적으로 스티칭될 수 있게끔 할 수 있다. 특정 실시예들에서, 카메라들 (112) 은 상대적으로 좁은 FOV 를 초래할 수 있는 고해상도를 가지도록 구성될 수 있고, 카메라들 (112) 로부터의 고해상도 이미지들이 성공적으로 얼라인되고 스티칭될 수 있게끔 하는 광범위 레퍼런스 (wide-field reference) 를, 더 넓은 FOV 를 갖는 보조 카메라들이 제공할 수 있다.
특정 실시예들에서, 카메라들 (112) 은 대략 180 도 또는 그 이상의 수직적 시계를 캡쳐할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 대략 185 ° 의 FOVV를 갖는 카메라들 (112) 을 포함할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 180 ° 이상의 FOVV를 갖는 카메라들 (112) 의 세트를 포함할 수 있고, 카메라들 (112) 에 의해 전체 뷰가 커버될 수 있으므로, 카메라 시스템 (110) 은 탑 카메라 (112T) 를 포함하지 않을 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 하나 이상의 어안 카메라들을 포함할 수 있고, 여기서, 어안 카메라는 넓은 FOV (예를 들어, 180도 이상의 FOV) 를 갖는 카메라를 가리킬 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 카메라 바디 (118) 의 중앙 근처에 위치된 2, 3, 또는 4개의 어안 카메라들을 포함할 수 있다. 한정하고자 함은 아니고 다른 예로서, 카메라 시스템 (110) 은 어안 카메라들의 하나 이상의 쌍들 (예를 들어, 4개의 어안 카메라들은 2 개의 쌍들로 구성됨) 을 포함할 수 있다. 한 쌍의 어안 카메라는 3-D 이미지들을 캡쳐하도록 구성될 수 있고, 동공간거리 (IPD) 에 대응하는 카메라 상호간 간격 (ICS) 으로 이격된 2 개의 어안 카메라들을 포함할 수 있다. 특정 실시예들에서, 어안 카메라들을 갖는 카메라 시스템 (110) 은 3-D 입체시 (stereopsis, 예를 들어, 뎁스나 3-D 구조의 지각) 를 시뮬레이션하도록 구성될 수 있고, 이미지 구체 (image sphere) 내부에 위치된 하나 이상의 가상 카메라들에 대응할 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 상대적으로 높은 FOVV 와 낮은 FOVH 를 갖는 카메라들 (112) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라들 (112)은 수평보다 수직적으로 더 넓은 시계를 제공하는 렌즈 (예를 들어, 비점수차 보정 렌즈 (astigmatic lens)) 를 가질 수 있다. 한정하고자 함은 아니고 다른 예로서, 카메라들 (112) 은 대략 30 ° 의 FOVH 및 대략 180 ° 의 FOVV 를 가질 수 있다. 특정 실시예들에서, 상대적으로 좁은 수평적 FOV 는, 수평 방향으로 상대적으로 낮은 일그러짐을 갖는 캡쳐된 이미지를 제공할 수 있다. 특정 실시예들에서, 상대적으로 넓은 FOVV에 연관된 수직 방향상의 일그러짐은 렌즈-캘리버레이션 (lens-calibration) 정보에 적어도 일부 기초하는 포스트-캡쳐 프로세싱에 의해 리버스 (reverse) 될 수 있다. 특정 실시예들에서, 수직 방향상의 일그러짐을 제거하는 것은 수직 방향과 수평 방향상 일그러짐을 제거하는 것보다 더 효율적인 프로세스일 수 있다. 한정하고자 함은 아니고 일례로서, 이미지 일그러짐이 주로 하나의 축 (예를 들어, 수직축) 에 대해 발생하므로, 상대적으로 낮은 FOVH 를 갖는 카메라 (112) 는 일그러짐 제거면에서 향상된 효과를 제공할 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 중간 FOV 카메라들 (112) 의 2 개 이상의 세트들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라들 (112) 은 30 내지 90 도의 수직적 및 수평적 FOV 를 가질 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 카메라들 (112) 의 2 개 이상의 세트들을 포함할 수 있고, 여기서, 세트들은 가로줄들에 배열될 수 있다 (예를 들어, 카메라들 (112) 의 하나의 세트 또는 하나의 링 (ring) 이 다른 세트 위에 위치됨). 카메라들 (112) 의 각각의 세트는 이미지들의 링 (ring) 을 캡쳐하도록 구성될 수 있고, 여기서, 각각의 링은 수평 방향으로 360 도 파노라마를 커버하고 수직적 방향으로 중간 FOV (예를 들어, 60 도) 를 커버할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 카메라들 (112) 의 3개의 세트들을 포함할 수 있고, 여기서, 각각의 카메라는 인접한 세트들과 대략 15 도 오버랩하는 대략 65도의 FOVV 를 가질 수 있다. 카메라들 (112) 의 각각의 세트는 고해상도에서 상대적으로 낮은 일그러짐을 갖는 이미지들을 캡쳐할 수 있고, 각각의 링으로부터의 그 이미지들이 결합되어 파노라마 전체 (full panorama) 를 커버하는 고해상도 저일그러짐 이미지들을 생성할 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 복수의 카메라들 (112) 을 포함할 수 있고, 여기서, 카메라들 (112) 은 스테레오스코픽 쌍으로 결합되어 있지 않을 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 12 개의 카메라들을 포함할 수 있고, 여기서, 카메라들은 오버랩하는 수평적 FOV 들을 갖도록 배열되어 360 도 파노라마를 캡쳐할 수 있다. 특정 실시예들에서, 카메라들 (112) 의 오리엔테이션들 (114) 이 공통의 중앙 포인트 (117, 예를 들어, 카메라 시스템 (110) 의 바디 (118) 의 중앙) 로부터 멀어지거나 방사상 바깥 방향으로 향하도록, 카메라들 (112) 이 얼라인될 수 있다. 특정 실시예들에서, 카메라들 (112) 은 3-D 이미지들을 캡쳐하지 않을 수 있고, 이미지 캡쳐 후 스티칭 또는 재구성 프로세스 동안에 3-D 효과가 생성될 수 있다. 한정하고자 함은 아니고 일례로서, 입체시 (steropsis) 를 시뮬레이션하기 위해 포스트-캡쳐 프로세싱이 이미지들에 적용될 수 있다.
특정 실시예들에서, 캘리브레이션 절차 (calibration procedure) 가 카메라들 (112) 또는 카메라 시스템 (110) 에 적용될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112), 카메라 쌍 (200), 또는 카메라 시스템 (110) 은 생성 허용 오차 (production tolerance) 로부터 기인한 포지셔닝 (positioning) 또는 얼라인먼트 에러를 가질 수 있고, 이러한 에러들을 교정하거나 보상하고 이미지들의 향상된 스티칭을 고려하기 위해 캘리브레이션 절차가 이용될 수 있다. 특정 실시예들에서, 카메라 (112) 또는 카메라 쌍 (200) 이 위치 또는 오리엔테이션 에러나 오프셋을 가지는 것을 결정하기 위해 캘리브레이션 절차가 이용될 수 있고, 캡쳐된 이미지들에서 대응하는 에러나 오프셋은 이미지 캡쳐 도중 또는 포스트-캡쳐 프로세스 도중에 교정될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 쌍들 (200) 은 6.5mm 의 ICS 를 가지도록 제조될 수 있고, 캘리브레이션 절차에 의해, 카메라 쌍 (200) 이 7.0mm 의 ICS 를 갖는 것으로 결정될 수 있다. 이미지 캡쳐 동안 또는 포스트-캡쳐 교정 프로세스와 함께, 카메라 쌍 (200) 의 ICS 간 0.5mm 의 불일치와 타겟 ICS 가 교정될 수 있다 (예를 들어, 0.5 mm 에 대응하는 오프셋이 카메라들 (112) 중 하나에 의해 캡쳐된 이미지들에 적용될 수 있음). 한정하고자 함은 아니고 다른 예로서, 카메라 쌍들 (200) 은 인접한 카메라 쌍들 (200) 간에 균일한 30 ° 각도 간격을 가지도록 제조될 수 있고, 캘리브레이션 절차에 의해, 카메라 쌍 (200) 이 인접한 카메라 쌍 (200) 에 대해 29 ° 의 각도 간격을 갖는 것으로 결정될 수 있다. 이미지들이 캡쳐되는 동안 또는 포스트-캡쳐 교정 프로세스 동안, 카메라 쌍들 (200) 간의 1 ° 의 각도 에러가 교정될 수 있다 (예를 들어, 1 ° 회전에 대응하는 오프셋이, 하나 이상의 카메라들 (112) 로부터 캡쳐된 이미지들에 적용될 수 있음).
특정 실시예들에서, 카메라 시스템 (110) 이 제조되고 나서 카메라 시스템 (110) 이 이용되기 이전에, 주기적인 간격 (예를 들어, 매달) 또는 임의의 적합한 때나 시간 간격으로 캘리브레이션 절차가 카메라 시스템 (110) 에 적용될 수 있다. 한정하고자 함은 아니고 일례로서, 성공적인 스티칭 프로세스를 보장하기 위해 이미지 캡쳐 동안 카메라들 (112) 의 위치들과 오리엔테이션들이 알려져 있을 수 있도록, 카메라 시스템 (110) 은 장면을 캡쳐하기 이전에 캘리브레이션 절차를 적용할 수 있다. 한정하고자 함은 아니고 다른 예로서, 온도 변화, 카메라 시스템 (110) 의 노화, 또는 기계적인 충격 (예를 들어, 카메라 시스템 (110) 이 이동 중에 떨어지는 경우) 으로 인한 카메라들 (112) 의 얼라인먼트 불량 (misalignment) 을 교정하기 위해 캘리브레이션 절차가 카메라 시스템 (110) 에 적용될 수 있다. 특정 실시예들에서, 캘리브레이션 절차가 수행되면, 카메라들 (112) 또는 카메라 쌍들 (200) 의 캘리브레이션 에 관한 데이터가 카메라 시스템 (110) 의 비휘발성 메모리에 저장될 수 있다. 본 개시가 특정 방식들로 특정 시기들에 실행되는 특정 캘리브레이션 절차들을 설명하기는 하나, 본 개시는 임의의 적합한 방식들로 임의의 적합한 시기들에 실행되는 임의의 적합한 캘리브레이션 절차들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 은 투영된 광을 이용하여 캘리브레이션될 수 있다. 특정 실시예들에서, 광각 프로젝터 (wide angle projector), 램프 앞의 마스크, 또는 레이져 스캐너나 근처 표면들 상에 광학 캘리브레이션 패턴 (optical calibration pattern) 을 투영하는 리플렉터 (reflector) 를 이용하여, 투영광 캘리브레이션 (projected-light calibration)이 실현될 수 있다. 한정하고자 함은 아니고 일례로서, 근처 표면들 상에 투영되는 캘리브레이션 패턴을 생성하기 위해 레이져 빔이 회절 격자 (diffraction grating)나 전동 미러 (motorized mirror) 에 의해 반사될 수 있다. 카메라 캘리브레이션 파라미터들을 결정하기 위해, 투영된 레이져 패턴이 카메라들 (112) 에 의해 이미징될 수 있다. 특정 실시예들에서, 캘리브레이션 패턴을 생성하기 투영하기 위한 광학 어셈블리 (예를 들어, 레이져, 미러, 또는 격자) 는, 사용중이 아닌 경우 카메라 시스템 바디 (118) 속으로 들어가도록 기계화될 수 있다. 특정 실시예들에서, 상이한 방향들로 캘리브레이션 패턴을 투영하기 위해 광학-캘리브레이션 어셈블리는 회전하도록 구성될 수 있고, 그로 인해 카메라 시스템 (110) 의 상이한 카메라들 (112) 이 캘리브레이션될 수 있다. 특정 실시예들에서, 캘리브레이션의 정확성을 향상시키기 위해 카메라 시스템 (110) 이 제어실이나 구형 표면 (spherical surface) 내부에 위치될 수 있다. 본 개시가 특정 투영광 캘리브레이션 시스템들을 설명하기는 하나, 본 개시는 임의의 적합한 투영광 캘리브레이션 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 의 카메라들 (112) 은 물리적 또는 기계적 프로세스나 구조를 이용하여 캘리브레이션될 수 있다. 한정하고자 함은 아니고 일례로서, 팬 또는 우산 모양 디바이스와 같은 기계적 캘리브레이션 구조는 카메라들 (112) 사이 또는 카메라 시스템 바디 (118) 내부나 아래에 저장될 수 있다. 캘리브레이션 동안, 이러한 물리적 캘리브레이터들은, 카메라 시스템 (110) 에 대해 알려진 위치에 기계적으로 배치될 수 있다. 물리적 캘리브레이터들이 카메라들 (112) 에 의해 이미지될 수 있고, 캘리브레이션 파라미터들을 결정하기 위해, 캡쳐된 이미지들이 알려진 지오메트리 (geometry) 와 비교될 수 있다. 특정 실시예들에서, 기계적 캘리브레이션 디바이스는 카메라 시스템 (110) 으로부터 이격된 물리적 디바이스일 수 있다. 한정하고자 함은 아니고 일례로서, 외부의 캘리브레이션 디바이스는, 캘리브레이션 디바이스에 대해 알려진 정확한 위치에 카메라 시스템 (110) 이 놓여질 수 있게끔 하는 구형의 외부 바디로부터, 안쪽으로 연장하는 내부 살들 (internal spokes) 을 가질 수 있다. 한정하고자 함은 아니고 다른 예로서, 외부의 캘리브레이션 디바이스는, 카메라 시스템 (110) 이 캘리브레이션 디바이스에 대해 정확하게 위치될 수 있게끔 하는 광학 센서들을 포함할 수 있다. 특정 실시예들에서, 캘리브레이션 디바이스의 내부 표면은 카메라들 (112) 에 의해 이미징되는 캘리브레이션 마크들을 가질 수 있고, 캘리브레이션 마크들이 캡쳐된 이미지에 기초하여 카메라들 (112) 또는 카메라 쌍들 (200) 의 캘리브레이션 파라미터들이 결정될 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 은 캘리브레이션 디바이스의 내부 표면에 캘리브레이션 패턴을 투영하는 광학 어셈블리를 포함할 수 있다. 본 개시가 특정 물리적 캘리브레이션 시스템들을 설명하기는 하나, 본 개시는 임의의 적합한 물리적 캘리브레이션 시스템들을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 은 카메라 시스템 (110) 의 일부로서 집적된 하나 이상의 프로세서들을 포함할 수 있고, 카메라 시스템 (110) 은 카메라 시스템 (110) 의 외부에 위치된 하나 이상의 프로세서들과 커플링될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 카메라 시스템 (110) 의 바디 (118) 내부에 위치된 하나 이상의 프론트-엔드 프로세서들 (120) 을 포함할 수 있다. 한정하고자 함은 아니고 다른 예로서, 카메라들 (112) 은 USB 를 통해 하나 이상의 프론트-엔드 프로세서 머신들 (120) 의 세트와 연결될 수 있다. 특정 실시예들에서, 프론트-엔드 프로세서들 (120) 은 카메라들 (112) 의 초기 제어, 카메라 일그러짐 교정, 이미지들의 크로핑 (cropping), 비디오들의 인코딩, 이미지 데이터의 압축, 또는 비디오들의 전송을 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 은 카메라들 (112) 에 연결되고, 초기 이미지 보정들, 카메라 파라미터 제어, 또는 카메라 데이터의 초기 인코딩을 수행하여 비디오 전송 하중을 저감시키는 독립적인 프론트-엔드 프로세서들 (120) 을 포함할 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 에 연관된 프론트-엔드 프로세서들의 개수는 카메라 시스템 (110) 내 카메라들 (112) 의 개수에 적어도 일부 종속할 수 있고, 나아가 카메라들 (112) 에 의해 캡쳐되는 비디오 프레임 레이트나 사이즈에 적어도 일부 종속할 수 있다. 한정하고자 함은 아니고 일례로서, 각각의 카메라 (112) 는 하나 이상의 전용 프로세서들 (120) 에 연결될 수 있다. 본 개시가 특정 방식으로 특정 프로세서들과 커플링된 특정 카메라 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 임의의 적합한 프로세서들과 커플링된 임의의 적합한 카메라 시스템들을 상정한다.
특정 실시예들에서, 하나 이상의 프로세서들 (120) 에 의해, 카메라 파라미터들 (예를 들어, 밝기, 명암, 게인, 노출, 화이트 밸런스, 채도, 초점, 또는 조리개 설정) 이 캘리브레이션되거나, 제어되거나, 맵핑될 수 있다. 특정 실시예들에서, 각각의 카메라 (112) 에 대한 화이트 밸런스 설정은, 각각의 카메라 (112) 가 장면을 다르게 보므로, 다른 카메라들과 독립적으로 설정되거나 제어될 수 있다. 한정하고자 함은 아니고 일례로서, 창문 옆에 위치된 카메라 (112) 는, 인접한 카메라 (112) 가 불그스름한 실내 조명을 보는 동안, 푸르스름한 장면을 볼 수 있고, 그 두 카메라들은 상이한 화이트 밸런스 설정을 가질 수 있다. 특정 실시예들에서, 인접한 카메라들을 위한 설정들이 너부 크게 벗어나지 않도록, 하나 이상의 카메라 파라미터들이 글로벌하게 (globally) 제어될 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 (112) 의 게인이나 노출 설정은, 하나 이상의 인접한 카메라들 (112) 에 적어도 일부 기초할 수 있다. 한정하고자 함은 아니고 다른 예로서, 만약 노출이나 게인 설정이 보정되면, 이미지 밴딩 (image banding) 이나 부적격한 스티칭 수행을 최소화하기 위해 프로세서 (120) 는 인접한 카메라들에 대한 설정들이 동일한 눈 (예를 들어, 인접한 좌측 카메라들 (112) 또는 인접한 우측 카메라들 (112)) 에 대해너무 크게 벗어나지 않게 보장할 수 있다. 특정 실시예들에서, 카메라 초점의 변화에 기인할 수 있는 스티칭 에러들을 최소화 하기 위해 카메라들 (112) 의 초점 설정이 무한대로 유지될 수 있다. 특정 실시예들에서, 스티칭 에러를 감소시키는 효과를 낳을 수 있는 더 넓은 피사계 심도 (depth of field) 를 제공하기 위해 카메라들 (112) 은 축소된 조리개를 갖도록 설정될 수 있다. 본 개시가 특정 방식으로 제어되는 특정 카메라 파라미터들을 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 제어되는 임의의 적합한 카메라 파라미터들을 상정한다.
특정 실시예들에서, 인코딩 프로세스는 카메라 (110) 당 하나의 프론트-엔드 프로세서를 필요로 할 수 있거나, 단일의 프로세서 (120, 단일의 코어 또는 복수의 프로세서 코어들) 가 복수의 카메라들 (110) 에 의해 공유될 수 있다. 프론트-엔드 프로세서 (120) 는 가속기들, 응용 주문형 집적 회로들 (Application-Specific Integrated-Circuit:ASIC), 비디오 데이터의 캡쳐, 변경, 압축, 저장, 또는 전송 작업의 일부들을 다루는 서브 프로세서들을 이용할 수 있다. 각각의 프로세서 (120) 는 범용 운영 체제를 가동할 수 있고, 또는 중앙 제어 프로세서와 함께 완전 또는 거의 락스텝 (lockstep) 으로 작동하는 ASIC 그 자체일 수 있다. 특정 실시예들에서, 중앙 제어 프로세서는 분배기 또는 프론트-엔드 이미지-캡쳐 프로세서들 (120) 에게 지시하기 위한 중앙 제어 포인트로 기능할 수 있고, 특정 실시예들에서, 중앙 프로세서들은 각각의 카메라 (112) 에 접속, 제어하기 위해 복제된 리소스를 가지고, 단일의 큰 ASIC 의 부분들로서 실현될 수 있다. 이러한 경우에, 캡쳐 프로세스를 병행화 (parallelize) 하기 위해 복수의 스레드들 또는 동일한 코드의 카피들 또는 하드웨어 기반 알고리즘이 실행될 수 있다. 특정 실시예들에서, 프론트-엔드 프로세서들 (120) 은 프로세서-로컬 스토리지 시스템을 이용할 수 있고, 또는 하나 이상의 공유된 스토리지 리소스들에게 데이터를 즉시 스트림 (stream) 할 수 있다. 특정 실시예들에서, 분산적 스토리지 (decentralized storage) 가 활용될 수 있고, 시스템 부하 배분 (load distribution) 을 위해 스티칭 시스템의 버퍼로서 프로세서-로컬 스토리지가 이용될 수 있다.
특정 실시예들에서, 프론트-엔드 프로세서들 (120) 은 데이제어ㅢ 전송을 위한 네트워크 또는 버스를 이용할 수 있다. 데이터 전송은 임의의 적합한 데이터 전송 포맷을 이용할 수 있다. 특정 실시예들에서, 수신을 보증하거나 아니면 수신자에게 패킷 손실을 통지하는 전송 방법들이 활용될 수 있다. 특정 실시예들에서, 송신 컴포넌트는 손상된 패킷들을 재전송할 수 있고, 또는 패킷 오염이 발생했음을 나타내는 플래그 (flag) 를 저장된 데이터 스트림에 수신자가 삽입할 수 있게끔 할 수 있다. 특정 실시예들에서, 스티칭 시스템은 손상되거나 손실된 패킷들을 필요에 따라 보상할 수 있다.
특정 실시예들에서, 카메라들 (112) 은 렌즈 일그러짐을 가질 수 있고, 나아가 타겟 위치나 오리엔테이션 (114) 과 관련된 편차를 가질 수 있다. 특정 실시예들에서, 이러한 효과들을 위한 교정들은 고정 (static) 일 수 있고, 미리 캘리브레이션될 수 있고, 프론트 엔드에서 룩업 테이블들을 이용하여 교정될 수 있다. 한정하고자 함은 아니고 일례로서, 파노라마 레벨링 (panorama leveling), 바넷팅 교정 (vignette correction), 렌즈 일그러짐 교정, 화이트 밸런스 교정, 노출 교정과 매칭, 또는 뷰포인트 보정은 이미지에 직접 적용될 수 있다. 이 방식으로, 압축으로 인한 색 또는 특징 변화가 일어나기 이전에 이미지는 오퍼레이션을 받을 수 있고, 이는 가시적인 교정 아티팩트 (artifact) 의 발생을 저감시킬 수 있다. 추가적으로, 엣지 선예도 (edge sharpness), 전반적인 노출, 또는 화이트 밸런스를 향상시키는데에 색 교정이 적용될 수 있다. 특정 실시예들에서, 이미지의 압축된 사이즈를 줄이기 위해 노이즈 저감이 적용될 수 있다. 특정 실시예들에서, 하나 이상의 이미지 교정이나 향상 단계들이 적용된 이후, 프론트-엔드 프로세서들 (120) 은 이미지를 다운샘플링할 수 있다. 한정하고자 함은 아니고 일례로서, 프로세서 집약적인 서브샘플링 프로세스를 이용하는 것 보다는, 출력 이미지가 다운샘플링될 수 있다. 특정 실시예들에서, 후속 스티칭을 위해 이용되는 것보다 더 높은 해상도에서 이미지들이 캡쳐될 수 있고, 이 고해상도 이미지 캡쳐는 교정 또는 향상 단계들에 연관될 수 있는 에일리어싱 (aliasing) 이나 아티팩트들을 경감시키는 데에 도움이 될 수 있다.
특정 실시예들에서, 하나 이상의 스티칭 서버들 (130) 은 카메라 시스템 (110) 의 하나 이상의 프론트-엔드 프로세서들 (120) 에 의해 인코딩된 이미지들을 수신할 수 있다. 전술된 바와 같이, 그 이미지들은 카메라 시스템 (110) 에 의해 실시간으로 캡쳐된 360 ° 3-D 비디오에 대응할 수 있다. 도 1 의 예에서, 이미지들은 TCP 를 이용하여 이더넷 (Ethernet) 네트워크를 통해 프론트-엔드 프로세서들 (120) 로부터 스티칭 서버들 (130) 에게 송신된다. 특정 실시예들에서, 이미지들은 프론트-엔드 프로세서들 (120) 로부터 임의의 적합한 순서로 수신될 수 있고 또는 임의의 적합한 순서로 저장될 수 있다. 한정하고자 함은 아니고 일례로서, 하나 이상의 스티칭 서버들 (130) 에게 전송되기 이전에, 이미지들 (예를 들어, 도 7 의 이미지들 (I-L1 내지 I-Ln)) 은 그들의 공간적인 순서에 대응하는 순서로 배열될 수 있다. 특정 실시예들에서, 이미지들이 전송 또는 이후의 관람을 위해 처리되고 있는 경우와 같이 실시간 수행이 요구되지 않는 경우, 스티칭 시스템은 단일의 스티칭 서버 (130, 또는 2 개 이상의 스티칭 서버들 (130)) 를 포함할 수 있다. 특정 실시예들에서, 실시간 수행이 요구되는 경우 (예를 들어, 전송 또는 실시간 관람을 위해 고해상도, 고프레임 레이트 비디오를 스티칭하는 경우), 스티칭 시스템은 수십 내지 수백개의 스티칭 서버들 (130) 을 포함할 수 있다. 본 개시가 특정 개수의 스티칭 서버들을 포함하는 특정 스티칭 시스템들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 개수의 스티칭 서버들을 포함하는 임의의 적합한 스티칭 시스템들을 상정한다.
특정 실시예들에서, 하나 이상의 스티칭 서버들 (130) 은 하나 이상의 프론트-엔드 프로세서들 (120) 로부터 이산 (discrete) 이미지들의 세트를 수신할 수 있고, 스티칭 서버들 (130) 은 그 이산 이미지들을 스티칭할 수 있고, 전송이나 디스플레이를 위해 단일의 3-D 프레임을 생성할 수 있다. 한정하고자 함은 아니고 일례로서, 스티칭 서버 (130) 는 카메라 시스템 (110) 의 좌측 카메라들 (112) 로부터 좌측 이미지들의 세트를 수신할 수 있고, 스티칭 서버 (130) 는 그 이미지들을 스티칭하거나 결합하여 실시간으로 3-D 이미지의 좌측 프레임을 생성할 수 있다. 유사하게, 스티칭 서버 (130) 는 우측 카메라들 (112) 로부터의 우측 이미지들의 세트를 스티칭하여, 실시간으로 3-D 이미지의 우측 프레임을 생성할 수 있고, 그 좌측 프레임과 그 우측 프레임은 함께 단일의, 실시간 3-D 프레임에 해당할 수 있다. 특정 실시예들에서, 오버랜된 이미지들의 대응하는 포인트들이 서로 매칭되는 것을 보장하기 위해 스티칭 프로세스는 복수의 이산 이미지들을 와프시키거나 (warp), 일그러뜨리거나 (distort), 또는 얼라인 (align) 함으로써 실질적으로 이음새 없는 (seamless) 이미지를 생성할 수 있다. 한정하고자 함은 아니고 일례로서, 그 스티칭된 이미지에 의해 캡쳐된 장면 (scene) 의 지오메트리 (geometry) 를 계산하기 위해 스티칭 프로세스는 인접한 카메라들로부터의 이산 이미지들 간의 관련성을 이용할 수 있다. 한정하고자 함은 아니고 다른 예로서, 스티칭 프로세스는 이산 이미지들을 와프시키거나, 일그러뜨리거나, 또는 얼라인할 수 있고, 그러하여 오버랩된 이미지들의 세트의 대응하는 포인트들이 서로 매칭되고, 그 오버랩된 이미지들의 여분의 부분들이 폐기된다 (discarded). 그 후 스티칭 프로세스는 얼라인된 이미지들의 컬렉션을, 병합된 이음새 없는 (seamless) 이미지에 블렌드 (blend) 시킬 수 있다. 특정 실시예들에서, 눈의 피로감을 저감시키기 위해 사람의 좌안과 우안에 대응하는 이미지들이 조작되어, 양안이 장면의 대응하는 부분들을 보는 것을 보장할 수 있다.
특정 실시예들에서, 하나 이상의 스티칭 서버들 (130) 은 카메라들 (112) 에 의해 캡쳐된 비디오에 대해 스티칭 프로세스를 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 단일의 스티칭 서버 (130, 또는 병렬적으로 작동하는 복수의 스티칭 서버들 (130)) 는 카메라들 (112) 에 의해 캡쳐된 일련의 이미지들에 대해 스티칭을 수행할 수 있다. 도 4 의 예에 도시된 카메라 시스템 (110) 과 같은 멀티-카메라 시스템에서, 캡쳐된 이미지들의 타임-코드 얼라인먼트가 스티칭 프로세스 동안 수행될 수 있다. 특정 실시예들에서, 이미지들 간의 타임 코히어런스 (time coherence) 를 유지하기 위해 비디오의 일련의 이미지들은 락스렙 (lockstep) 으로 스티칭되거나 캡쳐될 수 있다. 한정하고자 함은 아니고 일례로서, 프론트-엔드 프로세서들 (120) 은 각각의 카메라 (112) 에 의해 캡쳐된 각각의 이미지에 대한 타임-코드나 타임스탬프 (timestamp), 예를 들어, 절대적인 현지 시간, 또는 상대적인 시간 계수기의 값을 저장할 수 있다. 예를 들어, 카메라들 (L1 내지 L12) 각각에 의해 캡쳐된 이미지들 (IL-1 내지 IL-12) 은, 이미지가 캡쳐되는 때에 대응하는 타임스탬프를 각각 포함할 수 있다. 특정 실시예들에서, 카메라 (112) 에 의해 캡쳐된 이미지는, 그것이 캡쳐되는 때에 대응하는 타임스탬프를 포함할 수 있고, 3 차원 비디오의 각각의 프레임에 대해, 스티칭 서버 (130) 는 특정 시간 범위 내에 캡쳐됐던 이미지들을 스티칭할 수 있다. 예를 들어, 스티칭 서버 (130) 는, 10 ms, 20 ms, 30 ms, 또는 임의의 적합한 시간 간격 내에 일치하는 타임스탬프들을 스티칭될 이미지들이 가지도록 요청할 수 있다. 다른 예로서, 스티칭 서버 (130) 는, 프레임 주기의 특정량 내에서 동일한 타임스탬프들을 스티칭될 이미지이 가지도록 요청할 수 있고, 여기서, 프레임 주기는 프레임 레이트의 역수이다. 예를 들어, 비디오는, 40ms 의 프레임 주기에 대응하는, 25 FPS 의 프레임 레이트를 가질 수 있고, 스티칭 서버 (130) 는, 하나의 프레임 주기 (예를 들어, 40 ms) 내에서, 반 프레임 주기 (예를 들어, 20 ms) 내에서, 또는 프레임 주기의 임의의 적합한 부분 내에서 동일한 타임스탬프들을 스티칭될 이미지들이 가지도록 요청할 수 있다. 특정 실시예들에서, 만약 한 세트의 이미지들의 타임스탬프에서 간극이나 에러가 검출되거나, 이미지 프레임이 손상된 것으로 플래그된 경우, 스티칭 서버 (130) 는 그 세트 전체를 빼고, 이전의 스티칭된 이미지가 재이용될 수 있다. 한정하고자 함은 아니고 일례로서, 만약 한 세트의 이미지들 중 하나 이상의 이미지들이 평균 또는 타겟 타임스탬프로부터 하나의 프레임 주기보다 큰 타임 스탬프들을 가지는 경우, 그 세트의 이미지들은 폐기될 수 있고, 이전의 스티칭된 이미지가 폐기된 이미지들 대신에 재이용될 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 은 카메라들 (112) 간에 독립적인 셔터들을 수용할 수 있다. 한정하고자 함은 아니고 일례로서, 이미지를 캡쳐하기 위한 명령 (예를 들어, 컨트롤러로부터 프론트-엔드 프로세서 (120) 나 카메라 (112) 에게 송신되는 명령)을 송신하기 위해 요구되는 시간이 측정될 수 있고, 저장될 수 있다. 한정하고자 함은 아니고 다른 예로서, 각각의 프론트-엔드 프로세서는 미래의 시간에 이미지 캡쳐를 시작하기 위한 명령을 수신할 수 있고, 미래의 시간은 특정 프론트-엔드 프로세서에 대한 딜레이에 기초하여 보정되고, 그럼으로써, 각각의 이미지 스트림이 동시에 시작하는 것을 보장한다. 특정 실시예들에서, 스티칭 서버들 (130) 은 초기 프레임의 시간을 결정할 수 있고, 후속 프레임 시간 차이들이 시간상 초기 포인트로부터 계산될 수 있고, 여기서, 초기 프레임의 시간이 "타임 제로" 로 여겨질 수 있다.
특정 실시예들에서, 스티칭 서버 (130) 는 스티칭되는 이산 이미지들 (예를 들어, I-L1 내지 I-Ln)의 수직적 얼라인먼트와 수평적 얼라인먼트를 결정할 수 있다. 특정 실시예들에서, 복수의 카메라들로부터의 이미지들이 비교될 수 있고, 그러하여 모든 좌측 이미지들이 다른 좌측 이미지들 (예를 들어, I-L1 내지 I-Ln) 과 비교되고, 모든 우측 이미지들이 다른 우측 이미지들 (예를 들어, I-R1 내지 I-Rn) 과 비교된다. 도 5 의 예에서, 이미지 (I-6) 는 인접한 이미지들 (I-5 및 I-7) 과 비교될 수 있다. 추가적으로, 좌측 이미지들과 우측 이미지들 (예를 들어, I-L1 및 I-R1) 은, 그들이 서로에 대해 정확하게 얼라인되었는지 확인하기 위해, 비교될 수 있다. 한정하고자 함은 아니고 일례로서, 이미지들 (I-L1 내지 I-L12) 은 도 4 의 예에서 도시된 카메라 시스템 (110) 의 좌측 카메라들 (L1 내지 L8) 에 의해 각각 캡쳐된 이미지들에 대응할 수 있다. 전술된 바와 같이, 각각의 눈 (예를 들어, L6) 에 대응하는 카메라들의 FOV 는, 이웃한 눈들 (예를 들어, L5 및 L7) 과의 오버랩을 가지고, 그러하여 공간적으로 이미지들을 얼라인하는 것은 인접한 이미지들 (예를 들어, I-6 및 I-7) 간의 오버랩 영역을 야기할 수 있다. 후술되는 바와 같이, 스티칭된 이미지 (stitched image) 를 생성하기 위한 이미지 특징들을 식별하기 위해, 인접한 이미지들의 오버랩 영역 (210) 이 이용될 수 있다. 특정 실시예들에서, 카메라 시스템의 알려진 지오메트리로 인해, 스티칭 파라미터 계산을 수행하는 경우 가정이 만들어질 수 있다.
도 8 은 이산 (discrete) 이미지들을 스티칭 (stitching) 하기 위한 예시적인 방법을 도시한다. 그 방법 (300) 은 단계 310 에서 시작할 수 있고, 여기서, 복수의 카메라들 (112) 로부터 복수의 이미지들이 수신된다. 특정 실시예들에서, 카메라들은 제 1 오리엔테이션 (114) 을 갖는 제 1 카메라 (112) 및 제 2 오리엔테이션 (114) 을 갖는 제 2 카메라 (112) 를 포함할 수 있다. 특정 실시예들에서, 이미지는 제 1 카메라 (112) 로부터의 제 1 이미지 및 제 2 카메라 (112) 로부터의 제 2 이미지를 포함할 수 있다. 단계 320 에서, 제 1 및 제 2 이미지들 내에서 복수의 특징점들이 검출된다. 단계 330 에서, 제 1 및 제 2 이미지들 간의 오버랩 영역 내에 위치된, 대응하는 특징점들 중 하나 이상의 쌍들이 결정된다. 특정 실시예들에서, 대응하는 특징점들의 쌍들은 제 1 및 제 2 이미지들 각각으로부터의 특징점들 중 하나를 각각 포함한다. 단계 340 에서, 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋에 기초하여, 제 1 또는 제 2 이미지가 공간적으로 보정된다. 단계 350 에서, 제 1 및 제 2 이미지들은 공간적 보정에 기초하여, 병합되거나 스티칭된 이미지에 결합된다. 특정 실시예들은 도 8 의 방법의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 8 의 방법의 특정 단계들이 특정 순서대로 일어나는 것으로 도시하고 설명하기는 하나, 본 개시는 도 8 의 방법의 임의의 적합한 단계들이 임의의 적합한 순서대로 일어나는 것을 상정한다. 나아가, 본 개시가 이산 이미지들을 스티칭하기 위한, 도 8 의 방법의 특정 단계들을 포함하는 예시적인 방법을 도시하고 설명하기는 하나, 본 개시는 이산 이미지들을 스티칭하기 위한, 임의의 적합한 단계들을 포함하는 임의의 적합한 방법을 상정하고, 임의의 적합한 단계들은 도 8 의 모든, 또는 일부의 단계들을 적절하게 포함하거나, 아예 포함하지 않을 수 있다. 나아가, 본 개시가 도 8 의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 도시하고 설명하기는 하나, 본 개시는 도 8 의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 상정한다.
도 9 및 10은 이산 이미지들을 스티칭 (stitching) 하기 위한 다른 예시적인 방법들 (400 및 450)을 도시한다. 특정 실시예들에서, 이미지들을 스티칭하기 위한 방법 (예를 들어, 도 9 및 10 에서 각각 도시된 예시적인 방법들 (400 및 450)) 은, 3-D 지각을 유지하고, 자동으로 수행되는 프로세스를 제공할 수 있다 (예를 들어, 그 프로세스는 인간의 개입을 거의 또는 아예 요구하지 않음). 본 개시가 이미지들을 스티칭하기 위해 특정 순서로 특정 단계들을 수행하는 특정 흐름을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 순서로 임의의 적합한 단계들을 수행하는 임의의 적합한 흐름을 상정한다.
특정 실시예들에서, 카메라 시스템 (110) 의 프론트-엔드 프로세서들 (120) 로부터 수신된 이미지들은 스티칭에 앞서 리사이징될 수 있다. 대응하는 특징점들의 쌍들을 결정하는 동안 이미지들의 해상도를 감소시키는 것은, 후술되듯, 스티칭 프로세스를 고속화할 수 있다. 추가적으로, 해상도의 축소는 저광 상황에서 노이즈에 대한 복원력 (resilence) 을 향상시킬 수 있고, 나아가 특징 검출을 위한 소규모 (small-scale) 텍스처들에 대한 전반적인 감도를 증가시킬 수 있다. 한정하고자 함은 아니고 일례로서, 2-8 메가픽셀 (MP) 이미지들은, 실시간 3-D 스티칭 프로세스를 처리하기 더 용이한, 더 낮은 해상도로 리사이징될 수 있다. 한정하고자 함은 아니고 다른 예로서, 카메라들 (112) 에 의해 캡쳐된 8 MP 이미지들은 2 MP 로 리사이징될 수 있고, 리사이징된 2 MP 이미지들은 스티칭 프로세스에 대한 입력들로 이용될 수 있다. 특정 실시예들에서, 리사이징된 이미지는 최소 사이즈 (예를 들어, 1 MP, 2 MP, 또는 임의의 적합한 최소 사이즈) 를 가지도록 제약될 수 있다. 한정하고자 함은 아니고 일례로서, 4 MP 및 2 MP 이미지들은 모두 1 MP 로 리사이징될 수 있다. 특정 실시예들에서, 수신된 이미지들을 리사이징하는 것은 이미지에서, 로컬 명암 강화를 이용한 특징 검출에 영향을 줄 수 있는 노이즈를 감소시킬 수 있다. 한정하고자 함은 아니고 일례로서, 특징 검출에서 에러를 유발할 수 있는 커널 아티팩트들을 최소화하기 위해 란초스 커널 (Lanczos kernel) 과 같은 스케일링 커널이 이용될 수 있다. 특정 실시예들에서, 원본 이미지들보다 더 낮은 해상도로 리사이징된 이미지들로부터, 스티칭 파라미터 (stitching parameter) 들이 결정될 수 있다 한정하고자 함은 아니고 일례로서, 리사이징된 이미지들 (예를 들어, 2 MP 이미지들) 의 세트를 이용하여 스티칭 파라미터들을 결정한 후, 결정된 스티칭 파라미터들을 이용하여, 카메라들 (112) 에 의해 캡쳐된 원본, 고해상도 이미지들 (예를 들어, 8 MP 이미지들) 의 세트가 스티칭될 수 있다.
특정 실시예들에서, 카메라 시스템 (110) 으로부터 수신된 이미지들은, 사각의 면 상에 그 이미지들을 스티칭하기 위해, 드와프 (dewarp) 될 수 있다. 한정하고자 함은 아니고 일례로서, 후술되는 특징 검출을 지연시킬 수 있는 아티팩트들의 양을 감소시키기 위해, 수신된 이미지들은 슈퍼-샘플링 (super-sampling) 될 수 있다. 특정 실시예들에서, 드와프 절차 (dewarping procedure) 는 스케일링 절차와 결합될 수 있고, 이는 슈퍼-샘플링에 대한 필요성을 경감시킬 수 있다. 한정하고자 함은 아니고 일례로서, 수신된 이미지들은 드와프 절차와 스케일링 절차가 결합된 절차를 거칠 수 있고, 드와프와 스케일링의 결합은 이미지에서 아티팩트들을 저감시킬 수 있다. 교대로, 수신되는 이미지들을 드와프하는 것은 위치로 기능하는 글로벌 변환 (global transform)으로서 이용될 수 있고, 적합한 값들을 생성하기 위해, 수신된 이미지들의 픽셀 데이터에의 액세스는 변환과 슈퍼-샘플링을 거칠 수 있다. 특정 실시예들에서, 이미지의 드와프 변환은 수학식 (1) 에 의해 근사될 수 있다:
이미지 드와프:
Figure pct00001
(1),
x 는 투영된 3-D 공간의 위도에 대한 위치이고, y 는 투영된 3-D 공간의 경도에 대한 위치이고, a..e 는 카메라 드와프 파라미터들이고, scale' 은 이미지의 스케일링 팩터이고, translate' 는 수평적 또는 수직적 공간 평행 이동 (spatial translation) 파라미터이고, x' 및 y' 는 각각 드와프 변환 이후의 위도와 경도 위치들이다. 특정 실시예들에서, 드와프 프로세스는, 카메라 시스템의 하나 이상의 카메라들의 특성에 기초하여 추정된 스케일링 팩터를 이용하여 수행될 수 있다. 특정 실시예들에서, 드와프 프로세스는 초기 이미지들의 하나 이상의 세트들에 대해 수행될 수 있고, 드와프 프로세스의 추상화 (abstraction) 를 이용하여 드와프 프로세스의 간소화된 버전이 이후 이미지들에 적용될 수 있다. 한정하고자 함은 아니고 일례로서, 드와프 프로세스를 고속화하기 위해 이미지들과 포인트들로의 액세스가 추상화 (abstract) 될 수 있다.
단계 305 에서, 도 10 의 예에서 도시된 바와 같이, 장면 (scene) 을 형성하는 수신된 이미지들에서 특징들이 검출될 수 있다. 특정 실시예들에서, 특징 검출과 매칭은 이미지 (I-6) 의 그레이스케일 버전들에 대해 수행될 수 있고, 별도의 오퍼레이션 또는 룩업 테이블 (look-up table:LUT) 을 통해 특정 명암이 이미지 (I-6) 에 적용될 수 있다. 특정 실시예들에서, 특징 검출은, 로컬 명암 강화를 이용하여 이미지 (I-6) 에 대해 글로벌하게 (globally) 수행될 수 있다. 로컬 명암 강화는 "글로벌 (global)" 명암의 증가를 방지함과 동시에 "국소의 (local)" 명암을 증가시키고, 그럼으로써 대규모 쉐도우/하이라이트 디테일을 보호한다. 한정하고자 함은 아니고 일례로서, 로컬 명암 그래디언트 (gradient) 들은 특징에 대응하는 엣지, 코너, 또는 "블람 (blob)" 을 나타낼 수 있다. 이미지 (I-6) 의 특징들은 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 와 같은 특징 검출 알고리즘을 이용하여 검출될 수 있고, 여기서, FAST 는 "features from accelerated segment test" 의 약자이고, BRIEF 는 "binary robust independent elementary features" 의 약자이다. 특정 실시예들에서, 특징 검출 프로세스는 하나 이상의 특징점들 (214) 을 검출할 수 있다. 한정하고자 함은 아니고 일례로서, 특징점들 (214) 은 복수의 가우시안 평활화 (Gaussian smoothing) 오퍼레이션들의 차이를 취하여 검출될 수 있다. 나아가, 특징점들 (214) 의 위치 (탐색 영역 (212) 내 또는 그리드 내) 와 각각의 탐색 영역 (212) 에 대한 각각의 특징점 (214) 의 명암값들이 저장될 수 있다
도 11 은 이미지의 예시적인 분할 (partitioning) 을 도시한다. 특정 실시예들에서, 수신된 이미지들 (예를 들어, I-7 내지 I-5) 은 복수의 탐색 영역들 (212) 로 분할될 수 있다. 한정하고자 함은 아니고 예들로서, 이미지들 (I-7 내지 I-5) 은, 도 7 의 예에서 도시된 바와 같이, 특정 눈 (예를 들어, 모든 좌측 이미지들 또는 모든 우측 이미지들) 에 대응하는 이미지들에 대응할 수 있다. 특정 실시예들에서, 수신된 이미지들 (예를 들어, I-7 내지 I-5) 은, 도 11 의 예에서 도시된 바와 같이, 4x6 사각 그리드에 배열된 24개의 탐색 영역들로 분할될 수 있다. 전술된 바와 같이, 특정 눈 (예를 들어, 모든 좌측 카메라들) 에 대응하는 인접한 카메라들로부터의 이미지들 (예를 들어, I-7 내지 I-5) 은 각각의 카메라들의 FOV 간의 각 오버랩 (116) 에 비례하는 오버랩 영역들 (2106-7 및 2105-6) 을 가진다. 특정 실시예들에서, 이미지들 (예를 들어, I-7 내지 I-5) 의 오버랩 영역들 (2106-7 and 2105-6) 은 수신된 이미지들 (예를 들어, I-7 내지 I-5) 의 우측 및 좌측 에지들에 대응할 수 있다 특정 실시예들에서, 특징-포인트 검출 또는 매칭은 인접한 이미지들의 오버랩 영역들에게 한정될 수 있다. 도 11 의 예에서, 인접한 이미지들 (I-6 및 I-7) 에 대해, 특징-포인트 검출은 오직 오버랩 영역 (2106-7) 에서만 적용될 수 있다. 오버랩 영역 (210) 바깥의 영역들은 고려되지 않을 수 있고, 이는 오버랩 영역 바깥에 위치된 무관련한 또는 불필요한 포인트들이 스티칭 프로세스에 영향을 끼치지 않는 것을 보장할 수 있다.
도 12 는 이미지들의 예시적인 특징점 매칭 (feature point matching) 을 도시한다. 단계 310 에서, 도 10 의 예에서 도시된 바와 같이, 스티칭된 이미지 (220) 상의 무관련한 포인트들의 영향을 최소화하기 위해 특징점 매칭이 오버랩 영역들 (2106-7) 의 탐색 영역들 상에서 국소적으로 수행될 수 있다. 한정하고자 함은 아니고 일례로서, 검출된 특징점들 (214A-B) 에 대해, 이미지 (I-6) 의 특징점 (214A) 와 그에 대응하는 이미지 (I-7) 의 특징점 (214B) 를 매칭시키기 위해 특징점 계산들이 수행될 수 있다. 대응하는 특징점들 (214A-B) 의 쌍들이, 오버랩 영역들 (2106-7) 의 탐색 영역들 내에서 검출된 각각의 특징점 (214A-B) 주변의 영역들을 국소적으로 비교함으로써, 검출될 수 있다. 특정 실시예들에서, 이미지들 (I-7 및 I-6) 각각에서 특징점 (214A-B) 를 위한 명암 설정들 각각이, 특징점들 (214A-B) 을 매칭하는 것의 일부로서 적용될 수 있다. 한정하고자 함은 아니고 일례로서, 이미지들 (I-7 및 I-6) 간의 명암 차이는 명암 곡선의 오프셋으로서 보상될 수 있다. 특정 실시예들에서, 명암 곡선의 오프셋은 추가적인 비트와 함께 계산될 수 있고 (예를 들어, 8비트 값을 위해 부호화된 (signed) 16 비트를 이용하는 것처럼), 그로써 이를 고려할 수 있다. 오프셋에서의 차이는 베스트 매치로 하여금 미리 알려진 균일한 차이를 갖게끔 할 수 있다.
특정 실시예들에서, 특징점들 (214) 을 매칭시키기 위해 이용되는 영역의 사이즈는 이미지의 사이즈에 따라 설정될 수 있다. 특정 실시예들에서, 카메라 시스템 (110) 의 지오메트리는 알려질 수 있고, 알려진 카메라-시스템 지오메트리에 기초하여, 인접한 이미지들 (I-6 및 I-7) 의 오버랩 영역들 (2106-7) 과 탐색 영역들의 픽셀의 대략적인 개수가 사전에 알려질 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 의 카메라들 (112) 의 위치와 오리엔테이션은 서로에 대해 고정되므로, 인접한 좌측 카메라들 (예를 들어, L1 및 L2) 또는 인접한 우측 카메라들 (예를 들어, R1 및 R2) 간의 오버랩이 알려질 수 있고, 유사하게 인접한 좌측 및 우측 카메라들 (예를 들어, L1 및 R1) 간의 오버랩 또한 알려질 수 있다. 특정 실시예들에서, 특징점들 중 대응하는 쌍들을 결정하는 것은 최근접 이웃 탐색 알고리즘 (nearest-neighbor search algorithm) 을 이용하여 수행될 수 있다. 한정하고자 함은 아니고 일례로서, 최근접 이웃 탐색 알고리즘은, 이미지 (I-7) 의 오버랩 영역 (2106-7) 의 각각의 탐색 영역 내에서 특징점들 (214B) 의 패턴들을 식별할 수 있고, 특징점들 (214B) 의 패턴들은, 이미지 (I-6) 의 오버랩 영역 (2106-7) 의 각각의 탐색 영역 내에서 특징점들 (214A) 의 대응하는 패턴들과 매칭된다. 특정 실시예들에서, 최근접 이웃 알고리즘은 각각의 특징점 (214A-B) 주변의 탐색 반경 (search radius) 을 이용하여, 대응하는 특징점들 (214A-B) 의 쌍들을 결정할 수 있다. 한정하고자 함은 아니고 일례로서, 탐색 영역은 32 개 픽셀 반경, 64개 픽셀 반경, 또는 임의의 적합한 반경을 가질 수 있고, 또는 탐색 영역은 32x32 픽셀, 64x64 픽셀, 또는 임의의 적합한 사이즈를 가질 수 있다. 특정 실시예들에서, 최종적인 호모그래피 계산 이전에, 대응하는 특징점들의 쌍들을 재얼라인 (realign) 하기 위해 2차 리파인 단계가 수행될 수 있다.
특정 실시예들에서, 특징-매칭 절차는 추정된 파라미터들을 이용할 수 있고, 위치를 최적화하기 위해 오버랩 영역 또는 탐색 영역 내에서 탐색이 적용될 수 있다. 특정 실시예들에서, 특징 탐색이 이미지 (예를 들어, I-6 또는 I-7) 의 중앙으로부터 에지 쪽으로 이동하는 경우, 탐색 반경이 증가될 수 있다. 한정하고자 함은 아니고 일례로서, 실제 파라미터와 추정된 파라미터 (예를 들어, 실제 FOV 와 추정된 FOV) 간의 차이와 연관된 에러가 증가하여, 탐색 반경이 증가될 수 있다. 특정 실시예들에서, 대응하는 특징점들 (214A-B) 의 쌍들의 미리 설정된 개수 (예를 들어, 3쌍) 보다 적은 영역들 (212) 에는, 추가적인 특징점들이 추가될 수 있다. 한정하고자 함은 아니고 일례로서, 만약 특징 탐색으로 특정 영역 (212) 에서 3개보다 더 적은 특징점들이 탐색된 경우, 백업 특징-포인트 세트로부터의 백업 특징점들이 특징들의 세트에 추가될 수 있다. 특정 실시예들에서, 백업, 대체, 또는 추가적인 특징점들은 카메라 시스템 (110) 의 특징들, 각각의 카메라 (112) 의 특징들, 캘리브레이션 데이터, 또는 그들의 임의의 조합에 기초할 수 있고, 추가적인 특징점들은 데이터 구조에서 표기되거나 마킹될 수 있다.
특정 실시예들에서, 스티칭된 이미지 (220) 를 생성하기 위해, 카메라 파라미터들 또는 이미지들 (예를 들어, I-6 및 I-7) 은 최종적인 최적화에서 자유 변수들의 개수를 감소시키도록 휴리스틱하게 (heuristically) 최적화될 수 있다. 한정하고자 함은 아니고 일례로서, 하나 이상의 카메라-관련 파라미터들 (예를 들어, FOV, 오리엔테이션 (114), 또는 수직적 또는 수평적 카메라 센터의 위치) 을 최적화하거나 리파인 (refine) 하기 위해 휴리스틱 최적화가 이용될 수 있다. 캘리브레이션 프로세스 또는 알려진 카메라 지오메트리 (예를 들어, 카메라들 (112) 의 위치나 오리엔테이션)에 적어도 일부 기초하여 추정된 카메라 파라미터들을 특징-매칭 절차가 이용할 수 있다. 예를 들어, 카메라들 (112) 의 공칭 (nominal) 위치와 오리엔테이션을 아는 것은, 추정들이 카메라 FOV, 각 오버랩 (116), 카메라 오리엔테이션 (114), 또는 카메라 위치 (예를 들어, 수직적 및 수평적 카메라 센터의 위치) 로 만들어질 수 있게끔 할 수 있다. 특정 실시예들에서, 추정된 카메라 파라미터들은 복수의 비선형 값들을 위한 그룹 수치적 접근방법 (group numeric approach) 을 이용함으로써, 또는 반복적으로 최적화될 수 있다. 특정 실시예들에서, 각각의 이미지 (예를 들어, I-6 및 I-7) 에 있어, 대응하는 특징점들 (214A-B) 의 쌍들의 위치는 서로 비교될 수 있고, 대응하는 카메라 파라미터들에 대한 보정이 특징점들 각각의 위치에서의 오프셋에 기초하여 이루어질 수 있다. 한정하고자 함은 아니고 일례로서, 특징점들 (214A-B) 간 평균 상에서 방사형 오프셋 (radial offset) 을 검출한 것에 응답하여, FOV 파라미터 또는 오리엔테이션 파라미터가 보정될 수 있다. 한정하고자 함은 아니고 다른 예로서, 특징점들 (214A-B) 간 평균 상에서 수직적 또는 수평적 오프셋을 각각 검출한 것에 응답하여, 수직적 또는 수평적 카메라-위치 파라미터가 보정될 수 있다 (예를 들어, 평행 이동될 수 있음 (translated)).
단계 315 에서, 이미지들 (I-6 및 I-7) 간 카메라 변위 (예를 들어, 카메라 회전 또는 평행 이동 (translation)) 의 추정은, 도 10 의 예에서 도시된 바와 같이, 대응하는 특징점들의 매칭된 쌍들에 기초한 호모그래피 매트릭스를 이용하여 결정될 수 있다. 특정 실시예들에서, 그 호모그래피 매트릭스에 의해 결정된 추정 카메라 변위에 기초하여 이미지들 (I-6 및 I-7) 에 대한 보정들이 이루어질 수 있다. 병합된 스티칭된 이미지 (220) 를 형성하기 위해 이미지들 (I-6 및 I-7) 을 보정하고 얼라인하는데에 이용된 스티칭 파라미터들은 그 호모그래피 매트릭스를 이용하여 계산될 수 있다. 한정하고자 함은 아니고 일례로서, 그 호모그래피 매트릭스는 이미지들 (I-6 및 I-7) 에 대해 초기에 계산될 수 있고, 계산된 호모그래피 매트릭스에 기초하여 후속 이미지들에 대한 그 보정들이 이루어질 수 있다.
스티칭된 이미지 (220) 에 이미지들 (I-7 및 I-6) 을 알맞게 결합하기 위해 이미지들 (I-7 및 I-6) 에 대한 보정들이 이루어질 수 있다. 특정 실시예들에서, 하나 이상의 최적화 기준에 부합하기 위해 그 보정들이 이루어질 수 있다. 한정하고자 함은 아니고 일례로서, 최적화 기준은 대응하는 특징점들 (214A-B) 의 쌍들의 수직적 또는 수평적 오프셋이 최소화되어야 하는 것일 수 있다. 다른 예로서, 관람자에게 물체가 이중으로 보이기 이전에, 최적화 기준은 대응하는 특징들 (214A-B) 의 쌍들의 수평적 오프셋이 최대 수평적 오프셋보다 작아야하는 것일 수 있다. 또 다른 예로서, 최적화 기준은 대응하는 특징들 (214A-B) 의 쌍들의 수직적 오프셋이 최대 수직적 오프셋보다 작아야하는 것일 수 있다.
특정 실시예들에서, 이미지들 (I-6 및 I-7) 에 대한 보정들은 하나 이상의 초기 조건들을 가정하여 이루어질 수 있다. 한정하고자 함은 아니고 일례로서, 초기 조건으로서, 제 1 카메라 쌍 (예를 들어, 도 4 에서의 L1-R1) 이 카메라 시스템 (110) 의 메인 레이 (또는 요 (yaw)) 를 정의하는 오리엔테이션 (114) 을 가지는 것으로 가정할 수 있다. 다른 예로서, 초기 조건으로서, y축에 대한 나머지 카메라 쌍들 (제 1 카메라 쌍을 제외) 에 대한 오리엔테이션 (114) 은 Yi = (i - 1) × 360 °/n 인 것으로 가정할 수 있고, 여기서 y축은 카메라 시스템의 면에 수직하고, i = 2…n 로서, n 은 카메라 시스템의 카메라 쌍들의 개수이다. 한정하고자 함은 아니고 일례로서, n=8 카메라 쌍들을 갖는 카메라 시스템 (110) 에 대해, 카메라 쌍들 (200) 은 서로에 대해 45도로 정향된다. 또 다른 예로서, 초기 조건으로서, 카메라 시스템 (110) 의 카메라들 (112) 이 x 및 z 축들에 대해 요동이 없는 (예를 들어, 각각 0의 롤 (roll) 과 피치 (pitch)) 것으로 가정할 수 있다.
특정 실시예들에서, 이미지들 (I-6 및 I-7) 에 대한 보정들은 하나 이상의 최적화 코스트 (cost) 들을 최소화함으로써 결정될 수 있다. 한정하고자 함은 아니고 일례로서, 대응하는 특징점들 (214A-B) 의 쌍들 간의 거리는 기본 최적화 코스트 총합 (base total optimization cost) 에 해당할 수 있다. 다른 예로서, 축에 대한 회전성 보정들 (rotational adjustments) 은 가중된 회전성 변위 (weighted rotational displacement), 예를 들어, 각각의 축, 요, 피치, 및 롤에 대한 kx(X' - X0)2 에 비례하는 코스트를 가질 수 있다 (여기서, kx 는 가중 계수임). 나아가, 각각의 축은 특정 가중 계수, 예를 들어, 요축 (yaw axis) 에 대한 kY, 피치축 (pitch axis) 에 대한 kP , 및 롤축 (roll axis) 에 대한 kR 을 가질 수 있다. 특정 실시예들에서, FOV 또는 이미지들 (I-6 및 I-7) 의 평행 이동적 보정 (translational adjustment) 은 축 당 kx|X' - X0| 의 선형 코스트를 가질 수 있다. 각각의 축은 특정 가중 계수, 예를 들어, FOV 보정에 대한 kFOV, x축 평행 이동에 대한 kCX, 및 y축 평행 이동에 대한 kCY 를 가질 수 있다. 특정 실시예들에서, 최적화 코스트들은 기능화 (functionalize) 될 수 있고, 그러하여 코너 케이스들을 취급하기 위해 최적화 코스트 기능들이 변경될 수 있다.
특정 실시예들에서, 휴리스틱 최적화, 초기 조건들, 최적화 코스트들, 또는 그들의 임의의 조합의 결과를 이용하는 글로벌 최적화 (global optimization)를 수행함으로써, 이미지들 (예를 들어, I-6 및 I-7) 이 스티칭될 수 있다. 이러한 팩터들은, 예를 들어, 몬테-카를로 (Monte-Carlo), 기울기 하강 (gradient descent), 가우스-뉴턴의 스파스 버전 (sparse version), 또는 다른 적합한 비선형 최적화 해결자를 이용하여, 글로벌하게 최적화될 수 있다. 특정 실시예들에서, 연립 파라미터 (system of parameters) 는 수학식 (2) 에 의해 표현된 연립 방정식을 통해 글로벌 최적화될 수 있다:
글로벌 최적화:
Figure pct00002
(2)
여기서 x' 및 y' 는 드와프 오퍼레이션으로부터의 좌표들이고; 전술된 바와 같이, 호모그래피 매트릭스는 대응하는 특징점들의 쌍들로부터 계산될 수 있고; YPR 은 요축 (yaw axis), 피치축 (pitch axis), 및 롤축 (roll axis) 각각에 대한 회전성 보정들 (rotational adjustments) 이고; scale 은 이미지의 스케일링이고; 평행 이동
수학식 2 에 의해 표현된 연립 방정식은 수렴 실패 (convergence failure) 를 겪을 수 있다. 단계 325 에서, 특징점들의 40% 이상이 백업 소스 (예를 들어, 캘리브레이션) 로부터 유래한 이미지 상에서 수렴 실패는, 도 10 의 예에서 도시된 바와 같이, 특정 이미지가 너무 하얗거나, 너무 가깝거나, 또는 특징들을 결여함을 나타낼 수 있다. 이러한 상황에서는, 그 특정 이미지가 전술된 초기 조건들에 의거하여 보정될 수 있다. 특정 실시예들에서, 수학식 (2) 에 의해 표현된 연립 방정식의 수렴은, 대체된 특징점들이 너무 큰 공간적인 오프셋을 가지는 것으로 인해 실패할 수 있다. 그러한 경우, 대체된 특징점들의 최적화 코스트가 반감될 수 있고, 글로벌 최적화가 다시 수행될 수 있다. 한정하고자 함은 아니고 일례로서, 글로벌 최적화를 수행하는 것과 최적화의 환산은 미리 결정된 횟수 (예를 들어, 4번의 순환) 만큼 수행될 수 있다. 나아가, 만약 수학식 (2) 가 계속하여 수렴 실패하는 경우, 그 특징점들의 기여는 0 으로 설정될 수 있다.
특정 실시예들에서, 오버랩을 갖는 특정 눈에 대응하는 인접한 카메라들로부터의 이미지들에 더하여, 다른 눈에 대응하는 이웃한 카메라들로부터의 이미지 또한 양쪽 이미지들과의 오버랩을 가질 수 있다. 한정하고자 함은 아니고 일례로서, 카메라들 (L1 및 L2) 로부터의 이미지들은 오버랩 영역을 가질 수 있고, 이웃한 카메라 (예를 들어, R1, R2, 또는 R3) 또한 그 동일한 오버랩 영역을 갖는 이미지를 캡쳐할 수 있다. 도 7 의 예에서 도시된 바와 같이, 이미지들 (I-L1 및 I-L2) 은 오버랩 영역 (210L1 -2) 을 가질 수 있고, 이미지 (I-R1) 또한 그 두 이미지들과 오버랩될 수 있다. 특정 실시예들에서, 이웃한 카메라 (예를 들어, R1) 로부터의 이미지 (예를 들어, I-R1) 의 특징들이 검출될 수 있고, 특징점들의 대응하는 쌍들은 그 이웃한 카메라로부터의 그 이미지 및 인접한 이미지들 (예를 들어, I-L1 및 I-L2) 의 오버랩 영역 (예를 들어, 210L1 -2) 사이에서 결정될 수 있다. 나아가, 인접한 이미지들의 오버랩 영역들과 이웃한 카메라로부터의 이미지의 오버랩하는 부분들의, 대응하는 특징점들의 결정된 쌍들에 기초하여, 호모그래피 매트릭스가 계산될 수 있다. 특정 실시예들에서, 인접한 카메라들 (예를 들어, L1 및 L2) 에 대응하는 호모그래피 매트릭스의 결과들은 이웃한 카메라 (예를 들어, R1) 에 대응하는 호모그래피 매트릭스에 비교될 수 있다. 추가적으로, 스티칭된 이미지들의 스테레오스코픽 쌍 간의 수직적 오프셋을 안정시키기 위해 좌안과 우안 시야에 대응하는 스티칭된 이미지들 간의 관련성을 결정하는 것이 이용될 수 있다.
특정 실시예들에서, 전술된 바와 같이, 스티칭 파라미터들 또는 보정들이 계산되면, 그들은 정확성 (correctness) 을 위해 체크될 수 있다. 특정 실시예들에서, 캘리브레이션은, 카메라 시스템 (110) 에 의해 캡쳐된 알려진 장면의 이미지들을 이용하여, 수행될 수 있다. 그 알려진 장면의 대응하는 특징점들의 쌍들의 검출은, 이미지들을 스티칭하기 위해 이미지 보정들의 기초로서 이용될 수 있는 특징점들의 세트를 제공할 수 있다. 오버랩된 영역들 내에서 대응하는 특징점들의 쌍들을 스티칭 서버가 검출하면, 검출된 각각의 특징점 주변의 영역에서 에러 계산 (예를 들어, 차이들의 제곱들의 합) 이 수행될 수 있다. 만약 에러 계산이 미리 결정된 임계값을 상회하는 경우, 대응하는 특징점들의 검출된 쌍은 의심스러운 것으로 플래그될 수 있다. 만약 대응하는 특징점들의 쌍들의 개수가 미리 결정된 임계 쌍 개수 아래로 떨어지는 경우, 이산 이미지들을 스티칭하는 것이 플래그될 수 있다. 특정 실시예들에서, 대응하는 특징점들의 플래그된 쌍들은 캘리브레이션 데이터의 특징점들로 교체될 수 있고, 그럼으로써 호모그래피 계산으로 하여금 이미지들이 캘리브레이션 오리엔테이션에 있는 것처럼 여기게끔 강제할 수 있다.
호모그래피 매트릭스들이 계산된 이후, 그들은 정확성을 위해 체크될 수 있다. 단계 335 에서, 도 10 의 예에서 도시된 바와 같이, 연이은 호모그래피 매트릭스들의 요 회전들 (yaw rotations) 간의 차이가 체크될 수 있다. 만약 그 차이가, 전술된 캘리브레이션된 데이터에 기초하여 예상된 차이의 ±2-3 ° 내인 경우, 그 이미지 보정은 정확한 것으로 여겨질 수 있다. 한정하고자 함은 아니고 일례로서, 각각의 카메라가 30 ° 로 이격된 12-카메라 시스템에 대해 호모그래피 매트릭스들이 계산될 수 있다. 만약 요 회전 (yaw rotation) 차이들이, 예상된 값의 미리 결정된 범위 (예를 들어, 27 ° 내지 33 °) 내에 있는 경우, 계산된 호모그래피 매트릭스들은 받아들일 만한 것으로 여겨질 수 있다. 특정 실시예들에서, 호모그래피 매트릭스들을 계산하기 위해 카메라들로부터의 이미지들이 이용될 수 있다. 만약 계산된 호모그래피 매트릭스들 또는 카메라 위치들이 예상된 위치들과 각도들의 ±2도 내에 있는 경우, 그 스티칭은 양호한 것으로 여겨질 수 있다. 단계 345 에서, 만약 그 스티칭이 몇몇의 이미지들에 대해 실패한 경우, 대응하는 특징점들의 검출된 쌍들은 캘리브레이션 데이터로부터의 대체 특징점들과 교체될 수 있고, 도 10 의 예에서 도시된 바와 같이, 스티칭 절차가 다시 시도될 수 있다. 단계 355 에서, 만약 스티칭 절차가, 미리 결정된 임계 개수보다 큰 수의 이미지들에 대해 실패한 경우, 스티칭 전체가 거절될 수 있고, 도 10 의 예에서 도시된 바와 같이, 성공적으로 스티칭된 마지막 프레임으로부터의 호모그래피 매트릭스들이 이용될 수 있다. 스티칭 실패가 초기 프레임에 대해 발생한 경우, 캘리브레이션 데이터에 기초하여 계산된 호모그래피 매트릭스들이 대신 이용될 수 있다.
도 13 은 예시적인 탑 이미지 (I-Top) 와 스티칭된 이미지 (220) 를 도시한다. 탑 이미지 (I-Top) 는 탑 카메라 (112T) 에 의해 캡쳐될 수 있고, 좌측 또는 우측 이미지들 (예를 들어, I-R1 내지 I-Rn) 을 스티칭하거나 결합하는 스티칭 프로세스로부터, 스티칭된 이미지 (220) 가 유래할 수 있다. 도 13 의 예에서, 스티칭된 이미지 (220) 는 이미지들 (I-1, I-2, 및 I-3) 을 포함하고, 그 이미지들 (I-1, I-2, 및 I-3) 이 스티칭되어 스티칭된 이미지 (220) 를 형성한다. 특정 실시예들에서, 스티칭된 이미지 (220) 를 형성하기 위해 카메라들 (112) 로부터의 이미지들이 스티칭된 후, 스티칭된 이미지 (220) 의 상부 (210U) 에 탑 카메라 (112T) 로부터의 탑 이미지 (I-Top) 가 추가되거나 스티칭될 수 있다. 유사하게, 특정 실시예들에서, 스티칭된 이미지 (220) 의 바텀부에 바텀 카메라로부터의 이미지가 스티칭되거나 추가될 수 있다. 특정 실시예들에서, 스티칭된 이미지 (220) 에 탑 또는 바텀 이미지를 추가하는 것은, ±90 ° 의 수직적 FOV 를 커버하지 않을 수 있는 스티칭된 이미지 (220) 를 수용하기 위한, 추가된 뷰를 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 도 7 의 예에서 도시된 좌측 이미지들 (I-L1 내지 I-Ln) 은 스티칭되어, 카메라들 (112) 의 FOVV 에 대응하는 수직적 한도를 갖는 스티칭된 이미지 (220) 를 형성할 수 있다. 예를 들어, 스티칭된 이미지 (220) 는 카메라 시스템 (110) 주변의 360 ° 수평적 파노라마 뷰에 해당할 수 있고, 그 파노라마 뷰는 카메라 시스템 (110) 의 수평면를 기준으로 ±70 ° 의 수직적 범위 (FOVV=140 ° 에 대응함) 를 커버할 수 있다. 스티칭된 이미지 (220) 가 형성된 후, 스티칭된 이미지 (220) 의 탑 부분에 탑 이미지 (I-Top) 가 스티칭될 수 있고, 그럼으로써 대략적으로 -70 ° 내지 +90 ° 범위의 수직적 한도를 갖는 360 ° 파노라마 뷰의 이미지를 형성할 수 있다. 추가적으로, 바텀 이미지 또한 스티칭된 이미지 (220) 의 바텀 부분에 스티칭될 수 있고, 그럼으로써 모든 방향으로 확장하는 이미지 (예를 들어, 대략적으로 -90 ° 내지 +90 ° 범위 내에서 수직적으로 확장하는 360 ° 전체 수평적 뷰를 커버하는 이미지, 여기서 -90 ° 는 곧게 아래를 보는 것에 해당하고 +90 ° 는 곧게 위를 보는 것에 해당함) 를 형성할 수 있다. 본 개시가 특정 수평적 한도와 특정 수직적 한도를 갖는 특정 스티칭된 이미지들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 수평적 한도와 임의의 적합한 수직적 한도를 갖는 임의의 적합한 스티칭된 이미지들을 상정한다.
특정 실시예들에서, 탑 이미지 (I-Top) 의 일부는 스티칭된 이미지 (220) 의 일부에 대응하거나, 오버랩될 수 있다. 나아가, 탑 카메라 (112T) 의 알려진 배치 (configuration) 를 비롯하여 카메라들 (112) 의 알려진 배치에 기초하여, 탑 이미지 (I-Top) 의 특정 부분들이 특정 이미지들 (예를 들어, I-1, I-2, I-3, 등) 에 연관될 수 있다. 한정하고자 함은 아니고 일례로서, 2 개의 인접한 이음새 라인들 (217) 로 테가 둘러진 탑 이미지 (I-Top) 의 각각의 영역 (예를 들어, 해칭된 영역 (219)) 은 스티칭된 이미지 (220) 의 특정 이미지에 대응할 수 있다. 도 13 의 예에서, 이미지 (I-Top) 의 해칭된 영역 (219) 은 카메라 시스템 (110) 의 특정 카메라 (112) 에 의해 캡쳐된 이미지 (I-2) 에 대응할 수 있다. 스티칭된 이미지 (220) 를 구성하는 이미지들과 탑 이미지 (I-Top) 의 부분들 간의 관련성은, 카메라들 (112) 의 배치나 오리엔테이션 (114) 및 탑 카메라 (112T) 의 배치에 기초할 수 있다. 특정 실시예들에서, 이미지 (I-Top) 에서 이음새 라인들 (217) 은 스티칭된 이미지 (220) 의 이음새들 (217M) 에 대응할 수 있고, 여기서, 이음새들 (217M) 은 스티칭된 이미지 (220) 를 형성하는 인접하고 이산 이미지들 간의 경계에 해당한다. 한정하고자 함은 아니고 다른 예로서, 중앙의 라인들 (218) 은 스티칭된 이미지 (220) 의 이산 이미지들의 대강의 중앙 (218M) 에 대응할 수 있다. 특정 실시예들에서, 탑 이미지 (I-Top) 가, 스티칭된 이미지 (220) 에 스티칭되기 위해 처리되거나 최적화되기 이전에, 라인들 (217 및 218) 은 각각 이음새들 (217M) 및 중앙들 (218M) 에 대해 예상된 위치들에 해당할 수 있다.
특정 실시예들에서, 스티칭된 이미지 (220) 의 상부 (210U) 는 스티칭된 이미지 (220) 에서, 탑 이미지 (I-Top) 의 바깥쪽 환형 영역 (210T) 과 오버랩되는 영역에 해당한다. 예를 들어, 스티칭된 이미지 (220) 는 수평적 오리엔테이션 (114) 을 기준으로, 예를 들어, ±70 ° 를 커버하는 FOVV 에 대응할 수 있고, 수직적 방향 (예를 들어, +90 ° 위도) 으로부터 +60 ° 위도로 확장하는 이미지에 탑 이미지 (I-Top) 가 대응할 수 있다. 이미지 (I-Top) 의 바깥쪽의 검은 실선의 원은 +60 ° 위도에 대응할 수 있고, 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 은 +70 ° 위도에 대응할 수 있다. 오버랩 영역들 (210U 및 210T) 은 이미지 (I-Top) 와 스티칭된 이미지 (220) 간의 10 ° 오버랩 (예를 들어, +60 ° 위도로부터 +70 ° 위도까지의) 에 대응할 수 있다. 특정 실시예들에서, 스티칭된 이미지 (220) 에 탑 이미지 (I-Top) 를 스티칭하기 위한 알고리즘은, 전술된 바와 같이, 특징들을 탐색하는 것, 오버랩 영역들 (210U 및 210T) 에 위치된 대응하는 특징점들의 쌍들을 결정하는 것을 포함할 수 있고, 후술되는 바와 같이, 스티칭된 이미지 (220) 에 이미지 (I-Top' ) 를 스티칭하기 위해 대응하는 특징점들의 그 쌍들을 이용하는 것을 포함할 수 있다. 본 개시가 서로 대응하거나 오버랩되는 특정 부분들을 갖는 특정 탑 이미지와 특정 스티칭된 이미지를 도시하고 설명하기는 하나, 본 개시는 서로 대응하거나 오버랩되는 임의의 적합한 부분들을 갖는 임의의 적합한 탑 이미지와 임의의 적합한 스티칭된 이미지를 상정한다.
도 14 는 프로세싱 후의 도13의 예시적인 탑 이미지를 도시한다. 특정 실시예들에서, 스티칭된 이미지 (220) 에 추가되기 이전에, 탑 이미지 (I-Top) 의 더 작고 파선의 원 (210E) 이 처리되거나, 변환되거나, 또는 최적화되어, 처리된 이미지 (I-Top') 를 형성할 수 있고, 그 후, 처리된 이미지 (I-Top') 가 스티칭된 이미지 (220) 에 스티칭되거나 추가될 수 있다. 특정 실시예들에서, 탑 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 에 적용되는 처리하는 단계들은 라인들 (217 또는 218) 을 이동시키거나 회전시키는 것, 또는 탑 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 을 와프시키는 것을 포함할 수 있고, 그로 인해, 처리된 이미지 (I-Top') 가 스티칭된 이미지 (220) 에 블렌드되거나 매칭된다. 특정 실시예들에서, 좌측과 우측 뷰들 또는 양안에 대응하는 스티칭된 각각의 이미지들 (220) 과 함께, 단일의 처리된 이미지 (I-Top') 가 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 변환 프로세스 이전에, 탑 이미지 (I-Top) 의 오버랩 영역 (210T) 이 크롭될 수 있다. 특정 실시예들에서, 처리된 이미지 (I-Top') 는 좌측 눈의 뷰에 해당하는 스티칭된 이미지 및 우측 눈의 뷰에 해당하는 스티칭된 이미지에 추가될 수 있다. 특정 실시예들에서, 탑 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 은 2 개의 처리 루틴들을 거치어, 좌안과 우안에 각각 대응하는 스티칭된 이미지에 기초하여 처리된 별도의 좌측 및 우측 탑 이미지들을 생성할 수 있다. 한정하고자 함은 아니고 일례로서, 좌측의 처리된 탑 이미지는 좌측 눈의 뷰에 해당하는 스티칭된 이미지에 추가될 수 있고, 우측의 처리된 탑 이미지는 우측 눈의 뷰에 해당하는 스티칭된 이미지에 추가될 수 있다.
특정 실시예들에서, 처리된 이미지 (I-Top') 를 생성하기 위해 탑 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 을 처리하는 것은, 전술된 바와 같이 오버랩 영역들 (210T 및 210U) 에서 대응하는 특징점들의 쌍들을 검출하는 것을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 이음새 라인들 (217) 이 이미지 (I-Top) 의 바깥쪽 에지와 교차하는 곳에 위치된 특징들이 검출될 수 있다. 검출된 특징들 중 하나 이상의 특징점들은 스티칭된 이미지 (220) 에서 대응하는 특징점들에 매칭될 수 있고, 특징점들의 대응하는 쌍들 간의 매칭에 기초하여, 스티칭된 이미지 (220) 에 대한 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 의 오프셋들이 계산될 수 있다. 특정 실시예들에서, 특징점들의 대응하는 쌍들이 검출되지 않은 경우에는, 카메라 지오메트리에 기초하여 특징점들이 결정될 수 있고, 또는, 탑 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 에 대해 수행되는 처리를 결정하기 위해 카메라 캘리브레이션이 이용될 수 있다.
특정 실시예들에서, 탑 이미지 (I-Top) 의 중앙 근처에서의 방사형 와프 (radial warp) 가 결정될 수 있고, 그러하여 탑 이미지 (I-Top) 의 중앙 위치가 고정된 채로 유지된다. 추가적으로, 결정된 방사형 와프에 기초하여, 스티칭된 이미지 (220) 의 이음새들 (217M) 이 끝나는 위치들과 교차하기 위해 이음새 라인들 (217) 이 회전될 수 있고, 이산 이미지들을 스티칭하여 스티칭된 이미지 (220) 를 생성하는 동안에 수행되는 임의의 요 보정 (yaw adjustment) 에 매칭되기 위해, 중앙의 라인들 (218) 이 회전될 수 있다. 한정하고자 함은 아니고 일례로서, 만약 스티칭된 이미지 (220) 를 형성하는 이산 이미지들 중 하나 (예를 들어, I-1, I-2, 또는 I-3) 가 +2 ° 요 보정을 거친 경우, 그에 대응하는 중앙의 라인 (218) 에 +2 ° 회전이 적용될 수 있다.
특정 실시예들에서, 스티칭된 이미지 (220) 에 매칭되도록 이미지 (I-Top') 의 파선의 더 작은 원 (210E) 의 바깥쪽 에지의 하나 이상의 부분들은 바깥으로 당겨지거나 안으로 당겨질 수 있다. 한정하고자 함은 아니고 일례로서, 스티칭된 이미지 (220) 에 매칭되도록 이미지 (I-Top') 의 파선의 더 작은 원 (210E) 의 바깥쪽 에지의 하나 이상의 부분들은 밖으로 빠져나오거나 (pulled out) 안으로 들어와질 (pulled in) 수 있다 . 한정하고자 함은 아니고 일례로서, 이미지 (I-Top) 의 파선의 더 작은 원 (210E) 의 바깥쪽 에지는, 이음새 라인들 (217) 또는 중앙의 라인들 (218) 의 길이를 적절하게 증가시키거나 감소시킴으로써, 밖으로 빠져나오거나 안으로 들어와질 수 있다. 특정 실시예들에서, 처리된 이미지 (I-Top') 는 뚜껑 이미지 (cap image) 로서 별도로 저장될 수 있고, 또는 처리된 이미지 (I-Top') 는 스티칭된 이미지 (220) 에 통합될 수 있다. 한정하고자 함은 아니고 일례로서, 처리된 이미지 (I-Top') 에 극-직교 변환 (polar-to-rectilinear transform) 이 적용될 수 있고, 후술되는 바와 같이, 그 처리된 이미지 (I-Top') 는 스티칭된 이미지 (220) 에 블렌드될 수 있다.
특정 실시예들에서, 스티칭된 이미지 (220) 를 형성하기 위해 이산 이미지들이 스티칭되는 곳인 이음새들 (217M) 은 그래디언트 블렌드 (gardient blend) 를 이용하여 "블렌드될 (blended)" 수 있다. 한정하고자 함은 아니고 일례로서, 휘도 또는 밝기는 이음새들 (217M) 에 다가가는 방향을 따라 그래디언트 (gradient) 를 가질 수 있다. 예를 들어, 밝기는 어느 한 측면 방향으로부터 이음새들 (217M) 을 향해 이동하면서 감소할 수 있다. 스티칭된 이미지 (220) 와 처리된 이미지 (I-Top' ) 의 바깥쪽 에지의 교차점이 유사한 방법으로 블렌드될 수 있다. 한정하고자 함은 아니고 일례로서, 스티칭된 이미지 (220) 와 처리된 이미지 (I-Top' ) 의 바깥쪽 에지의 교차점의 밝기는, 스티칭된 이미지 (220) 의 스케일에 비례한 그래디언트를 가질 수 있다.
이산 이미지들을 블렌드하는 것은, 이음새들 (217M) 을 둘러싼 오버랩 영역들 내에서 이루어질 수 있다. 나아가, 블렌드 경로 (blending path) 로부터 시각적 불연속성을 저감시키기 위해, 블렌드하는 것은 비선형 경로를 따라 이루어질 수 있다. 특정 실시예들에서, 블렌드 알고리즘은 복수의 후보 블렌드 경로들을 조사할 수 있다. 엣지 검출 알고리즘은 인접하고 이산 이미지들의 교차점 주변의 영역 내에서 수행될 수 있다. 만약 후보 블렌드 경로가 어느 한 이미지의 측면 에지에 닿는 경우, 후보 블렌드 경로는 스티칭된 이미지 (220) 의 바텀 에지까지, 양쪽 방향으로 그 측면 에지를 따라갈 수 있다. 만약 후보 블렌드 경로들이 교차하는 경우, 그 후보 경로들은 그들의 현재 방향을 따라 계속 이어질 수 있다. 특정 실시예들에서, 후보 블렌드 경로들 중에서 블렌드 경로를 선택하는 것은, 스티칭된 이미지 (220) 의 바텀 에지에 도달하는 유일한 후보 블렌드 경로를 선택한 것에 기초할 수 있고, 또는, 만약 복수의 후보 블렌드 경로들이 바텀 에지에 도달하는 경우, 가장 짧은 후보 블렌드 경로가 선택된다. 특정 실시예들에서, 이미지 (그 위에 후보 블렌드 경로가 있음) 의 중앙에 대해 가장 덜 오목한 후보 블렌드 경로가 블렌드 경로로서 선택될 수 있다. "트레이스된 (traced)" 부분들을 위해 마스크 그래디언트가 50% 직접적으로 트레이스 라인 (작고 흐린 반경을 가짐) 상에 있어야 한다.
특정 실시예들에서, 공간적으로 안정적인 스티칭을 위해 보로노이-타입의 이음새 파인더 (Voronoi-type seam finder)가 이용될 수 있다. 이 공간적 안정성은, 공유된 호모그래피 매트릭스들과 블렌드 데이터가 재이용될 수 있음을 보장할 수 있고, 이는 블렌드-에지 플리커링 (blend-edge flickering) 을 저감시킬 수 있다. 후술되는 특징 매처 (feature matcher) 를 위한 탐색 영역들을 더 리파인하기 위해 보로노이-타입의 이음새 파인더가 이용될 수 있고, 그럼으로써 출력 이미지에 포함될 확률이 가장 높은 영역들 (예를 들어, 오버랩 영역들) 내에 한정된 특징점들의 호모그래피 매트릭스들의 정확성을 향상시킬 수 있다. 이 데이터는 실시간으로 프론트-엔드 프로세서로 피드백되어, 스티칭된 이미지 (220) 를 스티칭하는 것에서 이용되지 않을 수 있는 이미지 데이터를 무시할 수 있다.
특정 실시예들에서, 캡쳐된 이미지들 내 오브젝트들의 근방 뎁스 (near-field depth) 는 스티칭된 이미지 (220) 를 생성하는 때에 고려사항이 될 수 있다. 전술된 바와 같이, 카메라에 대한 특징점들의 근접성에 기초하여 특징점 매칭을 분리하기 위해 뎁스 정보 (예를 들어, 스테레오 이미지 쌍들을 이용한, 이미지들 내 오브젝트들의 삼각측량으로 획득되거나, 뎁스 센서로부터 획득됨) 가 이용될 수 있다. 관람자나 카메라에 더 가까운 오브젝트들은 더 멀리 있는 오브젝트들과 상이한 지오메트리 (스티칭을 위함)를 갖는다. 특정 실시예들에서, 원방 (far-field) 오브젝트들의 뎁스 변화는 스티칭 퀄리티에 아주 작은 영향력을 가질 수 있고, 그러므로 근방 뎁스 변화를 확인하기 위해 컴퓨팅 리소스들이 집중될 수 있다. 특정 실시예들에서, 스티칭 퀄리티를 향상시키기 위해 추가적인 조치가 취해질 수 있는 영역 내에 하나 이상의 이미지들 내의 오브젝트가 위치되는지 여부를, 스티칭 서버들 (130) 이 뎁스 데이터에 기초하여 결정할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 또는 카메라 (112) 의 미리 결정된 임계 거리 내에 위치된 오브젝트들을 검출한 것에 응답하여, 호모그래피 매트릭스들의 계산 (또는 재계산) 이 트리거될 수 있다.
특정 실시예들에서, 이산 이미지들은 복수의 부분들로 분할되어 따로따로 스티칭되고 블렌드될 수 있고, 또는 근방 오브젝트들은 원방 오브젝트들보다 가시적인 스티칭 에러가 더 많을 수 있으므로 우선적으로 처리될 수 있다. 한정하고자 함은 아니고 일례로서, 근방 오브젝트들은 원방 오브젝트들로부터 분리되어 따로따로 스티칭될 수 있다. 특정 실시예들에서, 바이너리 마스크 (binary mask) 를 이용하여 원방 오브젝트들 위에 근방 오브젝트들을 위치시킴으로써, 분리된 근방 오브젝트들이 원방 오브젝트들과 함께 스티칭된 이미지 (220) 상에 마스킹될 수 있다. 근방 오브젝트들 상의 동일한 스폿을 관측하는 카메라들에게 근방 오브젝트들은 상이하게 보일 수 있다. 특정 실시예들에서, 오버랩 영역들 내의 오브젝트들을 스티칭하기 위해 스티칭 서버는 인접한 이미지들 중 하나를 이용하는 것을 택할 수 있다. 한정하고자 함은 아니고 일례로서, 근방 오브젝트의 영역의 대다수를 포함하는 이미지로부터의 근방 오브젝트를 스티칭하기 위해 이음새 파인더 (예를 들어, 보로노이-타입) 가 이용될 수 있다. 특정 실시예들에서, 근방 오브젝트에 대한 호모그래피 매트릭스를 원방 오브젝트에 대한 호모그래피 매트릭스와 결합하기 위해 비균질 와프 (non-uniform warp) 가 이용될 수 있다. 메시 기반 와프 (mesh-based warp) 는 예를 들어, 스티칭된 이미지 (220) 의 전경과 배경 (foreground and background) 모두를 스티칭하기 위해 근방 오브젝트와 원방 오브젝트 간 경계에서, 두 호모그래피 매트릭스들 간 이행 (transition) 할 수 있다.
오브젝트들이 근방으로부터 원방으로 이동하는 경우, 호모그래피 매트릭스들은 현저하게 바뀔 수 있다. 특정 실시예들에서, 스티칭 프로세스로부터 개별적인 컴퓨팅 스레드 상에서 호모그래피 매트릭스들의 계산이 수행될 수 있다. 한정하고자 함은 아니고 일례로서, 하나의 컴퓨팅 스레드는 이산 이미지들을 스티칭하는 것을 수행할 수 있고, 다른 컴퓨팅 스레드는 호모그래피 데이터를 위해 이산 이미지들을 분석할 수 있고 공유된 스토리지에게 업데이트를 제공할 수 있다. 캘리브레이션 데이터를 이용하거나 마지막 가용 호모그래피 매트릭스들을 이용함으로써 나머지 케이스들이 처리될 수 있다. 특정 실시예들에서, 호모그래피 매트릭스들을 계산하는 것 또는 스티칭 프로세스는 그래픽 처리 장치 (graphical-processing unit:GPU) 를 이용하여 가속될 수 있다. 한정하고자 함은 아니고 일례로서, 호모그래피 매트릭스들을 계산하기 위해 시스템의 중앙 처리 장치 (central-processing unit:CPU) 가 이용될 수 있고, 이산 이미지들을 일그러뜨리고 블렌드시키기 위해 GPU 가 이용될 수 있다.
특정 실시예들에서, 스테레오스코픽 비디오를 위한 스티칭에 고유한 하나 이상의 보정들이 수행될 수 있다. 특정 실시예들에서, 좌안 뷰와 우안 뷰에 대응하는 스티칭된 이미지 (220) 로부터의 대응하는 특징점들의 쌍들은 3-D 구형 투영 공간에 투영될 수 있다. 특정 실시예들에서, 좌안 뷰와 우안 뷰에 있어 스타팅 포인트 간에 차이가 있을 수 있다. 제 1 카메라 위치가 스타트 위치로서 이용되고 제 1 카메라가 0의 요 (yaw) 를 가지는 초기 조건을 통해 이 차이가 교정될 수 있다. 이러한 초기 조건들에 기초하여 나머지 카메라들이 보정될 수 있다.
특정 실시예들에서, 좌안 뷰와 우안 뷰에 대응하는 스티칭된 이미지 (220) 는, 공유된 호모그래피 매트릭스들을 이용하여, 수행될 수 있다. 전반적인 호모그래피들과 이미지 보정들이 좌안 뷰와 우안 뷰 간에 일관적임을 보장하기 위해 좌안 뷰에 대응하는 스티칭된 이미지 (220) 를 생성하기 위해 보정들을 계산하는 스티칭 프로세스는, 우안 뷰에 대응하는 스티칭된 이미지 (220) 를 생성하기 위해 보정들을 계산하는 스티칭 프로세스와 서로 통할 수 있다. 나아가, 이미지 파라미터들 또는 노출 교정은 좌안 뷰와 우안 뷰 사이의 합리적인 범위 내에서 일관되어야 한다. 특정 실시예들에서, 스테레오스코픽 비디오는 좌안 뷰와 우안 뷰 간에 시동기화된 프레임들을 가질 수 있다.
특정 실시예들에서, 비디오를 위한 스티칭된 이미지 (220) 를 생성하는 것은 미리보기 접근방법 (look-ahead approach) 을 이용할 수 있다. 한정하고자 함은 아니고 일례로서, 현재 프레임을 위해, 스티칭 보정들 (예를 들어, 호모그래피 매트릭스들) 이 그 현재 프레임과 미리 결정된 수의 후속 프레임들에 대해 계산될 수 있다. 특정 실시예들에서, 미래 프레임들에서 발생하는 대응하는 특징점들의 쌍에서의 실질적인 변화 (예를 들어, 원방으로부터 근방으로 오브젝트의 이동) 를 검출한 것에 응답하여, 스티칭 파라미터들의 모든 세트가 계산된다. 나아가, 변화 플래그 (change flag) 가 설정될 수 있고, 이는 스티칭 파라미터들이 새로이 계산된 스티칭 파라미터들에 보간될 수 있게 하고, 그러하여 스티칭이 원활하게 전환되어 장면에서의 변화에 대처한다. 후속 프레임들의 미리 결정된 개수의 결정은, 새로운 스티칭 보정들을 계산하기 위해 필요한 시간을 포함하여야 한다.
도 15 및 16은 이산 (discrete) 이미지들을 스티칭 (stitching) 하기 위한 예시적인 방법들 (500 및 550) 을 각각 도시한다. 특정 실시예들에서, 도 15 의 예에서 도시된 바와 같이, 실시간 360 ° 3-D 비디오를 스티칭하기 위한 방법 (500) 은 개별적인 프레임들의 스티칭을 복수의 스티칭 서버들에게 분배하는 것이다. 호모그래피 매트릭스 관리는 어느 한 스티칭 서버마다 수행될 수 있고, 또는 스티칭 서버들은 중앙 호모그래피 서버를 이용하여 호모그래피 매트릭스들을 공유할 수 있다. 특정 실시예들에서, 중앙 호모그래피 서버는 개별적인 서버 노드들로 하여금 호모그래피 매트릭스들을 계산하거나 이미지들을 스티칭하게끔 시킬 수 있다. 스티칭된 이미지를 완성하는데에 이용되는 서버들의 개수는 스티칭 서버들의 스루풋 또는 소망한 프레임 레이트에 비례할 수 있다. 한정하고자 함은 아니고 일례로서, 초당 1 프레임 (FPS) 스루풋을 갖는 단일의 스티칭 서버에 있어, 30 FPS 스티칭된 비디오를 생성하기 위해 30개의 스티칭 서버가 이용될 수 있다.
특정 실시예들에서, 도 15 의 예에서 도시된 바와 같이, 실시간 360 ° 3-D 비디오를 스티칭하기 위한 다른 방법 (550) 은 비디오의 세그먼트들 (예를 들어, 비디오 청크들 (video chunks), 또는 복수의 프레임들) 의 스티칭을 복수의 스티칭 서버들에게 분배하는 것이다. 복수의 스티칭 서버들은 동시에 비디오의 스티칭을 다룰 수 있고, 여기서, 각각의 스티칭 서버는 비디오의 수신된 세그먼트에 대응하는 스티칭된 비디오 세그먼트를 생성한다. 수거 서버 또는 비디오 컴바이너 (video combiner) 는 스티칭 서버들로부터 개별적인 비디오 세그먼트들을 수신할 수 있고, 스티칭 비디오를 생성하기 위해 그 세그먼트들을 병합할 수 있다.
특정 실시예들에서, 스티칭된 이미지 또는 비디오를 생성하기 위해 연속한 이미지들이 수동으로 스티칭될 수 있다. 특징 추출 및 대응하는 특징점들의 쌍들의 결정은 건너뛰어질 수 있고, 대응하는 특징점들의 수동으로 선택된 쌍들이 제공될 수 있다. 이러한 점에서 스티칭 프로세스의 나머지가 전술된 바와 같이 수행될 수 있다.
360 ° 스테레오스코픽 3-D 비디오의 전송은 그 비디오를 디스플레이하는 클라이언트 디바이스 (150) 및 콘텐트 서버 (140) 간의 고-대역폭 (high bandwidth) 네트워크 연결을 요구할 수 있다. 한정하고자 함은 아니고 일례로서, 360 ° 스테레오스코픽 3-D 비디오는 보통의 비디오의 데이터 대역폭의 5배를 이용할 수 있다. 코덱은, 360 ° 스테레오스코픽 3-D 비디오에 대응하는 디지털 데이터 스트림을 효율적으로 인코딩하기 위해 이용될 수 있는 컴퓨터 프로그램이다. 특정 실시예들에서, 코덱은 360 ° 스테레오스코픽 비디오 스트림의 후속 프레임을 이전 프레임에 대한 레퍼런스들에 기초하여 시간순으로 인코딩할 수 있다. 한정하고자 함은 아니고 일례로서, 그 코덱은 초기의 비디오 프레임을 정상적으로 인코딩된 주요 이미지로서 이용할 수 있다. 주요 이미지와 다음 시간순의 이미지 간의 차이 또는 "델타 (delta)" 가 결정되고, 시간순의 오프셋을 캡쳐하기 위해 그 코덱에 의해 인코딩된다. 전술된 바와 같이, 좌안 뷰와 우안 뷰에 대응하는 이미지들의 스테레오스코픽 쌍들은 서로에 대해 공간적인 오프셋을 가진다. 특정 실시예들에서, 코덱은 추가적으로, 시간순의 인코딩에 유사한 방식으로 스테레오스코픽 비디오의 이미지들을 이미지들의 주요/2차 쌍으로 공간적으로 인코딩할 수 있다. 한정하고자 함은 아니고 일례로서, 시간순의 인코딩을 위해 이용되는 주요 이미지는 하나의 눈에 의한 뷰에 대응할 수 있고 공간적 인코딩을 위한 주요 이미지로서 이용될 수 있다. 특정 실시예들에서, 다른 눈을 위한 대응하는 이미지는 주요 이미지에 대한 B-이미지 (B-image) 또는 "델타" 로 인코딩될 수 있다. 한정하고자 함은 아니고 일례로서, 하나의 눈에 대응하는 주요 프레임과 다른 눈에 대응하는 이미지 간의 "델타"가 결정되고, 공간적인 오프셋을 캡쳐하기 위해 그 코덱에 의해 인코딩된다. 특정 실시예들에서, 인코딩하는 것은 좌안 뷰와 우안 뷰의 공간적 인코딩을 현재 이미지와 후속 이미지의 시간순의 인코딩에 결합시킬 수 있다. 특정 실시예들에서, 좌측 및 우측 이미지들 간의 차이나 유사성을 위한 탐색은, 이미지를 처리하는 동안 스티칭 시스템에 의해 계산된 포인트 이동들에 대한 지식 (knowledge) 을 이용할 수 있다.
특정 실시예들에서, 좌안 뷰와 우안 뷰를 단일의 이미지로 통합함으로써 최종적인 비디오 출력을 압축하기 위해 코덱이 이용될 수 있고, 그럼으로써 프레임들 간의 공간적 리던던시를 캡쳐한다 (대부분의 공간적 정보는 같거나 유사할 것이므로). 나아가, 좌안 뷰와 우안 뷰를 단일의 이미지로 통합함으로써 최종적인 비디오 출력을 압축하기 위해 그 코덱이 이용될 수 있고, 그럼으로써 프레임들 간의 공간적 리던던시를 캡쳐한다 (대부분의 공간적 정보는 같거나 유사할 것이므로). 따라서, 특정 실시예들에서, 시간상 모두 동일한 시간순의 포인트에 대응하는 좌안 이미지로부터 우안 이미지로의 (또는 그 반대로의) 델타; 시간상 제 1 포인트에서 좌안 이미지로부터 시간상 제 2 포인트에서 좌안 이미지까지의 델타; 시간상 제 1 포인트에서 좌안이미지로부터 시간상 제 2 포인트에서 우안 이미지까지의 델타; 또는 그들의 임의의 적합한 조합을 묘사하는 정보를 코덱이 포함할 수 있다. 그 코덱은 레퍼런스로서 시간상 임의의 적합한 포인트 (또는 포인트들) 에 대응하는 이미지를 이용할 수 있다. 본 개시는 카메라들의 어떤 주어진 쌍에 대해 코덱이 좌측 이미지 또는 우측 이미지를 이용할 수 있음을 상정한다. 특정 실시예들에서, 코덱은 하나 이상의 공유된 변환 블록들을 결정함으로써 최종적인 비디오를 압축할 수 있고, 그러하여 압축 및 모션 보상을 수행하기 위해 블록 데이터의 기초 "딕셔너리" 가 이용될 수 있다. 변환 블록들 또는 기초 딕셔너리는 와측 및 우측 비디오들 간에 공유될 수 있고, 그럼으로써 기초 압축 데이터를 공유하는 2 개의 스트림을 가진 비디오를 고려할 수 있다. 특정 실시예들에서, 최종적인 비디오를 압축하는데에 이용되는 선형 블록 변환 (예를 들어, 이산 코사인 변환 (DCT))에 대한 입력으로 변환 블록들이 이용될 수 있다. 특정 실시예들에서, 코덱은 4개의 개별적인 모션 보상 스트림들을 유지할 수 있다: (1) 주요 눈에 대한 모션의 보상; (2) 주요 눈의 모션에서의 변화; (3) 2차 눈에 대한 오프셋 (및 오프셋들에서의 변화); 및 (4) 2차 눈의 모션에서의 변화;
특정 실시예들에서, 스티칭 시스템은 이산 이미지들을 스티칭하여 스테레오스코픽 3-D 360 ° 비디오를 만들 수 있고 스테레오스코픽 3-D 360 ° 비디오를 고속 데이터 비디오 프레임들로서 저장할 수 있다. 고속, 고해상도 비디오 재생 또는 저지연 (low latency) 시나리오들에 있어서, 클라이언트 디바이스 (150) 가 자신의 GPU 또는 CPU 를 이용하여 스티칭 오퍼레이션들을 수행함이 바람직할 수 있다. 이러한 경우, 콘텐트 서버 (140) 은 클라이언트 디바이스 (150) 이 수신된 이미지들을 알맞게 스티칭할 수 있도록 파라미터들과 마스크들을 저장할 수 있고, 클라이언트 디바이스 (150) 은 파라미터들과 마스크들에 기초하여 일그러뜨림 (distortion), 합성 (composition), 또는 블렌드 단계들을 수행할 수 있다. 마스크들은 저해상도에서 바이너리 이미지들로 저장될 수 있고, 파라미터들을 이용하여, 보간을 통해 바이너리 이미지들이 적절한 해상도로 확장될 수 있고, 장면을 재구성하기 위해 수신된 이미지들이 스티칭될 수 있다. 특정 실시예들에서, 마스크들은 프레임별로 생성되지 않을 수 있고 변화들이 검출된 경우에만 저장될 수 있다. 프레임의 저해상도 버전이 완전히 합성되어 배경으로서 이용을 위해 유지되는 조합된 접근방법 또한 취해질 수 있으나, 고해상도 이미지들은 있는 그대로 검색될 수 있고, 그 후 클라이언트 디바이스 (150) 상에서 일그러지고 합성될 수 있다.
도 17 은 다양한 비디오-데이터 콤포넌트들 (video-data components) 을 포함하는 콘텐트 콘테이너 (content container)를 도시한다. 특정 실시예들에서, 합성 스트림은 단일의 콘텐트 콘테이너 (142, 또는 콘테이너 스트림) 로 하나가 된 비디오 데이터의 콤포넌트들을 포함하는 비디오 스트림을 가리킬 수 있다. 특정 실시예들에서, 비디오 데이터는 복수의 스트림들이나 서브 스트림들이 안에 교차 배치된 단일의 콘테이너 (콘텐트 콘테이너 142) 로 저장될 수 있다. 특정 실시예들에서, 콘텐트 콘테이너 (142) 는 복수의 서브 스트림들 (sub-stream), 예를 들어: 비디오 서브 스트림들 (예를 들어, 복수의 해상도들에서의 합성된 비디오, 단일 카메라 스트림들, 조작된 카메라 스트림들, 또는 탑/바텀 뚜껑 비디오 데이터); 오디오 서브 스트림들 (예를 들어, 공간적 재구성 데이터를 갖거나 갖지 않은 오디오, 스트레오 오디오, 또는 모노 오디오); 재구성 서브 스트림들 (예를 들어, 마스크 데이터, 일그러짐 데이터, 교정 데이터, 또는 투영 파라미터들); 또는 그들의 임의의 조합을 포함할 수 있다. 도 17 의 예에서, 콘텐트 콘테이너 (142) 는 비디오 서브 스트림들 (1 내지 N), 오디오 서브 스트림들 (1 내지 M), 및 재구성 정보 (1 내지 R) 를 포함한다. 특정 실시예들에서, 합성 스트림의 하나 이상의 오디오 서브 스트림들은 하나 이상의 비디오 서브 스트림들에 시간 동기화될 수 있다. 나아가, 오디오 공간적 재구성 데이터는 하나 이상의 오디오 서브 스트림들로부터 360 ° 오디오 ("서라운드 사운드 (surround sound)") 를 공간적으로 재생성하기 위한 데이터를 포함할 수 있다. 특정 실시예들에서, 스테레오스코픽 3-D 비디오를 위한 비디오 스트림은, 카메라 시스템의 각각의 카메라를 위한 비디오 스트림이나 전체 이미지 데이터를 포함하는, 비디오 스트림일 수 있다. 특정 실시예들에서, 클라이언트 디바이스 (150) 은 파라미터들과 마스크들을 개별적인 스트림으로서 수신할 수 있고 특정 이미지 프레임들을 필요에 따라 검색 (retrieve) 할 수 있다. 본 개시가 특정 컴포넌트들 또는 서브 스트림들을 갖는 특정 합성 스트림들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 컴포넌트들 또는 서브 스트림들을 갖는 임의의 적합한 합성 스트림들을 상정한다.
도 18 은 합성 스트림 (composite stream) 으로 콘텐트 콘테이너 (142) 를 브로드캐스팅 (broadcast) 하도록 구성된 예시적인 콘텐트 서버 (140, content server)를 도시한다. 특정 실시예들에서, 콘텐트 콘테이너 (142) 를 갖는 합성 스트림은 콘텐트 서버 (140) 에 의해 클라이언트 디바이스 (150) 에게 스트리밍될 수 있고 (어쩌면 레이트-제한 방식으로), 클라이언트 디바이스 (150) 는 그 스트림을 언팩 (unpack) 하여 포괄 (comprehend) 할 수 있다. 한정하고자 함은 아니고 일례로서, 도 18 에 도시된 접근방법은 라이브 스트림들을 브로드캐스팅하는데에 적용될 수 있고, 여기서, 합성 스트림 (예를 들어, 스티칭 서버들 (130) 로부터 수신됨) 은 콘텐트 서버 (140) 에 의해 적용되는 추가적인 처리 없이 (또는 거의 없이) 콘텐트 서버 (140) 에 의해 직접적으로 브로드캐스팅될 수 있다. 한정하고자 함은 아니고 다른 예로서, 도 18 에 도시된 예시적인 전송 방법은 최소 레벨의 내부 리던던시를 갖는 합성 스트림들에게 적용될 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 는 하이퍼텍스트 전송 프로토콜 (HTTP) 서버일 수 있고, 콘텐트 서버 (140) 는 콘텐트 콘테이너 (142) 를 클라이언트 디바이스 (150) 에게 전송하도록 구성될 수 있다. 특정 실시예들에서, 합성 스트림의 초기 부분은 클라이언트 디바이스 (150) 의 버퍼들을 채우기 위해 더 높은 데이터 레이트에서 전송될 수 있고, 그 후 합성 스트림의 나머지 부분이 감소된 데이터 레이트에서 전송될 수 있다. 특정 실시예들에서, 스티칭 서버들 (130) 은 비디오 파라미터들 (예를 들어,해상도, 프레임 레이트, 또는 압축 파라미터들) 에 의해 결정된 상이한 비트레이트를 각각 가진 복수의 합성 스트림들을 출력할 수 있다. 한정하고자 함은 아니고 일례로서, 콘텐트 서버 (140) 또는 클라이언트 디바이스 (150) 는 가용 또는 요청된 대역폭에 기초하여 적절한 스트림을 선택할 수 있다.
도 19 는 언번들된 스트림들 (unbundled streams) 의 직접 전송을 포함하는 예시적인 전송 스킴 (transmission scheme) 을 도시한다. 특정 실시예들에서, 콘텐트 서버 (140) 는 단일의 합성 스트림보다는, 개별적인 스트림들의 형태로 비디오 데이터를 전송할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 디바이스 (150) 는 리소스들을 따로따로 요청할 수 있고 (예를 들어, 비디오 스트림 (2), 오디오 스트림 (2), 재구성 정보 (2)), 그 후 클라이언트 디바이스 (150) 는 이러한 리소스들을 따로따로 수신하여 필요에 따라 활용할 수 있다. 특정 실시예들에서, 액세스를 편리하게 하기 위해 디스크립터 파일 (descriptor file) 또는 스트림 (예를 들어, 메타데이터 또는 다양한 스트림들의 위치를 가짐) 이 포함될 수 있다.
도 20 은 비디오 스트림의 전송을 위한 예시적인 중개 스킴 (mediated scheme) 을 도시한다. 특정 실시예들에서, 콘텐트 서버 (140) 는 합성 스트림 (예를 들어, 원본 콘텐트 콘테이너 (142)) 에 포함된 데이터를 디코딩하여 포괄 (comprehend) 할 수 있다. 특정 실시예들에서, 클라이언트 디바이스 (150) 는 특정 합성 스트림을 위한 요청을 전송할 수 있다. 한정하고자 함은 아니고 일례로서, 비디오 스트림을 위한 요청은 비디오 스트림의 하나 이상의 컴포넌트들 또는 서브스트림들을 포함하거나 생략하기 위한 명령들, 또는 특정 비트레이트들을 갖는 컴포넌트들 또는 서브스트림들을 선택하기 위한 명령들을 포함할 수 있다. 예를 들어, 컴포넌트들 또는 서브스트림들은 복수의 뷰들을 포함한 비디오 스트림의 특정 뷰에 대응할 수 있다. 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 로부터의 요청을 수신한 것에 응답하여 컴포넌트 스트림의 컴포넌트들을 추출하기 위해 컴포넌트 스트림에 액세스할 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 에 의해 요청된 컴포넌트들 또는 서브스트림들에 대응하는 요청된 컴포넌트들 또는 서브스트림들을 커스텀 스트림으로서 어셈블 (assemble) 할 수 있다. 도 20 의 예에서, 커스텀 스트림 ("클라이언트에게 전해진 콘텐트 콘테이너") 은 비디오 스트림 (i), 비디오 스트림 (j), 오디오 스트림 (m), 및 재구성 정보 (q) 를 포함한다. 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 에게 커스톰 스트림을 전송한다. 한정하고자 함은 아니고 일례로서, 스피커 또는 사운드 카드가 없는 클라이언트 디바이스는 콘텐트 서버 (140) 에 의해 전송되는 커스텀 스트림으로부터 어떤 오디오 관련 정보든 배제하기 위한 명령들을 포함할 수 있다. 한정하고자 함은 아니고 다른 예로서, HD 디스플레이를 가진 클라이언트 디바이스 (150) 는 고해상도 비디오 스트림을 요청할 수 있다.
도 21 은 비디오 스트림의 전송을 위한 다른 예시적인 중개 스킴 (mediated scheme) 을 도시한다. 전술된 바와 같이, 콘텐트 서버 (140) 는 합성 스트림에 포함된 데이터를 디코딩하여 포괄 (comprehend) 할 수 있다. 나아가, 클라이언트 디바이스 (150) 는 콘텐트 서버 (140) 에게 특정 비디오 피드를 위한 요청을 전송할 수 있고, 그 요청은 콘텐트 서버가 하나 이상의 컴포넌트들 또는 서브스트림들에 대해 변환을 수행하기 위한 명령들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 디바이스 (150) 에 의한 요청은 합성 스트림의 하나 이상의 컴포넌트들 또는 서브스트림들을 리사이징하거나 트랜스코딩함으로써 그 스트림을 커스터마이즈하기 위한 명령들을 포함할 수 있다. 예를 들어, 전술된 바와 같이, 커스텀 스트림에 포함된 하나 이상의 비디오 서브 스트림들은 시간순으로 및 공간적으로 인코딩되거나, 임의의 적합한 인코딩 포맷 (예를 들어, MPEG-4) 에 부합하기 위해 인코딩될 수 있다. 다른 예로서, 모바일 디바이스로부터의 요청은 모바일 디바이스의 스크린 사이즈와 연결 대역폭에 적합한 해상도로 비디오 스트림을 리사이즈하기 위한 명령들을 포함할 수 있다.
도 22 은 비디오 스트림의 전송을 위한 다른 예시적인 중개 스킴 (mediated scheme) 을 도시한다. 특정 실시예들에서, 콘텐트 서버 (140) 는 합성 스트림의 컴포넌트들과 서브스트림들을 별개의 스트림으로 저장할 수 있고, 그러하여 콘텐트 서버는 요청이 클라이언트 디바이스 (150) 로부터 수신된 때에 합성 스트림의 컴포넌트들을 추출하도록 요구되지 않는다. 전술된 바와 같이, 클라이언트 디바이스 (150) 는 합성 스트림의 하나 이상의 컴포넌트들 또는 서브스트림들을 선택하는 명령들을 포함한 요청을 콘텐트 서버 (140) 에게 전송할 수 있다. 콘텐트 서버 (140) 는 요청된 컴포넌트들 또는 서브스트림들을 검색할 수 있고, 요청된 컴포넌트들 또는 서브스트림들을 클라이언트 디바이스 (150) 에게 전송할 수 있다. 특정 실시예들에서, 클라이언트 디바이스 (150) 에 의한 요청은 합성 스트림의 하나 이상의 컴포넌트들 또는 서브스트림들에 대해 변환을 수행하기 위한 명령들을 포함할 수 있다. 전술된 바와 같이, 변환은 하나 이상의 컴포넌트들 또는 서브스트림들을 리사이징하거나 트랜스코딩하는 것을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 디바이스 (150) 로부터의 명령들은 콘텐트 서버 (140) 로 하여금 하나 이상의 오디오 스트림들을 서라운드 사운드 포맷 (예를 들어, 공간적 오디오 코딩 (SAC)) 으로 트랜스코딩하게끔 지시할 수 있다.
도 23 은 슬라이스된 스트림 세트 (sliced stream set, 144) 를 도시한다. 도 23 의 예에서, 슬라이스된 스트림 세트 (144) 는 탑 슬라이스 (S-Top) 및 바텀 슬라이스 (S-Bottom) 에 대응하는 2 개의 스트림들을 포함할 수 있다. 슬라이스된 스트림 세트 (144) 는 또한, 카메라 시스템 (110) 의 카메라들 (112) 에 의해 제공된 360 ° 뷰에 해당하는 슬라이스들 (S-1 내지 S-N) 에 대응하는, N개의 스트림들을 포함할 수 있다. 여기서, 용어 "슬라이스"는 프레임의 공간적으로 구별되는 영역으로서, 그 동일 프레임에서 다른 영역들과 따로따로 인코딩되는 영역을 가리킬 수 있다. 나아가, 여기서, 용어 "슬라이스된 스트림" 복수의 독립적인 비디오 스트림들로 분리된 상태의 스티칭되거나 스티칭되지 않은 비디오 스트림을 가리킬 수 있고, 비디오 스트림들은 비디오 프레임들의 수직적 및/또는 수평적 슬라이스들을 구성하고, 여기서, 각각의 비디오 스트림은 독립적으로 디코딩 가능할 수 있다. 특정 실시예들에서, 슬라이스된 스트림 세트 (144) 는 추가적으로 오디오 또는 제어 정보와 같은 합성 스트림으로부터의 데이터를 포함할 수 있다.
도 24 는 비디오 스트림의 전송을 위한 예시적인 상호작용형 스킴 (interactive scheme) 을 도시한다. 특정 실시예들에서, 콘텐트 서버 (140) 는 따로따로 액세스되거나 스트리밍될 수 있는 슬라이스들로 합성 스트림을 분할할 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 로부터의 입력에 기초한 상호작용형 방식으로, 슬라이스된 스트림에 대한 액세스를 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 슬라이스된 스트림은 실시간 360 ° 3-D 비디오일 수 있고, 클라이언트 디바이스 (150) 로부터의 입력은 사용자의 오리엔테이션을 콘텐트 서버 (140) 에게 설명할 수 있다. 콘텐트 서버 (140) 는 사용자가 보고 있는 영역들에 대응한 프레임들을 동적으로 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 콘텐트 서버 (140) 는 사용자의 오리엔테이션에 대응하는, 비디오 스트림의 하나 이상의 프레임들을 선택할 수 있고 선택된 프레임들을 클라이언트 디바이스 (150) 에게 전송할 수 있다. 특정 실시예들에서, 클라이언트 디바이스 (150) 상에서 디스플레이되는 경우에 배경 장면으로서 기능하는 저해상도, 완전 스티칭된 비디오 스트림을 콘텐트 서버 (140) 가 전송할 수 있다. 콘텐트 서버 (140) 로부터 최대 해상도 (full resolution) 비디오 스트림을 수신함에 있어 지연 (latency) 이 있는 시간 기간 동안에 사용자에게 배경 장면이 디스플레이될 수 있다. 클라이언트 디바이스 (150) 상에서 렌더링되는 비디오의 디테일 레벨 (Level of Detail:Lod) 은 콘텐트 서버 (140) 로부터 최대 해상도 비디오 스트림이 수신됨에 따라 증가될 수 있다.
오리엔테이션 데이터에 더하여, 클라이언트 디바이스 (150) 는 슬라이스된 스트림의 하나 이상의 컴포넌트들 또는 프레임들을 선택하기 위한 명령들을 전송할 수 있다. 특정 실시예들에서, 명령들은 또한 콘텐트 서버 (140) 로 하여금 슬라이스된 스트림의 하나 이상의 컴포넌트들 또는 프레임들을 변환하게끔 지시할 수 있다. 한정하고자 함은 아니고 일례로서, 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 로부터 하나 이상의 컴포넌트들 또는 프레임들을 선택하는 명령들을 수신한 것에 응답하여 복수의 스트림들로부터 데이터를 액세스하여 제공할 수 있다.
특정 실시예들에서, 클라이언트 디바이스 (150) 는 사용자가 관점을 변경할 것으로 예상된다고 추론한 것에 기초하여 (예를 들어, 헤드-마운티드 디스플레이 (Head-Mounted Display:HMD) 또는 리모트 (remote) 의 움직임에 기초하여) 가시 영역의 각각의 사이드 상에서 추가적인 슬라이스들을 예측적으로 요청할 수 있다. 클라이언트 디바이스 (150) 는 관점의 추론된 변화에 기초하여 하나 이상의 컴포넌트들 또는 프레임들을 선택하는 명령들을 전송할 수 있다. 관람자 관점에서의 이행 동안에는 LoD 증가가 미미하지만, 관람하는 방향에서 관점이 더 안정적이게 될수록 LoD 는 점진적으로 증가될 수 있다 (예를 들어, 증가된 비디오 해상도). 특정 실시예들에서, 사용자가 관점을 변경하는 경우, 클라이언트 디바이스 (150) 로부터의 명령들은 점점 더 높은 해상도의 비디오 슬라이스들을 선택할 수 있다.
특정 실시예들에서, 동적으로 비디오 스트림의 프레임 레이트를 조정하여 가용 대역폭에서의 변화들을 보상하기 위해, 콘텐트 서버 (140) 또는 클라이언트 디바이스 (150) 는 지연 센싱 (latency-sensing) 또는 대역폭 센싱 알고리즘을 이용할 수 있다. 한정하고자 함은 아니고 일례로서, 배경의 최대 스티칭 (full-stitch) 비디오의 전송 레이트는 대역폭을 회복하기 위해 감소될 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 또는 클라이언트 디바이스 (150) 는 클라이언트 디바이스 (150) 의 특질에 기초하여 추가적인 결정들을 할 수 있다. 한정하고자 함은 아니고 일례로서, TV 상에서 내비게이트하는 것은 HMD 보다 더 느릴 수 있고, 손으로 움직여질 수 있는 모바일 폰 또는 태블릿보다 더 느릴 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 는 클라이언트 디바이스 (150) 의 디바이스 프로필에 기초하여 하나 이상의 전송 파라미터들을 조정할 수 있다.
상호작용형 스트리밍은 M-JPEG (motion joint photographic experts group) 인코딩과 같은 키프레임 전용 인코딩 스트림 또는 리코딩을 이용할 수 있다. 키프레임들과 중간의 프레임들 (intermediate frames) 이 모두 존재하는 상황에서는, 콘텐트 서버 (140) 가 모든 스트림들을 디코딩하고, 요청된 슬라이스들을 재인코딩할 수 있다. 특정 실시예들에서, 콘텐트 서버 (140) 는 가속기 ASIC들 또는 비디오 스트림들의 리코딩/디코딩/조작을 고속화할 수 있는 다른 기능들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 이러한 기능들은 이 프로세싱 노드에 대한 프록시들로서 역할을 하는 콘텐트 서버들과 함께, 특화된 하드웨어 (예를 들어, 가속 ASIC들) 을 갖는 별개의 프로세싱 노드로 구현될 수 있다.
특정 실시예들에서, 전체 데이터 스트림 (예를 들어, 콘텐트 콘테이너 (142)) 이 하나 이상의 클라이언트 디바이스들 (150) 에게 전송될 수 있다. 한정하고자 함은 아니고 일례로서, 콘텐트 서버 (140) 는 하나 이상의 클라이언트 디바이스들 (150) 에게 콘텐트 콘테이너 (142) 를 전송할 수 있고, 각각의 클라이언트 디바이스 (150) 는 콘텐트 콘테이너 (142) 의 일부를 선택하거나 추출할 수 있다 (예를 들어, 클라이언트 디바이스 (150) 는, 클라이언트 디바이스 (150) 상에서의 디스플레이를 위해 콘텐트 콘테이너 (142) 로부터 특정 비디오 서브 스트림을 추출할 수 있음). 클라이언트 디바이스 (150) 는 클라이언트 디바이스 (150) 의 기능들 또는 요구 사항 (requirements) 에 기초하여 데이터 스트림의 어느 부분이 필요한지 결정할 수 있다 (예를 들어, 만약 클라이언트 디바이스 (150) 가 HD 비디오를 디스플레이할 수 있는 경우, 그 클라이언트 디바이스 (150) 는 콘텐트 콘테이너 (142) 로부터 HD 비디오 스트림을 추출할 수 있음). 특정 실시예들에서, 데이터 스트림의 하나 이상의 부분들이 복수의 클라이언트 디바이스들 (150) 에게 전해질 수 있다. 한정하고자 함은 아니고 일례로서, 콘텐트 서버 (140) 는 HD 비디오를 디스플레이하는 기능을 가진 하나 이상의 클라이언트 디바이스들 (150) 에게 HD 비디오 스트림을 전송할 수 있고, 콘텐트 서버 (140) 는 SD 비디오를 디스플레이하는 기능을 가진 하나 이상의 다른 클라이언트 디바이스들 (150) 에게 SD 비디오 스트림을 전송할 수 있다.
도 25 는 3D 360 ° 비디오를 전송하기 위한 예시적인 방법 (600) 을 도시한다. 그 방법은 단계 610 에서 시작할 수 있고, 여기서, 3 차원 비디오의 특정 뷰에 대응하는 요청이 수신된다. 특정 실시예들에서, 3-D 비디오는 복수의 뷰들을 포함한다. 단계 620 에서, 그 비디오에 대응하는 데이터 스트림이 액세스된다. 단계 630 에서, 그 액세스된 데이터 스트림의 하나 이상의 부분들이 그 요청에 기초하여 선택된다. 특정 실시예들에서, 적어도 하나의 그 선택된 부분들은 그 특정 뷰에 대응한다. 단계 640 에서, 그 액세스된 데이터 스트림의 그 선택된 부분이 그 클라이언트 디바이스에게 전송된다. 특정 실시예들은 도 25 의 방법의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 25 의 방법의 특정 단계들이 특정 순서대로 일어나는 것으로 도시하고 설명하기는 하나, 본 개시는 도 25 의 방법의 임의의 적합한 단계들이 임의의 적합한 순서대로 일어나는 것을 상정한다. 나아가, 본 개시가 3-D 360 ° 비디오를 전송하기 위한, 도 25 의 방법의 특정 단계들을 포함하는 예시적인 방법을 도시하고 설명하기는 하나, 본 개시는 3-D 360 ° 비디오를 전송하기 위한, 임의의 적합한 단계들을 포함하는 임의의 적합한 방법을 상정하고, 임의의 적합한 단계들은 도 25 의 모든, 또는 일부의 단계들을 적절하게 포함하거나, 아예 포함하지 않을 수 있다. 나아가, 본 개시가 도 25 의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 도시하고 설명하기는 하나, 본 개시는 도 25 의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 상정한다.
특정 실시예들에서, 3-D 360 ° 비디오가 클라이언트 디바이스 (150) 에게 전송된 후, 그 비디오는 재구성될 수 있고, 그로 인해 사용자는 그 비디오에 의해 표현된 장면을 3-D 장면으로 관람할 수 있다. 한정하고자 함은 아니고 일례로서, 3-D 360 ° 비디오는 재구성될 수 있고, 그로 인해 재구성된 비디오를 관람하는 사용자는 자연스럽고, 현실적이고, 또는 실감나는 3-D 환경을 인지할 수 있고, 그 3-D 환경은 단지 스크린 상의 장면의 표현을 관람하는 것이 아닌 개인적으로 마치 "그곳에 있는" 듯한 느낌을 제공할 수 있다. 여기서, 용어 "재구성 (reconstruction)" 은 현실적으로 3-D 방식으로 장면을 나타내는데에 이용될 수 있는 스티칭되거나 아니면 처리되고 캘리브레이션된 비디오 스트림들로 2-D 이미지들이나 비디오들을 변환하는 작업을 가리킬 수 있다. 특정 실시예들에서, 재구성은 HMD 또는 3-D 텔레비전과 같은 스테레오스코픽 관람 시스템에 의해 수행될 수 있다. 클라이언트 디바이스 (150, 예를 들어, HMD 또는 3-D 텔레비전) 는 콘텐트 서버 (140) 로부터 이산 이미지들 또는 스트림들을 수신할 수 있고, 스테레오스코픽 3-D 360 ° 비디오를 생성하기 위해 이산 이미지들 또는 스트림들을 결합하거나, 스티칭하거나, 또는 처리함으로써 클라이언트 디바이스 (150) 는 재구성을 수행할 수 있다. 특정 실시예들에서, 재구성 테크닉은 클라이언트 디바이스 (150) 가 이음새 없이 3-D 장면을 사용자에게 표시할 수 있게끔 할 수 있고, 또한 다음 중 하나 이상을 제공할 수 있다. 대역폭의 효율적 이용; 스티칭 프로세스들의 최적화; 고급화된 네트워크 스트리밍 테크닉을 이용하는 능력; 또는 지연 (latency) 의 최적화, 산출, 또는 다른 뷰잉 파라미터들. 본 개시가 특정 방식으로 수행되는 특정 재구성 테크닉들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 수행되는 임의의 적합한 재구성 테크닉들을 상정한다.
특정 실시예들에서, 재구성 테크닉은 스테레오스코픽 이미지들에게 적용될 수 있다 (예를 들어, 전술된 바와 같이 카메라 시스템 (110) 을 이용하여 캡쳐된 이미지들). 한정하고자 함은 아니고 일례로서, 스티칭된 이미지들을 구 (sphere) 에 매핑함으로써 스테레오스코픽 이미지들이 재구성될 수 있다. 재구성된 3-D 비디오를 디스플레이하는 경우, 사용자의 눈이나 머리는 그 구의 중앙에 위치되어 있는 것으로 나타내어질 수 있고, 그곳에서 3-D 비디오의 상이한 부분들을 관람하기 위해 사용자의 머리는 자유롭게 회전할 수 있게끔 허용된다. 사용자의 머리가 회전하는 경우, 클라이언트 디바이스 (150) 는 이음새 없는 방식으로 2 개의 재구성된 이미지들 (예를 들어, 좌측 이미지와 우측 이미지) 을 디스플레이할 수 있다. 특정 실시예들에서, 클라이언트 디바이스 (150) 는 콘텐트 서버 (140) 로부터 개별적인 이미지들, 마스크 데이터, 및 일그러짐 파라미터들을 수신할 수 있다. 클라이언트 디바이스 (150) 는 GPU 또는 CPU 를 이용하여 그 이미지들을 일그러뜨릴 수 있고 마스크들 또는 다른 교정 파라미터들을 적용하여 메모리에서 구형의 텍스처를 생성할 수 있다. 특정 실시예들에서, 사용자에 의해 관람되고 있지 않은 구의 부분들은 스킵되거나 무시될 수 있고, 이는 데이터 전송을 위한 대역폭 소모를 저감시킬 수 있다. 특정 실시예들에서, 고해상도 비디오가 검색되거나 처리되는 동안에 저해상도 이미지가 제공되어 임시적으로 이용될 수 있다 (비디오의 상이한 부분을 관람하기 위해 사용자가 고개를 돌리는 경우).
특정 실시예들에서, 재구성 프로세스는 사진측량적 (photogrammetric) 테크닉을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사진측량은 오버랩핑 FOV 들을 갖는 카메라들의 세트를 이용하여 넌-스테레오스코픽 (non-steroscopic) 이미지들을 캡쳐하는 것에 기초할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라들의 세트는 원의 일부 또는 원을 따라 배열될 수 있고, 각각의 카메라는 그 원의 공통의 중앙 포인트로부터 유래하는 반경 라인을 따라 정향될 수 있다. 원에 배열된 카메라들의 세트에 의해 캡쳐된 이미지들의 세트는 장면의 360 ° 뷰에 해당할 수 있고, 그 세트의 각각의 이미지는 360 ° 장면의 특정 각 위치에 대응할 수 있다 (예를 들어, 각각의 카메라는 상이한 오리엔테이션을 가질 수 있음). 인접한 카메라들은 전술된 각 오버랩 (116) 과 유사한 각 오버랩을 가질 수 있다. 특정 실시예들에서, 사진측량은 높은 각도의 각 오버랩 (예를 들어, 수평적 FOV들의 50% 이상의 각 오버랩) 을 가지는 인접한 카메라들을 수반할 수 있고 , 그로 인해 장면에서 어느 포인트든 적어도 2 개의 카메라에 의해 캡쳐될 수 있다. 특정 실시예들에서, 사진측량 방법은 3-D 정보를 종합하기 위해 이미지 면에 교차하는 다른 이미지들을 이용할 수 있다. 한정하고자 함은 아니고 일례로서, 개별적인 좌측 뷰와 우측 뷰를 생성하고 관람자에게 3-D 느낌을 제공하기 위해 동일한 장면의 복수의 뷰들이 이용될 수 있다. 상이한 뷰포인트들로부터의 이미지들은, 그 이미지들을 캡쳐했던 카메라들의 FOV 또는 오리엔테이션에 매칭되는 재구성을 제공하기 위해, 수학적으로 적절한 위치들에 놓여진다. 한정하고자 함은 아니고 일례로서, 이미지들의 세트는 그에 대응하는 폴리곤 세트에 매핑될 수 있다. 그 이미지들이 놓여지거나 얼라인되면, 3-D 외관을 갖는 스테레오스코픽 뷰 (예를 들어, 좌측 뷰와 우측 뷰) 를 생성하기 위해,오버랩된 이미지들의 적절한 부분들이 선택될 수 있다. 특정 실시예들에서, 사진측량 테크닉은 블렌드, 스티칭, 또는 반복된 특징 탐색이나 호모그래피 계산을 이용함 없이 적용될 수 있다.
특정 실시예들에서, 사진측량 테크닉은 이미지를 처리하기 위한 상대적으로 빠르거나 효율적인 방법을 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 카메라 시스템 (110) 으로부터의 이미지들을 직접처리하고 카메라 시스템 (110) 에 의해 캡쳐된 신의 뷰파인더-타입 인디케이션 (viewfinder-type indication) 을 제공하기 위해 사진측량 테크닉이 이용될 수 있다. 오퍼레이션을 위해 카메라 시스템 (110) 을 설정한 사용자는, 카메라 시스템 (110) 이 이동될 필요가 있거나 그것의 작동 파라미터들이 보정된 경우에 카메라 시스템 (110) 에 의해 획득된 이미지들을 신속히 관람하기 위해 사진측량을 이용하여 처리된 이미지들을 이용할 수 있다. 한정하고자 함은 아니고 다른 예로서, 만약 스티칭 프로세스가 일시적으로 이용할 수 없거나 실행할 수 없게된 경우, 사진측량 테크닉은 카메라 시스템 (110) 으로부터의 이미지들을 처리하거나 적절한 초점 길이에 이미지 면들을 놓기 위한 백업으로서 적용될 수 있다. 본 개시가 특정 프로세스들을 포함하는 특정 사진측량 테크닉들을 설명하기는 하나, 본 개시는 임의의 적합한 프로세스들을 포함하는 임의의 적합한 사진측량 테크닉들을 상정한다.
도 26 은 사진측량 (photogrammetry) 를 이용하는 하이브리드 스티칭 (hybrid stitching) 에 기초한 예시적인 재구성 프로세스를 도시한다. 특정 실시예들에서, 재구성 프로세스는 사진측량을 이용하는 하이브리드 스티칭을 포함할 수 있고, 여기서 3-D 이미지들의 세트를 생성하기 위해 사진측량 테크닉이 스티칭 프로세스에 결합될 수 있다. 전술된 사진측량 테크닉과 같이, 사진측량을 이용하는 하이브리드 스티칭은 스테레오 이미지 캡쳐를 요구하지 않을 수 있다. 특정 실시예들에서, 오버랩핑 이미지들 (650) 의 세트는 오버랩핑 FOV들을 갖는 카메라들의 세트를 이용하여 캡쳐될 수 있고, 캡쳐된 이미지들 (650) 은 합성 이미지 (655) 를 생성하기 위해 스티칭될 수 있다 (예를 들어, 전술된 바와 같은 스티칭 프로세스를 이용하여). 특정 실시예들에서, 캡쳐된 이미지들 (650) 을 결합하기 위해 전술된 바와 같은 스티칭 프로세스가 이용될 수 있고, 그러나 사진측량을 이용하는 하이브리드 스티칭에 있어서, 캡쳐된 이미지들 (650) 은 완전히 스티칭되지 않을 수 있다 (예를 들어, 이미지들은 스티칭되지만 블렌드되거나 합성되지 않을 수 있음). 특정 실시예들에서, 합성 이미지 (655) 를 생성하기 위해 스티칭 프로세스가 수행된 이후, 호모그래피들의 전반적인 세트가 계산된다. 한정하고자 함은 아니고 일례로서, 전술된 바와 같이, 인접한 이미지들의 쌍들의 특징점들의 대응하는 쌍들에 관한 호모그래피 매트릭스가 계산될 수 있다. 특정 실시예들에서, 호모그래피들이 계산된 후, 캡쳐된 이미지들 (650) 은 마스크들이나 직접 이미지 세그멘테이션 (direct image segmentation) 을 이용하여 좌측 및 우측 이미지 세트들로 분할될 수 있다. 도 26 의 예에서, 캡쳐된 이미지들 (650) 이 좌측 이미지 세트 (660) 및 우측 이미지 세트 (670) 을 생성하기 위해 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 캡쳐된 이미지들 (650) 의 각각의 이미지는 하나의 인접한 이미지와 공유된 제 1 오버랩 영역 (210) 및 다른 하나의 인접한 이미지와 공유된 제 2 오버랩 영역 (220) 을 가질 수 있다. 캡쳐된 이미지들 (650) 의 각각의 이미지로부터의 제 1 오버랩 영역 (210) 을 추출함으로써 좌측 이미지들 (660) 의 세트가 형성될 수 있고, 캡쳐된 이미지들 (650) 의 각각의 이미지로부터의 제 2 오버랩 영역 (220) 을 추출함으로써 우측 이미지들 (670) 의 세트가 형성될 수 있다. 의사-스테레오스코픽 (pseudo-steroscopic) 좌측 이미지 (665) 를 생성하기 위해 계산된 호모그래피들을 이용하여, 추출된 좌측 이미지들 (660) 이 스티칭될 수 있다. 유사하게, 의사-스테레오스코픽 (pseudo-steroscopic) 우측 이미지 (675) 를 생성하기 위해 계산된 호모그래피들을 이용하여, 추출된 우측 이미지들 (670) 이 스티칭될 수 있다. 특정 실시예들에서, 풀 블렌드 (full blending) 와 합성 (compositing) 프로세스가 좌측 및 우측 스티칭된 이미지들 (665 및 675) 에 대해 수행될 수 있다 특정 실시예들에서, 사진측량을 이용한 하이브리드 스티칭이 서버 (예를 들어, 스티칭 서버 (130)) 에 의해 수행될 수 있고, 스티칭된 이미지들 (665 및 675) 은 콘텐트 서버 (140) 에 의해 클라이언트 디바이스 (150) 에게 전송될 수 있다 특정 실시예들에서, 기본 비디오들 (base videos) 또는 이미지들이 호모그래피들과 함께 클라이언트 디바이스 (150) 에게 전송될 수 있고 (예를 들어, 콘텐트 서버 (140) 에 의해), 클라이언트 디바이스 (150) 는 최종적인 스티칭 오퍼레이션을 수행할 수 있다.
도 27 은 3D 360 ° 비디오를 재구성하기 위한 예시적인 방법 (700) 을 도시한다. 방법은 단계 710 에서 시작할 수 있고, 여기서, 장면의 360 ° 뷰에 해당하는 복수의 이미지들이 액세스된다. 한정하고자 함은 아니고 일례로서, 그 이미지들은 카메라들의 세트 (예를 들어, 넌-스테레오스코픽 카메라들의 세트) 에 의해 캡쳐될 수 있고, 각각의 카메라는 그 360 ° 장면의 특정 부분을 캡쳐하기 위해 정향될 수 있다. 특정 실시예들에서, 각각의 이미지는 그 360 ° 장면의 일부에 해당하고, 각각의 이미지는 제 1 오버랩 영역 및 제 2 오버랩 영역을 포함할 수 있다. 그 제 1 오버랩 영역은 제 1 인접한 이미지와의 오버랩에 대응할 수 있고, 그 제 2 오버랩 영역은 제 2 인접한 이미지와의 오버랩 영역에 대응할 수 있다. 특정 실시예들에서, 특정 이미지의 오버랩 영역은 그 특정 이미지의 50% 또는 그 이상의 영역을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 수평 방향으로 1000 픽셀 한도를 갖는 특정 이미지는 적어도 0 내지 500 픽셀들을 포함하는 제 1 오버랩 영역을 포함할 수 있고, 적어도 5 00 내지 1000 픽셀들을 포함하는 제 2 오버랩 영역을 포함할 수 있다. 단계 720 에서, 호모그래피들의 세트가 계산된다. 특정 실시예들에서, 호모그래피들의 세트가 각각의 오버랩 영역에 대해 계산될 수 있고, 그 호모그래피들은 그 오버랩 영역 내의 특징점들에 기초할 수 있다. 한정하고자 함은 아니고 일례로서, 특징점 매칭 프로세스는 전술된 바와 같이, 그 장면의 그 360 ° 뷰에 해당하는 그 이미지들에 대해 적용될 수 있다. 단계 730 에서, 그 장면의 그 360 ° 뷰에 해당하는 그 이미지들로부터 좌측 이미지들의 세트가 생성될 수 있다. 좌측 이미지들의 그 세트는 그 장면의 제 1 360 ° 뷰에 해당할 수 있다. 단계 740 에서, 그 장면의 그 360 ° 뷰에 해당하는 그 이미지들로부터 우측 이미지들의 세트가 생성될 수 있다. 우측 이미지들의 그 세트는 그 장면의 제 2 360 ° 뷰에 해당할 수 있다. 특정 실시예들에서, 좌측 및 우측 이미지들의 그 세트들을 생성하는 것은 사진측량 테크닉에 기초할 수 있다. 단계 750 에서, 그 좌측 이미지들이 스티칭된다. 특정 실시예들에서, 좌측 이미지들의 그 세트는 스티칭된 360 ° 좌측 이미지를 생성하기 위해 이전에 계산된 호모그래피들을 이용하여 스티칭될 수 있다. 단계 760 에서, 그 우측 이미지들이 스티칭된다. 특정 실시예들에서, 우측 이미지들의 그 세트는 스티칭된 360 ° 우측 이미지를 생성하기 위해 이전에 계산된 호모그래피들을 이용하여 스티칭될 수 있다. 특정 실시예들은 도 27 의 방법의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 27 의 방법의 특정 단계들이 특정 순서대로 일어나는 것으로 도시하고 설명하기는 하나, 본 개시는 도 27 의 방법의 임의의 적합한 단계들이 임의의 적합한 순서대로 일어나는 것을 상정한다. 나아가, 본 개시가 3-D 360 ° 비디오를 재구성하기 위한, 도 27 의 방법의 특정 단계들을 포함하는 예시적인 방법을 도시하고 설명하기는 하나, 본 개시는 3-D 360 ° 비디오를 재구성하기 위한, 임의의 적합한 단계들을 포함하는 임의의 적합한 방법을 상정하고, 임의의 적합한 단계들은 도 27 의 모든, 또는 일부의 단계들을 적절하게 포함하거나, 아예 포함하지 않을 수 있다. 나아가, 본 개시가 도 27 의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 도시하고 설명하기는 하나, 본 개시는 도 27 의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 상정한다.
도 28 은 3D 360 ° 비디오를 재구성하기 위한 다른 예시적인 방법 (900) 을 도시한다. 방법은 단계 710 에서 시작할 수 있고, 여기서, 장면의 360 ° 뷰에 해당하는 복수의 이미지들이 액세스된다. 전술된 바와 같이, 그 이미지들은 카메라들의 세트 (예를 들어, 넌-스테레오스코픽 카메라들의 세트) 에 의해 캡쳐될 수 있고, 여기서, 각각의 이미지는 그 360 ° 장면의 일부에 해당할 수 있고, 각각의 이미지는 제 1 오버랩 영역 및 제 2 오버랩 영역을 포함할 수 있다. 그 제 1 오버랩 영역은 제 1 인접한 이미지와의 오버랩에 대응할 수 있고, 그 제 2 오버랩 영역은 제 2 인접한 이미지와의 오버랩 영역에 대응할 수 있다. 단계 950 에서, 각각의 카메라의 인접한 카메라들에 대한 각각의 카메라의 위치, 인접한 카메라들로부터의 그 이미지들 간의 오버랩양, 이미지 경계 데이터 (image boundary data) 가 전술된 바와 같이 그 카메라 시스템에 의해 수신될 수 있다. 단계 955 에서, 그 카메라 시스템으로부터의 그 이미지들은 단안 파노라마 이미지 (monocular panorama image) 를 형성하기 위해 스티칭될 수 있다. 한정하고자 함은 아니고 일례로서, 특징점 매칭 프로세스는 전술된 바와 같이, 그 장면의 그 360 ° 뷰에 해당하는 그 이미지들을 스티칭하는데에 적용될 수 있다. 특정 실시예들에서, 좌측 가상 스테레오 카메라 (Virtual Stero Camera:VSC) 및 우측 VSC 를 위한 2 개의 이미지 경계들 (image boundaries) 을 생성하기 위해, 그 수신된 이미지들이 세그먼테이션될 수 있다. 그 수신된 이미지들의 영역은 확장될 수 있고, 그로 인해 알맞은 스티칭 오버랩들이 존재할 수 있다. 단계 960 에서, 가상 위치들이 계산될 수 있다. 단계 965 에서, 그 이미지들의 오버랩에 기초한 세그멘테이션은 축상 에지 경계들 (axial-edge boundaries) 을 정의할 수 있다. 한정하고자 함은 아니고 일례로서, 그 축상 에지 경계들은 좌측 VSC 의 우측 경계 및 우측 VSC 의 좌측 경계에 대응할 수 있다. 한정하고자 함은 아니고 일례로서, 그 좌측 VSC 의 좌측 에지 및 그 우측 VSC 의 우측 에지는 단계 970 에서 상이한 단안 카메라들 간의 스티칭 라인들 (오렌지 색으로 보여짐) 에 의해 정의될 수 있다. 그 세그먼테이션된 이미지들의 안티 축상 경계들 (anti-axial boundaries) 이 결정될 수 있다. 한정하고자 함은 아니고 일례로서, 그 안티 축상 에지 경계들은 그 좌측 VSC 의 그 좌측 에지 및 그 우측 VSC 의 그 우측 에지에 대응할 수 있다. 특정 실시예들에서, 그 안티 축상 경계들은 상이한 카메라들 간의 스티칭 라인들 또는 이음새들에 의해 정의된다.
단계 975 에서, 그 수신된 이미지들의 그 경계들을 캡쳐하는 이미지 마스크들이 생성될 수 있다. 특정 실시예들에서, 그 이미지 마스크들은 단안 이미지의 어느 부분이 그에 대응하는 VSC 에 속하는지를 정의한다. 그 캡쳐된 장면의 가상 3-D 공간 내의 오브젝트들의 다양한 위치들을 보상하기 위해, 그 수신된 단안 이미지들이 일그러뜨리어질 수 있다. 특정 실시예들에서, 그 일그러뜨리어진 이미지들의 그 경계들은 상대적으로 임의적일 수 있고 단순한 라인들로서 정의하기 어려울 수 있다. 대신에, 이러한 경계들은 마스크들 (예를 들어, 좌측 VSC 마스크들과 우측 VSC 마스크들) 로서 캡쳐되기 더 용이하다. 단계 750 에서, 그 좌측 이미지들이 스티칭된다. 특정 실시예들에서, 좌측 이미지들의 그 세트는 그 좌측 이미지들을 위해 이전에 계산된 VSC 마스크들을 이용하여 스티칭될 수 있다. 단계 760 에서, 그 우측 이미지들이 스티칭된다. 특정 실시예들에서, 우측 이미지들의 그 세트는 그 우측 이미지들을 위해 이전에 계산된 VSC 마스크들을 이용하여 스티칭될 수 있다. 단계 980 에서, 그 좌측 및 우측 스티칭된 이미지들은 3-D 360 ° 비디오를 형성하기 위해 결합된다. 특정 실시예들은 도 28 의 방법의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 28 의 방법의 특정 단계들이 특정 순서대로 일어나는 것으로 도시하고 설명하기는 하나, 본 개시는 도 28 의 방법의 임의의 적합한 단계들이 임의의 적합한 순서대로 일어나는 것을 상정한다. 나아가, 본 개시가 3-D 360 ° 비디오를 재구성하기 위한, 도 28 의 방법의 특정 단계들을 포함하는 예시적인 방법을 도시하고 설명하기는 하나, 본 개시는 3-D 360 ° 비디오를 재구성하기 위한, 임의의 적합한 단계들을 포함하는 임의의 적합한 방법을 상정하고, 임의의 적합한 단계들은 도 28 의 모든, 또는 일부의 단계들을 적절하게 포함하거나, 아예 포함하지 않을 수 있다. 나아가, 본 개시가 도 28 의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 도시하고 설명하기는 하나, 본 개시는 도 28 의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 상정한다.
도 29 는 일그러짐 오퍼레이션 (distortion operation) 이 이미지에 적용되기 전과 후의 단안 (monocular) 이미지들의 예시적인 세트를 도시한다. 도 29 의 예에서, 이미지들 (765A,765B,및 765C) 은 일그러짐 오퍼레이션 (distortion operation) 을 적용하기 이전의, 캡쳐된 단안 이미지들에 대응하고, 이미지들 (767A, 767B,및 767C) 은, 일그러짐 오퍼레이션이 적용된 이후의 이미지들에 대응한다. 특정 실시예들에서, 카메라 시스템은 단안 카메라들의 세트를 포함할 수 있고, 여기서 각각의 카메라는 그 카메라 시스템의 반경을 따라 동축으로 (coaxially) 얼라인된다. 특정 실시예들에서, 가상의 스테레오 카메라들의 세트로 촬영된 것처럼 보이는 스티칭된 이미지를 생성하기 위해 단안 카메라 시스템으로부터의 단안 이미지들의 세트가 결합될 수 있고, 여기서 각각의 VSC 쌍 (예를 들어, 좌측 및 우측 VSC들의 쌍) 은 단안 카메라에 대응한다. 한정하고자 함은 아니고 일례로서, 개별적인 좌안 및 우안 출력들을 생성하기 위한 스티칭 프로세스 동안에 단안 이미지들의 세트가 변환될 수 있다. 특정 실시예들에서, 그 단안 이미지들은 전술된 바와 같이 축상 에지 경계들 및 안티 축상 에지들에 기초하여 세그먼테이션될 수 있다. 특정 실시예들에서, 단안 이미지들의 세트는 장면에서 오브젝트들의 다양한 3-D 위치들을 보상하기 위해 일그러뜨리어질 수 있다. 한정하고자 함은 아니고 일례로서, 도 29 에서 일그러뜨리어진 이미지들 (767A, 767B, 및 767C) 에 의해 도시된 바와 같이, 일그러짐 오퍼레이션이 적용된 이후에 이미지들의 세트는 선형이 아닌 경계들 또는 2 개의 디메션들을 따라 변하는 경계들을 가질 수 있다. 특정 실시예들에서, 단안 이미지의 어느 부분이 어느 VSC 에 속하는지를 결정할 수 있는 마스크들을 이미지 경계들이 형성할 수 있다. 본 개시가 특정 방식으로 세그먼테이션되거나 일그러뜨리어져 있는 특정 단안 이미지들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 방식으로 세그먼테이션되거나 일그러뜨리어져 있는 임의의 적합한 단안 이미지들을 상정한다.
도 30 및 31은 예시적인 360 도 스테레오스코픽 (stereoscopic) 3D 환경을 도시한다. 특정 실시예들에서, 사용자는 3-D 가능 클라이언트 디바이스의 이용을 통해 실감나는 360 ° 스테레오스코픽 3-D 환경 (240) 을 경험할 수 있다. 특정 실시예들에서, 도 30 의 예에서 도시된 바와 같이, 사용자는 360 ° 스테레오스코픽 3-D 환경 (240) 에 의해 둘러싸이고, 360 ° 스테레오스코픽 3-D 환경 (240) 과 상호작용할 수 있다. 360 ° 스테레오스코픽 비디오를 관람하기 위한 예시적인 클라이언트 디바이스들 (150A-C) 은 헤드-마운티드 디스플레이 (HMD), 모바일 디바이스 (예를 들어, 폰, 태블릿, 등), 또는 텔레비전을 포함할 수 있다. 특정 실시예들에서, 도 31 의 예에서 도시된 바와 같이, 복수의 사용자들은 클라이언트 디바이스들 (150A-C) 을 통해 360 ° 스테레오스코픽 3-D 환경 (240) 을 관람할 수 있고, 그들의 고유한 관점 (242A-C) 으로부터의 360 ° 스테레오스코픽 3-D 환경 (240) 을 독립적으로 관람할 수 있다. 한정하고자 함은 아니고 일례로서, 각각의 사용자는 클라이언트 디바이스들 (150A-C) 을 통해 실시간으로 360 ° 스테레오스코픽 3-D 환경 (240) 에서 그들의 관점 (242A-C) 을 동적으로 조정할 수 있다. 나아가, 클라이언트 디바이스들 (150) 상에서 실시간으로 캡쳐되고 실시간으로 렌더링된 스테레오스코픽 3-D 비디오로서 선택된 관점 (242A-C) 이 제공될 수 있다.
전술된 바와 같이, 클라이언트 디바이스들 (150A-C) 은, 360 ° 스테레오스코픽 3-D 비디오를 제공하는 콘텐트 서버 (140) 에게 각각의 사용자의 오리엔테이션을 설명할 수 있다. 특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 은 관점 (242A-C) 을 제어하거나 회전시키기 위해 이용될 수 있는 관성 측량기 (Inertial Measurement Unit:IMU) 를 포함할 수 있다. 나아가, 클라이언트 디바이스들 (150A-C) 은 관성 측량들에 기초하여 각각의 사용자의 오리엔테이션을 결정할 수 있고, 그러하여 각각의 사용자의 좌안과 우안에 알맞게 얼라인되도록 360 ° 스테레오스코픽 3-D 환경 (240) 이 렌더링될 수 있다. 한정하고자 함은 아니고 일례로서, IMU 는 자이로스코프, 가속도계, 또는 그들의 조합을 포함할 수 있다. 특정 실시예들에서, 사용자의 글로벌 수직축에 360 ° 스테레오스코픽 3-D 환경 (240) 을 얼라인시키고 중력 벡터를 확인하기 위해 가속도계가 이용될 수 있다. 다른 예로서, 디스플레이에 대한 사용자의 상대적인 위치에 기초하여 디스플레이되는 관점 (242A-C) 의 시차 (parallax) 가 보정될 수 있다. 특정 실시예들에서, 관성 측량 센서들의 더 빠른 샘플링은 클라이언트 디바이스들 (150A-C) 의 모션을 계산하는 때에 더 나은 정확도와 정밀도를 이끌어낼 수 있다. 특정 실시예들에서, IMU 로부터의 자동 모션 계산의 이용의 제어는 토글될 수 있다. 특정 실시예들에서, 전술된 바와 같이 콘텐트 서버 (140) 는 사용자로부터의 입력에 기초한 상호작용형 방식으로 360 ° 스테레오스코픽 3-D 환경 (240) 에 대한 액세스를 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 복수의 뷰들 또는 관점들로 구성된 360 ° 스테레오스코픽 3-D 환경 (240) 의 특정 뷰, 특정 관점에 관점들 (242A-C) 이 각각 대응할 수 있다. 그러므로, 여기서 더 상세히 설명되는 바와 같이, 클라이언트 디바이스는 파노라마 (예를 들어, 360 °) 장면의 특정 뷰를 디스플레이할 수 있고, 그 장면은 복수의 뷰들로 분할될 수 있고, 각각의 뷰는 사용자에 의해, 예를 들어, 사용자가 고개를 돌림에 따라 관람될 수 있다. 본 개시는 뷰들은 연속적일 수 있고, 그러하여 뷰는 단순히 무엇이든 사용자에게 디스플레이되고, 사용자는 디스플레이를 연속적으로 조정할 수 있음을 상정한다. 특정 실시예들에서, 콘텐트 서버 (140) 는사용자의 오리엔테이션에 기초하여 고해상도 스트림으로부터 프레임들을 선택할 수 있고, 선택된 프레임들을 클라이언트 디바이스들 (150A-C) 에게 전송할 수 있다. 콘텐트 서버 (140) 는 클라이언트 디바이스들 (150A-C) 의 모션의 방향을 예측할 수 있고, 모션의 예측된 방향에 기초하여 추가적인 프레임들을 전송할 수 있다.
특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 은 모션의 중앙 주위를 회전하는 수평 또는 수직 기준면을 갖는 스마트폰 또는 태블릿일 수 있다. 사용자가 디바이스의 중앙보다는 모션의 중앙 주위를 회전할 확률이 있으므로, 이러한 경우에 회전은 평행 이동 (translation) 을 고려해야 한다. 사용자가 수평 또는 수직 기준면을 설정할 수 있게끔 하기 위해 모션 제어와 동시에 패닝 (panning) 이 지원될 수 있다. 그 대신에, 이러한 면들을 자동적으로 설정하기 위해 중력 벡터 센싱이 이용될 수 있다. 특정 실시예들에서, 사용자는 360 ° 스테레오스코픽 3-D 비디오에 대한 수직면을 수동으로 확립할 수 있다. 한정하고자 함은 아니고 일례로서, 관점 (242A-C) 은 클라이언트 디바이스들 (150A-C) 을 패닝함으로써 회전될 수 있다. 특정 실시예들에서, 사용자는 360 ° 스테레오스코픽 3-D 비디오와 상호작용하기 위해 폰이나 태블릿의 터치스크린 상에 제스처를 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 핀치 (pinch) 제스처는 클라이언트 디바이스들 (150A-C) 상에서 렌더링되고 있는 관점 (242A-C) 의 줌을 증가시킬 수 있다.
특정 실시예들에서, 주변기기가 클라이언트 디바이스들 (150A-C) 과 페어링될 수 있다 (paired). 한정하고자 함은 아니고 일례로서, 주변기기는 리모콘, 모바일 폰, 태블릿 컴퓨터, 조이스틱, 터치패드, 스타일러스, 또는 웨어러블 디바이스일 수 있다. 나아가, 페어링은 라디오 주파수 (RF), 광 전송, 블루투스 (BLUETOOTH), WI-FI,또는 유선 연결을 통해 수행될 수 있다. 한정하고자 함은 아니고 일례로서, 조이스틱 또는 게임 컨트롤러로부터의 입력은 관점들 (242A-C) 을 패닝시키기 위해 이용될 수 있다. 특정 실시예들에서, 주변기기는 위치 추적 시스템 (예를 들어, 플레이스테이션 무브 (PLAYSTATION MOVE) 또는 위 리모트 (WII REMOTE)) 을 포함할 수 있고, 관점들 (242A-C) 을 변경하기 위해 위치 또는 회전 추적이 이용될 수 있다. 다른 예로서, 비주얼 메뉴들을 끌어올리거나 소정의 기능들을 수행하는 "마우스 제스처" 를 입력하기 위해 터치패드 또는 조이스틱이 이용될 수 있다. 특정 실시예들에서, 주변기기는 리모콘을 포함할 수 있고, 리모콘의 움직임을 통해 가속도계나 자이로스코프 데이터에 기초하여 관점들 (242A-C) 이 변경될 수 있다. 다른 예로서, 줌인 또는 줌아웃은 리모콘의 양방향 버튼들을 이용함으로써 작용될 수 있다. 다른 예로서, 사용자는 리모콘의 화살 키들을 이용하여 관점들 (242A-C) 을 회전시킬 수 있다. 특정 실시예들에서, 관점들 (242A-C) 을 알려진 안전 설정으로 되돌리기 위해 이용될 수 있는 특정 버튼을 주변기기가 포함할 수 있고, 그럼으로써 사용자가 용이하게 자리잡을 수 있게끔 할 수 있다. 만약 줌 또는 다른 제어들이 요구되는 경우, (채널 제어와 같은) 양방향 버튼들이 이러한 기능에 매핑될 수 있다.
특정 실시예들에서, 주변기기는 관점들 (242A-C) 을 조정하기 위해 HMD 와 페어링될 수 있다. 한정하고자 함은 아니고 일례로서, 주변기기 (예를 들어, 리모콘 또는 게임 컨트롤러) 는 사용자를 로컬 버튼들 또는 제어들로 가이드하기 위한 물리적인 질감을 포함할 수 있다. 나아가, 외부 카메라가 그 주변기기를 위치시키어 관점들 (242A-C) 내에서 그 주변기기의 표상을 표시할 수 있게끔 하는 (능동 또는 수동의) 태그를 주변기기가 포함할 수 있다. 특정 실시예들에서, 주변기기의 가상의 표상들은 정확한 표상이 아닐 수 있다. 예를 들어, 어느 부분들 (예를 들어, 버튼들 또는 스위치들) 은 정확하게 렌더링될 수 있고, 반면 추가적인 능력들을 주변기기에 불어넣기 위해 주변기기에 대해 확장이 이루어질 수 있다. 다른 예로서, 주변기기는, 사용자가 버튼을 터치하고 있는 경우에 주변기기가 클라이언트 디바이스들 (150A-C) 에게 입력들을 제공할 수 있게끔 하는 터치 센싱을 이용할 수 있다. 특정 실시예들에서, 주변기기는 실세계 오브젝트에 부착된 하나 이상의 부착 가능형 센서 스티커들일 수 있다. 한정하고자 함은 아니고 일례로서, 왼쪽 화살표 기능의 스티커는 오브젝트 (예를 들어, 휴지통) 의 왼쪽 면 상에 있을 수 있고, 오른쪽 화살표 기능의 스티커는 그 오브젝트의 오른쪽 면 상에 있을 수 있다. 그 오브젝트의 일 면을 태핑 (tapping) 하는 것으로 비디오 콘텐트를 통해 내비게이트 (navigate) 할 수 있다.
특정 실시예들에서, 주변기기는 클라이언트 디바이스들 (150A-C) 와 페어링된 웨어러블 디바이스일 수 있다. 한정하고자 함은 아니고 일례로서, 주변기기는 촉각 피드백을 주는 하나 이상의 글러브들일 수 있다. 사용자가 가상의 오브젝트를 터치하는 경우, 글러브는 오브젝트와 관련된 촉각 피드백 (예를 들어, 질감, 느낌, 또는 온도) 을 전한다. 특정 실시예들에서, 주변기기는 스마트워치일 수 있고, 스마트워치의 움직임은 관점들 (242A-C) 을 공간적 내비게이트하는 것을 제어할 수 있다. 움직임은 IMU (예를 들어, 가속도계 또는 자이로스코프), 지구자기 (geo-magnetic) 센서, 또는 기압계에 의해 검출될 수 있다. 예를 들어, 사용자가 손가락을 겨누는 경우, 관점 (242A-C) 은 앞으로 이동할 수 있다. 다른 예로서, 스마트워치를 회전시키거나 다이얼링 (dialing) 하는 것은 360 ° 스테레오스코픽 3-D 비디오를 시간상 뒤나 앞으로 이동시킬 수 있다. 다른 예로서, 스마트워치의 움직임은 관점 (242A-C) 을 상이한 위치로 이동시키거나 360 ° 스테레오스코픽 3-D 비디오를 다음 챕터로 진행시킬 수 있다. 특정 실시예들에서, 주변기기는 사용자의 손가락에 착용되는 반지일 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 반지의 면 상의 회전성 엘리먼트를 통해 관점들 (242A-C) 을 변경할 수 있다. 다른 예로서, 회전성 엘리먼트는 360 ° 스테레오스코픽 3-D 비디오의 재생 레이트를 제어할 수 있다. 특정 실시예들에서, 반지는 사용자 입력을 위해 정전용량형 센서 또는 물리적 버튼을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 선택 오퍼레이션을 수행하기 위해 버튼을 누를 수 있다. 다른 예로서, 사용자는 관점들 (242A-C)을 제어하기 위해 정전용량형 센서 상에서 스와이프 제스처를 수행할 수 있다. 특정 실시예들에서, 반지는 가속도계, 기압계, 자이로스코프, 또는 지구자기 센서를 이용하여 움직임 센싱을 수행할 수 있고, 관점들 (242A-C) 을 내비게이트하는 것을 제어하기 위해 반지가 껴진 손가락을 이용할 수 있다.
특정 실시예들에서, 스마트폰 또는 태블릿은 사용자를 향한 카메라를 포함할 수 있고, 사용자의 안구 움직임을 추적함으로써 사용자 입력이 제공될 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 눈 깜빡임의 지속기간이나 양에 기초하여 360 ° 스테레오스코픽 3-D 비디오 또는 사용자 인터페이스 (UI) 를 내비게이트할 수 있다. 다른 예로서, 사용자가 눈을 관점 (242A-C) 의 특정 위치로 향하고 미리 결정된 양의 시간 동안 눈 위치를 유지한 것에 응답하여 특정 커맨드들이 수행될 수 있다. 다른 예로서, UI 는 한쪽 눈을 감고 다른쪽 눈을 뜬 사용자에 기초하여 특정 액션을 수행할 수 있다.
특정 실시예들에서, 스타일러스는 360 ° 스테레오스코픽 3-D 비디오를 제어하거나 그와 상호작용하기 위해 태블릿이나 스마트폰과 함께 스타일러스가 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 스타일러스는 360 ° 스테레오스코픽 3-D 환경 (240) 의 일부를 선택하거나, 그에 주석을 달거나, 또는 끌어당기기 위해 이용될 수 있다. 예를 들어, 사용자는 스타일러스 끝으로 360 ° 스테레오스코픽 3-D 비디오의 오브젝트의 윤곽을 트레이스 (trace) 함으로써 "올가미 (lasso)" 선택을 수행할 수 있다. 다른 예로서, 스타일러스는 클라이언트 디바이스 (150A-C) 에 페어링된 경우에 "마우스-유사" 컨트롤러일 수 있다.
특정 실시예들에서, 클라이언트 디바이스는 사용자가 360 ° 스테레오스코픽 3-D 비디오와 상호작용할 수 있게끔 하는 UI를 제공할 수 있다. 특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 의 IMU 는 UI 와 상호작용하기 위해 사용자의 머리의 모션을 이용할 수 있다 (예를 들어, 액션들을 확정하거나 거부하기 위한 고개의 끄덕임이나 가로저음). 한정하고자 함은 아니고 일례로서, UI 는 메뉴 항목들을 디스플레이하거나 다양한 기능들을 활성화하기 위해 관점 (242A-C) 의 측면들을 이용할 수 있다. 예를 들어, 만약 관점 (242A-C) 의 중앙이 주 비디오 콘텐트를 포함하는 경우, 활성화시키기 위해 사용자가 바라볼 수 있는 컨트롤들을 관점 (242A-C) 의 측면들 또는 뒤가 포함할 수 있다. 다른 예로서, UI 는 상이한 비디오 푸티지 (video footage) 를 수평적으로 조직할 수 있다. 사용자는 머리를 수평적으로 회전시킴으로써 비디오 푸티지를 통해 내비게이트할 수 있다. 나아가, 위나 아래를 봄으로써, 사용자는 선택된 푸티지를 프레임별로 확장시킬 수 있다. 다른 예로서, 사용자의 머리를 기울이는 것은 관점 (242A-C) 의 틸트로 이어질 수 있다. 다른 예로서, UI 는 사용자에 의해 수행된 아래 방향의 머리 움직임을 검출한 것에 기초하여 액션들의 메뉴를 열 수 있다.
클라이언트 디바이스들 (150A-C) 이 HMD 인 경우에, 사용자의 시야가 차폐될 수 있고, 사용자는 실세계 환경 또는 손을 보지 않고 360 ° 스테레오스코픽 3-D 환경 (240) 과 상호작용할 수 있다. 특정 실시예들에서, 손의 가상 이미지 또는 포인터를 생성하기 위해 사용자의 손의 골격을 추적하기 위한, 바깥 방향을 향한 카메라를 HMD 가 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 바깥 방향을 향한 카메라에 의해 캡쳐된, 제스처에 의한 상호작용들을 이용하여 UI 와 상호작용할 수 있다. 특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 은 머리에 접촉하는 전극들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자 머리 전면에서 전두엽 피질 근처의 영역들과 접촉하기 위해 하나 이상의 전극들이 HMD 디바이스의 에지에 탑재될 수 있다. 일례로서, UI 는 360 ° 스테레오스코픽 3-D 환경 (240) 과 상호작용하기 위해 뇌에서의 전기적 활동을 캡쳐하는 뇌-컴퓨터 인터페이스 (Brain-Computer Interface:BCI) 를 포함할 수 있다. 나아가, 클라이언트 디바이스들 (150A-C) 은 사용자의 기분 또는 커맨드들을 추론할 수 있고, 그에 따라, 관점 (242A-C) 또는 콘텐트를 조정할 수 있다.
특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 은 3-D 에서 사용자의 사지 (예를 들어, 손이나 발) 의 움직임을 캡쳐하기 위해 뎁스 센서와 이미지 센서 조합을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 그 센서는 키넥트 (KINECT) 유사 시스템의 일부일 수 있다. 다른 예로서, 클라이언트 디바이스들 (150A-C) 은 사용자 손을 세그먼테이션하여 그것의 3-D 위치를 삼각측량을 통해 확인하기 위해 사용자를 향한 카메라들의 쌍을 이용할 수 있다. 특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 의 UI 는 사용자 손의 캡쳐된 움직임으로부터 특정 제스처들을 인식할 수 있다. 나아가, 사용자의 하나 또는 두 손의 캡쳐된 움직임을 통해 포인터들의 세트에 대한 직접적인 제어를 UI 가 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 캡쳐된 손 움직임들은 사용자가 게임을 하거나, 다른 가상 콘텐트와 상호작용하거나, 또는 가상 경관에 주석을 달 수 있게끔 할 수 있다. 다른 예로서, 사용자는 또한 제스처를 이용하여, 예를 들어, 360 ° 스테레오스코픽 3-D 비디오를 멈추거나 재생하고, 되감기, 빨리 감기, 또는 볼륨, 또는 상이한 가상 장면이나 영역으로의 이동과 같은 컨트롤들에 액세스할 수 있다. 예를 들어, UI 는 사용자가 손을 쥠으로써 360 ° 스테레오스코픽 3-D 비디오의 일부를 이동시키거나 프레임 (frame) 할 수 있게끔 할 수 있다. 특정 실시예들에서, UI 에서 사용자에 의해 "터치된" 가상 컨트롤들을 통해, 또는 가상 컨트롤들 없이 제스처들을 이용함으로써 360 ° 스테레오스코픽 3-D 비디오의 제어가 행해질 수 있다.
한정하고자 함은 아니고 일례로서, UI 는 디스플레이된 가상 오브젝트들의 윤곽을 트레이스하는 손가락이나 손의 움직임을 인식한 것에 기초하여 가상 항목을 선택하거나 하이라이트할 수 있다. 예를 들어, UI 는 관점 (242A-C) 내에서 선택되지 않은 다른 오브젝트들로부터 선택된 오브젝트를 구별하기 위한 특수 효과를 제공할 수 있다. 다른 예로서, UI 는 가상 QWERTY 키보드나 제어판에 대한 입력에 대응하는 네 손가락의 움직임을 인식할 수 있다. 예를 들어, UI 는 가상 키보드에 대한 입력에 기초하여 관점들 (242A-C) 상에서의 가상 스티커 메모를 제공할 수 있다. 다른 예로서, UI 는 두 엄지의 움직임을 검출한 것에 응답하여 선택 또는 클릭 오퍼레이션을 수행할 수 있다. 나아가, 사용자는 가상 키보드 상에 태핑함으로써 글자를 선택할 수 있고, 카메라가 그 움직임을 추적할 수 있다. 다른 예로서, UI 는 가리키는 제스처를, 360 ° 스테레오스코픽 3-D 비디오를 다음 녹화 포인트로 진행시키기 위한 커맨드에 연관시킬 수 있다. 다른 예로서, UI 는 사용자의 손들 간의 거리 변화를 검출한 것에 기초하여 관점 (242A-C) 을 줌인하거나 줌아웃할 수 있다. 다른 예로서, UI 는 망원경을 잡는 형태의 두 손을 캡쳐한 것에 기초하여 관점 (242A-C) 상에서 줌인할 수 있다.
다른 예로서, 등을 긁는 제스처에 대응한 손 움직임을 캡쳐한 것에 응답하여 폰 카메라 피드 (feed) 를 드러내기 (reveal) 위해 UI 는 360 ° 스테레오스코픽 3-D 환경 (240) 의 일부를 제거할 수 있다. 다른 예로서, UI 는 손 스와이프 제스처를 검출한 것에 기초하여 액션들의 메뉴를 열 수 있다. 다른 예로서, UI 는 스와이프 제스처를 이용하여 가장 가까운 관점 (242A-C) 을 훔쳐냄으로써 시스루 (see-through) 관점 (242A-C) 을 디스플레이할 수 있다. 다른 예로서, UI 는 사용자의 손을 뻗음으로써 정의된 영역에 기초하여 관점 (242A-C) 에서 크롭 (crop) 영역을 정의하는 것을 지원할 수 있다. 360 ° 스테레오스코픽 3-D 비디오의 라이브 스트리밍 또는 기록으로부터의 섹션들에, 크롭된 영역이 콜라쥬될 수 있다 (collaged). 다른 예로서, 사용자가 가상 버튼을 작동시키거나 특정 제스처를 수행하는 경우에 카메라 피드로 스트리밍된 콘텐트 간에 UI 가 스위치될 수 있다. 특정 실시예들에서, 뎁스와 이미지 센서 데이터에 기초하여 사용자의 움직임에 기초한 액션을 UI 가 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자에 의한 걸음 움직임은 알림 (notification) 을 열 수 있고, 반면에 발로 차는 모션은 그 알림을 물러가게 할 수 있다.
특정 실시예들에서, 사용자의 "실세계" 환경으로부터 오브젝트들을 관점 (242A-C) 안으로 끌어당기기 위해 카메라들 또는 뎁스 카메라들이 이용될 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 거실에 있을 수 있고, 소파, 커피 테이블, 그 위의 음료들을 그대로 보면서, HMD 를 이용해 아름다운 해변으로 가상적으로 이동될 수 있다. 특정 실시예들에서, 관점들 (242A-C) 을 위한 가상의 컨트롤들로서 관점 (242A-C) 으로 증강되는 실세계 오브젝트들을 UI 가 이용할 수 있다. 특정 실시예들에서, 사용자는 클라이언트 디바이스들 (150A-C) 과 연결된 주변기기를 통해 관점 (242A-C) 과 상호작용할 수 있다. 주변기기 또는 클라이언트 디바이스들 (150A-C) 은 UI 또는 관점들 (242A-C) 을 조작하기 위한 마이크로폰을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자에게 콘텐트를 디스플레이하기 위해 UI 에 대해 "내 이메일을 열어" 와 같은 구절을 사용자가 말할 수 있다. 다른 예로서, 사용자는 "여기가 어디야" 와 같은 구절을 말할 수 있고, 그리고 UI 는 지도를 디스플레이하고 지도 상에서 위치를 마킹할 수 있다. 다른 예로서, 360 ° 스테레오스코픽 3-D 비디오의 재생을 조작하기 위해 "멈춰" 또는 "시작해"와 같은 구절들을 사용자가 말할 수 있다.
전술된 바와 같이, 360 ° 스테레오스코픽 3-D 비디오는 실감나는 경험을 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 360 ° 스테레오스코픽 3-D 비디오을 위한 UI 는 가상 오브젝트들과 사용자의 상호작용에 기초하여 액션들을 수행할 수 있다. 예를 들어, 사용자는 실감나는 환경 내에서 현재 위치를 마킹하기 위해 가상 공을 떨어뜨릴 수 있다. 다른 예로서, 당신이 메시지를 수신하는 경우, 사용자의 가상 주머니 안에 공이 있거나, UI 상에 가상 글자가 있다. 다른 예로서, 관점들 (242A-C) 의 상이한 부분들을 마킹하기 위해 UI 는 가상 핀 (virtual pin) 들을 제공할 수 있다.특정 실시예들에서, 상이한 360 ° 스테레오스코픽 3-D 비디오들을 준비하기 (curate) 위해 UI 가 아카이빙 인공 지능 (archiving artificial intelligence) 을 포함할 수 있다. 특정 실시예들에서, 360 ° 스테레오스코픽 3-D 비디오의 메타데이터 또는 데이터에 기초하여 정보를 디스플레이하기 위해 360 ° 스테레오스코픽 3-D 환경 (240) 이 증강될 수 있다. 한정하고자 함은 아니고 일례로서, 베니스 (Venice) 의 360 ° 스테레오스코픽 3-D 비디오를 보는 사용자에 기초하여, UI 는 그 비디오의 이미지 분석 또는 위치 데이터에 기초하여 베니스 역사의 요약을 제공할 수 있다. 다른 예로서, UI 는 관점들 (242A-C) 의 오브젝트들의 위에 아이콘들을 디스플레이할 수 있다. 사용자가 아이콘과 상호작용하는 경우, UI 는 보다 상세한 뷰 또는 정보를 디스플레이할 수 있다. 다른 예로서, UI 는 사용자가 실시간 360 ° 스테레오스코픽 3-D 비디오를 증강시키기 위해 키보드, 활자, 또는 음성을 통해 코멘트를 제공할 수 있게끔 할 수 있다. 다른 예로서, UI 는 전화가 오는 것을 수신한 것에 응답하여 관점 (242A-C) 내에서 폰 메뉴를 디스플레이할 수 있다.
특정 실시예들에서, UI 는 사용자가 미리 녹화되거나 라이브 스트리밍의 360 ° 스테레오스코픽 3-D 비디오 상에서의 오브젝트, 사람, 또는 공간을 선택할 수 있께끔 할 수 있고, 관점 (242A-C) 은 또 다른 관점 (242A-C) 으로 전환될 수 있다. 한정하고자 함은 아니고 일례로서, UI 는 선택된 오브젝트, 사람, 또는 공간의 더 가깝고, 최적화된 관점 (242A-C) 을 표시할 수 있다. 특정 실시예들에서, UI 는 특정 현장 또는 랜드마크의 360 ° 스테레오스코픽 3-D 비디오의 타임 오버레이 (time overlay) 를 제공할 수 있다. 한정하고자 함은 아니고 일례로서, UI 는 사용자가 360 ° 스테레오스코픽 3-D 환경 (240) 을 이전 시기의 오브젝트들 (예를 들어, 사람들이나 건물들) 의 다른 360 ° 스테레오스코픽 3-D 비디오에 증강시킬 수 있게끔 할 수 있다. 예를 들어, 현 마추피추 (Machu Picchu) 의 360 ° 스테레오스코픽 3-D 비디오가 클라이언트 디바이스들 (150A-C) 에 의해 렌더링될 수 있고, UI 는 잉카 시대 (the Encan era) 의 건물들과 사람들의 360 ° 스테레오스코픽 3-D 비디오에 360 ° 스테레오스코픽 3-D 환경 (240) 을 증강시킬 수 있다. 특정 실시예들에서, UI 는 상이한 시간대 또는 상이한 관점들 (242A-C) 에 의해 360 ° 스테레오스코픽 3-D 비디오의 오버랩핑 이행을 제공할 수 있다. 한정하고자 함은 아니고 일례로서, 360 ° 스테레오스코픽 3-D 환경 (240) 은 아트 갤러리 내에 있을 수 있다. 복수의 사용자들은 그들의 예술품을 실생활의 빈 벽 상에 디스플레이할 수 있고, 그 예술품들은 아트 갤러리 벽 상에 렌더링될 수 있다. 다른 예로서, UI 는 사용자에게 가상 쇼핑 경험을 제공할 수 있고, 여기서, 사용자는 360 ° 스테레오스코픽 3-D 환경 (240) 으로 렌더링된 가게를 방문함으로써 물품들이나 실제 상태를 체크할 수 있다.
특정 실시예들에서, 클라이언트 디바이스들 (150A-C) 은 전술된 콘텐트 서버 (140) 로부터의 오디오 재구성 데이터를 이용하여 그 360 ° 3-D 비디오에 연관된 오디오 환경을 재구성할 수 있다. 클라이언트 디바이스들 (150A-C) 은 헤드폰 출력을 제공하는 기능을 가질 수 있거나 대신에 클라이언트 디바이스의 서라운드 사운드 출력 기능 (예를 들어, 3-D TV 상에서의 서라운드 사운드) 을 이용할 수 있다. 한정하고자 함은 아니고 일례로서, 오디오가 장면에 공간적으로 고정될 수 있고 (spatially anchored), 그러하여 사용자가 고개를 돌리는 경우, 오디오 톤, 볼륨, 등에서 그에 대응하는 변화를 갖는다. 다른 예로서, 사용자는 오디오 환경의 특정 섹션을 제어할 수 있다. 예를 들어, 사용자는 관점 (242A-C) 내에서 오브젝트 상에서 특정 입력을 수행할 수 있고, 그 오브젝트에 관련된 오디오가 음소거되거나 강화될 수 있다.
도 32 는 3D 비디오와 상호작용 (interacting) 하기 위한 예시적인 방법 (3200) 을 도시한다. 그 방법은 단계 3210 에서 시작하고, 여기서, 사용자의 물리적인 환경으로부터 떨어진 실생활 장면의 이미지들을 포함하는 3 차원 비디오가 머리 장착형 클라이언트 컴퓨팅 디바이스의 디스플레이 상에서 사용자에게 표시된다. 단계 3220 에서, 그래픽 오브젝트는 머리 장착형 클라이언트 컴퓨팅 디바이스의 디스플레이 상에서 사용자에게 표시된다. 특정 실시예들에서, 그래픽 오브젝트는 가상 그래픽 오브젝트 (3240) 또는 사용자의 물리적인 환경 (3230) 의 이미지를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자의 물리적인 환경 (3230) 의 이미지는 사용자의 물리적인 환경, 사용자의 물리적인 환경의 도식화된 지도, 또는 사용자의 물리적인 환경의 조감도에서의 오브젝트 (예를 들어, 사람, 동물, 또는 가구 한점) 를 포함할 수 있다. 한정하고자 함은 아니고 다른 예로서, 가상 그래픽 오브젝트 (3240) 는 알림, 가상 입력 디바이스, 3-D 비디오들을 디스플레이하는 가상 표면, 3-D 비디오에서 오브젝트에 대응하는 정보, 사용자에 의해 생성된 콘텐트, 또는 실생활 장면에 대응하는 이미지를 포함할 수 있다. 대체적인 실시예에서, 사용자의 물리적인 환경은 머리 장착형 클라이언트 컴퓨팅 디바이스의 디스플레이 상에서 사용자에게 표시될 수 있고, 원격인 실생활 장면의 이미지들을 포함하는 3 차원 비디오 또한 사용자에게 표시될 수 있다. 또 다른 실시예에서, 사용자의 물리적인 환경으로부터 떨어진 실생활 장면의 이미지들을 포함하는 3 차원 비디오의 임의의 적합한 조합이 머리 장착형 클라이언트 컴퓨팅 디바이스의 디스플레이 상에서 사용자에게 표시될 수 있다. 특정 실시예들은 도 32 의 방법의 하나 이상의 단계들을 적절하게 반복할 수 있다. 본 개시가 도 32 의 방법의 특정 단계들이 특정 순서대로 일어나는 것으로 도시하고 설명하기는 하나, 본 개시는 도 32 의 방법의 임의의 적합한 단계들이 임의의 적합한 순서대로 일어나는 것을 상정한다. 더욱이, 본 개시가 3-D 360 ° 비디오와 상호작용하기 위한, 도 32 의 방법의 특정 단계들을 포함하는 예시적인 방법을 도시하고 설명하기는 하나, 본 개시는 3-D 360 ° 비디오와 상호작용하기 위한, 임의의 적합한 단계들을 포함하는 임의의 적합한 방법을 상정하고, 임의의 적합한 단계들은 도 32 의 모든, 또는 일부의 단계들을 적절하게 포함하거나, 아예 포함하지 않을 수 있다. 나아가, 본 개시가 도 32 의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 도시하고 설명하기는 하나, 본 개시는 도 32 의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 상정한다.
도 33 은 예시적인 머리 장착형 클라이언트 컴퓨팅 디바이스 (150) 의 블록도를 도시한다. 특정 실시예들에서, 머리 장착형 클라이언트 컴퓨팅 디바이스 (150) 는 클라이언트 시스템 (150), 클라이언트 디바이스 (150), 또는 헤드-마운티드 디스플레이 (HMD) 라 할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 사용자에 의해 사용자 머리 상에 또는 주변에 착용될 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 디스플레이들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자가 클라이언트 시스템 (150) 을 착용하였을 때 좌측과 우측 이미지들을 각각 디스플레이하기 위해 좌측과 우측으로 분할된 단일의 디스플레이를 클라이언트 시스템 (150) 이 포함할 수 있다. 도 33 의 예에서, 클라이언트 시스템 (150) 은 좌측 디스플레이 (782L) 및 우측 디스플레이 (782R) 를 포함할 수 있고, 그 2개의 디스플레이들은 사용자에게 3-D 비디오를 표시하기 위해 이용될 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 카메라들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 은 사용자 머리로부터 멀어지거나 바깥 방향을 향하는 하나 이상의 카메라들을 포함할 수 있고, 그 카메라들은 사용자의 물리적인 환경의 하나 이상의 이미지들을 캡쳐하기 위해 이용될 수 있다. 도 33 의 예에서, 클라이언트 시스템 (150) 은 좌측 카메라 (784L) 및 우측 카메라 (784R) 를 포함할 수 있다. 그 2개의 카메라들 (784L 및 784R) 은 사용자의 물리적인 환경에 대한 스테레오스코픽 이미지들 또는 비디오들을 캡쳐하기 위해 이용될 수 있고, 이러한 이미지들 또는 비디오들은 디스플레이들 (782L 및 782R) 상에서 사용자에게 디스플레이될 수 있다.
특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 프로세서들 (786) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 프로세서 (786) 는 클라이언트 시스템 (150) 에 의해 콘텐트 서버 (140) 로부터 수신된 이미지들에 대해 스티칭 오퍼레이션들을 수행할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 클라이언트 시스템 (150) 에게 전력을 제공하기 위한 배터리 (788, 예를 들어, 재충전 가능 배터리) 를 포함할 수 있다. 특정 실시예들에서, WI-FI 또는 블루투스를 이용하여 무선으로 통신하는 모듈과 같은 외부 통신 모듈 (790) 을 클라이언트 시스템 (150) 이 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 외부 통신 모듈 (790) 은 콘텐트 서버 (140) 와 무선으로 통신할 수 있고, 또는 콘텐트 서버 (140) 와 통신하는 인터넷-연결 컴퓨팅 디바이스와 무선으로 통신할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 스피커들 (792) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 스피커 (792) 는 사용자가 들을 수 있는 청각적 사운드를 생성하고, 또는 스피커 (792) 는 청각적 사운드를 생성하는 헤드폰에 신호 (예를 들어, 블루투스 신호) 를 공급할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 마이크로폰들 (794) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 마이크로폰 (794) 은 사용자로부터 구두 (verbal) 커맨드들을 수신하기 위해 이용될 수 있다. 한정하고자 함은 아니고 다른 예로서, 마이크로폰 (794) 은 사용자의 물리적인 환경으로부터의 오디오 신호들을 검출하거나 수신하기 위해 이용될 수 있다 (예를 들어, 사용자에게 이야기하는 사람의 사운드; 초인종 사운드; 또는 사용자의 개가 짖는 사운드). 특정 실시예들에서, 클라이언트 시스템 (150) 은 클라이언트 시스템 (150) 의 움직임이나 오리엔테이션을 결정하기 위해 하나 이상의 관성 측량기 (IMU) 들을 포함할 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 하나 이상의 센서들 (798) 을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 은 사용자의 물리적인 환경 내에서 오브젝트들의 위치를 검출하거나 결정하기 위해 하나 이상의 뎁스 센서들 (798) 을 포함할 수 있다. 본 개시가 특정 컴포넌트들을 포함하는 특정 머리 장착형 클라이언트 컴퓨팅 디바이스들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 컴포넌트들을 포함하는 임의의 적합한 머리 장착형 클라이언트 컴퓨팅 디바이스들을 상정한다.
도 34 는 예시적인 머리 장착형 클라이언트 컴퓨팅 디바이스 (150) 를 착용한 채 방 안에 서있는 사용자를 도시한다. 특정 실시예들에서, 사용자는 클라이언트 시스템 (150) 상에 표시된 3-D 비디오를 볼 수 있고, 여기서, 3-D 비디오는 사용자의 물리적인 환경으로부터 떨어진 실생활 장면의 이미지들을 포함할 수 있다. 특정 실시예들에서, 사용자의 물리적인 환경은 사용자 근처에 위치하거나, 사용자와 동일한 방에 위치하거나, 또는 사용자로부터 특정 거리 (예를 들어, 1 미터, 3 미터, 5 미터, 10 미터, 또는 임의의 적합한 거리) 내에 위치하는 하나 이상의 오브젝트들 (예를 들어, 가구, 벽, 의자, 문), 동물, 또는 사람을 포함할 수 있다. 도 34 의 예에서, 사용자는 방 안에 서서 클라이언트 시스템 (150) 에 표시되는 장면을 보고, 사용자의 물리적인 환경은 가구 (예를 들어, 테이블 (910) 과 선반 (915)), 개 (920), 및 다른 사람 (925) 을 포함한다.
도 35 는 머리 장착형 클라이언트 컴퓨팅 디바이스 (150) 를 착용한 사용자에 의해 관람되는 예시적인 장면 (scene) 을 도시한다. 특정 실시예들에서, 사용자에 의해 관람되는 장면은 3-D 이미지 또는 3-D 비디오를 포함할 수 있다. 도 35 의 예에서, 클라이언트 시스템 (150) 상에서 사용자에게 디스플레이되는 장면은 성, 나무, 및 맑은 하늘을 포함한다. 사용자는 집 거실에서 클라이언트 시스템 (150) 을 착용하여 유럽의 성들을 묘사한 여행 비디오를 관람할 수 있다.
도 36 은 예시적인 알림 (930) 과 함께 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 사용자에게 3-D 장면과 가상 그래픽 오브젝트를 표시할 수 있다. 특정 실시예들에서, 가상 그래픽 오브젝트는 알림 (930), 가상 입력 디바이스 (예를 들어, 가상 키보드, 가상 펜, 또는 가상 제어패널), 3-D 비디오들을 디스플레이하는 가상 표면, 3-D 비디오에서 오브젝트에 대응하는 정보, 사용자에 의해 생성된 콘텐트 (예를 들어, 텍스트 또는 그림), 또는 실생활 장면에 대응하는 이미지를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 성에 관한 역사적 정보를 담은 가상 그래픽 오브젝트가 성의 3-D 비디오에 오버레이될 수 있다 (overlaid). 한정하고자 함은 아니고 다른 예로서, 가상 그래픽 오브젝트는 유적지 (오늘날 보여지는바와 같은 성의 폐허) 의 실생활 장면 위에 슈퍼임포즈된 그 유적지의 (수 세기 이전에 보여졌을 법한) 이미지를 포함할 수 있다. 도 36 의 예에서, 클라이언트 시스템 (150) 은 성의 장면을 디스플레이하고 있고, 그 장면 위에 알림 (930) 이 오버레이된다. 특정 실시예들에서, 장면의 한쪽 측면에, 또는 장면의 중앙 근처에, 또는 장면의 전부나 일부 위에 오버레이되거나 슈퍼임포즈되는 것과 같이 임의의 적합한 포맷으로 알림 (930) 이 디스플레이될 수 있다. 특정 실시예들에서, 알림 (930) 은 불투명할 수 있고 알림 (930) 뒤에 위치한 장면의 일부를 가릴 수 있고, 또는 알림 (930) 뒤에 위치한 장면이 적어도 부분적으로 관람될 수 있게끔 알림 (930) 은 반투명할 수 있다. 특정 실시예들에서, 알림 (930) 은 애플리케이션으로부터의 또는 다른 사용자로부터의 메시지를 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 알림 (930) 은 다른 사용자에 의해 전해진 텍스트 메시지, 보이스메일, 또는 이메일의 일부를 포함할 수 있고, 사용자가 이메일, 통화, 또는 텍스트 메시지를 수신하였다는 인디케이션 (indication) 을 포함할 수 있다. 한정하고자 함은 아니고 다른 예로서, 알림 (930) 은 클라이언트 시스템 (150) 에서 실행중인 애플리케이션 또는 클라이언트 시스템 (150) 으로부터의 메시지, 예를 들어, 사용자의 초인종이 올렸다는 메시지, 사람 (925) 이 사용자에게 다가오고 있다는 메시지, 사용자의 개 (920) 가 짖고 있다는 메시지, 사용자의 개가 다가오고 있다는 메시지, 또는 배터리 (788) 가 떨어지고 있고 재충전될 필요가 있다는 메시지를 포함할 수 있다. 본 개시가 특정 포맷들로 디스플레이되는 특정 정보를 포함하는 특정 알림들을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 포맷들로 디스플레이되는 임의의 적합한 정보를 포함하는 임의의 적합한 알림들을 상정한다.
도 37 은 사용자 (925) 가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 사용자에게 3-D 장면과 그 사용자의 물리적인 환경의 이미지를 표시할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 은 이미지 센서 (예를 들어, 좌측 카메라 (784L) 와 우측 카메라 (784R) 와 같은 하나 이상의 카메라들) 를 포함할 수 있고, 이미지 센서에 의해 캡쳐된, 사용자의 물리적인 환경의 이미지는 3-D 비디오와 결합되어 사용자에게 표시될 수 있다. 특정 실시예들에서, 클라이언트 시스템 (150) 은 이벤트가 사용자의 물리적인 환경 내에서 발생했다는 인디케이션 (indication) 을, 그 이벤트에 기초하여 수신할 수 있고, 클라이언트 시스템 (150) 은 사용자의 물리적인 환경의 적어도 일부에 대한 이미지를 사용자에게 표시할 수 있다. 한정하고자 함은 아니고 일례로서, 이벤트는, 예를 들어, 사용자와 오브젝트 간의 거리, 오브젝트의 속력, 또는, 다른 사람이나 사용자에 의해 수행된 특정 제스처와 같읕 사용자의 물리적인 환경의 양태를 포함할 수 있다. 도 37 의 예에서, 사람 (925) 은 사용자를 향하고 사용자에게 손을 흔들고 있고, 그 사람 (925) 의 이미지 (클라이언트 시스템 (150) 의 카메라에 의해 캡쳐됨) 가 성의 3-D 장면 위에 슈퍼임포즈된다. 사용자에게 손을 흔드는 사람 (925) 의 이미지는, 클라이언트 시스템 (150) 에 의해 캡쳐된 이미지의 남아 있는 부분으로부터 분리되고 (extracted), 분리된 부분이 사용자에게 표시된다. 특정 실시예들에서, 사용자의 물리적인 환경의 이미지를 표시하는 것은 사용자가 그들의 물리적 환경을 인지하거나 그것과 상호작용하면서 3-D 장면을 계속하여 관람할 수 있게끔 할 수 있다. 한정하고자 함은 아니고 일례로서, 사용자는 그들의 물리적인 환경에서 발생하고 있는 이벤트를 보기 위해 그들의 머리에서 클라이언트 시스템 (150) 을 제거할 필요가 없을 수 있다. 도 37 의 예에서, 사용자는 클라이언트 시스템 (150) 을 착용한 채 사람 (925) 과 상호작용 가능할 수 있다
도 38 은 개 (920) 가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 오브젝트가 특정 속력 이상으로 사용자에게 다가오고 있는 경우 또는 오브젝트가 사용자의 특정 거리 내에 있는 경우에 사용자의 물리적인 환경으로부터의 오브젝트가 사용자에게 디스플레이될 수 있다. 특정 실시예들에서, 사용자의 물리적인 환경으로부터의 오브젝트를 디스플레이하는 것은 사용자가 오브젝트에 걸려 넘어지거나 부딪치지 않을 수 있게끔 할 수 있다. 도 38 에서 개 (920) 가 특정 속력 이상으로 사용자에게 다가오고 있을 수 있고, 또는 개가 사용자의 특정 거리 내에 위치할 수 있다. 개 (920) 의 이미지가 클라이언트 시스템 (150) 의 카메라에 의해 캡쳐될 수 있고, 개의 이미지는 그것의 배경으로부터 분리되어 3-D 비디오 상에 슈퍼임포즈될 수 있다. 특정 실시예들에서, 사용자의 물리적인 환경으로부터의 오브젝트는 사용자의 물리적인 환경에서의 위치에 대략적으로 대응하는 위치에서 디스플레이될 수 있다. 도 38 에서 사용자의 물리적인 환경에서 개 (920) 의 위치에 대응하는 위치에서 개 (920) 가 표시된다.
특정 실시예들에서, 클라이언트 시스템 (150) 은, 사운드를 포함하는 이벤트가 사용자의 물리적인 환경에서 발생했다는 인디케이션 (indication) 을 수신할 수 있다. 특정 실시예들에서, 이벤트에 대응하는 사운드는 하나 이상의 청각적 단어들을 포함할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 을 착용한 사용자는 구두 커맨드를 말할 수 있고, 이는 마이크로폰 (794) 에 의해 수신된다. 사용자가 "카메라", 또는 "방을 디스플레이해" 커맨드를 말할 수 있고, 이에 응답하여 클라이언트 시스템 (150) 은 사용자의 물리적인 환경의 이미지를 디스플레이할 수 있다. 도 37 의 예에서, 사람 (925) 은 "안녕" 이라고 사용자에게 말할 수 있고, 사람 (925) 의 청각적 인사에 응답하여, 클라이언트 시스템 (150) 은 사람 (925) 의 이미지를 디스플레이할 수 있다. 특정 실시예들에서, 이벤트에 대응하는 사운드는 임계 음파 진폭보다 큰 음파 진폭을 포함할 수 있다. 도 38 의 예에서, 개 (920) 는 짖을 수 있고, 그 짖음의 음파 진폭이 임계 음파 진폭을 초과할 수 있다. 개 (920) 의 그 짖음을 검출한 것에 응답하여, 클라이언트 시스템 (150) 은 그 개 (920) 의 이미지를 디스플레이할 수 있다.
도 39 는 2 개의 예시적인 뷰들로 분할된 예시적인 디스플레이를 도시한다. 특정 실시예들에서, 클라이언트 시스템 (150) 상에서 사용자에게 디스플레이되는 장면은 2개 이상의 뷰들로 분할될 수 있다. 도 39 의 예에서, 사용자의 뷰의 왼쪽 절반 상에서 성 장면이 디스플레이되고, 사용자의 뷰의 오른쪽 절반 상에서 사용자의 물리적인 환경이 디스플레이된다. 사용자의 물리적인 환경의 이미지는 클라이언트 시스템 (150) 의 하나 이상의 카메라들에 의해 캡쳐될 수 있다.
도 40 은 테이블 (910) 이 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 오브젝트가 사용자의 특정 거리 내에 있는 경우에 사용자의 물리적인 환경으로부터의 오브젝트가 사용자에게 디스플레이될 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 을 착용한 사용자는, 클라이언트 시스템 (150) 상에 디스플레이된 장면을 보거나 그와 상호작용하면서, 사용자의 물리적인 환경 내에서 회전하거나 돌아다닐 수 있다. 사용자가 그들의 물리적인 환경 내에서 오브젝트에 부딪히거나 발이 걸리는 것을 방지하기 위해, 사용자가 오브젝트 근처에 있는 경우 클라이언트 시스템 (150) 이 사용자의 주의를 환기시킬 수 있다. 도 40 의 예에서, 사용자는 테이블 (910) 의 임계 거리 내에 있을 수 있고, 사용자로 하여금 이 오브젝트를 알고 있게끔 하기 위해, 클라이언트 시스템 (150) 은 사용자에게 테이블 (910) 의 이미지를 디스플레이할 수 있다.
도 41 은 굽어진 화살표가 슈퍼임포즈된 (superimposed) 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 사용자에게 사용자의 한쪽 측면에 또는 사용자의 뒤에 위치한 이벤트나 오브젝트에 대한 주의를 환기시키기 위해 클라이언트 시스템 (150) 은 디스플레이된 장면 위에 그래픽 심볼 (예를 들어, 화살표 (935)) 을 슈퍼임포즈할 수 있다. 도 41 의 예에서, 곡선 화살표 (935) 는 사용자가 사용자의 오른쪽과 뒤에 위치한 선반 (915) 을 알고 있어야 함을 나타내어, 사용자가 선반 (915) 에 부딪히거나 걸려 넘어지지 않을 수 있다. 클라이언트 시스템 (150) 을 착용한 채, 사용자는 선반 (915) 을 향해 걸어가고 있을 수 있고, 클라이언트 시스템 (150) 은 사용자의 한쪽 측면에 또는 뒤에 위치한 오브젝트가 있음을 나타내기 위해 화살표 (935) 를 디스플레이할 수 있다. 특정 실시예들에서, 사용자에게 화살표 (935) 를 디스플레이한 후, 만약 사용자가 화살표 (935) 의 방향으로 향하는 경우, 클라이언트 시스템 (150) 은 화살표 (935) 와 연관된 오브젝트 (예를 들어, 선반 (915)) 의 이미지를 디스플레이할 수 있다.
도 42 는 예시적인 도식화된 지도 (940, schematic map)와 함께 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 3-D 이미지나 비디오를 디스플레이하는 것에 더하여, 클라이언트 시스템 (150) 은 사용자의 물리적인 환경 내의 오브젝트들을 보여주는 도식화된 지도 (940) 를 디스플레이할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 의 카메라들은 카메라 이미지들로부터 사용자의 물리적인 환경의 이미지들을 캡쳐할 수 있고, 사용자의 물리적인 환경의 도식화된 지도 (940) 가 생성될 수 있다 특정 실시예들에서, 도식화된 지도 (940) 는 사용자로부터 특정 거리 내 (예를 들어, 1 미터, 3 미터, 또는 임의의 적합한 거리 내) 의 오브젝트들을 디스플레이할 수 있다. 도 42 의 예에서, 도식화된 지도 (940) 는 사용자의 위치에 중앙이 맞춰지고 사용자가 위치한 방 내의 오브젝트들을 보여준다. 특정 실시예들에서, 도식화된 지도 (940) 는 사용자가 클라이언트 시스템 (150) 을 착용한 동안에 사용자의 물리적인 환경을 알고 있게끔 하기 위해 이용될 수 있다 한정하고자 함은 아니고 일례로서, 사용자는 클라이언트 시스템 (150) 상에 디스플레이된 도식화된 지도 (940) 에 기초하여 사용자의 물리적인 환경을 돌아다니는 것이 가능할 수 있다. 특정 실시예들에서, 사용자는 도식화된 지도 (940) 의 디스플레이을 토글로 키거나 끄는 것이 가능할 수 있다.
도 43 은 예시적인 조감도 (945) 로 도 35 의 예시적인 장면을 도시한다. 특정 실시예들에서, 3-D 이미지나 비디오를 디스플레이하는 것에 더하여, 클라이언트 시스템 (150) 은 사용자의 물리적인 환경의 조감도 (예를 들어, 사용자의 물리적인 환경을 위에서 보여주는 뷰) 를 디스플레이할 수 있다. 한정하고자 함은 아니고 일례로서, 클라이언트 시스템 (150) 의 카메라들은 사용자의 물리적인 환경의 이미지들을 캡쳐할 수 있고, 카메라 이미지들의 일부가 결합되어 조감도 (945) 를 형성할 수 있다. 도 43 의 예에서, 조감도는 원형이고 사용자의 위치에 중앙이 맞춰진다. 특정 실시예들에서, 조감도 (945) 는 사용자가 클라이언트 시스템 (150) 을 착용한 동안에 사용자의 물리적인 환경을 알고 있게끔 하기 위해 이용될 수 있다
도 44 는 예시적인 컴퓨터 시스템 (4400) 을 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들 (4400) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들 (4400) 은 여기서 설명되거나 묘사된 기능성을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들 (4400) 상에서 실행되는 소프트웨어는 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 여기서 설명되거나 묘사된 기능성을 제공한다. 특정 실시예들은 하나 이상의 컴퓨터 시스템들 (4400) 의 하나 이상의 부분들을 포함한다. 여기서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 디바이스를 적절하게 포함할 수 있고, 그 반대도 마찬가지이다. 더욱이, 컴퓨터 시스템에 대한 언급은 하나 이상의 컴퓨팅 시스템들을 적절하게 포함할 수 있고, 그 반대도 마찬가지이다.
본 개시는 임의의 적합한 수의 컴퓨터 시스템들 (4400) 을 상정한다. 본 개시는 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템 (4400) 을 상정한다. 한정하고자 함은 아니고 예들로서, 컴퓨터 시스템 (4400) 은 임베디드 컴퓨터 시스템 (embedded computer system), 시스템-온-칩 (System-on-chip:SOC), COM (Computer-On-Module) 이나 SOM (System-On-Module) 과 같은 단일 보드 컴퓨터 (Single-Board Computer:SBC), 데스크톱 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크 (interactive kiosk), 메인프레임, 컴퓨터 시스템 망, 모바일 전화기, PDA (Personal Digital Assistant), 서버, 테블릿 컴퓨터 시스템, 또는 이들 중 2개 이상의 조합일 수 있다. 적절하게, 컴퓨터 시스템 (4400) 은 다음과 같은 하나 이상의 컴퓨터 시스템들 (4400) 을 포함할 수 있다; 단일이거나 분산된 컴퓨터 시스템; 복수의 위치들에 걸친 컴퓨터 시스템; 복수의 머신들에 걸친 컴퓨터 시스템; 복수의 데이터 센터들에 걸친 컴퓨터 시스템; 또는 클라우드에 위치하고, 하나 이상의 네트워크들 내에서 하나 이상의 클라우드 컴포넌트들을 포함할 수 있는 컴퓨터 시스템. 적절하게, 하나 이상의 컴퓨터 시스템들 (4400) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 실질적인 공간적 또는 시간적 제약 없이 수행할 수 있다. 한정하고자 함은 아니고 일례로서, 하나 이상의 컴퓨터 시스템들 (4400) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 실시간 (real time) 또는 일괄 (batch) 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들 (4400) 은 여기서 설명되거나 묘사된 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시간 또는 상이한 장소에서 적절하게 수행할 수 있다.
특정 실시예들에서, 컴퓨터 시스템 (4400) 은 프로세서 (4402), 메모리 (4404), 스토리지 (4406), 입출력 (I/O) 인터페이스 (4408), 통신 인터페이스 (4410), 및 버스 (4412) 를 포함한다. 본 개시가 특정 배열 내에서 특정 개수의 특정 컴포넌트들을 갖는 특정 컴퓨터 시스템을 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 배열 내에서 임의의 적합한 개수의 임의의 적합한 컴포넌트들을 갖는 임의의 적합한 컴퓨터 시스템을 상정한다.
특정 실시예들에서, 프로세서 (4402) 는 컴퓨터 프로그램을 구성하는 것들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 한정하고자 함은 아니고 일례로서, 명령들을 실행하기 위해, 프로세서 (4402) 는 내부 레지스터 (internal register), 내부 캐쉬 (internal cache), 메모리 (4404), 또는 스토리지 (4406) 로부터 그 명령들을 검색 (retrieve) 또는 페치 (fetch) 할 수 있고; 그 명령들을 디코딩하여 실행하고; 그 후 하나 이상의 결과들을 내부 레지스터, 내부 캐쉬, 메모리 (4404), 또는 스토리지 (4406) 에 쓸 수 있다. 특정 실시예들에서, 프로세서 (4402) 는 데이터, 명령들, 또는 어드레스들을 위한 하나 이상의 내부 캐쉬들을 포함할 수 있다. 본 개시는 임의의 적합한 개수의 임의의 적합한 내부 캐쉬들을 적절하게 포함하는 프로세서 (4402) 를 상정한다. 한정하고자 함은 아니고 일례로서, 프로세서 (4402) 는 하나 이상의 명령 캐쉬들, 하나 이상의 데이터 캐쉬들, 및 하나 이상의 변환 색인 버퍼 (Translation Lookaside Buffer:TLB) 들을 포함할 수 있다. 명령 캐쉬들 내의 명령들은 메모리 (4404) 또는 스토리지 (4406) 내의 명령들의 복사본일 수 있고, 명령 캐쉬들은 프로세서 (4402) 에 의한 그러한 명령들의 검색을 고속화할 수 있다. 데이터 캐쉬들 내의 데이터는, 프로세서 (4402) 에서 실행되는 명령들을 작동시키기 위한 스토리지 (4406) 또는 메모리 (4404) 내 데이터의 복사본일 수 있고; 메모리 (4404) 나 스토리지 (4406) 에 쓰거나, 프로세서 (4402) 에서 후속 명령들 실행에 의한 액세스를 위해, 프로세서 (4402) 에서 실행된 이전 명령들의 결과들일 수 있고, 또는 다른 적합한 데이터일 수 있다. 데이터 캐쉬들은 프로세서 (4402) 에 의한 오퍼레이션들을 읽거나 쓰는 것을 고속화할 수 있다. TLB 는 프로세서 (4402) 를 위한 가상 주소 변환 (virtual-address translation) 을 고속화할 수 있다. 특정 실시예들에서, 프로세서 (4402) 는 데이터, 명령들, 또는 어드레스들을 위한 하나 이상의 내부 레지스터들을 포함할 수 있다. 본 개시는 임의의 적합한 개수의 임의의 적합한 내부 레지스터들을 적절하게 포함하는 프로세서 (4402) 를 상정한다. 적절하게, 프로세서 (4402) 는, 하나 이상의 산술 논리 장치 (Arithmetic Logic Unit:ALU) 들을 포함할 수 있고; 멀티코어 프로세서일 수 있고; 또는 하나 이상의 프로세서들 (4402) 을 포함할 수 있다. 본 개시가 특정 프로세서를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 프로세서를 상정한다.
특정 실시예들에서, 메모리 (4404) 는 프로세서 (4402) 가 작동하기 위한 데이터 또는 프로세서 (4402) 가 실행하기 위한 명령들을 저장하기 위한 메인 메모리를 포함한다. 한정하고자 함은 아니고 일례로서, 컴퓨터 시스템 (4400) 은 스토리지 (4406) 또는 다른 소스 (예를 들어, 다른 컴퓨터 시스템 (4400)) 로부터의 명령들을 메모리 (4404) 에 로드할 수 있다. 프로세서 (4402) 는 그 후 메모리 (4404) 로부터의 명령들을 내부 레지스터나 내부 캐쉬에 로드할 수 있다. 명령들을 실행시키기 위해, 프로세서 (4402) 는 내부 레지스터나 내부 캐쉬로부터 명령들을 검색하여 디코딩할 수 있다. 명령들의 실행 도중 또는 그 이후에, 프로세서 (4402) 는 하나 이상의 결과들 (이는 중간 또는 최종 결과들일 수 있음) 을 내부 레지스터나 내부 캐쉬에 쓸 수 있다. 프로세서 (4402) 는 그 후 하나 이상의 결과들을 메모리 (4404) 에 쓸 수 있다. 특정 실시예들에서, 프로세서 (4402) 는 하나 이상의 나내부 레지스터들이나 내부 캐쉬들 내의 명령들만을 실행하거나 또는 메모리 (4404, 스토리지 (4406) 나 다른 것에 반대됨) 내의 명령들만 실행하고, 하나 이상의 내부 레지스터들이나 내부 캐쉬들 내의 데이터로 작동하거나 또는 메모리 (4404, 스토리지 (4406) 나 다른 것에 반대됨) 내의 데이터로 동작한다. 하나 이상의 메모리 버스들 (이는 어드레스 버스와 데이터 버스를 각각 포함할 수 있음) 은 프로세서 (4402) 를 메모리 (4404) 에 커플링시킬 수 있다. 후술되는 바와 같이, 버스 (4412) 는 하나 이상의 메모리 버스들을 포함할 수 있다. 특정 실시예들에서, 하나 이상의 기억 관리 장치 (Memory Management Unit:MMU) 들은 프로세서 (4402) 와 메모리 (4404) 사이에 존재하고 프로세서 (4402) 에 의해 메모리 (4404) 로 요청된 액세스들을 편리하게 할 수 있다. 특정 실시예들에서, 메모리 (4404) 는 램 (RAM) 을 포함한다. RAM 은 적절하게, 휘발성 메모리일 수 있고, RAM 은 적절하게, 동적 램 (DRAM) 또는 정적 램 (SRAM) 일 수 있다. 더욱이, RAM 은 적절하게, 싱글 포트 (single-ported) 또는 멀티 포트 (multi-ported) RAM 일 수 있다. 본 개시는 임의의 적합한 RAM 을 상정한다. 메모리 (4404) 는 하나 이상의 메모리들 (4404) 을 적절하게, 포함할 수 있다. 본 개시가 특정 메모리를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 메모리를 상정한다.
특정 실시예들에서, 스토리지 (4406) 는 데이터 또는 명령들을 위한 대용량 스토리지 (mass storage) 를 포함한다. 한정하고자 함은 아니고 일례로서, 스토리지 (4406) 는 하드 디스크 드라이브 (HDD), 플로피 디스크 드라이브, 플래시 메모리, 광학 디스크, 자기-광학 디스크, 자기 테이프, 또는 USB (Universal Serial Bus) 드라이브 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 스토리지 (4406) 는 분리형 또는 비분리형 (또는 고정) 매체를 적절하게 포함할 수 있다. 스토리지 (4406) 는 컴퓨터 시스템 (4400) 에 대해 적절하게, 내장형 또는 외장형일 수 있다. 특정 실시예들에서, 스토리지 (4406) 는 비휘발성, 솔리드-스테이트 (solid-state) 메모리이다. 특정 실시예들에서, 스토리지 (4406) 는 ROM 을 포함한다. 적절하게, ROM 은 MPROM (Mask-Programmed ROM), PROM (Programmable ROM), EPROM (Erasable PROM), EEPROM (Electrically Erasable PROM), EAROM (Electrically Alterable ROM), 또는 플래시 메모리 또는 이들 중 2개 이상의 조합일 수 있다. 본 개시는 임의의 적합한 물리적 형태를 취하는 대용량 스토리지 (4406) 를 상정한다. 스토리지 (4406) 는 프로세서 (4402) 와 스토리지 (4406) 간의 커뮤니케이션을 편리하게 하는 하나 이상의 스토리지 제어부들을 포함할 수 있다. 적절하게, 스토리지 (4406) 는 하나 이상의 스토리지들 (4406) 을 포함할 수 있다. 본 개시가 특정 스토리지를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 스토리지를 상정한다.
특정 실시예들에서, I/O 인터페이스 (4408) 는 컴퓨터 시스템 (4400) 과 하나 이상의 I/O 디바이스들 간의 커뮤니케이션을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 컴퓨터 시스템 (4400) 은 하나 이상의 이러한 I/O 디바이스들을 적절하게, 포함할 수 있다. 하나 이상의 이러한 I/O 디바이스들은 사람과 컴퓨터 시스템 (4400) 간의 커뮤니케이션을 가능하게 할 수 있다. 한정하고자 함은 아니고 일례로서, I/O 디바이스는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적합한 I/O 디바이스, 또는 이들 중 2개 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서들을 포함할 수 있다. 본 개시는 임의의 적합한 I/O 디바이스들과 이들을 위한 임의의 적합한 I/O 인터페이스들 (4408) 을 상정한다. 적절하게, I/O 인터페이스 (4408) 는 프로세서 (4402) 로 하여금 하나 이상의 이러한 I/O 디바이스들을 구동시키는 소프트웨어 드라이버들 또는 하나 이상의 디바이스를 포함할 수 있다. I/O 인터페이스 (4408) 는 적절하게, 하나 이상의 I/O 인터페이스들 (4408) 을 포함할 수 있다. 본 개시가 특정 I/O 인터페이스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 I/O 인터페이스를 상정한다.
특정 실시예들에서, 통신 인터페이스 (4410) 는 컴퓨터 시스템 (4400) 및 하나 이상의 다른 컴퓨터 시스템들 (4400) 이나 하나 이상의 네트워크들 간의 통신을 위한 하나 이상의 인터페이스들을 제공하기 위한 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 한정하고자 함은 아니고 일례로서, 통신 인터페이스 (4410) 는 이더넷 (Ethernet) 또는 다른 유선 기반 네트워크로 통신하기 위한 네트워크 어댑터 또는 NIC (Network Interface Controller), 또는 WI-FI 네트워크와 같은 무선 네트워크로 통신하기 위한 무선 어댑터 또는 무선 NIC (WNIC) 를 포함할 수 있다. 본 개시는 임의의 적합한 I네트워크와 이를 위한 임의의 적합한 통신 인터페이스 (4410) 를 상정한다. 한정하고자 함은 아니고 일례로서, 컴퓨터 시스템 (4400) 은 애드혹 네트워크, PAN (Personal Area Network), LAN (Local Area Network), WAN (Wide Area Network), MAN (Metropolitan Area Network), BAN (Body Area Network), 또는 인터넷의 하나 이상의 부분들, 또는 이들 중 2개 이상의 조합과 통신할 수 있다. 하나 이상의 이러한 네트워크들의 하나 이상의 부분들은 유선 또는 무선일 수 있다. 일례로서, 컴퓨터 시스템 (4400) 은 블루투스 WPAN 과 같은 WPAN (Wireless PAN), WI-FI 네트워크, WI-MAX 네트워크, GSM (Global System for Mobile communication) 네트워크와 같은 이동 전화 네트워크, 또는 다른 적합한 무선 네트워크 또는 이들 중 2개 이상의 조합과 통신할 수 있다. 컴퓨터 시스템 (4400) 은 이러한 네트워크들 중 어느 것을 위해서든 임의의 적합한 통신 인터페이스 (4410) 를, 적절하게 포함할 수 있다. 통신 인터페이스 (4410) 는 적절하게, 하나 이상의 통신 인터페이스들 (4410) 을 포함할 수 있다. 본 개시가 특정 통신 인터페이스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 통신 인터페이스를 상정한다.
특정 실시예들에서, 버스 (4412) 는 컴퓨터 시스템 (4400) 의 컴포넌트들을 서로 커플링시키는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 한정하고자 함은 아니고 일례로서, 버스 (4412) 는 AGP (Accelerated Graphics Port) 또는 다른 그래픽 버스, EISA (Enhanced Industry Standard Architecture) 버스, FSB (Front-Side Bus),HT (HYPERTRANSPORT) 인터커넥트, ISA (Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC (Low-Pin_Count) 버스, 메모리 버스, MCA (Micro Channel Architecture) 버스, PCI (Peripheral Component Interconnect) 버스, PCIe (PCI_Express) 버스, SATA (Serial Advanced Technology Attachment) 버스, VLB (Video electronics standards association Local Bus), 또는 다른 적합한 버스 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 버스 (4412) 는 하나 이상의 버스들 (4412) 을 적절하게, 포함할 수 있다. 본 개시가 특정 버스를 도시하고 설명하기는 하나, 본 개시는 임의의 적합한 버스를 상정한다.
여기서, 컴퓨터 판독 가능 비일시적 저장 매체 또는 매체들은, 예를 들어, FPGA (Field-Programmable Gate Array) 들이나 ASIC (Application-Specific IC) 와 같은 하나 이상의 반도체 기반의 또른 집적 회로 (Integrated Circuit:IC) 들, HDD (Hard Disk Drive) 들, HHD (Hybrid Hard Drive) 들, 광학 디스크들, ODD (Optical Disk Drive) 들, 자기 광학 디스크들, 자기 광학 드라이브들, 플로피 디스켓들, FDD (Floppy Disk Drive) 들, 자기 테이프들, SSD (Solid-State Drive) 들, RAM 드라이브들, SECURE DIGITAL 카드들이나 드라이브들, 임의의 다른 적합한 컴퓨터 판독 가능 비일시적 저장 매체들, 또는 이들 중 2개 이상의 임의의 적합한 조합을, 적절하게 포함할 수 있다. 컴퓨터 판독 가능 비일시적 저장 매체는 적절하게, 휘발성, 비휘발성, 또는 휘발성과 비휘발성의 조합일 수 있다.
여기서, "또는", "~나 (이나)" 은 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, 배제적이지 않고 포함적이다. 그러므로, 여기서, "A 또는 B" 는, 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, "A, B, 또는 그 둘 모두" 를 의미한다. 더욱이, "및", "~와 (과)" 은 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, 공동적이고 개별적이다. 그러므로, 여기서, "A 및 B" 는, 문맥에 의해 달리 나타나 있거나, 문언적으로 달리 나타나 있지 않은 이상, "A 및 B 함께, 또는 A 및 B 각각" 을 의미한다.
본 개시의 범위는 여기의 예시적인 실시예들에 대해 본 기술 분야의 통상 기술을 가진 자가 이해할 수 있는 모든 변경들, 대체들, 변형들, 개조들, 및 수정들을 포함한다. 본 개시의 범위는 여기에서 설명되거나 도시된 예시적인 실시예들에 한정되지 않는다. 더욱이, 본 개시가 여기의 각각의 실시예들이 특정 컴포넌트들, 엘리컨트들, 기능들, 오퍼레이션들, 또는 단계들을 포함하는 것으로 설명하거나 도시하기는 하나, 이러한 실시예들 중 어느 것이든, 여기 어디에서든 도시되거나 설명된 컴포넌트들, 엘리먼트들, 기능들, 오퍼레이션들, 또는 단계들 중 어느 것의 임의의 조합 또는 치환을 포함할 수 있다. 나아가, 첨부된 청구범위에서 장치 또는 시스템, 또는 특정 기능을 수행하도록 적응된 (adpated), 어레인지된 (arranged), 구성된 (configured), 작동 가능한 (operable), 작동하는 (operative), 지원가능한 (enabled), 또는 수행할 역량이 있는 (capable) 장치 또는 시스템의 컴포넌트에 대한 언급은, 장치, 시스템, 컴포넌트, 또는 특정 기능이 활성화되든 (activated) 말든, 켜지든 (turned on) 말든, 또는 언락되든 (unlocked) 말든, 그렇게 적응되거나, 어레인지되거나, 구성되거나, 작동 가능하거나, 작동하거나, 지원가능하거나, 또는 수행할 역량이 있는 장치, 시스템, 또는 컴포넌트를 포함한다.

Claims (18)

  1. 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ;
    상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들 (feature points) 을 검출하는 단계;
    상기 제 1 및 제 2 이미지들 간 오버랩 (overlap) 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 상기 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ;
    상기 대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋 (offset) 에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하는 (spatially adjusting) 단계; 및
    상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지 (merged image) 로 결합하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지들 간 상기 오버랩 영역은 상기 제 1 및 제 2 카메라들 각각의 시계 (Field Of View:FOV) 에서의 오버랩에 비례하는 방법.
  3. 제 1 항에 있어서,
    상기 검출하는 단계는:
    로컬 명암 그래디언트 (local contrast gradient) 에 기초하여 상기 제 1 및 제 2 이미지들의 하나 이상의 특징들을 검출하는 단계; 및
    상기 검출된 특징들의 하나 이상의 특징점들을 추출하는 단계를 포함하는 방법.
  4. 제 3 항에 있어서,
    상기 추출하는 단계는 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 특징 검출 알고리즘을 이용하는 단계를 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 결정하는 단계는:
    상기 제 1 및 제 2 이미지들을 미리 결정된 그리드 (pre-determined grid) 에서 미리 결정된 수 (pre-determiend number) 의 영역들로 분할하는 단계;
    상기 제 1 이미지의 에지를 따라 위치한 각각의 영역 내에 위치된 특징 점들을 상기 제 2 이미지의 반대 테두리를 따라 위치한 대응하는 영역과 비교하는 단계; 및
    상기 에지들의 각각의 영역 내의 특징점들의 패턴에 기초하여 특징점들 중 상기 대응하는 쌍들을 식별하는 단계를 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 에지를 따라 위치한 각각의 영역 내에서의 비교는 각각의 특징점 주변의 미리 결정된 영역 상에서 수행되고, 상기 미리 결정된 영역은 상기 오버랩 영역의 픽셀 수에 기초하는 방법.
  7. 제 6 항에 있어서,
    상기 미리 결정된 영역에서 차이들의 제곱의 합이 미리 결정된 임계값보다 작은지 여부를 결정하는 단계를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    제 3 카메라로부터 제 3 이미지를 수신하는 단계; 상기 제 3 이미지는 상기 제 1 및 제 2 이미지들과 동일한 시간 기간 동안에 캡쳐되고, 상기 복수의 카메라들은 상기 제 1 오리엔테이션을 갖는 상기 제 3 카메라를 더 포함하고, 상기 제 2 카메라는 상기 제 1 및 제 3 카메라들 사이에 위치되는 방법.
  9. 제 8 항에 있어서,
    상기 제 3 이미지 내에서 복수의 특징점들을 검출하는 단계;
    상기 제 1 및 제 3 이미지들 간 오버랩 영역과 상기 제 3 이미지 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 상기 제 1 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 3 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ; 및
    상기 제 2 및 제 3 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징 점들 중 하나 이상의 쌍들을 결정하는 단계 - 상기 제 2 및 제 3 이미지들의 대응하는 특징점들의 상기 쌍들은 상기 제 2 및 제 3 이미지들 각각으로부터의 상기 특징 점들 중 하나를 각각 포함함 - 를 더 포함하는 방법.
  10. 제 8 항에 있어서,
    상기 제 1 및 제 3 카메라는 카메라들의 스테레오스코픽 쌍을 포함하는 방법.
  11. 제 1 항에 있어서,
    제 3 카메라로부터 제 3 이미지를 수신하는 단계; 상기 복수의 카메라들은 상기 제 1 및 제 2 카메라들에 의해 정의되는 면에 직교하는 오리엔테이션을 갖는 제 3 카메라를 더 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 병합된 이미지와 상기 제 3 이미지 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하는 단계 - 대응하는 특징점들의 상기 쌍들은 상기 병합된 이미지와 상기 제 3 이미지 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ;
    상기 제 3 이미지의 중앙 주변에 방사형 와프 (radial warp) 를 적용하는 단계를 더 포함하고, 상기 제 3 이미지의 상기 중앙은 고정되는 방법.
  13. 제 1 항에 있어서,
    상기 계산된 오프셋은, 대응하는 특징점들의 각각의 쌍 간의 공간적 오프셋 (spatial offset) 의 절대값에 비례하는 코스트 함수 (cost function) 를 계산함으로써 계산되는 방법.
  14. 제 1 항에 있어서,
    상기 계산된 오프셋은, 하나 이상의 회전축들에 나란한 대응하는 특징 점들의 각각의 쌍 간의 회전성 오프셋 (rotational offset) 에 비례하는 코스트 함수 (cost function) 을 계산함으로써 계산되는 방법.
  15. 제 1 항에 있어서,
    상기 제 2 오리엔테이션은 상기 제 1 오리엔테이션과 상이하고, 각각의 이미지는 동일한 시간 기간 동안에 캡쳐되는 방법.
  16. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지들을 결합하는 단계는:
    상기 오버랩 영역에서 에지를 검출하는 단계; 및
    상기 에지에 그래디언트 (gradient) 를 적용하는 단계를 포함하는 방법.
  17. 명령들 (instructions) 을 구현하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체 (non-transitory computer-readable storage media) 로서, 상기 명령들은 실행될 때:
    복수의 카메라들로부터 복수의 이미지들을 수신하고 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ;
    상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 검출하고;
    상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하고 - 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ;
    대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하고 (spatially adjusting);
    상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하도록 작동 가능한 매체.
  18. 장치로서:
    명령들을 구현하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체 (non-transitory computer-readable storage media); 및
    상기 저장 매체에 커플링되고 상기 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함하고, 상기 프로세서들은 상기 명령들을 실행하여:
    복수의 카메라들로부터 복수의 이미지들을 수신하고 - 상기 복수의 카메라들은 제 1 오리엔테이션을 갖는 제 1 카메라 및 제 2 오리엔테이션을 갖는 제 2 카메라를 포함하고, 상기 복수의 이미지들은 상기 제 1 카메라로부터의 제 1 이미지 및 상기 제 2 카메라로부터의 제 2 이미지를 포함함 - ;
    상기 제 1 및 제 2 이미지들 내에서 복수의 특징점들을 검출하고;
    상기 제 1 및 제 2 이미지들 간 오버랩 영역 내에 위치된 대응하는 특징점들 중 하나 이상의 쌍들을 결정하고 - 대응하는 특징점들의 상기 쌍들은 상기 제 1 및 제 2 이미지들 각각으로부터의 상기 특징점들 중 하나를 각각 포함함 - ;
    대응하는 특징점들의 각각의 쌍 간의 계산된 오프셋에 기초하여 상기 제 1 또는 제 2 이미지를 공간적으로 보정하고 (spatially adjusting);
    상기 공간적 보정에 기초하여 상기 제 1 및 제 2 이미지들을 하나의 병합된 이미지로 결합하도록 구성된 장치.
KR1020177009747A 2014-09-22 2015-09-22 3 차원 비디오를 위한 이미지 스티칭 Expired - Fee Related KR101885778B1 (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201462053750P 2014-09-22 2014-09-22
US201462053743P 2014-09-22 2014-09-22
US201462053726P 2014-09-22 2014-09-22
US201462053737P 2014-09-22 2014-09-22
US201462053729P 2014-09-22 2014-09-22
US62/053,726 2014-09-22
US62/053,743 2014-09-22
US62/053,750 2014-09-22
US62/053,737 2014-09-22
US62/053,729 2014-09-22
US201562141018P 2015-03-31 2015-03-31
US62/141,018 2015-03-31
US14/856,507 2015-09-16
US14/856,507 US10313656B2 (en) 2014-09-22 2015-09-16 Image stitching for three-dimensional video
PCT/KR2015/009965 WO2016048014A1 (en) 2014-09-22 2015-09-22 Image stitching for three-dimensional video

Publications (2)

Publication Number Publication Date
KR20170052674A true KR20170052674A (ko) 2017-05-12
KR101885778B1 KR101885778B1 (ko) 2018-08-06

Family

ID=55541832

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020177009746A Expired - Fee Related KR101885777B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오의 재구성
KR1020177009747A Expired - Fee Related KR101885778B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오를 위한 이미지 스티칭
KR1020177009748A Expired - Fee Related KR101885779B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오의 전송
KR1020177009749A Expired - Fee Related KR101885780B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오를 위한 카메라 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177009746A Expired - Fee Related KR101885777B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오의 재구성

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020177009748A Expired - Fee Related KR101885779B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오의 전송
KR1020177009749A Expired - Fee Related KR101885780B1 (ko) 2014-09-22 2015-09-22 3 차원 비디오를 위한 카메라 시스템

Country Status (5)

Country Link
US (4) US10750153B2 (ko)
EP (4) EP3198866B1 (ko)
KR (4) KR101885777B1 (ko)
CN (4) CN106797460B (ko)
WO (4) WO2016048013A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066191A1 (ko) * 2017-09-28 2019-04-04 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
KR20200030603A (ko) * 2017-08-11 2020-03-20 삼성전자주식회사 심 없는 이미지 스티칭(Seamless image stitching)
KR20200056708A (ko) 2018-11-15 2020-05-25 충남대학교산학협력단 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
KR20200056576A (ko) * 2018-11-15 2020-05-25 온스캔스주식회사 3차원 스캐닝용 턴테이블 및 이를 이용한 피사체의 3d 테이터를 얻는 방법
KR20220081168A (ko) * 2020-12-08 2022-06-15 광운대학교 산학협력단 비디오 스티칭 방법 및 장치
KR20220083830A (ko) * 2020-06-01 2022-06-20 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체
KR20220143967A (ko) * 2017-09-28 2022-10-25 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
US12430710B2 (en) 2021-01-11 2025-09-30 Electronics And Telecommunications Research Institute Apparatus and method for 360-degree video stitching

Families Citing this family (419)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
CN103945087B (zh) * 2013-01-22 2017-10-27 深圳市腾讯计算机系统有限公司 图像色调的调节方法和调节装置
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR102248161B1 (ko) 2013-08-09 2021-05-04 써멀 이미징 레이다 엘엘씨 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들
US9754159B2 (en) 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
WO2015154004A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US11410221B2 (en) 2014-04-29 2022-08-09 Vivint, Inc. Integrated secure delivery
US10657483B2 (en) * 2014-04-29 2020-05-19 Vivint, Inc. Systems and methods for secure package delivery
US11900305B2 (en) 2014-04-29 2024-02-13 Vivint, Inc. Occupancy identification for guiding delivery personnel
US11049343B2 (en) 2014-04-29 2021-06-29 Vivint, Inc. Techniques for securing a dropspot
US9589367B2 (en) * 2014-06-27 2017-03-07 Samsung Electronics Co., Ltd. Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US20160026874A1 (en) 2014-07-23 2016-01-28 Gopro, Inc. Activity identification in video
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) * 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
WO2018164852A1 (en) 2017-02-22 2018-09-13 Mine One Gmbh Image reconstruction for virtual 3d
US11792511B2 (en) 2015-03-21 2023-10-17 Mine One Gmbh Camera system utilizing auxiliary image sensors
US10332089B1 (en) * 2015-03-31 2019-06-25 Amazon Technologies, Inc. Data synchronization system
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US12495134B2 (en) 2015-07-15 2025-12-09 Fyusion, Inc. Drone based capture of multi-view interactive digital media
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US12261990B2 (en) 2015-07-15 2025-03-25 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) * 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
EP3353565B1 (en) * 2015-09-23 2021-08-04 Nokia Technologies Oy Video recording method and apparatus
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US9819865B2 (en) * 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
US10477104B1 (en) * 2015-11-02 2019-11-12 Amazon Technologies, Inc. Image sensor selection in a multiple image sensor device
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
EP3403403B1 (en) * 2016-01-12 2023-06-07 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
KR102460906B1 (ko) * 2016-02-17 2022-11-01 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102381370B1 (ko) * 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
EP3424210B1 (en) * 2016-02-29 2021-01-20 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
US12445725B1 (en) * 2016-03-15 2025-10-14 Ambarella International Lp Image stabilization for a multi-sensor camera
WO2017161039A1 (en) * 2016-03-15 2017-09-21 Magic Leap, Inc. Direct light compensation technique for augmented reality system
JP2019091961A (ja) * 2016-03-30 2019-06-13 パナソニックＩｐマネジメント株式会社 カメラ制御装置
GB2548860A (en) 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
EP3229073B1 (en) * 2016-04-06 2018-10-31 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
CN110647005B (zh) * 2016-04-28 2022-03-04 深圳市大疆创新科技有限公司 用于获得球面全景图像的系统和方法
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
KR102609450B1 (ko) * 2016-05-09 2023-12-04 삼성전자주식회사 전자 장치 및 전자 장치의 전자 문서 출력 방법
US10432855B1 (en) * 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
EP3249929A1 (en) 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
CN109863754B (zh) * 2016-06-07 2021-12-28 维斯比特股份有限公司 用于直播流化的虚拟现实360度视频相机系统
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
US20180007263A1 (en) * 2016-06-29 2018-01-04 Nokia Technologies Oy Method and apparatus for automated placement of a seam in a panoramic image derived from multiple cameras
US10304201B2 (en) * 2016-06-30 2019-05-28 Datalogic ADC, Inc. Item image stitching from multiple line-scan images for barcode scanning systems
EP3264740B1 (en) 2016-06-30 2019-08-28 Nokia Technologies Oy Modular camera blocks for virtual reality capture
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
CN106210694B (zh) * 2016-07-14 2018-04-27 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106231284B (zh) * 2016-07-14 2019-03-05 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106210700B (zh) * 2016-07-14 2019-03-05 上海玮舟微电子科技有限公司 三维图像的获取系统、显示系统及所适用的智能终端
US10277886B2 (en) 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
CN106254853A (zh) * 2016-08-02 2016-12-21 乐视控股（北京）有限公司 球景图像生成方法及装置
AT518256B1 (de) * 2016-08-02 2017-09-15 Innaq Gmbh Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe
US10651095B2 (en) 2016-08-11 2020-05-12 Applied Materials, Inc. Thermal profile monitoring wafer and methods of monitoring temperature
US10313652B1 (en) * 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
CN107770415A (zh) * 2016-08-19 2018-03-06 光宝电子(广州)有限公司 摄像设备以及摄像方法
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
KR102358757B1 (ko) * 2016-08-25 2022-02-07 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
EP4531405A3 (en) * 2016-08-25 2025-06-04 LG Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
US20180061103A1 (en) * 2016-08-29 2018-03-01 Analogix Semiconductor, Inc. Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices
US10721397B2 (en) 2016-09-01 2020-07-21 Caterpillar Inc. Image processing system using predefined stitching configurations
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
CN107809610B (zh) 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
US10085006B2 (en) * 2016-09-08 2018-09-25 Samsung Electronics Co., Ltd. Three hundred sixty degree video stitching
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
US10347050B1 (en) * 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
US10887653B2 (en) * 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
KR102218519B1 (ko) 2016-09-26 2021-02-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 데이터의 콘텐츠 기반 스트림 분할
KR102558473B1 (ko) 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
CN106485781A (zh) * 2016-09-30 2017-03-08 广州博进信息技术有限公司 基于实时视频流的三维场景构建方法及其系统
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
JP6910454B2 (ja) * 2016-10-26 2021-07-28 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 道路の合成トップビュー画像を生成するための方法およびシステム
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
JP7056576B2 (ja) * 2016-11-15 2022-04-19 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
BR112019007279A2 (pt) 2016-11-17 2019-07-09 Intel Corp indicação de janela de visualização sugerida para vídeo panorâmico
CN110022774B (zh) * 2016-11-29 2022-08-30 皇家飞利浦有限公司 超声成像系统和方法
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN106657809B (zh) * 2016-12-13 2019-11-29 深圳先进技术研究院 一种全景3d视频拼接系统及方法
TWI632812B (zh) * 2016-12-16 2018-08-11 財團法人工業技術研究院 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
CN108205799B (zh) * 2016-12-16 2021-03-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
EP3340611B1 (en) * 2016-12-20 2020-07-29 Nokia Technologies Oy An apparatus and associated methods for virtual reality scene capture
GB2558286A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Image processing
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
CN108289228B (zh) * 2017-01-09 2020-08-28 阿里巴巴集团控股有限公司 一种全景视频转码方法、装置和设备
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US20200005529A1 (en) * 2017-01-23 2020-01-02 Virtual Diamond Boutique Inc. System, method and computer-accessible medium for displaying a three-dimensional digital version of an object
WO2018139250A1 (ja) * 2017-01-26 2018-08-02 ソニー株式会社 全天球撮像装置
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10332242B2 (en) 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video
US20180227482A1 (en) 2017-02-07 2018-08-09 Fyusion, Inc. Scene-aware selection of filters and effects for visual digital media content
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
WO2018150652A1 (ja) 2017-02-15 2018-08-23 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP6371989B1 (ja) * 2017-02-15 2018-08-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
TWI659393B (zh) * 2017-02-23 2019-05-11 National Central University 多鏡頭影像深度之3d空間繪製系統
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
WO2018154130A1 (en) 2017-02-27 2018-08-30 Koninklijke Kpn N.V. Processing spherical video data
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
WO2018165223A1 (en) * 2017-03-06 2018-09-13 Nextvr Inc. Methods and apparatus for packing images into a frame and/or including additional content or graphics
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
CN108573469A (zh) * 2017-03-07 2018-09-25 富士通株式会社 图像处理装置和方法
WO2018184528A1 (en) 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11057643B2 (en) * 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
JP6946684B2 (ja) * 2017-03-17 2021-10-06 株式会社リコー 電子情報ボードシステム、画像処理装置、及びプログラム
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
CN107135397B (zh) * 2017-04-28 2018-07-06 中国科学技术大学 一种全景视频编码方法和装置
US11463610B2 (en) * 2017-05-10 2022-10-04 Mobileye Vision Technologies Ltd. Cross field of view for autonomous vehicle systems
EP3404913B1 (en) * 2017-05-16 2019-11-06 Axis AB A system comprising a video camera and a client device and a method performed by the same
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
WO2018217057A1 (ko) * 2017-05-26 2018-11-29 엘지전자 주식회사 360 비디오 처리 방법 및 그 장치
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
KR20180136891A (ko) * 2017-06-15 2018-12-26 한국전자통신연구원 전방향 비디오에 관한 영상 처리 방법 및 장치
CN107194878A (zh) * 2017-06-21 2017-09-22 微鲸科技有限公司 图像拼接方法及装置
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
US10873733B2 (en) * 2017-06-23 2020-12-22 Mediatek Inc. Methods and apparatus for deriving composite tracks
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107292822B (zh) * 2017-06-26 2020-08-28 北京奇艺世纪科技有限公司 一种图像的拼接方法和装置
CN107358631B (zh) * 2017-06-27 2020-05-19 大连理工大学 一种虑及三维畸变的双目视觉重建方法
US10575018B2 (en) * 2017-07-10 2020-02-25 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
CN107426561B (zh) * 2017-07-24 2020-01-07 北京聚力维度科技有限公司 一种3d360度的虚拟现实直播方法及装置
CN107220930B (zh) * 2017-08-02 2020-08-07 珠海全志科技股份有限公司 鱼眼图像处理方法、计算机装置及计算机可读存储介质
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
CN111034191A (zh) 2017-08-18 2020-04-17 联发科技股份有限公司 用于减少基于投影的帧中的伪影的方法和装置
CN109427040B (zh) * 2017-08-22 2023-10-10 富联国基(上海)电子有限公司 图像处理装置及方法
TWI658434B (zh) * 2017-08-22 2019-05-01 鴻海精密工業股份有限公司 影像處理裝置及方法
KR101998318B1 (ko) * 2017-09-06 2019-10-01 단국대학교 산학협력단 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
KR102327160B1 (ko) 2017-09-11 2021-11-16 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR102372808B1 (ko) 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) * 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10281983B2 (en) 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
CN109906468B (zh) * 2017-09-27 2023-08-22 联发科技股份有限公司 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
EP3690805A4 (en) * 2017-09-28 2021-09-29 Koito Manufacturing Co., Ltd. SENSOR SYSTEM
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10594917B2 (en) * 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
CN107895344B (zh) * 2017-10-31 2021-05-11 深圳市森国科科技股份有限公司 视频拼接装置及方法
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
CN109813251B (zh) * 2017-11-21 2021-10-01 蒋晶 用于三维测量的方法、装置以及系统
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
CN209402636U (zh) * 2017-12-07 2019-09-17 人眼科技有限公司 摄像装置
US10303950B1 (en) * 2017-12-19 2019-05-28 Adobe Inc. Automated video correction
US10628967B2 (en) * 2017-12-21 2020-04-21 Facebook, Inc. Calibration for multi-camera systems
CN108364353A (zh) * 2017-12-27 2018-08-03 广东鸿威国际会展集团有限公司 引导观看者观看场景的三维直播流的系统和方法
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示系统和方法
US11050998B2 (en) * 2018-01-18 2021-06-29 Eys3D Microelectronics, Co. System of camera calibration
US10965862B2 (en) * 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
KR102519653B1 (ko) 2018-01-20 2023-04-07 삼성전자주식회사 포인트 클라우드 압축 방법 및 장치
AU2019212641B2 (en) * 2018-01-26 2023-02-16 Aerovironment, Inc. Voronoi cropping of images for post field generation
CN108337499A (zh) * 2018-02-05 2018-07-27 上海溯石文化传播有限公司 一种360度环幕影院立体成像视频的制作方法及原理
WO2019156651A1 (en) 2018-02-06 2019-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CA3090017A1 (en) 2018-02-17 2019-08-22 Dreamvu, Inc. System and method for capturing omni-stereo videos using multi-sensors
DE102018202707A1 (de) 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern
CN110223222B (zh) * 2018-03-02 2023-12-05 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
KR102431488B1 (ko) * 2018-03-05 2022-08-12 삼성전자주식회사 전자 장치 및 이미지 처리 방법
CN108259877B (zh) * 2018-03-07 2019-09-17 浙江大华技术股份有限公司 一种白平衡处理方法及装置
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US10313654B1 (en) * 2018-03-19 2019-06-04 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
WO2019216879A1 (en) 2018-05-07 2019-11-14 Google Llc Perspective distortion correction on faces
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US11064387B1 (en) 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
KR102413098B1 (ko) * 2018-05-31 2022-06-24 한국전자통신연구원 영상 처리 방법 및 이를 이용한 영상 재생 장치
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) * 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
KR102138536B1 (ko) * 2018-06-08 2020-07-28 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10589423B2 (en) * 2018-06-18 2020-03-17 Shambhu Nath Roy Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications
CN112334056B (zh) * 2018-06-27 2024-05-14 奥林巴斯株式会社 图像显示装置和图像显示方法
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
CN112041852A (zh) 2018-07-30 2020-12-04 惠普发展公司，有限责任合伙企业 对360度图像中的对象的神经网络标识
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN108989606B (zh) 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
EP3618442B1 (en) 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US10769813B2 (en) * 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN108965858B (zh) * 2018-08-31 2019-09-10 华中师范大学 一种支持vr的多视点立体视频多用户接入控制方法及装置
TWI696147B (zh) * 2018-09-05 2020-06-11 宅妝股份有限公司 全景圖形成方法及系統
FR3085668B1 (fr) * 2018-09-10 2020-09-25 Safran Electronics & Defense Equipement optronique d'aide au pilotage d'un aéronef
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. User interfaces for simulated depth effects
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109491626A (zh) * 2018-09-29 2019-03-19 上海摩奇贝斯展示设计营造有限公司 侧屏拼接演绎系统
CN109286804A (zh) * 2018-09-30 2019-01-29 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
US11509879B2 (en) 2018-10-02 2022-11-22 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US10931979B2 (en) 2018-10-18 2021-02-23 At&T Intellectual Property I, L.P. Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint
KR102383669B1 (ko) * 2018-10-23 2022-04-06 한국전자통신연구원 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
US10789720B1 (en) * 2019-10-25 2020-09-29 7-Eleven, Inc. Multi-camera image tracking on a global plane
FR3090170B1 (fr) * 2018-12-12 2020-11-27 Safran Electronics & Defense Dispositif et procédé d’hybridation inertielle/vidéo
US10778895B1 (en) * 2018-12-19 2020-09-15 Gopro, Inc. Systems and methods for stabilizing videos
WO2020142589A1 (en) * 2019-01-04 2020-07-09 Gopro, Inc. Face detection in spherical images
US11233954B1 (en) * 2019-01-24 2022-01-25 Rockwell Collins, Inc. Stereo infrared imaging for head mounted devices
EP3691249A1 (en) * 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
WO2020169693A1 (en) * 2019-02-19 2020-08-27 Orlaco Products B.V. Mirror replacement system with dynamic stitching
US11159772B2 (en) * 2019-02-28 2021-10-26 Arlo Technologies, Inc. Electronic doorbell system with camera selection
WO2020181088A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN109889820A (zh) * 2019-03-14 2019-06-14 深圳博时特科技有限公司 双目摄像头模组的检测方法、装置、存储介质及终端
US11356586B2 (en) * 2019-03-16 2022-06-07 Microsoft Technology Licensing, Llc Panoramic camera system
CN211018942U (zh) * 2019-03-25 2020-07-14 人眼科技有限公司 具有相同高度的传感器的成像装置
US11335122B2 (en) * 2019-03-25 2022-05-17 Samsung Electronics Co., Ltd. Method and electronic device for processing facial images
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
CN113518148A (zh) * 2019-05-06 2021-10-19 苹果公司 用于捕获和管理视觉媒体的用户界面
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN110232715B (zh) * 2019-05-08 2021-11-19 奥比中光科技集团股份有限公司 一种多深度相机自校准的方法、装置及系统
FR3097045B1 (fr) * 2019-06-06 2021-05-14 Safran Electronics & Defense Procédé et dispositif de recalage d’une centrale inertielle d’un moyen de transport à partir d’informations délivrées par un viseur du moyen de transport
WO2020250110A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for generating a 3d visualization using mixed reality-based hmd
CN110349086B (zh) * 2019-07-03 2023-01-24 重庆邮电大学 一种非同心成像条件的图像拼接方法
CN110580723B (zh) * 2019-07-05 2022-08-19 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
US11270464B2 (en) * 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11375104B2 (en) * 2019-08-15 2022-06-28 Apple Inc. System for producing a continuous image from separate image sources
KR102177686B1 (ko) * 2019-08-29 2020-11-11 (주)엘라이트 터널점검 자동 영상촬영 장치
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
US11838486B1 (en) 2019-09-24 2023-12-05 Apple Inc. Method and device for perspective correction using one or more keyframes
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
CN110798673B (zh) * 2019-11-13 2021-03-19 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
IT201900021399A1 (it) * 2019-11-18 2021-05-18 Telecom Italia Spa Metodo e sistema per lo stitching video
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN110910314B (zh) * 2019-11-27 2020-09-25 广州市玄武无线科技股份有限公司 一种货架场景图像的拼接方法及装置
US11158108B2 (en) * 2019-12-04 2021-10-26 Microsoft Technology Licensing, Llc Systems and methods for providing a mixed-reality pass-through experience
US11399156B2 (en) * 2019-12-16 2022-07-26 John McDevitt System and method for improved content creation by means of combining content from multiple individual content capture devices
TWI842024B (zh) * 2019-12-20 2024-05-11 美商尼安蒂克公司 合併來自地圖建立裝置之局部地圖
US11373322B2 (en) 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item
US11917119B2 (en) * 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
EP3866455A1 (en) 2020-02-14 2021-08-18 InterDigital CE Patent Holdings Device and method for capturing images or video
US11195291B1 (en) * 2020-02-19 2021-12-07 Facebook Technologies, Llc Dynamic illumination control for depth determination
CN111355928A (zh) * 2020-02-28 2020-06-30 济南浪潮高新科技投资发展有限公司 一种基于多摄像头内容分析的视频拼接方法及其系统
US11948316B2 (en) 2020-03-11 2024-04-02 Samsung Electronics Co., Ltd. Camera module, imaging device, and image processing method using fixed geometric characteristics
WO2021207582A1 (en) * 2020-04-09 2021-10-14 Looking Glass Factory, Inc. System and method for generating light field images
US20230262208A1 (en) * 2020-04-09 2023-08-17 Looking Glass Factory, Inc. System and method for generating light field images
CN113542712B (zh) * 2020-04-16 2024-08-20 钰立微电子股份有限公司 多深度信息的处理方法与处理系统
US11763779B1 (en) 2020-04-23 2023-09-19 Apple Inc. Head-mounted display systems with alignment monitoring
US11127148B1 (en) * 2020-05-12 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction for partially overlapping stereo depth images
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11317973B2 (en) * 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images
WO2021253149A1 (zh) * 2020-06-15 2021-12-23 广东朗呈医疗器械科技有限公司 镜头、三维成像模组、设备、方法、装置及存储介质
EP4172959A4 (en) * 2020-06-30 2024-07-17 3M Innovative Properties Company Apparatus and method for earbud augmented reality
US12200185B1 (en) 2020-08-11 2025-01-14 Apple Inc. Ray tracing in a display
US11936844B1 (en) 2020-08-11 2024-03-19 Apple Inc. Pre-processing in a display pipeline
EP4214922A1 (en) 2020-08-18 2023-07-26 Apple Inc. Boundary smoothing in a display
US11228878B1 (en) * 2020-08-31 2022-01-18 Amdocs Development Limited System, method, and computer program for edge management of geographically dispersed sensors
CN112306231B (zh) * 2020-09-17 2021-11-30 浙江大学 一种基于半轮廓高亮的凌空徒手三维目标选择方法
EP3971821B1 (en) * 2020-09-22 2024-12-25 Toyota Jidosha Kabushiki Kaisha Image completion using self-attention and uncertainty
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
WO2022081717A1 (en) * 2020-10-13 2022-04-21 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN114390262A (zh) 2020-10-21 2022-04-22 中强光电股份有限公司 用于拼接三维球面全景影像的方法及电子装置
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN112652047B (zh) * 2020-10-23 2024-09-27 成都完美时空网络技术有限公司 扭曲效果生成方法、装置、设备和存储介质
WO2022119940A1 (en) * 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN114710598A (zh) * 2020-12-14 2022-07-05 Tcl商用信息科技(惠州)有限责任公司 视频图像处理方法、装置、智能终端及计算机存储介质
CN116490894A (zh) * 2020-12-31 2023-07-25 西门子股份公司 一种图像拼接方法、装置和计算机可读介质
WO2022147487A1 (en) * 2021-01-02 2022-07-07 Dreamvu Inc. System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras
CN113673292A (zh) * 2021-01-14 2021-11-19 南方科技大学 一种电容成像传感器及手势形态感知方法
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
CN115335728A (zh) * 2021-03-05 2022-11-11 深圳帧观德芯科技有限公司 使用辐射检测器的成像方法
US20230260240A1 (en) * 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
US12425697B2 (en) 2021-03-19 2025-09-23 Sm Tamjid Localized dynamic video streaming system
US11736680B2 (en) 2021-04-19 2023-08-22 Looking Glass Factory, Inc. System and method for displaying a three-dimensional image
KR102779750B1 (ko) * 2021-04-21 2025-03-12 한국전력공사 360도 영상 화질 개선 장치 및 방법
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
EP4087236B1 (en) 2021-05-03 2025-12-03 Honeywell International Inc. Video surveillance system with vantage point transformation
CN113112501B (zh) * 2021-05-11 2023-01-20 上海市东方海事工程技术有限公司 一种基于深度学习的车载轨道巡检装置及方法
US12294688B2 (en) 2021-05-19 2025-05-06 Snap Inc. Hardware encoder for stereo stitching
WO2022246373A1 (en) * 2021-05-19 2022-11-24 Snap Inc. Hardware encoder for stereo stitching
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN113344834B (zh) * 2021-06-02 2022-06-03 深圳兆日科技股份有限公司 图像拼接方法、装置及计算机可读存储介质
EP4364120A4 (en) 2021-06-29 2025-04-30 Stryker Corporation PATIENT VIDEO MONITORING SYSTEM
WO2023281336A1 (en) * 2021-07-07 2023-01-12 Ssimwave Inc. Automatic visual media transmission error assessment
GB2609013B (en) * 2021-07-16 2025-08-20 Sony Interactive Entertainment Inc Video recording and playback systems and methods
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
CN113810678A (zh) * 2021-08-09 2021-12-17 苏州众得光电科技有限公司 一种基于消费级rgbd相机模组的成像系统
US20230053919A1 (en) * 2021-08-19 2023-02-23 Simmonds Precision Products, Inc. Shutter seeker calibration
US12579614B2 (en) * 2021-11-11 2026-03-17 Samsung Electronics Co., Ltd. Imaging device
US11636645B1 (en) * 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Rapid target acquisition using gravity and north vectors
US12593020B2 (en) * 2024-01-17 2026-03-31 Jerry Nims Single 2D image capture system, processing and display of 3D digital image
US12598278B2 (en) * 2021-11-12 2026-04-07 Jerry Nims Single 2D digital image capture system processing, displaying of 3D digital image sequence
US12506953B2 (en) 2021-12-03 2025-12-23 Apple Inc. Device, methods, and graphical user interfaces for capturing and displaying media
US12211360B2 (en) 2021-12-27 2025-01-28 The Adt Security Corporation Navigable 3D view of a premises alarm event
JP2023105524A (ja) * 2022-01-19 2023-07-31 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法
TWI817335B (zh) * 2022-01-25 2023-10-01 宏碁股份有限公司 立體影像播放裝置及其立體影像產生方法
US12262115B2 (en) 2022-01-28 2025-03-25 Gopro, Inc. Methods and apparatus for electronic image stabilization based on a lens polynomial
US12374045B2 (en) * 2022-03-10 2025-07-29 Streem, Llc Efficient texture mapping of a 3-D mesh
TWI851973B (zh) * 2022-03-11 2024-08-11 緯創資通股份有限公司 虛擬視窗配置裝置、虛擬視窗配置方法及虛擬視窗配置系統
US12190270B2 (en) 2022-05-16 2025-01-07 Honeywell International Inc. Methods and systems for managing an incident
CN114841862B (zh) * 2022-06-07 2023-02-03 北京拙河科技有限公司 一种基于亿像素阵列式相机的图像拼接方法及系统
US12149769B2 (en) * 2022-06-15 2024-11-19 Microsoft Technology Licensing, Llc Self-driven adaptive upload
US12341844B2 (en) 2022-06-15 2025-06-24 Microsoft Technology Licensing, Llc Self-driven adaptive upload
WO2023249910A1 (en) 2022-06-21 2023-12-28 Apple Inc. Device with speaker and image sensor
JP7845081B2 (ja) * 2022-06-27 2026-04-14 株式会社リコー 撮影装置、画像処理方法、通信システム及びプログラム
US12287826B1 (en) 2022-06-29 2025-04-29 Gopro, Inc. Systems and methods for sharing media items capturing subjects
CN115278064B (zh) * 2022-07-11 2023-07-25 北京五八信息技术有限公司 一种全景图像生成方法、装置、终端设备及存储介质
CN114973166B (zh) * 2022-07-26 2022-10-25 中诚华隆计算机技术有限公司 一种交通信息追踪方法、系统及计算机设备
US12167161B1 (en) * 2022-09-13 2024-12-10 Gopro, Inc. Systems and methods for horizon leveling videos
WO2024071700A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 전자 장치 및 그 동작 방법
JP2024062300A (ja) * 2022-10-24 2024-05-09 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
CN115767064A (zh) * 2022-11-16 2023-03-07 润博全景文旅科技有限公司 一种图像传输方法、装置及设备
US12586207B2 (en) 2022-12-01 2026-03-24 Samsung Electronics Co., Ltd. System and method for AI segmentation-based registration for multi-frame processing
US12608879B2 (en) * 2022-12-12 2026-04-21 Adobe Inc. Generation of a 360-degree object view by leveraging available images on an online platform
US12608769B1 (en) * 2022-12-22 2026-04-21 Apple Inc. Three-dimensional (3D) reconstruction across various image capture modalities
KR20240130923A (ko) * 2023-02-22 2024-08-30 삼성디스플레이 주식회사 광학 검사 장치 및 이를 이용한 광학 검사 방법
CN117148959B (zh) * 2023-02-27 2024-06-18 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置
US20240303835A1 (en) * 2023-03-10 2024-09-12 Tmrw Foundation Ip S. À R.L. Image capturing system and method
JP7767355B2 (ja) * 2023-03-31 2025-11-11 キヤノン株式会社 情報処理装置制御方法、およびプログラム
US20240373121A1 (en) 2023-05-05 2024-11-07 Apple Inc. User interfaces for controlling media capture settings
CN118921558B (zh) * 2023-05-08 2025-11-21 万有引力（宁波）电子科技有限公司 一种图像处理方法、处理装置及存储介质
US12114093B1 (en) * 2023-09-05 2024-10-08 Grundium Oy Continuous image stitching during imaging
CN117058644A (zh) * 2023-09-07 2023-11-14 威盛电子股份有限公司 环景拼接的拼接缝的调整方法及系统
JP2025076100A (ja) * 2023-11-01 2025-05-15 株式会社リコー 撮影装置および移動装置
TWI870120B (zh) * 2023-11-23 2025-01-11 廣達電腦股份有限公司 影像處理裝置和方法
EP4588239B1 (en) * 2023-12-07 2026-02-25 Brainlab SE Medical camera system
US20250238129A1 (en) 2024-01-18 2025-07-24 Apple Inc. User interfaces integrating hardware buttons
US20250267243A1 (en) * 2024-02-16 2025-08-21 Microsoft Technology Licensing, Llc Sensor bar for 3d navigation and range detection
CN118293885B (zh) * 2024-06-04 2024-08-20 新坐标科技有限公司 一种无人机光伏电站地形三维测绘方法及控制系统
CN118573908B (zh) * 2024-07-31 2024-10-15 江西财经大学 基于视图合成的全景视频高峰期边缘缓存方法与系统
TWI895182B (zh) * 2024-11-22 2025-08-21 滿景資訊股份有限公司 影像拼接方法及影像拼接系統
CN119815181B (zh) * 2024-12-19 2026-04-07 浙江吉利控股集团有限公司 一种全景影像生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169870A1 (en) * 2003-02-28 2004-09-02 Ahmed Mohamed N. System and methods for multiple imaging element scanning and copying
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
US20090051778A1 (en) * 2007-08-21 2009-02-26 Patrick Pan Advanced dynamic stitching method for multi-lens camera system
US20120051665A1 (en) * 2010-08-26 2012-03-01 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2844156A1 (de) 1978-10-10 1980-04-24 Philips Patentverwaltung Verfahren zum verifizieren eines sprechers
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
JPH07182535A (ja) 1993-12-24 1995-07-21 Olympus Optical Co Ltd 三次元ボリュームデータ表示装置
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6020931A (en) 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6359617B1 (en) 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7176960B1 (en) 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
US7064783B2 (en) 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
WO2001073680A1 (en) * 2000-03-27 2001-10-04 Massachusetts General Hospital Methods and systems for distinguishing individuals utilizing anatomy and gait parameters
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6975742B2 (en) * 2000-11-29 2005-12-13 Xerox Corporation Rate-distortion optimization system and method for image compression
JP2002277220A (ja) * 2001-03-19 2002-09-25 Hitachi Ltd 膜厚計測のための計測点決定方法およびそれを用いた薄膜デバイスの製造方法並びに薄膜デバイスの製造装置
US20050226172A1 (en) * 2001-12-15 2005-10-13 Richardson John W Video conference call set up
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
EP1519582A4 (en) 2002-06-28 2007-01-31 Sharp Kk Image data delivery system, image data sending device therefor and image data receiving device therefor
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US8994822B2 (en) 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
AU2003214899A1 (en) 2003-01-24 2004-08-23 Micoy Corporation Stereoscopic Panoramic Image Capture Device
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7269299B2 (en) 2003-10-10 2007-09-11 Orbimage Si Opco, Inc. Image warp
US7434153B2 (en) * 2004-01-21 2008-10-07 Fuji Xerox Co., Ltd. Systems and methods for authoring a media presentation
CN1943243B (zh) 2004-02-23 2013-06-05 日本电气株式会社 二维信号编码/解码方法和设备
US7542050B2 (en) 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7889232B2 (en) * 2004-06-22 2011-02-15 Stratech Systems Limited Method and system for surveillance of vessels
EP1789928A4 (en) 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US7791638B2 (en) * 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US9269157B2 (en) 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
US8982109B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
US20070044123A1 (en) 2005-08-16 2007-02-22 Alcatel System and method for smoothing channel changing in internet protocol television systems
CA2620627C (en) * 2005-08-30 2011-03-15 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
GB2436921A (en) 2006-04-06 2007-10-10 British Broadcasting Corp Methods and apparatus providing central, primary displays with surrounding display regions
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
EP1865455A1 (en) 2006-06-07 2007-12-12 Seac02 S.r.l. A virtual advertising system
US8369419B2 (en) * 2006-06-16 2013-02-05 Via Technologies, Inc. Systems and methods of video compression deblocking
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
CA2632346A1 (en) 2006-10-06 2008-04-10 Lalley Brothers Scientific Llc Three-dimensional internal back-projection system and method for using the same
US20120008103A1 (en) 2006-10-06 2012-01-12 Iglobe Inc. Ray Casting for Coherent Light Internal Projection Systems
IL181533A (en) * 2007-02-25 2010-12-30 Sosmart Rescue Ltd Inflatable life-saving swimming garment
WO2008115416A1 (en) 2007-03-16 2008-09-25 Kollmorgen Corporation System for panoramic image processing
JP2010533008A (ja) 2007-06-29 2010-10-21 スリーエム イノベイティブ プロパティズ カンパニー ビデオデータ及び三次元モデルデータの同期ビュー
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8041147B2 (en) 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
CN101578885B (zh) * 2007-08-07 2012-09-12 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法
US8280115B2 (en) 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2009060975A1 (ja) * 2007-11-08 2009-05-14 Nec Corporation 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
WO2009085961A1 (en) 2007-12-20 2009-07-09 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
US20090163185A1 (en) * 2007-12-24 2009-06-25 Samsung Electronics Co., Ltd. Method and system for creating, receiving and playing multiview images, and related mobile communication device
US20090167786A1 (en) * 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
DE112009000093T5 (de) 2008-01-04 2010-12-09 3M Innovative Properties Co., St. Paul Hierarchische Verarbeitung unter Nutzung von Bildverformung
WO2009094643A2 (en) 2008-01-26 2009-07-30 Deering Michael F Systems using eye mounted displays
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9786164B2 (en) * 2008-05-23 2017-10-10 Leverage Information Systems, Inc. Automated camera response in a surveillance architecture
US20090300692A1 (en) 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
KR101908033B1 (ko) 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8341672B2 (en) * 2009-04-24 2012-12-25 Delta Vidyo, Inc Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
EP2427819A4 (en) * 2009-05-06 2012-11-07 Thomson Licensing METHOD AND SYSTEMS FOR DELIVERING MULTIMEDIA CONTENTS ACCORDING TO PRESENTATION EQUIPMENT OPTIONS
US8388151B2 (en) 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
GB2473059A (en) 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP5418127B2 (ja) 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2502222B1 (en) 2009-11-18 2018-08-29 Thomson Licensing Methods and systems for three dimensional content delivery with flexible disparity selection
JP4886888B2 (ja) * 2009-12-01 2012-02-29 キヤノン株式会社 画像処理装置及びその制御方法
US20120236127A1 (en) 2009-12-04 2012-09-20 Nokia Corporation Processor, Apparatus and Associated Methods
US8294748B2 (en) 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141229A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
CN101710932B (zh) 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
GB2477333B (en) 2010-01-29 2014-12-03 Sony Corp A method and apparatus for creating a stereoscopic image
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
KR101055411B1 (ko) 2010-03-12 2011-08-09 이상원 입체 영상 생성 방법 및 그 장치
JP5564300B2 (ja) 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US8896671B2 (en) * 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
US8755441B2 (en) 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer
US10628729B2 (en) 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
JP5682149B2 (ja) * 2010-06-10 2015-03-11 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN201860380U (zh) 2010-07-28 2011-06-08 深圳市广越视通电子有限公司 全景监控摄像机
CN101963751B (zh) 2010-08-19 2011-11-30 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
JP2012068380A (ja) 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120274775A1 (en) 2010-10-20 2012-11-01 Leonard Reiffel Imager-based code-locating, reading and response methods and apparatus
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9088835B2 (en) 2010-12-17 2015-07-21 Thomson Licensing Method for adjusting depth or view of three-dimensional streaming video
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
WO2012086326A1 (ja) 2010-12-24 2012-06-28 富士フイルム株式会社 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
TWI417640B (zh) * 2010-12-31 2013-12-01 Altek Corp 鏡頭校準系統
JP2012156680A (ja) 2011-01-25 2012-08-16 Jvc Kenwood Corp ３ｄ画像処理装置
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US9661205B2 (en) * 2011-02-28 2017-05-23 Custom Manufacturing & Engineering, Inc. Method and apparatus for imaging
CN102812497B (zh) 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
WO2012126135A1 (en) 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US8581961B2 (en) 2011-03-31 2013-11-12 Vangogh Imaging, Inc. Stereoscopic panoramic video capture system using surface identification and distance registration technique
WO2012136388A1 (en) 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
JP6001826B2 (ja) * 2011-05-18 2016-10-05 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
WO2011144117A2 (zh) 2011-05-27 2011-11-24 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20130212538A1 (en) 2011-08-19 2013-08-15 Ghislain LEMIRE Image-based 3d environment emulator
GB201115369D0 (en) 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US10061189B2 (en) 2011-09-06 2018-08-28 King Abdullah University of Science and Technology (KAUST) Stereo-panoramic data
JP2013061848A (ja) 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置
JP2013077296A (ja) * 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
CN102420898A (zh) 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US8868039B2 (en) 2011-10-12 2014-10-21 Digimarc Corporation Context-related arrangements
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
US8456467B1 (en) 2011-11-11 2013-06-04 Google Inc. Embeddable three-dimensional (3D) image viewer
US20130144720A1 (en) 2011-12-06 2013-06-06 Yahoo! Inc. System for Advertisement Display
KR20140091784A (ko) 2011-12-10 2014-07-22 디씨지 시스템스 인코포레이티드 열 흐름 서모그래피에 의한 샘플의 검사 방법
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
US9479780B2 (en) * 2012-02-01 2016-10-25 Google Technology Holdings LLC Simplification of significance map coding
CN103260046A (zh) 2012-02-16 2013-08-21 中兴通讯股份有限公司 一种三维显示方法及系统
US20130222369A1 (en) 2012-02-23 2013-08-29 Charles D. Huston System and Method for Creating an Environment and for Sharing a Location Based Experience in an Environment
KR101926577B1 (ko) * 2012-02-23 2018-12-11 한국전자통신연구원 확장형 3차원 입체영상 디스플레이 시스템
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US9161166B2 (en) 2012-02-24 2015-10-13 Blackberry Limited Method and apparatus for interconnected devices
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US20130250040A1 (en) 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
TW201342303A (zh) 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 三維空間圖像的獲取系統及方法
US9619863B2 (en) 2012-04-25 2017-04-11 Nokia Technologies Oy Method, apparatus and computer program product for generating panorama images
GB2501767A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Noise cancelling headset
US10365711B2 (en) 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
CN102692806B (zh) 2012-06-04 2015-08-05 济南大学 自由视点四维空间视频序列的采集与形成方法
US9582932B2 (en) 2012-06-05 2017-02-28 Apple Inc. Identifying and parameterizing roof types in map data
CN104335569B (zh) * 2012-06-11 2017-08-25 索尼电脑娱乐公司 图像生成设备以及图像生成方法
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
US9013558B2 (en) 2012-07-02 2015-04-21 Sony Corporation System and method for alignment of stereo views
US8768049B2 (en) 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model
US9175975B2 (en) 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US9406028B2 (en) * 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
EP2905961A4 (en) * 2012-10-05 2016-07-06 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
JP6126820B2 (ja) * 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CN102946508A (zh) 2012-11-14 2013-02-27 李良杰 全景摄像装置
US20140152777A1 (en) 2012-12-01 2014-06-05 Csr Techology Inc. Camera having additional functionality based on connectivity with a host device
KR20140089146A (ko) 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
US20140362176A1 (en) 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
US20140205203A1 (en) * 2013-01-22 2014-07-24 University Of Central Florida Research Foundation, Inc. System and Method for Visual Correlation of Digital Images
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US9094907B2 (en) 2013-02-11 2015-07-28 Telefonaktiebolaget L M Ericsson (Publ) High-precision time tagging for content synthesization
CN105190578A (zh) 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9154773B2 (en) * 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US20140300691A1 (en) 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
US20140323194A1 (en) 2013-04-25 2014-10-30 Spielo International Canada Ulc Gaming machine having camera for adapting displayed images to player's movements
TWM462387U (zh) * 2013-05-08 2013-09-21 Zhen-Shun Xu 具多拍攝角度之監視器
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
EP3005232A4 (en) * 2013-05-29 2017-03-15 Kang-Huai Wang Reconstruction of images from an in vivo multi-camera capsule
KR102155001B1 (ko) 2013-06-27 2020-09-11 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR102082300B1 (ko) * 2013-07-01 2020-02-27 삼성전자주식회사 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP6237000B2 (ja) 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
WO2015038039A1 (en) 2013-09-10 2015-03-19 Telefonaktiebolaget L M Ericsson (Publ) Method and monitoring centre for monitoring occurrence of an event
US8836669B1 (en) 2013-09-13 2014-09-16 Cypress Semiconductor Corporation High resolution capacitance to code converter
WO2015039067A1 (en) * 2013-09-16 2015-03-19 Duke University Method for combining multiple image fields
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view
US9400930B2 (en) 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
US8730299B1 (en) 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
IN2014DE00449A (ko) * 2014-02-17 2015-08-21 Rockwell Collins Inc
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
US20150272547A1 (en) * 2014-03-31 2015-10-01 Siemens Medical Solutions Usa, Inc. Acquisition control for elasticity ultrasound imaging
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US10209942B2 (en) * 2014-07-16 2019-02-19 Sony Interactive Entertainment LLC Collaboratively displaying media content using plurality of display devices
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US20170227841A1 (en) * 2014-10-07 2017-08-10 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
US9672586B2 (en) 2015-10-22 2017-06-06 Texas Instruments Incorporated Image synthesis method with DSP and GPU

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040169870A1 (en) * 2003-02-28 2004-09-02 Ahmed Mohamed N. System and methods for multiple imaging element scanning and copying
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
US20090051778A1 (en) * 2007-08-21 2009-02-26 Patrick Pan Advanced dynamic stitching method for multi-lens camera system
US20120051665A1 (en) * 2010-08-26 2012-03-01 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030603A (ko) * 2017-08-11 2020-03-20 삼성전자주식회사 심 없는 이미지 스티칭(Seamless image stitching)
WO2019066191A1 (ko) * 2017-09-28 2019-04-04 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
KR20220143967A (ko) * 2017-09-28 2022-10-25 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
US11856181B2 (en) 2017-09-28 2023-12-26 Lg Electronics Inc. Method and device for transmitting or receiving 6DoF video using stitching and re-projection related metadata
KR20200056708A (ko) 2018-11-15 2020-05-25 충남대학교산학협력단 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
KR20200056576A (ko) * 2018-11-15 2020-05-25 온스캔스주식회사 3차원 스캐닝용 턴테이블 및 이를 이용한 피사체의 3d 테이터를 얻는 방법
KR20220083830A (ko) * 2020-06-01 2022-06-20 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체
KR20220081168A (ko) * 2020-12-08 2022-06-15 광운대학교 산학협력단 비디오 스티칭 방법 및 장치
US12430710B2 (en) 2021-01-11 2025-09-30 Electronics And Telecommunications Research Institute Apparatus and method for 360-degree video stitching

Also Published As

Publication number Publication date
EP3198866A4 (en) 2017-09-27
EP3198862B1 (en) 2020-04-08
WO2016048013A1 (en) 2016-03-31
CN107079141B (zh) 2019-10-08
CN107079141A (zh) 2017-08-18
CN106797459A (zh) 2017-05-31
EP3198863A1 (en) 2017-08-02
EP3198862A4 (en) 2018-01-24
WO2016048017A1 (en) 2016-03-31
US20160088280A1 (en) 2016-03-24
US10313656B2 (en) 2019-06-04
KR101885778B1 (ko) 2018-08-06
EP3198863A4 (en) 2017-09-27
KR101885780B1 (ko) 2018-08-06
KR101885779B1 (ko) 2018-08-06
CN106797460A (zh) 2017-05-31
KR20170052673A (ko) 2017-05-12
US20160088285A1 (en) 2016-03-24
CN105659592A (zh) 2016-06-08
EP3198862A1 (en) 2017-08-02
US20160088287A1 (en) 2016-03-24
US20160088282A1 (en) 2016-03-24
EP3198865A4 (en) 2017-09-27
WO2016048015A1 (en) 2016-03-31
US10257494B2 (en) 2019-04-09
KR20170052675A (ko) 2017-05-12
WO2016048014A1 (en) 2016-03-31
EP3198866A1 (en) 2017-08-02
KR101885777B1 (ko) 2018-08-06
US10750153B2 (en) 2020-08-18
CN106797460B (zh) 2018-12-21
US10547825B2 (en) 2020-01-28
EP3198866B1 (en) 2020-11-04
EP3198865A1 (en) 2017-08-02
KR20170052676A (ko) 2017-05-12

Similar Documents

Publication Publication Date Title
KR101885778B1 (ko) 3 차원 비디오를 위한 이미지 스티칭
US11205305B2 (en) Presentation of three-dimensional video
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
EP3378221B1 (en) Stabilization based on accelerometer data
JP6677098B2 (ja) 全天球動画の撮影システム、及びプログラム
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US10165186B1 (en) Motion estimation based video stabilization for panoramic video from multi-camera capture device
US10447926B1 (en) Motion estimation based video compression and encoding
CN107197135B (zh) 一种视频生成方法及视频生成装置
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
JP2018033107A (ja) 動画の配信装置及び配信方法
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
CN117729320B (zh) 图像显示方法、设备及存储介质
JP2020086860A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20210629

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20220801

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220801