JP6628343B2 - 装置および関連する方法 - Google Patents
装置および関連する方法 Download PDFInfo
- Publication number
- JP6628343B2 JP6628343B2 JP2018537636A JP2018537636A JP6628343B2 JP 6628343 B2 JP6628343 B2 JP 6628343B2 JP 2018537636 A JP2018537636 A JP 2018537636A JP 2018537636 A JP2018537636 A JP 2018537636A JP 6628343 B2 JP6628343 B2 JP 6628343B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual reality
- reality content
- capture device
- image
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Description
第一仮想現実コンテンツキャプチャデバイスによってキャプチャされたシーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本装置は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するように構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
第一コンテンツキャプチャデバイスの姿が入っている、第二コンテンツキャプチャデバイスによって得られた第二仮想現実コンテンツの画像またはその部分の1つ以上は融合仮想現実空間から除外され、第一コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った当該シーンの対応する部分の1つ以上の画像またはその部分によって代置される。
i)仮想現実コンテンツがキャプチャされたときに、対応するコンテンツキャプチャデバイスが所在していた地理的位置、および/または
ii)他方のコンテンツキャプチャデバイスの相対的位置、
を示す位置情報を含み、
融合仮想現実空間を形成するための第一および第二仮想現実コンテンツからの画像の融合は、この位置情報基づいて、融合仮想現実空間を生成する際に仮想現実コンテンツキャプチャデバイスの1つの姿が入っている画像またはその部分の1つ以上が除外されるように行われる。しかして、この位置情報は、美的に快適な融合仮想現実空間を確保するために、イメージの間の境界などで、イメージをどのようにひずませ、ねじらせることが可能かについてのパラメータを提供するなど、VRコンテンツを如何に組み合わせるかを決めるため有利に使用することができる。
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を実行させるように構成され、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本コンピュータプログラムコードは、該少なくとも1つのプロセッサ上で実行されると、該装置に、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と、第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャし、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャし、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、
ように構成された手段を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、該融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と。第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
(900)第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャするステップであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による該シーンの画像を含む、該キャプチャするステップ、および第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャするステップ。第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で相互に対し所定の距離内に物理的に配置され、前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためである。
(901)仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するステップであって、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える、提供するステップ。
Claims (14)
- 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置であって、
前記融合仮想現実空間が、前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一仮想現実コンテンツから形成可能な前記第一仮想現実空間の視点と、前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第二仮想現実コンテンツから形成可能な前記第二仮想現実空間の視点との間に仮想の視点を有する、装置。 - 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置であって、
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの画像と前記第二仮想現実コンテンツからの画像との間の境界沿いに位置する前記画像またはその部分を少なくとも用いた画像ひずみ効果を含む前記融合仮想現実空間の映像を提供する、装置。 - 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置であって、
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの境界画像と前記第二仮想現実コンテンツからの境界画像との間に不連続部を含む前記融合仮想現実空間の映像を提供し、前記境界画像は、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツから得られた画像と前記第二仮想現実コンテンツから得られた画像との間の境界沿いに位置する前記画像を含む、装置。 - 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置であって、
前記融合仮想現実空間を形成するための前記第一および第二仮想現実コンテンツからの画像の選択は、前記融合仮想現実空間を生成する際に、前記仮想現実コンテンツキャプチャデバイスの1つの姿が入っている画像またはその部分を除外すべく識別するため前記画像の1つ以上に対し行われる画像特徴認識に基づく、装置。 - 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
装置であって、
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、前記第一仮想現実空間および前記第二仮想現実空間のうちの1つを備える選択された仮想現実空間の映像を提供し、これにより、前記ユーザが、前記融合仮想現実空間の視聴に後続して、前記第一および第二仮想現実空間のどちらかを選ぶことを可能にする、装置。 - 前記融合仮想現実空間の映像の提供と前記選択された仮想現実空間の映像の提供との間の移行において、前記融合仮想現実空間中に、前記選択されない仮想現実空間に関連する仮想現実コンテンツから得られた画像にフェージング効果の映像を提供する、請求項5に記載の装置。
- 前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間が、仮想現実中の全ての視角で漸増的に視取可能となるように、前記選択された仮想現実空間のより多くの映像を漸増的に提供する、請求項5または6に記載の装置。
- 前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間に関連付けられた前記仮想現実コンテンツから得られた、前記融合仮想現実空間中の画像の数を次第に増やすのに続いて、前記選択された仮想現実空間の映像を提供する、請求項5〜7の何れか1項に記載の装置。
- 前記ユーザ選択が、ユーザ入力デバイスからのシグナリング、ユーザのジェスチャ、ユーザの音声コマンド、前記ユーザの頭の方向、および前記ユーザの視線コマンドのうちの何れか1つに基づく、請求項5〜8の何れか1項に記載の装置。
- 前記第二仮想現実コンテンツキャプチャデバイスの姿が入っている、前記第一仮想現実コンテンツキャプチャデバイスによって得られた前記第一仮想現実コンテンツの前記画像またはその部分の1つ以上が前記融合仮想現実空間から除外され、前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の1つ以上の画像またはその部分によって代置され、および/または、
前記第一仮想現実コンテンツキャプチャデバイスの姿が入っている、前記第二仮想現実コンテンツキャプチャデバイスによって得られた前記第二仮想現実コンテンツの前記画像またはその部分の1つ以上が前記融合仮想現実空間から除外され、前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の1つ以上の画像またはその部分によって代置される、
請求項1から9の何れかに記載の装置。 - 前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツが、
i)前記第一及び第二仮想現実コンテンツキャプチャデバイスのうち、自身をキャプチャした仮想現実コンテンツキャプチャデバイスが所在していた地理的位置、および/または
ii)前記第一及び第二仮想現実コンテンツキャプチャデバイスのうち、自身をキャプチャした仮想現実コンテンツキャプチャデバイスではない仮想現実のコンテンツキャプチャデバイスの相対的位置、
を示す位置情報を含み、
前記融合仮想現実空間は、前記位置情報に基づいて、前記仮想現実コンテンツキャプチャデバイスの1つの姿が入っている前記画像またはその部分の1つ以上が除外されるよう形成される、
請求項1から10の何れかに記載の装置。 - 前記第一および第二仮想現実コンテンツをキャプチャする際に、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが、前記所定の距離よりも遠く離れて位置し、だが、前記第一および第二仮想現実コンテンツキャプチャデバイスの1つまたは両方が、他方の仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一および第二仮想現実コンテンツの中に見える場合、
前記第一仮想現実コンテンツから形成される前記第一仮想現実空間から、前記第二仮想現実コンテンツキャプチャデバイスの姿を除去し、及び/又は、
前記第二仮想現実コンテンツから形成される前記第二仮想現実空間から、前記第一仮想現実コンテンツキャプチャデバイスの姿を除去する、
請求項1から11の何れかに記載の装置。 - 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置によって実行される方法であって、前記方法は、
前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
前記第二仮想現実コンテンツキャプチャデバイスによって、前記シーンと同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
を含み、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記方法は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することをさらに含み、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含む、
方法であって、
前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、前記第一仮想現実空間および前記第二仮想現実空間のうちの1つを備える選択された仮想現実空間の映像を提供することをさらに含み、これにより、前記ユーザが、前記融合仮想現実空間の視聴に後続して、前記第一および第二仮想現実空間のどちらかを選ぶことを可能にする、方法。 - コンピュータプログラムコードを備えるコンピュータプログラムであって、前記コンピュータプログラムコードは、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置の少なくとも1つのプロセッサ上で実行されると、前記装置に、少なくとも、
前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
前記第二仮想現実コンテンツキャプチャデバイスによって、前記同じシーンの第二仮想現実コンテンツをキャプチャすることであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
を実行させるように構成され、
前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
前記コンピュータプログラムコードは更に、前記少なくとも1つのプロセッサ上で実行されると、前記装置に、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含み、
前記コンピュータプログラムコードは更に、前記少なくとも1つのプロセッサ上で実行されると、前記装置に、前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、前記第一仮想現実空間および前記第二仮想現実空間のうちの1つを備える選択された仮想現実空間の映像を提供させ、これにより、前記ユーザが、前記融合仮想現実空間の視聴に後続して、前記第一および第二仮想現実空間のどちらかを選ぶことを可能にする、
コンピュータプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16152629.8A EP3196838B1 (en) | 2016-01-25 | 2016-01-25 | An apparatus and associated methods |
| EP16152629.8 | 2016-01-25 | ||
| PCT/FI2017/050022 WO2017129857A1 (en) | 2016-01-25 | 2017-01-18 | An apparatus and associated methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019512177A JP2019512177A (ja) | 2019-05-09 |
| JP6628343B2 true JP6628343B2 (ja) | 2020-01-08 |
Family
ID=55357855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018537636A Active JP6628343B2 (ja) | 2016-01-25 | 2017-01-18 | 装置および関連する方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10665026B2 (ja) |
| EP (1) | EP3196838B1 (ja) |
| JP (1) | JP6628343B2 (ja) |
| WO (1) | WO2017129857A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3489882A1 (en) * | 2017-11-27 | 2019-05-29 | Nokia Technologies Oy | An apparatus and associated methods for communication between users experiencing virtual reality |
| JP6745301B2 (ja) * | 2018-07-25 | 2020-08-26 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム |
| CN109407935A (zh) * | 2018-09-14 | 2019-03-01 | 歌尔科技有限公司 | 一种虚拟现实显示控制方法、装置和系统 |
| US11178374B2 (en) * | 2019-05-31 | 2021-11-16 | Adobe Inc. | Dynamically rendering 360-degree videos using view-specific-filter parameters |
| US11430447B2 (en) * | 2019-11-15 | 2022-08-30 | Qualcomm Incorporated | Voice activation based on user recognition |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5990941A (en) * | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| WO2006110584A2 (en) * | 2005-04-07 | 2006-10-19 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
| US8836771B2 (en) * | 2011-04-26 | 2014-09-16 | Echostar Technologies L.L.C. | Apparatus, systems and methods for shared viewing experience using head mounted displays |
| JP6126820B2 (ja) * | 2012-11-09 | 2017-05-10 | 任天堂株式会社 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
| US9451162B2 (en) * | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
| WO2015085406A1 (en) * | 2013-12-13 | 2015-06-18 | 8702209 Canada Inc. | Systems and methods for producing panoramic and stereoscopic videos |
| US10122992B2 (en) * | 2014-05-22 | 2018-11-06 | Disney Enterprises, Inc. | Parallax based monoscopic rendering |
| US9911454B2 (en) * | 2014-05-29 | 2018-03-06 | Jaunt Inc. | Camera array including camera modules |
| JP6365153B2 (ja) * | 2014-09-10 | 2018-08-01 | 株式会社ソシオネクスト | 画像符号化方法および画像符号化装置 |
| PT3326358T (pt) * | 2015-02-27 | 2022-11-25 | Leia Inc | Câmara multiview |
| CN106612426B (zh) * | 2015-10-26 | 2018-03-16 | 华为技术有限公司 | 一种多视点视频传输方法及装置 |
-
2016
- 2016-01-25 EP EP16152629.8A patent/EP3196838B1/en active Active
-
2017
- 2017-01-18 US US16/070,962 patent/US10665026B2/en active Active
- 2017-01-18 JP JP2018537636A patent/JP6628343B2/ja active Active
- 2017-01-18 WO PCT/FI2017/050022 patent/WO2017129857A1/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| US10665026B2 (en) | 2020-05-26 |
| EP3196838B1 (en) | 2025-05-07 |
| JP2019512177A (ja) | 2019-05-09 |
| US20190026951A1 (en) | 2019-01-24 |
| WO2017129857A1 (en) | 2017-08-03 |
| EP3196838A1 (en) | 2017-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110944727B (zh) | 控制虚拟照相机的系统和方法 | |
| KR102087690B1 (ko) | 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치 | |
| US20190180509A1 (en) | Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
| CN108604175B (zh) | 装置和关联方法 | |
| US11210518B2 (en) | Apparatus and associated methods for display of virtual reality content | |
| JP6628343B2 (ja) | 装置および関連する方法 | |
| US20190132569A1 (en) | Image processing for 360-degree camera | |
| US10762722B2 (en) | Apparatus for sharing objects of interest and associated methods | |
| US20170134714A1 (en) | Device and method for creating videoclips from omnidirectional video | |
| CN114327700A (zh) | 一种虚拟现实设备及截屏图片播放方法 | |
| JP7017175B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN107305435A (zh) | 在增强现实和虚拟现实环境之间链接和交互的系统和方法 | |
| CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
| KR20190018919A (ko) | 디스플레이장치, 서버 및 그 제어방법 | |
| KR20180026216A (ko) | 디스플레이 장치 및 이의 제어 방법 | |
| JP7791226B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20260101114A1 (en) | Methods and systems to improve image quality and automate panorama shots | |
| KR20180051202A (ko) | 디스플레이장치 및 그 제어방법 | |
| JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
| US20180124374A1 (en) | System and Method for Reducing System Requirements for a Virtual Reality 360 Display | |
| CN113296721A (zh) | 显示方法、显示装置和多屏幕联动系统 | |
| JP6224465B2 (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
| EP2942949A1 (en) | System for providing complex-dimensional content service using complex 2d-3d content file, method for providing said service, and complex-dimensional content file therefor | |
| KR101843024B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
| US20240078070A1 (en) | Video distribution device, display control device, video distribution method, display control method, and non-transitory computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6628343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |