WO2016208539A1 - 双眼立体視画像の提供方法、観察装置及びカメラユニット - Google Patents

双眼立体視画像の提供方法、観察装置及びカメラユニット Download PDF

Info

Publication number
WO2016208539A1
WO2016208539A1 PCT/JP2016/068272 JP2016068272W WO2016208539A1 WO 2016208539 A1 WO2016208539 A1 WO 2016208539A1 JP 2016068272 W JP2016068272 W JP 2016068272W WO 2016208539 A1 WO2016208539 A1 WO 2016208539A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
omnidirectional
eye
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/068272
Other languages
English (en)
French (fr)
Inventor
健吾 市來
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenkei KK
Original Assignee
Zenkei KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenkei KK filed Critical Zenkei KK
Priority to CN201680033762.9A priority Critical patent/CN107646193B/zh
Priority to US15/735,988 priority patent/US20180184067A1/en
Priority to EP16814309.7A priority patent/EP3313071A4/en
Priority to JP2017524895A priority patent/JP6845506B2/ja
Publication of WO2016208539A1 publication Critical patent/WO2016208539A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Definitions

  • the present invention relates to a method for providing a binocular stereoscopic image of all celestial spheres (omnidirectional and total height) or omnidirectional (entire circumference) at a camera installation location, an apparatus for observing the image, and a camera unit.
  • the applicant of the present application discloses a method for providing an omnidirectional binocular stereoscopic image at a camera installation location in Patent Document 1.
  • a plurality of omnidirectional cameras are arranged at intervals corresponding to the interval between human eyes, and display screens for the left eye and right eye that each camera shares from the omnidirectional screens acquired by these cameras are displayed.
  • the left-eye and right-eye omnidirectional screens are generated.
  • a rectangular screen for left eye and right eye in a direction that the observer wants to see is cut out from each omnidirectional screen and displayed on the viewer's display.
  • Patent Document 2 a camera that captures a spherical image of a camera installation location is disclosed in Patent Document 2, for example.
  • This type of camera usually captures images taken with a plurality of fisheye lenses, regardless of the orientation of the lens, etc., with a high azimuth (360 degrees) and full height (180 degrees) with the top side directly above and the bottom side directly below.
  • S Converted to a rectangular image with a width of 1: 2 and output.
  • Patent Document 1 creates left-eye and right-eye omnidirectional screens by connecting images taken by a plurality of cameras.
  • the screens of two cameras having different shooting centers and shooting directions are connected, a slight shift occurs in the image of the shooting target at the connection point. Therefore, when connecting the screens, a correction process for correcting this shift must be performed.
  • the present invention provides means for distributing an omnidirectional or omnidirectional binocular stereoscopic image without performing a process of connecting omnidirectional or omnidirectional screens shot by a plurality of cameras having different shooting directions. It is an issue.
  • an omnidirectional or omnidirectional binocular stereoscopic live video can be distributed.
  • An omnidirectional or omnidirectional camera Ai 1 to n) is placed at each vertex position of a regular polygon having a side length equal to the distance between both eyes of a human or wide in a range where stereoscopic vision is not unnatural. Place.
  • the imaging screen Bi taken at the same timing taken by each camera Ai is provided as a set of screens C to the observation apparatus 3.
  • the horizontal direction is positioned outside the region of (2 ⁇ 360 / n) + ⁇ degrees, and is positioned outside the region of 180 + ⁇ degrees in the height direction.
  • ⁇ is the viewing angle in the horizontal direction with respect to the observer of the display 31 (31l, 31r) of the observation apparatus 3
  • ⁇ is the viewing angle in the height direction
  • n is the number of regular polygons.
  • the observation apparatus 3 can display the omnidirectional binocular stereoscopic image in which the camera Ai and the holder 11 are not shown on the display 31.
  • the provided image is an omnidirectional image
  • the plurality of cameras Ai and the holder 11 may be positioned outside the ⁇ degree region in the height direction.
  • the observation apparatus that has received a set of screens C detects the observation direction of the observer, and uses two imaging screens Bi and Bi ⁇ 1 for the left eye and the right eye that sandwich the directions detected from the set of screens C. And a width w corresponding to the viewing angle ⁇ in the horizontal direction and a height corresponding to the viewing angle in the height direction of the displays 31l and 31r provided in the observation apparatus.
  • the display screens Dl and Dr provided with h are cut out and displayed on the displays 31l and 31r.
  • a set of screens is provided via the Internet 4 by the server 2 for image distribution.
  • the observation apparatus 3 that receives a set of screens C via the Internet 4 has the image receiving means 32, two displays 31l and 31r for displaying left and right eye images, and goggles.
  • a screen selection means 34 for selecting a left-eye screen and a right-eye screen from a set of screens C; a screen cut-out means 35 for cutting out the left-eye and right-eye display screens D1 and Dr from the selected screen Bi, Bi ⁇ 1; Display means 36 for displaying the cut-out screen on a display;
  • an omnidirectional or omnidirectional image corresponding to the direction of the observation device can be observed at a remote place without connecting the screens captured by a plurality of cameras that are responsible for capturing images in the respective directions.
  • FIG. 1 Hardware configuration diagram Perspective view of camera unit Diagram showing image conversion on server
  • Side view showing an example of a camera unit with variable lens spacing
  • FIG. 1 is a camera unit
  • 2 is a computer for image distribution (hereinafter referred to as “distribution server”)
  • 3 is a computer for image distribution (hereinafter referred to as “distribution server”)
  • 3 is a computer for image distribution (hereinafter referred to as “distribution server”)
  • 3 is a computer for image distribution (hereinafter referred to as “distribution server”)
  • 3 is a computer for image distribution (hereinafter referred to as “distribution server”)
  • Each camera Ai includes a plurality of lenses (two in the figure) 13 and 14 and shoots an omnidirectional image with the center point between the lenses as the imaging center.
  • each camera Ai does not show itself, but the other camera arranged adjacently and the holder 11 holding the camera are shown.
  • the plurality of cameras Ai are mounted on the holder 11 so that right-eye and left-eye omnidirectional images in which the adjacent cameras and holders are not captured can be obtained from a plurality of images in which the adjacent cameras and holders are captured. Yes.
  • each camera Ai is mounted so that the optical axes of its lenses 13 and 14 are on the same plane, and those optical axes are directed to the sides of the regular polygon on the plane. .
  • the holder 11 is positioned at the center of arrangement of the plurality of cameras Ai, and a plurality of holders 11 are supplemented with a captured image of another camera so that the direction in which the holder or the adjacent camera in the captured image of a certain camera is reflected.
  • Cameras Ai are attached.
  • the plurality of cameras Ai are synchronously controlled so as to perform shooting operations at the same timing, whether they are still images or moving images.
  • the distribution server 2 receives n shooting screens Bi simultaneously shot by each of the n cameras Ai of the camera unit, and converts them into a set of screens C via the Internet 4. Deliver to 3 ... A plurality of cameras Ai are simultaneously provided with shooting signals. However, depending on the performance of the cameras, it may not be possible to perform shooting with exactly the same timing. In such a case, before the plurality of shooting screens Bi are set as a set of screens C, correction for correcting a shift in shooting timing is performed. For example, the image is corrected by calculating the displacement of the image at a timing shift from the shift between images taken at short time intervals.
  • the goggle 3 is a direction detection means for detecting a change in the viewing direction, at least the viewing direction of the viewer wearing the goggles, such as the left and right displays 31l and 31r, a gyroscope and an angular accelerometer, and a level and a compass. 33 is provided.
  • the goggles 3 further include a screen selection unit 34 for selecting a left-eye screen and a right-eye screen from the n shooting screens Bi in the set of screens C according to the direction detected by the direction detection unit 33, and the selected screen.
  • screen cutout means 35 for cutting out the display screens D1 and Dr projected on the left-eye and right-eye displays, and display means 36 for displaying the cut-out screens on the respective displays 31l and 31r.
  • the camera unit 1 is installed with the bisector direction N of the cameras A1 and A2 facing north as the reference direction, as shown in FIG. If the goggles 3 have a compass, it can detect its own direction from the reference direction, so that the cameras arranged on both sides of the facing direction are taken as right and left eye shooting screens Bi and Bi ⁇ 1.
  • the screen cutout means 35 cuts out the display screens Dl and Dr having the width w and the height h that are projected from the respective screens B1 and B2 on the left and right displays 31l and 31r.
  • the screen selection means 34 when the observer turns on the goggles. Selects the shooting screen B1 of the camera A1 as the screen for the left eye and the shooting screen B2 of the camera A2 as the screen for the right eye from the received set of screens C.
  • the screen cutout means 35 selects the screens B1 and B2 respectively. Cut out the display screens Dl and Dr having a width w and a height h projected on the left and right displays 31l and 31r.
  • the center of the width of all the shooting screens B is set to the reference direction N of the camera unit, as shown in FIG. 7A, the display screen D1 for left eye and right eye that is cut out when the goggles are facing the reference direction. , Dr is cut out with the width center of each of the photographing screens B1 and B2 as the width center.
  • the screen to be cut out is a simple rectangle or fan shape, but the display of goggles is not only a simple rectangle, and goggles usually have eyepieces and the image on the display is distorted. Therefore, the screens Dl and Dr to be cut out are cut out in shapes corresponding to the respective displays and eyepieces.
  • the cut out display screens Dlu and Dru move upward, but the spherical surface is developed on a cylindrical surface.
  • the screens cut out when the goggles are directed upward are the screens Dlu and Dru that expand in the horizontal direction as they are directed upward and are deformed into a fan shape with the upper side wider than the lower side.
  • the screens Dld and Drd are transformed into a fan shape in which the lower side spreading in the horizontal direction is longer than the upper side.
  • the display means 36 converts the screens Dl and Dr cut out from the equator into appropriate images according to the angle of view of the goggles and the eyepiece and displays them on the displays 31l and 31r.
  • the screens Dlu and Dru or Dld and Drd cut out in a wide fan shape are converted into screens with the same aspect ratio as the display screens Dl and Dr on the equator. Displayed on each display.
  • the centers of the display screens D1 and Dr cut out from the shooting screens B1 and B2 also move to the right according to the direction in which the goggles are directed. If the direction of the goggles changes only in the horizontal direction at the same height, the width w of the cut-out display screen is constant. In the case of six cameras, the left-eye display screen Dl and the right-eye display screens Dl and Dr are photographed screens B1 and B2 while the direction of the goggles is 30 degrees ( ⁇ 30 degrees) left and right from the reference direction. It is cut out with the direction of the goggles facing from the center of the width.
  • the shooting screen is converted.
  • the shooting screen B2 that has been used for the right eye so far is selected as the screen for the left eye, and the camera A2 is used as the screen for the right eye.
  • the shooting screen B3 of the camera A3 on the right side is selected.
  • the shooting screen B3 is selected for the left eye and the shooting screen B4 is selected for the right eye.
  • the shooting screen B6 is selected for the left eye, the shooting screen B1 is selected for the right eye, and is further moved to 90 degrees in the left direction.
  • the shooting screen B5 is selected for the left eye, and the shooting screen B6 is selected for the right eye.
  • the center of the width of the display screens Dl and Dr to be cut out is the direction in which the goggles are facing, regardless of which shooting screen is selected. It is.
  • a range of 60 degrees clockwise from the direction in which each camera Ai faces is a range L in which an image for the left eye is photographed as a pair with the camera on the right side, and a range of 60 degrees clockwise is the left side. Since the viewing angle of the width w of the display screen to be cut out is ⁇ , a range expanded by ⁇ / 2 outside these ranges (2 ⁇ 360 / n) ) + ⁇ is the shooting range of each camera Ai.
  • each camera is an area on the equator.
  • the angle width ⁇ cut out from the shooting screen as a display screen is widened, so the area to be handled is also widened. It is only necessary to determine the shape of the holder and the number of cameras so that the adjacent cameras and holders do not appear in the area of each camera.
  • the viewing angle in the height direction of the goggles 3 is ⁇ , and 180 ° + ⁇ degrees in the height direction.
  • the size and shape do not allow the holder 11 to enter the region (see FIG. 6).
  • the image of the viewing angle ⁇ in the height direction provided in the goggles 3 can be displayed on the display without converting the shooting screen.
  • the shooting screen selected at that time is changed.
  • the camera to be used is not limited to a camera that can capture a complete omnidirectional or omnidirectional camera, but may be a omnidirectional or omnidirectional camera that is partially missing.
  • a camera that can capture a complete omnidirectional or omnidirectional camera but may be a omnidirectional or omnidirectional camera that is partially missing.
  • it is an omnidirectional camera that does not show a cone part with an apex angle of 60 degrees directly below, if the direction directly below is placed in the direction of the center of the holder and the direction is changed by the distribution server, this The omnidirectional binocular stereoscopic image of the invention can be provided.
  • the holder 11 is attached to the support column 15 and the helmet, but the body of the person wearing the support column 15 and the helmet at this time is reflected in an image observed with goggles. Since these pillars and helmets naturally enter the field of view even when people observe on site, the images that they are reflected in are rather natural images. Normally, omnidirectional images and omnidirectional images are used. It will not be an obstacle to providing.
  • Binocular stereoscopic images can be provided.
  • the left and right eye photography screens are taken, and the left and right cameras in the direction in which the goggles are directed.
  • the width w (lateral angle ⁇ ) corresponding to the viewing angle of the display provided in the goggles and the height h (height direction)
  • each photographing screen Bi is an omnidirectional screen, and for example, it is possible to cut out a display screen that has moved 35 degrees to the right from the reference direction N from the photographing screen B1. Therefore, if switching is performed with a slight time delay with respect to the movement of the goggles, images are frequently switched due to slight movement or vibration of the goggles when the goggles are facing the direction of switching the shooting screen. Can be prevented. Further, at the time of this switching, the images can be switched smoothly by switching while fading in and fading out in a short time.
  • the distance between the lenses of the cameras next to the cameras A is based on the distance between both eyes of the human, but depending on the shooting target and the specifications of the goggles, it may be natural to stereoscopically increase the distance slightly. May be visible. Considering this, it is conceivable to use a holder having a structure that can adjust the distance between the lenses of the adjacent camera as the holder 11.
  • each camera is mounted on a support base 16 attached to a holder base 11a so as to be slidable in the radial direction, and these support bases are attached in a contracting direction (a direction moving inward in the radial direction).
  • a spring 17 is provided, and the base end of the support 16 is brought into contact with a cone (conical member) 19 screwed into a screw 18 provided at the center of the holder.
  • the present invention can also deliver an omnidirectional image, using an omnidirectional camera as a camera, It is also possible to provide a binocular stereoscopic image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】カメラの設置場所における全方位かつ全高さの双眼立体視画像を提供する技術手段に関し、複数のカメラで撮影した画面を繋ぎ合わせるという時間のかかる処理を不要にして、全天球双眼立体視ライブ動画を配信可能にする。 【解決手段】観察しようとする地点に正多角形の各頂点位置に複数の全天球カメラを配置したカメラユニット１を設置する。複数のカメラが撮影した同一タイミングの撮影画面Ｂｉ（ｉ＝１～ｎ）を一組の画面Ｃにして観察装置に提供する。観察装置は、観察者が観察する方向に応じて、一組の画面Ｃから当該方向を挟む２個の撮影画面Ｂｉ、Ｂｉ±１を左目用及び右目用の画面として選択し、選択した撮影画面からディスプレイに表示する画面を切り出して表示する。

Description

双眼立体視画像の提供方法、観察装置及びカメラユニット
　この発明は、カメラの設置場所における全天球（全方位かつ全高さ）ないし全方位（全周）の双眼立体視画像を提供する方法、当該画像を観察する装置及びカメラユニットに関するものである。
　本願出願人は、特許文献１において、カメラ設置場所の全方位の双眼立体視画像を提供する方法を開示している。この方法は、複数個の全方位カメラを人間の両眼の間隔に相当する間隔で配置し、これらのカメラが取得した全方位画面からそれぞれのカメラが分担する左目用と右目用の表示画面を切り出して繋ぎ合わせることによって、左目用と右目用の全方位画面を生成する。そして、それぞれの全方位画面から観察者が見ようとする方向の左目用と右目用の矩形画面を切り出して、観察者のディスプレイに表示するというものである。
　また、カメラ設置場所の全天球画像を撮影するカメラは、例えば特許文献２に開示されている。この種のカメラは、通常、複数の魚眼レンズで撮影した画像を、レンズの向きなどに関わりなく、上辺が真上で下辺が真下の全方位（３６０度）かつ全高さ（１８０度）の、高さ：幅が１：２の、矩形画像に変換して出力している。
特許第４１８３４６６号公報 特開２０１３－６６１６３号公報
　特許文献１で提案した方法は、複数のカメラで撮影した画像を繋ぎ合わせて左目用と右目用の全方位画面を作成している。撮影中心や撮影方向の異なる２つのカメラの画面を繋ぎ合わせると、その繋ぎ目の所で撮影対象物の画像に微小なずれが生ずる。そのため、画面を繋ぎ合わせる際に、このずれを補正するための補正処理を行わねばならない。
　しかし、カメラから撮影対象物までの距離によって繋ぎ目におけるずれの量が異なるので、補正が困難である。更に、この補正には複雑な処理が必要で、処理に時間がかかるため、動画を提供しようとすると処理量が膨大になり、ライブ動画を提供することができない。
　この発明は、撮影方向が異なる複数のカメラで撮影した全天球ないし全方位の画面を繋ぎ合わせるという処理を行うことなく、全天球ないし全方位の双眼立体視画像を配信する手段を提供することを課題としている。この発明により、全天球ないし全方位の双眼立体視ライブ動画を配信することが可能になる。
　一辺の長さを人間の両眼の間隔に等しいか又は立体視が不自然とならない範囲で広くした正多角形の各頂点位置に、全方位ないし全天球カメラＡｉ（ｉ＝１～ｎ）を配置する。各カメラＡｉが撮影した同一タイミングの撮影画面Ｂｉを一組の画面Ｃにして観察装置３に提供する。
　全天球画像を提供するときは、複数のカメラＡｉ（ｉ＝１～ｎ）及びこれらを保持するホルダ１１は、前記正多角形の中心Ｏから各カメラの撮影中心Ｐを通る方向を中心とする横方向に（２×３６０／ｎ）＋α度の領域外で、かつ、高さ方向に１８０＋β度の領域外に位置させる。ここで、αは、観察装置３のディスプレイ３１（３１ｌ、３１ｒ）の観察者に対する横方向の視野角、βは、同高さ方向の視野角、ｎは、正多角形の角数である。これにより、観察装置３は、カメラＡｉやホルダ１１が写っていない全天球双眼立体視画像をディスプレイ３１に表示することができる。
　提供する画像が全方位画像のときは、高さ方向については、複数のカメラＡｉ及びホルダ１１をβ度の領域外に位置させれば良い。
　一組の画面Ｃの提供を受けた観察装置は、観察者の観察方向を検出し、一組の画面Ｃから検出した方向を挟む２個の撮影画面Ｂｉ、Ｂｉ±１を左目用及び右目用の画面として選択し、選択した画面から前記検出した方向を中心としかつ観察装置が備えるディスプレイ３１ｌ、３１ｒの横方向の視野角αに相当する幅ｗ及び高さ方向の視野角に相当する高さｈを備えた表示画面Ｄｌ、Ｄｒを切り出してディスプレイ３１ｌ、３１ｒに表示する。
　通常、一組の画面の提供は、画像配信用のサーバ２によってインターネット４を介して行われる。インターネット４を介して一組の画面Ｃを受信する観察装置３は、当該画像の受信手段３２と、左目用と右目用の画像を表示するための２個のディスプレイ３１ｌ、３１ｒと、ゴーグルが向く方向（全天球画像を受信するときは横方向及び高さ方向、全方位画像を受信するときは少なくとも横方向）を検出する方向検出手段３３と、方向検出手段３３が検出した方向に応じて一組の画面Ｃから左目用と右目用の画面を選択する画面選択手段３４と、選択した画面Ｂｉ、Ｂｉ±１から左目用と右目用の表示画面Ｄｌ、Ｄｒを切り出す画面切り出し手段３５と、切り出した画面をディスプレイに表示する表示手段３６とを備えている。
　この発明により、それぞれの方向の画像の撮影を受け持つ複数のカメラが撮影した画面を繋ぎ合わせることなく、観察装置の方向に応じた全天球ないし全方位の画像を遠隔地で観察できる。
　そして、画面の繋ぎ処理を必要としないので、画像データの複雑な処理が不要となり、データ処理に時間がかからないため多数の画像を次々と配信しなければならないライブ動画の提供が可能になるという効果がある。
ハードウェアの全体構成図 カメラユニットの斜視図 サーバーにおける画像の変換を示す図 観察装置における画像処理手段を示す図 各カメラの撮影範囲を示すカメラユニットの平面図 各カメラの撮影範囲を示すカメラユニットの側面図 撮影画面からの表示画面の切り出しを示す説明図 撮影画面がどのように選択されるかを示す説明図 レンズ間隔を可変にしたカメラユニットの一例を示す側面図
　以下、図面を参照してこの発明の実施形態を説明する。図１において、１はカメラユニット、２は画像配信用のコンピュータ（以下「配信サーバ」という）、３、３・・・は配信された画像の観察装置（立体視用端末。以下「ゴーグル」という）、４はインターネットである。
　カメラユニット１は、図２に拡大して示すように、ホルダ１１にｎ個（図では６個）の全天球カメラＡｉ（ｉ＝１～ｎ）を放射状に取り付けた構造で、図２のホルダ１１は、支柱１５の上端に取り付けられている。各カメラＡｉが撮影した静止画及び動画は、それぞれのカメラに接続したケーブル１２で配信サーバ２に送られている。各カメラＡｉは、複数のレンズ（図では２個）１３、１４を備えており、レンズ間の中心点を撮影中心とする全天球画像を撮影する。
　双眼立体視画像を得るためには、少なくとも２個のカメラが必要である。各カメラＡｉの撮影画像には自分自身は写らないが、隣接して配置される他のカメラやカメラを保持しているホルダ１１は映る。複数のカメラＡｉは、隣接するカメラやホルダが写っている複数の画像から、隣接するカメラやホルダが写っていない右目用と左目用の全天球画像が得られるようにホルダ１１に装着されている。
　図の例では、各カメラＡｉは、そのレンズ１３、１４の光軸を同一平面上にして、それらの光軸が当該平面上の正多角形の各辺の方向を向くように取り付けられている。ホルダ１１は、複数のカメラＡｉの配置中心に位置しており、あるカメラの撮影画像中のホルダや隣接するカメラが写り込んでいる方角が他のカメラの撮影画像で補填されるように、複数個のカメラＡｉが取り付けられている。複数のカメラＡｉは、静止画であれ動画であれ、同一のタイミングで撮影動作を行うように同期制御されている。
　配信サーバ２は、図３に示すように、カメラユニットのｎ個の各カメラＡｉが同時に撮影したｎ個の撮影画面Ｂｉを受信し、それらを一組の画面Ｃにしてインターネット４を介してゴーグル３・・・に配信する。複数のカメラＡｉには同時に撮影信号が与えられるが、カメラの性能によっては、正確にタイミングの一致した撮影を行うことができない場合がある。そのような場合には、複数の撮影画面Ｂｉを一組の画面Ｃとする前に、撮影タイミングのずれを修正するための補正を行う。例えば短い時間間隔で撮られた画像間のずれから、タイミングがずれた分の画像の変位を演算して画像を補正する。
　ゴーグル３は、左目用と右目用のディスプレイ３１ｌ、３１ｒと、ジャイロと角加速度計や、水準器とコンパスなど、ゴーグルを付けた観察者が見る方向、少なくとも見る方向の変化を検出する方向検出手段３３を備えている。ゴーグル３は、更に、方向検出手段３３が検出した方向に応じて一組の画面Ｃ内のｎ個の撮影画面Ｂｉから左目用と右目用の画面を選択する画面選択手段３４と、選択した画面から左目用と右目用のディスプレイに映し出す表示画面Ｄｌ、Ｄｒを切り出す画面切り出し手段３５と、切り出した画面をそれぞれのディスプレイ３１ｌ、３１ｒに表示する表示手段３６とを備えている。
　カメラユニット１が、図５に示すように、カメラＡ１とＡ２の２等分線の方向Ｎを基準方向である北に向けて設置されているとする。ゴーグル３がコンパスを備えていれば、基準方向からの自分自身の向きを検出できるので、その向いている方向の両側に配置されたカメラを右目用と左目用の撮影画面Ｂｉ、Ｂｉ±１として選択し、画面切り出し手段３５は、それぞれの画面Ｂ１、Ｂ２から左右のディスプレイ３１ｌ、３１ｒに映し出す幅ｗと高さｈの表示画面Ｄｌ、Ｄｒを切り出す。
　ゴーグル３が角加速度計と水準器を備えており、電源が投入されたときのゴーグルの向きを基準方向に設定する仕様であれば、観察者がゴーグルの電源を入れたとき、画面選択手段３４は、受信した一組の画面Ｃから、カメラＡ１の撮影画面Ｂ１を左目用の画面、カメラＡ２の撮影画面Ｂ２を右目用の画面として選択し、画面切り出し手段３５は、それぞれの画面Ｂ１、Ｂ２から左右のディスプレイ３１ｌ、３１ｒに映し出す幅ｗと高さｈの表示画面Ｄｌ、Ｄｒを切り出す。
　全ての撮影画面Ｂの幅中心をカメラユニットの基準方向Ｎにすれば、図７（ａ）に示すように、ゴーグルが基準方向を向いているときに切り出される左目用と右目用の表示画面Ｄｌ、Ｄｒは、それぞれの撮影画面Ｂ１、Ｂ２の幅中心を幅中心として切り出される。
　図及び以下の記述では、切り出される画面を単純な矩形や扇形としているが、ゴーグルのディスプレイは単純な矩形ばかりでなく、また、ゴーグルには通常、接眼レンズが付いていてディスプレイ上の画像に歪みが生じることもあるので、切り出す画面Ｄｌ、Ｄｒは、それぞれのディスプレイや接眼レンズに応じた形状で切り出される。
　全天球双眼立体視用のゴーグルでは、その横方向の向きを変えないでゴーグルを上方に向けると、切り出される表示画面Ｄｌｕ、Ｄｒｕは上方に移動するが、球面を円筒面に展開している関係上、ゴーグルを上方に向けたときに切り出される画面は、上に向けるに従って横方向に広がり、かつ上辺が下辺より広い扇形に変形した画面Ｄｌｕ、Ｄｒｕとなる。ゴーグルを水平から下方に向けたときは、横方向に広がった下辺が上辺より長い扇形に変形した画面Ｄｌｄ、Ｄｒｄとなる。
　表示手段３６は、赤道上から切り出された画面Ｄｌ、Ｄｒをゴーグルの画角や接眼レンズに応じた適切な画像に変換してディスプレイ３１ｌ、３１ｒに表示する。上方又は下方に向けた全天球双眼立体視用のゴーグルでは、幅広い扇形に切り出された画面ＤｌｕとＤｒｕ又はＤｌｄとＤｒｄは、赤道上の表示画面Ｄｌ、Ｄｒと同じ縦横比の画面に変換してそれぞれのディスプレイに表示する。
　ゴーグル３の方向を基準方向Ｎから右回りに移動させると、撮影画面Ｂ１とＢ２から切り出す表示画面Ｄｌ、Ｄｒの中心もゴーグルの向く方向に従って右へと移動する。ゴーグルの方向が同一高さの横方向のみの変化であれば、切り出される表示画面の幅ｗは一定である。カメラが６個の場合は、ゴーグルの方向が基準方向から左右に３０度（±３０度）の方向である間は、左目用と右目用の表示画面Ｄｌ、Ｄｒは、それぞれ撮影画面Ｂ１、Ｂ２からゴーグルが向いている方向を幅中心にして切り出される。
　ゴーグル３の方向が基準方向Ｎから±３６０／２ｎ度（カメラＡｉの配置間隔の半分の角度、ｎ＝６では±３０度）を超えたとき、撮影画面の変換が行われる。すなわち、カメラが６個の場合、ゴーグルの移動方向が右方向に３０度を超えると、今まで右目用であった撮影画面Ｂ２が左目用の画面として選択され、右目用の画面としてカメラＡ２の１つ右側のカメラＡ３の撮影画面Ｂ３が選択される。更にゴーグルの向きが変わり、右回りに９０度を超えたとき、左目用として撮影画面Ｂ３が選択され、右目用として撮影画面Ｂ４が選択される。図７（ｂ）は、ゴーグルが基準方向Ｎから右回りにθ＝１２０度移動したときの、選択される撮影画面と切り出し画面とが図７（ａ）からどのように変化するかを示している。
　同様に、ゴーグルの方向が当初の方向から左方向に３０度を超えたときには、左目用として撮影画面Ｂ６が選択され、右目用として撮影画面Ｂ１が選択され、更に移動して左方向に９０度超えたときには左目用として撮影画面Ｂ５が選択され、右目用として撮影画面Ｂ６が選択されることになる。
　全ての撮影画面Ｂｉをカメラユニットの基準方向Ｎを幅中心にして作成すれば、どの撮影画面が選択されているかに関わらず、切り出す表示画面Ｄｌ、Ｄｒの幅中心は、ゴーグルが向いている方向である。
　図８は、カメラが６個の場合について、ゴーグルの方向と撮影画面Ｂｉ（ｉ＝１～６）の選択状態がどのようになるかを示した図である。図５に示すように、それぞれのカメラＡｉ（ｉ＝１～ｎ）は、ゴーグルの水平方向の視野角をαとして、（２×３６０／ｎ）＋α度の領域、ここではｎ＝６なので１２０＋α度の領域を受け持っている。
　すなわち、各カメラＡｉが向いている方向から右回りに６０度の範囲がその右隣のカメラと対となって左目用の画像を撮影する範囲Ｌ、右回りに６０度の範囲がその左隣のカメラと対となって右目用の画像を撮影する範囲Ｒであり、切り出す表示画面の幅ｗの視野角がαなので、これらの範囲の外にα／２広げた範囲（２×３６０／ｎ）＋αが各カメラＡｉが受け持つ撮影範囲となる。
　各カメラの上記の受け持ち領域は、赤道上での領域である。全天球双眼立体視用のゴーグルでは、ゴーグルを上方や下方に向けたときに表示画面として撮影画面から切り取られる角度幅αが広がるので受け持つ領域も広がることになる。隣のカメラやホルダは、この各カメラが受け持つ領域内に写り込まないように、ホルダの形状寸法及びカメラの個数を決めれば良い。
　ゴーグル３を真上及び真下に向けたときに切り出される画面にホルダ１１が写り込まないようにするためには、ゴーグル３の高さ方向の視野角をβとして、高さ方向に１８０度＋β度の領域にホルダ１１が入り込まない大きさ及び形状とする（図６参照）。これにより、ゴーグルを真上及び真下に向けたとき、撮影画面を変換しないでゴーグル３が備える高さ方向の視野角βの画像をディスプレイに表示することができる。ゴーグルが真上及び真下を超えて移動したときは、その時点で選択されている撮影画面が変更されることになる。
　上記の説明で理解されるように、各カメラの撮影した画面のなかにはゴーグルのディスプレイに表示されることのない範囲が存在する。従って、使用するカメラは、完全な全天球ないし全方位を撮影できるカメラに限らず、一部が欠けた全天球ないし全方位カメラであっても良い。例えば真下部分の頂角６０度の円錐部分が写らない全天球カメラであっても、直下の方向をホルダ中心の方向にして配置して配信サーバでその方向を変換するようにすれば、この発明の全天球双眼立体視画像を提供できる。
　ホルダ１１は、支柱１５やヘルメットに取り付けられるが、このときの支柱１５やヘルメットを装着している人の体などは、ゴーグルで観察する画像に写ることになる。この支柱やヘルメットは、人が現場で観察する場合も当然視野に入ることとなるので、これらが写り込んだ画像は、むしろ自然な画像であり、通常では、全天球画像や全方位画像を提供することの障害になることはない。
　また、飛翔体にホルダ１１を搭載して空中での全天球双眼立体視画像を提供することが可能である。この場合、小型の飛翔体であれば、ホルダ及び飛翔体を上述したカメラの横方向及び高さ方向の領域に入らない大きさ及び形状とし、撮影画面を無線で配信サーバーに送信すれば、空中からの双眼立体視画像を提供できる。
　このように、ゴーグルの向いている方向が６０度（カメラの配置個数が６個の場合）変化する毎に左目用と右目用の撮影画面を、ゴーグルが向く方向の左側と右側のカメラの撮影画面とし、これらの撮影画面からゴーグルが向いている方向を幅中心として、ゴーグルに備えられているディスプレイの視野角に相当する幅ｗ（横方向の角度α）、高さｈ（高さ方向の角度β）の表示画面を切り出して、左目用と右目用のディスプレイに表示することにより、全方位ないし全方位かつ全高さの双眼立体視が可能になるのである。
　なお、表示画面を切り取る元となる撮影画面の切り換えは、図８の例では基準方向Ｎから±３０度、±９０度、±１５０度の方向で行われるが、必ずしも常にこれらの角度で撮影画面の切り換えを行わねばならない訳ではない。各撮影画面Ｂｉは、全方位の画面なので、例えば撮影画面Ｂ１から基準方向Ｎから３５度右へ移動した表示画面を切り出すことも可能だからである。従って、ゴーグルの動きに対して少し時間遅れを与えて切り換えるようにすれば、ゴーグルが撮影画面を切り換える方向を向いているときのゴーグルの僅かな移動や振動によって、画像が頻繁に切り換えられるのを防止することができる。また、この切り換えの際に、短い時間でのフェードインとフェードアウトをしながら切り換えるようにして、画像が滑らかに切り換えられるようにすることもできる。
　複数のカメラＡの隣のカメラとのレンズ間距離は、人間の両眼の間隔を基準とするが、撮影対象物やゴーグルの仕様によっては、この距離を少し広げた方が自然な立体視に見える場合がある。このことを考慮すると、ホルダ１１として隣のカメラとのレンズ間間隔を調整できるような構造のホルダを用いることが考えられる。
　そのようなホルダの構造として、例えばそれぞれのカメラを放射方向に摺動自在に取り付けて、円錐形のコーンの進退動作によって、レンズ間距離を可変にする構造などが考えられる。例えば図９に示すように、ホルダベース１１ａに放射方向に摺動自在に取り付けた支持台１６に各カメラを搭載し、これらの支持台を縮退方向（放射方向内側へと移動する方向）に付勢するばね１７を設け、ホルダ中心に設けたねじ１８に螺合したコーン（円錐部材）１９に支持台１６の基端を当接させる構造である。
　コーン１９を回すと、ねじ作用によりコーンは上下する。コーン１９を左向きに回してコーン１９を上昇すれば、支持台１６及びこれに取り付けたカメラＡは、放射方向外側へと移動し、コーン１９を右向きに回して下降すれば、ばね１７の力によって支持台１６及びこれに取り付けたカメラＡは、放射方向内側へ移動するから、隣接するカメラ相互のレンズ間隔を調整することが可能である。
　なお、全天球画面の一部が全方位画面となることから理解されるように、この発明により、全方位画像の配信も行うことが可能で、カメラとして全方位カメラを用いて、全方位の双眼立体視画像を提供することもできる。
　１　カメラユニット
　２　サーバ
　３　観察装置
　４　インターネット
　１１　カメラホルダ
　３１ｌ、３１ｒ　ディスプレイ
　３２　受信手段
　３３　方向検出手段
　３４　画面選択手段
　３５　画面切り出し手段
　３６　表示手段
　Ａｉ（ｉ＝１～ｎ）　全天球カメラ
　Ｂｉ（ｉ＝１～ｎ）撮影画面
　Ｃ　一組の画像
　Ｄｌ、Ｄｒ　表示画面
　ｈ　表示画面の高さ
　ｗ　表示画面の幅
　α　横方向の視野角
　β　高さ方向の視野角

Claims (9)

  1. 　全方位ないし全方位かつ全高さにおける双眼立体視画像を提供する双眼立体視画像の提供方法であって、
    隣接するカメラ相互のレンズ間間隔を略両眼の間隔とした正多角形の頂点位置に全方位ないし全天球カメラを配置し、
    各カメラが撮影した同一タイミングの全方位ないし全天球画面を一組の画面として観察装置に提供し、
    観察装置は、観察する方向を検出したときに、
    提供された前記一組の画面から当該方向を挟む２個のカメラの撮影画面を左目用及び右目用の撮影画面として選択し、当該選択した撮影画面から前記方向を中心としかつ観察装置が備えるディスプレイの視野角に相当する幅及び高さを備えた表示画面を切り出して当該ディスプレイに表示する、双眼立体視画像の提供方法。
  2. 　前記一組の画面を複数の観察装置にインターネットを介して提供する、請求項１記載の双眼立体視画像の提供方法。
  3. 　双眼立体視画像が動画像である、請求項１又は２記載の双眼立体視画像の提供方法。
  4. 　左目用と右目用の画像を表示するための２個のディスプレイと、方向検出手段と、複数のカメラが撮影した全方位ないし全天球画面を一組として受信する受信手段と、方向検出手段が検出した方向に応じて前記一組の画面から左目用と右目用の画面を選択する画面選択手段と、選択した画面から前記方向を幅中心とする左目用と右目用の表示画面を切り出す画面切り出し手段と、切り出した画面をそれぞれのディスプレイに表示する表示手段とを備えている、双眼立体視画像の観察装置。
  5. 　前記受信手段がｎ個の全方位ないし全天球画面を一組として受信しているとき、前記画面選択手段は、前記方向検出手段の検出方向が現に選択している左目用と右目用の画面の中心の方向から３６０／２ｎ度を超えたときに、選択する左目用と右目用の画面を変更する、請求項４記載の双眼立体視画像の観察装置。
  6. 　前記画面選択手段は、前記方向検出手段の検出方向が現に選択している左目用と右目用の画面の中心の方向から右方向に３６０／２ｎ度を超えたときに、現に選択している右目用の画面を左目用の画面として選択し、左方向に３６０／２ｎ度を超えたときに、現に選択している左目用の画面を右目用の画面として選択する、請求項５記載の双眼立体視画像の観察装置。
  7. 　切り出し手段が、前記選択された撮影画面から方向検出手段が検出した高さ方向に応じた扇形の画面を切り出し、表示手段が、当該扇形の画面を高さ０における形状の画面に変換して表示する、請求項４、５又は６記載の双眼立体視画像の観察装置。
  8. 　観察者に対する横方向の視野角がα、高さ方向の視野角がβのディスプレイを備えた請求項４記載の観察装置に提供する画像を撮影するカメラユニットであって、角数がｎの正多角形の頂点位置に配置されたｎ個の全方位カメラを保持するホルダを備え、当該ホルダ及び各カメラは、前記正ｎ角形の中心から各カメラの撮影中心Ｐを通る放射方向を中心とする横方向に（２×３６０／ｎ）＋α度の領域外及び高さ方向にβ度の領域外に配置されている、全方位双眼立体視画像を提供するためのカメラユニット。
  9. 　観察者に対する横方向の視野角がα、高さ方向の視野角がβのディスプレイを備えた請求項４記載の観察装置に提供する画像を撮影するカメラユニットであって、角数がｎの正多角形の頂点位置に配置されたｎ個の全天球カメラを保持するホルダを備え、当該ホルダ及び各カメラは、前記正ｎ角形の中心から各カメラの撮影中心Ｐを通る放射方向を中心とする横方向に（２×３６０／ｎ）＋α度の領域外及び高さ方向に１８０＋β度の領域外に配置されている、全天球双眼立体視画像を提供するためのカメラユニット。
PCT/JP2016/068272 2015-06-22 2016-06-20 双眼立体視画像の提供方法、観察装置及びカメラユニット Ceased WO2016208539A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680033762.9A CN107646193B (zh) 2015-06-22 2016-06-20 双目立体视觉图像的提供方法、传送装置和照相机单元
US15/735,988 US20180184067A1 (en) 2015-06-22 2016-06-20 Providing method of binocular stereoscopic image, delivering device and camera unit
EP16814309.7A EP3313071A4 (en) 2015-06-22 2016-06-20 METHOD FOR PROVIDING A BINOCULAR STEREOSCOPIC IMAGE, OBSERVATION DEVICE AND CAMERA UNIT
JP2017524895A JP6845506B2 (ja) 2015-06-22 2016-06-20 双眼立体視画像の提供方法、配信装置及びカメラユニット

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015124978 2015-06-22
JP2015-124978 2015-06-22

Publications (1)

Publication Number Publication Date
WO2016208539A1 true WO2016208539A1 (ja) 2016-12-29

Family

ID=57585719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068272 Ceased WO2016208539A1 (ja) 2015-06-22 2016-06-20 双眼立体視画像の提供方法、観察装置及びカメラユニット

Country Status (5)

Country Link
US (1) US20180184067A1 (ja)
EP (1) EP3313071A4 (ja)
JP (1) JP6845506B2 (ja)
CN (1) CN107646193B (ja)
WO (1) WO2016208539A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155934A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2024546082A (ja) * 2021-12-03 2024-12-17 アップル インコーポレイテッド メディアをキャプチャ及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12394077B2 (en) 2018-09-28 2025-08-19 Apple Inc. Displaying and editing images with depth information
US12530116B2 (en) 2018-02-09 2026-01-20 Apple Inc. Media capture lock affordance for graphical user interface
US12602154B2 (en) 2024-01-18 2026-04-14 Apple Inc. User interfaces integrating hardware buttons

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020104989A1 (en) * 2018-11-22 2020-05-28 Slovenská Technická Univerzita V Bratislave Arrangement of multiple cameras in a multi-directional stereo camera system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JP2013033321A (ja) * 2011-08-01 2013-02-14 Dainippon Printing Co Ltd 動画提示装置
JP2014131154A (ja) * 2012-12-28 2014-07-10 Pioneer Electronic Corp 映像処理装置、映像受信装置、映像送信装置及び映像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP5020398B1 (ja) * 2011-06-29 2012-09-05 パナソニック株式会社 画像変換装置、カメラ、画像変換方法およびプログラム
JP6126820B2 (ja) * 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JP2013033321A (ja) * 2011-08-01 2013-02-14 Dainippon Printing Co Ltd 動画提示装置
JP2014131154A (ja) * 2012-12-28 2014-07-10 Pioneer Electronic Corp 映像処理装置、映像受信装置、映像送信装置及び映像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3313071A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155934A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2019155934A1 (ja) * 2018-02-09 2021-01-28 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US12530116B2 (en) 2018-02-09 2026-01-20 Apple Inc. Media capture lock affordance for graphical user interface
US12394077B2 (en) 2018-09-28 2025-08-19 Apple Inc. Displaying and editing images with depth information
JP2024546082A (ja) * 2021-12-03 2024-12-17 アップル インコーポレイテッド メディアをキャプチャ及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP7713597B2 (ja) 2021-12-03 2025-07-25 アップル インコーポレイテッド メディアをキャプチャ及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12506953B2 (en) 2021-12-03 2025-12-23 Apple Inc. Device, methods, and graphical user interfaces for capturing and displaying media
US12602154B2 (en) 2024-01-18 2026-04-14 Apple Inc. User interfaces integrating hardware buttons

Also Published As

Publication number Publication date
CN107646193A (zh) 2018-01-30
US20180184067A1 (en) 2018-06-28
EP3313071A1 (en) 2018-04-25
CN107646193B (zh) 2020-01-21
EP3313071A4 (en) 2019-01-23
JPWO2016208539A1 (ja) 2018-05-24
JP6845506B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
JP6845506B2 (ja) 双眼立体視画像の提供方法、配信装置及びカメラユニット
CN107111928B (zh) 远程控制作业机用显示系统
US20170269367A1 (en) Microlens array-based near-eye display (ned)
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
EP2569951B1 (en) System and method for multi-viewpoint video capture
CN108093244B (zh) 一种远程随动立体视觉系统
WO2002044808A3 (en) System and method for spherical stereoscopic photographing
ES2824049T3 (es) Sistema y método para la monitorización remota de al menos un área de observación
CN101285935A (zh) 用于图像显示器的防晕装置
JP2018110295A5 (ja)
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
US20130021448A1 (en) Stereoscopic three-dimensional camera rigs
CN107431799B (zh) 单眼立体相机
JP5223096B2 (ja) ３ｄ映像撮影制御システム、３ｄ映像撮影制御方法、およびプログラム
JP2021048459A (ja) 画像処理装置、画像処理方法、及びプログラム
CN103235478A (zh) 用于环幕立体摄像的系统、设备、图像处理方法及装置
JP4183466B2 (ja) 全方位双眼立体視画像の生成方法
CN202995248U (zh) 一种用于环幕立体摄像的设备及系统
JP2012199759A (ja) 情報処理装置、そのプログラム、および情報処理方法
JP2013105000A (ja) 映像表示装置及び映像表示方法
JP2011182003A (ja) パノラマカメラ及び３６０度パノラマ立体映像システム
KR20170059879A (ko) 입체 영상 촬영 장치
JPH0980353A (ja) 立体映像観察装置
JPH03119890A (ja) 立体視視覚装置
KR101549874B1 (ko) 입체 동영상 촬영용 카메라 및 이의 사용방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814309

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 15735988

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017524895

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016814309

Country of ref document: EP