WO2016048020A1 - 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 - Google Patents

3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 Download PDF

Info

Publication number
WO2016048020A1
WO2016048020A1 PCT/KR2015/009981 KR2015009981W WO2016048020A1 WO 2016048020 A1 WO2016048020 A1 WO 2016048020A1 KR 2015009981 W KR2015009981 W KR 2015009981W WO 2016048020 A1 WO2016048020 A1 WO 2016048020A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
area
right eye
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/009981
Other languages
English (en)
French (fr)
Inventor
김도완
마갱우
김성진
정재윤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP15844049.5A priority Critical patent/EP3200452A4/en
Priority to JP2017514797A priority patent/JP6679577B2/ja
Priority to US15/514,153 priority patent/US10559063B2/en
Publication of WO2016048020A1 publication Critical patent/WO2016048020A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image generating apparatus and method for generating a 3D panoramic image, and more particularly, to generate an image for generating a 3D panoramic image based on a plurality of 2D images and a depth map corresponding to each of the plurality of 2D images.
  • An apparatus and method are provided.
  • recently developed electronic devices such as smart phones and tablet PCs may generate 2D panoramic images using 2D images continuously photographed through an embedded camera.
  • recently developed electronic devices may generate 3D panoramic images using a plurality of consecutively photographed 2D images.
  • the following method is applied as a method for generating a 3D panoramic image based on a plurality of 2D images.
  • a 3D panoramic image is generated using a 2D panoramic image and a depth panoramic image (hereinafter, referred to as a first conventional technology).
  • the first conventional technology generates a 2D panoramic image using a plurality of consecutively photographed 2D images, and generates a depth panoramic image based on a plurality of depth maps corresponding to each of the plurality of 2D images.
  • the first conventional technique is to generate a 2D panoramic image as a 3D panoramic image based on the depth panoramic image generated from the plurality of depth maps.
  • two sets of strips are generated by extracting the strip of the camera from the 2D image, and the series of stitches are mosaicing or stitched to generate a 3D panoramic image. (Hereinafter referred to as a second prior art).
  • the present invention has been made in accordance with the above-described needs, and an object of the present invention is to generate a 3D panoramic image without distortion from a plurality of 2D images.
  • an object of the present invention is to generate a 3D panoramic image without distortion by using a hand-held camera without a separate auxiliary device.
  • Method for generating a 3D panoramic image in the image generating apparatus for achieving the above object comprises the steps of receiving a plurality of 2D image and a plurality of depth map corresponding to the plurality of 2D image, Setting a left eye image area and a right eye image area for each of the plurality of 2D images based on the plurality of depth maps, and synthesizing the image image of each of the left eye image areas set in the plurality of 2D images to produce a left eye panoramic image Generating a right eye panorama image by synthesizing a video image of each right eye image region set in the plurality of 2D images.
  • At least one 2D image of the plurality of 2D images may overlap with a part of the front and rear 2D image.
  • the setting may include analyzing a depth value of each region of each of the plurality of depth maps, and left an image region belonging to a first region of a preset first region among the image regions of each 2D image corresponding to the region having a similar depth value.
  • the image area may be set, and the image area belonging to the second preset area may be set as the right eye image area.
  • the setting may include setting an image area for each of the plurality of 2D images by using a color segmentation algorithm, and setting an image area belonging to a first predetermined area among the set image areas as a left eye image area.
  • An image area belonging to the second area may be set as a right eye image area.
  • the method may further include extracting feature points from the plurality of 2D images, and the generating may include extracting left eye panorama images of the plurality of left eye image areas based on feature points of respective image images of the plurality of left eye image areas.
  • the right eye panorama image of the plurality of right eye image areas may be generated based on feature points of respective image images of the plurality of right eye image areas.
  • the photographing apparatus uses the reference direction and the reference to the plurality of 2D images and the plurality of depth maps. And correcting the reference image and the reference depth map obtainable when the image is captured at the position, wherein the setting comprises: left and right eyes for each of the plurality of corrected 2D images based on the corrected reference depth map. You can set the image area.
  • the estimating may include estimating a photographing direction and a location of the photographing apparatus based on at least one of change information of feature points extracted from the plurality of 2D images and a result measured by a sensor, and the sensor may be an inertial measurement sensor.
  • IMU Inertial Measurement Unit
  • the method may further include generating depth maps corresponding to the plurality of 2D images.
  • the generating may include synthesizing the video images of the plurality of left eye image areas by using an image mosaicing algorithm and synthesizing the video images of the video images of the plurality of right eye image areas.
  • the image generating apparatus is an image input unit for receiving a plurality of 2D image and a plurality of depth map corresponding to the plurality of 2D image, based on the plurality of depth map, A region setting unit for setting a left eye image area and a right eye image area for each of the 2D images of the camera; and a left eye panorama image by synthesizing the image images of each of the left eye image areas set in the plurality of 2D images; And a controller configured to generate a right eye panoramic image by synthesizing a video image of each right eye image region set therein.
  • At least one 2D image of the plurality of 2D images may overlap with a part of the front and rear 2D image.
  • the area setting unit may analyze a depth value of each area of each of the plurality of depth maps to determine an image area belonging to a predetermined first area among the image areas of each 2D image corresponding to an area having a similar depth value.
  • the region may be set as an area, and the image region belonging to the second predetermined region may be set as the right eye image region.
  • the area setting unit sets a plurality of image areas for each of the plurality of 2D images by using a color segmentation algorithm, sets an image area belonging to a first predetermined area among the set image areas as a left eye image area, and sets a predetermined first image area.
  • An image area belonging to two areas may be set as a right eye image area.
  • the controller may be further configured to extract feature points from the plurality of 2D images, and generate a left eye panoramic image of the plurality of left eye image areas based on feature points of respective image images of the plurality of left eye image areas among the extracted feature points.
  • the right eye panorama image of the plurality of right eye image regions may be generated based on feature points of each of the image images of the plurality of right eye image regions.
  • the plurality of 2D images and the plurality of depth maps may be determined by considering a position estimator for estimating a photographing direction and a position of the photographing apparatus for photographing the plurality of 2D images and an estimation result estimated by the position estimator.
  • the apparatus may further include an image converter configured to correct a reference image and a reference depth map obtainable when the photographing apparatus is photographed from the reference direction and the reference position, wherein the region setting unit is configured to correct the plurality of 2D based on the corrected reference depth map.
  • a left eye and right eye image area may be set for each image.
  • the position estimating unit estimates a photographing direction and a position of the photographing apparatus based on at least one of change information of feature points extracted from the plurality of 2D images and a result measured by a sensor, and the sensor may include an inertial measurement sensor ( Inertial Measurement Unit (IMU).
  • IMU Inertial Measurement Unit
  • the controller may match an image between 2D images corresponding to the direction and position of the photographing apparatus estimated based on a result measured by the position estimator ( Stereo Matching) may generate a depth map corresponding to the plurality of 2D images.
  • the controller may synthesize the image images of the plurality of left eye image regions by using an image mosaicing algorithm, and synthesize the image images of the image images of the plurality of right eye image regions.
  • the image generating apparatus may generate a 3D panoramic image without distortion based on the plurality of 2D images.
  • FIG. 1 is a block diagram of an image generating apparatus for generating a plurality of 2D images as a 3D panoramic image according to an embodiment of the present invention
  • FIG. 2 is a detailed block diagram of an image generating apparatus according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram of generating depth maps corresponding to a plurality of 2D images based on a plurality of 2D images in the image generating apparatus according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram for setting a left eye image area based on a depth map of a 2D image in an image generating apparatus according to an embodiment of the present invention
  • FIG. 5 is an exemplary diagram for setting a right eye image region based on a depth map of a 2D image in an image generating apparatus according to an embodiment of the present invention
  • FIG. 6 is a block diagram of a photographing apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of generating a 3D panoramic image in an image generating apparatus according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an image generating apparatus for generating a plurality of 2D images as a 3D panoramic image according to an embodiment of the present invention.
  • the image generating apparatus 100 may be a camera capable of capturing a panoramic image in a 2D form.
  • the image generating apparatus 100 includes an image input unit 110, an area setting unit 120, and a controller 130.
  • the image input unit 110 receives a plurality of depth maps corresponding to each of the plurality of 2D images and the plurality of 2D images.
  • each of the plurality of 2D images is preferably overlapped with a part of the front and rear 2D image.
  • the plurality of 2D images are images captured by the photographing apparatus 10 to be described later, and the plurality of depth maps corresponding to each of the plurality of 2D images are generated in the image generating apparatus 100 or from an external device (not shown). Can be received.
  • the present invention is not limited thereto, and a plurality of 2D images and a depth map corresponding to each of the plurality of 2D images may be received from an external device (not shown).
  • an external device that generates a depth map corresponding to each of the plurality of 2D images may be a depth image photographing device.
  • the depth image capturing apparatus may generate a depth map corresponding to each of the plurality of 2D images through at least one of a pattern projection method, a stereo camera method, and a time of flight method.
  • the area setting unit 120 sets a left eye image area and a right eye image area for each of the plurality of 2D images corresponding to each of the plurality of depth maps based on the plurality of depth maps.
  • the area setting unit 120 analyzes depth values of respective areas of the plurality of depth maps, and belongs to a first area of a preset first area of each 2D projection image area corresponding to an area having a similar depth value.
  • the image area may be set as the left eye image area, and the image area belonging to the second predetermined area may be set as the right eye image area.
  • the area setting unit 120 sets a plurality of image areas for a plurality of 2D images by using a color segmentation algorithm, and sets an image area belonging to a first predetermined area among the set image areas as a left eye image area.
  • the image area belonging to the second predetermined area may be set as the right eye image area.
  • the controller 130 generally controls the operations of each component of the image generating apparatus 100.
  • the controller 130 generates a left eye panoramic image by synthesizing the video image of each of the left eye image areas set in the plurality of 2D images.
  • the controller 130 generates a right eye panorama image by synthesizing the video image of each right eye image region set in the plurality of 2D images.
  • the controller 130 extracts a feature point from each of the plurality of 2D images.
  • the technique of extracting the feature points from the 2D image is a known technique, detailed description thereof will be omitted.
  • the controller 130 may include a left eye panorama of the plurality of left eye image areas based on feature points of each of the image images of the plurality of left eye image areas among the feature points extracted from each of the plurality of 2D images. Create an image.
  • the controller 130 generates a right eye panorama image of the plurality of right eye image regions based on feature points of respective image images of the plurality of right eye image regions.
  • control unit 130 generates a left eye panorama image by synthesizing the video images of the plurality of left eye image regions by using an image capturing algorithm, and synthesizing the image images of the plurality of right eye image regions to obtain a right eye panorama image. Can be generated. Since a technique of synthesizing an image image by synthesizing such an image image is a known technique, detailed description thereof will be omitted.
  • FIG. 2 is a detailed block diagram of an image generating apparatus according to an embodiment of the present invention.
  • the image generating apparatus 100 may further include a position estimator 140 and an image converter in addition to the above-described configuration of the image input unit 110, the region setting unit 120, and the controller 130. 150) may be further included.
  • the position estimator 140 estimates the photographing direction and the position of the photographing apparatus 10 capturing a plurality of 2D images, and the image converter 150 considers the plurality of images in consideration of the estimation result estimated by the position estimator 140.
  • the 2D image and the plurality of depth maps are corrected by the reference image and the reference depth map obtainable when the photographing apparatus 10 captures the images in the reference direction and the reference position. Therefore, the area setting unit 120 may set left and right eye regions for each of the plurality of corrected 2D images based on the reference depth map corrected by the image converter 150.
  • the position estimator 140 estimating the photographing direction and the position of the photographing apparatus 10 is based on at least one of the change information of the feature points extracted from the plurality of 2D images and the result measured by the sensor. It is possible to estimate the shooting direction and position of the.
  • the sensor is an inertial measurement unit (IMU) that detects an inertial force of a motion and provides various navigation related information such as acceleration, speed, direction, and distance of the photographing apparatus 10 as an inertial measurement target, and includes an acceleration sensor and a gyro. At least one of the sensor and the geomagnetic sensor.
  • IMU inertial measurement unit
  • the controller 130 corresponds to the direction and the position of the photographing apparatus 10 estimated based on the result measured by the position estimator 140.
  • Depth maps corresponding to the plurality of 2D images may be generated by stereo matching between the images.
  • FIG 3 is an exemplary diagram of generating a depth map corresponding to a plurality of 2D images based on the plurality of 2D images in the image generating apparatus according to an embodiment of the present invention.
  • the photographing apparatus 10 may photograph the subject while moving from the left to the right and photograph the subject in the left direction.
  • a first 2D image 310 of the subject photographed on the left side may be generated.
  • a second 2D image 320 of the subject photographed on the right side may be generated.
  • the controller 130 may include the feature points and the second and second feature points of the 1-1 and 1-2 objects 311 and 313 included in the first 2D image 310.
  • the feature points of the 2-1 and 2-2 objects 321 and 323 included in the 2D image 320 are compared. That is, the controller 130 may include pixel values corresponding to the feature points of the first-first object 311 included in the first 2D image 310 and the second-first object 321 included in the second 2D image 320.
  • the controller 130 may include a pixel value corresponding to a feature point of the first-second object 313 included in the first 2D image 310 and the second-second object 323 included in the second 2D image 320. Compare pixel values corresponding to the feature points of
  • the difference between pixel values between the 1-2 object 313 and the second-2 object 323 is equal to or greater than a preset threshold value, and the first-first object 311 and the second-first object 321. If the difference between the pixel values is less than the predetermined threshold value, the controller 130 determines that the 1-2 object 313 and the 2-2 object 323 are located near the photographing apparatus 10. That is, the position of the object located in the near distance with the photographing apparatus 10 may be changed to be larger than the position of the object located in the far distance with the photographing apparatus 10.
  • the controller 130 may determine a depth value of the first-second object 313 included in the first 2D image 310 and the second-second object 323 included in the second 2D image 320.
  • the first and second 2D images may be set higher than a depth value of the 1-1 object 311 included in the 2D image 310 and the 2-1 object 321 included in the second 2D image 320.
  • a depth map may be generated for each of 310 and 320.
  • the controller 130 may include the feature points of the first-first and first-second objects 311 and 313 included in the first 2D image 310 captured by the photographing apparatus 10 and the second 2D image 320.
  • the photographing direction and the location of the photographing apparatus 10 may be estimated based on the feature points of the 2-1 and 2-2 objects 321 and 323 included in the.
  • the image generating apparatus 100 may perform the reverse direction among the plurality of 2D images photographed from the photographing apparatus 10 through the photographing direction and the position of the photographing apparatus 10 at the time when the plurality of 2D images are captured.
  • the remaining 2D images other than the 2D images photographed at may be determined as an image for generating a 3D panoramic image.
  • the image converter 150 may then It is possible to estimate the photographing direction and position of the photographing apparatus 10 at the time when the 2D image is captured, and thus the movement trajectory of the photographing apparatus 10 can be determined based on the photographing direction and the position of the photographing apparatus 10. . That is, the image converting unit 150 may determine a coordinate value according to the movement trajectory of the imaging apparatus 10 in 3D, and the conventional movement is performed by the movement trajectory in which the error rate may be minimized based on the determined coordinate value. The trajectory can be modified.
  • the modified movement trajectory may be a point at which the photographing apparatus 10 may capture 2D images in the reference direction and the reference position. Therefore, when the existing movement trajectory is deformed, the image converter 150 corrects and corrects the 2D image as a reference 2D image according to the degree of change of the coordinate value on the existing movement trajectory and the coordinate value on the modified movement trajectory. Based on the reference 2D image, the depth map corresponding to each of the pre-correction 2D images may be corrected to the depth map corresponding to each of the reference 2D images.
  • the area setting unit 120 sets left and right eye regions for each of the corrected 2D images based on the corrected depth map. Can be.
  • FIG. 4 is an exemplary diagram for setting a right eye image region based on a depth map of a 2D image in the image generating apparatus according to an embodiment of the present invention
  • FIG. 5 is a 2D image in the image generating apparatus according to an embodiment of the present invention. It is an exemplary figure which sets to a left eye video area
  • the region setting unit 120 analyzes depth values belonging to the first regions 411 and 421 among regions of the input first and second depth maps 410 and 420, respectively, and have a similar depth value.
  • the area setting unit 120 may have a similar depth between the a region 411-1, the b region 411-2, and the c region 411-3 on the first region 411 of the first depth map 410. It can be divided into regions with values. Accordingly, the area setting unit 120 replaces the a region 411-1, the b region 411-2, and the c region 411-3 with similar depth values as the right eye image region of the first depth map 410. Can be set.
  • the area setting unit 120 may have a similar depth between the d area 421-1, the e area 421-2, and the f area 421-3 on the first area 421 of the second depth map 420. It can be divided into regions with values. Therefore, the area setting unit 120 changes the d area 421-1, the e area 421-2, and the f area 421-3 having similar depth values to the right eye image area of the second depth map 410. Can be set. As such, when the right eye image area is set on the first areas 411 and 421 of each of the first and second depth maps 410 and 420, the controller 130 may include a first corresponding to each of the first and second depth maps 410 and 420.
  • the controller 130 may determine the first and second depth images 430 and 420 based on the feature points of the first and second image images 430 and 440 obtained from the first and second 2D images respectively corresponding to the first and second depth maps 410 and 420.
  • the right eye panoramic image 450 may be generated by synthesizing the second image images 430 and 440.
  • the region setting unit 120 analyzes depth values belonging to the second regions 413 and 423 among the regions of the input first and second depth maps 410 and 420, respectively. Separate regions with values. That is, the area setting unit 120 may include a 'region 413-1, b' region 413-2, and c 'region 413-3 on the second region 413 of the first depth map 410. Can be separated into regions having similar depth values. Accordingly, the area setting unit 120 may include the a 'area 411-4, the b' area 411-5, and the c 'area 411-6 having similar depth values in the left eye of the first depth map 410. Can be set to the image area.
  • the area setting unit 120 may include the d 'region 421-4, the e' region 421-5, and the f 'region 421-6 on the second region 423 of the second depth map 420. Can be separated into regions having similar depth values. Accordingly, the area setting unit 120 may include the d 'area 421-4, the e' area 421-5, and the f 'area 421-6 having similar depth values in the left eye of the second depth map 410. Can be set to the image area.
  • the controller 130 may include a first corresponding to each of the first and second depth maps 410 and 420. And a first image image 460 and a second image image 470 corresponding to the left eye image area of the second 2D image. Subsequently, the controller 130 may determine the first and second depth images 460 and 470 based on the feature points of the first and second image images 460 and 470 obtained from the first and second 2D images corresponding to the first and second depth maps 410 and 420, respectively.
  • the left eye panoramic image 480 may be generated by synthesizing the second video images 460 and 470.
  • FIG. 6 is a block diagram of a photographing apparatus according to an exemplary embodiment.
  • the photographing apparatus 10 includes a communication unit 610, an input unit 620, a photographing unit 630, an image processing unit 640, a panoramic image generating unit 650, a display unit 660, a storage unit 670, and a control unit ( 670).
  • the communication unit 610 may receive a depth map of each of the plurality of 2D images generated from the external device (not shown) by performing data communication with the external device (not shown). In addition, the communication unit 610 may transmit a 3D panoramic image generated based on a plurality of 2D images by performing wired or wireless communication with an electronic device such as a smart TV or a tablet.
  • the communication unit 610 may include a wireless communication module and a wired communication module.
  • the wired communication module may be a USB communication module that provides an interface with an external device (not shown)
  • the wireless communication module may include at least one of a short range communication module and a telecommunication module.
  • the short range communication module may include at least one of a WIFI DIRECT communication module, a Bluetooth module, an infrared data association (IrDA) module, a near field communication (NFC) module, and a Zigbee module.
  • the telecommunication module may include any one of a cellular communication module, a 3G (3rd generation) mobile communication module, a 4G (4th generation) mobile communication module, and a 4th generation Long Term Evolution (LTE) communication module.
  • the input unit 620 may be configured to receive a user command and include at least one key button.
  • the input unit 620 may be implemented as a touch screen on the display unit 650 to receive a user's touch command.
  • the input unit 620 may receive a single photographing command, a panoramic photographing command, or the like through a key button or a touch screen, or a 3D panoramic image generation command for a plurality of 2D images continuously photographed according to the panoramic photographing command. Can be.
  • the photographing unit 630 may perform single photographing or panoramic photographing according to a photographing command input through the input unit 620.
  • the photographing unit 630 may include a lens, a shutter, an aperture, a solid-state imaging device, an analog front end (AFE), a timing generator (TG), and an image sensor.
  • AFE analog front end
  • TG timing generator
  • the shutter adjusts the time when the light reflected on the subject enters the image sensor
  • the aperture adjusts the amount of light incident on the lens by mechanically increasing or decreasing the size of the opening through which the light enters.
  • the solid-state imaging device outputs an image by the photocharges as an electric signal.
  • the TG outputs a timing signal for reading out pixel data of the solid-state imaging device, and the AFE samples and digitizes an electrical signal output from the solid-state imaging device.
  • the photographing unit 630 may perform continuous photographing of a subject located in the photographing direction of the user. Since the configuration of the photographing unit 630 for capturing the image is a known technique, detailed description thereof will be omitted in the present invention.
  • the image processor 640 makes the raw image data for each of the 2D images continuously photographed by the photographing unit 630 as YCbCr data, determines the image black level, and adjusts the sensitivity ratio for each color.
  • the image processor 630 may perform white balance, gamma correction, color interpolation, color correction, resolution conversion, etc. on a plurality of consecutively photographed 2D images.
  • the panoramic image generating unit 650 is the image generating apparatus 100 described above, and generates a 3D panoramic image based on a plurality of 2D images processed through the image processing unit 640 and depth maps corresponding to each of the plurality of 2D images. Create As described above, when the depth map corresponding to each of the plurality of 2D images and the plurality of 2D images is input, the panorama image generator 650 may include a left eye image area for each of the plurality of 2D images based on the plurality of depth maps; Sets the right eye image area.
  • the panorama image generator 650 analyzes depth values of respective regions of the plurality of depth maps, and thus belongs to the first region of the image region of each of the 2D images corresponding to the region having similar depth values.
  • the area may be set as the left eye image area, and the image area belonging to the second predetermined area may be set as the right eye image area.
  • the panorama image generator 650 sets a plurality of image areas for each of the 2D images by using a color segmentation algorithm, and sets an image area belonging to the first area among the set image areas as the left eye image area.
  • the image area belonging to the second preset area may be set as the right eye image area.
  • the panorama image generator 650 synthesizes the image images of the left eye image areas set in the plurality of 2D images to generate a left eye panorama image.
  • the panorama image generator 650 generates a right eye panorama image by synthesizing a video image of each right eye image region set in the plurality of 2D images.
  • the panoramic image generator 650 extracts feature points from the plurality of 2D images, and synthesizes the image images of the plurality of left eye image regions based on the feature points of the image images of the plurality of left eye image regions among the extracted feature points.
  • a left eye panoramic image can be generated.
  • the panoramic image generator 650 may generate a right eye panoramic image by synthesizing the video images of the plurality of right eye image regions based on the feature points of the plurality of right eye image regions among the feature points extracted from the plurality of 2D images. Can be.
  • the display unit 660 displays a 3D panoramic image generated from the captured 2D image or the plurality of 2D images.
  • the display unit 120 may be implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), a plasma display panel (PDP), or the like.
  • the storage unit 670 stores a 3D panoramic image generated from the captured 2D image or the plurality of 2D images.
  • the storage unit 670 may be implemented as a storage medium such as a nonvolatile memory (eg, a flash memory, an electrically erasable ROM (EEROM)), a hard disk, or the like.
  • a nonvolatile memory eg, a flash memory, an electrically erasable ROM (EEROM)
  • EEROM electrically erasable ROM
  • the controller 680 controls overall operations of the components of the photographing apparatus 10. In detail, when a panorama photographing command for the live view image displayed through the display unit 670 is input, the controller 680 controls to perform continuous photographing through the photographing unit 630 and controls the photographing unit 630.
  • the image processor 640 may be controlled to perform image processing on the 2D image photographed continuously.
  • the controller 680 transmits a depth map corresponding to each of the plurality of 2D images processed through the image processor 640 and the plurality of 2D images received through the communication unit 610, to the panorama image generator 650.
  • the control unit 650 may control the panorama image generator 650 to generate 3D panorama images of the plurality of 2D images.
  • FIG. 7 is a flowchart illustrating a method of generating a 3D panoramic image in an image generating apparatus according to an embodiment of the present invention.
  • the image generating apparatus 100 receives a plurality of depth maps corresponding to a plurality of 2D images and a plurality of 2D images, respectively (S710).
  • each of the plurality of 2D images is preferably overlapped with a part of the front and rear 2D image.
  • the plurality of 2D images are images captured by the photographing apparatus 10, and the plurality of depth maps corresponding to each of the plurality of 2D images are generated in the image generating apparatus 100 or received from an external device (not shown).
  • an external device (not shown) that generates a depth map corresponding to each of the plurality of 2D images may be a depth image photographing device.
  • the depth image capturing apparatus may generate a depth map corresponding to each of the plurality of 2D images through at least one of a pattern projection method, a stereo camera method, and a time of flight method.
  • the image generating apparatus 100 may acquire an image between 2D images corresponding to the photographing direction and the position of the photographing apparatus 10 estimated through the steps to be described later. Through matching, depth maps corresponding to the plurality of 2D images may be generated.
  • the image generating apparatus 100 extracts a feature point from each of the plurality of 2D images (S720). Thereafter, the image generating apparatus 100 estimates the photographing direction and the position of the photographing apparatus 10 which photographed the plurality of 2D images (S730). According to an embodiment, the image generating apparatus 100 may estimate the photographing direction and the position of the photographing apparatus 10 based on at least one of the change information of the feature points extracted from the plurality of 2D images and the result measured by the sensor. .
  • the senor is an inertial measurement unit (IMU) that detects an inertial force of a motion and provides various navigation related information such as acceleration, speed, direction, and distance of the photographing apparatus 10 as an inertial measurement target, and includes an acceleration sensor and a gyro. At least one of the sensor and the geomagnetic sensor.
  • IMU inertial measurement unit
  • the image generating apparatus 100 may determine the plurality of 2D images and the plurality of depth maps in consideration of the estimated estimation result.
  • the reference image and the reference depth map which are acquired when the image is captured at the reference direction and the reference position are corrected (S740).
  • the image generating apparatus 100 sets a left eye image area and a right eye image area for each of the plurality of 2D images based on the plurality of depth maps (S750).
  • the image generating apparatus 100 may analyze depth values of regions of each of the plurality of depth maps, and may belong to a preset first region among image regions of 2D projections corresponding to regions having similar depth values.
  • the image area may be set as the left eye image area, and the image area belonging to the second predetermined area may be set as the right eye image area.
  • the image generating apparatus 100 sets a plurality of 2D image-specific image regions by using a color segmentation algorithm, and sets an image region belonging to a first predetermined region among the set image regions as a left eye image region.
  • the image area belonging to the second predetermined area may be set as the right eye image area.
  • the image generating apparatus 100 synthesizes a video image of each left eye image area set in the plurality of 2D images to produce a left eye panorama.
  • An image is generated and a right eye panorama image is generated by synthesizing the video image of each of the right eye image regions set in the plurality of 2D images (S760).
  • the image generating apparatus 100 generates a left eye panoramic image of the plurality of left eye image regions based on the feature points of the plurality of left eye image regions among the feature points extracted from each of the plurality of 2D images, and the plurality of right eyes.
  • a right eye panoramic image for a plurality of right eye image regions may be generated based on feature points of respective image images of the image region.
  • the image generating apparatus 100 generates a left eye panorama image by synthesizing the image images of the plurality of left eye image regions by using an image mosaicing algorithm, and synthesizing the image images of the plurality of right eye image regions, the right eye panorama You can create an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법이 개시된다. 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법은 복수의 2D 영상 및 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계, 복수의 뎁스 맵에 기초하여, 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계, 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계를 포함한다. 이에 따라, 영상 생성 장치는 복수의 2D 영상에 기초하여 왜곡 없이 3D 파노라마 이미지를 생성할 수 있다.

Description

3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
본 발명은 3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법에 관한 것으로써, 보다 상세하게는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵에 기초하여 3D 파노라마 이미지를 생성하기 위한 영상 생성 장치 및 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 촬영 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
촬영 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
특히, 근래에 개발되는 스마트 폰이나 테블릿 PC과 같은 전자 장치는 내장된 카메라를 통해 연속 촬영된 2D 영상을 이용하여 2D 파노라마 이미지를 생성할 수 있다. 나아가, 최근 개발되는 전자 장치는 연속 촬영된 복수의 2D 영상을 이용하여 3D 파노라마 이미지를 생성할 수 있다. 이 같이, 복수의 2D 영상에 기초하여 3D 파노라마 이미지를 생성하기 위한 방식으로써, 다음과 같은 방식이 적용되고 있다.
첫째로, 2D 파노라마 이미지와 뎁스 파노라마 이미지를 이용하여 3D 파노라마 이미지를 생성하는 방식(이하 제1 종래 기술이라 함)이다. 구체적으로, 제1 종래 기술은 연속 촬영된 복수의 2D 영상을 이용하여 2D 파노라마 이미지를 생성하고, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵에 기초하여 뎁스 파노라마 이미지를 생성한다. 이후, 제1 종래 기술은 복수의 뎁스 맵으로부터 생성된 뎁스 파노라마 이미지에 기초하여 2D 파노라마 이미지를 3D 파노라마 이미지로 생성하는 것이다.
그러나, 이 같은 제1 종래 기술을 통해 3D 파노라마 이미지를 생성할 경우, 배경 영역에 숨겨진 영역이 발생하는 문제가 있으며, 숨겨진 영역에 대한 홀 채움을 수행할 경우, 그에 따른 3D 파노라마 이미지상에서 영상 결함이 발생하는 문제가 있다.
두 번째로, 2D 영상에서 카메라의 스트립(Strip)을 추출하여 2개의 일련의 띠(Strip)를 생성하고, 그 일련의 띠들을 모자이킹(Mosaicing) 또는 스티칭(Stitching) 처리하여 3D 파노라마 이미지를 생성하는 방식(이하 제2 종래 기술이라 함)이다.
그러나, 이 같은 제2 종래 기술을 통해 2D 영상으로부터 안정적인 띠를 생성하기 위해서는 별도의 회전형 기계 장치를 이용해야하는 문제가 있다. 즉, 2D 영상으로부터 안정적인 띠를 생성하기 위해서는 2D 영상을 촬영하는 촬영 방향 혹은 촬영 장치의 이동 방향이 수직 방향으로 이동되어야 한다. 그러나, 사용자에 의해 촬영되는 촬영 장치의 촬영 방향 및 이동 방향은 규칙적이지 못하기 때문에 연속 촬영된 2D 영상에 결함이나 왜곡이 발생한다. 따라서, 이 같은 왜곡이 발생한 2D 영상을 이용하여 3D 파노라마 이미지를 생성할 경우, 생성된 3D 파노라마 이미지 상에 계단형 영상 결함, 구조적 왜곡 및 파노라마 이미지 생성 영역이 줄어드는 드리프트(Drift) 현상이 발생하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 복수의 2D 영상으로부터 왜곡 없는 3D 파노라마 이미지를 생성하기 위함을 목적으로 한다.
나아가, 본 발명은 별도의 보조 장비 없이 핸드 헬드(Hand-Held) 카메라를 이용하여 왜곡 없는 3D 파노라마 이미지를 생성하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법은 복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계, 상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계, 상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계를 포함한다.
그리고, 상기 복수의 2D 영상 중 적어도 하나의 2D 영상은, 전후 2D 영상의 일부와 중첩될 수 있다.
또한, 상기 설정하는 단계는, 상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
그리고, 상기 설정하는 단계는, 컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또한, 상기 복수의 2D 영상으로부터 특징점을 추출하는 단계를 더 포함하며, 상기 생성하는 단계는, 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다.
그리고, 상기 복수의 2D 영상을 촬영한 상기 촬영 장치의 촬영 방향 및 위치를 추정하는 단계 및 상기 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 단계를 더 포함하며, 상기 설정하는 단계는, 상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정할 수 있다.
또한, 상기 추정하는 단계는, 상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며, 상기 센서는 관성 측정 센서(Inertial Measurement Unit : IMU)일 수 있다.
그리고, 상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 센서를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 생성하는 단계는, 영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 영상 생성 장치는 복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 영상 입력부, 상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 영역 설정부 및 상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 제어부를 포함한다.
그리고, 상기 복수의 2D 영상 중 적어도 하나의 2D 영상은, 전후 2D 영상의 일부와 중첩될 수 있다.
또한, 상기 영역 설정부는, 상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
그리고, 상기 영역 설정부는, 컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또한, 상기 제어부는, 상기 복수의 2D 영상으로부터 특징점을 추출하며, 상기 추출된 특징점 중 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다.
그리고, 상기 복수의 2D 영상을 촬영한 촬영 장치의 촬영 방향 및 위치를 추정하는 위치 추정부 및 상기 위치 추정부로부터 추정된 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 영상 변환부를 더 포함하며, 상기 영역 설정부는, 상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정할 수 있다.
또한, 상기 위치 추정부는, 상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며, 상기 센서는 관성 측정 센서(Inertial Measurement Unit : IMU)일 수 있다.
그리고, 상기 제어부는, 상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 위치 추정부를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
또한, 상기 제어부는, 영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 영상 생성 장치는 복수의 2D 영상에 기초하여 왜곡 없이 3D 파노라마 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 2D 영상을 3D 파노라마 영상으로 생성하는 영상 생성 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 생성 장치의 세부 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 생성 장치에서 복수의 2D 영상에 기초하여 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 예시도,
도 4는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 좌안 영상 영역으로 설정하는 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 우안 영상 영역으로 설정하는 예시도,
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 블록도,
도 7은 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법의 흐름도이다.
-
도 1은 본 발명의 일 실시예에 따른 복수의 2D 영상을 3D 파노라마 영상으로 생성하는 영상 생성 장치의 블록도이다.
도 1에 도시된 바와 같이, 영상 생성 장치(100)는 2D 형태의 파노라마 이미지 촬영이 가능한 카메라가 될 수 있다. 이 같은 영상 생성 장치(100)는 영상 입력부(110), 영역 설정부(120) 및 제어부(130)를 포함한다.
영상 입력부(110)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵을 입력받는다. 여기서, 복수의 2D 영상 각각은 전후 2D 영상의 일부와 중첩되는 것이 바람직하다. 이 같은 복수의 2D 영상은 후술할 촬영 장치(10)에서 촬영된 영상이며, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵은 영상 생성 장치(100) 내에서 생성되거나 외부 장치(미도시)로부터 수신될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵은 외부 장치(미도시)로부터 수신될 수 있다. 여기서, 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성하는 외부 장치(미도시)는 깊이 영상 촬영 장치가 될 수 있다. 이 같은 깊이 영상 촬영 장치는 패턴 영사 방식, 스테레오 카메라 방식 및 Time of Flight 방식 중 적어도 하나를 통해 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성할 수 있다.
영역 설정부(120)는 복수의 뎁스 맵에 기초하여 복수의 뎁스 맵 각각에 대응되는 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정한다.
일 실시예에 따라, 영역 설정부(120)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영사의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또다른 실시예에 따라, 영역 설정부(120)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정으로 설정할 수 있다.
제어부(130)는 영상 생성 장치(100)의 각 구성에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 복수의 2D 영상 내에서 설정된 각각의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성한다. 또한, 제어부(130)는 복수의 2D 영상 내에서 설정된 각각의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다.
구체적으로, 제어부(130)는 복수의 2D 영상 각각으로부터 특징점을 추출한다. 여기서, 2D 영상으로부터 특징점을 추출하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다. 이 같은 복수의 2D 영상 각각으로부터 특징점이 추출되면, 제어부(130)는 복수의 2D 영상 각각으로부터 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성한다. 그리고, 제어부(130)는 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성한다.
실시예에 따라, 제어부(130)는 영상 모자이킹 알고리즘을 이용하여 복수의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다. 이 같은 영상 이미지를 합성하여 영상 이미지를 합성하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 생성 장치의 세부 블록도이다.
도 2에 도시된 바와 같이, 영상 생성 장치(100)는 전술한 영상 입력부(110), 영역 설정부(120) 및 제어부(130) 구성 외에 추가로, 위치 추정부(140) 및 영상 변환부(150)를 더 포함할 수 있다.
위치 추정부(140)는 복수의 2D 영상을 촬영한 촬영 장치(10)의 촬영 방향 및 위치를 추정하며, 영상 변환부(150)는 위치 추정부(140)로부터 추정된 추정 결과를 고려하여 복수의 2D 영상 및 복수의 뎁스 맵을 촬영 장치(10)가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정한다. 따라서, 영역 설정부(120)는 영상 변환부(150)를 통해 보정된 기준 뎁스 맵에 기초하여 보정된 복수의 2D 영상 각각에 대한 좌안 및 우안 영상 영역을 설정할 수 있다.
한편, 촬영 장치(10)의 촬영 방향 및 위치를 추정하는 위치 추정부(140)는 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다. 여기서, 센서는 운동의 관성력을 검출하여 관성 측정 대상인 촬영 장치(10)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공하는 관성 측정 센서(Inertial Measurement Unit : IMU)로써, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나가 될 수 있다.
한편, 제어부(130)는 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 위치 추정부(140)를 통해 측정된 결과에 기초하여 추정된 촬영 장치(10)의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
이하에서는, 전술한 영상 생성 장치(100)를 통해 복수의 2D 영상으로부터 3D 파노라마 영상을 생성하는 동작에 대해서 보다 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상 생성 장치에서 복수의 2D 영상에 기초하여 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 예시도이다.
촬영 장치(10)는 좌측에서 우측 방향으로 이동하면서 피사체를 촬영하여 좌측 방향에서 각각 촬영할 수 있다. 촬영 장치(10)가 좌측 방향에서 피사체를 촬영할 경우, 도 3의 (a)에 도시된 바와 같이, 좌측에서 촬영한 피사체에 대한 제1 2D 영상(310)이 생성될 수 있다. 그리고, 촬영 장치(10)가 우측 방향에서 피사체를 촬영할 경우, 도 3의 (b)에 도시된 바와 같이, 우측에서 촬영한 피사체에 대한 제2 2D 영상(320)이 생성될 수 있다.
이 같이, 제1 및 제2 2D 영상(310,320)이 생성되면, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-1 및 제1-2 오브젝트(311,313)의 특징점과 제2 2D 영상(320)에 포함된 제2-1 및 제2-2 오브젝트(321,323)의 특징점을 비교한다. 즉, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-1 오브젝트(311)의 특징점에 대응되는 픽셀값과 제2 2D 영상(320)에 포함된 제2-1 오브젝트(321)의 특징점에 대응되는 픽셀값을 비교한다. 또한, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-2 오브젝트(313)의 특징점에 대응되는 픽셀값과 제2 2D 영상(320)에 포함된 제2-2 오브젝트(323)의 특징점에 대응되는 픽셀값을 비교한다.
비교 결과, 제1-2 오브젝트(313)와 제2-2 오브젝트(323) 간의 픽셀값의 차이가 기설정된 임계값 이상이고, 제1-1 오브젝트(311)와 제2-1 오브젝트(321) 간의 픽셀값의 차이가 기설정된 임계값 미만이면, 제어부(130)는 제1-2 오브젝트(313)와 제2-2 오브젝트(323)가 촬영 장치(10)와 근거리에 위치한 것으로 판단한다. 즉, 촬영 장치(10)와 근거리에 위치한 오브젝트의 위치가 촬영 장치(10)와 원거리에 위치한 오브젝트의 위치보다 상대적으로 크게 변화될 수 있다.
따라서, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-2 오브젝트(313)와 제2 2D 영상(320)에 포함된 제2-2 오브젝트(323)의 뎁스 값을 제1 2D 영상(310)에 포함된 제1-1 오브젝트(311)와 제2 2D 영상(320)에 포함된 제2-1 오브젝트(321)의 뎁스 값보다 높게 설정하여 제1 및 제2 2D 영상(310,320) 각각에 대한 뎁스 맵을 생성할 수 있다.
뿐만 아니라, 제어부(130)는 촬영 장치(10)를 통해 촬영된 제1 2D 영상(310)에 포함된 제1-1 및 제1-2 오브젝트(311,313)의 특징점과 제2 2D 영상(320)에 포함된 제2-1 및 제2-2 오브젝트(321,323)의 특징점에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다.
이와 같이, 본 발명에 따른 영상 생성 장치(100)는 복수의 2D 영상이 촬영되는 시점의 촬영 장치(10)의 촬영 방향 및 위치를 통해 촬영 장치(10)로부터 촬영된 복수의 2D 영상 중 역 방향에서 촬영된 2D 영상을 제외한 나머지 2D 영상을 3D 파노라마 영상 생성을 위한 영상으로 결정할 수 있다.
이 같이, 제1 및 제2 2D 영상(310,320)을 통해 제1 및 제2 2D 영상(310,320)을 촬영한 촬영 장치(10)의 촬영 방향 및 위치가 추정되면, 영상 변환부(150)는 이후 2D 영상이 촬영되는 시점의 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있으며, 이를 통해 촬영 장치(10)의 촬영 방향 및 위치를 통해 촬영 장치(10)의 이동 궤적을 판단할 수 있다. 즉, 영상 변환부(150)는 3차원 상에서의 촬영 장치(10)의 이동 궤적에 따른 좌표값을 결정할 수 있으며, 그 결정된 좌표값에 기초하여 에러률이 최소화될 수 있는 이동 궤적으로 기존의 이동 궤적을 변형할 수 있다. 여기서, 변형된 이동 궤적은 촬영 장치(10)가 기준 방향 및 기준 위치에서 2D 영상 촬영이 가능한 지점이 될 수 있다. 따라서, 이 같은 기존의 이동 궤적이 변형되면, 영상 변환부(150)는 기존의 이동 궤적 상의 좌표값과 변형된 이동 궤적 상의 좌표값의 변화 정도에 따라 2D 영상을 기준 2D 영상으로 보정하고, 보정된 기준 2D 영상에 기초하여 보정전 2D 영상 각각에 대응되는 뎁스 맵을 기준 2D 영상 각각에 대응되는 뎁스 맵으로 보정할 수 있다.
이 같이, 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 보정되면, 영역 설정부(120)는 보정된 뎁스 맵에 기초하여 보정된 2D 영상 각각에 대한 좌안 및 우안 영상 영역을 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 우안 영상 영역으로 설정하는 예시도이며, 도 5는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 좌안 영상 영역으로 설정하는 예시도이다.
도 4에 도시된 바와 같이, 영역 설정부(120)는 입력된 제1 및 제2 뎁스 맵(410,420) 각각의 영역 중 제1 영역(411,421)에 속하는 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역을 분리한다. 즉, 영역 설정부(120)는 제1 뎁스 맵(410)의 제1 영역(411) 상에서 a 영역(411-1), b 영역(411-2) 및 c 영역(411-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 a 영역(411-1), b 영역(411-2) 및 c 영역(411-3)을 제1 뎁스 맵(410)의 우안 영상 영역으로 설정할 수 있다. 또한, 영역 설정부(120)는 제2 뎁스 맵(420)의 제1 영역(421) 상에서 d 영역(421-1), e 영역(421-2) 및 f 영역(421-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 d 영역(421-1), e 영역(421-2) 및 f 영역(421-3)을 제2 뎁스 맵(410)의 우안 영상 영역으로 설정할 수 있다. 이 같이, 제1 및 제2 뎁스 맵(410,420) 각각의 제1 영역(411,421) 상에서 우안 영상 영역이 설정되면, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상 중 우안 영상 영역에 대응되는 제1 영상 이미지(430) 및 제2 영상 이미지(440)을 획득한다. 이후, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상으로부터 획득한 제1 및 제2 영상 이미지(430,440) 각각의 특징점에 기초하여 제1 및 제2 영상 이미지(430,440)를 합성하여 우안 파노라마 이미지(450)를 생성할 수 있다.
이와 동일하게, 영역 설정부(120)는 도 5에 도시된 바와 같이, 입력된 제1 및 제2 뎁스 맵(410,420) 각각의 영역 중 제2 영역(413,423)에 속하는 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역을 분리한다. 즉, 영역 설정부(120)는 제1 뎁스 맵(410)의 제2 영역(413) 상에서 a' 영역(413-1), b' 영역(413-2) 및 c' 영역(413-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 a' 영역(411-4), b' 영역(411-5) 및 c' 영역(411-6)을 제1 뎁스 맵(410)의 좌안 영상 영역으로 설정할 수 있다. 또한, 영역 설정부(120)는 제2 뎁스 맵(420)의 제2 영역(423) 상에서 d' 영역(421-4), e' 영역(421-5) 및 f' 영역(421-6)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 d' 영역(421-4), e' 영역(421-5) 및 f' 영역(421-6)을 제2 뎁스 맵(410)의 좌안 영상 영역으로 설정할 수 있다.
이 같이, 제1 및 제2 뎁스 맵(410,420) 각각의 제2 영역(413,423) 상에서 우안 영상 영역이 설정되면, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상 중 좌안 영상 영역에 대응되는 제1 영상 이미지(460) 및 제2 영상 이미지(470)를 획득한다. 이후, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상으로부터 획득한 제1 및 제2 영상 이미지(460,470) 각각의 특징점에 기초하여 제1 및 제2 영상 이미지(460,470)를 합성하여 좌안 파노라마 이미지(480)를 생성할 수 있다.
지금까지, 본 발명에 따른 영상 생성 장치(100)에서 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵에 기초하여 복수의 2D 영상에 대한 3D 파노라마 이미지를 생성하는 동작에 대해서 상세히 설명하였다.
이하에서는, 전술한 영상 생성 장치(100)를 포함하는 촬영 장치(10)의 각 구성에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 블록도이다.
촬영 장치(10)는 통신부(610), 입력부(620), 촬영부(630), 이미지 처리부(640), 파노라마 영상 생성부(650), 디스플레이부(660), 저장부(670) 및 제어부(670)를 포함할 수 있다.
통신부(610)는 외부 장치(미도시)와 데이터 통신을 수행하여 외부 장치(미도시)로부터 생성된 복수의 2D 영상 각각에 대한 뎁스 맵을 수신할 수 있다. 또한, 통신부(610)는 스마트 TV, 테블릿 등의 전자 장치와 유무선 통신을 수행하여 복수의 2D 영상에 기초하여 생성된 3D 파노라마 이미지를 전송할 수 있다. 이 같은 통신부(610)는 무선 통신 모듈 및 유선 통신 모듈을 포함할 수 있다. 여기서, 유선 통신 모듈은 외부 장치(미도시)와 인터페이스를 제공하는 USB 통신 모듈이 될 수 있으며, 무선 통신 모듈은 근거리 통신 모듈 및 원거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 근거리 통신 모듈은 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 원거리 통신 모듈은 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 어느 하나를 포함할 수 있다.
입력부(620)는 사용자 명령을 입력받기 위한 구성으로써, 적어도 하나의 키 버튼을 포함할 수 있다. 뿐만 아니라, 입력부(620)는 디스플레이부(650) 상에서 터치 스크린 형태로 구현되어 사용자의 터치 명령을 입력받을 수 있다. 이 같은 입력부(620)는 키 버튼 혹은 터치 스크린을 통해 영상에 대한 싱글 촬영 명령, 파노라마 촬영 명령 등을 입력받거나 파노라마 촬영 명령에 따라 연속 촬영된 복수의 2D 영상에 대한 3D 파노라마 이미지 생성 명령을 입력받을 수 있다.
촬영부(630)는 입력부(620)를 통해 입력된 촬영 명령에 따라 싱글 촬영 혹은 파노라마 촬영을 수행할 수 있다. 이 같은 촬영부(630)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator) 및 이미지 센서를 포함할 수 있다. 셔터는 피사체에 반사된 빛이 이미지 센서로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다. 이 같은 촬영부(630)는 입력부(620)를 통해 파노라마 촬영 명령이 입력되면, 사용자의 촬영 방향에 위치한 피사체에 대한 연속 촬영을 수행할 수 있다. 이 같이 영상을 촬영하는 촬영부(630)의 구성은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
이미지 처리부(640)는 촬영부(630)를 통해 연속 촬영된 2D 영상 각각에 대한 로우 이미지 데이터를 YCbCr 데이터로 만들고, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정한다. 그 외에도 이미지 처리부(630)는 연속 촬영된 복수의 2D 영상에 대한 화이트 밸런스, 감마 보정, 색보간, 색보정, 해상도 변환 등을 수행할 수 있다.
파노라마 영상 생성부(650)는 전술한 영상 생성 장치(100)로써, 이미지 처리부(640)를 통해 영상 처리된 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵에 기초하여 3D 파노라마 이미지를 생성한다. 전술한 바와 같이, 파노라마 영상 생성부(650)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 입력되면, 복수의 뎁스 맵에 기초하여 복수의 2D 영상 각각에 대한 좌안 영상 영역 및 우안 영상 영역을 설정한다.
일 실시예에 따라, 파노라마 영상 생성부(650)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다. 또다른 실시예에 따라, 파노라마 영상 생성부(650)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
이 같이, 복수의 2D 영상 내에서 좌안 및 우안 영상 영역이 설정되면, 파노라마 영상 생성부(650)는 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성한다. 마찬가지로, 파노라마 영상 생성부(650)는 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다. 구체적으로, 파노라마 영상 생성부(650)는 복수의 2D 영상으로부터 특징점을 추출하고, 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성할 수 있다. 마찬가지로, 파노라마 영상 생성부(650)는 복수의 2D 영상으로부터 추출된 특징점 중 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다.
디스플레이부(660)는 촬영된 2D 영상 또는 복수의 2D 영상으로부터 생성된 3D 파노라마 이미지를 디스플레이한다. 이를 위해, 디스플레이부(120)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
저장부(670)는 촬영된 2D 영상 또는 복수의 2D 영상으로부터 생성된 3D 파노라마 이미지를 저장한다. 이 같은 저장부(670)는 비휘발성 메모리(가령, 플래시 메모리, EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.
제어부(680)는 촬영 장치(10)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 구체적으로, 제어부(680)는 디스플레이부(670)를 통해 디스플레이되는 라이브 뷰 이미지에 대한 파노라마 촬영 명령이 입력되면, 촬영부(630)를 통해 연속 촬영을 수행하도록 제어하며, 촬영부(630)를 통해 연속 촬영된 2D 영상에 대한 영상 처리를 수행하도록 이미지 처리부(640)를 제어할 수 있다. 또한, 제어부(680)는 이미지 처리부(640)를 통해 영상 처리된 복수의 2D 영상 및 통신부(610)를 통해 수신된 복수의 2D 영상 각각에 대응되는 뎁스 맵을 파노라마 영상 생성부(650)로 전송하여 복수의 2D 영상에 대한 3D 파노라마 이미지를 생성하도록 파노라마 영상 생성부(650)를 제어할 수 있다.
지금까지, 본 발명에 따른 촬영 장치(10)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 영상 생성 장치(100)에서 복수의 2D 영상에 기초하여 3D 파노라마 이미지를 생성하는 방법에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법의 흐름도이다.
도 7에 도시된 바와 같이, 영상 생성 장치(100)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵을 입력받는다(S710). 여기서, 복수의 2D 영상 각각은 전후 2D 영상의 일부와 중첩되는 것이 바람직하다. 이 같은 복수의 2D 영상을 촬영 장치(10)를 통해 촬영된 영상이며, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵은 영상 생성 장치(100) 내에서 생성되거나 외부 장치(미도시)로부터 수신될 수 있다. 여기서, 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성하는 외부 장치(미도시)는 깊이 영상 촬영 장치가 될 수 있다. 이 같은 깊이 영상 촬영 장치는 패턴 영사 방식, 스테레오 카메라 방식 및 Time of Flight 방식 중 적어도 하나를 통해 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성할 수 있다.
한편, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵이 입력되지 않으면, 영상 생성 장치(100)는 후술할 단계를 통해 추정된 촬영 장치(10)의 촬영 방향 및 위치에 대응되는 2D 영상 간의 영상 정합을 통해 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
이 같은 다양한 실시예를 통해 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 입력되면, 영상 생성 장치(100)는 복수의 2D 영상 각각으로부터 특징점을 추출한다(S720). 이후, 영상 생성 장치(100)는 복수의 2D 영상을 촬영한 촬영 장치(10)의 촬영 방향 및 위치를 추정한다(S730). 실시예에 따라, 영상 생성 장치(100)는 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다. 여기서, 센서는 운동의 관성력을 검출하여 관성 측정 대상인 촬영 장치(10)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공하는 관성 측정 센서(Inertial Measurement Unit : IMU)로써, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나가 될 수 있다.
이 같은 실시예를 통해 촬영 장치(10)의 촬영 방향 및 위치가 추정되면, 영상 생성 장치(100)는 추정된 추정 결과를 고려하여 복수의 2D 영상 및 복수의 뎁스 맵을 촬영 장치(10)가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정한다(S740).
이후, 영상 생성 장치(100)는 복수의 뎁스 맵에 기초하여 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정한다(S750). 일 실시예에 따라, 영상 생성 장치(100)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영사의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다. 또다른 실시예에 따라, 영상 생성 장치(100)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정으로 설정할 수 있다.
이 같은 다양한 실시예를 통해 복수의 2D 영상 각각에 대한 좌안 및 우안 영상 영역이 설정되면, 영상 생성 장치(100)는 복수의 2D 영상 내에서 설정된 각각의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 2D 영상 내에서 설정된 각각의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다(S760).
구체적으로, 영상 생성 장치(100)는 복수의 2D 영상 각각으로부터 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다. 실시예에 따라, 영상 생성 장치(100)는 영상 모자이킹 알고리즘을 이용하여 복수의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법에 있어서,
    복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계;
    상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계;
    상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계;를 포함하는 3D 파노라마 이미지 생성 방법.
  2. 제 1 항에 있어서,
    상기 복수의 2D 영상 중 적어도 하나의 2D 영상은,
    전후 2D 영상의 일부와 중첩되는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  3. 제 1 항에 있어서,
    상기 설정하는 단계는,
    상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성방법.
  4. 제 1 항에 있어서,
    상기 설정하는 단계는,
    컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성방법.
  5. 제 1 항에 있어서,
    상기 복수의 2D 영상으로부터 특징점을 추출하는 단계;를 더 포함하며,
    상기 생성하는 단계는,
    상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고,
    상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  6. 제 5 항에 있어서,
    상기 복수의 2D 영상을 촬영한 상기 촬영 장치의 촬영 방향 및 위치를 추정하는 단계; 및
    상기 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 단계;를 더 포함하며,
    상기 설정하는 단계는,
    상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  7. 제 6 항에 있어서,
    상기 추정하는 단계는,
    상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며,
    상기 센서는
    관성 측정 센서(Inertial Measurement Unit : IMU)인 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  8. 제 7 항에 있어서,
    상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 센서를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 단계;
    를 더 포함하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  9. 제 1 항에 있어서,
    상기 생성하는 단계는,
    영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  10. 영상 생성 장치에 있어서,
    복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 영상 입력부;
    상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 영역 설정부; 및
    상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 제어부;
    를 포함하는 영상 생성 장치.
  11. 제 10 항에 있어서,
    상기 복수의 2D 영상 중 적어도 하나의 2D 영상은,
    전후 2D 영상의 일부와 중첩되는 것을 특징으로 하는 영상 생성 장치.
  12. 제 10 항에 있어서,
    상기 영역 설정부는,
    상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 영상 생성 장치.
  13. 제 10 항에 있어서,
    상기 영역 설정부는,
    컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 영상 생성 장치.
  14. 제 10 항에 있어서,
    상기 제어부는,
    상기 복수의 2D 영상으로부터 특징점을 추출하며, 상기 추출된 특징점 중 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성하는 것을 특징으로 하는 영상 생성 장치.
  15. 제 14 항에 있어서,
    상기 복수의 2D 영상을 촬영한 촬영 장치의 촬영 방향 및 위치를 추정하는 위치 추정부; 및
    상기 위치 추정부로부터 추정된 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 영상 변환부;를 더 포함하며,
    상기 영역 설정부는,
    상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정하는 것을 특징으로 하는 영상 생성 장치.
PCT/KR2015/009981 2014-09-26 2015-09-23 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 Ceased WO2016048020A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15844049.5A EP3200452A4 (en) 2014-09-26 2015-09-23 Image generating apparatus and method for generation of 3d panorama image
JP2017514797A JP6679577B2 (ja) 2014-09-26 2015-09-23 ３ｄパノラマイメージ生成のための映像生成装置及び方法
US15/514,153 US10559063B2 (en) 2014-09-26 2015-09-23 Image generating apparatus and method for generation of 3D panorama image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0129431 2014-09-26
KR1020140129431A KR102249831B1 (ko) 2014-09-26 2014-09-26 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2016048020A1 true WO2016048020A1 (ko) 2016-03-31

Family

ID=55581459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009981 Ceased WO2016048020A1 (ko) 2014-09-26 2015-09-23 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법

Country Status (6)

Country Link
US (1) US10559063B2 (ko)
EP (1) EP3200452A4 (ko)
JP (1) JP6679577B2 (ko)
KR (1) KR102249831B1 (ko)
CN (1) CN105472372B (ko)
WO (1) WO2016048020A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520232A (zh) * 2017-08-16 2018-09-11 威盛电子股份有限公司 立体环景影片产生方法及装置
US20220092734A1 (en) * 2019-01-22 2022-03-24 Arashi Vision Inc. Generation method for 3d asteroid dynamic map and portable terminal

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
CN106060510B (zh) * 2016-05-31 2018-02-06 北京聚力维度科技有限公司 全景图片处理方法和装置
CN107666606B (zh) 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置
TWI668997B (zh) 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
CN106991645B (zh) * 2017-03-22 2018-09-28 腾讯科技（深圳）有限公司 图像拼接方法及装置
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
WO2020176903A1 (en) * 2019-02-28 2020-09-03 Mark Fuller System and method of altering the appearance of liquid and solid physical objects or forms
KR20210027918A (ko) * 2019-09-03 2021-03-11 (주)코믹스브이 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN111105351B (zh) * 2019-12-13 2023-04-18 华中科技大学鄂州工业技术研究院 一种视频序列影像拼接方法及装置
KR102616081B1 (ko) * 2022-05-19 2023-12-20 주식회사 브이알크루 깊이 맵의 특징점을 획득하기 위한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175481A1 (en) * 2007-01-18 2008-07-24 Stefan Petrescu Color Segmentation
US20110141227A1 (en) * 2009-12-11 2011-06-16 Petronel Bigioi Stereoscopic (3d) panorama creation on handheld device
JP2011135459A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
KR20110134147A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 입체 영상 오류 개선 방법 및 장치
US20130335521A1 (en) * 2012-06-13 2013-12-19 Wistron Corporation Method of Synthesizing Stereo 3D Panorama Image and Related 3D Camera

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL136128A0 (en) * 1998-09-17 2001-05-20 Yissum Res Dev Co System and method for generating and displaying panoramic images and movies
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
JP2011147067A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP2011160221A (ja) 2010-02-01 2011-08-18 Casio Computer Co Ltd 画像処理装置、画像処理方法、及びプログラム
JP2011259168A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体パノラマ画像撮影装置
CN103189796B (zh) * 2010-09-20 2015-11-25 瑞典移动影像股份公司 用于形成图像的方法
JP5510238B2 (ja) 2010-09-22 2014-06-04 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR20120072146A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
WO2012086326A1 (ja) * 2010-12-24 2012-06-28 富士フイルム株式会社 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
JP2013042414A (ja) 2011-08-18 2013-02-28 Sharp Corp 立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラム
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
WO2013069050A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101818778B1 (ko) * 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
JP6068896B2 (ja) * 2012-09-21 2017-01-25 株式会社ニコンシステム 画像処理装置およびプログラム
JP2014086948A (ja) 2012-10-25 2014-05-12 Xacti Corp 撮像装置
KR101370718B1 (ko) * 2012-10-26 2014-03-06 한국과학기술원 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
US8983176B2 (en) * 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US20140267618A1 (en) * 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175481A1 (en) * 2007-01-18 2008-07-24 Stefan Petrescu Color Segmentation
US20110141227A1 (en) * 2009-12-11 2011-06-16 Petronel Bigioi Stereoscopic (3d) panorama creation on handheld device
JP2011135459A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
KR20110134147A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 입체 영상 오류 개선 방법 및 장치
US20130335521A1 (en) * 2012-06-13 2013-12-19 Wistron Corporation Method of Synthesizing Stereo 3D Panorama Image and Related 3D Camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3200452A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520232A (zh) * 2017-08-16 2018-09-11 威盛电子股份有限公司 立体环景影片产生方法及装置
US20220092734A1 (en) * 2019-01-22 2022-03-24 Arashi Vision Inc. Generation method for 3d asteroid dynamic map and portable terminal
US11995793B2 (en) * 2019-01-22 2024-05-28 Arashi Vision Inc. Generation method for 3D asteroid dynamic map and portable terminal

Also Published As

Publication number Publication date
KR20160036985A (ko) 2016-04-05
US10559063B2 (en) 2020-02-11
EP3200452A4 (en) 2017-10-18
CN105472372B (zh) 2018-06-22
JP6679577B2 (ja) 2020-04-15
EP3200452A1 (en) 2017-08-02
KR102249831B1 (ko) 2021-05-10
CN105472372A (zh) 2016-04-06
JP2018500778A (ja) 2018-01-11
US20170293998A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
CN105472372B (zh) 用于生成3d全景图像的图像生成装置及方法
EP3358819B1 (en) Photographing method, photographing device and terminal
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2019035601A1 (en) IMAGE EDITING APPARATUS USING A DEPTH CARD AND ITS METHOD
WO2017090986A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
CN112614057A (zh) 一种图像虚化处理方法及电子设备
WO2020197070A1 (en) Electronic device performing function according to gesture input and operation method thereof
WO2019035551A1 (en) APPARATUS FOR COMPOSING OBJECTS USING DEPTH CARD AND ASSOCIATED METHOD
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
WO2015012590A1 (en) Image photographing apparatus and method thereof
WO2016104822A1 (ko) 디스플레이 장치 및 제어 방법
WO2021215795A1 (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
WO2019172577A1 (ko) 전자장치의 이미지 처리 장치 및 방법
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2017119575A1 (ko) 영상촬영장치 및 영상촬영방법
WO2021162263A1 (ko) 이미지의 생성 방법 및 그 전자 장치
WO2019182357A1 (en) Method for adjusting focus based on spread-level of display object and electronic device supporting the same
WO2014058234A1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
WO2016167436A1 (ko) 이미지 촬영 장치 및 이미지 촬영 방법
WO2021201452A1 (ko) 카메라의 자동 초점 검출 방법 및 이를 지원하는 전자 장치
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
WO2022225248A1 (ko) 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치
KR101822169B1 (ko) 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
CN104871532B (zh) 拍摄装置及其动作控制方法
US11405564B2 (en) Methods and systems for parameter alignment for an image capture device with multiple image capture devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15844049

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015844049

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015844049

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017514797

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15514153

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE