WO2024034837A1 - 깊이 맵을 획득하기 위한 전자 장치 및 방법 - Google Patents

깊이 맵을 획득하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2024034837A1
WO2024034837A1 PCT/KR2023/008716 KR2023008716W WO2024034837A1 WO 2024034837 A1 WO2024034837 A1 WO 2024034837A1 KR 2023008716 W KR2023008716 W KR 2023008716W WO 2024034837 A1 WO2024034837 A1 WO 2024034837A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
electronic device
camera
cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/008716
Other languages
English (en)
French (fr)
Inventor
현종민
이승한
천종혁
최철희
현대영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP23852724.6A priority Critical patent/EP4554205A4/en
Publication of WO2024034837A1 publication Critical patent/WO2024034837A1/ko
Priority to US19/034,074 priority patent/US20250168314A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Definitions

  • the descriptions below relate to an electronic device and method for acquiring a depth map.
  • the electronic device can separate the foreground and background to provide various effects (e.g. zooming, spinning, panning) to the background of the captured image.
  • the electronic device may obtain a depth map representing distance information to separate the background within the image.
  • the electronic device can acquire a depth map through a plurality of cameras.
  • an electronic device includes at least one sensor, a plurality of cameras, a display, a memory configured to store instructions, and an electronic device operatively configured with the at least one sensor, the plurality of cameras, the display, and the memory. It may include at least one processor combined. The at least one processor may perform designated operations as the instructions are executed. The at least one processor may be configured to obtain first image information about a frame using a first camera among the plurality of cameras. It may be configured to obtain second image information about the frame using a second camera among the plurality of cameras. The at least one processor is configured to match at least one matching condition related to at least one of a difference between the first image information and the second image information, a brightness value of the frame, or an object detected in the frame.
  • the at least one processor may be configured to obtain depth map information based on at least one camera identified according to the depth map calculation method.
  • the at least one processor may be configured to display, through the display, an image to which a specified process has been applied to a background area based on the depth map information.
  • the at least one processor may include a depth map calculation method, a first method for determining the depth map through the plurality of cameras, and a second method for determining the depth map through a single camera among the plurality of cameras. It may be determined based at least in part on.
  • a method performed by an electronic device may include obtaining first image information about a frame using a first camera among a plurality of cameras.
  • the method may include obtaining second image information for the frame using a second camera among the plurality of cameras.
  • the method is based on at least one matching condition related to at least one of a difference between the first image information and the second image information, a brightness value of the frame, or an object detected in the frame, depth May include operations that determine how the depth map is calculated.
  • the method may include obtaining depth map information for the frame based on at least one camera identified according to the depth map calculation method.
  • the method may include displaying, through a display, an image to which a specified process has been applied to a background area based on the depth map information.
  • the depth map calculation method is based at least in part on a first method for determining the depth map through the plurality of cameras and a second method for determining the depth map through a single camera among the plurality of cameras. at least in part on), can be determined.
  • an electronic device includes at least one sensor, a plurality of cameras, a display, a memory configured to store instructions, and an electronic device operatively configured with the at least one sensor, the plurality of cameras, the display, and the memory. It may include at least one processor combined. The at least one processor may perform designated operations as the instructions are executed. The at least one processor, when the brightness value detected by the at least one sensor is less than a threshold value or the distance value to the object detected by the at least one sensor is less than a reference value, the at least one processor It may be configured to identify the second method among a first method for determining a depth map and a second method for determining the depth map through a single camera among the plurality of cameras.
  • the at least one processor may be configured to identify the single camera among the plurality of cameras based on the brightness value or the distance value.
  • the at least one processor may be configured to acquire image information through the single camera.
  • the at least one processor may be configured to obtain depth map information through the single camera.
  • the at least one processor may be configured to display, through the display, an image to which a specified process has been applied to a background area based on the image information and the depth map information.
  • a method performed by an electronic device may be performed when a brightness value detected by at least one sensor is less than a threshold value or a distance value to an object detected by the at least one sensor is less than a reference value.
  • the method may include identifying the single camera among the plurality of cameras based on the brightness value or the distance value.
  • the method may include acquiring image information through the single camera.
  • the method may include obtaining depth map information through the single camera.
  • the method may include displaying, through a display, an image to which a specified process has been applied to a background area based on the image information and the depth map information.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • FIG. 2 shows an example of a functional configuration of an electronic device, according to one embodiment.
  • FIG. 3A illustrates an operational flow of an electronic device for acquiring depth map information based on a matching condition, according to an embodiment.
  • FIG. 3B illustrates an operation flow of an electronic device for acquiring depth map information through a camera set based on a matching condition, according to an embodiment.
  • FIG. 4A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to a brightness value, according to an embodiment.
  • FIG. 4B shows an example of selection of a depth map calculation method according to brightness values, according to one embodiment.
  • FIG. 5A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to a distance value, according to an embodiment.
  • FIG. 5B shows an example of selection of a depth map calculation method according to a distance value, according to one embodiment.
  • FIG. 6A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to an object type, according to an embodiment.
  • FIG. 6B shows an example of selection of a depth map calculation method depending on object type, according to one embodiment.
  • Figure 7 shows an example of selection of a depth map calculation method for each region, according to one embodiment.
  • Figure 8A shows an example of image processing using a depth map at close range, according to one embodiment.
  • FIG. 8B shows an example of image processing using a depth map in low light, according to one embodiment.
  • FIG. 9 illustrates an operation flow of an electronic device for determining a depth map calculation method according to characteristics of an area, according to an embodiment.
  • FIG. 10 illustrates an operation flow of an electronic device for determining a depth map calculation method based on image information differences between cameras, according to an embodiment.
  • FIG. 11 illustrates an operation flow of an electronic device for acquiring a depth map through camera switching according to an embodiment.
  • the expressions greater than or less than may be used to determine whether a specific condition is satisfied or fulfilled, but this is only a description for expressing an example, and the description of more or less may be used. It's not exclusion. Conditions written as ‘more than’ can be replaced with ‘more than’, conditions written as ‘less than’ can be replaced with ‘less than’, and conditions written as ‘more than and less than’ can be replaced with ‘greater than and less than’.
  • 'A' to 'B' means at least one of the elements from A to (including A) and B (including B).
  • ‘C’ and/or ‘D’ means including at least one of ‘C’ or ‘D’, i.e. ⁇ ‘C’, ‘D’, ‘C’ and ‘D’ ⁇ .
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 may include a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123, the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology can provide high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access to multiple terminals (massive machine type communications (mMTC)), or ultra-reliable and low-latency (URLLC). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data transmission rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 198 or the second network 199, is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 shows an example of a functional configuration of an electronic device according to embodiments.
  • an electronic device e.g., electronic device 101 of FIG. 1 includes a processor 201 (e.g., processor 120 of FIG. 1) and cameras 203 (e.g., camera module 180). ), a sensor 205 (e.g., sensor module 176), a display 207 (e.g., display module 160), and a memory 209 (e.g., memory 130).
  • processor 201 e.g., processor 120 of FIG. 1
  • cameras 203 e.g., camera module 180
  • sensors 205 e.g., sensor module 176
  • a display 207 e.g., display module 160
  • a memory 209 e.g., memory 130
  • the electronic device 101 may include a processor 201.
  • the processor 201 may be implemented with one or more integrated circuit (IC) chips and may perform various data processing.
  • the processor 201 may be implemented as a system on chip (SoC).
  • SoC system on chip
  • the processor 201 includes a central processing unit (CPU), a graphics processing unit (GPU), a neural processing unit (NPU), an image signal processor (ISP), a display controller, a memory controller, a storage controller, an application processor (AP), and a CP. (communication processor), and/or may include sub-components including a sensor interface.
  • the above sub-components are merely examples.
  • the processor 201 may further include other sub-components. For example, some sub-components may be omitted from processor 201.
  • Electronic device 101 may include cameras 203.
  • the cameras may include at least one of a wide-angle camera, an ultra-wide camera, a first telephoto camera, or a second telephoto camera.
  • the wide-angle camera may be used to obtain an image of an object located at a certain distance (eg, about 28 centimeters) or more from the electronic device 101 at low magnification (eg, less than about 3-magnification).
  • the ultra-wide-angle camera may be used to obtain an image of an object located less than the certain distance from the electronic device 101 at low magnification.
  • the first telephoto camera may be used to acquire an image of an object in a first magnification range (eg, 3-magnification or higher but 10-magnification or higher).
  • the second telephoto camera may be used to acquire an image of the object in a second magnification range (eg, 10-magnification or higher and 15-magnification or lower).
  • the electronic device 101 may acquire a depth map by capturing images through each of at least two cameras among the cameras 203 and combining the captured images. .
  • the electronic device 101 may acquire a depth map by capturing an image through a single camera among the cameras 203 and learning the captured images.
  • a depth map an image representing the depth of a subject or background is referred to as a depth map, but of course, various terms (e.g., depth image, depth image, depth information) other than a depth map may be used.
  • the electronic device 101 may obtain a depth map by using at least one of a plurality of lenses included in one camera module.
  • the electronic device 101 may include an image signal processor (ISP) for image signal processing of a camera.
  • the ISP may be electrically and/or operationally connected to a plurality of lenses.
  • the ISP may be electrically and/or operatively coupled to one or more image sensors.
  • the electronic device 101 may obtain a depth map based on a plurality of settings or a single setting by controlling one camera module.
  • the electronic device 101 may include a sensor 205.
  • sensor 205 may include a distance detection sensor.
  • sensor 205 may include a time of flight (TOF) sensor.
  • the sensor 205 is a sensor that measures the surrounding distance and can output the distance by emitting IR (infrared) and calculating the time when the light returns.
  • the sensor 205 may include an ambient light sensor.
  • the illuminance sensor can measure external illuminance.
  • the illuminance sensor can acquire external brightness values through the light receiver.
  • the illuminance sensor can acquire external brightness values during exposure time.
  • the illuminance sensor may transmit the measured brightness value to the processor 201.
  • the electronic device 101 may include a display 207.
  • the display 207 can visually provide information to the user.
  • the display 207 may display an image processed by the processor 201 under the control of the processor 201.
  • the display 207 may display an image acquired through at least one of the cameras 203.
  • the display 207 may display an image in which effects according to the depth map have been processed.
  • the Electronic device 101 may include memory 209.
  • the memory 209 may store data such as basic programs, application programs, and setting information for operation of the electronic device 101.
  • Memory 209 may be referred to as storage.
  • the memory 209 may be comprised of volatile memory (eg, volatile memory 132), non-volatile memory (eg, non-volatile memory 134), or a combination of volatile memory and non-volatile memory. Additionally, the memory 209 may provide stored data according to the request of the processor 201.
  • the memory 209 may store depth map information according to the embodiment. Additionally, according to one embodiment, the memory 209 may store at least one parameter (eg, weight) for depth map calculation according to the embodiment.
  • the memory 209 may store images captured by at least one camera (eg, at least one of the cameras 203) for processing by the processor 201. Additionally, according to one embodiment, the memory 209 may store data for artificial intelligence (AI) learning of a camera (eg, one of the cameras 203).
  • AI artificial intelligence
  • the electronic device 101 may acquire images through at least one camera.
  • the electronic device 101 may obtain a depth map indicating distance information (absolute distance or relative distance).
  • the electronic device 101 may separate the foreground and background of an image based on the depth map.
  • the electronic device 101 may apply a blur effect to the background (e.g., Bokeh effect) or various effects (e.g., a mono effect, or an effect that replaces the background such as a different color or zooming, spin, or panning effect). can be provided.
  • a blur effect e.g., Bokeh effect
  • various effects e.g., a mono effect, or an effect that replaces the background such as a different color or zooming, spin, or panning effect.
  • the main subject of the acquired image can be emphasized.
  • the depth map is not accurate, certain areas other than the background may be blurred. Also, conversely, other background areas can be displayed clearly without blurring.
  • the background effects described above can be processed through one camera or two or more cameras.
  • the electronic device 101 may apply a bokeh effect (hereinafter referred to as single Bokeh effect) can be applied.
  • a bokeh effect hereinafter referred to as single Bokeh effect
  • the electronic device 101 may acquire a depth map through images acquired in one frame (eg, simultaneously) from two or more cameras.
  • the electronic device 101 can divide the foreground and background through the depth map and apply a bokeh effect (hereinafter referred to as a double bokeh effect or multi-bokeh effect) to the background.
  • a bokeh effect hereinafter referred to as a double bokeh effect or multi-bokeh effect
  • the electronic device 101 may use a separate means for acquiring depth information (e.g., time of flight (TOF) sensor, structured light field, 3D image sensor, array camera). )), you can obtain depth information.
  • depth information e.g., time of flight (TOF) sensor, structured light field, 3D image sensor, array camera.
  • TOF time of flight
  • the electronic device 101 can divide the foreground and background of the image through the acquired depth information.
  • the electronic device 101 may apply a blur effect to the background of the image.
  • Depth maps using two or more cameras, or acquiring depth information through separate means generally provide more accurate results than results processed from a single camera.
  • errors may occur depending on image deviations (e.g., lens characteristics such as brightness, noise, sharpness, and distortion) between the acquired images. There is a possibility that it may occur.
  • depth map errors may occur in texture-less, reflective, saturated, or transparent subjects for which feature matching is difficult.
  • many depth map errors can occur at close distances, where a large parallax difference between cameras occurs, and in extremely low illumination, where differences in physical characteristics (e.g., lens, sensor performance) between cameras are maximized.
  • Depth map errors ultimately lead to incorrect results in separating foreground and background. For example, it causes problems with the quality of blur effects or other replacement effects (e.g. zooming, spinning, panning) applied to the background. Therefore, in a situation where the quality difference between cameras is high, the electronic device 101 can improve errors through a method of learning images extracted from a single camera and extracting a depth map (hereinafter referred to as a single camera depth map extraction method). You can. Embodiments of the present disclosure obtain optimal results for image processing by obtaining a depth map through a single AI camera depth map extraction method in relative distance error situations that may occur due to the various error causes and physical limitations described above. We would like to provide. By applying a single AI depth map extraction method together with a depth map calculation method using multiple cameras, depth map errors can be reduced.
  • the processor 201 of the electronic device 101 may include various components.
  • components included in the processor 201 may be included in hardware and/or software form.
  • at least some of the components may include software including at least one instruction executed on the processor 201.
  • the operation of the component can be understood as the operation of the processor 201.
  • the processor 201 may include an image distance determination unit.
  • Processor 201 may measure the distance from an object in the image. For example, the processor 201 may measure the distance through the sensor 205. Also, for example, the processor 201 may measure the distance through at least one of the cameras 203. Additionally, for example, the processor 201 may measure the distance through a separate means for acquiring distance information (e.g., an array camera, a 3D image sensor, a structured light field camera). Additionally, for example, the processor 201 may perform deep learning through at least one of various methods or a combination of at least two or more methods. The processor 201 may obtain the distance according to the deep learning results. Additionally, for example, the processor 201 may obtain the distance through an autofocus value according to autofocusing.
  • the processor 201 may include an image illuminance determination unit.
  • the processor 201 can measure illuminance.
  • the processor 201 may measure the surrounding brightness value through the sensor 205.
  • the processor 201 may measure light through a single camera or multiple cameras. Additionally, for example, the processor 201 may obtain a brightness value by analyzing the pixel value of the input image.
  • the processor 201 may include an image scene analysis unit.
  • the processor 201 can perform deep learning on images.
  • the processor 201 may perform scene analysis according to deep learning based on previously stored images and the current image.
  • the processor 201 may calculate an area where occlusion occurs based on image information acquired through a plurality of cameras.
  • Occlusion refers to a phenomenon in which the area behind the object is not detected from the camera's viewpoint due to the object being placed at a specific location. Due to the object, blind spots may occur in the image.
  • the occlusion occurrence area in the image acquired through the first camera may be referred to as the first occlusion occurrence area.
  • the occlusion occurrence area in the image acquired through the second camera may be referred to as the second occlusion occurrence area.
  • the processor 201 may calculate the difference between the first occlusion occurrence area and the second occlusion occurrence area.
  • the processor 201 may identify that depth map extraction using a plurality of cameras is possible if the difference is within a specified range.
  • the processor 201 may calculate the degree of matching between the plurality of cameras based on image information acquired through the plurality of cameras.
  • the processor 201 may identify whether depth map extraction using a plurality of cameras can operate without error, based on the degree of matching.
  • the processor 201 may identify that depth map extraction using a plurality of cameras is possible if the difference in image information between cameras is within a specified range.
  • the processor 201 may identify a depth map calculation method suitable for the state of the shooting environment of the electronic device 101 before calculating the depth map.
  • the processor 201 may include a depth map calculation method determination unit.
  • the depth map calculation method determination unit may include a weight calculation unit.
  • To calculate depth information various methods can be defined. The various methods may include a first method of determining a depth map using a plurality of cameras and a second method of determining a depth map using AI learning of a single camera. Processor 201 may determine the depth map based on a combination of the first method and the second method.
  • the processor 201 may determine a weight to be applied to the first method (hereinafter referred to as first weight) and a weight to be applied to the second method (hereinafter referred to as second weight). For example, processor 201 may set the first weight to 100% to determine the depth map based on the first method. The second weight may be 0. The processor 201 may obtain depth map information for an image frame without calculating a depth map according to the second method. Also, for example, the processor 201 may set the second weight to 100% to determine the depth map based on the second method. The first weight may be 0. The processor 201 may obtain depth map information for an image frame without calculating a depth map according to the first method. Also, for example, processor 201 may determine the depth map by focusing on the first method.
  • This depth map determination may be referred to as first method-based depth map determination, and the first weight may be determined to be larger than the second weight.
  • processor 201 may focus on the second method to determine the depth map.
  • This depth map determination may be referred to as second method-based depth map determination, and the second weight may be determined to be larger than the first weight.
  • the processor 201 may calculate a weight for the entire image.
  • Processor 201 may calculate weights to determine a depth map calculation method to be applied to the entire image.
  • the processor 201 may calculate a weight for each local area of the image.
  • the depth map calculation method may be different for each local area.
  • the processor 201 may calculate a depth map using a second method for an area containing an object, and may calculate a depth map using a first method for an area not containing an object.
  • the weight applied to each area may be different.
  • the processor 201 may include a camera selection unit.
  • the processor 201 may identify at least one camera according to a depth map calculation method.
  • the identified at least one camera may be used to calculate a depth map.
  • the processor 201 may select a single camera that provides high quality. For example, in low light, processor 201 may identify a wide-angle camera. Additionally, for example, for close objects, processor 201 may identify an ultra-wide camera. In some embodiments, processor 201 may perform camera switching to activate an identified camera.
  • the processor 201 may include a depth information acquisition unit.
  • the processor 201 may obtain depth information based on the weight.
  • the processor 201 may obtain the first depth map based on the first method.
  • the processor 201 may obtain the second depth map based on the second method.
  • the processor 201 may apply a first weight to the first depth map.
  • the processor 201 may apply a second weight to the second depth map.
  • the processor 201 may obtain depth information by applying the first weight to the first depth map and the second weight to the second depth map. For example, when the first weight is 0, the processor 201 may obtain depth information by applying the second weight to the second depth map. Additionally, for example, when the second weight is 0, the processor 201 may obtain depth information by applying the first weight to the first depth map.
  • the depth map calculation method may be different for each area within the image.
  • weights may be set differently for each area within the image.
  • the processor 201 can obtain a depth map for the entire area of the image by calculating a depth map for each area and then merging the calculated depth maps.
  • the processor 201 may include a foreground and background area dividing unit. Processor 201 may distinguish between foreground and background areas within an image. The processor 201 may identify the foreground and background areas within the image, respectively, based on the depth information. If the depth value of the corresponding area is less than the reference value, the processor 201 may identify the corresponding area as a foreground area.
  • the foreground area refers to the area within the image excluding the background area.
  • the foreground area may include the detected object (e.g., the main subject). If the depth value of the corresponding area is greater than or equal to the reference value, the processor 201 may identify the corresponding area as a background area.
  • the background area refers to the area within the image excluding the foreground area.
  • the processor 201 may include a background effect application unit.
  • the processor 201 may apply a specified effect to the background area.
  • a designated effect refers to additional processing performed on the background area.
  • specified effects may include bokeh effects, blur effects, or motion effects.
  • motion effects refer to additional processing in a specified manner (e.g. zooming, spinning, panning).
  • FIG. 3A illustrates an operational flow of an electronic device for acquiring depth map information based on a matching condition, according to embodiments.
  • An electronic device e.g., electronic device 101
  • the electronic device 101 can identify whether matching conditions for a depth map calculation method using a plurality of cameras are met.
  • the electronic device 101 may obtain depth map information based on the result of whether the matching condition is met.
  • the matching condition refers to a condition required to prevent errors from occurring when determining a depth map using a plurality of cameras due to differences between information obtained from a plurality of cameras (eg, cameras 203). In other words, if the matching condition is not met, an error can be expected to occur when determining the depth map using a plurality of cameras. For example, when the parallax between cameras increases due to low light or very close distance, the difference in information obtained from each camera may increase. Additionally, for example, depending on each type of camera, quality differences between acquired images may vary.
  • the electronic device 101 may acquire first image information of a frame using the first camera.
  • the electronic device 101 may obtain second image information of the frame using a second camera. Operations 301 and 303 may be performed on the same frame.
  • the electronic device 101 may acquire an image for the same frame through each of the plurality of cameras in order to determine a depth map using the plurality of cameras (e.g., a first camera and a second camera).
  • One of the first camera and the second camera may be used as a main camera, and the other may be used as a sub camera.
  • the first camera may be a wide-angle camera and the second camera may be an ultra-wide-angle camera.
  • the first camera may be an ultra-wide-angle camera and the second camera may be a wide-angle camera.
  • the first camera may be a telephoto camera and the second camera may be a wide-angle camera.
  • the first camera may be a wide-angle camera and the second camera may be a telephoto camera.
  • the electronic device 101 may determine a depth map calculation method based on the matching condition.
  • Matching conditions may refer to requirements for determining a depth map through image information acquired from a plurality of cameras (eg, cameras 203). For example, if the matching condition is not met, an error may be expected to occur when determining a depth map using a plurality of cameras.
  • the depth map calculation method includes a first method of determining a depth map using a plurality of cameras, a second method of determining a depth map using AI learning of a single camera, or a combination of the first method and the second method.
  • a third method for determining the depth map may be included.
  • the electronic device 101 may determine a depth map calculation method based on a matching condition according to the brightness value.
  • the electronic device 101 may use photometry using a camera, a brightness sensor (or illuminance sensor), and input image pixel values to obtain the brightness value.
  • the electronic device 101 may determine the depth map calculation method in a second method based on obtaining a brightness value that is smaller than the threshold value.
  • the electronic device 101 may determine the depth map calculation method as the first method based on obtaining a brightness value greater than or equal to the threshold value.
  • parallax may occur between cameras due to optical constraints.
  • the quality of the first camera may be better than that of the second camera, or the quality of the second camera may be better than that of the first camera.
  • the main camera may be a telephoto camera and the sub camera may be a wide-angle camera.
  • the quality of a wide-angle camera may be higher than that of a telephoto camera.
  • a depth map calculation method using multiple cameras when the angle of view of the main camera is smaller than the angle of view of the sub camera, it is advantageous to extract the depth map. Therefore, if the angle of view of the sub camera is narrower than that of the main camera, or if there is a large difference between the quality of the sub camera and the quality of the main camera, the depth map calculation method using a plurality of cameras may cause an error.
  • the electronic device 101 may determine a depth map calculation method based on a matching condition according to the proximity distance.
  • the electronic device 101 may use a time of flight (TOF) sensor, a structured light camera, a 3D image sensor, an array camera, or a depth map using a plurality of cameras to obtain the distance value.
  • TOF time of flight
  • the electronic device 101 may use a software acquisition method using a template, a software acquisition method using deep learning, or a calculation method using an autofocus value to obtain the distance value.
  • the electronic device 101 may determine the depth map calculation method in a second method based on obtaining a distance value of the object that is smaller than the reference value.
  • the electronic device 101 may determine the depth map calculation method as the first method based on obtaining the distance value greater than or equal to the standard.
  • the main camera may be a wide-angle camera and the sub-camera may be an ultra-wide-angle camera.
  • the sub-camera may be an ultra-wide-angle camera.
  • acquiring images through an ultra-wide-angle camera can provide higher quality than a wide-angle camera. Because there is a quality difference between the two cameras, it may be more advantageous to calculate the depth map using a single AI method.
  • the electronic device 101 may determine a depth map calculation method based on matching conditions based on image analysis.
  • the electronic device 101 can perform image analysis.
  • the electronic device 101 can analyze images acquired through each of the two cameras.
  • the electronic device 101 may determine a depth map calculation method based on the results of image analysis. For example, a depth map calculation method may be determined based on comparison between the occlusion occurrence area of the first image information and the occlusion occurrence area of the second image information.
  • the electronic device 101 may obtain first image information about the frame through the first camera.
  • the electronic device 101 may obtain second image information about the frame through the second camera.
  • the electronic device 101 may compare first image information and second image information.
  • the electronic device 101 may obtain difference information based on a comparison result of the first image information and the second image information.
  • the electronic device 101 may identify whether it is possible to obtain a depth map through combining the first image information and the second image information. According to one embodiment, the electronic device 101 determines the depth map calculation method as the first method based on identifying that acquisition of the depth map is possible through the combination of the first image information and the second image information. You can. The electronic device 101 may determine the depth map calculation method as a second method based on identifying that it is impossible to obtain a depth map through the combination of the first image information and the second image information. Additionally, according to one embodiment, the electronic device 101 may determine a depth map calculation method based on the degree of combination of the first image information and the second image information. The higher the degree of combination of the first image information and the second image information, the higher the weight applied to the first method can be. The lower the degree of combination of the first image information and the second image information, the higher the weight applied to the second method can be.
  • the electronic device 101 may determine a depth map calculation method based on at least one of the above-described matching conditions.
  • the electronic device 101 includes, according to a given situation, a first method for calculating a depth map using a plurality of cameras, a second method for calculating a depth map using an AI technique of a single camera, the first method and the By combining the second method, the method that provides the best performance (hereinafter referred to as optimal performance) among the third methods for determining the depth map can be identified.
  • good performance means that the depth map is derived more accurately.
  • the electronic device 101 may determine a first weight for the first method and a second weight for the second method.
  • the electronic device 101 may calculate the same weight for each frame of the image or calculate the weight independently for each region.
  • the weight refers to the ratio applied to each of the first method and the second method when calculating a depth map by combining the first method and the second method.
  • a first weight may be applied to the first method
  • a second weight may be applied to the second method.
  • the electronic device 101 may determine the first method as the depth map calculation method. As an example, the electronic device 101 may set the first weight to 0 and the second weight to 100%.
  • the electronic device 101 may determine the second method as the depth map calculation method. there is.
  • the electronic device 101 may set the first weight to 100% and the second weight to 0.
  • the electronic device 101 may use the third method in depth. It can be determined by the map calculation method.
  • the electronic device 101 can supplement the depth image of a single method (eg, the first method or the second method) by setting different weights for each region.
  • the electronic device 101 determines the second method as the depth map calculation method, or determines the second weight for the second method to be the depth map calculation method for the first method.
  • a third method which is set higher than the first weight, may be determined as the depth map calculation method. This is because in low-light environments, differences in brightness may occur due to differences in physical characteristics between cameras.
  • the electronic device 101 determines the second method as the depth map calculation method, or determines the second method as the depth map calculation method, or determines that the second weight for the second method is the first method.
  • a third method which is set higher than the first weight for the method, may be determined as the depth map calculation method. This is because at ultra-close distances, there is a large difference between the quality using a camera with a wide angle of view and the quality using a camera with a relatively narrow angle of view.
  • the electronic device 101 may determine the second method as the depth map calculation method for an area where luminance is saturated, an area containing a moving object, or an area where an object of a specified type is located. .
  • the electronic device 101 may determine a third method, in which the second weight for the second method is set higher than the first weight for the first method, as the depth map calculation method for the area. Depth map errors may occur in texture-less, reflective, saturated, or transparent subjects for which feature matching is difficult. Therefore, consistent processing may be required for a single object.
  • the electronic device 101 when the difference between image information acquired through two cameras is greater than a threshold, the electronic device 101 sets the second weight for the second method to be higher than the first weight for the first method.
  • the set third method may be determined as the depth map calculation method.
  • Image deviations eg, lens characteristics such as brightness, noise, sharpness, and distortion
  • the electronic device 101 combines the first image information acquired through the first camera and the second camera. Based on the difference between the second image information obtained through the depth map calculation method, it can be determined.
  • the electronic device 101 may obtain depth map information.
  • the electronic device 101 may identify at least one camera based on a depth map calculation method.
  • the electronic device 101 can identify a plurality of cameras.
  • the electronic device 101 may acquire depth map information based on a plurality of cameras.
  • the depth map calculation method is the second method, the electronic device 101 can identify a single camera (eg, a single camera).
  • the electronic device 101 may acquire depth map information based on the single camera.
  • the electronic device 101 may perform camera switching to improve the performance of a single camera.
  • the electronic device 101 may obtain depth map information through at least one identified camera.
  • the electronic device 101 may calculate depth information based on the weight to be applied to each method.
  • the electronic device 101 uses a depth map (hereinafter, first depth map) obtained according to a method using a plurality of cameras (e.g., a first method) and an AI method using deep learning of a single camera (
  • depth map information may be obtained by calculating local weights between depth maps (hereinafter referred to as second depth maps) obtained according to the second method.
  • the electronic device 101 may acquire depth map information using only the first method.
  • the depth map information may include a first depth map.
  • the weight applied to the second method may be 0.
  • the electronic device 101 may acquire depth map information using only the first method, without a depth map calculation procedure according to the second method. Additionally, as an example, the electronic device 101 may obtain depth map information using only the second method.
  • the depth map information may include a second depth map.
  • the weight applied to the first method may be 100%.
  • the electronic device 101 may obtain depth map information using only the second method, without the depth map calculation procedure according to the first method.
  • electronic device 101 may apply a background effect.
  • the electronic device 101 may distinguish areas of the frame image into a foreground area and a background area.
  • the electronic device 101 may identify the background area of the image based on depth map information. For example, the electronic device 101 may divide the foreground and background based on the focus area from the acquired depth information.
  • the electronic device 101 may apply a background effect to the background area.
  • the background effect refers to visual processing performed on the background area.
  • background effects may include bokeh effects, blur effects, or motion effects (e.g., zooming, spinning, panning).
  • the electronic device 101 may provide a background blur effect through a processing method such as blur processing or bokeh processing on the divided background.
  • the electronic device 101 may output an image to which a background effect is applied through a display.
  • the electronic device 101 may not calculate the depth map according to the first method.
  • the electronic device 101 can acquire a depth map based on a single camera without a depth map acquisition procedure using a plurality of cameras. By determining matching conditions in advance, the electronic device 101 can achieve more accurate performance with a smaller amount of calculation.
  • FIG. 3A an operation of determining a depth map calculation method after acquiring image information through a camera is described, but embodiments of the present disclosure are not limited thereto.
  • camera settings before acquiring image information through the camera, camera settings may be preferentially performed based on matching conditions.
  • FIG. 3B an embodiment in which camera settings according to matching conditions are preferentially performed is described.
  • FIG. 3B illustrates an operation flow of an electronic device for acquiring depth map information through a camera set based on a matching condition, according to an embodiment.
  • the electronic device 101 may identify a depth map calculation method based on a matching condition. Before capturing an image, the electronic device 101 may determine a depth map calculation method according to parameters obtained through a sensor of the electronic device 101. According to one embodiment, the electronic device 101 may obtain a brightness value through an illumination sensor. The electronic device 101 may determine a depth map calculation method based on the brightness value. For example, the electronic device 101 may determine the depth map calculation method as the first method based on identifying that the brightness value is greater than or equal to a threshold value. Additionally, for example, the electronic device 101 may determine the depth map calculation method as a second method based on identifying that the brightness value is less than a threshold value.
  • the electronic device 101 may obtain a distance value through a distance sensor, a 3D image sensor, or a structured light camera.
  • the electronic device 101 may determine a depth map calculation method based on the distance value. For example, the electronic device 101 may determine the depth map calculation method as the first method based on identifying that the distance value is greater than or equal to the reference value. Additionally, for example, the electronic device 101 may determine the depth map calculation method as a second method based on identifying that the distance value is less than the reference value.
  • electronic device 101 may identify one or more cameras.
  • the electronic device 101 may identify one or more cameras among a plurality of cameras based on a depth map calculation method.
  • the electronic device 101 may identify at least two or more cameras.
  • the electronic device 101 can identify one camera.
  • an ultra-wide-angle camera may provide the electronic device 101 with images of better quality than a wide-angle camera.
  • good quality may mean that the subject is captured more clearly due to the focal length.
  • the electronic device 101 may identify the ultra-wide-angle camera as the main camera.
  • the electronic device 101 may identify an ultra-wide-angle camera when the main subject, for example, an object, is located within a reference value.
  • the electronic device 101 may activate the ultra-wide-angle camera. If the current main camera is not an ultra-wide-angle camera, the electronic device 101 can set the main camera to an ultra-wide-angle camera through camera switching.
  • a wide-angle camera may provide the electronic device 101 with images of better quality than a telephoto camera.
  • the electronic device 101 may identify the wide-angle camera as the main camera.
  • the electronic device 101 may identify a wide-angle camera in an environment where brightness is lower than a threshold value, for example, in a low-light environment.
  • the electronic device 101 may activate the wide-angle camera. If the current main camera is not a wide-angle camera, the electronic device 101 can set the main camera to a wide-angle camera through camera switching.
  • the electronic device 101 may acquire image information.
  • the electronic device 101 may acquire image information through one or more identified cameras.
  • the electronic device 101 in a close environment (an object located at a distance less than a reference value), the electronic device 101 may acquire image information through an ultra-wide-angle camera.
  • the electronic device 101 in a low-light environment (an environment with a brightness value below a threshold value), the electronic device 101 may acquire image information through a wide-angle camera.
  • the electronic device 101 may obtain image information through each of the plurality of cameras.
  • the electronic device 101 may obtain depth map information. According to one embodiment, the electronic device 101 may obtain depth map information based on the first method. The electronic device 101 may obtain depth map information based on the first method without calculating the depth map using the second method. The electronic device 101 may obtain depth map information by combining image information acquired through each of a plurality of cameras. According to another embodiment, the electronic device 101 may acquire depth map information based on the second method. The electronic device 101 may acquire depth map information based on the main camera set through the second method and the main camera's AI learning technique. The electronic device 101 may obtain depth map information based on the second method without calculating the depth map using a plurality of cameras.
  • electronic device 101 may apply a background effect.
  • the electronic device 101 may distinguish areas of the frame image into a foreground area and a background area.
  • the electronic device 101 may identify the background area of the image based on the depth map information in operation 357.
  • the electronic device 101 may apply a background effect (eg, bokeh effect, blur effect, or motion effect (eg, zooming, spin, panning)) to the background area.
  • the electronic device 101 may output an image to which a background effect is applied through a display.
  • FIG. 4A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to a brightness value, according to an embodiment.
  • the electronic device eg, the electronic device 101
  • the various methods may include a first method of determining a depth map using a plurality of cameras and a second method of determining a depth map using AI learning of a single camera.
  • the operation of the electronic device 101 may be performed by a processor (eg, processor 201) and an illumination sensor (eg, sensor 205).
  • the electronic device 101 may obtain a brightness value.
  • the electronic device 101 may obtain the brightness value of the frame through an illumination sensor (eg, sensor 205). Additionally, according to one embodiment, the electronic device 101 may obtain a brightness value based on the pixel value of the captured image. Additionally, according to one embodiment, the electronic device 101 may obtain a brightness value based on photometry through at least one camera.
  • the electronic device 101 may identify whether the brightness value is less than a threshold value.
  • the electronic device 101 can identify whether the surrounding environment in which images are captured is a low-light environment.
  • the threshold can be used to identify whether errors in the depth map are expected due to quality differences between cameras. In extremely low light, differences in physical characteristics (e.g. lenses, sensor performance) between cameras can be maximized. Due to differences in exposure values or differences in light receivers, the lower the illumination level, the greater the quality difference between images obtained through cameras may occur.
  • the electronic device 101 may perform operation 405 when the brightness value is not less than the threshold value.
  • the electronic device 101 may perform operation 407 when the brightness value is less than the threshold value.
  • the electronic device 101 may determine the first method as the depth map calculation method.
  • the electronic device 101 may acquire a depth map using a plurality of cameras.
  • the electronic device 101 may acquire a depth map using a plurality of cameras if the current brightness value is not dark enough to cause an error due to performance differences between cameras.
  • the electronic device 101 may determine the second method as the depth map calculation method.
  • the electronic device 101 can acquire a depth map through the learning results of a single camera. At this time, if the quality of the image acquired through the sub camera is better than the quality of the image acquired through the main camera of the electronic device 101, the electronic device 101 switches the camera so that the current sub camera becomes the main camera. can be performed.
  • FIG. 4B shows an example of selection of a depth map calculation method according to brightness values, according to one embodiment.
  • an electronic device may acquire images for a frame through a plurality of cameras.
  • the electronic device 101 may acquire the first image 451 from the frame through the first camera.
  • the electronic device 101 may acquire the second image 453 from the frame through the second camera.
  • the electronic device 101 can obtain a brightness value.
  • the electronic device 101 may determine a depth map calculation method based on the brightness value.
  • the electronic device 101 may determine a depth map calculation method based on the brightness value of a sub-camera (eg, a second camera).
  • the electronic device 101 may obtain the brightness value of the second image 453.
  • the electronic device 101 may obtain the depth map using the second method.
  • the electronic device 101 may determine a depth map calculation method based on the brightness value of at least one of the first camera and the second camera.
  • the electronic device 101 may obtain the brightness value of the first image 451.
  • the electronic device 101 may obtain the brightness value of the second image 453.
  • the electronic device 101 may obtain the depth map using the second method. Meanwhile, unlike what was described above, according to one embodiment, the electronic device 101 may obtain a depth map using the second method when the difference in brightness values between the two cameras is greater than or equal to a threshold value.
  • a large difference in brightness value means that there is a large difference in the amount of light between the images acquired through the two cameras. These brightness differences can cause errors in depth maps through image combining.
  • the electronic device 101 may acquire the first depth map 461 using a plurality of cameras. For example, the electronic device 101 may acquire the first depth map 461 based on the first method.
  • the electronic device 101 may acquire the second depth map 463 using a single camera AI learning technique. For example, the electronic device 101 may acquire the second depth map 463 based on the second method. As shown in FIG. 4B , depth information related to the main subject in the first image 451 may be more clearly identified in the second depth map 463 than in the first depth map 461 .
  • the electronic device 101 may select a depth map calculation method based on the brightness value of the main camera.
  • the main camera may be a first camera
  • the sub camera may be a second camera.
  • the electronic device 101 may identify that the brightness value of the first camera is lower than the reference value.
  • the electronic device 101 may select the second method as the depth map calculation method.
  • the electronic device 101 can perform camera switching.
  • the electronic device 101 may set the main camera as the second camera. Since the exposure value of the second camera is large, a depth map can be calculated based on the learning results of the second camera.
  • the electronic device 101 selects the depth map calculation method as the first method or the second method, but embodiments of the present disclosure are not limited thereto.
  • the electronic device 101 may acquire the depth map through a third method that combines the first method and the second method.
  • the second weight applied to the second method may be set higher than the first weight applied to the first method.
  • FIG. 5A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to a distance value, according to an embodiment.
  • the electronic device eg, the electronic device 101
  • the various methods may include a first method of determining a depth map using a plurality of cameras and a second method of determining a depth map using AI learning of a single camera.
  • the operation of the electronic device 101 may be performed by a processor (eg, processor 201) and a distance detection sensor (eg, sensor 205).
  • the electronic device 101 may obtain a distance value.
  • the distance value means the distance from the main subject in the captured image.
  • the electronic device 101 may obtain a distance value through a distance detection sensor (eg, TOF sensor) (eg, sensor 205). Additionally, according to one embodiment, the electronic device 101 may obtain a distance value through a 3D image sensor (eg, sensor 205). Additionally, according to one embodiment, the electronic device 101 may obtain a distance value through a structured light camera.
  • a distance detection sensor eg, TOF sensor
  • a 3D image sensor eg, sensor 205
  • the electronic device 101 may obtain a distance value through a structured light camera.
  • the electronic device 101 may identify whether the distance value is smaller than the reference value.
  • the electronic device 101 can identify whether the object that is the target of image capturing is located in close proximity.
  • the reference value can be used to identify whether errors in the depth map are expected due to quality differences between cameras. At very close range, there may be a large parallax between cameras.
  • the reference value may be determined based on cameras set in the electronic device 101. For example, the reference value for when the main camera is a wide-angle camera and the sub-camera is an ultra-wide-angle camera may be different from the reference value for when the main camera is a telephoto camera and the sub-camera is a wide-angle camera.
  • the electronic device 101 may perform operation 505 when the distance value is greater than or equal to the reference value.
  • the electronic device 101 may perform operation 507 when the distance value is smaller than the reference value.
  • the electronic device 101 may determine the first method as the depth map calculation method.
  • the electronic device 101 may acquire a depth map using a plurality of cameras. If the location of an object is not close enough to cause an error due to a difference in angle of view between cameras, the electronic device 101 may acquire a depth map using a plurality of cameras.
  • the electronic device 101 may determine the second method as the depth map calculation method.
  • the electronic device 101 can acquire a depth map through the learning results of a single camera.
  • the electronic device 101 determines that the quality of the image acquired through the sub-camera at a very close distance is higher than the quality of the image acquired through the main camera. can be identified.
  • the electronic device 101 may perform camera switching so that the current sub camera becomes the main camera.
  • FIG. 5B shows an example of selection of a depth map calculation method according to a distance value, according to one embodiment.
  • an electronic device may obtain the distance from the object 555 in the image 551.
  • the electronic device 101 may determine a depth map calculation method based on the obtained distance.
  • the electronic device 101 may acquire a depth map using the second method.
  • the electronic device 101 may identify whether the difference between the angle of view provided by the first camera and the angle of view provided by the second camera is large.
  • the main camera may be a first camera, and the first camera may be an ultra-wide-angle camera.
  • the sub-camera may be a second camera, and the second camera may be a wide-angle camera.
  • the electronic device 101 may acquire the depth map based on a single camera AI technique, for example, the second method.
  • the electronic device 101 may acquire the first depth map 561 using a plurality of cameras. For example, the electronic device 101 may acquire the first depth map 561 based on the first method.
  • the electronic device 101 may acquire the second depth map 563 using a single camera AI learning technique. For example, the electronic device 101 may obtain the second depth map 563 based on the second method. As shown in FIG. 5B , depth information related to the main subject in the first image 551 may be more clearly identified in the second depth map 563 than in the first depth map 461 .
  • 5A and 5B illustrate an example in which the electronic device 101 selects the depth map calculation method as the first method or the second method, but embodiments of the present disclosure are not limited thereto.
  • the electronic device 101 may acquire the depth map through a third method that combines the first method and the second method.
  • the second weight applied to the second method may be set higher than the first weight applied to the first method.
  • FIG. 6A illustrates an operation flow of an electronic device for selecting a depth map calculation method according to an object type, according to an embodiment.
  • Error-prone object types can be predefined.
  • the electronic device eg, the electronic device 101
  • the depth map calculation method includes a first method of determining a depth map using a plurality of cameras, a second method of determining a depth map using AI learning of a single camera, or a combination of the first method and the second method.
  • a third method for determining the depth map may be included.
  • the operation of the electronic device 101 may be performed by a processor (eg, processor 201).
  • the electronic device 101 may identify an object within the frame.
  • the electronic device 101 may acquire an image for the frame through at least one camera.
  • the electronic device 101 can identify the object from the image.
  • the electronic device 101 may identify the object based on an object detection algorithm. For example, the electronic device 101 may recognize an object in an image through matching feature points of the object (eg, feature matching).
  • the electronic device 101 may determine whether the identified object corresponds to a specified type.
  • the designated type represents characteristics of an object that are likely to cause errors in the depth map due to differences in image information obtained from each of the plurality of cameras of the first method.
  • the designated type may be a transparent material.
  • items corresponding to the transparent material may include glass cups, straws, or glasses.
  • the transparency of an object increases, the number of feature points in the image may decrease. The smaller the number of feature points, the more difficult feature matching becomes. Accordingly, a difference may occur between the result of feature matching for an object in the image of the first camera in the first method and the result of feature matching for the object in the image of the second camera in the second method.
  • the designated type may be a repeated pattern (or mesh pattern).
  • the view point at each camera is different. Due to the repeating pattern of an object, the perspective of the same object may be perceived differently between the two cameras.
  • the results of feature matching for the object may be different. For example, there may be a difference between information about an object obtained from an image of a first camera in a first method and information about an object obtained from an image of a second camera of a second method.
  • the designated type may be texture-less.
  • An object with no texture refers to an object that has almost no patterns on its surface. There are almost no patterns, so feature matching is not easy. Even if the object is detected with an individual stereo camera, differences may occur between the information obtained from the cameras. For example, due to the small number of feature points, it is difficult for the first method to provide stable depth map information.
  • the electronic device 101 may perform operation 605 when the identified object corresponds to a specified type.
  • the electronic device 101 may perform operation 607 when the identified object does not correspond to the specified type.
  • the electronic device 101 may perform a second method-based weight calculation.
  • the second method-based weight calculation refers to an operation of setting the second weight to be applied to the second depth map according to the second method higher than the first weight to be applied to the first depth map according to the first method. If the electronic device 101 determines that it is difficult to provide a stable depth map through the cameras of the first method due to the transparent material, texture, or repetitive pattern of the object, the electronic device 101 may use the second method. You can. The electronic device 101 determines the second method as the depth map calculation method, or calculates the depth map using the third method in which the second weight for the second method is set higher than the first weight for the first method. It can be decided in this way.
  • the electronic device 101 may perform first method-based weight calculation.
  • the first method-based weight calculation refers to an operation of setting the first weight to be applied to the first depth map according to the first method to be higher than the second weight to be applied to the second depth map according to the second method.
  • the electronic device 101 may identify that, if it is an object whose features are easy to match, a stable depth map can be provided through the first-type cameras.
  • the electronic device 101 may use the first method.
  • the electronic device 101 determines the first method as the depth map calculation method, or calculates the depth map using a third method in which the first weight for the first method is set higher than the second weight for the second method. It can be decided in this way.
  • FIG. 6B shows an example of selection of a depth map calculation method depending on object type, according to one embodiment.
  • the electronic device e.g., the electronic device 101
  • the electronic device 101 may acquire the first depth map 651 using a plurality of cameras.
  • the electronic device 101 may acquire the first depth map 651 based on the first method.
  • Objects 655 within the image may be included.
  • the object 655 may be glasses containing a transparent material (eg, glass).
  • the object 655 cannot be accurately detected using only the first depth map 651.
  • the electronic device 101 may acquire images through at least one camera.
  • the electronic device 101 can detect an object 655 within the image.
  • the electronic device 101 may determine a depth map calculation method based on the object 655.
  • the electronic device 101 may add a weight for the object 655 to the first depth map 651 according to the first method.
  • the electronic device 101 may determine a different depth map calculation method for the area of the object 655 within the image.
  • the area of the object 655 refers to the physical area occupied by the object 655 within the image. Since it is not easy to detect the object 655 using only the first depth map 651, the electronic device 101 may detect the object 655 based on the second method.
  • the electronic device 101 may set a high weight to the object 655 based on the AI learning technique of a single camera.
  • the electronic device 101 may determine the depth map calculation method for the area of the object 655 using a second method.
  • the second weight for the second method may be 100%.
  • the electronic device 101 uses the second depth map according to the second method for the area of the object 655, and uses the first depth map for the area excluding the area of the object 655 in the image.
  • the first depth map 651 according to can be used.
  • the electronic device 101 combines the first depth map 651 for an area excluding the area of the object 655 in the image with the second depth map for the area of the object 655,
  • the final depth map 661 can be obtained.
  • the object 655 can be identified more clearly in the final depth map 661 in which object information is reflected than when only the first depth map 651 is used.
  • the electronic device 101 divides the image into a plurality of local areas and sets a different depth map calculation method for each local area.
  • the difference in the depth map calculation method may include not only the distinction between the first method, the second method, and the third method, but also the fact that the first weight and the second weight are set differently in the third method.
  • Figure 7 shows an example of selection of a depth map calculation method for each region, according to one embodiment.
  • the electronic device 101 may divide the image 700 obtained from the frame into a plurality of areas.
  • the electronic device 101 may determine a depth map calculation method for each area.
  • the electronic device 101 may determine a depth map calculation method for each region based on the detected object.
  • an object may be detected within image 700.
  • the electronic device 101 may divide the image 700 into an external area 701 and an area 703 where an object is detected.
  • the external area 701 may be an area in which an object is not detected among the plurality of areas of the image 700, for example, an area excluding the area 703 in which an object is detected.
  • the electronic device 101 may obtain a depth map for the area 703 where the object is detected based on the second method.
  • the electronic device 101 may obtain a depth map for the external area 701 based on another method.
  • the other method may mean the first method or a third method based on a combination of the first method and the second method.
  • the electronic device 101 may determine a depth map calculation method for each region based on the brightness value. As an example, different brightness values may be identified for each area within the image 700. Unlike an illumination sensor, brightness values according to pixels in an image or brightness values based on camera metering may be determined differently within one image 700. The electronic device 101 may obtain a depth map based on the second method for an area where the measured brightness value is lower than the threshold. Additionally, according to one embodiment, the electronic device 101 may determine a depth map calculation method for each region based on identifying a saturated region or moving region in the high dynamic range (HDR) function.
  • HDR high dynamic range
  • the electronic device 101 may identify a saturated area extracted during the HDR blending process.
  • the electronic device 101 may obtain a depth map for the saturated area based on the second method. This is because, in areas where brightness is saturated, there is a high probability that an error will occur in the depth map according to the first method.
  • the electronic device 101 may identify a moving area according to the exposure value.
  • the electronic device 101 may obtain a depth map for the moving area based on the second method. Like the saturated area, in the moving area, an error may occur in the depth map according to the first method.
  • Figure 8A shows an example of image processing using a depth map at close range, according to one embodiment.
  • the electronic device 101 may acquire the image 801 based on the first method.
  • the first depth map 811 does not accurately represent the depth of a transparent object (eg, a glass cup). Accordingly, the electronic device 101 may determine that the area 830 for the object in the first depth map 811 is the background area.
  • the electronic device 101 may apply a background effect to the area 830. Referring to image 801, blurring can be seen in the area 830. However, since transparent objects correspond to the foreground rather than the background area, blurring is not appropriate.
  • the electronic device 101 may acquire the image 803 based on a second method, based on identifying an object in the image as a transparent object.
  • the second depth map 813 indicates that a transparent object (eg, a glass cup) is located close to the camera.
  • the electronic device 101 may determine that the area 840 for the object in the second depth map 813 is the foreground area.
  • the electronic device 101 does not apply a background effect to the area 840.
  • FIG. 8B shows an example of image processing using a depth map in low light, according to one embodiment.
  • the electronic device 101 may acquire the image 851 based on the first method.
  • the first depth map 861 does not accurately represent the depth of a low-light object (eg, a flower). Accordingly, the electronic device 101 may determine that the area 880 for the object in the first depth map 811 is the foreground area. The electronic device 101 may not apply a background effect to the area 880. In this area 880 of image 851, the object is displayed clearly, without blurring. It can be confirmed. However, since the object corresponds to a background area, a background effect (eg, blurring) is required.
  • a background effect eg, blurring
  • the electronic device 101 may acquire the image 853 based on a second method, based on identifying a low-light environment. Referring to the second depth map 863 according to the second method, the second depth map 863 indicates that the distance from the object (eg, flower) is further than objects in other foreground areas.
  • the electronic device 101 may determine that the area 890 for the object in the second depth map 813 is a background area.
  • the electronic device 101 may apply a background effect to the area 840. In this area 840 of image 853, blurring may be applied.
  • FIG. 9 illustrates an operation flow of an electronic device for determining a depth map calculation method according to characteristics of an area, according to an embodiment.
  • the operation of an electronic device eg, electronic device 101
  • a processor eg, processor 201
  • the electronic device 101 may identify whether a saturation area exists.
  • the saturated area refers to the area where brightness is saturated in the HDR (high dynamic range) function. In saturated areas of the image, it is difficult to accurately represent the brightness experienced by actual users. According to the first method, it may not be easy to obtain an accurate depth map even if the images are combined. Accordingly, the electronic device 101 can identify whether a saturated area exists in the image.
  • the electronic device 101 may perform operation 903 when there is no saturated area in the image.
  • the electronic device 101 may perform operation 909 when a saturated area exists in the image.
  • the electronic device 101 may identify whether a movement area exists.
  • a moving area refers to an area where a moving object is captured within an image. As the object moves, the exposure value may change. Due to changing exposure values, it may not be easy to obtain an accurate depth map even if the images are combined according to the first method. Accordingly, the electronic device 101 can identify whether a moving area exists in the image.
  • the electronic device 101 may perform operation 905 when there is no moving area in the image.
  • the electronic device 101 may perform operation 909 when a moving area exists in the image.
  • the electronic device 101 may identify whether a specified object is detected.
  • the electronic device 101 may identify that for objects of a specific type (e.g., transparent material, repeating pattern, mesh pattern, no texture), it is not easy to obtain an accurate depth map even if the images are combined according to the first method. You can.
  • the descriptions of FIGS. 6A and 6B may be referred to for the operation of the electronic device 101.
  • the electronic device 101 may perform operation 907 when the specified object is not detected in the image.
  • the electronic device 101 may perform operation 909 when a specified object is detected in the image.
  • the electronic device 101 may perform first method-based weight calculation.
  • the first method-based weight calculation refers to an operation of setting the first weight to be applied to the first depth map according to the first method to be higher than the second weight to be applied to the second depth map according to the second method.
  • the electronic device 101 may identify that, if it is an object whose features are easy to match, a stable depth map can be provided through the first-type cameras.
  • the electronic device 101 may use the first method.
  • the electronic device 101 determines the first method as the depth map calculation method, or calculates the depth map using a third method in which the first weight for the first method is set higher than the second weight for the second method. It can be decided in this way.
  • the electronic device 101 may perform a second method-based weight calculation.
  • the second method-based weight calculation refers to an operation of setting the second weight to be applied to the second depth map according to the second method higher than the first weight to be applied to the first depth map according to the first method. If the electronic device 101 determines that it is difficult to provide a stable depth map through the cameras of the first method due to the transparent material, texture, or repetitive pattern of the object, the electronic device 101 may use the second method. You can. The electronic device 101 determines the second method as the depth map calculation method, or calculates the depth map using the third method in which the second weight for the second method is set higher than the first weight for the first method. It can be decided in this way.
  • FIG. 9 three operations 901, 903, and 905 are shown sequentially, but embodiments of the present disclosure are not limited thereto.
  • at least some of the conditions shown in FIG. 9 may be performed in parallel.
  • the electronic device 101 may perform all in parallel (or independently) whether to identify a saturation area in operation 901, identify a moving area in operation 903, or detect an object in operation 905. there is. For example, whether a specific condition is met does not affect whether another specific condition is met.
  • at least some of the conditions shown in FIG. 9 may be omitted.
  • the electronic device 101 may perform only operations 901 and 905, but not operation 903.
  • the electronic device 101 may perform only operations 903 and 905 and not perform operation 901.
  • FIGS. 4A to 9 an example of determining a depth map calculation method is described based on an indirect condition in which the difference between the acquired images is expected to be high, rather than a direct comparison between the acquired images.
  • the electronics may determine how to calculate the depth map based on low-light environments, close-up environments, or unusual types of objects where variation between cameras is expected to be high.
  • embodiments of the present disclosure are not limited thereto.
  • the electronic device 101 can identify whether registration is possible to calculate the depth map without error by comparing images that are actually acquired.
  • FIG. 10 operations of an electronic device that determines a depth map calculation method through comparison between actually acquired images are described.
  • FIG. 10 illustrates an operation flow of an electronic device for determining a depth map calculation method based on image information differences between cameras, according to an embodiment.
  • the operation of an electronic device eg, electronic device 101
  • a processor eg, processor 201
  • the electronic device 101 may compare first image information from the first camera and second image information from the second camera.
  • the electronic device 101 may capture a frame through the first camera.
  • the electronic device 101 may obtain first image information about the frame through the first camera.
  • the electronic device 101 may capture a frame through the second camera.
  • the electronic device 101 may obtain second image information about the frame through the second camera.
  • the electronic device 101 may obtain the difference between two image information to calculate a depth map according to the first method.
  • the electronic device 101 may compare the first image information and the second image information to obtain a difference between the two image information.
  • the electronic device 101 may identify whether the difference information is greater than a matching threshold.
  • the electronic device 101 may obtain difference information based on a comparison result of the first image information and the second image information.
  • the parameter being compared may be related to the quality of the image.
  • image information may include exposure values.
  • the exposure value (eg, -EV) of the first image information may be related to the type of the first camera (eg, telephoto camera).
  • the exposure value (eg, 0 EV) of the second image information may be related to the type of the second camera (eg, wide-angle camera).
  • the depth map obtained by combining the first image information and the second image information may contain incorrect information.
  • the image information may include focal length.
  • the focal length (eg, about 10 cm) of the first image information may be related to the type of the first camera (eg, wide-angle camera).
  • the focal length (eg, about 3 cm) of the second image information may be related to the type of the second camera (eg, ultra-wide-angle camera).
  • the surrounding image of the wide-angle camera may be blurred at a close distance, so the depth map obtained by combining the first image information and the second image information may contain incorrect information.
  • the electronic device 101 may perform operation 1005 when the difference information is greater than the matching threshold.
  • the electronic device 101 may perform operation 1007 when the difference information is not greater than the matching threshold.
  • the electronic device 101 may perform a second method-based weight calculation.
  • the second method-based weight calculation refers to an operation of setting the second weight to be applied to the second depth map according to the second method higher than the first weight to be applied to the first depth map according to the first method.
  • the higher the similarity between the first image information and the second image information the lower the probability that the depth calculated for each pixel will be distorted due to the combination of the first image and the second image information. For example, if the difference between image information acquired through two cameras is greater than the matching threshold, the electronic device 101 may determine that there is a high probability that an error will occur in the depth map according to the first method.
  • the electronic device 101 determines the second method as the depth map calculation method, or calculates the depth map using the third method in which the second weight for the second method is set higher than the first weight for the first method. It can be decided in this way.
  • the electronic device 101 may perform first method-based weight calculation.
  • the first method-based weight calculation refers to an operation of setting the first weight to be applied to the first depth map according to the first method to be higher than the second weight to be applied to the second depth map according to the second method.
  • the electronic device 101 may determine that the reliability of depth information calculated by combining the first image information and the second image information is high because the difference between the first image information and the second image information is small. Accordingly, the electronic device 101 can obtain a stable depth map through combining the first image information and the second image information.
  • the electronic device 101 may use the first method.
  • the electronic device 101 determines the first method as the depth map calculation method, or calculates the depth map using a third method in which the first weight for the first method is set higher than the second weight for the second method. It can be decided in this way.
  • FIG. 11 illustrates an operation flow of an electronic device for acquiring a depth map through camera switching according to an embodiment.
  • a situation is described in which the main camera and sub camera are currently set, and the depth map calculation method is determined to be a second method, for example, a single camera AI method.
  • an electronic device can identify matching conditions.
  • the electronic device 101 may identify the matching condition used to determine the second method. If the matching condition is not met, the electronic device 101 may determine the depth map calculation method using the second method.
  • the electronic device 101 may identify a condition that requires the brightness value to be less than a threshold value, for example, a condition indicating low illumination. Additionally, according to one embodiment, the electronic device 101 may identify a condition requiring that the distance to the object be shorter than a reference value, for example, a condition indicating an ultra-close distance.
  • the electronic device 101 may perform camera switching based on camera settings.
  • the electronic device 101 may identify camera settings corresponding to matching conditions.
  • the camera setting corresponding to the matching condition refers to the camera setting that shows the best performance in an environment where the matching condition is not met.
  • Camera settings may include the camera type that is activated.
  • the electronic device 101 may identify the currently set main camera. At this time, if the performance of the main camera is lower than that of the sub camera, the electronic device 101 may perform camera switching.
  • the electronic device 101 may display a user interface (UI) for guiding camera switching through a display.
  • UI user interface
  • the main camera may be a wide-angle camera
  • the sub-camera may be an ultra-wide-angle camera.
  • the quality of the sub-camera is higher than that of the wide-angle camera.
  • high quality means that the object is well focused
  • low quality may mean that misfocus occurs or surrounding images are blurred due to lens characteristics (e.g., depth of field or distortion).
  • the electronic device 101 can change the main camera from a wide-angle camera to an ultra-wide-angle camera. Meanwhile, if the sub camera is not an ultra-wide-angle camera or the sub camera is not set, the electronic device 101 may activate the sub camera.
  • the main camera may be a telephoto camera and the sub camera may be a wide-angle camera.
  • the quality of a wide-angle camera may be higher than that of a telephoto camera.
  • the f value e.g., f/number
  • the f value is the focal length divided by the diameter through which light passes, and can represent the amount of light. Images acquired through a wide-angle camera may be clearer than images acquired through a telephoto camera.
  • the electronic device 101 can change the main camera from a telephoto camera to an ultra-wide-angle camera.
  • the electronic device 101 may obtain depth map information based on the second method.
  • the electronic device 101 may acquire depth map information based on the changed AI technique of the main camera.
  • the electronic device 101 may separate the background area and foreground area of the image and perform effect processing (eg, single bokeh processing) designated on the background area.
  • Determination of the depth map calculation method is performed before calculating the depth map using a camera, thereby improving calculation speed and accuracy.
  • the electronic device determines the matching condition for the first method before calculating the depth map according to the first method, thereby dividing the foreground and background and providing a background blur effect using two or more cameras. Possible errors can be reduced.
  • the electronic device can create a depth map with excellent performance regardless of conditions such as distance or illumination.
  • the applied image can be printed.
  • an electronic device includes at least one sensor, a plurality of cameras, a display, a memory configured to store instructions, and an electronic device operatively configured with the at least one sensor, the plurality of cameras, the display, and the memory. It may include at least one processor combined with. The at least one processor may perform designated operations as the instructions are executed. The at least one processor may be configured to obtain first image information about a frame using a first camera among the plurality of cameras. It may be configured to obtain second image information about the frame using a second camera among the plurality of cameras. The at least one processor is configured to match at least one matching condition related to at least one of a difference between the first image information and the second image information, a brightness value of the frame, or an object detected in the frame.
  • the at least one processor may be configured to obtain depth map information based on at least one camera identified according to the depth map calculation method.
  • the at least one processor may be configured to display, through the display, an image to which a specified process has been applied to a background area based on the depth map information.
  • the at least one processor may include a depth map calculation method, a first method for determining the depth map through the plurality of cameras, and a second method for determining the depth map through a single camera among the plurality of cameras. It may be determined based at least in part on.
  • the at least one processor may be configured to obtain the brightness value through an illumination sensor to determine a method of calculating the depth map.
  • the at least one processor may be configured to identify the first method as the depth map calculation method when the obtained brightness value is greater than or equal to a threshold value to determine the depth map calculation method.
  • the at least one processor may be configured to identify the second method as the depth map calculation method when the obtained brightness value is less than the threshold value to determine the depth map calculation method.
  • the at least one processor may be configured to obtain a distance value from the object through a distance sensor to determine the depth map calculation method.
  • the at least one processor may be configured to identify the second method as the depth map calculation method when the obtained distance value is less than a reference value to determine the depth map calculation method.
  • the at least one processor may be configured to identify the first method as the depth map calculation method when the obtained distance value is greater than or equal to the reference value.
  • the at least one processor may be configured to detect the object within the frame through an object detection algorithm to determine a method of calculating the depth map.
  • the at least one processor may be configured to identify whether the detected object corresponds to a specified type to determine how to calculate the depth map.
  • the at least one processor applies a first weight to the first method when the detected object corresponds to a specified type, and applies the first weight to the second method. It may be configured to determine how to apply a larger second weight.
  • the designated type may be an object with a repeating pattern, no texture, or an object containing a transparent material.
  • the at least one processor may use the first depth map information obtained through the first method for one region among the plurality of regions of the frame. It may be configured to apply a first weight corresponding to one area. The at least one processor may be configured to apply a second weight corresponding to the region to second depth map information obtained through the second method in order to obtain the depth map information. In order to obtain the depth map information, the at least one processor generates the depth map information based on the first depth map information to which the first weight is applied and the second depth map information to the second weight. It can be configured to obtain.
  • the at least one processor may be configured to identify a saturation area of high dynamic range (HDR) within the frame to determine a method for calculating the depth map.
  • the at least one processor may be configured to determine a depth map calculation method for the saturated area using the second method, in order to determine the depth map calculation method.
  • HDR high dynamic range
  • the at least one processor in order to determine the depth map calculation method, determines a first frame captured using a first exposure value and a second exposure value different from the first exposure value. Based on the second frame captured through, it may be configured to identify a moving area within the frame. The at least one processor may be configured to determine a depth map calculation method for the moving area using the second method in order to determine the depth map calculation method.
  • the at least one processor may be configured to identify an area corresponding to the object within the frame to determine a method for calculating the depth map.
  • the at least one processor may be configured to determine a depth map calculation method for the identified area using the second method, in order to determine the depth map calculation method.
  • the at least one processor may be configured to identify a background area and a foreground area in the frame to display the image.
  • the at least one processor may be configured to apply a bokeh effect to the background area to display the image.
  • the at least one processor may be configured to obtain the image by combining the background area to which the bokeh effect is applied and the foreground area to display the image.
  • the at least one processor may be configured to display the acquired image through the display to display the image.
  • a method performed by an electronic device may include obtaining first image information about a frame using a first camera among a plurality of cameras.
  • the method may include obtaining second image information for the frame using a second camera among the plurality of cameras.
  • the method is based on at least one matching condition related to at least one of a difference between the first image information and the second image information, a brightness value of the frame, or an object detected in the frame, depth May include operations that determine how the depth map is calculated.
  • the method may include obtaining depth map information for the frame based on at least one camera identified according to the depth map calculation method.
  • the method may include displaying, through a display, an image to which a specified process has been applied to a background area based on the depth map information.
  • the depth map calculation method is based at least in part on a first method for determining the depth map through the plurality of cameras and a second method for determining the depth map through a single camera among the plurality of cameras. at least in part on), can be determined.
  • the operation of determining the depth map calculation method may include obtaining the brightness value through an illumination sensor.
  • the operation of determining the depth map calculation method may include obtaining a distance value from the object through a distance detection sensor.
  • the operation of determining the depth map calculation method may include identifying the second method as the depth map calculation method when the obtained distance value is less than a reference value.
  • the operation of determining the depth map calculation method may include identifying the first method as the depth map calculation method when the obtained distance value is greater than or equal to the reference value.
  • the operation of determining the depth map calculation method may include detecting the object within the frame through an object detection algorithm.
  • the operation of determining the depth map calculation method may include the operation of identifying whether the detected object corresponds to a specified type.
  • the operation of determining the depth map calculation method includes, when the detected object corresponds to a specified type, applying a first weight to the first method and applying a second weight greater than the first weight to the second method. It may contain actions that determine how to apply it.
  • the designated type may be an object with a repeating pattern, no texture, or an object containing a transparent material.
  • the operation of determining the depth map calculation method includes, for one area among a plurality of areas of the frame, corresponding to the one area in the first depth map information obtained through the first method.
  • An operation of applying the first weight may be included.
  • the operation of determining the depth map calculation method may include applying a second weight corresponding to the region to second depth map information obtained through the second method.
  • the operation of determining the depth map calculation method includes obtaining the depth map information based on the first depth map information to which the first weight is applied and the second depth map information to the second weight. can do.
  • the operation of determining the depth map calculation method may include the operation of identifying a saturation area of high dynamic range (HDR) within the frame.
  • the operation of determining the depth map calculation method may include determining the depth map calculation method for the saturated area as the second method.
  • the operation of determining the depth map calculation method includes a first frame captured through a first exposure value and a second frame captured through a second exposure value different from the first exposure value. Based on the frame, the operation may include identifying a moving area within the frame. The operation of determining the depth map calculation method may include determining the depth map calculation method for the moving area as the second method.
  • determining the depth map calculation method may include identifying an area corresponding to the object within the frame.
  • the operation of determining the depth map calculation method may include determining the depth map calculation method for the identified area as the second method.
  • displaying the image may include identifying a background area and a foreground area in the frame.
  • the operation of displaying the image may include the operation of applying a bokeh effect to the background area.
  • the operation of displaying the image may include obtaining the image by combining the background area to which the bokeh effect is applied and the foreground area.
  • the operation of displaying the image may include the operation of displaying the acquired image through the display.
  • an electronic device includes at least one sensor, a plurality of cameras, a display, a memory configured to store instructions, and an electronic device operatively configured with the at least one sensor, the plurality of cameras, the display, and the memory. It may include at least one processor combined. The at least one processor may perform designated operations as the instructions are executed. The at least one processor, when the brightness value detected by the at least one sensor is less than a threshold value or the distance value to the object detected by the at least one sensor is less than a reference value, the at least one processor It may be configured to identify the second method among a first method for determining a depth map and a second method for determining the depth map through a single camera among the plurality of cameras.
  • the at least one processor may be configured to identify the single camera among the plurality of cameras based on the brightness value or the distance value.
  • the at least one processor may be configured to acquire image information through the single camera.
  • the at least one processor may be configured to obtain depth map information through the single camera.
  • the at least one processor may be configured to display, through the display, an image to which a specified process has been applied to a background area based on the image information and the depth map information.
  • a method performed by an electronic device may be performed when a brightness value detected by at least one sensor is less than a threshold value or a distance value to an object detected by the at least one sensor is less than a reference value.
  • the method may include identifying the single camera among the plurality of cameras based on the brightness value or the distance value.
  • the method may include acquiring image information through the single camera.
  • the method may include obtaining depth map information through the single camera.
  • the method may include displaying, through a display, an image to which a specified process has been applied to a background area based on the image information and the depth map information.
  • an electronic device includes at least one sensor, a plurality of cameras, a display, a memory configured to store instructions, and an electronic device operatively configured with the at least one sensor, the plurality of cameras, the display, and the memory. It may include at least one processor combined. As the instructions are executed, the at least one processor causes the electronic device to acquire first image information about a frame using a first camera among the plurality of cameras and to use a second camera among the plurality of cameras.
  • Using a camera obtain second image information for the frame, and at least one of a difference between the first image information and the second image information, a brightness value of the frame, or an object detected in the frame
  • determining a depth map calculation method based on at least one matching condition, and obtaining depth map information based on at least one camera identified according to the depth map calculation method An image to which a specified process has been applied to a background area based on depth map information may be caused to be displayed through the display.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. or one or more other operations may be added.
  • a computer-readable storage medium that stores one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium are configured to be executable by one or more processors in an electronic device (configured for execution).
  • One or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • These programs may include random access memory, non-volatile memory, including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may be included.
  • non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may
  • the program may be distributed through a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communications network may be connected to the device performing embodiments of the present disclosure.
  • a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communications network may be connected to the device performing embodiments of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

실시예들에 있어서, 전자 장치는 상기 전자 장치가 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하고, 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하고, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하고, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하고, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시할 수 있다.

Description

깊이 맵을 획득하기 위한 전자 장치 및 방법
아래의 설명들은, 깊이 맵(depth map)을 획득하기 위한 전자 장치 및 방법에 관한 것이다.
전자 장치는 촬영된 이미지의 배경에 다양한 효과들(예: 주밍, 스핀, 패닝)을 제공하기 위해, 전경과 배경을 분리할 수 있다. 전자 장치는, 이미지 내에서 배경을 분리하기 위해, 거리 정보를 나타내는 깊이 맵을 획득할 수 있다. 전자 장치는, 복수의 카메라들을 통해 깊이 맵을 획득할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하도록 구성될 수 있다. 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.
실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 상기 프레임에 대한 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.
실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 이미지 정보를 획득하도록 구성될 수 있다. 기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다.
실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다.
도 1은 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시예에 따른, 전자 장치의 기능적 구성의 예를 도시한다.
도 3a는 일 실시예에 따른, 정합 조건에 기반하여 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
도 3b는 일 실시예에 따른, 정합 조건에 기반하여 설정된 카메라를 통해 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
도 4a는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 4b는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 5a는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 5b는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 6a는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 6b는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 7은 일 실시예에 따른, 영역 별 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 8a는 일 실시예에 따른, 근접 거리에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 8b는 일 실시예에 따른, 저조도에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 9는 일 실시예에 따른, 영역의 특징에 따라 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다.
도 10은 일 실시예에 따른, 카메라들 간 이미지 정보 차이에 기반하여 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다.
도 11은 일 실시예에 따른 카메라 스위칭을 통해 깊이 맵을 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 설명에서 사용되는 신호를 지칭하는 용어(예: 신호, 송신 신호, 수신 신호, 순방향 신호, 역방향 신호, 커플링 신호, 합성 신호, 디지털 신호, 아날로그 신호, 변조 신호), 시간 자원을 지칭하는 용어(예: 심볼(symbol), 슬롯(slot), 서브프레임(subframe), 무선 프레임(radio frame)), 연산 상태를 위한 용어(예: 단계(step), 동작(operation), 절차(procedure)), 채널을 지칭하는 용어, 네트워크 객체(network entity)들을 지칭하는 용어, 장치의 구성 요소를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다.
이하 설명에서 사용되는 전자 장치의 부품을 지칭하는 용어(예: 모듈, 안테나, 안테나 소자, 회로, 프로세서, 칩, 구성요소, 기기), 회로 또는 회로의 구성요소(component)를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다. 또한, 이하 사용되는 '...부', '...기', '...물', '...체' 등의 용어는 적어도 하나의 형상 구조를 의미하거나 또는 기능을 처리하는 단위를 의미할 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용될 수 있으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. 또한, 이하, 'A' 내지 'B'는 A부터(A 포함) B까지의(B 포함) 요소들 중 적어도 하나를 의미한다. 이하, 'C’ 및/또는 ‘D’는 ‘C’ 또는 ‘D’ 중 적어도 하나, 즉, {‘C’, ‘D’, ‘C’와 ‘D’}를 포함하는 것을 의미한다.
도 1은 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 일 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 일 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 송신(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 송신률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 일 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 2를 참조하면, 전자 장치(예: 도 1의 전자 장치(101))는 프로세서(201)(예: 도 1의 프로세서(120)), 카메라들(203)(예: 카메라 모듈(180)), 센서(205)(예: 센서 모듈(176)), 디스플레이(207)(예: 디스플레이 모듈(160)), 및 메모리(209)(예: 메모리(130))를 포함할 수 있다.
전자 장치(101)는 프로세서(201)를 포함할 수 있다. 프로세서(201)는 하나 이상의 IC(integrated circuit) 칩들로 구현될 수 있고, 다양한 데이터 처리들을 실행할 수 있다. 예를 들면, 프로세서(201)는, SoC(system on chip)로 구현될 수 있다. 프로세서(201)는, CPU(central processing unit), GPU(graphics processing unit), NPU(neural processing unit), ISP(image signal processor), 디스플레이 컨트롤러, 메모리 컨트롤러, 스토리지 컨트롤러, AP(application processor), CP(communication processor), 및/또는 센서 인터페이스를 포함하는 서브 구성요소들을 포함할 수 있다. 상기 서브 구성요소들은, 단지 예시적인 것이다. 예를 들면, 프로세서(201)는, 다른 서브 구성요소들을 더 포함할 수 있다. 예를 들면, 몇몇 서브 구성요소들은, 프로세서(201)로부터 생략될 수 있다.
전자 장치(101)는 카메라들(203)을 포함할 수 있다. 예를 들어, 카메라들은 광각(wide) 카메라, 초광각(ultra-wide) 카메라, 제1 망원 카메라, 또는 제2 망원 카메라 중 적어도 하나를 포함할 수 있다. 광각 카메라는, 상기 전자 장치(101)로부터 일정 거리(예: 약 28cm(centimeter)) 이상에 위치하는 객체의 이미지를 저배율(예: 약 3-배율 미만)로 획득하기 위해 이용될 수 있다. 초광각 카메라는, 상기 전자 장치(101)로부터 상기 일정 거리 미만에 위치하는 객체의 이미지를 저배율로 획득하기 위해 이용될 수 있다. 제1 망원 카메라는, 제1 배율 범위(예: 3-배율 이상 10-배율 미만)로 객체의 이미지를 획득하기 위해 이용될 수 있다. 제2 망원 카메라는, 제2 배율 범위(예: 10-배율 이상 15-배율 미만)로 객체의 이미지를 획득하기 위해 이용될 수 있다. 일 실시예에 따라, 전자 장치(101)는 카메라들(203) 중에서 적어도 2개의 카메라들을 각각을 통해 이미지를 촬영하고, 상기 촬영된 이미지들을 결합함으로써, 깊이 맵(depth map)을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 카메라들(203) 중에서 단일 카메라를 통해 이미지를 촬영하고, 촬영된 이미지들을 학습함으로써, 깊이 맵을 획득할 수 있다. 이하, 본 개시에서 피사체 혹은 배경의 깊이를 나타내는 이미지는, 깊이 맵으로 지칭되나, 깊이 맵 외에 다양한 용어들(예: 깊이 영상, 깊이 이미지, 깊이 정보)이 이용될 수 있음은 물론이다.
이하, 본 개시의 실시예들은, 카메라 혹은 카메라들의 용어를 이용하여 설명되나, 본 개시의 실시예들은 상술된 용어에 제한적으로 해석되지 않는다. 일 실시예에 따라, 전자 장치(101)는 하나의 카메라 모듈에 포함되는 복수의 렌즈들 중에서 적어도 하나를 이용함으로써, 깊이 맵을 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 카메라의 이미지 신호 처리(image signal processing)를 위한, ISP(image signal processor)를 포함할 수 있다. 상기 ISP는 복수의 렌즈들과 전기적으로 및/또는 작동적으로 연결될 수 있다. 또한, 상기 ISP는 하나 이상의 이미지 센서들에 전기적으로 및/또는 작동적으로 연결될 수 있다. 예를 들어, 전자 장치(101)는, 하나의 카메라 모듈을 제어함으로써, 복수의 설정들 혹은 단일 설정에 기반하여 깊이 맵을 획득할 수 있다.
전자 장치(101)는 센서(205)를 포함할 수 있다. 일 실시예에 따라, 센서(205)는 거리 감지 센서를 포함할 수 있다. 예를 들어, 센서(205)는 TOF(time of flight) 센서를 포함할 수 있다. 센서(205)는 주변 거리를 측정하는 센서로, IR(infrared)을 발광하고, 빛이 돌아온 시간을 계산함으로써, 거리를 출력할 수 있다. 또한, 일 실시예에 따라, 센서(205)는 조도 센서(ambient light sensor)를 포함할 수 있다. 조도 센서는 외부의 조도를 측정할 수 있다. 조도 센서는 수광부를 통해 외부의 밝기 값을 획득할 수 있다. 조도 센서는 노출 시간 동안 외부의 밝기 값을 획득할 수 있다. 조도 센서는 측정된 밝기 값을 프로세서(201)에게 전송할 수 있다.
전자 장치(101)는 디스플레이(207)를 포함할 수 있다. 디스플레이(207)는 사용자에게 정보를 시각적으로 제공할 수 있다. 디스플레이(207)는, 프로세서(201)의 제어에 의해, 프로세서(201)에서 처리된 이미지를 표시할 수 있다. 일 실시예에 따라, 디스플레이(207)는 카메라들(203) 중에서 적어도 하나를 통해 획득된 이미지를 표시할 수 있다. 디스플레이(207)는, 깊이 맵에 따른 효과가 처리된 이미지를 표시할 수 있다.
전자 장치(101)는 메모리(209)를 포함할 수 있다. 메모리(209)는 전자 장치(101)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보와 같은 데이터를 저장할 수 있다. 메모리(209)는 저장부로 지칭될 수 있다. 메모리(209)는 휘발성 메모리(예: 휘발성 메모리(132)), 비휘발성 메모리(예: 비휘발성 메모리(134)) 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(209)는 프로세서(201)의 요청에 따라 저장된 데이터를 제공할 수 있다. 일 실시예에 따라, 메모리(209)는 실시예에 따른 깊이 맵 정보를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 실시예에 따른 깊이 맵 계산을 위한 적어도 하나의 파라미터(예: 가중치)를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 프로세서(201)에 의한 처리를 위해, 적어도 하나의 카메라(예: 카메라들(203) 중 적어도 하나)에 의해 촬영된 이미지들을 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 카메라(예: 카메라들(203) 중 하나)의 AI(artificial intelligence) 학습을 위한 데이터를 저장할 수 있다.
전자 장치(101)는 적어도 하나의 카메라를 통해 이미지를 획득할 수 있다. 전자 장치(101)는 거리 정보(절대 거리 혹은 상대 거리)를 나타내는 깊이 맵을 획득할 수 있다. 전자 장치(101)는 깊이 맵에 기반하여 이미지의 전경과 배경을 분리할 수 있다. 전자 장치(101)는 배경에 흐림 효과(예: 보케 효과(Bokeh effect))나 다양한 효과들(예를 들어, 모노 효과, 또는 다른 색상이나 주밍, 스핀, 패닝 효과와 같이 배경을 교체하는 효과)을 제공할 수 있다. 이를 통해, 획득된 이미지의 주 피사체가 강조될 수 있다. 한편, 깊이 맵이 정확하지 않은 경우, 배경이 아닌 특정 영역이 흐려질 수 있다. 또한, 반대로, 다른 배경 영역은 흐려지지 않고 선명하게 표시될 수 있다.
상술된 배경 효과는 한 개의 카메라 또는 두 개 이상의 카메라들 통해 처리될 수 있다. 예를 들어, 전자 장치(101)는 한 개의 카메라를 통해 획득된 이미지 내에서 전경(예를 들어, 주 피사체가 포함된 영역)과 배경의 분할 기술을 통하여 분할된 배경에 보케 효과(이하, 싱글 보케 효과)를 적용할 수 있다. 최근에는 AI 기술의 발전으로, 한 개의 이미지로부터 단순 전경과 배경의 분리(Segmentation)가 아닌 다양한 거리 정보를 담고 있는 깊이 맵을 추출할 수 있다. 또한, 예를 들어, 전자 장치(101)는 두 개 이상의 카메라들로부터 한 프레임에서(예를 들어, 동시에) 획득된 이미지들을 통해 깊이 맵(depth map)을 획득할 수 있다. 전자 장치(101)는 깊이 맵을 통해, 전경과 배경을 분할하고, 배경에 보케 효과(이하, 더블 보케 효과 혹은 멀티 보케 효과)를 적용할 수 있다. 또한, 전자 장치(101)는 깊이 정보를 취득하는 별도의 수단(예: TOF(Time of flight) 센서, 구조광 필드(structure light field), 3D 이미지 센서(3D image sensor), 어레이 카메라(array camera))을 이용하여, 깊이 정보를 획득할 수 있다. 전자 장치(101)는 상기 획득된 깊이 정보를 통해, 이미지의 전경과 배경을 분할할 수 있다. 전자 장치(101)는 이미지의 배경에 흐림 효과를 적용할 수 있다.
두 개 이상의 카메라들을 이용한 깊이 맵이나, 별도의 수단을 통해 깊이 정보를 취득하는 것은, 일반적으로, 한 개의 카메라에서 처리된 결과보다 더 정확한 결과를 제공한다. 하지만, 앞서 기술한 두 개 이상의 카메라로부터 취득한 이미지들로부터 추출 및 계산되는 깊이 맵의 경우, 취득된 이미지들 간의 이미지 편차(예를 들어, 밝기, 노이즈, 선명도, 왜곡 과 같은 렌즈 특성)에 따라 오류를 발생시킬 가능성이 있다. 뿐만 아니라, 특징 매칭(feature matching)이 어려운 무질감(texture-less), 반사, 포화, 투명 피사체에서 깊이 맵 오류가 발생할 수 있다. 또한, 카메라들 간 시차 차이가 많이 발생하게 되는 근접 거리와 카메라간의 물리적 특성(예: 렌즈, 센서 성능) 차이가 극대화되는 극저조도에서도 깊이 맵 오류가 많이 발생할 수 있다.
깊이 맵 오류는 결국 전경과 배경을 분리하는 데에 있어서 잘못된 결과를 야기한다. 예를 들어, 배경에 적용될 블러 효과나 다른 교체 효과(예: 주밍, 스핀, 패닝)의 품질에 문제를 야기한다. 따라서, 카메라들 간 품질 차이가 높은 상황에서는, 전자 장치(101)는 단일 카메라에서 추출된 이미지를 학습하여, 깊이 맵을 추출하는 방식(이하, 단일 카메라 깊이 맵 추출 방식)을 통해 오류를 개선할 수 있다. 본 개시의 실시예들은, 상술된 다양한 오류 원인들 및 물리적 한계로 인해 발생할 수 있는 상대적 거리 오류 상황에서, 단일 AI 카메라 깊이 맵 추출 방식을 통해, 깊이 맵을 획득함으로써, 이미지 처리를 위한 최적의 결과를 제공하고자 한다. 단일 AI 깊이 맵 추출 방식을 복수의 카메라들을 이용한 깊이 맵 계산 방식과 함께 적용함으로써, 깊이 맵의 오류를 줄일 수 있다.
실시예들에 따른 후술하는 동작들을 수행하기 위해, 전자 장치(101)의 프로세서(201)는 다양한 구성요소들(components)을 포함할 수 있다. 예를 들어, 프로세서(201)에 포함되는 구성요소들은 하드웨어 및/또는 소프트웨어 형태로 포함될 수 있다. 예를 들어, 구성요소들의 적어도 일부는, 프로세서(201)에서 실행되는 적어도 하나의 명령어를 포함하는 소프트웨어를 포함할 수 있다. 이 경우, 구성요소의 동작은 프로세서(201)의 동작으로 이해될 수 있다.
프로세서(201)는 이미지 거리 판단부를 포함할 수 있다. 프로세서(201)는 이미지 내 객체로부터의 거리를 측정할 수 있다. 예를 들어, 프로세서(201)는 센서(205)를 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 카메라들(203) 중 적어도 하나를 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 거리 정보 취득을 위한 별도의 수단(예: 어레이 카메라, 3D 이미지 센서, 구조광 필드 카메라)을 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 다양한 방식들 중 적어도 하나 혹은 적어도 둘 이상의 조합을 통해 딥러닝(deep learning)을 수행할 수 있다. 프로세서(201)는 딥러닝 결과에 따라 거리를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는 오토 포커싱에 따른 오토 포커스 값을 통해 거리를 획득할 수 있다.
프로세서(201)는 이미지 조도 판단부를 포함할 수 있다. 프로세서(201)는 조도를 측정할 수 있다. 예를 들어, 프로세서(201)는 센서(205)를 통해 주변의 밝기 값을 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 단일 카메라 또는 복수의 카메라들을 통해 광을 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 입력되는 이미지의 픽셀 값을 분석함으로써, 밝기 값을 획득할 수 있다.
프로세서(201)는 이미지 씬(scene) 분석부를 포함할 수 있다. 프로세서(201)는 이미지에 대한 딥러닝을 수행할 수 있다. 프로세서(201)는 이전에 저장된 이미지들 및 현재 이미지에 기반하여, 딥러닝에 따른 씬 분석을 수행할 수 있다. 일 실시예에 따라, 프로세서(201)는 복수의 카메라들을 통해 획득된 이미지 정보에 기반하여, 폐쇄(occlusion) 발생 영역을 계산할 수 있다. 폐쇄란, 특정 위치에 배치되는 객체로 인해 카메라의 뷰포인트로부터 상기 객체 뒤의 영역이 검출되지 않는 현상을 의미한다. 상기 객체로 인해, 영상에 사각지대가 발생할 수 있다. 제1 카메라를 통해 획득된 이미지에서의 폐쇄 발생 영역은 제1 폐쇄 발생 영역으로 지칭될 수 있다. 제2 카메라를 통해 획득된 이미지에서의 폐쇄 발생 영역은 제2 폐쇄 발생 영역으로 지칭될 수 있다. 프로세서(201)는 제1 폐쇄 발생 영역과 제2 폐쇄 발생 영역 간 차이를 계산할 수 있다. 프로세서(201)는 상기 차이가 지정된 범위 이내라면, 복수의 카메라들을 이용한 깊이 맵 추출이 가능함을 식별할 수 있다. 또한, 일 실시예에 따라, 프로세서(201)는 복수의 카메라들을 통해 획득된 이미지 정보에 기반하여, 상기 복수의 카메라들 간 정합 정도를 계산할 수 있다. 프로세서(201)는 정합 정도에 기반하여, 복수의 카메라들을 이용한 깊이 맵 추출이 오류 없이 동작 가능한지 여부를 식별할 수 있다. 프로세서(201)는 카메라들 간 이미지 정보의 차이가 지정된 범위 이내라면, 복수의 카메라들을 이용한 깊이 맵 추출이 가능함을 식별할 수 있다.
실시예들에 따른 프로세서(201)는, 깊이 맵을 계산하기 전에, 전자 장치(101)의 촬영 환경의 상태에 적합한 깊이 맵(depth map) 계산 방식을 식별할 수 있다. 프로세서(201)는 깊이 맵 계산 방식 판단부를 포함할 수 있다. 깊이 맵 계산 방식 판단부는, 가중치 계산부를 포함할 수 있다. 깊이 정보를 계산하기 위해, 다양한 방식들이 정의될 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 프로세서(201)는 제1 방식과 제2 방식의 조합에 기반하여 깊이 맵을 결정할 수도 있다. 따라서, 프로세서(201)는 제1 방식에 적용될 가중치(이하, 제1 가중치)와 제2 방식에 적용될 가중치(이하, 제2 가중치)를 결정할 수 있다. 예를 들어, 프로세서(201)는, 제1 방식에 기반하여 깊이 맵을 결정하기 위해, 제1 가중치를 100%로 설정할 수 있다. 제2 가중치는 0일 수 있다. 프로세서(201)는 제2 방식에 따른 깊이 맵을 계산하지 않고, 이미지 프레임에 대한 깊이 맵 정보를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는, 제2 방식에 기반하여 깊이 맵을 결정하기 위해, 제2 가중치를 100%로 설정할 수 있다. 제1 가중치는 0일 수 있다. 프로세서(201)는 제1 방식에 따른 깊이 맵을 계산하지 않고, 이미지 프레임에 대한 깊이 맵 정보를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는 제1 방식에 초점을 두어, 깊이 맵을 결정할 수 있다. 이러한, 깊이 맵 결정은, 제1 방식 기반 깊이 맵 결정으로 지칭될 수 있으며, 제1 가중치는 제2 가중치보다 크게 결정될 수 있다. 또한, 예를 들어, 프로세서(201)는 제2 방식에 초점을 두어, 깊이 맵을 결정할 수 있다. 이러한, 깊이 맵 결정은, 제2 방식 기반 깊이 맵 결정으로 지칭될 수 있으며, 제2 가중치는 제1 가중치보다 크게 결정될 수 있다.
일 실시예에 따라, 프로세서(201)는 이미지 전체에 대한 가중치를 계산할 수 있다. 프로세서(201)는 이미지 전체에 적용될 깊이 맵 계산 방식을 결정하기 위한 가중치를 계산할 수 있다. 또한, 일 실시예에 따라, 프로세서(201)는 이미지의 국소 영역 별 가중치를 계산할 수 있다. 국소 영역 별로 깊이 맵 계산 방식이 다를 수 있다. 예를 들어, 프로세서(201)는, 객체가 포함된 영역에 대해, 제2 방식으로 깊이 맵을 계산하고, 객체가 포함되지 않은 영역에 대해, 제1 방식으로 깊이 맵을 계산할 수 있다. 영역마다 적용되는 가중치가 다를 수 있다.
실시예들에 따른 프로세서(201)는 카메라 선택부를 포함할 수 있다. 프로세서(201)는, 깊이 맵 계산 방식에 따른 적어도 하나의 카메라를 식별할 수 있다. 상기 식별되는 적어도 하나의 카메라는 깊이 맵을 계산하기 위해 이용될 수 있다. 일 실시예에 따라, 깊이 맵 계산 방식으로 제2 방식이 결정되는 경우, 프로세서(201)는 높은 품질을 제공하는 단일 카메라를 선택할 수 있다. 예를 들어, 저조도에서, 프로세서(201)는 광각 카메라를 식별할 수 있다. 또한, 예를 들어, 근접한 객체를 위해, 프로세서(201)는 초광각 카메라를 식별할 수 있다. 일부 실시예들에서, 프로세서(201)는 식별된 카메라를 활성시키기 위해, 카메라 스위칭을 수행할 수 있다.
프로세서(201)는 깊이 정보 획득부를 포함할 수 있다. 프로세서(201)는 가중치에 기반하여 깊이 정보를 획득할 수 있다. 프로세서(201)는, 제1 방식에 기반하여 제1 깊이 맵을 획득할 수 있다. 프로세서(201)는, 제2 방식에 기반하여 제2 깊이 맵을 획득할 수 있다. 프로세서(201)는, 제1 가중치를 상기 제1 깊이 맵에 적용할 수 있다. 프로세서(201)는, 제2 가중치를 상기 제2 깊이 맵에 적용할 수 있다. 프로세서(201)는, 상기 제1 가중치를 상기 제1 깊이 맵에 적용하고, 상기 제2 가중치를 상기 제2 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 예를 들어, 제1 가중치가 0인 경우, 프로세서(201)는, 상기 제2 가중치를 상기 제2 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 또한, 예를 들어, 제2 가중치가 0인 경우, 프로세서(201)는, 상기 제1 가중치를 상기 제1 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 일 실시예에 따라, 이미지 내 영역 별로 깊이 맵 계산 방식이 다를 수 있다. 다시 말해, 이미지 내 영역 별로 가중치가 다르게 설정될 수 있다. 프로세서(201)는 각 영역 별 깊이 맵을 산출한 뒤, 산출된 깊이 맵들을 병합함으로써, 이미지의 전체 영역을 위한 깊이 맵을 획득할 수 있다.
프로세서(201)는 전경 및 배경 영역 분할부를 포함할 수 있다. 프로세서(201)는 이미지 내의 전경 영역과 배경 영역을 구별할 수 있다. 프로세서(201)는 깊이 정보에 기반하여, 이미지 내의 전경 영역 및 배경 영역을 각각 식별할 수 있다. 해당 영역의 깊이 값이 기준 값 미만 인 경우, 프로세서(201)는 상기 해당 영역을 전경 영역을 식별할 수 있다. 전경 영역은 이미지 내에서 배경 영역을 제외한 영역을 의미한다. 전경 영역은 검출된 객체(예: 주 피사체)를 포함할 수 있다. 해당 영역의 깊이 값이 기준 값 이상 인 경우, 프로세서(201)는 상기 해당 영역을 배경 영역을 식별할 수 있다. 배경 영역은 이미지 내에서 전경 영역을 제외한 영역을 의미한다.
프로세서(201)는 배경 효과 적용부를 포함할 수 있다. 프로세서(201)는 배경 영역에 지정된 효과를 적용할 수 있다. 지정된 효과란, 배경 영역에 추가적으로 수행되는 처리를 의미한다. 예를 들어, 지정된 효과는 보케 효과, 블러 효과, 또는 모션 효과를 포함할 수 있다. 여기서, 모션 효과는 지정된 방식(예: 주밍, 스핀, 패닝)의 추가적인 처리를 의미한다.
이하, 도 2의 구성요소들에 기반하여, 두 가지 방식들을 적응적으로 선택하거나, 두 가지 방식들을 가중치들과 함께 조합함으로써, 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름이 서술된다.
도 3a는 실시예들에 따른, 정합 조건에 기반하여 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는, 복수의 카메라들을 이용한 깊이 맵 산출 방식에 대한 정합 조건을 충족하는지 여부를 식별할 수 있다. 전자 장치(101)는, 상기 정합 조건의 충족 여부의 결과에 기반하여, 깊이 맵 정보를 획득할 수 있다. 정합 조건은, 복수의 카메라들(예: 카메라들(203))에서 획득되는 정보 간 차이로 인해, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생하지 않도록 요구되는 조건을 의미한다. 다시 말해, 정합 조건이 충족되지 않는다면, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생할 것이 예상될 수 있다. 예를 들어, 저조도 혹은 초근접 거리로 인해, 카메라들 간 시차가 커지는 경우, 카메라들 각각에서 획득되는 정보의 차이가 커질 수 있다. 또한, 예를 들어, 카메라들 각각의 유형에 따라, 취득되는 이미지들 간 품질 차이가 다를 수 있다.
도 3a를 참고하면, 동작(301)에서, 전자 장치(101)는 제1 카메라를 이용하여 프레임의 제1 이미지 정보를 획득할 수 있다. 동작(303)에서, 전자 장치(101)는 제2 카메라를 이용하여 상기 프레임의 제2 이미지 정보를 획득할 수 있다. 동작(301)과 동작(303)은 동일 프레임에 대해 수행될 수 있다. 전자 장치(101)는 복수의 카메라들(예를 들어, 제1 카메라 및 제2 카메라)을 이용하여 깊이 맵을 결정하기 위해, 복수의 카메라들 각각을 통해 동일 프레임에 대한 이미지를 획득할 수 있다. 상기 제1 카메라 및 상기 제2 카메라 중 하나는 메인 카메라, 다른 하나는 서브 카메라로 이용될 수 있다. 일 예로, 제1 카메라는 광각 카메라이고, 제2 카메라는 초광각 카메라일 수 있다. 다른 일 예로, 제1 카메라는 초광각 카메라이고, 제2 카메라는 광각 카메라일 수 있다. 또한, 일 예로, 제1 카메라는 망원 카메라이고, 제2 카메라는 광각 카메라일 수 있다. 다른 일 예로, 제1 카메라는 광각 카메라이고, 제2 카메라는 망원 카메라일 수 있다.
동작(305)에서, 전자 장치(101)는 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 정합 조건은, 복수의 카메라들(예: 카메라들(203))에서 획득되는 이미지 정보를 통해 깊이 맵 결정이 가능하기 위한 요구 사항들을 의미할 수 있다. 예를 들어, 정합 조건이 충족되지 않는다면, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생할 것이 예상될 수 있다. 깊이 맵 계산 방식은, 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식, 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식, 또는 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식을 포함할 수 있다.
일 실시예에 따라, 전자 장치(101)는 밝기 값에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 밝기 값을 획득하기 위해, 카메라를 통한 측광, 밝기 센서(혹은 조도 센서), 입력 이미지 픽셀 값을 이용할 수 있다. 전자 장치(101)는, 임계 값보다 작은 밝기 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 전자 장치(101)는, 임계 값 이상의 밝기 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 저조도에서는 광학적 제약에 의해, 카메라들 간 시차가 발생할 수 있다. 저조도에서는 제1 카메라의 품질이 제2 카메라의 품질보다 좋거나, 제2 카메라의 품질이 제1 카메라의 품질이 더 좋을 수 있다. 예를 들어, 메인 카메라가 망원 카메라이고, 서브 카메라가 광각 카메라일 수 있다. 저조도에서는 광각 카메라의 품질이 망원 카메라의 품질보다 높을 수 있다. 복수의 카메라들을 이용한 깊이 맵 계산 방식에서는, 메인 카메라의 화각이 서브 카메라의 화각보다 작은 경우, 깊이 맵의 추출이 유리하다. 따라서, 서브 카메라의 화각이 메인 카메라의 화각보다 좁거나, 서브 카메라의 품질과 메인 카메라의 품질의 차이가 큰 경우, 복수의 카메라들을 이용한 깊이 맵 계산 방식은 오류를 야기할 수 있다.
일 실시예에 따라, 전자 장치(101)는 근접 거리에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 거리 값을 획득하기 위해, TOF(Time of flight) 센서, 구조광 카메라, 3D 이미지 센서, 어레이 카메라, 또는 복수의 카메라들을 이용하는 깊이 맵을 이용할 수 있다. 또한, 전자 장치(101)는, 거리 값을 획득하기 위해, 템플릿(templet)을 이용한 소프트웨어 취득 방식, 딥러닝(Deep Learning)을 이용한 소프트웨어 취득 방식, 또는 오토 포커스 값을 이용한 계산 방식을 이용할 수 있다. 전자 장치(101)는, 기준 값보다 작은, 객체의 거리 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 전자 장치(101)는, 상기 기준 이상의 상기 거리 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 예를 들어, 메인 카메라는 광각 카메라이고, 서브 카메라는 초광각 카메라일 수 있다. 객체가 초 근접거리에 위치하는 경우, 광각 카메라보다 초광각 카메라를 통해 이미지를 획득하는 것이 더 높은 품질을 제공할 수 있다. 두 카메라들 간 품질 차이가 있으므로, 싱글 AI 방식으로 깊이 맵을 산출하는 것이 보다 유리할 수 있다.
일 실시예에 따라, 전자 장치(101)는 이미지 분석에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 이미지 분석을 수행할 수 있다. 전자 장치(101)는 두 카메라들 각각을 통해 획득된 이미지를 분석할 수 있다. 전자 장치(101)는 이미지 분석의 결과에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 제1 이미지 정보의 폐쇄 발생 영역과 제2 이미지 정보의 폐쇄 발생 영역 간 비교에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 제1 카메라를 통해 프레임에 대한 제1 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 상기 프레임에 대한 제2 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제1 이미지 정보 및 제2 이미지 정보를 비교할 수 있다. 전자 장치(101)는 제1 이미지 정보 및 제2 이미지 정보의 비교 결과에 기반하여 차이 정보를 획득할 수 있다. 전자 장치(101)는 상기 차이 정보에 기반하여, 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 가능한지 여부를 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 가능함을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 불가능함을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도가 높을수록, 제1 방식에 적용될 가중치를 높일 수 있다. 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도가 낮을수록, 제2 방식에 적용될 가중치를 높일 수 있다.
전자 장치(101)는 상술된 정합 조건들 중 적어도 하나에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 주어진 상황에 따라, 복수의 카메라들을 이용하여 깊이 맵을 산출하는 제1 방식, 단일 카메라의 AI 기법을 이용하여 깊이 맵을 산출하는 제2 방식, 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식 중에서 가장 좋은 성능(이하, 최적의 성능)을 제공하는 방식을 식별할 수 있다. 여기서, 좋은 성능이란 깊이 맵이 보다 정확하게 도출됨을 의미한다. 제3 방식을 이용하는 경우, 전자 장치(101)는 상기 제1 방식을 위한 제1 가중치와 상기 제2 방식을 위한 제2 가중치를 결정할 수 있다.
전자 장치(101)는 이미지의 프레임에 대하여 동일한 가중치를 계산하거나, 영역 별로 독립적으로 가중치를 계산할 수 있다. 여기서, 가중치는 제1 방식과 제2 방식을 결합하여 깊이 맵 산출 시, 제1 방식과 제2 방식 각각에 적용되는 비율을 의미한다. 제1 방식에는 제1 가중치가 적용되고, 제2 방식에는 제2 가중치가 적용될 수 있다. 일 실시예에 따라, 복수의 카메라들을 이용하여 깊이 맵을 산출하는 제1 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 일 예로, 전자 장치(101)는 제1 가중치를 0, 제2 가중치를 100%로 설정할 수 있다. 또한, 일 실시예에 따라, 단일 카메라의 AI 기법을 이용하여 깊이 맵을 산출하는 제2 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 제1 가중치를 100%, 제2 가중치를 0으로 설정할 수 있다. 또한, 일 실시예에 따라, 상기 제1 방식의 제1 가중치 및 상기 제2 방식의 제2 가중치에 따른 제3 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 제3 방식에서, 전자 장치(101)는 영역 별로 가중치를 다르게 설정함으로써, 단일 방식(예: 제1 방식 또는 제2 방식)의 깊이 영상을 보완할 수 있다.
일 실시예에 따라, 전자 장치(101)는, 밝기 값이 기준 값 미만인 경우, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 저조도 환경에서는 카메라들 간 물리적인 특성 차이로 인해, 밝기 차이가 발생할 수 있기 때문이다.
일 실시예에 따라, 전자 장치(101)는, 객체로부터의 거리 값이 기준 값 미만인 경우, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 초근접거리에서는, 화각이 넓은 카메라를 이용한 품질과 화각이 상대적을 좁은 카메라를 이용한 품질 간의 차이가 크기 때문이다.
일 실시예에 따라, 전자 장치(101)는 휘도가 포화된 영역이거나, 이동 객체가 포함된 영역, 혹은 지정된 유형의 객체가 위치한 영역에 대해서는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 또는, 전자 장치(101)는, 상기 영역에 대하여, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 특징 매칭(feature matching)이 어려운 무질감(texture-less), 반사, 포화, 투명 피사체에서 깊이 맵 오류가 발생할 수 있다. 따라서, 단일 객체에 대해서는 일관된 처리가 요구될 수 있다.
일 실시예에 따라, 전자 장치(101)는 두 카메라들을 통해 획득된 이미지 정보간 차이가 임계 값보다 큰 경우, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 취득된 이미지들 간의 이미지 편차(예를 들어, 밝기, 노이즈, 선명도, 왜곡과 같은 렌즈 특성)는, 깊이 맵에 대한 오류를 발생시킬 가능성이 있다. 예를 들어, 복수의 카메라들을 이용하는 제1 방식에서는, 두 이미지들 간 결합 시 오류가 발생할 확률이 높기 때문에, 전자 장치(101)는 제1 카메라를 통해 획득된 제1 이미지 정보와 제2 카메라를 통해 획득된 제2 이미지 정보 간 차이에 기반하여, 깊이 맵 계산 방식으로 결정할 수 있다.
동작(307)에서, 전자 장치(101)는 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식에 기반하여 적어도 하나의 카메라를 식별할 수 있다. 상기 깊이 맵 계산 방식이 제1 방식이거나 제3 방식인 경우, 전자 장치(101)는, 복수의 카메라들을 식별할 수 있다. 전자 장치(101)는 복수의 카메라들에 기반하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 계산 방식이 제2 방식인 경우, 전자 장치(101)는, 단일 카메라(예: 단일 카메라)를 식별할 수 있다. 전자 장치(101)는 상기 단일 카메라에 기반하여 깊이 맵 정보를 획득할 수 있다. 일부 실시예들에서, 전자 장치(101)는 단일 카메라의 성능을 높이기 위해, 카메라 스위칭을 수행할 수 있다.
전자 장치(101)는 식별된 적어도 하나의 카메라를 통해, 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 각 방식에 적용될 가중치에 기반하여 깊이 정보를 계산할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용한 방식(예를 들어, 제1 방식)에 따라 획득되는 깊이 맵(이하, 제1 깊이 맵)과 단일 카메라의 딥러닝(deep Learning)을 이용하는 AI 방식(예를 들어, 제2 방식)에 따라 획득되는 깊이 맵(이하, 제2 깊이 맵) 간 국부적인 가중치를 계산하여 깊이 맵 정보를 획득할 수 있다. 일 예로, 전자 장치(101)는 제1 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 정보는 제1 깊이 맵을 포함할 수 있다. 제2 방식에 적용되는 가중치는 0일 수 있다. 전자 장치(101)는 제2 방식에 따른 깊이 맵 계산 절차 없이, 제1 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 또한, 일 예로, 전자 장치(101)는 제2 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 정보는 제2 깊이 맵을 포함할 수 있다. 제1 방식에 적용되는 가중치는 100%일 수 있다. 전자 장치(101)는 제1 방식에 따른 깊이 맵 계산 절차 없이, 제2 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다.
동작(309)에서, 전자 장치(101)는 배경 효과를 적용할 수 있다. 전자 장치(101)는, 프레임의 이미지의 영역들을 전경 영역과 배경 영역으로 구별할 수 있다. 전자 장치(101)는 깊이 맵 정보에 기반하여, 이미지의 배경 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)는 획득된 깊이 정보에서 포커스 영역 기준으로 전경과 배경을 분할할 수 있다. 전자 장치(101)는 상기 배경 영역에 배경 효과를 적용할 수 있다. 상기 배경 효과는, 배경 영역에 수행되는 시각적인 처리를 의미한다. 예를 들어, 배경 효과는 보케 효과, 블러 효과, 또는 모션 효과(예: 주밍, 스핀, 패닝)를 포함할 수 있다. 전자 장치(101)는 분할된 배경에 블러(blur) 처리, 빛망울 보케(bokeh) 처리와 같은 처리 방법을 통해 배경 흐림 효과를 제공할 수 있다. 전자 장치(101)는 배경 효과가 적용된 이미지를 디스플레이를 통해 출력할 수 있다.
깊이 맵 계산 방식을, 깊이 맵을 획득하기 전에 결정함으로써, 불필요한 연산량을 감소시킬 수 있다. 예를 들어, 제2 방식을 깊이 맵 계산 방식으로 결정하는 경우, 전자 장치(101)는 제1 방식에 따른 깊이 맵을 계산하지 않을 수 있다. 전자 장치(101)는 복수의 카메라들을 이용한 깊이 맵의 획득 절차 없이, 단일 카메라에 기반하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는, 정합 조건을 사전에 판단함으로써, 적은 연산량으로 보다 정확한 성능을 달성할 수 있다. 한편, 도 3a에서는 카메라를 통해 이미지 정보를 획득한 뒤, 깊이 맵 계산 방식을 결정하는 동작이 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 다른 일 실시예에 따라, 카메라를 통해 이미지 정보를 획득하기 전에, 정합 조건에 기반하여 카메라 설정이 우선적으로 수행될 수 있다. 이하, 도 3b에서는, 정합 조건에 따른 카메라 설정이 우선적으로 수행되는 실시예가 서술된다.
도 3b는 일 실시예에 따른, 정합 조건에 기반하여 설정된 카메라를 통해 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
도 3b를 참고하면, 동작(351)에서, 전자 장치(101)는 정합 조건에 기반하여 깊이 맵 계산 방식을 식별할 수 있다. 전자 장치(101)는 이미지를 촬영하기 전에, 전자 장치(101)의 센서를 통해 획득되는 파라미터에 따라, 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 조도 센서를 통해 밝기 값을 획득할 수 있다. 전자 장치(101)는 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는, 밝기 값이 임계 값 이상임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 또한, 예를 들어, 전자 장치(101)는, 밝기 값이 임계 값 미만임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다.
일 실시예에 따라, 전자 장치(101)는 거리 감지 센서, 3D 이미지 센서, 혹은 구조광 카메라를 통해, 거리 값을 획득할 수 있다. 전자 장치(101)는 거리 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는, 거리 값이 기준 값 이상임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 또한, 예를 들어, 전자 장치(101)는, 거리 값이 기준 값 미만임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다.
동작(353)에서, 전자 장치(101)는 하나 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식에 기반하여, 복수의 카메라들 중에서 하나 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 제1 방식을 통해 깊이 맵을 획득하는 경우, 적어도 둘 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 제2 방식을 통해 깊이 맵을 획득하는 경우, 하나의 카메라를 식별할 수 있다.
예를 들어, 객체가 근접한 환경에서는 광각 카메라보다 초광각 카메라가 보다 나은 품질을 갖는 이미지를 전자 장치(101)에게 제공할 수 있다. 여기서, 품질이 좋음은, 초점 거리로 인해 피사체가 보다 선명하게 캡쳐됨을 의미할 수 있다. 일 실시예에 따라, 전자 장치(101)는 메인 카메라로서, 초광각 카메라를 식별할 수 있다. 전자 장치(101)는 주 피사체, 예를 들어, 객체가 기준 값 이내에 위치한 경우, 초광각 카메라를 식별할 수 있다. 전자 장치(101)는 초광각 카메라를 활성화할 수 있다. 현재 메인 카메라가 초광각 카메라가 아니라면, 전자 장치(101)는 카메라 스위칭을 통해, 메인 카메라를 초광각 카메라로 설정할 수 있다.
예를 들어, 밝기가 낮은 환경에서는, 망원 카메라보다 광각 카메라가 보다 나은 품질을 갖는 이미지를 전자 장치(101)에게 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)는 메인 카메라로서, 광각 카메라를 식별할 수 있다. 전자 장치(101)는, 밝기가 임계 값보다 낮은 환경, 예를 들어, 저조도 환경에서, 광각 카메라를 식별할 수 있다. 전자 장치(101)는 광각 카메라를 활성화할 수 있다. 현재 메인 카메라가 광각 카메라가 아니라면, 전자 장치(101)는 카메라 스위칭을 통해, 메인 카메라를 광각 카메라로 설정할 수 있다.
동작(355)에서, 전자 장치(101)는 이미지 정보를 획득할 수 있다. 전자 장치(101)는 식별된 하나 이상의 카메라들을 통해 이미지 정보를 획득할 수 있다. 일 실시예에 따라, 근접 환경(기준 값 미만의 거리에 위치한 객체)에서, 전자 장치(101)는 초광각 카메라를 통해 이미지 정보를 획득할 수 있다. 또한, 일 실시예에 따라, 저조도 환경(임계 값 미만의 밝기 값을 갖는 환경)에서, 전자 장치(101)는 광각 카메라를 통해 이미지 정보를 획득할 수 있다. 또한, 일 실시예에 따라, 동작(353)에서 복수의 카메라들이 식별된 경우, 전자 장치(101)는 복수의 카메라들 각각을 통해 이미지 정보를 획득할 수 있다.
동작(357)에서, 전자 장치(101)는 깊이 맵 정보를 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제1 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 제2 방식으로 인한 깊이 맵의 계산 없이, 제1 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 복수의 카메라들 각각을 통해 획득된 이미지 정보를 결합함으로써, 깊이 맵 정보를 획득할 수 있다. 다른 일 실시예에 따라, 전자 장치(101)는 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 제2 방식을 통해 설정된 메인 카메라 및 상기 메인 카메라의 AI 학습 기법에 기반하여, 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하는 깊이 맵의 계산 없이, 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다.
동작(359)에서, 전자 장치(101)는 배경 효과를 적용할 수 있다. 전자 장치(101)는, 프레임의 이미지의 영역들을 전경 영역과 배경 영역으로 구별할 수 있다. 전자 장치(101)는 동작(357)의 깊이 맵 정보에 기반하여, 이미지의 배경 영역을 식별할 수 있다. 전자 장치(101)는 상기 배경 영역에 배경 효과(예: 보케 효과, 블러 효과, 또는 모션 효과(예: 주밍, 스핀, 패닝))를 적용할 수 있다. 전자 장치(101)는 배경 효과가 적용된 이미지를 디스플레이를 통해 출력할 수 있다.
도 4a는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는 다양한 방식들 중에서 깊이 맵 계산 방식을 선택하거나, 적어도 2개의 방식들에 가중치를 적용하는 깊이 맵 계산 방식을 결정할 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201)) 및 조도 센서(예: 센서(205))에 의해 수행될 수 있다.
도 4a를 참조하면, 동작(401)에서, 전자 장치(101)는 밝기 값을 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 조도 센서(예: 센서(205))를 통해 프레임의 밝기 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 촬영된 이미지의 픽셀 값에 기반하여, 밝기 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 적어도 하나의 카메라를 통한 측광에 기반하여, 밝기 값을 획득할 수 있다.
동작(403)에서, 전자 장치(101)는 밝기 값이 임계 값보다 작은지 여부를 식별할 수 있다. 전자 장치(101)는 이미지를 촬영하는 주변 환경이 저조도 환경인지 여부를 식별할 수 있다. 상기 임계 값은, 카메라들 간 품질 차이로 인해 깊이 맵의 오류가 예상되는지 여부를 식별하기 위해 이용될 수 있다. 극저조도에서는, 카메라 간의 물리적 특성(예: 렌즈, 센서 성능)의 차이가 극대화될 수 있다. 노출 값의 차이 혹은 수광부의 차이로 인해, 조도가 낮을수록, 카메라들을 통해 획득되는 이미지들 간 품질 차이가 크게 발생할 수 있다.
전자 장치(101)는 상기 밝기 값이 상기 임계 값보다 작지 않은 경우, 동작(405)을 수행할 수 있다. 전자 장치(101)는 상기 밝기 값이 상기 임계 값보다 작은 경우, 동작(407)을 수행할 수 있다.
동작(405)에서, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는, 현재 밝기 값이 카메라들 간의 성능 편차로 인해 오류를 야기할 만큼 어둡지 않는다면, 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다.
동작(407)에서, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 단일 카메라의 학습 결과를 통해 깊이 맵을 획득할 수 있다. 이 때, 전자 장치(101)의 메인 카메라를 통해 획득된 이미지의 품질보다 서브 카메라를 통해 획득된 이미지의 품질이 더 좋은 경우, 전자 장치(101)는 현재의 서브 카메라가 메인 카메라가 되도록 카메라 스위칭을 수행할 수 있다.
도 4b는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 4b를 참조하면, 전자 장치(예: 전자 장치(101))는 복수의 카메라들을 통해 프레임에 대한 이미지들을 획득할 수 있다. 전자 장치(101)는 제1 카메라를 통해 상기 프레임에서 제1 이미지(451)를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 상기 프레임에서 제2 이미지(453)를 획득할 수 있다.
전자 장치(101)는 밝기 값을 획득할 수 있다. 전자 장치(101)는 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 서브 카메라(예: 제2 카메라)의 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값이 기준 값보다 작은 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 제1 카메라 또는 제2 카메라 중 적어도 하나의 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 제1 이미지(451)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제1 이미지(451)의 밝기 값과 제2 이미지(453)의 밝기 값 중에서 적어도 하나가 기준 값보다 작은 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 한편, 상술된 바와 달리, 일 실시예에 따라, 전자 장치(101)는 두 카메라들 간의 밝기 값 차이가 임계 값 이상인 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 밝기 값의 차이가 크다는 것은, 두 카메라들을 통해 획득되는 이미지들 간의 빛 양의 차이가 큼을 의미한다. 이러한 밝기 차이는, 이미지 결합을 통한 깊이 맵에서 오류를 야기할 수 있다.
전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(461)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(461)을 획득할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법을 이용하여 제2 깊이 맵(463)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제2 방식에 기반하여, 제2 깊이 맵(463)을 획득할 수 있다. 도 4b에 도시된 바와 같이, 제1 이미지(451) 내의 주 피사체와 관련된 깊이 정보가 제1 깊이 맵(461) 보다 제2 깊이 맵(463)에서 명확하게 식별될 수 있다.
도 4b에서는, 메인 카메라는 제1 카메라이고, 서브 카메라는 제2 카메라인 상황에서, 서브 카메라의 밝기 값에 기반하여, 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 다른 일 실시예에 따라, 전자 장치(101)는 메인 카메라의 밝기 값에 기반하여, 깊이 맵 계산 방식을 선택할 수 있다. 메인 카메라는 제1 카메라이고, 서브 카메라는 제2 카메라일 수 있다. 전자 장치(101)는 제1 카메라의 밝기 값이 기준 값보다 낮음을 식별할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식으로 제2 방식을 선택할 수 있다. 단, 메인 카메라보다 서브 카메라의 품질이 좋기 때문에, 전자 장치(101)는 카메라 스위칭을 수행할 수 있다. 전자 장치(101)는 메인 카메라를 제2 카메라로 설정할 수 있다. 제2 카메라의 노출 값이 크므로, 제2 카메라의 학습 결과에 기반하여 깊이 맵을 산출할 수 있다.
도 4a 내지 도 4b에서는 전자 장치(101)가 제1 방식 또는 제2 방식으로 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 제2 방식 외에, 제1 방식과 제2 방식을 결합하는 제3 방식을 통해 깊이 맵을 획득할 수 있다. 이 때, 도 4b의 저조도 환경을 위해, 제2 방식에 적용되는 제2 가중치는 제1 방식에 적용되는 제1 가중치보다 높게 설정될 수 있다.
도 5a는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는 다양한 방식들 중에서 깊이 맵 계산 방식을 선택하거나, 적어도 2개의 방식들에 가중치를 적용하는 깊이 맵 계산 방식을 결정할 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201)) 및 거리 감지 센서(예: 센서(205))에 의해 수행될 수 있다.
도 5a를 참조하면, 동작(501)에서, 전자 장치(101)는 거리 값을 획득할 수 있다. 여기서, 거리 값이란, 캡쳐되는 이미지 내의 주 피사체로부터의 거리를 의미한다. 일 실시예에 따라, 전자 장치(101)는, 거리 감지 센서(예: TOF 센서)(예: 센서(205))를 통해, 거리 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 3D 이미지 센서(예: 센서(205))를 통해 거리 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 구조광 카메라를 통해 거리 값을 획득할 수 있다.
동작(503)에서, 전자 장치(101)는 거리 값이 기준 값보다 작은지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 촬영의 대상인 객체가 근접 거리에 위치하는지 여부를 식별할 수 있다. 상기 기준 값은, 카메라들 간 품질 차이로 인해 깊이 맵의 오류가 예상되는지 여부를 식별하기 위해 이용될 수 있다. 초근접거리에서는, 카메라들 간 시차가 크게 발생할 수 있다. 일 실시예에 따라, 상기 기준 값은, 전자 장치(101)에 설정된 카메라들에 기반하여 결정될 수 있다. 예를 들어, 메인 카메라가 광각 카메라이고 서브 카메라가 초광각 카메라인 경우를 위한 기준 값은, 메인 카메라가 망원 카메라이고 서브 카메라가 광각 카메라인 경우를 위한 기준 값과 다를 수 있다.
전자 장치(101)는 상기 거리 값이 상기 기준 값보다 크거나 같은 경우, 동작(505)을 수행할 수 있다. 전자 장치(101)는 상기 거리 값이 상기 기준 값보다 작은 경우, 동작(507)을 수행할 수 있다.
동작(505)에서, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다. 카메라들 간의 화각 차이로 인해 오류를 야기할 만큼 객체의 위치가 가깝지 않다면, 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다.
동작(507)에서, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 단일 카메라의 학습 결과를 통해 깊이 맵을 획득할 수 있다. 초근접 거리에서는, 카메라 별 화각이 다름에 따라, 획득되는 이미지들 간 품질 차이가 크다. 예를 들어, 메인 카메라가 광각 카메라이고, 서브 카메라가 초광각 카메라인 경우, 전자 장치(101)는 초근접 거리에서 서브 카메라를 통해 획득되는 이미지의 품질이 메인 카메라를 통해 획득되는 이미지의 품질보다 높음을 식별할 수 있다. 이 때, 전자 장치(101)는 현재의 서브 카메라가 메인 카메라가 되도록 카메라 스위칭을 수행할 수 있다.
도 5b는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 5b를 참조하면, 전자 장치(예: 전자 장치(101))는 이미지(551) 내 객체(555)로부터의 거리를 획득할 수 있다. 전자 장치(101)는 획득된 거리에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 획득된 거리가 기준 값 이내인 경우, 전자 장치(101)는 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 또한, 전자 장치(101)는 획득된 거리가 기준 값 이내인 경우, 제1 카메라에서 제공되는 화각과 제2 카메라에서 제공되는 화각 간의 차이가 큰 지 여부를 식별할 수 있다. 예를 들어, 메인 카메라는 제1 카메라이고, 상기 제1 카메라는 초광각 카메라일 수 있다. 서브 카메라는 제2 카메라이고, 상기 제2 카메라는 광각 카메라일 수 있다. 상기 기준 값 이내의 거리에서는, 초광각 카메라를 통해 획득되는 깊이 정보와 광각 카메라를 통해 획득되는 깊이 정보 간 차이가 발생할 수 있다. 따라서, 전자 장치(101)는 깊이 맵으로 인한 오류를 줄이기 위해, 단일 카메라의 AI 기법, 예를 들어, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다.
전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(561)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(561)을 획득할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법을 이용하여 제2 깊이 맵(563)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제2 방식에 기반하여, 제2 깊이 맵(563)을 획득할 수 있다. 도 5b에 도시된 바와 같이, 제1 이미지(551) 내의 주 피사체와 관련된 깊이 정보가 제1 깊이 맵(461) 보다 제2 깊이 맵(563)에서 명확하게 식별될 수 있다.
도 5a 내지 도 5b에서는 전자 장치(101)가 제1 방식 또는 제2 방식으로 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 제2 방식 외에, 제1 방식과 제2 방식을 결합하는 제3 방식을 통해 깊이 맵을 획득할 수 있다. 이 때, 도 5b의 초 근접 거리에 위치된 객체(555)를 위해, 제2 방식에 적용되는 제2 가중치는 제1 방식에 적용되는 제1 가중치보다 높게 설정될 수 있다.
도 6a는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 오류가 발생하기 쉬운 객체 유형이 미리 정의될 수 있다. 전자 장치(예: 전자 장치(101))는, 식별된 객체가 미리 정의된 유형인지에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 깊이 맵 계산 방식은, 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식, 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식, 또는 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.
도 6a를 참조하면, 동작(601)에서, 전자 장치(101)는 프레임 내 객체를 식별할 수 있다. 전자 장치(101)는, 적어도 하나의 카메라를 통해, 상기 프레임에 대한 이미지를 획득할 수 있다. 전자 장치(101)는 이미지로부터 상기 객체를 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 객체 검출 알고리즘에 기반하여, 상기 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 객체의 특징점들의 매칭(예를 들어, 특징 매칭(feature matching))을 통해 이미지 내에서 객체를 인식할 수 있다.
동작(603)에서, 전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하는지 여부를 결정할 수 있다. 여기서, 지정된 유형은, 상기 제1 방식의 복수의 카메라들 각각에서 획득되는 이미지 정보의 차이로 인해, 깊이 맵에 대한 오류를 야기하기 쉬운 객체의 특성을 나타낸다. 일 실시예에 따라, 상기 지정된 유형은 투명 재질일 수 있다. 예를 들어, 상기 투명 재질에 대응하는 항목은 유리컵, 빨대, 또는 안경을 포함할 수 있다. 객체의 투명도가 높아질수록, 이미지 내에서 특징점들의 개수가 적어질 수 있다. 특징점들의 개수가 적을수록 특징 매칭이 용이하지 않다. 따라서, 제1 방식의 제1 카메라의 이미지에서 객체에 대한 특칭 매칭의 결과와 제2 방식의 제2 카메라의 이미지에서 객체에 대한 특징 매칭의 결과 간 차이가 발생할 수 있다.
일 실시예에 따라, 상기 지정된 유형은 반복된 패턴(혹은 메쉬(mesh) 패턴)일 수 있다. 동일한 객체에 대하여, 각 카메라에서의 뷰 포인트가 다르다. 객체의 반복되는 무늬로 인해, 동일한 객체에 대한 원근감이 두 카메라들 간에서 다르게 인식될 수 있다. 상기 객체에 대한 특징 매칭의 결과가 서로 다를 수 있다. 예를 들어, 제1 방식의 제1 카메라의 이미지에서 획득되는 객체에 대한 정보와 제2 방식의 제2 카메라의 이미지에서 획득되는 객체에 대한 정보 간 차이가 발생할 수 있다.
일 실시예에 따라, 상기 지정된 유형은 무질감(texture-less)일 수 있다. 무질감을 갖는 객체란, 물체의 표면에 무늬가 거의 없는 물체를 의미한다. 무늬가 거의 없어, 특징 매칭이 용이하지 않다. 개별적인(individual) 스테레오 카메라로 상기 객체를 검출하더라도, 카메라들 획득되는 정보들 간에 차이가 발생할 수 있다. 예를 들어, 적은 특징점들의 개수로 인해, 제1 방식은 안정적인 깊이 맵 정보를 제공하기 어렵다.
전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하는 경우, 동작(605)을 수행할 수 있다. 전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하지 않는 경우, 동작(607)을 수행할 수 있다.
동작(605)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 객체의 투명 재질, 무질감, 또는 반복 패턴으로 인해, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공하기 어렵다고 판단되는 경우, 전자 장치(101)는 제2 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
동작(607)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 특징 매칭이 용이한 객체라면, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공할 수 있음을 식별할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
도 6b는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다. 전자 장치(예: 전자 장치(101))는 이미지 내 모든 영역들에서 동일한 깊이 맵 계산 방식을 선택하는 대신, 이미지 내 영역마다 깊이 맵 계산 방식을 위한 가중치를 독립적으로 설정할 수 있다.
도 6b를 참조하면, 전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(651)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(651)을 획득할 수 있다. 이미지 내 객체(655)가 포함될 수 있다. 예를 들어, 객체(655)는 투명 재질(예: 유리)을 포함하는 안경일 수 있다. 그러나, 제1 깊이 맵(651)만으로는 객체(655)가 정확하게 검출되지 않는다.
전자 장치(101)는 적어도 하나의 카메라를 통해 이미지를 획득할 수 있다. 전자 장치(101)는 이미지 내에서 객체(655)를 검출할 수 있다. 전자 장치(101)는 객체(655)에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는, 제1 방식에 따른 제1 깊이 맵(651)에 상기 객체(655)에 대한 가중치를 부가할 수 있다. 전자 장치(101)는, 이미지 내에서 상기 객체(655)의 영역에 대한 깊이 맵 계산 방식을 다르게 결정할 수 있다. 상기 객체(655)의 영역이란, 이미지 내에서 상기 객체(655)가 점유하고 있는 물리적인 영역을 의미한다. 제1 깊이 맵(651)만으로는, 객체(655)의 검출이 용이하지 않기 때문에, 전자 장치(101)는 제2 방식에 기반하여 객체(655)를 검출할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법에 기반하여, 상기 객체(655)에 가중치를 높게 설정할 수 있다. 일 예로, 전자 장치(101)는 상기 객체(655)의 영역에 대한 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 여기서, 상기 제2 방식을 위한 제2 가중치는 100%일 수 있다.
전자 장치(101)는, 상기 객체(655)의 영역에 대해서는 상기 제2 방식에 따른 제2 깊이 맵을 이용하고, 상기 이미지 내에서 상기 객체(655)의 영역을 제외한 영역에 대해서는 상기 제1 방식에 따른 제1 깊이 맵(651)을 이용할 수 있다. 전자 장치(101)는, 상기 이미지 내에서 상기 객체(655)의 영역을 제외한 영역을 위한 상기 제1 깊이 맵(651)과 상기 객체(655)의 영역에 대해서는 상기 제2 깊이 맵을 결합함으로써, 최종 깊이 맵(661)을 획득할 수 있다. 도 6b에 도시된 바와 같이, 제1 깊이 맵(651)만을 이용하는 경우보다, 객체 정보가 반영된 최종 깊이 맵(661)에서 객체(655)가 보다 명확하게 식별될 수 있다.
도 6b에서는, 객체(655)의 영역에 대해서만 가중치를 부가하는 예가 서술되었으나, 전자 장치(101)는 이미지를 복수의 국소 영역들로 분할하고, 각 국소 영역에 대한 깊이 맵 계산 방식을 다르게 설정하는 것 또한, 본 개시의 일 실시예로써 이해될 수 있다. 여기서, 깊이 맵 계산 방식이 다른 것은, 제1 방식, 제2 방식, 및 제3 방식의 구별 뿐만 아니라 제3 방식에서 제1 가중치와 제2 가중치가 다르게 설정되는 것 또한 포함할 수 있다.
도 7은 일 실시예에 따른, 영역 별 깊이 맵 계산 방식의 선택의 예를 도시한다. 도 7을 참고하면, 전자 장치(101)는 프레임에서 획득된 이미지(700)를 복수의 영역들로 구분할 수 있다. 전자 장치(101)는 각 영역 별로 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 검출되는 객체에 기반하여 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 일 예로, 이미지(700) 내에서 객체가 검출될 수 있다. 전자 장치(101)는 이미지(700)를 외부 영역(701)과 객체가 검출되는 영역(703)으로 구분할 수 있다. 외부 영역(701)은 이미지(700)의 복수의 영역들 중에서 객체가 검출되지 않는 영역, 예를 들어, 객체가 검출되는 영역(703)을 제외한 영역일 수 있다. 전자 장치(101)는 상기 객체가 검출되는 영역(703)에 대해서는 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는 외부 영역(701)에 대해서는 다른 방식에 기반하여 깊이 맵을 획득할 수 있다. 여기서, 다른 방식은 제1 방식 또는 상기 제1 방식과 상기 제2 방식의 결합에 따른 제3 방식을 의미할 수 있다.
도 7에서는, 이미지(700) 내에서 객체가 검출됨에 따른 영역 구별이 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 일 실시예에 따라, 전자 장치(101)는 밝기 값에 기반하여 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 일 예로, 이미지(700) 내 영역마다 다른 밝기 값이 식별될 수 있다. 조도 센서와 달리, 이미지 내 픽셀들에 따른 밝기 값 혹은 카메라의 측광에 의한 밝기 값은, 하나의 이미지(700) 내에서 다르게 결정될 수 있다. 전자 장치(101)는 측정되는 밝기 값이 임계 값보다 낮은 영역에 대해서는, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 HDR(high dynamic range) 기능에서, 포화 영역이나 이동 영역을 식별하는 것에 기반하여, 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는 HDR 블렌딩 과정에서 추출되는 포화 영역을 식별할 수 있다. 전자 장치(101)는 상기 포화 영역에 대하여, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 밝기가 포화된 부분에 대해서는, 제1 방식에 따른 깊이 맵에 오류가 발생할 확률이 높기 때문이다. 또한, 예를 들어, 전자 장치(101)는 노출 값에 따라, 이동 영역을 식별할 수 있다. 전자 장치(101)는 상기 이동 영역에 대하여, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 포화 영역과 마찬가지로, 이동 영역에서는, 제1 방식에 따른 깊이 맵에 오류가 발생할 수 있다.
도 8a는 일 실시예에 따른, 근접 거리에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 8a를 참고하면, 전자 장치(101)는, 제1 방식에 기반하여 이미지(801)를 획득할 수 있다. 상기 제1 방식에 따른 제1 깊이 맵(811)을 참고하면, 제1 깊이 맵(811)은 투명한 객체(예: 유리컵)의 깊이를 정확하게 나타내지 못한다. 따라서, 전자 장치(101)는 제1 깊이 맵(811)에서 객체에 대한 영역(830)을 배경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(830)에 배경 효과를 적용할 수 있다. 이미지(801)를 참고하면, 상기 영역(830)에서 흐림 처리가 확인될 수 있다. 그러나, 투명한 객체는 배경 영역이 아닌 전경에 해당하므로, 흐림 처리는 적절하지 못하다. 전자 장치(101)는, 이미지 내 객체가 투명한 객체임을 식별하는 것에 기반하여, 제2 방식에 기반하여, 이미지(803)를 획득할 수 있다. 상기 제2 방식에 따른 제2 깊이 맵(813)을 참고하면, 제2 깊이 맵(813)은 투명한 객체(예: 유리컵)가 카메라와 근접하게 위치함을 나타낸다. 전자 장치(101)는 제2 깊이 맵(813)에서 객체에 대한 영역(840)을 전경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(840)에 배경 효과를 적용하지 않는다. 이미지(803)를 참고하면, 상기 영역(840)에 흐림 처리 없이, 유리컵이 선명하게 표시됨이 확인될 수 있다.
도 8b는 일 실시예에 따른, 저조도에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 8b를 참고하면, 전자 장치(101)는 제1 방식에 기반하여 이미지(851)를 획득할 수 있다. 상기 제1 방식에 따른 제1 깊이 맵(861)을 참고하면, 제1 깊이 맵(861)은 저조도의 객체(예: 꽃)의 깊이를 정확하게 나타내지 못한다. 따라서, 전자 장치(101)는 제1 깊이 맵(811)에서 객체에 대한 영역(880)을 전경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(880)에 배경 효과를 적용하지 않을 수 있다. 이미지(851)의 상기 영역(880)에서, 흐림 처리 없이, 객체가 선명하게 표시된다. 확인될 수 있다. 그러나, 상기 객체는 배경 영역에 대응하므로, 배경 효과(예: 흐림 처리)가 요구된다. 전자 장치(101)는, 저조도 환경을 식별하는 것에 기반하여, 제2 방식에 기반하여, 이미지(853)를 획득할 수 있다. 상기 제2 방식에 따른 제2 깊이 맵(863)을 참고하면, 제2 깊이 맵(863)은 상기 객체(예: 꽃)로부터의 거리가 다른 전경 영역의 객체보다 멀리 있음을 나타낸다. 전자 장치(101)는 제2 깊이 맵(813)에서 상기 객체에 대한 영역(890)을 배경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(840)에 배경 효과를 적용할 수 있다. 이미지(853)의 상기 영역(840)에서, 흐림 처리가 적용될 수 있다.
도 9는 일 실시예에 따른, 영역의 특징에 따라 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치((예: 전자 장치(101))의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.
도 9를 참조하면, 동작(901)에서, 전자 장치(101)는 포화 영역이 존재하는지 여부를 식별할 수 있다. 포화 영역이란, HDR(high dynamic range) 기능에서 밝기가 포화되는 영역을 의미한다. 이미지의 포화 영역에서는, 실제 사용자가 겪는 밝기가 정확하게 표현되기 어렵다. 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않을 수 있다. 따라서, 전자 장치(101)는 이미지 내 포화 영역이 존재하는지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 내 포화 영역이 존재하지 않는 경우, 동작(903)을 수행할 수 있다. 전자 장치(101)는 이미지 내 포화 영역이 존재하는 경우, 동작(909)을 수행할 수 있다.
동작(903)에서, 전자 장치(101)는 이동 영역이 존재하는지 여부를 식별할 수 있다. 이동 영역이란, 움직이는 객체가 이미지 내에서 캡쳐된 영역을 의미한다. 객체의 이동에 따라, 노출 값이 변경될 수 있다. 변경되는 노출 값들로 인해, 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않을 수 있다. 따라서, 전자 장치(101)는 이미지 내 이동 영역이 존재하는지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 내 이동 영역이 존재하지 않는 경우, 동작(905)을 수행할 수 있다. 전자 장치(101)는 이미지 내 이동 영역이 존재하는 경우, 동작(909)을 수행할 수 있다.
동작(905)에서, 전자 장치(101)는 지정된 객체가 검출되는지 여부를 식별할 수 있다. 전자 장치(101)는 특이 유형(예: 투명 재질, 반복 패턴, 메쉬 패턴, 무질감)의 객체에 대해서는, 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않음을 식별할 수 있다. 전자 장치(101)의 동작을 위해 도 6a 내지 도 6b의 설명이 참조될 수 있다. 전자 장치(101)는 이미지 내에서 지정된 객체가 검출되지 않는 경우, 동작(907)을 수행할 수 있다. 전자 장치(101)는 이미지 내 지정된 객체가 검출되는 경우, 동작(909)을 수행할 수 있다.
동작(907)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 특징 매칭이 용이한 객체라면, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공할 수 있음을 식별할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
동작(909)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 객체의 투명 재질, 무질감, 또는 반복 패턴으로 인해, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공하기 어렵다고 판단되는 경우, 전자 장치(101)는 제2 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
도 9에서는 3가지 동작들(901, 903, 905)이 순차적으로 도시되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 일 실시예에 따라, 도 9에 도시된 조건들 중 적어도 일부는 병렬적으로 수행될 수 있다. 예를 들어, 전자 장치(101)는 동작(901)의 포화 영역 식별, 동작(903)의 이동 영역 식별, 또는 동작(905)의 객체 검출 여부를 모두 병렬적으로(혹은 독립적으로) 수행할 수 있다. 예를 들어, 특정 조건의 충족 여부가 다른 특정 조건의 충족 여부를 결정하는데 영향을 미치지 않는다. 일 실시예에 따라, 도 9에 도시된 조건들 중 적어도 일부는 생략될 수 있다. 예를 들어, 전자 장치(101)는 동작(901)과 동작(905)만 수행하고, 동작(903)은 수행하지 않을 수 있다. 다른 예를 들어, 전자 장치(101)는 동작(903) 및 동작(905)만 수행하고, 동작(901)은 수행하지 않을 수 있다.
도 4a 내지 도 9에서는 획득된 이미지들 간 직접적인 비교가 아닌, 획득된 이미지들 간의 차이가 높을 것으로 예상되는 간접적인 조건에 기반하여, 깊이 맵 계산 방식을 결정하는 예가 서술되었다. 전자 장치는 카메라들 간 편차가 높을 것으로 예상되는 저조도 환경, 근접 환경, 혹은 특이한 유형의 객체에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 그러나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 실제 획득되는 이미지들을 비교함으로써, 깊이 맵을 오류 없이 산출하기 위해 정합이 가능한지 여부를 식별할 수 있다. 이하, 도 10에서는 실제 획득되는 이미지들 간 비교를 통해, 깊이 맵 계산 방식을 결정하는 전자 장치의 동작들이 서술된다.
도 10은 일 실시예에 따른, 카메라들 간 이미지 정보 차이에 기반하여 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치((예: 전자 장치(101))의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.
도 10을 참조하면, 동작(1001)에서, 전자 장치(101)는 제1 카메라의 제1 이미지 정보와 제2 카메라의 제2 이미지 정보를 비교할 수 있다. 전자 장치(101)는 제1 카메라를 통해 프레임을 캡쳐할 수 있다. 전자 장치(101)는 상기 제1 카메라를 통해, 상기 프레임에 대한 제1 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 프레임을 캡쳐할 수 있다. 전자 장치(101)는 상기 제2 카메라를 통해, 상기 프레임에 대한 제2 이미지 정보를 획득할 수 있다. 전자 장치(101)는, 제1 방식에 따른 깊이 맵 산출을 위해, 두 이미지 정보 간 차이를 획득할 수 있다. 전자 장치(101)는 두 이미지 정보 간 차이를 획득하기 위해, 상기 제1 이미지 정보 및 상기 제2 이미지 정보를 비교할 수 있다.
동작(1003)에서, 전자 장치(101)는 차이 정보가 정합 임계 값보다 큰 지 여부를 식별할 수 있다. 전자 장치(101)는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 비교 결과에 기반하여, 차이 정보를 획득할 수 있다. 여기서, 비교 대상인 파라미터는 이미지의 품질과 관련될 수 있다. 예를 들어, 이미지 정보는 노출 값을 포함할 수 있다. 일 예로, 상기 제1 이미지 정보의 노출 값(예: -EV)은, 상기 제1 카메라의 유형(예: 망원 카메라)와 관련될 수 있다. 일 예로, 상기 제2 이미지 정보의 노출 값(예: 0 EV)은, 상기 제2 카메라의 유형(예: 광각 카메라)와 관련될 수 있다. 노출 값 차이에 따라, 제1 이미지 정보와 제2 이미지 정보 간 결합에 의한 깊이 맵은 잘못된 정보를 포함할 수 있다. 또한, 예를 들어, 이미지 정보는 초점 거리를 포함할 수 있다. 일 예로, 상기 제1 이미지 정보의 초점 거리(예: 약 10cm)는, 상기 제1 카메라의 유형(예: 광각 카메라)와 관련될 수 있다. 상기 제2 이미지 정보의 초점 거리(예: 약 3cm)는, 상기 제2 카메라의 유형(예: 초광각 카메라)와 관련될 수 있다. 광학적 특성 차이에 따라, 근접 거리에서는 광각 카메라의 주변 상이 흐려질 수 있기 때문에, 제1 이미지 정보와 제2 이미지 정보 간 결합에 의한 깊이 맵은 잘못된 정보를 포함할 수 있다.
전자 장치(101)는 차이 정보가 정합 임계 값보다 큰 경우, 동작(1005)을 수행할 수 있다. 전자 장치(101)는 차이 정보가 정합 임계 값보다 크지 않은 경우, 동작(1007)을 수행할 수 있다.
동작(1005)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 제1 이미지 정보와 제2 이미지 정보 간 유사성이 높을수록, 제1 이미지와 제2 이미지 정보의 결합에 따라 각 픽셀에 대해 산출되는 깊이가 왜곡될 확률이 낮다. 예를 들어, 전자 장치(101)는 두 카메라들을 통해 획득된 이미지 정보 간 차이가 정합 임계 값보다 크다면, 제1 방식에 따른 깊이 맵에 오류가 발생할 확률이 높다고 결정할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
동작(1007)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 제1 이미지 정보와 제2 이미지 정보 간 차이가 적기 때문에, 제1 이미지 정보와 제2 이미지 정보의 결합에 따라 산출되는 깊이 정보의 신뢰성이 높다고 결정할 수 있다. 따라서, 전자 장치(101)는, 제1 이미지 정보와 제2 이미지 정보 간 결합을 통해, 안정적인 깊이 맵을 획득할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.
도 11은 일 실시예에 따른 카메라 스위칭을 통해 깊이 맵을 획득하기 위한 전자 장치의 동작 흐름을 도시한다. 도 11에서는, 현재 메인 카메라와 서브 카메라가 설정되고, 깊이 맵 계산 방식이 제2 방식, 예를 들어, 단일 카메라의 AI 방식으로 결정된 상황이 서술된다.
도 11을 참조하면, 전자 장치(예: 전자 장치(101))는 정합 조건을 식별할 수 있다. 전자 장치(101)는 상기 제2 방식으로 결정하기 위해 이용된 정합 조건을 식별할 수 있다. 정합 조건이 충족되지 않는다면, 전자 장치(101)는 깊이 맵 계산 방식을 상기 제2 방식으로 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 밝기 값이 임계 값보다 작을 것을 요구하는 조건, 예를 들어, 저조도를 가리키는 조건을 식별할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 객체와의 거리가 기준 값보다 짧을 것을 요구하는 조건, 예를 들어, 초근접거리를 가리키는 조건을 식별할 수 있다.
동작(1103)에서, 전자 장치(101)는 카메라 설정에 기반하여 카메라 스위칭을 수행할 수 있다. 전자 장치(101)는 정합 조건에 대응하는 카메라 설정을 식별할 수 있다. 정합 조건에 대응하는 카메라 설정이란, 정합 조건이 충족되지 않는 환경에서, 가장 좋은 성능을 나타내는 카메라 설정을 나타낸다. 카메라 설정은, 활성화되는 카메라 유형을 포함할 수 있다. 예를 들어, 전자 장치(101)는 현재 설정된 메인 카메라를 식별할 수 있다. 이 때, 메인 카메라의 성능이 서브 카메라의 성능보다 낮다면, 전자 장치(101)는 카메라 스위칭을 수행할 수 있다. 도 11에는 도시되지 않았으나, 추가적인 일 실시예에 따라, 전자 장치(101)는 카메라 스위칭을 가이드하기 위한 UI(user interface)를 디스플레이를 통해 표시할 수 있다.
일 실시예에 따라, 메인 카메라는 광각 카메라이고, 서브 카메라는 초광각 카메라일 수 있다. 초 근접 거리(예: 객체와의 거리가 기준 값 미만)에서는, 서브 카메라의 품질이 광각 카메라의 품질보다 높다. 여기서, 높은 품질은, 객체에 초점이 잘 맞음을 의미하고, 낮은 품질은 오초점이 발생하거나, 렌즈의 특성(예: 심도나 왜곡)으로 인해 주변 상이 흐려지는 것을 의미할 수 있다. 전자 장치(101)는 메인 카메라를 광각 카메라에서 초광각 카메라로 변경할 수 있다. 한편, 서브 카메라가 초광각 카메라가 아니거나, 서브 카메라가 설정되지 않았다면, 전자 장치(101)는 서브 카메라를 활성화할 수 있다.
일 실시예에 따라, 메인 카메라는 망원 카메라이고, 서브 카메라는 광각 카메라일 수 있다. 극저조도 환경(예: 밝기 값이 임계 값 미만)에서는 광각 카메라의 품질이 망원 카메라의 품질보다 높을 수 있다. 망원 카메라의 f 값(예를 들어, f/number)는 광각 카메라의 f 값보다 큰 경우가 많기 때문에, 충분한 빛에 노출되지 못하는 반면, 광각 카메라는 저조도에서도 빛에 충분히 노출될 수 있다. f 값은, 초점 거리를 빛이 통과하는 직경으로 나눈 값으로, 빛의 양을 나타낼 수 있다. 광각 카메라를 통해 획득되는 이미지는 망원 카메라를 통해 획득되는 이미지 보다 선명할 수 있다. 전자 장치(101)는 메인 카메라를 망원 카메라에서 초광각 카메라로 변경할 수 있다.
동작(1105)에서, 전자 장치(101)는 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 변경된 메인 카메라의 AI 기법에 기반하여, 깊이 맵 정보를 획득할 수 있다. 도 11에서는 도시되지 않았으나, 전자 장치(101)는 깊이 맵을 획득한 이후, 이미지의 배경 영역과 전경 영역을 분리하여, 배경 영역에 지정된 효과 처리(예: 싱글 보케 처리)를 수행할 수 있다.
본 개시의 실시예들에 따른 깊이 맵 계산 방식의 결정은, 카메라를 이용한 깊이 맵을 계산하기 전에 수행됨으로써, 연산 속도와 정확도를 높일 수 있다. 실시예들에 따른 전자 장치는, 제1 방식을 위한 정합 조건을 상기 제1 방식에 따른 깊이 맵의 계산 전에 판단함으로써, 두 개 이상의 카메라들을 이용하여 전경과 배경 분할 및 배경 흐림 효과를 제공 시 발생 가능한 오류를 줄일 수 있다. 또한, 단일 카메라의 AI 기법을 이용하는 제2 방식과 복수의 카메라들을 이용하는 상기 제1 방식을 상호 보완적으로 적용함으로써, 전자 장치는, 거리나 조도와 같은 조건에 상관없이, 우수한 성능을 갖는 깊이 맵이 적용된 이미지를 출력할 수 있다.
실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하도록 구성될 수 있다. 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 조도 센서를 통해 상기 밝기 값을 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하도록 구성될 수 있다.
일 실시예에 따라, 상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체일 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.
일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 프레임에서 배경 영역 및 전경 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 배경 영역에 보케(bokeh) 효과를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다.
실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 상기 프레임에 대한 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 조도 센서를 통해 상기 밝기 값을 획득하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체일 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.
일 실시예에 따라, 상기 이미지를 표시하는 동작은, 상기 프레임에서 배경 영역 및 전경 영역을 식별하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 배경 영역에 보케(bokeh) 효과를 적용하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하는 동작을 포함할 수 있다.
실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 이미지 정보를 획득하도록 구성될 수 있다. 기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다.
실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다.
실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행됨에 따라, 상기 전자 장치가 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하고, 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하고, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하고, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하고, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 야기할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

Claims (15)

  1. 전자 장치에 있어서;
    적어도 하나의 센서;
    복수의 카메라들;
    디스플레이;
    인스트럭션들을 저장하도록 구성된 메모리; 및
    상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시,
    상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하고,
    상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하고,
    상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하고,
    상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하고,
    상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되고,
    상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정되는,
    전자 장치.
  2. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    조도 센서를 통해 상기 밝기 값을 획득하고,
    상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하고,
    상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성되는,
    전자 장치.
  3. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하고,
    상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하고,
    상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성되는,
    전자 장치.
  4. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하고,
    상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하고,
    상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하도록 구성되는,
    전자 장치.
  5. 청구항 4에 있어서,
    상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체인,
    전자 장치.
  6. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해,
    상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하고,
    상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하고,
    상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하도록 구성되는,
    전자 장치.
  7. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하고,
    상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
    전자 장치.
  8. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하고,
    상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
    전자 장치.
  9. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
    상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하고,
    상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
    전자 장치.
  10. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해,
    상기 프레임에서 배경 영역 및 전경 영역을 식별하고,
    상기 배경 영역에 보케(bokeh) 효과를 적용하고,
    상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하고,
    상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되는,
    전자 장치.
  11. 전자 장치에 의해 수행되는 방법에 있어서,
    복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하는 동작과,
    상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하는 동작과,
    상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하는 동작과,
    상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 상기 프레임에 대한 깊이 맵 정보를 획득하는 동작과,
    상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함하고,
    상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정되는,
    방법.
  12. 청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
    조도 센서를 통해 상기 밝기 값을 획득하는 동작과,
    상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작과,
    상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함하는,
    방법.
  13. 청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
    거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하는 동작과,
    상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작과,
    상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함하는,
    방법.
  14. 청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
    객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하는 동작과,
    상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하는 동작과,
    상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하는 동작을 포함하는,
    방법.
  15. 전자 장치에 있어서;
    적어도 하나의 센서;
    복수의 카메라들;
    디스플레이;
    인스트럭션들을 저장하도록 구성된 메모리; 및
    상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시,
    상기 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하고,
    상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하고,
    상기 단일 카메라를 통해 이미지 정보를 획득하고,
    상기 단일 카메라를 통해 깊이 맵 정보를 획득하고,
    상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되는,
    전자 장치.
PCT/KR2023/008716 2022-08-09 2023-06-22 깊이 맵을 획득하기 위한 전자 장치 및 방법 Ceased WO2024034837A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23852724.6A EP4554205A4 (en) 2022-08-09 2023-06-22 ELECTRONIC DEVICE AND METHOD FOR ACQUIRING A DEPTH CARD
US19/034,074 US20250168314A1 (en) 2022-08-09 2025-01-22 Electronic device and method for acquiring depth map

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220099079A KR20240020854A (ko) 2022-08-09 2022-08-09 깊이 맵을 획득하기 위한 전자 장치 및 방법
KR10-2022-0099079 2022-08-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/034,074 Continuation US20250168314A1 (en) 2022-08-09 2025-01-22 Electronic device and method for acquiring depth map

Publications (1)

Publication Number Publication Date
WO2024034837A1 true WO2024034837A1 (ko) 2024-02-15

Family

ID=89851922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008716 Ceased WO2024034837A1 (ko) 2022-08-09 2023-06-22 깊이 맵을 획득하기 위한 전자 장치 및 방법

Country Status (4)

Country Link
US (1) US20250168314A1 (ko)
EP (1) EP4554205A4 (ko)
KR (1) KR20240020854A (ko)
WO (1) WO2024034837A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20260036900A (ko) * 2024-09-09 2026-03-17 삼성전자주식회사 영상 처리 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029897A (ko) * 2013-09-11 2015-03-19 엘지전자 주식회사 촬영 장치 및 그의 동작 방법
KR20180030862A (ko) * 2015-07-13 2018-03-26 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
JP2019056754A (ja) * 2017-09-20 2019-04-11 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR20190074454A (ko) * 2017-12-20 2019-06-28 (주)이더블유비엠 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체
KR20220052359A (ko) * 2019-10-14 2022-04-27 구글 엘엘씨 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US10554890B1 (en) * 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029897A (ko) * 2013-09-11 2015-03-19 엘지전자 주식회사 촬영 장치 및 그의 동작 방법
KR20180030862A (ko) * 2015-07-13 2018-03-26 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
JP2019056754A (ja) * 2017-09-20 2019-04-11 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR20190074454A (ko) * 2017-12-20 2019-06-28 (주)이더블유비엠 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체
KR20220052359A (ko) * 2019-10-14 2022-04-27 구글 엘엘씨 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4554205A4 *

Also Published As

Publication number Publication date
KR20240020854A (ko) 2024-02-16
EP4554205A1 (en) 2025-05-14
US20250168314A1 (en) 2025-05-22
EP4554205A4 (en) 2025-10-29

Similar Documents

Publication Publication Date Title
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2022114801A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2023075335A1 (ko) 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022030838A1 (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
WO2023033396A1 (ko) 연속된 촬영 입력을 처리하는 전자 장치 및 그의 동작 방법
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022031050A1 (ko) 이미지를 생성하는 전자 장치 및 방법
WO2024005333A1 (ko) 카메라를 포함하는 전자 장치 및 방법
WO2023210940A1 (ko) 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법
WO2023033333A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2023132629A1 (ko) 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법
WO2024034837A1 (ko) 깊이 맵을 획득하기 위한 전자 장치 및 방법
WO2022260252A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022186495A1 (ko) 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법
WO2022211514A1 (ko) 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 헤드 마운티드 디스플레이 장치
WO2024085493A1 (ko) 프리뷰 이미지를 표시하기 위한 전자 장치 및 방법
WO2024117590A1 (ko) 이미지의 뷰 영역을 결정하는 전자 장치 및 그 동작 방법
WO2023018201A1 (ko) 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법
WO2022240186A1 (ko) 이미지 왜곡을 보정하는 방법 및 그 전자 장치
WO2023282458A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022149714A1 (ko) 전자 장치의 플래시 렌즈
WO2021251631A1 (ko) 초점 조절 기능을 포함하는 전자 장치 및 방법
WO2024085494A1 (ko) 디지털 보케 성능 향상을 위한 전자 장치 및 방법
WO2022154168A1 (ko) 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852724

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023852724

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023852724

Country of ref document: EP

Effective date: 20250206

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023852724

Country of ref document: EP