WO2017111332A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2017111332A1
WO2017111332A1 PCT/KR2016/013833 KR2016013833W WO2017111332A1 WO 2017111332 A1 WO2017111332 A1 WO 2017111332A1 KR 2016013833 W KR2016013833 W KR 2016013833W WO 2017111332 A1 WO2017111332 A1 WO 2017111332A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
imaging sensor
control signal
processor
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/013833
Other languages
English (en)
French (fr)
Inventor
박일권
서형찬
진성기
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201680075877.4A priority Critical patent/CN108432237B/zh
Priority to US15/779,923 priority patent/US10701283B2/en
Priority to EP16879199.4A priority patent/EP3386185B1/en
Publication of WO2017111332A1 publication Critical patent/WO2017111332A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Definitions

  • Embodiments are directed to an electronic device and a method of controlling the electronic device, and more particularly, to efficiently use a memory by controlling a read time of an image signal generated by a plurality of imaging sensors.
  • the electronic device may process an image acquired through the imaging sensor.
  • recent electronic devices are approaching a mobile convergence stage that includes functions of other devices.
  • the electronic device may include an image sensor in addition to a call function and a message transmission / reception function to provide a photographing function.
  • the imaging sensor may perform a function of converting the received optical signal into an electrical signal through the pixels.
  • the pixels may be arranged in a pixel array of a set color pattern.
  • the pixels of the imaging sensor may be R (red), G (green), and B (blue) pixels, and the R, G, and B pixels may be arranged in a pixel array of a set color pattern.
  • the pixels may be arranged in a pixel array of color and brightness patterns.
  • the pixels of the imaging sensor may be R (red), G (green), B (blue), and W (white) pixels, and the R, G, B, and W pixels are arranged in a pixel array of a set pattern. Can be.
  • One or more imaging sensors may be provided in the electronic device.
  • the electronic device may synthesize an image photographed by two or more imaging sensors into a single image.
  • the electronic device may include a temporary memory or a processing circuit based on the amount of data read from each imaging sensor. Increase the overall hardware cost by increasing the hardware.
  • an electronic device and an electronic device control method capable of optimizing temporary memory capacity and efficiently configuring hardware by adjusting a read timing of data read from a plurality of imaging sensors may be provided.
  • an electronic device may include a plurality of imaging sensors including a first imaging sensor and a second imaging sensor; And a processor electrically connected to the plurality of imaging sensors and outputting a read control signal and a synchronization signal to the plurality of imaging sensors.
  • the processor outputs a first read control signal to the first imaging sensor, receives first data read from the first imaging sensor, and sends a second read control signal to the second imaging sensor.
  • a recording medium which records a program for executing a method of controlling the electronic device in a computer.
  • the electronic device may efficiently store data read from the plurality of imaging sensors with a minimum temporary memory capacity and generate a synthesized image.
  • FIG 1 is an external view of an electronic device 100 according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an electronic device 201 in a network environment 200 according to various embodiments of the present disclosure.
  • FIG. 3 is a schematic block diagram of the electronic device 100 shown in FIG. 1.
  • FIG. 4 is a diagram illustrating an image sensor module 401 in the electronic device 100 illustrated in FIG. 1.
  • FIG. 5 is an exemplary diagram illustrating pixels included in an imaging sensor of the electronic device 100 illustrated in FIG. 1.
  • FIG. 6 is an exemplary diagram illustrating pixels included in an imaging sensor of the electronic device 100 illustrated in FIG. 1.
  • FIG. 7 is a diagram for describing a process of transmitting an image signal in an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for describing a process of transmitting an image signal based on a synchronization signal of a processor in an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a control method of an electronic device according to another exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a control method of an electronic device, according to another exemplary embodiment.
  • FIG. 13 is a diagram for describing a process of transmitting an image signal based on a synchronization signal of a processor in an electronic device according to another embodiment.
  • expressions such as “have”, “may have”, “include”, or “may include” may refer to a feature (e.g., numerical, functional, operational, or component such as a component). Indicates presence and does not exclude the presence of additional features.
  • the expression "A or B”, “at least one of A or / and B”, or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first, second, first, or “second” used in the present embodiment may modify various components regardless of order and / or importance, and may form a component. It is used to distinguish it from other components and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as a second component, and similarly, the second component may be referred to as the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as "connected to,” it is to be understood that any of the components described above may be directly connected to the other components described above, or may be connected through other components (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • the expression “ configured to " used in this embodiment is, for example, “ suitable for “, “ having the capacity to ), “Designed to”, “adapted to”, “made to”, or “capable of” .
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a CPU or an application processor) that can perform corresponding operations.
  • An electronic device may include, for example, a smartphone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, Desktop personal computer, laptop personal computer, netbook computer, workstation, server, personal digital assistant, portable multimedia player, MP3 player, mobile medical It may include at least one of a device, a camera, or a wearable device.
  • a wearable device may be an accessory type (eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD)), a fabric, or a clothing type (for example, it may include at least one of an electronic garment, a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • HMD head-mounted-device
  • the electronic device may be a home appliance.
  • Home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automation controls
  • the panel may include at least one of a home automation control panel, a security control panel, a TV box, a game console, an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Such as computed tomography (CT), imaging or ultrasound, navigation devices, satellite navigation systems (global navigation satellite systems), event data recorders (EDRs), flight data recorders (FDRs), and automotive infotainment ) Devices, ship's electronic equipment (e.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT computed tomography
  • navigation devices satellite navigation systems (global navigation satellite systems), event data recorders (EDRs), flight data recorders (FDRs), and automotive infotainment ) Devices
  • ship's electronic equipment e.g.
  • Point of sales point of sales, or Internet of things (e.g. light bulbs, sensors, electricity or gas meters, sprinkler devices, fire alarms, thermostats, street lights, It may include at least one of (toaster), exercise equipment, hot water tank, heater, boiler.
  • things e.g. light bulbs, sensors, electricity or gas meters, sprinkler devices, fire alarms, thermostats, street lights, It may include at least one of (toaster), exercise equipment, hot water tank, heater, boiler.
  • an electronic device may be a furniture or part of a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be one or a combination of the aforementioned various devices.
  • An electronic device may be a flexible electronic device. Also, the electronic device according to the present embodiment is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device that uses an electronic device, for example, an artificial intelligence electronic device.
  • FIG 1 is an external view of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as devices for various purposes.
  • the electronic device 100 may be implemented as a mobile phone, a smart phone, a laptop computer, a tablet device, and the like, but is not limited thereto.
  • the display 110 may be installed on the front surface 101 of the electronic device 100.
  • the speaker 120 for receiving a voice of the other party may be installed above the display 110.
  • a microphone 130 for transmitting a voice of the user of the electronic device 100 to the counterpart may be installed below the display 110.
  • components for performing various functions of the electronic device 100 may be disposed around the speaker 120.
  • the components may include at least one sensor module 140.
  • the sensor module 140 may include, for example, at least one of an illumination sensor (for example, an optical sensor), a proximity sensor, an infrared sensor, and an ultrasonic sensor.
  • the part may include a camera 150.
  • the component may include an LED indicator 160 for letting a user know state information of the electronic device 100.
  • the electronic device 100 may photograph the object using the camera 150.
  • 1B is a side view of the electronic device 100.
  • the electronic device 100 may include other cameras 150 and 150 ′.
  • the cameras 150 and 150 ′ of the electronic device 100 may form various angles of view.
  • the angle of view may be, for example, 30 degrees, 50 degrees, 90 degrees, or 180 degrees.
  • the electronic device 100 may generate images captured by the cameras 150 and 150 ′ as images, and may generate a single image by synthesizing the captured images. For example, if the cameras 150 and 150 ′ have an angle of view of 180 degrees, the electronic device 100 may generate an image having an angle of view of 360 degrees.
  • a camera capable of capturing a 360-degree angle of view may be referred to as an omnidirectional camera or a 360-degree camera, and the electronic device 100 according to an embodiment is not limited to the term, and a plurality of images captured from a plurality of cameras or imaging sensors. It may be a camera that can synthesize.
  • the electronic device 101 may include the electronic device 100 of FIG. 1.
  • the electronic device 201 may include a bus 210, a processor 220, a memory 230, an input / output interface 250, a display 260, and a communication interface 270. According to an embodiment of the present disclosure, the electronic device 201 may omit at least one of the components or further include another component.
  • the bus 210 may include circuitry that couples the components 210-270 to each other and communicates between the components, eg, control messages and / or data.
  • the processor 220 may include one or more of a central processing unit (CPU), an application processor (AP), a communication processor (CP), and an image processor (Image Signal Processor). It may contain the above.
  • the processor 220 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 201.
  • the memory 230 may include volatile and / or nonvolatile memory.
  • the memory 230 may store, for example, commands or data related to at least one other element of the electronic device 201.
  • the memory 230 may store software and / or a program 240.
  • the program 240 may be, for example, a kernel 241, middleware 243, an application programming interface (API) 245, and / or an application program (or “application”) 147, or the like. It may include. At least a portion of kernel 241, middleware 243, or API 245 may be referred to as an operating system (OS).
  • OS operating system
  • Kernel 241 is a system resource (e.g., used to execute an action or function implemented in other programs, such as middleware 243, API 245, or application program 247, for example).
  • the bus 210, the processor 220, or the memory 230 may be controlled or managed.
  • the kernel 241 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 201 from the middleware 243, the API 245, or the application program 247. Can be.
  • the middleware 243 may serve as an intermediary for allowing the API 245 or the application program 247 to communicate with the kernel 241 to exchange data.
  • the middleware 243 may process one or more work requests received from the application program 247 according to priority.
  • the middleware 243 may use system resources (eg, the bus 210, the processor 220, or the memory 230, etc.) of the electronic device 201 for at least one of the application programs 247. Priority can be given.
  • the middleware 243 may perform scheduling or load balancing on the one or more work requests by processing the one or more work requests according to the priority given to the at least one.
  • the API 245 is, for example, an interface for the application 247 to control functions provided by the kernel 241 or the middleware 243, for example, file control, window control, image processing, or text. It may include at least one interface or function (eg, a command) for control.
  • the input / output interface 250 may serve as, for example, an interface capable of transferring a command or data input from a user or another external device to other component (s) of the electronic device 201.
  • the input / output interface 250 may output a command or data received from other component (s) of the electronic device 201 to a user or another external device.
  • Display 260 may be, for example, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, or Microelectromechanical systems (MEMS) displays, or electronic paper displays.
  • the display 260 may display various contents, for example, text, an image, a video, an icon, a symbol, or the like, to the user.
  • the display 260 may include a touch screen, and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 270 may establish communication between, for example, the electronic device 201 and an external device (eg, the first external electronic device 202, the second external electronic device 204, or the server 206). Can be.
  • the communication interface 270 may be connected to the network 262 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 204 or the server 206).
  • Wireless communication is, for example, a cellular communication protocol, for example, long-term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), UMTS (universal).
  • LTE long-term evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal
  • WBro mobile telecommunications system
  • WiBro wireless broadband
  • GSM global system for mobile communications
  • wireless communication may include, for example, near field communication 264.
  • the short range communication 264 may include, for example, at least one of wireless fidelity (WiFi), Bluetooth, near field communication (NFC), global navigation satellite system (GNSS), and the like.
  • WiFi wireless fidelity
  • NFC near field communication
  • GNSS global navigation satellite system
  • GNSS is based on the area of use or bandwidth, for example, global positioning system (GPS), Global Navigation Satellite System (Glonass), Beidou Navigation Satellite System (“Beidou”) or Galileo, the European global satellite-based navigation system. It may include at least one.
  • GPS Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system. It may include at least one.
  • GPS Global Navigation Satellite System
  • the wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a reduced standard232 (RS-232), a plain old telephone service (POTS), and the like.
  • the network 262 may be a telecommunications network, for example, a computer network (eg, a local area network (LAN) or a wide area network (WAN)), the Internet, or a telephone network. It may include at least one.
  • Each of the first and second external electronic devices 202 and 204 may be the same or different type of device as the electronic device 201.
  • the server 206 may include a group of one or more servers.
  • all or part of operations executed in the electronic device 201 may be executed in another or a plurality of electronic devices (for example, the electronic devices 202 and 204 or the server 206.)
  • the electronic device 201 may instead or in addition execute the function or service by itself, at least in part thereof.
  • a function may be requested from another device (eg, the electronic devices 202 and 204 or the server 206.)
  • the other electronic device eg, the electronic devices 202 and 204 or the server 206 may request the function.
  • an additional function may be executed and the result may be transmitted to the electronic device 201.
  • the electronic device 201 may provide the requested function or service by processing the received result as it is or additionally.
  • cloud Computing, distributed computing, or client-server computing techniques may be used.
  • the electronic device 101 and the first and second external electronic devices 202 and 204 use one of the electronic devices using the above-described communication methods. It can also be sent to and composited into a single image. For example, an image having an angle of view of 360 degrees may be generated by combining the 180 degree angle of view taken by the electronic device 201 and the 180 degree angle of view taken by the second electronic device 202.
  • FIG. 3 is a schematic block diagram of the electronic device 100 shown in FIG. 1.
  • the electronic device 100 may include a processor 310, a temporary memory 320, a sensor A 330, and a sensor B 340.
  • the electronic device 200 may be implemented to have more or fewer configurations than those illustrated in FIG. 3.
  • the electronic device 100 may include, for example, a touch panel, a physical key, a proximity sensor, and a biometric sensor as an input module, and may include a memory, an analog / digital converter, a power supply unit, and the like. It can be configured to include.
  • the processor 310 refers to a processor that controls the imaging sensors A and B 330 and 340 and receives image data to perform image processing.
  • the imaging sensor A 330 and the imaging sensor B 340 may receive light incident through a lens (not shown) and convert the light into an electrical signal.
  • the imaging sensor A 330 may be referred to as a first imaging sensor
  • the imaging sensor B 340 may be referred to as a second imaging sensor.
  • the first and second imaging sensors 330 and 340 may include a pixel sensor capable of detecting at least two or more mixed color information, for example, white (w) pixels or brightness pixels.
  • the first and second imaging sensors 330 and 340 include a pixel array in which R (red), G (green), B (blue) pixel sensors, and W (white) pixel sensors are arranged in a set pattern. can do.
  • the temporary memory 320 may temporarily store image signals generated and read by the second imaging sensor 340.
  • the temporary memory 320 may be provided separately from the processor 310 and may be a buffer memory or a line memory. Image signals may be represented and stored in the form of general data transmitted between electronic devices.
  • the temporary memory 320 may temporarily store only an image signal read from one of the two imaging sensors. As shown in FIG. 3, the image signal generated by the first imaging sensor 330 is transmitted directly to the processor 310 without passing through the temporary memory 320, and the image signal generated by the second imaging sensor 340. Is temporarily stored in the temporary memory 320 and then transmitted to the processor 310.
  • the processor 310 controls to receive the image signal stored in the temporary memory 320 when the reception of the image signal read out from the first imaging sensor 330 ends.
  • the processor 310 may not read the control signal output to the first imaging sensor 330.
  • a blanking period may be inserted to prevent image signals received from the first imaging sensor 330 and the second imaging sensor 340 from overlapping each other. The blanking interval setting will be described later with reference to FIG. 8.
  • the electronic device 100 may include a temporary memory for storing image signals output from two imaging sensors, and an image signal output from one imaging sensor, for example, one horizontal line. Since only the line memory corresponding to the data is implemented, the number of required line memories can be reduced.
  • the image signal input from the two imaging sensors can be processed like the image signal input from the one imaging sensor.
  • a camera including a plurality of sensors and lenses such as a 3D camera, a dual camera, or a 360-degree omnidirectional camera using an electronic device according to the present embodiment, even when a fast object is photographed, since the exposure starts and ends at the same time, You can get the effect of shooting with one sensor without any inconvenience.
  • N is an integer of 2 or more
  • N or more imaging sensors may be simultaneously or individually controlled as a synchronization signal and a control signal. Data can be received and an image merged at the same time can be generated using the N-1 line memories.
  • the processor 310 may control the operation of the above-described components. For example, the processor 310 may generate a synchronization signal to generate an image signal at a predetermined time or at a predetermined time interval. The processor 310 may control the generated image signals to be sequentially transmitted to the temporary memory 320. For example, some of the signals generated by the imaging sensor A 330 may first be transmitted to the temporary memory 320, and then some of the signals generated by the imaging sensor B 340 may be transmitted to the temporary memory 320. have.
  • the electronic device 100 may separately provide an image processing unit (not shown) for processing an image signal, and may be included in the processor 310.
  • the processor 310 processes an image.
  • the processor 310 may perform various post-processing using the image signals received through the temporary memory 320. For example, the processor 310 may perform a gain adjustment or signal processing for shaping a waveform with respect to the received image signal.
  • the processor 310 may perform a process of removing noise with respect to the image signal.
  • the processor 310 may include gamma correction, color filter array interpolation, color matrix, color correction, color enhancement, and the like. Signal processing for image quality improvement may be performed.
  • Each of the imaging sensors 330 and 340 may be included in an imaging sensor module.
  • 4 illustrates an imaging sensor module in an electronic device according to an embodiment of the present disclosure.
  • an imaging sensor module 401 may include a cover member 450, a lens 410, a lens barrel 420, a coil part 430, a magnet part 440, and a base ( 470, an imaging sensor 460, and a circuit board 480.
  • the cover member 450 may form an outline of the imaging sensor module 401.
  • the cover member 450 may protect various components disposed in the inner space.
  • the lens 410 may include a plurality of lenses 410.
  • the lens may include a lens moving for auto focus, a lens moving for a zoom operation, and the like.
  • An image from the lens 410 may be transferred to the imaging sensor 460.
  • the lens barrel 420 may receive the lens 410.
  • the coil unit 430 may be disposed outside the lens barrel 420.
  • the magnet part 440 may be disposed at a position corresponding to the coil part 430.
  • the magnet part 440 may be disposed to face the coil part 430.
  • the electronic device 100 may use an optical image stabilizer (OIS) driving module (not shown), and may operate the lens through interaction of an electromagnetic field or a magnetic field of the magnet part 440 with the coil part 430.
  • the optical image stabilizer (OIS) may be moved by moving 410.
  • the electronic device 102 is supplied with power to the coil unit 430, and the lens 410 is operated by the interaction between the electromagnetic field generated by the coil unit 430 and the magnetic field generated by the magnet unit 440. I can move it.
  • the electronic device 102 may detect the shaking of the user and move the lens 410 in the opposite direction of the shaking, thereby preventing image blurring.
  • the electronic device 102 may detect an image of a user's hand and move the image sensor 460 in the opposite direction of the image, thereby preventing image blur.
  • the base 470 may be combined with the cover member 450.
  • the base 470 may support the lower side of the cover member 450.
  • the infrared cut filter may be further disposed on the base 470 at a position corresponding to the imaging sensor 460.
  • the base 470 may function as a sensor holder that protects the imaging sensor 460.
  • the imaging sensor 460 may be disposed on the circuit board 480.
  • the imaging sensor 460 may be electrically connected to the circuit board 480 by wire bonding, or may be flip bonded using an electroconductive paste.
  • the circuit board 480 may include a plurality of circuit patterns (not shown) and transmit the converted signal to the processor 310 using the imaging sensor 460.
  • the imaging sensor 460 may include a pixel array in which color pixel sensors (eg, R, G, and B pixels) and white pixels (eg, W pixels) are arranged in a set pattern.
  • the pixel array converts an optical image signal of an external object incident through the lens 410 into an electrical image signal.
  • 5 is a diagram illustrating pixels included in an imaging sensor of an electronic device according to various embodiments of the present disclosure.
  • each pixel 501 may convert an optical signal into an electrical signal.
  • Each pixel 501 may include at least one micro lens (not shown), at least one color filter 510, and at least one photodiodes 520.
  • the micro lens may collect light incident from the outside.
  • the color filter 510 may include at least one of a red filter, a green filter and a blue filter, a white filter, a cyan filter, a magenta filter, and a yellow filter. It may include one.
  • the photodiode 650 may convert an optical signal into an electrical signal.
  • FIG. 6 is an exemplary diagram for describing pixels included in an imaging sensor of an electronic device according to various embodiments of the present disclosure.
  • the red filter may pass light in the red wavelength band.
  • the green filter may pass light in the green wavelength band.
  • the blue filter may pass light in the blue wavelength band.
  • the white filter can pass light in all wavelength bands in the visible light region.
  • the cyan filter may pass light in the green wavelength and blue wavelength bands.
  • Magenta filters can pass light in the red and blue wavelength bands.
  • the yellow filter may pass light in the red wavelength and green wavelength bands.
  • FIG. 7 is a diagram illustrating a situation in which an electronic device transmits an image signal to a temporary memory according to an embodiment of the present disclosure.
  • the imaging sensor includes 8 ⁇ 8 pixels.
  • the processor 310 may control the imaging sensor module 401 illustrated in FIG. 4 to photograph an object.
  • the processor 310 may control the plurality of imaging sensors 710 and 720 to be photographed at about the same time using the synchronization signal.
  • the imaging sensors 710 and 720 may convert the received optical signal into an image signal.
  • the imaging sensors 710 and 720 transmit the charge generated in each pixel 711 and 721, that is, the image signal to the processor 310.
  • the image signal read by the imaging sensor A 710 is directly transmitted to the processor 310, and the image signal read by the imaging sensor B 720 is transmitted to the temporary memory 730.
  • the imaging sensors 710 and 720 may transmit the image signal to the processor 310 and the temporary memory 730 line by line.
  • the imaging sensor A 710 transmits from the first line 715 to the processor 310.
  • the imaging sensor B 720 transmits from the first line 725 to the temporary memory 730.
  • the temporary memory 730 reads from the imaging sensor B 720 and stores the data of the first line at the time when the reception of the data 715 of the first line read from the imaging sensor A 710 is terminated in the processor 310. 725 is output to the processor 310.
  • the electronic device may have the same memory in the processor 310 even if it has only one temporary memory, for example, one line of the imaging sensor B 720, for example, a line memory capable of storing 8 pixels of data.
  • the merged image may be generated by receiving an image signal read from each imaging sensor at a time. Since the processor 310 cannot receive the next image signal a9-a16 from the imaging sensor A 710 while receiving the image signal 725 from the temporary memory 730, the image from the imaging sensor A 710. The section until the next horizontal sync signal or the next read control signal for controlling the reading of the image signal is output is set as the blanking section.
  • the processor 310 may form one line by connecting the first line 715 received from the imaging sensor A 710 and the first line 725 received from the imaging sensor B 720. By repeating this process, the processor may generate one image by combining the image generated by the imaging sensor A 710 and the image generated by the imaging sensor B 720.
  • FIG. 8 is a diagram illustrating a process of transmitting an image signal based on a synchronization signal of a processor in an electronic device according to an embodiment of the present disclosure.
  • the processor 310 may control the respective imaging sensors 710 and 720 by using the vertical synchronization signal 810 and the horizontal synchronization signal 812.
  • the vertical synchronization signal 810 is a signal for synchronization in each frame
  • the horizontal synchronization signal 812 is a signal for synchronization in each line included in the frame.
  • the vertical synchronization signal 810 and / or the horizontal synchronization signal 812 may be a read control signal for controlling data read from each imaging sensor 810.
  • the processor 310 may output each read control signal output to the imaging sensor A 710 and the imaging sensor B 720 simultaneously or sequentially. Also, the processor 310 may output each read control signal to each imaging sensor in synchronization or async.
  • the imaging sensor A 710 Based on the vertical synchronization signal 810 and the horizontal synchronization signal 812, the imaging sensor A 710 transmits an image signal or data 715 corresponding to the first line to the processor 310.
  • imaging sensor A 710 outputs data 715 on the first line
  • processor 310 begins to receive data 715 on the first line.
  • the imaging sensor B 720 outputs the data 725 of the first line to the temporary memory 730, and the data 725 of the first line is sequentially stored in the temporary memory 730.
  • the reception of the data 715 from the imaging sensor A 710 ends, and the data 725 is output from the temporary memory 730 to the processor 310.
  • the processor 310 controls not to receive the second line of data a9-a16 from the imaging sensor 710 while receiving the data 725 from the temporary memory 310.
  • the timing of the horizontal synchronization signal 812 controlling the reception of the data a9-a16 of the second line from the imaging sensor A 710 is controlled. That is, a blanking period is set in a section from T2, which is a point of receiving data 725 to the temporary memory 814, to T3, which is a point in time of receiving data a9-a16 of the second line from the imaging sensor A 710. do.
  • the processor 310 After the processor 310 receives all of the data 715 from the imaging sensor A 710, and subsequently receives all of the data 725 from the imaging sensor B 720 via the temporary memory 730, the processor 310 Receives the second line of data a9-a16 from the imaging sensor A 710 in the next horizontal sync signal, and the data b9-b16 read out from the imaging sensor B 720 is transferred back to the temporary memory 730. Stored. The processor 310 receives the data b9-b16 stored in the temporary memory 730 at the end of receiving the data a9-a16 from the imaging sensor A 710.
  • the processor 310 inserts an arbitrary blanking section into the reading section of the data received from the imaging sensor A 710, so that only the line memory corresponding to one line of the imaging sensor B 720 is provided.
  • the data output from the two imaging sensors 710 and 720 can be smoothly received.
  • horizontal lines of the image pickup device can be connected by one line.
  • the lines coming from the imaging sensors 710 and 720 may be accumulated and combined to generate one image.
  • FIG. 9 is a flowchart illustrating a control method of an electronic device according to another exemplary embodiment.
  • the electronic device 100 may generate a photographing signal by an event such as a user input.
  • the electronic device 100 may photograph the object by, for example, operating the imaging sensor module 401.
  • the electronic device 100 photographs an object using the imaging sensor A 710 and the imaging sensor B 720.
  • the electronic device 100 directly transmits the first line 715 of the imaging sensor A 710 to the processor 310 without passing through the temporary memory 730.
  • step 940 the processor 310 starts storing the first line of the imaging sensor B in the temporary memory.
  • step 930 and step 940 may be performed simultaneously or with a time difference.
  • step 950 when the processor 310 receives the last data of the first line of the imaging sensor A 710, the processor 310 processes the first data of the first line of the imaging sensor B 720 stored in the temporary memory 730. Send to 310.
  • the processor 310 merges the first line of the imaging sensor A and the first line of the imaging sensor B into one continuous line.
  • the processor 310 generates merged image data of one horizontal line after receiving all data of the first line or the horizontal line of the imaging sensor A 710 and the imaging sensor B 720. Further, optionally, the processor 310 receives all data of the first line or the horizontal line of the imaging sensor A 710 and the imaging sensor B 720, and then receives all the data of the second and third lines. Image data merged on a frame basis may also be generated.
  • the electronic device 100 may repeat these steps with respect to the line transmitted from each of the imaging sensors 710 and 720 to generate one synthesized image.
  • a hardware may be configured by only a temporary memory corresponding to one line of one imaging sensor for data read from a plurality of imaging sensors, and the timing of the synchronization signal of the imaging sensor may be adjusted.
  • the data read by the plurality of imaging sensors may be efficiently stored with a minimum temporary memory capacity, and a synthesized image may be generated.
  • the image 1 1010 may be an image generated by the imaging sensor A 710.
  • the imaging sensor A 710 may be, for example, an imaging sensor included in the camera 150 positioned in front of the electronic device 100 in FIG. 1.
  • Image 1 1010 may be, for example, an image having an angle of view of 180 degrees.
  • the image 2 1020 may be an image generated by the imaging sensor B 720.
  • the imaging sensor B 720 may be, for example, an imaging sensor included in the camera 150 ′ positioned on an opposite surface of the front surface of the electronic device 100 in FIG. 1.
  • Image 2 1020 may also be an image having an angle of view of 180 degrees.
  • the image 3 1030 may be an image obtained by combining the image 1 1010 and the image 2 1020.
  • Image 1 1010 and Image 2 1020 each have an angle of view of 180 degrees, so that Image 3 1030 that combines the two images can express an angle of view of 360 degrees.
  • the user may easily acquire an image having an angle of view of 360 degrees with a single photographing.
  • 11 is a result of synthesizing four images into one image in an electronic device according to another embodiment.
  • the image 1 1110 is an image generated by the first imaging sensor and may be, for example, an image having an angle of view of 90 degrees.
  • Image 2 1120 is an image generated by the second imaging sensor and may be, for example, an image having an angle of view of 90 degrees.
  • the image 3 1130 is an image generated by the third imaging sensor and may be, for example, an image having an angle of view of 90 degrees.
  • the image 4 1140 is an image generated by the fourth imaging sensor and may be, for example, an image having an angle of view of 90 degrees.
  • the image 5 1150 may be an image obtained by combining the image 1 1310, the image 2 1320, the image 3 1330, and the image 4 1340.
  • Each of the images has an angle of view of 90 degrees so that the image 5 (1150) combining four images can express an angle of view of 360 degrees.
  • the user may easily acquire an image having an angle of view of 360 degrees with a single photographing.
  • FIG. 12 is a flowchart illustrating a control method of an electronic device, according to another exemplary embodiment.
  • step 1200 the processor outputs a first read control signal to a first imaging sensor and receives the read first data.
  • the second read control signal is output to the second imaging sensor, and the read second data is stored in the temporary memory.
  • Steps 1200 and 1210 may be performed simultaneously or sequentially, and the first read control signal and the second read control signal may be horizontal sync signals output to the respective imaging sensors, or sensor control signals corresponding to the horizontal sync signals.
  • the processor controls to output second data stored in the temporary memory based on an output control signal generated between the first read control signal and the next first read control signal.
  • a blanking period is inserted between the first read control signal for reading data of the first line of the first imaging sensor and the next first read control signal for reading data of the second line. Therefore, the processor may receive the second data stored in the temporary memory immediately after receiving the first data from the first imaging sensor, and may not receive data from the first imaging sensor while receiving the second data.
  • the length of the blanking section may be variably set in consideration of the number of imaging sensors and the size of one line of the imaging sensor.
  • the processor In operation 1230, the processor generates merged data obtained by merging the first data and the second data.
  • a method of controlling an electronic device may minimize the use of a temporary memory by providing a constant blanking period at a data reading timing of any one of a plurality of imaging sensors, and may make the data input and output clocks the same. Even if it does so, the processor does not cause inconvenience in synthesizing a plurality of image data.
  • FIG. 13 is a diagram of a situation in which an electronic device transmits an image signal to a temporary memory according to another embodiment.
  • the electronic device according to the embodiment of FIG. 13 does not include a separate temporary memory.
  • the read timings of the imaging sensor A 710 and the imaging sensor B 720 may be adjusted to sequentially output data to the processor 310 without a temporary memory.
  • the processor 310 controls the respective imaging sensors 710 and 720 using the vertical synchronization signal 810 and the horizontal synchronization signal 812.
  • the processor 310 starts to receive the data 715 of the first line.
  • the processor 310 starts outputting the data b1-b8 of the first line of the imaging sensor B 720 to the processor at the timing when the reception of the data a1-a8 of the first line ends. That is, the sensor output timings of the imaging sensor A 710 and the imaging sensor B 720 are made with a time difference of T2-T1.
  • the processor 310 controls not to receive data from the imaging sensor A 710 while receiving the data b1-b8 from the imaging sensor B 720.
  • the timing of the horizontal synchronization signal 812 controlling the reception of the data a9-a16 of the second line from the imaging sensor A 710 is controlled. That is, a blanking period is set in a section from T2, which is a point of receiving data 725 to the temporary memory 814, to T3, which is a point in time of receiving data a9-a16 of the second line from the imaging sensor A 710. do.
  • the processor 310 After the processor 310 receives all of the data a1-a8 from the imaging sensor A 710 and subsequently receives the data b1-b8 from the imaging sensor B 720, the processor 310 moves to the next horizontal synchronization. From the imaging sensor B 720, at the point in time when the second line of data a9-a16 is received from the imaging sensor A 710 and the reception of the data a9-a16 from the imaging sensor A 710 is terminated. The next line of data b9-b16 is received.
  • the processor 310 controls the data read timing of the imaging sensor A 710 and the imaging sensor B 720 with a time difference, and is fixed to the read control signal of the imaging sensor A 710.
  • the processor 310 controls the data read timing of the imaging sensor A 710 and the imaging sensor B 720 with a time difference, and is fixed to the read control signal of the imaging sensor A 710.
  • an apparatus eg, modules or functions thereof
  • a method eg, operations
  • computer-readable storage media in the form of a program module. It can be implemented as a command stored in.
  • the instruction is executed by a processor (eg, the processor 120)
  • the one or more processors may perform a function corresponding to the instruction.
  • the computer-readable storage medium may be the memory 130, for example.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. compact disc read only memory), DVD ( digital versatile discs, magneto-optical media (e.g. floptical disks), hardware devices (e.g. read only memory, random access memory (RAM), or flash memory)
  • the program instructions may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter, etc.
  • the hardware device described above may be various. It can be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Modules or program modules according to various embodiments of the present disclosure may include at least one or more of the above components, some of them may be omitted, or may further include other additional components.
  • Operations performed by a module, program module, or other component according to various embodiments of the present disclosure may be executed in a sequential, parallel, repetitive, or heuristic manner.
  • some operations may be executed in a different order, may be omitted, or other operations may be added.
  • the embodiments disclosed in the present embodiment are presented for the purpose of explanation and understanding of the disclosed, technical content, and do not limit the scope of the technology described in the present embodiment. Therefore, the scope of the present embodiment should be construed as including all changes or various other embodiments based on the technical spirit of the present embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로, 제1 촬상 센서 및 제2 촬상 센서를 포함하는 복수 개의 촬상 센서들 및 복수의 촬상 센서들과 전기적으로 연결되고, 독출 제어 신호 및 동기화 신호를 복수 개의 촬상 센서들에 출력하는 프로세서를 포함하고, 프로세서는, 제1 독출 제어 신호를 제1 촬상 센서에 출력하고, 제1 촬상 센서로부터 독출된 제1 데이터를 수신하고, 제2 독출 제어 신호를 제2 촬상 센서에 출력하고, 제2 촬상 센서로부터 독출된 제2 데이터를 임시 메모리에 저장하고, 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 임시 메모리에 저장된 제2 데이터를 출력하도록 제어하고, 제1 데이터 및 상기 제2 데이터를 병합한 병합 데이터를 생성한다.

Description

전자 장치 및 전자 장치의 제어 방법
실시 예들은 전자 장치 및 전자 장치의 제어 방법으로서, 보다 구체적으로는 다수의 촬상 센서에서 생성되는 이미지 신호의 독출 시간을 제어하여 메모리를 효율적으로 사용하는 것에 관한 것이다.
전자 장치는 촬상 센서를 통해 획득되는 이미지를 처리할 수 있다. 또한, 최근의 전자 장치는 다른 장치들의 기능까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 전자 장치는 통화 기능, 메시지 송수신 기능 이외에 이미지 센서를 구비하여 촬영 기능 등을 제공할 수 있다.
촬상 센서는 수신되는 광 신호를 픽셀들을 통해 전기적인 신호로 변환하는 기능을 수행할 수 있다. 픽셀들은 설정된 컬러 패턴의 픽셀 어레이로 배열될 수 있다. 예를 들면 촬상 센서의 픽셀들은 R(red), G(green), B(blue) 픽셀들이 될 수 있으며, 상기 R, G, B 픽셀들은 설정된 컬러 패턴의 픽셀 어레이로 배열될 수 있다. 또한, 픽셀들은 컬러 및 밝기 패턴의 픽셀 어레이로 배열될 수 있다. 예를 들면 촬상 센서의 픽셀들은 R(red), G(green), B(blue), W(white) 픽셀들이 될 수 있으며, 상기 R, G, B, W 픽셀들은 설정된 패턴의 픽셀 어레이로 배열될 수 있다.
촬상 센서는 전자 장치에 한 개 또는 두 개 이상 마련될 수 있다. 전자 장치는 두 개 이상의 촬상 센서에서 촬영된 이미지를 합성하여 하나의 이미지로 만들 수 있다.
복수 개의 촬상 센서를 이용하여 촬영을 하는 경우, 복수 개의 촬상 센서에서 독출되는 데이터를 저장하거나 처리할 때, 각 촬상 센서에서 독출되는 데이터의 양에 기반하여 임시 메모리 또는 처리 회로를 구비하는 것은 전자 장치의 하드웨어를 증가시켜 전체적인 비용을 높인다.
따라서, 다양한 실시 예에 따르면, 전자 장치가 복수 개의 촬상 센서에서 독출되는 데이터의 독출 타이밍을 조절하여 임시 메모리 용량을 최적화하고 효율적으로 하드웨어를 구성할 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공하는 것이다.
일 실시 예에 따른 전자 장치는, 제1 촬상 센서 및 제2 촬상 센서를 포함하는 복수 개의 촬상 센서들; 및 복수 개의 촬상 센서들과 전기적으로 연결되고, 독출 제어 신호 및 동기화 신호를 상기 복수 개의 촬상 센서들에 출력하는 프로세서; 를 포함하고, 상기 프로세서는, 제1 독출 제어 신호를 상기 제1 촬상 센서에 출력하고, 상기 제1 촬상 센서로부터 독출된 제1 데이터를 수신하고, 제2 독출 제어 신호를 상기 제2 촬상 센서에 출력하고, 상기 제2 촬상 센서로부터 독출된 제2 데이터를 임시 메모리에 저장하고, 상기 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 상기 임시 메모리에 저장된 제2 데이터를 출력하고, 상기 제1 데이터 및 상기 제2 데이터를 병합한 병합 데이터를 생성한다.
다른 실시 예에 따른 제1 촬상 센서 및 제2 촬상 센서를 포함하는 복수 개의 촬상 센서들을 포함하는 전자 장치의 제어 방법에 있어서, 상기 프로세서에서, 제1 독출 제어 신호를 상기 제1 촬상 센서에 출력하고, 상기 제1 촬상 센서로부터 독출된 제1 데이터를 수신하는 단계; 제2 독출 제어 신호를 상기 제2 촬상 센서에 출력하고, 상기 제2 촬상 센서로부터 독출된 제2 데이터를 임시 메모리에 저장하는 단계; 상기 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 상기 임시 메모리에 저장된 제2 데이터를 출력하도록 제어하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터를 병합한 병합 데이터를 생성하는 단계를 포함한다.
또 다른 실시 예에 따른 상기 전자 장치의 제어 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
이상과 같은 다양한 실시 예에 따르면, 전자 장치는 최소의 임시 메모리 용량을 가지고 복수 개의 촬상 센서에서 독출되는 데이터를 효율적으로 저장하고, 합성된 이미지를 생성할 수 있다.
도 1은 일 실시 예에 따른 전자 장치(100)의 외형 도이다.
도 2는 다양한 실시 예에 따른 네트워크 환경(200)내의 전자 장치(201)에 대한 도면이다.
도 3은 도 1에 도시된 전자 장치(100)의 개략적인 블록 도이다.
도 4는 도 1에 도시된 전자 장치(100)에서 촬상 센서 모듈(401)을 설명하는 예시 도면이다.
도 5는 도 1에 도시된 전자 장치(100)의 촬상 센서에 포함되는 픽셀들을 설명하는 예시 도면이다.
도 6은 도 1에 도시된 전자 장치(100)의 촬상 센서에 포함되는 픽셀들을 설명하는 예시 도면이다.
도 7은 일 실시 예에 따른 전자 장치에서 이미지 신호를 전송하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 전자 장치에서 프로세서의 동기화 신호에 기반하여 이미지 신호가 전송되는 과정을 설명하기 위한 도면이다.
도 9는 다른 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 10 및 11은 일 실시 예에 따른 전자 장치에서 복수 개의 이미지들을 하나의 이미지로 합성한 결과이다.
도 12는 또 다른 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13은 또 다른 실시 예에 따른 전자 장치에서 프로세서의 동기화 신호에 기반하여 이미지 신호가 전송하는 과정을 설명하기 위한 도면이다.
이하, 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 실시 예에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 실시 예에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 실시 예에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 실시 예에서 사용된 "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 실시 예에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상술한 어떤 구성요소가 상술한 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 실시 예에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 AP(application processor))를 의미할 수 있다.
본 실시 예에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 실시 예에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 실시 예에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 실시 예에서 정의된 용어일지라도 본 실시 예의 실시 예들을 배제하도록 해석될 수 없다.
본 실시 예의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스, 게임 콘솔, 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다.
어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치, 예를 들면 인공지능 전자 장치를 지칭할 수 있다.
도 1은 일 실시 예에 따른 전자 장치(100)의 외형 도이다.
도 1을 참조하면, 전자 장치(100)는 다양한 목적의 디바이스들로 구현될 수 있다. 예를 들어, 전자 장치(100)는, 상술한 바와 같이, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿(tablet) 디바이스 등으로 구현될 수 있으나, 이에 제한되지는 않는다.
도 1의 (a)를 참조하면, 전자 장치(100)의 전면(101)에는 디스플레이(110)가 설치될 수 있다. 디스플레이(110)의 상측으로는 상대방의 음성을 수신하기 위한 스피커(120)가 설치될 수 있다. 디스플레이(110)의 하측으로는 상대방에게 전자 장치(100) 사용자의 음성을 송신하기 위한 마이크(130)가 설치될 수 있다.
일 실시 예에 따르면, 스피커(120)가 설치되는 주변에는 전자 장치(100)의 다양한 기능을 수행하기 위한 부품(component)들이 배치될 수 있다. 부품들은 적어도 하나의 센서 모듈(140)을 포함할 수 있다. 이러한 센서 모듈(140)은, 예컨대, 조도 센서(예: 광센서), 근접 센서, 적외선 센서, 초음파 센서 중 적어도 하나를 포함할 수 있다. 부품은 카메라(150)를 포함할 수도 있다. 한 실시 예에 따르면, 부품은 전자 장치(100)의 상태 정보를 사용자에게 인지시켜주기 위한 LED 인디케이터(160)를 포함할 수도 있다.
전자 장치(100)는 카메라(150)를 이용하여 오브젝트를 촬영할 수 있다. 도 1의 (b)는 전자 장치(100)의 측면도이다. 도 1의 (b)를 참조하면, 전자 장치(100)는 또 다른 카메라(150 및 150')를 포함할 수 있다. 그러나 이에 한정되지 않고, 더 많은 카메라들을 포함할 수 있다. 전자 장치(100)의 카메라들(150, 150')은 다양한 화각을 형성할 수 있다. 화각은, 예를 들어, 30도, 50도, 90도, 180도 일 수 있다. 전자 장치(100)는 카메라들(150, 150')을 통해 촬영된 영상들을 각각 이미지로 생성할 수 있고, 촬영된 영상들을 합성하여 하나의 이미지를 생성할 수도 있다. 예를 들어, 카메라들(150, 150')이 180도의 화각을 가진다면, 전자 장치(100)는 360도의 화각을 가지는 이미지를 생성할 수 있다. 360도 화각을 촬영할 수 있는 카메라를 전방위 카메라 또는 360도 카메라로 지칭할 수 있으며, 실시 예에 따른 전자 장치(100)는 그 용어에 한정되지 않고, 복수 개의 카메라 또는 촬상 센서로부터 촬상된 복수 개의 이미지를 합성할 수 있는 카메라일 수 있다.
도 2는 다양한 실시 예에 따른 네트워크 환경(200)내의 전자 장치(201)에 대한 도면이다. 전자 장치(101)는 도 1의 전자 장치(100)를 포함할 수 있다.
도 2를 참조하면, 전자 장치(201)는 버스(210), 프로세서(220), 메모리(230), 입출력 인터페이스(250), 디스플레이(260), 및 통신 인터페이스(270)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(201)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가로 구비할 수 있다.
버스(210)는, 구성요소들(210-270)을 서로 연결하고, 구성요소들 간의 통신, 예를 들면 제어 메시지 및/또는 데이터를 전달하는 회로를 포함할 수 있다.
프로세서(220)는, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), 이미지 프로세서(Image Signal Processor) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220)는, 예를 들면, 전자 장치(201)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(230)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는, 예를 들면, 전자 장치(201)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다. 프로그램(240)은, 예를 들면, 커널(241), 미들웨어(243), 어플리케이션 프로그래밍 인터페이스(application programming interface(API))(245), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(241), 미들웨어(243), 또는 API(245)의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널(241)은, 예를 들면, 다른 프로그램들(예: 미들웨어(243), API(245), 또는 어플리케이션 프로그램(247))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)을 제어 또는 관리할 수 있다. 또한, 커널(241)은 미들웨어(243), API(245), 또는 어플리케이션 프로그램(247)에서 전자 장치(201)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(243)는, 예를 들면, API(245) 또는 어플리케이션 프로그램(247)이 커널(241)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(243)는 어플리케이션 프로그램(247)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(243)는 어플리케이션 프로그램(247) 중 적어도 하나에 전자 장치(201)의 시스템 리소스(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(243)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(245)는, 예를 들면, 어플리케이션(247)이 커널(241) 또는 미들웨어(243)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(250)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(201)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(250)는 전자 장치(201)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(260)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(260)는, 예를 들면, 사용자에게 각종 콘텐츠, 예를 들면 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등을 표시할 수 있다. 디스플레이(260)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(270)는, 예를 들면, 전자 장치(201)와 외부 장치(예: 제 1 외부 전자 장치(202), 제 2 외부 전자 장치(204), 또는 서버(206)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(270)는 무선 통신 또는 유선 통신을 통해서 네트워크(262)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(204) 또는 서버(206))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(264)을 포함할 수 있다. 근거리 통신(264)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(262)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN(local area network) 또는 WAN(wide area network)), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(202, 204) 각각은 전자 장치(201)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(206)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치(201)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(202,204), 또는 서버(206)에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(201)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(202, 204), 또는 서버(206))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(202, 204), 또는 서버(206))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(201)로 전달할 수 있다. 전자 장치(201)는 수신된 결과를 그대로 또는 추가로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
일 실시 예에 따르면, 전자 장치(101)와 제 1 및 제 2 외부 전자 장치(202, 204)는 각 전자 장치에 있는 카메라를 이용하여 촬영된 이미지들을 상술한 통신 방법들을 사용하여 하나의 전자 장치로 전송하고 하나의 이미지로 합성할 수도 있다. 예를 들어, 전자 장치(201)가 촬영한 180도 화각의 이미지와 제 2 전자 장치(202)가 촬영한 180도 화각의 이미지를 합성하여 360도의 화각을 가지는 이미지를 생성할 수 있다.
도 3은 도 1에 도시된 전자 장치(100)의 개략적인 블록 도이다.
도 3을 참조하면, 전자 장치(100)는 프로세서(310), 임시 메모리(320), 센서A(330), 센서B(340)를 포함할 수 있다. 일 실시 예에 따른 전자 장치(200)는 도 3에 도시된 구성들이 필수적인 것은 아니어서, 도 3에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다. 예를 들면, 전자 장치(100)는 입력 모듈로서, 예를 들면 터치 패널, 물리 키, 근접 센서, 생체 센서를 포함할 수 있으며, 메모리, A/D(Analog/Digital) 컨버터, 전원 공급부 등의 구성을 포함하여 구성될 수 있다. 여기서, 프로세서(310)는 촬상 센서 A 및 B(330, 340)를 제어하고, 이미지 데이터를 수신하여 이미지 처리를 수행하는 프로세서를 의미한다.
촬상 센서 A(330)와 촬상 센서 B(340)는 렌즈(미도시)를 통해 입사되는 광을 수신하여 전기적 신호로 변환할 수 있다. 촬상 센서 A(330)은 제1 촬상 센서로, 촬상 센서 B(340)는 제2 촬상 센서로 참조될 수 있다. 제1 및 제2 촬상 센서(330, 340)는 적어도 두 개 이상의 혼합색 정보, 예를 들면 백색(w) 픽셀 또는 밝기 픽셀을 감지할 수 있는 픽셀 센서를 포함할 수 있다. 예를 들면 제1 및 제2 촬상 센서(330, 340)는 R(red), G(green), B(blue)픽셀 센서들과 W(white) 픽셀 센서가 설정된 패턴으로 배열되는 픽셀 어레이를 포함할 수 있다.
임시 메모리(320)는 제2 촬상 센서(340)에서 생성되어 독출되는 이미지 신호들을 일시적으로 저장할 수 있다. 임시 메모리(320)는 프로세서(310)와 별도로 구비될 수 있으며, 버퍼 메모리 또는 라인 메모리일 수 있다. 이미지 신호들은 전자 장치 간에 전송되는 일반적인 데이터의 형태로 표현되고 저장될 수 있다. 임시 메모리(320)는 2개의 촬상 센서 중 어느 하나의 촬상 센서로부터 독출된 이미지 신호만을 일시적으로 저장할 수 있다. 도 3에 도시된 것처럼, 제1 촬상 센서(330)에서 생성된 이미지 신호는 임시 메모리(320)를 거치지 않고, 바로 프로세서(310)에 전송되고, 제2 촬상 센서(340)에서 생성된 이미지 신호는 임시 메모리(320)에 일시 저장되었다가, 프로세서(310)에 전송된다. 프로세서(310)는 제1 촬상 센서(330)로부터 독출된 이미지 신호의 수신이 종료되는 시점에 임시 메모리(320)에 저장된 이미지 신호를 수신하도록 제어한다. 프로세서(310)는 임시 메모리(320)로부터 이미지 신호를 수신하는 동안에는 제1 촬상 센서(330)로부터 독출된 다음 이미지 신호를 수신해서는 안 되므로, 제1 촬상 센서(330)에 출력하는 독출 제어 신호에 블랭킹 구간(blanking period)을 삽입하여 제1 촬상 센서(330) 및 제2 촬상 센서(340)로부터 수신된 이미지 신호들이 겹치지 않게 할 수 있다. 블랭킹 구간 설정과 관련하여서는 도 8을 참조하여 후술한다. 본 실시 예에 따른 전자 장치(100)는 도 3에 도시된 것처럼, 2개의 촬상 센서들로부터 출력되는 이미지 신호들을 저장하는 임시 메모리를 1개의 촬상 센서에서 출력되는 이미지 신호, 예를 들면 1 수평 라인의 데이터에 해당하는 라인 메모리만으로 구현하므로, 필요한 라인 메모리의 개수를 줄일 수 있다. 또한, 2개의 촬상 센서들로부터 입력된 이미지 신호를 1개의 촬상 센서들로부터 입력된 이미지 신호처럼 처리할 수 있다. 본 실시 예에 따른 전자 장치를 이용한 3D 카메라, 듀얼 카메라, 또는 360도 전방위 카메라 등의 복수 개의 센서, 렌즈를 포함하는 카메라의 경우, 정확히 동시에 노광이 시작되고 끝나기 때문에 빠른 물체를 촬영하는 경우에도 사용자가 불편함이 없이 하나의 센서로 촬영한 듯한 효과를 얻을 수 있다.
실시 예에 따른 전자 장치의 촬상 센서가 2개인 것으로 설명하였지만, N(N은 2 이상의 정수)개 이상의 촬상 센서를 이용하는 경우에도, N개 이상의 촬상 센서를 동기화 신호 및 제어 신호로서 동시에 또는 개별 제어하여 데이터를 수신하고, N-1개의 라인 메모리를 사용하여 동일한 시각에 병합된 이미지를 생성할 수 있다.
프로세서(310)는 상술한 구성 요소들의 동작을 제어할 수 있다. 예를 들어, 프로세서(310)는 동기 신호를 발생하여 일정한 시간에 또는 일정한 시간 간격으로 이미지 신호가 생성하도록 할 수 있다. 프로세서(310)는 생성된 이미지 신호들이 순차적으로 임시 메모리(320)로 전송되도록 제어할 수 있다. 예를 들어, 촬상 센서 A(330)에서 생성된 신호 중 일부가 먼저 임시 메모리(320)로 전송된 후, 촬상 센서 B(340)에서 생성된 신호 중 일부가 임시 메모리(320)로 전송될 수 있다.
전자 장치(100)는 이미지 신호를 처리하는 이미지 처리부(미도시)를 별도로 마련할 수 있고, 프로세서(310) 내부에 포함할 수도 있다. 이하에서는 프로세서(310)에서 이미지를 처리하는 것으로 가정하여 설명한다. 프로세서(310)는 임시 메모리(320)를 통해 수신된 이미지 신호들을 이용하여 다양한 후 처리를 수행할 수 있다. 예를 들어, 프로세서(310)는 수신된 이미지 신호에 대하여 게인(gain) 조정이나 파형을 정형화하는 신호처리를 수행할 수 있다.
프로세서(310)는 이미지 신호에 대하여 노이즈를 제거하는 과정을 수행할 수 있다. 예를 들어, 프로세서(310)는 감마 커렉션(Gamma Correction), 색 필터 배열 보간(Color Filter Array Interpolation), 색 매트릭스(Color Matrix), 색 보정(Color Correction), 색 향상(Color Enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다.
촬상 센서들(330, 340) 각각은 촬상 센서 모듈에 포함될 수 있다. 도 4는 일 실시 예에 따른 전자 장치에서 촬상 센서 모듈을 도시한다.
도 4를 참조하면, 다양한 실시 예에 따른 촬상 센서 모듈(401)은, 커버부재(450), 렌즈(410), 렌즈 배럴(420), 코일부(430), 자석부(440), 베이스(470), 촬상 센서(460) 및 회로 기판(480)을 포함할 수 있다.
커버부재(450)는 촬상 센서 모듈(401)의 외곽을 형성할 수 있다. 커버부재(450)는 내부 공간에 배치되는 다양한 구성들을 보호할 수 있다.
렌즈(410)는 다수 개의 렌즈(410)들을 포함할 수 있다. 예를 들어, 오토 포커스를 위해 이동하는 렌즈, 줌 동작을 위해 이동하는 렌즈 등을 포함할 수 있다 .렌즈(410)로부터 들어온 영상은 촬상 센서(460)로 전달될 수 있다.
렌즈 배럴(420)은 렌즈(410)를 수용할 수 있다. 렌즈 배럴(420)의 외측에는 코일부(430)가 배치될 수 있다. 자석부(440)는 코일부(430)와 대응되는 위치에 배치될 수 있다. 자석부(440)는 코일부(430)와 마주보게 배치될 수 있다. 다양한 실시 예에 따르면, 전자 장치(100)는 OIS(optical image stabilizer) 구동 모듈(미도시)을 이용하여, 자석부(440)와 코일부(430)의 전자기장 또는 자기장의 상호 작용을 통해 렌즈(410)를 이동하여 사용자의 흔들림을 보정(optical image stabilizer, OIS)할 수 있다.
예를 들면, 전자 장치(102)는 코일부(430)에 전원이 인가되고, 코일부(430)에서 발생하는 전자기장과 자석부(440)에서 발생하는 자기장의 상호 작용에 의해 렌즈(410)를 이동할 수 있다. 이를 통해 전자 장치(102)는 사용자의 손떨림을 감지하여, 렌즈(410)를 떨림의 반대 방향으로 이동함으로써, 이미지 번짐을 방지할 수 있다. 일 실시 예에 따른 전자 장치(102)는 사용자의 손떨림을 감지하여, 촬상 센서(460)를 떨림의 반대 방향으로 이동함으로써, 이미지 번짐을 방지할 수도 있다.
베이스(470)는 커버부재(450)와 결합될 수 있다. 베이스(470)는 커버부재(450)의 하측을 지지할 수 있다. 베이스(470) 상에는 촬상 센서(460)와 대응되는 위치에 적외선 차단 필터가 추가로 배치될 수 있다. 베이스(470)는 촬상 센서(460)를 보호하는 센서 홀더 기능을 할 수 있다.
촬상 센서(460)는 회로 기판(480) 상에 배치될 수 있다. 촬상 센서(460)는 와이어 본딩에 의해 회로 기판(480)에 전기적으로 연결되거나, 또는 전기전도성 페이스트를 이용하여 플립 본딩될 수도 있다.
회로 기판(480)은 다수의 회로패턴(미도시)을 포함하고 촬상 센서(460)를 이용하여 변환된 신호를 프로세서(310)로 전달할 수 있다.
촬상 센서(460)는 컬러 픽셀 센서들(예: R, G, B 픽셀) 및 백색 픽셀들(예: W 픽셀)이 설정된 패턴으로 배열되는 픽셀 어레이를 포함할 수 있다. 픽셀 어레이는 렌즈(410)를 통하여 입사된 외부 객체의 광학적 영상 신호를 전기적 영상 신호로 변환한다. 도 5는 다양한 실시 예에 따른 전자 장치의 촬상 센서에 포함되는 픽셀들을 도시한다.
도 5에 도시된 바와 같이, 각각의 픽셀(501)은 광 신호를 전기적 신호로 변환할 수 있다. 각각의 픽셀(501)은 적어도 하나 이상의 마이크로 렌즈(미도시), 적어도 하나 이상의 컬러 필터(color filter)(510), 적어도 하나 이상의 포토다이오드(photodiodes)(520)를 포함할 수 있다.
마이크로 렌즈는 외부로부터 입사된 광을 집광할 수 있다.
컬러 필터(510)는 레드(red) 필터, 그린(green) 필터 및 블루(blue) 필터, 화이트(white) 필터, 시안(cyan) 필터, 마젠타(magenta) 필터 및 옐로우(yellow) 필터 중 적어도 어느 하나를 포함할 수 있다.
포토다이오드(650)는 광 신호를 전기적 신호로 변환할 수 있다.
도 6은 다양한 실시 예에 따른 전자 장치의 촬상 센서에 포함되는 픽셀들을 설명하기 위한 예시 도이다.
도 5 및 도 6에 도시된 바와 같이, 레드 필터는 적색 파장 대역의 빛을 통과시킬 수 있다. 그린 필터는 녹색 파장 대역의 빛을 통과시킬 수 있다. 블루 필터는 청색 파장 대역의 빛을 통과시킬 수 있다. 화이트 필터는 가시 광선 영역의 모든 파장 대역의 빛을 통과시킬 수 있다. 시안 필터는 녹색 파장 및 청색 파장 대역의 빛을 통과시킬 수 있다. 마젠타 필터는 적색 파장 및 청색 파장 대역의 빛을 통과시킬 수 있다. 옐로우 필터는 적색 파장 및 녹색 파장 대역의 빛을 통과시킬 수 있다.
도 7은 일 실시 예에 따른 전자 장치에서 이미지 신호를 임시 메모리로 전송하는 상황에 대한 도면이다. 이하 설명에서, 촬상 센서는 8X8 의 픽셀들을 포함하는 것으로 가정하여 설명한다.
도 7을 참조하면, 프로세서(310)는 도 4에 도시된 촬상 센서 모듈(401)을 제어하여 오브젝트를 촬영할 수 있다. 프로세서(310)는 동기화 신호 등을 이용하여 복수의 촬상 센서들(710, 720)이 거의 동시에 촬영되도록 제어할 수 있다. 촬상 센서들(710, 720)은 수신된 광학 신호를 이미지 신호로 변경할 수 있다. 이를 위해, 촬상 센서들(710, 720)은 각 픽셀(711, 721)에 발생된 전하, 즉 이미지 신호를 프로세서(310)에 전송한다. 이 경우, 촬상 센서 A(710)에서 독출된 이미지 신호는 바로 프로세서(310)로 전송하고, 촬상 센서 B(720)에서 독출된 이미지 신호는 임시 메모리(730)에 전송한다.
촬상 센서들(710, 720)은 이미지 신호를 라인별로 프로세서(310) 및 임시 메모리(730)로 전송할 수 있다. 구체적으로, 촬상 센서 A(710)는 첫 번째 라인(715)부터 프로세서(310)에 전송한다. 한편, 촬상 센서 B(720)는 첫 번째 라인(725)부터 임시 메모리(730)로 전송한다. 이로 인해, 촬상 센서 B(720)의 첫 번째 라인(725)의 데이터만을 수용하는 공간만 있어서 수신된 데이터를 원활하게 프로세서(310)로 출력할 수 있다. 임시 메모리(730)는 프로세서(310)에서 촬상 센서 A(710)로부터 독출된 첫 번째 라인의 데이터(715)의 수신이 종료되는 시점에 촬상 센서 B(720)로부터 독출되어 저장된 첫 번째 라인의 데이터(725)를 프로세서(310)로 출력한다. 따라서, 실시 예에 따른 전자 장치는 하나의 임시 메모리, 예를 들면 촬상 센서 B(720)의 한 라인, 예를 들며 8 픽셀의 데이터를 저장할 수 있는 라인 메모리만을 가지고도, 프로세서(310)에서 동일한 시각에 각각의 촬상 센서에서 독출된 이미지 신호를 수신하여, 병합 이미지를 생성할 수 있다. 프로세서(310)는 임시 메모리(730)로부터 이미지 신호(725)를 수신하는 동안에, 촬상 센서 A(710)로부터 다음 이미지 신호(a9-a16)를 수신할 수 없기 때문에, 촬상 센서 A(710)로부터 이미지 신호의 독출을 제어하는 다음 수평 동기 신호 또는 다음 독출 제어 신호를 출력하기 전까지의 구간을 블랭킹 구간으로 설정한다.
이미지 신호가 촬상 센서들(710, 720)에서 임시 메모리(730)를 거쳐 프로세서(310)로 전송되는 상세한 과정은 도 8에서 후술한다.
프로세서(310)는 촬상 센서 A(710)로부터 수신된 첫 번째 라인(715)과 촬상 센서 B(720)로부터 수신된 첫 번째 라인(725)을 연결하여 하나의 라인을 형성할 수 있다. 이 과정을 반복하여 프로세서는 촬상 센서 A(710)가 생성한 이미지와 촬상 센서 B(720)가 생성한 이미지를 합성하여 하나의 이미지를 생성할 수 있다.
도 8은 일 실시 예에 따른 전자 장치에서 프로세서의 동기화 신호에 기반하여 이미지 신호가 전송되는 과정에 대한 도면이다.
도 7 및 8을 참조하면, 프로세서(310)는 수직 동기화 신호(810) 및 수평 동기화 신호(812)를 이용하여 각각의 촬상 센서들(710, 720)을 제어할 수 있다. 수직 동기화 신호(810)는 프레임별 동기를 맞추기 위한 신호이며, 수평 동기화 신호(812)는 프레임에 포함된 각 라인별로 동기를 맞추기 위한 신호이다. 여기서, 수직 동기화 신호(810) 및/또는 수평 동기화 신호(812)는 각각의 촬상 센서(810)로부터 데이터 독출을 제어하는 독출 제어 신호일 수 있다. 여기서, 프로세서(310)는 촬상 센서 A(710) 및 촬상 센서 B(720)에 출력하는 각각의 독출 제어 신호를 동시에 또는 순차적으로 출력할 수 있다. 또한, 프로세서(310)는 각각의 독출 제어 신호를 동기화하여(sync) 또는 비동기하여(async) 각각의 촬상 센서에 출력할 수도 있다.
수직 동기화 신호(810) 및 수평 동기화 신호(812)에 기반하여, 촬상 센서 A(710)는 첫 번째 라인에 해당하는 이미지 신호 또는 데이터(715)를 프로세서(310)로 전송한다.
T1 시점에, 촬상 센서 A(710)가 첫 번째 라인의 데이터(715)를 출력하면, 프로세서(310)가 첫 번째 라인의 데이터(715)를 수신하기 시작한다. 동일하게 촬상 센서 B(720)가 첫 번째 라인의 데이터(725)를 임시 메모리(730)에 출력하고, 임시 메모리(730)에는 첫 번째 라인의 데이터(725)가 순차적으로 저장된다.
T2 시점에, 촬상 센서 A(710)로부터의 데이터(715) 수신이 종료되고, 임시 메모리(730)에서 데이터(725)가 프로세서(310)로 출력된다. 그리고, 프로세서(310)는 임시 메모리(310)로부터 데이터(725)를 수신하는 동안에, 촬상 센서(710)로부터 두 번째 라인의 데이터(a9-a16)를 수신하지 않도록 제어한다. 이를 위해 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)의 수신을 제어하는 수평 동기화 신호(812)의 타이밍을 제어한다. 즉, 임시 메모리(814)로부터 데이터(725)를 수신하는 시점인 T2부터 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)를 수신하는 시점인 T3까지의 구간에 블랭킹 구간으로 설정한다.
프로세서(310)가 촬상 센서 A(710)로부터 데이터(715)를 모두 수신한 후 이어서 촬상 센서 B(720)로부터 데이터(725)를 임시 메모리(730)를 거쳐 모두 수신한 후에, 프로세서(310)는 다음 수평 동기신호에 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)를 수신하고, 촬상 센서 B(720)로부터 독출된 데이터(b9-b16)는 다시 임시 메모리(730)에 저장된다. 그리고 프로세서(310)는 촬상 센서 A(710)로부터 데이터(a9-a16) 수신을 종료하는 시점에, 임시 메모리(730)에 저장된 데이터(b9-b16)를 수신한다.
결과적으로, 상술한 바와 같이, 프로세서(310)는 촬상 센서 A(710)로부터 수신되는 데이터의 독출 구간에 임의의 블랭킹 구간을 삽입함으로써, 촬상 센서 B(720)의 한 라인에 해당하는 라인 메모리만으로, 2개의 촬상 센서(710 및 720)로부터 출력되는 데이터를 원활하게 수신할 수 있다.
프로세서(310)는 도 7에서 상술한 바와 같이, 촬상 센서 A(710)의 첫 번째 라인의 데이터(715)와 촬상 센서 B(720)의 첫 번째 라인의 데이터(725)가 모두 수신되면, 두 라인, 촬상 소자의 가로 라인을 하나의 라인으로 연결할 수 있다. 그리고 촬상 센서들(710, 720)에서 오는 라인들을 모두 누적하고 결합하여 하나의 이미지를 생성할 수 있다.
도 9는 다른 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
단계 910에서, 전자 장치(100)는 사용자 입력 등의 이벤트에 의해 촬영 신호를 생성할 수 있다. 촬영 신호가 생성되면, 전자 장치(100)는, 예를 들면 촬상 센서 모듈(401)을 동작하여 오브젝트를 촬영할 수 있다. 단계 920에서, 전자 장치(100)는 촬상 센서 A(710) 및 촬상 센서 B(720)을 이용하여 오브젝트를 촬영한다.
단계 930에서, 전자 장치(100)는 촬상 센서 A(710)의 첫 번째 라인(715)을 임시 메모리(730)를 거치지 않고, 직접 프로세서(310)로 전송한다.
단계 940에서, 프로세서(310)는 촬상 센서 B의 첫 번째 라인을 임시 메모리에 저장하기 시작한다. 여기서, 단계 930과 단계 940은 동시에 또는 시간 차이를 두고 이루어질 수 있다.
단계 950에서, 프로세서(310)가 촬상 센서 A(710)의 첫 번째 라인의 마지막 데이터를 수신하는 경우, 임시 메모리(730)에 저장된 촬상 센서 B(720)의 첫 번째 라인의 첫 번째 데이터를 프로세서(310)로 전송한다.
단계 960에서, 프로세서(310)는 촬상 센서 A의 첫 번째 라인과 촬상 센서 B의 첫 번째 라인을 연속된 하나의 라인으로 병합한다. 프로세서(310)는 촬상 센서 A(710)와 촬상 센서B(720)의 첫 번째 라인 또는 가로 라인의 모든 데이터를 수신한 후에 하나의 가로 라인의 병합 이미지 데이터를 생성한다. 또한, 선택적으로 프로세서(310)는 촬상 센서 A(710)와 촬상 센서B(720)의 첫 번째 라인 또는 가로 라인의 모든 데이터를 수신한 후에, 두 번째, 세 번째 라인의 데이터들을 모두 수신한 후에 프레임 단위로 병합한 이미지 데이터를 생성할 수도 있다.
전자 장치(100)는 이와 같은 단계들을 각각의 촬상 센서들(710, 720)에서 전송되는 라인에 대하여 반복하여 하나의 합성된 이미지를 생성할 수 있다.
실시 예에 따른 전자 장치의 제어 방법은 복수 개의 촬상 센서에서 독출되는 데이터에 대해 하나의 촬상 센서의 하나의 라인에 해당하는 임시 메모리만으로도 하드웨어를 구성할 수 있으며, 촬상 센서의 동기화 신호의 타이밍을 조절하여 최소의 임시 메모리 용량을 가지고 복수 개의 촬상 센서에서 독출되는 데이터를 효율적으로 저장하고, 합성된 이미지를 생성할 수 있다.
도 10은 일 실시 예에 따른 전자 장치에서 두 개의 이미지를 하나의 이미지로 합성한 결과이다.
도 10의 (a)를 참조하면, 이미지 1(1010)은 촬상 센서 A(710)가 생성한 이미지 일 수 있다. 촬상 센서 A(710)는, 예를 들면, 도 1에서 전자 장치(100)의 전면에 위치한 카메라(150)에 포함된 촬상 센서일 수 있다. 이미지 1(1010)은, 예를 들면, 180도의 화각을 가진 이미지 일 수 있다.
이미지 2(1020)는 촬상 센서 B(720)가 생성한 이미지 일 수 있다. 촬상 센서 B(720)는, 예를 들면, 도 1에서 전자 장치(100)의 전면의 반대 면에 위치한 카메라(150')에 포함된 촬상 센서일 수 있다. 이미지 2(1020)도 180도의 화각을 가진 이미지일 수 있다.
도 10의 (b)를 참조하면, 이미지 3(1030)은 상술한 이미지 1(1010)과 이미지 2(1020)를 합성한 이미지일 수 있다. 이미지 1(1010)과 이미지 2(1020)는 각각 180도의 화각을 가지고 있어서 두 이미지를 합성한 이미지 3(1030)은 360도의 화각을 표현할 수 있다.
본 실시 예가 적용된 전자 장치(100)를 이용하여 오브젝트를 촬영한다면, 사용자는 한 번의 촬영으로 손쉽게 360도의 화각을 가지는 이미지를 획득할 수 있다.
도 11은 다른 일 실시 예에 따른 전자 장치에서 네 개의 이미지를 하나의 이미지로 합성한 결과이다.
도 11의 (a)를 참조하면, 이미지 1(1110)은 제1 촬상 센서가 생성한 이미지로서, 예를 들면, 90도의 화각을 가진 이미지 일 수 있다. 이미지 2(1120)는 제2 촬상 센서가 생성한 이미지로서, 예를 들면, 90도의 화각을 가진 이미지 일 수 있다. 이미지 3(1130)은 제3 촬상 센서가 생성한 이미지로서, 예를 들면, 90도의 화각을 가진 이미지 일 수 있다. 이미지 4(1140)는 제4 촬상 센서가 생성한 이미지로서, 예를 들면, 90도의 화각을 가진 이미지 일 수 있다.
도 11의 (b)를 참조하면, 이미지 5(1150)는 상술한 이미지 1(1310), 이미지 2(1320), 이미지 3(1330) 및 이미지 4(1340)를 합성한 이미지일 수 있다. 각각의 이미지들은 90도의 화각을 가지고 있어서 네 개의 이미지를 합성한 이미지 5(1150)는 360도의 화각을 표현할 수 있다.
본 실시 예가 적용된 전자 장치(100)를 이용하여 오브젝트를 촬영한다면, 사용자는 한 번의 촬영으로 손쉽게 360도의 화각을 가지는 이미지를 획득할 수 있다.
도 12는 또 다른 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 단계 1200에서, 프로세서에서, 제1 독출 제어 신호를 제1 촬상 센서에 출력하고, 독출된 제1 데이터를 수신한다.
단계 1210에서, 제2 독출 제어 신호를 제2 촬상 센서에 출력하고, 독출된 제2 데이터를 임시 메모리에 저장한다.
단계 1200 및 1210은 동시에 또는 순차적으로 수행될 수 있으며, 제1 독출 제어 신호와 제2 독출 제어 신호는 각각의 촬상 센서에 출력되는 수평동기신호이거나, 수평동기신호에 대응한 센서 제어 신호일 수 있다.
단계 1220에서, 프로세서는, 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 임시 메모리에 저장된 제2 데이터를 출력하도록 제어한다. 여기서, 제1 촬상 센서의 첫 번째 라인의 데이터를 읽어들이기 위한 제1 독출 제어 신호와 두 번째 라인의 데이터를 읽어들이기 위한 다음 제1 독출 제어 신호 사이에, 블랭킹 구간을 삽입한다. 따라서, 프로세서는 제1 촬상 센서로부터 제1 데이터를 수신한 후에 바로 임시 메모리에 저장된 제2 데이터를 수신할 수 있으며, 제2 데이터를 수신하는 동안에 제1 촬상 센서로부터 데이터를 수신하지 않을 수 있다. 블랭킹 구간의 길이는 촬상 센서의 개수와 촬상 센서의 한 라인의 크기 등을 고려하여 가변적으로 설정될 수 있다.
단계 1230에서, 프로세서는, 제1 데이터와 제2 데이터를 병합한 병합 데이터를 생성한다.
실시 예에 따른 전자 장치의 제어 방법은 복수의 촬상 센서 중 임의의 한 센서의 데이터 독출 타이밍에 일정한 블랭킹 구간을 두는 것만으로도, 임시 메모리의 사용을 최소화할 수 있으며, 데이터 입력 및 출력 클록을 동일하게 하여도 프로세서에서 복수의 이미지 데이터를 합성 처리하는 데 불편함을 주지않는다.
도 13은 또 다른 실시 예에 따른 전자 장치에서 이미지 신호를 임시 메모리로 전송하는 상황에 대한 도면이다. 도 13을 참조하여 설명하는 실시 예와 도 8의 실시 예를 비교하면, 도 13의 실시 예에 따른 전자 장치는 별도의 임시 메모리를 포함하지 않는다. 여기서, 촬상 센서 A(710)와 촬상 센서 B(720)의 독출 타이밍을 조절하여 임시 메모리 없이도 프로세서(310)에 데이터들을 순차적으로 출력할 수 있다.
도 13을 참조하면, 프로세서(310)는 수직 동기화 신호(810) 및 수평 동기화 신호(812)를 이용하여 각각의 촬상 센서들(710, 720)을 제어한다.
T1 시점에, 촬상 센서 A(710)가 첫 번째 라인의 데이터(a1-a8)를 출력하면, 프로세서(310)가 첫 번째 라인의 데이터(715)를 수신하기 시작한다. 프로세서(310)에서 첫 번째 라인의 데이터(a1-a8) 수신이 종료하는 타이밍에 촬상 센서 B(720)의 첫 번째 라인의 데이터(b1-b8)를 프로세서로 출력하기 시작한다. 즉, 촬상 센서 A(710)와 촬상 센서 B(720)의 센서 출력 타이밍이 T2-T1 만큼의 시간차이를 두고 이루어진다. 또한, 프로세서(310)는 촬상 센서 B(720)로부터 데이터(b1-b8)를 수신하는 동안에는 촬상 센서 A(710)로부터 데이터를 수신하지 않도록 제어한다. 이를 위해 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)의 수신을 제어하는 수평 동기화 신호(812)의 타이밍을 제어한다. 즉, 임시 메모리(814)로부터 데이터(725)를 수신하는 시점인 T2부터 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)를 수신하는 시점인 T3까지의 구간에 블랭킹 구간으로 설정한다.
프로세서(310)는 촬상 센서 A(710)로부터 데이터(a1-a8)를 모두 수신한 후 이어서 촬상 센서 B(720)로부터 데이터(b1-b8)를 수신한 후에, 프로세서(310)는 다음 수평 동기신호에 촬상 센서 A(710)로부터 두 번째 라인의 데이터(a9-a16)를 수신하고, 촬상 센서 A(710)로부터 데이터(a9-a16) 수신을 종료하는 시점에, 촬상 센서 B(720)로부터 다음 라인의 데이터(b9-b16)를 수신한다.
결과적으로, 상술한 바와 같이, 프로세서(310)는 촬상 센서 A(710)와 촬상 센서 B(720)의 데이터 독출 타이밍에 시간 차이를 두어 제어하고, 촬상 센서 A(710)의 독출 제어 신호에 일정 구간 블랭킹 구간을 설정함으로써, 임시 메모리를 사용하지 않고도 촬상 센서 A(710) 및 촬상 센서 B(720)로부터 데이터를 중복되지 않게 수신할 수 있으며, 동일한 시각에 병합된 이미지 데이터를 생성할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 실시 예에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 실시 예에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 실시 예의 범위는, 본 실시 예의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 촬상 센서 및 제2 촬상 센서를 포함하는 복수 개의 촬상 센서들; 및
    복수 개의 촬상 센서들과 전기적으로 연결되고, 독출 제어 신호 및 동기화 신호를 상기 복수 개의 촬상 센서들에 출력하는 프로세서; 를 포함하고,
    상기 프로세서는,
    제1 독출 제어 신호를 상기 제1 촬상 센서에 출력하고, 상기 제1 촬상 센서로부터 독출된 제1 데이터를 수신하고,
    제2 독출 제어 신호를 상기 제2 촬상 센서에 출력하고, 상기 제2 촬상 센서로부터 독출된 제2 데이터를 임시 메모리에 저장하고,
    상기 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 상기 임시 메모리에 저장된 제2 데이터를 출력하고, 상기 제1 데이터 및 상기 제2 데이터를 병합한 병합 데이터를 생성하는 전자 장치.
  2. 제1항에 있어서,
    상기 임시 메모리는 상기 프로세서와 별개로 상기 전자 장치의 내부에 위치하는 전자 장치.
  3. 제1항에 있어서,
    상기 제1 데이터는 상기 제1 촬상 센서에 포함된 픽셀들 중 하나의 가로 축 라인에서 생성될 수 있는 데이터를 포함하고, 상기 제2 데이터는 상기 제2 촬상 센서에 포함된 픽셀들 중 하나의 가로축 라인에서 생성될 수 있는 데이터를 포함하고,
    상기 임시 메모리는 상기 제2 데이터에 해당하는 데이터 크기를 저장할 수 있는 공간을 포함하고,
    상기 프로세서는,
    상기 제1 데이터에 포함된 픽셀들 중 하나의 가로 축 라인과 상기 제2 데이터에 포함된 픽셀들 중 하나의 가로축 라인을 하나의 가로 축 라인으로 병합하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 데이터의 수신이 종료되는 타이밍에 맞추어 상기 임시 메모리에 저장된 제2 데이터를 출력하도록 제어하고,
    상기 프로세서는,
    상기 제1 독출 제어 신호와 상기 다음 제1 독출 제어 신호 사이 구간에 블랭킹 구간(blanking period)을 삽입하는 전자 장치.
  5. 제1항에 있어서,
    상기 제1 촬상 센서는 화각이 180도인 제1 촬상 센서 모듈에 포함되고, 상기 제2 촬상 센서는 화각이 180도인 제2 촬상 센서 모듈에 포함되고,
    상기 프로세서는,
    상기 제1 촬상 센서 모듈에서 생성한 이미지와 상기 제2 촬상 센서 모듈에서 생성한 이미지를 병합하여 화각이 360인 이미지를 생성하는 전자 장치.
  6. 제1항에 있어서,
    상기 임시 메모리는,
    상기 복수 개의 센서의 개수가 N(여기서, N은 2 이상의 정수)인 경우, N-1개의 라인 메모리인 전자 장치.
  7. 제 1 항에 있어서,
    상기 출력 제어 신호에 따라 상기 임시 메모리에 저장된 제2 데이터가 출력되는 속도는, 상기 제1 및 제2 독출 제어 신호에 따라 복수 개의 촬상 센서로부터 독출되는 속도와 동일한 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 독출 제어 신호와 상기 제2 독출 제어 신호를 동시에 또는 시간 차이를 두고 상기 제1 촬상 센서 및 상기 제2 촬상 센서에 각각 출력하는 전자 장치.
  9. 제1 촬상 센서 및 제2 촬상 센서를 포함하는 복수 개의 촬상 센서들을 포함하는 전자 장치의 제어 방법에 있어서,
    상기 프로세서에서, 제1 독출 제어 신호를 상기 제1 촬상 센서에 출력하고, 상기 제1 촬상 센서로부터 독출된 제1 데이터를 수신하는 단계;
    제2 독출 제어 신호를 상기 제2 촬상 센서에 출력하고, 상기 제2 촬상 센서로부터 독출된 제2 데이터를 임시 메모리에 저장하는 단계; 및
    상기 제1 독출 제어 신호와 다음 제1 독출 제어 신호 사이에 생성된 출력 제어 신호를 기초로 상기 임시 메모리에 저장된 제2 데이터를 출력하도록 제어하는 단계; 및
    상기 제1 데이터 및 상기 제2 데이터를 병합한 병합 데이터를 생성하는 단계를 포함하는 전자 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 제1 데이터는 상기 제1 촬상 센서에 포함된 픽셀들 중 하나의 가로 축 라인에서 생성될 수 있는 데이터를 포함하고, 상기 제2 데이터는 상기 제2 촬상 센서에 포함된 픽셀들 중 하나의 가로축 라인에서 생성될 수 있는 데이터를 포함하고,
    상기 임시 메모리는 상기 제2 데이터에 해당하는 데이터 크기를 저장할 수 있는 공간을 포함하고,
    상기 병합 데이터를 출력하는 단계는,
    상기 제1 데이터에 포함된 픽셀들 중 하나의 가로 축 라인과 상기 제2 데이터에 포함된 픽셀들 중 하나의 가로축 라인을 하나의 가로 축 라인으로 병합하는 단계를 더 포함하고,
    상기 병합 단계는,
    상기 제1 데이터에 포함된 픽셀들 중 하나의 가로 축 라인과 상기 제2 데이터에 포함된 픽셀들 중 하나의 가로 축 라인을 하나의 가로 축 라인으로 병합하는 전자 장치제어 방법.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 출력 제어 신호에 따라 상기 제1 데이터의 수신이 종료되는 타이밍에 맞추어 상기 임시 메모리에 저장된 제2 데이터를 출력하도록 제어하는 전자 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 제1 독출 제어 신호와 상기 다음 제1 독출 제어 신호 사이 구간에 블랭킹 구간(blanking period)을 삽입하는 전자 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 제1 촬상 센서는 화각이 180도인 제1 촬상 센서 모듈에 포함되고, 상기 제2 촬상 센서는 화각이 180도인 제2 촬상 센서 모듈에 포함되고,
    상기 프로세서는,
    상기 제1 촬상 센서 모듈에서 생성한 이미지와 상기 제2 촬상 센서 모듈에서 생성한 이미지를 병합하여 화각이 360인 이미지를 생성하는 전자 장치의 제어 방법.
  14. 제9항에 있어서,
    상기 임시 메모리는,
    상기 복수 개의 센서의 개수가 N(여기서, N은 2 이상의 정수)인 경우, N-1개의 라인 메모리이고,
    상기 출력 제어 신호에 따라 상기 임시 메모리에 저장된 제2 데이터가 출력되는 속도는, 상기 제1 및 제2 독출 제어 신호에 따라 복수 개의 촬상 센서로부터 독출되는 속도와 동일한 전자 장치의 제어 방법.
  15. 제9항에 따른 전자 장치의 제어 방법을 컴퓨터에서 실행시킬 수 있는 프로그램을 기록한 기록매체.
PCT/KR2016/013833 2015-12-24 2016-11-29 전자 장치 및 전자 장치의 제어 방법 Ceased WO2017111332A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680075877.4A CN108432237B (zh) 2015-12-24 2016-11-29 电子装置以及用于电子装置的控制方法、记录介质
US15/779,923 US10701283B2 (en) 2015-12-24 2016-11-29 Digital photographing apparatus and method of controlling the same
EP16879199.4A EP3386185B1 (en) 2015-12-24 2016-11-29 Electronic imaging device and electronic imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0186784 2015-12-24
KR1020150186784A KR102503442B1 (ko) 2015-12-24 2015-12-24 전자 장치 및 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2017111332A1 true WO2017111332A1 (ko) 2017-06-29

Family

ID=59090773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013833 Ceased WO2017111332A1 (ko) 2015-12-24 2016-11-29 전자 장치 및 전자 장치의 제어 방법

Country Status (5)

Country Link
US (1) US10701283B2 (ko)
EP (1) EP3386185B1 (ko)
KR (1) KR102503442B1 (ko)
CN (1) CN108432237B (ko)
WO (1) WO2017111332A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
CN110177199A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 图像传感器芯片、摄像头模组、电子设备以及影像拍摄方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN112995447B (zh) * 2019-12-16 2022-11-25 三赢科技（深圳）有限公司 镜头模组及电子装置
CN111064890B (zh) * 2019-12-25 2021-08-20 安凯(广州)微电子技术有限公司 一种多目电路设备及多目电路控制方法
US11412190B2 (en) * 2020-08-03 2022-08-09 Omnivision Technologies, Inc. Image sensor with subtractive color filter pattern
CN113329174B (zh) * 2021-05-21 2022-06-03 浙江大华技术股份有限公司 多目摄像机的控制方法、装置、系统和电子装置
CN113315926B (zh) * 2021-05-26 2022-06-14 浙江大华技术股份有限公司 一种图像输出控制方法、装置、存储介质及电子装置
US12361661B1 (en) 2022-12-21 2025-07-15 Meta Platforms Technologies, Llc Artificial reality (XR) location-based displays and interactions
US20260067442A1 (en) * 2024-09-05 2026-03-05 Inuitive Ltd. Synchronization of optical sensors for reducing power comsumption

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230076A (ja) * 2002-02-01 2003-08-15 Clarion Co Ltd 画像処理装置及び画像表示システム
KR100388858B1 (ko) * 1995-03-24 2003-10-04 소니 가부시끼 가이샤 촬상장치
KR100545903B1 (ko) * 2003-11-12 2006-01-31 김배훈 360° 파노라마 촬영용 카메라장치 및 그 운영방법
US20080024614A1 (en) * 2006-07-25 2008-01-31 Hsiang-Tsun Li Mobile device with dual digital camera sensors and methods of using the same
KR101512222B1 (ko) * 2010-04-05 2015-04-14 퀄컴 인코포레이티드 다중 이미지 센서들로부터 데이터의 결합

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5634850A (en) 1993-05-21 1997-06-03 Sega Enterprises, Ltd. Image processing device and method
US20030222987A1 (en) * 2002-05-30 2003-12-04 Karazuba Paul M. Line scan image recording device with internal system for delaying signals from multiple photosensor arrays
SE0300428D0 (sv) 2003-02-17 2003-02-17 Axis Ab Digital camera having panning and/or tilting functionality
JP4789494B2 (ja) 2004-05-19 2011-10-12 株式会社ソニー・コンピュータエンタテインメント 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
CN101373590B (zh) * 2004-05-19 2014-01-22 索尼电脑娱乐公司 图像帧处理方法及向各种显示器显示活动图像的设备
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
US8558929B2 (en) 2006-12-20 2013-10-15 Carestream Health, Inc. Imaging array for multiple frame capture
US8264705B2 (en) * 2007-11-07 2012-09-11 Ricoh Company, Ltd. Image reading apparatus, image forming apparatus and computer readable information recording medium
US8537428B2 (en) 2009-04-14 2013-09-17 Kabushiki Kaisha Toshiba Image reading apparatus, control method thereof, and image forming apparatus
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2015053644A (ja) * 2013-09-09 2015-03-19 オリンパス株式会社 撮像装置
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100388858B1 (ko) * 1995-03-24 2003-10-04 소니 가부시끼 가이샤 촬상장치
JP2003230076A (ja) * 2002-02-01 2003-08-15 Clarion Co Ltd 画像処理装置及び画像表示システム
KR100545903B1 (ko) * 2003-11-12 2006-01-31 김배훈 360° 파노라마 촬영용 카메라장치 및 그 운영방법
US20080024614A1 (en) * 2006-07-25 2008-01-31 Hsiang-Tsun Li Mobile device with dual digital camera sensors and methods of using the same
KR101512222B1 (ko) * 2010-04-05 2015-04-14 퀄컴 인코포레이티드 다중 이미지 센서들로부터 데이터의 결합

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3386185A4 *

Also Published As

Publication number Publication date
KR20170076483A (ko) 2017-07-04
US20180376076A1 (en) 2018-12-27
EP3386185A4 (en) 2018-11-14
CN108432237A (zh) 2018-08-21
KR102503442B1 (ko) 2023-02-28
EP3386185B1 (en) 2021-03-24
EP3386185A1 (en) 2018-10-10
US10701283B2 (en) 2020-06-30
CN108432237B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2017111332A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2016163739A1 (en) Apparatus and method for setting camera
WO2018048183A1 (ko) 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2016064248A1 (en) Electronic device and method for processing image
WO2018004238A1 (en) Apparatus and method for processing image
WO2017209560A1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
WO2017209409A1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
WO2015122616A1 (en) Photographing method of an electronic device and the electronic device thereof
WO2015126060A1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
WO2017171248A1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
WO2017039396A1 (ko) 초광각 광학계
WO2019059562A1 (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
WO2018034521A1 (en) Method for controlling multi-filed of view image and electronic device for supporting the same
EP3583532A1 (en) Electronic device and method for authenticating biometric data thorough plural cameras
WO2018117681A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2017135675A1 (ko) 이미지 처리장치 및 방법
WO2018117533A1 (en) Electronic device and method for controlling the same
WO2017111291A1 (en) Electronic device and method of controlling the same
WO2018111025A1 (en) Method for contents tagging and electronic device supporting the same
WO2018139786A1 (ko) 전자 장치 및 전자 장치 제어 방법
WO2017082676A1 (ko) 전자 장치 및 전자 장치에서의 자동 초점 처리 방법
WO2017119575A1 (ko) 영상촬영장치 및 영상촬영방법
WO2018131852A1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16879199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016879199

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016879199

Country of ref document: EP

Effective date: 20180705