WO2020060235A1 - 카메라 장치 - Google Patents

카메라 장치 Download PDF

Info

Publication number
WO2020060235A1
WO2020060235A1 PCT/KR2019/012157 KR2019012157W WO2020060235A1 WO 2020060235 A1 WO2020060235 A1 WO 2020060235A1 KR 2019012157 W KR2019012157 W KR 2019012157W WO 2020060235 A1 WO2020060235 A1 WO 2020060235A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
lens
camera
focus lens
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/012157
Other languages
English (en)
French (fr)
Inventor
김민
오준석
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority to CN201980061274.2A priority Critical patent/CN112740650B/zh
Priority to US17/278,023 priority patent/US11575821B2/en
Publication of WO2020060235A1 publication Critical patent/WO2020060235A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • An embodiment relates to a camera device, and more particularly, to a camera device capable of performing an autofocus function of a first camera using focus position information of a second camera.
  • Portable devices such as smartphones, tablet PCs, and laptops have built-in camera modules, and these camera modules have an auto focus (AF) function that automatically adjusts the distance between the image sensor and the lens to align the focal length of the lens. It is equipped.
  • AF auto focus
  • the camera module is equipped with a zooming function of zooming up or zooming out by increasing or decreasing the magnification of a distant subject through a zoom lens.
  • the camera module includes a zoom lens and a focus lens. Accordingly, a zoom actuator for moving the zoom lens, a focus actuator for moving the focus lens, a driver for controlling the zoom actuator and the focus actuator, and the zoom lens And a storage unit that stores location information of the focus lens.
  • the camera module equipped with the above zooming function should automatically focus according to the change of the zoom magnification.
  • strokes of the zoom actuator and the focus actuator become longer, and accordingly, there is a problem in that the autofocus progressing speed becomes slow.
  • the calibration data is stored in the storage unit, and the zoom lens and the focus lens of the camera module are used to move the zoom lens to provide a fast autofocus progressing speed.
  • the actuator for moving the zoom lens and the focus lens is made on a spring or ball basis.
  • the spring or ball-based actuator has a problem in that characteristics such as force (or elasticity) are changed according to the number of times of use, and thus the accuracy of lens movement is deteriorated.
  • a camera module and a method of operating the same are provided to enable sharing of focus position information of each of the plurality of cameras.
  • a camera module and a method of operating the same can be provided so that an accurate focus position of the first camera can be found using the focus position information of the second camera with high focus accuracy reliability.
  • An operation method of a camera device may include comparing a reference image with a first image acquired through a first camera to detect a first phase difference; Detecting a second phase difference by comparing the reference image with a second image acquired through a second camera; And determining a focal position of the second focus lens of the second camera using the second phase difference, and when the first phase difference is greater than or equal to a preset threshold, a second focus lens of the second camera. And determining a focus movement position of the first focus lens of the first camera using the focus movement position of.
  • the focal position of the first and second focus lenses is a movement distance or a bending change of the first and second focus lenses.
  • At least one of the first and second focus lenses includes a liquid lens.
  • the focus movement position of the first focus lens is determined based on the relationship between the focus movement position of the second focus lens and the focus movement position of the first focus lens.
  • the step of determining the focus shift position of the first focus lens may include: acquiring a focus shift position of the first focus lens corresponding to the focus shift position of the second focus lens from a pre-stored compensation table; And determining the acquired focus shift position as the focus shift position of the first focus lens, wherein the compensation table includes the focus shift position of the second focus lens to be applied for each phase difference of the second image, and the relationship. And a focus movement position of the first focus lens corresponding to a focus movement position of the second focus lens determined based on the first focus lens.
  • the reference image is an image having a phase difference of 0 obtained at the best focus position of the first or second focus lens.
  • the method further includes determining a zoom position of the zoom lens of the first camera and a focus position of the first focus lens before the first image is acquired, and the zoom position of the zoom lens and the first focus lens
  • the focal position of is determined based on the first focal position information of the zoom position of the zoom lens and the focal position of the first focus lens corresponding to the zoom position, divided according to the object distance.
  • the method further includes maintaining a focus position of the first focus lens determined based on the first focus position information.
  • At least one of the first and second images is a video including a plurality of frames.
  • the camera device includes a first focus lens, the first camera to acquire a first image; A second camera including a first focus lens and acquiring a second image; And a control unit detecting a first phase difference between the reference image and the first image and a second phase difference between the reference image and the second image, wherein the control unit uses the second phase difference to generate a second focus lens of the second camera.
  • the camera device includes a first camera including a zoom lens and a first focus lens; A second camera including a second focus lens; And a control unit for determining a focal position of the second focus lens, wherein the first camera acquires a first image having a first phase difference different from a reference image through the first focus lens, and the second camera Obtains a second image having a second phase difference different from the reference image through the second focus lens, the controller calculates the first phase difference and the second phase difference, and the first phase difference and a preset threshold value And compares the focal position of the second focus lens using the second phase difference.
  • the focus movement position of the second focus lens is a shift distance or a bending change of the second focus lens.
  • At least one of the first and second focus lenses includes a liquid lens.
  • the focus movement position of the first focus lens is determined based on the relationship between the focus movement position of the second focus lens and the focus movement position of the first focus lens.
  • the storage unit for storing a compensation table for the focus movement position of the first focus lens corresponding to the focus movement position of the second focus lens the compensation table is applied to each phase difference of the second image A focus shift position of the second focus lens and a focus shift position of the first focus lens corresponding to the focus shift position of the second focus lens determined based on the relationship, and the control unit from the stored compensation table The focus shift position of the first focus lens corresponding to the focus shift position of the second focus lens is acquired, and the acquired focus shift position is determined as the focus shift position of the first focus lens.
  • the reference image is an image having a phase difference of 0 obtained at the best focus position of the first or second focus lens.
  • control unit determines a zoom position of the zoom lens of the first camera and a focus position of the first focus lens before the first image is acquired, and the zoom position of the zoom lens and the first focus lens The focus position is determined based on the zoom position of the zoom lens divided according to the object distance and first focus position information on the focus position of the first focus lens corresponding to the zoom position.
  • control unit maintains a focus position of the first focus lens determined based on the first focus position information.
  • At least one of the first and second images is a video including a plurality of frames.
  • the control unit receives a focus movement position of the first focus lens determined based on a focus movement position of the second focus lens from a set, and the provided focus movement position To move the first focus lens.
  • focus position information of the first camera and focus position information of the second camera are mutually matched. Then, the accuracy of the current focus position of the first camera is determined based on a phase difference of an image acquired through the first camera during autofocus of the first camera. Then, when the accuracy of the current focus position of the first camera is low, the exact focus position of the first camera is tracked using the focus position information of the second camera according to the matching.
  • the focus movement position is tracked by using the focus position information of the second camera as well as zoom tracking of the first camera. , Can improve the accuracy.
  • an operation for increasing the focus position accuracy of the first camera is performed by the second camera only when the zoom magnification of the first camera is changed. Accordingly, in an embodiment according to the present invention, power consumption according to the operation of the second camera can be minimized.
  • the focus position information of the first camera when the focus position information of the first camera is incorrect at a specific point, the focus position information of the first camera for the specific point is updated using the focus position information of the second camera. . Accordingly, in the embodiment according to the present invention, it is possible to improve the accuracy of the focus position without being affected by the change in the characteristics of the actuator that changes depending on the number of times of use or the time of use of the camera module.
  • FIG. 1 is a perspective view of a camera module according to the present embodiment.
  • FIG. 2 is a perspective view of the cover removed from the first camera module according to the embodiment illustrated in FIG. 1.
  • 3A is a perspective view of the mount 20 in the first camera module according to the embodiment shown in FIG. 2.
  • 3B is a perspective view of the mount 20 removed from the camera module according to the embodiment illustrated in FIG. 2.
  • FIG. 4A is a perspective view of a first lens assembly in the camera module according to the embodiment shown in FIG. 2.
  • FIG. 4B is a perspective view of the second lens assembly in the camera module according to the embodiment shown in FIG. 2.
  • FIG. 5 is a view showing a liquid lens according to the present embodiment.
  • FIG. 6 is a block diagram showing the configuration of a camera module according to the present embodiment.
  • FIG. 7 is a diagram briefly showing a phase difference detection pixel of an image sensor constituting the phase detection sensor according to the present embodiment.
  • FIG. 8 is a diagram illustrating an embodiment in which the phase detection pixels of FIG. 7 are arranged.
  • FIG. 9 is a view for explaining an operation in which the third control signal is generated based on the first light amount distribution and the second light amount distribution of the phase difference detection pixel of FIG. 8.
  • FIG. 10 is a flowchart illustrating the overall flow of a method of operating a camera module according to the present embodiment.
  • FIG. 11 is a flow chart showing a step-by-step method for matching location information according to the present embodiment.
  • FIG. 12 is a view showing location information of a first camera unit modeled according to the present embodiment.
  • FIG. 13 is a view showing location information of a second camera unit modeled according to the present embodiment.
  • FIG. 14 is a view for explaining a process of matching the location information of the first and second camera units according to the present embodiment.
  • 15 is a flowchart step-by-step showing a method of storing second focus position information according to the present embodiment.
  • 16 is a diagram illustrating an example of second focus position information obtained according to the present embodiment.
  • 17 is a flow chart showing a step-by-step method for storing third focus position information according to the present embodiment.
  • FIG. 18 is a diagram illustrating an example of third focus position information obtained according to the present embodiment.
  • FIG. 19 is a diagram illustrating an example of first focus position information according to the present embodiment.
  • 20 is a flowchart for explaining step-by-step operations of the camera module according to the present embodiment.
  • 21 is a diagram showing the configuration of a mobile terminal including a camera module according to the present embodiment.
  • the terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.
  • a singular form may also include a plural form unless specifically stated in the phrase, and when described as "at least one (or more than one) of A and B, C", A, B, and C may be combined. It can contain one or more of all possible combinations.
  • terms such as first, second, A, B, (a), and (b) may be used. These terms are only for distinguishing the component from other components, and the term is not limited to the nature, order, or order of the component.
  • a component when a component is described as being 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also to the component It may also include a case of 'connected', 'coupled' or 'connected' due to another component between the other components.
  • top (top) or bottom (bottom) when described as being formed or disposed in the “top (top) or bottom (bottom)" of each component, the top (top) or bottom (bottom) is one as well as when the two components are in direct contact with each other. It also includes a case in which another component described above is formed or disposed between two components.
  • up (up) or down (down) when expressed as “up (up) or down (down)", it may include the meaning of the downward direction as well as the upward direction based on one component.
  • the camera device may be a dual camera module including a plurality of cameras.
  • the camera device as described above may be installed in an optical device.
  • the camera device may also be referred to as a camera module, and hereinafter, a camera device and a camera module are used interchangeably.
  • the optical device is a mobile phone, a mobile phone, a smart phone (smart phone), a portable smart device, a digital camera, a laptop computer (laptop computer), digital broadcasting terminal, PDA (Personal Digital Assistants), PMP (Portable) Multimedia Player) and navigation.
  • the type of the optical device is not limited thereto, and any device for taking an image or picture may be called an optical device.
  • the optical device may include a main body (not shown), a dual camera module, and a display unit (not shown). However, one or more of the main body, the dual camera module, and the display unit may be omitted or changed in the optical device.
  • the body can form the appearance of the optical device. In one example, the body may include a rectangular parallelepiped shape. As another example, the body may be formed to be rounded at least in part.
  • the body can accommodate a camera module.
  • a display unit may be disposed on one surface of the main body.
  • the display unit and the camera module may be disposed on one surface of the main body, and the camera module may be additionally disposed on the other surface of the main body (a surface positioned opposite to one surface).
  • the camera module may be disposed on the body of the optical device.
  • the camera module may be disposed on one surface of the body. At least a portion of the camera module may be accommodated inside the body.
  • the camera module may include two camera units.
  • an additional camera unit other than the two camera units may be further disposed on any one surface of the main body or the other surface of the main body.
  • the camera module can capture an image of the subject.
  • the display unit may be disposed on the main body of the optical device.
  • the display unit may be disposed on one surface of the main body. That is, the display unit may be disposed on the same surface as the camera module. Alternatively, the display unit may be disposed on the other surface of the main body.
  • the display unit may be disposed on a surface located opposite the surface on which the camera module is disposed in the main body. The display unit may output an image captured by the camera module.
  • FIG. 1 is a perspective view of a camera module according to an embodiment of the present invention.
  • the camera module includes a circuit board 107, a first camera module 100a disposed on a first area of the circuit board 107, and the first area of the circuit board 107. It may include a second camera module (100b) disposed on the second area spaced a predetermined distance, and a connector (100c) connected to the body of an optical device (not shown).
  • the circuit board 107 may be divided into a plurality of regions.
  • the circuit board 107 includes a first area in which the first camera module 100a is disposed, a second area in which the second camera module 100b is disposed, and a third area in which the connector 100c is disposed. Can be distinguished.
  • the circuit board 107 may have rigidity.
  • the circuit board 107 may be a rigid printed circuit board (RPCB).
  • the circuit board 107 may have ductility.
  • the circuit board 107 may be a flexible printed circuit board (FPCB).
  • the circuit board 107 may have different characteristics for each region.
  • the first and second regions of the circuit board 107 may have rigidity to support the first camera module 100a and the second camera module 100b.
  • the third area of the circuit board 107 may have ductility to facilitate connection with the optical device.
  • the first camera module 100a may be a zoom camera module.
  • the first camera module 100a is equipped with a zoom function, and a camera for zooming up or zooming out by increasing or decreasing the magnification of a distant subject according to an input signal input from the outside. It can be a module.
  • the first camera module 100a may include a zoom lens (described later).
  • the second camera module 100b may be a general camera that photographs a subject according to a fixed zoom magnification.
  • the second camera module 100b may be provided in the optical device.
  • the first camera module 100a equipped with the zoom function may be provided together with the second camera module 100b.
  • the camera module as described above may be referred to as a dual camera module.
  • Each of the first camera module 100a and the second camera module 100b may include a lens assembly and a lens barrel accommodating the lens assembly.
  • the lens assembly provided in the first camera module 100a may include a focus lens for focusing and a zoom lens for zooming. Also, in the lens assembly provided in the second camera module 100b, the zoom lens may be omitted from the first camera module 100a.
  • one configuration of the first camera module 100a and the second camera module 100b is not limited to a lens barrel, and any holder structure capable of supporting one or more lenses may be used.
  • Each of the first camera module 100a and the second camera module 100b may include an image sensor.
  • the image sensor provided in the first camera module 100a may have the same pixel structure as the image sensor provided in the second camera module 100b.
  • the image sensor provided in the first camera module 100a may have a different pixel structure from the image sensor provided in the second camera module 100b.
  • the reliability of the image sensor provided in the second camera module 100b may be higher than the reliability of the image sensor provided in the first camera module 100a.
  • the image sensor may include a detection sensor.
  • the detection sensor may configure some pixels of the image sensor to provide a PDAF (Phase Difference Auto Focusing) function.
  • the detection sensor may have a difference in reliability depending on the arrangement method or the number of arrangements.
  • the first camera module 100a includes a zoom lens.
  • a search interval of the focus lens for the autofocus is narrow in the lens barrel compared to the second camera module 100b.
  • the movement section of the focus lens is relatively smaller than the second camera module 100b. Accordingly, an image sensor having a high reliability may be disposed in the second camera module 100b, and an image sensor having a lower reliability than the second camera module 100b may be disposed in the first camera module 100a.
  • the accuracy of the focus position of the first camera module 100a is improved by utilizing the focus position information of the second camera module 100b in which the highly reliable image sensor is disposed. To do. This will be described in more detail below.
  • the connector 100c may be supplied with power from the outside to supply driving power to the first camera module 100a and the second camera module 100b, respectively.
  • the connector 100c may provide control signals provided from the main controller (not shown) of the optical device to the first camera module 100a and the second camera module 100b, respectively. In addition, the connector 100c may transmit the images acquired by the first camera module 100a and the second camera module 100b to the optical device.
  • FIG. 2 is a perspective view of the cover removed from the first camera module according to the embodiment illustrated in FIG. 1.
  • the first camera module 100a and the second camera module 100b in the embodiment may have substantially the same structure except that some lens assemblies are omitted.
  • the first lens assembly 110 corresponding to the zoom lens assembly described below may be provided only in the first camera module 100a, and may be omitted in the second camera module 100b.
  • the first lens assembly 110 may be provided in the second camera module 100b, and accordingly, the first and second camera modules may have the same structure.
  • various optical systems may be coupled to a first mount 20 of the first camera module 100a according to the embodiment.
  • a prism 140 and a lens group are disposed, and a cover may be coupled through a hook 20H of the mount 20.
  • the cover may be combined with the mount 20.
  • the cover may cover a component accommodated in the mount 20, thereby protecting components of the first camera module.
  • the mount 20 may be referred to as a base.
  • the cover may be coupled through fitting with the mount 20.
  • the cover may be combined with the mount 20 by an adhesive.
  • a hook 20H may protrude from a side surface of the mount 20, and the cover may have a hole formed at a position corresponding to the hook H, and the hook of the mount 20 may Mounted in the hole, the cover and the mount 20 may be combined.
  • the cover may be stably coupled to the mount 20 using an adhesive.
  • a circuit board 107 as described above may be disposed under the mount 20.
  • the circuit board 107 may be electrically connected to lens drivers disposed inside the mount 20.
  • the first camera module 100 includes a first lens assembly 110, a second lens assembly 120, a third lens group 130, a prism 140, and a first driver 310 ), At least one of the second driving unit 320, the rod 50, and the image sensor unit 210.
  • the first lens assembly 110, the second lens assembly 120, the third lens group 130, the prism 140, and the image sensor unit 210 may be classified as an optical system.
  • first driving unit 310, the second driving unit 320, the rod 50, etc. may be classified as a lens driving unit, and the first lens assembly 110 and the second lens assembly 120 also function as a lens driving unit Can be combined.
  • the first driving unit 310 and the second driving unit 320 may be coil driving units, but are not limited thereto.
  • the rod 50 may perform a guide function of the lens assembly being moved, and may be provided in a singular or plural number.
  • the rod 50 may include a first rod 51 and a second rod 52, but is not limited thereto.
  • the Z axis means an optical axis direction or a parallel direction thereto.
  • the Y axis means the direction perpendicular to the Z axis on the ground (YZ plane).
  • the X-axis means perpendicular to the ground.
  • the prism 140 converts incident light to parallel light.
  • the prism 140 changes the light path of the incident light to an optical axis Z parallel to the central axis of the lens group, thereby changing the incident light to parallel light.
  • the parallel light passes through the third lens group 130, the first lens assembly 110, and the second lens assembly 120 and enters the image sensor unit 210 so that an image may be captured.
  • the first camera module 100a has two moving lens groups, but is not limited thereto, and the moving lens group may be three, four, or five or more.
  • the second camera module 100b may have one moving lens group.
  • the optical axis direction Z means a direction that is the same as or parallel to the direction in which the lens groups are aligned.
  • the first camera module 100a may perform a zooming function.
  • the first lens assembly 110 and the second lens assembly 120 may move through a first driving unit 310, a second driving unit 320, and a rod 50. lens), and the third lens group 130 may be a fixed lens.
  • the first lens assembly 110 and the second lens assembly 120 may include a moving lens group
  • the third lens group 130 may be a fixed lens group
  • the third lens group 130 may perform a focator function for imaging parallel light at a specific location.
  • the first lens assembly 110 may perform a variator function that re-images the image formed by the third lens group 130 that is a condenser to another place.
  • the distance to the subject or the image distance may change a lot, and thus the magnification change may be large. can do.
  • a store formed in the first lens assembly 110 as a derailleur may be slightly different depending on the location.
  • the second lens assembly 120 may function as a position compensation for the image formed by the derailleur.
  • the second lens assembly 120 functions as a compensator function to accurately image a store formed in the first lens assembly 110, which is a derailleur, at the position of the actual image sensor unit 210. Can be done.
  • the first lens assembly 110 may be a zoom lens assembly that performs a zooming function
  • the second lens assembly 120 may be a focus lens assembly that performs a focusing function.
  • FIG. 3A is a perspective view of the mount 20 in the first camera module according to the embodiment shown in FIG. 2.
  • the mount 20 may have a rectangular parallelepiped shape, and may include four side surfaces and a bottom surface 20e.
  • the mount 20 may include first to fourth sides 20a, 20b, 20c, and 20d, and the first side 20a, the second side 20b, and the third side 20c The fourth side 20d may face each other.
  • a hook 20H is formed on at least one side of the mount 20 to be coupled to a hole in the cover 10.
  • a first guide groove 112G in which the first lens assembly 110, the second lens assembly 120, and the third lens group 130 are located on the bottom surface 20e of the mount 20 is an optical axis. It may be formed in the (Z) direction.
  • the first guide groove 112G may have a concave shape downward according to the outer circumferential shape of the lens, but is not limited thereto.
  • a first opening portion 23a and a second opening portion in which the first driving unit 310 and the second driving unit 320 are respectively disposed on the first side 20a and the second side 20b of the mount 20, respectively. 23b) may be formed.
  • a third opening 22 in which the image sensor unit 210 is disposed may be formed on the third side 20c of the mount 20.
  • the fourth opening 27 to which the circuit board 107 is exposed may be formed on the bottom surface of the mount 20 in singular or plural.
  • the third side 20c of the mount 20 and the fourth side 20d facing the same may have a single or a plurality of coupling holes 25 to which the rod 50 is coupled.
  • a first coupling hole 25a, a second coupling hole 25b, a third coupling hole 25c, and a fourth coupling surface of the third side 20c and the fourth side 20d of the mount 20 are provided.
  • the coupling hole 25d may be formed, and the first rod 51, the second rod 52, the third rod 53, and the fourth rod 54 may be coupled thereto.
  • a prism mounting portion 24 for arranging the prism 140 may be formed inside the fourth side 20d of the mount 20.
  • the material of the mount 20 may be formed of any one or more of plastic, glass-based epoxy, polycarbonate, metal or composite material.
  • FIG. 3B is a perspective view of the mount 20 removed from the camera module according to the embodiment illustrated in FIG. 2, and shows an optical system and a lens driver.
  • the lens driving device may include a mover and a fixing part.
  • the mover may be referred to as a moving part in a concept corresponding to a fixed part.
  • the mover may mean a lens assembly that is moved by the rolling motion of the wheel.
  • the fixing part may mean a mount, a rod, etc., which are not moved.
  • the camera module according to the embodiment includes a prism 140, a first lens assembly 110, a second lens assembly 120, a third lens group 130, an image sensor unit 210, etc. on the mount 20. It may include an optical system.
  • the camera module of the embodiment may include a lens driver such as a first driver 310, a second driver 320, a rod 50, and the like.
  • the first lens assembly 110 and the second lens assembly 120 may also perform a lens driving function.
  • the rod 50 may include a first rod to a fourth rod (51, 52, 53, 54), the first rod to the fourth rod (51, 52, 53, 54) each of the first coupling It is coupled to the hole to the fourth coupling hole (25a, 25b, 25c, 25d) (see Fig. 3a) can function as a movement guide of the first lens assembly 110 and the second lens assembly 120.
  • the rod 50 may be formed of any one or more of plastic, glass-based epoxy, polycarbonate, metal or composite materials.
  • the first driving part 310 may be a coil driving part, and may be a form in which the first coil 314 is wound around a first core 312 such as an iron core.
  • the second driving unit 320 may also be a coil driving unit in which the second coil 324 is wound around a second core 322 such as an iron core.
  • the prism 140 changes the light path of the incident light to an optical axis parallel to the central axis Z of the lens group to change the incident light to parallel light. Thereafter, the parallel light may pass through the third lens group 130, the first lens assembly 110, and the second lens assembly 120 to be imaged in the image sensor unit 210.
  • the prism 140 may be an optical member having a triangular prism shape.
  • the embodiment may employ a reflector or a reflector instead of the prism 140.
  • an additional prism (not shown) is further provided to allow light passing through the lens group to be imaged by the image sensor unit 210. It might be.
  • the image sensor unit 210 may be arranged perpendicular to the optical axis direction of parallel light.
  • the image sensor unit 210 may include a solid-state imaging device 214 disposed on the second circuit board 212.
  • the image sensor unit 210 may include a Charge Coupled Device (CCD) image sensor or a Complementary Metal-Oxide-Semiconductor (CMOS) image sensor.
  • the image sensor unit 210 may include a detection sensor (to be described later) for detecting a phase difference image.
  • the first lens assembly 110 and the second lens assembly 120 in the embodiment will be described in more detail.
  • FIG. 4A is a perspective view of the first lens assembly 110 in the camera module according to the embodiment illustrated in FIG. 2, and FIG. 4B is a perspective view of the second lens assembly 120 in the camera module according to the embodiment illustrated in FIG. 2 to be.
  • the first lens assembly 110 of the embodiment includes a first housing 112, a first lens group 114, a first wheel 117, a third driving unit 116, and a first position sensor ( 118).
  • the second lens assembly 120 of the embodiment includes a second housing 122, a second lens group 124, a second wheel 127, a fourth driving unit 126, and a second position Any one or more of the sensors 128 may be included.
  • the first lens assembly 110 will be mainly described.
  • the first housing 112 of the first lens assembly 110 may include a first lens housing 112a and a first driver housing 112b.
  • the first lens housing 112a functions as a barrel, and the first lens group 114 may be mounted.
  • the first lens group 114 may be a moving lens group, and may include a single lens or a plurality of lenses.
  • the second housing 122 of the second lens assembly 120 may also include a second lens housing 122a and a second driver housing 122b.
  • a first guide groove 112G may be formed at one lower side of the first lens housing 112a of the first lens assembly 110.
  • the first lens assembly 110 may be guided by the first guide groove 112G and move in a straight line in the optical axis direction while slidingly contacting the second rod 52.
  • a second guide groove 122G may be formed on one lower side of the second lens housing 122a of the second lens assembly 120.
  • the first housing 112 is provided to move in the optical axis direction by sliding contact between the second rod 52 and the first guide groove 112G, so that the first camera module performing efficient autofocusing and zooming functions is provided. Can be implemented.
  • the second housing 122 is provided to move in the optical axis direction by sliding contact between the first rod 51 and the second guide groove 122G, a camera module performing an efficient autofocusing and zoom function is provided. Can be implemented.
  • a third driving unit 116, a first wheel 117, and a first position sensor 118 may be disposed in the first driving unit housing 112b of the first lens assembly 110.
  • the first wheel 117 may include a plurality of wheels, and may include a 1-1 wheel 117a and a 1-2 wheel 117b.
  • a fourth driving unit 126, a second wheel 127, and a second position sensor 128 may also be disposed in the second driving unit housing 122b of the second lens assembly 120.
  • the second wheel 127 may include a plurality of wheels, and may include a 2-1 wheel 127a and a 2-2 wheel 127b.
  • the third driving unit 116 of the first lens assembly 110 may be a magnet driving unit, but is not limited thereto.
  • the third driving unit 116 may include a first magnet that is a permanent magnet.
  • the fourth driving unit 126 of the second lens assembly 120 may also be a magnet driving unit, but is not limited thereto.
  • the second lens assembly 120 may be a liquid lens.
  • the driving unit for moving the second lens assembly 120 may be a driving voltage driving unit (not shown) that supplies a driving voltage to the liquid lens to adjust the curvature of the interface of the liquid lens.
  • the liquid lens may implement an autofocus function by changing an interface between a conductive liquid and a non-conductive liquid according to a driving voltage supplied from the driving voltage driver.
  • FIG. 5 is a view showing a liquid lens according to an embodiment of the present invention.
  • the liquid lens 300 may include a cavity 310.
  • the cavity 310 is a portion through which light incident from the outside is transmitted, and may include liquid in at least a portion.
  • the cavity 310 may include two types, that is, a conductive liquid and a non-conductive liquid (or an insulating liquid), and the conductive liquid and the non-conductive liquid may form an interface without mixing with each other.
  • the interface between the conductive liquid and the non-conductive liquid is deformed by the driving voltage applied through the driving voltage driver to change the curvature and / or focal length of the liquid lens 300.
  • the liquid lens 300 and the first camera module 100a including the same may implement an autofocus function.
  • Figure 5 (a) shows a liquid lens constituting the second lens assembly 120
  • Figure 5 (b) is a view showing an equivalent circuit diagram of the liquid lens.
  • the liquid lens 300 whose interface is adjusted in response to the driving voltage is disposed in four different directions with the same angular distance, and a plurality of electrode sectors constituting the first electrode ( L1, L2, L3, L4), and a driving voltage may be applied through an electrode sector constituting the second electrode.
  • a driving voltage is applied through the plurality of electrode sectors constituting the first electrode (L1, L2, L3, L4) and the electrode sector constituting the second electrode, the interface between the conductive liquid and the non-conductive liquid disposed in the cavity 310 This can be transformed.
  • the degree and shape of deformation of the interface between the conductive liquid and the non-conductive liquid can be controlled by a separate control unit (to be described later) to implement the autofocus function.
  • one side of the liquid lens 300 receives a voltage from different electrode sectors L1, L2, L3, and L4, and the other side is an electrode sector C0 of the second electrode. It can be described as a plurality of capacitors 30 are connected to the voltage is applied.
  • the camera module 100 includes a first camera module 100a and a second camera module 100b as described above.
  • a lens assembly serving as a focus function corresponding to the second lens assembly 120 may be included in the first camera module 100a and the second camera module 100b.
  • a lens assembly having a focus function provided in the first camera module 100a is referred to as a 'first focus lens'
  • a lens assembly having a focus function provided in the second camera module 100b is referred to as a 'second'. Focus lens.
  • the first camera module 100a further includes a lens assembly having a zoom function corresponding to the first lens assembly 110.
  • a lens assembly having a zoom function provided in the first camera module 100a is referred to as a “zoom lens”.
  • an image sensor unit 210 is included in the first camera module 100a and the second camera module 100b.
  • an image sensor unit provided in the first camera module 100a is referred to as a 'first image sensor'
  • an image sensor unit provided in the second camera module 100b is referred to as a 'second image sensor'.
  • FIG. 6 is a block diagram showing the configuration of a camera module according to an embodiment of the present invention.
  • the camera module 400 includes a first camera unit 410, a second camera unit 420, a storage unit 430, and a control unit 440.
  • the control unit 440 may be a camera module control unit provided in the camera module 400 separately from a main control unit (not shown) disposed in an optical device in which the camera module 400 is mounted.
  • the first camera unit 410 acquires a first image.
  • the first camera unit 410 acquires a first image formed according to the positions of the first focus lens 411 and the zoom lens 412.
  • the first image has a zoom magnification determined according to the position of the zoom lens 412.
  • the first image may be an image that is in focus according to the position of the first focus lens 411, or may be an image that is otherwise out of focus.
  • the first camera unit 410 includes a first focus lens 411, a zoom lens 412, a first focus lens driver 413, a zoom lens driver 414, and a first image sensor 415 do.
  • the first focus lens driver 413 controls the focus movement position of the first focus lens 411 according to the first control signal provided from the controller 440.
  • the first control signal may be a position control signal for moving the first focus lens 411 to a specific position.
  • the first control signal is a driving voltage control for changing the curvature of the interface of the first focus lens 411 It can be a signal.
  • the focus movement position may be a movement amount or a movement distance of the first focus lens 411.
  • the focus movement position may be a change in bending of the first focus lens 411.
  • the first focus lens 411 moves a focus position under the control of the first focus lens driver 413 so that the subject included in the first image is in focus.
  • the zoom lens 412 is driven by the control of the zoom lens driver 414.
  • the zoom lens driver 414 controls the zoom position of the zoom lens 412 according to the second control signal provided from the controller 440.
  • the second control signal may be a zoom position control signal according to a zoom magnification input from the outside. Then, the zoom lens driver 414 moves the zoom lens 412 to a zoom position corresponding to the input zoom magnification according to the zoom position control signal.
  • the first and second control signals may be current signals for changing the focus position or the zoom position of the first focus lens 411 or the zoom lens 412.
  • the current signal may be a signal for the direction of the current, the intensity of the current, and the amplitude of the current.
  • the first and second control signals may be code signals respectively matched to correspond to the direction of the current, the intensity of the current, and the amplitude of the current.
  • the second camera unit 420 acquires a first image.
  • the second camera unit 420 acquires a second image formed through the second image sensor 423 according to the position of the second focus lens 421.
  • the second image may have a fixed zoom magnification.
  • the second image may be an image that is in focus according to the position of the second focus lens 421, or may be an image that is otherwise out of focus.
  • the second camera unit 420 includes a second focus lens 421, a second focus lens driver 422, and a second image sensor 423.
  • the second focus lens driver 422 controls a focus movement position of the second focus lens 421 according to a third control signal provided from the controller 440.
  • the third control signal may be a position control signal for moving the second focus lens 421 to a specific position.
  • the second control signal controls the driving voltage to change the curvature of the interface of the second focus lens 421 It can be a signal.
  • the focus movement position of the second focus lens 421 may be a movement distance or a movement amount of the second focus lens 421.
  • the focal position of the second focus lens 421 may be a change in bending of the second focus lens 421.
  • the second focus lens 421 moves a focus position under the control of the second focus lens driver 422, so that a subject included in the second image is in focus.
  • the third control signal may be a current signal for changing the focal position of the second focus lens 421.
  • the current signal may be a signal for the direction of the current, the intensity of the current, and the amplitude of the current.
  • the third control signal may be a code signal respectively matched to correspond to the direction of the current, the intensity of the current, and the amplitude of the current.
  • each of the first image sensor 415 and the second image sensor 423 is a type in which a plurality of photo detectors are integrated as respective pixels, and converts image information of a subject into electrical data and outputs it.
  • the first and second image sensors 415 and 423 accumulate the input light amount, and output the image captured by the lens in accordance with the vertical sync signal according to the accumulated light amount.
  • image acquisition is performed by the first and second image sensors 415 and 423 that convert light reflected from the subject into an electrical signal.
  • a color filter is required to obtain a color image using the first and second image sensors 415 and 423.
  • a CFA Color Filter Array
  • the CFA passes only light representing one color per pixel, has a regularly arranged structure, and has various forms according to the arrangement structure.
  • the storage unit 430 stores information necessary for the operation of the camera module or information generated during the operation of the camera module.
  • the storage unit 430 is a hardware, flash memory type (flash memory type), hard disk type (hard disk type), SSD type (Solid State Disk type), SDD type (Silicon Disk Drive type), multimedia card micro Type (multimedia card micro type), card type memory (eg SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM (electrically erasable programmable read-only memory), PROM (programmable read-only memory), magnetic memory, may include a storage medium of at least one type of magnetic disk and optical disk.
  • the storage unit 430 may store first focus position information for moving the zoom lens 412 and the first focus lens 411.
  • the first focus position information based on the zoom magnification according to the distance to the subject to be photographed by the first camera unit 410 and the position of the zoom lens 412, the focus position of the first focus lens 411 It may be information about the focus movement position for moving the.
  • second storage location information for moving the second focus lens 421 may be stored in the storage unit 430.
  • the second focus position information is information on a focus shift position for shifting the focus position of the second focus lens 421 based on the phase difference obtained from the phase difference image of the second camera unit 420.
  • the autofocus function may be implemented by contrast autofocus, phase difference autofocus, and hybrid autofocus.
  • contrast AF In contrast AF (CDAF), while moving the position of the focus lens, a contrast evaluation value indicating the contrast of the photographed image is obtained at each focus lens position.
  • the shift of the focus lens position is performed so that the contrast evaluation value increases.
  • the focus lens position is moved close to the best focus position, and the position where the contrast evaluation value becomes the maximum is determined as the final focus position.
  • phase difference AF if the phase difference is 0 when the focus lens position is at the best focus position, the position of the focus lens is shifted so that the phase difference is 0.
  • the focus lens position is moved to the vicinity of the best focus position by phase difference AF, and then the focus lens position can be precisely moved to the best focus position by contrast AF.
  • the second camera unit 420 determines a focus movement position of the second focus lens 421 through the phase difference AF method.
  • the storage unit 430 stores the second focus position information for determining the focus movement position of the second focus lens 421.
  • the storage unit 430 may further store third focus position information for determining a focus movement position of the first focus lens 411 using the second focus position information.
  • the third focus position information matches the focus position characteristics of the first focus lens 411 and the second focus lens 421, and the second focus lens 421 obtained based on the matched focus position characteristics Refers to focus position information of the first focus lens 411 corresponding to the focus position of.
  • the third focus position information will be described in more detail below.
  • the control unit 440 controls the first camera unit 410 and the second camera unit 420, respectively.
  • the control unit 440 determines a focus position of the first focus lens 411 according to a distance from a subject to be photographed and a set zoom magnification. That is, the control unit 440 extracts focus position information of the first focus lens 411 corresponding to the distance to the subject and the zoom magnification based on the first focus position information stored in the storage unit 430.
  • the control unit 440 is the first focus lens driving unit 413 so that the first focus lens 411 is moved to a focus position corresponding to the focus position information of the obtained first focus lens 411 The first control signal is output.
  • the first focus position information may include focus position information of the first focus lens 411 corresponding to all magnifications and all subject distances.
  • the first focus position information may include focus position information of the first focus lens 411 corresponding to a magnification for a specific point or a subject distance for a specific point.
  • the control unit 440 extracts it and extracts the first 1 The focus position of the focus lens 411 can be controlled.
  • the control unit 440 may include the first focus position. Based on the information, a focal position of the first focus lens 411 to be applied to the current shooting condition can be calculated.
  • the first focus position information may be information about a zoom position and a focus position obtained for a specific sampling point, and the control unit 440 may calculate the focus position of the remaining points excluding the sampling point by applying an interpolation method You can.
  • the control unit 440 includes a linear interpolation method, a polynomial interpolation method, a spline interpolation method, an exponential interpolation method, a log_linear interpolation method, and a Lagrange interpolation method. Interpolation, Newton interpolation, and at least one of two-dimensional interpolation (Bilinear Interpolation) may be applied to calculate a focal position of the first focus lens 411.
  • control unit 440 determines the accuracy of the focus position of the first focus lens 411 applied based on the first focus position information. To this end, the control unit 440 allows the first phase difference image to be obtained through the first image sensor 415. Then, when the first phase difference image is obtained, the control unit 440 calculates a first phase difference corresponding to the current position of the first focus lens 411 based on the first phase difference image. At this time, the first phase difference when the current position of the first focus lens 411 is the best focus position will have a value close to 0, and the first phase difference when the position is out of focus is It can have a value greater than or less than 0.
  • the control unit 440 re-determines the focus position of the first focus lens 411 using the third focus position information. That is, if the absolute value of the first phase difference is greater than the threshold value, it means that the first focus position information is incorrect. Accordingly, the control unit 440 uses the third focus position information to determine the 1 Move the focus position of the focus lens 411 back to the best position.
  • the threshold value may be determined according to the characteristics of the first focus lens 411. In other words, the threshold value may be determined according to the Modulation Transfer Function (MTF) of the first focus lens 411.
  • MTF Modulation Transfer Function
  • the MTF can be expressed as a curve, which is a spatial frequency characteristic indicating how faithfully the contrast of the subject can be reproduced on the image plane (the screen where light is reflected) as one of the measures for evaluating lens performance.
  • the horizontal axis represents the lens field (distance from the center of the screen to the edge), and the vertical axis represents the contrast value (the highest value is 1).
  • the slope of the MTF curve is large, even if the focal position is slightly distorted from the best position, the focus of the captured image may not be large.
  • the slope of the MTF curve is small, even if the focal position is slightly displaced within a predetermined range based on the best position, the captured image may be in focus.
  • the threshold can be set with an MTF curve indicating the performance of the first focus lens 411. That is, when the slope of the MTF curve is large due to poor performance of the first focus lens 411, the threshold may be set to a first value close to zero. In addition, when the slope of the MTF curve is small according to the performance of the first focus lens 411, the threshold may be set to a second value greater than the first value.
  • the first phase difference is greater than the threshold value, it means that the accuracy of the first focus position information is low. This may occur as the first camera unit 410 does not immediately respond to changes in various shooting conditions (subject position change, subject distance change, zoom magnification change, etc.). In addition, this is because the characteristics of the first focus lens driving unit 413 driving the first focus lens 411 are changed (for example, a force or elastic force is changed according to the number of times of use), and thus the focus accuracy is deteriorated.
  • control unit 440 allows the second phase difference image to be acquired through the second image sensor 423. Then, when the second phase difference image is obtained, the control unit 440 calculates a second phase difference corresponding to the current position of the second focus lens 421 based on the second phase difference image. At this time, the second phase difference when the current position of the second focus lens 421 is the best focus position will have a value close to 0, and the second phase difference when the position is out of focus is It can have a value greater than or less than 0.
  • the second phase difference image may be obtained through a phase detection sensor disposed in a specific pixel among pixels constituting the second image sensor 423.
  • control unit 440 focuses the second focus lens 421 corresponding to the second phase difference based on the second focus position information stored in the storage unit 430. A movement position is determined, and the second focus lens 421 is moved to the determined focus movement position.
  • the first and second image sensors 415 and 423 acquire the first and second phase difference images, respectively.
  • a method of acquiring the first and second phase difference images will be described first.
  • FIG. 7 is a diagram schematically showing a phase difference detection pixel of an image sensor constituting a phase detection sensor according to an embodiment of the present invention
  • FIG. 8 is a view showing an embodiment in which the phase difference detection pixels of FIG. 7 are arranged
  • 9 is a view for explaining an operation in which the third control signal is generated based on the first light amount distribution and the second light amount distribution of the phase difference detection pixel of FIG. 8.
  • the phase difference detection pixel 500 provided in the first image sensor 415 or the second image sensor 423 includes a micro lens 510, a color filter 520, and a photodiode 530 ) And the light blocking layer 540. That is, the first image sensor 415 or the second image sensor 423 is a phase difference detection pixel 500 for obtaining a phase difference image as described above, and is not normally used for detection of phase differences other than the phase difference detection pixel. And a pixel (ie, a pixel for acquiring a captured image).
  • the micro lens 510 is disposed on the phase detection pixel 500 and may increase light gathering power.
  • the color filter 530 is disposed under the micro lens 520, and light having a specific wavelength (eg, red, green, blue, magenta, yellow, cyan) (Cyan)).
  • a specific wavelength eg, red, green, blue, magenta, yellow, cyan
  • the photodiode 530 may accumulate photocharges generated according to the intensity of incident light that has passed through the micro lens 510.
  • the photoelectric charge accumulated in the photodiode 530 may be converted into an electrical signal by a driving circuit and a lead-out circuit, and transmitted to the control unit 440 as a pixel signal of the phase difference detection pixel 500.
  • the light blocking layer 540 may block light incident to at least a portion of the light receiving area corresponding to the micro lens 510.
  • the light blocking layer 540 may block light incident to an area corresponding to half of the light receiving area.
  • the light blocking layer 540 is disposed on the right side of the phase difference detection pixel 500 to pass light L1 incident to the left side of the light receiving region and light L2 incident to the right side of the light receiving region. Can cut off.
  • a part of the pixel array is illustrated, and a pixel in which the light blocking layer 540 is disposed on the right side of the light receiving area is defined as a first pixel, and a pixel in which the light blocking layer 540 is disposed on the left side of the light receiving area Is defined as the second pixel.
  • the first pixel and the second pixel may be arranged in different rows of the pixel array. As shown in FIG. 8, one row may be disposed between the first pixel and the second pixel, but the scope of the present invention is not limited thereto, and the first pixel and the second pixel may be continuously arranged, or the first pixel and the second pixel may be arranged. Multiple rows may be arranged between pixels.
  • the first pixel may include pixels 1 to 9 arranged in the same row, and the second pixel may also include pixels 1 to 9 arranged in the same row.
  • Pixels k (k is an integer from 1 to 9) of the first pixel may be arranged in the same column as pixels k of the second pixel. Pixels 1 to 9 of the first pixel and pixels 1 to 9 of the second pixel may be continuously arranged. According to another embodiment, it may be arranged at regular or irregular intervals. At this time, the first pixel and the second pixel may be disposed between pixels for generating image data.
  • the phase difference autofocus is performed based on the change in the position of the image formation according to the focus state of the captured image. That is, the phase is out of focus when it is out of focus, and out of phase when it is out of focus. For example, when the current focus position is in front of the best focus position, the image obtained through the first pixel is shifted to the right than the phase of the reference image in focus (zero phase), and the second The image obtained through the pixel is shifted left than the phase of the reference image.
  • each of the first pixel and the second pixel includes nine pixels, and it is also possible to include less or more pixels.
  • light passing through the first focus lens 411 or the second focus lens 421 may be focused at an arbitrary position based on the pixel array in which the phase difference detection pixels 500 are disposed.
  • FIG. 9 a case in which focus is focused on focus 1 to focus 3 is exemplified, and when a focus is focused on focus 2 because a pixel array is located at focus 2, it is assumed that the focus is a normal focus distance.
  • Focus 1 may refer to a case where the focus is in front of the pixel array (ie, the focal length is long), and Focus 3 may refer to a case where the focus is focused behind the pixel array (ie, the focal length is short).
  • Light passing through the first focus lens 411 or the second focus lens 421 may be incident on the first and second pixels arranged in the pixel array.
  • the light passing through the left side with respect to the optical axis of the first focus lens 411 or the second focus lens 421 is led to the first pixel in which the light blocking layer 540 is provided on the right side, and the light passing through the right side is the light blocking layer.
  • 540 may be induced to the second pixel provided on the left side.
  • a light amount distribution appearing in the first pixel is defined as a first light amount distribution
  • a light amount distribution appearing in the second pixel is defined as a second light amount distribution.
  • the first light amount distribution or the second light amount distribution means a set of pixel signals output by nine pixels included in the first pixel or the second pixel, or the control unit 440 is obtained by interpolating the pixel signal Data.
  • the X-axis of the graph including the first light amount distribution and the second light amount distribution represents the position of the pixel, that is, the number of the pixel
  • the Y axis represents the magnitude of the light amount detected in the corresponding pixel.
  • the first light amount distribution 730 and the second light amount distribution 740 have the same shape, and the center of the shape (for example, the pixel position of the inflection point) is the same as the fifth pixel. You can have a location.
  • the position of the center of the shape determines the phase, when focus is focused on the focus 2, the first light quantity distribution 730 and the second light quantity distribution 740 may be in phase with each other.
  • the same shape may be a concept that includes shapes having similarities over a certain range, as well as shapes that are completely physically identical.
  • the first light amount distribution 710 and the second light amount distribution 720 have the same shape, but the centers of the shapes may have different positions of 3 pixels and 7 pixels, respectively.
  • the position of the center of the shape determines the phase
  • the first light quantity distribution 710 and the second light quantity distribution 720 are out of phase with each other.
  • the focus 1 means that the focal length is longer than the subject
  • the phase of the first light amount distribution 710 is shifted to the left based on the center pixel (ie, the 5th pixel)
  • the second light amount distribution 720 is The phase is shifted to the right with respect to the center pixel.
  • phase difference (4 pixels) in which the centers of the first light amount distribution 710 and the second light amount distribution 720 are offset from each other is how much the focal length is deviated from the normal focal length, that is, how much the focal length should be adjusted Can indicate.
  • the first light amount distribution 750 and the second light amount distribution 760 have the same shape, but the centers of the shapes may have different positions of 7 pixels and 3 pixels, respectively.
  • the position of the center of the shape determines the phase
  • the first light quantity distribution 750 and the second light quantity distribution 760 are out of phase with each other.
  • the focus 3 means that the focal length is shorter than the subject, the phase of the first light amount distribution 750 is shifted to the right based on the center pixel (ie, the 5th pixel), and the second light amount distribution 760 The phase is shifted to the left with respect to the center pixel.
  • phase difference (4 pixels) in which the centers of the first light amount distribution 750 and the second light amount distribution 760 are shifted from each other is how much the focal length is shifted from the normal focal length, that is, how much the focal length should be adjusted Can indicate.
  • control unit 440 may detect a phase difference between the first light amount distribution and the second light quantity distribution based on the first light amount distribution and the second light quantity distribution, and generate a control signal for autofocus based on the detected phase difference. have. That is, the control unit 440 may generate a second control signal for moving the focus position of the second focus lens 421 based on the second phase difference.
  • the controller 440 subtracts the pixel number corresponding to the center of the second light amount distribution from the pixel number corresponding to the center of the first light amount distribution, and generates the second control signal using the subtraction result.
  • the sign of the subtraction result may determine the direction in which the focal length is varied, and the absolute value of the subtraction result may determine the degree to which the focal length is varied.
  • the result of subtracting the pixel number may have a phase difference.
  • control unit 440 may output a control signal to control the focal length to be reduced by 4.
  • a camera module including first and second cameras
  • focus position information of a first camera and focus position information of the second camera are mutually matched.
  • the accuracy of the current focus position of the first camera is determined based on a phase difference of an image acquired through the first camera during autofocus of the first camera.
  • the exact focus position of the first camera is tracked using the focus position information of the second camera according to the matching.
  • the focus movement position is tracked by using the focus position information of the second camera as well as zoom tracking of the first camera. , Can improve the accuracy.
  • an operation for increasing the focus position accuracy of the first camera is performed by the second camera only when the zoom magnification of the first camera is changed. Accordingly, in an embodiment according to the present invention, power consumption according to the operation of the second camera can be minimized.
  • the focus position information of the first camera at the specific point when the focus position information of the first camera at the specific point is incorrect, the focus position information of the first camera for the specific point using the focus position information of the second camera Update it. Accordingly, in the embodiment according to the present invention, it is possible to improve the accuracy of the focus position without being affected by the change in the characteristics of the actuator that changes depending on the number of times of use or the time of use of the camera module.
  • FIG. 10 is a flowchart illustrating an overall flow of a method of operating a camera module according to an embodiment of the present invention.
  • an optical device including a camera module may be provided with a dual camera module to acquire images suitable for various shooting environments.
  • the camera module provided in the optical device may include a zoom camera.
  • the camera module including the zoom camera may be additionally equipped with a main camera having high resolution and high performance based on a fixed zoom magnification.
  • the main camera may be equipped with a highly reliable image sensor for realizing high resolution and high performance.
  • the zoom camera does not require high resolution and high performance compared to the main camera, and accordingly, an image sensor having a lower reliability than the image sensor of the main camera may be mounted.
  • the reliability may mean accuracy for phase difference detection of the image sensor.
  • the reliability may mean the accuracy of an autofocus function performed through the image sensor.
  • the reliability may be determined by the arrangement state or the number of arrangements of the photodiodes PD included in the image sensor.
  • the first camera unit 410 and the second camera unit 420 constituting the camera module are illustrated as cameras having different structures, but this is only an implementation, and the structures of the first and second camera units May be identical to each other.
  • the focus position of the first camera unit 410 Problems may arise.
  • the accuracy of the focus position is not only lowered, but also a problem that it takes a long time to go to the correct focus position. have. Accordingly, in a situation of photographing a continuous frame such as a video, there is a problem that it is difficult to accurately focus the first image taken through the first camera unit 410 with the first camera unit 410 alone.
  • the information on the focal position of each of the first camera unit 410 and the second camera unit 420 is matched and stored in the storage unit 430 and later.
  • the autofocus function of the first camera unit 410 may be implemented by utilizing the stored information.
  • the characteristics of the first focus lens 411 of the first camera unit 410 and the characteristics of the second focus lens 421 of the second camera unit 420 are different.
  • the characteristics of the first focus lens driving unit 413 driving the first focus lens 411 and the characteristics of the second focus lens driving unit 422 driving the second focus lens 421 are also different. That is, even if the first focus lens 411 and the second focus lens 421 are lenses having the same structure, the characteristics may be changed according to an installation location or an installation environment, and driving conditions thereof may also be different. .
  • the characteristics may include VCM characteristics, lens shift strokes, and the like.
  • the first focus lens 411 and the second focus lens 421 Mutual matching is required.
  • the matching conditions are divided by the zoom magnification of the first camera unit 410, and the first focus lens 411 according to the subject distance of the first camera unit 410 by the divided zoom magnification
  • the focus position information of and the focus position information of the second focus lens 421 are mutually matched (step 100).
  • the first focus for photographing the subject The focal position of the lens 411 and the focal position of the second focus lens 421 are matched with each other.
  • the matching may be divided into zoom magnifications of the first camera unit 410, and may be performed respectively.
  • the camera module When each of the focal positions is matched, the camera module, at each of the matched focal positions, based on the phase difference between the second image and the reference image captured through the second camera unit 420, the second focus lens ( 421) acquires and stores second focus position information for moving the best focus position (step 200).
  • second focus position information indicating the focus position of the second focus lens 421 according to the phase difference of the second image is acquired and stored.
  • the camera module acquires and stores third focus position information indicating the focus position of the first focus lens 411 corresponding to the focus position of the second focus lens 421 using the conversion table (step 300). ).
  • the first focus lens 411 and the second focus lens 421 have different stroke or VCM characteristics, and the focus positions may be different even under the same conditions. Accordingly, based on the second focus position information, the third focus position information obtained by converting the focus movement position of the second focus lens 421 into the focus movement position of the first focus lens 411 is obtained and stored. . To this end, a conversion table including correlation information of the first focus lens 411 and the second focus lens 421 may be previously obtained.
  • the first focus position information including information about the zoom position of the zoom lens 412 of the first camera unit 410 according to the distance of the subject and the focus position of the first focus lens 411 is stored ( 400 steps).
  • the first focus position information is also commonly referred to as a trace curve, and includes a plurality of curves each divided according to a distance from the subject, and the X axis of the curve indicates the position of the first focus lens 411 , Y axis represents the position of the zoom lens 412.
  • the camera module when implementing the auto focus function of the first camera unit 410, the camera module preferentially moves the first focus lens 411 by applying the first focus position information. In addition, the camera module determines focus accuracy as to whether the focus is exactly at the moved position. Then, if the focus accuracy is low, the camera module determines the focus movement position of the first focus lens 411 using the third focus position information, and the first focus lens 411 as the determined focus movement position. ) Is moved again (step 500).
  • FIG. 11 is a flowchart illustrating a method of matching location information according to an embodiment of the present invention step by step
  • FIG. 12 is a diagram illustrating location information of a first camera unit modeled according to an embodiment of the present invention
  • FIG. 13 is a diagram of the present invention
  • FIG. 14 is a diagram illustrating location information of a second camera unit modeled according to an embodiment
  • FIG. 14 is a diagram illustrating a process of matching location information of the first and second camera units according to an embodiment of the present invention.
  • a zoom magnification number M to be matched is determined (step 101). That is, a considerable amount of time is required to perform all of the above matching operations on all magnifications of the zoom lens 412 of the first camera unit 410. Accordingly, the matching operation may be performed only for a part of all the magnifications, and the other zoom magnification may be interpolated based on the matched information.
  • the number of zoom magnifications is determined, the total magnification of the zoom lens 412 may be divided according to the determined number of zoom magnifications. For example, when the number of zoom magnifications is determined to be four, the matching operation may be performed only for the determined four zoom magnifications, and the matching operation for other zoom magnifications may be performed through interpolation.
  • a zoom magnification of the zoom lens 412 to be applied is determined based on the determined zoom magnification number M (step 102). That is, the zoom magnification m determined initially may be 1. Accordingly, the determined zoom magnification may be the first (eg, the lowest or highest zoom magnification) zoom magnification among the plurality of zoom magnifications divided based on the number of zoom magnifications. It is called '1 zoom magnification'.
  • the focal position of the first focus lens 411 is obtained for each distance of the subject (step 103).
  • the focal position of the first focus lens 411 may be performed only for a specific point within the entire range of the object distance.
  • the focus position information of the first focus lens 411 with respect to the first zoom magnification is modeled (step 104). That is, the focus position information can be obtained only at a specific point, and accordingly, data for other points other than that is obtained by interpolating data using the information obtained at the specific point.
  • step 105 it is determined whether modeling for all zoom magnifications corresponding to the determined zoom magnification is completed. That is, it is determined whether the modeled zoom magnification (n) is equal to the determined number of zoom magnifications (M). For example, when the zoom magnification number M is 4, it is determined whether the modeled zoom magnification n is the fourth zoom magnification.
  • a zoom magnification n to be modeled may be determined (step 106). That is, the determined zoom magnification n may be the next zoom magnification (previous zoom magnification n + 1) of the previously modeled zoom magnification.
  • the modeling operation may be performed according to the determined number of zoom magnifications M.
  • M pieces of final information after the modeling may correspond to the number of zoom magnifications.
  • the modeling may be represented by a graph indicating the focal position of the first focus lens 411 according to the object distance.
  • the graphs classified according to the zoom magnification may have different curves from each other.
  • the second camera unit 420 has a fixed zoom magnification. Accordingly, location information of the second focus lens 421 corresponding to the distance of the subject may be obtained for the second camera unit 420, and is not classified for each zoom magnification (step 107). ). In addition, location information of the second focus lens 421 may not be obtained corresponding to all object distances, but may be acquired only for a specific point.
  • a modeling process of acquiring location information for other points may be performed using the location information of the second focus lens 421 for the acquired specific point (step 108).
  • the modeling operation of the second camera unit 420 may be performed only for a specific zoom magnification. Accordingly, only one final information after modeling of the second camera unit may exist.
  • the modeling of the second camera unit 420 may be represented by a graph indicating the focal position of the second focus lens 421 according to the object distance.
  • the obtained position information of the first focus lens 411 and the position information of the second focus lens 421 are mutually matched (step 109).
  • the matching may be performed for each zoom magnification divided during modeling of the first camera unit 410.
  • the zoom magnification number M is 4, the position information of the first focus lens 411 modeled at the first zoom magnification and the position information of the second focus lens 421 are modeled, and the second zoom Models the position information of the first focus lens 411 modeled at a magnification and the position information of the second focus lens 421, and the position information of the first focus lens 411 modeled at a third zoom magnification and the first 2 Models the position information of the focus lens 421, and models the position information of the first focus lens 411 modeled at the fourth zoom magnification and the position information of the second focus lens 421.
  • the matching may be performed only for a specific point based on the distance of the subject.
  • 9 points (P1, P2, P3, P4, P5, P6, P7, P8, P9) may be set, and for each of the 9 points
  • the location information of the first focus lens 411 and the location information of the second focus lens 421 are mutually matched.
  • the focal position of the first focus lens 411 is B
  • the focal position of the second focus lens 421 is C. have.
  • interpolation may be performed for the remaining points based on the matched information.
  • matching information matched for each zoom magnification of the first camera unit 410 may be first stored in the storage unit 430.
  • FIG. 15 is a flowchart illustrating a method of storing second focus position information step by step according to an embodiment of the present invention
  • FIG. 16 is a view showing an example of second focus position information obtained according to an embodiment of the present invention.
  • focus position information of the second camera unit 420 for each matching point is acquired with the matched information.
  • the phase difference between the second image and the reference image photographed by the second camera unit 420 is checked, and the focus position of the second focus lens 421 is set to the best position according to the phase difference.
  • the second focus position information for moving is acquired.
  • the zoom magnification number M of the first camera unit 410 is determined (step 201).
  • a zoom magnification m to be applied is determined (step 202). That is, in the initial operation, the first zoom magnification among the zoom magnifications divided by the determined number of zoom magnifications may be determined as the current zoom magnification. That is, by setting the currently applied zoom magnification (m) to 1, the second focus position information acquisition process for the first zoom magnification is performed.
  • the second focal position information may be obtained not only for all matching points within the determined zoom magnification, but only for a plurality of partial points. Accordingly, a point at which the second focus position information is to be obtained is set. That is, the number N of movement of the first focus lens 411 is set (step 203).
  • the number N of movement of the first focus lens 411 may be the number of points.
  • the first focus lens 411 is moved to the focus position of the first focus lens 411 at the determined specific point using the matching information (step 205).
  • the second focus lens 421 is moved to the position of the second focus lens 421 matched to the position of the moved first focus lens 411 (step 206).
  • the focus of the second camera unit 420 in the moved position may be in a focused state or may be in a non-focused state.
  • the second camera unit 420 acquires a second image while the second focus lens 421 is moved (step 207). At this time, when the second image is in focus, there will be no phase difference from the reference image (ie, the phase difference of the second image is 0), otherwise, a certain phase difference will occur.
  • phase difference for the acquired second image is calculated (step 208).
  • the phase difference of the second image may be a difference from a reference image having zero phase.
  • phase difference for all the points is not confirmed, it moves to the next point, and calculates the phase difference of the second image from which the second camera unit 420 is obtained at the next moving point (step 210).
  • the second phase differences are connected to calculate a slope corresponding thereto (step 211). Then, when the tilt is calculated, the calculated tilt is stored, and the stored tilt becomes second focus position information for moving the focus position of the second focus lens 421.
  • the second focus position information may be focus position information of the second focus lens 421 for setting the amount of defocus detected from each of the phase differences to zero.
  • the second focus position information may be as shown in FIG. 16.
  • the second focus position information includes information about a focus position of the second focus lens 421 with respect to the phase difference of the second image.
  • the focal position of the second focus lens 421 may mean a defocus amount.
  • the defocus amount is a numerical value indicating a degree of focus shift, but in the autofocus function, it can be used as a physical amount indicating how far from the current focus position of the second focus lens 421 to the best focus position. have. That is, in FIG. 16, the defocus amount expressed as the position of the second focus lens 421 may indicate the distance and direction from the current focal position of the second focus lens 421 to the best position.
  • the unit of the defocus amount may also be in ⁇ m.
  • the X-axis in FIG. 16 may indicate the position of the second focus lens 421, and the Y-axis may indicate the phase difference of the second image.
  • the X-axis may mean substantially the amount of defocus.
  • the phase difference and the defocus amount ideally have a linear relationship. Therefore, it is possible to calculate the slope of a straight line having the linear relationship with the phase difference obtained at a plurality of points as described above.
  • the coefficient for converting (converting) the phase difference into a defocus amount is also referred to as a conversion factor, and the defocus amount can be obtained by Equation 1 below.
  • Defocus amount [ ⁇ m] phase difference [number of pixels] x conversion factor (a) [ ⁇ m / number of pixels]
  • the relationship between the phase difference and the defocus amount is ideally represented by a straight line. Accordingly, when the X-axis is referred to as a defocus amount or a position of the second focus lens 421, and the Y-axis is referred to as a phase difference, the conversion coefficient in the two-dimensional plane represents the slope of the conversion characteristic represented by a straight line.
  • the second focus position information is In the corresponding phase difference, the second focus lens needs to be moved with an amount of movement corresponding to the distance from B to C to achieve correct focus.
  • Acquiring information for moving the focus position to the best position using the phase difference as described above is a general PDAF function, and thus detailed description thereof will be omitted.
  • step 212 it is determined whether the second focus position information is acquired for all zoom magnifications.
  • FIG. 17 is a flowchart illustrating a method of storing third focus position information according to an embodiment of the present invention step by step
  • FIG. 18 is a view showing an example of third focus position information obtained according to an embodiment of the present invention.
  • the second focus position information corresponding to the focus position of the second focus lens 421 at the matching point cannot be directly used as control information of the first focus lens 411. This is because characteristics such as strokes of the first focus lens 411 and the second focus lens 421 are different. Therefore, it is necessary to acquire information for moving the focus position of the first focus lens 411 corresponding to the movement position of the second focus lens 421 using the second focus position information.
  • a conversion table for the relationship between the first focus lens 411 and the second focus lens 421 is stored (step 301).
  • the conversion table may be obtained during the design or manufacturing of the first focus lens 411 and the second focus lens 421.
  • the conversion table may be movement position information of the first focus lens 411 corresponding to the movement position of the second focus lens 421 according to the characteristics of the first and second focus lenses 421. For example, when the second focus lens 421 is moved by '3', the conversion table may be information indicating that the first focus lens 411 has a distance of '2' instead of '3'. have.
  • step 302 the position information of the second focus lens 421 according to the phase difference included in the second focus position information is checked. That is, the amount of defocus or movement of the second focus lens 421 according to the phase difference included in the second focus position information is checked.
  • the third focus position information including the movement amount (focus movement position) of the second focus lens 411 and the movement amount (focus movement position) of the first focus lens 411 corresponding thereto is acquired and stored. (Step 304).
  • the third focus position information is information for determining a focus movement position of the first camera part 410 using the information of the second camera part 420.
  • the third focus position information is the first focus position corresponding to the focus movement position of the second focus lens 421. It may be information about a focal position of the focus lens 411.
  • FIG. 19 is a diagram illustrating an example of first focus location information according to an embodiment of the present invention.
  • the first camera unit 410 basically performs an autofocus function using first focus position information.
  • the first focus position information includes zoom position information of the zoom lens 412 according to a distance to a subject (Macro, Infinity, etc.) and focus position information of the first focus lens 411.
  • This can be expressed as a trace curve.
  • the trace curve may include a first trace curve for infinity, a second trace curve for macro, and at least one third trace curve for a specific distance between the infinity and macro. have.
  • the first camera unit 410 may implement an auto focus function based on the first focus position information.
  • 20 is a flow chart for explaining step-by-step the operation method of the camera module according to an embodiment of the present invention.
  • the second camera unit 420 starts an operation as an operation start event occurs (step 401).
  • the operation start event may be a case in which an operation command of the second camera unit 410 is input from the outside.
  • the operation start event may be a case where a shooting condition is changed during the operation of the first camera unit 410.
  • the control unit 440 may check whether the operation start event has occurred, and control the operation of the second camera unit 420 to be started accordingly.
  • control unit 440 during operation of the first camera unit 410, the subject to be photographed by the first camera unit 410 is changed, or the distance to the subject is changed, or the first 1 It is possible to detect a situation in which the zoom magnification of the camera unit 410 is changed or the position of the camera module itself is moved, and the operation of the second camera unit 410 may be started as the situation is detected. .
  • the control unit 440 may allow the second camera unit 420 to operate when a video is captured through the first camera unit 410. That is, when a video is captured by the first camera unit 410, since the reaction speed of the first focus lens 411 with respect to a moving subject may not be able to follow, the control unit 440 may include the first camera unit.
  • the second camera unit 420 may be operated in the background in order to accurately and quickly determine the focus position of 410.
  • the second camera unit 420 may acquire a second image according to the control signal of the control unit 440 (step 402).
  • the second image may be a second phase difference image acquired through the second image sensor 423 included in the second camera unit 420.
  • the second image may be photographed based on an operating condition of the first camera unit 410.
  • the control unit 440 acquires a focus position of the second focus lens 421 matched to correspond to a zoom magnification of the first camera unit 410 and a focus position of the first focus lens 411. can do.
  • the control unit 440 controls the second image to be acquired after the second focus lens 421 is moved to the acquired focus position can do.
  • the controller 440 compares the reference image with the acquired second image and calculates a second phase difference accordingly (step 403).
  • the control unit 440 determines the focus movement position of the second focus lens 421 corresponding to the second phase difference by using the second focus position information, and the determined The second focus lens 421 may be moved to a focus movement position.
  • the control unit 440 may store only the calculated second phase difference information.
  • control unit 440 moves the zoom position of the zoom lens 412 at a zoom magnification according to the user's setting (step 404).
  • control unit 440 uses the first focus position information stored in the storage unit 430 to determine the focus position of the first focus lens 411 based on the zoom magnification and the distance to the subject to be photographed. Decide (step 405).
  • the controller 440 controls the first focus lens 411 to be moved to the determined focus position (step 406). Accordingly, the first focus lens driver 413 moves the first focus lens 411 to the determined focus position according to a control signal from the control unit 440. At this time, as described above, the first focus lens 411 may have a physical position shifted, or differently, the curvature of the interface may change.
  • the first camera unit 410 acquires a first image (step 407).
  • the first image may be a first phase difference image obtained through the first image sensor 415 constituting the first camera unit 410.
  • the control unit 440 compares the reference image with the first image to calculate a first phase difference for the first image (step 408).
  • the first phase difference will have a value close to 0 when the determined focus position of the first focus lens 411 is correct.
  • the controller 440 compares the first phase difference with a preset threshold (step 409).
  • the threshold value may be determined according to the characteristics of the first focus lens 411. In other words, the threshold value may be determined according to the Modulation Transfer Function (MTF) of the first focus lens 411.
  • MTF Modulation Transfer Function
  • the MTF can be expressed as a curve, which is a spatial frequency characteristic indicating how faithfully the contrast of the subject can be reproduced on the image plane (the screen where light is reflected) as one of the measures for evaluating lens performance.
  • the horizontal axis represents the lens field (distance from the center of the screen to the edge), and the vertical axis represents the contrast value (the highest value is 1).
  • the slope of the MTF curve is large, even if the focal position is slightly distorted from the best position, the focus of the captured image may not be large.
  • the slope of the MTF curve is small, even if the focal position is slightly displaced within a predetermined range based on the best position, the captured image may be in focus.
  • the threshold can be set with an MTF curve indicating the performance of the first focus lens 411. That is, when the slope of the MTF curve is large due to poor performance of the first focus lens 411, the threshold may be set to a first value close to zero. In addition, when the slope of the MTF curve is small according to the performance of the first focus lens 411, the threshold may be set to a second value greater than the first value.
  • the controller 440 maintains the current focus position of the first focus lens 411 (step 409). That is, that the first phase difference is smaller than the threshold value means that the first image is focused, and accordingly, the controller 440 maintains the current focus position.
  • the controller 440 recognizes that the accuracy of the focus position of the first focus lens 411 is low, and accordingly, the first focus lens 411 Determine the focus position again.
  • control unit 440 acquires a focus movement position of the second focus lens 421 corresponding to the second phase difference of the second image photographed through the second camera unit 410. That is, the control unit 440 obtains a focus movement position of the second focus lens 421 corresponding to the calculated second phase difference from the pre-stored second focus position information.
  • control unit 440 re-determines the focus movement position of the first focus lens 411 corresponding to the focus movement position of the second focus lens 421 from the third focus position information stored in the storage unit 430. (Step 410).
  • control unit 440 re-moves the focus position of the first focus lens 411 to the refocused position of the first focus lens 411 (step 411).
  • control unit 440 may update the first focus position information stored in the storage unit 430 based on the refocused position of the refocused first focus lens 411.
  • the control unit 440 updates the first focus position information stored in the storage unit 430 based on the focus position of the re-determined first focus lens 411. Accordingly, when the first image is re-photographed at the corresponding point later, since the updated information is used, the accuracy of focus of the first image can be increased.
  • a camera module including first and second cameras
  • focus position information of a first camera and focus position information of the second camera are mutually matched.
  • the accuracy of the current focus position of the first camera is determined based on a phase difference of an image acquired through the first camera during autofocus of the first camera.
  • the exact focus position of the first camera is tracked using the focus position information of the second camera according to the matching.
  • the focus movement position is tracked by using the focus position information of the second camera as well as zoom tracking of the first camera. , Can improve the accuracy.
  • an operation for increasing the focus position accuracy of the first camera is performed by the second camera only when the zoom magnification of the first camera is changed. Accordingly, in an embodiment according to the present invention, power consumption according to the operation of the second camera can be minimized.
  • the focus position information of the first camera at the specific point when the focus position information of the first camera at the specific point is incorrect, the focus position information of the first camera for the specific point using the focus position information of the second camera Update it. Accordingly, in the embodiment according to the present invention, it is possible to improve the accuracy of the focus position without being affected by the change in the characteristics of the actuator that changes depending on the number of times of use or the time of use of the camera module.
  • 21 is a view showing the configuration of a mobile terminal including a camera module according to an embodiment of the present invention.
  • the camera module as described above may be mounted in an optical device.
  • the camera module may be mounted in a mobile terminal.
  • the focus position of the first camera unit 410 may be determined using the focus position information of the second camera unit 420.
  • the first camera unit 410 determines a focus position using the first focus position information
  • the second camera unit 410 determines a focus position using the second focus position information. do.
  • the main control unit in the mobile terminal may determine the accuracy of the focus position of the first camera unit, and accordingly output a focus position change signal of the first camera unit 410 based on the third focus position information.
  • an operation of determining the focus movement position of the first camera unit 410 using the focus movement position of the second focus lens 421 of the second camera unit 420 is performed. It can be performed in a terminal other than the camera module.
  • the mobile terminal 500 includes a wireless communication unit 510, an audio / video (A / V) input unit 520, a user input unit 530, a sensing unit 540, an output unit 550, a memory 560, and an interface. It may include a unit 570, the control unit 580 and the power supply unit 590.
  • the components shown in FIG. 21 are not essential, so a mobile terminal with more or fewer components may be implemented.
  • the wireless communication unit 510 may include one or more modules that enable wireless communication between the mobile terminal 500 and the wireless communication system or between the mobile terminal 500 and the network in which the mobile terminal 500 is located.
  • the wireless communication unit 510 may include a broadcast reception module 511, a mobile communication module 512, a wireless Internet module 513, a short-range communication module 514, and a location information module 515. .
  • the A / V (Audio / Video) input unit 520 is for inputting an audio signal or a video signal, and may include the camera module 100 previously described. Further, the A / V (Audio / Video) input unit 520 may include a microphone 122 or the like.
  • the camera module 100 processes a video frame such as a still image or video obtained by an image sensor in a video call mode or a shooting mode of a terminal. The processed image frame may be displayed on the display unit 551.
  • the image frames processed by the camera module 100 may be stored in the memory 560 or transmitted to the outside through the wireless communication unit 510.
  • the user input unit 530 generates input data for the user to control the operation of the terminal.
  • the user input unit 530 may be configured with a key pad dome switch, a touch pad (static pressure / blackout), a jog wheel, a jog switch, or the like.
  • the sensing unit 540 detects the current state of the mobile terminal 500 such as the open / closed state of the mobile terminal 500, the location of the mobile terminal 500, the presence or absence of user contact, the orientation of the mobile terminal, and acceleration / deceleration of the mobile terminal. By generating a sensing signal for controlling the operation of the mobile terminal 500. For example, when the mobile terminal 500 is in the form of a slide phone, it can sense whether the slide phone is opened or closed. In addition, it is also possible to sense whether power is supplied to the power supply unit 590 or whether external devices are coupled to the interface unit 570. Meanwhile, the sensing unit 540 may include a proximity sensor 541.
  • the output unit 550 is for generating output related to vision, hearing, or tactile sense, and includes a display unit 551, an audio output module 552, an alarm unit 553, and a haptic module 554. You can.
  • the display unit 551 displays (outputs) information processed by the mobile terminal 500.
  • the display unit 551 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible) display) and a 3D display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • the memory 560 may store a program for the operation of the control unit 580, and may temporarily store input / output data (eg, a phone book, message, still image, video, etc.).
  • input / output data eg, a phone book, message, still image, video, etc.
  • the third focus position information described above may be stored in the memory 560.
  • the memory 560 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the mobile terminal 500 may operate in connection with a web storage that performs a storage function of the memory 560 on the Internet.
  • the interface unit 570 serves as a passage with all external devices connected to the mobile terminal 500.
  • the interface unit 570 receives data from an external device, receives power, and transmits data to each component inside the mobile terminal 500, or allows data inside the mobile terminal 500 to be transmitted to the external device.
  • wired / wireless headset port, external charger port, wired / wireless data port, memory card port, port for connecting devices equipped with an identification module, audio input / output (I / O) port, A video input / output (I / O) port, an earphone port, and the like may be included in the interface unit 570.
  • the controller 580 typically controls the overall operation of the mobile terminal. For example, it performs related control and processing for voice calls, data communication, video calls, and the like.
  • the control unit 580 may include a multimedia module 581 for playing multimedia.
  • the multimedia module 581 may be implemented in the control unit 580, or may be implemented separately from the control unit 580.
  • the camera module in the first embodiment of the present invention stores all of the first to third focus position information, and accordingly the focus movement position of the second focus lens 421 of the second camera unit 420 Using it, the focal position of the first focus lens 411 was determined.
  • control unit 440 provided in the camera module controls the operation of the first camera unit 410 and controls the operation of the second camera unit 420 accordingly, thereby controlling the first focus lens 411.
  • Information to be used for determining the focal position of the was acquired.
  • the controller 440 of the camera module in the first embodiment simultaneously controlled the first and second camera units, and thus the information acquisition speed could be relatively slow.
  • the control unit 440 first focus lens 411 corresponding to the focal position of the second focus lens 421 corresponding to the second phase difference ) was determined. Accordingly, a problem may occur in which the first image having the first phase difference is provided to the user for a predetermined time.
  • the control unit 580 of the terminal determines the focus movement position of the first focus lens 411 corresponding to the focus movement position of the second focus lens 421, , It is to be provided to the controller 440 of the camera module according to whether the determined focus movement position is required.
  • the second phase difference obtained through the second camera unit 420 as described above is calculated by the control unit 580 which is the main control unit of the terminal, and accordingly the control unit 580 In, the focus movement position of the first focus lens 411 according to the focus movement position of the second focus lens 421 of the second camera unit 420 is obtained in advance.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power required for the operation of each component.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. These may be implemented by the controller 180.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as procedures or functions may be implemented with separate software modules that perform at least one function or operation.
  • the software code can be implemented by software applications written in the appropriate programming language.
  • the software code is stored in the memory 560 and can be executed by the control unit 580.
  • a camera module including first and second cameras
  • focus position information of a first camera and focus position information of the second camera are mutually matched.
  • the accuracy of the current focus position of the first camera is determined based on a phase difference of an image acquired through the first camera during autofocus of the first camera.
  • the exact focus position of the first camera is tracked using the focus position information of the second camera according to the matching.
  • the focus movement position is tracked by using the focus position information of the second camera as well as zoom tracking of the first camera. , Can improve the accuracy.
  • an operation for increasing the focus position accuracy of the first camera is performed by the second camera only when the zoom magnification of the first camera is changed. Accordingly, in an embodiment according to the present invention, power consumption according to the operation of the second camera can be minimized.
  • the focus position information of the first camera at the specific point when the focus position information of the first camera at the specific point is incorrect, the focus position information of the first camera for the specific point using the focus position information of the second camera Update it. Accordingly, in the embodiment according to the present invention, it is possible to improve the accuracy of the focus position without being affected by the change in the characteristics of the actuator that changes depending on the number of times of use or the time of use of the camera module.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 장치에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.

Description

카메라 장치
실시 예는, 카메라 장치에 관한 것으로, 특히 제2 카메라의 초점 위치 정보를 이용하여 제 1 카메라의 자동 초점 기능을 수행할 수 있도록 한 카메라 장치에 관한 것이다.
스마트폰, 태블릿 PC, 노트북 등의 휴대용 디바이스에는 카메라 모듈이 내장되며, 이러한 카메라 모듈은 이미지 센서와 렌즈 사이의 간격을 자동 조절하여 렌즈의 초점거리를 정렬하는 자동 초점(AF: Auto Focus) 기능이 구비되어 있다.
최근 카메라 모듈은 줌 렌즈(zoom lens)를 통해 원거리의 피사체의 배율을 증가 또는 감소시켜 촬영하는 줌 업(zoom up) 또는 줌 아웃(zoom out)의 주밍(zooming) 기능이 구비된다. 이러한, 카메라 모듈은 줌 렌즈, 포커스 렌즈를 포함하고 있으며, 이에 따라 줌 렌즈의 이동을 위한 줌 액추에이터, 포커스 렌즈의 이동을 위한 포커스 액추에이터, 상기 줌 액추에이터와 포커스 액추에이터를 제어하는 드라이버와, 상기 줌 렌즈 및 상기 포커스 렌즈의 위치 정보를 저장하는 저장부를 포함하고 있다.
상기와 같은 주밍 기능을 구비한 카메라 모듈은 줌 배율의 변경에 따라 자동으로 초점을 맞춰줘야 한다. 그러나 상기 줌 렌즈의 줌 배율이 증가할수록 줌 액추에이터 및 포커스 액추에이터의 스트로크가 길어지고, 이에 따른 자동 초점 진행 속도가 느려지는 문제점이 있다.
따라서, 최근에는 상기와 같이 저장부에 캘리브레이션 데이터를 저장하고, 이를 이용하여 카메라 모듈의 줌 렌즈 및 포커스 렌즈를 이동시켜 빠른 자동 초점 진행 속도를 제공하고 있다.
이때 상기와 같은 기능을 제공하기 위해서는, 모든 줌 배열에 따른 포커스 범위에 대응하는 캘리브레이션 데이터를 상기 저장부에 저장해야 한다. 그러나 상기와 같이 포커스 범위는 객체와의 거리(예를 들어, Macro 및 Infinity 등)에 따라 구분된다. 이에 따라, 종래에는 상기와 같은 모든 거리에 따른 줌 렌즈의 위치 값 및 포커스 렌즈의 위치 값에 대한 데이터를 모두 저장부에 저장해야만 하며, 이에 따른 메모리 사이즈가 커져 제조 단가가 증가하는 문제점이 있다.
또한, 카메라 모듈의 제조 공정상, 모든 배율에 따른 데이터를 측정하여 저장하기에는 한계가 있으며, 이에 따른 데이터 정확도가 저하되는 문제점이 있다.
또한, 상기 줌 렌즈 및 포커스 렌즈를 이동시키는 액추에이터는 스프링 또는 볼(ball) 기반으로 이루어지고 있다. 그리고, 상기 스프링 또는 볼 기반의 액추에이터는 사용 횟수에 따라 힘(또는 탄성)과 같은 특성이 달라지며, 이에 따른 렌즈 이동 정확도가 저하되는 문제점이 있다.
본 실시 예에서는 복수의 카메라를 포함하는 카메라 모듈에서, 상기 복수의 카메라 각각의 초점 위치 정보를 공유할 수 있도록 한 카메라 모듈 및 이의 동작 방법을 제공하도록 한다.
또한, 본 실시 예에서는 초점 정확 신뢰도가 높은 제 2 카메라의 초점 위치 정보를 이용하여 제 1 카메라의 정확한 초점 위치를 찾을 수 있도록 한 카메라 모듈 및 이의 동작 방법을 제공하도록 한다.
제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예에 따른 카메라 장치의 동작 방법은 기준 영상과 제 1 카메라를 통해 획득된 제1 영상을 비교하여 제1 위상차를 검출하는 단계; 상기 기준 영상과 제 2 카메라를 통해 획득된 제 2 영상을 비교하여 제 2 위상차를 검출하는 단계; 및 상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함하고, 상기 제 1 위상차가 기설정된 임계값 이상이면, 상기 제 2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 이용하여 상기 제 1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함한다.
또한, 상기 제 1 및 2 포커스 렌즈의 초점 이동 위치는, 상기 제 1 및 2 포커스 렌즈의 이동 거리 또는 굴곡 변화이다.
또한, 상기 제 1 및 2 포커스 렌즈 중 적어도 하나는, 액체 렌즈를 포함한다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치는, 상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정된다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계는, 기저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하는 단계와, 상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정하는 단계를 포함하고, 상기 보상 테이블은, 상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함한다.
또한, 상기 기준 영상은, 기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상이다.
또한, 상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하는 단계를 더 포함하고, 상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는, 피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정된다.
또한, 상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지하는 단계를 더 포함한다.
또한, 상기 제 1 및 2 영상 중 적어도 하나는, 복수의 프레임을 포함하는 동영상이다.
또한, 카메라 장치는 제 1 포커스 렌즈를 포함하고, 제1 영상을 획득하는 제1 카메라; 제 포커스 렌즈를 포함하고, 제2 영상을 획득하는 제2 카메라; 및 기준 영상과 제1 영상 간의 제1 위상차 및 상기 기준 영상과 제2 영상 간의 제2 위상차를 검출하는 제어부를 포함하고, 상기 제어부는 상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 결정하고, 상기 제 1 위상차가 기설정된 임계값 이상이면, 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 이용하여 상기 제1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정한다.
또한, 카메라 장치는 줌렌즈와 제1 포커스 렌즈를 포함하는 제1 카메라; 제 2 포커스 렌즈를 포함하는 제2 카메라; 및 상기 제2 포커스 렌즈의 초점 이동위치를 결정하는 제어부를 포함하고, 상기 제1 카메라는 상기 제1 포커스렌즈를 통해 기준영상과 다른 제1 위상차를 갖는 제1 영상을 획득하고, 상기 제2 카메라는 상기 제2 포커스렌즈를 통해 상기 기준영상과 다른 제2 위상차를 갖는 제2 영상을 획득하고, 상기 제어부는 상기 제1 위상차 및 상기 제2 위상차를 계산하고, 상기 제1 위상차와 기설정된 임계값을 비교하고, 상기 제2 위상차를 이용하여 상기 제2 포커스렌즈의 초점 이동위치를 결정한다.
또한, 상기 제 2 포커스 렌즈의 초점 이동 위치는, 상기 제 2 포커스 렌즈의 이동 거리 또는 굴곡 변화이다.
또한, 상기 제 1 및 2 포커스 렌즈 중 적어도 하나는, 액체 렌즈를 포함한다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치는, 상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정된다.
또한, 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치에 대한 보상 테이블을 저장하는 저장부를 더 포함하고, 상기 보상 테이블은, 상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함하며, 상기 제어부는, 상기 저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하고, 상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정한다.
상기 기준 영상은, 상기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상이다.
또한, 상기 제어부는, 상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하고, 상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는, 피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정된다.
또한, 상기 제어부는, 상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지시킨다.
또한, 상기 제 1 및 2 영상 중 적어도 하나는, 복수의 프레임을 포함하는 동영상이다.
또한, 상기 제어부는, 상기 제 1위상차가 상기 임계 값 이상이면, 상기 제2 포커스렌즈의 초점 이동위치를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 이동 위치를 세트로부터 제공받고, 상기 제공받은 초점 이동 위치로 상기 제 1 포커스 렌즈를 이동시킨다.
본 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
도 1은 본 실시 예에 따른 카메라 모듈의 사시도이다.
도 2는 도 1에 도시된 실시 예에 따른 제 1 카메라 모듈에서 커버가 제거된 사시도이다.
도 3a는 도 2에 도시된 실시 예에 따른 제 1 카메라 모듈에서 마운트(20)의 사시도이다.
3b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 마운트(20)가 제거된 사시도이다.
도 4a는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제1 렌즈 어셈블리의 사시도이다.
도 4b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제2 렌즈 어셈블리의 사시도이다.
도 5는 본 실시 예에 따른 액체 렌즈를 나타낸 도면이다.
도 6은 본 실시 예에 따른 카메라 모듈의 구성을 나타낸 블록도이다.
도 7은 본 일 실시 예에 따른 위상 검출 센서를 구성하는 이미지 센서의 위상차 검출 픽셀을 간략히 도시한 도면이다.
도 8은 도 7의 위상차 검출 픽셀이 배열되는 일 실시예를 나타낸 도면이다.
도 9는 도 8의 위상차 검출 픽셀의 제1 광량 분포와 제2 광량 분포를 기초로 상기 제 3 제어 신호가 생성되는 동작을 설명하기 위한 도면이다.
도 10은 본 실시 예에 따른 카메라 모듈의 동작 방법의 전체적인 흐름을 나타낸 흐름도이다.
도 11은 본 실시 예에 따른 위치 정보 매칭 방법을 단계별로 나타낸 흐름도이다.
도 12는 본 실시 예에 따라 모델링된 제 1 카메라부의 위치 정보를 나타낸 도면이다.
도 13은 본 실시 예에 따라 모델링된 제 2 카메라부의 위치 정보를 나타낸 도면이다.
도 14는 본 실시 예에 따라 제 1 및 2 카메라부의 위치 정보를 매칭시키는 과정을 설명하기 위한 도면이다.
도 15는 본 실시 예에 따라 제 2 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이다.
도 16은 본 실시 예에 따라 획득된 제 2 초점 위치 정보의 일 예를 나타낸 도면이다.
도 17은 본 실시 예에 따른 제 3 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이다.
도 18은 본 실시 예에 따라 획득된 제 3 초점 위치 정보의 일 예를 나타낸 도면이다.
도 19는 본 실시 예에 따른 제 1 초점 위치 정보의 일 예를 나타낸 도면이다.
도 20은 본 실시 예에 따른 카메라 모듈의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 21은 본 실시 예에 따른 카메라 모듈을 포함하는 이동 단말기의 구성을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한개이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합중 하나 이상을 포함 할 수 있다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우 뿐만 아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속＇되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되는 경우 뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한 "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
본 발명의 실시 예에 따른 카메라 장치는 복수의 카메라를 포함하는 듀얼 카메라 모듈일 수 있다.
상기와 같은 카메라 장치는 광학기기에 설치될 수 있다. 이때, 카메라 장치는 카메라 모듈이라고도 할 수 있으며, 이하에서는 카메라 장치와 카메라 모듈을 혼용하여 사용하기로 한다.
여기에서, 상기 광학 기기는, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나일 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기로 호칭될 수 있다.
광학기기는 본체(미도시)와, 듀얼 카메라 모듈 및 디스플레이부(미도시)를 포함할 수 있다. 다만, 광학기기에서 본체, 듀얼 카메라 모듈 및 디스플레이부 중 어느 하나 이상이 생략 또는 변경될 수 있다. 본체는 광학기기의 외관을 형성할 수 있다. 일례로, 본체는 직육면체 형상을 포함할 수 있다. 다른 예로, 본체는 적어도 일부에서 라운드지게 형성될 수 있다. 본체는 카메라 모듈을 수용할 수 있다. 본체의 일면에는 디스플레이부가 배치될 수 있다. 일례로, 본체의 일면에 디스플레이부 및 카메라 모듈이 배치되고 본체의 타면(일면의 맞은편에 위치하는 면)에 카메라 모듈이 추가로 배치될 수 있다.
카메라 모듈은 광학기기의 본체에 배치될 수 있다. 카메라 모듈은 본체의 일면에 배치될 수 있다. 카메라 모듈은 적어도 일부가 본체 내부에 수용될 수 있다. 카메라 모듈은 2개의 카메라부를 포함할 수 있다. 또한, 상기 광학기기에는 상기 2개의 카메라부 이외의 추가 카메라부가 본체의 본체의 일면 및 타면 중 어느 하나의 면에 더 배치될 수 있다. 카메라 모듈은 피사체의 영상을 촬영할 수 있다.
디스플레이부는 상기 광학기기의 본체에 배치될 수 있다. 디스플레이부는 본체의 일면에 배치될 수 있다. 즉, 디스플레이부는 카메라 모듈과 동일한 면에 배치될 수 있다. 또는, 디스플레이부는 본체의 타면에 배치될 수 있다. 디스플레이부는 본체에서 카메라 모듈이 배치된 면의 맞은편에 위치하는 면에 배치될 수 있다. 디스플레이부는 카메라 모듈에서 촬영된 영상을 출력할 수 있다.
이하에서는 본 발명의 실시 예에 따른 카메라 모듈의 구성을 도면을 참조하여 설명한다.
도 1은 본 발명의 실시 예에 따른 카메라 모듈의 사시도이다.
도 1을 참조하면, 카메라 모듈은 회로 기판(107)과, 상기 회로 기판(107)의 제 1 영역 위에 배치된 제 1 카메라 모듈(100a)과, 상기 회로 기판(107)의 상기 제 1 영역과 일정 간격 이격된 제 2 영역 위에 배치된 제 2 카메라 모듈(100b)과, 광학기기(미도시)의 본체와 연결되는 커넥터(100c)를 포함할 수 있다.
회로 기판(107)은 복수의 영역으로 구분될 수 있다.
바람직하게, 회로 기판(107)은 제 1 카메라 모듈(100a)이 배치되는 제 1 영역과, 제 2 카메라 모듈(100b)이 배치되는 제 2 영역과, 커넥터(100c)가 배치되는 제 3 영역으로 구분될 수 있다. 회로 기판(107)은 강성을 가질 수 있다. 회로 기판(107)은 성 인쇄회로기판(RPCB, Rigid Printed Circuit Board)일 수 있다. 이와 다르게, 상기 회로 기판(107)은 연성을 가질 수 있다. 상기 회로 기판(107)은 연성 인쇄회로기판(FPCB, Flexibel Printed Circuit Board)일 수 있다.
또한, 상기 회로 기판(107)은 상기 영역별로 서로 다른 특성을 가질 수 있다. 바람직하게, 상기 회로 기판(107)의 제 1 및 2 영역은 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)의 지지를 위해 강성을 가질 수 있다. 또한, 상기 회로 기판(107)의 제 3 영역은, 상기 광학기기와의 연결을 용이하게 하기 위해 연성을 가질 수 있다.
상기 제 1 카메라 모듈(100a)은 줌 카메라 모듈일 수 있다. 상기 제 1 카메라 모듈(100a)은 줌 기능이 구비되며, 외부로부터 입력되는 입력신호에 따라 원거리의 피사체의 배율을 증가 또는 감소시켜 촬영하는 줌 업(zoom up) 또는 줌 아웃(zoom out)하는 카메라 모듈일 수 있다. 이를 위해, 제 1 카메라 모듈(100a)은 줌 렌즈(추후 설명)를 포함할 수 있다.
상기 제 2 카메라 모듈(100b)은 고정된 줌 배율에 따라 피사체를 촬영하는 일반 카메라일 수 있다.
즉, 일반적으로 광학기기에는 상기 제 2 카메라 모듈(100b)만이 구비될 수 있으며, 이와 다르게 상기 제 2 카메라 모듈(100b)과 함께 상기 줌 기능이 구비된 상기 제 1 카메라 모듈(100a)가 모두 구비될 수 있다. 상기와 같은 카메라 모듈을 듀얼 카메라 모듈이라 할 수 있다.
상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 각각은, 렌즈 어셈블리 및 상기 렌즈 어셈블리를 수용하는 렌즈 배럴을 포함할 수 있다.
이때, 상기 제 1 카메라 모듈(100a)에 구비된 렌즈 어셈블리는 초점을 맞추기 위한 포커스 렌즈와, 줌 기능을 위한 줌 렌즈를 포함할 수 있다. 또한, 상기 제 2 카메라 모듈(100b)에 구비된 렌즈 어셈블리는, 상기 제1 카메라 모듈(100a)에서 상기 줌 렌즈가 생략될 수 있다. 여기에서, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)의 일 구성이 렌즈 배럴로 한정되는 것은 아니며, 한 개 이상의 렌즈를 지지할 수 있는 홀더 구조라면 어느 것이든 가능하다.
상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 각각은 이미지 센서를 포함할 수 있다. 이때, 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서는 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서와 동일한 픽셀 구조를 가질 수 있다. 또한, 이와 다르게 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서는 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서와 상이한 픽셀 구조를 가질 수 있다. 바람직하게, 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서의 신뢰도는 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서의 신뢰도보다 높을 수 있다. 즉, 상기 이미지 센서는 검출 센서를 포함할 수 있다. 상기 검출 센서는 PDAF(Phase Difference Auto Focusing) 기능을 제공하기 위해, 상기 이미지 센서의 일부 픽셀을 구성할 수 있다. 또한, 상기 검출 센서는 배치 방식이나 배치 수에 따라 신뢰도에 차이가 있을 수 있다.
즉, 상기 제 1 카메라 모듈(100a)은 줌 렌즈를 포함하고 있다. 그리고, 상기 줌 기능이 동작하면, 렌즈 배럴 내에서 상기 제 2 카메라 모듈(100b) 대비 상기 자동 초점을 위한 포커스 렌즈의 서치 구간이 좁다. 또한, 상기 제 1 카메라 모듈(100a)은 렌즈 이동 구간 내에 줌 렌즈의 이동 구간이 있기 때문에, 상기 포커스 렌즈의 이동 구간이 상기 제 2 카메라 모듈(100b) 대비 상대적으로 작다. 이에 따라, 상기 제 2 카메라 모듈(100b)에는 신뢰도가 높은 이미지 센서를 배치하고, 상기 제 1 카메라 모듈(100a)에는 상기 제 2 카메라 모듈(100b) 대비 신뢰도가 낮은 이미지 센서를 배치할 수 있다. 그리고, 본 발명에 따른 실시 예에서는 상기 신뢰도가 높은 이미지 센서가 배치된 상기 제 2 카메라 모듈(100b)의 초점 위치 정보를 활용하여, 상기 제 1 카메라 모듈(100a)의 초점 위치의 정확도를 향상시키도록 한다. 이에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
상기 커넥터(100c)는 외부로부터 전원을 공급받아 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에 각각 구동 전원을 공급할 수 있다.
또한, 커넥터(100c)는 상기 광학기기의 메인 제어부(미도시)로부터 제공되는 제어신호를 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에 각각 제공할 수 있다. 또한, 상기 커넥터(100c)는 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에서 획득한 영상을 상기 광학기기에 전달할 수 있다.
도 2는 도 1에 도시된 실시 예에 따른 제 1 카메라 모듈에서 커버가 제거된 사시도이다. 한편, 실시 예에서의 제 1 카메라 모듈(100a)과 제 2 카메라 모듈(100b)은 일부 렌즈 어셈블리가 생략된 것을 제외하면 실질적으로 동일한 구조를 가질 수 있다. 바람직하게, 이하에서 설명하는 줌 렌즈 어셈블리에 대응하는 제 1 렌즈 어셈블리(110)는 제 1 카메라 모듈(100a)에만 구비될 수 있으며, 제 2 카메라 모듈(100b)에는 생략될 수 있다. 다만, 이는 일 실시 예에 불과할 뿐, 상기 제 2 카메라 모듈(100b)에도 상기 제 1 렌즈 어셈블리(110)가 구비될 수 있으며, 이에 따라 제 1 및 2 카메라 모듈이 서로 동일한 구조를 가질 수 있다.
이하에서는 설명의 편의를 위해 제 1 카메라 모듈의 구조에 대해서만 설명하기로 한다.
도 2를 참조하면, 실시 예에 따른 제 1 카메라 모듈(100a)은 소정의 마운트(20) 상에 각종 광학계들이 결합될 수 있다. 예를 들어, 상기 마운트(20) 위에는, 프리즘(140)과 렌즈군들이 배치되고, 마운트(20)의 훅(hook)(20H)을 통해 커버가 결합될 수 있다.
상기 커버는 상기 마운트(20)와 결합될 수 있다. 상기 커버는 상기 마운트(20)에 수용되는 부품을 덮을 수 있으며, 이에 따라 제 1 카메라 모듈의 구성부품들을 보호할 수 있다. 상기 마운트(20)는 베이스로 칭해질 수 있다. 상기 커버는 상기 마운트(20)와 끼워 맞춤을 통해 결합될 수 있다. 또한, 상기 커버는 접착제에 의해 상기 마운트(20)와 결합될 수 있다. 예를 들어, 상기 마운트(20)의 측면에는 훅(20H)이 돌출될 수 있고, 상기 커버는 상기 훅(H)에 대응되는 위치에 홀이 형성되며, 상기 마운트(20)의 훅이 커버의 홀에 장착되어 커버와 마운트(20)가 결합될 수 있다. 더불어, 접착제를 사용하여 커버가 마운트(20)에 안정적으로 결합될 수도 있다.
또한, 상기 마운트(20) 하측에는 상기 설명한 바와 같은 회로기판(107)이 배치될 수 있다. 그리고, 상기 회로기판(107)은 상기 마운트(20) 내부에 배치된 렌즈 구동부들과 전기적으로 연결될 수 있다.
실시 예에 따른 제 1 카메라 모듈(100)은 마운트(20)에 광학계와 렌즈 구동부가 배치될 수 있다. 예를 들어, 실시 예에 따른 제 1 카메라 모듈(100)은 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130), 프리즘(140), 제1 구동부(310), 제2 구동부(320), 로드(50), 이미지 센서부(210) 중 적어도 하나 이상을 포함할 수 있다.
상기 제1 렌즈 어셈블리(110), 상기 제2 렌즈 어셈블리(120), 상기 제3 렌즈군(130), 상기 프리즘(140), 상기 이미지 센서부(210) 등은 광학계로 분류될 수 있다.
또한, 상기 제1 구동부(310), 제2 구동부(320), 로드(50) 등은 렌즈 구동부로 분류될 수 있으며, 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)도 렌즈 구동부 기능을 겸비할 수 있다. 상기 제1 구동부(310)와 제2 구동부(320)는 코일 구동부일 수 있으나 이에 한정되는 것은 아니다.
상기 로드(50)는 이동되는 렌즈 어셈블리의 가이드 기능을 수행할 수 있으며, 단수 또는 복수로 구비될 수 있다. 예를 들어, 로드(50)는 제1 로드(51), 제2 로드(52)를 포함할 수 있으나 이에 한정되는 것은 아니다.
도 2에 도시된 축 방향에서, Z축은 광축(optic axis) 방향 또는 이와 평행방향을 의미한다. Y축은 지면(YZ 평면)에서 Z축과 수직인 방향을 의미한다. X축은 지면과 수직방향을 의미한다.
실시 예에서 프리즘(140)은 입사광을 평행광으로 변경시킨다. 예를 들어, 상기 프리즘(140)은 입사광의 광 경로를 렌즈군의 중심축에 평행한 광축(Z)으로 변경시켜 입사광을 평행광으로 변경시킨다. 이후 평행 광은 제3 렌즈군(130), 제1 렌즈 어셈블리(110) 및 제2 렌즈 어셈블리(120)을 통과하여 이미지 센서부(210)에 입사되어 영상이 촬상될 수 있다.
이하, 실시 예의 설명에서 제 1 카메라 모듈(100a)에 이동 렌즈군(moving lens group)이 2개인 경우로 설명하나 이에 한정되는 것은 아니며, 이동 렌즈군은 3개, 4개 또는 5개 이상일 수 있다. 또한, 제 2 카메라 모듈(100b)에는 이동 렌즈군이 1개일 수 있다. 또한, 광축 방향(Z)은 렌즈군들이 정렬된 방향과 동일하거나 이와 평행한 방향을 의미한다.
실시 예에 따른 제 1 카메라 모듈(100a)은 주밍 기능을 수행할 수 있다. 예를 들어, 실시 예에서 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)는 제1 구동부(310), 제2 구동부(320), 및 로드(50)를 통해 이동하는 이동 렌즈(moving lens)일 수 있으며, 제3 렌즈군(130)은 고정 렌즈일 수 있다.
예를 들어, 실시 예에서 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120)는 이동 렌즈군을 포함할 수 있으며, 제3 렌즈군(130)은 고정 렌즈군일 수 있다.
상기 제3 렌즈군(130)은 평행광을 특정 위치에 결상하는 집광자(focator) 기능을 수행할 수 있다.
또한, 제1 렌즈 어셈블리(110)는 집광자인 제3 렌즈군(130)에서 결상된 상을 다른 곳에 재결상 시키는 변배자(variator) 기능을 수행할 수 있다. 한편, 제1 렌즈 어셈블리(110)에서는 피사체와의 거리 또는 상거리가 많이 바뀌어서 배율변화가 큰 상태일 수 있으며, 변배자인 제1 렌즈 어셈블리(110)는 광학계의 초점거리 또는 배율변화에 중요한 역할을 할 수 있다.
한편, 변배자인 제1 렌즈 어셈블리(110)에서 결상되는 상점은 위치에 따라 약간 차이가 있을 수 있다. 이에, 제2 렌즈 어셈블리(120)는 변배자에 의해 결상된 상에 대한 위치 보상 기능을 할 수 있다. 예를 들어, 제2 렌즈 어셈블리(120)는 변배자인 제1 렌즈 어셈블리(110)에서 결상된 상점을 실제 이미지 센서부(210) 위치에 정확히 결상시키는 역할을 수행하는 보상자(compensator) 기능을 수행할 수 있다.
예를 들어, 상기 제 1 렌즈 어셈블리(110)는 주밍 기능을 수행하는 줌 렌즈 어셈블리일 수 있으며, 상기 제 2 렌즈 어셈블리(120)는 초점 기능을 수행하는 포커스 렌즈 어셈블리일 수 있다.
우선, 도 3a는 도 2에 도시된 실시 예에 따른 제 1 카메라 모듈에서 마운트(20)의 사시도이다. 상기 마운트(20)는 직육면체 형상일 수 있고, 4개의 측면과 바닥면(20e)을 포함할 수 있다. 예를 들어, 마운트(20)는 제1 내지 제4 측면(20a, 20b, 20c, 20d)을 포함할 수 있으며, 제1 측면(20a)과 제2 측면(20b), 제3 측면(20c)과 제4 측면(20d)은 각각 서로 마주볼 수 있다.
상기 마운트(20)의 적어도 일 측면에 훅(20H)이 형성되어 커버(10)의 홀에 결합될 수 있다.
*또한, 상기 마운트(20)의 바닥면(20e)에는 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130)이 위치하는 제1 가이드 홈(112G)이 광축(Z) 방향으로 형성될 수 있다. 상기 제1 가이드 홈(112G)은 렌즈의 외주 형상에 따라 아래로 오목한 형상일 수 있으나 이에 한정되는 것은 아니다.
또한, 상기 마운트(20)의 제1 측면(20a), 제2 측면(20b)에는 제1 구동부(310)와 제2 구동부(320)가 각각 배치되는 제1 개구부(23a), 제2 개구부(23b)가 형성될 수 있다. 또한, 상기 마운트(20)의 제3 측면(20c)에는 이미지 센서부(210)가 배치되는 제3 개구부(22)가 형성될 수 있다.
또한, 마운트(20)의 바닥면에는 회로 기판(107)이 노출되는 제4 개구부(27)가 단수 또는 복수로 형성될 수 있다.
또한, 마운트(20)의 제3 측면(20c)과 이를 마주보는 제4 측면(20d)에는 로드(50)가 결합되는 결합 홀(25)이 단수 또는 복수로 형성될 수 있다. 예를 들어, 상기 마운트(20)의 제3 측면(20c)과 제4 측면(20d)에 제1 결합 홀(25a), 제2 결합 홀(25b), 제3 결합 홀(25c), 제4 결합 홀(25d)이 형성될 수 있고, 여기에 제1 로드(51), 제2 로드(52), 제3 로드(53), 제4 로드(54)가 각각 결합될 수 있다.
또한, 상기 마운트(20)의 제4 측면(20d)의 내측에는 프리즘(140)을 배치하기 위한 프리즘 장착부(24)가 형성될 수 있다.
상기 마운트(20)의 재질은 플라스틱, 유리계열의 에폭시, 폴리카보네이트, 금속 또는 복합재료 중 어느 하나 이상으로 형성될 수 있다.
다음으로, 도 3b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 마운트(20)가 제거된 사시도이며, 광학계와 렌즈 구동부를 나타내고 있다.
실시 예에서 렌즈 구동장치는 무버(mover)와 고정부를 포함할 수 있다. 상기 무버는 고정부에 대응되는 개념으로 이동부로 칭해질 수 있다. 예를 들어, 상기 무버는 바퀴의 구름 운동에 의해 이동되는 렌즈 어셈블리를 의미할 수 있다. 반면, 고정부는 이동되지 않는 마운트, 로드 등을 의미할 수 있다.
실시 예에 따른 카메라 모듈은 마운트(20) 상에 프리즘(140), 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130), 이미지 센서부(210) 등의 광학계를 포함할 수 있다. 또한, 실시 예의 카메라 모듈은 제1 구동부(310), 제2 구동부(320), 로드(50) 등의 렌즈 구동부를 포함할 수 있다. 상기 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120)도 렌즈 구동기능을 수행할 수 있다.
상기 로드(50)는 제1 로드 내지 제4 로드(51, 52, 53, 54)를 포함할 수 있으며, 상기 제1 로드 내지 제4 로드(51, 52, 53, 54)는 각각 제1 결합 홀 내지 제4 결합 홀(25a, 25b, 25c, 25d)(도 3a 참조)에 결합되어 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)의 이동 가이드 기능을 할 수 있다. 상기 로드(50)는 플라스틱, 유리계열의 에폭시, 폴리카보네이트, 금속 또는 복합재료 중 어느 하나 이상으로 형성될 수 있다.
상기 제1 구동부(310)는 코일 구동부일 수 있으며, 철심 등의 제1 코어(312)에 제1 코일(314)이 감긴 형태일 수 있다. 또한, 상기 제2 구동부(320)도 철심 등의 제2 코어(322)에 제2 코일(324)이 감긴 코일 구동부 일 수 있다.
우선, 상기 프리즘(140)은 입사광의 광 경로를 렌즈군의 중심축(Z)에 평행한 광축으로 변경시켜 입사광을 평행광으로 변경시킨다. 이후 평행 광은 제3 렌즈군(130), 제1 렌즈 어셈블리(110) 및 제2 렌즈 어셈블리(120)를 통과하여 이미지 센서부(210)에 촬상될 수 있다.
상기 프리즘(140)은 삼각기둥 형상을 갖는 광학 부재일 수 있다. 또한, 실시 예는 프리즘(140) 대신 반사판 또는 반사경을 채용할 수 있다.
또한, 실시 예는 이미지 센서부(210)가 광축에 수직한 방향에 배치되지 않는 경우, 렌즈 군을 통과한 광이 이미지 센서부(210)로 촬상되기 위해 추가 프리즘(미도시)을 더 구비할 수도 있다.
실시 예에서 이미지 센서부(210)는 평행광의 광축 방향에 수직하게 배치될 수 있다. 상기 이미지 센서부(210)는 제2 회로기판(212) 상에 배치된 고체 촬상소자(214)를 포함할 수 있다. 예를 들어, 이미지 센서부(210)는 CCD(Charge Coupled Device) 이미지센서나 CMOS(Complementary Metal-Oxide-Semiconductor) 이미지 센서를 포함할 수 있다. 한편, 상기 이미지 센서부(210)는 위상차 영상을 검출하는 검출 센서(추후 설명)를 포함할 수 있다.
도 4a와 도 4b를 참조하여, 실시 예에서 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)에 대해 좀 더 상술하기로 한다.
도 4a는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제1 렌즈 어셈블리(110)의 사시도이며, 도 4b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제2 렌즈 어셈블리(120)의 사시도이다.
도 4a를 참조하면, 실시 예의 제1 렌즈 어셈블리(110)는 제1 하우징(112), 제1 렌즈군(114), 제1 바퀴(117), 제3 구동부(116), 제1 위치 센서(118) 중 어느 하나 이상을 포함할 수 있다.
또한, 도 4b를 참조하면, 실시예의 제2 렌즈 어셈블리(120)는 제2 하우징(122), 제2 렌즈군(124), 제2 바퀴(127), 제4 구동부(126), 제2 위치 센서(128) 중 어느 하나 이상을 포함할 수 있다.
이하 제1 렌즈 어셈블리(110)를 중심으로 설명하기로 한다.
상기 제1 렌즈 어셈블리(110)의 제1 하우징(112)은 제1 렌즈 하우징(112a)과 제1 구동부 하우징(112b)을 포함할 수 있다. 상기 제1 렌즈 하우징(112a)은 경통 기능을 하며, 제1 렌즈군(114)이 장착될 수 있다. 상기 제1 렌즈군(114)은 이동 렌즈군(moving lens group)일 수 있으며, 단일 또는 복수의 렌즈를 포함할 수 있다. 상기 제2 렌즈 어셈블리(120)의 제2 하우징(122)도 제2 렌즈 하우징(122a)과 제2 구동부 하우징(122b)을 포함할 수 있다.
이때, 상기 제1 렌즈 어셈블리(110)의 제1 렌즈 하우징(112a)의 일단 하측에 제1 가이드 홈(112G)이 형성될 수 있다. 상기 제1 렌즈 어셈블리(110)는 상기 제1 가이드 홈(112G)에 의해 안내되어 제2 로드(52)와 슬라이딩 접촉하면서 광축 방향으로 직선으로 이동할 수 있다. 또한, 상기 제2 렌즈 어셈블리(120)의 제2 렌즈 하우징(122a)의 일단 하측도 제2 가이드 홈(122G)이 형성될 수 있다.
실시 예에서는 제2 로드(52)와 제1 가이드 홈(112G) 간의 슬라이딩접촉에 의해 제1 하우징(112)이 광축 방향으로 이동하도록 구비되므로 효율적인 오토 포커싱 및 줌 기능을 수행하는 제 1 카메라 모듈을 구현할 수 있다.
또한, 실시 예에서는 제1 로드(51)와 제2 가이드 홈(122G) 간의 슬라이딩접촉에 의해 제2 하우징(122)이 광축 방향으로 이동하도록 구비되므로 효율적인 오토포커싱 및 줌 기능을 수행하는 카메라 모듈을 구현할 수 있다.
다음으로, 상기 제1 렌즈 어셈블리(110)의 제1 구동부 하우징(112b)에는 제3 구동부(116), 제1 바퀴(117), 제1 위치 센서(118)가 배치될 수 있다. 상기 제1 바퀴(117)는 복수의 바퀴를 포함할 수 있으며, 제1-1 바퀴(117a), 제1-2 바퀴(117b)를 포함할 수 있다.
또한, 상기 제2 렌즈 어셈블리(120)의 제2 구동부 하우징(122b)에는도 제4 구동부(126), 제2 바퀴(127), 제2 위치 센서(128)가 배치될 수 있다. 상기 제2 바퀴(127)는 복수의 바퀴를 포함할 수 있으며, 제2-1 바퀴(127a), 제2-2 바퀴(127b)를 포함할 수 있다.
상기 제1 렌즈 어셈블리(110)의 제3 구동부(116)는 마그넷 구동부일 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 상기 제3 구동부(116)는 영구자석인 제1 마그넷(magnet)을 포함할 수 있다. 또한, 상기 제2 렌즈 어셈블리(120)의 제4 구동부(126)도 마그넷 구동부일 수 있으나 이에 한정되는 것은 아니다.
한편, 상기 제 2 렌즈 어셈블리(120)는 액체 렌즈일 수 있다. 이에 따라, 상기 제 2 렌즈 어셈블리(120)를 이동시키는 구동부는, 상기 액체 렌즈에 구동 전압을 공급하여 상기 액체 렌즈의 계면의 곡률을 조정하는 구동 전압 구동부(미도시)일 수 있다. 상기 액체 렌즈는 상기 구동 전압 구동부로부터 공급되는 구동 전압에 따라 전도성 액체와 비전도성 액체 사이의 계면이 변형되어 자동 초점 기능을 구현할 수 있다.
도 5는 본 발명의 실시 예에 따른 액체 렌즈를 나타낸 도면이다.
도 5를 참조하면, 액체 렌즈(300)에는 캐비티(310)가 포함될 수 있다. 캐비티(310)는 외부로부터 입사된 광이 투과하는 부위이고, 적어도 일부에 액체를 포함할 수 있다. 예를 들면, 캐비티(310)에는 두 가지 종류 즉, 전도성 액체와 비전도성 액체(또는 절연 액체)가 함께 포함될 수 있고, 전도성 액체와 비전도성 액체는 서로 섞이지 않고 경계면을 이룰 수 있다. 그리고, 상기 구동 전압 구동부를 통해 인가되는 구동 전압에 의해 전도성 액체와 비전도성 액체의 경계면이 변형되어 액체 렌즈(300)의 곡률 및/또는 초점거리가 변경될 수 있다. 이러한 경계면의 변형, 곡률변경이 제어되면, 액체 렌즈(300)와 이를 포함하는 제 1 카메라 모듈(100a)은 자동 초점 기능을 구현할 수 있다.
구체적으로, 도 5의 (a)는 제 2 렌즈 어셈블리(120)를 구성하는 액체 렌즈를 나타낸 것이고, 도 5의 (b)는 액체 렌즈의 등가회로도를 나타낸 도면이다.
먼저 도 5의 (a)를 참조하면, 구동 전압에 대응하여 계면이 조정되는 액체 렌즈(300)는 동일한 각 거리를 가지고 4개의 서로 다른 방향에 배치되어 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3, L4), 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압을 인가 받을 수 있다. 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3,L4) 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압이 인가되면 캐비티(310)에 배치된 전도성 액체와 비전도성 액체의 경계면이 변형될 수 있다. 전도성 액체와 비전도성 액체의 경계면의 변형의 정도 및 형태는 자동 초점 기능을 구현하기 위해, 별도의 제어부(추후 설명)에 의해 제어될 수 있다.
또한, 도 5의 (b)를 참조하면, 액체렌즈(300)의 일측은 서로 다른 전극 섹터(L1, L2, L3, L4)로부터 전압을 인가 받고, 다른 일측은 제2 전극의 전극 섹터(C0)와 연결되어 전압을 인가받는 복수의 캐패시터(30)로 설명할 수 있다.
이하에서는, 상기와 같이 구성된 카메라 모듈(100)의 구성 및 동작에 대해 구체적으로 설명하기로 한다. 상기 카메라 모듈(100)은 상기 설명한 바와 같이 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)을 포함한다. 그리고, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 내에는 상기 제 2 렌즈 어셈블리(120)에 대응하는 포커스 기능을 하는 렌즈 어셈블리를 포함할 수 있다. 이에 따라, 이하에서는 상기 제 1 카메라 모듈(100a)에 구비된 포커스 기능의 렌즈 어셈블리를 '제 1 포커스 렌즈'라고 하고, 제 2 카메라 모듈(100b)에 구비된 포커스 기능의 렌즈 어셈블리를 '제 2 포커스 렌즈'라고 한다. 또한, 상기 제 1 카메라 모듈(100a)에는 상기 제 1 렌즈 어셈블리(110)에 대응하는 줌 기능을 하는 렌즈 어셈블리를 더 포함한다. 이에 따라, 이하에서는 상기 제 1 카메라 모듈(100a)에 구비된 줌 기능의 렌즈 어셈블리를 '줌 렌즈'라고 한다. 또한, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 내에는 각각 이미지 센서부(210)를 포함한다. 이하에서는, 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서부를 '제 1 이미지 센서'라고 하고, 제 2 카메라 모듈(100b)에 구비된 이미지 센서부를 '제 2 이미지 센서'라고 한다.
도 6은 본 발명의 실시 예에 따른 카메라 모듈의 구성을 나타낸 블록도이다.
도 6을 참조하면, 카메라 모듈(400)은 제 1 카메라부(410), 제 2 카메라부(420), 저장부(430) 및 제어부(440)를 포함한다. 상기 제어부(440)는 상기 카메라 모듈(400)이 장착되는 광학 기기내에 배치되는 메인 제어부(미도시)와는 별개로 상기 카메라 모듈(400) 내에 구비된 카메라 모듈 제어부일 수 있다.
상기 제 1 카메라부(410)는 제 1 영상을 획득한다. 바람직하게, 제 1 카메라부(410)는 제 1 포커스 렌즈(411) 및 줌 렌즈(412)의 위치에 따라 결상되는 제 1 영상을 획득한다. 이때, 상기 제 1 영상은 상기 줌 렌즈(412)의 위치에 따라 결정된 줌 배율을 가진다. 또한, 상기 제 1 영상은 상기 제 1 포커스 렌즈(411)의 위치에 따라 초점이 맞은 영상일 수 있고, 이와 다르게 초점이 맞지 않은 영상일 수 있다.
이를 위해, 제 1 카메라부(410)는 제 1 포커스 렌즈(411), 줌 렌즈(412), 제 1 포커스 렌즈 구동부(413), 줌 렌즈 구동부(414) 및 제 1 이미지 센서(415)를 포함한다.
제 1 포커스 렌즈 구동부(413)는 제어부(440)로부터 제공되는 제 1 제어신호에 따라 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 제어한다. 이때, 상기 제 1 포커스 렌즈(411)가 도 2에 도시된 구조를 가지는 경우, 상기 제 1 제어신호는 상기 제 1 포커스 렌즈(411)를 특정 위치로 이동시키기 위한 위치 제어 신호일 수 있다. 또한, 이와 다르게 상기 제 1 포커스 렌즈(411)가 제 5에 도시된 액체렌즈 구조를 가지는 경우, 상기 제 1 제어신호는 상기 제 1 포커스 렌즈(411)의 계면의 곡률을 변경하기 위한 구동 전압 제어 신호일 수 있다. 여기에서, 상기 초점 이동 위치는, 상기 제 1 포커스 렌즈(411)의 이동량 또는 이동 거리일 수 있다. 또한, 상기 초점 이동 위치는 상기 제 1 포커스 렌즈(411)의 굴곡 변화일 수 있다.
제 1 포커스 렌즈(411)는 상기 제 1 포커즈 렌즈 구동부(413)의 제어에 따라 초점 위치를 이동시켜, 상기 제 1 영상에 포함된 피사체의 초점이 맞도록 한다.
또한, 줌 렌즈(412)는 줌 렌즈 구동부(414)의 제어에 의해 구동된다. 줌 렌즈 구동부(414)는 상기 제어부(440)로부터 제공되는 제 2 제어신호에 따라 상기 줌 렌즈(412)의 줌 위치를 제어한다. 바람직하게, 상기 제 2 제어 신호는 외부로부터 입력되는 줌 배율에 따른 줌 위치 제어 신호일 수 있다. 그리고, 상기 줌 렌즈 구동부(414)는 상기 줌 위치 제어 신호에 따라 상기 줌 렌즈(412)를 상기 입력된 줌 배율에 대응하는 줌 위치로 이동시킨다.
이때, 상기 제 1 및 2 제어신호는 상기 제 1 포커스 렌즈(411)나 상기 줌 렌즈(412)의 초점 위치 또는 줌 위치를 변경시키기 위한 전류 신호일 수 있다. 바람직하게, 상기 전류 신호는 전류의 방향, 전류의 세기 및 전류의 진폭에 대한 신호일 수 있다. 또한, 이와 다르게 상기 제 1 및 2 제어 신호는 상기 전류의 방향, 전류의 세기 및 상기 전류의 진폭에 대응되게 각각 매칭된 코드 신호일 수 있다.
상기 제 2 카메라부(420)는 제 1 영상을 획득한다. 바람직하게, 제 2 카메라부(420)는 제 2 포커스 렌즈(421)의 위치에 따라 상기 제 2 이미지 센서(423)를 통해 결상되는 제 2 영상을 획득한다. 이때, 상기 제 2 영상은 고정된 줌 배율을 가질 수 있다. 또한, 상기 제 2 영상은 상기 제 2 포커스 렌즈(421)의 위치에 따라 초점이 맞은 영상일 수 있고, 이와 다르게 초점이 맞지 않은 영상일 수 있다.
이를 위해, 제 2 카메라부(420)는 제 2 포커스 렌즈(421), 제 2 포커스 렌즈 구동부(422), 및 제 2 이미지 센서(423)를 포함한다.
제 2 포커스 렌즈 구동부(422)는 제어부(440)로부터 제공되는 제 3 제어신호에 따라 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 제어한다. 이때, 상기 제 2 포커스 렌즈(421)가 도 2에 도시된 구조를 가지는 경우, 상기 제 3 제어신호는 상기 제 2 포커스 렌즈(421)를 특정 위치로 이동시키기 위한 위치 제어 신호일 수 있다. 또한, 이와 다르게 상기 제 2 포커스 렌즈(421)가 제 5에 도시된 액체렌즈 구조를 가지는 경우, 상기 제 2 제어신호는 상기 제 2 포커스 렌즈(421)의 계면의 곡률을 변경하기 위한 구동 전압 제어 신호일 수 있다. 이때, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치는 상기 제 2 포커스 렌즈(421)의 이동 거리 또는 이동량일 수 있다. 또한, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치는 상기 제 2 포커스 렌즈(421)의 굴곡 변화일 수 있다.
제 2 포커스 렌즈(421)는 상기 제 2 포커즈 렌즈 구동부(422)의 제어에 따라 초점 위치를 이동시켜, 상기 제 2 영상에 포함된 피사체의 초점이 맞도록 한다.
또한, 상기 제 3 제어신호는 상기 제 2 포커스 렌즈(421)의 초점 위치를 변경시키기 위한 전류 신호일 수 있다. 바람직하게, 상기 전류 신호는 전류의 방향, 전류의 세기 및 전류의 진폭에 대한 신호일 수 있다. 또한, 이와 다르게 상기 제 3 제어 신호는 상기 전류의 방향, 전류의 세기 및 상기 전류의 진폭에 대응되게 각각 매칭된 코드 신호일 수 있다.
한편, 상기 제 1 이미지 센서(415) 및 제 2 이미지 센서(423) 각각은, 다수의 광 검출기들이 각각의 화소로서 집적된 형태이며, 피사체의 이미지 정보를 전기적 데이터로 변환시켜 출력한다. 제 1 및 2 이미지 센서(415, 423)는 입력되는 광량을 축적하고, 그 축적된 광량에 따라 렌즈에서 촬영된 이미지를 수직 동기신호에 맞추어 출력한다. 이때, 이미지 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜주는 상기 제 1 및 2 이미지 센서(415, 423)에 의해 이루어진다. 한편, 제 1 및 2 이미지 센서(415, 423)를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터가 필요하며, 예를 들어, CFA(Color Filter Array) 필터가 채용될 수 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며, 규칙적으로 배열된 구조를 가지며, 배열 구조에 따라 여러 가지 형태를 가진다.
저장부(430)에는 상기 카메라 모듈의 동작에 필요한 정보나, 상기 카메라 모듈의 동작 중에 발생한 정보를 저장한다.
상기 저장부(430)는 하드웨어적으로, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
상기 저장부(430)에는 상기 줌 렌즈(412) 및 상기 제 1 포커스 렌즈(411)를 이동시키기 위한 제 1 초점 위치 정보를 저장할 수 있다.
상기 제 1 초점 위치 정보는, 상기 제 1 카메라부(410)에서 촬영할 피사체와의 거리 및 상기 줌 렌즈(412)의 위치에 따른 줌 배율을 기준으로, 상기 제 1 포커스 렌즈(411)의 초점 위치를 이동시키기 위한 초점 이동 위치에 대한 정보일 수 있다.
또한, 상기 저장부(430)에는 상기 제 2 포커스 렌즈(421)를 이동시키기 위한 제 2 초점 위치 정보를 저장할 수 있다.
상기 제 2 초점 위치 정보는, 상기 제 2 카메라부(420)의 위상 차이 영상으로부터 획득되는 위상 차이를 기준으로, 상기 제 2 포커스 렌즈(421)의 초점 위치를 이동 시키기 위한 초점 이동 위치에 대한 정보일 수 있다.
즉, 자동 초점 기능은 콘트라스트 자동 초점, 위상차 자동 초점 및 하이브리드 자동 초점 방식 등으로 구현될 수 있다.
콘트라스트 AF(CDAF)에서는, 포커스 렌즈의 위치를 이동하면서, 각 포커스 렌즈 위치에서, 촬영 화상의 콘트라스트를 나타내는 콘트라스트 평가치를 구한다. 여기에서 포커스 렌즈 위치의 이동은, 콘트라스트 평가치가 상승하도록 행하여진다. 그리고, 콘트라스트 평가치는, 베스트 초점 위치에서 최대가 되기 때문에, 콘트라스트 AF에서는, 포커스 렌즈 위치를 베스트 초점 위치에 근접하도록 이동시키켜 상기 콘트라스트 평가치가 최대가 되는 위치를 최종 초점 위치로 결정한다.
위상차 AF(PDAF)에서는, 포커스 렌즈 위치가 베스트 초점 위치에 있을 때에, 위상차가 0이 된다고 하면, 위상차가 0이 되도록 포커스 렌즈의 위치를 이동시킨다.
또한, 하이브리드 AF에서는, 위상차 AF에 의해, 포커스 렌즈 위치가 베스트 초점 위치 부근으로 이동되고, 이후 콘트라스트 AF에 의해 포커스 렌즈 위치를 베스트 초점 위치로 정밀하게 이동시킬 수 있다.
이에 따라, 상기 제 2 카메라부(420)에서는 상기 위상차 AF 방식을 통해 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정한다. 이를 위해, 저장부(430)는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하기 위한 상기 제 2 초점 위치 정보를 저장한다.
또한, 저장부(430)는 상기 제 2 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하기 위한 제 3 초점 위치 정보를 더 저장할 수 있다. 상기 제 3 초점 위치 정보는, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 초점 위치 특성을 매칭시키고, 상기 매칭된 초점 위치 특성을 토대로 획득한 상기 제 2 포커스 렌즈(421)의 초점 위치에 대응되는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 의미한다. 상기 제 3 초점 위치 정보에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
제어부(440)는 상기 제 1 카메라부(410) 및 상기 제 2 카메라부(420)를 각각 제어한다. 바람직하게, 상기 제어부(440)는 상기 제 1 카메라부(410)의 동작 시에, 촬영될 피사체와의 거리 및 설정된 줌 배율에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 결정한다. 즉, 상기 제어부(440)는 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 토대로 상기 피사체와의 거리 및 상기 줌 배율에 대응하는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 추출한다. 또한, 상기 제어부(440)는 상기 획득한 제 1 포커스 렌즈(411)의 초점 위치 정보에 대응하는 초점 위치로 상기 제 1 포커스 렌즈(411)가 이동되도록 상기 제 1 포커스 렌즈 구동부(413)에 상기 제 1 제어신호를 출력한다.
이때, 상기 제 1 초점 위치 정보는 모든 배율 및 모든 피사체 거리에 대응되는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함할 수 있다. 또한, 이와 다르게 상기 제 1 초점 위치 정보는 특정 포인트에 대한 배율이나 특정 포인트에 대한 피사체 거리에 대응하는 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함할 수 있다. 이때, 상기 제어부(440)는 상기 촬영될 피사체와의 거리 및 현재 설정된 줌 배율에 대응하는 제 1 포커스 렌즈(411)의 초점 위치가 상기 제 1 초점 위치 정보에 포함된 경우, 이를 추출하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 제어할 수 있다. 또한, 상기 제어부(440)는 상기 촬영될 피사체와의 거리 및 현재 설정된 줌 배율에 대응하는 제 1 포커스 렌즈(411)의 초점 위치가 상기 제 1 초점 위치 정보에 미포함된 경우, 상기 제 1 초점 위치 정보를 토대로 현재 촬영 조건에 적용될 상기 제 1 포커스 렌즈(411)의 초점 위치를 계산할 수 있다.
즉, 상기 제 1 초점 위치 정보는 특정 샘플링 포인트에 대해 획득된 줌 위치 및 초점 위치에 대한 정보일 수 있으며, 상기 제어부(440)는 상기 샘플링 포인트를 제외한 나머지 포인트의 초점 위치는 보간법을 적용하여 계산할 수 있다. 이때, 상기 제어부(440)는 선형 보간법 (Linear Interpolation), 다항식 보간법 (Polynomial interpolation), 스플라인 보간법 (Spline Interpolation), 지수 보간법 (Exponential Interpolation), 로그_선형보간법 (Log_linear Interpolation), 라그랑지 보간법 (Lagrange Interpolation), 뉴튼 보간법 (Newton Interpolation) 및 2차원 보간법 (Bilinear Interpolation) 중 적어도 하나의 보간법을 적용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 계산할 수 있다.
또한, 상기 제어부(440)는 상기 제 1 초점 위치 정보를 토대로 적용된 상기 제 1 포커스 렌즈(411)의 초점 위치의 정확도를 판단한다. 이를 위해, 제어부(440)는 상기 제 1 이미지 센서(415)를 통해 제 1 위상차 영상이 획득되도록 한다. 그리고, 제어부(440)는 상기 제 1 위상차 영상이 획득되면, 상기 제 1 위상차 영상을 토대로 상기 제 1 포커스 렌즈(411)의 현재 위치에 대응하는 제 1 위상 차이를 계산한다. 이때, 상기 제 1 포커스 렌즈(411)의 현재 위치가 베스트 초점 위치인 경우에의 상기 제 1 위상 차이는 0에 가까운 값을 가질 것이며, 초점이 맞지 않는 위치인 경우에의 상기 제 1 위상 차이는 0보다 크거나 작은 값을 가질 수 있다.
그리고, 상기 제어부(440)는 상기 제 1 위상 차이의 절대 값이 기설정된 임계 값보다 크면, 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 재결정한다. 즉, 상기 제 1 위상 차이의 절대 값이 상기 임계 값보다 크다는 것은, 상기 제 1 초점 위치 정보가 부정확하다는 것을 의미하며, 이에 따라 상기 제어부(440)는 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 베스트 위치로 재이동시킨다. 여기에서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 특성에 따라 결정될 수 있다. 다시 말해서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 MTF(Modulation Transfer Function)에 따라 결정될 수 있다.
상기 MTF는 곡선으로 표현될 수 있으며, 이는 렌즈 성능을 평가하는 척도의 하나로 피사체가 가지는 콘트라스트를 상면(빛이 비쳐지는 화면)에서 어느 정도 충실히 재현할 수 있는가를 공간 주파수 특성으로서 나타낸 것이다. 상기 MTF 곡선은 가로축이 렌즈 필드(화면 중심에서 가장 자리까지의 거리)를 나타내며, 세로축이 콘트라스트 값(최고값은 1)을 나타낼 수 있다. 그리고, 상기 MTF 곡선의 기울기가 크면, 초점 위치가 베스트 위치에서 조금만 틀어져도, 촬영 영상의 초점이 크게 맞지 않을 수 있다. 또한, 상기 MTF 곡선의 기울기가 작으면, 초점 위치가 베스트 위치를 기준으로 일정 범위 내에서 조금 틀어진다 하더라도, 상기 촬영 영상의 초점이 맞을 수 있다. 따라서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 성능을 나타내는 MTF 곡선을 가지고 설정할 수 있다. 즉, 상기 제 1 포커스 렌즈(411)의 성능이 좋지 않음에 따라 상기 MTF 곡선의 기울기가 큰 경우, 상기 임계 값은 0과 가까운 제 1 값으로 설정될 수 있다. 또한, 상기 제 1 포커스 렌즈(411)의 성능이 좋음에 따라 상기 MTF 곡선의 기울기가 작은 경우, 상기 임계 값은 상기 제 1 값보다 큰 제 2 값으로 설정될 수 있다.
한편, 상기 제 1 위상차가 상기 임계 값보다 크다는 것은 상기 제 1 초점 위치 정보의 정확도가 낮다는 것을 의미한다. 이는, 다양한 촬영 조건의 변경(피사체 위치 변경, 피사체 거리 변경, 줌 배율 변경 등)에 대해 제 1 카메라부(410)가 즉각적으로 반응하지 못함에 따라 발생할 수 있다. 또한, 이는 상기 제 1 포커스 렌즈(411)를 구동하는 제 1 포커스 렌즈 구동부(413)의 특성이 변경(예를 들어, 사용 횟수에 따른 힘이나 탄성력 변경)되어 초점 정확도가 저하되었기 때문이다.
한편, 상기 제어부(440)는 상기 제 2 이미지 센서(423)를 통해 제 2 위상차 영상이 획득되도록 한다. 그리고, 제어부(440)는 상기 제 2 위상차 영상이 획득되면, 상기 제 2 위상차 영상을 토대로 상기 제 2 포커스 렌즈(421)의 현재 위치에 대응하는 제 2 위상 차이를 계산한다. 이때, 상기 제 2 포커스 렌즈(421)의 현재 위치가 베스트 초점 위치인 경우에의 상기 제 2 위상 차이는 0에 가까운 값을 가질 것이며, 초점이 맞지 않는 위치인 경우에의 상기 제 2 위상 차이는 0보다 크거나 작은 값을 가질 수 있다.
이때, 상기 제 2 위상차 영상은 상기 제 2 이미지 센서(423)를 구성하는 픽셀 중 특정 픽셀에 배치된 위상 검출 센서를 통해 획득될 수 있다.
그리고, 상기 제어부(440)는 상기 제 2 위상 차이가 검출되면, 상기 저장부(430)에 저장된 제 2 초점 위치 정보를 토대로 상기 제 2 위상 차이에 대응하는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 2 포커스 렌즈(421)가 이동되도록 한다.
이때, 상기와 같이 제 1 및 2 이미지 센서(415, 423)는 각각 상기 제 1 및 2 위상차 영상을 획득한다. 이때, 상기 제 1 및 2 위상차 영상을 획득하는 방법에 대해 먼저 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 위상 검출 센서를 구성하는 이미지 센서의 위상차 검출 픽셀을 간략히 도시한 도면이고, 도 8은 도 7의 위상차 검출 픽셀이 배열되는 일 실시예를 나타낸 도면이며, 도 9는 도 8의 위상차 검출 픽셀의 제1 광량 분포와 제2 광량 분포를 기초로 상기 제 3 제어 신호가 생성되는 동작을 설명하기 위한 도면이다.
도 7 내지 도 9를 참조하면, 제 1 이미지 센서(415) 또는 제 2 이미지 센서(423)에 구비되는 위상차 검출 픽셀(500)은 마이크로 렌즈(510), 컬러 필터(520), 포토 다이오드(530) 및 차광층(540) 중 적어도 하나를 포함할 수 있다. 즉, 상기 제 1 이미지 센서(415) 또는 제 2 이미지 센서(423)는 상기와 같이 위상차 영상을 획득하기 위한 위상차 검출 픽셀(500)과, 상기 위상차 검출 픽셀 이외의 위상차의 검출에는 사용되지 않는 통상 픽셀(즉, 촬영 영상을 획득하기 위한 픽셀)을 포함한다.
마이크로 렌즈(510)는 위상차 검출 픽셀(500)의 상부에 배치되며, 집광력(light gathering power)을 높일 수 있다.
컬러 필터(530)는 마이크로 렌즈(520)의 하부에 배치되며, 특정 파장의 광(예컨대, 레드(Red), 그린(Green), 블루(Blue), 마젠타(Magenta), 옐로우(Yellow), 사이언(Cyan))을 선택적으로 투과시킬 수 있다.
포토 다이오드(530)는 마이크로 렌즈(510)를 통과한 입사광의 세기에 따라 생성된 광전하를 축적할 수 있다. 포토 다이오드(530)에 축적된 광전하는 구동 회로 및 리드아웃 회로에 의해 전기 신호로 변환되어 위상차 검출 픽셀(500)의 픽셀 신호로서 제어부(440)에 전달될 수 있다.
차광층(540)은 마이크로 렌즈(510)에 대응하는 수광 영역의 적어도 일부로 입사되는 광을 차단할 수 있다. 예를 들어, 차광층(540)은 수광 영역의 절반에 해당하는 영역으로 입사되는 광을 차단할 수 있다.
도 7에 도시된 바와 같이, 차광층(540)은 위상차 검출 픽셀(500)의 우측에 배치되어 수광 영역의 좌측으로 입사되는 광(L1)은 통과시키고 수광 영역의 우측으로 입사되는 광(L2)은 차단할 수 있다.
도 8을 참조하면, 픽셀 어레이의 일부가 도시되어 있으며, 수광 영역의 우측에 차광층(540)이 배치된 픽셀을 제 1 픽셀이라 정의하고 수광 영역의 좌측에 차광층(540)이 배치된 픽셀을 제2 픽셀이라 정의하기로 한다. 제1 픽셀과 제2 픽셀은 픽셀 어레이의 서로 다른 행(row)에 배치될 수 있다. 도 8에서와 같이 제1 픽셀과 제2 픽셀 사이에 하나의 행이 배치될 수 있으나, 본 발명의 범위는 이에 한정되지 않고 제1 픽셀과 제2 픽셀이 연속적으로 배치되거나 제1 픽셀과 제2 픽셀 사이에 복수의 행이 배치될 수도 있다.
제1 픽셀에는 동일한 행에 배치된 1번 픽셀 내지 9번 픽셀이 포함될 수 있고, 제2 픽셀에도 동일한 행에 배치된 1번 픽셀 내지 9번 픽셀이 포함될 수 있다.
제1 픽셀의 k(k는 1이상 9이하의 정수)번 픽셀은 제2 픽셀의 k번 픽셀과 동일한 열(column)에 배치될 수 있다. 제1 픽셀의 1번 픽셀 내지 9번 픽셀 및 제2 픽셀의 1번 픽셀 내지 9번 픽셀은 연속적으로 배치될 수 있다. 다른 실시예에 따라, 일정한 또는 일정하지 않은 간격을 두고 배치될 수 있다. 이때, 이미지 데이터를 생성하기 위한 픽셀들 사이에 제1 픽셀 및 제2 픽셀이 배치될 수 있다.
결론적으로, 위상 차이 자동 초점은, 촬영 영상의 초점 상태에 따라 광의 결상의 위치가 달라지는 것을 토대로 수행된다. 즉, 초점이 맞지 않는 경우는 위상이 어긋나고, 초점이 맞는 경우는 위상이 맞는다. 예를 들어, 베스트 초점 위치를 기준으로 현재 초점 위치가 앞쪽에 있을 경우, 상기 제1 픽셀을 통해 획득되는 영상은 초점이 맞는(위상이 0인) 기준 영상의 위상보다 오른쪽으로 시프트되고, 제 2 픽셀을 통해 획득되는 영상은 기준 영상의 위상보다 왼쪽으로 시프트된다. 여기에서, 제1 픽셀 및 제2 픽셀 각각이 9개씩의 픽셀을 포함하는 것은 하나의 예시에 불과하며, 그 이하 또는 그 이상의 픽셀을 포함하는 것도 가능하다.
도 9를 참조하면, 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)를 통과한 광은 위상차 검출 픽셀(500)이 배치된 픽셀 어레이를 기준으로 임의의 위치에 초점이 맞춰질 수 있다. 도 9에는 초점이 포커스1 내지 포커스3에 맞춰지는 경우가 예시되어 있고, 포커스2에 픽셀 어레이가 위치하여 초점이 포커스2에 맞춰지는 경우 초점이 맞춰진 정상 초점 거리라 가정하기로 한다.
포커스1은 픽셀 어레이의 앞에 초점이 맞춰진 경우(즉, 초점거리가 긴 경우)를 의미하고, 포커스3은 픽셀 어레이의 뒤에 초점이 맞춰진 경우(즉, 초점거리가 짧은 경우)를 의미할 수 있다.
상기 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)를 통과한 광은 픽셀 어레이에 배치된 제1 픽셀과 제2 픽셀로 입사될 수 있다. 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)의 광축에 대해 좌측을 통과한 광은 차광층(540)이 우측에 구비된 제1 픽셀로 유도되고, 우측을 통과한 광은 차광층(540)이 좌측에 구비된 제2 픽셀로 유도될 수 있다.
도 9의 우측에는 초점이 맞춰지는 포커스에 따라 제1 픽셀 및 제2 픽셀에 나타나는 광량 분포가 도시되어 있다. 제1 픽셀에 나타나는 광량 분포를 제1 광량 분포라 정의하고, 제2 픽셀에 나타나는 광량 분포를 제2 광량 분포라 정의하기로 한다. 제1 광량 분포 또는 제2 광량 분포는 제1 픽셀 또는 제2 픽셀에 포함되는 9개의 픽셀이 출력하는 픽셀 신호의 집합을 의미하거나, 제어부(440)가 상기 픽셀 신호를 보간(interpolation)하여 얻어진 연속적인 데이터를 의미할 수 있다.
그리고, 제1 광량 분포 및 제2 광량 분포가 포함된 그래프의 X축은 픽셀의 위치 즉, 픽셀의 번호를 나타내고, Y축은 해당 픽셀에서 감지된 광량의 크기를 나타낸다.
먼저 포커스2에 초점이 맞춰질 경우, 제1 광량 분포(730)와 제2 광량 분포(740)는 동일한 형상을 가지고 상기 형상의 중심(예를 들어, 변곡점의 픽셀 위치)은 각각 5번 픽셀로 동일한 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스2에 초점이 맞춰질 경우, 제1 광량 분포(730)와 제2 광량 분포(740)는 서로 위상이 맞을 수 있다. 또한, 동일한 형상이라 함은 완전히 물리적으로 일치하는 형상뿐 아니라, 일정 범위 이상의 유사성을 갖는 형상을 포함하는 개념일 수 있다.
포커스1에 초점이 맞춰질 경우, 제1 광량 분포(710)와 제2 광량 분포(720)는 동일한 형상을 가지나 상기 형상의 중심은 각각 3번 픽셀과 7번 픽셀로 서로 다른 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스1에 초점이 맞춰질 경우, 제1 광량 분포(710)와 제2 광량 분포(720)는 서로 위상이 어긋나 있다. 이때, 포커스1은 초점거리가 피사체보다 긴 경우를 의미하며, 제1 광량 분포(710)의 위상이 중심 픽셀(즉, 5번 픽셀)을 기준으로 좌측으로 치우치고, 제2 광량 분포(720)의 위상이 중심 픽셀을 기준으로 우측으로 치우치게 된다. 또한, 제1 광량 분포(710)와 제2 광량 분포(720)의 중심이 서로 어긋나 있는 정도인 위상차(4개 픽셀)는 정상 초점 거리로부터 얼마나 초점거리가 어긋나 있는지 즉, 얼마나 초점거리가 조정되어야 하는지를 나타낼 수 있다.
포커스3에 초점이 맞춰질 경우, 제1 광량 분포(750)와 제2 광량 분포(760)는 동일한 형상을 가지나 상기 형상의 중심은 각각 7번 픽셀과 3번 픽셀로 서로 다른 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스3에 초점이 맞춰질 경우, 제1 광량 분포(750)와 제2 광량 분포(760)는 서로 위상이 어긋나 있다. 이때, 포커스3은 초점거리가 피사체보다 짧은 경우를 의미하며, 제1 광량 분포(750)의 위상이 중심 픽셀(즉, 5번 픽셀)을 기준으로 우측으로 치우치고, 제2 광량 분포(760)의 위상이 중심 픽셀을 기준으로 좌측으로 치우치게 된다. 또한, 제1 광량 분포(750)와 제2 광량 분포(760)의 중심이 서로 어긋나 있는 정도인 위상차(4개 픽셀)는 정상 초점 거리로부터 얼마나 초점거리가 어긋나 있는지 즉, 얼마나 초점거리가 조정되어야 하는지를 나타낼 수 있다.
따라서, 제어부(440)는 제1 광량 분포와 제2 광량 분포를 기초로 제1 광량 분포와 제2 광량 분포간의 위상차를 검출하고, 검출된 위상차를 기초로 자동 초점을 위한 제어신호를 생성할 수 있다. 즉, 상기 제어부(440)는 상기 제 2 위상 차이를 토대로 상기 제 2 포커스 렌즈(421)의 초점 위치 이동을 위한 제 2 제어신호를 생성할 수 있다.
실시 예에 따라, 제어부(440)는 제1 광량 분포의 중심에 해당하는 픽셀 번호로부터 제2 광량 분포의 중심에 해당하는 픽셀 번호를 감산하고, 감산 결과를 이용하여 상기 제 2 제어신호를 생성할 수 있다. 여기서, 감산 결과의 부호는 초점 거리를 가변하는 방향을 결정할 수 있고, 감산 결과의 절대값은 초점 거리를 가변하는 정도를 결정할 수 있다. 여기에서, 상기 픽셀 번호의 감산 결과는 위상차이 있을 수 있다.
예를 들어, 포커스 1에 초점이 맞춰진 경우 감산 결과는 -4가 된다. 그리고, 제어부(440)는 상기 감산 결과의 부호가 (-)이므로 4만큼 초점거리를 감소시키도록 제어하는 제어신호를 출력할 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 실시 예에 따른 제 1 포커스 렌즈(411)의 초점 위치 및 제 2 포커스 렌즈(421)의 초점 위치를 이동시키는 동작에 대해 구체적으로 설명하기로 한다.
도 10은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법의 전체적인 흐름을 나타낸 흐름도이다.
도 10의 설명에 앞서, 카메라 모듈을 포함하는 광학기기에는, 다양한 촬영 환경에 맞는 영상을 획득하도록 듀얼 카메라 모듈이 구비될 수 있다. 바람직하게, 광학기기에 구비된 카메라 모듈은 줌 카메라를 포함할 수 있다. 이때, 줌 카메라를 포함하는 카메라 모듈에는, 고정 줌 배율을 토대로 고해상도 및 고성능을 가지는 메인 카메라가 추가로 장착될 수 있다. 그리고, 상기 메인 카메라에는 고해상도 및 고성능 구현을 위해 신뢰도가 높은 이미지 센서가 장착될 수 있다. 또한, 상기 줌 카메라는 상기 메인 카메라 대비 고해상도 및 고성능이 요구되지 않으며, 이에 따라 상기 메인 카메라의 이미지 센서 대비 낮은 신뢰도를 갖는 이미지 센서가 장착될 수 있다. 여기에서, 상기 신뢰도는 상기 이미지 센서가 가지는 위상 차이 검출에 대한 정확도를 의미할 수 있다. 또한, 이와 다르게 상기 신뢰도는 상기 이미지 센서를 통해 수행되는 자동 초점 기능의 정확도를 의미할 수 있다. 상기 신뢰도는 상기 이미지 센서 내에 포함된 포토 다이오드(PD)의 배열 상태나 배열 수 등에 의해 결정될 수 있다. 한편, 상기에서는 상기 카메라 모듈을 구성하는 제 1 카메라부(410) 및 제 2 카메라부(420)가 서로 다른 구조의 카메라인 것으로 예시하였으나, 이는 일 실시 불과하며, 상기 제 1 및 2 카메라부의 구조가 서로 동일할 수도 있을 것이다.
한편, 상기 카메라 모듈이 고정된 위치에 존재하는 피사체를 촬영하거나, 상기 카메라 모듈이 고정된 위치에 있거나, 상기 카메라 모듈의 줌 배율이 고정된 상태에서는 상기 제 1 카메라부(410)의 초점 위치에 크게 문제가 발생하지 않는다.
그러나, 피사체의 거리가 계속 변화하거나, 줌 배율이 계속 변화하거나, 상기 카메라 모듈의 위치가 변화하는 경우(카메라 모듈을 소지한 사용자가 움직이는 경우)에는 상기 제 1 카메라부(410)의 초점 위치에 문제가 발생할 수 있다. 다시 말해서, 상기와 같은 상황에서 상기 제 1 카메라부(410) 자체의 성능만으로 자동 초점 기능을 구현하는 경우, 초점 위치의 정확도가 떨어질뿐 아니라, 정확한 초점 위치로 가기까지의 시간이 오래 걸리는 문제가 있다. 이에 따라, 동영상과 같은 연속적인 프레임을 촬영하는 상황에서는 상기 제 1 카메라부(410)만으로 상기 제 1 카메라부(410)를 통해 촬영되는 제 1 영상의 초점을 정확히 맞추기 힘든 문제가 있다.
따라서, 본 발명에서는 상기와 같은 상황을 고려하여, 상기 제 1 카메라부(410)와 제 2 카메라부(420)의 각각의 초점 위치에 대한 정보를 매칭시켜 저장부(430)에 저장해놓고, 추후 상기 저장된 정보를 활용하여 상기 제 1 카메라부(410)의 자동 초점 기능이 구현될 수 있도록 한다.
한편, 상기 제 1 카메라부(410)의 제 1 포커스 렌즈(411)의 특성과 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 특성은 서로 다르다. 또한, 상기 제 1 포커스 렌즈(411)를 구동하는 제 1 포커스 렌즈 구동부(413)의 특성과 상기 제 2 포커스 렌즈(421)를 구동하는 제 2 포커스 렌즈 구동부(422)의 특성도 다르다. 즉, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)가 서로 동일한 구조의 렌즈라고 하더라도, 설치 위치나 설치 환경에 따라 상기 특성이 변경될 수 있으며, 이의 구동 조건 또한 서로 다를 수 있다. 여기에서, 상기 특성은 VCM 특성이나 렌즈 이동 스트로크 등을 포함할 수 있다.
이에 따라, 상기 제 2 포커스 렌즈(421)의 초점 위치를 활용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하기 위해서는, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421) 간의 상호 매칭 작업이 필요하다.
이를 위해, 카메라 모듈에서는 상기 매칭 조건을 제 1 카메라부(410)의 줌 배율별로 구분하고, 상기 구분한 줌 배율별로 상기 제 1 카메라부(410)의 피사체 거리에 따른 제 1 포커스 렌즈(411)의 초점 위치 정보와, 제 2 포커스 렌즈(421)의 초점 위치 정보를 상호 매칭시킨다(100단계).
즉, 상기 제 1 카메라부(410)의 특정 줌 배율에서, 동일한 피사체를 상기 제 1 카메라부(410) 및 제 2 카메라부(420)에서 각각 촬영하는 경우, 상기 피사체의 촬영을 위한 제 1 포커스 렌즈(411)의 초점 위치와, 상기 제 2 포커스 렌즈(421)의 초점 위치를 각각 상호 매칭시킨다.
이때, 상기 매칭은, 상기 제 1 카메라부(410)의 줌 배율별로 구분되어 각각 진행될 수 있다.
상기 초점 위치가 각각 매칭되면, 상기 카메라 모듈은 상기 매칭된 각각의 초점 위치에서, 상기 제 2 카메라부(420)를 통해 촬영되는 제 2 영상과 기준 영상과의 위상차를 토대로 상기 제 2 포커스 렌즈(421)를 베스트 초점 위치로 이동시키기 위한 제 2 초점 위치 정보를 획득 및 저장한다(200단계).
다시 말해서, 상기 제 2 카메라부(420)의 PDAF를 위하여, 상기 제 2 영상의 위상차에 따른 제 2 포커스 렌즈(421)의 초점 위치를 나타내는 제 2 초점 위치 정보를 획득 및 저장한다.
다음으로, 카메라 모듈은 변환 테이블을 이용하여 상기 제 2 포커스 렌즈(421)의 초점 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 위치를 나타내는 제 3 초점 위치 정보를 획득 및 저장한다(300단계).
즉, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)는 스트로크나 VCM 특성이 다르며, 동일 조건에서도 초점 위치가 상호 상이할 수 있다. 따라서, 상기 제 2 초점 위치 정보를 토대로, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 상기 제 1 포커스 렌즈(411)의 초점 이동 위치로 변환한 상기 제 3 초점 위치 정보를 획득 및 저장한다. 이를 위해, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 상호 관계 정보를 포함하는 변환 테이블을 미리 획득할 수 있다.
다음으로, 피사체의 거리에 따른 제 1 카메라부(410)의 줌 렌즈(412)의 줌 위치 및 상기 제 1 포커스 렌즈(411)의 초점 위치에 대한 정보를 포함한 제 1 초점 위치 정보를 저장한다(400단계).
상기 제 1 초점 위치 정보는 일반적으로 트레이스 커브(Trace curve)라고도 하며, 피사체와의 거리에 따라 각각 구분된 복수의 커브를 포함하고, 상기 커브의 X축은 제 1 포커스 렌즈(411)의 위치를 나타내고, Y축은 줌 렌즈(412)의 위치를 나타낸다.
다음으로, 카메라 모듈은 상기 제 1 카메라부(410)의 자동 초점 기능 구현 시, 상기 제 1 초점 위치 정보를 적용하여 우선적으로 상기 제 1 포커스 렌즈(411)를 이동시킨다. 그리고, 카메라 모듈은 상기 이동된 위치에서 초점이 정확히 맞았는지에 대한 초점 정확도를 판단한다. 그리고, 카메라 모듈은 상기 초점 정확도가 낮으면, 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 1 포커스 렌즈(411)를 재이동시킨다(500단계).
이하에서는, 상기 각각의 단계(100단계, 200단계, 300단계, 400단계 및 500단계)를 보다 구체적으로 설명한다.
도 11은 본 발명의 실시 예에 따른 위치 정보 매칭 방법을 단계별로 나타낸 흐름도이고, 도 12는 본 발명의 실시 예에 따라 모델링된 제 1 카메라부의 위치 정보를 나타낸 도면이며, 도 13은 본 발명의 실시 예에 따라 모델링된 제 2 카메라부의 위치 정보를 나타낸 도면이고, 도 14는 본 발명의 실시 예에 따라 제 1 및 2 카메라부의 위치 정보를 매칭시키는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 상호 초점 위치를 매칭시키기 위하여, 먼저 매칭할 줌 배율 수(M)를 결정한다(101단계). 즉 상기 제 1 카메라부(410)의 줌 렌즈(412)의 모든 배율에 대해 상기와 같은 매칭 작업을 모두 하려면 상당히 많은 시간이 필요하다. 따라서, 상기 모든 배율 중 일부 줌 배율에 대해서만 상기 매칭 작업을 하고, 나머지 다른 줌 배율에 대해서는 상기 매칭된 정보를 토대로 보간할 수 있다. 상기 줌 배율 수가 결정되면, 상기 결정된 줌 배율 수에 맞게 상기 줌 렌즈(412)의 전체 배율을 나눌 수 있다. 예를 들어, 상기 줌 배율 수가 4개로 결정된 경우, 상기 매칭 작업은 상기 결정된 4개의 줌 배율에 대해서만 진행될 수 있으며, 그 이외의 줌 배율에 대한 매칭 작업은 보간을 통해 진행될 수 있다.
이후, 상기 결정된 줌 배율 수(M)를 토대로 현재 적용할 상기 줌 렌즈(412)의 줌 배율을 결정한다(102단계). 즉, 최초에 상기 결정되는 줌 배율(m)은 1일 수 있다. 따라서, 상기 결정되는 줌 배율은, 상기 줌 배율 수를 토대로 나뉜 복수의 줌 배율 중 첫 번째(예를 들어, 가장 낮은 또는 높은 줌 배율) 줌 배율일 수 있다.이하에서는 상기 결정된 줌 배율을 '제 1 줌 배율'이라고 한다.
상기 줌 배율이 결정되면, 상기 결정된 줌 배율에 대한 매칭 작업을 진행한다.
이를 위해, 상기 결정된 제 1 줌 배율에 대해서, 피사체의 거리별로 상기 제 1 포커스 렌즈(411)의 초점 위치에 대한 정보를 획득한다(103단계). 이때, 상기 제 1 포커스 렌즈(411)의 초점 위치는 피사체 거리의 전체 범위 내에서 특정 포인트에 대해서만 진행될 수 있다.
다음으로, 상기 단계(103단계)에서 획득한 정보를 이용하여, 상기 제 1 줌 배율에 대한 제 1 포커스 렌즈(411)의 초점 위치 정보를 모델링한다(104단계). 즉 상기 초점 위치 정보는 특정 포인트에서만 획득될 수 있으며, 이에 따라 상기 특정 포인트에서 획득된 정보를 이용하여 그 이외의 나머지 포인트에 대한 데이터를 보간하여 획득한다.
이후, 상기 현재 결정된 줌 배율에 대한 모델링이 완료되면, 상기 결정된 줌 배율 수에 대응하는 모든 줌 배율에 대한 모델링이 완료되었는지 여부를 판단한다(105단계). 즉, 상기 모델링한 줌 배율(n)이 상기 결정된 줌 배율 수(M)와 동일한지를 판단한다. 예를 들어, 상기 줌 배율 수(M)가 4인 경우, 상기 모델링한 줌 배율(n)이 4번째 줌 배율인지 여부를 판단한다.
그리고, 상기 판단결과 상기 모든 줌 배율에 대해 모델링이 완료되지 않았다면, 다음번째 줌 배율에 대한 모델링을 진행한다. 이를 위해, 모델링할 줌 배율(n)을 결정할 수 있다(106단계). 즉, 상기 결정되는 줌 배율(n)은 이전에 모델링한 줌 배율의 다음번째 줌 배율(이전 줌 배율 n+1)일 수 있다.
한편, 상기 줌 배율별로 상기 제 1 카메라부(410)의 제 1 포커스 렌즈(411)에 대한 위치 정보의 모델링 작업과 함께 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)에 대한 모델링 작업을 진행할 수 있다.
즉, 도 12를 참조하면, 상기 모델링 작업은 상기 결정된 줌 배율 수(M)에 따라 각각 진행될 수 있다.
이에 따라, 상기 모델링 후의 최종 정보는 상기 줌 배율 수에 대응되게 M개 존재할 수 있다.
여기에서 상기 모델링은, 피사체 거리에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 나타내는 그래프로 표현될 수 있다.
그리고, 상기 줌 배율에 따라 구분되는 그래프는 서로 상이한 곡선을 가질 수 있다.
한편, 상기 제 2 카메라부(420)는 고정된 줌 배율을 가진다. 따라서, 상기 제2 카메라부(420)에 대해서는 줌 배율별로 구분되지 않고, 하나의 특정 줌 배율에 대해서만 피사체의 거리에 대응하는 제 2 포커스 렌즈(421)의 위치 정보가 획득될 수 있다(107단계). 그리고, 상기 제 2 포커스 렌즈(421)의 위치 정보도 모든 피사체 거리에 대응하게 획득되는 것이 아니라, 특정 포인트에 대해서만 획득될 수 있다.
따라서, 상기 획득된 특정 포인트에 대한 상기 제 2 포커스 렌즈(421)의 위치 정보를 이용하여 그 이외의 포인트에 대한 위치 정보를 획득하는 모델링 과정을 진행할 수 있다(108단계).
즉, 도 13을 참조하면, 제 2 카메라부(420)의 모델링 작업은 고정된 특정 줌 배율에 대해서만 진행될 수 있다. 이에 따라, 상기 제 2 카메라부의 모델링 후의 최종 정보는 1개만이 존재할 수 있다. 여기에서 상기 제 2 카메라부(420)의 모델링은, 피사체 거리에 따라 상기 제 2 포커스 렌즈(421)의 초점 위치를 나타내는 그래프로 표현될 수 있다.
이후, 상기 획득한 제 1 포커스 렌즈(411)의 위치 정보와, 상기 제 2 포커스 렌즈(421)의 위치 정보를 상호 매칭한다(109단계). 이때, 상기 매칭은 상기 제 1 카메라부(410)의 모델링 시에 구분된 줌 배율별로 각각 진행될 수 있다.
다시 말해서, 상기 줌 배율 수(M)가 4라면, 제 1 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 2 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 3 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 4 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링한다.
이때, 상기 매칭은 피사체 거리를 기준으로 특정 포인트에 대해서만 매칭을 진행할 수 있다.
즉, 도 14를 참조하면, 전체 피사체 거리 범위 내에서, 9개의 포인트(P1, P2, P3, P4, P5, P6, P7, P8, P9)가 설정될 수 있으며, 상기 9개의 포인트 각각에 대해서 제 1 포커스 렌즈(411)의 위치 정보와 제 2 포커스 렌즈(421)의 위치 정보를 상호 매칭시킨다. 다시 말해서, 제 1 줌 비율에서 피사체 거리가 A일 경우, 제 1 포커스 렌즈(411)의 초점 위치는 B이고, 제 2 포커스 렌즈(421)의 초점 위치는 C라는 상호 관계에 대한 매칭을 진행할 수 있다.
또한, 상기 특정 포인트에 대해서만 매칭이 진행된 경우, 그 이외의 나머지 포인트에 대해서는 상기 매칭된 정보를 토대로 보간하여 진행할 수 있다.
한편, 상기와 같이 제 1 카메라부(410)의 줌 배율별로 매칭된 매칭 정보는 상기 저장부(430)에 우선 저장될 수 있다.
도 15는 본 발명의 실시 예에 따라 제 2 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이고, 도 16은 본 발명의 실시 예에 따라 획득된 제 2 초점 위치 정보의 일 예를 나타낸 도면이다.
상기와 같이, 매칭 작업이 완료되면, 상기 매칭된 정보를 가지고 각각의 매칭 포인트에 대한 제 2 카메라부(420)의 초점 위치 정보를 획득한다. 다시 말해서, 상기 매칭 포인트 별로 상기 제 2 카메라부(420)에서 촬영되는 제 2 영상과 기준 영상과의 위상차를 확인하고, 상기 위상차에 따라 상기 제 2 포커스 렌즈(421)의 초점 위치를 베스트 위치로 이동시키기 위한 제 2 초점 위치 정보를 획득한다.
상기 제 2 초점 위치 정보의 획득은 상기 매칭 포인트별로 진행된다. 이때, 상기 매칭은 상기 제 1 카메라부(410)의 줌 배율별로 구분되어 진행되었기 때문에, 상기 제 2 초점 위치 정보의 획득도 상기 줌 배율별로 각각 구분되어 진행될 수 있다.
이를 위해, 먼저 제 1 카메라부(410)의 줌 배율 수(M)를 결정한다(201단계).
이후, 현재 적용할 줌 배율(m)을 결정한다(202단계). 즉, 초기 동작 시에는 상기 결정된 줌 배율 수에 의해 나뉜 줌 배율 중 첫 번째의 줌 배율을 현재 적용할 줌 배율로 결정할 수 있다. 즉, 상기 현재 적용할 줌 배율(m)을 1로 설정하여, 첫 번째 줌 배율에 대한 제 2 초점 위치 정보 획득 과정을 진행한다.
또한, 상기 제 2 초점 위치 정보는 상기 결정된 줌 배율 내에서, 모든 매칭 포인트에 대해 획득되는 것이 아니라, 복수의 일부 포인트에 대해서만 획득될 수 있다. 따라서, 상기 제 2 초점 위치 정보가 획득될 포인트를 설정한다. 즉, 상기 제 1 포커스 렌즈(411)의 이동 수(N)를 설정한다(203단계). 상기 제 1 포커스 렌즈(411)의 이동 수(N)는 상기 포인트의 수일 수 있다.
다음으로, 상기 포인트가 설정되면, 상기 제 2 초점 위치 정보를 획득할 특정 포인트를 결정한다(204단계). 즉, 처음에는 상기 복수의 포인트 중 첫 번째 포인트(예를 들어, n=1)에 대한 상기 제 2 초점 위치 정보 획득 과정을 진행할 수 있다.
이를 위해, 상기 매칭 정보를 이용하여 상기 결정된 특정 포인트에서의 제 1 포커스 렌즈(411)의 초점 위치로 상기 제 1 포커스 렌즈(411)를 이동시킨다(205단계).
다음으로, 상기 이동된 제 1 포커스 렌즈(411)의 위치에 매칭된 제 2 포커스 렌즈(421)의 위치로 상기 제 2 포커스 렌즈(421)를 이동시킨다(206단계).
상기 제 2 포커스 렌즈(421)가 이동되면, 상기 이동된 위치에서의 제 2 카메라부(420)의 초점은 맞은 상태일 수 있고, 맞지 않은 상태일 수 있다.
이에 따라, 상기 제 2 카메라부(420)는 상기 제 2 포커스 렌즈(421)가 이동된 상태에서 제 2 영상을 획득한다(207단계). 이때, 상기 제 2 영상의 초점이 맞은 경우에는 기준 영상과의 위상차가 없을 것이고(즉, 제 2 영상의 위상차가 0), 그렇지 않은 경우에는 일정 위상차가 발생할 것이다.
그리고, 상기 제 2 영상이 획득되면, 상기 획득한 제 2 영상에 대한 위상차를 계산한다(208단계). 상기 제 2영상의 위상차는 위상이 0인 기준 영상과의 차이일 수 있다.
다음으로, 상기 설정된 모든 포인트에 대해 위상차가 확인되었는지 여부를 판단한다(209단계).
상기 판단 결과, 모든 포인트에 대한 위상차가 확인되지 않았으면, 다음 포인트로 이동하여, 상기 이동한 다음 포인트에서 제 2 카메라부(420)를 획득되는 제 2 영상의 위상차를 계산한다(210단계).
그리고, 상기 모든 포인트에 대한 제2 영상의 위상차가 계산되면, 상기 제 2 위상차들을 연결하여, 이에 대응하는 기울기를 계산한다(211단계). 그리고, 상기 기울기가 계산되면 상기 계산된 기울기를 저장하며, 상기 저장되는 기울기가 상기 제 2 포커스 렌즈(421)의 초점 위치 이동을 위한 제 2 초점 위치 정보가 된다.
다시 말해서, 상기 제 2 영상의 초점이 맞았을 경우, 이에 대한 디포커스량은 0이 된다. 이에 따라, 상기 제 2 초점 위치 정보는 상기 각각의 위상차로부터 검출된 디포커스량을 0으로 하기 위한 상기 제 2 포커스 렌즈(421)의 초점 위치 정보일 수 있다.
상기 제 2 초점 위치 정보는 도 16과 같을 수 있다.
도 16을 참조하여, 제 2 초점 위치 정보에 대해 설명한다. 상기 제 2 초점 위치 정보는 제 2 영상의 위상차에 대한 제 2 포커스 렌즈(421)의 초점 위치에 대한 정보를 포함한다. 이때, 상기 제 2 포커스 렌즈(421)의 초점 위치는 디포커스량을 의미할 수 있다. 여기에서, 상기 디포커스량은 초점의 어긋난 정도를 의미하는 수치이지만, 자동 초점 기능에서는 현재의 제 2 포커스 렌즈(421)의 초점 위치로부터 베스트 초점 위치까지 얼마만큼 떨어져 있는지를 나타내는 물리량으로 이용될 수 있다. 즉, 도 16에서, 상기 제 2 포커스 렌즈(421)의 위치라고 표현된 디포커스량은 현재의 제 2 포커스 렌즈(421)의 초점 위치로부터 베스트 위치까지의 거리 및 방향을 나타낼 수 있다. 여기에서, 상기 제 2 포커스 렌즈(421)의 초점 위치의 이동량이 ㎛ 단위로 표현되면, 상기 디포커스량의 단위도 ㎛ 단위일 수 있다.
즉, 도 16에서의 X 축은 제 2 포커스 렌즈(421)의 위치를 나타낼 수 있고, Y축은 제 2 영상의 위상차를 나타낼 수 있다. 이때, 상기 X축은 실질적으로 디포커스량을 의미할 수 있다. 이때, 위상차와 디포커스량은, 이상적으로는 선형의 관계를 가진다. 따라서, 상기와 같이 복수의 포인트에서 획득된 위상차를 가지고 상기 선형의 관계를 가지는 직선의 기울기를 계산할 수 있다. 이때, 상기 위상차를, 디포커스량으로 변환(환산)하는 계수를, 환산계수라고도 하며, 상기 디포커스량은 다음의 식 1에 의해 구할 수 있다.
[식 1]
디포커스량[㎛]=위상차[화소수]×환산계수(a)[㎛/화소수]
여기에서, 상기 위상차와 디포커스량과의 관계는 이상적으로는, 직선으로 표시된다. 이에 따라, 상기 X축을 디포커스량 또는 제 2 포커스 렌즈(421)의 위치라고 하고, Y축을 위상차라고 했을 경우, 2차원 평면에서의 상기 환산 계수는 직선으로 표시되는 환산 특성의 기울기를 나타낸다.
예를 들어, 상기 제 2 영상의 위상차가 A이고, 이에 따른 상기 기울기를 토대로 계산된 P 지점에서의 초점 위치가 B이며, 베스트 위치가 C인 경우, 상기 제 2 초점 위치 정보는, 상기 A에 대응하는 위상차에서는, B에서 C까지의 거리에 대응하는 이동량을 가지고 상기 제 2 포커스 렌즈가 이동되어야 정확한 초점이 맞게 된다.
상기와 같은 위상차를 이용하여 초점 위치를 베스트 위치로 이동시키기 위한 정보를 획득하는 것은 일반적인 PDAF 기능이며, 이에 따라 이에 대한 상세한 설명은 생략하기로 한다.
상기와 같이, 특정 줌 배율에 대한 제 2 초점 위치 정보가 획득되면, 모든 줌 배율에 대해서 상기 제 2 초점 위치 정보가 획득되었는지 여부를 판단한다(212단계).
그리고, 상기 모든 줌 배율에 대해 상기 제 2 초점 위치 정보가 획득되지 않았다면, 다음번째 줌 배율(m+1)을 설정하고, 상기 설정한 다음번째 줌 배율에 대한 상기 제 2 초점 위치 정보 획득 과정을 계속 진행한다(213단계).
도 17은 본 발명의 실시 예에 따른 제 3 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이고, 도 18은 본 발명의 실시 예에 따라 획득된 제 3 초점 위치 정보의 일 예를 나타낸 도면이다.
이때, 상기 매칭 포인트에서의 제 2 포커스 렌즈(421)의 초점 위치에 대응하는 제 2 초점 위치 정보는, 상기 제 1 포커스 렌즈(411)의 제어 정보로 바로 활용이 불가능하다. 이는, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 스트로크와 같은 특성이 서로 다르기 때문이다. 따라서, 상기 제 2 초점 위치 정보를 이용하여, 상기 제 2 포커스 렌즈(421)의 이동 위치에 대응하게 상기 제 1 포커스 렌즈(411)의 초점 위치를 이동시키기 위한 정보를 획득하여야 한다.
이를 위해, 우선적으로 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 상호 관계에 대한 변환 테이블을 저장한다(301단계). 상기 변환 테이블은 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 설계나 제조 단계에서 획득될 수 있다. 상기 변환 테이블은 상기 제 1 및 2 포커스 렌즈(421)의 특성에 따라, 상기 제 2 포커스 렌즈(421)의 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 이동 위치 정보일 수 있다. 예를 들어, 상기 변환 테이블은 상기 제 2 포커스 렌즈(421)를 '3'만큼 이동시킬 경우, 이에 대응하는 제 1 포커스 렌즈(411)의 이동 거리는 '3'이 아닌 '2'라는 정보일 수 있다.
그리고, 상기 제 2 초점 위치 정보에 포함된 위상차에 따른 제 2 포커스 렌즈(421)의 위치정보를 확인한다(302단계). 즉, 상기 제 2 초점 위치 정보에 포함된 위상차에 따른 제 2 포커스 렌즈(421)의 디포커스량 또는 이동량을 확인한다.
이어서, 상기 확인한 제 2 포커스 렌즈(421)의 이동량에 대응하는 제 1 포커스 렌즈(411)의 이동량에 대한 정보를 상기 변환 테이블로부터 추출한다(303단계).
이에 따라, 상기 제 2 포커스 렌즈(411)의 이동량(초점 이동 위치) 및 이에 대응하는 제 1 포커스 렌즈(411)의 이동량(초점 이동 위치)으로 구성된 제 3 초점 위치 정보를 획득하고, 이를 저장한다(304단계).
즉, 상기 제 3 초점 위치 정보는 상기 제 2 카메라부(420)의 정보를 이용하여, 상기 제 1 카메라부(410)의 초점 이동 위치를 결정하기 위한 정보이다. 다시 말해서, 상기 제 3 초점 위치 정보는 카메라의 촬영 조건이 변경됨에 따라 제 2 포커스 렌즈(421)의 초점 위치가 이동되는 경우, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치에 대한 정보일 수 있다.
도 19는 본 발명의 실시 예에 따른 제 1 초점 위치 정보의 일 예를 나타낸 도면이다.
한편, 상기 제 1 카메라부(410)는 기본적으로 제 1 초점 위치 정보를 이용하여 자동 초점 기능을 수행한다.
도 19를 참조하면, 상기 제 1 초점 위치 정보는 피사체와의 거리(Macro, Infinity 등)에 따른 줌 렌즈(412)의 줌 위치 정보 및 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함한다. 이는 트레이스 커브로 표현될 수 있다. 상기 트레이스 커브는, 무한대(infinity)에 대한 제 1 트레이스 커브와, 매크로(macro)에 대한 제 2 트레이스 커브와, 상기 무한대와 매크로 사이의 특정 거리에 대한 적어도 1개의 제 3 트레이스 커브를 포함할 수 있다.
그리고, 상기 제 1 카메라부(410)는 상기 제 1 초점 위치 정보를 기준으로 자동 초점 기능이 구현될 수 있다.
도 20은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 20을 참조하면, 제 2 카메라부(420)는 동작 개시 이벤트가 발생함에 따라 동작을 시작한다(401단계). 이때, 상기 동작 개시 이벤트는 일반적으로 외부로부터 상기 제 2 카메라부(410)의 동작 명령이 입력된 경우일 수 있다. 이와 다르게, 상기 동작 개시 이벤트는 상기 제 1 카메라부(410)의 동작 중에 촬영 조건이 변경된 경우일 수 있다. 이를 위해 제어부(440)는 상기 동작 개시 이벤트의 발생 여부를 체크하고, 그에 따라 상기 제 2 카메라부(420)의 동작이 개시되도록 제어할 수 있다. 즉, 제어부(440)는 상기 제 1 카메라부(410)의 동작 중에, 상기 제 1 카메라부(410)의 촬영 대상이 되는 피사체가 변경되거나, 또는 상기 피사체와의 거리가 변경되거나, 또는 상기 제 1 카메라부(410)의 줌 배율이 변경되거나, 또는 상기 카메라 모듈 자체의 위치가 이동되는 상황을 감지하고, 상기 상황이 감지됨에 따라 상기 제 2 카메라부(410)의 동작이 개시되도록 할 수 있다. 또한, 상기 제어부(440)는 상기 제 1 카메라부(410)를 통해 동영상이 촬영되는 경우에 상기 제 2 카메라부(420)가 동작되도록 할 수 있다. 즉, 상기 제 1 카메라부(410)에서 동영상이 촬영되는 경우, 움직이는 피사체에 대하여 상기 제 1 포커스 렌즈(411)의 반응 속도가 따라갈 수 없을 수 있으므로, 상기 제어부(440)는 상기 제 1 카메라부(410)의 초점 위치를 정확하고 빠른 시간에 결정하기 위해 백그라운드로 상기 제 2 카메라부(420)가 동작되도록 할 수 있다.
그리고, 제 2 카메라부(420)는 상기 제어부(440)의 제어신호에 따라 제 2 영상을 획득할 수 있다(402단계).
상기 제 2 영상은 상기 제 2 카메라부(420) 내에 포함된 제 2 이미지 센서(423)를 통해 획득되는 제 2 위상차 영상일 수 있다. 이때, 상기 제 2 영상은, 상기 제 1 카메라부(410)의 동작 조건을 기준으로 촬영될 수 있다. 예를 들어, 상기 제어부(440)는 상기 제 1 카메라부(410)의 줌 배율 및 제 1 포커스 렌즈(411)의 초점 위치에 대응되게 매칭된 상기 제 2 포커스 렌즈(421)의 초점 위치를 획득할 수 있다. 그리고, 상기 제 2 포커스 렌즈(421)의 초점 위치가 획득되면, 상기 제어부(440)는 상기 획득된 초점 위치로 상기 제 2 포커스 렌즈(421)의 이동이 이루어진 후에 상기 제 2 영상이 획득되도록 제어할 수 있다.
이후, 제어부(440)는 상기 제 2 영상이 획득되면, 기준 영상과 상기 획득된 제 2 영상을 비교하고, 그에 따른 제 2 위상차를 계산한다(403단계). 이때, 제어부(440)는 상기 제 2 위상차가 계산되면, 상기 제 2 초점 위치 정보를 이용하여, 상기 제 2 위상차에 대응하는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 2 포커스 렌즈(421)가 이동되도록 할 수 있다. 이와 다르게, 상기 제어부(440)는 상기 제 2 위상차가 계산되면, 상기 계산된 제 2 위상차 정보만을 저장할 수 있다.
한편, 제어부(440)는 사용자의 설정에 따른 줌 배율로 줌 렌즈(412)의 줌 위치를 이동시킨다(404단계).
이후, 상기 제어부(440)는 저장부(430)에 저장된 제 1 초점 위치 정보를 이용하여, 상기 줌 배율 및 촬영하고자 하는 피사체와의 거리를 기준으로 상기 제 1 포커스 렌즈(411)의 초점 위치를 결정한다(405단계).
그리고, 상기 제어부(440)는 상기 초점 위치가 결정되면, 상기 결정된 초점 위치로 상기 제 1 포커스 렌즈(411)가 이동되도록 제어한다(406단계). 이에 따라, 제 1 포커스 렌즈 구동부(413)는 상기 제어부(440)의 제어신호에 따라 상기 결정된 초점 위치로 상기 제 1 포커스 렌즈(411)를 이동시킨다. 이때, 상기 제 1 포커스 렌즈(411)는 상기 설명한 바와 같이, 물리적인 위치가 이동될 수 있으며, 이와 다르게 계면의 곡률이 변화할 수도 있다.
이후, 상기 제 1 카메라부(410)는 제 1 영상을 획득한다(407단계). 상기 제 1 영상은 상기 제 1 카메라부(410)를 구성하는 제 1 이미지 센서(415)를 통해 획득된 제 1 위상차 영상일 수 있다.
다음으로, 제어부(440)는 상기 제 1 영상이 획득되면, 기준 영상과 상기 제 1 영상을 비교하여, 상기 제 1 영상에 대한 제 1 위상차를 계산한다(408단계). 이때, 상기 제 1 위상차는, 상기 결정된 제 1 포커스 렌즈(411)의 초점 위치가 정확한 경우, 0과 가까운 값을 가질 것이다.
이후, 제어부(440)는 상기 제 1 위상차가 계산되면, 상기 제 1 위상차와 기설정된 임계 값을 비교한다(409단계).
여기에서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 특성에 따라 결정될 수 있다. 다시 말해서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 MTF(Modulation Transfer Function)에 따라 결정될 수 있다.
상기 MTF는 곡선으로 표현될 수 있으며, 이는 렌즈 성능을 평가하는 척도의 하나로 피사체가 가지는 콘트라스트를 상면(빛이 비쳐지는 화면)에서 어느 정도 충실히 재현할 수 있는가를 공간 주파수 특성으로서 나타낸 것이다. 상기 MTF 곡선은 가로축이 렌즈 필드(화면 중심에서 가장 자리까지의 거리)를 나타내며, 세로축이 콘트라스트 값(최고값은 1)을 나타낼 수 있다. 그리고, 상기 MTF 곡선의 기울기가 크면, 초점 위치가 베스트 위치에서 조금만 틀어져도, 촬영 영상의 초점이 크게 맞지 않을 수 있다. 또한, 상기 MTF 곡선의 기울기가 작으면, 초점 위치가 베스트 위치를 기준으로 일정 범위 내에서 조금 틀어진다 하더라도, 상기 촬영 영상의 초점이 맞을 수 있다. 따라서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 성능을 나타내는 MTF 곡선을 가지고 설정할 수 있다. 즉, 상기 제 1 포커스 렌즈(411)의 성능이 좋지 않음에 따라 상기 MTF 곡선의 기울기가 큰 경우, 상기 임계 값은 0과 가까운 제 1 값으로 설정될 수 있다. 또한, 상기 제 1 포커스 렌즈(411)의 성능이 좋음에 따라 상기 MTF 곡선의 기울기가 작은 경우, 상기 임계 값은 상기 제 1 값보다 큰 제 2 값으로 설정될 수 있다.
이때, 상기 제어부(440)는 상기 제 1 위상차가 상기 임계 값 이하이면, 상기 제 1 포커스 렌즈(411)의 현재 초점 위치를 유지시킨다(409단계). 즉, 상기 제 1 위상차가 상기 임계 값보다 작다는 것은 상기 제 1 영상에 대한 초점이 맞았음을 의미하는 것이며, 이에 따라 제어부(440)는 상기 현재의 초점 위치를 계속 유지시킨다.
이와 다르게 상기 제어부(440)는 상기 제 1 위상차가 상기 임계 값보다 크면, 현재 상기 제 1 포커스 렌즈(411)의 초점 위치의 정확도가 낮은 것으로 인식하고, 그에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 다시 결정한다.
이를 위해, 제어부(440)는 상기 제 2 카메라부(410)를 통해 촬영된 제 2 영상의 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치를 획득한다. 즉, 제어부(440)는 기저장된 제 2 초점 위치 정보로부터 상기 계산된 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치를 획득한다.
이후, 제어부(440)는 상기 저장부(430)에 저장된 제 3 초점 위치 정보로부터 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 재결정한다(410단계).
그리고, 상기 제어부(440)는 상기 재결정된 상기 제 1 포커스 렌즈(411)의 초점 이동 위치로 상기 제 1 포커스 렌즈(411)의 초점 위치를 재이동시킨다(411단계).
이때, 상기 제어부(440)는 상기 재결정된 제 1 포커스 렌즈(411)의 초점 이동 위치를 토대로 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 업데이트할 수 있다.
즉, 상기 제 1 영상의 제 1 위상차가 상기 임계 값보다 크다는 것은, 상기 제 1 초점 위치 정보 중 상기 제 1 영상을 획득하기 위해 설정된 제 1 포커스 렌즈(411)의 초점 위치가 정확하지 않다는 것을 의미한다. 이에 따라, 추후 해당 포인트에서 제 1 영상이 재촬영되는 경우, 상기 제 1 초점 위치 정보로는 상기 제 1 카메라부(410)의 정확한 초점 위치가 결정될 수 없다. 이에 따라, 상기 제어부(440)는 상기 재결정된 제 1 포커스 렌즈(411)의 초점 위치를 기준으로 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 업데이트한다. 이에 따라, 추후 상기 해당 포인트에서 제 1 영상이 재촬영되는 경우, 상기 업데이트된 정보를 이용하기 때문에 상기 제 1 영상의 초점의 정확도를 높일 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
도 21은 본 발명의 실시 예에 따른 카메라 모듈을 포함하는 이동 단말기의 구성을 나타낸 도면이다.
상기와 같은 카메라 모듈은 광학기기에 장착될 수 있다. 바람직하게, 상기 카메라 모듈은 이동 단말기 내에 장착될 수 있다. 이때, 상기에서는 상기 카메라 모듈 자체에서, 상기 제 2 카메라부(420)의 초점 위치 정보를 이용하여 상기 제 1 카메라부(410)의 초점 위치를 결정할 수 있다. 또한, 이와 다르게 상기 제 1 카메라부(410)는 상기 제 1 초점 위치 정보를 이용하여 초점 위치를 결정하고, 상기 제 2 카메라부(410)는 상기 제 2 초점 위치 정보를 이용하여 초점 위치를 결정한다. 그리고, 이동 단말기 내의 메인 제어부는 상기 제 1 카메라부의 초점 위치의 정확도를 판단하고, 이에 따라 상기 제 3 초점 위치 정보를 토대로 상기 제 1 카메라부(410)의 초점 위치 변경 신호를 출력할 수 있다.
다시 말해서, 본 발명의 다른 실시 예에서는 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치를 이용하여 상기 제 1 카메라부(410)의 초점 이동 위치를 결정하는 동작을 상기 카메라 모듈이 아닌 단말기 내에서 수행될 수 있다.
상기 이동 단말기(500)는 무선 통신부(510), A/V(Audio/Video) 입력부(520), 사용자 입력부(530), 센싱부(540), 출력부(550), 메모리(560), 인터페이스부(570), 제어부(580) 및 전원 공급부(590) 등을 포함할 수 있다. 도 21에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(510)는 이동 단말기(500)와 무선 통신 시스템 사이 또는 이동 단말기(500)와 이동 단말기(500)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(510)는 방송 수신 모듈(511), 이동통신 모듈(512), 무선 인터넷 모듈(513), 근거리 통신 모듈(514) 및 위치정보 모듈(515) 등을 포함할 수 있다.
A/V(Audio/Video) 입력부(520)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 이전에 설명한 카메라 모듈(100)을 포함할 수 있다. 또한, A/V(Audio/Video) 입력부(520)에는 마이크(122) 등이 포함될 수 있다. 카메라 모듈(100)은 단말기의 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(551)에 표시될 수 있다.
카메라 모듈(100)에서 처리된 화상 프레임은 메모리(560)에 저장되거나 무선 통신부(510)를 통하여 외부로 전송될 수 있다.
사용자 입력부(530)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(530)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(540)는 이동 단말기(500)의 개폐 상태, 이동 단말기(500)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(500)의 현 상태를 감지하여 이동 단말기(500)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(500)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(590)의 전원 공급 여부, 인터페이스부(570)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(540)는 근접 센서(541)를 포함할 수 있다.
출력부(550)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(551), 음향 출력 모듈(552), 알람부(553), 및 햅틱 모듈(554) 등이 포함될 수 있다.
디스플레이부(551)는 이동 단말기(500)에서 처리되는 정보를 표시(출력)한다. 디스플레이부(551)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
메모리(560)는 제어부(580)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 바람직하게, 상기 설명한 제 3 초점 위치 정보는 상기 메모리(560) 내에 저장될 수 있다.
메모리(560)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(500)는 인터넷(internet)상에서 상기 메모리(560)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(570)는 이동 단말기(500)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(570)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(500) 내부의 각 구성 요소에 전달하거나, 이동 단말기(500) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(570)에 포함될 수 있다.
제어부(controller, 580)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(580)는 멀티 미디어 재생을 위한 멀티미디어 모듈(581)을 구비할 수도 있다. 멀티미디어 모듈(581)은 제어부(580) 내에 구현될 수도 있고, 제어부(580)와 별도로 구현될 수도 있다.
한편, 본 발명의 제 1 실시 예에서의 카메라 모듈은 상기 제 1 내지 3 초점 위치 정보를 모두 저장하고, 그에 따라 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하였다.
이때, 상기 카메라 모듈 내에 구비된 제어부(440)는 상기 제 1 카메라부(410)의 동작을 제어하면서, 그에 따라 상기 제 2 카메라부(420)의 동작을 제어하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치 결정에 사용될 정보를 획득하였다. 이와 같이, 제 1 실시 예에서의 카메라 모듈의 제어부(440)는 제 1 및 2 카메라부를 동시에 제어하였으며, 이에 따른 정보 획득 속도가 상대적으로 느릴 수 있었다.
다시 말해서, 제어부(440)는 상기 제 1 위상차가 임계 값보다 크다는 것을 확인한 시점 이후에, 상기 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하였다. 이에 따라, 상기 제 1 위상차를 가진 제 1 영상이 일정 시간동안 사용자에게 제공되는 문제가 발생할 수 있다.
따라서, 본 발명의 제 2 실시 예에서는, 백그라운드로 상기 단말기의 제어부(580)에서 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정해놓고, 상기 결정한 초점 이동 위치의 필요 여부에 따라 상기 카메라 모듈의 제어부(440)에 제공해주도록 한다.
즉, 본 발명의 제 2 실시 예에서는, 상기와 같이 제 2 카메라부(420)를 통해 획득된 제 2 위상차가 상기 단말기의 메인 제어부인 제어부(580)에서 계산되고, 그에 따라 상기 제어부(580)에서 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치에 따른 제 1 포커스 렌즈(411)의 초점 이동 위치가 사전에 획득되도록 한다.
이에 따르면, 상기 제 1 카메라부의 초점을 보다 빠른 시간에 정확히 맞출 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(560)에 저장되고, 제어부(580)에 의해 실행될 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.

Claims (10)

  1. 제 1 포커스 렌즈를 포함하고, 제1 영상을 획득하는 제1 카메라;
    제 2 포커스 렌즈를 포함하고, 제2 영상을 획득하는 제2 카메라; 및
    기준 영상과 제1 영상 간의 제1 위상차 및 상기 기준 영상과 제2 영상 간의 제2 위상차를 검출하는 제어부를 포함하고,
    상기 제어부는
    상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 결정하고,
    상기 제 1 위상차가 기설정된 임계값 이상이면,
    상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 이용하여 상기 제1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정하는
    카메라 장치.
  2. 줌렌즈와 제1 포커스 렌즈를 포함하는 제1 카메라;
    제2 포커스 렌즈를 포함하는 제2 카메라; 및
    상기 제2 포커스 렌즈의 초점 이동위치를 결정하는 제어부를 포함하고,
    상기 제1 카메라는 상기 제1 포커스렌즈를 통해 기준영상과 다른 제1 위상차를 갖는 제1 영상을 획득하고,
    상기 제2 카메라는 상기 제2 포커스렌즈를 통해 상기 기준영상과 다른 제2 위상차를 갖는 제2 영상을 획득하고,
    상기 제어부는
    상기 제1 위상차 및 상기 제2 위상차를 계산하고,
    상기 제1 위상차와 기설정된 임계값을 비교하고,
    상기 제2 위상차를 이용하여 상기 제2 포커스렌즈의 초점 이동위치를 결정하는
    카메라 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 제 2 포커스 렌즈의 초점 이동 위치는,
    상기 제 2 포커스 렌즈의 이동 거리 또는 굴곡 변화인
    카메라 장치.
  4. 제 1 또는 제 2항에 있어서,
    상기 제 1 및 2 포커스 렌즈 중 적어도 하나는,
    액체 렌즈를 포함하는
    카메라 장치.
  5. 제 1항에 있어서,
    상기 제 1 포커스 렌즈의 초점 이동위치는,
    상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정되는
    카메라 장치.
  6. 제 5항에 있어서,
    상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치에 대한 보상 테이블을 저장하는 저장부를 더 포함하고,
    상기 보상 테이블은,
    상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함하며,
    상기 제어부는,
    상기 저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하고,
    상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정하는,
    카메라 장치.
  7. 제 1항 또는 제 2항에 있어서,
    상기 기준 영상은,
    상기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상인
    카메라 장치.
  8. 제 1항 또는 제2항에 있어서,
    상기 제어부는,
    상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하고,
    상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는,
    피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정되는
    카메라 장치.
  9. 제 8항에 있어서,
    상기 제어부는,
    상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지시키는
    카메라 장치.
  10. 제 1항 또는 제2항에 있어서,
    상기 제 1 및 2 영상 중 적어도 하나는,
    복수의 프레임을 포함하는 동영상인
    카메라 장치.
PCT/KR2019/012157 2018-09-21 2019-09-19 카메라 장치 Ceased WO2020060235A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980061274.2A CN112740650B (zh) 2018-09-21 2019-09-19 摄像装置设备
US17/278,023 US11575821B2 (en) 2018-09-21 2019-09-19 Camera device having first and second cameras, and method of operating same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180113873A KR102697423B1 (ko) 2018-09-21 2018-09-21 카메라 모듈 및 이의 동작 방법
KR10-2018-0113873 2018-09-21

Publications (1)

Publication Number Publication Date
WO2020060235A1 true WO2020060235A1 (ko) 2020-03-26

Family

ID=69887471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012157 Ceased WO2020060235A1 (ko) 2018-09-21 2019-09-19 카메라 장치

Country Status (4)

Country Link
US (1) US11575821B2 (ko)
KR (1) KR102697423B1 (ko)
CN (1) CN112740650B (ko)
WO (1) WO2020060235A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114755875A (zh) * 2020-12-29 2022-07-15 三星电机株式会社 相机模块
WO2022226823A1 (en) 2021-04-28 2022-11-03 Qualcomm Incorporated Lens positioning for secondary camera in multi-camera system
US12422642B2 (en) 2021-12-08 2025-09-23 Samsung Electro-Mechanics Co., Ltd. Camera module
US12449632B2 (en) 2021-03-09 2025-10-21 Samsung Electro-Mechanics Co., Ltd. Camera module

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423241B2 (ja) * 2019-10-09 2024-01-29 キヤノン株式会社 光学機器およびその制御方法
JP7678713B2 (ja) * 2021-06-11 2025-05-16 キヤノン株式会社 撮像装置および方法
KR20230021283A (ko) * 2021-08-05 2023-02-14 삼성전자주식회사 렌즈 어셈블리 및 그를 포함하는 전자 장치
DE102022209505A1 (de) * 2021-09-13 2023-03-16 Apple Inc. Kameraumschaltsteuertechniken für systeme mit mehreren kameras
US12015845B2 (en) 2021-09-13 2024-06-18 Apple Inc. Object depth estimation and camera focusing techniques for multiple-camera systems
CN113556472B (zh) * 2021-09-22 2021-12-14 上海豪承信息技术有限公司 图像补偿方法、装置、介质及前置摄像头
KR20230167074A (ko) 2022-05-20 2023-12-07 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 촬영 장치 및 포커싱 제어 프로그램
CN117376702A (zh) * 2023-11-17 2024-01-09 三星半导体(中国)研究开发有限公司 混合自动跟焦方法和混合自动跟焦装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249636B2 (ko) * 1982-09-24 1987-10-20 Casio Computer Co Ltd
KR0135733B1 (ko) * 1992-11-30 1998-04-22 가나이 쯔또무 오토포커스 기능을 갖는 비디오 카메라 및 그 제어방법
KR101390196B1 (ko) * 2008-02-05 2014-04-29 삼성전자주식회사 디지털 촬영장치
KR101573590B1 (ko) * 2011-04-08 2015-12-01 퀄컴 인코포레이티드 다중 카메라 디바이스를 보정하는 시스템 및 방법
KR20180078596A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 Af 방법 및 이를 수행하는 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
KR20120071279A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 입체 영상의 오차 보정 장치 및 그 방법
JP6249636B2 (ja) 2013-05-28 2017-12-20 キヤノン株式会社 撮像装置およびその制御方法
CN105376474B (zh) 2014-09-01 2018-09-28 光宝电子(广州)有限公司 图像采集装置及其自动对焦方法
JP6478568B2 (ja) * 2014-11-10 2019-03-06 キヤノン株式会社 制御装置、撮像装置、撮像システム、レンズ装置、制御方法、プログラム、および、記憶媒体
KR20160115682A (ko) 2015-03-25 2016-10-06 삼성전자주식회사 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
JP2018510017A (ja) 2015-03-31 2018-04-12 ザ エルゴ ベビー キャリア， インコーポレイテッド 臀部用座面デバイスおよびシステム
CN105007420B (zh) 2015-07-14 2018-09-04 广东欧珀移动通信有限公司 一种对焦方法及移动终端
US9910247B2 (en) 2016-01-21 2018-03-06 Qualcomm Incorporated Focus hunting prevention for phase detection auto focus (AF)
CN105847693A (zh) 2016-04-27 2016-08-10 乐视控股（北京）有限公司 基于双摄像头对焦的拍照方法和系统
KR20170139408A (ko) 2016-06-09 2017-12-19 엘지전자 주식회사 듀얼 카메라가 장착된 동영상 촬영 장치
CN106534696A (zh) * 2016-11-29 2017-03-22 努比亚技术有限公司 一种对焦装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249636B2 (ko) * 1982-09-24 1987-10-20 Casio Computer Co Ltd
KR0135733B1 (ko) * 1992-11-30 1998-04-22 가나이 쯔또무 오토포커스 기능을 갖는 비디오 카메라 및 그 제어방법
KR101390196B1 (ko) * 2008-02-05 2014-04-29 삼성전자주식회사 디지털 촬영장치
KR101573590B1 (ko) * 2011-04-08 2015-12-01 퀄컴 인코포레이티드 다중 카메라 디바이스를 보정하는 시스템 및 방법
KR20180078596A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 Af 방법 및 이를 수행하는 전자 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114755875A (zh) * 2020-12-29 2022-07-15 三星电机株式会社 相机模块
US12382155B2 (en) 2020-12-29 2025-08-05 Samsung Electro-Mechanics Co., Ltd. Camera module and mobile device including the same
US12449632B2 (en) 2021-03-09 2025-10-21 Samsung Electro-Mechanics Co., Ltd. Camera module
WO2022226823A1 (en) 2021-04-28 2022-11-03 Qualcomm Incorporated Lens positioning for secondary camera in multi-camera system
EP4331218A4 (en) * 2021-04-28 2024-12-25 Qualcomm Incorporated Lens positioning for secondary camera in multi-camera system
US12401897B2 (en) 2021-04-28 2025-08-26 Qualcomm Incorporated Lens positioning for secondary camera in multi-camera system
US12422642B2 (en) 2021-12-08 2025-09-23 Samsung Electro-Mechanics Co., Ltd. Camera module

Also Published As

Publication number Publication date
KR102697423B1 (ko) 2024-08-22
CN112740650B (zh) 2024-03-05
KR20200034276A (ko) 2020-03-31
CN112740650A (zh) 2021-04-30
US20210352215A1 (en) 2021-11-11
US11575821B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
WO2020060235A1 (ko) 카메라 장치
WO2017191927A1 (en) Dual camera module and method for controlling the same
WO2018135784A1 (en) Camera module and camera device
WO2020076112A1 (ko) 카메라 액추에이터, 및 이를 포함하는 카메라 모듈
WO2020076111A1 (ko) 카메라 액추에이터 및 이를 포함하는 카메라 모듈
WO2019168342A1 (ko) 렌즈 구동장치
WO2020071852A1 (ko) 카메라 액추에이터 및 이를 포함하는 카메라 모듈
WO2019216676A1 (ko) 카메라 모듈 및 이의 동작 방법
WO2020262876A1 (ko) 카메라 모듈 및 이를 포함하는 광학 기기
WO2020101232A1 (ko) 카메라 모듈
WO2017196023A1 (en) Camera module and auto focusing method thereof
WO2020096423A1 (ko) 프리즘 장치, 이를 구비하는 카메라
WO2020213862A1 (ko) 카메라 모듈 및 광학 기기
WO2022097981A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2020045867A1 (ko) 프리즘 모듈, 이를 구비하는 카메라, 및 영상표시장치
WO2021206484A1 (ko) 카메라 액추에이터 및 이를 포함하는 카메라 모듈
WO2020096257A1 (ko) 카메라 액츄에이터 및 이를 포함하는 카메라 모듈
WO2022203412A1 (ko) 액추에이터 장치
WO2019225979A1 (en) Camera and terminal including the same
WO2017164717A1 (ko) 센서 모듈 및 이의 동작 방법
WO2023018076A1 (ko) 렌즈 구동장치 및 이를 포함하는 카메라 장치
WO2022235109A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2020197349A1 (ko) 카메라 모듈
WO2022045800A1 (ko) 카메라 모듈
WO2022108369A1 (ko) 카메라 액추에이터

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862870

Country of ref document: EP

Kind code of ref document: A1