WO2024035157A1 - 카메라 장치 - Google Patents

카메라 장치 Download PDF

Info

Publication number
WO2024035157A1
WO2024035157A1 PCT/KR2023/011834 KR2023011834W WO2024035157A1 WO 2024035157 A1 WO2024035157 A1 WO 2024035157A1 KR 2023011834 W KR2023011834 W KR 2023011834W WO 2024035157 A1 WO2024035157 A1 WO 2024035157A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
area
depth information
light signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/011834
Other languages
English (en)
French (fr)
Inventor
조시형
이기석
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220100642A external-priority patent/KR20240022226A/ko
Priority claimed from KR1020220107185A external-priority patent/KR20240028877A/ko
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority to US18/993,658 priority Critical patent/US20260009906A1/en
Priority to CN202380059143.7A priority patent/CN119768728A/zh
Priority to JP2025503423A priority patent/JP2025526569A/ja
Priority to EP23853025.7A priority patent/EP4571391A4/en
Publication of WO2024035157A1 publication Critical patent/WO2024035157A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a camera device, and more specifically, to a camera device that generates depth information.
  • 3D content is applied in many fields such as education, manufacturing, and autonomous driving as well as games and culture, and depth information (Depth Map) is required to obtain 3D content.
  • Depth information is information representing distance in space, and represents perspective information of another point with respect to one point in a two-dimensional image.
  • Methods for acquiring depth information include projecting IR (Infrared) structured light onto an object, using a stereo camera, and TOF (Time of Flight) methods.
  • the distance to an object is calculated by measuring the time of flight, that is, the time it takes for light to be emitted and reflected.
  • the biggest advantage of the ToF method is that it provides distance information in 3D space quickly and in real time. Additionally, users can obtain accurate distance information without applying a separate algorithm or hardware correction. In addition, accurate depth information can be obtained even when measuring a very close subject or a moving subject.
  • AR augmented reality
  • VR virtual reality
  • HMDs head mounted displays
  • a ToF camera device outputs IR light toward an object. Since IR light is invisible to the human eye, it may be difficult for the user to recognize it even if an amount of IR light higher than a safe level for the human body is output for a long period of time due to an error in the camera device or damage to the lens. Accordingly, a camera device according to the ToF method needs to limit the intensity or output time of IR light. Limiting the intensity or output time of IR light may increase human safety, but may lower the resolution of depth information.
  • the technical problem to be achieved by the present invention is to provide a camera device that has high resolution of depth information while ensuring human safety.
  • a camera device includes a first light emitting unit that outputs a first output light signal, and a first light receiving unit that receives a first input light signal in which the first output light signal is reflected from an object.
  • the signal is an input light signal for a second area of the object, and the depth information includes first depth information for an overlapping area of the object where the first area and the second area overlap each other, and the first area and the The second area includes second depth information for a non-overlapping area of the object that does not overlap each other, and the resolution of the first depth information is higher than the resolution of the second depth information.
  • the overlapping area may be disposed between the non-overlapping areas.
  • the first depth information may be generated by combining the first input light signal and the second input light signal for the overlapping area.
  • the light distribution of the first output light signal may be asymmetric with respect to the center of the first area, and the light distribution of the second output light signal may be asymmetric with respect to the center of the second area.
  • the first light emitting unit and the second light emitting unit may each include a light source and a diffusion member disposed on the light source.
  • the control unit may control the first light emitting unit and the second light emitting unit to be alternately turned on/off.
  • the optical axis of the first light receiver and the optical axis of the second light receiver are parallel to each other, the optical axis of the first light receiver and the optical axis of the first light receiver are not parallel to each other, and the optical axis of the second light receiver and the optical axis of the second light receiver are parallel to each other. may not be parallel to each other.
  • first light receiver and the second light receiver It is disposed between the first light receiver and the second light receiver, and further includes an angle adjustment member that adjusts an angle formed by the optical axis of the first light receiver and the optical axis of the second light receiver, and the optical axis of the first light receiver and the second light receiver. 2
  • the range of the overlapping area may vary depending on the angle formed by the optical axis of the light receiver.
  • the control unit may control the angle adjustment member.
  • the optical axis of the first light emitting unit and the optical axis of the first light receiving unit may be parallel to each other, and the optical axes of the second light emitting unit and the optical axes of the second light receiving unit may be parallel to each other.
  • a separation detection device includes a first body; a second body joined to the first body; A sensing pattern patterned across the first body and the second body at a junction of the first body and the second body; and a detection unit electrically connected to the detection pattern, wherein the detection unit detects separation of the detection pattern.
  • the detection pattern may include: a first pattern patterned on the first body; and a second pattern patterned on the second body, wherein the first pattern and the second pattern are connected through at least one contact point, and the at least one contact point is connected to the first body and the second body. It can be placed at the junction of .
  • the detection pattern may be patterned using LDS (Laser Direct Structuring).
  • the sensing pattern may include at least one cross pattern connected across the first body and the second body.
  • the sensing pattern may be patterned in a meander shape or zigzag shape formed across the first body and the second body.
  • the first body and the second body each include surfaces that face each other and contact each other, and the sensing pattern includes at least one first contact point disposed on a surface of the first body that faces and touches each other; and at least one second contact point disposed on a surface of the second body facing each other and corresponding to the first contact point, wherein the first contact point or the second contact point has a pattern when separated after being bonded to each other. may be damaged.
  • the sensing pattern includes a plurality of sensing patterns connected to the sensing unit to form a loop, and the plurality of sensing patterns may have different positions on the first body and the second body where they are each patterned.
  • the sensing unit may measure the resistance of the sensing pattern and detect separation of the first body and the second body according to a change in the resistance.
  • An electronic device includes a first body; a second body joined to the first body; an internal element disposed inside the first body or the second body; a control unit that controls the internal elements; and a sensing pattern patterned across the first body and the second body at a junction of the first body and the second body, wherein the control unit is electrically connected to the sensing pattern to separate the sensing pattern.
  • the control unit may measure the resistance of the sensing pattern and detect separation of the first body and the second body according to a change in the resistance.
  • the control unit may stop the operation of the internal element when detecting separation of the detection pattern.
  • the control unit may block restart of the internal element when detecting separation of the detection pattern.
  • a camera device capable of obtaining high-resolution depth information while ensuring human safety.
  • more precise depth information can be obtained within the main viewing angle of the human eye, thereby minimizing the amount of unnecessary data and calculations, and obtaining quality similar to that seen with the human eye.
  • FIG. 1 is a block diagram of a camera device according to an embodiment of the present invention.
  • Figure 2 is a flowchart of a method for generating depth information using a camera device according to an embodiment of the present invention.
  • Figure 3 is a diagram for explaining a depth information generation area using a camera device according to an embodiment of the present invention.
  • Figure 4 is a conceptual diagram of a camera device and depth information generated using the camera device according to an embodiment of the present invention.
  • Figure 5 is a block diagram of a camera device according to another embodiment of the present invention.
  • Figure 6 is a conceptual diagram of a camera device and depth information generated using the camera device according to another embodiment of the present invention.
  • Figure 7 is a block diagram of a separation detection device according to an embodiment of the present invention.
  • FIG 8 to 11 are diagrams for explaining separation detection of the separation detection device according to an embodiment of the present invention.
  • Figure 12 is a block diagram of an electronic device according to an embodiment of the present invention.
  • the technical idea of the present invention is not limited to some of the described embodiments, but may be implemented in various different forms, and as long as it is within the scope of the technical idea of the present invention, one or more of the components may be optionally used between the embodiments. It can be used by combining and replacing.
  • first, second, A, B, (a), and (b) may be used.
  • a component when a component is described as being 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, coupled or connected to that other component, but also is connected to that component. It can also include cases where other components are 'connected', 'combined', or 'connected' due to another component between them.
  • “above” or “below” refers not only to cases where two components are in direct contact with each other, but also to one This also includes cases where another component described above is formed or placed between two components.
  • “top (above) or bottom (bottom)” it may include not only the upward direction but also the downward direction based on one component.
  • a camera device may refer to a camera that extracts depth information using a Time of Flight (ToF) function. Therefore, the camera device can be used interchangeably with a ToF camera device, a ToF camera module, and a ToF camera.
  • ToF Time of Flight
  • FIG. 1 is a block diagram of a camera device according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a method for generating depth information using a camera device according to an embodiment of the present invention
  • FIG. 3 is an embodiment of the present invention. This is a diagram to explain the depth information generation area using a camera device according to .
  • the camera device 1 includes a first transceiver device 100, a second transceiver device 200, a depth information generator 300, and a control unit 400.
  • the first transmitting and receiving device 100 includes a first light emitting unit 110 that outputs an output optical signal and a light receiving unit 120 that receives an input optical signal, and the second transmitting and receiving device 200 outputs an output optical signal. It includes a second light emitting unit 210 and a light receiving unit 220 that receives an input light signal.
  • the first light emitting unit 110 and the second light emitting unit 210 generate output light signals and then emit them.
  • the first light emitting unit 110 and the second light emitting unit 210 may generate and output an output light signal in the form of a pulse wave or a continuous wave.
  • Continuous waves can be in the form of sinusoid waves or square waves.
  • the camera device 1 combines the output light signal output from the first light emitting unit 110 and the second light emitting unit 210 with the first light receiving unit ( 120) and the second light receiving unit 220 may detect a time difference or a phase difference between the input light signals.
  • the output light refers to the light output from the first light emitting unit 110 and the second light emitting unit 210 and incident on the object
  • the input light refers to the light output from the first light emitting unit 110 and the second light emitting unit 210 ( This may refer to light output from 210), reaching an object, and then being reflected from the object and input into the first light receiving unit 120 and the second light receiving unit 220. From the object's perspective, output light can be incident light, and input light can be reflected light.
  • the first light emitting unit 110 and the second light emitting unit 210 may each include a light source, a lens assembly, and a diffusion member.
  • a light source produces light.
  • the light produced by the light source may be infrared with a wavelength of 770 to 3000 nm.
  • the light source may use a light emitting diode (LED), and may have a plurality of light emitting diodes arranged according to a certain pattern.
  • the light source may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source may be a Vertical Cavity Surface Emitting Laser (VCSEL).
  • VCSEL is one of the laser diodes that converts electrical signals into optical signals, and can output a wavelength of about 800 to 1000 nm, for example, about 850 nm or about 940 nm.
  • the light source repeats blinking (on/off) at regular time intervals to generate an output light signal in the form of a pulse wave or continuous wave.
  • the certain time interval may be the frequency of the output light signal.
  • the lens assembly can converge light output from a light source and output the condensed light to the outside.
  • the lens assembly may be disposed on top of the light source and spaced apart from the light source.
  • the upper part of the light source may mean the side where light is output from the light source.
  • the lens assembly may include at least one lens.
  • the lens assembly may be received or supported in the housing.
  • the housing may be coupled with a driving module, and the lens assembly may be moved in the direction of the optical axis or in a direction perpendicular to the optical axis by the driving module.
  • the diffusion member may receive light output from a light source and then output the received light by refracting or diffracting it.
  • the first light receiver 120 and the second light receiver 220 receive light reflected from the object.
  • the first light receiver 120 and the second light receiver 220 may include a lens assembly that collects input light reflected from an object, a filter, and an image sensor that converts the input light passing through the lens assembly into an electrical signal. and the lens assembly, filter, and image sensor may be accommodated or supported in the housing.
  • the optical axis of the lens assembly may be aligned with the optical axis of the image sensor.
  • the filter is disposed between the lens assembly and the image sensor and can filter light having a predetermined wavelength range.
  • the filter may pass light in the wavelength band of the output light output from the first light emitting unit 110 and the second light emitting unit 210.
  • the image sensor can receive an input light signal in synchronization with the blinking cycle of the light source. Specifically, the image sensor can receive an output light signal output from a light source and light in phase and out of phase, respectively. That is, the image sensor may repeatedly perform the steps of receiving an input light signal when the light source is turned on and receiving the input light signal when the light source is turned off.
  • An image sensor may use a plurality of reference signals having different phase differences to generate electrical signals corresponding to each reference signal.
  • the frequency of the reference signal may be set to be the same as the frequency of the output optical signal output from the light source. Therefore, when the light source generates output optical signals at a plurality of frequencies, the image sensor generates an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information about the amount of charge or voltage corresponding to each reference signal.
  • Each reference signal (C 1 to C 4 ) may have the same frequency as the output optical signal, but may have a 90-degree phase difference from each other.
  • One of the four reference signals (C 1 ) may have the same phase as the output optical signal.
  • the phase of the input light signal is delayed by the distance that the output light signal is reflected from after being incident on the object.
  • the image sensor mixes the input light signal and each reference signal. Then, the image sensor can generate an electrical signal for each reference signal.
  • An image sensor may have a structure in which a plurality of pixels are arranged in a grid.
  • the image sensor may be a Complementary Metal Oxide Semiconductor (CMOS) image sensor or a Charge Coupled Device (CCD) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the image sensor may include a ToF sensor that receives IR light reflected from an object and measures distance using time or phase difference.
  • each pixel may include an in-phase reception unit that receives an input light signal in the same phase as the waveform of the output light, and an out-phase reception unit that receives the input light signal in a phase opposite to the waveform of the output light.
  • a difference occurs in the amount of light received by the in phase receiving unit and the out phase receiving unit depending on the distance to the object, and this is used to determine the distance to the object. can be calculated.
  • the first light emitting unit 110 and the first light receiving unit 120 of the first transceiving device 100 may be arranged side by side, and the second light emitting unit 210 and the second light receiving unit 220 of the second transceiving device 200 ) can be placed side by side.
  • the depth information generator 300 may generate depth information of an object using the input light signals input to the first light receiver 120 and the second light receiver 220. For example, the depth information generator 300 determines the flight time required for the output light signal output from the first light emitter 110 to be input to the first light receiver 120 after being reflected from an object and the second light emitter ( Depth information of the object can be generated using the flight time it takes for the output light signal output from 210) to be input to the second light receiver 220 after being reflected from the object. For example, the depth information generator 300 calculates the phase difference between the output light signal and the input light signal using the electrical signal received from the image sensor, and calculates the distance between the object and the camera device using the phase difference. .
  • the depth information generator 300 may calculate the phase difference between the output light signal and the input light signal using charge amount information of the electric signal.
  • the depth information generator 300 can calculate the phase difference (t d ) between the output light signal and the input light signal using Equation 1 below.
  • Q 1 to Q 4 are the charge amounts of each of the four electric signals.
  • Q 1 is the amount of charge of the electric signal corresponding to the reference signal of the same phase as the output optical signal.
  • Q 2 is the amount of charge of the electric signal corresponding to the reference signal whose phase is 180 degrees slower than the output optical signal.
  • Q 3 is the amount of charge of the electric signal corresponding to the reference signal whose phase is 90 degrees slower than the output optical signal.
  • Q 4 is the amount of charge of the electric signal corresponding to the reference signal whose phase is 270 degrees slower than the output optical signal.
  • the depth information generator 300 can calculate the distance between the object and the camera device 1 using the phase difference between the output light signal and the input light signal. At this time, the depth information generator 300 may calculate the distance d between the object and the camera device 1 using Equation 2 below.
  • c is the speed of light
  • f is the frequency of the output light
  • the control unit 400 controls the operation of the first transceiver device 100, the second transceiver device 200, and the depth information generator 300.
  • the first light receiving unit 120 of the first transmitting and receiving device 100 acquires the first input light signal for the first area A1 (S210), and the second transmitting and receiving device 200 )
  • the second light receiving unit 220 acquires the second input light signal for the second area A2 (S220), and the depth information generating unit 300 uses the first input light signal and the second input light signal.
  • first depth information for the overlapping area and second depth information for the non-overlapping area are generated (S230).
  • the first input light signal is a signal input to the first light receiver 120 after the first output light signal output by the first light emitting unit 110 is reflected from the object, and is input to the first area A1. It is an optical signal.
  • the second input light signal is a signal input to the second light receiver 220 after the second output light signal output by the second light emitter 210 is reflected from the object, and is the input light signal to the second area A2. am.
  • a part of the first area A1 and a part of the second area A2 overlap each other, and the remaining part of the first area A1 and the remaining part of the second area A2 They may not overlap with each other.
  • the area A3 that overlaps each other in the first area A1 and the second area A2 is referred to as an overlapping area, and the areas A4 and A5 that do not overlap each other are referred to as non-overlapping areas,
  • the overlapping area A3 may be placed between the non-overlapping areas A4 and A5.
  • the first light emitting unit 110 and the second light emitting unit 210 are set to be turned on/off alternately, and the first output light signal of the first light emitting unit 110 is output.
  • the period and the first input light signal reception period of the first light receiving unit 120 are synchronized with each other, and the second output light signal output period of the second light receiving unit 210 and the second input light signal reception period of the second light receiving unit 220 are synchronized with each other. Cycles can be synchronized with each other.
  • the control unit 400 may control the operations of the first light emitting unit 110, the first light receiving unit 120, the second light emitting unit 210, and the second light receiving unit 220.
  • the intensity of the output light signal output at a specific time can be lowered, thereby improving human safety.
  • the total field of view (FOV) of the camera device 1 may be expanded to the first area A1 and the second area A2.
  • the depth information generator 300 in step S230, the depth information generator 300 generates first depth information and Second depth information is generated for non-overlapping areas A4 and A5 in which the first area A1 and the second area A2 do not overlap each other.
  • the depth information generator 300 generates depth information for the first area A1 using the time difference or phase difference between the first input light signal and the first output light signal for the first area A1.
  • the first area (A2) Depth information for A1) and depth information for the second area (A2) can be synthesized.
  • Combining the depth information for the first area A1 and the depth information for the second area A2 will be performed using at least one of a depth image convolution algorithm and a reconstruction algorithm.
  • the depth information generator 300 extracts a plurality of first feature points from depth information about the first area A1 and extracts a plurality of second feature points from depth information about the second area A2. And, among the plurality of first feature points and the plurality of second feature points, corresponding feature point pairs may be extracted.
  • First depth information can be generated using a reconstruction algorithm for the extracted feature point pairs. However, this is just an example of combining depth information for the first area (A1) and depth information for the second area (A2), and depth information for the first area (A1) is obtained using various techniques for combining images.
  • the resolution of the first depth information for the overlapping area A3 where the first area A1 and the second area A2 overlap each other is It is higher than the resolution of the second depth information for the non-overlapping areas (A4, A5).
  • the range of the overlapping area (A3) is set within ⁇ 30°, which is the main viewing angle of the human eye
  • the resolution of the first depth information for the overlapping area (A3) corresponding to the main viewing angle of the human eye is the main viewing angle of the human eye. Since the resolution of the second depth information for the non-overlapping areas (A4, A5) corresponding to the periphery of the viewing angle is higher, it is possible to generate depth information of a quality similar to that perceived by the human eye.
  • FIG. 4 is a conceptual diagram of a camera device and depth information generated using the camera device according to an embodiment of the present invention. For convenience of explanation, duplicate descriptions of content that is the same as that described in FIGS. 1 to 3 will be omitted.
  • the camera device 1 includes a first transceiver device 100, a second transceiver device 200, a depth information generator 300, and a control unit 400.
  • the first transmitting and receiving device 100 includes a first light emitting unit 110 that outputs a first output optical signal and a first light receiving unit 120 that receives a first input optical signal
  • the second transmitting and receiving device 200 It includes a second light emitting unit 210 that outputs a second output light signal and a second light receiving unit 220 that receives a second input light signal.
  • the depth information generator 300 generates depth information using the first output light signal, the first input light signal, the second output light signal, and the second input light signal
  • the control unit 400 generates depth information using the first transmitting and receiving device ( 100), the second transmitting and receiving device 200, and the depth information generating unit 300 are generally controlled.
  • the first transmission and reception device 100 and the second transmission and reception device 200 may be arranged adjacent to each other, and the first light emitting unit 110 and the second transmission and reception device 100 may be connected to each other.
  • the first light receiving unit 120 of the first transceiving device 100 and the second light receiving unit 220 of the second transceiving device 200 may be disposed between the second light emitting unit 210 of the transceiving device 200. That is, the first light emitting unit 110, the first light receiving unit 120, the second light receiving unit 220, and the second light emitting unit 210 may be sequentially arranged along the X direction.
  • the range of the overlapping area which is the area A3 where the first area A1 and the second area A2 overlap each other, can be expanded.
  • the range of the overlapping area may vary depending on the distance between the first light receiving unit 120 and the second light receiving unit 220.
  • the range of the overlapping area may mean the width in the X-axis direction.
  • the first light receiving unit 120 and the second light receiving unit 220 are arranged side by side, and the optical axis (X1) of the first light receiving unit (120) and the optical axis (X2) of the second light receiving unit (220) may be parallel to each other. According to this, the first light receiving unit 120 and the second light receiving unit 220 acquire an input light signal for the entire area extending in the X-axis direction from one end of the first area A1 to the other end of the second area A2. can do.
  • the first light receiving unit 120 and the second light receiving unit 220 may be disposed on one substrate (S).
  • the depth information generator 300 and the control unit 400 are shown as being disposed between the first light receiver 120 and the second light receiver 220, but are not limited thereto.
  • the depth information generator 300 and the control unit 400 may be disposed in an arbitrary area on the substrate S where the first light receiver 120 and the second light receiver 220 are disposed, and the circuit pattern on the substrate S Alternatively, it may be implemented by an IC chip.
  • the depth information generator 300 and the control unit 400 may be included in an electronic device in which the camera device 1 according to an embodiment of the present invention is disposed.
  • the depth information generator 300 and the control unit 400 may be implemented in the form of an application processor (AP) of an electronic device equipped with the camera device 1 according to an embodiment of the present invention. .
  • AP application processor
  • the first light emitting unit 110 emits a first output light signal
  • the second light emitting unit 210 emits a second output light signal.
  • the first light emitting unit 110 and the second light emitting unit 210 may be turned on/off alternately. Accordingly, since the first output light signal and the second output light signal are not output at the same time, human safety can be improved.
  • the first light emitting unit 110 irradiates the first output light signal to the area including the first area A1
  • the second light emitting unit 210 radiates the first output light signal to the area including the first area A1.
  • the second output light signal is irradiated to the area including. That is, the area to which the first output light signal is irradiated is wider than the first area A1 for the first input light signal received by the first light receiving unit 120, and the area to which the second output light signal is irradiated is wider than the first area A1 for the first input light signal received by the first light receiving unit 120.
  • 220 may be wider than the second area A2 for the second input light signal received.
  • each of the first output light signal and the second output light signal must be irradiated to an area including the overlapping area A3 of the first area A1 and the second area A2.
  • synthesized depth information can be obtained for the entire overlapping area A3, which is the area A3 where the first area A1 and the second area A2 overlap each other.
  • the first light emitting unit 110 and the second light emitting unit 210 are disposed on both sides of the first light receiving unit 210 and the second light receiving unit 220. Nevertheless, in order for the first output light signal to be irradiated to the area including the first area A1 and the second output light signal to be irradiated to the area including the second area A2, the first light emitting unit ( 110)'s optical axis (X3) and the optical axis (X1) of the first light receiving unit 120 are not parallel to each other, and the optical axis ( They may not be parallel to each other.
  • the optical axis X3 of the first light emitting unit 110 is inclined at a predetermined angle toward the optical axis 2 It may be tilted at a predetermined angle toward the optical axis (X2) of the light receiving unit 220.
  • the first light emitting unit 110 is disposed on a separate substrate (S1) rather than the substrate (S) on which the first light receiving unit 120 is disposed
  • the second light emitting unit 210 is disposed on the second light receiving unit 220.
  • the lens assemblies included in the first light emitting unit 110 and the second light emitting unit 210 may include an off-axis lens. According to this, the light distribution of the first output light signal may be asymmetric with respect to the center of the first area A1, and the light distribution of the second output light signal may be asymmetric with respect to the center of the second area A2.
  • the first light emitting unit 110 and the second light emitting unit 210 each include a diffusion member, and the diffusion member may be disposed on the light source to diffuse the output light signal.
  • the diffusion member may be disposed on the light source to diffuse the output light signal.
  • the size of the area to which the output light signal is radiated may be expanded.
  • the depth information generating device 300 generates first depth information for the overlapping area A3 where the first area A1 and the second area A2 overlap each other, and the first and second areas A1 and A2. (A2) generates second depth information for non-overlapping areas (A4, A5) that do not overlap each other.
  • First depth information about the overlapping area A3 where the first area A1 and the second area A2 overlap each other include depth information about the first area A1 and depth information about the second area A2. Since it is obtained by combining high.
  • the resolution of the first depth information for the overlapping area (A3) corresponding to the main viewing angle of the human eye is the main viewing angle of the human eye. Since the resolution of the second depth information for the non-overlapping areas (A4, A5) corresponding to the periphery of the viewing angle is higher, it is possible to generate depth information of a quality similar to that perceived by the human eye.
  • FIG. 5 is a block diagram of a camera device according to another embodiment of the present invention
  • FIG. 6 is a conceptual diagram of a camera device according to another embodiment of the present invention and depth information generated using the same.
  • duplicate descriptions of content that is the same as that described with reference to FIGS. 1 to 4 will be omitted.
  • the camera device 1 includes a first transceiver device 100, a second transceiver device 200, a depth information generator 300, and a control unit 400.
  • the first transmitting and receiving device 100 includes a first light emitting unit 110 that outputs a first output light signal and a light receiving unit 120 that receives a first input optical signal
  • the second transmitting and receiving device 200 includes a second transmitting and receiving device 200. It includes a second light emitting unit 210 that outputs an output light signal and a light receiving unit 220 that receives a second input light signal.
  • the depth information generator 300 generates depth information using the first output light signal, the first input light signal, the second output light signal, and the second input light signal
  • the control unit 400 generates depth information using the first transmitting and receiving device ( 100), the second transmitting and receiving device 200, and the depth information generating unit 300 are generally controlled.
  • first transmission and reception device 100 and the second transmission and reception device 200 may be arranged adjacent to each other, and the first light emitting unit 110 of the first transmission and reception device 100 and the second transmission and reception device 200 may be connected to each other.
  • the first light receiving unit 120 of the first transceiving device 100 and the second light receiving unit 220 of the second transceiving device 200 may be disposed between the two light emitting units 210. That is, the first light emitting unit 110, the first light receiving unit 120, the second light receiving unit 220, and the second light emitting unit 210 may be arranged in this order.
  • the first light receiver 120 and the second light receiver 220 are disposed between the first light receiver 110 and the second light receiver 210, the first light receiver 120 and the second light receiver 220 Since the distance between the first and second areas A1 and A2 can be minimized, the range of the overlapping area, which is the area A3 where the first area A1 and the second area A2 overlap each other, can be expanded.
  • the camera device 1 may further include an angle adjustment member 500.
  • the angle adjustment member 500 is connected to the first transceiving device 100 and the second transceiving device 200, particularly the first light receiving unit 120 of the first transceiving device 100 and the second light receiving unit of the second transceiving device 200. It is disposed between 220 and adjusts the angle between the optical axis of the first light receiving unit 120 and the optical axis of the second light receiving unit 220.
  • the angle formed by the optical axis of the first light receiver 120 and the optical axis of the second light receiver 220 changes, the range of the first area A1 and the range of the second area A2 change, and accordingly, the range of the first area A1 and the second area A2 change.
  • the range of the overlapping area where A1) and the second area A2 overlap each other also changes.
  • the first light receiving unit 120 and the second light receiving unit 220 have an FOV of a preset range. That is, the range of the first area A1 of the first light receiving unit 120 and the range of the second area A2 of the second light receiving unit 220 are set in advance.
  • the range of the first area A1 and the range of the second area A2 may mean the width in the X-axis direction.
  • the optical axis of the first light receiver 120 and the optical axis of the second light receiver 220 are tilted to approach each other, the optical axis of the first light receiver 120 and the optical axis of the second light receiver 220 Compared to the case where the first area A1 and the second area A2 overlap each other, the range of the overlap area A3 becomes larger, and the entire range that the camera device 1 can recognize, that is, the first area A3, is larger than the first area A1 and the second area A2. The range from the left side of area A1 to the right side of the second area A2 may be reduced.
  • the optical axes of the first light receiver 120 and the optical axes of the second light receiver 220 are tilted away from each other, and when the optical axes of the first light receiver 120 and the optical axes of the second light receiver 220 are parallel to each other Compared to, the range of the overlapping area A3 where the first area A1 and the second area A2 overlap each other is reduced, and the entire range that the camera device 1 can recognize, that is, the area of the first area A1, is reduced.
  • the range from the left side to the right side of the second area A2 may increase.
  • the entire range that can be recognized by the camera device 1 can be adjusted by adjusting the angle formed by the optical axis of the first light receiver 120 and the optical axis of the second light receiver 220.
  • the range of the overlapping area that can be recognized by the two light receivers in the camera device 1 and obtain high-resolution depth information can be adjusted.
  • the optical axis of the first light receiver 120 and the second light receiver 220 are adjusted using the angle adjustment member 500.
  • the optical axis of the light detector 120 are moved away from each other and the range of the overlapping area requiring precise depth information needs to be expanded, the optical axis of the first light receiver 120 and the optical axis of the second light receiver 220 are adjusted using the angle adjustment member 500. We can bring them closer to each other.
  • the angle adjustment member 500 may be controlled by the control unit 400.
  • the angle adjustment member 500 may include, for example, a hinge, a stepping motor, a microelectromechanical system (MEMS), and a piezo disposed between the first light receiving unit 120 and the second light receiving unit 220. It may include at least one of the elements.
  • the control unit 400 can control the angle adjustment member 500 in real time, and thus the recognition range of the camera device 1 can be adjusted in real time according to various applications and user needs. there is.
  • the angle adjustment member 500 is disposed between the first transmission and reception device 100 and the second transmission and reception device 200 so that the optical axis of the first light receiving unit 120 of the first transmission and reception device 100 And when adjusting the angle between the optical axes of the second light receiving unit 220 of the second transceiving device 200, the first light emitting unit 110 and the first light receiving unit 120 of the first transceiving device 100 are formed on one substrate. It is disposed on (S3), and the second light emitting unit 210 and the second light receiving unit 220 of the second transmitting and receiving device 200 may also be disposed on one substrate (S4).
  • the optical axis (X3) of the first light emitting unit 110 and the optical axis (X1) of the first light receiving unit 120 are parallel to each other, and the optical axis ( The optical axes (X2) of may be parallel to each other.
  • the first output light signal output from the first light emitting unit 110 is irradiated to the area including the first area A1
  • the second output light signal output from the second light emitting unit 210 is radiated to the second area A1.
  • the first light emitting unit 110 and the second light emitting unit 210 may each include a diffusion member disposed on the light source.
  • the optical axis X3 of the first light emitting unit 110 and the optical axis X1 of the first light receiving unit 120 are not parallel to each other, and the optical axis )'s optical axes (X2) may not be parallel to each other.
  • the first light emitting unit 110 and the first light receiving unit 120 are placed on the same substrate S3, and the area where the first light emitting unit 110 is placed is the area where the first light receiving unit 120 is placed. It can be inclined toward .
  • the second light emitting unit 210 and the second light receiving unit 220 are disposed on the same substrate S4, and the area where the second light emitting unit 210 is placed is the area where the second light receiving unit 220 is placed. It can be inclined toward .
  • the lens assembly included in the first light emitting unit 110 and the lens assembly included in the second light emitting unit 210 may each include an off-axis lens.
  • the light distribution of the first output light signal may be asymmetric with respect to the center of the first area A1, and the light distribution of the second output light signal may be asymmetric with respect to the center of the second area A2.
  • the output light signal is irradiated to include the first area A1
  • the second output light signal is irradiated to include the second area A2, so it includes the first area A1 and the second area A2.
  • Depth information can be generated for the entire area.
  • the camera device according to an embodiment of the present invention is applicable to AR glasses.
  • the light emitted from the projector may affect the user's vision, so for eye-safety, technology is needed to prevent malfunction of the device in advance. .
  • the object is to provide a separation detection device that detects separation.
  • Figure 7 is a block diagram of a separation detection device according to an embodiment of the present invention
  • Figures 8 to 11 are diagrams for explaining separation detection of the separation detection device according to an embodiment of the present invention.
  • the separation detection device 1100 includes a detection pattern 1130 and a detection unit 1140, and the detection pattern 1130 is patterned on the first body 1110 and the second body 1120. It can be.
  • the first body 1110 and the second body 1120 are joined to each other.
  • the first body 1110 and the second body 1120 may be housings joined to each other.
  • the first body 1110 and the second body 1120 are in a form that is engaged with or assembled with each other, and may be an internal housing to protect major core components or an external housing to form the exterior of the product.
  • One of the first body 1110 and the second body 1120 may be a case that accommodates the product, and the other may be a cover that covers the case, and the case and the cover may form a housing.
  • the first body 1110 and the second body 1120 may be joined to each other. They can be joined by welding, soldering or laser joining. When the first body 1110 and the second body 1120 are joined to each other, the first body 1110 and the second body 1120 may be devices that must be maintained without separation.
  • the first body 1110 and the second body 1120 form at least a part of the housing of the first transmitting and receiving device 100 included in the camera device 1, or are included in the camera device 1. It may form at least a part of the housing of the second transmitting and receiving device 200.
  • the first body 1110 and the second body 1120 form at least a part of the housing of the first light emitting unit 110 of the first transmitting and receiving device 100 included in the camera device 1, or the camera device 1 It may form at least a part of the housing of the second light emitting unit 210 of the second transmitting and receiving device 200 included in (1).
  • the first body 1110 and the second body 1120 form at least a part of the housing of the lens assembly of the first light emitting unit 110 of the first transmitting and receiving device 100 included in the camera device 1.
  • the first body 1110 and the second body 1120 may be a housing of a projector mounted on the AR glasses.
  • the first body 1110 may be a case of a projector of AR glasses
  • the second body 1120 may be a cover of a projector of AR glasses.
  • the case and cover may be combined with each other to form a housing.
  • the light emitted from the projector must be controlled, but if the housing is separated due to an external impact, strong light may be emitted, and AR glasses may affect the user's vision, so maintaining the housing's adhesion is important. do.
  • the housing may be a housing of a device that must maintain bonding without being spaced apart.
  • it may be a housing in which parts that need to be kept secure are built in, or it may be a housing for a device that needs to prevent intentional disassembly attempts.
  • the detection pattern 1130 is patterned across the first body 1110 and the second body 1120 at the junction of the first body 1110 and the second body 1120. In order to detect whether the bonding of the first body 1110 and the second body 1120 is maintained or whether they are separated, a detection pattern 1130 is formed at the bonding area of the first body 1110 and the second body 1120. At this time, the detection pattern 1130 is patterned across the first body 1110 and the second body 1120.
  • the detection pattern 1130 may be patterned using a Laser Direct Structuring (LDS) method.
  • LDS is formed through the process of patterning the surface of a plastic injection molded product using a laser and plating a metal material. Fine patterning is possible through LDS patterning, and electrical patterns can be formed on the first body 1110 and the second body 1120.
  • the sensing pattern 1130 may be formed by patterning on the first body 1110 and the second body 1120 in various other ways.
  • the sensing pattern 1130 may include at least one cross pattern connected across the first body 1110 and the second body 1120.
  • the first body 1110 and the second body 1120 are bonded to each other, and the first body 1110 and the second body 1120 are bonded to each other. It may contain cross patterns that are connected across. In a form that crosses the first body 1110 and the second body 1120, when the first body 1110 and the second body 1120 are joined, the cross pattern can be maintained as one pattern, When the first body 1110 and the second body 1120 are separated, the cross pattern is also separated, making it impossible to maintain one pattern.
  • the detection pattern 1130 includes a first pattern 1131 patterned on the first body 1110 and a second pattern 1132 patterned on the second body 1120, and the first pattern 1131 and the second pattern 1132 The pattern 1132 may be connected through at least one contact point 1133.
  • the detection pattern 1130 forms a first pattern 1131 and a second pattern 1132 on the first body 1110 and the second body 1120, respectively, and the first body 1110 and the second body 1120 ), the first pattern 1131 and the second pattern 1132 may be connected through the contact point 1133.
  • the contact point 1133 may include at least one contact point 1133 and may include a plurality of contact points 1133. Through the plurality of contact points 1133, the range of the area in which separation of the first body 1110 and the second body 1120 is detected can be expanded.
  • the first body 1110 and the second body 1120 may be completely separated, but separation may occur only in some areas.
  • separation of the separation detection device 1100 can be detected by disposing a plurality of contact points 1133 across the joint area of the first body 1110 and the second body 1120.
  • the sensing pattern 1130 may be patterned in a meander shape or zig-zag shape formed across the first body 1110 and the second body 1120. As shown in FIG. 9, it may be patterned in a meander shape that repeatedly crosses the first body 1110 and the second body 1120. Through this, the sensing pattern 1130 can form a plurality of contact points 1133. Meander-shaped patterning may be formed throughout the joint area between the first body 1110 and the second body 1120. Through this, one loop can be formed, but multiple contact points can be formed.
  • the detection unit 1140 is electrically connected to the detection pattern 1130 and detects separation of the detection pattern 1130.
  • the detection pattern 1130 is an electrically conductive pattern, and the detection unit 1140 is electrically connected to the detection pattern 1130 and detects separation of the detection pattern 1130 by allowing current to flow through the detection pattern 1130. can do.
  • the sensing unit 1140 measures the resistance of the sensing pattern 1130 and can detect separation of the first body 1110 and the second body 1120 according to a change in resistance.
  • the detection unit 1140 can apply a signal to the detection pattern 1130, flow through the detection pattern 1130, detect the signal output from the detection pattern 1130, and measure the resistance of the detection pattern 1130. there is.
  • the sensing unit 1140 may be electrically connected to the sensing pattern 1130 through at least two connection ports.
  • One connection port may be an output port that outputs a signal as the detection pattern 1130, and the other connection port may be an input port that receives a signal from the detection pattern 1130.
  • the detection unit 1140 may be an MCU (Micro Controller Unit), and the connection port may use PA0 and PB0, as shown in FIG. 9.
  • PA0 and PB0 may be ADC or DAC ports, and convert a digital signal into an analog signal and output it as a detection pattern 1130, and convert the analog signal input from the detection pattern 1130 into a digital signal to produce a detection pattern 1130. resistance can be measured.
  • the resistance of the sensing pattern 1130 may vary depending on the resistance characteristics of the material patterned with the conductive pattern and the length of the pattern.
  • the detection unit 1140 applies a signal to the detection pattern 1130 when the first body 1110 and the second body 1120 are joined and uses the signal output from the detection pattern 1130 to detect the detection pattern 1130. ) can be measured, and the measured resistance can be set as the reference resistance.
  • the detection unit 1140 may measure the resistance of the detection pattern 1130 in real time or periodically and detect a change in resistance by comparing the measured resistance with a reference resistance. When the first body 1110 and the second body 1120 are separated, the resistance may increase, and when the difference in resistance is outside the critical range, the detection unit 1140 detects the first body 1110 and the second body 1120.
  • (1120) can be judged to be separated.
  • the loop of the sensing pattern 1130 is released and opened so that no current flows, and the sensing unit 1140 is connected to the first body 1110 and the second body 1120. It may be determined that the second body 1120 has been separated.
  • the sensing unit 1140 determines that the first body 1110 and the second body 1120 are separated. You can judge. For example, when the sensing pattern 1130 is not conducting for more than 1 ms, the sensing unit 1140 may determine that the first body 1110 and the second body 1120 are separated.
  • the first body 1110 and the second body 1120 each include surfaces that face each other and contact each other, and the sensing pattern 130 includes at least one first body disposed on the surface 1111 of the first body that faces and contacts each other. It is disposed on the surface of the second body 1120 facing the contact point 1134 and contacting each other, and may include at least one second contact point (not shown) corresponding to the first contact point 1134.
  • the sensing pattern 1130 may be damaged.
  • the sensing pattern 1130 may be formed on a surface where the first body 1110 and the second body 1120 contact each other, as shown in FIG. 10 .
  • a pattern can be formed on a surface that faces each other and is directly joined, and a contact point can be formed on that surface.
  • a circular first contact point 1134 may be formed on the joint surface 1111 of the first body 1110, and a corresponding second contact point may be formed on the second body 1120.
  • the first contact point 1134 and the second contact point are joined, they may be made of a material that is fused together and integrated, but is easily separated.
  • the integrated first contact point 1134 and the second contact point may be separated, and at this time, the first contact point 1134 or the second contact point may have a physical Damage may occur, making reconnection difficult.
  • first body 1110 and the second body 1120 are intentionally disassembled, etc.
  • operation can be permanently disabled.
  • permanent operation is impossible according to the separation judgment of the detection unit 1140, this is possible only when the detection unit 1140 is operating, and when the operation of the detection unit 1140 is stopped during intentional disassembly, hacking etc. may be possible.
  • permanent inoperability can be realized without detecting the separation of the detection unit 1140.
  • the detection pattern 1130 includes a plurality of detection patterns connected to the detection unit 1140 to form a loop, and the plurality of detection patterns may each have different patterning positions.
  • One sensing pattern 1130 can form one loop, and as shown in FIG. 9, even if a plurality of contact points are formed, when separation of the first body 1110 and the second body 1120 occurs at each contact point. , it is only possible to determine whether separation occurred, but it is difficult to detect at which contact point the separation occurred.
  • a plurality of detection patterns 1510 to 1540 each forming a loop are formed, and the positions of the contact points of each detection pattern 1130 are formed differently from each other to detect each detection pattern.
  • the separation area detected by the pattern can be set differently.
  • the detection unit 1140 may include two input/output ports for each detection pattern. Alternatively, it may include one output port that outputs a signal to each detection pattern (1510 to 1540) and a plurality of input ports that receive signals from each detection pattern (1510 to 1540). In this way, the resistance can be measured independently for each detection pattern (1510 to 1540), and it is possible to determine which detection pattern separation occurred through comparison with each reference resistance.
  • 7 to 11 show that the first body 1110 and the second body 1120 are joined on one side, but the bonding can be done on two or more sides, and a detection pattern is formed on each side where the bonding occurs. It is possible to determine which of the joint surfaces separation occurs.
  • separation is detected using a detection pattern, and if an intentional attempt is made to disassemble the device, the operation of the product can be permanently disabled, and damage to the housing is electrically monitored in situations of physical shock, including a drop. And, if a safety problem, including eye-safety, occurs, malfunction of the device can be prevented in advance. In the case of normal disassembly rather than intentional disassembly, permanent operation stoppage can be lifted by using the Security Code for disassembly of the device through a pre-approved procedure.
  • the round part of the contact point is manufactured to physically separate well, as shown in Figure 10, even without detection by the detection unit 1140, and is first disassembled. This can cause the pattern to be physically damaged.
  • an electrical contact is made using LDS so that it can be connected to the joint of the housing that is mechanically disassembled. It can be applied to the manufactured device, and the connection status is checked electrically.
  • the contact points of both housings are connected and electricity is conducted, it operates normally, and the contact point temporarily drops and the electricity is not conducted for a certain period of time. For example, if it lasts for more than 1 msec, it can act as an E-Fuse (hereinafter referred to as an Electrical-Fuse) to permanently disable operation depending on the conditions.
  • E-Fuse hereinafter referred to as an Electrical-Fuse
  • the detection unit 1140 which is an MCU, can be set so that the E-Fuse does not operate even if the housing is disassembled (even if the contact point is opened) by entering a predetermined Security Code through an external communication interface. If you intentionally attempt to disassemble it for the purpose of monitoring mechanical or electrical movement, it can be permanently rendered inoperable, and important core parts use a lot of contact points, so even a small gap is widened by artificial force. can be detected.
  • the detection unit 1140 may be an independent MCU for the separation detection device 1100 or may be the control unit 400 of the camera device 1.
  • FIG 12 is a block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 1200 according to an embodiment of the present invention includes a first body 1110, a second body 1120 joined to the first body 1110, and an interior of the first body 1110 or the second body 1120.
  • An internal element 1210 disposed in, a control unit 1220 for controlling the internal element 1210, and a first body 1110 and a second body ( It includes a detection pattern 1130 patterned across 1120).
  • the control unit 1220 is electrically connected to the detection pattern 1130 and detects separation of the detection pattern 1130.
  • the detailed description of each component of the electronic device 1200 according to the embodiment of the present invention corresponds to the detailed description of the separation detection device of FIGS. 7 to 11, and redundant description will be omitted below.
  • the internal elements 1210 may be disposed in the internal space formed by the first body 1110 and the second body 1120, and may be modules or elements that are driven in the electronic device.
  • the internal element 1210 may be protected through the first body 1110 and the second body 1120.
  • the internal element 1210 may be a module or device that must stop operating when the first body 1110 and the second body 1120 are separated. In this case, the internal element 1210 of the first body 1110 and the second body 1120 It may be placed in a location other than the interior space.
  • the electronic device is the first transmitting and receiving device 100 or the second transmitting and receiving device 200 in the camera device 1, the internal element 1210 is included in the first transmitting and receiving device 100.
  • the electronic device is the first light emitting unit 110 of the first transceiving device 100 in the camera device 1 or the second light emitting unit 210 of the second transceiving device 200.
  • the internal element 1210 may be an internal element included in the first light emitting unit 110 or an internal element included in the second light emitting unit 210.
  • the detection pattern 1130 includes a first pattern 1131 patterned on the first body 1110 and a second pattern 1132 patterned on the second body 1120, and the first pattern 1131 and the second pattern 1132 are patterned on the second body 1120.
  • the two patterns 1132 may be connected through at least one contact point 1133, and the detection pattern 1130 may be patterned using a Laser Direct Structuring (LDS) method.
  • the detection pattern 1130 may include at least one cross pattern connected across the first body 1110 and the second body 1120, and the first body 1110 and the second body 1120 ) may be patterned in a meander shape or zigzag shape formed across.
  • first body 1110 and the second body 1120 each include surfaces that face each other and contact each other, and the sensing pattern 1130 is disposed on the surface of the first body 1110 that faces and contacts each other. is disposed on the surface of the first contact point 1134 and the second body 1120 facing each other, and includes at least one second contact point corresponding to the first contact point 1134, and the first contact point or the second contact point. The pattern may be damaged when separated after being bonded together.
  • the sensing pattern 1130 includes a plurality of sensing patterns forming a loop, and the plurality of sensing patterns may each have different patterning positions.
  • the control unit 1220 measures the resistance of the detection pattern 1130, detects separation of the first body 1110 and the second body 1120 according to the change in resistance, and detects separation of the detection pattern 1130. If so, the operation of the internal element 1210 can be stopped. Additionally, when the control unit 1220 detects separation of the sensing pattern 1130, it can block the internal element 210 from restarting to permanently prevent it from operating.
  • control unit 1220 may be an independent MCU for the electronic device 1200 or the control unit 400 of the camera device 1.
  • a camera device may refer to a camera device that extracts depth information using a structured light method. That is, the camera device according to an embodiment of the present invention may use structured light having a predetermined pattern as an output light signal and generate depth information using disparity of the structured light.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 한 실시예에 따른 카메라 장치는 제1 출력광 신호를 출력하는 제1 발광부, 및 상기 제1 출력광 신호가 객체로부터 반사된 제1 입력광 신호를 수신하는 제1 수광부를 포함하는 제1 송수신 장치; 제2 출력광 신호를 출력하는 제2 발광부, 및 상기 제2 출력광 신호가 상기 객체로부터 반사된 제2 입력광 신호를 수신하는 제2 수광부를 포함하는 제2 송수신 장치; 상기 제1 수광부에 수신된 상기 제1 입력광 신호 및 상기 제2 수광부에 수신된 제2 입력광 신호를 이용하여 상기 객체에 대한 깊이 정보를 생성하는 깊이 정보 생성부; 그리고 상기 제1 송수신 장치, 상기 제2 송수신 장치 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하고, 상기 제1 입력광 신호는 상기 객체의 제1 영역에 대한 입력광 신호이고, 상기 제2 입력광 신호는 상기 객체의 제2 영역에 대한 입력광 신호이며, 상기 깊이 정보는 상기 제1 영역 및 상기 제2 영역이 서로 중첩되는 상기 객체의 중첩 영역에 대한 제1 깊이 정보 및 상기 제1 영역 및 상기 제2 영역이 서로 중첩되지 않는 상기 객체의 비중첩 영역에 대한 제2 깊이 정보를 포함하며, 상기 제1 깊이 정보의 해상도는 상기 제2 깊이 정보의 해상도보다 높다.

Description

카메라 장치
본 발명은 카메라 장치에 관한 것으로, 보다 상세하게는 깊이 정보를 생성하는 카메라 장치에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다. 깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다.
ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리 정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
최근, HMD(head mounted display)와 같은 AR(augmented reality)/VR(virtual reality) 분야에서 깊이 정보를 생성하는 카메라 장치를 이용한 제스쳐 인식 또는 입체 공간 매핑 등이 시도되고 있다. 또한, 모바일, 차량, 로봇 등 다양한 분야에서 사물, 공간 및 기기 상호 작용을 위해 깊이 정보를 생성하는 카메라 장치에 대한 요구가 증가하고 있다.
일반적으로, ToF 방식에 따른 카메라 장치는 객체를 향하여 IR 광을 출력한다. IR 광은 사람의 눈에 보이지 않으므로, 카메라 장치의 오류 또는 렌즈 손상 등으로 인하여 인체에 안전한 수준보다 높은 양의 IR 광이 장기간 출력되더라도 사용자가 이를 인지하기 어려울 수 있다. 이에 따라, ToF 방식에 따른 카메라 장치는 IR 광의 세기 또는 출력 시간을 제한할 필요가 있다. IR 광의 세기 또는 출력 시간을 제한하면, 인체 안전성은 높아질 수 있으나, 깊이 정보의 해상도가 낮아질 수 있다.
본 발명이 이루고자 하는 기술적 과제는 인체 안전성을 확보하면서도 높은 깊이 정보 해상도를 가지는 카메라 장치를 제공하는 것이다.
본 발명의 한 실시예에 따른 카메라 장치는 제1 출력광 신호를 출력하는 제1 발광부, 및 상기 제1 출력광 신호가 객체로부터 반사된 제1 입력광 신호를 수신하는 제1 수광부를 포함하는 제1 송수신 장치; 제2 출력광 신호를 출력하는 제2 발광부, 및 상기 제2 출력광 신호가 상기 객체로부터 반사된 제2 입력광 신호를 수신하는 제2 수광부를 포함하는 제2 송수신 장치; 상기 제1 수광부에 수신된 상기 제1 입력광 신호 및 상기 제2 수광부에 수신된 제2 입력광 신호를 이용하여 상기 객체에 대한 깊이 정보를 생성하는 깊이 정보 생성부; 그리고 상기 제1 송수신 장치, 상기 제2 송수신 장치 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하고, 상기 제1 입력광 신호는 상기 객체의 제1 영역에 대한 입력광 신호이고, 상기 제2 입력광 신호는 상기 객체의 제2 영역에 대한 입력광 신호이며, 상기 깊이 정보는 상기 제1 영역 및 상기 제2 영역이 서로 중첩되는 상기 객체의 중첩 영역에 대한 제1 깊이 정보 및 상기 제1 영역 및 상기 제2 영역이 서로 중첩되지 않는 상기 객체의 비중첩 영역에 대한 제2 깊이 정보를 포함하며, 상기 제1 깊이 정보의 해상도는 상기 제2 깊이 정보의 해상도보다 높다.
상기 중첩 영역은 상기 비중첩 영역 사이에 배치될 수 있다.
상기 제1 깊이 정보는 상기 중첩 영역에 대한 상기 제1 입력광 신호 및 상기 제2 입력광 신호의 합성에 의하여 생성될 수 있다.
상기 제1 출력광 신호의 광 분포는 상기 제1 영역의 중심에 대하여 비대칭이고, 상기 제2 출력광 신호의 광 분포는 상기 제2 영역의 중심에 대하여 비대칭일 수 있다.
상기 제1 발광부 및 상기 제2 발광부는 각각 광원 및 상기 광원 상에 배치된 확산부재를 포함할 수 있다.
상기 제어부는 상기 제1 발광부 및 상기 제2 발광부가 교대로 온/오프되도록 제어할 수 있다.
상기 제1 수광부의 광축과 상기 제2 수광부의 광축은 서로 평행하고, 상기 제1 발광부의 광축과 상기 제1 수광부의 광축은 서로 평행하지 않으며, 상기 제2 발광부의 광축과 상기 제2 수광부의 광축은 서로 평행하지 않을 수 있다.
상기 제1 수광부 및 상기 제2 수광부 사이에 배치되며, 상기 제1 수광부의 광축 및 상기 제2 수광부의 광축이 이루는 각도를 조절하는 각도 조절 부재를 더 포함하고, 상기 제1 수광부의 광축 및 상기 제2 수광부의 광축이 이루는 각도에 따라 상기 중첩 영역의 범위가 달라질 수 있다.
상기 제어부는 상기 각도 조절 부재를 제어할 수 있다.
상기 제1 발광부의 광축과 상기 제1 수광부의 광축은 서로 평행하고, 상기 제2 발광부의 광축과 상기 제2 수광부의 광축은 서로 평행할 수 있다.
본 발명의 실시예에 따른 분리감지장치는 제1 바디; 상기 제1 바디와 접합되는 제2 바디; 상기 제1 바디와 상기 제2 바디의 접합부위에 상기 제1 바디와 상기 제2 바디를 걸쳐 패터닝되는 감지패턴; 및 상기 감지패턴과 전기적으로 연결되는 감지부를 포함하고, 상기 감지부는 상기 감지패턴의 분리를 감지한다.
상기 감지패턴은, 상기 제1 바디 상에 패터닝되는 제1 패턴; 및 상기 제2 바디 상에 패터닝되는 제2 패턴을 포함하고, 상기 제1 패턴과 상기 제2 패턴은 적어도 하나의 접점을 통해 연결되고, 상기 적어도 하나의 접점은 상기 제1 바디와 상기 제2 바디의 접합부위에 배치될 수 있다.
상기 감지패턴은 LDS(Laser Direct Structuring) 방식으로 패터닝될 수 있다.
상기 감지패턴은, 상기 제1 바디 및 상기 제2 바디를 가로질러 연결되는 적어도 하나 이상의 크로스 패턴을 포함할 수 있다.
상기 감지패턴은, 상기 제1 바디 및 상기 제2 바디를 가로질러 형성되는 미앤더 형상 또는 지그재그 형상으로 패터닝될 수 있다.
상기 제1 바디 및 상기 제2 바디는 각각 서로 대향하여 접하는 면을 포함하고, 상기 감지패턴은, 상기 서로 대향하여 접하는 제1 바디의 면에 배치되는 적어도 하나의 제1 접점; 및 상기 서로 대향하여 접하는 제2 바디의 면에 배치되고, 상기 제1 접점에 대응하는 적어도 하나의 제2 접점을 포함하고, 상기 제1 접점 또는 상기 제2 접점은 서로 접합된 이후 분리시 패턴이 손상될 수 있다.
상기 감지패턴은, 상기 감지부와 연결되어 루프를 형성하는 복수의 감지패턴을 포함하고, 상기 복수의 감지패턴은 각각 패터닝되는 상기 제1 바디 및 상기 제2 바디의 위치가 상이할 수 있다.
상기 감지부는, 상기 감지패턴의 저항을 측정하고, 상기 저항의 변화에 따라 상기 제1 바디와 상기 제2 바디의 분리를 감지할 수 있다.
본 발명의 실시예에 따른 전자장치는 제1 바디; 상기 제1 바디와 접합되는 제2 바디; 상기 제1 바디 또는 상기 제2 바디 내부에 배치되는 내부소자; 상기 내부소자를 제어하는 제어부; 및 상기 제1 바디와 상기 제2 바디의 접합부위에 상기 제1 바디와 상기 제2 바디를 걸쳐 패터닝되는 감지패턴을 포함하고, 상기 제어부는, 상기 감지패턴과 전기적으로 연결되어 상기 감지패턴의 분리를 감지한다.
상기 제어부는, 상기 감지패턴의 저항을 측정하고, 상기 저항의 변화에 따라 상기 제1 바디와 상기 제2 바디의 분리를 감지할 수 있다.
상기 제어부는, 상기 감지패턴의 분리를 감지하는 경우 상기 내부소자의 동작을 정지할 수 있다.
상기 제어부는, 상기 감지패턴의 분리를 감지하는 경우 상기 내부소자의 재동작을 차단할 수 있다.
본 발명의 실시예에 따르면, 인체 안전성이 확보되면서도 높은 해상도의 깊이 정보를 획득할 수 있는 카메라 장치를 얻을 수 있다.
본 발명의 실시예에 따르면, 사람의 눈의 주 시야각 내에서 보다 정밀한 깊이 정보를 획득할 수 있으므로, 불필요한 데이터량 및 연산을 최소화할 수 있으며, 사람의 눈으로 보는 것과 유사한 품질을 얻을 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 카메라 장치를 이용한 깊이 정보 생성 방법의 순서도이다.
도 3은 본 발명의 한 실시예에 따른 카메라 장치를 이용한 깊이 정보 생성 영역을 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 카메라 장치 및 이를 이용하여 생성된 깊이 정보의 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 카메라 장치의 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 카메라 장치 및 이를 이용하여 생성된 깊이 정보의 개념도이다.
도 7은 본 발명의 실시예에 따른 분리감지장치의 블록도이다.
도 8 내지 도 11은 본 발명의 실시예에 따른 분리감지장치의 분리감지를 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 전자장치의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
본 발명의 실시예에 따른 카메라 장치는 ToF(Time of Flight) 기능을 이용하여 깊이 정보를 추출하는 카메라를 의미할 수 있다. 따라서, 카메라 장치는 ToF 카메라 장치, ToF 카메라 모듈, ToF 카메라 등과 혼용될 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 카메라 장치를 이용한 깊이 정보 생성 방법의 순서도이며, 도 3은 본 발명의 한 실시예에 따른 카메라 장치를 이용한 깊이 정보 생성 영역을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라 장치(1)는 제1 송수신 장치(100), 제2 송수신 장치(200), 깊이 정보 생성부(300) 및 제어부(400)를 포함한다. 제1 송수신 장치(100)는 출력광 신호를 출력하는 제1 발광부(110) 및 입력광 신호를 수신하는 수광부(120)를 포함하고, 제2 송수신 장치(200)는 출력광 신호를 출력하는 제2 발광부(210) 및 입력광 신호를 수신하는 수광부(220)를 포함한다.
제1 발광부(110) 및 제2 발광부(210)는 출력광 신호를 생성한 후 출사한다. 이때, 제1 발광부(110) 및 제2 발광부(210)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 장치(1)는 제1 발광부(110) 및 제2 발광부(210)로부터 출력된 출력광 신호와 객체로부터 반사된 후 제1 수광부(120) 및 제2 수광부(220)로 입력된 입력광 신호 사이의 시간 차 또는 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 제1 발광부(110) 및 제2 발광부(210)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 제1 발광부(110) 및 제2 발광부(210)로부터 출력되어 객체에 도달한 후 객체로부터 반사되어 제1 수광부(120) 및 제2 수광부(220)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
제1 발광부(110) 및 제2 발광부(210)는 각각 광원, 렌즈 어셈블리 및 확산부재를 포함할 수 있다.
우선, 광원은 빛을 생성한다. 광원이 생성하는 빛은 파장이 770 내지 3000nm인 적외선일 수 있다. 광원은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 출력할 수 있다. 광원은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다.
렌즈 어셈블리는 광원으로부터 출력된 빛을 집광하고, 집광된 빛을 외부로 출력할 수 있다. 렌즈 어셈블리는 광원의 상부에서 광원과 이격되어 배치될 수 있다. 여기서, 광원의 상부란 광원으로부터 빛이 출력되는 측을 의미할 수 있다. 렌즈 어셈블리는 적어도 1매의 렌즈를 포함할 수 있다.
렌즈 어셈블리는 하우징에 수용 또는 지지될 수 있다. 일 실시예에 따르면, 하우징은 구동 모듈과 결합될 수 있으며, 렌즈 어셈블리는 구동 모듈에 의해 광축 방향 또는 광축에 수직하는 방향으로 이동할 수 있다.
확산부재는 광원으로부터 출력된 빛을 수신한 후 수신한 빛을 굴절 또는 회절시켜 출력할 수 있다.
한편, 제1 수광부(120) 및 제2 수광부(220)는 객체로부터 반사된 빛을 수신한다. 이를 위하여, 제1 수광부(120) 및 제2 수광부(220)는 객체로부터 반사된 입력광을 집광하는 렌즈 어셈블리, 필터 및 렌즈 어셈블리를 통과한 입력광을 전기신호로 변환하는 이미지 센서를 포함할 수 있으며, 렌즈 어셈블리, 필터 및 이미지 센서는 하우징에 수용 또는 지지될 수 있다.
렌즈 어셈블리의 광축은 이미지 센서의 광축과 얼라인(align)될 수 있다. 필터는 렌즈 어셈블리와 이미지 센서 사이에 배치되며, 소정 파장 범위를 갖는 빛을 필터링할 수 있다. 예를 들어, 필터는 제1 발광부(110) 및 제2 발광부(210)가 출력하는 출력광의 파장 대역에서 빛을 통과시킬 수 있다.
이미지 센서는 광원의 점멸 주기와 동기화되어 입력광 신호를 수신할 수 있다. 구체적으로, 이미지 센서는 광원으로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 수신할 수 있다. 즉, 이미지 센서는 광원이 켜져 있는 시간에 입력광 신호를 수신하는 단계와 광원이 꺼져 있는 시간에 입력광 신호를 수신하는 단계를 반복 수행할 수 있다. 이미지 센서는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원으로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 광원이 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서는 전기 신호를 각 참조 신호별로 생성할 수 있다.
이미지 센서는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서는 객체로부터 반사된 IR 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다. 예를 들어, 각 픽셀은 출력광의 파형과 동일 위상에서 입력광 신호를 수신하는 In phase 수신 유닛 및 출력광의 파형과 반대 위상에서 입력광 신호를 수신하는 Out phase 수신 유닛을 포함할 수 있다. In phase 수신 유닛 및 Out phase 수신 유닛이 시간 차를 두고 활성화되면, 객체와의 거리에 따라 In phase 수신 유닛과 Out phase 수신 유닛이 수신하는 빛의 양에 차이가 발생하며, 이를 이용하여 객체의 거리가 연산될 수 있다.
제1 송수신 장치(100)의 제1 발광부(110)와 제1 수광부(120)는 나란히 배치될 수 있고, 제2 송수신 장치(200)의 제2 발광부(210)와 제2 수광부(220)는 나란히 배치될 수 있다.
깊이 정보 생성부(300)는 제1 수광부(120) 및 제2 수광부(220)에 입력된 입력광 신호를 이용하여 객체의 깊이 정보를 생성할 수 있다. 예를 들어, 깊이 정보 생성부(300)는 제1 발광부(110)로부터 출력된 출력광 신호가 객체로부터 반사된 후 제1 수광부(120)에 입력되기까지 걸리는 비행시간 및 제2 발광부(210)로부터 출력된 출력광 신호가 객체로부터 반사된 후 제2 수광부(220)에 입력되기까지 걸리는 비행시간을 이용하여 객체의 깊이 정보를 생성할 수 있다. 예를 들어, 깊이 정보 생성부(300)는 이미지 센서로부터 수신한 전기신호를 이용하여 출력광 신호와 입력광 신호 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 장치 사이의 거리를 계산한다.
구체적으로, 깊이 정보 생성부(300)는 전기신호의 전하량 정보를 이용하여 출력광 신호와 입력광 신호 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 깊이 정보 생성부(300)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure PCTKR2023011834-appb-img-000001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 깊이 정보 생성부(300)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 장치(1) 사이의 거리를 계산할 수 있다. 이때, 깊이 정보 생성부(300)는 아래의 수학식 2를 이용하여 객체와 카메라 장치(1) 사이의 거리(d)를 계산할 수 있다.
Figure PCTKR2023011834-appb-img-000002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
제어부(400)는 제1 송수신 장치(100), 제2 송수신 장치(200) 및 깊이 정보 생성부(300)의 구동을 제어한다.
도 1 내지 도 3을 참조하면, 제1 송수신 장치(100)의 제1 수광부(120)는 제1 영역(A1)에 대한 제1 입력광 신호를 획득하고(S210), 제2 송수신 장치(200)의 제2 수광부(220)는 제2 영역(A2)에 대한 제2 입력광 신호를 획득하며(S220), 깊이 정보 생성부(300)는 제1 입력광 신호 및 제2 입력광 신호를 이용하여 중첩 영역에 대한 제1 깊이 정보 및 비중첩 영역에 대한 제2 깊이 정보를 생성한다(S230).
이때, 제1 입력광 신호는 제1 발광부(110)가 출력한 제1 출력광 신호가 객체로부터 반사된 후 제1 수광부(120)에 입력되는 신호이며, 제1 영역(A1)에 대한 입력광 신호이다. 제2 입력광 신호는 제2 발광부(210)가 출력한 제2 출력광 신호가 객체로부터 반사된 후 제2 수광부(220)에 입력되는 신호이고, 제2 영역(A2)에 대한 입력광 신호이다.
본 발명의 실시예에 따르면, 제1 영역(A1)의 일부 및 제2 영역(A2)의 일부는 서로 중첩되고, 제1 영역(A1)의 나머지 일부 및 제2 영역(A2)의 나머지 일부는 서로 중첩되지 않을 수 있다. 본 명세서에서, 제1 영역(A1) 및 제2 영역(A2)에서 서로 중첩되는 영역(A3)을 중첩 영역이라 지칭하고, 서로 중첩되지 않는 영역(A4, A5)을 비중첩 영역이라 지칭하며, 중첩 영역(A3)은 비중첩 영역(A4, A5) 사이에 배치될 수 있다.
이를 위하여, 본 발명의 실시예에 따르면, 제1 발광부(110) 및 제2 발광부(210)는 교대로 온/오프되도록 설정되고, 제1 발광부(110)의 제1 출력광 신호 출력 주기와 제1 수광부(120)의 제1 입력광 신호 수신 주기는 서로 동기화되며, 제2 발광부(210)의 제2 출력광 신호 출력 주기와 제2 수광부(220)의 제2 입력광 신호 수신 주기는 서로 동기화될 수 있다. 본 발명의 실시예에 따르면, 제어부(400)는 제1 발광부(110), 제1 수광부(120), 제2 발광부(210) 및 제2 수광부(220)의 동작을 제어할 수 있다.
이와 같이, 제1 발광부(110) 및 제2 발광부(210)가 교대로 온/오프되도록 설정되면, 특정 시간에 출력되는 출력광 신호의 세기를 낮출 수 있으므로, 인체 안전성을 높일 수 있다. 또한, 카메라 장치(1)의 총 FOV(field of view)를 제1 영역(A1) 및 제2 영역(A2)으로 확장할 수 있다.
한편, 본 발명의 실시예에 따르면, 단계 S230에서 깊이 정보 생성부(300)는 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)에 대한 제1 깊이 정보 및 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되지 않는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보를 생성한다. 이를 위하여, 깊이 정보 생성부(300)는 제1 영역(A1)에 대한 제1 입력광 신호 및 제1 출력광 신호 간 시간 차 또는 위상 차를 이용하여 제1 영역(A1)에 대한 깊이 정보를 생성하고, 제2 영역(A2)에 대한 제2 입력광 신호 및 제2 출력광 신호 간 시간 차 또는 위상 차를 이용하여 제2 영역(A2)에 대한 깊이 정보를 생성한 후, 제1 영역(A1)에 대한 깊이 정보와 제2 영역(A2)에 대한 깊이 정보를 합성할 수 있다. 제1 영역(A1)에 대한 깊이 정보와 제2 영역(A2)에 대한 깊이 정보를 합성은 깊이 이미지 컨볼루션 알고리즘(depth image convolution algorithm) 및 재구성 알고리즘(reconstruction algorithm) 중 적어도 하나를 이용하여 수행될 수 있다. 예를 들어, 깊이 정보 생성부(300)는 제1 영역(A1)에 대한 깊이 정보로부터 복수의 제1 특징점을 추출하고, 제2 영역(A2)에 대한 깊이 정보로부터 복수의 제2 특징점을 추출하며, 복수의 제1 특징점과 복수의 제2 특징점 중 서로 대응하는 특징점 쌍들을 추출할 수 있다. 추출된 특징점 쌍들에 대하여 재구성 알고리즘을 이용하여 제1 깊이 정보를 생성할 수 있다. 다만, 이는 제1 영역(A1)에 대한 깊이 정보와 제2 영역(A2)에 대한 깊이 정보를 합성하는 일 예일 뿐이며, 이미지를 합성하는 다양한 기술을 이용하여 제1 영역(A1)에 대한 깊이 정보와 제2 영역(A2)에 대한 깊이 정보를 합성할 수 있다. 이에 따르면, 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)에 대한 제1 깊이 정보의 해상도는 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되지 않는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보의 해상도보다 높다. 중첩 영역(A3)의 범위를 사람의 눈의 주 시야각인 ±30°이내로 설정할 경우, 사람의 눈의 주 시야각에 해당하는 중첩 영역(A3)에 대한 제1 깊이 정보의 해상도는 사람의 눈의 주 시야각의 주변에 해당하는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보의 해상도보다 높으므로, 사람의 눈으로 인식하는 것과 유사한 품질의 깊이 정보를 생성하는 것이 가능하다.
도 4는 본 발명의 한 실시예에 따른 카메라 장치 및 이를 이용하여 생성된 깊이 정보의 개념도이다. 설명의 편의를 위하여, 도 1 내지 도 3에서 설명한 내용과 동일한 내용에 대해서는 중복된 설명을 생략한다.
도 4를 참조하면, 카메라 장치(1)는 제1 송수신 장치(100), 제2 송수신 장치(200), 깊이 정보 생성부(300) 및 제어부(400)를 포함한다. 제1 송수신 장치(100)는 제1 출력광 신호를 출력하는 제1 발광부(110) 및 제1 입력광 신호를 수신하는 제1 수광부(120)를 포함하고, 제2 송수신 장치(200)는 제2 출력광 신호를 출력하는 제2 발광부(210) 및 제2 입력광 신호를 수신하는 제2 수광부(220)를 포함한다. 깊이 정보 생성부(300)는 제1 출력광 신호, 제1 입력광 신호, 제2 출력광 신호 및 제2 입력광 신호를 이용하여 깊이 정보를 생성하며, 제어부(400)는 제1 송수신 장치(100), 제2 송수신 장치(200) 및 깊이 정보 생성부(300)를 전반적으로 제어한다.
본 발명의 한 실시예에 따르면, 제1 송수신 장치(100)와 제2 송수신 장치(200)는 이웃하여 배치될 수 있고, 제1 송수신 장치(100)의 제1 발광부(110)와 제2 송수신 장치(200)의 제2 발광부(210) 사이에 제1 송수신 장치(100)의 제1 수광부(120)와 제2 송수신 장치(200)의 제2 수광부(220)가 배치될 수 있다. 즉, 제1 발광부(110), 제1 수광부(120), 제2 수광부(220) 및 제2 발광부(210)는 X 방향을 따라 순차적으로 배치될 수 있다. 이와 같이, 제1 수광부(120)와 제2 수광부(220)가 제1 발광부(110)와 제2 발광부(210) 사이에 배치되면, 제1 수광부(120)와 제2 수광부(220) 간 거리를 최소화할 수 있으므로, 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 영역(A3)인 중첩 영역의 범위를 넓힐 수 있다. 본 발명의 실시예에 따르면, 중첩 영역의 범위는 제1 수광부(120)와 제2 수광부(220) 간 거리에 따라 달라질 수 있다. 여기서, 중첩 영역의 범위는 X축 방향의 너비를 의미할 수 있다.
이때, 제1 수광부(120) 및 제2 수광부(220)는 나란히 배치되며, 제1 수광부(120)의 광축(X1)과 제2 수광부(220)의 광축(X2)은 서로 평행할 수 있다. 이에 따르면, 제1 수광부(120) 및 제2 수광부(220)는 제1 영역(A1)의 일단으로부터 제2 영역(A2)의 타단까지 X축 방향으로 연장된 전체 영역에 관한 입력광 신호를 획득할 수 있다.
이를 위하여, 제1 수광부(120) 및 제2 수광부(220)는 하나의 기판(S) 상에 배치될 수 있다. 도 4에서 제1 수광부(120) 및 제2 수광부(220) 사이에 깊이 정보 생성부(300) 및 제어부(400)가 배치되는 것으로 도시되어 있으나, 이로 제한되는 것은 아니다. 깊이 정보 생성부(300) 및 제어부(400)는 제1 수광부(120) 및 제2 수광부(220)가 배치된 기판(S) 상의 임의의 영역에 배치될 수 있으며, 기판(S) 상의 회로 패턴 또는 IC 칩에 의하여 구현될 수 있다. 또는, 깊이 정보 생성부(300) 및 제어부(400)는 본 발명의 실시예에 따른 카메라 장치(1)가 배치된 전자기기 내에 포함될 수도 있다. 예를 들어, 깊이 정보 생성부(300) 및 제어부(400)는 본 발명의 실시예에 따른 카메라 장치(1)가 탑재된 전자기기의 어플리케이션 프로세서(Application Processor, AP)의 형태로 구현될 수 있다.
본 발명의 실시예에 따르면, 제1 발광부(110)는 제1 출력광 신호를 조사하고, 제2 발광부(210)는 제2 출력광 신호를 조사한다. 본 발명의 실시예에 따르면, 제1 발광부(110) 및 제2 발광부(210)는 교대로 온/오프될 수 있다. 이에 따라, 제1 출력광 신호 및 제2 출력광 신호가 동시에 출력되지 않으므로, 인체 안전성을 높일 수 있다.
본 발명의 실시예에 따르면, 제1 발광부(110)는 제1 영역(A1)을 포함하는 영역에 제1 출력광 신호를 조사하고, 제2 발광부(210)는 제2 영역(A2)을 포함하는 영역에 제2 출력광 신호를 조사한다. 즉, 제1 출력광 신호가 조사되는 영역은 제1 수광부(120)가 수신하는 제1 입력광 신호에 대한 제1 영역(A1)보다 넓고, 제2 출력광 신호가 조사되는 영역은 제2 수광부(220)가 수신하는 제2 입력광 신호에 대한 제2 영역(A2)보다 넓을 수 있다. 특히, 제1 출력광 신호 및 제2 출력광 신호 각각은 제1 영역(A1) 및 제2 영역(A2)의 중첩 영역(A3)을 포함하는 영역에 조사되어야 한다. 이에 따르면, 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 영역(A3)인 중첩 영역(A3) 전체에 대하여 합성된 깊이 정보가 얻어질 수 있다.
한편, 전술한 바와 같이, 제1 발광부(110) 및 제2 발광부(210)는 제1 수광부(210) 및 제2 수광부(220)의 양 사이드에 배치된다. 그럼에도 불구하고, 제1 출력광 신호가 제1 영역(A1)을 포함하는 영역에 조사되고, 제2 출력광 신호가 제2 영역(A2)을 포함하는 영역에 조사되기 위하여, 제1 발광부(110)의 광축(X3)과 제1 수광부(120)의 광축(X1)은 서로 평행하지 않으며, 제2 발광부(210)의 광축(X4)과 제2 수광부(220)의 광축(X2)은 서로 평행하지 않을 수 있다. 예를 들어, 제1 발광부(110)의 광축(X3)은 제1 수광부(120)의 광축(X1)을 향하여 소정 각도로 기울어지고, 제2 발광부(210)의 광축(X4)은 제2 수광부(220)의 광축(X2)을 향하여 소정 각도로 기울어질 수 있다. 이를 위하여, 제1 발광부(110)는 제1 수광부(120)가 배치된 기판(S)이 아닌 별도의 기판(S1)에 배치되고, 제2 발광부(210)는 제2 수광부(220)가 배치된 기판(S)이 아닌 별도의 기판(S2)에 배치되며, 기판(S1)은 기판(S)과 소정 각도로 기울어지도록 배치되고, 기판(S2)은 기판(S)과 소정 각도로 기울어지도록 배치될 수 있다. 또는, 제1 발광부(110) 및 제2 발광부(210)에 포함되는 렌즈 어셈블리는 비축 렌즈를 포함할 수도 있다. 이에 따르면, 제1 출력광 신호의 광 분포는 제1 영역(A1)의 중심에 대하여 비대칭이고, 제2 출력광 신호의 광 분포는 제2 영역(A2)의 중심에 대하여 비대칭일 수 있다.
또는, 제1 발광부(110) 및 제2 발광부(210)는 각각 확산부재를 포함하며, 확산부재는 광원 상에 배치되어 출력광 신호를 확산시킬 수 있다. 확산부재의 형상, 종류 및 크기에 따라 출력광 신호가 조사되는 영역의 크기가 확장될 수 있다.
이에 따르면, 깊이 정보 생성 장치(300)는 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)에 대한 제1 깊이 정보 및 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되지 않는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보를 생성한다. 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)에 대한 제1 깊이 정보는 제1 영역(A1)에 대한 깊이 정보 및 제2 영역(A2)에 대한 깊이 정보의 합성에 의하여 얻어지므로, 중첩 영역(A3)의 해상도는 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되지 않는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보의 해상도보다 높다. 중첩 영역(A3)의 범위를 사람의 눈의 주 시야각인 ±30°이내로 설정할 경우, 사람의 눈의 주 시야각에 해당하는 중첩 영역(A3)에 대한 제1 깊이 정보의 해상도는 사람의 눈의 주 시야각의 주변에 해당하는 비중첩 영역(A4, A5)에 대한 제2 깊이 정보의 해상도보다 높으므로, 사람의 눈으로 인식하는 것과 유사한 품질의 깊이 정보를 생성하는 것이 가능하다.
도 5는 본 발명의 다른 실시예에 따른 카메라 장치의 블록도이고, 도 6은 본 발명의 다른 실시예에 따른 카메라 장치 및 이를 이용하여 생성된 깊이 정보의 개념도이다. 설명의 편의를 위하여, 도 1 내지 도 4를 참조하여 설명한 내용과 동일한 내용에 대해서는 중복된 설명을 생략한다.
도 5 및 도 6을 참조하면, 카메라 장치(1)는 제1 송수신 장치(100), 제2 송수신 장치(200), 깊이 정보 생성부(300) 및 제어부(400)를 포함한다. 제1 송수신 장치(100)는 제1 출력광 신호를 출력하는 제1 발광부(110) 및 제1 입력광 신호를 수신하는 수광부(120)를 포함하고, 제2 송수신 장치(200)는 제2 출력광 신호를 출력하는 제2 발광부(210) 및 제2 입력광 신호를 수신하는 수광부(220)를 포함한다. 깊이 정보 생성부(300)는 제1 출력광 신호, 제1 입력광 신호, 제2 출력광 신호 및 제2 입력광 신호를 이용하여 깊이 정보를 생성하며, 제어부(400)는 제1 송수신 장치(100), 제2 송수신 장치(200) 및 깊이 정보 생성부(300)를 전반적으로 제어한다.
여기서, 제1 송수신 장치(100)와 제2 송수신 장치(200)는 이웃하여 배치될 수 있고, 제1 송수신 장치(100)의 제1 발광부(110)와 제2 송수신 장치(200)의 제2 발광부(210) 사이에 제1 송수신 장치(100)의 제1 수광부(120)와 제2 송수신 장치(200)의 제2 수광부(220)가 배치될 수 있다. 즉, 제1 발광부(110), 제1 수광부(120), 제2 수광부(220) 및 제2 발광부(210)의 순서로 배치될 수 있다. 이와 같이, 제1 수광부(120)와 제2 수광부(220)가 제1 발광부(110)와 제2 발광부(210) 사이에 배치되면, 제1 수광부(120)와 제2 수광부(220) 간 거리를 최소화할 수 있으므로, 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 영역(A3)인 중첩 영역의 범위를 넓힐 수 있다.
한편, 본 발명의 실시예에 따르면, 카메라 장치(1)는 각도 조절 부재(500)를 더 포함할 수 있다. 각도 조절 부재(500)는 제1 송수신 장치(100) 및 제2 송수신 장치(200), 특히 제1 송수신 장치(100)의 제1 수광부(120) 및 제2 송수신 장치(200)의 제2 수광부(220) 사이에 배치되며, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 이루는 각도를 조절한다. 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 이루는 각도가 달라지면, 제1 영역(A1)의 범위 및 제2 영역(A2)의 범위가 달라지며, 이에 따라 제1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역의 범위도 달라진다. 예를 들어, 제1 수광부(120) 및 제2 수광부(220)는 미리 설정된 범위의 FOV를 가진다. 즉, 제1 수광부(120)의 제1 영역(A1)의 범위 및 제2 수광부(220)의 제2 영역(A2)의 범위는 미리 설정되어 있다. 여기서, 설명의 편의를 위하여, 제1 영역(A1)의 범위 및 제2 영역(A2)의 범위는 X축 방향의 너비를 의미할 수 있다. 본 발명의 실시예에 따라, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 가까워지도록 기울어질 경우, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 평행한 경우에 비하여, 1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)의 범위가 커지고, 카메라 장치(1)가 인식할 수 있는 전체 범위, 즉 제1 영역(A1)의 좌측으로부터 제2 영역(A2)의 우측까지의 범위가 줄어들 수 있다. 이와 반대로, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 멀어지도록 기울어질 경우, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 평행한 경우에 비하여, 1 영역(A1) 및 제2 영역(A2)이 서로 중첩되는 중첩 영역(A3)의 범위가 줄어들고, 카메라 장치(1)가 인식할 수 있는 전체 범위, 즉 제1 영역(A1)의 좌측으로부터 제2 영역(A2)의 우측까지의 범위가 커질 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 이루는 각도를 조절하여, 카메라 장치(1)가 인식할 수 있는 전체 범위가 조절될 수 있으며, 카메라 장치(1) 내 두 개의 수광부에 의해 인식되어 높은 해상도의 깊이 정보를 얻을 수 있는 중첩 영역의 범위가 조절될 수 있다. 본 발명의 실시예에 따르면, 카메라 장치(1)가 인식할 수 있는 전체 범위가 확장되어야 할 경우, 각도 조절 부재(500)를 이용하여 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 멀어지도록 하고, 정밀한 깊이 정보가 필요한 중첩 영역의 범위가 확장되어야 할 경우, 각도 조절 부재(500)를 이용하여 제1 수광부(120)의 광축 및 제2 수광부(220)의 광축이 서로 가까워지도록 할 수 있다.
본 발명의 실시예에 따르면, 각도 조절 부재(500)는 제어부(400)에 의해 제어될 수 있다. 각도 조절 부재(500)는, 예를 들어 제1 수광부(120) 및 제2 수광부(220) 사이에 배치된 힌지(hinge), 스텝모터(stepping motor), MEMS(microelectromechanical systems) 및 피에조(piezo) 소자 중 적어도 하나를 포함할 수 있다. 본 발명의 실시예에 따르면, 제어부(400)는 각도 조절 부재(500)를 실시간으로 제어할 수 있으며, 이에 따라 다양한 애플리케이션 및 사용자의 니즈에 따라 카메라 장치(1)의 인식 범위를 실시간으로 조절할 수 있다.
본 발명의 실시예에 따르면, 각도 조절 부재(500)가 제1 송수신 장치(100) 및 제2 송수신 장치(200) 사이에 배치되어 제1 송수신 장치(100)의 제1 수광부(120)의 광축 및 제2 송수신 장치(200)의 제2 수광부(220)의 광축 간 각도를 조절하는 경우, 제1 송수신 장치(100)의 제1 발광부(110) 및 제1 수광부(120)는 하나의 기판(S3) 상에 배치되고, 제2 송수신 장치(200)의 제2 발광부(210) 및 제2 수광부(220)도 하나의 기판(S4) 상에 배치될 수 있다.
이때, 제1 발광부(110)의 광축(X3) 및 제1 수광부(120)의 광축(X1)은 서로 평행하고, 제2 발광부(210)의 광축(X4) 및 제2 수광부(220)의 광축(X2)은 서로 평행할 수 있다. 다만, 제1 발광부(110)가 출력하는 제1 출력광 신호가 제1 영역(A1)을 포함하는 영역에 조사되고, 제2 발광부(210)가 출력하는 제2 출력광 신호가 제2 영역(A2)을 포함하는 영역에 조사되기 위하여, 제1 발광부(110) 및 제2 발광부(210)는 각각 광원 상에 배치된 확산부재를 포함할 수 있다.
또는, 제1 발광부(110)의 광축(X3) 및 제1 수광부(120)의 광축(X1)은 서로 평행하지 않고, 제2 발광부(210)의 광축(X4) 및 제2 수광부(220)의 광축(X2)은 서로 평행하지 않을 수도 있다. 이를 위하여, 제1 발광부(110) 및 제1 수광부(120)가 동일 기판(S3) 상에 배치되되, 제1 발광부(110)가 배치된 영역은 제1 수광부(120)가 배치된 영역에 대하여 경사질 수 있다. 이와 마찬가지로, 제2 발광부(210) 및 제2 수광부(220)가 동일 기판(S4) 상에 배치되되, 제2 발광부(210)가 배치된 영역은 제2 수광부(220)가 배치된 영역에 대하여 경사질 수 있다. 또는, 제1 발광부(110)에 포함되는 렌즈 어셈블리 및 제2 발광부(210)에 포함되는 렌즈 어셈블리는 각각 비축 렌즈를 포함할 수도 있다.
이에 따르면, 제1 출력광 신호의 광 분포는 제1 영역(A1)의 중심에 대하여 비대칭이고, 제2 출력광 신호의 광 분포는 제2 영역(A2)의 중심에 대하여 비대칭일 수 있으나, 제1 출력광 신호는 제1 영역(A1)을 포함하도록 조사되고, 제2 출력광 신호는 제2 영역(A2)을 포함하도록 조사되므로, 제1 영역(A1) 및 제2 영역(A2)을 포함하는 전체 영역에 대하여 깊이 정보가 생성될 수 있다.
한편, 본 발명의 실시예에 따른 카메라 장치는 AR 글래스에 적용 가능하다.
사용자의 시력에 따라 AR 글래스를 사용시 별도의 렌즈나 안경 착용이 필요한데, 이를 AR글라스에 장착된 프로젝터를 통해 현실 이미지를 사용자의 시력에 맞춰 사용 가능하다. 또한, 사용자의 시력 변화에 따라 언제든 초점 재구성이 가능하며 시력 측정값 저장을 통해 매번 설정할 필요없이 기기를 사용자화 가능하다.
AR 글래스의 경우, 기구에 작은 틈이 발생하는 경우, 프로젝터로부터 방출되는 빛이 사용자의 시력에 영향을 미칠 수 있어, Eye-safety를 위하여, 기기의 오작동을 미연에 방지할 수 있는 기술이 필요하다.
본 발명의 실시예에 따르면, 카메라 장치(1)에 포함되는 제1 송수신 장치(100) 또는 카메라 장치(1)에 포함되는 제2 송수신 장치(200)에서, 서로 접합 결합되는 부분이 분리되는지를 감지하는 분리 감지 장치를 제공하고자 한다.
도 7은 본 발명의 실시예에 따른 분리감지장치의 블록도이고, 도 8 내지 도 11은 본 발명의 실시예에 따른 분리감지장치의 분리감지를 설명하기 위한 도면이다.
본 발명의 실시예에 따른 분리감지장치(1100)는 감지패턴(1130) 및 감지부(1140)을 포함하고, 감지패턴(1130)은 제1 바디(1110) 및 제2 바디(1120)에 패터닝될 수 있다.
제1 바디(1110)와 제2 바디(1120)는 서로 접합된다. 제1 바디(1110)와 제2 바디(1120)는 서로 접합되는 하우징일 수 있다. 제1 바디(1110)와 제2 바디(1120)는 서로 맞물리는 형태 또는 조립되는 형태로, 주요 핵심 부품을 보호하기 위한 내부 하우징 또는 제품 외관을 형성하는 외부 하우징일 수 있다. 제1 바디(1110) 및 제2 바디(1120) 중 어느 하나는 제품을 수용하는 케이스이고, 다른 하나는 케이스를 덮는 커버일 수 있으며, 케이스와 커버가 하우징을 이룰 수 있다.
제1 바디(1110)와 제2 바디(1120)는 서로 접합되어 결합될 수 있다. 용접, 솔더링 또는 레이저 결합을 통해 접합결합될 수 있다. 제1 바디(1110)와 제2 바디(1120)는 서로 접합 시, 분리되지 않고, 접합을 유지해야 하는 기구물일 수 있다. 예를 들어, 제1 바디(1110) 및 제2 바디(1120)는 카메라 장치(1)에 포함되는 제1 송수신 장치(100)의 하우징의 적어도 일부를 이루거나, 카메라 장치(1)에 포함되는 제2 송수신 장치(200)의 하우징의 적어도 일부를 이룰 수 있다. 또는, 제1 바디(1110) 및 제2 바디(1120)는 카메라 장치(1)에 포함되는 제1 송수신 장치(100)의 제1 발광부(110)의 하우징의 적어도 일부를 이루거나, 카메라 장치(1)에 포함되는 제2 송수신 장치(200)의 제2 발광부(210)의 하우징의 적어도 일부를 이룰 수 있다. 또는, 제1 바디(1110) 및 제2 바디(1120)는 카메라 장치(1)에 포함되는 제1 송수신 장치(100)의 제1 발광부(110)의 렌즈 어셈블리의 하우징의 적어도 일부를 이루거나, 카메라 장치(1)에 포함되는 제2 송수신 장치(200)의 제2 발광부(210)의 렌즈 어셈블리의 하우징의 적어도 일부를 이룰 수 있다.
본 발명의 실시예에 따른 카메라 장치가 AR 글래스에 적용되는 경우, 본 발명의 실시예에 따른 제1 바디(1110) 및 제2 바디(1120)는 AR 글래스에 장착된 프로젝터의 하우징일 수 있다. 예를 들어, 제1 바디(1110)는 AR 글래스의 프로젝터의 케이스일 수 있고, 제2 바디(1120)는 AR 글래스의 프로젝터의 커버일 수 있다. 케이스와 커버는 서로 결합되어 하우징을 이룰 수 있다. 프로젝터로부터 방출되는 빛이 제어되어야 하나, 외부 충격 등에 의해 하우징에 이격이 발생하는 경우, 강한 빛이 방출될 수 있어, AR 글래스는 사용자의 시력에 영향을 미칠수 있는바, 하우징의 접합 유지가 중요하다. 또는, 방수, 방습이 중요한 장치의 경우, 실링이 필수적인바, 하우징이 이격되지 않고 접합을 유지해야 하는 장치의 하우징일 수 있다. 또는, 내부에 보안유지가 필요한 부품이 내장되는 하우징일 수 있고, 의도적인 분해 시도를 방지할 필요가 있는 장치의 하우징일 수 있다.
감지패턴(1130)은 제1 바디(1110)와 제2 바디(1120)의 접합부위에 제1 바디(1110)와 제2 바디(1120)를 걸쳐 패터닝된다. 제1 바디(1110)와 제2 바디(1120)의 접합이 유지되는지, 분리를 감지하기 위하여, 제1 바디(1110)와 제2 바디(1120)의 접합부위에 감지패턴(1130)을 형성한다. 이때, 감지패턴(1130)은 제1 바디(1110)와 제2 바디(1120)를 걸쳐 패터닝된다.
감지패턴(1130)은 LDS(Laser Direct Structuring) 방식으로 패터닝될 수 있다. LDS는 플라스틱 사출물에 레이저를 이용하여 표면을 패터닝 가공하고, 금속물질을 도금하는 과정을 거쳐 형성된다. LDS 패터닝을 통해 미세한 패터닝이 가능하고, 제1 바디(1110) 및 제2 바디(1120) 상에 전기적인 패턴을 형성할 수 있다. 감지패턴(1130)은 이외에 다양한 방식으로 제1 바디(1110) 및 제2 바디(1120) 상에 패터닝되어 형성될 수 있다.
감지패턴(1130)은 제1 바디(1110) 및 제2 바디(1120)를 가로질러 연결되는 적어도 하나 이상의 크로스 패턴을 포함할 수 있다. 제1 바디(1110)와 제2 바디(1120)는 서로 접합되고, 제1 바디(1110)와 제2 바디(1120)가 접합된 상태에서 제1 바디(1110)와 제2 바디(1120)를 가로질러 연결되는 크로스 패턴을 포함할 수 있다. 제1 바디(1110)와 제2 바디(1120)를 가로지르는 형태로, 제1 바디(1110)와 제2 바디(1120)가 접합될 때, 크로스 패턴이 하나의 패턴으로 유지될 수 있고, 제1 바디(1110)와 제2 바디(1120)가 분리되는 경우, 크로스 패턴도 분리되어 하나의 패턴을 유지할 수 없게 된다.
감지패턴(1130)은 제1 바디(1110)에 패터닝되는 제1 패턴(1131) 및 제2 바디(1120)에 패터닝되는 제2 패턴(1132)을 포함하고, 제1 패턴(1131)과 제2 패턴(1132)은 적어도 하나의 접점(1133)을 통해 연결될 수 있다. 감지패턴(1130)은 제1 바디(1110) 및 제2 바디(1120)에 각각 제1 패턴(1131) 및 제2 패턴(1132)을 형성하고, 제1 바디(1110)와 제2 바디(1120)를 접합시, 제1 패턴(1131)과 제2 패턴(1132)은 접점(1133)을 통해 연결될 수 있다. 제1 바디(1110)와 제2 바디(1120)의 접합이 유지되는 경우, 제1 패턴(1131)과 제2 패턴(1132)이 접점(1133)을 통해 연결되고, 제1 바디(1110)와 제2 바디(1120)가 분리되는 경우, 제1 패턴(1131)과 제2 패턴(1132)은 접점(1133)을 통한 연결이 분리된다. 접점(1133)은 적어도 하나를 포함하고, 복수의 접점(1133)을 포함할 수 있다. 복수의 접점(1133)을 통해, 제1 바디(1110)와 제2 바디(1120)의 분리를 감지하는 영역의 범위를 넓힐 수 있다. 외부 충격 등에 의해 제1 바디(1110)와 제2 바디(1120)이 유격이 발생하는 경우, 제1 바디(1110)와 제2 바디(1120)가 완전 분리될 수도 있으나, 일부 영역에만 분리가 발생할 수 있는바, 제1 바디(1110)와 제2 바디(1120)의 접합부위에 걸쳐 복수의 접점(1133)을 배치하여 분리감지장치(1100)의 분리가 감지될 수 있다.
감지패턴(1130)은 제1 바디(1110) 및 제2 바디(1120)를 가로질러 형성되는 미앤더(meander) 형상 또는 지그재그(zig-zag) 형상으로 패터닝될 수 있다. 도 9와 같이, 제1 바디(1110)와 제2 바디(1120)를 반복적으로 가로지르는 미앤더 형상으로 패터닝될 수 있다. 이를 통해, 감지패턴(1130)은 복수의 접점(1133)을 형성할 수 있다. 미앤더 형상의 패터닝은 제1 바디(1110)와 제2 바디(1120)의 접합부위 전체에 걸쳐 형성될 수 있다. 이를 통해, 하나의 루프를 형성하되, 복수의 접점을 형성할 수 있다.
감지부(1140)는 감지패턴(1130)과 전기적으로 연결되어 감지패턴(1130)의 분리를 감지한다. 감지패턴(1130)은 전기적으로 도통되는 패턴으로, 감지부(1140)는 감지패턴(1130)과 전기적으로 연결되어, 감지패턴(1130)에 전류를 흐르도록 하여 감지패턴(1130)의 분리를 감지할 수 있다.
감지부(1140)는 감지패턴(1130)의 저항을 측정하고, 저항의 변화에 따라 제1 바디(1110)와 제2 바디(1120)의 분리를 감지할 수 있다. 감지부(1140)는 감지패턴(1130)으로 신호를 인가하고, 감지패턴(1130)을 통해 흘러, 감지패턴(1130)으로부터 출력되는 신호를 감지하여, 감지패턴(1130)의 저항을 측정할 수 있다. 감지패턴(1130)이 전기적으로 도통되었는지 판단하기 위하여, 감지부(1140)는 적어도 두 개의 연결포트를 통해 감지패턴(1130)과 전기적으로 연결될 수 있다. 하나의 연결포트는 신호를 감지패턴(1130)으로 출력하는 출력포트이고, 다른 하나의 연결포트는 감지패턴(1130)으로부터 신호를 입력받는 입력포트일 수 있다. 감지부(1140)는 MCU(Micro Controller Unit)일 수 있고, 연결포트는 도 9와 같이, PA0 및 PB0를 이용할 수 있다. PA0 및 PB0는 ADC 또는 DAC 포트일 수 있고, 디지털 신호를 아날로그 신호로 변환하여 감지패턴(1130)으로 출력하고, 감지패턴(1130)으로부터 입력되는 아날로그 신호를 디지털 신호로 변환하여 감지패턴(1130)의 저항을 측정할 수 있다.
감지패턴(1130)은 도전패턴으로 패터닝 되는 물질의 저항특성 및 패턴의 길이에 따라 저항이 달라질 수 있다. 감지부(1140)는 제1 바디(1110)와 제2 바디(1120)가 접합된 상태에서 감지패턴(1130)에 신호를 인가하고 감지패턴(1130)으로부터 출력되는 신호를 이용하여 감지패턴(1130)의 저항을 측정하고, 측정된 저항을 기준저항으로 설정할 수 있다. 감지부(1140)는 실시간 또는 주기적으로 감지패턴(1130)의 저항을 측정하고, 측정된 저항을 기준저항과 비교하여 저항의 변화를 감지할 수 있다. 제1 바디(1110)와 제2 바디(1120)가 분리되는 경우, 저항이 커질 수 있고, 저항의 차이가 임계범위를 벗어나는 경우, 감지부(1140)는 제1 바디(1110)와 제2 바디(1120)가 분리되었다고 판단할 수 있다. 제1 바디(1110)와 제2 바디(1120)가 완전히 분리되는 경우, 감지패턴(1130)의 루프가 해제되어 오픈되어 전류가 흐르지 않게 되고, 감지부(1140)는 제1 바디(1110)와 제2 바디(1120)가 분리되었다고 판단할 수 있다.
감지패턴(1130)의 접점(1133)이 일시적으로 떨어져 전기가 도통되지 않는 상태가 일정시간 이상 지속되는 경우, 감지부(1140)는 제1 바디(1110)와 제2 바디(1120)가 분리되었다고 판단할 수 있다. 예를 들어, 감지패턴(1130)이 도통되지 않는 상태가 1ms 이상 지속되는 경우, 감지부(1140)는 제1 바디(1110)와 제2 바디(1120)가 분리되었다고 판단할 수 있다.
제1 바디(1110) 및 제2 바디(1120)는 각각 서로 대향하여 접하는 면을 포함하고, 감지패턴(130)은 서로 대향하여 접하는 제1 바디의 면(1111)에 배치되는 적어도 하나의 제1 접점(1134) 및 서로 대향하여 접하는 제2 바디(1120)의 면에 배치되고, 제1 접점(1134)에 대응하는 적어도 하나의 제2 접점(미도시)을 포함할 수 있다. 제1 접점(1134) 또는 제2 접점은 서로 접합된 이후 분리시 감지패턴(1130)이 손상될 수 있다. 감지패턴(1130)은 도 10과 같이, 제1 바디(1110)와 제2 바디(1120)가 접하는 면에 형성될 수 있다. 즉, 서로 대향하여 직접 접합되는 면 상에 패턴을 형성하고, 해당 면에 접점을 형성할 수 있다. 제1 바디(1110)의 접합면(1111)에 원형의 제1 접점(1134)을 형성하고, 제2 바디(1120)에도 이에 대응하는 제2 접점을 형성할 수 있다. 제1 접점(1134)과 제2 접점이 접합시 서로 융해되어 일체화되되 분리가 쉬운 재료로 구성될 수 있다. 제1 바디(1110)와 제2 바디(1120)가 분리되는 경우, 일체화된 제1 접점(1134)과 제2 접점은 분리될 수 있고, 이때, 제1 접점(1134) 또는 제2 접점에 물리적으로 손상이 발생하게 되어, 다시 재접합이 어려워지도록 할 수 있다. 이를 통해, 의도적인 제1 바디(1110)와 제2 바디(1120)의 분해 등이 이루어지는 경우, 영구적으로 동작이 불가능하도록 할 수 있다. 감지부(1140)의 분리 판단에 따라 영구적인 동작을 불가능하게 하는 경우, 감지부(1140)가 동작하는 경우에만 가능한바, 의도적인 분해시, 감지부(1140)의 동작을 정지시키는 경우, 해킹 등이 가능할 수 있다. 이때, 분리시 제1 접점(1134) 또는 제2 접점에 물리적인 손상이 발생하도록 함으로써 감지부(1140)의 분리감지 없이도 영구적으로 동작불능을 구현할 수 있다.
감지패턴(1130)은 감지부(1140)와 연결되어 루프를 형성하는 복수의 감지패턴을 포함하고, 복수의 감지패턴은 각각 패터닝되는 위치가 상이할 수 있다. 하나의 감지패턴(1130)은 하나의 루프를 형성할 수 있고, 도 9와 같이, 복수의 접점을 형성하더라도 각 접점에서 제1 바디(1110)와 제2 바디(1120)의 분리가 발생하는 경우, 분리여부를 판단할 수 있을 뿐, 어느 접점에서 분리가 발생한 것인지 감지하기 어렵다. 분리가 발생하는 위치를 감지하기 위하여, 도 10과 같이, 각각 루프를 형성하는 복수의 감지패턴(1510 내지 1540)을 형성하고, 각 감지패턴(1130)의 접점의 위치를 서로 다르게 형성함으로써 각 감지패턴이 감지하는 분리영역을 다르게 설정할 수 있다. 이때, 각 감지패턴(1510 내지 1540)마다 루프를 형성해야 하는바, 감지부(1140)는 감지패턴마다 2 개의 입출력 포트를 포함할 수 있다. 또는, 각 감지패턴(1510 내지 1540)으로 신호를 출력하는 하나의 출력포트와 각 감지패턴(1510 내지 1540)으로부터 신호를 입력받는 복수의 입력포트를 포함할 수 있다. 이와 같이, 감지패턴(1510 내지 1540) 별로 독립적으로 저항을 측정할 수 있고, 각각 기준저항과의 비교를 통해 어느 감지패턴에서 분리가 발생했는지를 판단할 수 있다. 도 7 내지 도 11은 제1 바디(1110)와 제2 바디(1120)가 하나의 면에서 접합하는 것으로 도시되었으나, 두 면 이상에서 접합이 이루어질 수 있고, 접합이 이루어지는 면마다 감지패턴을 형성하여 접합면 중 어느 접합면에서 분리가 발생하는지를 판단할 수 있다.
상기와 같이, 감지패턴을 이용하여 분리를 감지하여, 기구물의 의도적인 분해 시도를 할 경우 해당 제품의 동작을 영구적으로 불가능하게 만들수 있고, 낙하를 비롯한 물리적인 충격 상황에서 하우징의 손상을 전기적으로 모니터링하고, Eye-Safety를 비롯한 안전상에 문제가 발생하는 경우 기기의 오작동을 미연에 방지할 수 있다. 의도적인 분해가 아닌 정상적인 분해인 경우에는 사전에 인가된 절차에 의해서 기구물의 분해를 위한 Security Code를 활용해서 영구 동작 정지를 해제할 수도 있다. 전기적인 패턴은 감지부(1140)인 MCU가 동작되지 않을 경우 감지가 불가능하기 때문에, 감지부(1140)의 감지없이도 도 10과 같이, 접점의 둥근 원 부분을 물리적으로 잘 떨어지도록 제작하여 최초 분해시 물리적으로 패턴이 손상되도록 만들 수 있다.
맞물리는 형태 또는 조립되는 형태로 주요 핵심 부품을 보호 하기 위한 내부 하우징, 또는 제품 외관을 형성하는 외부 하우징에 있어서, 기구적으로 분해 되는 하우징의 접합부분에 연결될 수 있도록 LDS를 활용하여 전기적인 접점을 만든 장치에 적용이 가능하고, 전기적으로 연결 상태를 검사하여, 양쪽의 하우징의 접점이 연결되어 전기가 도통될 때, 정상 동작을 하고, 접점이 일시적으로 떨어져 전기가 도통되지 않은 상태가 일정시간, 예를 들어 1msec 이상 지속될 경우, 조건에 따라 영구적으로 동작 불가능하도록 E-Fuse(이하 Electrical-Fuse) 역할을 할 수 있다. 이때, MCU인 감지부(1140)는 외부 통신 인터페이스(Interface)를 통해서 미리 정해진 Security Code를 넣으면, 하우징을 분해 하더라도(접점이 오픈 되더라도) E-Fuse가 동작하지 않도록 설정할 수 있다. 의도적으로 분해하여 기구적인 움직임, 전기적인 움직임을 모니터링할 목적으로 분해를 시도할 경우 영구적으로 동작하지 않도록 만들 수 있고, 중요 핵심 부품은 접점을 많이 사용해서 약간의 틈이라도 인위적인 힘으로 간격이 벌어지는 경우를 감지할 수 있다. 본 발명의 실시예에 따르면, 감지부(1140)는 분리 감지 장치(1100)를 위한 독립된 MCU일 수도 있고, 카메라 장치(1)의 제어부(400)일 수도 있다.
도 12는 본 발명의 실시예에 따른 전자장치의 블록도이다. 본 발명의 실시예에 따른 전자장치(1200)는 제1 바디(1110), 제1 바디(1110)와 접합되는 제2 바디(1120), 제1 바디(1110) 또는 제2 바디(1120) 내부에 배치되는 내부소자(1210), 내부소자(1210)를 제어하는 제어부(1220), 및 제1 바디(1110)와 제2 바디(1120)의 접합부위에 제1 바디(1110)와 제2 바디(1120)를 걸쳐 패터닝되는 감지패턴(1130)을 포함한다. 제어부(1220)는 감지패턴(1130)과 전기적으로 연결되어 감지패턴(1130)의 분리를 감지한다. 본 발명의 실시예에 따른 전자장치(1200)의 각 구성에 대한 상세한 설명은 도 7 내지 도 11의 분리감지장치에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.
내부소자(1210)는 제1 바디(1110)와 제2 바디(1120)가 형성하는 내부 공간에 배치될 수 있고, 전자장치의 구동되는 모듈 내지 소자들일 수 있다. 내부소자(1210)는 제1 바디(1110) 및 제2 바디(1120)를 통해 보호될 수 있다. 내부소자(1210)는 제1 바디(1110) 및 제2 바디(1120)가 분리시 동작을 정지해야 하는 모듈 내지 장치일 수 있고, 이경우, 제1 바디(1110) 및 제2 바디(1120)의 내부 공간이 아닌 다른 위치에 배치될 수도 있다. 본 발명의 실시예에 따른 전자장치가 카메라 장치(1) 내의 제1 송수신 장치(100)이거나 제2 송수신 장치(200)인 경우, 내부소자(1210)는 제1 송수신 장치(100)에 포함된 내부 소자 또는 제2 송수신 장치(200)에 포함된 내부 소자일 수 있다. 또는, 본 발명의 실시예에 따른 전자장치가 카메라 장치(1) 내의 제1 송수신 장치(100)의 제1 발광부(110)이거나 제2 송수신 장치(200)의 제2 발광부(210)인 경우, 내부소자(1210)는 제1 발광부(110)에 포함된 내부 소자 또는 제2 발광부(210)에 포함된 내부 소자일 수 있다.
감지패턴(1130)은, 제1 바디(1110)에 패터닝되는 제1 패턴(1131) 및 제2 바디(1120)에 패터닝되는 제2 패턴(1132)을 포함하고, 제1 패턴(1131)과 제2 패턴(1132)은 적어도 하나의 접점(1133)을 통해 연결될 수 있고, 감지패턴(1130)은 LDS(Laser Direct Structuring) 방식으로 패터닝될 수 있다. 또한, 감지패턴(1130)은, 제1 바디(1110) 및 제2 바디(1120)를 가로질러 연결되는 적어도 하나 이상의 크로스 패턴을 포함할 수 있고, 제1 바디(1110) 및 제2 바디(1120)를 가로질러 형성되는 미앤더 형상 또는 지그재그 형상으로 패터닝될 수 있다. 또한, 제1 바디(1110) 및 제2 바디(1120)는 각각 서로 대향하여 접하는 면을 포함하고, 감지패턴(1130)은, 서로 대향하여 접하는 제1 바디(1110)의 면에 배치되는 적어도 하나의 제1 접점(1134) 및 서로 대향하여 접하는 제2 바디(1120)의 면에 배치되고, 제1 접점(1134)에 대응하는 적어도 하나의 제2 접점을 포함하고, 제1 접점 또는 제2 접점은 서로 접합된 이후 분리시 패턴이 손상될 수 있다. 또한, 감지패턴(1130)은, 루프를 형성하는 복수의 감지패턴을 포함하고, 복수의 감지패턴은 각각 패터닝되는 위치가 상이할 수 있다.
제어부(1220)는 감지패턴(1130)의 저항을 측정하고, 상기 저항의 변화에 따라 제1 바디(1110)와 제2 바디(1120)의 분리를 감지하고, 감지패턴(1130)의 분리를 감지하면, 내부소자(1210)의 동작을 정지할 수 있다. 또한, 제어부(1220)는 상기 감지패턴(1130)의 분리를 감지하면, 내부소자(210)의 재동작을 차단하여 영구적으로 동작되지 않도록 할 수 있다.
본 발명의 실시예에 따르면, 제어부(1220)는 전자 장치(1200)를 위한 독립된 MCU일 수도 있고, 카메라 장치(1)의 제어부(400)일 수도 있다.
이상에서, ToF 방식으로 깊이 정보를 추출하는 카메라 장치를 중심으로 설명하고 있으나, 본 발명의 실시예가 이로 제한되는 것은 아니다. 본 발명의 실시예에 따른 카메라 장치는 구조광 방식을 이용하여 깊이 정보를 추출하는 카메라 장치를 의미할 수도 있다. 즉, 본 발명의 실시예에 따른 카메라 장치는 소정 패턴을 가지는 구조광을 출력광 신호로 이용하고, 구조광의 디스패리티(disparity)를 이용하여 깊이 정보를 생성할 수도 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 제1 출력광 신호를 출력하는 제1 발광부, 및 상기 제1 출력광 신호가 객체로부터 반사된 제1 입력광 신호를 수신하는 제1 수광부를 포함하는 제1 송수신 장치;
    제2 출력광 신호를 출력하는 제2 발광부, 및 상기 제2 출력광 신호가 상기 객체로부터 반사된 제2 입력광 신호를 수신하는 제2 수광부를 포함하는 제2 송수신 장치;
    상기 제1 수광부에 수신된 상기 제1 입력광 신호 및 상기 제2 수광부에 수신된 제2 입력광 신호를 이용하여 상기 객체에 대한 깊이 정보를 생성하는 깊이 정보 생성부; 그리고
    상기 제1 송수신 장치, 상기 제2 송수신 장치 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하고,
    상기 제1 입력광 신호는 상기 객체의 제1 영역에 대한 입력광 신호이고, 상기 제2 입력광 신호는 상기 객체의 제2 영역에 대한 입력광 신호이며,
    상기 깊이 정보는 상기 제1 영역 및 상기 제2 영역이 서로 중첩되는 상기 객체의 중첩 영역에 대한 제1 깊이 정보 및 상기 제1 영역 및 상기 제2 영역이 서로 중첩되지 않는 상기 객체의 비중첩 영역에 대한 제2 깊이 정보를 포함하며,
    상기 제1 깊이 정보의 해상도는 상기 제2 깊이 정보의 해상도보다 높은 카메라 장치.
  2. 제1항에 있어서,
    상기 중첩 영역은 상기 비중첩 영역 사이에 배치되는 카메라 장치.
  3. 제2항에 있어서,
    상기 제1 깊이 정보는 상기 중첩 영역에 대한 상기 제1 입력광 신호 및 상기 제2 입력광 신호의 합성에 의하여 생성된 카메라 장치.
  4. 제1항에 있어서,
    상기 제1 출력광 신호의 광 분포는 상기 제1 영역의 중심에 대하여 비대칭이고, 상기 제2 출력광 신호의 광 분포는 상기 제2 영역의 중심에 대하여 비대칭인 카메라 장치.
  5. 제4항에 있어서,
    상기 제1 발광부 및 상기 제2 발광부는 각각 광원 및 상기 광원 상에 배치된 확산부재를 포함하는 카메라 장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 제1 발광부 및 상기 제2 발광부가 교대로 온/오프되도록 제어하는 카메라 장치.
  7. 제6항에 있어서,
    상기 제1 수광부의 광축과 상기 제2 수광부의 광축은 서로 평행하고, 상기 제1 발광부의 광축과 상기 제1 수광부의 광축은 서로 평행하지 않으며, 상기 제2 발광부의 광축과 상기 제2 수광부의 광축은 서로 평행하지 않은 카메라 장치.
  8. 제1항에 있어서,
    상기 제1 수광부 및 상기 제2 수광부 사이에 배치되며, 상기 제1 수광부의 광축 및 상기 제2 수광부의 광축이 이루는 각도를 조절하는 각도 조절 부재를 더 포함하고,
    상기 제1 수광부의 광축 및 상기 제2 수광부의 광축이 이루는 각도에 따라 상기 중첩 영역의 범위가 달라지는 카메라 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 각도 조절 부재를 제어하는 카메라 장치.
  10. 제9항에 있어서,
    상기 제1 발광부의 광축과 상기 제1 수광부의 광축은 서로 평행하고, 상기 제2 발광부의 광축과 상기 제2 수광부의 광축은 서로 평행한 카메라 장치.
PCT/KR2023/011834 2022-08-11 2023-08-10 카메라 장치 Ceased WO2024035157A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/993,658 US20260009906A1 (en) 2022-08-11 2023-08-10 Camera device
CN202380059143.7A CN119768728A (zh) 2022-08-11 2023-08-10 摄像头装置
JP2025503423A JP2025526569A (ja) 2022-08-11 2023-08-10 カメラ装置
EP23853025.7A EP4571391A4 (en) 2022-08-11 2023-08-10 CAMERA DEVICE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0100642 2022-08-11
KR1020220100642A KR20240022226A (ko) 2022-08-11 2022-08-11 카메라 장치
KR1020220107185A KR20240028877A (ko) 2022-08-25 2022-08-25 분리감지장치
KR10-2022-0107185 2022-08-25

Publications (1)

Publication Number Publication Date
WO2024035157A1 true WO2024035157A1 (ko) 2024-02-15

Family

ID=89852143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011834 Ceased WO2024035157A1 (ko) 2022-08-11 2023-08-10 카메라 장치

Country Status (5)

Country Link
US (1) US20260009906A1 (ko)
EP (1) EP4571391A4 (ko)
JP (1) JP2025526569A (ko)
CN (1) CN119768728A (ko)
WO (1) WO2024035157A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046861A (ko) * 2018-10-26 2020-05-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기
KR20200108736A (ko) * 2019-03-11 2020-09-21 엘지이노텍 주식회사 카메라 모듈
KR20210095842A (ko) * 2020-05-26 2021-08-03 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
WO2021220862A1 (ja) * 2020-04-27 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 測距装置
KR102369792B1 (ko) * 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7417717B2 (en) * 2005-10-05 2008-08-26 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
DE102017101791B4 (de) * 2017-01-31 2020-03-26 Valeo Schalter Und Sensoren Gmbh Optoelektronische Sensoreinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
WO2019140792A1 (zh) * 2018-01-17 2019-07-25 上海禾赛光电科技有限公司 一种探测设备及其参数调整方法
JP2020060401A (ja) * 2018-10-09 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 測距装置、及び検出方法
EP3855219B1 (en) * 2020-01-21 2024-09-18 Focuslight Technologies Inc. Diffuser device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369792B1 (ko) * 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
KR20200046861A (ko) * 2018-10-26 2020-05-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기
KR20200108736A (ko) * 2019-03-11 2020-09-21 엘지이노텍 주식회사 카메라 모듈
WO2021220862A1 (ja) * 2020-04-27 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 測距装置
KR20210095842A (ko) * 2020-05-26 2021-08-03 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4571391A4 *

Also Published As

Publication number Publication date
CN119768728A (zh) 2025-04-04
US20260009906A1 (en) 2026-01-08
EP4571391A1 (en) 2025-06-18
JP2025526569A (ja) 2025-08-15
EP4571391A4 (en) 2025-12-03

Similar Documents

Publication Publication Date Title
WO2021040106A1 (ko) Ar 장치 및 그 제어 방법
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2019231307A2 (ko) 전자 디바이스
WO2020040390A1 (ko) 3차원 영상 생성 장치 및 방법
WO2020226235A1 (ko) 전자 디바이스
WO2021040119A1 (ko) 전자 디바이스
EP3712660A1 (en) Integrated electronic module for 3d sensing applications, and 3d scanning device including the integrated electronic module
WO2020189866A1 (ko) 머리에 착용할 수 있는 전자 디바이스
WO2019231306A2 (ko) 전자 디바이스
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2020055160A1 (ko) 발광모듈 및 카메라모듈
WO2020231222A1 (ko) 카메라 모듈
WO2020138640A1 (ko) 전자 디바이스
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2021040082A1 (ko) 전자 디바이스
WO2021040107A1 (ko) Ar 장치 및 그 제어 방법
WO2021029479A1 (ko) 전자 디바이스
WO2021040116A1 (en) Electronic device
WO2021049693A1 (ko) 전자 디바이스
WO2021040081A1 (ko) 전자 디바이스
WO2024035157A1 (ko) 카메라 장치
US20070222953A1 (en) Determining the Displacement of Micromirrors in a Projection System
CN117369076A (zh) 镜头驱动装置、摄像设备和智能终端
WO2015190717A1 (ko) 카메라 모듈 및 이를 포함하는 이동단말
WO2020209562A1 (ko) 렌즈 구동 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23853025

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18993658

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2025503423

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380059143.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023853025

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023853025

Country of ref document: EP

Effective date: 20250311

WWP Wipo information: published in national office

Ref document number: 202380059143.7

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023853025

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18993658

Country of ref document: US