WO2023075255A1 - 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법 - Google Patents

라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2023075255A1
WO2023075255A1 PCT/KR2022/015781 KR2022015781W WO2023075255A1 WO 2023075255 A1 WO2023075255 A1 WO 2023075255A1 KR 2022015781 W KR2022015781 W KR 2022015781W WO 2023075255 A1 WO2023075255 A1 WO 2023075255A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
subject
electronic device
light source
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/015781
Other languages
English (en)
French (fr)
Inventor
윤주환
전진아
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22887451.7A priority Critical patent/EP4390450A4/en
Priority to CN202280072067.9A priority patent/CN118176435A/zh
Priority to US18/094,634 priority patent/US20230168379A1/en
Publication of WO2023075255A1 publication Critical patent/WO2023075255A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • Various embodiments of the present disclosure relate to an electronic device including a lidar system and a control method of the electronic device.
  • An augmented reality (AR) device is a device that additionally provides virtual information based on reality, and may provide virtual reality by overlaying a virtual image on a real world image or background.
  • the augmented reality device recognizes the movement of the surrounding environment and the subject, implements location tracking or 3D mapping, and can utilize the interface through gesture recognition.
  • a light detection and ranging (LiDAR) may detect a subject and map a distance or recognize a gesture of the subject by measuring characteristics of a reflected carrier signal after illuminating the subject with an optical pulse.
  • LIDAR may detect a subject by sending a predetermined transmission power based on a designated distance without considering a variable distance to the subject. At this time, in case of transmitting fixed transmission power without considering the distance, if the distance to the subject is short, unnecessary transmission power loss occurs, and if the distance to the subject is long, the subject is not recognized due to lack of transmission power. may not be
  • the transmission power is increased when the distance to the subject is long to recognize the subject, and when the distance to the subject is short.
  • the transmission power of LIDAR By reducing the transmission power of LIDAR, the subject can be recognized with less power.
  • current consumption of an electronic device including a LIDAR system may be reduced.
  • an electronic device includes an Rx sensor including auto focus pixels interspersed in image pixels sensing image information and a LIDAR system including a Tx light source outputting a pulse laser, and Before driving the Tx light source, a distance to the subject is calculated using autofocus pixels included in the Rx sensor, transmission power of the Tx light source is adaptively determined based on the distance to the subject, and transmission power of the Tx light source is adaptively determined.
  • a processor controlling the light source to output the pulsed laser light according to the transmission power may be included.
  • the wearable electronic device includes an Rx sensor including autofocus pixels scattered in image pixels for detecting image information including a plurality of image frames, a Tx light source outputting a pulse laser, and driving the Tx light source.
  • the distance to the subject is calculated using the autofocus pixels included in the Rx sensor beforehand, and the transmission power of the Tx light source is adaptively determined based on the distance to the subject, and the Tx light source determines the transmission power.
  • It may include a processor that controls to output a pulse laser according to, and generates virtual content based on the image information and the distance to the subject, and a display that displays the virtual content.
  • a lidar system includes a Tx light source for outputting a pulse laser beam and an Rx sensor for receiving pulse signals from which the pulse laser beam is reflected on a subject, and the Rx sensor includes image pixels for detecting image information.
  • the distance to the subject may be calculated based on a parallax between autofocus images that include autofocus pixels interspersed within the image and correspond to the autofocus pixels.
  • a control method of an electronic device including an Rx sensor and a Tx light source includes an operation of calculating a distance to a subject using autofocus pixels included in the Rx sensor before driving the Tx light source, and calculating a distance between the subject and the subject.
  • a lidar system may calculate a distance to a subject using autofocus pixels.
  • the electronic device may expand coverage by increasing transmission power even when the distance to the subject is long.
  • the electronic device can prevent unnecessary transmission power loss by reducing the transmission power of the LIDAR when the distance to the subject is short.
  • the electronic device can reduce the current consumption of the lidar and improve the performance of the lidar by adaptively determining the transmission power of the lidar in consideration of the distance to the subject.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • Figure 2 is a diagram for explaining the general operation of the lidar system.
  • 3 is a diagram for explaining the operation of a LIDAR system with fixed transmit power.
  • FIG. 4 is a diagram for explaining the structure of a lidar system according to an embodiment.
  • FIG. 5 is a block diagram of an electronic device including a lidar system according to an embodiment.
  • FIG. 6 is a diagram for explaining a method of calculating a distance to a subject in an electronic device including a LIDAR system according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining a method of calculating a distance to a subject based on a phase difference according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining an operation when transmission power of a Tx light source is adaptively determined in an electronic device according to an embodiment.
  • FIG. 10 is a block diagram of a wearable electronic device according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of controlling an electronic device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, the display 160, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or fingerprint sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, camera module 180 may include one or more lenses, image pixels, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • a light detection and ranging (LiDAR) system 200 includes a laser transmitter 210, a first lens 220, a laser detector (laser receiver) 230, and a second lens 240. , may include a control unit 250.
  • LiDAR light detection and ranging
  • the laser transmitter 210 may output a pulse signal, that is, a pulse laser beam, to the subjects 201 and 203 through the first lens 220 .
  • a laser light source may be used as a light source of the laser transmitter 210 .
  • the light source of the laser transmitting unit 210 for example, laser light sources having a specific wavelength or capable of changing the wavelength are used in the wavelength range from 250 nm to 11 ⁇ m, and a semiconductor laser diode capable of being compact and / or capable of low power may be used. there is.
  • the laser detector 230 may detect a laser signal reflected from the subjects 201 and 203 by the pulse laser output from the laser transmitter 210 .
  • the laser detector 230 may receive a laser signal reflected through the second lens 240 .
  • the control unit 250 may receive or collect signals detected by the laser detection unit 230 and transmit and receive processed data to and from a processor (eg, the processor 530 of FIG. 5 ).
  • a processor eg, the processor 530 of FIG. 5
  • the lidar system 200 may be classified into, for example, a time-of-flight (TOF) method and a phase-shift method according to a modulation method of a laser signal.
  • the TOF method measures the time (t1, t2) at which the laser transmitter 210 emits a pulse signal and the reflected pulse signals from the objects 201 and 203 within the measurement range arrive at the laser detector 230, thereby detecting the objects This is a method of measuring the distance to (201, 203).
  • the laser transmitter 210 emits a laser beam that is continuously modulated with a specific frequency
  • the laser detector 230 measures the amount of phase change of the signal that is reflected from an object within the measurement range and returns to the time and distance. is a way to calculate
  • the lidar system 200 may map the distance through a sensing method for detecting the subjects 201 and 203 through the above-described process.
  • pulse power of a light source, round trip time of a pulse signal, phase shift, and/or pulse width may correspond to typical parameters used to extract information from the lidar system 200 .
  • a typical LIDAR system 200 may be used in a manner in which a laser transmitter 210 emits a pulse signal to obtain distance information from subjects 201 and 203 within a measurement range.
  • FIG. 3 is a diagram for explaining the operation of a LIDAR system with fixed transmit power.
  • a diagram 310 showing a case where the transmission power of a lidar system (eg, the lidar system 200 of FIG. 2) is set to a fixed value corresponding to a certain distance A at which the subject is located.
  • a drawing 320 showing the case where is closer than A and a drawing 330 showing the case where the subject is farther than A are shown.
  • the transmission power of the LIDAR system 200 may be fixed to correspond to a certain distance A as shown in a drawing 310 .
  • the lidar system 200 can efficiently recognize a subject (eg, a person) by consuming a reference amount of power.
  • 'baseline power' may represent the amount of power required to transmit the pulse to the distance A.
  • the lidar system 200 when the lidar system 200 transmits a pulse laser with a fixed transmission power at a certain distance A without considering the distance to the subject, the performance and efficiency of the lidar system 200 may be degraded. there is.
  • a scenario in which the distance to the subject is smaller than the distance A as illustrated in the drawing 320 or larger than the distance A as illustrated in the drawing 330 may be considered.
  • drawing 320 when the distance to the subject is smaller than the distance A, a smaller amount of transmission power may be used compared to the reference power required to detect the subject at the distance A.
  • power efficiency of the LIDAR system 200 may be reduced by unnecessarily consuming a lot of power.
  • a lidar system recognizes the distance to a subject during an initial operation, and The power efficiency and/or performance of the LIDAR system may be improved by adaptively determining the transmit power of the LIDAR system based on the recognized distance.
  • a lidar system 400 may include an Rx sensor 410 and a Tx light source 430.
  • the Rx sensor 410 may receive pulse signals in which the pulse laser output from the Tx light source 430 is reflected on the subject.
  • the Rx sensor 410 includes phase auto pixels 413 interspersed within the image pixels 411 for detecting image information. can do.
  • the autofocus pixels 413 may acquire autofocus images.
  • the autofocus pixels 413 may be, for example, phase-based autofocus pixels.
  • a phase-based autofocus pixel may be referred to as an 'autofocus pixel'.
  • the autofocus pixels 413 can improve focusing speed by accurately providing lens position variation and direction based on captured information of a single frame.
  • the image pixels 411 may also be referred to as 'image pixel sensors'.
  • the autofocus pixels 413 may be referred to as 'autofocus pixel sensors'.
  • the lidar system 400 determines the distance to the subject based on the parallax between the corresponding autofocus pixels 413 in the autofocus images (AF images) (eg, the autofocus images 625 and 635 of FIG. 6 ). can be calculated
  • the autofocus images may be, for example, a left autofocus image and a right autofocus image received through the pair 415 of autofocus pixels.
  • the autofocus images may include, for example, a gray scale image associated with an intensity measured or obtained from the autofocus pixel pair 415 . Pairs 415 of autofocus pixels may be interspersed within image pixels 411 at a sufficient (eg, determined) density to provide resolution.
  • the pair 415 of autofocus pixels may each be a 16 x 16 (ie density) pixel array.
  • two pairs 415 of autofocus pixels may be placed in each 16 x 16 pixel array. It can be understood that the predetermined density can be changed according to the embodiment.
  • the distribution can specify the pairs 415 of autofocus pixels to be in different rows and columns in a 16 x 16 pixel array.
  • the distribution may specify that the autofocus pixels have at least one row and one column between each other.
  • the distribution of autofocus pixels 413 among the image pixels 411 of the Rx sensor 410 may be stochastic.
  • the distribution of autofocus pixels 413 can be a predetermined pattern, for example autofocus pixels 413 at every ith position of a particular row r(f), where f is a function to be an integer.
  • Image pixels 411 and autofocus pixels 413 may be, for example, a charge-coupled device, an active pixel sensor, a photodiode, or light into an electrical signal. It may include any photo sensor, such as, but not necessarily limited to, any other device that converts.
  • the pair of autofocus pixels 413 can be arranged in any way to obtain two autofocus images.
  • the pair of autofocus pixels 413 may be arranged along a diagonal line like the pair of autofocus pixels 415 shown in FIG. 4 .
  • the pair of autofocus pixels 413 can be arranged horizontally (same row) or vertically (same column).
  • autofocus pixels 413 may be arranged adjacently.
  • the meaning of 'arranged adjacently' means that two autofocus pixels constituting a pair are adjacent to each other, but are arranged separated by a predetermined offset that causes a phase difference or parallax between the two autofocus pixels constituting the pair. meaning can be understood.
  • the pair of autofocus pixels 413 may be arranged in a pattern similar to that shown in the Rx sensor 600 of FIG. 6 below or in a different pattern, for example.
  • a phase difference between autofocus images acquired by the autofocus pixels 413 may be used to calculate a distance to the subject.
  • the Tx light source 430 outputs a pulsed laser like the laser transmitter 210 of the lidar system 200 described above through FIG. Power can be adaptively regulated.
  • LiDAR system 400 contrary to the use of the laser transmitter 210 and laser detector 230 in the general lidar system described above with reference to FIG. 2, the Rx sensor rather than the Tx light source 430
  • the distance to the subject is calculated based on the parallax between the autofocus images (AF images) corresponding to the autofocus pixels 413 of 410, and based on this, the transmission power of the Tx light source 430 is adjusted and consumed. It is possible to reduce power or improve the performance of the lidar system 400 .
  • an electronic device 500 (eg, electronic device 101 of FIG. 1 ) according to an embodiment includes a lidar system 510 (eg, lidar system 400 of FIG. 4 ) and a processor. (530).
  • the electronic device 500 may further include a camera 550 (eg, the camera module 180 of FIG. 1 ) and a memory 570 (eg, the memory 130 of FIG. 1 ).
  • the lidar system 510 , processor 530 , camera 550 , and memory 570 may be connected to each other through a communication bus 505 .
  • the lidar system 510 may include an Rx sensor 511 and a Tx light source 513 .
  • the Rx sensor 511 includes autofocus pixels (eg, image pixels 411 of FIG. 4 and image pixels 610 of FIG. 6 ) interspersed in image pixels that sense image information (eg, image pixels 411 of FIG.
  • the autofocus pixels 413 and the autofocus pixels 620 and 630 of FIG. 6 may be included.
  • the Tx light source 513 may output a pulse laser.
  • the lidar system 510 may correspond to, for example, the lidar system 400 described above with reference to FIG. 4 .
  • the processor 530 may calculate the distance to the subject using the autofocus pixels 620 and 630 included in the Rx sensor 511 before driving the Tx light source 513 in the lidar system 510. there is. For example, the processor 530 may detect the motion of the subject using the autofocus pixels 620 and 630 in a state in which there is no change in the surrounding after rendering of the surrounding is completed. The processor 530 may detect changes in the surroundings from the frame rate of image frames captured by the camera 550 .
  • the processor 530 may drive the Tx light source 513 in the lidar system 510 when the motion of the subject is confirmed.
  • the processor 530 may determine whether the subject is focused using the autofocus pixels 620 and 630 . When a subject is focused, the processor 530 may calculate a distance to the focused subject.
  • the processor 530 may scan the surroundings by driving the autofocus pixels 620 and 630 of the Rx sensor 511 without driving the Tx light source 513. . Therefore, it is possible to save power by preventing transmission of the Tx light source 513 .
  • the electronic device 500 may be, for example, a wearable electronic device such as a head mounted display (HMD) device.
  • a head-mounted display device may continuously model a space when mounted for peripheral recognition.
  • the electronic device 500 uses the Rx sensor 511 and the Tx light source 513 of the lidar system 510. Therefore, power consumption of the Tx light source 513 may be reduced by scanning the surroundings only with the Rx sensor 511 instead of continuously recognizing the surrounding environment.
  • the electronic device 500 may use the Tx light source 513 when it is necessary to secure accurate depth information due to a change in the surrounding environment, for example, when a subject requiring recognition appears or a gesture occurs.
  • the processor 530 determines the subject based on the phase difference (or parallax) between the autofocus images (eg, the autofocus images 625 and 635 of FIG. 6 ) corresponding to the autofocus pixels 620 and 630 capturing the subject. distance can be calculated.
  • the processor 530 calculates a phase difference between the phases corresponding to the autofocus images 625 and 635 by a correlation operation between the phases corresponding to the autofocus images 625 and 635, and based on the phase difference, the distance can be calculated.
  • a method of calculating the distance to the subject by the processor 530 will be described in more detail with reference to FIGS. 6 and 7 below.
  • the processor 530 may adaptively determine the transmission power of the Tx light source 513 based on the distance to the subject. For example, when the distance to the subject is equal to or closer than the first distance, the processor 530 may adjust the transmission power of the Tx light source 513 to the first power. Alternatively, when the distance to the subject is greater than the first distance and is equal to or closer to a second distance greater than the first distance, the processor 530 sets the transmission power of the Tx light source 513 to second power greater than the first power. can be adjusted with Alternatively, when the distance from the subject is greater than the second distance and is equal to or closer to the third distance greater than the second distance, the processor 530 sets the transmission power of the Tx light source 513 to third power greater than the second power. can be adjusted with At this time, the amount of transmission power consumed according to the distance to the subject may be stored in advance in the form of a look-up table, for example.
  • the processor 530 may control the Tx light source 513 to output pulse laser light according to the adaptively determined transmission power.
  • the electronic device 500 may further include a camera 550 having an auto-focusing function.
  • the processor 530 adaptively determines the transmission power of the Tx light source 513 using the in-focus distance information obtained by using the autofocusing function of the camera 550, and the Tx light source ( 513) can be controlled to output the pulse laser according to the transmission power.
  • the operation of the processor 530 is not limited to the above-described operation, and the processor 530 may perform the above-described operation together with at least one of operations described later through FIGS. 6 to 11 .
  • the memory 570 may store the distance to the subject calculated by the processor 530 and/or the transmission power of the Tx light source 513 adaptively determined by the processor 530 . Also, the memory 570 may store virtual content generated by the processor 530 .
  • the memory 570 may store various pieces of information generated by the processor 530 .
  • the memory 570 may store various data and programs.
  • Memory 570 may include volatile memory or non-volatile memory.
  • the memory 570 may include a mass storage medium such as a hard disk to store various types of data.
  • FIG. 6 is a diagram for explaining a method of calculating a distance to a subject in an electronic device including a LIDAR system according to an exemplary embodiment.
  • two auto sensors included in image sensors 610 of an Rx sensor 600 eg, the Rx sensor 410 of FIG. 4 and the Rx sensor 511 of FIG. 5
  • a situation in which a parallax occurs between the autofocus images 625 and 635 corresponding to the focus pixels 620 and 630 eg, the autofocus pixels 413 of FIG. 4
  • the autofocus images 625 and 635 may correspond to, for example, a right eye image and a left eye image.
  • a pair of autofocus pixels 620 and 630 may be disposed in an area of the 16 ⁇ 16 image sensors 610 .
  • the autofocus image 625 may be obtained by the autofocus pixel 620 .
  • An autofocus image 635 may be acquired by an autofocus pixel 630 .
  • the electronic device may calculate a phase difference between the autofocus image 625 and the autofocus image 635 or a parallax based on the amount of defocus.
  • the phase difference in autofocus images will be described in more detail with reference to FIG. 7 below.
  • autofocus images 710 when in-focus based on a photographic lens 701 and autofocus images 710 when the focus position is front-focus Focus images 720 and autofocus images 730 when the focus position is back-focus are shown.
  • the separation lenses 705 may correspond to, for example, autofocus secondary micro-lens arrays (AF secondary micro-lens arrays), but are not necessarily limited thereto.
  • the autofocus pixels 707 and 708 may correspond to, for example, matching line sensors.
  • An electronic device compares the positional relationship of the autofocus images 710 , 720 , and 730 obtained from the autofocus pixels 707 and 708 to determine the position of the focus. can figure it out
  • the autofocus images 710 may indicate a case where focus is achieved. At this time, since the light is concentrated at the center of the autofocus pixels 707 and 708, phases corresponding to the autofocus images 710 may be perfectly overlapped.
  • the autofocus images 720 may represent a case where the focus position is front-focus. At this time, since the light gathers inside the center of the autofocus pixels 707 and 708, the phase corresponding to the autofocus images 720 has a maximum point inside the center of the autofocus pixels 707 and 708, and thus the subject may be divided into two.
  • the case where the position of the focus corresponding to the autofocus images 730 is back-focus may be shown.
  • the phase corresponding to the autofocus images 730 is peaked outside the center, so the subject may appear to be divided into two.
  • the difference between the output levels or output waves of the autofocus pixels 707 and 708 may be referred to as 'phase difference' or 'defocus amount', which is 710, 720, and 730) may correspond to differences in location information.
  • 'phase difference' and 'defocus amount' may be understood as the same meaning.
  • the phase difference (or the amount of defocus) is X in a focused state like the autofocus images 710 in the drawing 740 .
  • the phase difference may be less than X.
  • the phase difference may be greater than X.
  • the electronic device 500 may estimate the distance to the subject through the phase difference between the autofocus images 710 , 720 , and 730 obtained from the autofocus pixels 707 and 708 .
  • estimation may represent a state of an object, such as when the object is in focus, the front is in focus, or the rear is in focus.
  • the electronic device 500 may take an additional operation requiring power consumption. By determining whether to take one or more actions, the electronic device 500 can conserve power (ie, consume less power or be more power efficient).
  • an electronic device configures a pair of autofocus pixels (eg, the autofocus pixels of FIG. 4 ).
  • Autofocus images obtained from pairs of focus pixels 413, autofocus pixels 620 and 630 in FIG. 6, and autofocus pixels 707 and 708 in FIG. 7 (e.g., autofocus images in FIG. 6)
  • Graphs 810 and 830 showing phase differences corresponding to (625 and 635) are shown.
  • the electronic device 500 may calculate a phase difference between phases corresponding to the autofocus images 625 and 635 by performing a correlation operation between phases corresponding to the two autofocus images 625 and 635 .
  • the electronic device 500 calculates a phase difference between the phases corresponding to the autofocus images 625 and 635 by shifting the phases corresponding to the autofocus images 625 and 635 in units of pixels by, for example, a correlation operation. can do.
  • the electronic device 500 may calculate the distance to the subject based on the phase difference.
  • the electronic device 500 calculates a distance such that a difference between the phases A and B corresponding to the two autofocus images 625 and 635 becomes zero, as shown in the graph 810 or the graph 830, for example.
  • the distance to the subject can be obtained.
  • the electronic device 500 may, for example, use a sum of absolute differences (SAD) technique expressed as in Equation 1 below or a sum of squared differences (SSD) technique expressed as in Equation 2 below.
  • SAD sum of absolute differences
  • SSD sum of squared differences
  • phase difference can be obtained through Equation 1 below.
  • i corresponds to a pixel index
  • n may correspond to a movement distance for shifting the phase B(i) in units of pixels in the graph 810 so as to match the phase A(i). there is.
  • the movement distance n may correspond to the distance to the subject.
  • phase difference Can be calculated through Equation 2 below.
  • the x-coordinate of the minimum point 835 may correspond to a phase difference value.
  • the value of the x-coordinate may correspond to the distance D from the subject.
  • the electronic device 500 may calculate a distance such that a product of phases corresponding to the two autofocus images 625 and 635 is maximized.
  • the electronic device 500 calculates a distance n such that the product of the phases is maximized by, for example, a normalize cross-correlation (NNC) technique or a cross-correlation (CC) technique such as Equation 3 below.
  • NNC normalize cross-correlation
  • CC cross-correlation
  • FIG. 9 is a diagram for explaining an operation when transmission power of a Tx light source is adaptively determined in an electronic device according to an embodiment.
  • a Tx light source eg, the Tx light source 430 of FIG. 4
  • an electronic device eg, the electronic device 101 of FIG. 1 and the electronic device 500 of FIG. 5
  • Scenarios (910, An example of 920 and 930) is shown. The example scenarios can apply to all other electronic devices described herein.
  • the electronic device 500 transmits a low transmission
  • a first predetermined distance eg, 1 meter, 3 meters, etc.
  • the electronic device 500 may control the transmission light source 513 to output a pulse laser beam having low transmission power.
  • the electronic device 500 may determine and use an intermediate transmit power value.
  • the electronic device 500 may control the Tx light source 513 to output pulse laser light with medium transmission power (medium power).
  • the medium transmit power may be greater than the lower transmit power.
  • the electronic device 500 may determine and use the high power as the transmission power.
  • the electronic device 500 may control the Tx light source 513 to output a pulse laser beam of high transmission power.
  • High transmit power may be greater than medium transmit power. Therefore, the transmission power of the laser pulse output from the Tx light source 513 can be controlled based on the estimated distance to the subject.
  • the estimated distance of the subject may be determined by the Rx sensor 511 using the autofocus pixels described herein.
  • a wearable electronic device 1000 (eg, the electronic device 101 of FIG. 1 and the electronic device 500 of FIG. 5 ) according to an embodiment is a lidar system 1010 (eg, the electronic device 1010 of FIG. 4 ).
  • the lidar system 510 of FIG. 5 may be included.
  • the lidar system 1010 includes an Rx sensor 1011 (eg, Rx sensor 410 of FIG. 4 , Rx sensor 511 of FIG. 5 , Rx sensor 600 of FIG. 6 ) and a Tx light source 1013 (eg : The Tx light source 513 of FIG. 5) may be included.
  • the wearable electronic device 1000 includes a processor 1030 (eg, the processor 120 of FIG. 1 and the processor 530 of FIG. 5 ), a display device 1050 (eg, the display module 160 of FIG. 1 ), and A memory 1070 (eg, memory 570 of FIG. 5 ) may be included.
  • the wearable electronic device 1000 may further include a camera 1090 (eg, the camera module 180 of FIG. 1 or the camera 550 of FIG. 5 ).
  • the lidar system 1010 , processor 1030 , display device 1050 and memory 1070 may be connected to each other through a communication bus 1005 .
  • the Rx sensor 1011 may include autofocus pixels (eg, autofocus pixels 413 of FIG. 4 , autofocus pixels 620 and 630 of FIG. 6 , and autofocus pixels 707 and 708 of FIG. 7 ). there is. Autofocus pixels may be interspersed in image pixels (eg, image pixels 411 of FIG. 4 and image pixels 610 of FIG. 6 ) detecting image information including a plurality of image frames.
  • autofocus pixels eg, autofocus pixels 413 of FIG. 4 , autofocus pixels 620 and 630 of FIG. 6 , and autofocus pixels 707 and 708 of FIG. 7 .
  • Autofocus pixels may be interspersed in image pixels (eg, image pixels 411 of FIG. 4 and image pixels 610 of FIG. 6 ) detecting image information including a plurality of image frames.
  • the Tx light source 1013 may output a pulse laser.
  • the processor 1030 may calculate the distance to the subject using the autofocus pixels 620 and 630 included in the Rx sensor 1011 before driving the Tx light source 1030 .
  • the processor 1030 may adaptively determine the transmission power of the Tx light source 1013 based on the distance to the subject.
  • the processor 1030 may control the Tx light source 1013 to output pulse laser light according to the transmission power.
  • the processor 1030 may generate augmented reality content including virtual content based on the image information and the distance to the subject.
  • the processor 1030 may generate augmented reality content based on the distance to the subject. For example, the size, shape, color or other properties of the virtual content may be adjusted according to the distance to the subject.
  • acoustic properties eg, volume, frequency, playback speed, etc. may be adjusted based on distance to the object.
  • the display device 1050 may display virtual content generated by the processor 1030 .
  • the memory 1070 may store the distance to the subject calculated by the processor 1030 and/or the transmission power of the Tx light source 1013 adaptively determined by the processor 1030 . Also, the memory 1070 may store virtual content generated by the processor 1030 .
  • the camera 1090 may be, for example, a camera including an autofocusing function.
  • the processor 1030 adjusts the transmission power of the Tx light source 1013 based on the distance to the subject that is focused using the autofocusing function of the camera 1090. can be determined adaptively. The distance to the subject may be obtained using an autofocusing function of the camera 1090.
  • the processor 1030 may control the Tx light source 1013 to output pulse laser light according to the adaptively determined transmission power.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device including an Rx sensor and a Tx light source according to an embodiment (eg, the electronic device 101 of FIG. 1 , the electronic device 500 of FIG. 5 , and the wearable electronic device 1000 of FIG. 10 ) )) is shown.
  • the electronic device 500 performs autofocus pixels (eg, autofocus pixels 413 of FIG. 4 , autofocus pixels 620 and 630 of FIG. 6 , and autofocus pixels 707 of FIG. 7 ). , 708)) may be used to calculate or estimate the distance to the subject.
  • the autofocus pixels may be included in an Rx sensor (eg, the Rx sensor 511 of FIG. 5 , the Rx sensor 600 of FIG. 6 , or the Rx sensor 1011 of FIG. 10 ).
  • the distance may be calculated before driving the Tx light source (eg, the Tx light source 513 of FIG. 5 or the Tx light source 1013 of FIG. 10 ).
  • the electronic device 500 may calculate a distance to the subject based on a disparity between autofocus images corresponding to the autofocus pixels 620 and 630 capturing the subject.
  • the electronic device 500 may determine whether a subject is in focus using the autofocus pixels 620 and 630 and, when the subject is in focus, calculate a distance to the focused subject. For example, when the subject is not focused, the electronic device 500 may scan the surroundings by driving the autofocus pixels 620 and 630 without driving the Tx light source 513 . In the absence of a subject to be recognized, the electronic device 500 drives the autofocus pixels 620 and 630 of the Rx sensor 511 and does not drive the Tx light source 513, thereby consuming a high power Tx light source ( 513) can improve power efficiency.
  • the electronic device 500 detects the amount (phase difference) and direction of defocusing in one image, and detects the subject and the subject from autofocus images having different parallaxes (eg, the autofocus images 625 and 635 of FIG. 6).
  • a distance between the electronic devices 500 may be calculated.
  • the electronic device 500 may calculate a phase difference between phases corresponding to the autofocus images 625 and 635 by a correlation operation between the phases corresponding to the autofocus images 625 and 635 .
  • the electronic device 500 may calculate the distance to the subject based on the phase difference.
  • the electronic device 500 may further include a camera having an auto-focusing function (eg, the camera module 180 of FIG. 1 , the camera 550 of FIG. 5 , and the camera 1090 of FIG. 10 ).
  • a camera having an auto-focusing function eg, the camera module 180 of FIG. 1 , the camera 550 of FIG. 5 , and the camera 1090 of FIG. 10 .
  • the electronic device 500 may acquire the distance to the focused subject by using the autofocusing function of the camera 550 .
  • the electronic device 500 may adaptively determine transmission power of the Tx light source 513 based on the distance to the subject calculated in operation 1110. For example, when the distance to the subject is equal to or shorter than the first distance, the electronic device 500 may determine the transmission power of the Tx light source 513 as the first power. When the distance from the subject is greater than the first distance and equal to or closer to the second distance greater than the first distance, the electronic device 500 converts the transmitted power of the Tx light source 513 to second power greater than the first power. It can be configured, set or adjusted. Alternatively, when the distance to the subject is the third distance exceeding the second distance, the electronic device 500 may determine the transmission power of the Tx light source 513 as third power greater than the second power.
  • the method of adaptively determining the transmission power of the Tx light source 513 in three steps based on the distance to the subject has been described, but it is not necessarily limited thereto, and various steps such as two or five steps have been described. may be determined.
  • the electronic device 500 may increase power efficiency by lowering the transmission power of the Tx light source 513 .
  • the electronic device 500 increases the transmission power of the Tx light source 513 so that the electronic device 500 or the lidar system (eg, lidar of FIG. 4) The coverage of the system 400 and the lidar system 510 of FIG. 5 may be increased.
  • the electronic device 500 may control the Tx light source 513 to output pulse laser light according to the transmission power determined in operation 1120.
  • the electronic device 500 is, for example. It may be any one of wearable devices including smart glasses and head mounted devices including AR devices, VR devices, and MR devices, but is not necessarily limited thereto.
  • the embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.
  • the electronic devices 101, 500, and 1000 include Rx sensors 410, 511, 600, and 1011 including image pixels 411 and 610 that detect image information and auto-focus pixels 413, 620, 630, 707, and 708. ) and a Tx light source 430,513,1013 that outputs a pulse laser, and an autofocus included in the Rx sensor 410,511,600,1011 before driving the Tx light source 430,513,1013.
  • the distance to the subject is calculated using the pixels 413, 620, 630, 707, and 708, and transmission power of the Tx light sources 430, 513, and 1013 is adaptively determined based on the distance to the subject, and the Tx light sources 430, 513, and 1013 Processors 120, 530 and 1030 controlling the output of the pulsed laser beam according to the transmission power may be included.
  • the electronic device 101, 500, or 1000 further includes a camera 180, 550, or 1090 having an auto-focusing function, and the processor 120, 530, or 1030 controls the number of cameras 180, 550, or 1090. It is possible to calculate the distance to the subject obtained using the autofocusing function.
  • the processor 120, 530, and 1030 determines whether the subject is in focus using the autofocus pixels 413, 620, 630, 707, and 708, and determines the distance to the subject when the subject is in focus. can be calculated
  • the processor 120, 530, 1030 scans the surroundings by driving the autofocus pixels 413, 620, 630, 707, and 708 without driving the Tx light sources 430, 513, and 1013 when the subject is out of focus. can do.
  • the processor (120, 530, 1030) adjusts the transmission power of the Tx light source (430, 513, 1013) to a first power when the distance to the subject is equal to or closer to the first distance, and When the distance from the subject is greater than the first distance and equal to or closer to a second distance greater than the first distance, the transmission power of the Tx light sources 430, 513, and 1013 is converted to second power greater than the first power. and when the distance to the subject exceeds the second distance, the transmission power of the Tx light sources 430, 513, and 1013 may be adjusted to third power greater than the second power.
  • the electronic device 101 , 500 , and 1000 may include at least one of a wearable device including smart glasses and a head mounted device including an AR device, a VR device, and an MR device.
  • the wearable electronic device 101,500,1000 includes an Rx sensor 410,511,600,1011 including a pair of autofocus pixels 413,620,630,707,708 for detecting image information including a plurality of image frames, the Rx sensor A processor (120, 530) calculating a distance to a subject using the pair of autofocus pixels (413, 620, 630, 707, 708) included in (410, 511, 600, 1011) and generating virtual content based on the image information and the distance to the subject. , 1030), and displays 160 and 1050 displaying the virtual content.
  • the wearable electronic device 101 , 500 , 1000 further includes a Tx light source 430 , 513 , 1013 that outputs a pulse laser, and the processor 120 , 530 , 1030 determines based on the distance to the subject.
  • the Tx light source may be controlled to output pulsed laser light according to the transmission power.
  • the wearable electronic device 101 , 500 , and 1000 further includes a camera 180 , 550 , and 1090 having an auto-focusing function, and the processor 120 , 530 , and 1030 automatically controls the camera 180 , 550 , and 1090 .
  • a distance to the subject in focus obtained by using the focusing function may be determined.
  • the processor 120 , 530 , and 1030 determines whether the subject is in focus using the pair of autofocus pixels 413 , 620 , 630 , 707 , and 708 , and if the subject is in focus, the subject distance can be calculated.
  • the processor 120 , 530 , 1030 determines that the subject is out of focus
  • the Tx light source 430 , 513 , 1013 outputting the pulse laser does not drive, and the autofocus pixels ( 413,620,630,707,708) to scan the surroundings.
  • the processor (120,530,1030) adjusts the transmission power of the Tx light source (430,513,1013) to a first power when the distance to the subject is equal to or closer to the first distance,
  • the transmission power of the Tx light sources 430, 513, and 1013 is converted to second power greater than the first power. and when the distance to the subject exceeds the second distance, the transmission power of the Tx light sources 430, 513, and 1013 may be adjusted to third power greater than the second power.
  • the wearable electronic device may include at least one of a head mounted device including an AR device, a VR device, and an MR device, and smart glasses.
  • the processor may adjust one or more properties of the virtual content based on the distance to the subject.
  • the one or more attributes may include color, shape, size, and audio.
  • the lidar system 400 or 510 includes a Tx light source 430 , 513 , 1013 outputting a pulsed laser beam, and an Rx sensor 410 , 511 , 600 , 1011 receiving pulse signals from which the pulsed laser beam is reflected on a subject, ,
  • the Rx sensors 410, 511, 600, and 1011 include a plurality of image pixels 411 and 610 that sense image information, and a pair of autofocus pixels 413, 620, 630, 707, and 708 distributed among the image pixels 411 and 610.
  • the pair of autofocus images 625 and 635 acquires autofocus images, and the phase difference between the autofocus images can be used to calculate the distance to the subject.
  • a control method of an electronic device 101 , 500 , 1000 including an Rx sensor 410 , 511 , 600 , 1011 and a Tx light source 430 , 513 , 1013 includes the Rx sensor ( Operation 1110 of calculating the distance to the subject using the autofocus pixels 413 620 630 707 708 included in the 410 511 600 1011) Adapting the transmission power of the Tx light sources 430 513 1013 based on the distance to the subject It may include an operation 1120 of determining the tx light source 430 , 513 , and 1013 , and an operation 1130 of controlling the Tx light sources 430 , 513 , and 1013 to output pulse laser light according to the transmission power.
  • the operation of calculating the distance to the subject includes the operation of calculating a distance such that the phase difference between the autofocus images 625 and 635 becomes zero, and the operation of calculating the distance corresponding to the two autofocus images 625 and 635. It may include at least one of operations for calculating a distance that allows a product of phases to be maximized.
  • the electronic device 101 , 500 , 1000 further includes a camera 180 , 550 , 1090 having an auto-focusing function, and the operation of calculating the distance to the subject is the distance to the focused subject. It may be determined that the subject is focused using an autofocusing function of the camera (180, 550, or 1090).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

일 실시예에 따른 전자 장치는 영상 정보를 감지하는 이미지 픽셀들 내에 산재된 오토포커스 픽셀들을 포함하는 Rx 센서와 펄스 레이저를 출력하는 Tx 광원을 포함하는 라이다 시스템, 및 Tx 광원의 구동 전에, Rx 센서에 포함된 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출하고, 피사체와의 거리에 기초하여 광원의 송출 전력을 적응적으로 결정하며, Tx 광원이 송출 전력에 따라 펄스 레이저를 출력하도록 제어하는 프로세서를 포함할 수 있다.

Description

라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법
본 발명의 다양한 실시예들은 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법에 관한 것이다.
증강 현실(augmented reality; AR) 기기는 현실에 기반하여 가상의 정보를 추가 제공하는 기기로서, 현실 세계의 이미지나 배경에 가상의 이미지를 오버레이하여 보여주어 가상 현실을 제공할 수 있다. 증강 현실 기기는 주변 환경 및 피사체의 움직임을 인식하여 위치 추적, 또는 3D 맵핑(mapping)을 구현하고, 제스쳐(gesture) 인식을 통하여 인터페이스에 활용할 수 있다. 또한, 라이다(light detection and ranging, LiDAR)는 광학 펄스로 피사체를 비춘 후 반사된 반송 신호의 특징을 측정함으로써 피사체를 감지해 거리를 맵핑하거나 또는 피사체의 제스쳐를 인식할 수 있다.
라이다는 피사체와의 가변적 거리를 고려하지 않고, 지정된 거리에 기반한 정해진 전송 전력을 송출하여 피사체를 감지할 수 있다. 이때, 거리를 고려하지 않고 정해진 고정된 전송 전력을 송출하는 경우, 피사체와의 거리가 가깝다면 불필요한 전송 전력의 손실이 발생하고, 피사체와의 거리가 멀다면 전송 전력의 부족으로 인해 피사체를 인식하지 못할 수 있다.
다양한 실시예들에 따르면, 피사체와의 거리를 고려하여 라이다의 전송 전력을 적응적으로 결정함으로써 피사체와의 거리가 먼 경우에 전송 전력을 증가시켜 피사체를 인식하고, 피사체와의 거리가 가까운 경우에 라이다의 전송 전력을 감소시켜 적은 전력으로 피사체를 인식할 수 있다.
다양한 실시예들에 따르면, 라이다 시스템을 포함하는 전자 장치의 소모 전류를 절감할 수 있다.
일 실시예에 따르면, 전자 장치는 영상 정보를 감지하는 이미지 픽셀들 내에 산재된 오토포커스 픽셀들(auto focus pixels)을 포함하는 Rx 센서와 펄스 레이저를 출력하는 Tx 광원을 포함하는 라이다 시스템, 및 상기 Tx 광원의 구동 전에, 상기 Rx 센서에 포함된 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출하고, 상기 피사체와의 거리에 기초하여 상기 Tx 광원의 송출 전력을 적응적으로 결정하며, 상기 Tx 광원이 상기 송출 전력에 따라 상기 펄스 레이저를 출력하도록 제어하는 프로세서를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 복수의 영상 프레임들을 포함하는 영상 정보를 감지하는 이미지 픽셀들 내에 산재된 오토포커스 픽셀들을 포함하는 Rx 센서, 펄스 레이저를 출력하는 Tx 광원, 상기 Tx 광원의 구동 전에 상기 Rx 센서에 포함된 상기 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출하고, 상기 피사체와의 거리에 기초하여 상기 Tx 광원의 송출 전력을 적응적으로 결정하며, 상기 Tx 광원이 상기 송출 전력에 따라 펄스 레이저를 출력하도록 제어하며, 상기 영상 정보 및 상기 피사체와의 거리에 기초하여 가상의 컨텐츠를 생성하는 프로세서, 및 상기 가상의 컨텐츠를 표시하는 디스플레이를 포함할 수 있다.
일 실시예에 따르면, 라이다 시스템은 펄스 레이저를 출력하는 Tx 광원, 및 상기 펄스 레이저가 피사체에 반사된 펄스 신호들을 수신하는 Rx 센서를 포함하고, 상기 Rx 센서는 영상 정보를 감지하는 이미지 픽셀들 내에 산재된 오토포커스 픽셀들을 포함하고, 상기 오토포커스 픽셀들에 대응하는 오토포커스 영상들 간의 시차를 기초로, 상기 피사체와의 거리를 산출할 수 있다.
일 실시예에 따르면, Rx 센서 및 Tx 광원을 포함하는 전자 장치의 제어 방법은 상기 Tx 광원의 구동 전에 상기 Rx 센서에 포함된 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출하는 동작, 상기 피사체와의 거리에 기초하여 상기 Tx 광원의 송출 전력을 적응적으로 결정하는 동작, 및 상기 Tx 광원이 상기 송출 전력에 따라 펄스 레이저를 출력하도록 제어하는 동작을 포함할 수 있다.
일 실시예에 따른 라이다 시스템은 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출할 수 있다.
일 실시예에 따른 전자 장치는 피사체와의 거리가 먼 경우에도 전송 전력을 증가시킴으로써 커버리지를 확장할 수 있다.
일 실시예에 따른 전자 장치는 피사체와의 거리가 가까운 경우에 라이다의 전송 전력을 감소시킴으로써 불필요한 전송 전력의 손실이 방지할 수 있다.
일 실시예에 따른 전자 장치는 피사체와의 거리를 고려하여 라이다의 전송 전력을 적응적으로 결정함으로써 라이다의 소모 전류를 절감하고, 라이다의 성능을 향상시킬 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 라이다 시스템의 일반적인 동작을 설명하기 위한 도면이다.
도 3은 고정된 전송 전력을 가진 라이다 시스템의 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 라이다 시스템의 구조를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 라이다 시스템을 포함하는 전자 장치의 블록도이다.
도 6은 일 실시예에 따른 라이다 시스템을 포함하는 전자 장치에서 피사체와의 거리를 산출하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 오토포커스 영상들의 초점이 맞는(in-focus) 경우, 초점의 위치가 앞(front-focus)인 경우, 및 초점의 위치가 뒤(back-focus)인 경우의 위상차를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 위상차에 기초하여 피사체와의 거리를 산출하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 전자 장치에서 Tx 광원의 송출 전력이 적응적으로 결정된 경우의 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 웨어러블 전자 장치의 블록도이다.
도 11는 일 실시예에 따른 전자 장치의 제어 방법을 나타낸 흐름도이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이(160), 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 지문 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 픽셀들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 라이다 시스템의 일반적인 동작을 설명하기 위한 도면이다. 도 2를 참조하면, 라이다(light detection and ranging, LiDAR) 시스템(200)은 레이저 송신부(210), 제1 렌즈(220), 레이저 검출부(레이저 수신부)(230), 제2 렌즈(240), 제어부(250)를 포함할 수 있다.
레이저 송신부(210)는 제1 렌즈(220)를 통해 피사체들(201, 203)에게 펄스 신호, 다시 말해 펄스 레이저를 출력할 수 있다. 레이저 송신부(210)의 광원으로는 레이저 광원이 사용될 수 있다. 레이저 송신부(210)의 광원으로는 예를 들어, 250nm부터 11μm까지의 파장 영역에서 특정 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용되며, 소형, 및/또는 저전력이 가능한 반도체 레이저 다이오드가 사용될 수도 있다.
레이저 검출부(230)는 레이저 송신부(210)가 출력한 펄스 레이저에 의해 피사체들(201, 203)로부터 반사된 레이저 신호를 검출할 수 있다. 레이저 검출부(230)는 제2 렌즈(240)를 통해 반사된 레이저 신호를 수신할 수 있다.
제어부(250)는 레이저 검출부(230)에 의해 검출된 신호를 수신 또는 수집하여 처리한 데이터를 프로세서(예: 도 5의 프로세서(530))에게 송, 수신할 수 있다.
라이다 시스템(200)은 레이저 신호의 변조 방법에 따라 예를 들어, TOF(time-of-flight) 방식과 위상 변위(phase-shift) 방식으로 구분될 수 있다. TOF 방식은 레이저 송신부(210)가 펄스 신호를 방출하여 측정 범위 내에 있는 피사체들(201, 203)로부터의 반사 펄스 신호들이 레이저 검출부(230)에 도착하는 시간(t1, t2)을 측정함으로써 피사체들(201, 203)과의 거리를 측정하는 방식이다. 위상 변위 방식은 레이저 송신부(210)가 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고, 레이저 검출부(230)가 측정 범위 내에 있는 물체로부터 반사되어 되돌아오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식이다.
라이다 시스템(200)은 전술한 과정을 통해 피사체들(201, 203)을 감지하는 센싱 방식을 통해 거리를 맵핑할 수 있다. 예를 들어, 광원의 펄스 전력, 펄스 신호의 왕복 시간, 위상 변이, 및/또는 펄스 폭은 라이다 시스템(200)에서 정보를 추출하는데 쓰이는 일반적인 파라미터들에 해당할 수 있다.
일반적인 라이다 시스템(200)은 레이저 송신부(210)가 펄스 신호를 방출하여 측정 범위 내에 있는 피사체들(201, 203)로부터의 거리 정보를 획득하는 방식으로 이용될 수 있다.
도 3은 고정된 전송 전력을 가진 라이다 시스템의 동작을 설명하기 위한 도면이다. 도 3을 참조하면, 라이다 시스템(예: 도 2의 라이다 시스템(200))의 전송 전력이 피사체가 위치하는 일정 거리 A에 대응되는 고정된 값으로 설정된 경우를 나타낸 도면(310), 피사체가 A보다 가까운 근거리에 있는 경우를 나타낸 도면(320), 및 피사체가 A보다 먼 원거리에 있는 경우를 나타낸 도면(330)이 도시된다.
예를 들어, 라이다 시스템(200)의 전송 전력이 도면(310)에 도시된 것과 같이 일정 거리 A에 대응되도록 고정될 수 있다. 이 예시에서, 라이다 시스템(200)은 기준 전력량을 소모함으로써 피사체(예: 사람)를 효율적으로 인식할 수 있다. 여기서, '기준 전력(baseline power)'은 펄스를 거리 A까지 전송하는데 필요한 전력의 양을 나타낼 수 있다.
예시 시나리오에서, 라이다 시스템(200)이 피사체와의 거리를 고려하지 않고, 일정 거리 A에 고정된 전송 전력으로 펄스 레이저를 송출하는 경우, 라이다 시스템(200)의 성능 및 효율이 저하될 수 있다.
예를 들어, 피사체와의 거리가 도면(320)에 예시된 바와 같이 거리 A 보다 작거나, 도면(330)에 예시된 바와 같이 거리 A 보다 큰 시나리오를 고려할 수 있다. 도면(320)과 같이 피사체까지의 거리가 거리 A 보다 작은 경우, 거리 A에서 피사체를 검출하는데 필요한 기준 전력에 비해 더 적은 양의 전송 전력이 사용될 수 있다. 펄스 레이저가 전송 전력에 필요한 고정된 기준 전력으로 거리 A까지 송신되는 경우, 필요 이상의 전력을 불필요하게 많이 소모하여 라이다 시스템(200)의 전력 효율이 저하될 수 있다. 또는, 도면(330)에 도시된 것과 같이, 피사체까지의 거리가 거리 A 보다 큰 경우, 피사체까지의 거리가 거리 A보다 멀기 때문에 거리 A에서 피사체를 검출하는데 필요한 기준 전력에 비해 더 많은 전송 전력이 사용될 수 있다. 일 실시예에서, 펄스 레이저가 거리 A까지 전송 전력에 필요한 고정된 기준 전력으로 전송되면, 라이다 시스템(200)의 전송 전력에 마진이 있더라도 전송 전력 부족으로 인해 피사체를 인식하기 어려울 수 있다.
이와 달리, 하나 이상의 실시예들에 따른 라이다 시스템(예: 도 4의 라이다 시스템(400), 도 5의 라이다 시스템(510))은 초기 동작 시에 피사체까지의 거리를 인식하고, 광원의 전송 전력을 인식된 거리에 기초하여 적응적으로 결정함으로써 라이다 시스템의 전력 효율 및/또는 성능을 향상시킬 수 있다.
도 4는 일 실시예에 따른 라이다 시스템의 구조를 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 라이다 시스템(400)은 Rx 센서(410) 및 Tx 광원(430)을 포함할 수 있다.
Rx 센서(410)는 Tx 광원(430)이 출력하는 펄스 레이저가 피사체에 반사된 펄스 신호들을 수신할 수 있다.
Rx 센서(410)는 도 2를 통해 전술한 라이다 시스템(200)에서와 달리, 영상 정보를 감지하는 이미지 픽셀들(411) 내에 산재된 오토포커스 픽셀들(phase auto pixels)(413)을 포함할 수 있다. 오토포커스 픽셀들(413)은 오토포커스 영상들을 획득할 수 있다. 오토포커스 픽셀들(413)은 예를 들어, 위상(phase) 기반의 오토포커스 픽셀들일 수 있다. 이하, 설명의 편의를 위하여 위상 기반의 오토포커스 픽셀을 '오토포커스 픽셀'로 칭할 수 있다. 오토포커스 픽셀들(413)은 단일 프레임의 캡쳐된 정보를 기준으로 렌즈 위치 변화량과 방향을 정확하게 제공하여 포커싱(focusing) 속도를 향상시킬 수 있다. 이미지 픽셀들(411)은 '이미지 픽셀 센서들'이라고 불릴 수도 있다. 또한, 오토포커스 픽셀들(413)은 '오토포커스 픽셀 센서들'이라 불릴 수 있다.
라이다 시스템(400)은 오토포커스 영상들(AF images)(예: 도 6의 오토포커스 영상들(625,635))에서 대응하는 오토포커스 픽셀들(413) 간의 시차에 기초하여, 피사체까지의 거리를 산출할 수 있다. 오토포커스 영상들은 예를 들어, 오토포커스 픽셀들의 페어(415)(pair)를 통해 수신되는 좌측 오토포커스 영상 및 우측 오토포커스 영상일 수 있다. 오토포커스 영상들은 예를 들어, 오토포커스 픽셀의 페어(415)에서 측정되거나 확보되는 강도(intensity)와 연관된 그레이 스케일 이미지를 포함할 수도 있다. 오토포커스 픽셀들의 페어(415)는 해상도를 제공하는데 충분한(예를 들어, 결정된) 밀도로 이미지 픽셀들(411) 내에 산재될 수 있다. 예를 들어, 오토포커스 픽셀의 페어(415)는 각 16 x 16(즉, 밀도) 픽셀 어레이일 수 있다. 다른 실시예에서, 오토포커스 픽셀의 두 페어(415)는 각각의 16 x 16 픽셀 어레이에 배치될 수 있다. 미리 결정된 밀도는 실시예에 따라 변경될 수 있는 것으로 이해될 수 있다.
분포는 오토포커스 픽셀의 페어(415)를 16 x 16 픽셀 어레이에서 다른 행과 열에 있도록 지정할 수 있다. 다른 실시예에서, 분포는 오토포커스 픽셀이 서로 사이에 적어도 하나의 행과 하나의 열을 갖는 것으로 지정할 수 있다.
일 실시예에서, Rx 센서(410)의 이미지 픽셀(411) 사이의 오토포커스 픽셀(413)의 분포는 확률적일 수 있다. 대안적으로, 오토포커스 픽셀(413)의 분포는 미리 결정된 패턴, 예를 들어 특정 행 r(f)의 모든 i번째 위치에 있는 오토포커스 픽셀(413)일 수 있으며, 여기서 f는 정수가 되는 함수일 수 있다.
이미지 픽셀들(411) 및 오토포커스 픽셀들(413)은 예를 들어, 전하 결합 디바이스(charge-coupled device), 능동 픽셀 센서(active pixel sensor), 광다이오드(photodiode), 또는 빛을 전기적 신호로 변환하는 임의의 다른 디바이스와 같은 임의의 광 센서(photo sensor)를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
오토포커스 픽셀들(413)의 페어는 두 개의 오토포커스 영상들을 확보할 수 있도록 임의의 방식으로 배열될 수 있다. 오토포커스 픽셀들(413)의 페어는 도 4에 도시된 오토포커스 픽셀들의 페어(415)와 같이 대각선을 따라 배열될 수 있다. 또는 오토포커스 픽셀들(413)의 페어는 수평(동일한 행)을 따라 또는 수직(동일한 열)을 따라 배열될 수 있다. 일부 실시에에서 오토포커스 픽셀들(413)은 인접하게 배열될 수 있다. 여기서, '인접하여 배열된다'는 의미는 페어를 구성하는 두 개의 오토포커스 픽셀들이 서로 인접하되, 페어를 구성하는 두 개의 오토포커스 픽셀들 간의 위상차, 또는 시차가 발생하는 일정 오프셋만큼 분리되어 배열된다는 의미로 이해될 수 있다. 오토포커스 픽셀들(413)의 페어는 예를 들어, 아래의 도 6의 Rx 센서(600)에서 도시된 것과 유사한 패턴으로 배열되거나, 또는 상이한 패턴으로 배열될 수도 있다.
오토포커스 픽셀들(413)이 획득한 오토포커스 영상들 간의 위상차는 피사체와의 거리를 산출하는데 이용될 수 있다.
Tx 광원(430)은 도 2를 통해 전술한 라이다 시스템(200)의 레이저 송신부(210)와 같이 펄스 레이저를 출력하되, 오토포커스 영상들 간의 위상차에 기초하여 산출된 피사체와의 거리에 의해 송출 전력이 적응적으로 조절될 수 있다.
일 실시예에 따른 라이다 시스템(400)은 도 2를 통해 전술한 일반적인 라이다 시스템에서의 레이저 송신부(210)와 레이저 검출부(230)의 사용 용도와 반대로, Tx 광원(430)이 아닌 Rx 센서(410)의 오토포커스 픽셀들(413)에 대응하는 오토포커스 영상들(AF images) 간의 시차를 기초로 피사체와의 거리를 산출하고, 이를 기초로 Tx 광원(430)의 전송 전력을 조정하여 소모 전력의 절감 혹은 라이다 시스템(400)의 성능을 향상시킬 수 있다.
도 5는 일 실시예에 따른 라이다 시스템을 포함하는 전자 장치의 블록도이다. 도 5를 참조하면, 일 실시예에 따른 전자 장치(500)(예: 도 1의 전자 장치(101))는 라이다 시스템(510)(예: 도 4의 라이다 시스템(400)) 및 프로세서(530)를 포함할 수 있다. 또한, 전자 장치(500)는 카메라(550)(예: 도 1의 카메라 모듈(180)) 및 메모리(570)(예: 도 1의 메모리(130))를 더 포함할 수 있다. 라이다 시스템(510), 프로세서(530), 카메라(550), 및 메모리(570)는 통신 버스(505)를 통해 서로 연결될 수 있다.
라이다 시스템(510)은 Rx 센서(511) 및 Tx 광원(513)을 포함할 수 있다. Rx 센서(511)는 영상 정보를 감지하는 이미지 픽셀들(예: 도 4의 이미지 픽셀들(411) 및 도 6의 이미지 픽셀들(610)) 내에 산재된 오토포커스 픽셀들(예: 도 4의 오토포커스 픽셀들(413), 도 6의 오토포커스 픽셀들(620, 630))을 포함할 수 있다. Tx 광원(513)은 펄스 레이저를 출력할 수 있다. 라이다 시스템(510)은 예를 들어, 도 4를 통해 전술한 라이다 시스템(400)에 해당할 수 있다.
프로세서(530)는 라이다 시스템(510)에서 Tx 광원(513)을 구동하기 전에, Rx 센서(511)에 포함된 오토포커스 픽셀들(620, 630)을 이용하여 피사체와의 거리를 산출할 수 있다. 예를 들어, 프로세서(530)는 주변에 대한 렌더링이 완료된 이후, 주변의 변경 사항이 없는 상태에서 오토포커스 픽셀들(620, 630)을 이용하여 피사체의 움직임을 감지할 수 있다. 프로세서(530)는 카메라(550)에 캡쳐된 영상 프레임들의 프레임 레이트(frame rate)로부터 주변의 변경 사항을 검출할 수 있다.
프로세서(530)는 피사체의 움직임이 확인된 경우 라이다 시스템(510)에서 Tx 광원(513)을 구동할 수 있다.
프로세서(530)는 오토포커스 픽셀들(620, 630)을 이용하여 피사체가 포커싱되는지 여부를 결정할 수 있다. 피사체가 포커싱되는 경우, 프로세서(530)는 포커싱한 피사체와의 거리를 산출할 수 있다.
예를 들어, 피사체가 포커싱되지 않는 경우, 프로세서(530)는 Tx 광원(513)은 구동하지 않고, Rx 센서(511)의 오토포커스 픽셀들(620, 630)을 구동하여 주변을 스캐닝할 수 있다. 따라서, Tx 광원(513)의 송출을 방지하여 전력을 절약할 수 있다.
전자 장치(500)는 예를 들어, 헤드 마운티드 디스플레이(head mounted display; HMD) 장치와 같은 웨어러블 전자 장치일 수 있다. 헤드 마운티드 디스플레이 장치는 주변 인식을 위해 장착 시에 지속적으로 공간을 모델링할 수 있다. 정확한 제스처나 어떤 특정 인식이 필요한 사물이 없을 경우, 다시 말해, 주변 환경의 변화가 없을 경우, 전자 장치(500)는 라이다 시스템(510)의 Rx 센서(511) 및 Tx 광원(513)을 이용하여 지속적으로 주변 환경을 인식하는 대신에, Rx 센서(511)만으로 주변을 스캔함으로써 Tx 광원(513)의 소모 전력을 줄일 수 있다. 전자 장치(500)는 주변 환경의 변화, 예를 들어, 인식이 필요한 피사체가 출현하거나, 또는 제스처가 발생하여 정확한 깊이 정보를 확보할 필요가 있는 경우에 Tx 광원(513)을 사용할 수 있다.
프로세서(530)는 피사체를 촬영한 오토포커스 픽셀들(620, 630)에 대응하는 오토포커스 영상들(예: 도 6의 오토포커스 영상들(625,635)) 간의 위상차(또는 시차)를 기초로, 피사체와의 거리를 산출할 수 있다. 프로세서(530)는 오토포커스 영상들(625,635)에 대응하는 위상들 간의 상관(correlation) 연산에 의해 오토포커스 영상들(625,635)에 대응하는 위상들 간의 위상차를 산출하고, 위상차에 기초하여 피사체와의 거리를 산출할 수 있다. 프로세서(530)가 피사체와의 거리를 산출하는 방법은 아래의 도 6 내지 도 7을 참조하여 보다 구체적으로 설명한다.
프로세서(530)는 피사체와의 거리에 기초하여 Tx 광원(513)의 송출 전력을 적응적으로 결정할 수 있다. 예를 들어, 피사체와의 거리가 제1 거리와 같거나 더 가까운 경우, 프로세서(530)는 Tx 광원(513)의 송출 전력을 제1 전력으로 조절할 수 있다. 또는, 피사체와의 거리가 제1 거리보다 멀고, 제1 거리보다 먼 제2 거리와 같거나 더 가까운 경우, 프로세서(530)는 Tx 광원(513)의 송출 전력을 제1 전력보다 큰 제2 전력으로 조절할 수 있다. 또는, 피사체와의 거리가 제2 거리보다 멀고, 제2 거리보다 먼 제3 거리와 같거나 더 가까운 경우, 프로세서(530)는 Tx 광원(513)의 송출 전력을 제2 전력보다 큰 제3 전력으로 조절할 수 있다. 이때, 피사체와의 거리에 따른 송출 전력의 소모량은 예를 들어, 룩-업 테이블 형태로 미리 저장될 수도 있다.
프로세서(530)는 Tx 광원(513)이 적응적으로 결정된 송출 전력에 따라 펄스 레이저를 출력하도록 제어할 수 있다.
실시예에 따라서, 전자 장치(500)는 오토포커싱 기능을 포함하는 카메라(550)를 더 포함할 수 있다. 이 경우, 프로세서(530)는 카메라(550)의 오토포커싱 기능을 이용하여 획득한 피사체와의 초점이 맞는 거리 정보를 이용하여 Tx 광원(513)의 송출 전력을 적응적으로 결정하고, Tx 광원(513)이 송출 전력에 따라 펄스 레이저를 출력하도록 제어할 수 있다.
다만, 프로세서(530)의 동작을 상술한 바로 한정하는 것은 아니고, 프로세서(530)는 도 6 내지 도 11를 통해 후술하는 동작들 중 적어도 하나와 함께 상술한 동작을 수행할 수도 있다.
메모리(570)는 프로세서(530)가 산출한 피사체와의 거리 및/또는 프로세서(530)가 적응적으로 결정한 Tx 광원(513)의 송출 전력을 저장할 수 있다. 또한, 메모리(570)는 프로세서(530)가 생성한 가상의 컨텐츠를 저장할 수 있다.
또한, 메모리(570)는 프로세서(530)에 의해 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(570)는 각종 데이터와 프로그램을 저장할 수 있다. 메모리(570)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(570)는 하드 디스크와 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
도 6은 일 실시예에 따른 라이다 시스템을 포함하는 전자 장치에서 피사체와의 거리를 산출하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따른 Rx 센서(600)(예: 도 4의 Rx 센서(410), 도 5의 Rx 센서(511))의 이미지 센서들(610) 내에 포함된 두 개의 오토포커스 픽셀들(620, 630)(예: 도 4의 오토포커스 픽셀들(413))에 대응하는 오토포커스 영상들(625, 635) 간에 시차가 발생한 상황이 도시된다. 오토포커스 영상들(625, 635)은 예를 들어, 우안 영상 및 좌안 영상에 해당할 수 있다.
Rx 센서(600)에서 예를 들어, 16x16 이미지 센서들(610)의 영역에 한 쌍의 오토포커스 픽셀(620, 630)이 배치될 수 있다. 이때, 오토포커스 영상(625)은 오토포커스 픽셀(620)에 의해 획득될 수 있다. 오토포커스 영상(635)은 오토포커스 픽셀(630)에 의해 획득될 수 있다.
전자 장치는 오토포커스 영상(625)과 오토포커스 영상(635) 간의 위상차 또는 디포커스(defocus) 양에 기초한 시차를 산출할 수 있다. 오토포커스 영상들에서의 위상차는 아래의 도 7을 참조하여 보다 구체적으로 설명한다.
도 7은 일 실시예에 따른 오토포커스 영상들의 초점이 맞는(in-focus) 경우, 초점의 위치가 앞(front-focus)인 경우, 및 초점의 위치가 뒤(back-focus)인 경우의 위상차를 설명하기 위한 도면이다.
도 7을 참조하면, 촬영 렌즈(photographic lens)(701)를 기준으로 초점이 맞는(in-focus) 경우의 오토포커스 영상들(710), 초점의 위치가 앞(front-focus)인 경우의 오토포커스 영상들(720), 및 초점의 위치가 뒤(back-focus)인 경우의 오토포커스 영상들(730)이 도시된다.
예를 들어, 촬영 렌즈(701)를 통과한 후 영상 평면(image plane)(703)을 거친 광선은 분리 렌즈들(705)을 통해 둘로 분할된 뒤, 각각 다른 오토포커스 픽셀들(707,708)(예: 도 4의 오토포커스 픽셀들(413), 도 6의 오토포커스 픽셀들(620, 630))에 피사체의 상을 맺을 수 있다. 여기서, 분리 렌즈들(705)은 예를 들어, 오토포커스 2차 마이크로 렌즈 어레이(AF secondary micro-lens arrays)에 해당할 수 있으며, 반드시 이에 한정되지는 않는다. 오토포커스 픽셀들(707,708)은 예를 들어, 매칭 라인 센서들(matching line sensors)에 해당할 수 있다.
전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500))는 오토포커스 픽셀들(707,708)로부터 얻어진 오토포커스 영상들(710,720,730)의 위치 관계를 비교함으로써 초점의 위치를 파악할 수 있다.
도면(740)에서 오토포커스 영상들(710)은 초점이 맞는 경우를 나타낼 수 있다. 이때, 오토포커스 픽셀들(707,708)의 정중앙에 빛이 모이기 때문에 오토포커스 영상들(710)에 대응하는 위상이 완벽하게 겹칠 수 있다.
도면(750)에서 오토포커스 영상들(720)은 초점의 위치가 앞(front-focus)인 경우를 나타낼 수 있다. 이때, 오토포커스 픽셀들(707,708)의 정중앙보다 안쪽에 빛이 모이기 때문에오토포커스 영상들(720)에 대응하는 위상이 정중앙보다 안쪽에서 최고점이 찍히므로 피사체가 두 개로 갈라져 보일 수 있다.
또한, 도면(760)에서 오토포커스 영상들(730)에 대응되는 초점의 위치가 뒤(back-focus)인 경우를 나타낼 수 있다. 이때, 오토포커스 픽셀들(707,708)의 정중앙보다 바깥쪽에 빛이 모이기 때문에 오토포커스 영상들(730)에 대응하는 위상이 정중앙보다 바깥쪽에서 최고점이 찍히므로 피사체가 두 개로 갈라져 보일 수 있다.
도면(740) 내지 도면(760)에서 오토포커스 픽셀들(707,708)의 출력 레벨 혹은 출력 파형(output wave)의 차이는 '위상차' 또는 '디포커스 양 '이라고 부를 수 있으며, 이는 오토포커스 영상들(710,720,730) 각각에서의 위치 정보의 차이에 해당할 수 있다. 이하, '위상차'와 '디포커스 양'은 동일한 의미로 이해될 수 있다.
예를 들어, 도면(740)에서 오토포커스 영상들(710)과 같이 초점이 맞춰진 상태에서 위상차(또는 디포커스 양)를 X 라고 간주하자. 이 예시적인 시나리오에서, 도면(750)에서의 오토포커스 영상들(720)과 같이 초점의 위치가 앞(front-focus)이면, 위상차는 X 보다 작을 수 있다. 또한, 도면(760)에서의 오토포커스 영상들(730)과 같이 초점의 위치가 뒤(back-focus)이면, 위상차는 X 보다 클 수 있다.
전술한 바와 같이, 전자 장치(500)는 이와 같이, 오토포커스 픽셀들(707,708)로부터 얻어진 오토포커스 영상들(710,720,730) 간의 위상차를 통해 피사체까지의 거리를 추정할 수 있다. 여기서 추정은 피사체가 초점이 맞거나, 전면에 초점이 맞춰져 있거나, 후면에 초점이 맞춰져 있는 경우와 같은 피사체의 상태를 나타낼 수 있다.
피사체의 상태에 기초하여, 전자 장치(500)는 전력 소모를 필요로 하는 추가적인 동작을 취할 수 있다. 하나 이상의 액션을 취할 것인지를 결정함으로써, 전자 장치(500)는 전력을 절약할 수 있다(즉, 전력 소모를 줄이거나, 또는 더욱 전력 효율적일 수 있다).
도 8은 일 실시예에 따른 위상차에 기초하여 피사체와의 거리를 산출하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500))가 페어를 구성하는 오토포커스 픽셀들(예: 도 4의 오토포커스 픽셀들(413), 도 6의 오토포커스 픽셀들(620, 630), 도 7의 오토포커스 픽셀들(707,708))의 페어로부터 획득한 오토포커스 영상들(예: 도 6의 오토포커스 영상들(625,635))에 대응하는 위상차를 나타낸 그래프들(810, 830)이 도시된다.
전자 장치(500)는 두 개의 오토포커스 영상들(625,635)에 대응하는 위상들 간의 상관(correlation) 연산에 의해 오토포커스 영상들(625,635)에 대응하는 위상들 간의 위상차를 산출할 수 있다. 전자 장치(500)는 예를 들어, 상관 연산에 의해 오토포커스 영상들(625,635)에 대응하는 위상들을 픽셀 단위로 쉬프트(shift)시켜 오토포커스 영상들(625,635)에 대응하는 위상들 간의 위상차를 산출할 수 있다. 전자 장치(500)는 위상차에 기초하여 피사체와의 거리를 산출할 수 있다.
전자 장치(500)는 예를 들어, 그래프(810) 또는 그래프(830)과 같이 두 오토포커스 영상들(625,635)에 대응하는 위상들(A,B) 간의 차이가 0이 되도록 하는 거리를 산출함으로써 피사체와의 거리를 구할 수 있다.
전자 장치(500)는 예를 들어, 아래의 수학식 1과 같이 표현되는 SAD(sum of absolute differences) 기법, 또는 아래의 수학식 2와 같이 표현되는 SSD(sum of squared differences) 기법에 의해 두 오토포커스 영상들(625,635)에 대응하는 위상 A와 위상 B 간의 위상차
Figure PCTKR2022015781-appb-img-000001
가 0이 되도록 하는 거리를 산출할 수 있다.
예를 들어, SAD 기법을 사용하는 경우, 위상차
Figure PCTKR2022015781-appb-img-000002
는 아래의 수학식 1을 통해 구할 수 있다.
[수학식 1]
Figure PCTKR2022015781-appb-img-000003
여기서, i는 픽셀 인덱스(pixel index)에 해당하고, n은 그래프(810)에서 위상 B(i)를 픽셀 단위로 쉬프트(shift)시켜 위상 A(i)와 일치하도록 하는 이동 거리에 해당할 수 있다. 이때, 이동 거리 n이 피사체와의 거리에 해당할 수 있다.
또는 SSD 기법을 사용하는 경우, 위상차
Figure PCTKR2022015781-appb-img-000004
는 아래의 수학식 2를 통해 산출할 수 있다.
[수학식 2]
Figure PCTKR2022015781-appb-img-000005
그래프(830)에서 최소점(835)의 x좌표는 위상차 값에 해당할 수 있다. 여기서, x좌표의 값이 피사체와의 거리(D)에 해당할 수 있다.
또는 전자 장치(500)는 두 오토포커스 영상들(625,635)에 대응하는 위상들의 곱이 최대가 되도록 하는 거리를 산출할 수 있다. 전자 장치(500)는 예를 들어, NNC(normalize cross-correlation) 기법 또는 아래의 수학식 3과 같은 CC(cross-correlation) 기법에 의해 위상들의 곱 이 최대가 되도록 하는 거리(n)를 산출할 수 있다.
[수학식 3]
Figure PCTKR2022015781-appb-img-000006
도 9는 일 실시예에 따라 전자 장치에서 Tx 광원의 송출 전력이 적응적으로 결정된 경우의 동작을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500))의 Tx 광원(예: 도 4의 Tx 광원(430), 도 5의 Tx 광원(513), 도 10의 Tx 광원(1013))에서 출력되는 펄스 레이저의 송출 전력들이 Rx 센서(511)에 기초하여 추정된 피사체로부터의 추정된 거리에 따라 달라지는 시나리오들(910, 920, 930)의 일 예시가도시된다. 예시적인 시나리오들은 여기서, 설명된 모든 다른 전자 장치들에 적용될 수 있다.
예시적인 시나리오(910)에서, 피사체와의 거리가 제1 미리 결정된 거리(제1 임계치)(예를 들어, 1미터, 3 미터 등)보다 짧은 것으로 결정된 경우, , 전자 장치(500)는 낮은 송신 전력 값을 결정하여 사용할 수 있다. 전자 장치(500)는 송신 광원(513)을 제어하여 낮은 송출 전력의 펄스 레이저를 출력할 수 있다.
또는, 예시적인 시나리오(930)에서, 피사체까지의 거리가 제1 미리 결정된 거리보다 크지만, 제2 미리 결정된 거리보다 짧은 것으로 결정되면(예를 들어, 3~5 미터, 또는 3 ~7 미터와 같이 미리 결정된 범위 내), 전자 장치(500)는 중간 전송 전력값을 결정하여 사용할 수 있다. 전자 장치(500)는 Tx 광원(513)이 중간 송신 전력(중전력)으로 펄스 레이저를 출력하도록 제어할 수 있다. 중간 송신 전력은 더 낮은 전송 전력보다 클 수 있다.
또는 예시적인 시나리오(950)에서, 피사체와의 거리가 제2 기 설정된 거리보다 큰 것으로 판단된 경우, 전자 장치(500)는 고전력을 송신 전력으로 결정하여 사용할 수 있다. 전자 장치(500)는 Tx 광원(513)을 제어하여 높은 송출 전력의 펄스 레이저를 출력할 수 있다. 높은 전송 전력은 중간 전송 전력 보다 클 수 있다. 따라서, Tx 광원(513)에서 레이저 펄스가 출력되는 송신 전력은 추정된 피사체의 거리에 기초하여 제어될 수 있다. 피사체의 추정된 거리는 여기서, 설명된 오토포커스 픽셀을 사용하여 Rx 센서(511)에 의해 결정될 수 있다.
도 10은 일 실시예에 따른 웨어러블 전자 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(1000)(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500))는 라이다 시스템(1010)(예: 도 4의 라이다 시스템(400), 도 5의 라이다 시스템(510))을 포함할 수 있다. 라이다 시스템(1010)은 Rx 센서(1011)(예: 도 4의 Rx 센서(410), 도 5의 Rx 센서(511), 도 6의 Rx 센서(600)) 및 Tx 광원(1013)(예: 도 5의 Tx 광원(513))을 포함할 수 있다.
웨어러블 전자 장치(1000)는 프로세서(1030)(예: 도 1의 프로세서(120), 도 5의 프로세서(530)), 디스플레이 장치(1050)(예: 도 1의 디스플레이 모듈(160)), 및 메모리(1070)(예: 도 5의 메모리(570))를 포함할 수 있다. 또는 웨어러블 전자 장치(1000)는 카메라(1090)(예: 도 1의 카메라 모듈(180), 도 5의 카메라(550))를 더 포함할 수도 있다. 라이다 시스템(1010), 프로세서(1030), 디스플레이 장치(1050) 및 메모리(1070)는 통신 버스(1005)를 통해 서로 연결될 수 있다.
Rx 센서(1011)는 오토포커스 픽셀들(예: 도 4의 오토포커스 픽셀들(413), 도 6의 오토포커스 픽셀들(620,630), 도 7의 오토포커스 픽셀들(707,708))을 포함할 수 있다. 오토포커스 픽셀들은 복수의 영상 프레임들을 포함하는 영상 정보를 감지하는 이미지 픽셀들(예: 도 4의 이미지 픽셀들(411), 도 6의 이미지 픽셀들(610)) 내에 산재될 수 있다.
Tx 광원(1013)는 펄스 레이저를 출력할 수 있다.
프로세서(1030)는 Tx 광원(1030)의 구동 전에 Rx 센서(1011)에 포함된 오토포커스 픽셀들(620,630)을 이용하여 피사체와의 거리를 산출할 수 있다. 프로세서(1030)는 피사체와의 거리에 기초하여 Tx 광원(1013)의 송출 전력을 적응적으로 결정할 수 있다. 프로세서(1030)는 Tx 광원(1013)이 송출 전력에 따라 펄스 레이저를 출력하도록 제어할 수 있다. 프로세서(1030)는 영상 정보 및 피사체까지의 거리에 기초하여 가상의 컨텐츠를 포함하는 증강 현실 컨텐츠를 생성할 수 있다. 프로세서(1030)는 피사체와의 거리에 기초하여 증강 현실 컨텐츠를 생성할 수 있다. 예를 들어, 가상 콘텐츠의 크기, 모양, 색상 또는 기타 속성은 피사체와의 거리에 따라 조정될 수 있다. 예를 들어, 피사체가 가까우면(제1 거리) 피사체가 멀 때(제3 거리)에 비해 가상 콘텐츠의 크기가 커질 수 있다. 일부 실시예에서, 청각적 속성(예를 들어, 볼륨, 주파수, 재생 속도 등)은 대상까지의 거리에 기초하여 조정될 수 있다.
디스플레이 장치(1050)는 프로세서(1030)가 생성한 가상의 컨텐츠를 표시할 수 있다.
메모리(1070)는 프로세서(1030)가 산출한 피사체와의 거리 및/또는 프로세서(1030)가 적응적으로 결정한 Tx 광원(1013)의 송출 전력을 저장할 수 있다. 또한, 메모리(1070)는 프로세서(1030)가 생성한 가상의 컨텐츠를 저장할 수 있다.
카메라(1090)는 예를 들어, 오토포커싱 기능을 포함하는 카메라일 수 있다. 전자 장치(1000)가 카메라(1090)를 포함하는 경우, 프로세서(1030)는 카메라(1090)의 오토포커싱 기능을 이용하여 초점이 맞춰진 피사체까지의 거리에 기초하여 Tx 광원(1013)의 송출 전력을 적응적으로 결정할 수 있다. 피사체까지의 거리는 카메라(1090)의 오토포커싱 기능을 이용하여 획득될 수 있다. 프로세서(1030)는 Tx 광원(1013)이 적응적으로 결정된 송출 전력에 따라 펄스 레이저를 출력하도록 제어할 수 있다.
도 11는 일 실시예에 따른 전자 장치의 제어 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 11를 참조하면, 일 실시예에 따른 Rx 센서 및 Tx 광원을 포함하는 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 도 10의 웨어러블 전자 장치(1000))의 제어 동작이 도시된다.
동작 1110에서, 전자 장치(500)는 오토포커스 픽셀들(예: 도 4의 오토포커스 픽셀들(413), 도 6의 오토포커스 픽셀들(620, 630), 도 7의 오토포커스 픽셀들(707, 708))을 이용하여 피사체와의 거리를 산출 또는 추정할 수 있다. 오토포커스 픽셀들은 Rx 센서(예: 도 5의 Rx 센서(511), 도 6의 Rx 센서(600), 도 10의 Rx 센서(1011))에 포함될 수 있다. 거리는 Tx 광원(예: 도 5의 Tx 광원(513), 도 10의 Tx 광원(1013))을 구동하기 전에 계산될 수 있다.
전자 장치(500)는 피사체를 촬영한 오토포커스 픽셀들(620, 630)에 대응하는 오토포커스 영상들 간의 시차를 기초로, 피사체와의 거리를 산출할 수 있다. 전자 장치(500)는 오토포커스 픽셀들(620, 630)을 이용하여 피사체가 포커싱되는지 여부를 결정하고, 피사체가 포커싱되는 경우, 포커싱한 피사체와의 거리를 산출할 수 있다. 예를 들어, 피사체가 포커싱되지 않는 경우, 전자 장치(500)는 Tx 광원(513)은 구동하지 않고, 오토포커스 픽셀들(620, 630)을 구동하여 주변을 스캐닝할 수 있다. 전자 장치(500)는 인식하고자 하는 피사체의 부재 시에 Rx 센서(511)의 오토포커스 픽셀들(620, 630)은 구동하고, Tx 광원(513)은 구동하지 않음으로써 고전력이 소모되는 Tx 광원(513)의 전력 효율을 향상시킬 수 있다.
전자 장치(500)는 예를 들어, 한 장의 영상으로 디포커스 양(위상차) 및 방향을 검출하여 시차가 서로 다른 오토포커스 영상들(예: 도 6의 오토포커스 영상들(625,635))로부터 피사체와 전자 장치(500) 간의 거리를 산출할 수 있다. 전자 장치(500)는 예를 들어, 오토포커스 영상들(625,635)에 대응하는 위상들 간의 상관 연산에 의해 오토포커스 영상들(625,635)에 대응하는 위상들 간의 위상차를 산출할 수 있다. 전자 장치(500)는 위상차에 기초하여 피사체와의 거리를 산출할 수 있다.
실시예에 따라서, 전자 장치(500)는 오토포커싱 기능을 포함하는 카메라 (예: 도 1의 카메라 모듈(180), 도 5의 카메라(550), 도 10의 카메라(1090))를 더 포함할 수 있다. 이 경우, 전자 장치(500)는 카메라(550)의 오토포커싱 기능을 이용하여 초점이 맞춰진 피사체까지의 거리를 획득할 수 있다.
동작 1120에서, 전자 장치(500)는 동작 1110에서 산출한 피사체와의 거리에 기초하여 Tx 광원(513)의 송출 전력을 적응적으로 결정할 수 있다. 예를 들어, 피사체와의 거리가 제1 거리와 같거나 더 가까운 경우, 전자 장치(500)는 Tx 광원(513)의 송출 전력을 제1 전력으로 결정할 수 있다. 피사체와의 거리가 제1 거리보다 멀고, 제1 거리보다 먼 제2 거리와 같거나 더 가까운 경우, 전자 장치(500)는 Tx 광원(513)의 송출 전력을 제1 전력보다 큰 제2 전력으로 구성, 설정 또는 조절할 수 있다. 또는 피사체와의 거리가 제2 거리를 초과하는 제3 거리인 경우, 전자 장치(500)는 Tx 광원(513)의 송출 전력을 제2 전력보다 큰 제3 전력으로 결정할 수 있다. 위의 설명에서, 피사체와의 거리에 기초하여 Tx 광원(513)의 송출 전력을 3단계로 적응적으로 결정하는 방법을 설명하였으나 반드시 이에 한정되는 것은 아니며, 2단계 또는 5단계와 같이 다양한 단계로 결정될 수도 있다.
전술한 바와 같이, 피사체가 비교적 짧은 거리(예: 제1 거리)에 있는 경우, 전자 장치(500)는 Tx 광원(513)의 송출 전력을 낮춰 전력 효율을 증대시킬 수 있다. 또한, 피사체가 상대적으로 멀리 떨어져 있는 경우(제3 거리), 전자 장치(500)는 Tx 광원(513)의 송출 전력을 높임으로써 전자 장치(500) 또는 라이다 시스템(예: 도 4의 라이다 시스템(400), 도 5의 라이다 시스템(510))의 커버리지(coverage)를 증대시킬 수 있다.
동작 1130에서, 전자 장치(500)는 Tx 광원(513)이 동작 1120에서 결정된 송출 전력에 따라 펄스 레이저를 출력하도록 제어할 수 있다.
일 실시예에 따른 전자 장치(500)는 예를 들어. 스마트 글래스를 포함하는 웨어러블 디바이스, 및 AR 기기, VR 기기, 및 MR 기기를 포함하는 헤드 마운티드 디바이스 중 어느 하나일 수 있으며, 반드시 이에 한정되지는 않는다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
일 실시예에 따르면, 전자 장치(101, 500, 1000)는 영상 정보를 감지하는 이미지 픽셀들(411, 610) 및 오토포커스 픽셀들(auto pixels)(413,620,630,707,708)을 포함하는 Rx 센서(410,511,600,1011)와 펄스 레이저를 출력하는 Tx 광원(430,513,1013)을 포함하는 라이다 시스템(400,510), 및 상기 Tx 광원(430,513,1013)의 구동 전에,상기 Rx 센서(410,511,600,1011)에 포함된 오토포커스 픽셀들(413,620,630,707,708)을 이용하여 피사체와의 거리를 산출하고, 상기 피사체와의 거리에 기초하여 상기 Tx 광원(430,513,1013)의 송출 전력을 적응적으로 결정하며, 상기 Tx 광원(430,513,1013)이 상기 송출 전력에 따라 상기 펄스 레이저를 출력하도록 제어하는 프로세서(120.530,1030)를 포함할 수 있다.
일 실시예에 따르면, 상기 전자 장치(101, 500, 1000)는 오토포커싱 기능을 포함하는 카메라(180,550,1090)를 더 포함하고, 상기 프로세서(120.530,1030)는 상기 카메라(180,550,1090)의 오토포커싱 기능을 이용하여 획득한 상기 피사체까지의 거리를 산출할 수 있다.
일 실시예에 따르면, 상기 프로세서(120.530,1030)는 상기 오토포커스 픽셀들(413,620,630,707,708)을 이용하여 상기 피사체에 초점이 맞는지 여부를 결정하고, 상기 피사체에 초점이 맞춰진 경우에 상기 피사체까지의 거리를 산출할 수 있다.
일 실시예에 따르면, 상기 프로세서(120.530,1030)는 상기 피사체에 초점이 맞지 않는 경우, 상기 Tx 광원(430,513,1013)은 구동하지 않고, 상기 오토포커스 픽셀들(413,620,630,707,708)을 구동하여 주변을 스캐닝할 수 있다.
일 실시예에 따르면, 상기 프로세서(120.530,1030)는 상기 피사체와의 거리가 제1 거리와 같거나 더 가까운 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 제1 전력으로 조절하고, 상기 피사체와의 거리가 상기 제1 거리보다 멀고, 상기 제1 거리보다 먼 제2 거리와 같거나 더 가까운 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 상기 제1 전력보다 큰 제2 전력으로 조절하며, 상기 피사체와의 거리가 상기 제2 거리를 초과하는 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 상기 제2 전력보다 큰 제3 전력으로 조절할 수 있다.
일 실시예에 따르면, 상기 전자 장치(101,500,1000)는 스마트 글래스를 포함하는 웨어러블 디바이스, 및 AR 기기, VR 기기, 및 MR 기기를 포함하는 헤드 마운티드 디바이스 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101,500,1000)는 복수의 영상 프레임들을 포함하는 영상 정보를 감지하는 오토포커스 픽셀들(413,620,630,707,708)의 페어를 포함하는 Rx 센서(410,511,600,1011), 상기 Rx 센서(410,511,600,1011)에 포함된 상기 오토포커스 픽셀들(413,620,630,707,708)의 페어를 이용하여 피사체와의 거리를 산출하고, 상기 영상 정보 및 상기 피사체까지의 거리에 기초하여 가상의 컨텐츠를 생성하는 프로세서(120,530,1030), 및 상기 가상의 컨텐츠를 표시하는 디스플레이(160,1050)를 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치(101,500,1000)는 펄스 레이저를 출력하는 Tx 광원(430,513,1013)을 더 포함하고, 상기 프로세서(120,530,1030)는 상기 피사체까지의 거리를 기반으로 하는 상기 송출 전력에 따라 펄스 레이저를 출력하도록 상기 Tx 광원을 제어할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치(101,500,1000)는 오토포커싱 기능을 포함하는 카메라(180,550,1090)를 더 포함하고, 상기 프로세서(120,530,1030)는 상기 카메라(180,550,1090)의 오토포커싱 기능을 이용하여 획득한 초점이 맞춰진 상기 피사체까지의 거리를 결정할 수 있다.
일 실시예에 따르면, 상기 프로세서(120,530,1030)는 상기 오토포커스 픽셀들(413,620,630,707,708)의 페어를 이용하여 상기 피사체에 초점이 맞춰져 있는지 여부를 결정하고, 상기 피사체에 초점이 맞춰져 있는 경우, 상기 피사체까지의 거리를 산출할 수 있다.
일 실시예에 따르면, 상기 프로세서(120,530,1030)는 상기 피사체가 초점이 맞지 않는 것으로 결정되면, 상기 펄스 레이저를 출력하는 상기 Tx 광원(430,513,1013)은 구동하지 않고, 상기 오토포커스 픽셀들(413,620,630,707,708)의 페어를 구동하여 주변을 스캐닝할 수 있다.
일 실시예에 따르면, 상기 프로세서(120,530,1030)는 상기 피사체와의 거리가 제1 거리와 같거나 더 가까운 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 제1 전력으로 조절하고, 상기 피사체와의 거리가 상기 제1 거리보다 멀고, 상기 제1 거리보다 먼 제2 거리와 같거나 더 가까운 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 상기 제1 전력보다 큰 제2 전력으로 조절하며, 상기 피사체와의 거리가 상기 제2 거리를 초과하는 경우, 상기 Tx 광원(430,513,1013)의 송출 전력을 상기 제2 전력보다 큰 제3 전력으로 조절할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는 AR 기기, VR 기기, 및 MR 기기를 포함하는 헤드 마운티드 디바이스 및 스마트 글래스 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 피사체까지의 거리에 기초하여 상기 가상 컨텐츠의 하나 이상의 속성을 조정할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 속성은 색상, 모양, 크기, 및 오디오를 포함할 수 있다.
일 실시예에 따르면, 라이다 시스템(400,510)은 펄스 레이저를 출력하는 Tx 광원(430,513,1013), 및 상기 펄스 레이저가 피사체에 반사된 펄스 신호들을 수신하는 Rx 센서(410,511,600,1011)를 포함하고, 상기 Rx 센서(410,511,600,1011)는 영상 정보를 감지하는 복수의 이미지 픽셀들(411, 610), 및 상기 이미지 픽셀들(411, 610) 간에 분포된 오토포커스 픽셀들(413,620,630,707,708)의 페어를 포함하고, 상기 오토포커스 영상들(625,635)의 페어는 오토포커스 영상들을 획득하며, 상기 오토포커스 영상들 간의 위상차는 상기 피사체와의 거리를 산출하는데 이용될 수 있다.
일 실시예에 따르면, Rx 센서(410,511,600,1011) 및 Tx 광원(430,513,1013)을 포함하는 전자 장치(101,500,1000)의 제어 방법은 상기 Tx 광원(430,513,1013)의 구동 전에 상기 Rx 센서(410,511,600,1011)에 포함된 오토포커스 픽셀들(413,620, 630,707,708)을 이용하여 피사체와의 거리를 산출하는 동작 1110, 상기 피사체와의 거리에 기초하여 상기 Tx 광원(430,513,1013)의 송출 전력을 적응적으로 결정하는 동작 1120, 및 상기 Tx 광원(430,513,1013)이 상기 송출 전력에 따라 펄스 레이저를 출력하도록 제어하는 동작 1130을 포함할 수 있다.
일 실시예에 따르면, 상기 피사체와의 거리를 산출하는 동작은 상기 오토포커스 영상들(625,635) 간의 위상차가 0이 되도록 하는 거리를 산출하는 동작, 및 상기 두 오토포커스 영상들(625,635)에 대응하는 위상들 간의 곱이 최대가 되도록 하는 거리를 산출하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 전자 장치(101,500,1000)는 오토포커싱 기능을 포함하는 카메라(180,550,1090)를 더 포함하고, 상기 피사체와의 거리를 산출하는 동작은 초점이 맞춰진 상기 피사체까지의 거리를 획득하는 동작을 포함하고, 상기 피사체는 상기 카메라(180,550,1090)의 오토포커싱 기능을 이용하여 초점이 맞춰진 것으로 결정될 수 있다.

Claims (15)

  1. 영상 정보를 감지하는 이미지 픽셀들 및 오토포커스 픽셀들(phase auto pixels)을 포함하는 Rx 센서와 펄스 레이저를 출력하는 Tx 광원을 포함하는 라이다 시스템; 및
    상기 Rx 센서에 포함된 오토포커스 픽셀들을 이용하여 피사체와의 거리를 산출하고, 상기 피사체와의 거리에 기초하여 상기 Tx 광원의 송출 전력을 적응적으로 결정하며, 상기 Tx 광원이 상기 송출 전력에 따라 상기 펄스 레이저를 출력하도록 제어하는 프로세서
    를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 전자 장치는
    오토포커싱 기능을 포함하는 카메라를 더 포함하고,
    상기 프로세서는
    상기 카메라의 오토포커싱 기능을 이용하여 상기 피사체까지의 거리를 산출하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는
    상기 오토포커스 픽셀들을 이용하여 상기 피사체에 초점이 맞는지 여부를 결정하고, 상기 피사체에 초점이 맞춰진 경우에 상기 피사체까지의 거리를 산출하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는
    상기 피사체에 초점이 맞지 않는 경우, 상기 Tx 광원은 구동하지 않고, 상기 오토포커스 픽셀들을 구동하여 주변을 스캐닝하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는
    상기 피사체와의 거리가 제1 거리와 같거나 더 가까운 경우, 상기 Tx 광원의 송출 전력을 제1 전력으로 조절하고,
    상기 피사체와의 거리가 상기 제1 거리보다 멀고, 상기 제1 거리보다 먼 제2 거리와 같거나 더 가까운 경우, 상기 Tx 광원의 송출 전력을 상기 제1 전력보다 큰 제2 전력으로 조절하며,
    상기 피사체와의 거리가 상기 제2 거리를 초과하는 경우, 상기 Tx 광원의 송출 전력을 상기 제2 전력보다 큰 제3 전력으로 조절하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 전자 장치는
    스마트 글래스를 포함하는 웨어러블 디바이스; 및
    AR(augmented reality) 기기, VR(virtual reality) 기기, 및 MR(mixed reality) 기기를 포함하는 헤드 마운티드 디바이스
    중 적어도 하나를 포함하는, 전자 장치.
  7. 웨어러블 전자 장치에 있어서,
    복수의 영상 프레임들을 포함하는 영상 정보를 감지하는 오토포커스 픽셀들의 페어를 포함하는 Rx 센서;
    상기 Rx 센서에 포함된 상기 오토포커스 픽셀들의 페어를 이용하여 피사체까지의 거리를 산출하고, 상기 영상 정보 및 상기 피사체까지의 거리에 기초하여 가상의 컨텐츠를 생성하는 프로세서; 및
    상기 가상의 컨텐츠를 표시하는 디스플레이
    를 포함하는, 웨어러블 전자 장치.
  8. 제7항에 있어서,
    상기 웨어러블 전자 장치는
    펄스 레이저를 출력하는 Tx 광원을 더 포함하고,
    상기 프로세서는
    상기 피사체까지의 거리를 기반으로 하는 상기 송출 전력에 따라 펄스 레이저를 출력하도록 상기 Tx 광원을 제어하는, 웨어러블 전자 장치.
  9. 제7항에 있어서,
    상기 웨어러블 전자 장치는
    오토포커싱 기능을 포함하는 카메라를 더 포함하고,
    상기 프로세서는
    상기 카메라의 오토포커싱 기능을 이용하여 획득한 초점이 맞춰진 상기 피사체까지의 거리를 결정하는, 웨어러블 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는
    상기 오토포커스 픽셀들의 페어를 이용하여 상기 피사체에 초점이 맞춰져 있는지 여부를 결정하고, 상기 피사체에 초점이 맞춰져 있는 경우, 상기 피사체까지의 거리를 산출하는, 웨어러블 전자 장치.
  11. 제10항에 있어서,
    상기 프로세서는
    상기 피사체에 초점이 맞지 않는 것으로 결정되면, 상기 펄스 레이저를 출력하는 상기 Tx 광원을 구동하지 않고, 상기 오토포커스 픽셀들의 페어를 구동하여 주변을 스캐닝하는, 웨어러블 전자 장치.
  12. 제8항에 있어서,
    상기 프로세서는
    상기 피사체까지의 거리가 제1 거리와 같거나 더 가까운 경우, 상기 Tx 광원의 송출 전력을 제1 전력으로 조절하고,
    상기 피사체와의 거리가 상기 제1 거리보다 크고, 상기 제1 거리보다 큰 제2 거리와 같거나 더 가까운 경우, 상기 Tx 광원의 송출 전력을 상기 제1 전력보다 큰 제2 전력으로 조절하며,
    상기 피사체와의 거리가 상기 제2 거리를 초과하는 경우, 상기 Tx 광원의 송출 전력을 상기 제2 전력보다 큰 제3 전력으로 조절하는,
    웨어러블 전자 장치.
  13. 제7항에 있어서,
    상기 웨어러블 전자 장치는
    AR 기기, VR 기기, 및 MR 기기를 포함하는 헤드 마운티드 디바이스 및 스마트 글래스 중 적어도 하나를 포함하는, 웨어러블 전자 장치.
  14. 제7항에 있어서,
    상기 프로세서는
    상기 피사체까지의 거리에 기초하여 상기 가상 컨텐츠의 하나 이상의 속성을 조정하는, 웨어러블 전자 장치.
  15. 제14항에 있어서,
    상기 하나 이상의 속성은
    색상, 모양, 크기, 및 오디오를 포함하는, 웨어러블 전자 장치.
PCT/KR2022/015781 2021-10-25 2022-10-18 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법 Ceased WO2023075255A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22887451.7A EP4390450A4 (en) 2021-10-25 2022-10-18 ELECTRONIC DEVICE COMPRISING A LIDAR SYSTEM AND METHOD FOR CONTROLLING ELECTRONIC DEVICE
CN202280072067.9A CN118176435A (zh) 2021-10-25 2022-10-18 包括lidar系统的电子装置以及控制电子装置的方法
US18/094,634 US20230168379A1 (en) 2021-10-25 2023-01-09 Electronic device including lidar system, and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0142940 2021-10-25
KR1020210142940A KR20230058992A (ko) 2021-10-25 2021-10-25 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/094,634 Continuation US20230168379A1 (en) 2021-10-25 2023-01-09 Electronic device including lidar system, and method of controlling the same

Publications (1)

Publication Number Publication Date
WO2023075255A1 true WO2023075255A1 (ko) 2023-05-04

Family

ID=86158167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015781 Ceased WO2023075255A1 (ko) 2021-10-25 2022-10-18 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법

Country Status (5)

Country Link
US (1) US20230168379A1 (ko)
EP (1) EP4390450A4 (ko)
KR (1) KR20230058992A (ko)
CN (1) CN118176435A (ko)
WO (1) WO2023075255A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4614993A1 (en) * 2024-03-08 2025-09-10 Freshape SA Method of adjusting a focusing distance of an optical sensing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016540A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
JP2019049480A (ja) * 2017-09-11 2019-03-28 株式会社日立エルジーデータストレージ 距離測定装置
KR20200117460A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 전자 장치 및 그의 발열 제어 방법
KR20200129022A (ko) * 2019-05-07 2020-11-17 삼성전자주식회사 복수의 포토 다이오드들을 포함하는 픽셀을 포함하는 이미지 센서
KR20210053630A (ko) * 2019-11-04 2021-05-12 엘지이노텍 주식회사 표면발광 레이저소자, 이를 포함하는 발광장치 및 그 제조방법
KR20210142940A (ko) 2020-05-19 2021-11-26 서울대학교산학협력단 신축성 겹눈 구조 모사 렌즈 및 그 제조 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10823826B2 (en) * 2016-06-14 2020-11-03 Stmicroelectronics, Inc. Adaptive laser power and ranging limit for time of flight sensor
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
US11624807B2 (en) * 2018-12-11 2023-04-11 Silc Technologies, Inc. Image distance in LIDAR systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016540A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
JP2019049480A (ja) * 2017-09-11 2019-03-28 株式会社日立エルジーデータストレージ 距離測定装置
KR20200117460A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 전자 장치 및 그의 발열 제어 방법
KR20200129022A (ko) * 2019-05-07 2020-11-17 삼성전자주식회사 복수의 포토 다이오드들을 포함하는 픽셀을 포함하는 이미지 센서
KR20210053630A (ko) * 2019-11-04 2021-05-12 엘지이노텍 주식회사 표면발광 레이저소자, 이를 포함하는 발광장치 및 그 제조방법
KR20210142940A (ko) 2020-05-19 2021-11-26 서울대학교산학협력단 신축성 겹눈 구조 모사 렌즈 및 그 제조 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4614993A1 (en) * 2024-03-08 2025-09-10 Freshape SA Method of adjusting a focusing distance of an optical sensing system
WO2025186755A1 (en) 2024-03-08 2025-09-12 Freshape Sa Method of adjusting a focusing distance of an optical sensing system

Also Published As

Publication number Publication date
US20230168379A1 (en) 2023-06-01
EP4390450A4 (en) 2024-11-20
CN118176435A (zh) 2024-06-11
KR20230058992A (ko) 2023-05-03
EP4390450A1 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022031050A1 (ko) 이미지를 생성하는 전자 장치 및 방법
WO2023210940A1 (ko) 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법
WO2023075255A1 (ko) 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2023132629A1 (ko) 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법
WO2022245037A1 (ko) 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022086248A1 (ko) 줌 기능을 지원하는 전자 장치 및 방법
WO2022186495A1 (ko) 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법
WO2024117590A1 (ko) 이미지의 뷰 영역을 결정하는 전자 장치 및 그 동작 방법
WO2024034837A1 (ko) 깊이 맵을 획득하기 위한 전자 장치 및 방법
WO2024117452A1 (ko) 사용자의 움직임에 대한 트래킹 정보에 기반하여 렌더링을 하기 위한 전자 장치 및 방법
WO2024162659A1 (ko) 이미지 센서, 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022191407A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체
WO2024025123A1 (ko) 카메라를 포함하는 전자 장치 및 방법
WO2022235075A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022245148A1 (ko) 이미지 처리 방법 및 그 전자 장치
WO2023043132A1 (ko) 이미지에 보케 효과를 적용하는 전자 장치 및 그 동작 방법
WO2022240186A1 (ko) 이미지 왜곡을 보정하는 방법 및 그 전자 장치
WO2022244970A1 (ko) 전자 장치의 촬영 방법 및 그 전자 장치
WO2022092607A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2021251631A1 (ko) 초점 조절 기능을 포함하는 전자 장치 및 방법
WO2022203177A1 (ko) 전자 장치 및 카메라의 원거리 성능 향상 방법
WO2024085494A1 (ko) 디지털 보케 성능 향상을 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887451

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202337080179

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2022887451

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022887451

Country of ref document: EP

Effective date: 20240321

WWE Wipo information: entry into national phase

Ref document number: 202280072067.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE