WO2024248564A1 - 무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치 - Google Patents

무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2024248564A1
WO2024248564A1 PCT/KR2024/007559 KR2024007559W WO2024248564A1 WO 2024248564 A1 WO2024248564 A1 WO 2024248564A1 KR 2024007559 W KR2024007559 W KR 2024007559W WO 2024248564 A1 WO2024248564 A1 WO 2024248564A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object recognition
information
control message
transmit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/007559
Other languages
English (en)
French (fr)
Inventor
박종환
변재현
서한별
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020257041965A priority Critical patent/KR20260018056A/ko
Priority to EP24815938.6A priority patent/EP4723058A1/en
Publication of WO2024248564A1 publication Critical patent/WO2024248564A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Definitions

  • a method for transmitting a control message for controlling an image acquisition device in a wireless communication system and a device therefor are provided.
  • a wireless communication system is a multiple access system that supports communication with multiple users by sharing available system resources (e.g., bandwidth, transmission power, etc.).
  • multiple access systems include a CDMA (code division multiple access) system, an FDMA (frequency division multiple access) system, a TDMA (time division multiple access) system, an OFDMA (orthogonal frequency division multiple access) system, an SC-FDMA (single carrier frequency division multiple access) system, and an MC-FDMA (multi carrier frequency division multiple access) system.
  • SL refers to a communication method that establishes a direct link between user equipment (UE) to directly exchange voice or data between terminals without going through a base station (BS).
  • UE user equipment
  • BS base station
  • SL is being considered as a solution to solve the burden on base stations due to rapidly increasing data traffic.
  • V2X vehicle-to-everything refers to a communication technology that exchanges information with other vehicles, pedestrians, and objects with built-in infrastructure through wired/wireless communication.
  • V2X can be divided into four types: V2V (vehicle-to-vehicle), V2I (vehicle-to-infrastructure), V2N (vehicle-to-network), and V2P (vehicle-to-pedestrian).
  • V2X communication can be provided through the PC5 interface and/or the Uu interface.
  • Figure 1 is a diagram for explaining and comparing V2X communication based on RAT before NR and V2X communication based on NR.
  • V2X messages may include location information, dynamic information, attribute information, etc.
  • a terminal may transmit a CAM of a periodic message type and/or a DENM of an event triggered message type to another terminal.
  • 5G NR is a new clean-slate type mobile communication system that is the successor technology to LTE-A and has the characteristics of high performance, low latency, and high availability. 5G NR can utilize all available spectrum resources, from low frequency bands below 1 GHz to intermediate frequency bands between 1 GHz and 10 GHz, and high frequency (millimeter wave) bands above 24 GHz.
  • FIG. 2 shows the structure of an applicable LTE system. This may be called an Evolved-UMTS Terrestrial Radio Access Network (E-UTRAN), or a Long Term Evolution (LTE)/LTE-A system.
  • E-UTRAN Evolved-UMTS Terrestrial Radio Access Network
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution
  • Base stations (20) can be connected to each other through the X2 interface.
  • the base station (20) is connected to an EPC (Evolved Packet Core, 30) through the S1 interface, more specifically, to an MME (Mobility Management Entity) through the S1-MME and to an S-GW (Serving Gateway) through the S1-U.
  • EPC Evolved Packet Core, 30
  • MME Mobility Management Entity
  • S-GW Serving Gateway
  • EPC (30) consists of MME, S-GW, and P-GW (Packet Data Network-Gateway).
  • MME has terminal connection information or terminal capability information, and this information is mainly used for terminal mobility management.
  • S-GW is a gateway with E-UTRAN as an end point
  • P-GW is a gateway with PDN as an end point.
  • Figure 3 shows the structure of the NR system.
  • the NG-RAN may include a gNB and/or an eNB that provides user plane and control plane protocol termination to the UE.
  • FIG. 7 illustrates a case where only a gNB is included.
  • the gNB and the eNB are connected to each other via an Xn interface.
  • the gNB and the eNB are connected to a 5th generation core network (5G Core Network: 5GC) via an NG interface. More specifically, they are connected to an access and mobility management function (AMF) via an NG-C interface, and to a user plane function (UPF) via an NG-U interface.
  • AMF access and mobility management function
  • UPF user plane function
  • Figure 4 shows the structure of a radio frame of NR.
  • a radio frame can be used in uplink and downlink transmission in NR.
  • a radio frame has a length of 10 ms and can be defined as two 5 ms half-frames (Half-Frames, HF).
  • a half-frame can include five 1 ms subframes (Subframes, SF).
  • a subframe can be divided into one or more slots, and the number of slots in a subframe can be determined according to the subcarrier spacing (SCS).
  • SCS subcarrier spacing
  • Each slot can include 12 or 14 OFDM (A) symbols according to the cyclic prefix (CP).
  • each slot can include 14 symbols.
  • each slot can include 12 symbols.
  • the symbols can include OFDM symbols (or CP-OFDM symbols), SC-FDMA (Single Carrier - FDMA) symbols (or DFT-s-OFDM (Discrete Fourier Transform-spread-OFDM) symbols).
  • Table 1 illustrates the number of symbols per slot ((N slot symb ), the number of slots per frame ((N frame,u slot )) and the number of slots per subframe ((N subframe,u slot ) ) depending on the SCS setting (u) when normal CP is used.
  • Table 2 illustrates the number of symbols per slot, the number of slots per frame, and the number of slots per subframe according to SCS when extended CP is used.
  • OFDM(A) numerology e.g., SCS, CP length, etc.
  • OFDM(A) numerology e.g., SCS, CP length, etc.
  • the (absolute time) section of a time resource e.g., subframe, slot, or TTI
  • TU Time Unit
  • multiple numerologies or SCS can be supported to support various 5G services. For example, when the SCS is 15 kHz, wide area in traditional cellular bands can be supported, and when the SCS is 30 kHz/60 kHz, dense-urban, lower latency and wider carrier bandwidth can be supported. When the SCS is 60 kHz or higher, a bandwidth greater than 24.25 GHz can be supported to overcome phase noise.
  • the NR frequency band can be defined by two types of frequency ranges.
  • the two types of frequency ranges can be FR1 and FR2.
  • the numerical value of the frequency range can be changed, and for example, the two types of frequency ranges can be as shown in Table 3 below.
  • FR1 can mean "sub 6GHz range”
  • FR2 can mean “above 6GHz range” and can be called millimeter wave (mmW).
  • mmW millimeter wave
  • FR1 can include a band of 410 MHz to 7125 MHz as shown in Table 4 below. That is, FR1 can include a frequency band of 6 GHz (or 5850, 5900, 5925 MHz, etc.) or higher.
  • the frequency band of 6 GHz (or 5850, 5900, 5925 MHz, etc.) or higher included in FR1 can include an unlicensed band.
  • the unlicensed band can be used for various purposes, for example, it can be used for communication for vehicles (e.g., autonomous driving).
  • Figure 5 shows the slot structure of an NR frame.
  • a slot includes multiple symbols in the time domain.
  • one slot may include 14 symbols, but in the case of an extended CP, one slot may include 12 symbols.
  • one slot may include 7 symbols, but in the case of an extended CP, one slot may include 6 symbols.
  • a carrier includes a plurality of subcarriers in the frequency domain.
  • An RB Resource Block
  • An RB Resource Block
  • a BWP Bandwidth Part
  • P Physical Resource Block
  • a carrier can include at most N (for example, 5) BWPs.
  • Data communication can be performed through activated BWPs.
  • Each element can be referred to as a Resource Element (RE) in the resource grid, and one complex symbol can be mapped.
  • RE Resource Element
  • the wireless interface between terminals or between terminals and a network may be composed of an L1 layer, an L2 layer, and an L3 layer.
  • the L1 layer may mean a physical layer.
  • the L2 layer may mean at least one of a MAC layer, an RLC layer, a PDCP layer, and an SDAP layer.
  • the L3 layer may mean an RRC layer.
  • FIG. 6 illustrates a communication structure that can be provided in a 6G system according to an embodiment of the present disclosure.
  • the embodiment of FIG. 6 can be combined with various embodiments of the present disclosure.
  • New network characteristics in 6G could include:
  • AI can be applied at each stage of the communication process (or at each stage of signal processing, as described below).
  • High-precision localization (or location-based services) through communications is one of the functions of 6G wireless communication systems. Therefore, radar systems will be integrated with 6G networks.
  • AI Artificial Intelligence: Introducing AI into communications can simplify and improve real-time data transmission. AI can use a lot of analytics to determine how complex target tasks are performed. In other words, AI can increase efficiency and reduce processing delays. Time-consuming tasks such as handover, network selection, and resource scheduling can be performed instantly using AI. AI can also play a significant role in M2M, machine-to-human, and human-to-machine communications. AI can also be a rapid communication in Brain Computer Interface (BCI). AI-based communication systems can be supported by metamaterials, intelligent structures, intelligent networks, intelligent devices, intelligent cognitive radios, self-sustaining wireless networks, and machine learning.
  • BCI Brain Computer Interface
  • THz waves also known as sub-millimeter waves, generally refer to the frequency band between 0.1 THz and 10 THz with corresponding wavelengths ranging from 0.03 mm to 3 mm.
  • the 100 GHz–300 GHz band range (Sub THz band) is considered to be the main part of the THz band for cellular communications. Adding the Sub THz band to the mmWave band will increase the capacity of 6G cellular communications.
  • 300 GHz–3 THz is in the far infrared (IR) frequency band.
  • the 300 GHz–3 THz band is part of the optical band but is at the boundary of the optical band, just behind the RF band. Therefore, this 300 GHz–3 THz band shows similarities with RF.
  • FIG. 7 illustrates an electromagnetic spectrum according to an embodiment of the present disclosure.
  • the embodiment of FIG. 7 can be combined with various embodiments of the present disclosure.
  • Key characteristics of THz communications include (i) widely available bandwidth to support very high data rates, and (ii) high path loss at high frequencies (highly directional antennas are indispensable).
  • the narrow beam width generated by the highly directional antenna reduces interference.
  • the small wavelength of THz signals allows a much larger number of antenna elements to be integrated into devices and BSs operating in this band. This enables the use of advanced adaptive array techniques to overcome range limitations.
  • FSO backhaul network Free space optical transmission backhaul network
  • UAVs or drones will be a crucial element in 6G wireless communications.
  • high-speed data wireless connectivity can be provided using UAV technology.
  • the base station (BS) entity can be installed on the UAV to provide cellular connectivity.
  • UAVs may have certain features not found in fixed BS infrastructure such as easy deployment, robust line-of-sight links, and freedom of movement with controlled mobility.
  • BS base station
  • UAVs may have certain features not found in fixed BS infrastructure such as easy deployment, robust line-of-sight links, and freedom of movement with controlled mobility.
  • UAVs can easily handle such situations.
  • UAVs will be a new paradigm in wireless communications. This technology facilitates three basic requirements of wireless networks namely eMBB, URLLC, and mMTC.
  • UAVs can also support several purposes such as enhancing network connectivity, fire detection, disaster emergency services, security and surveillance, pollution monitoring, parking monitoring, and
  • V2X vehicle to everything
  • V2I vehicle to infrastructure
  • NTN may represent a network or network segment that uses RF (radio frequency) resources mounted on a satellite (or unmanned aerial system (UAS) platform).
  • FIG. 8 illustrates an example of a typical scenario of an NTN based on a transparent payload, according to an embodiment of the present disclosure.
  • FIG. 9 illustrates an example of a typical scenario of an NTN based on a regenerative payload, according to an embodiment of the present disclosure. The embodiment of FIG. 8 or FIG. 9 may be combined with various embodiments of the present disclosure.
  • a satellite (or UAS platform) may create a service link with a UE.
  • the satellite (or UAS platform) may be connected to a gateway via a feeder link.
  • the satellite may be connected to a data network via the gateway.
  • a beam footprint may mean an area where a signal transmitted by a satellite can be received.
  • a satellite (or UAS platform) can create a service link with a UE.
  • a satellite (or UAS platform) associated with a UE can be associated with another satellite (or UAS platform) via an inter-satellite link (ISL).
  • the other satellite (or UAS platform) can be associated with a gateway via a feeder link.
  • a satellite can be associated with a data network via another satellite and a gateway based on a regenerative payload. If there is no ISL between a satellite and another satellite, a feeder link between the satellite and the gateway may be required.
  • a satellite (or UAS platform) can implement a transparent or regenerative (with on board processing) payload.
  • a satellite (or UAS platform) may generate multiple beams over a given service area depending on the field of view of the satellite (or UAS platform).
  • the field of view of the satellite (or UAS platform) may vary depending on the onboard antenna diagram and the minimum elevation angle.
  • a transparent payload may include radio frequency filtering, frequency conversion, and amplification. Thus, the waveform signal repeated by the payload may not be altered.
  • a regenerative payload may include radio frequency filtering, frequency conversion and amplification, demodulation/decoding, switching and/or routing, and coding/modulation.
  • a regenerative payload may be substantially identical to onboarding all or part of a base station function onto the satellite (or UAS platform).
  • Wireless sensing is a technology that uses radio frequencies to obtain information about the environment and/or the characteristics of objects in the environment by detecting the instantaneous linear velocity, angle, distance (range), etc. of an object. Since the radio frequency sensing function does not require a connection to the object through a device in the network, it can provide a service for object positioning without a device. The ability to obtain range, velocity, and angle information from radio frequency signals can provide a wide range of new functions such as various object detection, object recognition (e.g., vehicles, humans, animals, UAVs), and high-precision localization, tracking, and activity recognition.
  • object recognition e.g., vehicles, humans, animals, UAVs
  • Wireless sensing services can provide information to various industries (e.g., unmanned aerial vehicles, smart homes, V2X, factories, railways, public safety, etc.) that enable applications such as intruder detection, assisted vehicle steering and navigation, trajectory tracking, collision avoidance, traffic management, health and traffic management, etc.
  • wireless sensing can use non-3GPP type sensors (e.g., radar, camera) to additionally support 3GPP-based sensing.
  • non-3GPP type sensors e.g., radar, camera
  • the operation of a wireless sensing service i.e., a sensing operation, may depend on the transmission, reflection, and scattering processing of wireless sensing signals. Therefore, wireless sensing may provide an opportunity to enhance existing communication systems from a communication network to a wireless communication and sensing network.
  • FIG. 10 illustrates an example of a sensing operation according to an embodiment of the present disclosure.
  • the embodiment of FIG. 10 may be combined with various embodiments of the present disclosure. Specifically, (a) of FIG. 10 illustrates an example of sensing using a sensing receiver and a sensing transmitter at the same location (e.g., monostatic sensing), and (b) of FIG. 10 illustrates an example of sensing using a separated sensing receiver and a sensing transmitter (e.g., bistatic sensing).
  • Figure 11 shows a radio protocol architecture for SL communication. Specifically, Figure 11 (a) shows a user plane protocol stack of NR, and Figure 11 (b) shows a control plane protocol stack of NR.
  • SL synchronization signal Sidelink Synchronization Signal, SLSS
  • SLSS Segment Synchronization Signal
  • SLSS is an SL-specific sequence and may include a Primary Sidelink Synchronization Signal (PSSS) and a Secondary Sidelink Synchronization Signal (SSSS).
  • PSSS Primary Sidelink Synchronization Signal
  • SSSS Secondary Sidelink Synchronization Signal
  • the PSSS may be referred to as a Sidelink Primary Synchronization Signal (S-PSS)
  • S-SSS Sidelink Secondary Synchronization Signal
  • S-SSS Sidelink Secondary Synchronization Signal
  • length-127 M-sequences may be used for the S-PSS
  • length-127 Gold sequences may be used for the S-SSS.
  • a terminal may detect an initial signal (signal detection) and acquire synchronization using the S-PSS.
  • the terminal may acquire detailed synchronization and detect a synchronization signal ID using the S-PSS and the S-SSS.
  • PSBCH Physical Sidelink Broadcast Channel
  • PSBCH Physical Sidelink Broadcast Channel
  • the basic information may be information related to SLSS, duplex mode (DM), TDD UL/DL (Time Division Duplex Uplink/Downlink) configuration, resource pool related information, type of application related to SLSS, subframe offset, broadcast information, etc.
  • the payload size of PSBCH may be 56 bits including a 24-bit CRC.
  • S-PSS, S-SSS and PSBCH may be included in a block format supporting periodic transmission (e.g., SL SS (Synchronization Signal)/PSBCH block, hereinafter referred to as S-SSB (Sidelink-Synchronization Signal Block)).
  • the S-SSB may have the same numerology (i.e., SCS and CP length) as the PSCCH (Physical Sidelink Control Channel)/PSSCH (Physical Sidelink Shared Channel) in a carrier, and a transmission bandwidth may be within a (pre-)configured SL BWP (Sidelink BWP).
  • the bandwidth of the S-SSB may be 11 RB (Resource Block).
  • the PSBCH may span 11 RBs.
  • the frequency location of the S-SSB may be (pre-)configured. Therefore, the terminal does not need to perform hypothesis detection in frequency to discover the S-SSB in the carrier.
  • the transmitting terminal may transmit one or more S-SSBs to a receiving terminal within one S-SSB transmission period according to the SCS.
  • the number of S-SSBs that the transmitting terminal transmits to the receiving terminal within one S-SSB transmission period may be pre-configured or configured for the transmitting terminal.
  • the S-SSB transmission period may be 160 ms.
  • an S-SSB transmission period of 160 ms may be supported for all SCSs.
  • the transmitting terminal can transmit one or two S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the transmitting terminal can transmit one or two S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the transmitting terminal can transmit one, two, or four S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the transmitting terminal can transmit 1, 2, 4, 8, 16, or 32 S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the transmitting terminal can transmit 1, 2, 4, 8, 16, 32, or 64 S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the structure of the S-SSB transmitted by the transmitting terminal to the receiving terminal may be different depending on the CP type.
  • the CP type may be Normal CP (NCP) or Extended CP (ECP).
  • NCP Normal CP
  • ECP Extended CP
  • the number of symbols to which the PSBCH is mapped in the S-SSB transmitted by the transmitting terminal may be 9 or 8.
  • the number of symbols to which the PSBCH is mapped in the S-SSB transmitted by the transmitting terminal may be 7 or 6.
  • the PSBCH may be mapped to the first symbol in the S-SSB transmitted by the transmitting terminal.
  • the receiving terminal receiving the S-SSB may perform an AGC (Automatic Gain Control) operation in the first symbol section of the S-SSB.
  • AGC Automatic Gain Control
  • Figure 12 shows a terminal performing V2X or SL communication.
  • terminal in V2X or SL communication may mainly mean a user's terminal.
  • a network device such as a base station transmits and receives a signal according to a communication method between terminals
  • the base station may also be considered a type of terminal.
  • terminal 1 may be a first device (100)
  • terminal 2 may be a second device (200).
  • terminal 1 can select a resource unit corresponding to a specific resource within a resource pool, which means a set of a series of resources. Then, terminal 1 can transmit an SL signal using the resource unit.
  • terminal 2 which is a receiving terminal, can be configured with a resource pool in which terminal 1 can transmit a signal, and can detect a signal of terminal 1 within the resource pool.
  • terminal 1 if terminal 1 is within the connection range of the base station, the base station can inform terminal 1 of the resource pool. On the other hand, if terminal 1 is outside the connection range of the base station, another terminal can inform terminal 1 of the resource pool, or terminal 1 can use a pre-configured resource pool.
  • a resource pool can be composed of multiple resource units, and each terminal can select one or multiple resource units to use for its SL signal transmission.
  • Figure 13 shows resource units for V2X or SL communication.
  • the entire frequency resources of the resource pool can be divided into NF units, and the entire time resources of the resource pool can be divided into NT units. Accordingly, a total of NF * NT resource units can be defined within the resource pool.
  • Fig. 13 shows an example in which the resource pool repeats with a period of NT subframes.
  • one resource unit (e.g., Unit #0) may appear repeatedly periodically. Or, in order to obtain a diversity effect in the time or frequency dimension, the index of the physical resource unit to which one logical resource unit is mapped may change in a pre-determined pattern over time.
  • a resource pool may mean a set of resource units that a terminal that wishes to transmit an SL signal can use for transmission.
  • Resource pools can be subdivided into several types. For example, depending on the content of the SL signal transmitted from each resource pool, resource pools can be divided as follows.
  • SA Scheduling Assignment
  • MCS Modulation and Coding Scheme
  • MIMO Multiple Input Multiple Output
  • TA Timing Advance
  • SA may also be transmitted multiplexed with SL data on the same resource unit, and in this case, the SA resource pool may mean a resource pool in which SA is multiplexed with SL data and transmitted. SA may also be called an SL control channel.
  • SL data channel Physical Sidelink Shared Channel, PSSCH
  • PSSCH Physical Sidelink Shared Channel
  • SL data channel may be a resource pool used by a transmitting terminal to transmit user data. If SA is multiplexed and transmitted together with SL data on the same resource unit, only SL data channels excluding SA information may be transmitted in the resource pool for the SL data channel. In other words, REs (Resource Elements) used to transmit SA information on individual resource units within the SA resource pool may still be used to transmit SL data in the resource pool of the SL data channel.
  • a transmitting terminal may transmit PSSCH by mapping it to consecutive PRBs.
  • the discovery channel may be a resource pool for transmitting terminals to transmit information such as their IDs. Through this, the transmitting terminals can enable adjacent terminals to discover themselves.
  • different resource pools may be used depending on the transmission/reception properties of the SL signal. For example, even when it is the same SL data channel or discovery message, it may be again divided into different resource pools depending on the transmission timing determination method of the SL signal (for example, whether it is transmitted at the time of reception of a synchronization reference signal or whether it is transmitted by applying a certain timing advance at the time of reception), the resource allocation method (for example, whether the base station designates transmission resources of individual signals to individual transmitting terminals or whether individual transmitting terminals select individual signal transmission resources on their own within the resource pool), the signal format (for example, the number of symbols that each SL signal occupies in one subframe or the number of subframes used for transmission of one SL signal), the signal strength from the base station, the transmission power strength of the SL terminal, etc.
  • the transmission timing determination method of the SL signal for example, whether it is transmitted at the time of reception of a synchronization reference signal or whether it is transmitted by applying a certain timing advance at the time of reception
  • FIG. 14 illustrates an example of a BWP according to an embodiment of the present disclosure.
  • the embodiment of FIG. 14 can be combined with various embodiments of the present disclosure. In the embodiment of FIG. 14, it is assumed that there are three BWPs.
  • a common resource block may be a carrier resource block numbered from one end of a carrier band to the other end.
  • a PRB may be a numbered resource block within each BWP.
  • Point A may indicate a common reference point for a resource block grid.
  • the BWP can be set by a point A, an offset from point A (NstartBWP) and a bandwidth (NsizeBWP).
  • point A can be an outer reference point of PRBs of a carrier where subcarrier 0 of all nucleos (e.g., all nucleosides supported by the network on that carrier) is aligned.
  • the offset can be the PRB spacing between the lowest subcarrier in a given nucleometry and point A.
  • the bandwidth can be the number of PRBs in a given nucleometry.
  • SLSS Sidelink Synchronization Signal
  • S-PSS Sidelink Primary Synchronization Signal
  • S-SSS Sidelink Secondary Synchronization Signal
  • length-127 M-sequences may be used for S-PSS
  • length-127 Gold sequences may be used for S-SSS.
  • a terminal may detect an initial signal (signal detection) and obtain synchronization using S-PSS.
  • the terminal can obtain detailed synchronization using S-PSS and S-SSS and detect a synchronization signal ID.
  • PSBCH Physical Sidelink Broadcast Channel
  • PSBCH Physical Sidelink Broadcast Channel
  • the basic information may be information related to SLSS, duplex mode (DM), TDD UL/DL (Time Division Duplex Uplink/Downlink) configuration, resource pool related information, type of application related to SLSS, subframe offset, broadcast information, etc.
  • the payload size of PSBCH may be 56 bits including a 24-bit CRC (Cyclic Redundancy Check).
  • S-PSS, S-SSS and PSBCH may be included in a block format supporting periodic transmission (e.g., SL SS (Synchronization Signal)/PSBCH block, hereinafter referred to as S-SSB (Sidelink-Synchronization Signal Block)).
  • the S-SSB may have the same numerology (i.e., SCS and CP length) as the PSCCH (Physical Sidelink Control Channel)/PSSCH (Physical Sidelink Shared Channel) in a carrier, and a transmission bandwidth may be within a (pre-)configured SL BWP (Sidelink BWP).
  • the bandwidth of the S-SSB may be 11 RB (Resource Block).
  • the PSBCH may span 11 RBs.
  • the frequency location of the S-SSB may be (pre-)configured. Therefore, the terminal does not need to perform hypothesis detection in frequency to discover the S-SSB in the carrier.
  • FIG. 15 illustrates a procedure for a terminal to perform V2X or SL communication according to a resource allocation mode according to an embodiment of the present disclosure.
  • the embodiment of FIG. 15 can be combined with various embodiments of the present disclosure.
  • the base station can schedule SL resources to be used by the terminal for SL transmission.
  • the base station can transmit information related to SL resources and/or information related to UL resources to the first terminal.
  • the UL resources can include PUCCH resources and/or PUSCH resources.
  • the UL resources can be resources for reporting SL HARQ feedback to the base station.
  • the first terminal may receive information related to a DG (dynamic grant) resource and/or information related to a CG (configured grant) resource from the base station.
  • the CG resource may include a CG type 1 resource or a CG type 2 resource.
  • the DG resource may be a resource that the base station configures/allocates to the first terminal via DCI (downlink control information).
  • the CG resource may be a (periodic) resource that the base station configures/allocates to the first terminal via DCI and/or an RRC message.
  • the base station may transmit an RRC message including information related to the CG resource to the first terminal.
  • the base station may transmit an RRC message including information related to the CG resource to the first terminal, and the base station may transmit DCI related to activation or release of the CG resource to the first terminal.
  • the first terminal may transmit a PSCCH (e.g., Sidelink Control Information (SCI) or 1st-stage SCI) to the second terminal based on the resource scheduling.
  • a PSCCH e.g., Sidelink Control Information (SCI) or 1st-stage SCI
  • the first terminal may transmit a PSSCH (e.g., 2nd-stage SCI, MAC PDU, data, etc.) related to the PSCCH to the second terminal.
  • the first terminal may receive a PSFCH related to the PSCCH/PSSCH from the second terminal.
  • HARQ feedback information e.g., NACK information or ACK information
  • the first terminal may transmit/report HARQ feedback information to the base station via PUCCH or PUSCH.
  • the HARQ feedback information reported to the base station may be information generated by the first terminal based on the HARQ feedback information received from the second terminal.
  • the HARQ feedback information reported to the base station may be information generated by the first terminal based on a rule set in advance.
  • the DCI may be DCI for scheduling of SL.
  • the terminal can determine SL transmission resources within SL resources set by the base station/network or preset SL resources.
  • the set SL resources or preset SL resources may be a resource pool.
  • the terminal can autonomously select or schedule resources for SL transmission.
  • the terminal can perform SL communication by selecting resources by itself within the set resource pool.
  • the terminal can select resources by itself within a selection window by performing sensing and resource (re)selection procedures.
  • the sensing can be performed on a subchannel basis.
  • the first terminal that has selected resources by itself within the resource pool can transmit PSCCH (e.g., SCI (Sidelink Control Information) or 1st-stage SCI) to the second terminal using the resources.
  • PSCCH e.g., SCI (Sidelink Control Information) or 1st-stage SCI
  • the first terminal can transmit a PSSCH (e.g., 2nd-stage SCI, MAC PDU, data, etc.) related to the PSCCH to the second terminal.
  • the first terminal can receive a PSFCH related to the PSCCH/PSSCH from the second terminal.
  • the first terminal may transmit an SCI to the second terminal on the PSCCH.
  • the first terminal may transmit two consecutive SCIs (e.g., 2-stage SCIs) to the second terminal on the PSCCH and/or the PSSCH.
  • the second terminal may decode the two consecutive SCIs (e.g., 2-stage SCIs) to receive the PSSCH from the first terminal.
  • the SCI transmitted on the PSCCH may be referred to as a 1st SCI, a 1st SCI, a 1st-stage SCI, or a 1st-stage SCI format
  • the SCI transmitted on the PSSCH may be referred to as a 2nd SCI, a 2nd SCI, a 2nd-stage SCI, or a 2nd-stage SCI format.
  • the first terminal can receive the PSFCH.
  • the first terminal and the second terminal can determine the PSFCH resource, and the second terminal can transmit the HARQ feedback to the first terminal using the PSFCH resource.
  • the first terminal may transmit SL HARQ feedback to the base station through PUCCH and/or PUSCH.
  • PSCCH can be defined as a physical control channel for terminal-to-terminal communication
  • PSSCH can be defined as a physical data channel or physical shared channel for terminal-to-terminal communication
  • PSFCH can be defined as a terminal-to-terminal physical feedback transmission channel.
  • V2X service plays a major role in ensuring safety including collision prevention and controlling efficient traffic flow by allowing road users (vehicles, RSUs, pedestrians, etc.) to transmit their status information (location, speed, size, etc.) or environmental information (map, signal information, etc.) to surrounding road users through communication.
  • road users vehicles, RSUs, pedestrians, etc.
  • status information location, speed, size, etc.
  • environmental information map, signal information, etc.
  • infrastructure-based services based on Roadside Unit can help traffic safety by detecting and predicting collisions by generating, transmitting, and relaying ITS messages between Vulnerable Road Users (VRUs) and vehicles.
  • RSU can adopt AI functions to improve the quality of object detection and predict collisions in order to perform camera-based solutions.
  • RSU can relatively accurately detect the locations of VRUs or objects that are not connected (by PC5 or Uu link).
  • connection to the network based on RSU has a structure of camera (or image capture module) - AI sensor (AI sensing module) - analyzer (sensing data analysis module) - message generator (message generation module), and MEC (Multi-access Edge Computing) and cloud can be appropriately utilized depending on the processing complexity of object recognition.
  • AI sensor AI sensing module
  • analyzer sensing data analysis module
  • message generator message generator
  • MEC Multi-access Edge Computing
  • object recognition is a technology that automatically detects and recognizes a specific object in a digital image as one of the computer vision technologies.
  • the object recognition technology that can be used in typical ITS is a deep learning-based object recognition technology (e.g., DNN, Yolo (You Only Look Once)), which inputs an image into an artificial neural network model, extracts features from the image, and performs object recognition and classification based on the features of the extracted image.
  • the deep learning-based object recognition technology may include an object detection technology that detects an object in an input image and an object classification technology that classifies the detected object.
  • the two technologies can also be processed by grouping them into a logical unit. Each technology is described in detail as follows.
  • - Input image is input to an artificial neural network model (trained to detect objects in images) ->
  • the artificial neural network model extracts features from the input image ->
  • the artificial neural network model uses the extracted features to create a bounding box for the area in the image where the object is likely to be ->
  • the extracted image is input to an artificial neural network model (trained to classify the type of object) ->
  • the input image is classified to predict the type of object detected.
  • YOLO You Only Look Once
  • YOLO is a deep learning-based model for object detection that can predict the location and class of an object in real time by processing an image with a single forward propagation.
  • YOLO divides the input image into multiple grids and can detect an object by predicting multiple bounding boxes and class probabilities in each grid cell.
  • Such diverse object recognition technologies can play an important role in recognizing objects included in ITS and supporting V2X services.
  • object recognition technologies with real-time processing speed and accuracy can be important in the fields of V2X, ITS, and autonomous driving.
  • the above-described existing object recognition technology/algorithm may cause the following object recognition errors.
  • the following errors may be errors caused by the characteristics of the image acquisition device, such as a camera that acquires the image.
  • Small object recognition error Object recognition algorithms are mainly good at recognizing large objects, but are more likely to have recognition errors for small objects.
  • the recognition rate for small objects may vary depending on the altitude or height of the camera that acquires the image.
  • the brightness or contrast of an object may change depending on the lighting conditions or the environment of the shooting location.
  • the object recognition rate based on the object recognition algorithm may be significantly reduced. For example, if the road is dark at dawn, the object recognition rate may be significantly reduced.
  • Distortion or deformation may occur in the image due to the object's moving speed or weather conditions such as fog.
  • the object recognition rate based on the object recognition algorithm may be significantly reduced.
  • an image of an object moving at a fast speed may be distorted by a blur phenomenon due to insufficient shutter speed of the image acquisition device or a mismatch between shutter timing and speed. Such distortion may significantly reduce the object recognition rate in the image.
  • the correction function of the image acquisition device e.g., CCTV or camera
  • this correction may not be a correction that reflects the road conditions, but a correction to match the linear correction of the image acquisition device itself.
  • This improvement algorithm technology is not directly linked to the object recognition technology of the object recognition algorithm, and may be a technology that operates independently.
  • CCTV as a current image acquisition device, has a limitation in that it cannot be directly used to improve the recognition rate of object recognition because it uses continuous computing power without optimization with a static setting, which reduces efficiency.
  • the proposed invention can generate configuration parameters for image correction and/or control of an image acquisition device based on specific trigger conditions, and can operate internally in a restful manner according to a connected interface structure, or can generate messages through an external MEC or cloud and transmit them to the reference architecture connection structures(s).
  • the proposed invention can adaptively acquire and process images by reflecting image processing requirements contained in the configuration/control parameters or generated messages by generating new modules of a video capturing module, a post-processing module, and a configuration manager module of the reference architecture.
  • the proposed invention can control the image acquisition device to acquire an image suitable for the road environment/road situation through the above-mentioned setting parameters, and input the acquired image into an AI sensor/AI model to greatly improve the object recognition rate, and by acquiring an image itself optimized for object recognition, the operation of additional correction/filtering for the image can be omitted/minimized, and accordingly, the computing power consumption for object recognition can be greatly reduced.
  • Figure 16 is a diagram illustrating an architecture capable of processing and acquiring adaptive sensing images.
  • the reference architecture may include an AI sensing module (310), a sensor data analysis module (320), a message generation module (330), an application module (340), and an infrastructure operation module (400).
  • the AI sensing module (310) may include, that is, a learned AI-based object recognition model (or AI model) for object recognition/object classification.
  • the reference architecture may further include proposed new modules, such as an image capturing module (210), an image post-processing module (220), and an image configuration manager module (100).
  • the newly proposed image capture module (210), image post-processing module (220), and settings management module (100) can operate based on the satisfaction of at least one of the following trigger conditions.
  • the reliability or criterion significant value of the algorithm can be recognition accuracy, recognition precision, recall, F1 score (harmonic mean of precision and recall), etc.
  • the recognition accuracy can be the number of objects (correctly) recognized from the image by the AI model / the total number of objects (number of recognizable objects).
  • active configuration parameter input may be provided when a specific road condition/road environment such as a traffic jam (determined by vehicle speed), a road condition by time zone (e.g., rush hour), or operation of a variable signal (a traffic light that turns on in the evening) is present.
  • a specific road condition/road environment such as a traffic jam (determined by vehicle speed), a road condition by time zone (e.g., rush hour), or operation of a variable signal (a traffic light that turns on in the evening) is present.
  • the sensor data analysis module (320) and/or the infrastructure operation module (400) may transmit/input a message including the active configuration parameter described above or information related thereto to the configuration management module (100).
  • the configuration management module (100) may perform an operation for controlling the image capture module (210)/image post-processing module (220) based on the message.
  • the setting management module (100) can generate a control parameter for controlling the image capture module (210) or a message including the control parameter if at least one of the above-described triggering conditions is satisfied.
  • the setting management module (100) can provide the generated control parameter to the image capture module (210)/image post-processing module (220) to adjust/control parameters related to acquisition of an image or adjust parameters related to performing post-processing on an image.
  • the setting management module (100) can control the image characteristics itself acquired from the image capture module (210)/image post-processing module (220) to be suitable for the road conditions.
  • each of the above-described modules is described in detail. Meanwhile, each module is intended to be divided into logical units, and the functions/operations described below can be implemented as functions at the RSU level, MEC level, and Cloud level.
  • the image capture module (210) may be an image acquisition device (camera, CCTV).
  • the image capture module (210) may acquire/capture raw data for an image that has gone through a general OETF (Optical Electronic Transfer Function), and may transfer the raw data for the captured/acquired image to an image post-processing module (220)/AI sensing module (230)/image encoding module (230).
  • the OETF may be a conversion function defined to convert an optical input signal into an electrical output signal in an image/video system. More specifically, in the image/video system, the OETF (Optical-Electro Transfer Function) may be a conversion function used to convert an original image acquired by a camera sensor into an image in a digital format.
  • the image capture module (210) can adjust/change a conversion function related to the OETF based on the control parameters received from the setting management module (100). For example, the image capture module (210) can adjust/control the conversion ratio/ratio of the electrical output signal to the optical input signal by changing the conversion function of the OETF according to the control parameters received from the setting management module (100).
  • the image capture module (210) may change the capture properties of the original image by adjusting the contrast ratio based on the control parameters received from the setting management module (100).
  • the image capture module (210) may adaptively change the image resolution, frame rate, and/or brightness based on the control parameters received from the setting management module (100) depending on the road conditions/environment.
  • the AI sensing module (230) may include an object recognition model learned to recognize an object from an image and perform an operation of classifying the recognized object.
  • the AI sensing module (230) may perform object detection and object classification using an image object recognition technology.
  • object recognition may be an operation in which an AI model, which is an artificial neural network model, extracts features from an input image (based on CNN, etc.) and then designates/masks an area in which an object is recognized as an area using a bounding box.
  • Object classification may be an operation in which a recognized object is predicted based on features of an internal image of the bounding box.
  • the AI sensing module (230) may be learned in advance to be able to recognize objects (pedestrians, bicycles, motorcycles, vehicles, etc.) related to the V2X service.
  • the AI sensing module (230) may generate/predict object information (speed, direction of movement, movement case, object shape, object size, etc.) for the recognized object.
  • the AI sensing module (230) can output object recognition information, which is output information including recognized/classified object information.
  • the AI sensing module (230) can transmit prediction results or output data regarding objects that are significant in relation to the V2X service among the detected objects (i.e., objects that need to be generated as object information about the surrounding environment in relation to the V2X service, such as pedestrians, bicycles, motorcycles, vehicles, etc.) to the sensor data analysis module (320).
  • the AI sensing module (230) can calculate accuracy (or object recognition rate), which is a value obtained by dividing the number of correctly recognized objects (or the number of classified objects) as described above by the total number of recognized objects (or the total number of recognized/detected objects).
  • the calculated object recognition rate/accuracy can be used to evaluate the performance of the object recognition/classification algorithm of the AI sensing module (230).
  • the AI sensing module (230) can calculate accuracy of categories such as path prediction and hazard detection as well as object recognition/classification.
  • the AI sensing module (230) can transmit output results including object information about recognized objects and/or information about the object recognition rate to the setting management module (100) and/or the sensor data analysis module (320).
  • the sensor data analysis module (320) can determine whether to generate an object message including object information resulting from detection/recognition of objects related to the V2X service based on the output information/output data of the AI sensing module (230). When determining to generate an object message, the sensor data analysis module (320) can provide information on parameters related to the generation of the message and the object information to the message generation module.
  • the message generation module (330) can generate a message for V2X or ITS based on the parameters and object information transmitted from the sensor data analysis module (320).
  • the application module (340) can decode a message received from the message generation module (330) and provide object information, etc. included in the message to the user.
  • the configuration management module (100) can determine whether to generate at least one control parameter for controlling the image capture module (210) and/or the image post-processing module (220) based on output information/output data (e.g., object recognition information) received from the AI sensing module (230) and/or the sensor data analysis module (320).
  • the configuration management module (100) can transmit the generated at least one control parameter to the image capture module (210) or the image post-processing module (220).
  • the setting management module (100) may trigger the generation of at least one control parameter for controlling the image capture module (210) and/or the image post-processing module (220) when the accuracy or object recognition rate included in the output information/output data is below a preset threshold.
  • the object recognition information may further include cause information on a failure factor of object recognition and/or object classification.
  • the cause information may include information on a failure factor of object classification, such as a blurring phenomenon due to object speed, low resolution of the image compared to the object size, increase in object density, lighting conditions, and increase in noise due to worsening weather such as snow/rain.
  • the setting management module (100) may determine at least one control parameter that requires control based on the failure factor of object recognition included in the cause information.
  • the setting management module (100) may generate a control parameter for increasing the frame rate or shutter speed to remove the blur phenomenon when the failure factor is a blur phenomenon.
  • the setting management module (100) may generate a control parameter for dividing the image into a predetermined number of ROIs or increasing the resolution in response to an object recognition identification failure due to object density.
  • the setting management module (100) may generate at least one control parameter for adjusting a tone mapping function/contrast ratio/OETF function so that more bit values can be allocated to dark portions in order to resolve an object recognition failure factor due to a decrease in lighting conditions (brightness).
  • the setting management module (100) may transmit a control message including the at least one generated control parameter to the image capture module (210) and/or the image post-processing module (220), thereby controlling the image capture module (210) and/or the image post-processing module (220) to obtain an image in which the failure factor of object recognition is resolved.
  • the setting management module (100) can effectively improve the object recognition rate of the AI sensing module (230) by changing the image characteristics to suit the road conditions through the above control parameters.
  • the setting management module (100) may collect various road environment information (road traffic conditions, weather, time information, etc.) transmitted from the infrastructure operation module (400), and control the image capture module (210) and/or the image post-processing module (220) so that an image capable of increasing an object recognition rate may be acquired based on the collected road environment information.
  • the setting management module (100) may generate at least one control parameter corresponding to the specific road condition/road environment when information on a specific road condition/road environment is input from the infrastructure operation module (400), and control the image capture module (210) and/or the image post-processing module (220) based on the generated at least one control parameter.
  • the image post-processing module (220) can additionally correct an image whose characteristics are adaptively controlled according to a road environment according to the control parameters transmitted from the setting management module (100).
  • the image post-processing module (220) can provide the AI sensing module (230) with the image data that has been corrected to be optimized for object recognition. For example, when the at least one control parameter is received, the image post-processing module (220) can correct the image data so that a specific area in which objects move on the road are clearly revealed in the image/image data transmitted from the image capture module (210) based on the at least one control parameter, or can perform tone mapping processing to adjust the contrast of an area in which a bounding box frequently appears in the image data.
  • the image post-processing module (220) may drop the current frame from the buffer and not transmit it to the AI sensing module (230) if the amount of image change between frames is below a certain level based on the differential image between the previous frame and the current frame. In this case, computing resources and load related to AI sensing can be significantly reduced.
  • the configuration management module (100) in the proposed invention may transmit the generated control parameters to another module (such as a video post-processing module or an image capture module (210)) in a restful manner, or may transmit the control parameters through a message having a specific cycle.
  • another module such as a video post-processing module or an image capture module (210)
  • the configuration management module (100) may generate control parameters/messages for controlling the image capture module (210) and/or the image post-processing module (220) based on the parameters defined as in Table 5.
  • the messages may be messages based on message frames of the Society of Automotive Engineers (SAE) and/or the European Telecommunications Standards Institute (ETSI).
  • Element Type remark @messageID int New message ID defined by SAE/ETSI ... ⁇ sequence> @minimumWidth Unsigned int Minimum resolution width @minimumHeight Unsigned int Minimum resolution Height @toneMapping Unsigned int Predefined tone mapping function type @transferCharacteristic Unsigned int OETF function types @minimumFrameRate Unsigned int Recommended minimum frame rate @contrast float or int Contrast adjustment ratio (0 ⁇ 100%) @brightness float or int Contrast adjustment ratio (0 ⁇ 100%) @divisionROI Unsigned int Number of divisions ⁇ sequence> @id Unsigned int id mapping from top left to right Determine ⁇ sequence> based on the number of divisionROIs @startWidth Unsigned int @startHeight Unsigned int @endWidth Unsigned int @endHeight Unsigned int @toneMapping Unsigned int @contrast float or int @bright
  • @minimumWidth, @minimumHeight are parameters defined to adjust the resolution for the image capture module (or, image acquisition device such as camera, CCTV, etc.) and/or the image post-processing module.
  • @minimumWidth, @minimumHeight can have values determined based on the size of the object in the image, etc.
  • @minimumFrameRate is a parameter for adjusting the capturing framerate of the image, and can have a value determined based on the density of the object or the moving speed of the object.
  • @contrast is a parameter for adjusting the contrast of the captured image, and can be in % units. For example, if a contrast decrease of about 0.05 is required, the value of @contrast can be set to -0.05 or 5%.
  • @divisionROI may be a parameter for controlling the number of divisions of the image.
  • @divisionROI may be determined based on the density of objects in the image, the location/number of unclassified objects, etc. For example, if the value of @divisionROI is 4, the image acquisition device/image capture module may divide the captured/acquired image into 4 ROIs.
  • the image division may not necessarily be division at the same ratio, and the image characteristics may be additionally considered to divide the image into ROIs at an appropriate ratio.
  • @divisionROI can also be used as a parameter for additional enlargement of the divided ROIs.
  • Each divided ROI can have an ID defined in the right direction based on the upper left.
  • @toneMapping can be a parameter for controlling RGB or YUV (Luminance Chrominance, Chrominance) values of a captured image. Based on @toneMapping, the number of bits allocated/mapped for a low-level area or a high-level area can be controlled. For example, more bits can be allocated to a specific area having a low level of an image through application of a gamma function. In this case, a dark part in the image can be expressed more clearly. For example, as defined in Table 6, a value of @toneMapping and a mapping function corresponding thereto can be defined in advance, and the setting management module (100) can determine an indication value of a tone mapping function to be indicated through a control parameter based on Table 6.
  • @transferCharacteristic can be a parameter for a transfer function that changes a light/optical signal into an electrical signal as OETF information.
  • @transferCharacteristic can be defined as in Table 7. For example, when a camera/image acquisition device captures an image for brightness that supports HDR (High Dynamic Range), the camera/image acquisition device can input the expression range to a specific function indicated by @transferCharacteristic to obtain an appropriate RGB output.
  • HDR High Dynamic Range
  • FIGS. 17 to 19 are diagrams for explaining how the settings management module controls the image capture module or the image post-processing module.
  • the driving speed may increase due to less traffic on the dark road.
  • object recognition in the image may be difficult due to the dark lighting and/or fast driving speed.
  • the AI sensing module may perform object recognition/detection even for images with a small differential value compared to the previous frame (i.e., images that are almost identical to the previous frame), which may result in inefficient object recognition/detection.
  • the setting management module can generate control parameters for controlling the contrast and tone mapping functions when the object recognition rate included in the output result/output data of the AI sensing module is below a specific threshold and the cause information related to dark lighting is included, and can provide the generated control parameters to the image capture module.
  • Fig. 17 (a) illustrates an image acquired by the image capture module in an environment where object recognition is difficult due to insufficient lighting
  • Fig. 17 (b) illustrates an image acquired from the image capture module controlled by the above-described control parameters.
  • Object recognition may be difficult for the image in Fig. 17 (a) using a general image capture method and image processing method.
  • Fig. 17 (a) illustrates an image acquired by the image capture module in an environment where object recognition is difficult due to insufficient lighting
  • Fig. 17 (b) illustrates an image acquired from the image capture module controlled by the above-described control parameters.
  • Object recognition may be difficult for the image in Fig. 17 (a) using a general image capture method and image processing method.
  • the image capture module can acquire an image having a characteristic in which a dark part is more clearly highlighted by controlling the contrast and tone mapping functions based on the lighting environment.
  • relatively accurate object recognition can be guaranteed even with the general image capture method and image processing method in the AI sensing module.
  • a higher object recognition rate of the AI sensing module can be guaranteed compared to using an algorithm that only performs correction of an image already acquired.
  • the setting management module can significantly increase the object recognition rate, which is degraded due to a dark environment, by generating a control parameter based on a tone mapping function.
  • various tone mapping functions f(x)
  • f(x) can be defined in the relationship between input(x)-output(y).
  • the tone mapping function is a function based on log
  • more image bits are allocated to an area corresponding to a low level than to an area corresponding to a high level, so that the (pixel) expression range for an area having a low level can be increased.
  • the setting management module can additionally generate a control parameter for adjusting/controlling an appropriate contrast ratio for a dark environment to control the image capture module. In this case, an image that can be more easily recognized can be acquired, as illustrated in FIG. 17 (b).
  • the setting management module may generate control parameters for controlling the frame rate (fps) and the shutter speed to remove the blur shape on the image acquired by the image capture module.
  • fps frame rate
  • an image capture module supporting 30 fps may acquire an image of an object running at a speed of 100 km or more (i.e., 27.78 m per second or more) at an intersection.
  • the setting management module can minimize the blurring phenomenon in the image by providing the image capture module with a control parameter that adjusts the frame rate (fps) to 60fps, thereby reducing the acquisition interval of 1 frame to 1/60 second (or, the distance the object moves between frames is 0.463m).
  • the AI sensing module can recognize/detect objects in real time for all input acquired/captured images.
  • the image post-processing module or the image capture module may transmit only at least one frame among the multiple frames to the AI sensing module based on the amount of variation between the frames. For example, the image post-processing module or the image capture module may drop the current frame and not transmit it to the AI sensing module if the difference value between the current frame and the immediately preceding frame is the same or less than a specific threshold difference.
  • a small-sized or unclassified obstacle on the road may be detected/recognized.
  • the setting management module may generate a control parameter for changing the capture/image resolution to a specific level or higher and a control parameter for magnifying a specific ROI on the image.
  • the specific ROI may be indicated/specified through the parameters of @startWidth, @startHeight, @endWidth, and @endHeight.
  • the setting management module may transmit the generated control parameters to the image capture module and/or the image post-processing module.
  • the image capture module and/or the image post-processing module may transmit/input an image obtained by capturing the specific ROI from an image with a resolution of a specific level or higher to the AI sensing module based on the control parameters.
  • the AI sensing module can improve the object recognition rate by performing additional learning on obstacles that are not included in object classification based on an image with a specific ROI enlarged.
  • the setting management module may apply a process of sensing a specific area by designating a specific ROI when the object recognition rate decreases.
  • an embodiment may be provided in which only a specific area is simultaneously input to the AI sensing module and recognized by considering ROIs where roads and VRUs exist as analysis areas, excluding areas that do not require recognition.
  • FIG. 20 is a diagram illustrating how a device transmits a control message to control an image acquisition device.
  • the device can obtain object recognition information from an artificial neural network-based object recognition model that recognizes an object from an image of an image acquisition device (S201).
  • the image acquisition device may acquire an image for a predetermined geographical area and transmit the image to the object recognition model.
  • the object recognition model may extract features from the image, recognize objects existing in the geographical area based on the extracted features, and perform a classification operation on the recognized objects.
  • the device may receive object recognition information on objects recognized in the image from the object recognition model.
  • the image acquisition device may be a CCTV or a camera, including an image capture module and/or an image post-processing module described in FIGS. 16 to 19.
  • the object recognition model may be an AI model included in the AI sensing module described in FIGS. 16 to 19.
  • the device may include the setting management module described in FIGS. 16 to 19.
  • the device may include at least one of a sensing data analysis module and a message generation module in addition to the setting management module.
  • the device may be an RSU including the setting management module, the sensing data analysis module, and the message generation module.
  • Object recognition information may include information (such as location, size, shape, mobility information) of objects recognized/detected in the image and/or accuracy/reliability (hereinafter, object recognition rate) for the image.
  • object recognition rate may be calculated by the object recognition model based on the number of objects recognized/detected in the image and the number of classified objects, as described above.
  • the device may directly calculate the object recognition rate based on the number of recognized objects and the number of classified objects included in the object recognition information.
  • the object recognition rate may be calculated based on a value obtained by dividing the number of classified objects by the number of recognized objects.
  • a classified object is an object for which a prediction probability higher than a predefined prediction probability is calculated, such as the type/level of the object
  • an unclassified object is an object for which a prediction probability lower than a predefined prediction probability is calculated, such as the type/level of the object.
  • the object recognition rate may be the number of objects having a prediction probability higher than a predefined prediction probability/the number of total recognized objects.
  • the object recognition information may further include factor information regarding the cause of failure in classification of some objects among the recognized objects.
  • the object recognition model may predict the existence of a specific object, but may not be able to classify the type/classification of the specific object due to brightness, object density, color of the object similar to the color of the surrounding environment, size of the object, or moving speed of the object.
  • the object recognition model may generate cause information regarding the cause of failure in classification of the specific object, and further include the cause information in the object recognition information.
  • the device can transmit an object message to the peripheral device based on the object information recognized from the image included in the object recognition information (S203).
  • the device can select objects that need to be transmitted to the peripheral terminals/peripheral devices through a message for V2X services, etc., based on the object recognition information of the object recognition model, and transmit an object message including object information about the selected objects to the peripheral terminals/peripheral devices.
  • the device can transmit the object information about the selected objects to the network or the RSU and request the network or the RSU to transmit an object message including the object information.
  • the device can determine whether to generate/transmit a control message for controlling the image acquisition device based on the object recognition rate included in the object recognition information (S205). As described with reference to FIGS. 16 to 19, the device can generate at least one control parameter for controlling the image acquisition device when the object recognition rate is less than (or equal to or lower than) a preset threshold recognition rate, and transmit/transmit a control message including the generated at least one control parameter to the image acquisition device.
  • the device may generate the control parameters based on the cause information included in the object recognition information as described above. For example, the device may generate at least one control parameter for adjusting a tone mapping function, a gamma function, a frame rate, a resolution, at least two ROI divisions, a contrast ratio, a shutter speed, an OETF function, etc. so as to eliminate a cause of object recognition failure due to the cause information. For example, the device may generate at least one control parameter based on the values defined in Tables 5 to 7 to control a parameter for image acquisition of the image acquisition device.
  • the device may adjust/change the image characteristics to be acquired by the image acquisition device in advance so as to increase the object recognition rate of the object recognition model based on the cause information. Meanwhile, when the object recognition rate is higher than the preset threshold recognition rate, the device may not generate a control parameter for controlling the image acquisition device.
  • the device may transmit the control message even if the object recognition rate is above the preset threshold.
  • the object recognition model may recognize an object having mobility below a specific threshold for a certain period of time on the road (or an object that moves little for a certain period of time).
  • the object recognition model may not be able to classify the type and kind of the recognized object due to the size, color, shape, etc. of the recognized object (for example, an obstacle on the road such as a sinkhole having a color similar to that of the road).
  • the object recognition model may further include information about an unclassified object having mobility below a specific threshold in the object recognition information.
  • the device may transmit the control message to the image acquisition device even if the object recognition rate of the object recognition model is above the preset threshold when the object recognition information further includes information about the unclassified object.
  • the control message may transmit a control parameter including information about the number of ROIs to be segmented for the image and the ROI ID where the unclassified object is located, as illustrated in FIG. 19, to the image acquisition device (or the image post-processing module of the image acquisition device).
  • the image acquisition device may segment the acquired image into a plurality of ROIs based on the control parameter, and transmit a (magnified) segmented image corresponding to the ROI having the ROI ID to the object recognition model.
  • the object recognition model may intensively perform object recognition only for a specific ROI, and thus may more effectively predict object characteristics for the unclassified object than when object recognition is performed for the entire image.
  • the device may transmit a control message to the image acquisition device for controlling the image acquisition device to drop at least one image among the images transmitted to the object recognition model.
  • the device may transmit the control message when the object recognition information includes object information for objects less than a preset threshold number.
  • the image acquisition device may drop the acquired image without transmitting it to the object recognition model when the image acquired based on the control message has a difference in pixel value less than a preset threshold difference compared to a previous image.
  • the device may transmit a control message to the image acquisition device for releasing the drop of the at least one image when the object recognition information includes object information for objects greater than or equal to a preset threshold number.
  • the preset threshold difference may be determined based on the number of objects included in the object recognition information and transmitted via the control message.
  • the proposed invention can adjust the characteristics of the acquired image itself through direct control of the image acquisition device based on the factor of the decrease in the object recognition rate of the artificial neural network model.
  • the proposed invention can effectively improve the object recognition rate in the image by adjusting the characteristics of the acquired image itself based on the road environment or road condition.
  • the proposed invention can effectively reduce the object recognition processing load and power consumption by causing the image acquisition device to drop images in which the pixel value difference between the images is less than a specific threshold without transmitting them to the object recognition model when it is determined that object recognition for all images in real time is unnecessary.
  • Figure 21 is a drawing illustrating how an image acquisition device receives a control message from a device.
  • an image acquisition device can acquire an image for a specific geographical area (S211).
  • the image acquisition device can be a CCTV or a camera that is fixedly installed to capture the specific geographical area.
  • the image acquisition device can include an image capture module and/or an image post-processing module described in FIGS. 16 to 20.
  • the image acquisition device can transfer/transmit the image to an artificial neural network-based object recognition model that has been trained to recognize an object from the image (S213).
  • the image acquisition device can transfer the acquired image or video to the object recognition model according to a preset cycle.
  • the image acquisition device can receive a control message including at least one control parameter instructing a change of a parameter related to acquisition of the image from the first device (S215).
  • the control message can be received from the first device with transmission triggered based on the object recognition rate included in the object recognition information of the object recognition model being less than a preset threshold as described with reference to FIGS. 16 to 20.
  • the image acquisition device can adjust parameters related to image acquisition, such as a contrast ratio, a tone mapping function, a gamma function, an image segmentation, a frame rate, a shutter speed, and an OETF function, according to the at least one parameter included in the control message, and the characteristics of the image can be changed according to the adjustment of the parameters.
  • the image acquisition device can change/adjust parameters related to image acquisition according to the control message included in the control message based on Tables 5 to 7 described above.
  • the image acquisition device may determine whether to drop the acquired image under the control of the first device. For example, if the first device transmits a control message related to dropping some images, the image acquisition device may drop the currently acquired image without transmitting it to the object recognition model if the difference between the pixel values of the currently acquired image and the pixel values of the image acquired immediately before is less than a preset threshold difference (or the threshold difference transmitted in the control message).
  • a preset threshold difference or the threshold difference transmitted in the control message.
  • Figure 22 illustrates a communication system applied to the present invention.
  • a communication system (1) applied to the present invention includes a wireless device, a base station, and a network.
  • the wireless device means a device that performs communication using a wireless access technology (e.g., 5G NR (New RAT), LTE (Long Term Evolution)) and may be referred to as a communication/wireless/5G device.
  • the wireless device may include a robot (100a), a vehicle (100b-1, 100b-2), an XR (eXtended Reality) device (100c), a hand-held device (100d), a home appliance (100e), an IoT (Internet of Thing) device (100f), and an AI device/server (400).
  • the vehicle may include a vehicle equipped with a wireless communication function, an autonomous vehicle, a vehicle capable of performing vehicle-to-vehicle communication, etc.
  • the vehicle may include a UAV (Unmanned Aerial Vehicle) (e.g., a drone).
  • XR devices include AR (Augmented Reality)/VR (Virtual Reality)/MR (Mixed Reality) devices and can be implemented in the form of HMD (Head-Mounted Device), HUD (Head-Up Display) installed in a vehicle, television, smartphone, computer, wearable device, home appliance, digital signage, vehicle, robot, etc.
  • HMD Head-Mounted Device
  • HUD Head-Up Display
  • Portable devices can include smartphone, smart pad, wearable device (e.g., smart watch, smart glass), computer (e.g., laptop, etc.).
  • Home appliances can include TV, refrigerator, washing machine, etc.
  • IoT devices can include sensors, smart meters, etc.
  • base stations and networks can also be implemented as wireless devices, and a specific wireless device (200a) can act as a base station/network node to other wireless devices.
  • Wireless devices (100a to 100f) can be connected to a network (300) via a base station (200). Artificial Intelligence (AI) technology can be applied to the wireless devices (100a to 100f), and the wireless devices (100a to 100f) can be connected to an AI server (400) via the network (300).
  • the network (300) can be configured using a 3G network, a 4G (e.g., LTE) network, a 5G (e.g., NR) network, etc.
  • the wireless devices (100a to 100f) can communicate with each other via the base station (200)/network (300), but can also communicate directly (e.g., sidelink communication) without going through the base station/network.
  • vehicles can communicate directly (e.g. V2V (Vehicle to Vehicle)/V2X (Vehicle to everything) communication).
  • IoT devices e.g., sensors
  • IoT devices can communicate directly with other IoT devices (e.g., sensors) or other wireless devices (100a to 100f).
  • Wireless communication/connection can be established between wireless devices (100a to 100f)/base stations (200), and base stations (200)/base stations (200).
  • the wireless communication/connection can be achieved through various wireless access technologies (e.g., 5G NR) such as uplink/downlink communication (150a), sidelink communication (150b) (or, D2D communication), and communication between base stations (150c) (e.g., relay, IAB (Integrated Access Backhaul).
  • 5G NR wireless access technologies
  • a wireless device and a base station/wireless device, and a base station and a base station can transmit/receive wireless signals to/from each other.
  • the wireless communication/connection can transmit/receive signals through various physical channels.
  • various configuration information setting processes for transmitting/receiving wireless signals various signal processing processes (e.g., channel encoding/decoding, modulation/demodulation, resource mapping/demapping, etc.), and resource allocation processes can be performed based on various proposals of the present invention.
  • Figure 23 illustrates a wireless device that can be applied to the present invention.
  • the first wireless device (100) and the second wireless device (200) can transmit and receive wireless signals through various wireless access technologies (e.g., LTE, NR).
  • ⁇ the first wireless device (100), the second wireless device (200) ⁇ can correspond to ⁇ the wireless device (100x), the base station (200) ⁇ and/or ⁇ the wireless device (100x), the wireless device (100x) ⁇ of FIG. 22.
  • a first wireless device (100) includes one or more processors (102) and one or more memories (104), and may additionally include one or more transceivers (106) and/or one or more antennas (108).
  • the processor (102) controls the memory (104) and/or the transceiver (106), and may be configured to implement the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed in this document.
  • the processor (102) may process information in the memory (104) to generate first information/signal, and then transmit a wireless signal including the first information/signal via the transceiver (106).
  • the processor (102) may receive a wireless signal including second information/signal via the transceiver (106), and then store information obtained from signal processing of the second information/signal in the memory (104).
  • the memory (104) may be connected to the processor (102) and may store various information related to the operation of the processor (102). For example, the memory (104) may perform some or all of the processes controlled by the processor (102), or may store software codes including instructions for performing the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed in this document.
  • the processor (102) and the memory (104) may be part of a communication modem/circuit/chipset designed to implement wireless communication technology (e.g., LTE, NR).
  • the transceiver (106) may be connected to the processor (102) and may transmit and/or receive wireless signals via one or more antennas (108).
  • the transceiver (106) may include a transmitter and/or a receiver.
  • the transceiver (106) may be used interchangeably with an RF (Radio Frequency) unit.
  • a wireless device may also mean a communication modem/circuit/chipset.
  • the first wireless device or apparatus (100) may include a processor (102) and a memory (104) connected to a transceiver (106).
  • the memory (104) may include at least one program capable of performing operations related to the embodiments described in FIGS. 16 to 21.
  • the processor (102) controls the transceiver (106) to obtain object recognition information from an artificial neural network-based object recognition model that recognizes an object from an image of an image acquisition device, transmits an object message to a peripheral device based on object information recognized from the image included in the object recognition information, and determines whether to transmit the control message for controlling the image acquisition device based on an object recognition rate for the image included in the object recognition information.
  • a processing device may be configured including a processor (102) and a memory (104) for controlling a device transmitting a control message.
  • at least one processor and at least one memory connected to the at least one processor and storing instructions, wherein the instructions, based on being executed by the at least one processor, cause the device to: acquire object recognition information from an artificial neural network-based object recognition model that recognizes an object from an image of an image acquisition device, transmit an object message to a peripheral device based on object information recognized from the image included in the object recognition information, and determine whether to transmit the control message for controlling the image acquisition device based on an object recognition rate for the image included in the object recognition information.
  • the second wireless device (200) includes one or more processors (202), one or more memories (204), and may additionally include one or more transceivers (206) and/or one or more antennas (208).
  • the processor (202) may be configured to control the memories (204) and/or the transceivers (206), and implement the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed in this document. For example, the processor (202) may process information in the memory (204) to generate third information/signals, and then transmit a wireless signal including the third information/signals via the transceivers (206). Additionally, the processor (202) may receive a wireless signal including fourth information/signals via the transceivers (206), and then store information obtained from signal processing of the fourth information/signals in the memory (204).
  • the memory (204) may be connected to the processor (202) and may store various information related to the operation of the processor (202). For example, the memory (204) may perform some or all of the processes controlled by the processor (202), or may store software codes including commands for performing the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed in this document.
  • the processor (202) and the memory (204) may be part of a communication modem/circuit/chip designed to implement wireless communication technology (e.g., LTE, NR).
  • the transceiver (206) may be connected to the processor (202) and may transmit and/or receive wireless signals via one or more antennas (208).
  • the transceiver (206) may include a transmitter and/or a receiver.
  • the transceiver (206) may be used interchangeably with an RF unit.
  • a wireless device may also mean a communication modem/circuit/chip.
  • the second wireless device or image acquisition device (200) may include a transceiver or RF transceiver (206), an image sensor (not shown), a processor (202), and a memory (204).
  • the memory (204) may include at least one program capable of performing operations related to the embodiments described in FIGS. 16 to 21.
  • the processor (202) controls the image sensor to acquire an image for a specific geographical area, controls the transceiver (206) to transfer the image to an artificial neural network-based object recognition model trained to recognize an object from the image, and can receive a control message including at least one control parameter instructing a change of a parameter related to acquisition of the image from the first device.
  • the control message can be received from the first device based on an object recognition rate included in object recognition information of the object recognition model being less than a preset threshold.
  • one or more protocol layers may be implemented by one or more processors (102, 202).
  • processors (102, 202) may implement one or more layers (e.g., functional layers such as PHY, MAC, RLC, PDCP, RRC, SDAP).
  • processors (102, 202) may generate one or more Protocol Data Units (PDUs) and/or one or more Service Data Units (SDUs) according to the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed in this document.
  • PDUs Protocol Data Units
  • SDUs Service Data Units
  • One or more processors (102, 202) may generate messages, control information, data, or information according to the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed in this document.
  • One or more processors (102, 202) can generate signals (e.g., baseband signals) including PDUs, SDUs, messages, control information, data or information according to the functions, procedures, suggestions and/or methodologies disclosed herein and provide the signals to one or more transceivers (106, 206).
  • One or more processors (102, 202) can receive signals (e.g., baseband signals) from one or more transceivers (106, 206) and obtain PDUs, SDUs, messages, control information, data or information according to the descriptions, functions, procedures, suggestions, methods and/or operational flowcharts disclosed herein.
  • signals e.g., baseband signals
  • the one or more processors (102, 202) may be referred to as a controller, a microcontroller, a microprocessor, or a microcomputer.
  • the one or more processors (102, 202) may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed in this document may be implemented using firmware or software, and the firmware or software may be implemented to include modules, procedures, functions, etc.
  • the descriptions, functions, procedures, suggestions, methods and/or operational flowcharts disclosed in this document may be implemented using firmware or software configured to perform one or more of the following: included in one or more processors (102, 202), or stored in one or more memories (104, 204) and driven by one or more of the processors (102, 202).
  • the descriptions, functions, procedures, suggestions, methods and/or operational flowcharts disclosed in this document may be implemented using firmware or software in the form of codes, instructions and/or sets of instructions.
  • One or more memories (104, 204) may be coupled to one or more processors (102, 202) and may store various forms of data, signals, messages, information, programs, codes, instructions and/or commands.
  • the one or more memories (104, 204) may be comprised of ROM, RAM, EPROM, flash memory, hard drives, registers, cache memory, computer readable storage media and/or combinations thereof.
  • the one or more memories (104, 204) may be located internally and/or externally to the one or more processors (102, 202). Additionally, the one or more memories (104, 204) may be coupled to the one or more processors (102, 202) via various technologies, such as wired or wireless connections.
  • One or more transceivers (106, 206) can transmit user data, control information, wireless signals/channels, etc., as described in the methods and/or flowcharts of this document, to one or more other devices.
  • One or more transceivers (106, 206) can receive user data, control information, wireless signals/channels, etc., as described in the descriptions, functions, procedures, suggestions, methods and/or flowcharts of this document, from one or more other devices.
  • one or more transceivers (106, 206) can be coupled to one or more processors (102, 202) and can transmit and receive wireless signals.
  • one or more processors (102, 202) can control one or more transceivers (106, 206) to transmit user data, control information, or wireless signals to one or more other devices. Additionally, one or more processors (102, 202) may control one or more transceivers (106, 206) to receive user data, control information, or wireless signals from one or more other devices. Additionally, one or more transceivers (106, 206) may be coupled to one or more antennas (108, 208), and one or more transceivers (106, 206) may be configured to transmit and receive user data, control information, wireless signals/channels, and the like, as described in the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed herein, via one or more antennas (108, 208).
  • one or more antennas may be multiple physical antennas, or multiple logical antennas (e.g., antenna ports).
  • One or more transceivers (106, 206) may convert received user data, control information, wireless signals/channels, etc. from RF band signals to baseband signals in order to process the received user data, control information, wireless signals/channels, etc. using one or more processors (102, 202).
  • One or more transceivers (106, 206) may convert processed user data, control information, wireless signals/channels, etc. from baseband signals to RF band signals using one or more processors (102, 202).
  • one or more transceivers (106, 206) may include an (analog) oscillator and/or filter.
  • Fig. 24 shows another example of a wireless device applied to the present invention.
  • the wireless device can be implemented in various forms depending on the use-example/service (see Fig. 22).
  • the wireless device (100, 200) corresponds to the wireless device (100, 200) of FIG. 23 and may be composed of various elements, components, units/units, and/or modules.
  • the wireless device (100, 200) may include a communication unit (110), a control unit (120), a memory unit (130), and an additional element (140).
  • the communication unit may include a communication circuit (112) and a transceiver(s) (114).
  • the communication circuit (112) may include one or more processors (102, 202) and/or one or more memories (104, 204) of FIG. 24.
  • the transceiver(s) (114) may include one or more transceivers (106, 206) and/or one or more antennas (108, 208) of FIG. 23.
  • the control unit (120) is electrically connected to the communication unit (110), the memory unit (130), and the additional elements (140) and controls overall operations of the wireless device.
  • the control unit (120) may control electrical/mechanical operations of the wireless device based on programs/codes/commands/information stored in the memory unit (130).
  • control unit (120) may transmit information stored in the memory unit (130) to an external device (e.g., another communication device) via a wireless/wired interface through the communication unit (110), or store information received from an external device (e.g., another communication device) via a wireless/wired interface in the memory unit (130).
  • the additional element (140) may be configured in various ways depending on the type of the wireless device.
  • the additional element (140) may include at least one of a power unit/battery, an input/output unit (I/O unit), a driving unit, and a computing unit.
  • the wireless device may be implemented in the form of a robot (FIG. 22, 100a), a vehicle (FIG. 22, 100b-1, 100b-2), an XR device (FIG. 22, 100c), a portable device (FIG. 22, 100d), a home appliance (FIG. 22, 100e), an IoT device (FIG.
  • Wireless devices may be mobile or stationary, depending on the use/service.
  • various elements, components, units/parts, and/or modules within the wireless device (100, 200) may be entirely interconnected via a wired interface, or at least some may be wirelessly connected via a communication unit (110).
  • the control unit (120) and the communication unit (110) may be wired, and the control unit (120) and the first unit (e.g., 130, 140) may be wirelessly connected via the communication unit (110).
  • each element, component, unit/part, and/or module within the wireless device (100, 200) may further include one or more elements.
  • the control unit (120) may be composed of one or more processor sets.
  • control unit (120) may be composed of a set of a communication control processor, an application processor, an electronic control unit (ECU), a graphic processing processor, a memory control processor, etc.
  • memory unit (130) may be composed of RAM (Random Access Memory), DRAM (Dynamic RAM), ROM (Read Only Memory), flash memory, volatile memory, non-volatile memory, and/or a combination thereof.
  • Fig. 25 illustrates a vehicle or autonomous vehicle applied to the present invention.
  • the vehicle or autonomous vehicle may be implemented as a mobile robot, a car, a train, a manned/unmanned aerial vehicle (AV), a ship, etc.
  • AV manned/unmanned aerial vehicle
  • a vehicle or autonomous vehicle may include an antenna unit (108), a communication unit (110), a control unit (120), a driving unit (140a), a power supply unit (140b), a sensor unit (140c), and an autonomous driving unit (140d).
  • the antenna unit (108) may be configured as a part of the communication unit (110).
  • Blocks 110/130/140a to 140d correspond to blocks 110/130/140 of FIG. 24, respectively.
  • the communication unit (110) can transmit and receive signals (e.g., data, control signals, etc.) with external devices such as other vehicles, base stations (e.g., base stations, road side units, etc.), servers, etc.
  • the control unit (120) can control elements of the vehicle or autonomous vehicle (100) to perform various operations.
  • the control unit (120) can include an ECU (Electronic Control Unit).
  • the drive unit (140a) can drive the vehicle or autonomous vehicle (100) on the ground.
  • the drive unit (140a) can include an engine, a motor, a power train, wheels, brakes, a steering device, etc.
  • the power supply unit (140b) supplies power to the vehicle or autonomous vehicle (100) and can include a wired/wireless charging circuit, a battery, etc.
  • the sensor unit (140c) can obtain vehicle status, surrounding environment information, user information, etc.
  • the sensor unit (140c) may include an IMU (inertial measurement unit) sensor, a collision sensor, a wheel sensor, a speed sensor, an incline sensor, a weight detection sensor, a heading sensor, a position module, a vehicle forward/backward sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor, a temperature sensor, a humidity sensor, an ultrasonic sensor, a light sensor, a pedal position sensor, etc.
  • IMU intial measurement unit
  • the autonomous driving unit (140d) may implement a technology for maintaining a driving lane, a technology for automatically controlling speed such as adaptive cruise control, a technology for automatically driving along a set path, a technology for automatically setting a path and driving when a destination is set, etc.
  • the communication unit (110) can receive map data, traffic information data, etc. from an external server.
  • the autonomous driving unit (140d) can generate an autonomous driving route and a driving plan based on the acquired data.
  • the control unit (120) can control the driving unit (140a) so that the vehicle or autonomous vehicle (100) moves along the autonomous driving route according to the driving plan (e.g., speed/direction control).
  • the communication unit (110) can irregularly/periodically acquire the latest traffic information data from an external server and can acquire surrounding traffic information data from surrounding vehicles.
  • the sensor unit (140c) can acquire vehicle status and surrounding environment information during autonomous driving.
  • the autonomous driving unit (140d) can update the autonomous driving route and driving plan based on the newly acquired data/information.
  • the communication unit (110) can transmit information on the vehicle location, autonomous driving route, driving plan, etc. to an external server.
  • An external server can predict traffic information data in advance using AI technology, etc. based on information collected from vehicles or autonomous vehicles, and provide the predicted traffic information data to the vehicles or autonomous vehicles.
  • Figure 26 illustrates an AI device applied to the present invention.
  • AI devices can be implemented as fixed or mobile devices, such as TVs, projectors, smartphones, PCs, laptops, digital broadcasting terminals, tablet PCs, wearable devices, set-top boxes (STBs), radios, washing machines, refrigerators, digital signage, robots, and vehicles.
  • fixed or mobile devices such as TVs, projectors, smartphones, PCs, laptops, digital broadcasting terminals, tablet PCs, wearable devices, set-top boxes (STBs), radios, washing machines, refrigerators, digital signage, robots, and vehicles.
  • the AI device (100) may include a communication unit (110), a control unit (120), a memory unit (130), an input/output unit (140a/140b), a learning processor unit (140c), and a sensor unit (140d).
  • Blocks 110 to 130/140a to 140d correspond to blocks 110 to 130/140 of FIG. 23, respectively.
  • the control unit (120) may determine at least one executable operation of the AI device (100) based on information determined or generated using a data analysis algorithm or a machine learning algorithm. Then, the control unit (120) may control components of the AI device (100) to perform the determined operation. For example, the control unit (120) may request, search, receive, or utilize data of the learning processor unit (140c) or the memory unit (130), and control components of the AI device (100) to perform at least one predicted operation or an operation determined to be desirable among the executable operations.
  • control unit (120) may collect history information including operation contents of the AI device (100) or user feedback on the operation, and store the information in the memory unit (130) or the learning processor unit (140c), or transmit the information to an external device such as an AI server (FIG. 18, 400).
  • the collected history information may be used to update the learning model.
  • the memory unit (130) can store data that supports various functions of the AI device (100).
  • the memory unit (130) can store data obtained from the input unit (140a), data obtained from the communication unit (110), output data of the learning processor unit (140c), and data obtained from the sensing unit (140).
  • the memory unit (130) can store control information and/or software codes necessary for the operation/execution of the control unit (120).
  • the input unit (140a) can obtain various types of data from the outside of the AI device (100).
  • the input unit (120) can obtain learning data for model learning, and input data to which the learning model is to be applied.
  • the input unit (140a) may include a camera, a microphone, and/or a user input unit.
  • the output unit (140b) may generate output related to vision, hearing, or touch.
  • the output unit (140b) may include a display unit, a speaker, and/or a haptic module.
  • the sensing unit (140) may obtain at least one of internal information of the AI device (100), surrounding environment information of the AI device (100), and user information using various sensors.
  • the sensing unit (140) may include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, a light sensor, a microphone, and/or a radar.
  • the learning processor unit (140c) can train a model composed of an artificial neural network using learning data.
  • the learning processor unit (140c) can perform AI processing together with the learning processor unit of the AI server (Fig. 18, 400).
  • the learning processor unit (140c) can process information received from an external device through the communication unit (110) and/or information stored in the memory unit (130).
  • the output value of the learning processor unit (140c) can be transmitted to an external device through the communication unit (110) and/or stored in the memory unit (130).
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification may include LTE, NR, and 6G, as well as Narrowband Internet of Things for low-power communication.
  • NB-IoT technology may be an example of LPWAN (Low Power Wide Area Network) technology, and may be implemented with standards such as LTE Cat NB1 and/or LTE Cat NB2, and is not limited to the above-described names.
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification may perform communication based on LTE-M technology.
  • LTE-M technology may be an example of LPWAN technology, and may be called by various names such as eMTC (enhanced Machine Type Communication).
  • the LTE-M technology can be implemented by at least one of various standards such as 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL (non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, and/or 7) LTE M, and is not limited to the above-described names.
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification can include at least one of ZigBee, Bluetooth, and Low Power Wide Area Network (LPWAN) considering low-power communication, and is not limited to the above-described names.
  • ZigBee technology can create PAN (personal area networks) related to small/low-power digital communication based on various standards such as IEEE 802.15.4, and can be called by various names.
  • the embodiments of the present invention have been mainly described with a focus on the signal transmission/reception relationship between a terminal and a base station.
  • This transmission/reception relationship is equally/similarly extended to signal transmission/reception between a terminal and a relay or a base station and a relay.
  • a specific operation described as being performed by a base station in this document may, in some cases, be performed by its upper node. That is, it is obvious that various operations performed for communication with a terminal in a network composed of a plurality of network nodes including a base station may be performed by the base station or other network nodes other than the base station.
  • the base station may be replaced with terms such as a fixed station, a Node B, an eNode B (eNB), an access point, etc.
  • the terminal may be replaced with terms such as a UE (User Equipment), an MS (Mobile Station), an MSS (Mobile Subscriber Station), etc.
  • Embodiments according to the present invention can be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention can be implemented by one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • one embodiment of the present invention may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above.
  • the software code may be stored in a memory unit and may be driven by a processor.
  • the memory unit may be located inside or outside the processor and may exchange data with the processor by various means already known.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

다양한 실시예에 따른 무선 통신 시스템에서 장치가 제어 메시지를 전송하는 방법 및 이를 위한 장치가 개시된다. 이미지 획득 장치의 이미지로부터 객체를 인식 및 분류하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하는 단계; 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하는 단계; 및 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하는 단계를 포함하는 방법 및 이를 위한 장치가 개시된다.

Description

무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치
무선 통신 시스템에서 장치가 이미지 획득 장치를 제어하기 위한 제어 메시지를 전송하는 방법 및 이를 위한 장치에 대한 것이다.
무선 통신 시스템은 가용한 시스템 자원(예를 들어, 대역폭, 전송 전력 등)을 공유하여 다중 사용자와의 통신을 지원하는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템, MC-FDMA(multi carrier frequency division multiple access) 시스템 등이 있다.
사이드링크(sidelink, SL)란 단말(User Equipment, UE)들 간에 직접적인 링크를 설정하여, 기지국(Base Station, BS)을 거치지 않고, 단말 간에 음성 또는 데이터 등을 직접 주고 받는 통신 방식을 말한다. SL는 급속도로 증가하는 데이터 트래픽에 따른 기지국의 부담을 해결할 수 있는 하나의 방안으로서 고려되고 있다.
V2X(vehicle-to-everything)는 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
한편, 더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라, 기존의 무선 액세스 기술(Radio Access Technology, RAT)에 비해 향상된 모바일 광대역 (mobile broadband) 통신에 대한 필요성이 대두되고 있다. 이에 따라, 신뢰도(reliability) 및 지연(latency)에 민감한 서비스 또는 단말을 고려한 통신 시스템이 논의되고 있는데, 개선된 이동 광대역 통신, 매시브 MTC(Machine Type Communication), URLLC(Ultra-Reliable and Low Latency Communication) 등을 고려한 차세대 무선 접속 기술을 새로운 RAT(new radio access technology) 또는 NR(new radio)이라 칭할 수 있다. NR에서도 V2X(vehicle-to-everything) 통신이 지원될 수 있다.
도 1은 NR 이전의 RAT에 기반한 V2X 통신과 NR에 기반한 V2X 통신을 비교하여 설명하기 위한 도면이다
V2X 통신과 관련하여, NR 이전의 RAT에서는 BSM(Basic Safety Message), CAM(Cooperative Awareness Message), DENM(Decentralized Environmental Notification Message)과 같은 V2X 메시지를 기반으로, 안전 서비스(safety service)를 제공하는 방안이 주로 논의되었다. V2X 메시지는, 위치 정보, 동적 정보, 속성 정보 등을 포함할 수 있다. 예를 들어, 단말은 주기적인 메시지(periodic message) 타입의 CAM, 및/또는 이벤트 트리거 메시지(event triggered message) 타입의 DENM을 다른 단말에게 전송할 수 있다.
예를 들어, CAM은 방향 및 속도와 같은 차량의 동적 상태 정보, 치수와 같은 차량 정적 데이터, 외부 조명 상태, 경로 내역 등 기본 차량 정보를 포함할 수 있다. 예를 들어, 단말은 CAM을 방송할 수 있으며, CAM의 지연(latency)은 100ms보다 작을 수 있다. 예를 들어, 차량의 고장, 사고 등의 돌발적인 상황이 발행하는 경우, 단말은 DENM을 생성하여 다른 단말에게 전송할 수 있다. 예를 들어, 단말의 전송 범위 내에 있는 모든 차량은 CAM 및/또는 DENM을 수신할 수 있다. 이 경우, DENM은 CAM 보다 높은 우선 순위를 가질 수 있다.
이후, V2X 통신과 관련하여, 다양한 V2X 시나리오들이 NR에서 제시되고 있다. 예를 들어, 다양한 V2X 시나리오들은, 차량 플라투닝(vehicle platooning), 향상된 드라이빙(advanced driving), 확장된 센서들(extended sensors), 리모트 드라이빙(remote driving) 등을 포함할 수 있다.
예를 들어, 차량 플라투닝을 기반으로, 차량들은 동적으로 그룹을 형성하여 함께 이동할 수 있다. 예를 들어, 차량 플라투닝에 기반한 플라툰 동작들(platoon operations)을 수행하기 위해, 상기 그룹에 속하는 차량들은 선두 차량으로부터 주기적인 데이터를 수신할 수 있다. 예를 들어, 상기 그룹에 속하는 차량들은 주기적인 데이터를 이용하여, 차량들 사이의 간격을 줄이거나 넓힐 수 있다.
예를 들어, 향상된 드라이빙을 기반으로, 차량은 반자동화 또는 완전 자동화될 수 있다. 예를 들어, 각 차량은 근접 차량 및/또는 근접 로지컬 엔티티(logical entity)의 로컬 센서(local sensor)에서 획득된 데이터를 기반으로, 궤도(trajectories) 또는 기동(maneuvers)을 조정할 수 있다. 또한, 예를 들어, 각 차량은 근접한 차량들과 드라이빙 인텐션(driving intention)을 상호 공유할 수 있다.
예를 들어, 확장 센서들을 기반으로, 로컬 센서들을 통해 획득된 로 데이터(raw data) 또는 처리된 데이터(processed data), 또는 라이브 비디오 데이터(live video data)는 차량, 로지컬 엔티티, 보행자들의 단말 및/또는 V2X 응용 서버 간에 상호 교환될 수 있다. 따라서, 예를 들어, 차량은 자체 센서를 이용하여 감지할 수 있는 환경 보다 향상된 환경을 인식할 수 있다.
예를 들어, 리모트 드라이빙을 기반으로, 운전을 하지 못하는 사람 또는 위험한 환경에 위치한 리모트 차량을 위해, 리모트 드라이버 또는 V2X 애플리케이션은 상기 리모트 차량을 동작 또는 제어할 수 있다. 예를 들어, 대중 교통과 같이 경로를 예측할 수 있는 경우, 클라우드 컴퓨팅 기반의 드라이빙이 상기 리모트 차량의 동작 또는 제어에 이용될 수 있다. 또한, 예를 들어, 클라우드 기반의 백엔드 서비스 플랫폼(cloud-based back-end service platform)에 대한 액세스가 리모트 드라이빙을 위해 고려될 수 있다.
한편, 차량 플라투닝, 향상된 드라이빙, 확장된 센서들, 리모트 드라이빙 등 다양한 V2X 시나리오들에 대한 서비스 요구사항(service requirements)들을 구체화하는 방안이 NR에 기반한 V2X 통신에서 논의되고 있다.
본 발명이 이루고자 하는 기술적 과제는 보다 정확하고 효율적으로 객체 인식을 하기 위한 메시지를 송수신하는 방법을 제공하는데 있다.
기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 무선 통신 시스템에서 장치가 제어 메시지를 전송하는 방법은, 이미지 획득 장치의 이미지로부터 객체를 인식 및 분류하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하는 단계; 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하는 단계; 및 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하는 단계를 포함할 수 있다.
또는, 상기 제어 메시지는 상기 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 전송되는 것을 특징으로 한다.
또는, 상기 객체 인식 정보는 상기 객체 인식 모델이 상기 이미지로부터 적어도 하나의 객체에 대한 분류를 실패한 원인에 대한 요인 정보를 더 포함하고, 상기 제어 메시지는 상기 요인 정보에 기초하여 결정된 적어도 하나의 제어 파라미터를 포함하는 것을 특징으로 한다.
또는, 상기 요인 정보는 조명 상태에 따른 객체 분류 실패, 객체 밀집도에 따른 객체 분류 실패, 객체 크기에 따른 객체 분류 실패 및 객체의 이동 속도에 따른 객체 분류 실패 중 적어도 하나의 정보를 포함하는 것을 특징으로 한다.
또는, 상기 객체 인식 정보에 특정 임계 미만의 이동성을 갖는 객체에 대한 미분류 객체 정보가 더 포함된 것에 기초하여, 상기 제어 메시지는 상기 객체 인식률이 상기 미리 설정된 임계 이상이더라도 전송되는 것을 특징으로 한다.
또는, 상기 제어 메시지는 상기 이미지 상에서 상기 미분류 객체 정보에 대응하는 객체가 속하는 일부 영역을 특정하는 제어 파라미터를 포함하는 것을 특징으로 한다.
또는, 상기 이미지 획득 장치는 획득된 이미지들 간의 픽셀 값의 차이에 기반하여 상기 이미지들 중에서 적어도 하나의 이미지를 상기 객체 인식 모델에 전달하지 않는 것을 특징으로 한다.
또는, 상기 객체 인식률은 상기 객체 인식 모듈이 상기 이미지로부터 인식한 객체들 중에서 객체 종류가 분류된 객체의 수를 상기 객체들의 수로 나눈 값에 기초하여 산출된 것을 특징으로 한다.
또 다른 일 측면에 따라서 상술된 제어 메시지의 전송 방법을 수행하는 장치가 제공될 수 있다.
또 다른 일 측면에 따라서 상술된 제어 메시지의 전송 방법을 수행하는 장치를 제어하기 위한 프로세싱 장치가 제공될 수 있다.
또 다른 측면에 따르면, 무선 통신 시스템에서 이미지 획득 장치가 제어 메시지를 수신하는 방법은, 특정 지리적 영역에 대한 이미지를 획득하는 단계; 상기 이미지로부터 객체를 인식하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달하는 단계; 및 상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신하는 단계를 포함하고, 상기 제어 메시지는 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 상기 제1 장치로부터 수신될 수 있다.
다른 일 측면에 따라서 상술된 제어 메시지의 수신 방법을 수행하기 위한 명령어들을 기록한 비일시적 컴퓨터 판독가능 저장 매체가 제공될 수 있다.
또 다른 일 측면에 따라서 상술된 제어 메시지의 수신 방법을 수행하는 이미지 획득 장차가 제공될 수 있다.
또 다른 일 측면에 따라서 상술된 제어 메시지의 수신 방법을 수행하는 이미지 획득 장치를 제어하기 위한 프로세싱 장치가 제공될 수 있다.
본 발명의 일 실시예에 따르면 무선 통신 시스템에서 메시지를 송수신을 통해 보다 정확하고 효율적으로 객체 인식이 수행될 수 있다.
다양한 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 NR 이전의 RAT에 기반한 V2X 통신과 NR에 기반한 V2X 통신을 비교하여 설명하기 위한 도면이다
도 2은 LTE 시스템의 구조를 나타낸다.
도 3은 NR 시스템의 구조를 나타낸다.
도 4은 NR의 무선 프레임의 구조를 나타낸다.
도 5은 NR 프레임의 슬롯 구조를 나타낸다.
도 6은 본 개시의 일 실시 예에 따른, 6G 시스템에서 제공 가능한 통신 구조를 나타낸다.
도 7는 본 개시의 일 실시 예에 따른, 전자기 스펙트럼을 나타낸다.
도 8은 본 개시의 일 실시 예에 따른, 투명 페이로드(transparent payload)에 기초한 NTN 일반 시나리오(typical scenario)의 일 예를 나타낸다.
도 9는 본 개시의 일 실시 예에 따른, 재생 페이로드(regenerative payload)에 기초한 NTN 일반 시나리오(typical scenario)의 일 예를 나타낸다.
도 10는 본 개시의 일 실시 예에 따른, 센싱 동작의 일 예를 나타낸다.
도 11는 SL 통신을 위한 무선 프로토콜 구조(radio protocol architecture)를 나타낸다.
도 12은 V2X 또는 SL 통신을 수행하는 단말을 나타낸다.
도 13는 V2X 또는 SL 통신을 위한 자원 단위를 나타낸다.
도 14은 본 개시의 일 실시 예에 따른, BWP의 일 예를 나타낸다.
도 15은 본 개시의 일 실시 예에 따라, 단말이 자원 할당 모드에 따라 V2X 또는 SL 통신을 수행하는 절차를 나타낸다.
도 16은 적응형 센싱 이미지를 처리 및 획득할 수 있는 아키덱처를 설명하기 위한 도면이다.
도 17 내지 도 19는 설정 관리 모듈이 이미지 캡쳐 모듈 또는 이미지 후-처리 모듈을 제어하는 방법을 설명하기 위한 도면이다.
도 20은 장치가 이미지 획득 장치를 제어하기 위한 제어 메시지를 전송하는 방법을 설명하기 위한 도면이다.
도 21은 이미지 획득 장치가 장치로부터 제어 메시지를 수신하는 방법을 설명하기 위한 도면이다.
도 22은 본 발명에 적용되는 통신 시스템을 예시한다.
도 23는 본 발명에 적용될 수 있는 무선 기기를 예시한다.
도 24은 본 발명에 적용되는 무선 기기의 다른 예를 나타낸다. 무선 기기는 사용-예/서비스에 따라 다양한 형태로 구현될 수 있다
도 25 본 발명에 적용되는 차량 또는 자율 주행 차량을 예시한다.
도 26은 본 발명에 적용되는 AI 기기를 예시한다.
무선 통신 시스템은 가용한 시스템 자원(예를 들어, 대역폭, 전송 파워 등)을 공유하여 다중 사용자와의 통신을 지원하는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템, MC-FDMA(multi carrier frequency division multiple access) 시스템 등이 있다.
사이드링크(sidelink)란 단말(User Equipment, UE)들 간에 직접적인 링크를 설정하여, 기지국(Base Station, BS)을 거치지 않고, 단말 간에 음성 또는 데이터 등을 직접 주고 받는 통신 방식을 말한다. 사이드링크는 급속도로 증가하는 데이터 트래픽에 따른 기지국의 부담을 해결할 수 있는 하나의 방안으로서 고려되고 있다.
V2X(vehicle-to-everything)는 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
한편, 더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라, 기존의 무선 액세스 기술(Radio Access Technology, RAT)에 비해 향상된 모바일 광대역 (mobile broadband) 통신에 대한 필요성이 대두되고 있다. 이에 따라, 신뢰도(reliability) 및 지연(latency)에 민감한 서비스 또는 단말을 고려한 통신 시스템이 논의되고 있는데, 개선된 이동 광대역 통신, 매시브 MTC, URLLC(Ultra-Reliable and Low Latency Communication) 등을 고려한 차세대 무선 접속 기술을 새로운 RAT(new radio access technology) 또는 NR(new radio)이라 칭할 수 있다. NR에서도 V2X(vehicle-to-everything) 통신이 지원될 수 있다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 통신 시스템에 사용될 수 있다. CDMA는 UTRA(universal terrestrial radio access)나 CDMA2000과 같은 무선 기술로 구현될 수 있다. TDMA는 GSM(global system for mobile communications)/GPRS(general packet radio service)/EDGE(enhanced data rates for GSM evolution)와 같은 무선 기술로 구현될 수 있다. OFDMA는 IEEE(institute of electrical and electronics engineers) 802.11(Wi-Fi), IEEE 802.16(WiMAX), IEEE 802-20, E-UTRA(evolved UTRA) 등과 같은 무선 기술로 구현될 수 있다. IEEE 802.16m은 IEEE 802.16e의 진화로, IEEE 802.16e에 기반한 시스템과의 하위 호환성(backward compatibility)를 제공한다. UTRA는 UMTS(universal mobile telecommunications system)의 일부이다. 3GPP(3rd generation partnership project) LTE(long term evolution)은 E-UTRA(evolved-UMTS terrestrial radio access)를 사용하는 E-UMTS(evolved UMTS)의 일부로써, 하향링크에서 OFDMA를 채용하고 상향링크에서 SC-FDMA를 채용한다. LTE-A(advanced)는 3GPP LTE의 진화이다.
5G NR은 LTE-A의 후속 기술로서, 고성능, 저지연, 고가용성 등의 특성을 가지는 새로운 Clean-slate 형태의 이동 통신 시스템이다. 5G NR은 1GHz 미만의 저주파 대역에서부터 1GHz~10GHz의 중간 주파 대역, 24GHz 이상의 고주파(밀리미터파) 대역 등 사용 가능한 모든 스펙트럼 자원을 활용할 수 있다.
설명을 명확하게 하기 위해, LTE-A 또는 5G NR을 위주로 기술하지만 실시예(들)의 기술적 사상이 이에 제한되는 것은 아니다.
도 2은 적용될 수 있는 LTE 시스템의 구조를 나타낸다. 이는 E-UTRAN(Evolved-UMTS Terrestrial Radio Access Network), 또는 LTE(Long Term Evolution)/LTE-A 시스템이라고 불릴 수 있다.
도 2을 참조하면, E-UTRAN은 단말(10)에게 제어 평면(control plane)과 사용자 평면(user plane)을 제공하는 기지국(20; Base Station, BS)을 포함한다. 단말(10)은 고정되거나 이동성을 가질 수 있으며, MS(Mobile Station), UT(User Terminal), SS(Subscriber Station), MT(Mobile Terminal), 무선기기(Wireless Device) 등 다른 용어로 불릴 수 있다. 기지국(20)은 단말(10)과 통신하는 고정된 지점(fixed station)을 말하며, eNB(evolved-NodeB), BTS(Base Transceiver System), 액세스 포인트(Access Point) 등 다른 용어로 불릴 수 있다.
기지국(20)들은 X2 인터페이스를 통하여 서로 연결될 수 있다. 기지국(20)은 S1 인터페이스를 통해 EPC(Evolved Packet Core, 30), 보다 상세하게는 S1-MME를 통해 MME(Mobility Management Entity)와 S1-U를 통해 S-GW(Serving Gateway)와 연결된다.
EPC(30)는 MME, S-GW 및 P-GW(Packet Data Network-Gateway)로 구성된다. MME는 단말의 접속 정보나 단말의 능력에 관한 정보를 가지고 있으며, 이러한 정보는 단말의 이동성 관리에 주로 사용된다. S-GW는 E-UTRAN을 종단점으로 갖는 게이트웨이이며, P-GW는 PDN을 종단점으로 갖는 게이트웨이이다.
단말과 네트워크 사이의 무선인터페이스 프로토콜(Radio Interface Protocol)의 계층들은 통신시스템에서 널리 알려진 개방형 시스템간 상호접속(Open System Interconnection, OSI) 기준 모델의 하위 3개 계층을 바탕으로 L1 (제 1 계층), L2 (제 2 계층), L3(제 3 계층)로 구분될 수 있다. 이 중에서 제 1 계층에 속하는 물리 계층은 물리 채널(Physical Channel)을 이용한 정보전송서비스(Information Transfer Service)를 제공하며, 제 3 계층에 위치하는 RRC(Radio Resource Control) 계층은 단말과 네트워크 간에 무선 자원을 제어하는 역할을 수행한다. 이를 위해 RRC 계층은 단말과 기지국간 RRC 메시지를 교환한다.
도 3은 NR 시스템의 구조를 나타낸다.
도 3을 참조하면, NG-RAN은 단말에게 사용자 평면 및 제어 평면 프로토콜 종단(termination)을 제공하는 gNB 및/또는 eNB를 포함할 수 있다. 도 7에서는 gNB만을 포함하는 경우를 예시한다. gNB 및 eNB는 상호 간에 Xn 인터페이스로 연결되어 있다. gNB 및 eNB는 5세대 코어 네트워크(5G Core Network: 5GC)와 NG 인터페이스를 통해 연결되어 있다. 보다 구체적으로, AMF(access and mobility management function)과는 NG-C 인터페이스를 통해 연결되고, UPF(user plane function)과는 NG-U 인터페이스를 통해 연결된다.
도 4은 NR의 무선 프레임의 구조를 나타낸다.
도 4을 참조하면, NR에서 상향링크 및 하향링크 전송에서 무선 프레임을 사용할 수 있다. 무선 프레임은 10ms의 길이를 가지며, 2개의 5ms 하프-프레임(Half-Frame, HF)으로 정의될 수 있다. 하프-프레임은 5개의 1ms 서브프레임(Subframe, SF)을 포함할 수 있다. 서브프레임은 하나 이상의 슬롯으로 분할될 수 있으며, 서브프레임 내 슬롯 개수는 부반송파 간격(Subcarrier Spacing, SCS)에 따라 결정될 수 있다. 각 슬롯은 CP(cyclic prefix)에 따라 12개 또는 14개의 OFDM(A) 심볼을 포함할 수 있다.
노멀 CP(normal CP)가 사용되는 경우, 각 슬롯은 14개의 심볼을 포함할 수 있다. 확장 CP가 사용되는 경우, 각 슬롯은 12개의 심볼을 포함할 수 있다. 여기서, 심볼은 OFDM 심볼 (또는, CP-OFDM 심볼), SC-FDMA(Single Carrier - FDMA) 심볼 (또는, DFT-s-OFDM(Discrete Fourier Transform-spread-OFDM) 심볼)을 포함할 수 있다.
다음 표 1은 노멀 CP가 사용되는 경우, SCS 설정(u)에 따라 슬롯 별 심볼의 개수((Nslot symb), 프레임 별 슬롯의 개수((Nframe,u slot)와 서브프레임 별 슬롯의 개수((Nsubframe,u slot)를 예시한다.
SCS (15*2u) Nslot symb Nframe,u slot Nsubframe,u slot
15KHz (u=0) 14 10 1
30KHz (u=1) 14 20 2
60KHz (u=2) 14 40 4
120KHz (u=3) 14 80 8
240KHz (u=4) 14 160 16
표 2는 확장 CP가 사용되는 경우, SCS에 따라 슬롯 별 심볼의 개수, 프레임 별 슬롯의 개수와 서브프레임 별 슬롯의 개수를 예시한다.
SCS (15*2u) Nslot symb Nframe,u slot Nsubframe,u slot
60KHz (u=2) 12 40 4
NR 시스템에서는 하나의 단말에게 병합되는 복수의 셀들 간에 OFDM(A) 뉴머놀로지(numerology)(예, SCS, CP 길이 등)가 상이하게 설정될 수 있다. 이에 따라, 동일한 개수의 심볼로 구성된 시간 자원(예, 서브프레임, 슬롯 또는 TTI)(편의상, TU(Time Unit)로 통칭)의 (절대 시간) 구간이 병합된 셀들 간에 상이하게 설정될 수 있다.
NR에서, 다양한 5G 서비스들을 지원하기 위한 다수의 뉴머놀로지(numerology) 또는 SCS가 지원될 수 있다. 예를 들어, SCS가 15kHz인 경우, 전통적인 셀룰러 밴드들에서의 넓은 영역(wide area)이 지원될 수 있고, SCS가 30kHz/60kHz인 경우, 밀집한-도시(dense-urban), 더 낮은 지연(lower latency) 및 더 넓은 캐리어 대역폭(wider carrier bandwidth)이 지원될 수 있다. SCS가 60kHz 또는 그보다 높은 경우, 위상 잡음(phase noise)을 극복하기 위해 24.25GHz보다 큰 대역폭이 지원될 수 있다.
NR 주파수 밴드(frequency band)는 두 가지 타입의 주파수 범위(frequency range)로 정의될 수 있다. 상기 두 가지 타입의 주파수 범위는 FR1 및 FR2일 수 있다. 주파수 범위의 수치는 변경될 수 있으며, 예를 들어, 상기 두 가지 타입의 주파수 범위는 하기 표 3과 같을 수 있다. NR 시스템에서 사용되는 주파수 범위 중 FR1은 "sub 6GHz range"를 의미할 수 있고, FR2는 "above 6GHz range"를 의미할 수 있고 밀리미터 웨이브(millimeter wave, mmW)로 불릴 수 있다.
Frequency Range designation Corresponding frequency range Subcarrier Spacing (SCS)
FR1 450MHz - 6000MHz 15, 30, 60kHz
FR2 24250MHz - 52600MHz 60, 120, 240kHz
상술한 바와 같이, NR 시스템의 주파수 범위의 수치는 변경될 수 있다. 예를 들어, FR1은 하기 표 4와 같이 410MHz 내지 7125MHz의 대역을 포함할 수 있다. 즉, FR1은 6GHz (또는 5850, 5900, 5925 MHz 등) 이상의 주파수 대역을 포함할 수 있다. 예를 들어, FR1 내에서 포함되는 6GHz (또는 5850, 5900, 5925 MHz 등) 이상의 주파수 대역은 비면허 대역(unlicensed band)을 포함할 수 있다. 비면허 대역은 다양한 용도로 사용될 수 있고, 예를 들어 차량을 위한 통신(예를 들어, 자율주행)을 위해 사용될 수 있다.
Frequency Range designation Corresponding frequency range Subcarrier Spacing (SCS)
FR1 410MHz - 7125MHz 15, 30, 60kHz
FR2 24250MHz - 52600MHz 60, 120, 240kHz
도 5은 NR 프레임의 슬롯 구조를 나타낸다.
도 5을 참조하면, 슬롯은 시간 영역에서 복수의 심볼들을 포함한다. 예를 들어, 노멀 CP의 경우 하나의 슬롯이 14개의 심볼을 포함하나, 확장 CP의 경우 하나의 슬롯이 12개의 심볼을 포함할 수 있다. 또는 노멀 CP의 경우 하나의 슬롯이 7개의 심볼을 포함하나, 확장 CP의 경우 하나의 슬롯이 6개의 심볼을 포함할 수 있다.
반송파는 주파수 영역에서 복수의 부반송파들을 포함한다. RB(Resource Block)는 주파수 영역에서 복수(예를 들어, 12)의 연속한 부반송파로 정의될 수 있다. BWP(Bandwidth Part)는 주파수 영역에서 복수의 연속한 (P)RB((Physical) Resource Block)로 정의될 수 있으며, 하나의 뉴머놀로지(numerology)(예, SCS, CP 길이 등)에 대응될 수 있다. 반송파는 최대 N개(예를 들어, 5개)의 BWP를 포함할 수 있다. 데이터 통신은 활성화된 BWP를 통해서 수행될 수 있다. 각각의 요소는 자원 그리드에서 자원요소(Resource Element, RE)로 지칭될 수 있고, 하나의 복소 심볼이 맵핑될 수 있다.
한편, 단말과 단말 간 무선 인터페이스 또는 단말과 네트워크 간 무선 인터페이스는 L1 계층, L2 계층 및 L3 계층으로 구성될 수 있다. 본 개시의 다양한 실시 예에서, L1 계층은 물리(physical) 계층을 의미할 수 있다. 또한, 예를 들어, L2 계층은 MAC 계층, RLC 계층, PDCP 계층 및 SDAP 계층 중 적어도 하나를 의미할 수 있다. 또한, 예를 들어, L3 계층은 RRC 계층을 의미할 수 있다.
도 6은 본 개시의 일 실시 예에 따른, 6G 시스템에서 제공 가능한 통신 구조를 나타낸다. 도 6의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다.
6G에서 새로운 네트워크 특성들은 다음과 같을 수 있다.
- 위성 통합 네트워크(satellites integrated network)
- 연결된 인텔리전스(connected intelligence): 이전 세대의 무선 통신 시스템과 달리 6G는 혁신적이며, "연결된 사물"에서 "연결된 지능"으로 무선 진화가 업데이트될 것이다. AI는 통신 절차의 각 단계(또는 후술할 신호 처리의 각 절차)에서 적용될 수 있다.
- 무선 정보 및 에너지 전달의 완벽한 통합(seamless integration wireless information and energy transfer)
- 유비쿼터스 슈퍼 3D 연결(ubiquitous super 3D connectivity): 드론 및 매우 낮은 지구 궤도 위성의 네트워크 및 핵심 네트워크 기능에 접속은 6G 유비쿼터스에서 슈퍼 3D 연결을 만들 것이다.
위와 같은 6G의 새로운 네트워크 특성들에서 몇 가지 일반적인 요구 사항은 다음과 같을 수 있다.
- 스몰 셀 네트워크(small cell networks)
- 초 고밀도 이기종 네트워크(ultra-dense heterogeneous network)
- 대용량 백홀(high-capacity backhaul)
- 모바일 기술과 통합된 레이더 기술: 통신을 통한 고정밀 지역화 (또는 위치 기반 서비스)는 6G 무선통신 시스템의 기능 중 하나이다. 따라서, 레이더 시스템은 6G 네트워크와 통합될 것이다.
- 소프트화 및 가상화(softwarization and virtualization)
이하, 6G 시스템의 핵심 구현 기술에 대하여 설명한다.
- 인공 지능(artificial intelligence): 통신에 AI를 도입하면 실시간 데이터 전송이 간소화되고 향상될 수 있다. AI는 수많은 분석을 사용하여 복잡한 대상 작업이 수행되는 방식을 결정할 수 있다. 즉, AI는 효율성을 높이고 처리 지연을 줄일 수 있다. 핸드 오버, 네트워크 선택, 자원 스케쥴링과 같은 시간 소모적인 작업은 AI를 사용함으로써 즉시 수행될 수 있다. AI는 M2M, 기계-대-인간 및 인간-대-기계 통신에서도 중요한 역할을 할 수 있다. 또한, AI는 BCI(Brain Computer Interface)에서 신속한 통신이 될 수 있다. AI 기반 통신 시스템은 메타 물질, 지능형 구조, 지능형 네트워크, 지능형 장치, 지능형 인지 라디오(radio), 자체 유지 무선 네트워크 및 머신 러닝에 의해 지원될 수 있다.
- THz 통신(terahertz communication): 데이터 전송률은 대역폭을 늘려 높일 수 있다. 이것은 넓은 대역폭으로 sub-THz 통신을 사용하고, 진보된 대규모 MIMO 기술을 적용하여 수행될 수 있다. 밀리미터 이하의 방사선으로도 알려진 THz파는 일반적으로 0.03mm-3mm 범위의 해당 파장을 가진 0.1THz와 10THz 사이의 주파수 대역을 나타낸다. 100GHz-300GHz 대역 범위(Sub THz 대역)는 셀룰러 통신을 위한 THz 대역의 주요 부분으로 간주된다. Sub-THz 대역을 mmWave 대역에 추가하면 6G 셀룰러 통신 용량은 늘어난다. 정의된 THz 대역 중 300GHz-3THz는 원적외선 (IR) 주파수 대역에 있다. 300GHz-3THz 대역은 광 대역의 일부이지만 광 대역의 경계에 있으며, RF 대역 바로 뒤에 있다. 따라서, 이 300 GHz-3 THz 대역은 RF와 유사성을 나타낸다.
도 7는 본 개시의 일 실시 예에 따른, 전자기 스펙트럼을 나타낸다. 도 7의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다. THz 통신의 주요 특성은 (i) 매우 높은 데이터 전송률을 지원하기 위해 광범위하게 사용 가능한 대역폭, (ii) 고주파에서 발생하는 높은 경로 손실 (고 지향성 안테나는 필수 불가결)을 포함한다. 높은 지향성 안테나에서 생성된 좁은 빔 폭은 간섭을 줄인다. THz 신호의 작은 파장은 훨씬 더 많은 수의 안테나 소자가 이 대역에서 동작하는 장치 및 BS에 통합될 수 있게 한다. 이를 통해 범위 제한을 극복할 수 있는 고급 적응형 배열 기술을 사용할 수 있다.
- 대규모 MIMO 기술(large-scale MIMO)
- 홀로그램 빔 포밍(hologram beamforming, HBF)
- 광 무선 기술(optical wireless technology)
- 자유공간 광전송 백홀 네트워크(FSO backhaul network)
- 양자 통신(quantum communication)
- 셀-프리 통신(cell-free communication)
- 무선 정보 및 에너지 전송 통합(integration of wireless information and power transmission)
- 센싱과 커뮤니케이션의 통합(integration of wireless communication and sensing)
- 액세스 백홀 네트워크의 통합(integrated access and backhaul network)
- 빅 데이터 분석(big data analysis)
- 재구성 가능한 지능형 메타표면(reconfigurable intelligent surface)
- 메타버스(metaverse)
- 블록 체인(block-chain)
- 무인 항공기(unmanned aerial vehicle, UAV): UAV 또는 드론은 6G 무선 통신에서 중요한 요소가 될 것이다. 대부분의 경우, UAV 기술을 사용하여 고속 데이터 무선 연결이 제공될 수 있다. BS(base station) 엔티티는 셀룰러 연결을 제공하기 위해 UAV에 설치될 수 있다. UAV는 쉬운 배치, 강력한 가시선 링크 및 이동성이 제어되는 자유도와 같은 고정 BS 인프라에서 볼 수 없는 특정 기능을 가지고 있을 수 있다. 천재 지변 등의 긴급 상황 동안, 지상 통신 인프라의 배치는 경제적으로 실현 가능하지 않으며, 때로는 휘발성 환경에서 서비스를 제공할 수 없다. UAV는 이러한 상황을 쉽게 처리할 수 있다. UAV는 무선 통신 분야의 새로운 패러다임이 될 것이다. 이 기술은 eMBB, URLLC 및 mMTC 인 무선 네트워크의 세 가지 기본 요구 사항을 용이하게 한다. UAV는 또한, 네트워크 연결성 향상, 화재 감지, 재난 응급 서비스, 보안 및 감시, 오염 모니터링, 주차 모니터링, 사고 모니터링 등과 같은 여러 가지 목적을 지원할 수 있다. 따라서, UAV 기술은 6G 통신에 가장 중요한 기술 중 하나로 인식되고 있다.
- 자율주행(autonomous driving, self-driving): 자율 주행 인프라 구축의 핵심 요소인 V2X(vehicle to everything)는 차량과 차량 간 무선 통신(vehicle to vehicle, V2V), 차량과 인프라 간 무선 통신(vehicle to infrastructure, V2I) 등 자동차가 자율 주행을 하기 위해 도로에 있는 다양한 요소와 소통하고 공유하는 기술일 수 있다. 자율 주행의 성능을 극대화하고 높은 안전성을 확보하기 위해서는 빠른 전송속도와 저지연 기술이 반드시 필요하다. 더하여, 앞으로 자율주행은 운전자에게 경고나 안내 메시지를 전달하는 수준을 넘어 적극적으로 차량 운행에 개입하고 위험 상황에서 직접 차량을 제어해야 할 수 있다. 이를 위해서, 송수신해야 할 정보의 양이 방대해질 수 있으므로, 6G에서는 5G보다 빠른 전송 속도와 저지연으로 자율주행을 극대화할 수 있을 것으로 예상된다.
- 비지상 네트워크(non-terrestrial networks, NTN): NTN은 위성 (또는 UAS(unmanned aerial system) 플랫폼)에 탑재된 RF(radio frequency) 자원을 사용하는 네트워크 또는 네트워크 세그먼트를 나타낼 수 있다. 도 8은 본 개시의 일 실시 예에 따른, 투명 페이로드(transparent payload)에 기초한 NTN 일반 시나리오(typical scenario)의 일 예를 나타낸다. 도 9는 본 개시의 일 실시 예에 따른, 재생 페이로드(regenerative payload)에 기초한 NTN 일반 시나리오(typical scenario)의 일 예를 나타낸다. 도 8 또는 도 9의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다. 도 8을 참조하면, 위성 (또는 UAS 플랫폼)은 UE와 서비스 링크를 생성할 수 있다. 위성 (또는 UAS 플랫폼)은 피더 링크(feeder link)를 통해 게이트웨이와 연결될 수 있다. 위성은 게이트웨이를 통해 데이터 네트워크와 연결될 수 있다. 빔 풋프린트(beam foot print)는 위성이 전송하는 신호를 수신할 수 있는 지역을 의미할 수 있다. 도 9를 참조하면, 위성 (또는 UAS 플랫폼)은 UE와 서비스 링크를 생성할 수 있다. UE와 연결된 위성 (또는 UAS 플랫폼)은 ISL(inter-satellite links)을 통해 다른 위성 (또는 UAS 플랫폼)과 연결될 수 있다. 다른 위성 (또는 UAS 플랫폼)은 피더 링크(feeder link)를 통해 게이트웨이와 연결될 수 있다. 위성은 재생 페이로드에 기초하여, 다른 위성과 게이트웨이를 통해 데이터 네트워크와 연결될 수 있다. 위성과 다른 위성 사이에 ISL이 존재하지 않는 경우, 위성과 게이트웨이 사이의 피더 링크(feeder link)가 필요할 수 있다. 도 8 및 도 9는 NTN 시나리오의 예시에 불과하며, NTN은 다양한 방식의 시나리오에 기초하여 구현될 수 있다. 예를 들어, 위성 (또는 UAS 플랫폼)은 투명 또는 재생(온보드 처리 포함) 페이로드(regenerative (with on board processing) payload)를 구현할 수 있다. 예를 들어, 위성 (또는 UAS 플랫폼)은 위성 (또는 UAS 플랫폼)의 시야 범위(field of view)에 따라 지정된 서비스 영역에 걸쳐 여러 빔을 생성할 수 있다. 예를 들어, 위성 (또는 UAS 플랫폼)의 시야는 온보드 안테나 다이어그램과 최소 고도각(elevation angle)에 따라 다를 수 있다. 예를 들어, 투명 페이로드는 무선 주파수 필터링, 주파수 변환 및 증폭을 포함할 수 있다. 따라서, 페이로드에 의해 반복되는 파형 신호는 변경되지 않을 수 있다. 예를 들어, 재생 페이로드는 무선 주파수 필터링, 주파수 변환 및 증폭, 복조/복호화, 스위치 및/또는 라우팅, 코딩/변조를 포함할 수 있다. 예를 들어, 재생 페이로드는 위성 (또는 UAS 플랫폼)에 기지국 기능의 전체 또는 일부를 탑재하는 것과 실질적으로 동일할 수 있다.
- 통합 센싱 및 통신(integrated sensing and communication, ISAC): 무선 센싱은 무선 주파수를 이용해 물체의 순간 선속도, 각도, 거리 (범위) 등을 파악해 환경 및/또는 환경 내 물체의 특성에 대한 정보를 얻을 수 있는 기술이다. 무선 주파수 센싱 기능은 네트워크 내 장치를 통해 물체에 연결할 필요가 없기 때문에 장치 없이 물체 위치 파악을 위한 서비스를 제공할 수 있다. 무선 주파수 신호로부터 범위, 속도 및 각도 정보를 얻는 기능은 다양한 물체 감지, 물체 인식(예, 차량, 인간, 동물, UAV) 및 고정밀 위치 파악, 추적, 및 활동 인식과 같은 광범위한 새로운 기능을 제공할 수 있다. 무선 센싱 서비스는, 예를 들어, 침입자 감지, 보조 자동차 조종 및 내비게이션, 궤적 추적, 충돌 회피, 교통 관리, 건강 및 교통 관리 등을 제공하는 애플리케이션을 가능하게 하는 다양한 업종(예, 무인 항공기, 스마트 홈, V2X, 공장, 철도, 공공 안전 등)에 정보를 제공할 수 있다. 경우에 따라, 무선 센싱은 3GPP 기반 센싱을 추가로 지원하기 위해 비-3GPP 유형 센서(예, 레이더, 카메라)를 사용할 수 있다. 예를 들어, 무선 센싱 서비스의 동작, 즉 센싱 동작은 무선 센싱 신호의 전송, 반사, 산란 처리에 의존할 수 있다. 따라서, 무선 센싱은 기존 통신 시스템을 통신 네트워크에서 무선 통신 및 센싱 네트워크로 강화할 수 있는 기회를 제공할 수 있다. 도 10는 본 개시의 일 실시 예에 따른, 센싱 동작의 일 예를 나타낸다. 도 10의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다. 구체적으로, 도 10의 (a)는 동일 위치에 있는 센싱 수신기와 센싱 송신기를 사용한 센싱(예, monostatic sensing)의 예를 나타내고, 도 10의 (b)는 분리된 센싱 수신기와 센싱 송신기를 사용한 센싱(예, bistatic sensing)의 예를 나타낸다.
도 11는 SL 통신을 위한 무선 프로토콜 구조(radio protocol architecture)를 나타낸다. 구체적으로, 도 11의 (a)는 NR의 사용자 평면 프로토콜 스택을 나타내고, 도 11의 (b)는 NR의 제어 평면 프로토콜 스택을 나타낸다.
이하, SL 동기 신호(Sidelink Synchronization Signal, SLSS) 및 동기화 정보에 대해 설명한다.
SLSS는 SL 특정적인 시퀀스(sequence)로, PSSS(Primary Sidelink Synchronization Signal)와 SSSS(Secondary Sidelink Synchronization Signal)를 포함할 수 있다. 상기 PSSS는 S-PSS(Sidelink Primary Synchronization Signal)라고 칭할 수 있고, 상기 SSSS는 S-SSS(Sidelink Secondary Synchronization Signal)라고 칭할 수 있다. 예를 들어, 길이-127 M-시퀀스(length-127 M-sequences)가 S-PSS에 대하여 사용될 수 있고, 길이-127 골드-시퀀스(length-127 Gold sequences)가 S-SSS에 대하여 사용될 수 있다. 예를 들어, 단말은 S-PSS를 이용하여 최초 신호를 검출(signal detection)할 수 있고, 동기를 획득할 수 있다. 예를 들어, 단말은 S-PSS 및 S-SSS를 이용하여 세부 동기를 획득할 수 있고, 동기 신호 ID를 검출할 수 있다.
PSBCH(Physical Sidelink Broadcast Channel)는 SL 신호 송수신 전에 단말이 가장 먼저 알아야 하는 기본이 되는 (시스템) 정보가 전송되는 (방송) 채널일 수 있다. 예를 들어, 상기 기본이 되는 정보는 SLSS에 관련된 정보, 듀플렉스 모드(Duplex Mode, DM), TDD UL/DL(Time Division Duplex Uplink/Downlink) 구성, 리소스 풀 관련 정보, SLSS에 관련된 어플리케이션의 종류, 서브프레임 오프셋, 방송 정보 등일 수 있다. 예를 들어, PSBCH 성능의 평가를 위해, NR V2X에서, PSBCH의 페이로드 크기는 24 비트의 CRC를 포함하여 56 비트일 수 있다.
S-PSS, S-SSS 및 PSBCH는 주기적 전송을 지원하는 블록 포맷(예를 들어, SL SS(Synchronization Signal)/PSBCH 블록, 이하 S-SSB(Sidelink-Synchronization Signal Block))에 포함될 수 있다. 상기 S-SSB는 캐리어 내의 PSCCH(Physical Sidelink Control Channel)/PSSCH(Physical Sidelink Shared Channel)와 동일한 뉴머놀로지(즉, SCS 및 CP 길이)를 가질 수 있고, 전송 대역폭은 (미리) 설정된 SL BWP(Sidelink BWP) 내에 있을 수 있다. 예를 들어, S-SSB의 대역폭은 11 RB(Resource Block)일 수 있다. 예를 들어, PSBCH는 11 RB에 걸쳐있을 수 있다. 그리고, S-SSB의 주파수 위치는 (미리) 설정될 수 있다. 따라서, 단말은 캐리어에서 S-SSB를 발견하기 위해 주파수에서 가설 검출(hypothesis detection)을 수행할 필요가 없다.
한편, NR SL 시스템에서, 서로 다른 SCS 및/또는 CP 길이를 가지는 복수의 뉴머놀로지가 지원될 수 있다. 이 때, SCS가 증가함에 따라서, 전송 단말이 S-SSB를 전송하는 시간 자원의 길이가 짧아질 수 있다. 이에 따라, S-SSB의 커버리지(coverage)가 감소할 수 있다. 따라서, S-SSB의 커버리지를 보장하기 위하여, 전송 단말은 SCS에 따라 하나의 S-SSB 전송 주기 내에서 하나 이상의 S-SSB를 수신 단말에게 전송할 수 있다. 예를 들어, 전송 단말이 하나의 S-SSB 전송 주기 내에서 수신 단말에게 전송하는 S-SSB의 개수는 전송 단말에게 사전에 설정되거나(pre-configured), 설정(configured)될 수 있다. 예를 들어, S-SSB 전송 주기는 160ms 일 수 있다. 예를 들어, 모든 SCS에 대하여, 160ms의 S-SSB 전송 주기가 지원될 수 있다.
예를 들어, SCS가 FR1에서 15kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개 또는 2개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR1에서 30kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개 또는 2개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR1에서 60kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개 또는 4개의 S-SSB를 전송할 수 있다.
예를 들어, SCS가 FR2에서 60kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개, 4개, 8개, 16개 또는 32개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR2에서 120kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개, 4개, 8개, 16개, 32개 또는 64개의 S-SSB를 전송할 수 있다.
한편, SCS가 60kHz인 경우, 두 가지 타입의 CP가 지원될 수 있다. 또한, CP 타입에 따라서 전송 단말이 수신 단말에게 전송하는 S-SSB의 구조가 상이할 수 있다. 예를 들어, 상기 CP 타입은 Normal CP(NCP) 또는 Extended CP(ECP)일 수 있다. 구체적으로, 예를 들어, CP 타입이 NCP인 경우, 전송 단말이 전송하는 S-SSB 내에서 PSBCH를 맵핑하는 심볼의 개수는 9 개 또는 8 개일 수 있다. 반면, 예를 들어, CP 타입이 ECP인 경우, 전송 단말이 전송하는 S-SSB 내에서 PSBCH를 맵핑하는 심볼의 개수는 7 개 또는 6 개일 수 있다. 예를 들어, 전송 단말이 전송하는 S-SSB 내의 첫 번째 심볼에는, PSBCH가 맵핑될 수 있다. 예를 들어, S-SSB를 수신하는 수신 단말은 S-SSB의 첫 번째 심볼 구간에서 AGC(Automatic Gain Control) 동작을 수행할 수 있다.
도 12은 V2X 또는 SL 통신을 수행하는 단말을 나타낸다.
도 12을 참조하면, V2X 또는 SL 통신에서 단말이라는 용어는 주로 사용자의 단말을 의미할 수 있다. 하지만, 기지국과 같은 네트워크 장비가 단말 사이의 통신 방식에 따라 신호를 송수신하는 경우, 기지국 또한 일종의 단말로 간주될 수도 있다. 예를 들어, 단말 1은 제 1 장치(100)일 수 있고, 단말 2 는 제 2 장치(200)일 수 있다.
예를 들어, 단말 1은 일련의 자원의 집합을 의미하는 리소스 풀(resource pool) 내에서 특정한 자원에 해당하는 자원 단위(resource unit)를 선택할 수 있다. 그리고, 단말 1은 상기 자원 단위를 사용하여 SL 신호를 전송할 수 있다. 예를 들어, 수신 단말인 단말 2는 단말 1이 신호를 전송할 수 있는 리소스 풀을 설정 받을 수 있고, 상기 리소스 풀 내에서 단말 1의 신호를 검출할 수 있다.
여기서, 단말 1이 기지국의 연결 범위 내에 있는 경우, 기지국이 리소스 풀을 단말 1에게 알려줄 수 있다. 반면, 단말 1이 기지국의 연결 범위 밖에 있는 경우, 다른 단말이 단말 1에게 리소스 풀을 알려주거나, 또는 단말 1은 사전에 설정된 리소스 풀을 사용할 수 있다.
일반적으로 리소스 풀은 복수의 자원 단위로 구성될 수 있고, 각 단말은 하나 또는 복수의 자원 단위를 선택하여 자신의 SL 신호 전송에 사용할 수 있다.
도 13는 V2X 또는 SL 통신을 위한 자원 단위를 나타낸다.
도 13를 참조하면, 리소스 풀의 전체 주파수 자원이 NF개로 분할될 수 있고, 리소스 풀의 전체 시간 자원이 NT개로 분할될 수 있다. 따라서, 총 NF * NT 개의 자원 단위가 리소스 풀 내에서 정의될 수 있다. 도 13는 해당 리소스 풀이 NT 개의 서브프레임의 주기로 반복되는 경우의 예를 나타낸다.
도 13에 나타난 바와 같이, 하나의 자원 단위(예를 들어, Unit #0)는 주기적으로 반복하여 나타날 수 있다. 또는, 시간 또는 주파수 차원에서의 다이버시티(diversity) 효과를 얻기 위해서, 하나의 논리적인 자원 단위가 맵핑되는 물리적 자원 단위의 인덱스가 시간에 따라 사전에 정해진 패턴으로 변화할 수도 있다. 이러한 자원 단위의 구조에 있어서, 리소스 풀이란 SL 신호를 전송하고자 하는 단말이 전송에 사용할 수 있는 자원 단위들의 집합을 의미할 수 있다.
리소스 풀은 여러 종류로 세분화될 수 있다. 예를 들어, 각 리소스 풀에서 전송되는 SL 신호의 컨텐츠(content)에 따라, 리소스 풀은 아래와 같이 구분될 수 있다.
(1) 스케쥴링 할당(Scheduling Assignment, SA)은 전송 단말이 SL 데이터 채널의 전송으로 사용하는 자원의 위치, 그 외 데이터 채널의 복조를 위해서 필요한 MCS(Modulation and Coding Scheme) 또는 MIMO(Multiple Input Multiple Output) 전송 방식, TA(Timing Advance)등의 정보를 포함하는 신호일 수 있다. SA는 동일 자원 단위 상에서 SL 데이터와 함께 멀티플렉싱되어 전송되는 것도 가능하며, 이 경우 SA 리소스 풀이란 SA가 SL 데이터와 멀티플렉싱되어 전송되는 리소스 풀을 의미할 수 있다. SA는 SL 제어 채널(control channel)로 불릴 수도 있다.
(2) SL 데이터 채널(Physical Sidelink Shared Channel, PSSCH)은 전송 단말이 사용자 데이터를 전송하는데 사용하는 리소스 풀일 수 있다. 만약 동일 자원 단위 상에서 SL 데이터와 함께 SA가 멀티플렉싱되어 전송되는 경우, SA 정보를 제외한 형태의 SL 데이터 채널만이 SL 데이터 채널을 위한 리소스 풀에서 전송될 수 있다. 다시 말해, SA 리소스 풀 내의 개별 자원 단위 상에서 SA 정보를 전송하는데 사용되었던 REs(Resource Elements)는 SL 데이터 채널의 리소스 풀에서 여전히 SL 데이터를 전송하기 위해 사용될 수 있다. 예를 들어, 전송 단말은 연속적인 PRB에 PSSCH를 맵핑시켜서 전송할 수 있다.
(3) 디스커버리 채널은 전송 단말이 자신의 ID 등의 정보를 전송하기 위한 리소스 풀일 수 있다. 이를 통해, 전송 단말은 인접 단말이 자신을 발견하도록 할 수 있다.
이상에서 설명한 SL 신호의 컨텐츠가 동일한 경우에도, SL 신호의 송수신 속성에 따라서 상이한 리소스 풀을 사용할 수 있다. 일 예로, 동일한 SL 데이터 채널이나 디스커버리 메시지라 하더라도, SL 신호의 전송 타이밍 결정 방식(예를 들어, 동기 기준 신호의 수신 시점에서 전송되는지 아니면 상기 수신 시점에서 일정한 타이밍 어드밴스를 적용하여 전송되는지), 자원 할당 방식(예를 들어, 개별 신호의 전송 자원을 기지국이 개별 전송 단말에게 지정해주는지 아니면 개별 전송 단말이 리소스 풀 내에서 자체적으로 개별 신호 전송 자원을 선택하는지), 신호 포맷(예를 들어, 각 SL 신호가 한 서브프레임에서 차지하는 심볼의 개수, 또는 하나의 SL 신호의 전송에 사용되는 서브프레임의 개수), 기지국으로부터의 신호 세기, SL 단말의 송신 전력 세기 등에 따라서 다시 상이한 리소스 풀로 구분될 수도 있다.
도 14은 본 개시의 일 실시 예에 따른, BWP의 일 예를 나타낸다. 도 14의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다. 도 14의 실시 예에서, BWP는 세 개라고 가정한다.
도 14을 참조하면, CRB(common resource block)는 캐리어 밴드의 한 쪽 끝에서부터 다른 쪽 끝까지 번호가 매겨진 캐리어 자원 블록일 수 있다. 그리고, PRB는 각 BWP 내에서 번호가 매겨진 자원 블록일 수 있다. 포인트 A는 자원 블록 그리드(resource block grid)에 대한 공통 참조 포인트(common reference point)를 지시할 수 있다.
BWP는 포인트 A, 포인트 A로부터의 오프셋(NstartBWP) 및 대역폭(NsizeBWP)에 의해 설정될 수 있다. 예를 들어, 포인트 A는 모든 뉴머놀로지(예를 들어, 해당 캐리어에서 네트워크에 의해 지원되는 모든 뉴머놀로지)의 서브캐리어 0이 정렬되는 캐리어의 PRB의 외부 참조 포인트일 수 있다. 예를 들어, 오프셋은 주어진 뉴머놀로지에서 가장 낮은 서브캐리어와 포인트 A 사이의 PRB 간격일 수 있다. 예를 들어, 대역폭은 주어진 뉴머놀로지에서 PRB의 개수일 수 있다.
SLSS(Sidelink Synchronization Signal)는 SL(sidelink) 특정적인 시퀀스(sequence)로, PSSS(Primary Sidelink Synchronization Signal)와 SSSS(Secondary Sidelink Synchronization Signal)를 포함할 수 있다. 상기 PSSS는 S-PSS(Sidelink Primary Synchronization Signal)라고 칭할 수 있고, 상기 SSSS는 S-SSS(Sidelink Secondary Synchronization Signal)라고 칭할 수 있다. 예를 들어, 길이-127 M-시퀀스(length-127 M-sequences)가 S-PSS에 대하여 사용될 수 있고, 길이-127 골드-시퀀스(length-127 Gold sequences)가 S-SSS에 대하여 사용될 수 있다. 예를 들어, 단말은 S-PSS를 이용하여 최초 신호를 검출(signal detection)할 수 있고, 동기를 획득할 수 있다. 예를 들어, 단말은 S-PSS 및 S-SSS를 이용하여 세부 동기를 획득할 수 있고, 동기 신호 ID를 검출할 수 있다.
PSBCH(Physical Sidelink Broadcast Channel)는 SL 신호 송수신 전에 단말이 가장 먼저 알아야 하는 기본이 되는 (시스템) 정보가 전송되는 (방송) 채널일 수 있다. 예를 들어, 상기 기본이 되는 정보는 SLSS에 관련된 정보, 듀플렉스 모드(Duplex Mode, DM), TDD UL/DL(Time Division Duplex Uplink/Downlink) 구성, 리소스 풀 관련 정보, SLSS에 관련된 애플리케이션의 종류, 서브프레임 오프셋, 방송 정보 등일 수 있다. 예를 들어, PSBCH 성능의 평가를 위해, NR V2X에서, PSBCH의 페이로드 크기는 24 비트의 CRC(Cyclic Redundancy Check)를 포함하여 56 비트일 수 있다.
S-PSS, S-SSS 및 PSBCH는 주기적 전송을 지원하는 블록 포맷(예를 들어, SL SS(Synchronization Signal)/PSBCH 블록, 이하 S-SSB(Sidelink-Synchronization Signal Block))에 포함될 수 있다. 상기 S-SSB는 캐리어 내의 PSCCH(Physical Sidelink Control Channel)/PSSCH(Physical Sidelink Shared Channel)와 동일한 뉴머놀로지(즉, SCS 및 CP 길이)를 가질 수 있고, 전송 대역폭은 (미리) 설정된 SL BWP(Sidelink BWP) 내에 있을 수 있다. 예를 들어, S-SSB의 대역폭은 11 RB(Resource Block)일 수 있다. 예를 들어, PSBCH는 11 RB에 걸쳐있을 수 있다. 그리고, S-SSB의 주파수 위치는 (미리) 설정될 수 있다. 따라서, 단말은 캐리어에서 S-SSB를 발견하기 위해 주파수에서 가설 검출(hypothesis detection)을 수행할 필요가 없다.
도 15은 본 개시의 일 실시 예에 따라, 단말이 자원 할당 모드에 따라 V2X 또는 SL 통신을 수행하는 절차를 나타낸다. 도 15의 실시 예는 본 개시의 다양한 실시 예와 결합될 수 있다.
도 15의 (a)를 참조하면, 자원 할당 모드 1에서, 기지국은 SL 전송을 위해 단말에 의해 사용될 SL 자원을 스케줄링할 수 있다. 예를 들어, 단계 S1500에서, 기지국은 제 1 단말에게 SL 자원과 관련된 정보 및/또는 UL 자원과 관련된 정보를 전송할 수 있다. 예를 들어, 상기 UL 자원은 PUCCH 자원 및/또는 PUSCH 자원을 포함할 수 있다. 예를 들어, 상기 UL 자원은 SL HARQ 피드백을 기지국에게 보고하기 위한 자원일 수 있다.
예를 들어, 제 1 단말은 DG(dynamic grant) 자원과 관련된 정보 및/또는 CG(configured grant) 자원과 관련된 정보를 기지국으로부터 수신할 수 있다. 예를 들어, CG 자원은 CG 타입 1 자원 또는 CG 타입 2 자원을 포함할 수 있다. 본 명세서에서, DG 자원은, 기지국이 DCI(downlink control information)를 통해서 제 1 단말에게 설정/할당하는 자원일 수 있다. 본 명세서에서, CG 자원은, 기지국이 DCI 및/또는 RRC 메시지를 통해서 제 1 단말에게 설정/할당하는 (주기적인) 자원일 수 있다. 예를 들어, CG 타입 1 자원의 경우, 기지국은 CG 자원과 관련된 정보를 포함하는 RRC 메시지를 제 1 단말에게 전송할 수 있다. 예를 들어, CG 타입 2 자원의 경우, 기지국은 CG 자원과 관련된 정보를 포함하는 RRC 메시지를 제 1 단말에게 전송할 수 있고, 기지국은 CG 자원의 활성화(activation) 또는 해제(release)와 관련된 DCI를 제 1 단말에게 전송할 수 있다.
단계 S1510에서, 제 1 단말은 상기 자원 스케줄링을 기반으로 PSCCH(예, SCI(Sidelink Control Information) 또는 1st-stage SCI)를 제 2 단말에게 전송할 수 있다. 단계 S1520에서, 제 1 단말은 상기 PSCCH와 관련된 PSSCH(예, 2nd-stage SCI, MAC PDU, 데이터 등)를 제 2 단말에게 전송할 수 있다. 단계 S1530에서, 제 1 단말은 PSCCH/PSSCH와 관련된 PSFCH를 제 2 단말로부터 수신할 수 있다. 예를 들어, HARQ 피드백 정보(예, NACK 정보 또는 ACK 정보)가 상기 PSFCH를 통해서 상기 제 2 단말로부터 수신될 수 있다. 단계 S1540에서, 제 1 단말은 HARQ 피드백 정보를 PUCCH 또는 PUSCH를 통해서 기지국에게 전송/보고할 수 있다. 예를 들어, 상기 기지국에게 보고되는 HARQ 피드백 정보는, 상기 제 1 단말이 상기 제 2 단말로부터 수신한 HARQ 피드백 정보를 기반으로 생성(generate)하는 정보일 수 있다. 예를 들어, 상기 기지국에게 보고되는 HARQ 피드백 정보는, 상기 제 1 단말이 사전에 설정된 규칙을 기반으로 생성(generate)하는 정보일 수 있다. 예를 들어, 상기 DCI는 SL의 스케줄링을 위한 DCI일 수 있다.
도 15의 (b)를 참조하면, 자원 할당 모드 2에서, 단말은 기지국/네트워크에 의해 설정된 SL 자원 또는 미리 설정된 SL 자원 내에서 SL 전송 자원을 결정할 수 있다. 예를 들어, 상기 설정된 SL 자원 또는 미리 설정된 SL 자원은 자원 풀일 수 있다. 예를 들어, 단말은 자율적으로 SL 전송을 위한 자원을 선택 또는 스케줄링할 수 있다. 예를 들어, 단말은 설정된 자원 풀 내에서 자원을 스스로 선택하여, SL 통신을 수행할 수 있다. 예를 들어, 단말은 센싱(sensing) 및 자원 (재)선택 절차를 수행하여, 선택 윈도우 내에서 스스로 자원을 선택할 수 있다. 예를 들어, 상기 센싱은 서브채널 단위로 수행될 수 있다. 예를 들어, 단계 S1510에서, 자원 풀 내에서 자원을 스스로 선택한 제 1 단말은 상기 자원을 사용하여 PSCCH(예, SCI(Sidelink Control Information) 또는 1st-stage SCI)를 제 2 단말에게 전송할 수 있다. 단계 S1520에서, 제 1 단말은 상기 PSCCH와 관련된 PSSCH(예, 2nd-stage SCI, MAC PDU, 데이터 등)를 제 2 단말에게 전송할 수 있다. 단계 S1530에서, 제 1 단말은 PSCCH/PSSCH와 관련된 PSFCH를 제 2 단말로부터 수신할 수 있다.
도 15의 (a) 또는 (b)를 참조하면, 예를 들어, 제 1 단말은 PSCCH 상에서 SCI를 제 2 단말에게 전송할 수 있다. 또는, 예를 들어, 제 1 단말은 PSCCH 및/또는 PSSCH 상에서 두 개의 연속적인 SCI(예, 2-stage SCI)를 제 2 단말에게 전송할 수 있다. 이 경우, 제 2 단말은 PSSCH를 제 1 단말로부터 수신하기 위해 두 개의 연속적인 SCI(예, 2-stage SCI)를 디코딩할 수 있다. 본 명세서에서, PSCCH 상에서 전송되는 SCI는 1st SCI, 제 1 SCI, 1st-stage SCI 또는 1st-stage SCI 포맷이라고 칭할 수 있고, PSSCH 상에서 전송되는 SCI는 2nd SCI, 제 2 SCI, 2nd-stage SCI 또는 2nd-stage SCI 포맷이라고 칭할 수 있다.
도 15의 (a) 또는 (b)를 참조하면, 단계 S1530에서, 제 1 단말은 PSFCH를 수신할 수 있다. 예를 들어, 제 1 단말 및 제 2 단말은 PSFCH 자원을 결정할 수 있고, 제 2 단말은 PSFCH 자원을 사용하여 HARQ 피드백을 제 1 단말에게 전송할 수 있다.
도 15의 (a)를 참조하면, 단계 S1540에서, 제 1 단말은 PUCCH 및/또는 PUSCH를 통해서 SL HARQ 피드백을 기지국에게 전송할 수 있다.
한편, 상술한 사이드링크는 단말 간 통신 또는 단말 간 직접 통신으로 정의될 수 있다. 이 경우, PSCCH는 단말 간 통신을 위한 물리 제어 채널, PSSCH는 단말 간 통신을 위한 물리 데이터 채널 또는 물리 공유 채널, PSFCH는 단말간 물리 피드백 전송 채널로 정의될 수 있다.
V2X 서비스에서 적응형 sensing image data 획득 및 처리 방법
V2X 서비스는 도로 이용자 (차량, RSU, 보행자 등)가 자신의 상태정보(위치, 속도, 크기 등) 또는 환경 정보(지도, 신호 정보 등)를 통신을 이용하여 주변 도로 이용자에게 전달하여 충돌 예방을 포함한 안전을 확보하고 효율적인 교통흐름을 제어하는데 큰 역할을 한다. 현재 여러 통신방식(Short range communication, Long range communication)을 이용한 다양한 V2X 서비스들이 있으며 다수의 ITS-Station들이 참여하는 V2X 서비스의 유기적인 동작을 위해 서비스 레벨 요건 (Service level requirement)이 정의되어 있다.
이러한 서비스 구조 중 RSU (Roadside Unit) 기반의 인프라스트럭쳐 (infrastructure) 기반 서비스는 VRU (Vulnerable Road User)와 차량 간에 ITS 메시지를 생성, 전송 및 중계를 통해 충돌을 감지하고 예측하여 교통 안전에 도움이 될 수 있다. RSU는 카메라 기반한 솔루션을 수행하기 위해서 AI 기능을 채택하여 객체 감지의 품질을 향상시키고 충돌을 예측할 수 있다. 또한, RSU는 (PC5 또는 Uu 링크로) 연결되지 않은 VRU 또는 객체 (object)들의 위치를 비교적 정확히 감지할 수 있다. RSU에 기반한 네트워크와의 연결은 카메라 (또는, 이미지 캡쳐 모듈)-AI 센서(AI 센싱 모듈)-분석기 (센싱 데이터 분석 모듈)-메시지 발생기 (메시지 생성 모듈)의 구조로 되어 있으며 객체인식의 처리 복잡도에 따라 MEC (Multi-access Edge Computing), 클라우드 (Cloud)가 적절히 활용될 수 있다.
여기서, 객체 인식은 컴퓨터 비전 기술 중 하나로 디지털 이미지에서 특정물체를 자동으로 감지하고 인식하는 기술이다. 통상적인 ITS 에서 사용 가능한 객체인식 기술은 딥러닝 기반의 물체인식 기술 (예컨대, DNN, Yolo (You Only Look Once))로써, 인공 신경망 모델에 이미지를 입력하여 상기 이미지에서 특징들을 추출하며, 추출된 이미지의 특징들에 기반하여 객체 인식 및 분류를 수행하는 방식이다. 딥러닝 기반의 개체 인식 기술은 입력된 이미지에서 객체를 탐지하는 객체 탐지(Object Detection) 기술 및 상기 탐지된 물체를 분류하는 객체 분류(Object Classification) 기술을 포함할 수 있다. 상기 두 기술은 논리적인 단위로 하나로 묶어서 처리도 가능하다. 각 기술을 세부적으로 기술하면 하기와 같다.
- 입력 이미지를 (이미지 상에 객체를 감지하도록 학습된) 인공 신경망 모델에 입력 -> 인공 신경망 모델은 입력된 이미지에서 특징을 추출 -> 인공 신경망 모델은 추출된 특징을 사용하여 이미지에서 물체가 있을 가능성이 높은 영역에 경계 상자 (bounding box)를 생성 -> 추출된 이미지를 (객체의 종류를 분류할 목적을 갖도록 학습된) 인공 신경망 모델에 입력 -> 입력된 이미지를 분류하여 감지된 객체의 종류를 예측
예컨대, YOLO(You Only Look Once)는 객체 감지를 위한 딥러닝 기반 모델로, 한 번의 순방향 전파로 이미지를 처리하면서 객체의 위치와 클래스를 실시간으로 예측할 수 있다. 구체적으로, YOLO는 입력 이미지를 복수의 그리드들로 나누고, 각 그리드 셀에서 여러 개의 바운딩 박스와 클래스 확률을 예측하여 객체를 감지할 수 있다.
이와 같은 다양한 객체인식 기술은 ITS 내에 포함되는 객체들을 인식하고 V2X 서비스를 지원하는데 중요한 역할을 할 수 있다. 또한 V2X, ITS 및 자율주행 분야에서는 실시간으로 처리가 가능한 속도와 정확성이 갖는 객체 인식 기술이 중요할 수 있다.
한편, 상술한 기존 객체 인식 기술/알고리즘은 하기와 같은 객체 인식의 오류가 발생할 수도 있다. 예컨대, 하기의 오류들은 이미지 획득하는 카메라 등 이미지 획득 장치의 특성에 의해 발생하는 오류일 수 있다.
- ① 작은 물체 인식 오류: 객체 인식 알고리즘은 주로 대형 물체에 대한 인식 성능이 높지만, 작은 물체에 대해서는 인식 오류가 발생할 가능성이 높다. 예컨대, 이미지를 획득하는 카메라의 고도 또는 높이에 따라 작은 물체에 대한 인식률이 상이해질 수 있다.
- ② 부적절한 밝기나 대조: 빛의 조건이나 촬영 장소의 환경에 따라 물체의 밝기나 대조가 변할 수 있다. 이 경우, 객체 인식 알고리즘에 기반한 물체의 인식률이 크게 저하될 수 있다. 예컨대, 새벽시간 도로의 밝기가 어두워진 경우에 객체 인식률이 크게 저하될 수 있다.
- ③ 왜곡된 이미지 인식 오류: 객체의 이동 속도, 안개 등의 기상 환경에 의해 이미지 상에 왜곡 또는 변형이 발생할 수 있다. 이 경우, 객체 인식 알고리즘에 기반한 물체의 인식률이 크게 저하될 수 있다. 예컨대, 빠른 속도로 이동하는 객체에 대한 이미지는 이미지 획득 장치의 셔터 스피드의 부족 또는 셔터 타이밍과 속도의 불일치 등으로 인해 블러 (Blur) 현상의 왜곡이 발생할 수 있다. 이러한 왜곡은 이미지에서의 객체 인식률을 크게 저하시킬 수 있다.
객체인식 알고리즘에서 이와 관련된 문제점을 고려한 이미지 개선 알고리즘이 있으나 객체인식의 핵심 기술은 아니다. 또한, 이미지 획득 장치 (예컨대, CCTV 또는 카메라) 자체의 보정 기능이 이용될 수도 있으나, 이와 같은 보정은 도로 상황을 반영한 보정이 아닌 이미지 획득 장치 자체의 선형 (Linear) 보정을 맞추기 위한 보정일 수 있다. 이와 같은 개선 알고리즘 기술은 객체 인식 알고리즘의 객체 인식 기술과 직접적으로 연계 동작하는 것은 아니며, 서로 독립적으로 동작되는 기술일 수 있다. 또한, 현재 이미지 획득 장치로써 CCTV는 정적 (static) 설정으로 최적화 없이 지속적인 컴퓨팅 파워를 사용하는 점에서 효율성이 떨어지면서 객체 인식의 인식률의 개선에 직접적으로 이용될 수 없다는 한계점을 가지고 있다.
이와 같은 문제점을 해결하기 위해, AI (Artificial Intelligence) 센서/AI 기반 객체 인식 모델에서의 출력 정보/객체 인식 정보에 기반한 이미지 획득 장치의 직접 제어를 통해, 도로 상황/환경에 최적화된 특성을 갖도록 이미지를 획득할 필요가 있다. 이를 통해, AI 센서/모델에 도로 상황에 최적화된 특성을 갖는 이미지를 입력함으로써, 상기 AI 센서/모델에서의 객체 인식률을 크게 향상시킬 수 있다.
이를 위해, 제안 발명은 RSU가 특정 트리거 조건들에 기반하여 이미지 보정 및/또는 이미지 획득 장치의 제어를 위한 설정 파라미터 (configuration parameter)를 생성하고, 연결된 인터페이스 구조에 따라 내부적으로 레스트풀 (Restful) 하게 동작하거나, 외부의 MEC 이나 cloud를 통해 메시지를 생성하여 상기 기준 아키텍처 (reference architecture) 연결 구조(들)에게 전달할 수 있다. 또한, 제안 발명은 상기 기준 아키텍처의 비디오 캡쳐 (video capturing) 모듈, 후 처리 (Post-Processing) 모듈 및 설정 관리 (configuration manager) 모듈의 새 모듈 생성을 통해 설정/제어 파라미터 또는 생성된 메시지에 담긴 이미지 프로세싱 (image processing) 요구 사항을 반영하여 적응형 이미지 획득 및 처리할 수 있다. 이 경우, 제안 발명은 상기 설정 파라미터를 통해 도로 환경/도로 상황에 적합한 이미지를 획득할 수 있도록 이미지 획득 장치를 제어할 수 있고, 상기 획득된 이미지를 AI 센서/AI 모델에 입력하여 객체 인식률을 크게 향상시키면서, 객체 인식에 최적화된 이미지 자체를 획득하는 점에서 이미지에 대한 추가 보정/필터링의 동작을 생략/최소화할 수 있고, 이에 따라 객체 인식을 위한 컴퓨팅 전력 소모를 크게 감소시킬 수 있다.
이하에서는, RSU 등 장치가 AI 기반 객체 인식 모델의 출력 정보에 기초하여 이미지 보정 및/또는 이미지 획득 장치의 제어를 위한 설정 파라미터 (configuration parameter)를 생성하는 방식, 이에 기반하여 이미지 획득 장치를 제어하는 방식 등을 자세히 설명한다.
도 16은 적응형 센싱 이미지를 처리 및 획득할 수 있는 아키덱처를 설명하기 위한 도면이다.
도 16을 참조하면, 상기 기준 아키텍처는 AI 센싱 모듈 (310), 센서 데이터 분석 모듈 (320), 메시지 생성 모듈 (330), 어플리케이션 모듈 (340) 및 인프라스트럭처 운용 모듈(400)을 포함할 수 있다. 여기서, AI 센싱 모듈 (310)은 즉, 객체 인식/객체 분류를 위한 학습된 AI 기반 객체 인식 모델 (또는, AI 모델)을 포함할 수 있다. 또한, 기준 아키텍처는 제안된 새로운 모듈인 이미지 캡쳐 (video capturing) 모듈 (210), 이미지 후-처리 (Post-Processing) 모듈 (220), 설정 관리 (Image configuration manager) 모듈 (100)을 더 포함할 수 있다.
새롭게 제안된 이미지 캡쳐 (video capturing) 모듈 (210), 이미지 후-처리 (Post-Processing) 모듈 (220), 설정 관리 모듈 (100)은 하기의 트리거 조건들 중 적어도 하나의 조건의 만족에 기반하여 동작할 수 있다.
- ① 객체 인식 알고리즘의 신뢰도 또는 기준이 되는 유의미한 수치의 종합적인 판단의 수치가 미리 설정된 임계 이하인 경우: 예컨대, 알고리즘의 신뢰도 또는 기준이 되는 유의미한 수치는 인식 정확도, 인식 정밀도, 재현율, F1 스코어 (정밀도와 재현율의 조화 평균) 등일 수 있다. 예컨대, 인식 정확도는 AI 모델에서 이미지로부터 (정확하게) 인식한 객체들의 수/ 전체 객체 수 (인식 가능한 객체 수)일 수 있다. 예컨대, AI 모델이 이미지 상에서 10개의 객체를 인식/검출하였고, 10개의 객체들 중에서 8개의 객체들에 대해 분류하였고, 2개에 대해선 분류하지 못한 경우, 상기 AI 모델의 정확도는 8/10*100=80%로 산출될 수 있다.
- ② 도로 환경에 따른 능동적인 설정 파라미터 입력 (configuration parameter input) 또는 이와 관련된 메시지가 제공될 경우: 예컨대, 능동적인 설정 파라미터 입력은 (차량 속도로 판단된) 정체 상황, 시간대 별 도로 상황 (예컨대, 출퇴근 시간 등), 가변 신호 (저녁에 점등 신호등)의 작동 등이 특정 도로 상태/도로 환경인 경우에 제공될 수 있다. 예컨대, 센서 데이터 분석 모듈 (320) 및/또는 인프라스트럭처 운용 모듈 (400)은 상술한 상황들이 감지되면 상술한 능동적인 설정 파라미터 또는 이와 관련된 정보를 포함하는 메시지를 설정 관리 모듈 (100)에 전송/입력할 수 있다. 이 경우, 설정 관리 모듈 (100)은 상기 메시지에 기초하여 이미지 캡쳐 모듈 (210)/이미지 후-처리 모듈 (220)을 제어하기 위한 동작을 수행할 수 있다.
- ③ AI 센싱 모듈 (310) 측에서 (설정 관리 모듈로) 효율적인 컴퓨팅 (computing) 사용을 위한 특정 입력 (input)이 제공될 경우
- ④ 높은 RSU 또는 CCTV 위치로 인해 객체 (object)들의 인식이 어려울 경우
- ⑤ 인프라스트럭처 운용 모듈에 의해 제어 파라미터의 생성이 지시된 경우
- ⑥ 특별한 사고, 날씨 등의 특정 이벤트의 감지로 인한 제어 파라미터의 적용이 필요한 경우
한편, 설정 관리 모듈 (100)은 상술한 트리거링 조건들 중 적어도 하나가 만족되면 이미지 캡쳐 모듈 (210)을 제어하기 위한 제어 파라미터 또는 상기 제어 파라미터를 포함하는 메시지를 생성할 수 있다. 설정 관리 모듈 (100)은 상기 생성된 제어 파라미터를 이미지 캡쳐 모듈 (210)/이미지 후-처리 모듈 (220)에 제공하여 이미지의 획득과 관련된 파라미터를 조정/제어하거나, 이미지에 대한 후-처리 수행과 관련된 파라미터를 조정할 수 있다. 이와 같이, 설정 관리 모듈 (100)은 이미지 캡쳐 모듈 (210)/이미지 후-처리 모듈 (220)로부터 획득된 이미지 특성 자체를 도로 상황에 적합하도록 제어할 수 있다.
이하에서는, 상술한 모듈들 각각에 대해 자세히 설명한다. 한편, 각 모듈은 논리적인 단위로 구분하기 위한 것으로써, 후술할 기능/동작들은 RSU 레벨, MEC 레벨, Cloud 레벨에서의 일 기능으로 구현 가능할 수 있다.
(1) 이미지 캡쳐 모듈
이미지 캡쳐 모듈 (210)은 이미지 획득 장치 (카메라, CCTV)일 수 있다. 이미지 캡쳐 모듈 (210)은 일반적 (General)인 OETF (Optical Electronic Transfer Function)을 거친 이미지에 대한 로우 데이터를 획득/캡쳐할 수 있고, 상기 캡쳐/획득 (capture)된 이미지에 대한 로우 데이터를 이미지 후-처리 모듈 (220)/AI 센싱 모듈 (230)/이미지 인코딩 (image Encoding) 모듈 (230)에 전달할 수 있다. 여기서, OETF는 이미지/비디오 시스템에서 광학적인 입력 신호를 전기적인 출력 신호로 변환하기 위해 정의되는 변환 함수일 수 있다. 보다 구체적으로, 이미지/비디오 시스템에서 OETF (Optical-Electro Transfer Function)는 카메라 센서가 획득한 원본 이미지를 디지털 형식의 이미지로 변환하는데 이용되는 변환 함수일 수 있다.
이미지 캡쳐 모듈 (210)은 설정 관리 모듈 (100)로부터 수신된 제어 파라미터에 기반하여 OETF와 관련된 변환 함수를 조정/변경할 수 있다. 예컨대, 이미지 캡쳐 모듈 (210)은 설정 관리 모듈 (100)로부터 수신된 제어 파라미터에 따른 OETF의 변환 함수로 변경하여 광학적인 입력 신호에 대한 전기적인 출력 신호의 변환 비중/비율을 조정/제어할 수 있다.
또는, 이미지 캡쳐 모듈 (210)은 설정 관리 모듈 (100)로부터 수신된 제어 파라미터에 기반하여 대조 (contrast)비를 조절하여 원본 이미지의 캡쳐 속성을 변경할 수 있다. 또는, 이미지 캡쳐 모듈 (210)은 설정 관리 모듈 (100)로부터 수신된 제어 파라미터에 기반하여 이미지 해상도 (Resolution), 프레임 레이트 (FrameRate) 및/또는 밝기 (Brightness) 등을 도로 상황/환경에 따라 적응적으로 변경할 수 있다.
(2) AI 센싱 모듈
AI 센싱 모듈 (230)은 이미지로부터 객체를 인식하고, 인식된 객체를 분류하는 동작을 수행하도록 학습된 객체 인식 모델을 포함할 수 있다. 예컨대, AI 센싱 모듈 (230)은 이미지 객체 인식 기술을 사용하여 객체 탐지 (Object Detection)와 객체 분류 (Object Classification)를 수행할 수 있다. 여기서, 객체 인식은 인공 신경망 모델인 AI 모델이 입력된 이미지에서 특징을 추출 (CNN 등에 기반하여)한 후에 객체가 인식되는 영역을 바운딩 박스로 영역으로 지정/마스킹하는 동작일 수 있다. 객체 분류는 상기 바운딩 박스의 내부 이미지의 특징에 기반하여 인식된 객체가 어떤 객체인지 예측하는 동작일 수 있다. 예컨대, AI 센싱 모듈 (230)은 V2X 서비스와 관련된 객체들 (보행자, 자전거, 오토바이, 차량 등)을 인식할 수 있도록 미리 학습될 수 있다. 예컨대, AI 센싱 모듈 (230)은 상기 인식된 객체에 대한 객체 정보를 생성/예측 (속도, 이동 방향, 이동 경우, 객체 형태, 객체 크기 등)할 수 있다. AI 센싱 모듈 (230)은 인식/분류된 객체 정보를 포함하는 출력 정보인 객체 인식 정보를 출력할 수 있다.
AI 센싱 모듈 (230)은 감지된 객체들 중에서 V2X 서비스와 관련하여 유의미한 객체 (즉, V2X 서비스와 관련하여 주변 환경에 대한 객체 정보로 생성할 필요가 있는 객체로써 보행자, 자전거, 오토바이, 차량 등)에 대한 예측 결과 또는 출력 데이터를 센서 데이터 분석 모듈 (320)에 전달할 수 있다. 또는, AI 센싱 모듈 (230)은 상술한 바와 같이 올바르게 인식한 객체의 수 (또는, 분류된 객체의 수)를 전체 인식 객체의 수 (또는, 인식/검출된 전체 객체의 수)로 나눈 값인 정확도 (또는, 객체 인식률)을 산출할 수 있다. 상기 산출된 객체 인식률/정확도는 AI 센싱 모듈 (230)의 객체 인식/분류 알고리즘의 성능 평가에 이용될 수 있다. 한편, AI 센싱 모듈 (230)은 객체 인식/분류뿐만 아니라 경로 예측, 위험감지 등의 카테고리의 정확도도 산출할 수 있다.
AI 센싱 모듈 (230)은 인식된 객체들에 대한 객체 정보 및/또는 상기 객체 인식률에 대한 정보를 포함하는 출력 결과를 설정 관리 모듈 (100) 및/또는 센서 데이터 분석 모듈 (320)에 전달될 수 있다.
(3) 센서 데이터 분석 모듈
센서 데이터 분석 모듈 (320)은 AI 센싱 모듈 (230)의 출력 정보/출력 데이터에 기반하여 V2X 서비스와 관련된 객체들의 검출/인식로 인한 객체 정보를 포함하는 객체 메시지의 생성 여부를 결정할 수 있다. 객체 메시지의 생성을 결정할 경우, 센서 데이터 분석 모듈 (320) 상기 메시지의 생성과 관련된 파라미터들에 대한 정보 및 상기 객체 정보를 메시지 생성 모듈에 제공할 수 있다.
(4) 메시지 생성 모듈
메시지 생성 모듈 (330)은 센서 데이터 분석 모듈 (320)로부터 전달된 상기 파라미터들 및 객체 정보에 기반하여 V2X 또는 ITS를 위한 메시지를 생성할 수 있다.
(5) 어플리케이션 모듈
어플리케이션 모듈 (340)은 메시지 생성 모듈 (330)로부터 수신된 메시지를 디코딩하여 상기 메시지에 포함된 객체 정보 등을 사용자에게 제공할 수 있다.
(6) 설정 관리 모듈
설정 관리 모듈 (100)은 AI 센싱 모듈 (230) 및/또는 센서 데이터 분석 모듈 (320)로부터 수신한 출력 정보/출력 데이터 (예컨대, 객체 인식 정보)에 기반하여 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어하기 위한 적어도 하나의 제어 파라미터의 생성 여부를 결정할 수 있다. 설정 관리 모듈 (100)은 생성된 적어도 하나의 제어 파라미터를 이미지 캡쳐 모듈 (210)이나 이미지 후-처리 모듈 (220)에 전송할 수 있다.
예컨대, 설정 관리 모듈 (100)은 상기 출력 정보/출력 데이터에 포함된 정확도 또는 객체 인식률이 미리 설정된 임계 미만인 경우에 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어하기 위한 적어도 하나의 제어 파라미터의 생성이 트리거될 수 있다. 예컨대, 상기 객체 인식 정보는 객체 인식 및/또는 객체 분류의 실패 요인에 대한 원인 정보를 더 포함할 수 있다. 상기 원인 정보는 객체 속도에 의한 블러 현상, 객체 크기 대비 이미지의 낮은 해상도, 객체 밀집도의 증가, 조명 상태, 눈/비 등 기상 악화에 따른 노이즈 증가 등에 객체 분류의 실패 요인에 대한 정보를 포함할 수 있다. 이 경우, 설정 관리 모듈 (100)은 상기 원인 정보에 포함된 객체 인식의 실패 요인에 기반하여 제어가 필요한 적어도 하나의 제어 파라미터를 결정할 수 있다.
예컨대, 설정 관리 모듈 (100)은 상기 실패 요인이 블러 현상인 경우에 상기 블러 현상을 제거하기 위해 프레임 레이트를 증가시키거나 셔터 스피드를 증가시키는 제어 파라미터를 생성할 수 있다. 또는, 설정 관리 모듈 (100)은 객체 밀집도에 의한 객체 인식 식별 실패에 대응하여 이미지를 소정의 개수의 ROI들로 분할시키거나 해상도를 증가시키는 제어 파라미터를 생성할 수 있다. 또는, 설정 관리 모듈 (100)은 조명 상태 (밝기) 저하에 의한 객체 인식 실패 요인을 해소하기 위해 어두운 부분에 대해 비트 값이 보다 많이 할당될 수 있도록 톤 매핑 함수/대조비/OETF 함수를 조정하기 위한 적어도 하나의 제어 파라미터를 생성할 수 있다. 설정 관리 모듈 (100)은 생성된 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)에 전달하여, 객체 인식의 실패 요인이 해소된 이미지를 획득할 수 있도록 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어할 수 있다. 이 경우, 설정 관리 모듈 (100)은 상기 제어 파라미터를 통해 도로 상황에 적합하도록 이미지 특성을 변경함으로써, AI 센싱 모듈 (230)의 객체 인식률을 효과적으로 개선시킬 수 있다.
또는, 설정 관리 모듈 (100)은 인프라스트럭쳐 운영 모듈 (400)로부터 전달된 다양한 도로 환경 정보들 (도로 교통 상황, 날씨, 시간 정보 등)을 수집하고, 수집된 도로 환경 정보들에 기반하여 객체 인식률을 높일 수 있는 이미지가 획득될 수 있도록 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어할 수 있다. 또는, 설정 관리 모듈 (100)은 인프라스트럭쳐 운영 모듈 (400)로부터 특정 도로 상황/도로 환경에 대한 정보를 입력 받은 경우에 상기 특정 도로 상황/도로 환경에 대응한 적어도 하나의 제어 파라미터를 생성하고, 생성된 적어도 하나의 제어 파라미터에 기반하여 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어할 수 있다.
(7) 이미지 후-처리 모듈
이미지 후-처리 모듈 (220)은 설정 관리 모듈 (100)로부터 전달된 제어 파라미터에 따라 도로 환경에 따라 적응적으로 특성이 제어된 이미지에 대한 추가 보정할 수 있다. 이미지 후-처리 모듈 (220)은 객체 인식에 최적화되도록 보정된 이미지 데이터를 AI 센싱 모듈 (230)에 제공할 수 있다. 예컨대, 이미지 후-처리 모듈 (220)은 상기 적어도 하나의 제어 파라미터가 수신된 경우에 상기 적어도 하나의 제어 파라미터에 기초하여 이미지 캡쳐 모듈 (210)로부터 전달된 이미지/이미지 데이터에서 도로 상의 객체들이 이동하는 특정 영역이 잘 드러나도록 이미지 데이터를 보정하거나, 상기 이미지 데이터에서 바운딩 박스가 자주 나타나는 영역의 대비 (contrast)를 조절하는 톤 매핑 (Tone mapping) 처리를 할 수 있다.
또는, 이미지 후-처리 모듈 (220)은 이전 프레임과 현재 프레임 간의 차분 영상에 기반하여 프레임 간의 이미지 변화량이 일정 수준 이하인 경우에 상기 현재 프레임을 버퍼에서 드랍하여 AI 센싱 모듈 (230)에 전달하지 않을 수 있다. 이 경우, AI 센싱과 관련된 컴퓨팅 리소스 및 부하가 크게 감소될 수 있다.
또는, 제안 발명에서 설정 관리 모듈 (100)은 생성된 제어 파라미터를 Restful 하게 다른 모듈 (비디오 후-처리 모듈 또는 이미지 캡쳐 모듈 (210) 등)에게 전달하거나, 제어 파라미터를 특정 주기를 갖는 메시지를 통해 전달할 수도 있다.
또는, 설정 관리 모듈 (100)은 표 5에서와 같이 정의된 파라미터에 기반하여 이미지 캡쳐 모듈 (210) 및/또는 이미지 후-처리 모듈 (220)을 제어하는 제어 파라미터/메시지를 생성할 수 있다. 여기서, 상기 메시지는 SAE (Society of Automotive Engineers) 및/또는 ETSI (European Telecommunications Standards Institute)의 메시지 프레임 (Message frame)에 기반하는 메시지일 수 있다.
Element Type remark
@messageID int SAE /ETSI 에서 정의하는 new message ID
...<sequence>
@minimumWidth Unsigned int 최소 해상도 width
@minimumHeight Unsigned int 최소 해상도 Height
@toneMapping Unsigned int 기 정의한 tone mapping function type
@transferCharacteristic Unsigned int OETF function 종류
@minimumFrameRate Unsigned int Recommended 최소 frame rate
@contrast float or int Contrast 조정 비율 (0~100%)
@brightness float or int Contrast 조정 비율 (0~100%)
@divisionROI Unsigned int 분할 개수
<sequence> @id Unsigned int 왼쪽 상단부터 우측으로 id mapping
divisionROI 개수에 따라 <sequence> 결정
@startWidth Unsigned int
@startHeight Unsigned int
@endWidth Unsigned int
@endHeight Unsigned int
@toneMapping Unsigned int
@contrast float or int
@brightness float or int
@minimumWidth, @minimumHeight는 이미지 캡쳐 모듈 (또는, 카메라, CCTV 등 이미지 획득 장치) 및/또는 이미지 후-처리 모듈에 대해 해상도 조절하기 위해 정의되는 파라미터이다. @minimumWidth, @minimumHeight는 이미지 상 객체의 크기 등에 기반하여 값이 결정될 수 있다. @minimumFrameRate는 이미지의 캡쳐 프레임 레이트 (capturing framerate)의 조절을 위한 파라미터로써, 객체의 밀집도 또는 객체의 이동 속도에 기반하여 값이 결정될 수 있다. @contrast는 캡쳐된 이미지의 대비 (contrast)를 조절하는 파라미터로써, % 단위일 수 있다. 예컨대, 0.05 정도의 대비의 감소가 필요한 경우, @contrast의 값은 -0.05 or 5%로 설정될 수 있다.
@divisionROI는 이미지의 분할 개수를 제어하는 위한 파라미터일 수 있다. @divisionROI는 이미지 상 객체의 밀집도, 미분류 객체의 위치/개수 등에 기반하여 값이 결정될 수 있다. 예컨대, @divisionROI의 값이 4인 경우, 이미지 획득 장치/이미지 캡쳐 모듈은 캡쳐/획득한 이미지를 4개의 ROI로 분할할 수 있다. 여기서, 이미지 분할은 반드시 동일한 비율로의 분할이 아닐 수 있으며, 이미지 특성이 추가적으로 고려되어 적절한 비율의 ROI로 분할될 수 있다.
한편, RSU의 높이에 의해 획득된 이미지 상에서의 객체 크기가 상대적으로 작아질 수 있고, 상기 이미지에 기반한 객체 인식률이 저하될 수 있다. 이런 점을 고려하여, @divisionROI는 분할된 ROI들에 대한 추가적인 확대를 위한 파라미터로도 이용될 수 있다. 각 분할 ROI는 왼쪽 상단을 기준으로 우측 방향으로 ID가 정의될 수 있다.
@toneMapping는 캡쳐된 이미지에 RGB 또는 YUV (Luminance Chrominance, Chrominance) 값을 제어하기 위한 파라미터일 수 있다. @toneMapping에 기반하여 저계도 영역 또는 고계도 영역에 대해 할당/매핑되는 비트의 수가 제어될 수 있다. 예컨대, 감마 기능 (gamma function)의 적용을 통해 이미지 (image)의 저계도를 갖는 특정 영역에 대해 더 많은 비트들이 할당될 수 있다. 이 경우, 이미지에서 어두운 부분이 보다 명확히 표현될 수 있다. 예컨대, 표 6에 정의된 바와 같이, @toneMapping의 값과 이에 대응하는 매핑 함수가 미리 정의될 수 있고, 설정 관리 모듈 (100)은 표 6에 기반하여 제어 파라미터를 통해 지시될 톤 매핑 함수의 지시 값을 결정할 수 있다.
@transferCharacteristic는 OETF 정보로서 빛/광 신호를 전기 신호를 바꾸는 변환 기능 (Transfer function)에 대한 파라미터일 수 있다. @transferCharacteristic는 표 7와 같이 정의될 수 있다. 예컨대, 카메라/이미지 획득 장치가 HDR (High Dynamic Range)을 지원하는 밝기에 대해 이미지 캡쳐하는 경우, 카메라/이미지 획득 장치는 표현 범위를 @transferCharacteristic에 의해 지시된 특정 함수에 입력하여 적절한 RGB의 출력을 획득할 수 있다.
@toneMapping Value
Linear (Regular) function 0x01 Linear function
Low tone based function 0x02 어두운 영역에 전체 비트를 더 할당하여 적용 하는 tone mapping 함수
Middle tone based function 0x03 중간 밝기 영역에 전체 비트를 더 할당하여 적용 하는 tone mapping 함수
High tone based function 0x04 높은 밝기 영역에 전체 비트를 더 할당하여 적용 하는 tone mapping 함수
Customized 0x05 관리자 임의의 customized 된 함수
Reversed
@transferCharacteristic Value
Gamma function 0x01 Linear function
PQ function 0x02 어두운 영역에 전체 비트를 더 할당하여 적용 하는 tone mapping 함수
Customized 0x03 관리자 임의의 customized 된 함수
Reversed
도 17 내지 도 19는 설정 관리 모듈이 이미지 캡쳐 모듈 또는 이미지 후-처리 모듈을 제어하는 방법을 설명하기 위한 도면이다.
도 17 (a)를 참조하면, 새벽시간 대 어두운 도로 상에는 자동차 통행량이 적어 주행 속도가 증가할 수 있다. 이 경우, 어두운 조명 및/또는 빠른 주행 속도로 인해 이미지 상에서 객체 인식이 어려울 수 있다. 또한, 통행량이 적은 점에서, AI 센싱 모듈은 이전 프레임 대비 차분 값이 적은 이미지 (즉, 이전 프레임과 거의 동일한 이미지)에 대해서도 객체 인식/검출을 수행하는 점에서 비효율적인 객체 인식/검출이 수행될 수 있다.
이 경우, 설정 관리 모듈은 AI 센싱 모듈의 출력 결과/출력 데이터에 포함된 객체 인식율이 특정 임계 미만이고, 어두운 조명과 관련된 원인 정보가 포함된 경우에 대조비 (contrast) 및 톤 매핑 (tone mapping) 함수를 제어하는 제어 파라미터들을 생성하고, 생성된 제어 파라미터들을 이미지 캡쳐 모듈에 제공할 수 있다. 예컨대, 도 17 (a)는 조명의 부족으로 인해 객체 인식이 어려운 환경에서 이미지 캡쳐 모듈이 획득한 이미지를 도시하고, 도 17 (b)는 상술한 제어 파라미터들에 의해 제어된 이미지 캡쳐 모듈로부터 획득한 이미지를 도시한다. 도 17 (a)에서의 이미지에 대해선 일반적인 이미지 캡쳐 방식 및 이미지 처리 방식으로는 객체 인식이 어려울 수 있다. 이와 달리, 도 17 (b)를 참조하면, 이미지 캡쳐 모듈은 조명 환경에 기반하여 대조비 (contrast) 및 톤 매핑 (tone mapping) 함수가 제어됨으로써 어두운 부분이 보다 명확히 부각된 특성을 갖는 이미지를 획득할 수 있다. 이 경우, AI 센싱 모듈에서 일반적인 이미지 캡쳐 방식 및 이미지 처리 방식으로도 비교적 정확한 객체 인식의 수행이 보장될 수 있다. 이와 같이, 도로 환경/도로 환경에 맞춰 이미지 캡쳐 모듈의 획득 이미지의 특성을 직접 제어함으로써, 종래 이미 획득된 이미지의 보정만을 수행하는 알고리즘을 이용하는 것 대비 보다 높은 AI 센싱 모듈의 객체 인식률을 보장할 수 있다.
또는, 도 18을 참조하면, 설정 관리 모듈은 톤 매핑 함수에 기반한 제어 파라미터의 생성을 통해 어두운 환경에 따른 저하된 객체 인식률을 크게 증가실 수 있다. 예컨대, 도 18에 도시된 바와 같이, input(x)-output(y) 의 관계에서 다양한 톤 매핑 함수 (f(x))이 정의될 수 있다. 예컨대, 톤 매핑 함수가 log에 기반한 함수의 경우에 고계도에 대응하는 영역보다 저계도에 대응하는 영역에 대해 보다 많은 이미지 비트들이 더 할당되므로, 저계도를 갖는 영역 대한 (픽셀) 표현 범위를 증가시킬 수 있다. 또는, 설정 관리 모듈은 어두운 환경에 대해 적절한 대조비를 조정/제어하는 제어 파라미터도 추가적으로 생성하여 이미지 캡쳐 모듈을 제어할 수 있다. 이 경우, 도 17 (b)에 도시된 바와 같이 보다 객체 인식이 수월할 수 있는 이미지가 획득될 수 있다.
또한, 통행량이 적은 새벽 시간의 경우, 객체 (예컨대, 자동차)의 주행 속도가 낮 시간에서의 객체의 주행 속도보다 상대적으로 빠를 수 있다. 이 경우, 이미지 캡쳐 모듈에서 획득한 이미지에서 블러 현상이 발생할 수 있다. 따라서, 설정 관리 모듈은 프레임 레이트 (fps) 및 셔터 스피드를 제어하기 위한 제어 파라미터를 생성하여 이미지 캡쳐 모듈에서 획득한 이미지 상에 블러 형상을 제거할 수 있다. 예컨대, 30fps 를 지원하는 이미지 캡쳐 모듈로 교차로에서 100km 이상 (즉, 초당 27.78m 이상)의 속도로 달리는 객체에 대한 이미지를 획득할 수 있다. 이 경우, 이미지 캡쳐 모듈의 프레임 레이트가 30fps일 경우에 1/30초 마다 1 프레임을 캡쳐/획득 (이 경우, 프레임 사이에 객체의 이동 거리는 0.926m)할 수 있고, 이 경우에 블러 현상이 발생할 수 있다. 따라서, 설정 관리 모듈은 프레임 레이트 (fps)를 60fps로 조정하는 제어 파라미터를 이미지 캡쳐 모듈에 제공함으로써, 1 프레임의 획득 간격을 1/60초 (또는, 프레임 사이에 객체의 이동 거리는 0.463m)로 감소시켜, 이미지 상의 블러 현상을 최소화할 수 있다.
또는, AI 센싱 모듈은 입력된 획득/캡쳐된 모든 이미지들에 대해 실시간으로 객체들을 인식/검출할 수 있다. 하지만, 새벽시간 대의 경우에 차량 통행이 적어 프레임 간의 변화량 (즉, 픽셀 값의 차이)이 거의 없어 모든 이미지에 대해 실시간으로 객체 인식/검출을 수행하는 것은 비효율적일 수 있다. 따라서, 이미지 후-처리 모듈 또는 이미지 캡쳐 모듈은 프레임 간의 변화량에 기반하여 복수의 프레임들 중에서 적어도 하나의 프레임만을 AI 센싱 모듈에 전달할 수 있다. 예컨대, 이미지 후-처리 모듈 또는 이미지 캡쳐 모듈은 현재 프레임과 바로 직전 프레임 간의 차분값이 동일 또는 특정 임계 차분 미만인 경우에 현재 프레임을 드랍하여 AI 센싱 모듈에 전달하지 않을 수 있다.
또는, 도 19를 참조하면, 도로 상에 객체의 크기가 작거나 분류되지 않은 장애물 (obstacle)이 검출/인식될 수 있다. 예컨대, 도로 상에 도로와 비슷한 색을 가진 싱크홀 또는 도로 색과 유사한 장애물이 검출/인식된 경우 (또는, 싱크홀 또는 장애물에 대한 검출/인식 정보를 AI 센싱 모듈로부터 전달받은 경우), 설정 관리 모듈은 캡쳐/이미지 해상도를 특정 수준 이상으로 변경하기 위한 제어 파라미터 및 상기 이미지 상의 특정 ROI를 확대 처리하기 위한 제어 파라미터를 생성할 수 있다. 이 때, 상기 특정 ROI는 @startWidth, @startHeight, @endWidth, @endHeight의 파라미터를 통해 지시/특정될 수 있다. 설정 관리 모듈은 생성된 제어 파라미터들을 이미지 캡쳐 모듈 및/또는 이미지 후-처리 모듈에 전달할 수 있다. 이 경우, 이미지 캡쳐 모듈 및/또는 이미지 후-처리 모듈은 상기 제어 파라미터들에 기반하여 특정 수준 이상의 해상도의 이미지에서 상기 특정 ROI를 획대한 이미지를 AI 센싱 모듈에 전달/입력할 수 있다. 이 경우, AI 센싱 모듈은 특정 ROI가 확대된 이미지에 기반하여 객체 분류에 없는 장애물에 대해 추가 학습을 수행하여 객체 인식률을 개선할 수 있다.
또한, 높은 위치에 위치하는 RSU 또는 CCTV는 높이로 인해 객체 인식률이 감소될 수 있다. 이 경우, 설정 관리 모듈은 객체 인식률이 떨어질 때 특정 ROI 를 지정하여 해당 영역 센싱하는 과정을 적용할 수도 있다. 예를 들어 인식이 필요 없는 영역을 제외하고 도로와 VRU 가 존재하는 ROI 들을 분석영역으로 간주하여 특정영역만을 AI 센싱 모듈에 동시에 입력하고 인식하는 실시 예도 제공할 수 있다.
도 20은 장치가 이미지 획득 장치를 제어하기 위한 제어 메시지를 전송하는 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 장치는 이미지 획득 장치의 이미지로부터 객체를 인식하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득할 수 있다 (S201).
예컨대, 상기 이미지 획득 장치는 소정의 지리적 영역에 대한 이미지를 획득하여 상기 객체 인식 모델에게 전달할 수 있다. 상기 객체 인식 모델은 상기 이미지에서 특징들을 추출하고, 추출된 특징들에 기반하여 상기 지리적 영역 상에 존재하는 객체들을 인식하고, 인식된 객체에 대한 분류 동작을 수행할 수 있다. 상기 장치는 상기 객체 인식 모델로부터 상기 이미지에 대해 인식된 객체들에 대한 객체 인식 정보를 수신할 수 있다. 한편, 상기 이미지 획득 장치는 도 16 내지 도 19에서 설명한 이미지 캡쳐 모듈 및/또는 이미지 후-처리 모듈을 포함하는 구성으로써, CCTV 또는 카메라일 수 있다. 상기 객체 인식 모델은 도 16 내지 도 19에서 설명한 AI 센싱 모듈에 포함된 AI 모델일 수 있다. 상기 장치는 도 16 내지 도 19에서 설명한 설정 관리 모듈을 포함할 수 있다. 또는, 상기 장치는 상기 설정 관리 모듈뿐만 아니라, 센싱 데이터 분석 모듈, 메시지 생성 모듈 중 적어도 하나를 포함할 수 있다. 예컨대, 상기 장치는 상기 설정 관리 모듈, 센싱 데이터 분석 모듈 및 메시지 생성 모듈을 포함하는 RSU일 수 있다.
객체 인식 정보는 상기 이미지에서 인식/검출된 객체들의 정보 (위치, 크기, 모양, 이동성 정보 등) 및/또는 상기 이미지에 대한 정확도/신뢰도 (이하, 객체 인식률)을 포함할 수 있다. 여기서, 상기 객체 인식률은 상술한 바와 같이, 상기 객체 인식 모델은 상기 이미지에서 인식/검출한 객체들의 수 및 분류된 객체들의 수에 기초하여 상기 객체 인식률을 산출할 수 있다. 또는, 상기 장치는 상기 객체 인식 정보에 포함된 인식된 객체들의 수 및 분류된 객체들의 수에 기초하여 직접 상기 객체 인식률을 산출할 수도 있다. 예컨대, 상기 객체 인식률은 상기 분류된 객체들의 수를 상기 인식된 객체들의 수로 나눈 값에 기초하여 산출될 수 있다. 예컨대, 객체 인식 모델이 입력 이미지 상에서 인식한 객체들의 수가 20이고, 상기 객체 인식 모델이 상기 객체들 중에서 15개의 객체에 대해서만 분류를 완료한 경우, 상기 객체 인식률은 15/20*100=75%로 산출될 수 있다. 여기서, 분류가 완료된 객체는 객체의 종류/타입 등이 미리 정의된 예측 확률 이상의 예측 확률이 산출된 객체이고, 미분류된 객체는 객체의 종류/타입 등이 미리 정의된 예측 확률 미만 예측 확률이 산출된 객체일 수 있다. 이 경우, 상기 객체 인식률은 미리 정의된 예측 확률 이상의 예측 확률을 갖는 객체들의 수/전체 인식 객체들의 수일 수 있다.
또는, 상기 객체 인식 정보는 상기 인식된 객체들 중에서 일부 객체가 어떤 요인에 의해 분류 실패된 것인지에 대한 요인 정보를 더 포함할 수 있다. 예컨대, 상기 객체 인식 모델은 특정 객체가 존재하는 것을 예측하였으나, 밝기, 객체 밀집도, 주변 환경의 색상과 유사한 객체의 색상, 객체의 크기, 객체의 이동 속도에 의해 상기 특정 객체의 종류/타입을 분류하지 못할 수 있다. 이 경우, 상기 객체 인식 모델은 상기 특정 객체의 분류가 실패한 원인에 대한 원인 정보를 생성하고, 상기 원인 정보를 상기 객체 인식 정보에 더 포함시킬 수 있다.
다음으로, 상기 장치는 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송할 수 있다 (S203). 상기 장치는 도 16 내지 도 19에서 참조하여 설명한 바와 같이, 상기 객체 인식 모델의 객체 인식 정보에 기초하여 V2X 서비스 등을 위해 메시지를 통해 주변 단말/주변 장치들에게 전송할 필요가 있는 개체를 선별하고, 선별된 객체들에 대한 객체 정보를 포함하는 객체 메시지를 주변 단말/주변 장치들에게 전송할 수 있다. 또는, 상기 장치는 상기 선별된 객체들에 대한 객체 정보를 네트워크나 RSU에 전달하여 상기 객체 정보를 포함하는 객체 메시지의 전송을 네트워크나 RSU에 요청할 수 있다.
다음으로, 상기 장치는 상기 객체 인식 정보에 포함된 객체 인식률에 기초하여 상기 이미지 획득 장치의 제어를 위한 제어 메시지의 생성/전송 여부를 결정할 수 있다 (S205). 도 16 내지 도 19을 참조하여 설명한 바와 같이 상기 장치는 상기 객체 인식률이 미리 설정된 임계 인식률 미만(또는, 이하)인 경우에 상기 이미지 회득 장치의 제어를 위한 적어도 하나의 제어 파라미터를 생성하고, 생성된 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 상기 이미지 획득 장치에게 전달/전송할 수 있다.
구체적으로, 상기 객체 인식률이 상기 미리 설정된 임계 인식률 미만인 경우, 상기 장치는 상술한 바와 같이 상기 객체 인식 정보에 포함된 원인 정보에 기초하여 상기 제어 파리미터들을 생성할 수 있다. 예컨대, 상기 장치는 상기 원인 정보에 의한 객체 인식 실패 요인을 해소할 수 있도록 톤 매핑 함수, 감마 함수, 프레임 레이트, 해상도, 적어도 둘의 ROI 분할, 대조비, 셔터 스피트, OETF 함수 등을 조정하기 위한 적어도 하나의 제어 파라미터를 생성할 수 있다. 예컨대, 상기 장치는 표 5 내지 표 7에서 정의된 값에 기반하여 적어도 하나의 제어 파라미터를 생성하여 상기 이미지 획득 장치의 이미지 획득을 위한 파라미터를 제어할 수 있다. 이를 통해, 상기 장치는 상기 원인 정보에 기초하여 상기 객체 인식 모델의 객체 인식률을 높일 수 있도록 상기 이미지 획득 장치에서 획득될 이미지 특성을 미리 조정/변경할 수 있다. 한편, 상기 객체 인식률이 상기 미리 설정된 임계 인식률 이상인 경우, 상기 장치는 상기 이미지 획득 장치를 제어하기 위한 제어 파라미터를 생성하지 않을 수 있다.
또는, 상기 객체 인식 정보에 특정 임계 미만의 이동성을 갖는 객체에 대한 미분류 객체 정보가 더 포함된 것에 기초하여, 상기 장치는 상기 객체 인식률이 상기 미리 설정된 임계 이상이더라도 상기 제어 메시지를 전송할 수 있다. 예컨대, 상기 객체 인식 모델은 도로 상에 일정 시간 동안 특정 임계 미만의 이동성을 갖는 객체(또는, 일정 시간 동안 거의 움직임이 객체)가 인식할 수 있다. 상기 객체 인식 모델은 상기 인식된 객체의 크기, 색상, 형태 등으로 인해 상기 인식된 객체의 종류 및 타입을 분류하지 못하지 못할 수 있다 (예컨대, 도로와 색상이 비슷한 싱크 홀 등 도로 상 장애물). 이 경우, 상기 객체 인식 모델은 특정 임계 미만의 이동성을 갖고 분류되지 않은 미분류 객체에 대한 정보를 상기 객체 인식 정보에 더 포함시킬 수 있다. 상기 장치는 상기 객체 인식 정보에 상기 미분류 객체에 대한 정보가 더 포함된 경우에 상기 객체 인식 모델의 객체 인식률이 상기 미리 설정된 임계 이상이더라도 제어 메시지를 상기 이미지 획득 장치에 전송할 수 있다. 여기서, 상기 제어 메시지는 도 19에 도시된 바와 같이 상기 이미지에 대한 분할될 ROI들의 수 및 상기 미분류 객체가 위치하는 ROI ID에 대한 정보를 포함하는 제어 파라미터를 상기 이미지 획득 장치 (또는, 상기 이미지 획득 장치의 이미지 후-처리 모듈)에 전송할 수 있다. 이 경우, 상기 이미지 획득 장치는 상기 제어 파라미터에 기초하여 획득된 이미지를 복수의 ROI들로 분할하고, 상기 ROI ID를 갖는 ROI에 대응하는 (확대된) 분할 이미지를 상기 객체 인식 모델에 전달할 수 있다. 이 경우, 객체 인식 모델은 특정 ROI에 대해서만 객체 인식을 집중적으로 수행할 수 있는 바, 이미지 전체적으로 객체 인식을 수행하는 경우보다 상기 미분류 객체에 대한 객체 특성을 효과적으로 예측할 수 있다.
또는, 상기 장치는 상기 이미지 획득 장치가 상기 객체 인식 모델로 전달하는 이미지들 중 적어도 하나의 이미지를 드랍하도록 제어하는 제어 메시지를 상기 이미지 획득 장치에 전송할 수 있다. 예컨대, 상기 장치는 상기 객체 인식 정보에 미리 설정된 임계 개수 미만의 객체에 대한 객체 정보가 포함된 경우에 상기 제어 메시지를 전송할 수 있다. 이 경우, 상기 이미지 획득 장치는 상기 제어 메시지에 기반하여 획득된 이미지가 이전 이미지 대비 미리 설정된 임계 차이 미만의 픽셀 값의 차이를 갖는 경우에 상기 획득한 이미지를 상기 객체 인식 모델에 전달하지 않고 드랍할 수 있다. 이후, 상기 장치는 상기 객체 인식 정보에 미리 설정된 임계 개수 이상의 객체에 대한 객체 정보가 포함된 경우에는 상기 적어도 하나의 이미지의 드랍을 해제하기 위한 제어 메시지를 상기 이미지 획득 장치에 전송할 수도 있다. 한편, 상기 미리 설정된 임계 차이는 상기 객체 인식 정보에 포함된 객체들의 수에 기반하여 결정되어 상기 제어 메시지를 통해 전달될 수 있다.
이와 같이, 제안 발명은 인공 신경망 모델의 객체 인식률이 저하 요인에 기반한 이미지 획득 장치의 직접 제어를 통한 획득된 이미지 특성 자체를 조정할 수 있다. 또는, 제안 발명은 도로 환경이나 도로 상태에 기반한 획득된 이미지 특성 자체의 조정을 통해 상기 이미지에서의 객체 인식률을 효과적으로 개선시킬 수 있다. 또는, 제안 발명은 실시간으로 모든 이미지에 대한 객체 인식이 불필요하다고 판단되는 경우에 이미지 획득 장치가 이미지 간의 픽셀 값 차이가 특정 임계 미만인 이미지에 대해 객체 인식 모델로 전달 없이 드랍하도록 함으로써 객체 인식 프로세싱 부하 및 전력 소모를 효과적으로 감소시킬 수 있다.
도 21은 이미지 획득 장치가 장치로부터 제어 메시지를 수신하는 방법을 설명하기 위한 도면이다.
도 21을 참조하면, 이미지 획득 장치는 특정 지리적 영역에 대한 이미지를 획득할 수 있다 (S211). 상기 이미지 획득 장치는 상기 특정 지리적 영역을 촬영하도록 고정되어 설치된 CCTV 또는 카메라일 수 있다. 상기 이미지 획득 장치는 도 16 내지 도 20에서 설명한 이미지 캡쳐 모듈 및/또는 이미지 후-처리 모듈을 포함할 수 있다.
다음으로, 이미지 획득 장치는 상기 이미지로부터 객체를 인식하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달/전송할 수 있다 (S213). 이미지 획득 장치는 획득된 이미지 또는 영상을 미리 설정된 주기에 따라 상기 객체 인식 모델에 전달할 수 있다.
다음으로, 이미지 획득 장치는 상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신할 수 있다 (S215). 여기서, 상기 제어 메시지는 도 16 내지 도 20에서 설명한 바와 같이 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 전송이 트리거되어 상기 제1 장치로부터 수신될 수 있다. 이 경우, 상기 이미지 획득 장치는 상기 제어 메시지에 포함된 적어도 하나의 파라미터에 따라 이미지 획득과 관련된 대조비, 톤 매핑 함수, 감마 함수, 이미지 분할, 프레임 레이트, 셔터 스피드, OETF 함수 등에 대한 파라미터들을 조정할 수 있고, 상기 파라미터들의 조정에 따라 이미지의 특성이 변경될 수 있다. 예컨대, 이미지 획득 장치는 상술한 표 5 내지 표 7에 기반하여 상기 제어 메시지에 포함된 제어 메시지에 따라 이미지 획득과 관련된 파라미터들을 변경/조정할 수 있다.
또는, 상기 이미지 획득 장치는 상기 제1 장치의 제어에 따라 상기 획득된 이미지의 드랍 여부를 결정할 수 있다. 예컨대, 상기 제1 장치가 일부 이미지의 드랍과 관련된 제어 메시지를 전송한 경우, 상기 이미지 획득 장치는 현재 획득된 이미지의 픽셀 값과 바로 이전에 획득한 이미지의 픽셀 값의 차이가 미리 설정된 임계 차이 (또는, 상기 제어 메시지로 전달된 임계 차이) 미만인 경우에 상기 현재 획득된 이미지를 상기 객체 인식 모델에 전달하지 않고 드랍할 수 있다.
발명이 적용되는 통신 시스템 예
이로 제한되는 것은 아니지만, 본 문서에 개시된 본 발명의 다양한 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 기기들간에 무선 통신/연결(예, 5G)을 필요로 하는 다양한 분야에 적용될 수 있다.
이하, 도면을 참조하여 보다 구체적으로 예시한다. 이하의 도면/설명에서 동일한 도면 부호는 다르게 기술하지 않는 한, 동일하거나 대응되는 하드웨어 블록, 소프트웨어 블록 또는 기능 블록을 예시할 수 있다.
도 22은 본 발명에 적용되는 통신 시스템을 예시한다.
도 22를 참조하면, 본 발명에 적용되는 통신 시스템(1)은 무선 기기, 기지국 및 네트워크를 포함한다. 여기서, 무선 기기는 무선 접속 기술(예, 5G NR(New RAT), LTE(Long Term Evolution))을 이용하여 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기로 지칭될 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(100a), 차량(100b-1, 100b-2), XR(eXtended Reality) 기기(100c), 휴대 기기(Hand-held device)(100d), 가전(100e), IoT(Internet of Thing) 기기(100f), AI기기/서버(400)를 포함할 수 있다. 예를 들어, 차량은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량 등을 포함할 수 있다. 여기서, 차량은 UAV(Unmanned Aerial Vehicle)(예, 드론)를 포함할 수 있다. XR 기기는 AR(Augmented Reality)/VR(Virtual Reality)/MR(Mixed Reality) 기기를 포함하며, HMD(Head-Mounted Device), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 휴대 기기는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기는 센서, 스마트미터 등을 포함할 수 있다. 예를 들어, 기지국, 네트워크는 무선 기기로도 구현될 수 있으며, 특정 무선 기기(200a)는 다른 무선 기기에게 기지국/네트워크 노드로 동작할 수도 있다.
무선 기기(100a~100f)는 기지국(200)을 통해 네트워크(300)와 연결될 수 있다. 무선 기기(100a~100f)에는 AI(Artificial Intelligence) 기술이 적용될 수 있으며, 무선 기기(100a~100f)는 네트워크(300)를 통해 AI 서버(400)와 연결될 수 있다. 네트워크(300)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(200)/네트워크(300)를 통해 서로 통신할 수도 있지만, 기지국/네트워크를 통하지 않고 직접 통신(e.g. 사이드링크 통신(sidelink communication))할 수도 있다. 예를 들어, 차량들(100b-1, 100b-2)은 직접 통신(e.g. V2V(Vehicle to Vehicle)/V2X(Vehicle to everything) communication)을 할 수 있다. 또한, IoT 기기(예, 센서)는 다른 IoT 기기(예, 센서) 또는 다른 무선 기기(100a~100f)와 직접 통신을 할 수 있다.
무선 기기(100a~100f)/기지국(200), 기지국(200)/기지국(200) 간에는 무선 통신/연결(150a, 150b, 150c)이 이뤄질 수 있다. 여기서, 무선 통신/연결은 상향/하향링크 통신(150a)과 사이드링크 통신(150b)(또는, D2D 통신), 기지국간 통신(150c)(e.g. relay, IAB(Integrated Access Backhaul)과 같은 다양한 무선 접속 기술(예, 5G NR)을 통해 이뤄질 수 있다. 무선 통신/연결(150a, 150b, 150c)을 통해 무선 기기와 기지국/무선 기기, 기지국과 기지국은 서로 무선 신호를 송신/수신할 수 있다. 예를 들어, 무선 통신/연결(150a, 150b, 150c)은 다양한 물리 채널을 통해 신호를 송신/수신할 수 있다. 이를 위해, 본 발명의 다양한 제안들에 기반하여, 무선 신호의 송신/수신을 위한 다양한 구성정보 설정 과정, 다양한 신호 처리 과정(예, 채널 인코딩/디코딩, 변조/복조, 자원 매핑/디매핑 등), 자원 할당 과정 등 중 적어도 일부가 수행될 수 있다.
본 발명이 적용되는 무선 기기 예
도 23은 본 발명에 적용될 수 있는 무선 기기를 예시한다.
도 23을 참조하면, 제1 무선 기기(100)와 제2 무선 기기(200)는 다양한 무선 접속 기술(예, LTE, NR)을 통해 무선 신호를 송수신할 수 있다. 여기서, {제1 무선 기기(100), 제2 무선 기기(200)}은 도 22의 {무선 기기(100x), 기지국(200)} 및/또는 {무선 기기(100x), 무선 기기(100x)}에 대응할 수 있다.
제1 무선 기기(100)는 하나 이상의 프로세서(102) 및 하나 이상의 메모리(104)를 포함하며, 추가적으로 하나 이상의 송수신기(106) 및/또는 하나 이상의 안테나(108)을 더 포함할 수 있다. 프로세서(102)는 메모리(104) 및/또는 송수신기(106)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(102)는 메모리(104) 내의 정보를 처리하여 제1 정보/신호를 생성한 뒤, 송수신기(106)을 통해 제1 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(102)는 송수신기(106)를 통해 제2 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제2 정보/신호의 신호 처리로부터 얻은 정보를 메모리(104)에 저장할 수 있다. 메모리(104)는 프로세서(102)와 연결될 수 있고, 프로세서(102)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(104)는 프로세서(102)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(102)와 메모리(104)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩셋의 일부일 수 있다. 송수신기(106)는 프로세서(102)와 연결될 수 있고, 하나 이상의 안테나(108)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(106)는 송신기 및/또는 수신기를 포함할 수 있다. 송수신기(106)는 RF(Radio Frequency) 유닛과 혼용될 수 있다. 본 발명에서 무선 기기는 통신 모뎀/회로/칩셋을 의미할 수도 있다.
구체적으로, 제1 무선 기기 또는 장치 (100)는 송수신기 (106)와 연결되는 프로세서 (102)와 메모리(104)를 포함할 수 있다. 메모리(104)는 도 16 내지 도 21에서 설명된 실시예들과 관련된 동작을 수행할 수 있는 적어도 하나의 프로그램들이 포함될 수 있다.
프로세서(102)는 송수신기 (106)를 제어하여 이미지 획득 장치의 이미지로부터 객체를 인식하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하고, 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하며, 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정할 수 있다.
또는, 제어 메시지를 전송하는 장치를 제어하는 프로세서 (102) 및 메모리(104)를 포함하는 프로세싱 장치가 구성될 수 있다. 이 경우, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 연결되고 명령어들을 저장하는 적어도 하나의 메모리를 포함하되, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행되는 것을 기반으로 상기 장치로 하여금: 이미지 획득 장치의 이미지로부터 객체를 인식하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하고, 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하며, 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하게 할 수 있다.
제2 무선 기기(200)는 하나 이상의 프로세서(202), 하나 이상의 메모리(204)를 포함하며, 추가적으로 하나 이상의 송수신기(206) 및/또는 하나 이상의 안테나(208)를 더 포함할 수 있다. 프로세서(202)는 메모리(204) 및/또는 송수신기(206)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202)는 메모리(204) 내의 정보를 처리하여 제3 정보/신호를 생성한 뒤, 송수신기(206)를 통해 제3 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202)는 송수신기(206)를 통해 제4 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제4 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204)에 저장할 수 있다. 메모리(204)는 프로세서(202)와 연결될 수 있고, 프로세서(202)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204)는 프로세서(202)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202)와 메모리(204)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206)는 프로세서(202)와 연결될 수 있고, 하나 이상의 안테나(208)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206)는 송신기 및/또는 수신기를 포함할 수 있다 송수신기(206)는 RF 유닛과 혼용될 수 있다. 본 발명에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
구체적으로, 제2 무선 기기 또는 이미지 획득 장치 (200)는 송수신기 또는 RF 송수신기(206), 이미지 센서 (미도시), 프로세서 (202) 및 메모리(204)를 포함할 수 있다. 메모리(204)는 도 16 내지 도 21에서 설명된 실시예들과 관련된 동작을 수행할 수 있는 적어도 하나의 프로그램들이 포함될 수 있다.
프로세서(202)는 상기 이미지 센서를 제어하여 특정 지리적 영역에 대한 이미지를 획득하고, 송수신기(206)를 제어하여 상기 이미지로부터 객체를 인식하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달하며, 상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신할 수 있다. 여기서, 상기 제어 메시지는 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 상기 제1 장치로부터 수신될 수 있다.
이하, 무선 기기(100, 200)의 하드웨어 요소에 대해 보다 구체적으로 설명한다. 이로 제한되는 것은 아니지만, 하나 이상의 프로토콜 계층이 하나 이상의 프로세서(102, 202)에 의해 구현될 수 있다. 예를 들어, 하나 이상의 프로세서(102, 202)는 하나 이상의 계층(예, PHY, MAC, RLC, PDCP, RRC, SDAP와 같은 기능적 계층)을 구현할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 하나 이상의 PDU(Protocol Data Unit) 및/또는 하나 이상의 SDU(Service Data Unit)를 생성할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 메시지, 제어정보, 데이터 또는 정보를 생성할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 기능, 절차, 제안 및/또는 방법에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 포함하는 신호(예, 베이스밴드 신호)를 생성하여, 하나 이상의 송수신기(106, 206)에게 제공할 수 있다. 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)로부터 신호(예, 베이스밴드 신호)를 수신할 수 있고, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 획득할 수 있다.
하나 이상의 프로세서(102, 202)는 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 마이크로 컴퓨터로 지칭될 수 있다. 하나 이상의 프로세서(102, 202)는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 일 예로, 하나 이상의 ASIC(Application Specific Integrated Circuit), 하나 이상의 DSP(Digital Signal Processor), 하나 이상의 DSPD(Digital Signal Processing Device), 하나 이상의 PLD(Programmable Logic Device) 또는 하나 이상의 FPGA(Field Programmable Gate Arrays)가 하나 이상의 프로세서(102, 202)에 포함될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있고, 펌웨어 또는 소프트웨어는 모듈, 절차, 기능 등을 포함하도록 구현될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 수행하도록 설정된 펌웨어 또는 소프트웨어는 하나 이상의 프로세서(102, 202)에 포함되거나, 하나 이상의 메모리(104, 204)에 저장되어 하나 이상의 프로세서(102, 202)에 의해 구동될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 코드, 명령어 및/또는 명령어의 집합 형태로 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있다.
하나 이상의 메모리(104, 204)는 하나 이상의 프로세서(102, 202)와 연결될 수 있고, 다양한 형태의 데이터, 신호, 메시지, 정보, 프로그램, 코드, 지시 및/또는 명령을 저장할 수 있다. 하나 이상의 메모리(104, 204)는 ROM, RAM, EPROM, 플래시 메모리, 하드 드라이브, 레지스터, 캐쉬 메모리, 컴퓨터 판독 저장 매체 및/또는 이들의 조합으로 구성될 수 있다. 하나 이상의 메모리(104, 204)는 하나 이상의 프로세서(102, 202)의 내부 및/또는 외부에 위치할 수 있다. 또한, 하나 이상의 메모리(104, 204)는 유선 또는 무선 연결과 같은 다양한 기술을 통해 하나 이상의 프로세서(102, 202)와 연결될 수 있다.
하나 이상의 송수신기(106, 206)는 하나 이상의 다른 장치에게 본 문서의 방법들 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 전송할 수 있다. 하나 이상의 송수신기(106, 206)는 하나 이상의 다른 장치로부터 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 수신할 수 있다. 예를 들어, 하나 이상의 송수신기(106, 206)는 하나 이상의 프로세서(102, 202)와 연결될 수 있고, 무선 신호를 송수신할 수 있다. 예를 들어, 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)가 하나 이상의 다른 장치에게 사용자 데이터, 제어 정보 또는 무선 신호를 전송하도록 제어할 수 있다. 또한, 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)가 하나 이상의 다른 장치로부터 사용자 데이터, 제어 정보 또는 무선 신호를 수신하도록 제어할 수 있다. 또한, 하나 이상의 송수신기(106, 206)는 하나 이상의 안테나(108, 208)와 연결될 수 있고, 하나 이상의 송수신기(106, 206)는 하나 이상의 안테나(108, 208)를 통해 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 송수신하도록 설정될 수 있다. 본 문서에서, 하나 이상의 안테나는 복수의 물리 안테나이거나, 복수의 논리 안테나(예, 안테나 포트)일 수 있다. 하나 이상의 송수신기(106, 206)는 수신된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 하나 이상의 프로세서(102, 202)를 이용하여 처리하기 위해, 수신된 무선 신호/채널 등을 RF 밴드 신호에서 베이스밴드 신호로 변환(Convert)할 수 있다. 하나 이상의 송수신기(106, 206)는 하나 이상의 프로세서(102, 202)를 이용하여 처리된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 베이스밴드 신호에서 RF 밴드 신호로 변환할 수 있다. 이를 위하여, 하나 이상의 송수신기(106, 206)는 (아날로그) 오실레이터 및/또는 필터를 포함할 수 있다.
본 발명이 적용되는 무선 기기 활용 예
도 24은 본 발명에 적용되는 무선 기기의 다른 예를 나타낸다. 무선 기기는 사용-예/서비스에 따라 다양한 형태로 구현될 수 있다 (도 22 참조).
도 24을 참조하면, 무선 기기(100, 200)는 도 23의 무선 기기(100,200)에 대응하며, 다양한 요소(element), 성분(component), 유닛/부(unit), 및/또는 모듈(module)로 구성될 수 있다. 예를 들어, 무선 기기(100, 200)는 통신부(110), 제어부(120), 메모리부(130) 및 추가 요소(140)를 포함할 수 있다. 통신부는 통신 회로(112) 및 송수신기(들)(114)을 포함할 수 있다. 예를 들어, 통신 회로(112)는 도 24의 하나 이상의 프로세서(102,202) 및/또는 하나 이상의 메모리(104,204)를 포함할 수 있다. 예를 들어, 송수신기(들)(114)는 도 23의 하나 이상의 송수신기(106,206) 및/또는 하나 이상의 안테나(108,208)을 포함할 수 있다. 제어부(120)는 통신부(110), 메모리부(130) 및 추가 요소(140)와 전기적으로 연결되며 무선 기기의 제반 동작을 제어한다. 예를 들어, 제어부(120)는 메모리부(130)에 저장된 프로그램/코드/명령/정보에 기반하여 무선 기기의 전기적/기계적 동작을 제어할 수 있다. 또한, 제어부(120)는 메모리부(130)에 저장된 정보를 통신부(110)을 통해 외부(예, 다른 통신 기기)로 무선/유선 인터페이스를 통해 전송하거나, 통신부(110)를 통해 외부(예, 다른 통신 기기)로부터 무선/유선 인터페이스를 통해 수신된 정보를 메모리부(130)에 저장할 수 있다.
추가 요소(140)는 무선 기기의 종류에 따라 다양하게 구성될 수 있다. 예를 들어, 추가 요소(140)는 파워 유닛/배터리, 입출력부(I/O unit), 구동부 및 컴퓨팅부 중 적어도 하나를 포함할 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(도 22, 100a), 차량(도 22, 100b-1, 100b-2), XR 기기(도 22, 100c), 휴대 기기(도 22, 100d), 가전(도 22, 100e), IoT 기기(도 22, 100f), 디지털 방송용 단말, 홀로그램 장치, 공공 안전 장치, MTC 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, AI 서버/기기(도 22, 400), 기지국(도 22, 200), 네트워크 노드 등의 형태로 구현될 수 있다. 무선 기기는 사용-예/서비스에 따라 이동 가능하거나 고정된 장소에서 사용될 수 있다.
도 24에서 무선 기기(100, 200) 내의 다양한 요소, 성분, 유닛/부, 및/또는 모듈은 전체가 유선 인터페이스를 통해 상호 연결되거나, 적어도 일부가 통신부(110)를 통해 무선으로 연결될 수 있다. 예를 들어, 무선 기기(100, 200) 내에서 제어부(120)와 통신부(110)는 유선으로 연결되며, 제어부(120)와 제1 유닛(예, 130, 140)은 통신부(110)를 통해 무선으로 연결될 수 있다. 또한, 무선 기기(100, 200) 내의 각 요소, 성분, 유닛/부, 및/또는 모듈은 하나 이상의 요소를 더 포함할 수 있다. 예를 들어, 제어부(120)는 하나 이상의 프로세서 집합으로 구성될 수 있다. 예를 들어, 제어부(120)는 통신 제어 프로세서, 어플리케이션 프로세서(Application processor), ECU(Electronic Control Unit), 그래픽 처리 프로세서, 메모리 제어 프로세서 등의 집합으로 구성될 수 있다. 다른 예로, 메모리부(130)는 RAM(Random Access Memory), DRAM(Dynamic RAM), ROM(Read Only Memory), 플래시 메모리(flash memory), 휘발성 메모리(volatile memory), 비-휘발성 메모리(non-volatile memory) 및/또는 이들의 조합으로 구성될 수 있다.
본 발명이 적용되는 차량 또는 자율 주행 차량 예
도 25는 본 발명에 적용되는 차량 또는 자율 주행 차량을 예시한다. 차량 또는 자율 주행 차량은 이동형 로봇, 차량, 기차, 유/무인 비행체(Aerial Vehicle, AV), 선박 등으로 구현될 수 있다.
도 25를 참조하면, 차량 또는 자율 주행 차량(100)은 안테나부(108), 통신부(110), 제어부(120), 구동부(140a), 전원공급부(140b), 센서부(140c) 및 자율 주행부(140d)를 포함할 수 있다. 안테나부(108)는 통신부(110)의 일부로 구성될 수 있다. 블록 110/130/140a~140d는 각각 도 24의 블록 110/130/140에 대응한다.
통신부(110)는 다른 차량, 기지국(e.g. 기지국, 노변 기지국(Road Side unit) 등), 서버 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(120)는 차량 또는 자율 주행 차량(100)의 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(120)는 ECU(Electronic Control Unit)를 포함할 수 있다. 구동부(140a)는 차량 또는 자율 주행 차량(100)을 지상에서 주행하게 할 수 있다. 구동부(140a)는 엔진, 모터, 파워 트레인, 바퀴, 브레이크, 조향 장치 등을 포함할 수 있다. 전원공급부(140b)는 차량 또는 자율 주행 차량(100)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 센서부(140c)는 차량 상태, 주변 환경 정보, 사용자 정보 등을 얻을 수 있다. 센서부(140c)는 IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 등을 포함할 수 있다. 자율 주행부(140d)는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등을 구현할 수 있다.
일 예로, 통신부(110)는 외부 서버로부터 지도 데이터, 교통 정보 데이터 등을 수신할 수 있다. 자율 주행부(140d)는 획득된 데이터를 기반으로 자율 주행 경로와 드라이빙 플랜을 생성할 수 있다. 제어부(120)는 드라이빙 플랜에 따라 차량 또는 자율 주행 차량(100)이 자율 주행 경로를 따라 이동하도록 구동부(140a)를 제어할 수 있다(예, 속도/방향 조절). 자율 주행 도중에 통신부(110)는 외부 서버로부터 최신 교통 정보 데이터를 비/주기적으로 획득하며, 주변 차량으로부터 주변 교통 정보 데이터를 획득할 수 있다. 또한, 자율 주행 도중에 센서부(140c)는 차량 상태, 주변 환경 정보를 획득할 수 있다. 자율 주행부(140d)는 새로 획득된 데이터/정보에 기반하여 자율 주행 경로와 드라이빙 플랜을 갱신할 수 있다. 통신부(110)는 차량 위치, 자율 주행 경로, 드라이빙 플랜 등에 관한 정보를 외부 서버로 전달할 수 있다. 외부 서버는 차량 또는 자율 주행 차량들로부터 수집된 정보에 기반하여, AI 기술 등을 이용하여 교통 정보 데이터를 미리 예측할 수 있고, 예측된 교통 정보 데이터를 차량 또는 자율 주행 차량들에게 제공할 수 있다.
도 26은 본 발명에 적용되는 AI 기기를 예시한다.
AI 기기는 TV, 프로젝터, 스마트폰, PC, 노트북, 디지털방송용 단말기, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 26을 참조하면, AI 기기(100)는 통신부(110), 제어부(120), 메모리부(130), 입/출력부(140a/140b), 러닝 프로세서부(140c) 및 센서부(140d)를 포함할 수 있다. 블록 110~130/140a~140d는 각각 도 23의 블록 110~130/140에 대응한다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 기기(예, 도 22, 100x, 200, 400)나 AI 서버(200) 등의 외부 기기들과 유무선 신호(예, 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등)를 송수신할 수 있다. 이를 위해, 통신부(110)는 메모리부(130) 내의 정보를 외부 기기로 전송하거나, 외부 기기로부터 수신된 신호를 메모리부(130)로 전달할 수 있다.
제어부(120)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 기기(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(120)는 AI 기기(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 예를 들어, 제어부(120)는 러닝 프로세서부(140c) 또는 메모리부(130)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 기기(100)의 구성 요소들을 제어할 수 있다. 또한, 제어부(120)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리부(130) 또는 러닝 프로세서부(140c)에 저장하거나, AI 서버(도 18, 400) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
메모리부(130)는 AI 기기(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리부(130)는 입력부(140a)로부터 얻은 데이터, 통신부(110)로부터 얻은 데이터, 러닝 프로세서부(140c)의 출력 데이터, 및 센싱부(140)로부터 얻은 데이터를 저장할 수 있다. 또한, 메모리부(130)는 제어부(120)의 동작/실행에 필요한 제어 정보 및/또는 소프트웨어 코드를 저장할 수 있다.
입력부(140a)는 AI 기기(100)의 외부로부터 다양한 종류의 데이터를 획득할 수 있다. 예를 들어, 입력부(120)는 모델 학습을 위한 학습 데이터, 및 학습 모델이 적용될 입력 데이터 등을 획득할 수 있다. 입력부(140a)는 카메라, 마이크로폰 및/또는 사용자 입력부 등을 포함할 수 있다. 출력부(140b)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(140b)는 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다. 센싱부(140)는 다양한 센서들을 이용하여 AI 기기(100)의 내부 정보, AI 기기(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 얻을 수 있다. 센싱부(140)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰 및/또는 레이더 등을 포함할 수 있다.
러닝 프로세서부(140c)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 러닝 프로세서부(140c)는 AI 서버(도 18, 400)의 러닝 프로세서부와 함께 AI 프로세싱을 수행할 수 있다. 러닝 프로세서부(140c)는 통신부(110)를 통해 외부 기기로부터 수신된 정보, 및/또는 메모리부(130)에 저장된 정보를 처리할 수 있다. 또한, 러닝 프로세서부(140c)의 출력 값은 통신부(110)를 통해 외부 기기로 전송되거나/되고, 메모리부(130)에 저장될 수 있다.
본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 LTE, NR 및 6G뿐만 아니라 저전력 통신을 위한 Narrowband Internet of Things를 포함할 수 있다. 이때, 예를 들어 NB-IoT 기술은 LPWAN(Low Power Wide Area Network) 기술의 일례일 수 있고, LTE Cat NB1 및/또는 LTE Cat NB2 등의 규격으로 구현될 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 LTE-M 기술을 기반으로 통신을 수행할 수 있다. 이때, 일 예로, LTE-M 기술은 LPWAN 기술의 일례일 수 있고, eMTC(enhanced Machine Type Communication) 등의 다양한 명칭으로 불릴 수 있다. 예를 들어, LTE-M 기술은 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL(non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, 및/또는 7) LTE M 등의 다양한 규격 중 적어도 어느 하나로 구현될 수 있으며 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 저전력 통신을 고려한 지그비(ZigBee), 블루투스(Bluetooth) 및 저전력 광역 통신망(Low Power Wide Area Network, LPWAN) 중 적어도 어느 하나를 포함할 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 일 예로 ZigBee 기술은 IEEE 802.15.4 등의 다양한 규격을 기반으로 소형/저-파워 디지털 통신에 관련된 PAN(personal area networks)을 생성할 수 있으며, 다양한 명칭으로 불릴 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 문서에서 본 발명의 실시예들은 주로 단말과 기지국 간의 신호 송수신 관계를 중심으로 설명되었다. 이러한 송수신 관계는 단말과 릴레이 또는 기지국과 릴레이간의 신호 송수신에도 동일/유사하게 확장된다. 본 문서에서 기지국에 의해 수행된다고 설명된 특정 동작은 경우에 따라서는 그 상위 노드(upper node)에 의해 수행될 수 있다. 즉, 기지국을 포함하는 복수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 단말과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있음은 자명하다. 기지국은 고정국(fixed station), Node B, eNode B(eNB), 억세스 포인트(access point) 등의 용어에 의해 대체될 수 있다. 또한, 단말은 UE(User Equipment), MS(Mobile Station), MSS(Mobile Subscriber Station) 등의 용어로 대체될 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 바와 같은 본 발명의 실시형태들은 다양한 이동통신 시스템에 적용될 수 있다.

Claims (15)

  1. 무선 통신 시스템에서 장치가 제어 메시지를 전송하는 방법에 있어서,
    이미지 획득 장치의 이미지로부터 객체를 인식 및 분류하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하는 단계;
    상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하는 단계; 및
    상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제어 메시지는 상기 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 전송되는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 객체 인식 정보는 상기 객체 인식 모델이 상기 이미지로부터 적어도 하나의 객체에 대한 분류를 실패한 원인에 대한 요인 정보를 더 포함하고,
    상기 적어도 하나의 제어 파라미터는 상기 요인 정보에 기초하여 결정되는 것을 특징으로 하는, 방법.
  4. 제3항에 있어서,
    상기 요인 정보는 조명 상태에 따른 객체 분류 실패, 객체 밀집도에 따른 객체 분류 실패, 객체 크기에 따른 객체 분류 실패 및 객체의 이동 속도에 따른 객체 분류 실패 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는, 방법.
  5. 제2항에 있어서,
    상기 객체 인식 정보에 특정 임계 미만의 이동성을 갖는 객체에 대한 미분류 객체 정보가 더 포함된 것에 기초하여, 상기 제어 메시지는 상기 객체 인식률이 상기 미리 설정된 임계 이상이더라도 전송되는 것을 특징으로 하는, 방법.
  6. 제5항에 있어서,
    상기 제어 메시지는 상기 이미지 상에서 상기 미분류 객체 정보에 대응하는 객체가 속하는 일부 영역을 특정하는 제어 파라미터를 포함하는 것을 특징으로 하는, 방법.
  7. 제1항에 있어서,
    상기 이미지 획득 장치는 획득된 이미지들 간의 픽셀 값의 차이에 기반하여 상기 이미지들 중에서 적어도 하나의 이미지를 상기 객체 인식 모델에 전달하지 않는 것을 특징으로 하는, 방법.
  8. 제1항에 있어서,
    상기 객체 인식률은 상기 객체 인식 모듈이 상기 이미지로부터 인식한 객체들 중에서 객체 종류가 분류된 객체의 수를 상기 객체들의 수로 나눈 값에 기초하여 산출된 것을 특징으로 하는, 방법.
  9. 제1항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 무선 통신 시스템에서 제어 메시지를 전송하는 장치에 있어서,
    RF(Radio Frequency) 송수신기; 및
    상기 RF 송수신기와 연결되는 프로세서를 포함하고,
    상기 프로세서는 상기 RF 송수신기를 제어하여 이미지 획득 장치의 이미지로부터 객체를 인식 및 분류하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하고, 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하며, 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하는, 장치.
  11. 무선 통신 시스템에서 제어 메시지를 전송하는 장치를 제어하는 프로세싱 장치에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 연결되고 명령어들을 저장하는 적어도 하나의 메모리를 포함하되, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행되는 것을 기반으로 상기 장치로 하여금:
    이미지 획득 장치의 이미지로부터 객체를 인식 및 분류하는 인공 신경망 기반 객체 인식 모델로부터 객체 인식 정보를 획득하고, 상기 객체 인식 정보에 포함된 상기 이미지로부터 인식된 객체 정보에 기반하여 객체 메시지를 주변 장치에게 전송하며, 상기 객체 인식 정보에 포함된 상기 이미지에 대한 객체 인식률에 기초하여 상기 이미지 획득 장치를 제어하기 위한 상기 제어 메시지의 전송 여부를 결정하게 하는, 프로세싱 장치.
  12. 무선 통신 시스템에서 이미지 획득 장치가 제어 메시지를 수신하는 방법에 있어서,
    특정 지리적 영역에 대한 이미지를 획득하는 단계;
    상기 이미지로부터 객체를 인식 및 분류하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달하는 단계; 및
    상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신하는 단계를 포함하고,
    상기 제어 메시지는 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 상기 제1 장치로부터 수신되는, 방법.
  13. 제12항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. 무선 통신 시스템에서 제어 메시지를 수신하는 이미지 획득 장치에 있어서,
    이미지를 획득하는 이미지 센서;
    RF(Radio Frequency) 송수신기; 및
    상기 RF 송수신기 및 상기 이미지 센서와 연결되는 프로세서를 포함하고,
    상기 프로세서는 상기 이미지 센서를 제어하여 특정 지리적 영역에 대한 이미지를 획득하고, 상기 RF 송수신기를 제어하여 상기 이미지로부터 객체를 인식 및 분류하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달하며, 상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신하고,
    상기 제어 메시지는 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 상기 제1 장치로부터 수신되는, 이미지 획득 장치.
  15. 무선 통신 시스템에서 제어 메시지를 수신하는 이미지 획득 장치를 제어하는 프로세싱 장치에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 연결되고 명령어들을 저장하는 적어도 하나의 메모리를 포함하되, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행되는 것을 기반으로 상기 이미지 획득 장치로 하여금:
    특정 지리적 영역에 대한 이미지를 획득하고, 상기 이미지로부터 객체를 인식 및 분류하도록 학습된 인공 신경망 기반 객체 인식 모델에 상기 이미지를 전달하며, 상기 이미지의 획득과 관련된 파라미터의 변경을 지시하는 적어도 하나의 제어 파라미터를 포함하는 제어 메시지를 제1 장치로부터 수신하게 하고,
    상기 제어 메시지는 상기 객체 인식 모델의 객체 인식 정보에 포함된 객체 인식률이 미리 설정된 임계 미만인 것에 기초하여 상기 제1 장치로부터 수신되는, 프로세싱 장치.
PCT/KR2024/007559 2023-06-01 2024-06-03 무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치 Ceased WO2024248564A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020257041965A KR20260018056A (ko) 2023-06-01 2024-06-03 무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치
EP24815938.6A EP4723058A1 (en) 2023-06-01 2024-06-03 Method for device to transmit message and device therefor in wireless communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20230071041 2023-06-01
KR10-2023-0071041 2023-06-01

Publications (1)

Publication Number Publication Date
WO2024248564A1 true WO2024248564A1 (ko) 2024-12-05

Family

ID=93658078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/007559 Ceased WO2024248564A1 (ko) 2023-06-01 2024-06-03 무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치

Country Status (3)

Country Link
EP (1) EP4723058A1 (ko)
KR (1) KR20260018056A (ko)
WO (1) WO2024248564A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098091A (ko) * 2019-07-23 2019-08-21 엘지전자 주식회사 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
KR102094341B1 (ko) * 2018-10-02 2020-03-27 한국건설기술연구원 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
KR20200044182A (ko) * 2018-10-05 2020-04-29 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
KR20210070700A (ko) * 2019-12-05 2021-06-15 엘지전자 주식회사 자율주행시스템에서 인공지능 학습 데이터를 계승하는 방법
KR102511315B1 (ko) * 2022-09-07 2023-03-17 주식회사 스마트인사이드에이아이 환경 변수 데이터 학습에 기초한 영상 기반 객체 인식 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094341B1 (ko) * 2018-10-02 2020-03-27 한국건설기술연구원 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
KR20200044182A (ko) * 2018-10-05 2020-04-29 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
KR20190098091A (ko) * 2019-07-23 2019-08-21 엘지전자 주식회사 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
KR20210070700A (ko) * 2019-12-05 2021-06-15 엘지전자 주식회사 자율주행시스템에서 인공지능 학습 데이터를 계승하는 방법
KR102511315B1 (ko) * 2022-09-07 2023-03-17 주식회사 스마트인사이드에이아이 환경 변수 데이터 학습에 기초한 영상 기반 객체 인식 방법 및 시스템

Also Published As

Publication number Publication date
KR20260018056A (ko) 2026-02-06
EP4723058A1 (en) 2026-04-08

Similar Documents

Publication Publication Date Title
WO2021029672A1 (ko) 무선통신시스템에서 사이드링크 drx에 관련된 ue의 동작 방법 및 장치
WO2021221481A1 (ko) 무선통신시스템에서 vru 위치에 관련된 rsu의 동작 방법
WO2023244091A1 (ko) 무선통신시스템에서 ue-to-ue relay에서 qos 분할에 관련된 ue의 동작 방법
WO2024014719A1 (ko) 무선 통신 시스템에서 신호를 송수신 하는 방법 및 이를 위한 장치
WO2024029921A1 (ko) 무선통신시스템에서 ue-to-ue relay 에서 id 설정 등에 관련된 릴레이 ue의 동작 방법
WO2023244090A1 (ko) 무선통신시스템에서 ue-to-ue relay의 링크 해제에 관련된 ue의 동작 방법
WO2023068714A1 (ko) 통신 시스템에서 non-iid 데이터 환경의 연합 학습 기반 aircomp를 위한 디바이스 그룹핑을 채널 정보에 기반하여 수행하기 위한 장치 및 방법
WO2024210524A1 (ko) 무선 통신 시스템에서 네트워크가 메시지를 전송하는 방법 및 이를 위한 장치
WO2024162761A1 (ko) 무선통신시스템에서 UE-to-UE relay 에서 QoS 관련 설정 및 보고에 관련된 동작 방법 및 장치
WO2023239195A1 (ko) 무선 통신 시스템에서 신호를 송수신 하는 방법 및 이를 위한 장치
WO2023219441A1 (ko) 무선통신시스템에서 멀티 패스 릴레이 동작을 위한 사이드링크 drx configuration에 관련된 ue의 동작 방법
WO2024248564A1 (ko) 무선 통신 시스템에서 장치가 메시지를 전송하는 방법 및 이를 위한 장치
WO2021020901A1 (ko) 무선통신시스템에서 사이드링크 신호를 송수신하는 방법
WO2024162743A1 (ko) 무선 통신 시스템에서 네트워크가 메시지를 전송하는 방법 및 이를 위한 장치
WO2025080053A1 (ko) 무선 통신 시스템에서 단말이 메시지를 전송하는 방법 및 이를 위한 장치
WO2024162727A1 (ko) 무선 통신 시스템에서 단말이 메시지를 전송하는 방법 및 이를 위한 장치
WO2025009835A1 (ko) 무선 통신 시스템에서 단말이 메시지를 전송하는 방법 및 이를 위한 장치
WO2025009837A1 (ko) 무선 통신 시스템에서 단말이 메시지를 전송하는 방법 및 이를 위한 장치
WO2026029517A1 (ko) 무선 통신 시스템에서 장치가 통신을 수행하는 방법 및 이를 위한 장치
WO2026005509A1 (ko) 무선 통신 시스템에서 장치가 통신을 수행하는 방법 및 이를 위한 장치
WO2026029550A1 (ko) 무선 통신 시스템에서 장치가 메시지를 송수신하는 방법 및 이를 위한 장치
WO2026010285A1 (ko) 무선 통신 시스템에서 장치가 통신을 수행하는 방법 및 이를 위한 장치
WO2026059290A1 (ko) 무선 통신 시스템에서 장치가 통신을 수행하는 방법 및 이를 위한 장치
WO2025226016A1 (ko) 무선 통신 시스템에서 데이터를 전송하는 방법 및 이를 위한 장치
WO2025226045A1 (ko) 무선 통신 시스템에서 데이터를 전송하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24815938

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024815938

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024815938

Country of ref document: EP

Effective date: 20260102

WWP Wipo information: published in national office

Ref document number: 2024815938

Country of ref document: EP