KR102586666B1 - V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법 - Google Patents

V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법 Download PDF

Info

Publication number
KR102586666B1
KR102586666B1 KR1020230052736A KR20230052736A KR102586666B1 KR 102586666 B1 KR102586666 B1 KR 102586666B1 KR 1020230052736 A KR1020230052736 A KR 1020230052736A KR 20230052736 A KR20230052736 A KR 20230052736A KR 102586666 B1 KR102586666 B1 KR 102586666B1
Authority
KR
South Korea
Prior art keywords
object recognition
sensor data
reliability
recognition results
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230052736A
Other languages
English (en)
Inventor
안병만
임기택
윤상훈
장성현
신대교
장수현
장준혁
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020230052736A priority Critical patent/KR102586666B1/ko
Application granted granted Critical
Publication of KR102586666B1 publication Critical patent/KR102586666B1/ko
Priority to JP2024066682A priority patent/JP7714725B2/ja
Priority to EP24170959.1A priority patent/EP4459594A1/en
Priority to US18/640,859 priority patent/US20240357328A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/094—Hardware aspects; Signal processing or signal properties, e.g. frequency bands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)

Abstract

V2X 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법이 제공된다. 본 발명의 실시예에 따른 도로 상황 판단 방법은, 센서 데이터들을 획득하고, 획득한 센서 데이터들을 분석하여 객체들을 인식하며, 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하고, 수신된 객체 인식 결과들과 센서 데이터들에 대한 신뢰성을 판단하고, 획득된 센서 데이터들과 객체 인식 결과들, 신뢰성이 부여된 객체 인식 결과들과 센서 데이터들을 기초로 도로 상황을 판단한다. 이에 의해, V2X 환경에서 센서 데이터 및 객체 인식 결과 공유를 통해 도로 상황을 정확하게 판단함으로써, 자율주행 성능을 향상시키되, 공유를 통해 외부로부터 수신되는 센서 데이터와 객체 인식 결과에 대해 신뢰성 판단을 기초로 도로 상황 판단에 활용 여부를 결정함으로써, 도로 상황 판단의 정확성을 더욱 향상시킬 수 있게 된다.

Description

V2X 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법{Method for determining road conditions through sharing sensor data and object recognition results in V2X communication environment}
본 발명은 V2X 기반의 자율주행 제어에 관한 것으로, 더욱 상세하게는 V2X 통신 환경에서 정보 공유를 통해 도로 상황을 판단하여 차량주행을 제어하는 방법에 관한 것이다.
종래의 자율주행은 각각의 차량이 자체 센서와 알고리즘을 이용하여 객체를 인지하고 판단하여 객체 정보와 객체의 상황을 분석하고 있다. WAVE, LTE 등의 통신 환경에서는 고용량, 저지연의 데이터 공유에 한계가 있기 때문에, 다른 차량이나 주변 인프라로부터 전달되는 정보를 이용하여 실시간으로 객체를 인지하고 상황을 판단하는 것에 한계가 있기 때문이다.
이에 따라 각각의 차량이 사물을 인식하고 판단하기 때문에 차량별로 인지/판단된 결과가 다르고, 특정 차량의 경우에서는 잘못된 인지/판단을 하는 경우가 발생할 수 있다.
예를 들어 신호등이 붉은색 등으로 변경 시 전방 차량은 해당 신호등의 정보를 인지/판단하여 멈추게 되지만, 후속 차량은 신호등의 정보를 앞 차량에 가려 보이지 못하여 앞 차량이 멈추었기 때문에 앞 차량 간의 거리가 좁아지는 부분을 인지/판단하여 속도를 줄이게 되는 상황이 발생한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, V2X 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 도로 상황 판단 방법은, 센서 데이터들을 획득하는 단계; 획득한 센서 데이터들을 분석하여 객체들을 인식하는 단계; 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 단계; 수신된 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단단계; 수신된 센서 데이터들에 대한 신뢰성을 판단하는 제2 판단단계; 및 획득단계에서 획득된 센서 데이터들, 인식단계에서 획득된 객체 인식 결과들, 제1 판단단계에서 신뢰성이 부여된 객체 인식 결과들, 제2 판단단계에서 신뢰성이 부여된 센서 데이터들을 기초로, 도로 상황을 판단하는 제3 판단단계;를 포함한다.
외부 단말들은, 주변차량의 단말, 인프라, 보행자 단말을 포함할 수 있다. 수신 단계는, V2X 통신을 통해, 주변 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신할 수 있다.
제1 판단단계는, 객체 인식 결과의 수신 지연시간을 측정하는 단계; 측정된 지연시간이 임계치 이하이면, 객체 인식 결과에 신뢰성을 부여하는 단계;를 포함할 수 있다. 신뢰성 부여 단계는, 측정된 지연시간이 임계치 이하이면, 객체 인식 결과를 전송한 외부 단말의 객체 인식률을 확인하는 단계; 확인된 객체 인식률이 임계치 이상이면, 객체 인식 결과에 신뢰성을 부여하는 단계;를 포함할 수 있다. 신뢰성 부여 단계는, 확인된 객체 인식률이 임계치 미만이면, 객체 인식 결과에 신뢰성을 부여하지 않을 수 있다. 제1 판단단계는, 측정된 지연시간이 임계치를 초과하면, 객체 인식 결과에 신뢰성을 부여하지 않을 수 있다.
제2 판단단계는, 센서 데이터의 수신 지연시간을 측정하는 단계; 측정된 지연시간이 임계치 이하이면, 센서 데이터에 신뢰성을 부여하는 단계;를 포함할 수 있다. 신뢰성 부여 단계는, 측정된 지연시간이 임계치를 초과하면, 센서 데이터에 신뢰성을 부여하지 않을 수 있다.
본 발명의 다른 실시예에 따른 도로 상황 판단 시스템은, 센서 데이터들을 획득하는 획득부; 획득한 센서 데이터들을 분석하여 객체들을 인식하는 인식부; 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 수신부; 수신된 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단부; 수신된 센서 데이터들에 대한 신뢰성을 판단하는 제2 판단부; 및 획득부에서 획득된 센서 데이터들, 인식부에서 획득된 객체 인식 결과들, 제1 판단부에서 신뢰성이 부여된 객체 인식 결과들, 제2 판단부에서 신뢰성이 부여된 센서 데이터들을 기초로, 도로 상황을 판단하는 제3 판단부;를 포함한다.
본 발명의 또 다른 실시예에 따른 도로 상황 판단 방법은, 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 단계; 수신된 센서 데이터들과 객체 인식 결과들에 대한 신뢰성을 판단하는 단계; 내부적으로 획득된 센서 데이터들, 내부적으로 획득된 객체 인식 결과들 및 판단단계에서 신뢰성이 부여된 센서 데이터들과 객체 인식 결과들을 기초로, 도로 상황을 판단하는 단계; 및 판단된 도로 상황을 기초로, 차량주행을 제어하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따른 도로 상황 판단 시스템은, 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 수신부; 수신된 센서 데이터들과 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단부; 내부적으로 획득된 센서 데이터들, 내부적으로 획득된 객체 인식 결과들 및 제1 판단부에서 신뢰성이 부여된 센서 데이터들과 객체 인식 결과들을 기초로, 도로 상황을 판단하는 제2 판단부; 판단된 도로 상황을 기초로, 차량주행을 제어하는 제어부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, V2X 환경에서 센서 데이터 및 객체 인식 결과 공유를 통해 도로 상황을 정확하게 판단함으로써, 자율주행 성능을 향상시킬 수 있게 된다.
또한 본 발명의 실시예들에 따르면, 공유를 통해 외부로부터 수신되는 센서 데이터와 객체 인식 결과에 대해 신뢰성 판단을 기초로 도로 상황 판단에 활용 여부를 결정함으로써, 도로 상황 판단의 정확성을 더욱 향상시킬 수 있게 된다.
도 1은 본 발명의 실시예가 적용가능한 V2X 통신 환경을 도시한 도면,
도 2는 자율주행차량 단말의 상세 구성을 도시한 도면,
도 3은 외부로부터 수신된 객체 인식 결과들에 대한 신뢰성 판단 방법,
도 4는 외부로부터 수신된 센서 데이터들에 대한 신뢰성 판단 방법,
도 5는 V2X를 통해 공유한 정보를 활용한 차량제어 예시,
도 6은 신뢰성 판단을 활용한 차량 간 거리 감소에 의한 도로 이용율 향상을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 V2X 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법을 제시한다.
본 발명의 실시예들에서 V2X 통신은 V2V(Vehicle to Vehicle) 통신, V2I(Vehicle to Infra) 통신, V2P(Vehicle To Pedestrian) 통신, V2C(Vehicle to Cloud) 통신을 포함한다. 또한 V2X 통신 방식은 WAVE, LTE, 5G-Uu, 5G-NR-V2X, 6G 등은 물론 그 밖의 통신 방식도 적용될 수 있음은 물론이다.
도 1은 본 발명의 실시예가 적용가능한 V2X 통신 환경을 도시한 도면이다. 본 발명의 실시예가 적용가능한 V2X 통신 환경은 도시된 바와 같이, 자율주행차량 단말(100), 주변차량 단말들(10), 인프라(20) 및 보행자 단말(30)이 V2X 통신을 통해 상호 연결되어 구축된다.
자율주행차량 단말(100)은 본 발명의 실시예에서 주변 단말들(10,20,30)과 정보를 공유하면서 차량을 제어하기 위한 V2X 단말이다.
주변차량 단말들(10)은 자율주행차량 단말(100)의 주변에 위치하는 차량들에 설치된 V2X 단말들이다. 주변차량 단말들(10)도 정보 공유를 통해 차량을 제어한다는 점에서 자율주행차량 단말(100)과 공통되지만, 본 발명의 실시예에서는 정보 공유를 통한 차량 제어는 자율주행차량 단말(100)에 대해서만 국한하여 설명한다.
인프라(20)는 도로변, 교차로 등에서 다른 단말들(10,30,100)에 교통 관련 정보를 전송하는 신호 제어기, RSU(Road Side Unit) 등을 말한다. 보행자 단말(30)은 보행자가 휴대하는 단말로 V2X 통신을 위한 애플리케이션이 설치되어 있다.
한편 도 1에서 주변차량 단말들(10), 인프라(20) 및 보행자 단말(30)의 대수는 예시적인 것으로, 실제로 이들은 도시된 바 보다 더 많음이 일반적이다.
도 2는 도 1에 도시된 자율주행차량 단말(100)의 상세 구성을 도시한 도면이다. 도시된 바와 같이 자율주행차량 단말(100)은 센서 입력부(110), 객체 인식부(120), 저장부(130), 통신부(140), 판단부(150) 및 차량 제어부(160)를 포함하여 구성된다.
센서 입력부(110)는 차량(100)에 장착된 센서들이 주변 환경을 센싱하여 생성한 센서 데이터들을 입력받기 위한 구성이다. 센서들에는 카메라, LiDAR, Radar 등이 포함될 수 있다.
객체 인식부(120)는 센서 입력부(110)를 통해 입력되는 센서 데이터들을 분석하여 객체들을 검출하고, 검출된 객체들을 인식하여 분류한다. 인식 대상이 되는 객체들에는 주변 차량, 사람, 동물, 건물, 신호등, 보행자 등을 포함한다.
저장부(130)는 센서 입력부(110)를 통해 입력되는 센서 데이터들과 객체 인식부(120)에 의한 객체 인식 결과들이 저장된다
통신부(140)는 저장부(130)에 저장된 센서 데이터들과 객체 인식 결과들을 주변차량 단말들(10), 인프라(20), 보행자 단말(30)로 전송한다.
또한 통신부(140)는 주변차량 단말들(10), 인프라(20), 보행자 단말(30)로부터 센서 데이터들과 객체 인식 결과들을 수신할 수도 있다. 수신된 센서 데이터들과 객체 인식 결과들도 저장부(130)는 저장된다.
판단부(150)는 도시된 바와 같이 객체 인식 결과 신뢰성 판단부(151), 센서 데이터 전처리부(152) 및 센서 데이터 신뢰성 판단부(153) 및 도로 상황 판단부(154)를 포함하여 구성된다.
객체 인식 결과 신뢰성 판단부(151)는 저장부(130)에 저장된 외부(주변차량 단말들(10), 인프라(20), 보행자 단말(30))로부터 수신한 객체 인식 결과들에 대한 신뢰성을 판단한다.
센서 데이터 전처리부(152)는 저장부(130)에 저장되어 있는 센서 데이터들에 대해 전처리를 수행한다. 센서 데이터 신뢰성 판단부(153)는 센서 데이터 전처리부(152)에 의해 전처리된 센서 데이터들 중 외부로부터 수신된 센서 데이터들에 대한 신뢰성을 판단한다.
도로 상황 판단부(154)는 1) 자율주행차량 단말(100)이 설치된 차량 내부에서 생성된 객체 인식 결과, 2) 객체 인식 결과 신뢰성 판단부(151)에 의해 신뢰성이 있는 것으로 판단된 외부로부터 수신한 객체 인식 결과들, 3) 차량 내부에서 생성된 센서 데이터, 4) 센서 데이터 신뢰성 판단부(153)에 의해 신뢰성이 있는 것으로 판단된 외부로부터 수신한 센서 데이터들을 기초로, 도로 상황을 판단한다.
차량 제어부(160)는 도로 상황 판단부(154)에 의해 판단된 도로 상황을 기초로 차량의 주행을 제어한다.
이하에서는 외부로부터 수신된 객체 인식 결과들에 대한 신뢰성 판단 방법에 대해 도 3을 참조하여 상세히 설명한다.
도시된 바와 같이, 먼저 외부로부터 객체 인식 결과가 수신되면(S210-Y), 객체 인식 결과 신뢰성 판단부(151)는 자율주행차량 단말(100)과 객체 인식 결과를 전송한 외부 단말(10,20,30) 간 시간 동기화를 수행하고(S220), 수신 지연시간(tL)을 측정한다(S230). S220단계에서의 시간 동기화는 GPS 수신기의 PPS 값을 기준으로 수행 가능하다.
S230단계에서 측정된 지연시간(tL)이 임계치(tth), 이를 테면 3ms를 초과하는 경우(S240-N), 객체 인식 결과 신뢰성 판단부(151)는 해당 외부 단말(10,20,30)로부터 수신되는 객체 인식 결과에 대해서는 신뢰성을 부여하지 않는다. 이에 의해 해당 외부 단말(10,20,30)로부터 수신되는 객체 인식 결과는 활용되지 않는다.
반면 S230단계에서 측정된 지연시간(tL)이 임계치(tth) 이하인 경우(S240-Y), 객체 인식 결과 신뢰성 판단부(151)는 해당 외부 단말(10,20,30)의 객체 인식률(Pr)을 확인한다(S250).
객체 인식률(Pr)은 해당 외부 단말(10,20,30)로부터 수신하여 확인할 수 있다. 센서의 성능이 우수하고 객체 인식 모델의 성능이 우수할수록 외부 단말(10,20,30)의 객체 인식률은 높다.
S250단계에서 확인된 객체 인식률(Pr)이 임계치(Pth), 이를 테면 90% 미만인 경우(S260-N), 객체 인식 결과 신뢰성 판단부(151)는 해당 외부 단말(10,20,30)로부터 수신되는 객체 인식 결과에 대해서는 신뢰성을 부여하지 않는다. 이에 의해 해당 외부 단말(10,20,30)로부터 수신된 객체 인식 결과는 활용되지 않는다.
반면 S250단계에서 확인된 객체 인식률(Pr)이 임계치(Pth) 이상인 경우(S260-Y), 객체 인식 결과 신뢰성 판단부(151)는 해당 외부 단말(10,20,30)로부터 수신되는 객체 인식 결과에 대해서는 신뢰성을 부여한다(S270).
신뢰성이 부여된 외부 단말(10,20,30)로부터 수신되는 객체 인식 결과에 대해서는, 도로 상황 판단부(154)에 의한 도로 상황 판단에 활용된다.
만약 객체 인식률(Pr)이 임계치 이상인 외부 단말(10,20,30)이 다수 대가 있는 경우, 객체 인식률(Pr)이 가장 높은 외부 단말(10,20,30)의 객체 인식 결과만을 활용할 수 있다.
나아가 다수 대의 외부 단말(10,20,30)에 대한 객체 인식률이 동일하거나 동등한 수준인 경우, 돌발상황 파악을 위한 객체 인지 결과는 자율주행차량 단말(100)과 거리가 가까운 외부 단말(10,20,30)로부터 수신한 객체 인지 결과를 활용한다. 자율주행차량 단말(100)과 외부 단말(10,20,30) 간의 거리는 외부 단말(10,20,30)로부터 수신되는 위치 정보를 활용하여 산출 가능하다.
이하에서는 외부로부터 수신된 센서 데이터들에 대한 신뢰성 판단 방법에 대해 도 4를 참조하여 상세히 설명한다.
도시된 바와 같이, 먼저 외부로부터 센서 데이터가 수신되면(S310-Y), 센서 데이터 전처리부(152)는 수신되는 센서 데이터에 대해 데이터 Cleaning, Integration, Transformation, Reduction, Discretization, Descriptive Charateristics Mining 등의 전처리를 수행한다(S320).
다음 센서 데이터 신뢰성 판단부(153)는 센서 데이터의 수신 지연시간(tL)을 측정한다(S330).
S330단계에서 측정된 지연시간(tL)이 임계치(tth), 이를 테면 3ms를 초과하는 경우(S340-N), 센서 데이터 신뢰성 판단부(153)는 해당 외부 단말(10,20,30)로부터 수신되는 센서 데이터에 대해서는 신뢰성을 부여하지 않는다. 이에 의해 해당 외부 단말(10,20,30)로부터 수신되는 센서 데이터는 활용되지 않는다.
반면 S330단계에서 측정된 지연시간(tL)이 임계치(tth) 이하인 경우(S340-Y), 센서 데이터 신뢰성 판단부(153)는 해당 외부 단말(10,20,30)로부터 수신되는 센서 데이터에 대해서는 신뢰성을 부여한다(S350).
신뢰성이 부여된 외부 단말(10,20,30)로부터 수신되는 센서 데이터에 대해서는, 도로 상황 판단부(154)에 의한 도로 상황 판단에 활용된다.
만약 수신 지연시간(tL)이 임계치 이하인 외부 단말(10,20,30)이 다수 대가 있는 경우, 수신 지연시간(tL)이 가장 짧은 외부 단말(10,20,30)의 센서 데이터만을 활용할 수 있다.
나아가 다수 대의 외부 단말(10,20,30)에 대한 수신 지연시간(tL)이이 동일하거나 동등한 수준인 경우, 자율주행차량 단말(100)과 거리가 가까운 외부 단말(10,20,30)로부터 수신한 센서 데이터를 활용한다.
위 실시예에 따라 자율주행 차량들을 제어하는 응용예를 도 5에 제시하였다. 도 5에 제시된 응용예는 전방 차량이 신호등 인식 결과와 V2I를 통해 신호 제어기로부터 수신한 신호등 정보를 활용하여 교차로 앞에 정차한 상황과, 후속 차량이 전방 차량에 가려서 신호등을 인지하지 못하였지만 전방 차량과의 거리 감소를 인식하고 V2V를 통해 전방 차량으로부터 수신한 신호등 정보를 통해 신호를 인식하여 정차한 상황을 나타내었다.
위 응용예는 차량들이 출발하는 상황에도 적용 가능하다. 예를 들어 신호 대기 후 차량 출발 시 전방 차량을 제외한 후속 챠랑은 신호등을 보지 못할 수 있는데, 이와 같은 상황에서 전방 차량으로부터 신호 정보를 V2V로 제공받아 인식하여 출발하는 것이다. 이 경우 신호 대기 후 후속 차량이 줄줄이 출발 시 최대한 많은 차량들이 신호 내에 지나갈 수 있어 교통 원활과 에너지 절감 모두를 가능하게 하며 체계적으로 자율주행을 할 수 있게 된다.
전술한 실시예에서 신뢰성 부여에 이용한 수신 지연시간의 임계치는 도 5에서 t1과 t2 간의 시간을 증가시킬 수도 있고 감소시킬 수 있기 때문에, 응용서비스의 상황에 다라 적정한 값을 적용하여야 한다.
위 실시예에 따라 자율주행 차량들을 제어하면 도로이용률 증가가 가능하다. 기존의 V2X 방법은 자차에서 얻은 정보를 주로 판단하지만, 위 실시예에서는 주변 차량, 인프라 등의 정보를 수신하여 정보를 활용함에 있어 해당 정보에 대한 신뢰성 판단 결과가 반영되기 때문이다.
예를 들어 도 6에 도시된 바와 같이 d1의 경우 전방 차량에 신뢰성이 부여되었고, 자차에서 판단하는 객체의 결과와 유사하거나 동일한 수준의 신뢰할 수 있는 데이터 수신이 지속적으로 이루어지고 있다. 이러한 상황에서는 전방 차량을 신뢰하는 상황이 되기 때문에 차량의 근접 주행으로 자율 주행이 가능하고, 이는 차량간의 거리 감소, 도로 이용율이 좋아지는 상황을 예상할 수 있다.
지금까지 V2X 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
종래의 기술은 각각의 차량이 자체 센서와 알고리즘을 이용하여 객체를 인지하고 판단하여 객체 정보와 객체의 상황을 분석하여 자율주행 하기 때문에, 각각의 차량이 사물을 인지하고 판단하기 때문에 차량별로 인지/판단된 결과가 다르고, 특정 차량의 경우에서는 잘못된 인지/판단하는 경우가 발생하였다. 예를 들어 신호등이 붉은색 등으로 변경 시 전방 차량은 해당 신호등의 정보를 인지/판단하여 브레이크로 멈추게 되지만, 후속 차량은 신호등의 정보를 앞 차량에 가려 보이지 못하는 경우 앞 차량이 멈추었기 때문에 앞 차량 간의 거리가 좁아지는 부분을 인지/판단하여 속도를 줄이고 브레이크를 밟게 되는 상황이 발생한다.
본 발명의 실시예에서는 해당하는 상황을 해결하기 위해 동일 상황에서 전방 차량은 인지/판단한 객체의 상황 변화(신호등의 변화) 정보를 후속 차량에게 V2X 통신을 통해 전달한다. 이에 따라 후속 차량은 전방 차량에서 전달된 객체의 상황 정보를 수신하면 스스로 판단한 객체의 상황/인지 정보, 그리고 앞 차량에 가려서 판단할 수 없었던 전방 객체의 상황 정보 등을 종합하여 주변 상황을 기존에 자체의 센서로만 인식한 정보와 비교 및 활용하여 기존보다 정확하게 주변 상황을 인지하고 기존보다 앞서 브레이크를 밟을 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 주변차량 단말
20 : 인프라
30 : 보행자 단말
100 : 자율주행차량 단말
110 : 센서 입력부
120 : 객체 인식부
130 : 저장부
140 : 통신부
150 : 판단부
151 : 객체 인식 결과 신뢰성 판단부
152 : 센서 데이터 전처리부
153 : 센서 데이터 신뢰성 판단부
154 : 도로 상황 판단부
160 : 차량 제어부

Claims (12)

  1. 센서 데이터들을 획득하는 단계;
    획득한 센서 데이터들을 분석하여 객체들을 인식하는 단계;
    외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 단계;
    수신된 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단단계;
    수신된 센서 데이터들에 대한 신뢰성을 판단하는 제2 판단단계;
    획득단계에서 획득된 센서 데이터들, 인식단계에서 획득된 객체 인식 결과들, 제1 판단단계에서 신뢰성이 부여된 객체 인식 결과들, 제2 판단단계에서 신뢰성이 부여된 센서 데이터들을 기초로, 도로 상황을 판단하는 제3 판단단계;를 포함하고,
    제1 판단단계는,
    객체 인식 결과의 수신 지연시간을 측정하는 단계;
    측정된 지연시간이 임계치 이하이면, 객체 인식 결과를 전송한 외부 단말의 객체 인식률을 확인하는 단계;
    확인된 객체 인식률이 임계치 이상이면, 객체 인식 결과에 신뢰성을 부여하는 단계;를 포함하는 것을 특징으로 하는 도로 상황 판단 방법.
  2. 청구항 1에 있어서,
    외부 단말들은,
    주변차량의 단말, 인프라, 보행자 단말을 포함하는 것을 특징으로 하는 도로 상황 판단 방법.
  3. 청구항 2에 있어서,
    수신 단계는,
    V2X 통신을 통해, 주변 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 것을 특징으로 하는 도로 상황 판단 방법.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    신뢰성 부여 단계는,
    확인된 객체 인식률이 임계치 미만이면, 객체 인식 결과에 신뢰성을 부여하지 않는 것을 특징으로 하는 도로 상황 판단 방법.
  7. 청구항 1에 있어서,
    제1 판단단계는,
    측정된 지연시간이 임계치를 초과하면, 객체 인식 결과에 신뢰성을 부여하지 않는 것을 특징으로 하는 도로 상황 판단 방법.
  8. 청구항 1에 있어서,
    제2 판단단계는,
    센서 데이터의 수신 지연시간을 측정하는 단계;
    측정된 지연시간이 임계치 이하이면, 센서 데이터에 신뢰성을 부여하는 단계;를 포함하는 것을 특징으로 하는 도로 상황 판단 방법.
  9. 청구항 8에 있어서,
    신뢰성 부여 단계는,
    측정된 지연시간이 임계치를 초과하면, 센서 데이터에 신뢰성을 부여하지 않는 것을 특징으로 하는 도로 상황 판단 방법.
  10. 센서 데이터들을 획득하는 획득부;
    획득한 센서 데이터들을 분석하여 객체들을 인식하는 인식부;
    외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 수신부;
    수신된 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단부;
    수신된 센서 데이터들에 대한 신뢰성을 판단하는 제2 판단부;
    획득부에서 획득된 센서 데이터들, 인식부에서 획득된 객체 인식 결과들, 제1 판단부에서 신뢰성이 부여된 객체 인식 결과들, 제2 판단부에서 신뢰성이 부여된 센서 데이터들을 기초로, 도로 상황을 판단하는 제3 판단부;를 포함하고,
    제1 판단부는,
    객체 인식 결과의 수신 지연시간을 측정하고, 측정된 지연시간이 임계치 이하이면 객체 인식 결과를 전송한 외부 단말의 객체 인식률을 확인하며, 확인된 객체 인식률이 임계치 이상이면, 객체 인식 결과에 신뢰성을 부여하는 것을 특징으로 하는 도로 상황 판단 시스템.
  11. 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 단계;
    수신된 센서 데이터들과 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단단계;
    내부적으로 획득된 센서 데이터들, 내부적으로 획득된 객체 인식 결과들 및 판단단계에서 신뢰성이 부여된 센서 데이터들과 객체 인식 결과들을 기초로, 도로 상황을 판단하는 제2 판단단계;
    판단된 도로 상황을 기초로, 차량주행을 제어하는 단계;를 포함하고,
    제1 판단단계는,
    객체 인식 결과의 수신 지연시간을 측정하는 단계;
    측정된 지연시간이 임계치 이하이면, 객체 인식 결과를 전송한 외부 단말의 객체 인식률을 확인하는 단계;
    확인된 객체 인식률이 임계치 이상이면, 객체 인식 결과에 신뢰성을 부여하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
  12. 외부 단말들로부터 센서 데이터들과 객체 인식 결과들을 수신하는 수신부;
    수신된 센서 데이터들과 객체 인식 결과들에 대한 신뢰성을 판단하는 제1 판단부;
    내부적으로 획득된 센서 데이터들, 내부적으로 획득된 객체 인식 결과들 및 제1 판단부에서 신뢰성이 부여된 센서 데이터들과 객체 인식 결과들을 기초로, 도로 상황을 판단하는 제2 판단부;
    판단된 도로 상황을 기초로, 차량주행을 제어하는 제어부;를 포함하고,
    제1 판단부는,
    객체 인식 결과의 수신 지연시간을 측정하고, 측정된 지연시간이 임계치 이하이면 객체 인식 결과를 전송한 외부 단말의 객체 인식률을 확인하며, 확인된 객체 인식률이 임계치 이상이면, 객체 인식 결과에 신뢰성을 부여하는 것을 특징으로 하는 차량 제어 시스템.
KR1020230052736A 2023-04-21 2023-04-21 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법 Active KR102586666B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020230052736A KR102586666B1 (ko) 2023-04-21 2023-04-21 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법
JP2024066682A JP7714725B2 (ja) 2023-04-21 2024-04-17 Ｖ２ｘ通信環境においてセンサデータおよびオブジェクト認識結果の共有を通じた道路状況の判断方法
EP24170959.1A EP4459594A1 (en) 2023-04-21 2024-04-18 Method for determining road conditions by sharing sensor data and object recognition results in v2x communication environment
US18/640,859 US20240357328A1 (en) 2023-04-21 2024-04-19 Method for determining road conditions by sharing sensor data and object recognition results in v2x communication environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230052736A KR102586666B1 (ko) 2023-04-21 2023-04-21 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법

Publications (1)

Publication Number Publication Date
KR102586666B1 true KR102586666B1 (ko) 2023-10-10

Family

ID=88291907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230052736A Active KR102586666B1 (ko) 2023-04-21 2023-04-21 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법

Country Status (4)

Country Link
US (1) US20240357328A1 (ko)
EP (1) EP4459594A1 (ko)
JP (1) JP7714725B2 (ko)
KR (1) KR102586666B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250089107A (ko) 2023-12-11 2025-06-18 주식회사 스칼라웍스 포즈 추정 기반의 객체 상태인식 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220071513A (ko) * 2020-11-24 2022-05-31 주식회사 모베이스전자 자율주행차량의 센서 동기화와 프로토콜 변환시 발생하는 레이턴시 결정 방법 및 장치
KR20220143404A (ko) * 2021-04-16 2022-10-25 현대자동차주식회사 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345832B2 (ja) * 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
US8831869B2 (en) * 2009-03-31 2014-09-09 GM Global Technology Operations LLC Using V2X-based in-network message generation, aggregation, distribution and processing protocols to enable road hazard condition warning applications
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
US10930152B2 (en) * 2017-06-20 2021-02-23 Hitachi, Ltd. Travel control system
US10311728B2 (en) * 2017-08-11 2019-06-04 Here Global B.V. Method and apparatus for providing a confidence-based road event message
US11232350B2 (en) * 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
DE112018007416T5 (de) * 2018-03-30 2021-01-07 Sumitomo Electric Industries, Ltd. System, Servercomputer dafür, Steuerverfahren und Computerprogramm
US11173921B2 (en) * 2018-11-19 2021-11-16 Micron Technology, Inc. Sensor fusion to determine reliability of autonomous vehicle operation
US12586464B2 (en) * 2019-10-09 2026-03-24 Sony Group Corporation Information processing apparatus, information processing system, and information processing method
DE112021003340T8 (de) 2020-06-23 2023-07-06 Denso Corporation Hindernisinformationsverwaltungsvorrichtung, hindernisinformationsverwaltungsverfahren und vorrichtung für ein fahrzeug
JP7466396B2 (ja) * 2020-07-28 2024-04-12 株式会社Soken 車両制御装置
US20230115240A1 (en) * 2021-10-13 2023-04-13 Arriver Software Llc Advanced driver-assistance systems feature activation control using digital map and on-board sensing to confirm safe vehicle operation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220071513A (ko) * 2020-11-24 2022-05-31 주식회사 모베이스전자 자율주행차량의 센서 동기화와 프로토콜 변환시 발생하는 레이턴시 결정 방법 및 장치
KR20220143404A (ko) * 2021-04-16 2022-10-25 현대자동차주식회사 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250089107A (ko) 2023-12-11 2025-06-18 주식회사 스칼라웍스 포즈 추정 기반의 객체 상태인식 장치 및 방법

Also Published As

Publication number Publication date
JP7714725B2 (ja) 2025-07-29
US20240357328A1 (en) 2024-10-24
EP4459594A1 (en) 2024-11-06
JP2024155810A (ja) 2024-10-31

Similar Documents

Publication Publication Date Title
KR102496654B1 (ko) 차량의 주행모드 전환 제어 장치 및 방법, 그리고 차량 시스템
KR102295577B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주행 차로 판단 방법
CN113741485A (zh) 车路协同自动驾驶的控制方法、装置、电子设备及车辆
CN112580571A (zh) 车辆行驶的控制方法、装置及电子设备
JP6984312B2 (ja) 車載装置、情報処理システム、及び情報処理方法
CN112241004B (zh) 物体识别装置
JPWO2017159176A1 (ja) 自動運転支援システム、および、自動運転支援方法
CN114323693B (zh) 车路云感知系统的测试方法、装置、设备及存储介质
KR102616571B1 (ko) 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템
KR102367138B1 (ko) 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
KR102154589B1 (ko) 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
CN115171077A (zh) 一种传感器的处理方法、装置、设备和存储介质
JP7714725B2 (ja) Ｖ２ｘ通信環境においてセンサデータおよびオブジェクト認識結果の共有を通じた道路状況の判断方法
CN114720148B (zh) 车辆感知能力的确定方法、装置、设备及存储介质
CN114842431B (zh) 一种识别道路护栏的方法、装置、设备及存储介质
US20240391503A1 (en) Autonomous vehicle capable of precise position correction based on collaborative cognition and method for correcting the same
CN115641569B (zh) 驾驶场景处理方法、装置、设备及介质
CN115610444A (zh) 自动驾驶方法、装置、设备以及存储介质
KR102839047B1 (ko) V2x 통신환경에서 c-its 연계를 통한 객체 간 위치 추정 및 방향 인지 시스템 및 그 방법
CN113625278A (zh) 用于控制雷达传感器的装置及方法
KR20250069437A (ko) 주행 환경에 따른 가변적 센서 활용 기반 자율주행 차량 제어 시스템 및 그 방법
US20240169556A1 (en) Sensor Fusion System And Method Of Managing Track In Sensor Fusion System
KR102949429B1 (ko) 자율주행 시스템 외부 이상 대응 방법 및 장치
KR102743894B1 (ko) 자율주행 차량의 안전성 평가 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102852552B1 (ko) 자율주행 차량의 가상 차선을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230421

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20230424

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20230421

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230519

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230925

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231004

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231004

End annual number: 3

Start annual number: 1

PG1601 Publication of registration