KR20250065445A - 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템 - Google Patents

무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템 Download PDF

Info

Publication number
KR20250065445A
KR20250065445A KR1020230148201A KR20230148201A KR20250065445A KR 20250065445 A KR20250065445 A KR 20250065445A KR 1020230148201 A KR1020230148201 A KR 1020230148201A KR 20230148201 A KR20230148201 A KR 20230148201A KR 20250065445 A KR20250065445 A KR 20250065445A
Authority
KR
South Korea
Prior art keywords
map
bev
point cloud
lidar
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020230148201A
Other languages
English (en)
Inventor
원종훈
이동주
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020230148201A priority Critical patent/KR20250065445A/ko
Publication of KR20250065445A publication Critical patent/KR20250065445A/ko
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템이 제시된다. 본 발명에서 제안하는 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 시스템을 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 센서 시스템, 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 맵 생성 모듈 및 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 통신 유닛을 포함한다.

Description

무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템{Method and System for Enhancement of Object Perception of Autonomous Driving Vehicles Through Lidar Data Transmission from UAV}
본 발명은 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템에 관한 것이다.
자율주행차는 라이다, 레이더, 카메라와 같은 센서들을 통해 주변 객체와 환경을 정밀하게 감지한다. 이런 센서들은 차량의 주변 환경 정보를 종합적으로 획득하는데 있어 핵심적인 역할을 한다. 특히, 라이다는 905nm 혹은 1550nm 파장의 전자기파를 사용해 cm 단위의 정확도로 객체의 형태와 거리를 감지한다. 그렇지만 도로 상황이나 다른 차량의 동작에 따라 센서가 감지하기 어려운 폐색 구역이 생길 수 있다.
반면, UAV 기술은 다양한 산업 분야에서 급속도로 발전하고 있으며, 특히 물류와 군사 분야에서 그 중요성이 부각되고 있다. UAV의 안전한 운행과 충돌 방지를 위한 기술은 라이다의 정밀한 거리 측정 능력에 크게 의존한다. 이런 배경 속에서, UAV 라이다를 활용해 자율주행차의 감지 능력을 강화하는 기술은 아직 개발되지 않았다.
한국 등록특허 제10-1610502호(2016.04.01)
본 발명이 이루고자 하는 기술적 과제는 무인비행체에 탑재된 라이다를 통해 획득한 한 바퀴의 점군(Single Sweep Point Cloud) 데이터를 BEV(Bird's-Eye View) 지도 정보로 변환하여 감지가 어려운 영역의 정보를 보완하는 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템을 제공하는데 있다. 또한, 더욱 안정적인 자율주행 인프라를 구현하기 위한 목적도 포함한다.
일 측면에 있어서, 본 발명에서 제안하는 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 시스템을 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 센서 시스템, 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 맵 생성 모듈 및 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 통신 유닛을 포함한다.
상기 센서 시스템은 한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔하기 위한 라이다, 상기 라이다의 움직임에 따른 왜곡을 보정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU) 및 위성항법시스템(Global Positioning System; GPS)을 포함하고, 상기 라이다는 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간하고, 라이다의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성한다.
상기 맵 생성 모듈은 높이, 강도, 밀도에 관한 벡터를 통해 표현되는 높이를 나타내는 높이(height) 지도, 반사 신호 강도를 표현하는 강도(intensity) 지도 및 점의 밀도를 나타내는 밀도(density) 지도를 포함하는 BEV 지도로 변환한다.
상기 맵 생성 모듈은 상기 BEV 지도로 변환하기 위해 복수의 점군을 갖는 한 바퀴의 점군 지도에 대하여 라이다의 최대 측정 유효 거리에 따른 관심 영역을 설정하고, 관심 영역 외의 점군을 삭제하며, 미리 정해진 해상도를 갖는 이산 그리드 셀로 변환하고, 해당 이산 그리드 셀을 통해 높이 지도, 강도 지도 및 밀도 지도를 포함하는 BEV 지도로 변환한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법은 센서 시스템을 통해 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 단계, 맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 단계 및 통신 유닛을 통해 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 단계를 포함한다.
본 발명의 실시예들에 따르면 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템을 통해 자율주행차는 복수의 UAV의 BEV 지도들을 실시간으로 통합하여 최적의 주행 환경 정보를 확보하고, 주변 환경의 변화나 도로 상황, 폐색 구역, 타 차량의 동작 등을 UAV의 높은 고도 시점과 라이다 측정을 활용하여 보완할 수 있다. 이러한 통합 정보를 통해 자율주행차의 주행 안정성을 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 한 바퀴의 점군 지도 생성 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인비행체의 센서 시스템의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 2D BEV 지도 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 BEV 지도를 통해 차량을 감지한 예시를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법을 설명하기 위한 흐름도이다.
무인비행체(Unmanned Aerial Vehicle; UAV)에 장착된 라이다를 이용하여 자율주행차의 측정 불가 지역을 보완하는 방법 및 시스템에 관한 것으로, 도로와 주변 차량 등의 장애물로 인해 폐색되는 지역이 발생할 때, 고도에서 작동하는 UAV의 라이다가 이러한 제약을 받지 않는 점을 활용하는 것을 목적으로 한다. UAV의 라이다에서 얻은 한 바퀴의 점군(Single Sweep Point Cloud) 측정 결과를 2차원 형식의 지도로 변환 후 교통 인프라 서버로 전송하게 된다. 이후, 자율주행차는 교통 인프라 서버에 접속하여 현재 시간에 해당하는 위치의 2차원 지도를 다운로드 받게 되며, 이를 통해 폐색 구역과 비정형 구간처럼 측정이 어려운 대상에 필요한 추가 정보를 얻게 된다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 시스템의 구성을 나타내는 도면이다.
본 발명은 UAV에 장착된 라이다를 활용하여 자율주행차의 측정을 보완하는 기술을 제안한다. 특히, 자율주행차에서 도로나 인접한 장애물에 의해 생성되는 폐색 구역을 UAV의 높은 시점에서 라이다로 정밀하게 감지하여 해당 구역을 보완한다. UAV와 자율주행차의 라이다 측정치를 실시간으로 직접 매칭하는 것은 복잡하므로, UAV의 측정 결과는 2D BEV(Bird Eye View) 지도로 변환되어 교통 인프라 서버에 저장된다. 여기서, 복수의 UAV의 BEV 지도 정보를 통합 저장할 수 있다. 이후 자율주행차는 현재 차량의 위치 주변의 지도 정보를 실시간으로 다운로드하여 주행 정보로 활용한다.
본 발명의 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 시스템은 무인비행체(110), 교통 인프라 서버(120) 및 자율주행차(130)으로 구성된다.
본 발명의 실시예에 따른 무인비행체(110)는 센서 시스템(111), 맵 생성 모듈(112) 및 통신 유닛(113)을 포함한다.
본 발명의 실시예에 따른 센서 시스템(111)은 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성한다.
본 발명의 실시예에 따른 센서 시스템(111)은 한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔하기 위한 라이다, 상기 라이다의 움직임에 따른 왜곡을 보정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU) 및 위성항법시스템(Global Positioning System; GPS)을 포함한다.
본 발명의 실시예에 따른 라이다는 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간한다.
본 발명의 실시예에 따른 라이다의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성한다.
본 발명의 실시예에 따른 맵 생성 모듈(112)은 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환한다.
본 발명의 실시예에 따른 맵 생성 모듈(112)은 높이, 강도, 밀도에 관한 벡터를 통해 표현되는 높이를 나타내는 높이(height) 지도, 반사 신호 강도를 표현하는 강도(intensity) 지도 및 점의 밀도를 나타내는 밀도(density) 지도를 포함하는 BEV 지도로 변환한다.
본 발명의 실시예에 따른 맵 생성 모듈(112)은 상기 BEV 지도로 변환하기 위해 복수의 점군을 갖는 한 바퀴의 점군 지도에 대하여 라이다의 최대 측정 유효 거리에 따른 관심 영역을 설정하고, 관심 영역 외의 점군을 삭제한다.
본 발명의 실시예에 따른 맵 생성 모듈(112)은 미리 정해진 해상도를 갖는 이산 그리드 셀로 변환하고, 해당 이산 그리드 셀을 통해 높이 지도, 강도 지도 및 밀도 지도를 포함하는 BEV 지도로 변환한다.
본 발명의 실시예에 따른 통신 유닛(113)은 상기 변환된 BEV 지도를 교통 인프라 서버(120)에 실시간으로 전송하여 자율주행차(130)가 다운받도록 한다.
본 발명의 주된 목적은 무인비행체(110)를 활용한 실시간 교통 인프라 정보의 통합과 자율주행차와의 정보 공유를 통한 주행 환경의 안정성을 향상시키는 것이다. 본 발명에서 제안하는 무인비행체(110) 기반의 교통 인프라 지도 정보 통합 방법은 복수의 무인비행체(110), 교통 인프라 서버, 그리고 자율주행차 간의 동적인 상호작용에 최적화되어 있다.
본 발명의 실시예에 따른 자율주행차(130)는 네트워크를 통해 교통 인프라 서버(120)에 접속하여 현재 위치를 기준으로 주변 BEV 지도 정보를 다운로드 한다. 무인비행체(110)와 자율주행차(130)가 교통 인프라 서버(120)와의 데이터 전송과 접근에 사용하는 통신 기술은 DSRC, WIFI, 블루투스, 4G, 5G, 와이브로 등이 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 한 바퀴의 점군 지도 생성 과정을 설명하기 위한 도면이다.
도 2는 360˚ 수평 측정 영역을 갖는 라이다 기반 한 바퀴의 점군(Single Sweep Point Cloud) 지도 생성 방법을 설명하기 위한 도면이다. 제안하는 방법은 라이다의 전자기파(예를 들어, 905nm 또는 1550nm), 라이다 센서 내부 로터 또는 전자 부품을 통한 레이저 빔 스캔(210), 스윕(Sweep) 진행 중인 점군(Point Cloud) 생성(220), 그리고 완성된 한 바퀴의 점군 지도(230)로 구성된다. 로터의 회전과 함께 레이저 빔이 수평 영역을 스캔하면서 점군 데이터가 생성되며, 점군 데이터를 이용하여 완성된 한 바퀴의 점군 지도(230)를 도시하였다.
라이다가 고정되지 않은 상태에서 움직일 때, 한 바퀴의 점군 지도 구축 과정에서 움직임에 따른 왜곡이 발생할 수 있다. 이러한 왜곡을 보정하기 위해, 관성 측정 장치(Inertial Measurement Unit; IMU)와 위성항법시스템(Global Positioning System; GPS) 기술을 통합하여 사용한다. 라이다 센서는 일정한 각속도로 작동한다는 가정 하에, 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군 간의 위치 차이를 선형 보간한다. 이 과정에서는 다양한 알고리즘이 도입될 수 있으며, 그 중에서도 최적의 방법을 선택하여 사용한다.
도 3은 본 발명의 일 실시예에 따른 무인비행체의 센서 시스템의 구성을 나타내는 도면이다.
본 발명의 일 실시예에 따른 무인비행체의 센서 시스템(300)은 한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔하기 위한 라이다(310), 상기 라이다의 움직임에 따른 왜곡을 보정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU)(330) 및 위성항법시스템(Global Positioning System; GPS)(320)을 포함한다. IMU(330)는 무인비행체의 비행 중 롤, 피치 변화에 따른 측정 결과 회전 변환 왜곡 또한 보정한다.
본 발명의 일 실시예에 따른 라이다(310)는 현재의 위치, 가속 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간하고, 라이다(310)의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성한다.
도 4는 본 발명의 일 실시예에 따른 2D BEV 지도 생성 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 2D BEV 지도 생성 과정에 관한 개략적인 설명을 위한 도면이다. 카메라로부터 얻은 RGB 이미지(410)는 레드(Red)(411), 그린(Green)(412), 블루(Blue)(413)의 세 가지 구성 요소로 표현된다.
본 발명의 2D BEV 지도(420)는 이와 유사하게 세 가지 벡터를 통해 표현될 수 있으며, 이에는 높이를 나타내는 높이(height) 지도(421), 반사 신호 강도를 표현하는 강도(intensity) 지도(422) 및 점의 밀도를 나타내는 밀도(density) 지도(423)를 포함한다. 이때 BEV 지도를 만들기 위한 n개의 점을 갖는 한 바퀴의 점군(Single Sweep Point Cloud)은 다음과 같이 표현될 수 있다:
이때 라이다의 분해능, 측정환경에 따라 점의 개수 n은 달라질 수 있다. 그리고 임의의 n보다 작거나 같은 i 번째 점 는 x위치 값, y 위치 값, z 위치 값, 반사 신호 강도 값을 갖으며 이는 아래와 같이 표현할 수 있다:
여기서 라이다의 최대 측정 유효 거리 등을 고려해 관심 영역(Region of Interest; ROI)을 설정해 ROI 영역 외의 점을 삭제한다. 이를 통해 점군을 의 해상도를 갖는 이산 그리드 셀로 변환한다. 해당 그리드 셀을 통해 높이 지도(421), 강도 지도(422), 밀도 지도(423)는 다음과 같이 표현된다.
높이 지도(421) 은 측정 대상 셀의 최대 z 높이를 나타낸다. 강도 지도(422) 는 측정 대상 셀의 강도의 합을 나타내며 K는 해당 셀의 점 개수를 나타낸다. 밀도 지도(423) 은 측정 대상 셀의 점 밀도를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 BEV 지도를 통해 차량을 감지한 예시를 나타내는 도면이다.
도 5를 참조하면 한 바퀴의 점군 지도를 높이 지도, 강도 지도, 밀도 지도로 변환하고, 3개의 지도를 조합해 하나의 BEV 지도를 획득하고 이를 이용해 차량(510)을 감지한 예시이다.
도 6은 본 발명의 일 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법을 설명하기 위한 흐름도이다.
본 발명의 실시예에 따른 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법은 센서 시스템을 통해 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 단계(610), 맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 단계(620) 및 통신 유닛을 통해 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 단계(630)를 포함한다.
단계(610)에서, 센서 시스템을 통해 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성한다.
본 발명의 실시예에 따르면, 라이다를 통해 한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔한다(611).
본 발명의 실시예에 따르면, 라이다는 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간하고, 라이다의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성한다.
본 발명의 실시예에 따르면, 관성 측정 장치(Inertial Measurement Unit; IMU) 및 위성항법시스템(Global Positioning System; GPS)을 통해 상기 라이다의 움직임에 따른 왜곡을 보정한다(612).
단계(620)에서, 맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환한다.
본 발명의 실시예에 따르면, 높이, 강도, 밀도에 관한 벡터를 통해 표현되는 높이를 나타내는 높이(height) 지도, 반사 신호 강도를 표현하는 강도(intensity) 지도 및 점의 밀도를 나타내는 밀도(density) 지도를 생성한다(621).
본 발명의 실시예에 따르면, BEV 지도로 변환하기 위해 복수의 점군을 갖는 한 바퀴의 점군 지도에 대하여 라이다의 최대 측정 유효 거리에 따른 관심 영역을 설정하고, 관심 영역 외의 점군을 삭제하며, 미리 정해진 해상도를 갖는 이산 그리드 셀로 변환하고, 해당 이산 그리드 셀을 통해 높이 지도, 강도 지도 및 밀도 지도를 포함하는 BEV 지도로 변환한다(622).
단계(630)에서, 통신 유닛을 통해 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 한다.
단계(640)에서, 자율주행차는 네트워크를 통해 교통 인프라 서버에 접속하여 현재 위치를 기준으로 주변 BEV 지도 정보를 다운로드 한다. 무인비행체와 자율주행차가 교통 인프라 서버와의 데이터 전송과 접근에 사용하는 통신 기술은 DSRC, WIFI, 블루투스, 4G, 5G, 와이브로 등이 포함될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 무인비행체를 통한 자율주행차 객체 인식 보완 시스템에 있어서,
    주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 센서 시스템;
    상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 맵 생성 모듈; 및
    상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 통신 유닛
    을 포함하는 무인비행체를 통한 자율주행차 객체 인식 보완 시스템.
  2. 제1항에 있어서,
    상기 센서 시스템은,
    한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔하기 위한 라이다;
    상기 라이다의 움직임에 따른 왜곡을 보정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU); 및
    위성항법시스템(Global Positioning System; GPS)
    을 포함하고,
    상기 라이다는 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간하고,
    라이다의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성하는
    무인비행체를 통한 자율주행차 객체 인식 보완 시스템.
  3. 제1항에 있어서,
    상기 맵 생성 모듈은,
    높이, 강도, 밀도에 관한 벡터를 통해 표현되는 높이를 나타내는 높이(height) 지도, 반사 신호 강도를 표현하는 강도(intensity) 지도 및 점의 밀도를 나타내는 밀도(density) 지도를 포함하는 BEV 지도로 변환하는
    무인비행체를 통한 자율주행차 객체 인식 보완 시스템.
  4. 제3항에 있어서,
    상기 맵 생성 모듈은,
    상기 BEV 지도로 변환하기 위해 복수의 점군을 갖는 한 바퀴의 점군 지도에 대하여 라이다의 최대 측정 유효 거리에 따른 관심 영역을 설정하고, 관심 영역 외의 점군을 삭제하며,
    미리 정해진 해상도를 갖는 이산 그리드 셀로 변환하고, 해당 이산 그리드 셀을 통해 높이 지도, 강도 지도 및 밀도 지도를 포함하는 BEV 지도로 변환하는
    무인비행체를 통한 자율주행차 객체 인식 보완 시스템.
  5. 무인비행체를 통한 자율주행차 객체 인식 보완 방법에 있어서,
    센서 시스템을 통해 주변 환경을 스캔하여 한 바퀴의 점군(Single Sweep Point Cloud) 지도를 생성하는 단계;
    맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV(Bird Eye View) 지도로 변환하는 단계; 및
    통신 유닛을 통해 상기 변환된 BEV 지도를 교통 인프라 서버에 실시간으로 전송하여 자율주행차가 다운받도록 하는 단계
    를 포함하는 무인비행체를 통한 자율주행차 객체 인식 보완 방법.
  6. 제5항에 있어서,
    상기 센서 시스템을 통해 주변 환경을 스캔하여 한 바퀴의 점군 지도를 생성하는 단계는,
    라이다를 통해 한 바퀴의 점군 지도를 생성하기 위해 주변 환경을 스캔하고,
    관성 측정 장치(Inertial Measurement Unit; IMU) 및 위성항법시스템(Global Positioning System; GPS)을 통해 상기 라이다의 움직임에 따른 왜곡을 보정하며,
    상기 라이다는 현재의 위치, 가속도 및 각속도 데이터를 활용하여 점군(Point Cloud) 간의 위치 차이를 선형 보간하고,
    라이다의 로터의 회전과 함께 레이저 빔 스캔을 통해 수평 영역을 스캔하면서 점군 데이터를 생성하고, 상기 점군 데이터를 이용하여 한 바퀴의 점군 지도를 생성하는
    무인비행체를 통한 자율주행차 객체 인식 보완 방법.
  7. 제5항에 있어서,
    상기 맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV 지도로 변환하는 단계는,
    높이, 강도, 밀도에 관한 벡터를 통해 표현되는 높이를 나타내는 높이(height) 지도, 반사 신호 강도를 표현하는 강도(intensity) 지도 및 점의 밀도를 나타내는 밀도(density) 지도를 포함하는 BEV 지도로 변환하는
    무인비행체를 통한 자율주행차 객체 인식 보완 방법.
  8. 제7항에 있어서,
    상기 맵 생성 모듈을 통해 상기 생성된 지도에 대하여 높이, 강도, 밀도에 관한 벡터를 이용하여 BEV 지도로 변환하는 단계는,
    상기 BEV 지도로 변환하기 위해 복수의 점군을 갖는 한 바퀴의 점군 지도에 대하여 라이다의 최대 측정 유효 거리에 따른 관심 영역을 설정하고, 관심 영역 외의 점군을 삭제하며,
    미리 정해진 해상도를 갖는 이산 그리드 셀로 변환하고, 해당 이산 그리드 셀을 통해 높이 지도, 강도 지도 및 밀도 지도를 포함하는 BEV 지도로 변환하는
    무인비행체를 통한 자율주행차 객체 인식 보완 방법.
KR1020230148201A 2023-10-31 2023-10-31 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템 Ceased KR20250065445A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230148201A KR20250065445A (ko) 2023-10-31 2023-10-31 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230148201A KR20250065445A (ko) 2023-10-31 2023-10-31 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20250065445A true KR20250065445A (ko) 2025-05-13

Family

ID=95707751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230148201A Ceased KR20250065445A (ko) 2023-10-31 2023-10-31 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20250065445A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610502B1 (ko) 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610502B1 (ko) 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법

Similar Documents

Publication Publication Date Title
US20230274653A1 (en) Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
US12222218B2 (en) Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle
US10817734B2 (en) Information processing apparatus, information processing method, and computer program product
US11143514B2 (en) System and method for correcting high-definition map images
US20210341614A1 (en) Movable object for performing real-time mapping
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
EP3441906B1 (en) Information processing apparatus, moving object, information processing method, and computer-readble medium
JP2018189463A (ja) 車両位置推定装置及びプログラム
KR20200109116A (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
KR102312012B1 (ko) 무인 비행체의 거리 센서를 이용한 지표면의 공중 분석
CN116867699A (zh) 用于自动驾驶车辆和模拟器的地图的迭代扭曲的方法、系统和计算机程序产品
CN118225092A (zh) 一种飞行器自动巡航方法及融合激光雷达的视觉里程计
CN112041210B (zh) 用于自动驾驶的系统和方法
CN112105956B (zh) 用于自动驾驶的系统和方法
CN117387644A (zh) 定位方法、装置、电子设备、存储介质及程序产品
EP3416094B1 (en) Information processing apparatus, information processing method, and computer readable medium
KR20250065445A (ko) 무인비행체 라이다 데이터 실시간 전송을 통한 자율주행차 객체 인식 보완 방법 및 시스템
CN110427034B (zh) 一种基于车路协同的目标追踪系统及方法
CN113826145B (zh) 距离测量的系统和方法
US12117536B2 (en) Systems and methods for transforming autonomous aerial vehicle sensor data between platforms
US20250155254A1 (en) Localization with point to line matching
CN119908112A (zh) 信息处理装置、信息处理方法以及信息处理程序

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

B15 Application refused following examination

Free format text: ST27 STATUS EVENT CODE: N-2-6-B10-B15-EXM-PE0601 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000