KR20200020969A - 지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정 - Google Patents

지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정 Download PDF

Info

Publication number
KR20200020969A
KR20200020969A KR1020207004418A KR20207004418A KR20200020969A KR 20200020969 A KR20200020969 A KR 20200020969A KR 1020207004418 A KR1020207004418 A KR 1020207004418A KR 20207004418 A KR20207004418 A KR 20207004418A KR 20200020969 A KR20200020969 A KR 20200020969A
Authority
KR
South Korea
Prior art keywords
image
data
vehicle
camera
yaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207004418A
Other languages
English (en)
Other versions
KR102319191B1 (ko
Inventor
존 티스데일
미카엘 몬테메를로
앤드류 채텀
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200020969A publication Critical patent/KR20200020969A/ko
Application granted granted Critical
Publication of KR102319191B1 publication Critical patent/KR102319191B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

본 개시내용은 라이다(LIDAR) 디바이스들 및/또는 카메라 디바이스들로부터 수신된 지도 데이터와 센서 데이터의 다양한 조합들에 기초하여 차량의 포즈의 결정을 용이하게 하는 방법들 및 시스템들에 관한 것이다. 예시적인 방법은 LIDAR 디바이스로부터 포인트 클라우드 데이터를 수신하는 단계, 및 포인트 클라우드 데이터를 변환하여 탑-다운 이미지를 제공하는 단계를 포함한다. 방법은 또한 탑-다운 이미지를 기준 이미지와 비교하는 단계, 및 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다. 대안적인 방법은 카메라로부터 카메라 이미지 데이터를 수신하는 단계, 및 카메라 이미지 데이터를 변환하여 탑-다운 이미지를 제공하는 단계를 포함한다. 방법은 또한 탑-다운 이미지를 기준 이미지와 비교하는 단계, 및 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다.

Description

지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정
<관련 출원들에 대한 상호-참조>
본 출원은 2017년 7월 25일자로 출원된 미국 특허 출원 제15/658,800호의 이익을 주장하며, 그 내용은 본 명세서에 참조로 포함된다.
본 명세서에서 달리 지시되지 않는 한, 본 섹션에 설명된 내용들은 본 출원의 청구 범위에 대한 종래 기술이 아니며, 본 섹션에 포함됨으로써 종래 기술인 것으로 인정되지 않는다.
차량들은 운전자로부터의 입력이 거의 없거나 전혀 없는 환경을 통해 차량이 내비게이팅하는 자율 모드에서 작동하도록 구성될 수 있다. 자율 차량들은 차량이 작동하는 환경에 관한 정보를 검출하도록 구성되는 하나 이상의 센서를 포함할 수 있다.
이러한 센서들은 라이다(light detection and ranging)(LIDAR) 디바이스를 포함할 수 있다. LIDAR는 환경에서의 반사성 표면들을 나타내는 "포인트 클라우드"를 어셈블링하기 위해 장면을 스캔하면서 환경 피처들까지의 거리를 추정할 수 있다. 다른 센서들은 차량 주변 환경의 이미지 프레임들을 캡처하도록 구성된 가시광 카메라, 및/또는 라디오 주파수 신호들을 사용하여 객체들을 검출하도록 구성된 RADAR 디바이스를 포함할 수 있다.
본 개시내용은 라이다(light detection and ranging)(LIDAR) 디바이스들 및/또는 카메라 디바이스들로부터 수신된 지도 데이터 및 센서 데이터의 다양한 조합들에 기초하여 차량의 포즈를 결정하는 것을 용이하게 하는 방법들 및 시스템들에 관한 것이다. 예를 들어, 본 개시내용은 차량 포즈 추정기의 요 에러를 결정 및 보정하기 위한 시스템들 및 방법들을 제공할 수 있다.
제1 양태에서는, 방법이 제공된다. 방법은 라이다(LIDAR) 디바이스로부터 포인트 클라우드 데이터를 수신하는 단계를 포함한다. 방법은 또한 포인트 클라우드 데이터를 변환하여 탑-다운 이미지(top-down image)를 제공하는 단계를 포함한다. 방법은 탑-다운 이미지를 기준 이미지(reference image)와 비교하는 단계; 및 비교에 기초하여, 요 에러(yaw error)를 결정하는 단계를 추가로 포함한다.
제2 양태에서는, 방법이 제공된다. 방법은 카메라로부터 카메라 이미지 데이터를 수신하는 단계, 및 카메라 이미지 데이터를 변환하여 탑-다운 이미지를 제공하는 단계를 포함한다. 방법은 또한 탑-다운 이미지를 기준 이미지와 비교하는 단계, 및 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다.
제3 양태에서는, 방법이 제공된다. 방법은 기준 데이터를 수신하는 단계 - 기준 데이터는 오버헤드 관점(overhead perspective)으로부터 제공됨 - 를 포함한다. 방법은 기준 데이터를 카메라의 시야에 대응하도록 변환하는 단계, 및 카메라로부터 카메라 이미지 데이터를 수신하는 단계를 추가로 포함한다. 방법은 변환된 기준 데이터를 카메라 이미지 데이터와 비교하는 단계, 및 비교에 기초하여, 요 에러를 결정하는 단계를 추가로 포함한다.
다른 양태들, 실시예들 및 구현들은 적절한 경우에 첨부 도면들을 참조하여 이하의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다.
도 1은 예시적인 실시예에 따른 시스템을 예시한다.
도 2는 예시적인 실시예에 따른 차량을 예시한다.
도 3a는 예시적인 실시예에 따른 탑-다운 지도 이미지를 예시한다.
도 3b는 예시적인 실시예에 따른 탑-다운 카메라 이미지를 예시한다.
도 3c는 예시적인 실시예에 따른 탑-다운 집성 이미지(top-down aggregate image)를 예시한다.
도 3d는 예시적인 실시예에 따른 탑-다운 집성 이미지를 예시한다.
도 4a는 예시적인 실시예에 따른 탑-다운 지도 이미지를 예시한다.
도 4b는 예시적인 실시예에 따른 탑-다운 LIDAR 이미지를 예시한다.
도 4c는 예시적인 실시예에 따른 탑-다운 집성 이미지를 예시한다.
도 4d는 예시적인 실시예에 따른 탑-다운 집성 이미지를 예시한다.
도 5a는 예시적인 실시예에 따른 전방 지도 이미지를 예시한다.
도 5b는 예시적인 실시예에 따른 전방 카메라 이미지를 예시한다.
도 5c는 예시적인 실시예에 따른 전방 집성 이미지를 예시한다.
도 5d는 예시적인 실시예에 따른 전방 집성 이미지를 예시한다.
도 6은 예시적인 실시예에 따른 방법을 예시한다.
도 7은 예시적인 실시예에 따른 방법을 예시한다.
도 8은 예시적인 실시예에 따른 방법을 예시한다.
예시적인 방법들, 디바이스들 및 시스템들이 본 명세서에서 설명된다. "예" 및 "예시적인"이라는 단어들은 본 명세서에서 "예, 인스턴스 또는 예시로서 역할하는"을 의미하기 위해 사용된다는 것이 이해되어야 한다. "예" 또는 "예시적인"것으로 본 명세서에서 설명된 임의의 실시예 또는 피처는 반드시 다른 실시예들 또는 피처들보다 바람직하거나 유리한 것으로 해석되지는 않는다. 본 명세서에 제시된 대상의 범위를 벗어나지 않으면서, 다른 실시예들이 활용될 수 있고, 다른 변경들이 이루어질 수 있다.
따라서, 본 명세서에서 설명된 예시적인 실시예들은 제한적인 것으로 의도되지 않는다. 본 명세서에서 일반적으로 설명되고 도면들에서 예시된 바와 같이, 본 개시내용의 양태들은 광범위한 상이한 구성들로 배열, 대체, 조합, 분리 및 설계될 수 있으며, 이들 모두가 본 명세서에서 고려된다.
또한, 문맥상 달리 제시되지 않는 한, 각각의 도면들에 예시된 피처들은 서로 조합하여 사용될 수 있다. 따라서, 도면들은 일반적으로 하나 이상의 전체 실시예의 컴포넌트 양태들로서 보여져야 하며, 모든 예시된 피처들이 각각의 실시예에 필요한 것은 아니라는 점이 이해되어야 한다.
I. 개요
종래의 차량 내비게이션 시스템들은 차량의 포즈를 결정하기 위해 관성 센서들(예를 들어, 가속도계들 및 자이로스코프들)을 보조 센서들(예를 들어, GPS(global positioning system), 휠 속도 센서들, 카메라, LIDAR 등) 및/또는 보충 정보(예를 들어, 지도들)와 조합할 수 있다.
본 명세서에서 설명된 시스템들 및 방법들은 차량의 포즈, 구체적으로는, 그 요(yaw) 또는 헤딩(heading)의 정확하고 빈번한 측정들을 제공한다. 많은 주행 시나리오들(예를 들어, 상대적으로 평탄한 표면 상에서 이동하는 동안)에서, 차량의 요는 차량의 나침반 방위(예를 들어, 북, 남, 동, 서 등)를 포함할 수 있다.
요 측정들은 GPS에 의해, 또는 지도에 대한 측면 포지션 에러에 기초하여 요 에러를 추론함으로써 제공될 수 있다. 그러나, 요 에러들을 직접 결정하는 것이 바람직하다. LIDAR, 레이더(radio detection and ranging)(RADAR) 및/또는 카메라 정보를 사용하여 지도로부터 직접 작은 요 에러들을 결정할 수 있는 시스템들 및 방법들이 본 명세서에서 설명되어 있다.
예시적인 실시예에서, 포인트 클라우드 데이터는 탑-다운 이미지로 투영되고, 지도 데이터와 비교될 수 있다. 투영된 포인트 클라우드 데이터와 지도 데이터의 비교에 기초하여, 요 에러가 직접 결정될 수 있다. 예를 들어, 요 에러는 투영된 포인트 클라우드 데이터를 지도 데이터에 정확하게 등록(예를 들어, 정렬 또는 매칭)하기에 적절한 회전 각도 조정으로서 결정될 수 있다. 그 후, 결정된 요 에러는 조정 신호로서 관성 내비게이션 시스템에 제공될 수 있다.
일부 다른 실시예들에서, 카메라 이미지 데이터는 탑-다운 이미지로 투영되고, 지도 데이터와 비교될 수 있다. 투영된 이미지 데이터와 지도 데이터의 비교에 기초하여, 요 에러는 위에서 설명된 바와 유사한 방식으로 직접 결정될 수 있다.
추가적인 실시예들에서, 지도 데이터는 카메라 이미지 프레임에 대응하는 관점으로 투영될 수 있다. 이러한 시나리오에서는, 지도 데이터와 카메라 이미지들 사이의 좌우 등록 에러들이 요 에러를 직접 제공할 수 있다.
일부 실시예들에서, 지도 데이터는 이전 카메라 이미지들, LIDAR 포인트 클라우드들, RADAR 데이터, 위성 이미지, 다른 타입들의 이미지, 또는 환경에 관한 다른 정보로부터 생성될 수 있는 기준 데이터를 포함할 수 있다. 이러한 정보는 (예를 들어, 클라우드 서버에 의해) 오프라인으로 프로세싱될 수 있고, 일부 실시예들에서는, 차량에 로컬로 저장될 수 있다.
요 에러는 정규화된 상호-상관 또는 다른 이미지 등록 방법들을 포함하여 다양한 매칭 기술들에 의해 추론될 수 있다. 일부 실시예들에서, 매칭은 차량에서 온-보드로 수행될 수도 있고, 또는 적어도 부분적으로 클라우드 서버 또는 다른 타입의 분산 컴퓨팅 시스템에 의해 수행될 수도 있다. 예시적인 실시예에서, 이미지 비교 및 요 에러 조정은 거의 실시간으로 수행될 수 있다. 추가적으로 또는 대안적으로, 이미지 비교는, 예를 들어, 주어진 센서의 장기 드리프트 또는 기준 데이터에 관한 정보를 획득하기 위해 오프라인으로 수행될 수 있다.
본 명세서에서 설명된 시스템들 및 방법들은 차량들에 대한 포즈 추정과 관련하여 개선된 정확도 및 신뢰성을 제공할 수 있다. 보다 정확하고 신뢰할 수 있는 포즈 정보를 제공함으로써, 차량의 전체 로컬리제이션이 더 양호하게 결정될 수 있고, 이는 더 양호한 인식, 계획, 장애물 회피, 지도-구축, 측량 및 변화 검출로 이어질 수 있다. 추가적으로 또는 대안적으로, 본 명세서에서 설명된 방법들 및 시스템들에 의해 획득된 정확한 요 정보는 차선 유지, 장애물 회피, 일반적인 내비게이션 및 라우팅 등과 같은 다양한 주행 거동들과 함께 활용될 수 있다. 또한, 일부 경우들에서, 본 명세서에서 설명된 방법들 및 시스템들은 상대적으로 낮은 품질 또는 낮은 정확도의 센서들을 사용하면서 더 양호한 요 결정을 제공할 수 있다.
II. 예시적인 시스템들
도 1은 예시적인 실시예에 따른 시스템(100)을 예시한다. 도시된 바와 같이, 시스템(100)은 차량(110), 오버헤드 이미지 소스(130) 및 제어기(150)를 포함한다.
차량(110)은 승용차, 트럭, 항공기, 보트, 이동 로봇 또는 다른 타입의 이동 객체를 포함할 수 있다. 차량(110)은 하나 이상의 LIDAR 시스템(112), 하나 이상의 카메라(114) 및/또는 하나 이상의 RADAR 시스템(116)과 같은 다양한 센서들을 포함할 수 있다. 일부 실시예들에서, 차량(110)은 다양한 센서들로부터 수신된 정보 및/또는 기준 데이터(118)에 적어도 부분적으로 기초하여 반-자율적인 방식으로 또는 완전-자율적인 방식으로 이동할 수 있다.
LIDAR(112)는 차량(110)의 환경에서의 하나 이상의 객체(예를 들어, 위치, 형상 등)에 관한 정보(예를 들어, 포인트 클라우드 데이터)를 제공하도록 구성될 수 있다. 예를 들어, LIDAR(112)는 환경에 광 펄스들을 방출할 수 있다. 방출된 광 펄스들은 환경 내의 객체들과 상호 작용하여 반사된 광을 형성할 수 있고, LIDAR(112)는 반사된 광의 적어도 일부를 반사된 신호로서 수신할 수 있다. 예를 들어, LIDAR(112)는 각각의 개개의 광 펄스가 방출되는 시간을 각각의 대응하는 반사된 광 펄스가 수신되는 시간과 비교하고, 비교에 기초하여 하나 이상의 객체와 차량(110) 사이의 거리를 결정할 수 있다.
일부 실시예들에서, LIDAR(112)는 축(예를 들어, 차량(110)의 수직 축)을 중심으로 회전하도록 구성될 수 있다. 이러한 시나리오들에서는, LIDAR(110)의 다양한 컴포넌트들의 배열에 대한 빈번한 재교정 없이 차량(110)의 환경에 대한 360도 뷰의 3차원 지도가 결정될 수 있다. 추가적으로 또는 대안적으로, LIDAR(112)는 LIDAR가 환경 데이터를 제공할 수 있는 환경의 일부를 제어하기 위해 그 회전축을 기울이도록 구성될 수 있다.
일부 실시예들에서, LIDAR(112)에 의해 획득된 포인트 클라우드 데이터는 차량(110)의 환경의 탑-다운 이미지를 형성하도록 평탄화, 편집 또는 다른 방식으로 조정될 수 있다. 예를 들어, 3차원 포인트 클라우드 데이터의 적어도 일부는 탑-다운 이미지를 제공하도록 무시, 컬링(culled) 및/또는 변환될 수 있다.
카메라(114)는 스틸 또는 비디오 이미지들을 캡처하도록 구성될 수 있다. 카메라(114)는 카메라(114)의 시야를 나타내는 정보를 제공하도록 동작 가능한 이미지 센서를 포함할 수 있다. 일부 실시예들에서, 카메라(114)는 전하-결합 디바이스(charge-coupled device)(CCD)들의 어레이 및/또는 상보적인 금속 산화물 반도체(complementary metal oxide semiconductor)(CMOS) 검출기 디바이스들의 어레이를 포함할 수 있다. 다른 타입들의 검출기들도 가능하다. 이러한 검출기들은 가시광 파장들 및/또는 다른 파장들(예를 들어, 적외선)에서 동작 가능할 수 있다. 예시적인 실시예에서, 카메라(114)는 전방-관측 카메라(forward-looking camera)일 수 있다(예를 들어, 차량(110)의 전방 방향에 대응하는 시야를 가질 수 있다).
추가적으로 또는 대안적으로, 카메라(114)는 차량(110) 주변 환경의 일부 또는 전부를 커버하기 위해 개개의 시야들을 갖는 복수의 카메라들을 포함할 수 있다. 예를 들어, 카메라(114)는 차량(110) 주위의 360도 이미지를 캡처하도록 구성된 복수의 카메라들을 포함할 수 있다. 이러한 시나리오에서, 복수의 카메라들의 각각의 카메라(114)는 개개의 이미지를 캡처할 수 있다. 대응하는 복수의 이미지들은 차량(110) 주변 환경의 탑-다운 이미지를 형성하기 위해 스티칭되거나 또는 다른 방식으로 조합될 수 있다. 즉, 탑-다운 이미지는 복수의 이미지들에 적용된 하나 이상의 사영 기하학 변환(projective geometry transform)에 기초하여 형성될 수 있다.
RADAR(116)는 라디오 신호들을 방출하고 리턴하는 반사된 신호들을 검출함으로써 환경 피처들까지의 거리들을 능동적으로 추정하도록 구성된 시스템을 포함할 수 있다. 이러한 시나리오에서, 라디오-반사성 피처들까지의 거리는 송신과 수신 사이의 시간 지연에 따라 결정될 수 있다. RADAR(116)는 시변 주파수 램프(time-varying frequency ramp)를 갖는 신호와 같이 시간에 따라 주파수가 변하는 신호를 방출한 다음, 방출된 신호와 반사된 신호 사이의 주파수 차이를 범위 추정치와 관련시킬 수 있다. 일부 시스템들은 또한 수신된 반사된 신호들에서의 도플러 주파수 시프트들에 기초하여 반사성 객체들의 상대 모션을 추정할 수 있다.
일부 실시예들에서, RADAR(116)는 지향성 안테나들을 포함할 수 있으며, 지향성 안테나들은 RADAR 신호들의 지향성 송신 및/또는 수신에 사용되어 각각의 범위 추정치를 베어링과 연관시킬 수 있다. 보다 일반적으로, 지향성 안테나들은 또한 주어진 관심 시야에 방사된 에너지를 집중시키는 데 사용될 수 있다. 측정된 거리들과 방향 정보를 조합하면 주위 환경 피처들이 매핑되게 할 수 있다. 따라서, RADAR 센서는, 예를 들어, 센서 정보에 의해 표시되는 장애물들을 회피하기 위해 자율 차량 제어 시스템(autonomous vehicle control system)에 의해 사용될 수 있다.
차량(110)은 기준 데이터(118)를 수신, 저장 및/또는 프로세싱할 수 있다. 다양한 실시예들에서, 기준 데이터(118)는 차량(110)의 환경을 나타내는 지도 또는 다른 정보를 포함할 수 있다. 예를 들어, 기준 데이터(118)는 지도 데이터 및/또는 오버헤드 이미지를 포함할 수 있다. 예를 들어, 기준 데이터(118)는 항공기 또는 위성으로부터의 오버헤드 이미지를 포함할 수 있다.
추가적으로 또는 대안적으로, 기준 데이터(118)는 이전에-캡처된 카메라 이미지들(예를 들어, 카메라(114) 또는 다른 카메라에 의해 캡처됨)을 포함할 수 있다. 또한, 기준 데이터(118)는 이전에-캡처된 LIDAR 포인트 클라우드 데이터(예를 들어, LIDAR(112) 또는 다른 LIDAR 시스템에 의해 캡처됨) 또는 이전에-캡처된 RADAR 데이터(예를 들어, RADAR(116) 또는 다른 RADAR 시스템에 의해 캡처됨)를 포함할 수 있다. 기준 데이터(118)는 차량(110)의 환경에 관한 정보를 포함할 수 있다. 예를 들어, 기준 데이터(118)는 도로들, 건물, 랜드 마크들(예를 들어, 지리적 위치들), 및 차량(110)의 환경에 관한 다른 물리적 특성들에 관한 정보를 포함할 수 있다. 일부 실시예들에서, 기준 데이터(118)는 실시간으로 업데이트될 수 있다. 또한, 일부 실시예들에서, 기준 데이터(118)는 로컬로 또는 (예를 들어, 클라우드-기반 컴퓨팅 네트워크 상에) 원격으로 저장될 수 있는 지도 데이터베이스로부터 요청 및/또는 수신될 수 있다. 다른 타입들의 기준 데이터(118)도 본 명세서에서 가능하고 고려된다.
시스템(100)은 또한 포즈 추정기(120)를 포함한다. 포즈 추정기(120)는 차량(110)에 관한 포즈 정보를 확인하기 위해 근사, 추정, 결정, 계산 또는 다른 액션들을 취하도록 구성될 수 있다. 차량(110)의 포즈 정보는 특히 차량(110)의 요 값(또는 헤딩), 피치 값, 롤 값, 고도 및/또는 위치를 포함할 수 있다. 즉, 포즈 추정기(120)는 차량의 현재 방위 및/또는 위치를 1차원, 2차원 및/또는 3차원으로 결정하도록 동작 가능할 수 있다.
일부 실시예들에서, 차량(110)의 요 값은 도 단위로 제공될 수 있다. 예를 들어, 차량(110)이 북쪽으로 나아가거나 북쪽을 향해 있는 경우, 포즈 추정기(120)에 의해 제공된 요 값은 0°일 수 있다. 남쪽은 180°의 요 값에 대응할 수 있고, 동쪽 및 서쪽은 각각 90° 및 270°의 요 값에 대응할 수 있다. 요 값들을 각도, 10진수 또는 다른 타입들의 명명법 중 어느 것으로 표현하는 다른 방식들도 본 명세서에서 가능하고 고려된다는 것이 이해될 것이다.
유사한 방식으로, 차량(110)의 피치 및/또는 롤 값들은 각도 또는 다른 변수의 함수로서 포즈 추정기(120)에 의해 제공될 수 있다. 차량(110)의 고도는 피트 또는 미터의 함수, 또는 절대 또는 상대 높이의 다른 척도로서 포즈 추정기(120)에 의해 제공될 수 있다. 차량(110)의 위치는 GPS(global position system) 좌표들 또는 다른 타입의 절대 또는 상대 좌표 시스템으로 포즈 추정기(120)에 의해 제공될 수 있다.
포즈 추정기(120)는 프로세서 및 메모리를 포함할 수 있다. 일부 실시예들에서, 포즈 추정기(120)는 필드-프로그램 가능 게이트 어레이(field-programmable gate array)(FPGA) 또는 애플리케이션-특정 집적 회로(application-specific integrated circuit)(ASIC)를 포함할 수 있다. 일부 실시예들에서, 포즈 추정기(120)는 다른 타입의 컴퓨팅 시스템일 수 있다. 또한, 포즈 추정기(120)는 차량(110)(예를 들어, 클라우드 컴퓨팅 네트워크들)과 관련하여 로컬로(예를 들어, 온-보드) 및/또는 원격으로 배치될 수 있다. 일부 실시예들에서, 포즈 추정기(120)의 기능들 중 일부 또는 전부는 본 명세서의 다른 곳에서 설명된 제어기(150)에 의해 수행될 수 있다.
차량(110)은 통신 인터페이스(122)를 추가로 포함할 수 있다. 통신 인터페이스(122)는 차량(110)과 제어기(150), 오버헤드 이미지 소스(130), 하나 이상의 컴퓨팅 네트워크 및/또는 다른 차량들과 같은 다른 시스템들 사이의 통신을 제공하도록 구성될 수 있다. 일부 실시예들에서, 통신 인터페이스(122)는 차량(110)의 다양한 엘리먼트들 사이의 통신 링크를 제공할 수 있다.
통신 인터페이스(122)는, 예를 들어, 직접 또는 통신 네트워크를 통해 하나 이상의 다른 차량, 센서 또는 다른 엔티티 사이의 유선 또는 무선 통신을 제공하도록 구성된 시스템일 수 있다. 이를 위해, 통신 인터페이스(122)는 직접 또는 통신 네트워크를 통해 다른 차량들, 센서들, 서버들 또는 다른 엔티티들과 통신하기 위한 안테나 및 칩셋을 포함할 수 있다. 칩셋 또는 통신 인터페이스(122)는 일반적으로 특히 BLUETOOTH, BLUETOOTH LOW ENERGY(BLE), IEEE 802.11에 기술된 통신 프로토콜들(임의의 IEEE 802.11 개정사항들 포함), (GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE와 같은) 셀룰러 기술, ZIGBEE, 단거리 전용 통신(dedicated short range communications)(DSRC), 및 라디오 주파수 식별(radio frequency identification)(RFID) 통신과 같은 하나 이상의 타입의 무선 통신(예를 들어, 프로토콜들)에 따라 통신하도록 배열될 수 있다. 통신 인터페이스(122)는 다른 형태들도 취할 수 있다.
차량(110)은 안내 시스템(124)을 추가로 포함한다. 안내 시스템(124)은 GPS, 관성 측정 유닛(inertial measurement unit)(IMU), 자이로스코프 및/또는 차량(110)의 위치 또는 포즈를 나타내는 정보를 제공하도록 구성된 다른 타입의 디바이스를 포함할 수 있다. GPS는 차량(110)의 지리적 위치를 추정하도록 구성된 임의의 센서(예를 들어, 위치 센서)일 수 있다. 이를 위해, GPS는 지구에 대한 차량(110)의 포지션을 추정하도록 구성된 송수신기를 포함할 수 있다. GPS는 다른 형태들도 취할 수 있다. IMU는 관성 가속도에 기초하여 차량(110)의 포지션 및 방위 변화들을 감지하도록 구성된 센서들의 조합을 포함할 수 있다. 일부 실시예들에서, 센서들의 조합은, 예를 들어, 가속도계들 및 자이로스코프들을 포함할 수 있다. 센서들의 다른 조합들도 가능하다.
안내 시스템(124)은 차량(110)에 대한 주행 경로를 적어도 부분적으로 결정할 수 있는 다양한 내비게이션 및 경로 지정 능력들을 포함할 수 있다. 안내 시스템(124)은 차량(110)이 작동 중인 동안에 주행 경로를 동적으로 업데이트하도록 추가로 구성될 수 있다. 일부 실시예들에서, 안내 시스템(124)은 차량(110)에 대한 주행 경로를 결정하도록 센서 융합 알고리즘, GPS, LIDAR 시스템(112) 및 하나 이상의 미리 결정된 지도로부터의 데이터(예를 들어, 기준 데이터(118))를 통합하도록 구성될 수 있다. 안내 시스템(124)은 또한 차량(110)이 위치되는 환경에서 장애물들을 식별하고, 평가하고, 회피하거나 또는 다른 방식으로 이를 빠져나가도록 구성될 수 있는 장애물 회피 시스템을 포함할 수 있다. 차량(110)은 도시된 컴포넌트들 이외의 컴포넌트들을 추가적으로 또는 대안적으로 포함할 수 있다.
일부 구현들에서, 시스템(100)은 오버헤드 이미지 소스(130)를 포함할 수 있다. 예시적인 실시예에서, 오버헤드 이미지 소스(130)는 차량(110) 주변 환경의 적어도 일부의 오버헤드 뷰를 제공하도록 지도 데이터, 이미지들 또는 다른 타입들의 정보를 캡처하도록 구성될 수 있다. 일부 시나리오들에서, 차량(110)은 항공기(예를 들어, 드론 매핑 항공기) 또는 위성일 수 있는 오버헤드 이미지 소스(130)로부터 지도 데이터를 수신하고 저장할 수 있다. 예로서, 지도 데이터는 오버헤드 이미지 소스(130)와 함께 차량(110) 및/또는 다른 곳에 저장될 수 있다.
시스템(100)은 또한 제어기(150)를 포함한다. 제어기(150)는 하나 이상의 프로세서(152) 및 적어도 하나의 메모리(154)를 포함한다. 제어기(150)는 차량(110)에 온보드로 또는 원격으로(예를 들어, 클라우드 컴퓨팅 네트워크) 위치될 수 있다. 추가적으로 또는 대안적으로, 제어기(150)의 일부 부분들은 차량(110) 상에 배치될 수 있고, 제어기(150)의 다른 부분들은 다른 곳에 배치될 수 있다.
제어기(150)는 온-보드 컴퓨터, 외부 컴퓨터, 또는 스마트폰, 태블릿 디바이스, 개인용 컴퓨터, 웨어러블 디바이스 등과 같은 모바일 컴퓨팅 플랫폼을 포함할 수 있다. 추가적으로 또는 대안적으로, 제어기(150)는 클라우드 서버와 같은 원격-위치의 컴퓨터 시스템을 포함할 수도 있고 또는 이에 연결될 수도 있다. 예시적인 실시예에서, 제어기(150)는 본 명세서에서 설명된 일부 또는 모든 방법의 블록들 또는 단계들을 수행하도록 구성될 수 있다.
프로세서(152)는, 예를 들어, 애플리케이션-특정 집적 회로(ASIC) 또는 필드-프로그램 가능 게이트 어레이(FPGA)를 포함할 수 있다. 소프트웨어 명령어들을 수행하도록 구성된 다른 타입들의 프로세서들, 컴퓨터들 또는 디바이스들이 본 명세서에서 고려된다. 메모리(154)는 판독-전용 메모리(read-only memory)(ROM), 프로그램 가능 판독-전용 메모리(programmable read-only memory)(PROM), 소거 가능한 프로그램 가능 판독-전용 메모리(erasable programmable read-only memory)(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독-전용 메모리(electrically erasable programmable read-only memory)(EEPROM), 비-휘발성 랜덤 액세스 메모리(예를 들어, 플래시 메모리), 고상 드라이브(solid state drive)(SSD), 하드 디스크 드라이브(hard disk drive)(HDD), 콤팩트 디스크(Compact Disc)(CD), 디지털 비디오 디스크(Digital Video Disk)(DVD), 디지털 테이프, 판독/기입(read/write)(R/W) CD들, R/W DVD들 등과 같되, 이에 제한되지 않는 비-일시적 컴퓨터-판독 가능 매체를 포함할 수 있다.
제어기(150)는 다양한 센서 융합 알고리즘들, 기능들 또는 태스크들을 수행하도록 구성될 수 있다. 예를 들어, 제어기(150)는 센서 융합 알고리즘 및/또는 알고리즘을 저장하는 컴퓨터 프로그램 제품을 수행하도록 구성될 수 있다. 센서 융합 알고리즘을 수행함에 있어서, 제어기(150)는 입력으로서 다양한 센서들(예를 들어, LIDAR(112), 카메라(114), RADAR(116) 및/또는 다른 센서들)로부터의 데이터를 수신하거나 또는 다른 방식으로 수용할 수 있다. 데이터는, 예를 들어, 차량의 센서 시스템의 다양한 센서들에서 감지된 정보를 나타내는 데이터를 포함할 수 있다. 센서 융합 알고리즘은, 예를 들어, 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 본 명세서의 방법들의 기능들 중 일부를 수행하도록 구성된 알고리즘, 또는 다른 알고리즘을 포함할 수 있다. 센서 융합 알고리즘은, 예를 들어, 차량(110)이 위치되는 환경에서의 개별 객체들 및/또는 피처들의 평가들, 특정 상황들의 평가들, 및/또는 특정 상황들에 기초한 가능한 영향들의 평가들을 포함하여, 센서 시스템으로부터의 데이터에 기초한 다양한 평가들을 제공하도록 추가로 구성될 수 있다. 다른 평가들도 가능하다.
제어기(150)는 컴퓨터 비전 시스템을 포함할 수 있으며, 이는 차량(110)이 위치되는 환경에서의 객체들 및/또는 피처들을 식별하기 위한 노력으로 LIDAR(112), 카메라(114) 및/또는 RADAR(116) 중 적어도 하나에 의해 캡처된 이미지들을 프로세싱 및 분석하도록 구성된 시스템을 포함할 수 있다. 이러한 객체들 또는 피처들은, 예를 들어, 교통 신호들, 다른 차량들, 보행자들, 자전거 타는 사람들, 랜드 마크들, 도로 표지판들, 도로들, 건설 구역들 및 다른 타입들의 객체들 또는 장애물들을 포함할 수 있다. 이를 위해, 컴퓨터 비전 시스템은 객체 인식 알고리즘, SFM(Structure from Motion) 알고리즘, 비디오 추적 또는 다른 컴퓨터 비전 기술들을 사용할 수 있다. 일부 실시예들에서, 컴퓨터 비전 시스템은 환경을 매핑하고, 객체들을 추적하고, 객체들의 속도를 추정하고, 기타 등등을 수행하도록 추가로 구성될 수 있다.
일부 실시예들에서, 제어기(150)는 다양한 이미지 프로세싱 및/또는 포인트 클라우드 데이터 프로세싱 기능들을 수행하도록 구성될 수 있다. 즉, 제어기(150)는 개개의 카메라 이미지들, RADAR 데이터 및/또는 포인트 클라우드 데이터에 기초하여 탑-다운 이미지들을 제공하도록 구성될 수 있다.
프로세서(들)(152)는 동작들을 수행하도록 메모리(154)에 저장된 프로그램 명령어들을 실행하도록 구성될 수 있다. 이와 같이, 제어기(150)는 본 명세서에서 설명된 동작들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다.
예를 들어, 제어기(150)는, 차량(110)의 하나 이상의 센서 시스템으로 하여금, 차량(110)의 환경에서의 객체들에 관한 정보를 제공할 수 있는 카메라 이미지들, 포인트 클라우드 데이터 및/또는 레이더 데이터를 제공하게 하도록 구성될 수 있다. 일부 실시예들에서, 제어기(150)는, 하나 이상의 센서 시스템으로 하여금, 차량(110) 환경의 원하는 부분 또는 영역에 관한 정보를 제공하게 할 수 있다.
일례에서, 제어기(150)는 LIDAR(112)로부터 포인트 클라우드 데이터를 수신하고, 포인트 클라우드 데이터를 변환하여 탑-다운 이미지를 제공할 수 있다. 예시적인 실시예에서, 탑-다운 이미지는 차량(110) 주변 환경의 평탄화된 2차원 이미지를 포함할 수 있다.
제어기(150)는 또한 탑-다운 이미지를 기준 이미지와 비교하고, 비교에 기초하여, 요 에러를 결정할 수 있다. 이러한 시나리오에서, 기준 이미지는 지도 데이터(예를 들어, 기준 데이터(118))의 적어도 일부를 포함한다. 예시적인 실시예에서, 기준 이미지는 하나 이상의 이전 카메라 이미지, 이전 LIDAR 포인트 클라우드, 이전 RADAR 데이터, 위성 이미지 또는 다른 오버헤드 이미지 중 적어도 하나의 적어도 일부를 포함한다.
탑-다운 이미지와 기준 이미지의 비교는 다양한 방식들로 수행될 수 있다. 예를 들어, 비교는 정규화된 상호-상관, 그레이 스케일 매칭, 그래디언트 매칭, 히스토그램 매칭, 에지 검출(예를 들어, 캐니 에지 검출(Canny edge detection)), 스케일-불변 피처 변환(scale-invariant feature transform)(SIFT) 및/또는 고속의 강인한 피처들(speeded-up robust features)(SURF) 중 하나 이상에 의해 수행될 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 비교는 다양한 이미지 등록 또는 모핑 알고리즘들을 포함할 수 있다.
제어기(150)는 또한 포즈 추정기(120)에 조정 신호를 제공할 수 있다. 조정 신호는 결정된 요 에러에 적어도 부분적으로 기초할 수 있다.
이러한 시나리오에서, 포즈 추정기(120)는 차량(110)의 요 방위를 결정하도록 구성될 수 있다. 조정 신호를 수신하면, 포즈 추정기(120)는 차량(110)의 현재 추정된 요 방위를 업데이트할 수 있다.
일부 실시예들에서, 제어기(150)는 카메라 이미지 데이터와 지도 데이터의 비교에 기초하여 결정된 요 값을 보정하기 위해 다른 동작들을 수행하도록 구성될 수 있다. 예를 들어, 제어기(150)는 카메라(114)로부터 카메라 이미지 데이터를 수신할 수 있다. 예에서, 카메라 이미지 데이터는 차량(110) 주변 환경을 나타내는 정보를 포함한다.
제어기(150)는 카메라 이미지 데이터를 변환하여 탑-다운 이미지를 제공할 수 있다. 탑-다운 이미지는 차량 주변 환경의 평탄화된 2차원 이미지를 포함한다. 일부 실시예들에서, 탑-다운 이미지를 제공하는 카메라 이미지 데이터의 변환은 기하학적 원근 변환 알고리즘 또는 다른 타입의 이미지 프로세싱을 포함할 수 있다.
본 명세서에서 설명된 이전 예들에서와 같이, 제어기(150)는 탑-다운 이미지를 기준 이미지(예를 들어, 기준 데이터(118))와 비교하고, 비교에 기초하여, 요 에러를 결정하고, 차량(110)의 현재 요 방위를 조정하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 제어기(150)는 카메라 데이터를 변환된 지도 데이터와 비교하도록 구성될 수 있다. 예를 들어, 제어기(150)는 기준 데이터(118)를 수신할 수 있다. 이러한 시나리오에서, 기준 데이터(118)는 오버헤드 관점으로부터 제공된 이미지를 포함할 수 있다. 그 후, 기준 데이터(118)는 카메라의 시야에 대응하도록 제어기(150)에 의해 변환될 수 있다. 제어기(150)는 또한 카메라로부터 카메라 이미지 데이터를 수신하고, 카메라 이미지 데이터를 변환된 기준 데이터와 비교하도록 구성될 수 있다. 비교에 기초하여, 제어기(150)는, 비교에 기초하여, 요 에러를 결정할 수 있다.
도 2는 예시적인 실시예에 따른 차량(200)을 예시한다. 차량(200)은 도 1을 참조하여 예시되고 설명된 바와 같은 차량(110)과 유사하거나 동일할 수 있다. 도 2는 자동차(예를 들어, 승용차)를 예시하지만, 다른 타입들의 차량들이 본 명세서에서 가능하고 고려된다는 것이 이해될 것이다. 차량(200)은 하나 이상의 센서 시스템(202, 204, 206, 208 및/또는 210)을 포함할 수 있다. 하나 이상의 센서 시스템(202, 204, 206, 208 및 210)은 시스템(100)과 관련하여 설명된 센서들과 유사하거나 동일할 수 있다. 즉, 센서 시스템들(202, 204, 206, 208 및 210)은 LIDAR 센서들(예를 들어, LIDAR(112)), 카메라들(예를 들어, 카메라(114)) 및/또는 RADAR 센서들(예를 들어, RADAR(116)) 중 하나 이상을 포함할 수 있다. 일부 예들에서, 센서 시스템(202)은 LIDAR 시스템, 카메라 및 RADAR 센서를 포함할 수 있지만, 센서들의 다른 변형들, 조합들 및 배열들도 가능하다.
예시적인 실시예에서, 센서 시스템들(202, 204, 206, 208 및 210) 중 하나 이상은 LIDAR(112)를 포함할 수 있으며, 이는 광 펄스들로 차량(200) 주변 환경을 조명하도록 축(예를 들어, 수직 축(230))을 중심으로 회전하도록 구성될 수 있다. 예시적인 실시예에서, 센서 시스템들(202, 204, 206, 208 및 210)은 차량(200)의 환경 내에서 물리적 객체들과 관련될 수 있는 개개의 포인트 클라우드 정보를 제공하도록 구성될 수 있다. 이러한 시나리오들에서, 반사된 광 펄스들의 다양한 양태들(예를 들어, 비행 경과 시간, 편광 등)을 검출하는 것에 기초하여, 환경에 관한 정보가 결정될 수 있다. 추가적으로 또는 대안적으로, LIDAR(112)는 차량 주변 환경의 원하는 부분에서 포인트 클라우드 정보를 결정하도록 상대적으로 좁은 원하는 시야를 제어 가능하게 스캔하도록 구성된 LIDAR 시스템을 포함할 수 있다. 이러한 LIDAR 시스템은 더 먼 거리들에서 더 양호한 포인트 클라우드 해상도를 제공하도록 구성될 수 있다.
LIDAR(112)와 유사하게, 카메라(114) 및/또는 RADAR(116)는 차량(200)의 환경에 관한 동적 정보를 획득하도록 차량(200)에 대해 원하는 방식으로 이동하도록 구성될 수 있다. 예를 들어, 카메라(114) 및/또는 RADAR(116)는 차량(200)의 환경의 원하는 부분에 관한 정보를 제공하도록 축을 중심으로 회전할 수도 있고, 또는 원하는 시야를 향해 제어 가능하게 배향될 수도 있다.
도 2는 센서 시스템들(202, 204, 206, 208 및 210)이 차량(200) 상의 특정 위치들에 위치되어 있는 것으로 예시하지만, 센서들의 많은 다른 배열들도 가능하고 고려된다는 것이 이해될 것이다.
차량(200)의 포즈는 요, 롤 및 피치의 측면에서 제공될 수 있다. 예를 들어, 차량(200)의 요는 각도(220)의 측면에서 제공될 수 있고, 차량(200)의 롤은 각도(240)의 측면에서 제공될 수 있고, 차량(200)의 피치는 각도(222)의 측면에서 제공될 수 있다. 차량(200)의 포즈를 설명하기 위한 다른 방식들도 본 명세서에서 가능하고 고려된다.
차량의 추정된 요를 보정하는 것과 관련된 여러 시나리오들이 이제 설명될 것이다. 설명된 시나리오들은 자율 또는 반-자율 자동차들에 관한 것이지만, 본 명세서에서 설명된 기술들, 프로세스들 및 방법들은, 많은 다른 타입들의 차량들이 특정 환경 내에서 이동할 때, 이들에도 적용될 수 있다는 것이 이해될 것이다.
자율-주행 차량(self-driving vehicle)들은 통상적으로 많은 상이한 주행 거동들(예를 들어, 차선 유지, 장애물 회피, 일반적인 내비게이션 및 라우팅 등)을 수행하기 위해 요(헤딩) 정보를 사용한다. 따라서, 경로 계획, 지도 구축, 측량 및 변화 검출에 의해 더 양호한 요 추정이 향상될 수 있다. 이하에 설명된 시나리오들은 상대적으로 저렴한 센서 시스템들로부터 요 추정치들을 개선시키는 방법들을 제공할 수 있다.
본 명세서에서 설명된 실시예들은 헤딩(요)과 관련될 수 있지만, 다양한 기준 데이터와 센서 데이터를 비교함으로써, 추정된 포즈에 대한 다른 개선들이 가능하다는 것도 이해될 것이다. 예를 들어, 차량의 추정된 피치 또는 롤은 본 명세서에서 설명된 방법들 또는 시스템들을 사용하여 개선될 수 있다.
도 3a 내지 도 3d는 예시적인 실시예들에 따른 다양한 이미지들을 예시한다. 도 3a는 예시적인 실시예에 따른 탑-다운 지도 이미지(300)를 예시한다. 탑-다운 지도 이미지(300)는 도 1을 참조하여 예시되고 설명된 바와 같은 기준 데이터(118)의 일부일 수 있다. 탑-다운 지도 이미지(300)는 환경(예를 들어, 차량 주변 환경)의 다양한 피처들에 관한 정보를 포함할 수 있다. 이러한 피처들은 도로들(302), 보도들(304), 차선 마커들(306), 연석들/중앙선들(308) 및 서비스 커버들(310)(예를 들어, 맨홀들 또는 배수구들)을 포함할 수 있지만, 이에 제한되지 않는다. 일부 실시예들에서, 탑-다운 지도 이미지(300)는 일시적으로 변하는 객체들(예를 들어, 이동 차량들, 사람들, 자전거 타는 사람들, 개재되어 있는 구름양/안개 등)을 제거하거나 또는 다른 방식으로 이미지를 표준화/정규화하기 위해 전처리될 수 있다.
일부 실시예들에서, 탑-다운 지도 이미지(300)는 오버헤드 이미지 소스(130)에 의해 캡처된 이미지로서 제공될 수 있다.
도 3b는 예시적인 실시예에 따른 탑-다운 카메라 이미지(320)를 예시한다. 탑-다운 카메라 이미지(320)는 도 1을 참조하여 예시되고 설명된 바와 같은 카메라(114)에 의해 제공된 하나 이상의 이미지와 유사하거나 동일할 수 있다. 일부 실시예들에서, 탑-다운 카메라 이미지(320)는, 예를 들어, 원근 모핑(perspective morphing) 기술을 사용하여 탑-다운 이미지처럼 보이도록 함께 스티칭되고 조정된 여러 카메라 이미지들을 포함할 수 있다.
탑-다운 카메라 이미지(320)는, 예를 들어, 도 3a의 피처들과 유사하거나 동일한 일부 피처들을 포함할 수 있다. 예를 들어, 예시적인 실시예에서, 탑-다운 카메라 이미지(320)는 도로들(302), 보도들(304), 차선 마커들(306), 연석들/중앙선들(308) 및/또는 서비스 커버들(310)을 포함할 수 있다. 또한, 탑-다운 카메라 이미지(320)는 차량(200)의 환경에서의 객체들에 관한 실시간 정보를 포함할 수 있다. 예로서, 탑-다운 카메라 이미지(320)는 다른 차량들(322) 및 자전거 타는 사람(324)을 포함할 수 있다.
일부 실시예들에서, 탑-다운 카메라 이미지(320)는 다른 차량들(322) 및 자전거 타는 사람(324)과 같이 시간적으로 변하는 객체들을 제거하거나 무시함으로써 조정될 수 있다. 시간에 따라 변할 가능성이 있는 것으로 인식되는 다른 객체들(예를 들어, 보행자들, 구름양 등)은 본 명세서의 다른 곳에서 설명된 방법들 이외의 방법들로 삭제되거나, 무시되거나, 또는 다른 방식으로 핸들링될 수 있다.
도 3c는 예시적인 실시예에 따른 탑-다운 집성 이미지(340)를 예시한다. 탑-다운 집성 이미지(340)는 탑-다운 지도 이미지(310) 및 탑-다운 카메라 이미지(320)의 조합, 오버레이, 중첩, 병치, 비교 또는 다른 타입의 분석을 포함할 수 있다. 도 3c에 예시된 바와 같이, 실시예는 2개의 이미지의 오버레이인 집성 이미지(340)를 포함할 수 있다. 이러한 시나리오에서, 탑-다운 집성 이미지(340)는 각도 차이(342)를 포함할 수 있다. 각도 차이(342)는 추정된 헤딩과 실제 헤딩 사이의 차이를 포함할 수 있다. 일부 경우들에서, 각도 차이(342)는 차량의 추정된 헤딩을 향상시키기 위해 포즈 추정기(120) 및/또는 안내 시스템(124)에 제공될 수 있다.
도 3d는 예시적인 실시예에 따른 탑-다운 집성 이미지(350)를 예시한다. 집성 이미지(350)는 지도 이미지(300)와 카메라 이미지(320)의 조합을 예시할 수 있다. 즉, 카메라 이미지(320)가 지도 이미지(300)와 대응하는 영역들이 집성 이미지(350)로 그려질 수 있다. 일부 실시예들에서, 집성 이미지(350)는 실질적인 이미지 정보가 없는 부분들을 포함할 수 있다. 이러한 부분들은 카메라에 의해 촬상되지 않은 영역들 및/또는 지도 이미지와 카메라 이미지 사이에서 실질적으로 상이한 이미지의 부분들에 대응할 수 있다.
도 4a는 예시적인 실시예에 따른 탑-다운 지도 이미지(400)를 예시한다. 탑-다운 지도 이미지(400)는 도 1을 참조하여 예시되고 설명된 바와 같은 기준 데이터(118)로부터 형성될 수 있다. 탑-다운 지도 이미지(400)는 차량의 환경에서의 많은 상이한 타입들의 객체들을 제한 없이 포함할 수 있다. 예를 들어, 탑-다운 지도 이미지(400)는 도로들(402), 차선들(403), 보도들(404) 및 나무들(406)을 포함할 수 있다. 일부 실시예들에서, 탑-다운 지도 이미지(400)는 일시적으로 변하는 객체들(예를 들어, 이동 차량들, 사람들, 자전거 타는 사람들, 배기 가스 등)을 제거하거나 또는 다른 방식으로 이미지를 표준화/정규화하하기 위해 전처리될 수 있다. 예시적인 실시예에서는, 초목/단풍이 탑-다운 지도 이미지(400)로부터 부분적으로 또는 완전히 제거되거나 또는 그 안에서 무시될 수 있다. 일부 실시예들에서, 탑-다운 지도 이미지(400)는 오버헤드 이미지 소스(130)에 의해 캡처된 이미지로서 제공될 수 있다.
도 4b는 예시적인 실시예에 따른 탑-다운 LIDAR 이미지(420)를 예시한다. 탑-다운 LIDAR 이미지(420)는 도 4a를 참조하여 설명된 피처들 중 적어도 일부를 포함할 수 있다. 또한, LIDAR 이미지(420)는 다른 차량들(422) 및/또는 다른 시변 엘리먼트들을 포함할 수 있다. 탑-다운 LIDAR 이미지(420)는 LIDAR(112) 또는 다른 LIDAR 시스템에 의해 제공된 포인트 클라우드 데이터로부터 프로세싱된 데이터를 포함할 수 있다. 예를 들어, LIDAR(112)는 포인트 클라우드 정보를 제어기(150) 또는 다른 타입의 이미징 프로세싱 컴퓨터 시스템에 제공할 수 있다. 이러한 시나리오에서, 3차원 포인트 클라우드 정보는 2차원 탑-다운 관점 이미지(420)를 형성하기 위해 관점에 대해 압축/평탄화되거나 또는 다른 방식으로 조정될 수 있다.
도 4c는 예시적인 실시예에 따른 탑-다운 집성 이미지(440)를 예시한다. 탑-다운 집성 이미지(440)는 탑-다운 지도 이미지(400)와 탑-다운 LIDAR 이미지(420) 사이의 조합, 오버레이, 중첩 또는 다른 타입의 이미지 비교를 예시할 수 있다. 탑-다운 집성 이미지(440)는 도 4a 및 도 4b의 피처들과 동일한 피처들 중 일부를 포함할 수 있다. 예를 들어, 이미지(440)는 도로들(402), 차선들(403), 보도들(404) 및 나무들(406)을 포함할 수 있다. 일부 실시예들에서, 탑-다운 집성 이미지(440)는 다른 차량들(422) 및 자전거 타는 사람(424)을 포함할 수 있지만, 반드시 그럴 필요는 없다. 일부 실시예들에서, 지도 이미지(400)와 LIDAR 이미지(420) 사이의 비교는 일시적으로 변화하거나 비영구적인 것으로 인식되는 객체들을 무시하거나, 삭제하거나, 평균화하거나, 또는 다른 방식으로 무가치한 것으로 치부하거나 또는 우선 순위를 해제할 수 있다.
도 4d는 예시적인 실시예에 따른 탑-다운 집성 이미지(450)를 예시한다. 집성 이미지(450)의 검지 않은 영역들은 지도 이미지(400)의 피처와 매칭되거나, 이에 대응하거나 또는 다른 방식으로 이와 유사한 LIDAR 이미지(420)로부터의 피처들을 나타낼 수 있다. 다른 실시예에서, 집성 이미지(450)의 검은 영역들 중 적어도 일부는 스캔되지 않은 영역들(예를 들어, 포인트 클라우드 데이터 없음)을 나타낼 수 있는데, 이는 이러한 영역들이 LIDAR의 스캐닝 뷰로부터 가려지거나 차단되기 때문에 그러하다.
도 5a는 예시적인 실시예에 따른 전방 지도 이미지(500)를 예시한다. 전방 지도 이미지(500)는 전방-관측 카메라(예를 들어, 카메라(114))의 관점과 유사하거나 동일한 관점을 갖도록 조정되거나, 조작되거나 또는 다른 방식으로 변경된 탑-다운 지도 이미지(예를 들어, 지도 이미지(300 및 400))를 포함할 수 있다. 본 명세서에서 설명된 실시예들에서는 전방-관측 카메라 뷰가 고려되지만, 다른 시점들 및/또는 관점들을 포함하는 방법들 및 시스템들도 가능하다는 것이 이해될 것이다.
전방 지도 이미지(500)는 도로들(502), 차선들(503), 교통 표지판들/신호등들(504), 나무들(506), 건물들, 랜드 마크들 등을 포함할 수 있다. 지도 이미지에 제공될 수 있는 다른 피처들도 본 명세서에서 가능하고 고려된다.
도 5b는 예시적인 실시예에 따른 전방 카메라 이미지(520)를 예시한다. 전방 카메라 이미지(520)는 전방 지도 이미지(500)의 피처들과 유사한 피처들을 포함할 수 있다. 예를 들어, 전방 카메라 이미지(520)는 도로들(502), 차선들(503), 교통 표지판들/신호등들(504), 나무들(506) 및 다양한 다른 차량들(522 및 524)을 포함할 수 있다. 일부 실시예들에서, 전방 카메라 이미지(520)는 비디오 또는 스틸 카메라(예를 들어, 카메라(114))에 의해 캡처될 수 있다. 도 5b는 전방 카메라 이미지(520)를 포함하지만, LIDAR 포인트 클라우드 데이터가 전방-관측 관점을 갖는 전방 LIDAR "이미지"를 형성하도록 변환될 수 있다는 것이 이해될 것이다.
도 5c는 예시적인 실시예에 따른 전방 집성 이미지(540)를 예시한다. 전방 집성 이미지(540)는 전방 지도 이미지(500)와 전방 카메라 이미지(520)(또는 전방 LIDAR 이미지) 사이의 조합, 오버레이, 중첩 또는 다른 타입의 이미지 비교를 예시할 수 있다. 전방 집성 이미지(540)는 도 5a 및 5b에 예시된 일부 피처들을 포함할 수 있다. 예를 들어, 이미지(540)는 도로들(502), 차선들(503) 및 나무들(506)을 포함할 수 있다. 일부 실시예들에서, 전방 집성 이미지(540)는 다른 차량들(522 및 524)을 포함할 수 있지만, 반드시 그럴 필요는 없다. 일부 실시예들에서, 전방 지도 이미지(500)와 전방 카메라 이미지(520) 사이의 비교는 일시적으로 변화하거나 비영구적인 것으로 인식되는 객체들을 무시하거나, 삭제하거나, 평균화하거나, 또는 다른 방식으로 무가치한 것으로 치부할 수 있다. 일부 실시예들에서는, 기점 이미지들(542)이 이미지(540) 내의 차선들(503) 또는 다른 특징적인 피처들 또는 랜드 마크들에 중첩될 수도 있고 또는 이와 비교될 수도 있다. 일부 경우들에서, 기점 이미지들(542)은 LIDAR, RADAR 및/또는 지도 데이터를 나타낼 수 있다.
일부 경우들에서, 전방 집성 이미지(540)는 실제 요 방향이 추정된 요 방향의 것과 상이할 수 있다는 것을 제시할 수 있다. 이러한 경우들에서, 각도 차이는 이미지 분석에 기초하여 결정될 수 있다. 또한, 조정된 요 신호가 차량의 실제 요 포지션을 개선시키기 위해 제어기(150), 포즈 추정기(120), 안내 시스템(124) 또는 다른 제어 시스템에 제공될 수 있다.
도 5d는 예시적인 실시예에 따른 전방 집성 이미지(550)를 예시한다. 파선 차선들 근처의 점으로 된 형상들은 LIDAR 포인트 클라우드 데이터의 그래픽 표현을 포함할 수 있으며, 이는 도 5c를 참조하여 예시되고 설명된 바와 같은 기점 이미지들(542)과 유사하거나 동일할 수 있다.
III. 예시적인 방법들
도 6은 예시적인 실시예에 따른 방법(600)을 예시한다. 방법(600)은 도 1 및 도 2를 참조하여 예시되고 설명된 바와 같은 차량(110), 제어기(150) 또는 차량(200)에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 방법(600)은 도 1, 도 2, 도 3a 내지 도 3d, 도 4a 내지 도 4d 및/또는 도 5a 내지 도 5d를 참조하여 예시되고 설명된 엘리먼트들과 유사하거나 동일한 엘리먼트들을 포함할 수 있다. 방법(600)은 본 명세서에서 명시적으로 개시된 단계들 또는 블록들보다 더 적거나 더 많은 단계들 또는 블록들을 포함할 수 있다는 것이 이해될 것이다. 또한, 방법(600)의 개개의 단계들 또는 블록들은 임의의 순서로 수행될 수 있고, 각각의 단계 또는 블록은 1회 이상 수행될 수 있다. 일부 실시예들에서, 방법(600)은 도 7 및 도 8을 참조하여 예시되고 설명된 바와 같은 방법들(700 또는 800) 중 하나 이상과 조합될 수 있다.
블록(602)은 라이다(LIDAR) 디바이스로부터 포인트 클라우드 데이터를 수신하는 단계를 포함한다. 일부 실시예들에서, 포인트 클라우드 데이터는 차량 주변 환경에서의 객체들을 나타내는 정보를 포함한다.
블록(604)은 포인트 클라우드 데이터를 변환하여 탑-다운 이미지를 제공하는 단계를 포함한다. 이러한 시나리오에서, 탑-다운 이미지는 차량 주변 환경의 평탄화된 2차원 이미지를 포함한다. 예를 들어, 변환은 스케일-불변 피처 변환(scale-invariant feature transform), 이미지 평탄화, 이미지 원근 회전, 및/또는 3D-대-2D 이미지 변환을 포함할 수 있다. 3차원 객체 정보를 2차원 탑-다운 이미지로서 나타내는 다른 방식들도 본 명세서에서 고려된다.
블록(606)은 탑-다운 이미지를 지도 데이터의 적어도 일부를 포함할 수 있는 기준 이미지와 비교하는 단계를 포함한다. 기준 이미지는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지, 다른 타입들의 이미지, 또는 환경에 관한 다른 타입들의 정보 중 적어도 하나의 적어도 일부를 포함할 수 있다.
블록(608)은, 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다.
추가적으로 또는 임의적으로, 방법(600)은 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 포함할 수 있다. 이러한 시나리오들에서, 방법(600)은, 관성 포즈 추정기에 의해, 차량의 요 방위를 결정하는 단계, 및 조정 신호 및 결정된 요 방위에 기초하여 개선된 요 방위를 결정하는 단계를 추가로 포함할 수 있다.
도 7은 예시적인 실시예에 따른 방법(700)을 예시한다. 방법(700)은 도 1 및 도 2를 참조하여 예시되고 설명된 바와 같은 차량(110), 제어기(150) 또는 차량(200)에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 방법(700)은 도 1, 도 2, 도 3a 내지 도 3d, 도 4a 내지 도 4d 및/또는 도 5a 내지 도 5d를 참조하여 예시되고 설명된 엘리먼트들과 유사하거나 동일한 엘리먼트들을 포함할 수 있다. 방법(700)은 본 명세서에서 명시적으로 개시된 단계들 또는 블록들보다 더 적거나 더 많은 단계들 또는 블록들을 포함할 수 있다는 것이 이해될 것이다. 또한, 방법(700)의 개개의 단계들 또는 블록들은 임의의 순서로 수행될 수 있고, 각각의 단계 또는 블록은 1회 이상 수행될 수 있다. 일부 실시예들에서, 방법(700)은 도 6 및 도 8을 참조하여 예시되고 설명된 바와 같은 방법들(600 또는 800) 중 하나 이상과 조합될 수 있다.
블록(702)은 카메라로부터 카메라 이미지 데이터를 수신하는 단계를 포함한다. 본 명세서의 다른 곳에서 설명된 바와 같이, 카메라 이미지 데이터는 차량 주변 환경을 나타내는 정보를 포함할 수 있다. 예를 들어, 카메라 이미지 데이터는 차량 도로, 주행 경로, 장애물들, 랜드 마크들 및/또는 차량 환경에서의 다른 객체들에 관한 정보를 포함할 수 있다.
블록(704)은 카메라 이미지 데이터를 변환하여 탑-다운 이미지를 제공하는 단계를 포함한다. 예시적인 실시예에서, 탑-다운 이미지는 차량 주변 환경의 평탄화된 2차원 이미지를 포함할 수 있다.
블록(706)은 탑-다운 이미지를 기준 이미지와 비교하는 단계를 포함한다. 일부 실시예들에서, 기준 이미지는 지도 데이터의 적어도 일부를 포함한다. 예를 들어, 기준 이미지는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지, 다른 타입들의 이미지, 또는 환경에 관한 다른 정보 중 적어도 하나의 적어도 일부를 포함할 수 있다.
블록(708)은, 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다.
방법(700)은 또한 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 포함할 수 있다.
예시적인 실시예에서, 방법(700)은, 예를 들어, 포즈 추정기에 의해, 차량의 요 방위를 결정하는 단계를 포함할 수 있다. 조정 신호에 기초하여, 방법(700)은 또한 조정 신호 및 결정된 요 방위에 기초하여 개선된 요 방위를 결정하는 단계를 포함할 수 있다.
도 8은 예시적인 실시예에 따른 방법(800)을 예시한다. 방법(800)은 도 1 및 도 2를 참조하여 예시되고 설명된 바와 같은 차량(110), 제어기(150) 또는 차량(200)에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 방법(800)은 도 1, 도 2, 도 3a 내지 도 3d, 도 4a 내지 도 4d 및/또는 도 5a 내지 도 5d를 참조하여 예시되고 설명된 엘리먼트들과 유사하거나 동일한 엘리먼트들을 포함할 수 있다. 방법(800)은 본 명세서에서 명시적으로 개시된 단계들 또는 블록들보다 더 적거나 더 많은 단계들 또는 블록들을 포함할 수 있다는 것이 이해될 것이다. 또한, 방법(800)의 개개의 단계들 또는 블록들은 임의의 순서로 수행될 수 있고, 각각의 단계 또는 블록은 1회 이상 수행될 수 있다. 일부 실시예들에서, 방법(800)은 도 6 및 도 8을 참조하여 예시되고 설명된 바와 같은 방법들(600 또는 700) 중 하나 이상과 조합될 수 있다.
블록(802)은 기준 데이터를 수신하는 단계를 포함한다. 이러한 시나리오에서, 기준 데이터는 장면의 오버헤드 관점을 나타내는 정보일 수 있다. 일부 실시예들에서, 기준 데이터는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지, 다른 타입들의 이미지, 또는 환경에 관한 다른 정보 중 적어도 하나의 적어도 일부를 포함한다.
블록(804)은 기준 데이터를 카메라의 시야에 대응하도록 변환하는 단계를 포함한다. 변환은 3D-대-2D 이미지 변환, 스케일-불변 피처 변환, 또는 이미지 데이터, 포인트 클라우드 데이터 또는 다른 타입들의 환경 데이터의 관점을 조정하도록 구성된 다른 타입의 이미지 프로세싱 변환을 포함할 수 있지만, 이에 제한되지 않는다. 일부 실시예들에서, 변환은 기준 데이터를 오버헤드 관점으로부터 전방-지향 관점으로 변경할 수 있다. 다른 타입들의 이미지 프로세싱 변환들도 본 명세서에서 가능하고 고려된다.
블록(806)은 카메라로부터 카메라 이미지 데이터를 수신하는 단계를 포함한다. 예시적인 실시예에서, 카메라 이미지 데이터는 차량 주변 환경의 적어도 일부의 평탄화된 2차원 이미지를 포함할 수 있다.
블록(808)은 변환된 기준 데이터를 카메라 이미지 데이터와 비교하는 단계를 포함한다. 일부 실시예들에서, 카메라 이미지 데이터는 변환된 기준 데이터의 적어도 일부에 대응한다. 일부 시나리오들에서, 기준 데이터 및/또는 카메라 이미지 데이터는 이미지 차이 알고리즘, 이미지 호모그래피 알고리즘 또는 이미지 교정 알고리즘(image rectification algorithm) 중 적어도 하나를 사용하여 프로세싱될 수 있다.
블록(810)은, 비교에 기초하여, 요 에러를 결정하는 단계를 포함한다. 일부 실시예들에서, 방법(800)은 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 추가로 포함한다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 실시예들은 주어진 도면에 도시된 각각의 엘리먼트를 더 많이 또는 더 적게 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 조합될 수도 있고 또는 생략될 수도 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
정보 프로세싱을 나타내는 단계 또는 블록은 본 명세서에서 설명된 방법 또는 기술의 특정 논리 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 프로세싱을 나타내는 단계 또는 블록은 모듈, 세그먼트, 물리적 컴퓨터(예를 들어, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 애플리케이션-특정 집적 회로(ASIC)) 또는 (관련 데이터를 포함하는) 프로그램 코드의 일부에 대응할 수 있다. 프로그램 코드는 방법 또는 기술의 특정 논리 기능들 또는 액션들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독 가능 매체 상에 저장될 수 있다.
컴퓨터 판독 가능 매체는 또한 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(random access memory)(RAM)와 같이 짧은 시간 기간들 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 더 오랜 시간 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독 가능 매체는, 예를 들어, 판독 전용 메모리(read only memory)(ROM), 광 또는 자기 디스크들, 콤팩트-디스크 판독 전용 메모리(compact-disc read only memory)(CD-ROM)와 같은 2차 또는 영구 장기 스토리지를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비-휘발성 저장 시스템들일 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체, 예를 들어, 유형의 저장 디바이스로 간주될 수 있다.
다양한 예들 및 실시예들이 개시되었지만, 다른 예들 및 실시예들이 본 기술분야의 통상의 기술자에게 명백할 것이다. 다양한 개시된 예들 및 실시예들은 예시를 위한 것으로서 제한하기 위한 의도가 아니며, 진정한 범위는 이하의 청구 범위에 의해 지시된다.

Claims (20)

  1. 방법으로서,
    라이다(light detection and ranging)(LIDAR) 디바이스로부터 포인트 클라우드 데이터를 수신하는 단계;
    상기 포인트 클라우드 데이터를 변환하여 탑-다운 이미지(top-down image)를 제공하는 단계;
    상기 탑-다운 이미지를 기준 이미지(reference image)와 비교하는 단계; 및
    상기 비교에 기초하여, 요 에러(yaw error)를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 포인트 클라우드 데이터는 차량 주변 환경에서의 객체들을 나타내는 정보를 포함하는 방법.
  3. 제2항에 있어서, 상기 탑-다운 이미지는 상기 차량 주변 환경의 평탄화된 2차원 이미지를 포함하는 방법.
  4. 제1항에 있어서,
    상기 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 추가로 포함하는 방법.
  5. 제4항에 있어서,
    상기 포즈 추정기에 의해, 상기 차량의 요 방위를 결정하는 단계; 및
    상기 조정 신호 및 상기 결정된 요 방위에 기초하여 개선된 요 방위를 결정하는 단계
    를 추가로 포함하는 방법.
  6. 제1항에 있어서, 상기 기준 이미지는 지도 데이터의 적어도 일부를 포함하는 방법.
  7. 제1항에 있어서, 상기 기준 이미지는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지 또는 다른 오버헤드 이미지 중 적어도 하나의 적어도 일부를 포함하는 방법.
  8. 방법으로서,
    카메라로부터 카메라 이미지 데이터를 수신하는 단계;
    상기 카메라 이미지 데이터를 변환하여 탑-다운 이미지를 제공하는 단계;
    상기 탑-다운 이미지를 기준 이미지와 비교하는 단계; 및
    상기 비교에 기초하여, 요 에러를 결정하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서, 상기 카메라 이미지 데이터는 차량 주변 환경을 나타내는 정보를 포함하는 방법.
  10. 제8항에 있어서, 상기 탑-다운 이미지는 차량 주변 환경의 평탄화된 2차원 이미지를 포함하는 방법.
  11. 제8항에 있어서,
    상기 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 추가로 포함하는 방법.
  12. 제11항에 있어서,
    상기 포즈 추정기에 의해, 상기 차량의 요 방위를 결정하는 단계; 및
    상기 조정 신호 및 상기 결정된 요 방위에 기초하여 개선된 요 방위를 결정하는 단계
    를 추가로 포함하는 방법.
  13. 제8항에 있어서, 상기 기준 이미지는 지도 데이터의 적어도 일부를 포함하는 방법.
  14. 제8항에 있어서, 상기 기준 이미지는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지 또는 다른 오버헤드 이미지 중 적어도 하나의 적어도 일부를 포함하는 방법.
  15. 방법으로서,
    기준 데이터를 수신하는 단계 - 상기 기준 데이터는 장면의 오버헤드 관점(overhead perspective)을 나타내는 정보를 포함함-;
    상기 기준 데이터를 카메라의 시야에 대응하도록 변환하는 단계;
    상기 카메라로부터 카메라 이미지 데이터를 수신하는 단계;
    상기 변환된 기준 데이터를 상기 카메라 이미지 데이터와 비교하는 단계; 및
    상기 비교에 기초하여, 요 에러를 결정하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서, 상기 카메라 이미지 데이터는 차량 주변 환경의 평탄화된 2차원 이미지를 포함하는 방법.
  17. 제15항에 있어서,
    상기 결정된 요 에러에 기초하여 차량의 포즈 추정기에 조정 신호를 제공하는 단계를 추가로 포함하는 방법.
  18. 제15항에 있어서, 상기 카메라 이미지 데이터는 상기 변환된 기준 데이터의 적어도 일부에 대응하는 방법.
  19. 제15항에 있어서, 상기 기준 데이터는 하나 이상의 이전 카메라 이미지, LIDAR 포인트 클라우드, RADAR 데이터, 위성 이미지 또는 다른 오버헤드 이미지 중 적어도 하나의 적어도 일부를 포함하는 방법.
  20. 제15항에 있어서, 상기 기준 데이터 또는 상기 카메라 이미지 데이터 중 적어도 하나는 이미지 차이 알고리즘, 이미지 호모그래피 알고리즘 또는 이미지 교정 알고리즘(image rectification algorithm) 중 적어도 하나를 사용하여 프로세싱되는 방법.
KR1020207004418A 2017-07-25 2018-07-10 지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정 Active KR102319191B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/658,800 US10670725B2 (en) 2017-07-25 2017-07-25 Determining yaw error from map data, lasers, and cameras
US15/658,800 2017-07-25
PCT/US2018/041465 WO2019022948A1 (en) 2017-07-25 2018-07-10 DETERMINING A LACET ERROR FROM MAP DATA, LASERS, AND CAMERAS

Publications (2)

Publication Number Publication Date
KR20200020969A true KR20200020969A (ko) 2020-02-26
KR102319191B1 KR102319191B1 (ko) 2021-10-29

Family

ID=65038209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004418A Active KR102319191B1 (ko) 2017-07-25 2018-07-10 지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정

Country Status (6)

Country Link
US (3) US10670725B2 (ko)
EP (1) EP3658957A4 (ko)
JP (2) JP6901625B2 (ko)
KR (1) KR102319191B1 (ko)
CN (1) CN110945379A (ko)
WO (1) WO2019022948A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL230192B1 (pl) * 2016-09-28 2018-10-31 Lipik Jacek Gama Skaner zwłaszcza do starodruków oraz sposób skanowania
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
AU2018299284A1 (en) * 2017-07-14 2019-10-24 Komatsu Ltd. Topographic information transmission device, construction management system, and topographic information transmission method
DE102017117545A1 (de) * 2017-08-02 2019-02-07 Jungheinrich Aktiengesellschaft Verfahren zur Überwachung des Fahrwegs eines Flurförderzeuges sowie ein Flurförderzeug
US10794710B1 (en) 2017-09-08 2020-10-06 Perceptin Shenzhen Limited High-precision multi-layer visual and semantic map by autonomous units
DE102017217065A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren und System zum Kartieren und Lokalisieren eines Fahrzeugs basierend auf Radarmessungen
US11237269B2 (en) * 2018-04-26 2022-02-01 Ford Global Technologies, Llc Localization technique
US10551485B1 (en) 2018-08-06 2020-02-04 Luminar Technologies, Inc. Fitting points to a surface
US10698408B2 (en) 2018-08-30 2020-06-30 Pony Ai Inc. Distributed sensing for vehicle navigation
US11346950B2 (en) * 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US11577647B2 (en) * 2018-12-27 2023-02-14 Continental Autonomous Mobility US, LLC Surround view by drones
JP7315723B2 (ja) * 2019-06-17 2023-07-26 華為技術有限公司 車両姿勢認識方法及び関連装置
US10613203B1 (en) * 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
CN112639882B (zh) * 2019-09-12 2021-12-14 华为技术有限公司 定位方法、装置及系统
CN112578390A (zh) * 2019-09-29 2021-03-30 睿镞科技(北京)有限责任公司 激光雷达及生成激光点云数据的方法
CN110705577B (zh) * 2019-09-29 2022-06-07 武汉中海庭数据技术有限公司 一种激光点云车道线提取方法
DE102019215026A1 (de) * 2019-09-30 2021-04-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines hochgenauen Schätzwerts einer Gierrate zum Steuern eines Fahrzeugs
CN110686677B (zh) * 2019-10-10 2022-12-13 东北大学 一种基于几何信息的全局定位方法
US11262759B2 (en) 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
EP4070130A4 (en) * 2019-12-04 2023-12-27 Waymo LLC EFFICIENT ALGORITHM FOR PROJECTING WORLD POINTS ONTO A ROLLER SHUTTER IMAGE
CN113312435B (zh) * 2020-02-27 2023-06-06 武汉四维图新科技有限公司 高精度地图更新方法和设备
US11257197B2 (en) * 2020-03-31 2022-02-22 Woven Planet North America, Inc. Mapping pipeline optimization using aggregated overhead view reconstruction
US11472442B2 (en) * 2020-04-23 2022-10-18 Zoox, Inc. Map consistency checker
CN111856492B (zh) * 2020-06-22 2021-04-23 北京驭光科技发展有限公司 动态船舶测高方法和装置
US11892574B2 (en) * 2020-07-31 2024-02-06 GM Global Technology Operations LLC Dynamic lidar to camera alignment
DE102020210420A1 (de) * 2020-08-17 2022-02-17 Continental Automotive Gmbh Verfahren zur Kalibrierung eines Gierratensensors eines Fahrzeugs
US12055632B2 (en) * 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction
DE102020130481B4 (de) * 2020-11-18 2025-05-15 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
CN112541971A (zh) * 2020-12-25 2021-03-23 深圳市慧鲤科技有限公司 点云地图构建方法及装置、电子设备和存储介质
US20240151534A1 (en) * 2021-03-01 2024-05-09 Pioneer Corporation Information processing device, control method, program, and storage medium
US20220299649A1 (en) * 2021-03-19 2022-09-22 Qualcomm Incorporated Object detection for a rotational sensor
SE544775C2 (en) * 2021-03-30 2022-11-08 Saab Ab A method, software product, device and system for determining a direction at a position
US12209869B2 (en) * 2021-04-09 2025-01-28 Zoox, Inc. Verifying reliability of data used for autonomous driving
CN113325428A (zh) * 2021-04-29 2021-08-31 中国科学院沈阳自动化研究所 一种基于激光雷达的距离与航向测量方法
US12104921B2 (en) 2021-09-22 2024-10-01 Here Global B.V. Advanced data fusion structure for map and sensors
CN114022760B (zh) * 2021-10-14 2022-08-05 湖南北斗微芯产业发展有限公司 铁路隧道障碍物监测预警方法、系统、设备及存储介质
CN114170278B (zh) * 2021-11-05 2024-12-17 吉林大学 基于激光雷达的可见光与近红外配准系统及配准方法
CN115100622B (zh) * 2021-12-29 2023-09-22 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
JP2023147576A (ja) * 2022-03-30 2023-10-13 本田技研工業株式会社 地図生成装置
US12564955B2 (en) 2022-06-23 2026-03-03 Boston Dynamics, Inc. Modeling robot self-occlusion for localization
SE545879C2 (en) * 2022-09-03 2024-03-05 Spacemetric Ab Method and arrangement for determining a pose of an aerial vehicle
CN118091696A (zh) * 2022-11-25 2024-05-28 华为技术有限公司 激光雷达点云处理方法和装置
US20240192695A1 (en) * 2022-12-07 2024-06-13 Boston Dynamics, Inc. Anchoring based transformation for aligning sensor data of a robot with a site model
US12330692B2 (en) * 2022-12-27 2025-06-17 Automotive Research & Testing Center Route planning system and method of self-driving vehicle
CN116101321A (zh) * 2022-12-30 2023-05-12 武汉中海庭数据技术有限公司 一种不可行驶车道的判定及预警方法、装置
US12600367B1 (en) 2023-02-21 2026-04-14 Zoox, Inc. Determining point locations based on road segment approximations
KR102803206B1 (ko) * 2024-09-23 2025-05-07 (주)엠폴 라이다 데이터와 이미지 데이터 융합 기반 객체 탐지 방법 및 시스템
CN119270920B (zh) * 2024-12-06 2025-02-25 中国人民解放军火箭军工程大学 一种基于区域视觉相对定位的无人车辆运动控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150034162A1 (en) * 2012-03-30 2015-02-05 Adeka Corporation Dye-sensitized solar cell and method for making same

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774824A (en) 1995-08-24 1998-06-30 The Penn State Research Foundation Map-matching navigation system
JPH1047978A (ja) 1996-08-02 1998-02-20 Nissan Motor Co Ltd 車両用前方モニタ装置
US8294712B2 (en) * 2003-09-19 2012-10-23 The Boeing Company Scalable method for rapidly detecting potential ground vehicle under cover using visualization of total occlusion footprint in point cloud population
JP4710653B2 (ja) 2005-03-03 2011-06-29 日産自動車株式会社 車載画像処理装置及び車両用画像処理方法
JP4682830B2 (ja) * 2005-12-05 2011-05-11 日産自動車株式会社 車載画像処理装置
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
KR101055001B1 (ko) 2008-11-11 2011-08-05 주식회사 현대오토넷 차선 이탈 경보 시스템용 카메라의 촬영각 오차 자동 보정 방법
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
US8190330B2 (en) 2009-03-06 2012-05-29 GM Global Technology Operations LLC Model based predictive control for automated lane centering/changing control systems
JP5402244B2 (ja) * 2009-05-26 2014-01-29 トヨタ自動車株式会社 車両物理量推定装置
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
US8437936B2 (en) 2010-04-09 2013-05-07 Navteq B.V. Method and system for vehicle ESC system using map data
KR101236234B1 (ko) 2010-07-29 2013-02-22 한국과학기술연구원 레이저 센서와 카메라를 이용한 차선 인식 시스템
JP5811327B2 (ja) 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
JP5898475B2 (ja) 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
US8694224B2 (en) * 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US9626599B2 (en) 2012-04-09 2017-04-18 GM Global Technology Operations LLC Reconfigurable clear path detection system
US9052721B1 (en) * 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
US9043072B1 (en) 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
JP2014211787A (ja) 2013-04-19 2014-11-13 本田技研工業株式会社 情報提供装置
US8761457B1 (en) * 2013-11-27 2014-06-24 Google Inc. Aligning ground based images and aerial imagery
US9386302B2 (en) 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US20150362587A1 (en) 2014-06-17 2015-12-17 Microsoft Corporation Lidar sensor calibration using surface pattern detection
US9568611B2 (en) 2014-08-20 2017-02-14 Nec Corporation Detecting objects obstructing a driver's view of a road
US9530235B2 (en) * 2014-11-18 2016-12-27 Google Inc. Aligning panoramic imagery and aerial imagery
JP2016120892A (ja) * 2014-12-25 2016-07-07 富士通株式会社 立体物検出装置、立体物検出方法および立体物検出プログラム
CN111380545B (zh) 2015-02-10 2024-11-12 御眼视觉技术有限公司 用于自主车辆导航的方法、服务器、自主车辆以及介质
US9715016B2 (en) 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US9884623B2 (en) 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
JP6815724B2 (ja) * 2015-11-04 2021-01-20 トヨタ自動車株式会社 自動運転システム
US10011299B2 (en) * 2016-04-21 2018-07-03 Robert Bosch Gmbh Trailer angle detection using rear camera
CN106969763B (zh) * 2017-04-07 2021-01-01 百度在线网络技术（北京）有限公司 用于确定无人驾驶车辆的偏航角的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150034162A1 (en) * 2012-03-30 2015-02-05 Adeka Corporation Dye-sensitized solar cell and method for making same

Also Published As

Publication number Publication date
US20190033459A1 (en) 2019-01-31
JP6901625B2 (ja) 2021-07-14
JP7301909B2 (ja) 2023-07-03
US11675084B2 (en) 2023-06-13
CN110945379A (zh) 2020-03-31
US20230152461A1 (en) 2023-05-18
WO2019022948A1 (en) 2019-01-31
EP3658957A4 (en) 2020-12-23
EP3658957A1 (en) 2020-06-03
US10670725B2 (en) 2020-06-02
KR102319191B1 (ko) 2021-10-29
JP2020529002A (ja) 2020-10-01
JP2021167819A (ja) 2021-10-21
US20200249359A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US20230152461A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
US11143514B2 (en) System and method for correcting high-definition map images
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
EP3137850B1 (en) Method and system for determining a position relative to a digital map
US10955857B2 (en) Stationary camera localization
CN106546977A (zh) 车辆雷达感知和定位
JP7302966B2 (ja) 移動体
Bansal et al. Vision-based perception for autonomous urban navigation
RU2775817C2 (ru) Способ и система для обучения алгоритма машинного обучения с целью обнаружения объектов на расстоянии
Belaroussi et al. Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map

Legal Events

Date Code Title Description
A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000