KR20170068937A - 터널 조명을 이용한 자율주행 차량 항법 시스템 - Google Patents

Abstract

본 발명은 차량의 위치정보와 지도정보를 측위를 하는 위치정보 측정부, 차량 주변을 촬영하는 환경인지 센서부, 차량 주변을 사물을 감지하는 레이더 감지부, 상기 위치정보 측정부의 차량 위치와 상기 환경인지 센서부의 촬영 영상을 기반으로 미리 정확한 자차 위치를 추정하는 센서융합 측위부, 상기 촬영 영상과 사물을 기반으로 주변 환경 정보를 출력하는 주변환경 인지부, 상기 측위 정보와 주변 환경 정보를 융합하여 차량의 주행 경로를 생성하는 주행경로 생성부, 상기 생성된 경로를 기반으로 차량을 제어하는 차량제어부를 포함하는 터널 조명을 이용한 자율주행 차량 항법 시스템에 관한 것이다.

Description

터널 조명을 이용한 자율주행 차량 항법 시스템{Autonomous driving vehicle navigation system using the tunnel lighting}

본 발명은 터널 조명을 이용한 자율주행 차량 항법 시스템에 관한 것으로, 보다 상세하게는 터널 안의 터널 조명을 검출하여 이를 맵매칭의 입력 값으로 사용함으로써, 자율주행 항법 기술에 터널 내에 정확도 해결을 제공하는 터널 조명을 이용한 자율주행 차량 항법 시스템에 관한 것이다.

기존 자율주행 항법 기술은 터널 등의 특수한 환경에서는 그 정확도가 떨어진다는 단점이 있다. 특히 터널 구간에서는 GPS의 신호를 전혀 사용할 수 없으므로 이를 보정하는 더욱 정밀한 맵매칭 기술이 필요함에도, 오염 및 조명에 따른 차선 자체의 손실, 차량 정체로 일어날 수 있는 차선 가림 현상으로 인해 이를 해결하기는 어려운 실정이다. 또한, 기존 차선을 이용한 맵매칭은 차선 모양의 특성상 횡방향 측위의 정확도는 상대적으로 정확하나, 종방향 측위 정확도가 떨어진다는 단점이 있다. 만약 긴 터널을 맵매칭을 이용하여 주행한다면, 종방향으로의 에러가 누적이 되어 수십 미터의 에러가 발생하는 문제점이 있다.

상기의 문제점을 해결하기 위하여 본 특허에서는 본 발명의 일실시례에 따른 터널 내 조명을 이용한 맵매칭 시스템은, 카메라 센서로 입력되는 영상에서 차선뿐만 아니라 터널 조명을 검출하여 이를 맵매칭의 입력 값으로 사용함으로써, 기존 자율주행 항법 기술이 터널 내에서 그 정확도가 하락하는 문제를 해결하는 방법을 제안하는 것에 그 목적이 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 시스템은 차량의 위치정보와 지도정보를 측위를 하는 위치정보 측정부, 차량 주변을 촬영하는 환경인지 센서부, 차량 주변을 사물을 감지하는 레이더 감지부, 상기 위치정보 측정부의 차량 위치와 상기 환경인지 센서부의 촬영 영상을 기반으로 미리 정확한 자차 위치를 추정하는 센서융합 측위부, 상기 촬영 영상과 사물을 기반으로 주변 환경 정보를 출력하는 주변환경 인지부, 상기 측위 정보와 주변 환경 정보를 융합하여 차량의 주행 경로를 생성하는 주행경로 생성부, 상기 생성된 경로를 기반으로 차량을 제어하는 차량제어부를 포함한다.

본 발명의 실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 시스템은 카메라 센서로 입력되는 영상에서 차선뿐만 아니라 터널 조명을 검출하여 이를 맵매칭의 입력 값으로 사용함으로써, 기존 자율주행 항법 기술이 터널 내에서 그 정확도가 하락하는 문제를 해결하고자 한다. 이는 차선과 같이 오염이나 정체로 인해 검출 정확도가 하락하는 문제를 근원적으로 해결할 수 있으며, 처리속도가 빠르고 정확도가 높아 자율주행을 위한 측위 시스템의 성능향상에 큰 도움을 줄 수 있다. 또한, GPS와 같은 절대 측위 정보를 이용할 수 없는 터널 내의 종방향 오차 누적 현상을 해결할 수 있어, 차선을 이용한 맵매칭 시스템의 근본적인 문제를 해결할 수 있다.

본 특허에서 제안하는 방법은 센서융합 측위 부분의 맵 매칭 방법의 하나로, 기존 카메라 센서를 통해 검출하던 차선 정보 이외에 터널 조명을 검출하여 터널 내 맵매칭에 활용하고자 한다.

기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 터널 조명을 이용한 자율주행 차량 항법 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째,　경쟁사 자율주행차량 맵매칭 대비 터널 내 측위 정확도가 우수한 장점이 있다.

둘째,　경쟁사 대비 추가 원가 발생이 없고 성능이 향상됨에 따라 경쟁력 확보가 가능한 장점도 있다.

셋째, 터널은 자율주행 시 GPS가 동작하지 않는 취약지역으로써 터널 조명 사용으로 취약지역 극복이 가능한 장점도 있다.

넷째, 기존 자율주행 방법에 비해 터널 종방향 정확도가 획기적으로 향상하는 장점도 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 장치의 구성을 도시한 구성도.
도 2는 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 시스템의 맵매칭 기술을 도시한 개념도.
도 3은 본 발명의 일실시례에 따른 맵매칭을 위한 터널 조명 검출 기법을 도시한 블록도.
도 4는 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 시스템의 예시도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시례들에 의하여 터널 조명을 이용한 자율주행 차량 항법 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 장치의 구성을 도시한 구성도이다. 도 1을 참조하면, 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 장치는 위치정보 측정부(100), 환경인지 센서부(200), 레이더 감지부(300), 센서융합 측위부(400), 주변환경 인지부(500), 주행경로 생성부(600), 차량제어부(700)를 포함할 수 있다.

위치정보 측정부(100)는 자율주행 차량의 위치정보를 실시간 측정한다. 상기 위치정보 측정부(100)는 차량의 현재 위치 정보와 지도정보를 위성으로부터 받을 수 있다. 상기 위치정보 측정부(100)는 네베게이션, GNSS등을 포함할수 있다.

환경인지 센서부(200)는 상기 자율주행 차량의 주변 영상을 실시간 촬영할 수 있다. 상기 환경인지 센서부(200)는 Lidar, 카메라, 스테레오 카메라 등을 포함할 수 있다.

레이더 감지부(300)는 차량 외부 환경의 사물의 속성 및 움직임 정보를 출력한다. 상기 레이더 정보 분석을 통하여 주행 차량의 주변 차량의 움직임 방향 및 속도, 신호등, 보행자, 장애물 등의 외부 상황의 주요 위험 정보를 출력할 수 있다. 상기 레이더 감지부(300)는 V2X 단말기, 전방 레이더, 후측방 레이더 등을 포함할 수 있다.

센서융합 측위부(400)는 상기 위치정보 측정부(100)의 위치 정보와 상기 환경인지 센서부(200)의 촬영 영상을 기반으로 맵매칭 기술을 통해 정확한 차량 위치를 추정할 수 있다.

주변환경 인지부(500)는 상기 환경인지 센서부(200)의 촬영 영상과 상기 레이더 감지부(300)의 주요 위험 정보를 기반으로 주변 환경 정보를 출력할 수 있다.

주행경로 생성부(600)는 상기 센서융합 측위부(400)와 상기 주변환경 인지부(500)의 출력 정보를 융합하여 경로를 생성할 수 있다.

차량제어부(700)는 상기 주행경로부에서 생성된 경로를 기반으로 차량을 자율주행 할 수 있다.

도 2는 본 발명의 일실시례에 따른 터널 조명을 이용한 자율주행 차량 항법 시스템의 맵매칭 기술을 도시한 개념도이다.

도 2(a)는 위치정보 측정부(100)를 통한 위성측위 예시도이다.

위치정보 측정부(100)를 네비게이션과 GNSS 등의 센서를 활용하여 위성 측위를 실행하고, 상기 위성 측위 정보를 기반으로 현재 주행 차량의 센서융합용 정밀지도(220)를 구축할 수 있다.

도 2(b)는 환경인지 센서부(200)를 통한 차선 추출 예시도이다.

환경인지 센서부(200)는 Lidar을 기반으로 하여 터널 내 차량 전방의 기하 구조물(222)을 추축할 수 있다.

상기 환경인지 센서부(200)는 전방 영상에서 LKAS, LDWS 등의 ADAS 시스템을 기반으로 영상 내에서 차선(224)을 추축할수 있다.

도 3(c)은 측위 정보 확률적 결합 기술과 센서 데이터 매칭 기술을 사용하여 미리 구축되어 있는 지도와 상기 추측된 차선을 매칭(226)함으로서 차량의 위치(228)를 정확히 추정할수 있다.

도 3은 본 발명의 맵매칭을 위한 터널 조명 검출 기법을 도시한 블록도이다.

자율주행 차량에 장착된 카메라로부터 차량 전방의 영상을 입력 받는다(S301).

상기 전방 영상을 일정 이상의 임계값을 갖는 이진화 영상으로 변환한다. 상기 이진화 영상 중 라벨링 기법을 이용하여, 일정 크기 이상이고, 특정 가로 대 세로 비를 가지며, 영역 내 차지하는 밝은 픽셀의 비율이 일정 이상인 부분을 터널 조명 후보군으로 결정한다(S302).

상기 터널 조명 후보군 이외의 지역은 노이즈로 판단하고 제거한다(S303). 상기 검출된 터널 조명 후보군을 맵매칭을 위한 차량 중심 좌표계로 변환하여야 한다. 이를 위해 아래 수식과 같은 변환 공식을 적용하여 차량 중심 좌표계로 변환한다(S304).

(수학식 1)

(수학식 2)

여기에서, u, v는 영상 좌표계 값, X, Y, Z는 차량 중심 좌표계의 값을 나타낸다. s는 Homogenous 좌표계의 일종의 scale factor를, M은 카메라의 intrinsic parameters를, r1 r2 r3 t는 카메라의 extrinsic parameter를 각각 의미한다. h1~h9는 영상 좌표계에서 차량 중심 좌표계로의 이동을 위한 parameter 들로, 이미지와 차량 중심 좌표계의 최소 4개의 좌표상 좌표 쌍을 통해 계산할 수 있다. 이때 계산된 터널 조명의 높이 (Z) 값은 미리 알고 있어야 한다.

상기 변환된 조명의 값은 미리 구축되어 있는 지도와 매칭을 통하여 자율주행 차량의 위치를 파악하는 맵매칭 기법에 사용된다. 상기 맵매칭 기법을 통해 차선과 같이 오염이나 정체로 인해 검출 정확도가 하락하는 문제를 근원적으로 해결할 수 있으며, 처리속도가 빠르고 정확도가 높아 자율주행을 위한 측위 시스템의 성능향상에 큰 도움을 줄 수 있다.

도 4는 터널 조명을 이용한 자율주행 차량 항법 시스템의 예시도이다.

도 4를 참조하면, 차선(410)을 이용한 맵매칭 기법은, 상기 차선(410)의 모양이 종방향으로 연속되어 있다는 특성으로 인해, 횡방향 측위는 상대적으로 정확하나 종방향 측위는 그 정확도가 떨어진다는 한계점을 가지고 있다. 특히 절대 측위 정보를 송출해 주는 GPS를 터널 내에선 전혀 사용할 수 없으므로, 맵매칭의 종방향 에러는 계속해서 누적된. 따라서 터널을 통과할 때쯤에는 수십 미터에서 터널의 길이에 따라 백 미터 이상까지 종방향 측위 오차가 발생할 수 있다. 제안하는 특허에서는 터널 내 설치되어 있는 중앙등(420)을 맵매칭 특징으로 이용하여, 위와 같은 근본적인 문제점을 해결한다. 이 또한 상기 중앙등(420)의 실제 설치 위치 (X,Y,Z)를 미리 지도상에 저장해 두고, 전방카메라로 검출된 상기 중앙등(420)을 좌표 변환하여 맵매칭하는 기법으로 수행된다. 이를 통해, 종방향 에러의 누적을 막을 수 있으며 터널 내 자율주행 항법시스템의 정확도를 획기적으로 향상시킬 수 있다.

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 위치정보 측정부
200 : 환경인지 센서부
300 : 레이더 감지부
400 : 센서융합 측위부
500: 주변환경 인지부
600 : 주행경로 생성부
700: 차량제어부

Claims (7)

1. 차량의 위치정보와 지도정보를 측위를 하는 위치정보 측정부;
   차량 주변을 촬영하는 환경인지 센서부;
   차량 주변을 사물을 감지하는 레이더 감지부;
   상기 위치정보 측정부의 차량 위치와 상기 환경인지 센서부의 촬영 영상을 기반으로 미리 정확한 자차 위치를 추정하는 센서융합 측위부;
   상기 촬영 영상과 사물을 기반으로 주변 환경 정보를 출력하는 주변환경 인지부;
   상기 측위 정보와 주변 환경 정보를 융합하여 차량의 주행 경로를 생성하는 주행경로 생성부; 및
   상기 생성된 경로를 기반으로 차량을 제어하는 차량제어부;
   를 포함하는 터널 조명을 이용한 자율주행 차량 항법 장치.
2. 제 1 항에 있어서.
   상기 주변환경 인지부는 상기 환경인지 센서부의 영상 정보와 근거로 터널 조명을 검출하여 가상의 차선정보를 이용하여 가상경로를 설정하는 터널 조명을 이용한 자율주행 차량 항법 장치.
   
3. 제 1 항에 있어서
   상기 주행경로 생성부는 검출된 가상의 차선정보와 획득된 실제 차선정보의 맵 매칭을 통하여 상기 차량의 현재 위치정보를 보정하는 것을 특징으로 하는 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법 장치.
4. 제 1 항에 있어서
   상기 센서융합 측위부는 상기 환경인지 센서부로부터 영상을 일정 이상의 임계값을 갖는 이진화 영상으로 변환하는 터널 조명을 이용한 자율주행 차량 항법 장치.
5. 카메라를 통해 차량 전방 영상을 출력하는 단계;
   상기 전방 영상을 이진화 영상으로 변환하는 단계;
   상기 이진화 영상에서 터널 조명 후보군을 추출하는 단계;
   상기 터널 조명 후보군을 차량 중심 좌표계로 변환하는 단계;
   상기 좌표계를 지도와 상기 차량의 위치에 맵 매칭하는 단계;
   상기 맵 매칭 정보를 이용하여 자율주행하는 단계;
   를 포함하는 터널 조명을 이용한 자율주행 차량 항법 시스템.
6. 제 5 항에 있어서
   상기 차량 중심 좌표계 변환 단계는 터널 내 조명의 높이를 이용하여 상기 차량 중심 좌표계를 측정하는 것을 특징으로 하는 터널 조명을 이용한 자율주행 차량 항법 시스템.
7. 제 5 항에 있어서
   상기 맵 매칭 단계는 중앙등의 설치 위치를 미리 지도상에 저장해 두고, 전방카메라로 검출된 중앙등을 좌표 변환하여 맵매칭하는 것을 특징으로 하는 터널 조명을 이용한 자율주행 차량 항법 시스템.

Images