KR101075615B1

KR101075615B1 - 주행 차량의 운전자 보조 정보 생성 장치 및 방법

Info

Publication number: KR101075615B1
Application number: KR1020060063649A
Authority: KR
Inventors: 김광수; 오세영; 김진원; 박상철; 김삼용; 류영우; 강정관
Original assignee: 포항공과대학교 산학협력단; 삼성전자주식회사
Priority date: 2006-07-06
Filing date: 2006-07-06
Publication date: 2011-10-21
Anticipated expiration: 2026-07-06
Also published as: KR20080004835A; EP1918897A2; US7710291B2; EP1918897A3; CN101101333A; US20080055114A1

Abstract

본 발명은 주행 차량의 운전자 보조 정보를 생성하는 기능을 구현한다. 이를 위해 본 발명은 주행차량 주변의 사각을 없앨 수 있는 센서 시스템과 차선과 차량을 정확하게 검출할 수 있는 방법을 바탕으로 주행환경을 조감영상으로 재구성하고 충돌위험시 충돌경보를 발생하도록 한다. 또한, 조감영상 재구성 시 차선의 형태, 곡률, 차선의 소실 등의 다양한 도로환경에 적용 가능한 차선인식방법을 바탕으로 전방과 후방의 차선인식결과를 통합하여 차선인식의 안정성을 높이고 실선과 점선을 구분함으로써 위험정도를 세분화하여 운전자에게 제공할 수 있으며 차선이탈 시 단순히 음성경보 뿐만 아니라 도로에 대한 차량의 위치를 재구성한다.

차량, 카메라, 초음파, 소나 센서, 차선인식

Description

주행 차량의 운전자 보조 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A AUXILIARY INFORMATION OF MOVING VEHICLES FOR DRIVER}

도 1은 본 발명의 실시 예에 따라 초음파 센서와 카메라와 속도 검출장치가 장착된 차량에 대한 예시도,

도 2는 본 발명의 실시 예에 따라 주행 차량의 운전자 보조 정보 생성 장치의 내부 구성도,

도 3은 도 2의 차선 인식부의 내부 구성도,

도 4는 본 발명의 실시 예에 따라 생성된 주행 차량의 운전자 보조 정보를 도시하는 예시도,

도 5는 본 발명의 실시 예에 따라 주행 차량의 전후방 차선인식을 통해 도로 재구성하기 위한 제어 흐름도,

도 6은 본 발명의 실시 예에 따른 차선인식을 위한 제어 흐름도,

도 7은 본 발명의 실시 예에 따른 차선인식을 위한 과정을 설명하기 위한 화면 예시도,

도 8은 본 발명의 실시 예에 따른 차선인식 결과를 재구성한 화면을 도시하는 화면 예시도,

도 9는 본 발명의 실시 예에 따라 측면 차량인식을 위한 과정 나타내는 제어 흐름도,

도 10은 본 발명의 실시 예에 따라 측면 차량인식 과정을 설명하기 위한 화면 예시도,

도 11은 본 발명의 실시 예에 따라 차선인식 및 차량인식에 따라 주행 차량의 운전자 보조 정보 생성과정을 나타내는 제어 흐름도,

도 12는 본 발명의 실시 예에 따라 차선인식 및 차량인식을 통해 생성된 주행 차량의 운전자 보조 정보를 도시하는 화면 예시도,

도 13은 본 발명의 실시 예에 따라 충돌경보를 위한 과정을 나타내는 제어 흐름도.

본 발명은 주행 차량의 운전자 보조 정보 생성 장치 및 방법에 관한 것으로, 특히 차선인식과 차량검출을 통해 운전자가 주행하는 차량의 전방향의 도로 및 주변차량에 대한 환경을 쉽게 인식할 수 있도록 주행 차량의 운전자 보조 정보를 생성하기 위한 장치 및 방법에 관한 것이다.

차량 운행 시 운전자의 부주의나 시계의 불량 등으로 앞에서 주행하는 차량을 추둘하는 경우가 빈번하게 발생하고 있다. 즉, 장거리 운전 시, 우천 시, 야간 운전 시 시계 불량 및 운전자의 집중력 부족 등으로 인한 차선 이탈과 주행 차량과 의 추돌에 의한 교통사고가 끊임없이 발생하고 있다. 이와 같은 교통사고는 운전자의 부주의로 인하며 이러한 상황을 2~3초 전에 미리 알고 적절한 대응을 했다면 사고는 50%이상으로 줄어들거나 경미한 사고로 줄일 수 있다. 상기와 같은 추돌을 방지하기 위하여 차량 검출을 통해 차량간 위치와 속도를 파악하여 차량간 충돌경보, 충돌회피, 순항제어와 같은 정보를 제공할 수 있는 운전자 보조시스템이 제공되고 있다. 이러한 운전자 보조시스템은 운전자가 좀 더 편리하고 안전하게 주행할 수 있도록 주행 정보나 위험 경보를 주거나 적극적인 개입을 통한 안전사고를 방지할 수 있는 시스템으로 후방주차경보 시스템, 차선이탈경보 시스템, 졸음운전경보 시스템 등의 보조정보 생성 시스템에서 적극적인 조향이나 속도제어를 하는 차선이탈방지 시스템, 지능순항제어 시스템 등이 연구되고 있다. 이와 같은 종래의 운전자 보조시스템의 차선이나 주변 차량 정보의 추출방법으로는 카메라로부터 전방의 차선을 검출하는 방법, 카메라로부터 전방의 차량을 검출하는 방법, 레이더를 이용해서 전방의 차량을 검출하는 방법, 사이드 미러쪽에 후방을 볼 수 있도록 설치된 카메라를 이용해서 측후방의 차량을 검출하는 방법, 측방에 설치된 초음파 센서를 이용해서 측방 차량을 검출하는 방법 등을 사용하였다. 추출된 일차적인 차선과 차량에 대한 정보는 자차량과 차선의 상대적인 위치 추정방법, 차선이탈 시점을 예측하는 방법, 주변차량과의 상대적인 거리와 상대적인 속도를 추정하는 방법, 이를 이용해 차량간 충돌을 예측하는 방법을 이용해서 운전자에게 전달할 수 있는 유효한 정보를 생성한다. 이와 같이 추출된 유효정보들을 운전자에 전달하는 인터페이스로는 경보음, 경보등, 핸들이나 운전석의 진동 등의 방법을 사용하였다. 위험상황을 전달하기 위한 상기 수단 외에 주행상황을 계속 디스플레이하는 방식으로는 자차량과 전방차량의 위치와 거리를 직선도로상에 표시하는 방법, 카메라, 레이더, 레이저와 같은 센서처리를 통해 추출한 도로형상정보위에 차량정보를 표시하는 방법, 지도데이터베이스로부터 도로정보를 생성하여 추출된 차량의 위치 및 거리정보를 도로형상에 중첩하여 표시하는 방법 등을 사용하였다.

상기한 바와 같이 종래의 운전자 보조 시스템은 무엇보다 정확한 환경인식과 적절한 정보전달이 필요하지만 대부분은 전방 혹은 측후방에서의 차선이탈이나 차량간 충돌상황 등의 특정 정보만을 주시하도록 특화되었으며 운전자에게 제약된 정보만을 전달함으로써 잠재적인 운전자 방해요소를 가지고 있다. 또한 전방향 환경인식을 위해서는 최소한의 센서를 이용한 차량주변의 사각을 없애기 위해 적절한 센서배치가 필요하며 전방, 후방, 좌우측방의 정보는 단순한 조합이 아닌 서로 교환 및 융합되어야 한다. 주로 전방 상황만을 주시하는 운전자에게 종래의 단순한 인터페이스를 이용해서 전후 좌우 차선의 상태와 이에 대한 차량의 상태, 주변차량 간의 거리, 속도, 충돌여부 등의 종합적인 전방향에 대한 정보를 전달하는 것은 한계가 있다.

또한, 주행중인 도로와 차량상황을 모두 디스플레이 하는 종래의 기술들 역시 도로정보를 추출하지 않거나 도로정보를 추출하더라도 곡률정보를 통해 도로의 형상만을 추출하는 것으로써 좌우 차선에 대한 정보는 알 수 없다. 즉, 종래의 차 선인식기술은 영상으로부터 차선인식에 관한 기술은 차선과 도로의 밝기차를 이용하여 차선부분을 추출하고 이를 모두 역원근처리해서 차선의 기울기를 구하여 차선의 곡률을 구하거나 마스크에 의한 에지검출을 이용해서 차선부분을 추출하여 근거리와 원거리에 대해 각각 기울기를 구해서 곡률을 구했고 이러한 차선인식을 통해 차선의 형태와 차선에 대한 차량의 위치를 예측해서 차선이탈을 음성으로 경보하는 방법을 사용하고 있다. 그러나, 이와 같은 차선인식 방법은 영상의 변화나 차선의 밝기 변화에 적응하지 못하여 차선후보의 추출이 용이하지 못해서 차선인식시스템 전체의 성능을 떨어뜨리게 되고, 영상자체를 역원근처리하여 처리시간이 많이 소요된다. 곡률을 가진 도로라도 영상이 갖는 원근효과에 의해 근거리에서는 일정한 기울기를 갖는 직선이나 작은 곡률을 갖는 곡선으로 보이지만 원거리에서는 큰 곡률을 갖게 된다. 또한 원거리에서는 차선의 상태에 따라 차선후보가 근거리에 비해 부족하기 때문에 근거리정보만으로 전체적인 차선의 곡률을 추정해가거나 미리 설정된 곡률값을 이용해서 원거리에서 차선후보를 검출하고 이를 이용해서 곡률을 계산하는 방법으로는 정확한 곡률을 추정하기 어려운 문제가 있다. 차선의 곡률을 정확히 추정하기 위해서는 근거리에서의 정확한 차선의 위치를 찾아낸 후 원거리에 위치한 차선후보의 곡률을 계산하여 근거리 차선의 위치와 비교함으로써 근거리뿐만 아니라 원거리에 위치한 차선도 정확하게 찾는 방법이 필요하다. 한쪽 차량이 차선을 밝거나 도로가 노후하여 차선이 소실되거나 희미한 경우, 명확한 쪽 차선정보와 차선폭 정보에 의해서 차선을 유추할 수 있는 방법이 필요하며 영상에서의 차선검출보다는 차선과 카메라의 관계를 규정함으로써 차선과 차량과의 위치관계를 정확히 계산하는 과정이 요구된다. 현재 차선의 형태와 차선과 차량의 위치관계에 의해 차선이탈시점을 예측할 수 있지만 중앙선이나 도로변으로 이탈할 경우 안전사고 위험성은 더 커지기 때문에 이를 위해서는 점선과 실선에 대한 구분이 가능해야 하며 역광이나 교차로와 같이 도로의 전후 사정이 다른 경우를 위해서 전후방 차선인식의 통합을 이용한 잡음 제거가 필요하다.

한편, 지도데이터베이스를 이용해서 도로정보를 생성하기 위해서는 위치측정 수단이 가능하고 정확해야 하며 지도 데이터베이스가 구축된 도로에서만 가능하며 현재 위치측정수단의 한계상 차선과 차량의 대략적인 위치관계가 아닌 위치 및 방향 정보를 필요로 하는 운전자 보조시스템에 응용하기는 어려우며 자차량의 전방만을 주시함으로써 상기 시스템이 갖는 한계점을 극복하지 못했다.

따라서, 본 발명은 차선인식과 차량검출을 통해 운전자가 주행하는 차량의 전방향의 도로 및 주변차량에 대한 환경을 쉽게 인식할 수 있도록 주행 차량의 운전자 보조 정보를 생성하기 위한 장치 및 방법을 제공한다.

또한, 본 발명은 직선이나 곡선 차선, 실선이나 점선형태의 차선, 차선을 밝고 주행하는 차량이나 차선의 소실로 인해 한쪽 차선이 보이지 않는 경우에도 정확한 차선을 인식할 수 있도록 하기 위한 장치 및 방법을 제공한다.

상기한 바와 같은 목적들을 달성하기 위한 본 발명의 주행 차량의 운전자 보조 정보 생성 장치는 자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 영상 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부와, 상기 영상 수신부에서 제공하는 영상에서 차선을 인식하고, 인식된 차선이 실선인지 점선인지의 여부를 판단한 후, 전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 차선인식부와, 상기 차선인식부의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 인식하고, 측방의 차량은 상기 초음파신호수신부로부터 수신되는 초음파신호로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력하는 차량인식부와, 상기 차선인식부에서 재구성된 도로조감영상에 상기 차량인식부에서 인식된 차량을 재구성하여 주행차량의 운전자 보조 정보를 생성하는 환경재구성부를 포함한다.

또한, 본 발명은 자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부를 구비하는 주행 차량에서 운전자 보조 정보를 생성하는 방법에 있어서, 상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정과, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정과, 전방 또는 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 과정과, 상기 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 인식하는 과정과, 측방의 차량은 상기 초음파신호수신부로부터 수신되는 초음파신호로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력하는 과정과, 상기 재구성된 도로조감영상에 상기 인식된 차량을 재구성하여 주행차량의 운전자 보조 정보를 생성하는 과정을 포함한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

본 발명은 차량 주변의 사각을 없앨 수 있는 카메라와 초음파센서를 배치한 센서시스템을 구성하고 이로부터 전후방의 차선인식, 전후방의 차량검출, 좌우측방의 차량검출, 전후방과 측방의 차량정보 연동을 통해 사각을 없애고 전방향 환경을 인식함으로써 생성된 도로와 차량정보를 한 눈에 알아 볼 수 있는 조감영상으로 구성하고 충돌위험시 경보 기능을 제공할 수 있는 방안을 제공한다. 또한, 조감영상에 차선 표시를 위해 차선검출 시 차량의 전방과 후방에 설치된 카메라를 이용해서 차선을 동시에 인식하여 합성하고, 실선과 점선을 구분하여 도로형태를 조감영상으로 재구성한 차선을 표시하여 운전자가 자차량의 차선이탈 여부를 쉽게 인식할 수 있도록 하는 방안을 제공한다.

먼저, 본 발명에 따른 주행 차량은 도 1에 도시된 바와 같이 2대의 카메라, 8개의 초음파센서, 1개의 모니터, 스피커와 처리부 및 속도 검출장치로 구성된 운전자 보조 정보 생성 장치를 구비한다.

상기와 같이 운전자 보조 정보 생성 장치를 구비하는 주행 차량에서 운전자 보조 정보를 생성을 위한 동작을 설명하기 위해 도 2를 참조한다. 도 2는 본 발명의 실시 예에 따라 주행 차량의 운전자 보조 정보 생성 장치의 내부 구성도이다. 도 2를 참조하면, 본 발명에 따른 운전자 보조 정보 생성 장치는 카메라와 초음파센서로부터 영상을 수신하는 전 후방 영상수신부(202)와 초음파신호를 수신하는 초음파신호수신부(204)를 포함하는 센서수신부(200), 전후방의 차선을 인식하는 차선 인식부(210), 전후방의 차량과 측방의 장애물을 인식하는 차량인식부(230), 검출된 차선과 차량으로부터 도로와 차량을 3차원 조감영상으로 재구성하는 환경재구성부(220)와 차량간 충돌여부를 판단하는 충돌경보 생성부(240)를 포함하여 구성된다.

먼저, 센서수신부(200)는 차량 주위의 차선을 인식하고, 자기 차량 주위의 차량 존재 여부를 확인하기 위한 수단으로, 본 발명에 따라 크게 전후방 영상 수신부(202) 및 초음파신호 수신부(204)로 구성된다. 먼저, 전후방 영상 수신부(202)는 카메라를 뜻하며, 그 영상 수신부(102)는 도로의 차선 및 차량에 대한 영상을 촬영하며 그 촬영된 영상을 차선 인식부(210), 차량 인식부(230)로 제공한다. 이러한 전후방 영상수신부(102)는 자기 차량의 전후방에 각각 설치된 45°이내의 주변을 촬영하는 카메라로부터 320 ×240 크기의 영상을 획득하게 된다. 초음파신호 수신 부(204)는 초음파 센서인 소나 센서를 뜻하며, 초음파 범위(10m) 내에서 초음파를 방사하여 그 초음파가 초음파 센서로 되돌아오는데 걸리는 시간을 측정하도록 구성된다. 구체적으로 초음파신호 수신부(204)는 차량 주위에 다른 차량이 존재하는 경우 방사된 초음파가 다른 차량에 반사되어 그 초음파 센서에서 다시 캡쳐하는데 걸리는 시간을 근거로 그 다른 차량이 위치한 거리를 산출할 수 있게 된다. 이러한, 초음파신호수신부(204)는 상기의 도 1에서와 같이 차량에 최대 10m내 근거리의 장애물과의 거리를 측정할 수 있도록 좌우측방에 설치된 8개의 초음파센서를 설치하고, 각 초음파센서를 연속적으로 스캔한다.

차선 인식부(210)는 전후방 영상 수신부(202)로부터 입력되는 영상에서 포장된 도로와 차선이 갖는 검정-흰색-검정의 패턴과의 매칭을 통해서 검출된 차선후보를 역원근변환을 이용해 원근효과를 제거하여 차선후보를 재생성한다. 이후, 근거리에서의 차선의 기울기를 이용해서 차선의 방향을 유추하고 원거리에서는 곡률을 근사화하여 차선을 인식하여 차량 좌표계에서의 차선의 방정식을 출력한다.

이때, 차선 인식부(210)의 구체적인 내부 구성에 대하여 도 3을 참조하여 살펴보도록 한다. 본 발명의 실시 예에 따른 차선 인식부는, 전후방 영상수신부(202)로부터 입력되는 영상에서 차선을 인식하는 전후방 차선인식부(212), 검출된 차선을 실선과 점선여부를 판단하는 실/점선 판단부(214), 전후방의 차선인식결과를 합성하고 조감영상으로 재구성하는 차선인식 합성 및 재구성부(216)를 포함하여 구성된다.

차량인식부(230)는 차선 인식부(210)의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 검출한다. 전후방의 차량인식은 주간과 야간으로 차량인식방법이 나뉘는데 주간에는 차량과 도로사이에 생기는 그림자패턴을 이용해서 차량후보를 검출하고 차량에 대한 좌우 에지성분, 차량의 폭에 대한 사전 지식을 적용해서 차량을 인식한다. 야간에는 차량의 전조등, 미등을 영상에서 추출하여 인식한다. 측방의 차량은 3개의 초음파로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력한다.

환경재구성부(220)는 차선의 방정식과 차량의 위치를 종합해서 차선의 점선, 실선을 판단하여 실선일 경우 더 이상 차선이 확장되지 않는 도로의 가장자리로 가정하고 점선일 경우 차선이 1차선 확장되어 차선수를 설정한다. 도로의 곡률은 재구성된 도로의 곡률이 자꾸 변해서 운전자에게 혼란을 주는 것을 막기 위해서 도로의 곡률 변화량에 따라 도로의 형태를 양자화하여 도로모델을 생성한다. 생성된 도로상의 차선위에 차량을 배치하여 운전자가 관점을 쉽게 조절할 수 있는 3차원 도로영상으로 구성한다. 이후 구성된 차량을 배치한 도로영상을 디스플레이부(250)를 통해 화면에 디스플레이 하도록 한다. 상기와 같이 환경 재구성부(106)를 통해 구성된 차량과 도로 영상은 도 4의 (c)와 같이 화면에 표시될 수 있다. 이때, 도 4의 (a)는 전방 카메라에 의해 촬영된 영상이고, (b)는 후방 카메라에 의해 촬영된 영상이다.

충돌경보 생성부(240)는 자차선에서 주행중인 전후방차량의 거리와 상대속도를 이용해서 차량간의 충돌가능 시간을 추정한다. 충돌경보는 충돌시간영역을 경보 영역과 위험영역으로 설정하여 충돌경보를 발생한다.

본 발명에서는 상기의 도 2와 같이 구성되는 주행 차량의 운전자 보조 정보 생성 장치에서 차선 인식부(210)를 통해 인식한 차선과 차량 인식부(230)를 통해 인식한 주위 차량을 환경 재구성부(220)에서 도로 조감영상으로 재구성하는 과정에 대하여 살펴보도록 한다. 이하, 도 5 내지 8을 통해 주행 차량의 운전자 보조 정보 생성 장치에서 차선 인식부(210)를 통해 차선 인식을 수행하는 과정에 대하여 살펴보고, 도 9를 통해 차량 인식부(230)를 통해 인식한 주위 차량 즉 측면 차량 인식 및 주행정보를 획득하는 과정을 살펴보도록 한다. 또한, 인식한 차선과 차량을 재구성하여 주행 차량의 운전자 보조 정보로 생성하는 과정에 대하여 도 11을 참조하여 살펴보도록 한다.

먼저, 도 5를 참조하여 본 발명의 실시 예에 따라 차선인식부(210)에서 주행 차량의 전후방 차선인식을 수행한 후 환경 재구성부(220)를 통해 도로를 재구성하기 위한 과정에 대하여 살펴보도록 한다.

먼저, 500단계에서 차선 인식부(210)는 전후방 영상 수신부(202)로부터 입력받는다. 그러면, 502단계에서 차선 인식부(210)는 입력받은 영상에서 차선을 인식한다. 이때, 상기의 도 5의 502단계를 통해 전후방 영상 수신부(202)로부터 입력된 영상으로부터 차선을 인식하는 동작에 대하여 도 6을 참조하여 구체적으로 살펴보도록 한다. 600단계에서 전후방 영상 수신부(202)로부터 차량의 전방 또는 후방의 영상이 입력되면, 602단계에서 차선 인식부(210)는 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출한다. 이후, 차선 인식부(210)는 추출한 차선 후보들 의 히스토그램을 생성하고, 606단계에서 자차량으로부터 근거리에 위치한 차선의 위치를 결정한다. 일반적으로 기존에는 차선 영상을 토대로 차선의 기울기를 구하지만, 본 발명에서는 히스토그램을 이용하여 차선의 위치만을 결정하므로 차선의 기울기는 불필요하게 된다. 이후, 차선 인식부(210)는 608단계로 진행하여 원거리에 위치한 차선 후보들의 곡률을 계산한다. 이후, 610단계에서 차선 인식부(210)는 608단계에서 계산된 곡률을 이용하여 원거리 차선을 인식한다. 이때에도 상기와 같이 차선 영상을 토대로 차선의 기울기를 구하는 기존방식으로는 차선의 기울기를 토대로 차선의 곡률을 계산하지만, 본 발명에서는 곡률을 실제로 계산하여 차선 인식에 적용하게 된다.

502단계에서 504단계로 진행하면, 차선 인식부(210)는 검출된 차선을 실선과 점선여부를 판단한다. 이후, 506단계에서 전후방의 차선인식결과를 합성하고 조감영상으로 재구성한다. 이후, 506단계에서 재구성된 조감영상을 508단계에서 화면에 디스플레이 한다.

여기서, 차선의 실선과 점선의 판단 동작에 대하여 살펴보면, 실선의 경우 밝은 부분만이 계속 나타나게 되나 점선의 경우 어두운 부분과 밝은 부분이 주기적으로 나타나는 특성을 이용하여 입력된 영상에서 실선과 점선을 판단한다. 도 7에서와 같이 차선검색결과 찾아낸 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li라 한 후, 영역 R과 Li사이의 비를 계산하여 지금 찾은 차선의 실선/점선 여부를 구분한다. 만약 차선이 점선 형태로 그려져 있다면 R영역에서의 밝기는 어두운 부분과 밝은 부분이 주기적으로 나타나게 되고, 실 선 형태라면 R영역의 밝기는 밝은 부분만이 계속해서 나타나게 된다. 차선이 위치하는 영역과 밝기에 따라 실선과 점선을 판단을 위한 계산을 하기의 <수학식 1>과 <수학식 2>를 통해 할 수 있다.

상기의 <수학식 1>와 <수학식 2>를 통해 차선의 밝기를 이용하여 차선의 실선 및 점선을 구분하기 때문에 도로의 상태와 주변 밝기에 따라 차선타입을 잘못 구분할 수 있다. 따라서 본 발명에서는 전후방 영상 수신부(202)로부터 입력되는 영상 중 전방 영상에서 얻은 차선으로부터 판단한 차선타입과 후방 영상에서 판단한 차선 타입을 각각 판단한다. 이후, 전방 영상과 후방 영상에서 각각 판단한 차선 타입이 서로 동일하지 않는 경우 하기와 같은 3가지 기준에 의거하여 차선 타입을 결정한다.

(1) 전방 영상에 대한 차선 인식만이 성공한 경우에는 전방영상에서 얻은 차선의 타입과 곡률을 후방 영상에 적용한다.

(2) 후방 영상에 대한 차선 인식만이 성공한 경우에는 후방 영상에서 얻은 차선의 타입과 곡률을 전방 영상에 적용한다.

(3) 전방 영상에 대한 차선 타입과 후방 영상에 대한 차선 타입이 서로 다른 경우에는 기존에 가지고 있는 차선 타입을 그대로 유지한다.

한편, 인식된 차선 정보와 재구성된 도로의 차선 타입이 일치하지 않을 경우, 이와 같은 현상이 5프레임 이상 연속으로 지속되면 도로 재구성시의 차선 타입을 수정하도록 한다.

이후, 차선 타입이 결정된 후 도로를 재구성하는데 그러면 이제 도로를 재구성하는 과정에 대하여 살펴보도록 한다. 본 발명에서는 도로모델을 사용하는데, 미리 일반적인 도로 모델을 생성하고 이와 같이 준비된 도로 모델과 입력된 영상을 통해 얻은 차선 방정식을 비교한다. 이후, 차선을 재구성할 시 영상에서 얻은 차선 방정식과 가장 비슷한 값의 도로 모델을 재구성에 사용한다.

하기의 <수학식3>에서와 같이 영상에서 얻은 차선의 방정식 f(y)에서 방정식의 곡률을 나타내는 a값을 미리 준비된 도로 모델의 집합인 차선곡률

의 원소들과 비교한다. 이후 a값이 속하는 경계 Bn1과 Bn2를 <수학식 3>과 같이 결정하고, 하기의 <수학식 4>와 같이 상기의 Bn1과 Bn2 값의 평균을 계산하여 도로를 재구성하는데 사용될 방정식에 사용할 A의 값을 결정한다.

이를 통해서 매 프레임마다 얻은 차선의 방정식이 조금씩 다르다 할지라도 그 값이 경계 Bn1과 Bn2 범위 내에서만 변할 경우 도로가 재구성 될 때는 일정한 값으로 모델링이 되도록 한다.

영상을 통해 인식할 시 먼 거리의 도로의 차선은 오차로 인해 틀어질 수 있다. 따라서, 인식된 결과를 그대로 반영하는 경우에는 순간적으로 곡률이 크게 변하여 화면에 오른쪽방향 곡선의 도로가 갑자기 왼쪽방향 곡선으로 변경되어 자연스럽지 않게 바뀔 수 있다. 즉, 차선 인식 과정에서의 에러 혹은 도로의 급격한 변화로 인해 현재 프레임에서 인식된 차선의 방정식이 이전 프레임에서 얻은 차선 방정식과 비교하여 일정한계 이상으로 변화한 경우 이를 그대로 도로 모델에 반영하여 도로를 재구성하면 재구성된 도로가 갑자기 크게 변화하게 되어 오히려 운전자에게 혼란을 줄 수 있다. 따라서, 본 발명에서는 이를 막기 위해서 인식된 도로의 방정식의 변화량이 이전 영상에서 결정된 경계값 Bn1과 Bn2 의 범위를 넘으면 하기의 <수학식6>과 같이 변화량의 크기에 상관없이 현재 도로 재구성에 사용한 도로 모델과 가장 가까운 이웃 모델을 도로 재구성에 사용하도록 하여 잘못된 차선 인식으로 인해 발생할 수 있는 도로 재구성의 에러를 최소화 하도록 한다. 예를 들어, 영상에서 얻은 차선 곡률 R의 값이 -0.00125에서 0.00125로 변화하는 경우 급격한 차선 곡률에 다른 도로를 재구성하지 않고, -0.00125에서 -0.00115, -0.00105, …, 0.00115, 0.00125로 한단계씩 증가시킨 차선 곡률을 도로 재구성에 반영하도록 한다.

상기의 <수학식 5>를 통해 도로 재구성에 사용할 파라미터 A가 결정되면 상기 <수학식 7>을 이용해 도로 재구성에 사용할 좌, 우 차선의 식을 결정한다. 이때, 도로 재구성에 사용할 차선이 점선 타입이면 자차량이 주행 중인 차로 옆에 또 다른 차로가 존재한다는 뜻이기 때문에 <수학식 7>의 FL(Y)가 점선이면 FL(Y)의 왼쪽에 <수학식 8>과 같이 FLL(Y)을 실선의 형태로 하나 더 생성하도록 한다. 또한, 마찬가지로 <수학식 7>의 FR(Y)가 점선이면 FR(Y)의 오른쪽에 <수학식 8>과 같이 FRR(Y)을 실선의 형태로 하나 더 생성하여 최대한 자차량이 주행 중인 도로 환경과 유사하게 도로가 재구성 되도록 한다. 이와 같이 함으로써 본 발명에서는 한쪽 차선이 가려진 경우 반대쪽 차선 정보를 이용하여 차려진 차선 유추가 가능하다. 즉, 도로의 급격한 변화가 갖는 운전자 방해요소를 줄이기 위해 이웃 모델로 서서히 변하도록 한다. 이와 같이 전후방 차선인식 결과를 재구성한 예는 도 8과 같이 도시할 수 있다. 도 8의 (a)는 전후방 영상 수신부(202)로부터 입력된 전방영상이고, (b)는 후방영상이다. 차선 인식부(210)는 상기의 도 5 및 6을 통해 설명한 바와 같이 전방영상과 후방영상으로부터 차선을 검출한다. 이를 통합하여 3D 조감영상으로 재구성한 (c)와 같은 화면으로 자차량(404)을 중심으로 디스플레이할 수 있다.

그러면 이제 도 9를 통해 차량 인식부(230)를 통해 인식한 주위 차량 즉 측면 차량 인식 및 주행정보를 획득하는 과정과, 인식한 차선과 차량을 재구성하여 주행 차량의 운전자 보조 정보로 생성하는 과정에 대하여 도 11을 참조하여 살펴보도록 한다. 본 발명에서는 전후방 차량 검출방법으로는 상기의 도 2에서 설명한 바와 같이 차선 인식부(210)의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 검출한다. 또한, 전후방의 차량인식은 주간과 야간으로 차량인식방법이 나뉘는데 주간에는 차량과 도로사이에 생기는 그림자패턴을 이용해서 차량후보를 검출하고 차량에 대한 좌우 에지성분, 차량의 폭에 대한 사전 지식을 적용해서 차량을 인신하고, 야간에는 차량의 전조등, 미등을 영상에서 추출하여 인식한다. 또한, 측방의 차량은 3개의 초음파로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하는 방법을 사용한다.

도 9를 참조하면, 900단계에서 도 1과 같이 차량에 부착된 좌우 각각 세 개의 소나 즉 초음파센서로부터 초음파 신호를 수신한다. 즉, 도2의 초음파 신호 수신부(104)에서 초음파 신호를 수신한다. 이후, 초음파 신호 수신부(104)는 수신한 초음파 신호를 차량 인식부(230)로 출력한다. 그러면, 차량 인식부(230)는 902단계에서 초음파 신호로부터 획득한 거리정보를 이용해서 차량을 검출한다. 이때, 하나 이상의 초음파로부터 차량이 검출될 경우 차량 인식부(230)는 906단계에서 시간경과에 따른 초음파들의 검출여부를 이용하여 옆 차선에 주행중인 차량이 추월여부의 주행 추세를 판단한다. 측방에 설치된 3대의 초음파 센서로부터 출력되는 초음파 신호는 하기의 <수학식 9>와 같이 0과 1로 구성된 비트 스트림으로 표현된다. 또한, 차량이 존재할 경우에 거리값인 3m이하인 경우, 1로 설정되고 그렇지 않은 경우엔 0값을 갖는다. 예를 들어, 도 10의 영상을 참조하면, 자차량으로부터 추월되는 좌측차량의 경우 비트스트림은 [001]에서 [111]로 증가하다가 [111]에서 다시 [100]으로 감소하게 된다. 이러한 연속적인 비트스트림의 증가와 감소를 통해서 측면차량의 주행 추세를 판단한다.

차량 인식부(230)는 906단계와 같이 차량의 주행추세를 판단하고, 전후방 인식기와 연동하여 차량 검출을 수행한다. 더 구체적으로 살펴보면, 측방 차량이 추월당하는 경우 후방차량 인식에서 해당 차선의 차량을 검출하고, 반대의 경우 전방차량 인식에서 차량을 검출하며 측방에서 사라졌지만 전후방에서 보이지 않는 차량의 경우 검출될 때까지 사각에 차량이 존재한다고 가정하고 검출될 때가지 차량후보를 생성한다. 또한 전방이나 후방의 차량 인식기에 의해 검출된 차량이 좌우영역에서 점점 없어지는 경우 측방차량 인식기에서 검출할 때까지 차량이 좌우 근거리 영역에 존재하는 경우이므로 차량후보를 생성한다.

도 11을 참조하면, 환경 재구성부(220)는 10단계 및 12단계에서 상기의 도 5 내지 6과 같은 차선 인식 과정을 통해 차선의 실/점선 판단하고 도로 모델을 추정한다. 이후, 12단계에서 환경 재구성부(220)는 새롭게 설정된 도로 모델에 대해 14단계에서 차량을 배치하기 위해 이전 차선과 차량과의 위치관계를 새로운 도로 모델에 반영해서 전 후방 차량검출 및 상기의 도 9와 같은 측면 차량검출 과정을 통해 검출된 차량을 배치한다. 이후, 환경 재구성부(220)는 16단계에서 OpenGL을 이용해서 전후방 차량의 경우 종방향 거리를, 좌우차량의 경우 횡방향 거리를 표시하며 각 차선마다 차량모델의 색을 다르게 표현하여 운전자의 편의 맞게 관점을 쉽게 변경할 수 있는 3D영상을 재구성한다. 이와 같이 재구성된 도로 및 차량의 배치의 예는 도 12와 같이 도시할 수 있다. 도 12는 (a)와 같은 전방 영상과 (b)와 같은 후방 영상을 통해 자차량이 편도 2차선을 주행하고 있는 상황에서 재구성된 도로와 차량의 배치 예이다.

상기와 같이 차선인식과 차량인식 과정을 수행하여 재구성하여 생성된 주행 차량의 운전자 보조 정보를 화면에 디스플레이 하는 중 자차량과 검출된 차량간의 충돌에 대한 정보도 사용자에게 알릴 수 있다. 그러면, 충동경보에 대한 동작에 대하여 도 13을 참조하여 살펴보도록 한다.

본 발명에서 차량간 거리는 역원근변환의 결과의 오차를 줄이기 위해 연속된 5개 시간의 평균거리를 사용한다. 30단계에서 충돌 경보 생성부(240)는 획득영상간의 시간차와 이전영상과의 거리차를 이용해서 상대속도를 추정한다. 이때, 차량간 상대속도(

)는 하기의 <수학식 10>과 같이 이전 프레임에서의 차량간 거리 (

)과 현재 프레임에서의 차량간 거리 (

)와의 차이, 획득영상간의 시간차 (

)로부터 계산될 수 있다.

이후, 충동 경보 생성부(240)는 32단계에서 현재 거리와 상대속도로부터 자차량과 검출된 차량간의 충돌가능시간(Time to Collision: TTC)을 하기의 <수학식 11>과 같이 추정한다.

이후, 충돌 경보 생성부(240)는 자차선을 주행하고 있는 차량에 대해서 발생하며, 충돌가능시간을 경보영역과 위험영역에 따라 미리 설정된 방법으로 경보한다. 여기서, 경보영역은 설정된 제동거리 이내에 차량이 주행하는 영역인 경우 경보영역으로 설정하고, 이와 같은 경보영역에서는 주의 환기용 음성 메시지 발생하는 것으로 미리 설정할 수 있다. 또한, 위험영역은 TTC가 -2sec ~ 0 sec 이내에 차량이 주행하는 영역으로 설정하고, 연속 경보음이 발생하도록 설정할 수 있다.

상기한 바와 같이 본 발명은 주행차량 주변의 사각을 없앨 수 있는 센서 시스템과 차선과 차량을 정확하게 검출할 수 있는 방법을 바탕으로 주행환경을 조감영상으로 재구성하고 충돌위험시 충돌경보를 발생할 수 있다. 따라서 운전자가 사각영역에 대한 정보를 쉽게 파악할 수 있으므로 사각영역에 대한 불안감을 줄이고, 주변차량의 위치 및 상대속도 등을 파악 및 충돌경보를 통해서 편리하면서도 안전한 주행을 할 수 있다. 또한, 본 발명은 차선의 형태, 곡률, 차선의 소실 등의 다양한 도로환경에 적용가능한 차선인식방법을 바탕으로 전방과 후방의 차선인식결과를 통합하여 차선인식의 안정성을 높이고 실선과 점선을 구분함으로써 위험정도를 세분화하여 운전자에게 제공할 수 있으며 차선이탈시 단순히 음성경보 뿐만 아니라 도로에 대한 차량의 위치를 조감영상으로 재구성함으로써 운전자가 한눈에 차량의 상태를 파악할 수 있어 안전성과 편의성을 향상시킬 수 있다.

Claims

주행 차량의 운전자 보조 정보 생성 장치에 있어서,

자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 영상 수신부와,

상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부와,

상기 영상 수신부에서 제공하는 영상에서 차선을 인식하고, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단한 후, 전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 차선인식부와,

상기 차선인식부의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 상기 영상과 상기 초음파신호를 이용해서 차량을 인식하는 차량인식부와,

상기 차선인식부에서 재구성된 도로조감영상에 상기 차량인식부에서 인식된 차량을 배치하여 주행차량의 운전자 보조 정보를 생성하는 환경재구성부를 포함함을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
제 1항에 있어서, 상기 환경재구성부에서 생성된 운전자 보조 정보를 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
제 1항에 있어서, 상기 차선인식부는,

상기 영상 수신부로부터 제공되는 영상이 입력되면, 상기 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출하고, 상기 추출한 차선 후보들의 히스토그램을 생성하고, 상기 자기 차량으로부터 근거리에 위치한 차선의 위치를 결정한 후, 원거리에 위치한 차선 후보들의 곡률을 계산하고, 상기 계산된 곡률을 이용하여 원거리 차선을 인식함으로써 상기 영상으로부터 차선을 인식하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
제 3항에 있어서, 상기 계산된 곡률을 이용하여 원거리 차선을 인식 시 현재 영상 프레임에서 계산된 곡률이 이전 프레임에서 계산된 곡률과 비교하여 미리 설정된 임계치 이상으로 변화하는 경우 현재 영상 프레임에서 계산된 곡률을 그대로 적용하지 않고 미리 설정된 차선곡률 집합에서 현재 계산된 곡률에서 한단계씩 증가시킨 곡률을 이용하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
제 1항에 있어서, 상기 차선인식부는,

하기의 <수학식 1>에서 영역 R과 Li사이의 비를 계산하여 상기 차선의 실선 또는 점선 여부를 구분하기 위한 밝기를 판단하고, <수학식 2>를 통해 밝기에 따라 실선과 점선을 판단하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.

[수학식 1]

[수학식 2]

여기서, 상기 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li이라 함.
제 1항에 있어서, 상기 차선인식부는,

도로조감영상으로 재구성에 사용할 차선이 점선이면 상기 자기 차량이 주행 중인 차로 옆에 또 다른 차로가 있음을 인지하여 다른 쪽 차선에 실선의 차선을 생성하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부를 구비하는 주행 차량에서 운전자 보조 정보를 생성하는 방법에 있어서,

상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정과,

상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정과,

전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 과정과,

상기 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 상기 영상과 상기 초음파신호를 이용해서 차량을 인식하는 과정과,

상기 재구성된 도로조감영상에 상기 인식된 차량을 배치하여 주행차량의 운전자 보조 정보를 생성하는 과정을 포함함을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
제 7항에 있어서, 상기 생성된 운전자 보조 정보를 디스플레이 하는 과정을 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
제 7항에 있어서, 상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정은,

상기 영상 수신부로부터 제공되는 영상이 입력되면, 상기 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출하는 과정과,

상기 추출한 차선 후보들의 히스토그램을 생성하는 과정과,

상기 자기 차량으로부터 근거리에 위치한 차선의 위치를 결정한 후, 원거리에 위치한 차선 후보들의 곡률을 계산하는 과정과,

상기 계산된 곡률을 이용하여 원거리 차선을 인식하는 과정을 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
제 9항에 있어서, 상기 계산된 곡률을 이용하여 원거리 차선을 인식하는 과정은,

현재 영상 프레임에서 계산된 곡률이 이전 프레임에서 계산된 곡률과 비교하 여 미리 설정된 임계치 이상으로 변화하는 경우 현재 영상 프레임에서 계산된 곡률을 그대로 적용하지 않고 미리 설정된 차선곡률 집합에서 현재 계산된 곡률에서 한단계씩 증가시킨 곡률을 이용하는 과정임을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
제 7항에 있어서, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정은,

하기의 <수학식 1>에서 영역 R과 Li사이의 비를 계산하여 상기 차선의 실선 또는 점선 여부를 구분하기 위한 밝기를 판단하고, <수학식 2>를 통해 밝기에 따라 실선과 점선을 판단하는 과정인 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.

[수학식 1]

[수학식 2]

여기서, 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li이라 함.
제 7항에 있어서, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정 후 도로조감영상으로 재구성에 사용할 차선이 점선이면 상기 자기 차량이 주행 중인 차로 옆에 또 다른 차로가 있음을 인지하여 다른 쪽 차선에 실선의 차선을 생성하는 과정을 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.