KR20120072020A - 자율주행 시스템의 주행정보 인식 방법 및 장치 - Google Patents

자율주행 시스템의 주행정보 인식 방법 및 장치 Download PDF

Info

Publication number
KR20120072020A
KR20120072020A KR1020100133782A KR20100133782A KR20120072020A KR 20120072020 A KR20120072020 A KR 20120072020A KR 1020100133782 A KR1020100133782 A KR 1020100133782A KR 20100133782 A KR20100133782 A KR 20100133782A KR 20120072020 A KR20120072020 A KR 20120072020A
Authority
KR
South Korea
Prior art keywords
information
driving
road
lane
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020100133782A
Other languages
English (en)
Inventor
변재민
노명찬
성준용
김성훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100133782A priority Critical patent/KR20120072020A/ko
Priority to US13/334,671 priority patent/US20120166033A1/en
Publication of KR20120072020A publication Critical patent/KR20120072020A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

기존의 차선 인식 관련 기술은 단일 카메라를 사용하여 양쪽 차선만을 인식하는 방법이 대부분이며, 이 경우에는, 카메라의 광각 렌즈의 왜곡 현상, 불균등한 조명에 의한 잡음 등의 인식오류가 발생할 수 있다. 이에 본 발명에서는, 위치 인식 및 디지털 지도를 이용하여 선행 도로 정보들과 카메라에 인식된 결과 등의 다양한 정보를 확률 기법을 통해 통합함으로써 카메라 기반의 표식 인식 기술의 문제점을 해결할 수 있는 자율주행 시스템의 주행정보 인식 기술을 제안하고자 한다. 또한 본 발명에서는, 다양한 각도의 다중 카메라를 사용하여 도로 노면의 표식물을 인식하고, 디지털 도로 지도상에서 위치 인식정보를 이용한 센서 융합 방법을 적용함으로써 주행정보를 보다 정확하게 인식할 수 있는 자율주행 시스템의 주행정보 인식 기술을 제안하고자 한다.

Description

자율주행 시스템의 주행정보 인식 방법 및 장치{METHOD AND APPARATUS FOR DETECTING RUN AND ROAD INFORMATION OF AUTONOMOUS DRIVING SYSTEM}
본 발명은 실외 도로 환경에서의 무인 자율주행 시스템에 관한 것으로, 특히 자율주행 시스템에 설치된 다중 카메라를 통해 획득된 영상정보로부터 주행정보, 예를 들어 차선정보(정지선, 중앙선, 횡단보도선), 도로 환경정보(노면, 표지판) 등을 인식하는데 적합한 자율주행 시스템의 주행정보 인식 방법 및 장치에 관한 것이다.
자율주행 시스템의 주행을 위해서는 환경 및 공간 인식 기능이 필수적이며, 실외 도로 환경에서의 자율주행 시스템은 사람과 자동차의 안전한 주행을 위해 표시된 노면 표식물에 따라 로봇의 행동이 결정되어야 한다. 특히, 차선은 도로를 달리는 자율주행 시스템이 도로와 인도 사이에서 이탈하지 못하도록 하는 경계선 역할을 하는데, 차선 인식을 통해서 도로의 모양과 도로상에서 차량의 위치 및 자세를 파악할 수 있는 기술들이 다양하게 연구되고 있다.
기존의 차선 인식 관련 기술은 단일 카메라를 사용하여 양쪽 차선만을 인식하는 방법이 대부분이며, 단일 카메라를 이용하여 근거리와 원거리의 대상물들에 대한 시야각을 확보하는 경우에는, 카메라의 광각 렌즈의 왜곡 현상, 불균등한 조명에 의한 잡음 등의 인식오류가 발생할 수 있다.
또한, 여러 대의 카메라로 촬영된 전방 및 측방 등의 영상정보들을 합성하여 하나의 영상정보로 생성한 후, 그 영상을 기반으로 차선을 인식하는 방법이 있는데, 이런 경우 카메라의 성능 및 설치 방법에 따라서 합성된 영상이 부분적으로 왜곡이 발생할 수 있는 문제가 있다.
이에 본 발명의 실시예에서는, 위치 인식 및 디지털 지도를 이용하여 선행 도로 정보들과 카메라에 인식된 결과 등의 다양한 정보를 확률 기법을 통해 통합함으로써 카메라 기반의 표식 인식 방법들에서 발생할 수 있는 문제점을 해결할 수 있는 자율주행 시스템의 주행정보 인식 기술을 제안하고자 한다.
또한 본 발명의 실시예에서는, 다양한 각도의 다중 카메라를 사용하여 도로 노면의 표식물을 인식하고, 디지털 도로 지도상에서 위치 인식정보를 이용한 센서 융합 방법을 적용함으로써 주행정보를 보다 정확하게 인식할 수 있는 자율주행 시스템의 주행정보 인식 기술을 제안하고자 한다.
본 발명의 실시예에 따른 자율주행 시스템의 주행정보 인식 장치는, 주행 도로 상의 영상을 촬영하는 영상 촬영부와, 상기 영상 촬영부의 영상에서 차선정보를 인식하는 차선정보 인식부와, 상기 영상 촬영부의 영상에서 도로 환경정보를 인식하는 도로 환경정보 인식부와, 상기 차선정보 인식부 및 도로 환경정보 인식부의 인식 결과의 카메라 좌표계를 월드 좌표계로 변환하는 좌표계 변환부와, 상기 좌표계 변환부의 변환 결과를 1차원 직선으로 모델링하며, 모델링된 결과에 따라 주행정보를 인식하는 주행정보 인식부를 포함할 수 있다.
여기서, 상기 주행정보 인식 장치는, 상기 자율주행 시스템의 위치를 인식하고, 위치 인식 결과를 상기 주행정보 인식부로 제공하는 위치 인식부를 더 포함할 수 있다.
또한, 상기 주행정보 인식부는, 상기 위치 인식부로부터 제공되는 위치 인식 결과에 따라 도로 표지판과 상기 자율주행 시스템 간의 거리를 계산하며, 상기 모델링된 결과와 상기 거리의 계산 결과에 따른 주행정보를 인식 및 출력하는 것을 특징으로 할 수 있다.
또한, 상기 영상 촬영부는, 상기 주행 도로 상의 좌측 영상을 촬영하는 제1 영상 촬영부와, 상기 주행 도로 상의 우측 영상을 촬영하는 제2 영상 촬영부와, 상기 주행 도로 상의 중앙 영상을 촬영하는 제3 영상 촬영부를 포함할 수 있다.
또한, 상기 차선정보는, 상기 주행 도로 상의 좌측 차선 및 우측 차선에 대한 정보를 포함할 수 있다.
또한, 상기 도로 환경정보는, 노면정보 또는 표지판정보 또는 차선정보 중 하나 이상을 포함할 수 있다.
또한, 상기 차선정보 인식부는, 상기 영상 촬영부의 영상을 두 개의 채널로 변환하고, 변환된 상기 두 개의 채널에 대한 관심 영역을 결정할 수 있다.
또한, 상기 두 개의 채널은, 흑백 채널 및 YUV 채널인 것을 특징으로 할 수 있다.
또한, 상기 차선정보 인식부는, 상기 흑백 채널의 영상정보를 기반으로 차선 형태의 에지 포인트를 검출할 수 있다.
또한, 상기 차선정보 인식부는, 상기 에지 포인트를 기반으로 허프 변환(Hough transform)을 이용하여 라인 피팅(line fitting) 과정을 수행할 수 있다.
본 발명의 실시예에 따른 자율주행 시스템의 주행정보 인식 방법은, 주행 도로 상의 좌측 촬영 영상 및 우측 촬영 영상을 획득하는 과정과, 획득되는 상기 좌측 촬영 영상 및 우측 촬영 영상에서 좌측 차선 정보 및 우측 차선 정보를 인식하는 과정과, 상기 주행 도로 상의 중앙 촬영 영상에서 도로 환경정보를 인식하는 과정과, 상기 좌측 차선 정보 및 우측 차선 정보와, 상기 도로 환경정보의 인식 결과의 카메라 좌표계를 월드 좌표계로 변환하는 과정과, 상기 월드 좌표계의 변환 결과를 1차원 직선으로 모델링하며, 모델링된 결과에 따라 주행정보를 인식하는 과정을 포함할 수 있다.
여기서, 상기 주행정보 인식 방법은, 상기 주행 도로의 맵 정보에서 위치 인식 정보를 획득하는 과정과, 획득되는 상기 위치 인식 정보를 기반으로 상기 주행 도로 상의 도로 표지판과 상기 자율주행 시스템 간의 거리를 계산하는 과정과, 상기 모델링된 결과와 상기 거리를 계산한 결과에 기반한 주행정보를 인식하는 과정을 더 포함할 수 있다.
또한, 상기 좌측 차선 정보 및 우측 차선 정보를 인식하는 과정은, 입력되는 영상정보를 두 개의 채널로 변환하는 과정과, 변환되는 상기 두 개의 채널에 대한 관심 영역을 결정하는 과정과, 상기 두 개의 채널에서 일 채널의 영상정보를 기반으로 에지를 검출하여 차선 형태의 에지 포인트를 추출하는 과정과, 상기 에지 포인트를 기반으로 라인 피팅 과정을 수행하는 과정을 포함할 수 있다.
또한, 상기 두 개의 채널은, 흑백 채널 및 YUV 채널인 것을 특징으로 할 수 있다.
또한, 상기 일 채널은 상기 흑백 채널인 것으로 특징으로 할 수 있다.
또한, 상기 두 개의 채널로 변환하는 과정은, 노면정보의 색상 및 모양을 인식하기 위한 과정인 것을 특징으로 할 수 있다.
또한, 상기 관심 영역을 결정하는 과정은, 노이즈 제거 과정을 포함할 수 있다.
또한, 상기 라인 피팅 과정은, 허프 변환 기법을 이용할 수 있다.
또한, 상기 도로 환경정보는, 노면정보 또는 표지판정보 또는 차선정보 중 하나 이상을 포함할 수 있다.
또한, 상기 주행정보 인식 방법은, 인식되는 상기 주행정보를 확률 기법을 통해 갱신 처리하는 과정을 더 포함할 수 있다.
본 발명에 의하면, 자율주행 시스템에 다중 카메라를 장착하여 차선정보, 도로 환경정보 등의 주행정보를 인식함으로써 다양한 조명 환경 및 날씨 환경에 보다 강인해 질 수 있으며, 위치 인식 및 디지털 지도를 이용하여 주행 중인 도로정보들과 카메라에 인식된 결과 등의 다양한 정보를 확률적인 센서 퓨전 방법을 이용하여 통합함으로써 보다 향상된 주행정보 인식 결과를 얻을 수 있다.
도 1은 본 발명의 실시예에 따른 자율주행 시스템의 주행정보 인식 장치에 대한 구성 블록도,
도 2는 도 1의 제1 내지 제3 영상 촬영부(100a~100c)가 장착된 자율주행 시스템의 예시도,
도 3은 본 발명의 실시예에 따른 자율주행 시스템의 주행정보 인식 방법을 설명하는 흐름도,
도 4는 도 3의 주행정보 인식 방법 중 차선 인식 과정의 상세 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
실외 도로 환경에서 자율주행 시스템, 예를 들어 자율주행 로봇이 효율적으로 자율주행하기 위해서는, 차선정보 인식을 통해 도로와 비도로 영역을 구분하여 도로 내에서 주행을 해야 하며, 노면 위에 있는 도로 환경정보(도로 표식물 등)를 인식하여 주행 상황 및 환경에 따른 주행 방법을 결정할 필요가 있다.
노면 인식 대상은 차선, 정지선, 과속방지턱, 교차로 등의 노면 표식을 지니고 있다. 본 발명에서는 이러한 노면 인식 대상을 다중 카메라를 이용하여 촬영함으로써 다양한 조명 환경 및 날씨 환경에서 보다 강인한 주행정보 인식 환경을 구현하고자 한다. 예를 들어, 차선을 인식할 경우 단일 카메라로 인식하는 방법과 달리 다중 카메라를 통해 전방 및 측방 카메라의 화각 변화 및 주시 거리에 변화를 줌으로써, 사각 지대 및 노이즈가 발생할 경우에도 보다 정확하게 차선의 색깔 및 위치를 인식할 수 있는 주행정보 인식 기술을 마련하고자 한다.
이하, 본 발명의 실시예에 대해 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 자율주행 시스템의 주행 정보 인식 장치에 대한 구성 블록도로서, 제1 영상 촬영부(100a), 제2 영상 촬영부(100b), 제3 영상 촬영부(100c), 차선정보 인식부(102), 도로 환경정보 인식부(104), 좌표계 변환부(106), 주행정보 인식부(108), 위치 인식부(110) 등을 포함할 수 있다.
도 1에 도시한 바와 같이, 제1 영상 촬영부(100a)는 자율주행 시스템의 주행 시 도로 상의 영상, 예컨대 좌측 차선을 촬영하는 역할을 할 수 있으며, 제2 영상 촬영부(100b)는 자율주행 시스템의 주행 시 도로 상의 영상, 예컨대 우측 차선을 촬영하는 역할을 할 수 있다.
또한, 제3 영상 촬영부(100c)는 자율주행 시스템의 주행 시 도로 상의 영상, 예컨대 중앙의 도로 노면을 촬영하는 역할을 할 수 있다.
이러한 제1 내지 제3 영상 촬영부(100a~100c)는 카메라 등을 포함할 수 있으며, 도 2에 도시한 바와 같이 자율주행 시스템의 전방에 장착될 수 있다.
구체적으로, 도 2의 자율주행 시스템은, 예를 들어 자율주행 차량(1)이며, 제1 영상 촬영부(100a)는 자율주행 차량(1)의 좌측 전방에 장착되어 차량(1)의 주행 시에 좌측 차선을 촬영할 수 있다.
또한, 제2 영상 촬영부(100b)는 자율주행 차량(1)의 우측 전방에 장착되어 차량(1)의 주행 시에 우측 차선을 촬영할 수 있다.
또한, 제3 영상 촬영부(100c)는 자율주행 차량(1)의 중앙에 장착되어 차량(1)의 주행 시에 중앙의 도로 노면을 촬영할 수 있다.
다시 도 1을 참조하면, 차선 정보 인식부(102)는 제1 영상 촬영부(100a) 및 제2 영상 촬영부(102b)를 통해 촬영된 도로 상의 영상에서 좌측 차선 및 우측 차선을 각각 인식하는 역할을 할 수 있다.
도로 환경정보 인식부(104)는 제3 영상 촬영부(100c)를 통해 촬영된 도로 상의 영상에서 도로 환경정보를 인식하는 역할을 할 수 있다. 이때의 도로 환경정보는, 예를 들어 노면 정보, 표지판 정보, 양쪽 차선 정보 등이 적용될 수 있을 것이다.
좌표계 변환부(106)는 차선정보 인식부(102)를 통해 인식되는 좌측 차선 및 우측 차선 정보의 카메라 좌표계를 월드 좌표계로 변환하는 역할을 할 수 있다. 또한, 좌표계 변환부(1060는 도로 환경정보 인식부(104)를 통해 인식되는 노면정보(예를 들어, 정지선 정보, 방지턱 정보, 표지판 정보 등)와 양쪽 차선 정보의 카메라 좌표계를 월드 좌표계로 변환하는 역할을 할 수 있다.
주행정보 인식부(108)는 좌표계 변환부(106)를 통해 변환된 결과를 1차원 직선으로 모델링 하고, 위치 인식부(110)에서 제공되는 위치 인식 결과에 따라 도로 표지판과 자율주행 차량(1) 간의 거리를 계산하며, 모델링된 결과와 거리 계산 결과에 따른 주행정보를 인식 및 출력하는 역할을 할 수 있다.
위치 인식부(110)는 자율주행 시스템(1)의 위치를 인식하고, 위치 인식 결과를 주행정보 인식부(108)로 제공하는 역할을 할 수 있다.
이하, 상술한 구성과 함께, 본 발명의 실시예에 따른 자율주행 시스템의 주행정보 인식 방법을 첨부한 도 3의 흐름도를 참조하여 보다 상세히 설명하기로 한다.
도 3에 도시한 바와 같이, 제1 영상 촬영부(100a)와 제2 영상 촬영부(100b)를 통해 좌측 및 우측 촬영 영상이 입력되면(S300), 차선정보 인식부(102)는 입력되는 좌측 촬영 영상에서 좌측 차선 정보를 인식하고, 입력되는 우측 촬영 영상에서 우측 차선 정보를 인식할 수 있다(S302).
또한, 도로 환경정보 인식부(104)는 제3 영상 촬영부(100c)를 통해 입력되는 중앙 촬영 영상에서 도로 환경정보 및 양쪽 차선정보를 인식할 수 있다(S304)(S306). 여기서, 도로 환경정보는, 예를 들어 노면 정보, 표지판 정보 등이며, 양쪽 차선정보는 좌측 차선정보 및 우측 차선정보를 포함할 수 있을 것이다.
이후, 좌표계 변환부(106)는 차선정보 인식부(102)와 도로 환경정보 인식부(104)를 통해 입력되는 카메라 좌표계를 월드 좌표계로 변환하고, 변환된 결과를 주행정보 인식부(108)로 제공할 수 있다(S308).
주행정보 인식부(108)는 좌표계 변환부(106)로부터 입력되는 변환 결과를 1차원 직선으로 모델링하고(S310), 위치 인식부(110)를 통해 획득되는 위치 인식 정보를 기반으로 도로 표지판과 자율주행 차량(1) 간의 거리를 계산하며(S312)(S314), 모델링된 결과와 거리 계산 결과에 따른 주행정보를 인식 및 출력할 수 있다(S316).
도 4는 도 3의 과정 중 차선 인식 과정을 보다 구체적으로 예시한 흐름도이다.
도 4에 도시한 바와 같이, 카메라, 즉 제1 내지 제3 영상 촬영부(100a~100c)를 통해 영상정보, 예를 들어 칼라 영상정보가 입력되면(S400), 입력되는 영상정보를 두 개의 채널, 예를 들어 흑백(Gray) 채널 및 YUV 채널로 각각 변환할 수 있다(S402). 이와 같이 영상정보를 두 개의 채널로 변환하는 이유는, 노면정보, 예를 들어 표지판 정보의 색상 및 모양을 인식하기 위함이다.
그 다음 단계로 처리속도 및 작업 효율성을 고려하여 채널 변환된 영상정보에 대한 관심 영역을 결정할 수 있다(S404). 이러한 관심 영역 결정은, 해당 영역 내에서 노이즈 제거 등의 영상 개선작업을 수행하여 영상의 질을 향상시키기 위함이다.
이후, 흑백 채널의 영상정보를 기반으로 에지(Edge)를 검출하는데, 여기서 에지와 에지 사이에 클러스터링 기법을 통해서 합침 및 분리 작업을 수행하면 차선 형태를 갖는 에지 포인트를 추출할 수 있다(S406).
이후, 이러한 에지 포인트를 기반으로 허프 변환(Hough transform) 등을 이용하여 라인 피팅(line fitting) 과정을 수행하여 차선과 유사한 모양의 선들을 추출함으로써, 최종 차선을 결정할 수 있다(S408)(S410).
한편, 상술한 과정을 통해 획득되는 차선 정보 및 각각의 표지판 정보들과 지도상에 자율주행 차량(1)의 현재 위치 인식을 통해서 얻은 현재 주행 중인 도로 정보들을 추출한 결과를 기반으로, 확률적인 방법을 통해서 각 알고리즘의 신뢰성을 상황에 따라 갱신하는 과정을 더 포함할 수 있으며, 이러한 과정을 통해 보다 다양한 조명 환경 및 날씨에 발생할 수 있는 카메라 인식 환경의 문제점들을 보완할 수 있을 것이다.
이상 설명한 바와 같은 본 발명의 실시예에 의하면, 자율주행 시스템에 다중 카메라를 장착하여 차선정보, 도로 환경정보 등의 주행정보를 인식함으로써 다양한 조명 환경 및 날씨 환경에 보다 강인해 질 수 있으며, 위치 인식 및 디지털 지도를 이용하여 주행 중인 도로정보들과 카메라에 인식된 결과 등의 다양한 정보를 확률적인 센서 퓨전 방법을 이용하여 통합함으로써 보다 향상된 주행정보 인식 결과를 얻을 수 있다.
100a~100c: 영상 촬영부
102: 차선정보 인식부
104: 도로 환경정보 인식부
106: 좌표계 변환부
108: 주행정보 인식부
110: 위치 인식부

Claims (20)

  1. 주행 도로 상의 영상을 촬영하는 영상 촬영부와,
    상기 영상 촬영부의 영상에서 차선정보를 인식하는 차선정보 인식부와,
    상기 영상 촬영부의 영상에서 도로 환경정보를 인식하는 도로 환경정보 인식부와,
    상기 차선정보 인식부 및 도로 환경정보 인식부의 인식 결과의 카메라 좌표계를 월드 좌표계로 변환하는 좌표계 변환부와,
    상기 좌표계 변환부의 변환 결과를 1차원 직선으로 모델링하며, 모델링된 결과에 따라 주행정보를 인식하는 주행정보 인식부를 포함하는
    자율주행 시스템의 주행정보 인식 장치.
  2. 제 1 항에 있어서,
    상기 주행정보 인식 장치는,
    상기 자율주행 시스템의 위치를 인식하고, 위치 인식 결과를 상기 주행정보 인식부로 제공하는 위치 인식부를 더 포함하는
    자율주행 시스템의 주행정보 인식 장치.
  3. 제 2 항에 있어서,
    상기 주행정보 인식부는, 상기 위치 인식부로부터 제공되는 위치 인식 결과에 따라 도로 표지판과 상기 자율주행 시스템 간의 거리를 계산하며, 상기 모델링된 결과와 상기 거리의 계산 결과에 따른 주행정보를 인식 및 출력하는 것을 특징으로 하는
    자율주행 시스템의 주행정보 인식 장치.
  4. 제 1 항에 있어서,
    상기 영상 촬영부는,
    상기 주행 도로 상의 좌측 영상을 촬영하는 제1 영상 촬영부와,
    상기 주행 도로 상의 우측 영상을 촬영하는 제2 영상 촬영부와,
    상기 주행 도로 상의 중앙 영상을 촬영하는 제3 영상 촬영부를 포함하는
    자율주행 시스템의 주행정보 인식 장치.
  5. 제 1 항에 있어서,
    상기 차선정보는, 상기 주행 도로 상의 좌측 차선 및 우측 차선에 대한 정보를 포함하는
    자율주행 시스템의 주행정보 인식 장치.
  6. 제 1 항에 있어서,
    상기 도로 환경정보는, 노면정보 또는 표지판정보 또는 차선정보 중 하나 이상을 포함하는
    자율주행 시스템의 주행정보 인식 장치.
  7. 제 1 항에 있어서,
    상기 차선정보 인식부는, 상기 영상 촬영부의 영상을 두 개의 채널로 변환하고, 변환된 상기 두 개의 채널에 대한 관심 영역을 결정하는
    자율주행 시스템의 주행정보 인식 장치.
  8. 제 7 항에 있어서,
    상기 두 개의 채널은, 흑백 채널 및 YUV 채널인 것을 특징으로 하는
    자율주행 시스템의 주행정보 인식 장치.
  9. 제 8 항에 있어서,
    상기 차선정보 인식부는, 상기 흑백 채널의 영상정보를 기반으로 차선 형태의 에지 포인트를 검출하는
    자율주행 시스템의 주행정보 인식 장치.
  10. 제 9 항에 있어서,
    상기 차선정보 인식부는, 상기 에지 포인트를 기반으로 허프 변환(Hough transform)을 이용하여 라인 피팅(line fitting) 과정을 수행하는
    자율주행 시스템의 주행정보 인식 장치.
  11. 주행 도로 상의 좌측 촬영 영상 및 우측 촬영 영상을 획득하는 과정과,
    획득되는 상기 좌측 촬영 영상 및 우측 촬영 영상에서 좌측 차선 정보 및 우측 차선 정보를 인식하는 과정과,
    상기 주행 도로 상의 중앙 촬영 영상에서 도로 환경정보를 인식하는 과정과,
    상기 좌측 차선 정보 및 우측 차선 정보와, 상기 도로 환경정보의 인식 결과의 카메라 좌표계를 월드 좌표계로 변환하는 과정과,
    상기 월드 좌표계의 변환 결과를 1차원 직선으로 모델링하며, 모델링된 결과에 따라 주행정보를 인식하는 과정을 포함하는
    자율주행 시스템의 주행정보 인식 방법.
  12. 제 11 항에 있어서,
    상기 주행정보 인식 방법은,
    상기 주행 도로의 맵 정보에서 위치 인식 정보를 획득하는 과정과,
    획득되는 상기 위치 인식 정보를 기반으로 상기 주행 도로 상의 도로 표지판과 상기 자율주행 시스템 간의 거리를 계산하는 과정과,
    상기 모델링된 결과와 상기 거리를 계산한 결과에 기반한 주행정보를 인식하는 과정을 더 포함하는
    자율주행 시스템의 주행정보 인식 방법.
  13. 제 11 항에 있어서,
    상기 좌측 차선 정보 및 우측 차선 정보를 인식하는 과정은,
    입력되는 영상정보를 두 개의 채널로 변환하는 과정과,
    변환되는 상기 두 개의 채널에 대한 관심 영역을 결정하는 과정과,
    상기 두 개의 채널에서 일 채널의 영상정보를 기반으로 에지를 검출하여 차선 형태의 에지 포인트를 추출하는 과정과,
    상기 에지 포인트를 기반으로 라인 피팅 과정을 수행하는 과정을 포함하는
    자율주행 시스템의 주행정보 인식 방법.
  14. 제 13 항에 있어서,
    상기 두 개의 채널은,
    흑백 채널 및 YUV 채널인 것을 특징으로 하는
    자율주행 시스템의 주행정보 인식 방법.
  15. 제 14 항에 있어서,
    상기 일 채널은 상기 흑백 채널인 것으로 특징으로 하는
    자율주행 시스템의 주행정보 인식 방법.
  16. 제 13 항에 있어서,
    상기 두 개의 채널로 변환하는 과정은, 노면정보의 색상 및 모양을 인식하기 위한 과정인 것을 특징으로 하는
    자율주행 시스템의 주행정보 인식 방법.
  17. 제 13 항에 있어서,
    상기 관심 영역을 결정하는 과정은, 노이즈 제거 과정을 포함하는
    자율주행 시스템의 주행정보 인식 방법.
  18. 제 13 항에 있어서,
    상기 라인 피팅 과정은, 허프 변환 기법을 이용하는
    자율주행 시스템의 주행정보 인식 방법.
  19. 제 11 항에 있어서,
    상기 도로 환경정보는, 노면정보 또는 표지판정보 또는 차선정보 중 하나 이상을 포함하는
    자율주행 시스템의 주행정보 인식 방법.
  20. 제 11 항에 있어서,
    상기 주행정보 인식 방법은,
    인식되는 상기 주행정보를 확률 기법을 통해 갱신 처리하는 과정을 더 포함하는
    자율주행 시스템의 주행정보 인식 방법.
KR1020100133782A 2010-12-23 2010-12-23 자율주행 시스템의 주행정보 인식 방법 및 장치 Withdrawn KR20120072020A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100133782A KR20120072020A (ko) 2010-12-23 2010-12-23 자율주행 시스템의 주행정보 인식 방법 및 장치
US13/334,671 US20120166033A1 (en) 2010-12-23 2011-12-22 Method and apparatus for detecting driving information of autonomous driving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100133782A KR20120072020A (ko) 2010-12-23 2010-12-23 자율주행 시스템의 주행정보 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120072020A true KR20120072020A (ko) 2012-07-03

Family

ID=46318068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100133782A Withdrawn KR20120072020A (ko) 2010-12-23 2010-12-23 자율주행 시스템의 주행정보 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US20120166033A1 (ko)
KR (1) KR20120072020A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503473B1 (ko) * 2014-01-10 2015-03-18 한양대학교 산학협력단 차량의 주행 상황 판단 시스템 및 방법
WO2016126317A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles
WO2017018844A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 그의 동작 방법
KR20190097453A (ko) * 2018-02-12 2019-08-21 삼성전자주식회사 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
WO2020091421A1 (ko) * 2018-10-31 2020-05-07 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
EP3653437A1 (en) 2018-11-16 2020-05-20 Hyundai Mobis Co., Ltd. Lighting apparatus of an autonomous vehicle
KR20200115705A (ko) * 2019-03-08 2020-10-08 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
US10948924B2 (en) 2015-02-06 2021-03-16 Aptiv Technologies Limited Method and apparatus for controlling an autonomous vehicle
KR20210084912A (ko) * 2019-12-30 2021-07-08 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치
KR20210095252A (ko) * 2020-01-22 2021-08-02 엘에스엠트론 주식회사 농업용 작업차량의 사이드 촬영 시스템
US11285863B2 (en) 2019-06-18 2022-03-29 Hyundai Mobis Co., Ltd. Lighting apparatus of autonomous vehicle having a mounted lamp box with lamp units and sensing units

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
JP6148848B2 (ja) * 2012-11-27 2017-06-14 クラリオン株式会社 車載画像処理装置
EP2833290B1 (en) * 2013-07-31 2017-09-27 Honda Motor Co., Ltd. Sign information output apparatus
JP6241172B2 (ja) * 2013-09-25 2017-12-06 日産自動車株式会社 自車位置推定装置及び自車位置推定方法
FR3017739B1 (fr) * 2014-02-14 2016-02-12 Renault Sas Procede de determination d'une limitation de vitesse en vigueur sur une route empruntee par un vehicule automobile
JP6685008B2 (ja) * 2015-04-21 2020-04-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6776513B2 (ja) 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
KR101910453B1 (ko) 2016-03-03 2018-10-24 한국전자통신연구원 정보표시를 위한 핵심선 추출 장치 및 방법
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN111580522A (zh) * 2020-05-15 2020-08-25 东风柳州汽车有限公司 无人驾驶汽车的控制方法、汽车和存储介质
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN115187785A (zh) * 2022-06-02 2022-10-14 中汽创智科技有限公司 一种人行道区域检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) * 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US6556916B2 (en) * 2001-09-27 2003-04-29 Wavetronix Llc System and method for identification of traffic lane positions

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503473B1 (ko) * 2014-01-10 2015-03-18 한양대학교 산학협력단 차량의 주행 상황 판단 시스템 및 방법
US10948924B2 (en) 2015-02-06 2021-03-16 Aptiv Technologies Limited Method and apparatus for controlling an autonomous vehicle
WO2016126317A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles
US11763670B2 (en) 2015-02-06 2023-09-19 Aptiv Technologies Limited Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure or other vehicles
US11543832B2 (en) 2015-02-06 2023-01-03 Aptiv Technologies Limited Method and apparatus for controlling an autonomous vehicle
US10991247B2 (en) 2015-02-06 2021-04-27 Aptiv Technologies Limited Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure or other vehicles
WO2017018844A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 그의 동작 방법
KR20190097453A (ko) * 2018-02-12 2019-08-21 삼성전자주식회사 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
WO2020091421A1 (ko) * 2018-10-31 2020-05-07 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
US11097656B2 (en) 2018-11-16 2021-08-24 Hyundai Mobis Co., Ltd. Lighting apparatus of autonomous vehicle
US10682950B2 (en) 2018-11-16 2020-06-16 Hyundai Mobis Co., Ltd. Lighting apparatus of autonomous vehicle
EP3653437A1 (en) 2018-11-16 2020-05-20 Hyundai Mobis Co., Ltd. Lighting apparatus of an autonomous vehicle
KR20200115705A (ko) * 2019-03-08 2020-10-08 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
US11386674B2 (en) 2019-03-08 2022-07-12 Hyundai Mobis Co., Ltd. Class labeling system for autonomous driving
US11285863B2 (en) 2019-06-18 2022-03-29 Hyundai Mobis Co., Ltd. Lighting apparatus of autonomous vehicle having a mounted lamp box with lamp units and sensing units
KR20210084912A (ko) * 2019-12-30 2021-07-08 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치
KR20210095252A (ko) * 2020-01-22 2021-08-02 엘에스엠트론 주식회사 농업용 작업차량의 사이드 촬영 시스템

Also Published As

Publication number Publication date
US20120166033A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN106845547B (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
US20120166033A1 (en) Method and apparatus for detecting driving information of autonomous driving system
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
EP2958054B1 (en) Hazard detection in a scene with moving shadows
US8699754B2 (en) Clear path detection through road modeling
JP6074183B2 (ja) 車両の駐車区画認識方法
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
JP6270102B2 (ja) 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
Hu et al. A multi-modal system for road detection and segmentation
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP5561064B2 (ja) 車両用対象物認識装置
CN108197523B (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
JP4517003B2 (ja) 道路標識自動認識システム
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
US20090010482A1 (en) Diagrammatizing Apparatus
KR20130012629A (ko) 헤드업 디스플레이를 위한 증강현실 시스템
JP2007235642A (ja) 障害物検知システム
CN104670085B (zh) 车道脱离警报系统
CN118038409B (zh) 车辆可行驶区域检测方法、装置、电子设备及存储介质
JP2014106739A (ja) 車載画像処理装置
CN119559799A (zh) 一种违章停车检测联动抓拍系统及方法
JP2018073275A (ja) 画像認識装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PC1203 Withdrawal of no request for examination

St.27 status event code: N-1-6-B10-B12-nap-PC1203

WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid
P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000