KR20140054909A

KR20140054909A - 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법

Info

Publication number: KR20140054909A
Application number: KR1020120120980A
Authority: KR
Inventors: 고석필
Original assignee: 팅크웨어(주)
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2014-05-09
Also published as: WO2014069763A1; US20150145951A1; US10386199B2

Abstract

본 발명은 카메라 영상을 이용하여 내비게이션의 안내 효율을 높이는 장치 및 그 방법에 대한 것이다. 내비게이션 안내 장치에 있어서, 광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 영상 획득부; 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 영상 처리부; 및 획득한 안내 영상을 내비게이션의 지도 상에 표시하는 영상 표시부를 포함하는 내비게이션 안내 장치가 제공될 수 있다.

Description

광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법{NAVIGATION GUIDE APPARATUSAND METHOD USING CAMERA IMAGE OF WIDE ANGLE LENS}

본 발명은 카메라 영상을 이용하여 내비게이션의 안내 효율을 높이는 장치 및 그 방법에 대한 것이다.

최근 들어 크고 작은 차량 사고에 대비하여 차량용 영상 저장용 블랙박스의 탑재율이 높아짐에 따라 블랙박스 시장이 점점 커지고 있는 추세에 있다. 이러한 블랙박스의 기술은 점점 발달하여 HD 급 이상의 고해상도를 지원하는 블랙박스 출시모델이 많아지고 있다. 현재 출시중인 대부분의 블랙박스의 카메라 화각은 100~160도이며, 넓은 화각을 유지하면서 고해상도의 영상을 지원한다.

여기서, 고화질의 블랙박스 영상을 사고 대비용으로만 사용하기엔 효율이 아쉽게 생각될 수 있기에 블랙 박스의 영상을 연동하는 아이디어들이 발생하고 있다. 따라서, 대부분의 차량에 탑재되는 내비게이션과 블랙박스를 연동하여, 내비게이션의 안내 정보를 표출하는 장치에 대한 필요성이 나타난다.

내비게이션의 안내는 크게 안전운행 안내와 경로 안내로 나뉘는데, 이중 경로 안내의 경우 목적지까지의 경로를 표출하는데 있어서, 경로상의 턴(Turn)지점의 안내 요소가 큰 비중을 차지한다. 이러한 큰 비중을 차지하는 턴 지점 안내에 있어서, 내비게이션의 지도 상의 경로 이외에 실제 턴하려는 지점의 실제 영상을 함께 표시하여 운전자에게 안내 효과가 더 높은 안내 장치와 방법을 제공하고자 한다.

또한, 광각 카메라의 경우 실제 사람 눈과 화각이 차이가 있기 때문에 턴 지점만 추출하여 표시할 경우 이질감이 크게 발생할 수 있다. 즉, 운전자가 인식하지 못하는 각도의 차이 때문에 실제 영상과는 차이가 발생할 수 있다. 따라서, 실제 턴 지점의 영상을 마치 사람이 턴 지점으로 고개를 돌려 확인하는 듯한 영상을 내비게이션에 나타내고자 한다.

내비게이션 안내 장치에 있어서, 광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 영상 획득부; 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 영상 처리부; 및 획득한 안내 영상을 내비게이션의 지도 상에 표시하는 영상 표시부를 포함하는 내비게이션 안내 장치가 제공될 수 있다.

일측에 있어서, 영상 획득부는 차량의 위치가 안내 지점에서 일정 거리 이하로 가까워지면 외부 영상을 수집할 수 있다.

또 다른 측면에 있어서, 영상 처리부는 수집한 외부 영상에서 안내 지점의 방향에 해당하는 영상을 안내 영상으로 추출할 수 있다.

또 다른 측면에 있어서, 광각 렌즈 카메라는 넓은 화각을 유지하면서 HD 이상의 고 해상도 영상을 지원하는 블랙박스 카메라이며, 영상 획득부는 블랙박스 카메라와의 유무선 연결을 통해 외부 영상을 수집할 수 있다.

또 다른 측면에 있어서, 영상 처리부에서 획득하는 안내 지점과 관련된 안내 영상은 턴(Turn) 지점에 대한 실시간 영상이 될 수 있다.

또 다른 측면에 있어서, 턴 지점은 좌회전, 우회전 또는 유턴 지점 중 어느 하나에 해당하며, 실시간 영상은 주변 차량과 주행 지리 정보를 포함하는 영상이 될 수 있다.

또 다른 측면에 있어서, 영상 획득부에서 수집하는 외부 영상은 파노라마 영상을 포함하고, 파노라마 영상의 좌표는 나침반 좌표와 일치시키거나 상대적인 각도가 미리 정의되어 있을 수 있다.

또 다른 측면에 있어서, 영상 획득부는 파노라마 영상을 수집할 때, 차량의 진행 방향과 안내 지점 방향 사이의 각도가 시간 또는 거리에 따라 광각 렌즈 카메라의 각도도 회전됨을 고려할 수 있다.

또 다른 측면에 있어서, 영상 처리부는 외부 영상의 왜곡을 보정하는데, 1) 광각 렌즈 카메라의 내부 파라미터와 렌즈의 왜곡률을 계산하고, 2) 파라미터와 렌즈의 왜곡률을 이용하여 언디스토션 맵 테이블 (Undistortion Map Table)을 생성하며, 3) Undistortion Map Table을 이용하여 왜곡이 완화된 실시간 영상을 추출하는 1) 내지 3)을 순서대로 수행하여 안내 영상을 획득할 수 있다.

또 다른 측면에 있어서, 영상 표시부는 내비게이션이 안내 지점에 대한 안내 시작과 동시에, 영상 처리부에서 처리된 영상을 함께 내비게이션의 지도 상에 표시할 수 있다.

또 다른 측면에 있어서, 영상 표시부는 지도 상에 안내 지점의 위치와 주행 방향을 고려하여 내비게이션에 안내 영상이 배치될 위치를 결정할 수 있다.

또 다른 측면에 있어서, 영상 표시부는 안내 영상을 표시하는 도중에 안내 지점에 미리 정해진 기준 거리 이하로 가까워지면, 안내 영상이 깜빡 깜빡 하면서 표시되도록 할 수 있다.

또 다른 측면에 있어서, 영상 표시부는 안내 영상의 확대 및 축소가 가능할 수 있다.

또 다른 측면에 있어서, 내비게이션이 터치 스크린을 제공한다면, 영상 표시부는 터치 스크린을 통하여 내비게이션의 지도 상에서 안내 영상의 이동과 확대 및 축소 동작이 가능할 수 있다.

광각 렌즈 카메라를 포함하는 차량용 블랙박스에서 동작하는 내비게이션 안내 장치에 있어서, 내비게이션으로부터 차량의 진행 방향 영상인 외부 영상 중, 안내 지점과 관련된 안내 영상에 대한 요청을 수신하는 요청 수신부; 안내 영상을 획득하고 내비게이션으로 전송하는 영상 처리부를 포함하는 내비게이션 안내 장치가 제공될 수 있다.

내비게이션 안내 방법에 있어서, 광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 단계; 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 단계; 및 획득한 안내 영상을 내비게이션의 지도 상에 표시하는 단계를 포함하는 내비게이션 안내 방법이 제공될 수 있다.

본 발명의 실시예를 통해 내비게이션의 경유상의 큰 비중을 차지하는 턴(Turn)지점의 안내에 있어서, 내비게이션의 지도 상의 경로 이외에 실제 턴하려는 지점의 실제 영상을 함께 표시하여 운전자에게 안내 효과가 더 높은 안내 장치와 방법을 제공할 수 있다.

또한, 광각 카메라의 경우 실제 사람 눈과 화각이 차이가 있기 때문에 턴 지점만 추출하여 표시할 경우 이질감이 크게 발생할 수 있는, 즉 운전자가 인식하지 못하는 각도의 차이 때문에 실제 영상과는 차이가 발생할 수 있는 현상에 대한 문제점을 해결하여 실제 턴 지점의 영상을 마치 사람이 턴 지점으로 고개를 돌려 확인하는 듯한 영상을 내비게이션에 나타낼 수 있다.

도 1은 본 발명의 일실시예에 있어서, 내비게이션과 광각 렌즈 카메라 간의 상호작용을 개략적으로 도시한 것이다.
도 2는 본 발명의 일실시예에 있어서, 내비게이션 안내 장치의 각 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 광각 렌즈 카메라를 통해 수집하는 외부 영상과 수집한 영상을 처리한 안내 영상의 일례를 나타낸 것이다.
도 4는 본 발명의 일실시예에 있어서, 안내 지점에 대한 일부 영역을 잘라낸 안내 영상의 일례를 나타낸 것이다.
도 5는 본 발명의 일실시예에 있어서, 파노라마 영상을 이용하여 턴(turn) 지점을 안내하는 실시예를 나타낸 것이다.
도 6은 일반적인 내비게이션의 경로 안내 화면의 일례를 도시한 것이다.
도 7은 본 발명의 일실시예에 있어서, 광각 렌즈 카메라를 통해 수집한 안내 영상을 내비게이션 지도 상에 함께 표시한 실시예이다.
도 8은 본 발명의 일실시예에 있어서, 내비게이션에 안내 영상을 표시할 때에 설정할 수 있는 옵션들의 일례를 도시한 것이다.
도 9는 본 발명의 일실시예에 있어서, 안내 영상을 내비게이션 지도 상의 오른쪽에 표시한 일례를 나타낸 것이다.
도 10은 본 발명의 일실시예에 있어서, 안내 영상의 크기를 제어하는 일례를 도시한 것이다.
도 11은 본 발명의 일실시예에 있어서, 터치 스크린에서 안내 영상을 이동시키는 일례를 도시한 것이다.
도 12는 본 발명의 일실시예에 있어서, 터치 스크린에서 안내 영상의 크기를 조절하는 일례를 도시한 것이다.
도 13은 본 발명의 일실시예에 있어서, 내비게이션 안내 장치의 또 다른 구성을 설명하기 위한 블록도이다.
도 14는 본 발명의 일실시예에 있어서, 내비게이션 안내 방법의 각 단계를 설명하기 위한 흐름도이다.

이하, 내비게이션 안내 장치 및 그 방법에 대해서 첨부된 도면을 참조하여 자세히 설명한다.

도 1은 본 발명의 일실시예에 있어서, 안내 영상을 표시하는 내비게이션(110)과 해당 영상을 제공하는 광각 렌즈 카메라(120)를 도시하고 있다. 실시예에 있어서, 내비게이션(110)과 광각 렌즈 카메라(120)는 함께 차량에 탑재되어 있는 것으로, 무선 또는 유선으로 상호간에 연결될 수 있다.

내비게이션(110)은 일반적으로 차량에 포함되어 운전자에게 위치와 주변 지도 등의 정보를 제공하고, 목적지에 이르는 경로 등을 알려주는 장치로서, 최근에는 엠피쓰리(MP3), 지상파 디엠비(DMB) 수신장치 등이 포함되기도 하며, 실시예에 있어서, 선명한 화면 제공을 위해 고해상도의 디스플레이를 제공하기도 한다.

또한, 광각 렌즈 카메라(120)는 차량 주행 중에 상시 차량 주변의 외부 영상을 획득할 수 있는 카메라로, 예컨대 차량용 블랙박스 등 차량 내부에 설치하여 전방의 영상을 촬영하는 카메라가 해당될 수 있으며, 특히 넓은 화각을 유지하면서 HD 급 이상의 고해상도의 영상을 번짐, 깨짐 현상 없이 획득할 수 있는 카메라일 수 있다.

실시예에 있어서, 내비게이션(110)에서 광각 렌즈 카메라(120)로 외부 영상에 대한 수신을 요청할 수 있으며, 이에 광각 렌즈 카메라(120)는 실시간의 차량 주변에 대한 외부 영상을 획득하여 내비게이션(110)으로 전송할 수 있고, 내비게이션(110)은 외부 영상을 처리하여 운전자에게 시각적으로 최적화된 안내 영상을 제공할 수 있다.

또는, 내비게이션(110)에서 광각 렌즈 카메라(120)로 외부 영상에 대한 수신을 요청하면, 광각 렌즈 카메라(120)는 실시간의 차량 주변에 대한 외부 영상을 획득하고, 외부 영상을 처리하여 운전자에게 시각적으로 최적화된 안내 영상을 제작한 후에 내비게이션(110)으로 전송하는 실시예가 제공될 수 있다.

도 2는 본 발명의 일실시예에 있어서, 내비게이션 안내 장치(200)의 각 구성을 설명하기 위한 블록도이며, 장치(200)는 내비게이션 내부에 포함될 수 있다. 내비게이션 안내 장치(200)는 영상 획득부(210), 영상 처리부(220), 그리고 영상 표시부(230)를 포함하여 구성될 수 있다.

영상 획득부(210)는 광각 렌즈 카메라로부터 차량의 진행 방향에 대한 영상인 외부 영상을 수집할 수 있다. 여기서, 획득하는 외부 영상은 실시간 영상이며, 주변 차량 정보, 도로, 주행 지리에 대한 정보 등을 포함할 수 있다. 실시예에 있어서, 영상 획득부(210)에서 광각 렌즈 카메라로 영상을 요청하는 시점은 주행 중인 차량의 위치가 안내 지점에서 일정 거리 이하로 가까워지게 되면, 이에 대한 안내를 위해 외부 영상을 수신 요청하여 수집할 수 있다.

내비게이션 안내 장치(200)에 있어서, 영상 처리부(220)는 영상 획득부(210)에서 수집한 외부 영상을 처리하여 안내 영상을 획득할 수 있다.

여기서, 경로 안내에 있어서, 턴(Turn) 지점에 대한 안내 요소가 큰 비중을 차지하기 때문에, 외부 영상을 획득하는 안내 지점은 안내 경로 상의 턴 지점이 될 수 있다. 턴 지점은 좌회전, 우회전, 또는 유턴 어느 하나에 해당할 수 있다. 외부 영상을 처리하는 것은 광각 렌즈 카메라에서 수집한 영상은 사람의 눈으로 보는 실제 영상과 차이가 있기 때문에, 영상 처리부(220)는 이와 관련하여 외부 영상을 보정하고자 하는 것이다.

본 발명의 일실시예에 있어서, 도 3 내지 도 5의 실시예를 통해 영상 처리부(220)에서 외부 영상을 어떻게 보정하는지 설명할 수 있다.

먼저, 도 3은 본 발명의 일실시예에 있어서, 광각 렌즈 카메라를 통해 수집한 영상과 수집한 영상을 보정한 영상의 실시예를 도시한 것이다. 도 3에 도시된 바와 같이, 광각 렌즈 카메라를 통해 수집한 영상은 넓은 화각을 통해 수집한 영상이기 때문에 약간의 왜곡이 나타날 수 있다. 이에, 왜곡된 외부 영상을 보정하는 알고리즘을 제공하고자 한다.

실시예에 있어서,

1) 외부 영상에 대한 광각 렌즈 카메라의 캘리브레이션(Calibration)을 통해서 카메라 내부의 파라미터, 예컨대 콘트라스트, 샤프니스, 채도, 색조 등의 값과 카메라 렌즈의 왜곡률을 계산할 수 있으며.

2) 이렇게 구한 카메라의 파라미터와 렌즈 왜곡률을 이용하여 컴퓨터 비전 기술인 Undistortion Map Table을 생성할 수 있고,

3) Undistortion Map Table을 이용하여 광각 렌즈 카메라에서 수집하는 고해상도의 실시간 외부 영상의 왜곡을 완화하여 비왜곡된 영상을 실시간으로 추출할 수 있다.

1) 내지 3)의 과정을 거치게 되면 도 3의 하단에 도시된 비왜곡 외부 영상을 획득할 수 있으며, 이러한 외부 영상은 사람이 직접 보는 영상과 크게 이질감이 발생하지 않는 화면이 된다.

한편, 영상 처리부(220)는 도 4의 실시예와 같이, 수집된 외부 영상에서 안내 경로 상의 안내 지점 방향에 해당되는 일부 영역의 영상만을 잘라내서 실질적인 안내 영상(410)으로 획득할 수 있다. 내비게이션의 안내 지도와 함께 디스플레이의 일부로 나타나는 안내 영상으로 광각 렌즈 카메라의 전체(Whole) 영상을 표시하기엔 운전자에게 안내 영상에 대한 인식력을 저하시킬 수 있다. 따라서, 영상 처리부(220)는 수집된 외부 영상에서 안내 지점 방향에 해당하는 영상만을 추출하여 안내 영상(410)을 제공할 수 있다.

본 발명의 일실시예에 따르면, 파노라마 영상을 이용하여 턴(turn) 지점을 안내하는 것도 가능하다. 도 5는 파노라마 영상(510)을 이용하여 턴(turn) 지점을 안내하기 위한 처리 과정을 예시한 것이다.

파노라마 영상(510)은 도 5에 도시된 바와 같이, 카메라를 중심으로 360도에 대한 영상을 연결한 영상이 된다.

파노라마 영상(510)을 이용하는 경우에는, 차량의 진행 방향과 안내 지점 방향 사이의 각도가 시간 또는 거리에 따라 변화하면 카메라의 각도도 같이 회전됨을 고려하여 운전자가 턴(turn) 해야 하는 지점에 대한 안내 영상(520)을 미리 안내할 수 있다.

이를 위해, 파노라마 영상(510)의 촬영시에, 영상의 원점(Origin) 좌표를 나침반 좌표와 일치시키거나 상대적인 각도를 미리 정의할 필요가 있다.

본 발명의 실시예에 있어서, 도 5에 도시된 바와 같이 파노라마 영상(510)을 이용하여 왜곡을 완화하고, 안내 지점에 대한 영상만을 추출하도록 일부 영역을 제거함으로써 안내 영상(520)을 획득할 수 있으며, 이를 위해 상기 설명한 왜곡된 외부 영상을 보정하는 알고리즘을 적용시킬 수 있다.

이하에서는 실제 내비게이션에 어떻게 안내 영상이 나타날 수 있는지 설명하고자 한다. 도 6은 기존의 내비게이션의 경로 안내 시 나타나는 경로 안내 지도를 도시하고 있다. 내비게이션 지도 상에 차량이 이동해야 할 경로와 차량의 위치, 개략적인 교통 안내 상황을 함께 표시한다.

본 발명의 실시예는 도 6과 같이 일반적인 전자 지도를 디스플레이하는 내비게이션에 광각 렌즈 카메라를 통해 획득한 안내 영상을 함께 나타내고자 하는 것이다.

도 7은 본 발명의 일실시예에 있어서, 도 6과 같은 일반적인 내비게이션의 안내 지도에 영상 처리부(220)에서 외부 영상을 처리하여 획득한 안내 영상(710)을 표시하는 실시예를 도시한 것이다. 안내 영상(710)의 표시는 내비게이션 상의 여백이나 도시가 불필요한 공간을 활용하여 표시할 수 있으며, 운전자로 하여금 안내 효율을 높이는 효과를 가져올 수 있다.

실시예에 있어서, 도 7의 안내 영상(710)은 영상 획득부(210)에서 차량용 블랙박스 등의 광각 렌즈 카메라로부터 실시간 외부 영상을 획득하고, 영상 처리부(220)에서 획득한 외부 영상에 존재하는 왜곡을 본 발명에서 제안하는 외부 영상 보정 알고리즘을 통해 제거하고, 필요에 따라 안내 지점을 중심으로 불필요한 영상을 잘라내어 생성된 것이다.

여기서, 영상 표시부(230)는 도 7에 도시된 바와 같은 안내 영상(710)을 표시하는데 있어서, 내비게이션이 안내 지점에 대한 안내의 시작과 동시에, 또는 상시에 영상 처리부(220)에서 처리한 안내 영상을 내비게이션의 지도상에 표시하는데, 이때 다양한 옵션을 제공할 수 있다. 실시예로서, 내비게이션에 안내 영상을 표시하는데 제공될 수 있는 옵션에 대해 이하 도 8 내지 도 12의 도면을 통해서 다양한 실시예를 제공한다.

도 8은 본 발명의 일실시예에 있어서, 안내 영상을 표시하는데 내비게이션에 제공될 수 있는 옵션의 일례를 도시한 것이다.

생성된 안내 영상은 운전자의 편의에 따라 내비게이션 지도 상에서 위치와 영상의 크기를 자유롭게 변경시킬 수 있는 수동 설정(810)이 있으며, 반대로 안내 영상의 위치와 크기를 고정시키는 고정 설정(820)이 제공될 수 있다. 실시예에 있어서, 수동 설정(810)과 고정 설정(820)은 어느 하나의 설정을 활성화하면, 남은 하나는 자동적으로 비활성화될 수 있으며, 예컨대 안내 영상의 표시가 활성화될 때에 도 8의 안내 영상 설정이 가능할 수 있다.

도 8의 실시예처럼 고정 설정(820)을 활성화할 경우, 이에 대한 하위 설정이 가능할 수 있으며, 하위 설정 항목으로 위치 설정(830)과 크기 설정(840) 등이 해당될 수 있다. 실시예에 있어서, 위치 설정(830)은 좌, 우 또는 자동으로 설정이 가능하며, 안내 영상의 크기는 크게, 중간, 작게 등 하위 항목 중 어느 하나를 선택하는 방법이 실시될 수 있는데, 선택 항목은 더욱 다양할 수 있으며, 또는 내비게이션 지도의 실시예를 띄워 위치와 크기를 조절하여 고정하는 방법이 실시될 수 있다.

하위 항목 중 위치 설정에 대해서 다시 설명하면, 운전자의 편의에 따라 안내 영상을 안내 지도 상의 왼쪽이나 오른쪽에 고정할 수 있으며, 또는 안내 영상을 좌우에 자동으로 위치시킬 수 있는데, 이때 안내 영상의 배치 기준은 안내 지점의 위치와 차량의 주행 방향을 고려하는 것이다. 예컨대, 우회전하는 안내 지점에 대해 안내 영상을 표시할 경우, 도 7에 도시된 실시예와 같이, 내비게이션 상의 오른쪽에 위치시켜 운전자의 인식을 높일 수 있다. 도 7의 실시예는 위치를 오른쪽에 고정한 실시예가 될 수도 있다.

안내 영상 설정에 대해 자세한 실시예를 들어 설명하고자 한다. 도 9는 본 발명의 일실시예에 있어서, 안내 영상 고정 설정(810)을 활성화시켜 안내 영상의 위치(830)를 왼쪽으로 고정한 실시예에 대한 도면이다. 도 9의 안내 영상(910)은 도 7의 안내 영상(710)과 같은 안내 영상에 해당할 수 있다.

또 다른 실시예에 있어서, 도 10은 안내 영상 설정의 고정 설정(820)을 활성화시켜 크기를 설정(840)하는 실시예에 관한 것이다. 이에 관해서 도 7과 도 9의 안내 영상(710, 910)의 크기를 중간 크기로 설정하였다 가정하면, 도 10의 그림 (a)의 안내 영상(1010)은 크기 설정(840)을 크게 설정한 것이며, 그림 (b)의 안내 영상(1020)은 크기 설정(840)을 작게 설정한 것에 해당할 수 있다. 그림 (a)와 그림 (b)의 위치 설정에 대해서는 별도로 설명하지 않으며, 상기에 기술한 위치 설정(830)에 대한 설명을 참조할 수 있다.

안내 영상(1010)과 안내 영상(1020)은 영상 처리부(220)에서 생성한 안내 영상으로 해상도가 같은 영상에 대해서 크기를 확대, 축소하거나, 또는 설정한 안내 영상의 크기에 따라 영상 처리부(220)에서 안내 영상을 생성할 때에 절단하는 영상의 크기를 달리하여 크기에 따라 안내 영상의 영상 화면을 달리할 수 있다.

안내 영상 크기의 설정은 도 10에 도시된 안내 영상(1010, 1020) 크기에 한정하지 않고 더 다양한 크기의 영상이 제공되도록 할 수 있으며, 안내 영상의 크기는 위치에 대해 제약을 받지 않는다.

다시 도 8의 안내 영상 설정에 대한 설명으로 돌아가면, 안내 영상을 수동 설정(810)으로 활성화시킴으로써 안내 영상의 위치 조절과 크기 조절이 자유롭게 가능할 수 있는데, 여기서 내비게이션의 스크린은 터치 스크린으로 제공될 수 있으며, 감압식, 정전식 중 어느 하나의 방식의 터치 스크린이 해당할 수 있고, 하나 이상의 터치를 식별하는 멀티 터치 입력의 터치 스크린이 이에 해당할 수 있다. 실시예에 있어서, 도 8에 도시된 바와 같은 안내 영상 설정 화면도 터치 스크린을 통해 제공될 수 있다.

도 11은 본 발명의 일실시예에 있어서, 터치 스크린을 제공하는 내비게이션에서 운전자에 의해서 안내 영상의 위치를 이동시키는 일례를 설명하기 위한 도면이다.

안내 영상(1110)의 위치는 실시간의 안내 영상 위치이며, 안내 영상(1120)의 위치는 안내 영상(1110)을 이동시키고자 하는 위치에 해당할 수 있다. 따라서, 운전자의 손(1130)은 안내 영상(1110)을 터치 앤 드래그(Touch and Drag)하여 안내 영상(1120)의 위치로 이동시킨 후, 손(1140)을 떼면 안내 영상의 위치가 이동될 수 있다. 실시예에 있어서, 운전자의 손(1130, 1140)은 내비게이션 스크린의 종류에 따라서 터치펜 등의 장치로 대체될 수 있다.

이어서, 도 12의 실시예는 도 11의 실시예와 같은 터치 스크린을 제공하는 내비게이션에서, 운전자에 의해서 안내 영상의 크기를 조절하는 실시예를 설명하기 위한 도면이다. 이때, 도 8의 안내 영상 설정은 수동 설정(810)이 활성화되어 있으며, 안내 영상의 위치 설정은 도 11의 실시예와 같이 안내 영상을 터치 앤 드래그하여 조정할 수 있다.

도 12의 실시예에 있어서, 내비게이션은 멀티 터치를 식별하는 터치 스크린에 해당할 수 있다. 도시된 바와 같이, 안내 영상(1210)은 실시간의 안내 영상 크기로, 안내 영상(1220)으로 크기를 조정하기 이전의 상태이며, 운전자의 손(1230)은 스크린에 두 손가락을 터치하고 있는 상태에서 두 손가락의 간격을 벌리고, 간격을 벌린 상태에서 손(1240)을 떼면 확대된 크기의 안내 영상(1220)을 내비게이션에 표시할 수 있다.

이와 반대의 실시예로, 운전자의 손(1240)을 터치 스크린에 입력시킨 상태에서 손가락 간격을 좁혀 손(1230)의 상태로 변경하게 되면, 안내 영상의 크기는 실시간 표시하고 있는 크기보다 작은 크기의 안내 영상을 제공하게 된다.

수동 설정(810)의 활성화를 통해 안내 영상 크기를 조절하는 실시예에 있어서, 멀티 터치를 지원하지 않는 내비게이션에 대해서는 터치를 입력하는 시간, 또는 안내 영상 모서리를 통한 크기 제어 등의 실시예가 존재할 수 있다.

안내 영상을 설정하는 실시예에 있어서, 안내 영상의 표시와 함께 깜빡임 설정(850)을 할 수 있는데, 실시예에 있어서, 상기 표시 중인 안내 영상이, 안내 지점에 일정거리 이하 가까워졌을 때에 깜빡임 설정(850)을 할 수도 있다. 깜빡임 설정(850)은 운전자에게 안내 지점에 대한 안내 효과를 높이기 위한 것으로, 안내 음성을 동반할 수 있으며, 안내 영상을 깜빡 깜빡 하면서 디스플레이하는 것은 운전자로 하여금 거슬리게 할 가능성이 있으므로, 설정 페이지를 통해 선택할 수 있다. 깜빡임 설정(850)은 수동 설정(810)이나 고정 설정(820)의 설정 여부와 상관없이 독립적으로 설정 가능하다.

본 발명의 실시예에 있어서, 광각 렌즈 카메라를 통해 안내 지점에 대한 외부 영상을 수집하면서, 외부 영상의 보정이 카메라 내부 장치에 의해서 이루어질 수 있다.

도 13은 본 발명의 일실시예에 있어서, 내비게이션 안내 장치(1300)의 구성을 설명하기 위한 블록도로서, 본 실시예에 따른 내비게이션 안내 장치(1300)은 광각 렌즈 카메라를 포함하는 차량용 블랙박스에서 동작할 수 있다. 내비게이션 안내 장치(1300)는 요청 수신부(1310), 영상 처리부(1320)를 포함하여 구성될 수 있다.

요청 수신부(1310)는 내비게이션으로부터 주행 중인 차량의 주행 방향 영상인 외부 영상 요청을 수신할 수 있다. 내비게이션의 안내 지점에 있어서, 좌회전이나 우회전 또는 유턴 등의 턴 지점을 안내하는데 큰 비중을 차지하며, 이에 대한 안내가 중요하기 때문에 안내 경로 상에 안내 지점에 이르게 되면, 내비게이션은 이에 대한 외부 영상을 광각 렌즈 카메라로 전송하며, 요청 수신부(1310)에서 요청과 관련된 신호를 유선 또는 무선으로 수신할 수 있다.

광각 렌즈 카메라는 상시 수집 중인 외부 영상을 다이렉트로 내비게이션에 전달하지 않고, 영상 처리부(1320)에서 외부 영상을 안내에 용이하도록 안내 영상으로 보정하여 내비게이션으로 전송할 수 있다

따라서, 영상 처리부(1320)는 수집하고 있는 외부 영상 중 수신 요청하는 안내 영상을 획득하고 내비게이션으로 전송할 수 있는데, 예컨대, 주변 차량 정보와 주행 지리 정보 등을 포함하고 있는 외부 영상에 대해서 보정과정을 거침으로써 안내 영상을 획득하여 내비게이션으로 전송한다. 실시예에 있어서, 도 2를 통해 설명한 영상 처리부(220)의 실시예와 유사하게 수행될 수 있으며, 광각 렌즈 카메라에서 수집한 영상은 사람의 눈으로 보는 실제 영상과 차이가 있기 때문에 이에 대한 이질감이 나타나지 않게 하기 위함이다.

영상 처리부(1320)는 광각 렌즈 카메라를 통해 수집한 영상이 넓은 화각을 통해 수집한 영상이기 때문에 나타날 수 있는 왜곡에 대해, 외부 영상을 보정하는 알고리즘을 제공할 수 있다. 실시예에 있어서,

1) 외부 영상에 대한 광각 렌즈 카메라의 캘리브레이션(Calibration)를 통해서 카메라 내부의 파라미터, 예컨대 콘트라스트, 샤프니스, 채도, 색조 등의 파라미터 값과 카메라 렌즈의 왜곡률을 계산할 수 있으며.

2) 이렇게 구한 카메라의 파라미터와 렌즈 왜곡률을 이용하여 컴퓨터 비전 기술인 Undistortion Map Table 을 생성할 수 있고,

3) Undistortion Map Table을 이용하여 광각 렌즈 카메라에서 수집하는 고해상도의 실시간 외부 영상의 왜곡을 완화하여 비왜곡된 영상을 실시간으로 추출하는,

1) 내지 3)의 과정을 거치게 되면 왜곡이 완화된 외부 영상을 획득할 수 있으며, 이러한 외부 영상은 사람이 직접 보는 영상과 크게 이질감이 발생하지 않는 화면이 된다.

도 14는 본 발명의 일실시예에 있어서, 내비게이션 안내 방법의 단계를 설명하기 위한 흐름도이다. 내비게이션 안내 방법은 도 2에 도시된 내비게이션 안내 장치(200)에 의해 수행될 수 있으며, 각 단계는 내비게이션 안내 장치(200)에 의해 간소화되거나 세분화될 수 있다.

단계(1410)에서 내비게이션 안내 장치(200)는 광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집할 수 있다. 일례로, 광각 렌즈 카메라는 넓은 화각을 지니면서 HD 급 이상의 고해상도 영상을 지원하는 차량용 블랙박스 등이 이에 해당할 수 있으며, 내비게이션 안내 장치(200)와 광각 렌즈 카메라는 유선 또는 무선 연결되어 있어 외부 영상을 요청하고 외부 영상을 수신하기에 상호 간에 용이한 상태에 있을 수 있다.

단계(1410)는 차량의 위치가 내비게이션이 안내하고자 하는 안내 지점에서 일정 거리 이하로 가까워질 때에 수행될 수 있으며, 획득하는 외부 영상은 좌회전, 우회전, 유턴 등의 턴 지점을 안내하기 위한 영상으로, 주변 차량과 주행 도로 등에 대한 실시간 정보를 포함하고 있는 영상이 될 수 있다.

단계(1420)에서 내비게이션 안내 장치(200)는 수집한 외부 영상을 처리하여 안내 영상을 획득할 수 있다. 안내 영상은 외부 영상에서 안내 지점의 방향에 해당하는 영상을 추출하여 운전자에게 안내 지점에 대한 식별이 용이하도록 하는 것으로, 수집한 외부 영상을 그대로 내비게이션에 표시하기에는 왜곡이 심해, 운전자의 눈으로 확인하는 영상과 이질감이 다소 존재할 수 있기 때문에 왜곡을 줄여 안내 영상으로 적합하도록 한다.

여기서, 외부 영상을 보정하는 알고리즘을 제공할 수 있는데, 내비게이션 안내 장치(200)를 설명하면서 기술한 내용을 참조하도록 한다. 또한, 비왜곡된 안내 영상에 대해서 운전자에게 식별이 용이하도록 안내 지점에 해당되는 일부 영상만이 표시되도록 외부 영상을 잘라낼 수 있다.

이와 같이 처리된 안내 영상에 대해서, 단계(1430)에서 내비게이션 안내 장치(200)는 내비게이션의 지도 상에 표시할 수 있다. 여기서, 안내 영상을 표시할 때, 내비게이션의 지도 상에 안내 지점의 위치와 주행 방향을 고려하여 안내 영상이 배치될 위치를 결정할 수 있다.

단계(1430)에서 내비게이션 안내 장치(300)는 안내 영상을 내비게이션에 표시하기 위해 다양한 설정을 제공할 수 있는데, 도 8을 참조할 수 있다.

실시예에 있어서, 안내 영상의 표시는 경로 안내에 상시적으로 이루어질 수 있으며 또는 주행 차량이 안내 지점과 일정 거리 이하로 가까워졌는지를 식별하여 이루어질 수도 있다.

이와 같이, 본 발명의 실시예를 통해 내비게이션의 경로상의 큰 비중을 차지하는 턴(Turn)지점의 안내에 있어서, 내비게이션의 지도 상의 경로 이외에 실제 턴하려는 지점의 실제 영상을 함께 표시하여 운전자에게 안내 효과가 더 높은 안내 장치와 방법을 제공할 수 있으며, 광각 렌즈 카메라를 통해 수집하는 다소 왜곡된 영상을 보정하여 운전자로 하여금 실제로 확인하는 영상과 이질감 없는 안내 영상을 제공할 수 있다.

본 발명에 따른 내비게이션 안내 장치는 기존 내비게이션 장치인 CNS(Car Navigation System) 또는 PNS(Personal Navigation System)에 적용되거나, 스마트폰(Smart Phone), 태블릿(Tablet) 등 모바일 단말 전용의 어플리케이션으로 구현될 수도 있다.

본 발명의 실시예에 따른 내비게이션 안내 방법들은 다양한 컴퓨터 장치를 통하여 수행될 수 있는 프로그램 명령(Instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에서는 광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 단계와 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 단계, 그리고 획득한 안내 영상을 내비게이션의 지도 상에 표시하는 단계를 포함하는 프로그램이 기록되는 컴퓨터 판독 가능 매체를 포함할 수 있다.

실시예에 따른 내비게이션 안내 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 장치, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

200, 1300: 내비게이션 안내 장치
210: 영상 획득부
220: 영상 처리부
230: 영상 표시부
1310: 요청 수신부
1320: 영상 처리부

Claims

내비게이션 안내 장치에 있어서,
광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 영상 획득부;
상기 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 영상 처리부; 및
상기 획득한 안내 영상을 상기 내비게이션의 지도 상에 표시하는 영상 표시부
를 포함하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 획득부는 상기 차량의 위치가 상기 안내 지점에서 일정 거리 이하로 가까워지면 상기 외부 영상을 수집하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 처리부는 상기 수집한 외부 영상에서 상기 안내 지점의 방향에 해당하는 영상을 상기 안내 영상으로 추출하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 광각 렌즈 카메라는 넓은 화각을 유지하면서 고해상도 영상을 지원하는 블랙박스 카메라이며,
상기 영상 획득부는 상기 블랙박스 카메라와의 유무선 연결을 통해 상기 외부 영상을 수집하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 처리부에서 획득하는 상기 안내 지점과 관련된 안내 영상은 턴(Turn) 지점에 대한 실시간 영상인 것
을 특징으로 하는 내비게이션 안내 장치.
제5항에 있어서,
상기 턴 지점은 좌회전, 우회전 또는 유턴 지점 중 어느 하나에 해당하며,
상기 실시간 영상은 주변 차량과 주행 지리 정보를 포함하는 영상인 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 외부 영상은 파노라마 영상을 포함하고,
상기 파노라마 영상의 원점(Origin) 좌표는 나침반 좌표와 일치시키거나 상대적인 각도가 미리 정의되어 있는 것
을 특징으로 하는 내비게이션 안내 장치.
제7항에 있어서,
상기 영상 처리부는 상기 차량의 진행 방향과 상기 안내 지점의 방향 사이의 각도가 시간 또는 거리에 따라 변화하면 카메라의 각도도 같이 회전됨을 고려하여 상기 파노라마 영상으로부터 상기 안내 지점에 대한 안내 영상을 획득하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 처리부는 상기 외부 영상의 왜곡을 보정하는데,
1) 상기 광각 렌즈 카메라의 내부 파라미터와 렌즈의 왜곡률을 계산하고,
2) 상기 파라미터와 렌즈의 왜곡률을 이용하여 언디스토션 맵 테이블 (Undistortion Map Table)을 생성하며,
3) 상기 Undistortion Map Table을 이용하여 왜곡이 완화된 실시간 영상을 추출하는
1) 내지 3)을 순서대로 수행하여 상기 안내 영상을 획득하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 표시부는 상기 내비게이션이 상기 안내 지점에 대한 안내 시작과 동시에 상기 영상 처리부에서 처리된 안내 영상을 함께 상기 내비게이션의 지도 상에 표시하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 표시부는 지도 상에 상기 안내 지점의 위치와 주행 방향을 고려하여 상기 내비게이션에 안내 영상이 배치될 위치를 결정하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 표시부는 상기 안내 영상을 표시하는 도중에 상기 안내 지점에 미리 정해진 기준 거리 이하로 가까워지면,
상기 안내 영상이 점멸되도록 하는 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 영상 표시부는 안내 영상의 확대 및 축소가 가능한 것
을 특징으로 하는 내비게이션 안내 장치.
제1항에 있어서,
상기 내비게이션이 터치 스크린을 제공한다면,
상기 영상 표시부는 상기 터치 스크린을 통하여 상기 내비게이션의 지도 상에서 안내 영상의 이동과 확대 및 축소 동작 중 적어도 하나의 동작이 가능한 것
을 특징으로 하는 내비게이션 안내 장치.
광각 렌즈 카메라를 포함하는 차량용 블랙박스에서 동작하는 내비게이션 안내 장치에 있어서,
내비게이션으로부터 차량의 진행 방향 영상인 외부 영상 중, 안내 지점과 관련된 안내 영상에 대한 요청을 수신하는 요청 수신부;
상기 안내 영상을 획득하고 상기 내비게이션으로 전송하는 영상 처리부
를 포함하는 내비게이션 안내 장치.
제15항에 있어서,
상기 요청 수신부에서 수신하는 상기 안내 영상에 대한 요청은 상기 차량의 위치가 상기 안내 지점에서 일정 거리 이하로 가까워지면 수신하며,
상기 안내 영상은 상기 안내 지점의 방향에 해당하는 영상을 의미하여 좌회전, 우회전 또는 유턴 지점 중 어느 하나에 해당하는 턴(Turn) 지점에 대한 실시간 영상인 것
을 특징으로 하는 내비게이션 안내 장치.
제15항에 있어서,
상기 영상 처리부는 상기 외부 영상의 왜곡을 완화하여 보정하는데,
1) 상기 광각 렌즈 카메라의 내부 파라미터와 렌즈의 왜곡률을 계산하고,
2) 상기 파라미터와 렌즈의 왜곡률을 이용하여 언디스토션 맵 테이블 (Undistortion Map Table)을 생성하며,
3) 상기 Undistortion Map Table을 이용하여 왜곡이 완화된 실시간 영상을 추출하는
1) 내지 3)을 순서대로 수행하여 상기 안내 영상을 획득하는 것
을 특징으로 하는 내비게이션 안내 장치.
내비게이션 안내 방법에 있어서,
광각 렌즈 카메라를 통해 촬영되는 차량의 진행 방향 영상인 외부 영상을 수집하는 단계;
상기 수집한 외부 영상을 처리하여 안내 지점과 관련된 안내 영상을 획득하는 단계; 및
상기 획득한 안내 영상을 상기 내비게이션의 지도 상에 표시하는 단계
를 포함하는 내비게이션 안내 방법.
제18항에 있어서,
상기 외부 영상을 수집하는 단계는 상기 차량의 위치가 안내 지점에서 일정 거리 이하로 가까워지면 상기 외부 영상을 수집하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항에 있어서,
상기 안내 영상을 획득하는 단계는 상기 수집한 외부 영상에서 상기 안내 지점의 방향에 해당하는 영상을 상기 안내 영상으로 추출하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항에 있어서,
상기 광각 렌즈 카메라는 넓은 화각을 유지하면서 고 해상도 영상을 지원하는 블랙박스 카메라이며,
상기 외부 영상을 수집하는 단계에서는 상기 블랙박스 카메라와의 유무선 연결을 통해 상기 외부 영상을 수집하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항에 있어서,
상기 안내 영상을 수집하는 단계에서 획득하는 상기 안내 지점과 관련된 안내 영상은 턴(Turn) 지점에 대한 실시간 영상이며,
상기 턴 지점은 좌회전, 우회전 또는 유턴 지점 중 어느 하나에 해당하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항에 있어서,
상기 안내 영상을 획득하는 단계에서는 상기 외부 영상의 왜곡을 보정하는데,
1) 상기 광각 렌즈 카메라의 내부 파라미터와 렌즈의 왜곡률을 계산하고,
2) 상기 파라미터와 렌즈의 왜곡률을 이용하여 언디스토션 맵 테이블 (Undistortion Map Table)을 생성하며,
3) 상기 Undistortion Map Table을 이용하여 왜곡이 완화된 실시간 영상을 추출하는
1) 내지 3)을 순서대로 수행하여 상기 안내 영상을 획득하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항에 있어서,
상기 내비게이션의 지도 상에 표시하는 단계는,
상기 내비게이션의 지도 상에 상기 안내 지점의 위치와 주행 방향을 고려하여 상기 내비게이션에 안내 영상이 배치될 위치를 결정하는 것
을 특징으로 하는 내비게이션 안내 방법.
제18항 내지 제24항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.