KR20170142363A - 차량 운전 보조 장치 및 방법 - Google Patents
차량 운전 보조 장치 및 방법 Download PDFInfo
- Publication number
- KR20170142363A KR20170142363A KR1020160075690A KR20160075690A KR20170142363A KR 20170142363 A KR20170142363 A KR 20170142363A KR 1020160075690 A KR1020160075690 A KR 1020160075690A KR 20160075690 A KR20160075690 A KR 20160075690A KR 20170142363 A KR20170142363 A KR 20170142363A
- Authority
- KR
- South Korea
- Prior art keywords
- bird
- image
- eye
- vehicle
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 553
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 503
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 26
- 241000905137 Veronica schmidtiana Species 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 후방 카메라 영상과 조감도 이미지를 제공함으로써, 운전자의 주차를 지원할 수 있는 장치 및 방법에 관한 것이다. 이를 위한 본 발명의 차량 운전 보조 장치는 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부; 조감도 이미지 중 적어도 일 부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 화면 생성부; 및 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 이미지 선택부를 포함하고, 화면 생성부는 조감도 이미지를 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 것을 특징으로 한다.
Description
본 발명은 차량 운전 보조 장치 및 방법에 관한 것이고, 보다 상세하게 카메라 영상과 조감도 이미지를 제공함으로써, 차량의 운전을 지원할 수 있는 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 또한, 운전자가 전방 방향으로 운전하는 상황에서도 주변에 장애물이 많은 경우, 장애물과 차량 간의 거리를 직관적으로 판단하기 어려워 사고가 발생할 수 있는 가능성이 높다. 따라서, 차량의 주변을 디스플레이하기 위한 장치로서, 차량의 후방 또는 전방에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.
여기서, 조감도 영상을 출력하는 기술로서, 차량에 복수의 카메라를 장착하고, 복수의 카메라에서 촬영된 영상을 하나의 영상으로 합성함으로써 차량 주변 영역을 디스플레이하는 방법이 존재한다. 다만, 이 방법의 경우 조감도 영상의 생성을 위해 적어도 4개의 카메라가 요구되며, 카메라의 개수를 줄이기 위해서는 광각 카메라 등 상대적으로 비용이 많이 드는 카메라를 요구하는 단점이 존재한다.
또한, 종래에는 조감도 영상을 출력하는 기술로서, 차량에 하나의 카메라를 장착하고, 단일 카메라에서 촬영된 영상들을 합성함으로써, 조감도를 생성하는 기술이 존재한다. 다만 이 기술의 경우 영상들의 합성 및 조감도 이미지 변환 과정에 의해, 부하가 높을 뿐만 아니라, 영상 합성 과정에서 주차선 등에 왜곡이 발생하는 문제점이 존재한다.
따라서, 조감도 이미지 생성 시 다수의 카메라를 요구하지 않으면서, 주차선 등에 왜곡을 야기하지 않는 새로운 차량 운전 보조 장치 및 방법에 대한 요구가 존재한다.
본 발명은 단일 카메라를 통한 조감도 이미지 생성 시에도 주차선 등에 왜곡을 발생시키지 않는 차량 운전 보조 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 저사양의 처리 장치로도 조감도 이미지를 제공할 수 있는 차량 운전 보조 장치 및 방법을 제공하는데 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 지원하기 위한 차량 운전 보조 장치는 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부; 조감도 이미지 중 적어도 일 부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 화면 생성부; 및 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 이미지 선택부를 포함하고, 화면 생성부는 조감도 이미지를 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 것을 특징으로 한다.
또한, 카메라는 차량의 후방을 촬영하는 후방 카메라일 수 있다.
또한, 이미지 선택부는 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 이미지 선택부는 차량의 진행 방향이 전진 방향으로부터 후진 방향으로 또는 후진 방향으로부터 전진 방향으로 변경된 이후, 설정된 이미지 교체 조건에 충족될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 이미지 선택부는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 조감도 이미지 교체 조건에 충족된 것으로 판단할 수 있다.
또한, 화면 생성부는 차량의 이동 거리가 상기 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성할 수 있다.
또한, 이미지 선택부는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 이미지 선택부는 설정된 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택할 수 있다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 움직임 산출부를 더 포함할 수 있다.
또한, 움직임 산출부는 감지 신호를 근거로 차량의 회전 반경 및 바퀴 각도를 더 산출할 수 있다.
또한, 화면 생성부는 차량의 바퀴 각도와 상기 차량의 이동 거리에 대응하도록, 상기 조감도 이미지 영역에 포함된 조감도 이미지를 회전 이동시킬 수 있다..
또한, 화면 생성부는 출력 화면의 조감도 이미지 영역에 차량 아이콘을 더 표시할 수 있다.
또한, 출력 화면은 실시간 영상 영역을 더 포함하고, 화면 생성부는 카메라를 통해 촬영된 카메라 영상을 실시간 영상 영역에 실시간으로 표시할 수 있다.
또한, 조감도 이미지 영역과 실시간 영상 영역은 분리되어 출력 화면 상에 배치될 수 있다.
또한, 출력 화면은 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역을 포함하고, 제 1 조감도 이미지 영역에는 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일 부분이 포함되고, 제 2 조감도 이미지 영역에는 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지 중 적어도 일 부분이 포함될 수 있다.
또한, 차량의 주변 영역은 상기 제 1 조감도 이미지 영역과 상기 제 2 조감도 이미지 영역을 통해 출력 화면 내에 표현되고, 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역은 출력 화면 내에 분리되어 배치되며, 주변 영역의 서로 다른 부분을 출력할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 지원하기 위한 차량 운전 보조 방법은 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하는 단계; 조감도 이미지 중 적어도 일 부분이 표시되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 단계; 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계; 및 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 단계를 포함하고, 출력 화면을 생성하는 단계는 조감도 이미지를 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 단계를 포함할 수 있다.
또한, 카메라는 차량의 후방을 촬영하는 후방 카메라일 수 있다.
또한, 하나의 새로운 조감도 이미지를 선택하는 단계는 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 하나의 새로운 조감도 이미지를 선택하는 단계는 차량의 진행 방향이 전진 방향으로부터 후진 방향으로 또는 후진 방향으로부터 전진 방향으로 변경된 이후, 설정된 이미지 교체 조건에 충족될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 조감도 이미지 교체 조건에 충족된 것으로 판단할 수 있다.
또한, 출력 화면을 생성하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성할 수 있다.
또한, 하나의 새로운 조감도 이미지를 선택하는 단계는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
또한, 하나의 새로운 조감도 이미지를 선택하는 단계는 설정된 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택할 수 있다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 감지 신호를 근거로 차량의 회전 반경 및 바퀴 각도를 산출하는 단계를 더 포함할 수 있다.
또한, 출력 화면을 생성하는 단계는 차량의 바퀴 각도와 상기 차량의 이동 거리에 대응하도록, 상기 조감도 이미지 영역에 포함된 조감도 이미지를 회전 이동시키는 단계를 포함할 수 있다.
또한, 출력 화면은 실시간 영상 영역을 더 포함하고, 출력 화면을 생성하는 단계는 카메라를 통해 촬영된 카메라 영상을 실시간 영상 영역에 실시간으로 표시할 수 있다.
또한, 출력 화면은 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역을 포함하고, 제 1 조감도 이미지 영역에는 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일 부분이 포함되고, 제 2 조감도 이미지 영역에는 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지 중 적어도 일 부분이 포함될 수 있다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치 및 방법에 따르면 단일 카메라를 통해 조감도 이미지를 생성할 때, 왜곡 없이 주차선 등을 표현할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치 및 방법에 따르면 조감도 이미지 생성에 있어서, 연산량이 적어 저사양의 처리 장치로도 구현될 수 있는 장점이 있다.
도 1a, 도 1b 및 도 1c는 종래 기술에 따른 조감도 이미지 생성 방법에 대한 개념도이다.
도 2는 종래 기술에 따른 조감도 이미지 생성 방법에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 대한 개념도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지의 생성 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 대한 블록도이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 의해 운전자에게 제공되는 조감도 이미지를 생성하는 방법에 대한 개념도이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지 생성 방법을 설명하기 위한 개념도이다.
도 12a, 도 12b, 도 12c 및 도 12d는 본 발명의 일 실시예에 따른 출력 화면 생성부를 통해 생성된 출력 화면의 예시들을 설명하기 위한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 흐름도이다.
도 2는 종래 기술에 따른 조감도 이미지 생성 방법에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 대한 개념도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지의 생성 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 대한 블록도이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 차량 운전 보조 장치에 의해 운전자에게 제공되는 조감도 이미지를 생성하는 방법에 대한 개념도이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지 생성 방법을 설명하기 위한 개념도이다.
도 12a, 도 12b, 도 12c 및 도 12d는 본 발명의 일 실시예에 따른 출력 화면 생성부를 통해 생성된 출력 화면의 예시들을 설명하기 위한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치를 설명하기 앞서, 종래 기술에 따른 차량 운전 보조 장치에 적용된 조감도 이미지 생성 방법에 대한 설명이 이루어진다. 도 1a, 도 1b 및 도 1c는 종래 기술에 따른 조감도 이미지 생성 방법에 대한 개념도이다. 구체적으로, 도 1a, 도 1b 및 도 1c에서 좌측의 그림은 차량이 주차 중일 때, 각각 t1, t2 및 t3 시점에서의 후방 카메라 이미지를 나타내고, 도 1a, 도 1b 및 도 1c에서 우측 그림은 t1, t2 및 t3 시점에서 촬영된 후방 카메라 이미지를 근거로 생성된 조감도 이미지를 나타낸다.
종래 기술의 차량 운전 보조 장치에 따른 조감도 이미지의 생성 방법을 살펴보면, 먼저, 도 1a에 도시된 것처럼 t1 시점에 촬영된 후방 카메라 이미지(ci11)를 조감도 이미지(bi11)로 변환하는 과정이 수행된다. 이때, 도 1의 우측 그림에 도시된 것처럼, 차량(1)에 장착된 카메라의 광각 성능에 따라, 조감도 이미지(bi11)에는 카메라를 통해 표현되는 영역(ca11)과, 표현되지 않는 영역(nsa11)이 존재하게 된다. 이는 조감도 이미지(bi11)가 후방 카메라 이미지(ci11)를 시점 변환함으로써 생성된 이미지이기 때문이다.
그 후, 종래 기술에 따른 차량 운전 보조 장치는 도 1b에 도시된 것처럼, t2 시점에 촬영된 후방 카메라 이미지(ci12)를 조감도 이미지(bi12)로 변환하는 과정을 수행한다. 이 경우, 도 1a를 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 조감도 이미지는 도 1b의 우측 그림에서 영역(ca12)에 해당하는 부분이 나타날 수 있다. 이는, 도 1b의 후방 카메라 이미지(ci12)의 경우, 진행 중인 차량(1)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 종래 기술의 경우, 전체 주차선(pl11)이 표현된 도 1a의 조감도 이미지(bi11)를 추가적으로 합성하는 과정을 거치고, 이에 따라 원래의 후방 카메라 이미지(ci12)만으로는 표현될 수 없었던 영역(nsa12)에 대한 표현 즉, 전체 주차선(ppl11)에 대한 표현이 가능해진다.
마찬가지로, 종래 기술에 따른 차량 운전 보조 장치는 도 1c에 도시된 것처럼, t3 시점에 촬영된 후방 카메라 이미지(ci13)를 조감도 이미지(bi13)로 변환하는 과정을 더 수행한다. 이 경우, 도 1a 및 도 1b를 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 조감도 이미지는 도 1c의 우측 그림에서 영역(ca13)에 해당하는 부분만이 나타날 수 있다. 이는 도 1c의 후방 카메라 이미지(ci13)의 경우, 주차가 완료된 차량(1)의 위치에 기인하여 주차선들 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 종래 기술의 경우, 앞서 언급된 것과 마찬가지로 전체 주차선(pl11)이 표현된 도 1a와, 도 1c에 비해 많은 주차선이 표현된 도 1b의 조감도 이미지(bi11 및 bi12)를 추가적으로 합성하는 과정을 수행한다. 이에 따라, 종래 기술에 따른 차량 운전 보조 장치는 원래의 후방 카메라 이미지(ci13)만으로는 표현될 수 없었던 영역 (nsa11) 및 영역(nsa12)에 대한 표현 즉, 주차선(ppl11, ppl12)에 대한 표현이 가능해진다.
이러한 종래 기술의 경우, 하나의 카메라로 촬영된 촬영 이미지만으로도 차량 주변에 대한 어라운드 뷰를 구현할 수 있는 장점이 존재한다. 반면, 종래 기술의 경우, 지속적으로 조감도 이미지 간 합성 과정을 수행하므로, 합성되는 주차선(ppl11, ppl12)에 있어서 왜곡이 발생할 가능성이 높다. 다시 말해, 종래 기술은 도 2에 도시된 바와 같이, t2 시점의 조감도 이미지는 t1 시점 및 t2 시점의 후방 카메라 영상을 근거로 변환된 조감도 이미지의 합성 과정이 요구되고, t3 시점의 조감도 이미지는 t1 시점, t2 시점 및 t3 시점의 후방 카메라 영상을 근거로 조감도 이미지들의 합성 과정이 요구된다. 이러한 이미지 합성 과정에서 종래 기술의 경우, 각 단계별로 생성된 조감도 이미지 간의 비교를 수행하고, 각 조감도 이미지에 포함된 주차선들 중 겹치는 영역과 겹치지 않는 영역을 분석한다. 이때, 종래 기술의 경우, 겹치지 않는 영역에 있어서 과거의 조감도 이미지를 현재 조감도 이미지에 합성하는 과정을 거치게 되는데, 이미지 정합의 정확도 문제에 기인하여, 이미지 정합이 올바르게 이루어지지 않거나, 또는 왜곡 등이 발생하는 문제점이 존재한다.
또한, 종래 기술의 경우, 매 시점마다 과거의 조감도 이미지와 현재 조감도 이미지의 비교 과정 및 정합 과정을 반복적으로 수행하여 연산량이 매우 많고, 이에 따라, 처리 장치도 고사양의 장치를 요구하는 문제점이 존재한다.
따라서, 본 발명은 상술한 문제점들을 해소할 수 있는 새로운 차량 운전 보조 장치를 제공하는데 그 목적이 있다.
이하, 본 발명의 실시예에 따른 차량 운전 보조 장치에 대하여 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 개념도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 차량의 운전을 보조하기 위한 장치로서, 차량(10)에 장착된 카메라(11)로부터 촬영된 후방 촬영 영상을 근거로, 디스플레이부(12)를 통해 운전자에게 조감도 이미지 및 후방 촬영 영상을 동시에 제공할 수 있다.
여기서, 조감도 이미지란 차량의 주변 영역을 위에서 바라본 것 같이 나타낸 이미지로서, 반드시 차량의 중심을 기준으로 수직한 지점을 기준점으로 생성된 이미지를 나타내는 것은 아니다. 즉, 조감도 이미지는 차량을 포함한 주변 영역이 하나의 이미지에 나타나도록 시점 변환된 이미지를 나타낸다. 바람직하게, 이하에서 설명되는 조감도 이미지는 기준점이 차량과 수직하게 설정될 때, 조감도 이미지의 중심에 차량이 표현되는 탑뷰 이미지를 나타낼 수 있다. 다만, 이는 예시일 뿐이고 본 발명은 기준점이 차량 상부의 다양한 지점에 설정되어 다양한 시점에서 조감도 이미지를 생성하는 것도 가능하다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 디스플레이부(12)를 통해 표시될 출력 화면을 생성할 수 있고, 출력 화면은 조감도 이미지 영역 및 실시간 영상 영역을 포함할 수 있다. 여기서, 조감도 이미지 영역에는 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)를 통해 생성된 조감도 이미지 중 일부와 차량 아이콘이 표시될 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 조감도 이미지에서 주차선 등의 왜곡을 방지하고 조감도 이미지의 생성에 요구되는 연산량을 줄이는 것을 그 목적으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라 영상을 근거로 생성된 복수의 조감도 이미지를 기설정된 조감도 이미지 교체 조건에 따라 선택적으로 표시하는 방식을 채택할 수 있다. 물론, 전방 카메라가 포함된 차량의 경우, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 전방 카메라 영상을 근거로 생성된 복수의 조감도 이미지를 기설정된 조감도 이미지 교체 조건에 따라 선택적으로 표시하는 방식을 채택할 수 있다. 이에 대한 설명은 아래에서 도 6을 참조로 다시 설명된다.
실시간 영상 영역에는 카메라(11)를 통해 촬영된 후방 카메라 영상 또는 전방 카메라 영상이 실시간으로 표시될 수 있다. 또한, 카메라 영상에는 운전자의 차량 운전 보조를 위한 조향 가이드 라인이 함께 출력될 수 있다.
위에서 설명된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 출력 화면을 통해 차량(10) 주변에 대한 조감도 이미지뿐만 아니라, 후방 카메라 영상 또는 전방 카메라 영상을 실시간으로 표시할 수 있어서, 차량의 운전을 지원할 수 있다. 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 설명에 앞서, 본 발명의 일 실시예에 따른 조감도 이미지를 생성하는 방법에 대한 개념이 먼저 설명된다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지의 생성 방법을 설명하기 위한 개념도이다. 본 발명의 일 실시예에 따른 조감도 생성 방법은 투시 변환을 이용하여 이루어질 수 있다(도 4 참조). 예를 들어, 본 발명의 일 실시예에 따른 조감도 이미지의 생성 방법은 지면상의 이미지의 위치 데이터가 카메라의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.
보다 상세하게 설명하면, 카메라(11)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 여기서, 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α,β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
[수학식 1]
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 근거로 조감도 이미지를 생성할 수 있다. 다만, 조감도 이미지를 생성하는 방법은 상기 방식 외에 다른 다양한 방법으로 구현될 수 있고, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 상기 방식으로 제한되지 않는다. 즉, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 복수의 이미지를 합성함으로써 조감도 이미지를 생성하는 것이 아닌, 하나의 단일 프레임(이미지 선택부(120)를 통해 선택된 카메라 이미지)을 이용하여 조감도 이미지를 교체하는 방식이라면, 다른 방법으로도 구현될 수 있다.
또한, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 도 5를 참조하면 더 분명해진다. 도 5에서, t 시점에서의 차량(10)과, t 시점에서 일정 시간이 지난 후인 t+1 시점에서의 차량(10a)이 나타난다.
또한, t 시점에 차량(10)의 카메라를 통해 촬영된 후방 카메라 영상이 영역(r1)이라고 가정한다. 이때, 조감도 이미지 생성부(110)는 영역(r1)에 해당하는 후방 카메라 영상을 조감도 이미지로 변환할 수 있다. 즉, t+1 시점에 차량이 r1에 도달할 경우, 차량 주변 영상을 조감도 이미지의 형태로 파악할 수 있으며, 이에 따라 어라운드 뷰의 형태로 차량 주변을 파악할 수 있다.
도 6은 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 블록도이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 카메라(11)와 디스플레이부(12)가 장착된 차량에 적용될 수 있다. 물론, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 카메라(11)와 디스플레이부(12)를 포함한 구성으로 구현되는 것도 가능하다. 여기서, 카메라(11)는 차량에 장착되어 설치되고, 후방 카메라 영상을 촬영하는 기능을 한다. 카메라(11)를 통해 촬영된 후방 카메라 영상은 저장부(14)에 저장될 수 있다. 여기서, 카메라(11)의 설치 위치 또는 종류는 다양하게 변경될 수 있으므로, 본 발명에서는 이를 특정한 것으로 한정하지 않는다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 이전 시점들에 촬영된 후방 카메라 영상을 이용하여 조감도 이미지를 생성하고, 출력 화면에 조감도 이미지와 촬영 후방 영상을 동시에 출력할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 조감도 이미지 생성부(110), 이미지 선택부(120), 화면 생성부(130), 움직임 산출부(140) 및 출력 화면 요청부(150)를 포함하여 구성될 수 있다. 여기서, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 포함된 각 구성들은 본 발명의 이해를 돕기 위해 기능별로 그 구성을 구분한 것이고, 실제로는 CPU, MPU 또는 GPU와 같은 하나의 처리 장치를 통해 구현되는 것도 가능하다. 이제, 도 6을 참조로 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 설명이 이루어진다.
아래에서는 차량에 후방 카메라가 장착되고, 차량이 후진 상태로 움직일 때, 후방 카메라로부터 촬영된 후방 카메라 영상을 근거로 조감도 이미지를 생성하는 기술 위주로 설명이 이루어진다. 다만, 이는 예시일 뿐이고, 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 움직일 때 전방 카메라를 통해 촬영된 전방 카메라 영상을 근거로 조감도 이미지를 생성하는 기술도 동일한 기술 사상이 적용될 수 있다. 따라서, 본 발명의 권리 범위는 후방 카메라를 이용한 기술뿐만 아니라, 전방 카메라를 이용한 기술도 포함할 수 있다.
출력 화면 요청부(150)는 운전자의 주차 또는 후진 의도를 판단 또는 운전자의 화면 출력 요청을 인지하고, 운전자가 주차 또는 후진 또는 화면 출력을 원하는 것으로 판단될 때, 출력 화면 요청 신호를 생성 및 출력하는 기능을 한다. 예를 들어, 출력 화면 요청 신호는 운전자가 변속 레버를 후진으로 설정할 때, 또는 입력부(미도시)를 통해 출력 화면을 요청할 때 출력될 수 있다.
조감도 이미지 생성부(110)는 카메라(11)를 통해 촬영된 후방 카메라 영상을 이용하여 조감도 이미지를 생성하는 기능을 한다. 여기서, 조감도 이미지 생성부(110)를 통해 조감도 이미지를 생성하는 방법에 대한 설명은 위에서 도 4 및 도 5를 참조로 상세히 이루어졌으므로, 추가적인 설명은 생략한다. 또한, 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지는 저장부(14)에 저장될 수 있다.
또한, 조감도 이미지 생성부(110)는 매 시점마다 후방 카메라 영상을 근거로 조감도 이미지를 생성할 수 있다. 다만, 이는 예시일 뿐이고, 조감도 이미지 생성부(110)는 기설정된 주기 마다 또는, 기설정된 차량의 이동 거리에 따라 조감도 이미지를 생성할 수 있다.
이미지 선택부(120)는 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지를 선택하고, 선택된 조감도 이미지를 화면 생성부(130)로 전달하는 기능을 한다. 구체적으로, 이미지 선택부(120)는 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지들 중 하나의 조감도 이미지를 선택하고, 선택된 조감도 이미지를 화면 생성부(130)로 전달할 수 있다.
즉, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라 영상에 포함된 복수의 프레임들을 연속적으로 합성함으로써 조감도 이미지를 생성하는 것이 아닌, 기설정된 주기마다 생성된 복수의 조감도 이미지들 중 이미지 선택부(120)를 통해 선택된 하나의 조감도 이미지를 운전자에게 제공하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 아래에서 다시 언급되는 바와 같이, 설정된 조감도 이미지 교체 조건에 따라 새로운 조감도 이미지를 선택하고, 기존 조감도 이미지를 새롭게 선택된 조감도 이미지로 교체함으로써, 운전자에게 조감도 이미지를 제공하는 것을 특징으로 한다.
만일, 종래 기술과 같이 복수의 후방 카메라 영상의 프레임들을 합성하면서 조감도 이미지를 생성하게 되면, 복수의 조감도 이미지들간 합성 과정에서, 그리고 다양한 다른 원인들에 의해 주차선에 왜곡이 발생할 가능성이 높다. 이는 매 시점마다 촬영되는 후방 카메라 영상 내에서 주차선의 위치, 길이 및 방향 등이 상이할 수 있어서, 정확한 정합이 어렵기 때문이다. 뿐만 아니라, 종래 기술의 경우 지속적으로 조감도 이미지를 생성하고 디스플레이 하는 과정을 거치기에 연산량이 높고, 이에 따라 저사양의 처리 장치로는 원하는 성능을 구현하기 어려운 문제점이 존재한다. 이에 따라, 본 발명의 일 실시예에 따른 이미지 선택부(120)는 하나의 조감도 이미지를 선택하여 운전자에게 제공하되, 설정된 조감도 이미지 교체 조건을 충족할 때마다 새로운 조감도 이미지로 기존 조감도 이미지를 교체하는 방법을 제공한다.
화면 생성부(130)는 이미지 선택부(120)를 통해 선택된 조감도 이미지의 일 부분과, 카메라(11)를 통해 촬영된 후방 카메라 영상을 표시하기 위한 출력 화면을 생성하는 기능을 한다. 여기서, 출력 화면은 차량에 장착된 디스플레이부(12)를 통해 운전자에게 제공되는 화면을 나타낸다. 또한, 출력 화면은 조감도 이미지 영역 및 실시간 영상 영역을 포함할 수 있다. 물론, 다른 예시로서 차량에 차량에 장착된 카메라가 차량의 전방을 촬영하는 경우, 출력 화면의 실시간 영상 영역에는 전방 카메라 영상이 실시간으로 표시될 수 있다.
출력 화면 중 조감도 이미지 영역에는 조감도 이미지 생성부(110)를 통해 생성되고, 이미지 선택부(120)를 통해 선택된 조감도 이미지 중 일부가 표시될 수 있다. 뿐만 아니라, 조감도 이미지 영역에는 조감도 이미지에 차량 아이콘을 더 표시할 수 있다. 이에 따라, 운전자가 디스플레이부(12)를 볼 때, 출력 화면에 포함된 조감도 이미지 영역을 참조함으로써, 차량 주변에 대한 정보와 현재 차량이 배경 중 어디에 있는지 쉽게 파악할 수 있다. 또한, 조감도 이미지 영역에 조감도 이미지 중 전체가 아닌 일부가 표시되는 이유는 운전자의 주차를 돕거나, 또는 차량 주변의 장애물이 보다 명확히 나타나도록 현재 차량의 위치를 기준으로 기설정된 거리내의 관심 영역을 표시하기 위함이다.
또한, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하고, 조감도 이미지 교체 조건에 충족될 시, 복수의 조감도 이미지들 중 새로운 조감도 이미지를 선택할 수 있다. 이는 차량의 움직임 등으로 인해, 차량의 위치가 지속적으로 변하게 되므로, 차량의 현재 위치를 기준으로 보다 정확한 조감도 이미지를 운전자에게 제공하기 위함이다.
이렇게 이미지 선택부(120)로부터의 판단 결과, 설정된 조감도 이미지 교체 조건에 충족되어 새로운 조감도 이미지가 선택되면, 새롭게 선택된 조감도 이미지는 화면 생성부(130)로 전달된다. 이때, 화면 생성부(130)는 이전 조감도 이미지를 새롭게 선택된 조감도 이미지로 교체하는 과정을 거친다. 상기 과정을 통해, 디스플레이부(12)를 통해 출력되는 출력 화면은 설정된 조감도 이미지 교체 조건에 충족되는 시점마다 새로운 조감도 이미지가 교체되어 디스플레이될 수 있다.
여기서, 조감도 이미지 교체 시점은 차량의 이동 거리를 근거로 판단될 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 움직임 산출부(140)를 통해 차량의 움직임 여부와, 차량의 이동 거리를 산출할 수 있다. 이하의 설명에서 조감도 이미지 교체 시점을 판단하는 조건은 차량의 이동 거리를 근거로 이루어지는 것으로 설명되나 이는 예시일 뿐이고 시점 등과 같은 다양한 조건들을 이용하여 조감도 이미지 교체 시점을 결정하는 것도 생각해볼 수 있다. 다만, 차량의 위치를 고려하기 위해 차량의 이동 거리를 근거로 조감도 이미지 교체 시점을 판단하는 것이 가장 바람직하다.
움직임 산출부(140)는 차량의 움직임 여부와 차량의 이동 거리를 산출하는 기능을 한다. 구체적으로, 움직임 산출부(140)는 차량에 장착된 센서부(13)로부터 감지 신호를 수신하고, 감지 신호를 근거로 차량의 움직임 여부를 판단할 수 있다. 여기서, 센서부(13)는 차량의 움직임과 회전을 감지하고, 움직임 및 회전에 따른 움직임 감지 신호 및 회전 감지 신호를 출력할 수 있다. 이를 위해, 센서부(13)는 휠 펄스 센서 및 스티어링 휠 센서를 포함할 수 있다.
움직임 산출부(140)는 센서부(13)를 통한 감지 신호를 분석하고, 차량의 움직임 여부를 판단할 수 있다. 움직임 산출부(140)는 판단 결과, 차량의 움직임이 발생한 것으로 판단된 경우 차량의 이동 거리를 산출할 수 있다. 이렇게 산출된 차량의 이동 거리는 이미지 선택부(120)로 전달될 수 있다.
여기서, 움직임 산출부(140)를 통해 이루어지는 차량의 움직임 여부 판단과 차량의 이동 거리를 산출하는 방법이 센서부(13)에서 출력된 감지 신호를 근거로 이루어지는 것으로 설명되었으나, 이는 예시일 뿐이고 카메라 영상의 분석을 통해 이루어지는 것도 가능하다. 이러한 영상 분석 기법의 경우 다양한 방법들이 이미 잘 알려져 있고, 본 발명은 특정 영상 분석 방식만으로 제한되지 않으므로 이에 대한 추가적인 설명은 생략한다.
움직임 산출부(140)로부터 차량의 이동 거리가 산출되면, 이미지 선택부(120)는 차량의 이동 거리와 기설정된 임계 교체 이동 거리를 비교할 수 있다. 이미지 선택부(120)로부터의 판단 결과, 차량의 이동 거리가 기설정된 임계 교체 이동 거리 이상인 경우, 이미지 선택부(120)는 복수의 조감도 이미지들 중 새로운 조감도 이미지를 선택할 수 있다.
여기서, 새로운 조감도 이미지는 이전 조감도 이미지 생성 시점 이후의 조감도 이미지들 중에서 선택되는 것이 바람직하다. 이는 차량의 움직임에 따라 너무 과거의 이미지는 차량의 현재 위치를 기준으로 너무 먼 곳의 위치이거나, 전혀 다른 지점일 확률이 높기 때문이다. 따라서, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다. 또한, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것도 가능하다. 바람직하게는, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 때, 차량의 현재 위치를 고려하여 현재 위치에 가장 인접한 지점에서 생성된 조감도 이미지를 선택할 수 있다.
또한, 이미지 선택부(120)는 새로운 조감도 이미지의 선택 시, 최근의 조감도 이미지가 아닌, 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택하는 경우도 존재한다. 이는 예를 들어, 차량이 주차선 방향으로 후진을 하다가, 기어를 변경하여 전진하는 경우 그러할 수 있다. 다시 말해, 이미지 선택부(120)는 일반적으로는 최근에 생성된 조감도 이미지를 새롭게 선택함으로써 조감도 이미지를 교체하되, 기어 변경을 통해 차량이 전진하는 경우 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택할 수 있다.
물론, 이미지 선택부(120)는 기어 변경 시에는 추가적인 조감도 이미지를 선택하지 않고 현재의 조감도 이미지를 유지하다가, 설정된 조감도 이미지 교체 조건에 충족시마다 새로운 조감도 이미지를 선택하는 것도 가능하다.
또한, 앞서 언급한 것처럼 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라가 적용된 차량뿐만 아니라, 전방 카메라가 적용된 차량에도 적용될 수 있다. 즉, 차량에 후방 카메라가 아닌 전방 카메라가 적용되어 있고, 차량이 전진 방향에서 후진 방향으로 변경될 때에도, 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택할 수 있다.
이미지 선택부(120)는 반복적으로 조감도 이미지의 교체 여부를 판단하고, 판단 결과를 근거로 조감도 이미지를 선택하며, 선택된 조감도 이미지를 화면 생성부(130)로 전달할 수 있다. 이에 따라, 운전자는 디스플레이부(12)를 통해 차량의 이동 거리에 따라 교체된 조감도 이미지를 볼 수 있다.
또한, 이미지 선택부(120)는 차량의 이동 거리가 기설정된 임계 교체 이동 거리 미만인 경우 대기 과정을 수행할 수 있다. 이때, 화면 생성부(130)는 차량의 이동 거리에 따라 조감도 이미지 영역에 표시되는 조감도 이미지의 일 부분을 다른 부분으로 변경하여, 운전자에게 출력 화면을 제공할 수 있다. 즉, 화면 생성부(130)는 차량의 이동 거리를 반영하여 차량 이미지의 배경을 변경함으로써, 운전자에게 출력 화면을 제공할 수 있다.
상술한 구성들에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 디스플레이부(12)를 통해 차량 주변의 조감도 이미지와 후방 카메라 영상들을 동시에 디스플레이 할 수 있다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 출력 화면의 조감도 이미지 영역을 통해, 설정된 조감도 이미지 교체 조건의 충족 시점마다 새로운 조감도 이미지로 교체하여, 조감도 이미지를 디스플레이할 수 있다.
그리고, 앞선 설명에서 움직임 산출부(140)는 차량의 이동 거리를 산출하는 것으로 설명되었다. 여기서, 움직임 산출부(140)는 상술한 기능 외에, 차량의 회전 여부(구체적으로, 차량의 세로축 방향과 바퀴 방향이 일치하지 않은 상태로 움직이는 지의 여부)와, 회전 발생 시 차량의 회전 반경 및 바퀴 각도(또는 회전 각도)를 더 산출할 수 있다. 여기서, 움직임 산출부(140)를 통해 이루어지는 차량의 회전 반경의 산출은 센서부(13)를 통해 감지된 차량의 스티어링 휠의 각도 또는 차량의 전륜 또는 후륜의 각도를 근거로 이루어질 수 있다. 차량의 이동 거리, 회전 반경 및 바퀴 각도를 산출하는 방식은 다양한 방식이 잘 알려져 있기에, 이에 대한 추가적인 설명은 생략한다.
화면 생성부(130)는 움직임 산출부(140)에서 차량이 회전된 것으로 판단된 경우, 움직임 산출부(140)를 통해 산출된 바퀴 각도에 따라 조감도 이미지 영역에 포함된 조감도 이미지를 회전시켜 디스플레이할 수 있다. 구체적으로, 화면 생성부(130)는 움직임 산출부(140)를 통해 산출된 차량의 바퀴 각도와 차량의 이동 거리를 고려하여, 차량의 바퀴 각도 및 이동 거리에 대응하도록 조감도 이미지 영역에 포함된 조감도 이미지를 회전 이동시킬 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 이전 시점들의 후방 카메라 영상을 근거로 조감도 이미지를 생성하고 디스플레이하되, 설정된 조감도 이미지 교체 조건에 따라 디스플레이부(12)를 통해 디스플레이되는 조감도 이미지를 교체할 수 있다. 뿐만 아니라, 출력 화면에서 조감도 이미지 영역에 포함된 조감도 이미지는 차량의 회전 반경에 따라 회전되어 표시될 수 있는 것을 특징으로 한다.
이에 따라, 본 발명의 차량 운전 보조 장치(100)는 이미지의 합성 과정 없이도 운전자에게 조감도 이미지를 제공할 수 있고, 종래 기술과 같이 과거 이미지와 현재 이미지를 합성하지 않기에, 이미지 정합 과정에 의해 야기되는 주차선의 왜곡 등이 전혀 발생하지 않는 장점이 있다. 여기서, 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통해 조감도 이미지를 생성하는 방법은 다음의 도 7, 도 8 및 도 9를 참조하면 보다 분명해진다.
도 7, 도 8 및 도 9는 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)를 통해, 운전자에게 제공되는 조감도 이미지를 생성하는 과정을 나타내는 개념도이다. 도 7, 도 8 및 도 9에서 좌측 그림 즉, 각 도면의 (a) 부분은 t1, t2 및 t3 시점에 촬영된 후방 카메라 영상을 나타내고, 도 7, 도 8 및 도 9에서 우측 그림 즉, 각 도면의 (b) 부분은 각 시점에 운전자에게 표시되는 조감도 이미지를 나타낸다. 여기서, 도 7b 및 도 8b에 도시된 조감도 이미지는 도 7a에 도시된 t1 시점의 후방 카메라 영상을 근거로 생성된 조감도 이미지로 가정된다. 그리고, 도 7b, 도 8b 및 도 9b에서 차량 아이콘의 위치는 서로 상이하게 도시되었으나, 이는 예시일 뿐이고 조감도 이미지 영역에 고정되어 배치되는 것도 가능하다.
상술한 바와 같이, 본 발명의 일 실시예에 따라 운전자에게 디스플레이되는 조감도 이미지는 현재 시점을 기준으로 이전 시점들에 촬영된 후방 카메라 영상들 중 하나의 후방 카메라 이미지를 근거로 생성된 것을 특징으로 한다, 물론, 현재 시점의 후방 카메라 이미지를 근거로 조감도 이미지가 디스플레이되는 것도 가능하나, 이 경우 이미 차량이 지나간 영역에 대해서는 표현이 어렵다. 따라서, 운전자에게 디스플레이되는 조감도 이미지는 가급적 과거 시점의 후방 카메라 이미지를 근거로 생성된 것이 바람직하다. 이에 따라, t1 및 t2 시점에 운전자에게 표시되는 조감도 이미지는 t2 시점을 기준으로 t1 시점만이 이전 시점에 해당되기에, t1 시점의 후방 카메라 영상을 근거로 생성된 조감도 이미지가 디스플레이될 수 있다.
이에 따라, t1 시점 및 t2 시점에는 동일한 조감도 이미지가 디스플레이부를 통해 표시될 수 있다. 다만, 각 시점마다 모두 동일한 조감도 이미지가 출력 화면 상에 나타나면, 운전자는 운전자의 현재 위치를 파악할 수 없기에, 차량의 이동 거리를 근거로 조감도 이미지 영역을 통해 표시되는 조감도 이미지의 부분을 변경함으로써 즉, 조감도 이미지를 이동시킴으로써 운전자에게 디스플레이하는 방식이 이루어질 수 있다(도 8b 참조).
이제, t3 시점에서 설정된 조감도 이미지 교체 조건이 충족되었다고 가정한다. 즉, t1 시점과 t2 시점 사이의 차량의 이동 거리(d1)와 t2 시점과 t3 시점 사이의 차량의 이동 거리(d2)를 합친 차량의 총 이동 거리가 기설정된 임계 교체 이동 거리 이상인 상황을 가정한다.
이 경우, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 복수의 조감도 이미지들 중 하나의 조감도 이미지를 더 선택할 수 있다. 다만, 본 예시에서 t1 시점 생성된 조감도 이미지는 이미 운전자에게 디스플레이되고 있으므로, t2 시점에 생성된 조감도 이미지를 선택하여 운전자에게 제공할 수 있다. 도 9b로 도시된 운전자에게 제공되는 조감도 이미지는 도 8a에 도시된 t2 시점에 생성된 조감도 이미지인 것으로 가정된다.
즉, t3 시점의 후방 카메라 영상을 보면, 차량이 주차선의 횡방향 선에 거의 근접하여 종방향 선이 후방 카메라 영상에 포함되어 있지 않지만, 도 8a의 후방 카메라 영상을 근거로 조감도 이미지가 생성되었기에, 주차선 중 종방향 선들도 그 일부가 나타남을 알 수 있다. 다만, 도 8a의 후방 카메라 영상에도 주차선 전체가 포함된 것은 아니기에, 전체 주차선 대비 미표현 주차선(nsl2)이 발생할 수 있다.
이제, 도 10 및 도 11을 참조로, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법에 대한 설명이 이루어진다. 구체적으로, 도 10은 본 발명의 일 실시예에 따른 조감도 이미지 생성부(110)를 통해 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이고, 도 11은 본 발명의 일 실시예에 따라 차량의 이동 거리에 따라 조감도 이미지를 선택하는 방법을 설명하기 위한 개념도이다.
앞서 도 1a, 도 1b, 도 1c 및 도 2를 참조로 설명한 바와 같이, 종래 기술의 경우, t1 시점의 조감도 이미지는 t1 시점의 촬영 이미지를 이용하여 생성되고, t2 시점의 조감도 이미지는 t1 및 t2 시점의 촬영 이미지를 이용하여 생성되며, t3 시점의 조감도 이미지는 t1, t2 및 t3 시점의 촬영 이미지를 이용하여 생성됨을 알 수 있다. 구체적으로, 종래 기술은 t2 시점에는 t1 시점의 조감도 이미지와 t2 시점의 조감도 이미지를 합성하여 합성된 조감도 이미지를 운전자에게 디스플레이할 수 있고, t3 시점의 경우, t1, t2 및 t3 시점의 조감도 이미지 또는 t2 및 t3 시점의 조감도 이미지를 합성함으로써, 합성된 조감도 이미지를 운전자에게 디스플레이할 수 있다.
이에 따라, 종래 기술에 따른 조감도 이미지 생성 방법의 경우, 현재 시점의 촬영 이미지에 주차선 전체가 포함되지 않더라도, 과거의 이미지에서 주차선을 추출하고, 이를 현재 조감도 이미지에 정합하는 과정을 거치므로, 운전자는 디스플레이부를 통해 전체 주차선의 모습을 파악할 수 있다.
반면, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 종래 기술과는 달리 조감도 이미지들을 지속적으로 합성하는 것이 아닌, 하나의 조감도 이미지를 운전자에게 제공하거나, 또는 설정된 조감도 이미지 교체 조건에 따라, 기존의 조감도 이미지를 새로운 조감도 이미지로 교체하여 디스플레이하는 방식을 채택한다.
구체적으로, 본 발명의 일 실시예에 따른 조감도 이미지 생성 장치는 먼저, 도 10에 도시된 것처럼 조감도 이미지 생성부를 통해 후방 카메라 영상을 근거로 조감도 이미지를 생성하는 과정을 거친다. 도 10에서, 도 10의 상부에 있는 3개의 그림은 각각 t1, t2 및 t3 시점에 촬영된 후방 카메라 영상의 프레임을 나타내고, 도 10의 하부에 있는 3개의 그림은 t1, t2 및 t3 시점에서 각 시점의 후방 카메라 영상을 시점 변환함으로써 생성된 각 시점의 변환 조감도 이미지를 나타낸다. 앞서 설명한 것처럼, 본 예시에서는 본 발명의 이해를 돕기 위해 각 시점마다 조감도 이미지가 생성되는 것으로 설명되었으나, 이는 예시일 뿐이고 각 시점이 아닌 기설정된 주기에 따라 또는 차량(10)의 이동 거리에 따라 조감도 이미지의 생성이 이루어지는 것도 가능하다.
도 10에서 t1 시점의 변환 조감도 이미지(cbi21)를 살펴보면, t1 시점의 후방 카메라 영상(ci21)에 전체 주차선이 표현된 점에 기인하여, 변환 조감도 이미지(cbi21) 내의 주차선도 모두 표현될 수 있다. 반면, t2 시점의 변환 조감도 이미지(cbi22)를 살펴보면, t2 시점의 후방 카메라 영상(ci22)에 전체 주차선 중 일부만이 표현된 점에 기인하여, 변환 조감도 이미지(cbi22) 내의 주차선은 그 전체가 표현되는 것이 아닌 미표현 주차선(nsl22)이 발생한다. 마찬가지로, t3 시점의 변환 조감도 이미지(cbi23)를 살펴보면, t3 시점의 후방 카메라 영상(ci23)에 전체 주차선 중 일부만이 표현된 점에 기인하여, 변환 조감도 이미지(cbi23) 내의 주차선은 그 전체가 표현되는 것이 아닌 미표현 주차선(nsl23)이 발생한다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 각 시점에서 조감도 이미지를 선택하는 방법에 대한 예시가 도시된다. 도 11의 상부 그림은 t1, t2 및 t3 시점에 시점 변환되어 생성된 각 시점의 변환 조감도 이미지를 나타내고, 도 11의 하부 그림은 t1, t2 및 t3 시점에 실제로 차량의 디스플레이부를 통해 디스플레이되는 조감도 이미지를 나타낸다.
상술한 것처럼, t1 시점의 경우, 차량의 디스플레이부에는 t1 시점에 생성된 변환 조감도 이미지(cbi21)가 표시될 수 있다. 그 후, t2 시점이 될 때 조감도 이미지 교체 조건이 충족되었는지 판단하는 과정이 수행될 수 있다. 앞서 언급된 것처럼, 조감도 이미지는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 교체될 수 있다. 본 예시에서는 t2 시점에서 차량의 이동 거리(d1)가 임계 교체 이동 거리 미만인 상황을 가정한다. 이 경우, t2 시점에 차량의 디스플레이부에는 t1 시점에 생성된 변환 조감도 이미지(cbi21)가 표시될 수 있다. 다만, 앞서 언급한 것처럼, 시점이 변경되었으나 조감도 이미지의 동일한 영역이 계속 디스플레이 되면, 조감도 이미지에서 차량의 현재 위치를 파악하기 어렵다. 이에 따라 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 조감도 이미지 중 다른 부분을 표시함으로써 디스플레이를 수행할 수 있다. 물론, 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 차량 아이콘의 위치를 변경하는 것도 가능하다.
그 후, t3 시점이 될 때 조감도 이미지 교체 조건이 충족되었는지 판단하는 과정이 더 수행될 수 있다. 만일, t3 시점에 조감도 이미지 교체 조건이 충족된 경우, t3 시점에 운전자에게 디스플레이되는 조감도 이미지(bi23)는 과거 조감도 이미지 생성 시점인 t1 시점 이후에 해당하는 조감도 이미지들 중 하나가 선택될 수 있다. 본 예시에서는 t2 시점의 변환 조감도 이미지(cbi22)가 상기 조건에 해당하므로, t3 시점에 운전자에게 제공되는 조감도 이미지(bi23)는 t2 시점의 변환 조감도 이미지(cbi22)를 기반으로 출력될 수 있다. t2 시점의 조감도 이미지(bi22)와 마찬가지로, t3 시점에 운전자에게 디스플레이되는 조감도 이미지(bi23)는 차량의 이동 거리에 따라 조감도 이미지 중 다른 부분이 표시되어 디스플레이될 수 있다. 물론, 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 차량 아이콘의 위치를 변경하는 것도 가능하다.
도 10 및 도 11을 참조로 설명한 바와 같이, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 과거의 조감도 이미지들을 통한 정합 또는 합성 과정을 수행하는 것이 아닌, 복수의 조감도 이미지들 중 조감도 이미지 교체 시점 마다 새롭게 조감도 이미지를 선택하고, 이전의 조감도 이미지를 선택된 조감도 이미지로 교체하는 방식을 채택한다.
이에 따라, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법에 따르면, t2 시점의 조감도 이미지에는 t1 시점의 과거 후방 카메라 이미지에 주차선 모두가 표현되었기에, 누락된 주차선 없이 모든 주차선이 디스플레이부를 통해 운전자에게 표현될 수 있다. 반면, t3 시점에 조감도 이미지 교체 조건이 충족되어 t2 시점에 생성된 조감도 이미지를 근거로 디스플레이를 수행하는 경우, t2 시점의 과거 후방 카메라 이미지에 주차선 전체가 포함되어 있지 않으므로, t3 시점에 운전자에게 제공되는 조감도 이미지(cb23)에는 주차선 전체가 나타나는 것이 아닌, 미표현 주차선(nsl2)이 발생할 수 있다. 물론, t3 시점의 후방 카메라 영상(ci23)에는 주차선 중 세로선 전체가 나타나지 않으나, t2 시점의 후방 카메라 영상(ci22)에는 주차선의 세로선 중 일부가 나타나 있어, t3 시점에 운전자에게 디스플레이되는 조감도 이미지에는 주차선 중 일부 선(sl2)이 나타날 수 있다.
상술한 바와 같이, 종래 기술의 경우 과거 이미지들을 지속적으로 합성함으로써 전체 어느 시점에도 전체 주차선이 표현될 수 있는 장점이 있다. 반면, 종래 기술의 경우, 정합 과정에서 주차선의 정합이 완벽히 이루어지지 않아 주차선에 왜곡이 발생할 가능성이 높다.
반대로, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 따르면, 시점에 따라 주차선 전체가 표현되지 않을 수도 있는 단점이 있다. 반면, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 하나의 단일 이미지를 근거로 조감도 이미지가 생성되기에 주차선 등에 왜곡 등이 발생하지 않는 장점이 있다.
도 12a, 도 12b, 도 12c 및 도 12d는 본 발명의 일 실시예에 따른 차량 운전 보조 장치로부터 생성되어, 디스플레이부를 통해 디스플레이되는 출력 화면들에 대한 예시를 도시한다. 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통해 생성된 출력 화면은 도 12a 및 도 12b에 도시된 배치를 가질 수 있다. 즉, 화면 생성부(130)는 도 12a에 도시된 것처럼 조감도 이미지 영역(da1)이 실시간 영상 영역(da2) 내에서 섬네일(thumbnail) 형태로 배치되게 하거나, 또는 도 12b에 도시된 것처럼 조감도 이미지 영역(da1)과 실시간 영상 영역(da2)을 분리함으로써 출력 화면을 생성할 수 있다. 예를 들어, 차량에 장착된 카메라의 성능이 저사양일 때(예를 들어, SD 급 카메라일 때), 조감도 이미지 영역(da1)은 섬네일 형태로 배치되는 것이 바람직하고, 카메라의 성능이 고사양일 때(예를 들어, HD 급 이상의 카메라일 때), 조감도 이미지 영역(da1)과 실시간 영상 영역(da2)은 서로 분리되어 표시되는 것이 바람직할 수 있다. 이는 단지 예시일 뿐이고, 관리자 또는 운전자의 설정에 따라 다양하게 변경될 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 도 12c 및 도 12d에 도시된 바와 같이, 2개의 조감도 이미지 영역(da1, da3)과, 하나의 실시간 영상 영역(da2)을 포함하는 출력 화면을 생성할 수 있다. 앞선 예시들과 동일하게, 제 1 조감도 이미지 영역(da1)에는 이미지 선택부를 통해 선택된 조감도 이미지가 표시될 수 있고, 실시간 영상 영역(da2)에는 카메라를 통해 촬영된 차량 후방 영상이 실시간으로 표시될 수 있다. 반면, 제 2 조감도 이미지 영역(da3)에는 현재 시점에 생성된 조감도 이미지가 표시될 수 있다. 즉, 앞선 설명에서 출력 화면에는 과거 시점에 생성된 조감도 이미지가 운전자에게 제공되는 것으로 설명되었으나, 과거 시점의 조감도 이미지만을 사용하게 되면, 차량 주변에 갑작스럽게 움직이는 물체가 나타날 경우 이를 정확히 알기 어렵다.
예를 들어, 현재 시점을 t2라고 하고, 제 1 조감도 이미지 영역(da1)을 통해 표시되는 조감도 이미지의 생성 시점이 t1이라고 가정한다. 이 때, 제 1 조감도 이미지 영역(da1)에는 t1 시점에 생성된 조감도 이미지가 그대로 표시될 수 있고, 제 2 조감도 이미지 영역(da2)에는 t2 시점에 생성된 조감도 이미지가 표시될 수 있다. 다시 말해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 제 2 조감도 이미지 영역(da3)을 통해 과거 시점의 조감도 이미지뿐만 아니라, 현재 시점의 조감도 이미지도 함께 확인할 수 있어서, 갑작스럽게 움직이는 물체가 나타나더라도 이를 정확히 파악할 수 있다.
또한, 2개의 조감도 이미지 영역(da1 및 da2)의 경우, 도 12c와 같이 과거 시점의 조감도 이미지와 현재 시점의 조감도 이미지의 동일한 영역을 표시할 수 있다. 또한, 다른 방법으로서, 2개의 조감도 이미지 영역(da1 및 da2)은 도 12에 도시된 것처럼, 현재 시점의 조감도 이미지가 출력되는 제 2 조감도 이미지 영역(da2)과 과거 시점의 조감도 이미지가 출력되는 제 1 조감도 이미지 영역(da1)은 서로 다른 영역이 출력될 수 있다.
구체적으로, 도 12에 도시된 예시의 경우, 현재 시점을 t3라고 하고, 제 1 조감도 이미지 영역(da1)을 통해 표시되는 조감도 이미지의 생성 시점이 t1이라고 가정한다. 이 때, 제 1 조감도 이미지 영역(da1)에는 t1 시점에 생성된 조감도 이미지가 그대로 표시될 수 있고, 제 2 조감도 이미지 영역(da2)에는 t3 시점에 생성된 조감도 이미지가 표시될 수 있다. 여기서, 도 12d에 도시된 예시는 현재 시점의 조감도 이미지는 차량 후방의 확인을 위해, 그리고 과거 시점의 조감도 이미지는 차량의 측방 및 전방의 확인을 위해 각각 영역을 구분하고, 각 영역에 조감도 이미지가 포함된 예시를 나타낸다.
즉, 운전자의 경우, 차량이 이미 지나간 영역에 비해 차량이 진행되어야 하는 후방 영역에 대한 관심도가 더 높고, 앞서 언급한 바와 같이 차량 후방에 갑작스럽게 물체가 나타나서 사고가 발생하는 상황을 방지해야 한다. 이에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 도 12d에 도시된 것처럼 차량 후방은 제 2 조감도 이미지 영역(da2)을 통해 현재 시점의 조감도 이미지를 확인하고, 차량의 측방 및 전방은 제 1 조감도 이미지 영역(da1)에 포함된 과거 시점의 조감도 이미지를 이용할 수 있다.
앞서 언급한 것처럼, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 후방 카메라가 적용된 차량뿐만 아니라, 전방 카메라가 적용된 차량에도 적용될 수 있다. 이 경우, 실시간 영상 영역(da2)에는 카메라를 통해 촬영된 차량 전방 영상이 실시간으로 표시될 수 있고, 제 2 조감도 이미지 영역(da3)에는 현재 시점에 생성되는 차량 전방 영상에 대한 조감도 이미지의 일부가 표시될 수 있다. 물론, 제 1 조감도 이미지 영역(da1)에는 이전 시점에 생성된 조감도 이미지 예를 들어, 차량을 통해 이미 지나간 영역에 대한 조감도 이미지가 표시될 수 있다.
이에 따라, 전방 카메라가 적용된 차량에 본 발명의 일 실시예에 따른 차량 운전 보조 장치가 적용될 경우, 운전자가 운전을 할 동안 차량 전방 및 측방에 존재하는 장애물들을 실시간으로 출력 화면을 통해 파악할 수 있게 되고, 이에 따라 장애물과 차량이 접촉하게 되는 상황을 방지하는데 도움을 줄 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 도 12d에 도시된 예시와 같이, 실시간 영상 영역(da2)뿐만 아니라, 서로 분리되어 배치된 2개의 조감도 이미지 영역(da1, da3)을 통해 차량 주변 영역을 직관적으로 파악할 수 있다. 뿐만 아니라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 차량의 진행 방향에 따른 영역이 제 2 조감도 이미지 영역(da3)을 통해 실시간으로 교체되어 출력 화면 상에 나타나므로, 차량이 장애물에 닿지 않도록 운전하는데 도움을 줄 수 있다.
물론, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 전방 카메라와 후방 카메라 모두를 포함하는 차량에 적용되어 상기 기능을 수행하는 것도 가능하다.
도 13은 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 흐름도이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 복수의 조감도 이미지들을 합성하는 것이 아닌, 조감도 이미지를 선택적으로 교체하는 방식으로 운전자에게 제공하는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 출력 화면에 조감도 이미지와 촬영 후방 영상을 동시에 출력할 수 있다. 이제, 도 13을 참조로 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 설명이 이루어진다.
먼저, 카메라에 의해 촬영된 후방 카메라 영상을 저장하는 단계(S110)가 수행된다. 앞서 언급한 것처럼, 차량에 장착된 카메라를 통해 이루어지는 실시간으로 이루어질 수 있고, 실시간 촬영을 통해 획득된 후방 카메라 영상은 저장부에 저장될 수 있다.
그 후, 조감도 이미지 생성부에 의해, S110 단계를 통해 저장된 후방 영상들을 이용하여 차량 주변의 조감도 이미지를 생성하는 단계(S120)가 수행된다. 여기서, S120 단계를 통해 이루어지는 차량 주변의 조감도 이미지를 생성하는 과정은 아래에서 설명되는 흐름에 관계 없이 반복적으로 이루어질 수 있다. 또한, S120 단계를 통한 조감도 이미지의 생성은 매 시점마다, 기설정된 주기에 따라, 그리고 차량의 이동 거리에 따라 등 다양한 조건에 따라 생성될 수 있다.
그 후, S110 단계를 통해 획득된 후방 카메라 영상과, S120 단계에서 생성된 조감도 이미지 중 일부를 포함하는 출력 화면을 생성하고 디스플레이하는 단계(S130)가 이루어질 수 있다. 여기서, 출력 화면은 조감도 이미지 영역과 실시간 영상 영역을 포함할 수 있고, 조감도 이미지 영역에는 S120 단계에서 생성된 조감도 이미지 중 일 부분(즉, 관심 영역)이 표시되며, 실시간 영상 영역에는 S110 단계를 통해 획득된 후방 카메라 영상이 실시간으로 표시될 수 있다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 전방 카메라가 적용된 차량에 적용되는 것도 가능하다. 이 경우, S120 단계는 전방 카메라 영상을 근거로 생성된 조감도 이미지와, 전방 카메라 영상을 포함하는 출력 화면을 생성할 수 있다. 즉, 이하에서는 후방 카메라 영상을 기준으로 설명이 이루어지나, 이는 예시일 뿐이고 전방 카메라 영상을 이용하더라도 동일한 기술적 사상이 적용될 수 있다.
위에서 도 12a 및 도 12b를 참조로 설명한 바와 같이, 출력 화면 내에서 조감도 이미지 영역은 실시간 영상 영역 내에서 섬네일 형태로 배치되거나, 또는 조감도 이미지 영역과 실시간 영상 영역은 분리되어 배치되는 것도 가능하다. 출력 화면 내에서 상기 2개의 영역에 대한 배치는 관리자 또는 운전자의 설정에 따라 다양하게 변경될 수 있다.
그 후, 센서부로부터 출력된 감지 신호를 수집하는 단계(S140)가 수행된다. 여기서, 감지 신호는 차량의 움직임 감지 신호를 포함할 수 있다.
그 후, S140 단계를 통해 수집된 차량의 움직임 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계(S150)가 수행된다. 여기서, S150 단계는 감지부를 통한 차량의 움직임 감지 신호를 근거로 차량의 이동 거리를 산출하는 것으로 설명되었으나, 이는 예시일 뿐이고, 영상 분석 기법을 통해 이루어지는 것도 가능하다. 예를 들어, 차량에 장착된 센서부가 작동되지 않거나, 또는 차량에 별도의 센서부가 장착되지 않은 경우, 영상 분석 기법을 이용함으로써 차량의 이동 거리를 산출할 수 있다. 여기서, 영상 분석 기법은 다양한 방식들이 잘 알려져 있으므로, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 상기 기법을 특정 기법만으로 제한하지 않는다.
그 후, 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계(S160)가 수행된다. 구체적으로, S160 단계는 S150 단계를 산출된 차량의 이동 거리가 임계 교체 이동 거리 이상인지 판단하는 단계를 나타낸다. S160 단계에서의 판단 결과, 차량의 이동 거리가 임계 교체 이동 거리 이상인 것으로 판단된 경우, 제어는 S170 단계로 전달되어, 새로운 조감도 이미지를 선택하는 과정이 수행된다. 그렇지 않은 경우, 제어는 S180 단계로 전달될 수 있다. 위에서 설명한 바와 같이, 조감도 이미지 교체 조건은 운전자 또는 관리자의 설정에 따라 시점이나 다른 조건들을 이용하는 방식도 생각해볼 수 있다. 다만, 실제 적용에 있어서는 차량의 이동 거리를 조건으로 하는 것이 실제 적용 효율이 높기에, 차량의 이동 거리를 근거로 조감도 이미지의 교체 시점을 정하는 것이 가장 바람직하다.
S170 단계는 이미지 선택부에 의해 수행될 수 있고, S120 단계를 통해 생성된 차량 주변의 조감도 이미지들 중 하나의 조감도 이미지를 선택하는 단계이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 복수의 조감도 이미지들을 연속적으로 합성함으로써 새로운 조감도 이미지를 생성하는 것이 아닌, 합성 과정 없이 하나의 후방 카메라 이미지를 근거로 생성된 복수의 조감도 이미지들 중 선택된 하나의 조감도 이미지를 디스플레이부를 통해 디스플레이하는 것을 특징으로 한다. 이에 따라, S170 단계를 통한 조감도 이미지 선택 과정이 수행될 수 있다.
예를 들어, S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다. 예를 들어, 조감도 이미지 영역에 포함된 조감도 이미지 생성 시점이 t1 이고, 현재 시점이 t4라고 가정할 때, S170 단계는 t2 및 t3 시점에 변환된 조감도 이미지 중 하나의 조감도 이미지를 선택할 수 있다. 또한, S170 단계는 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택함으로써 이루어지는 것도 가능하다. 이렇게 S170 단계를 통해 하나의 새로운 조감도 이미지가 선택되면, 기존의 조감도 이미지를 새로운 조감도 이미지로 교체하는 과정이 수행될 수 있다.
다시 말해, S170 단계는 차량의 현재 위치를 최대한 반영하기 위해 비교적 상당히 오래된 프레임들이 아닌, 비교적 가까운 시점에 생성된 조감도 이미지를 선택하는 과정이 이루어질 수 있다. S170 단계를 통해 선택 및 교체 작업이 완료되면, 제어는 S130 단계로 전달된다. S130 단계에서는 새로운 조감도 이미지의 일 부분을 포함하는 조감도 이미지 영역을 생성하는 과정을 수행한다.
S180 단계는 차량의 이동 거리가 임계 이동 거리 이하인 경우 수행되는 단계로서, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성하는 단계이다. 구체적으로, S180 단계는 차량의 이동 거리가 임계 이동 거리 이하인 경우, 차량의 이동 거리를 근거로 조감도 이미지 영역을 통해 표시되는 조감도 이미지의 부분을 변경함으로써 즉, 조감도 이미지를 이동시키는 단계이다. 이에 따라, 운전자는 차량의 현재 위치에 따라 변경되는 조감도 이미지를 확인할 수 있고, 주차시에도 차량의 현재 위치가 고려된 조감도 이미지를 근거로 주차를 수행할 수 있다.
흐름에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 따르면, 운전자에게 디스플레이되는 출력 화면에는 합성 과정 없이 후방 카메라 영상 중 하나의 프레임을 근거로 생성된 조감도 이미지가 디스플레이 될 수 있다. 또한, 상기 흐름에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 따르면, 조감도 이미지는 설정된 조감도 이미지 교체 조건에 따라 교체되는 방식으로 디스플레이가 이루어질 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 위에서 설명한 바와 같이, S140 단계를 통해 센서부의 감지 신호를 근거로 차량의 회전 반경 및 바퀴 각도(또는 회전 각도)를 산출하는 과정을 더 수행할 수 있다. S140 단계를 통해 산출된 차량의 회전 반경 및 바퀴 각도와, 차량의 이동 거리에 따라 조감도 이미지를 회전 이동시켜 운전자에게 디스플레이 하는 방식도 가능하다.
앞선 설명에서 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량의 이동 거리를 기반으로 조감도 이미지의 교체 여부를 판단하고, 조감도 이미지 교체 조건에 충족할 시, 최근 조감도 이미지를 선택하는 것으로 설명되었다. 다만, 상술한 새로운 조감도 이미지의 선택 방법은 차량에 후방 카메라가 장착되어 있고, 차량이 후진일 때 그러하고, 차량의 기어 변경이 발생할 경우, 다음과 같이 새로운 조감도 이미지를 선택할 수 있다.
즉, 차량의 기어가 후진 상태에서 전진 상태로 변경된 경우, S160 단계를 통해 조감도 이미지의 교체 여부를 판단하는 과정이 수행된다. 여기서, 차량의 기어가 후진 상태에서 전진 상태로 변경된 경우, 디스플레이부를 통해 출력되는 조감도 이미지는 그대로 유지될 수 있다. 물론, 상황에 따라 과거 시점의 조감도 이미지로 교체되어 출력되는 것도 가능하며, 본 발명은 상기 상황에서 특정 조감도 이미지가 선택되는 것으로 제한하지 않는다.
S160 단계를 통해 조감도 이미지의 교체 조건이 충족된 것으로 판단된 경우, S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 조감도 이미지들 중 하나의 조감도 이미지를 선택하고, 조감도 이미지 영역에 포함된 조감도 이미지를 선택된 조감도 이미지로 교체하는 과정을 수행할 수 있다.
즉, 차량이 후진할 때 S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나를 선택하되, 차량이 전진할 때 S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 조감도 이미지들 중 하나를 선택할 수 있다.
위의 설명의 경우, 차량에 후방 카메라가 장착되어 있고, 차량이 후진 방향으로 진행하는 경우 위주로 서술되었다. 다만, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 움직일 경우에도 동일한 기술이 적용될 수 있다. 마찬가지로, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 진행하다가 후방 방향으로 변경되더라도 상기 언급한 기술과 동일한 기술 사상이 적용될 수 있다. 따라서, 본 발명의 권리 범위는 후방 카메라를 이용한 기술뿐만 아니라, 전방 카메라를 이용한 기술도 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 차량 운전 보조 장치
110 : 조감도 이미지 생성부 110 : 이미지 선택부
130 : 화면 생성부 140 : 움직임 산출부
150 : 출력 화면 요청부
110 : 조감도 이미지 생성부 110 : 이미지 선택부
130 : 화면 생성부 140 : 움직임 산출부
150 : 출력 화면 요청부
Claims (27)
- 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 보조하기 위한 차량 운전 보조 장치로서,
상기 카메라를 통해 촬영된 카메라 영상을 이용하여 상기 카메라 영상에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부;
상기 조감도 이미지 중 적어도 일 부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 화면 생성부; 및
설정된 조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 상기 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 이미지 선택부를 포함하고,
상기 화면 생성부는 상기 조감도 이미지를 상기 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 카메라는 상기 차량의 후방을 촬영하는 후방 카메라인 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 이미지 선택부는,
상기 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 이미지 선택부는 상기 차량의 진행 방향이 전진 방향으로부터 후진 방향으로 또는 후진 방향으로부터 전진 방향으로 변경된 이후, 설정된 이미지 교체 조건에 충족될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 이미지 선택부는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 상기 조감도 이미지 교체 조건에 충족된 것으로 판단하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 화면 생성부는 차량의 이동 거리가 상기 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 상기 조감도 이미지의 다른 부분을 상기 조감도 이미지 영역으로 생성하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 이미지 선택부는,
설정된 조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 장치. - 제7항에 있어서,
상기 이미지 선택부는,
설정된 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 움직임 산출부를 더 포함하는 것을 특징으로 하는 차량 운전 보조 장치. - 제9항에 있어서,
상기 움직임 산출부는 상기 감지 신호를 근거로 차량의 회전 반경 및 바퀴 각도를 더 산출하는 것을 특징으로 하는 차량 운전 보조 장치. - 제10항에 있어서,
상기 화면 생성부는,
상기 차량의 바퀴 각도와 상기 차량의 이동 거리에 대응하도록, 상기 조감도 이미지 영역에 포함된 조감도 이미지를 회전 이동시키는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 화면 생성부는 상기 출력 화면의 조감도 이미지 영역에 차량 아이콘을 더 표시하는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 출력 화면은 실시간 영상 영역을 더 포함하고, 상기 화면 생성부는 상기 카메라를 통해 촬영된 카메라 영상을 상기 실시간 영상 영역에 실시간으로 표시하는 것을 특징으로 하는 차량 운전 보조 장치. - 제13항에 있어서,
상기 조감도 이미지 영역과 상기 실시간 영상 영역은 분리되어 상기 출력 화면 상에 배치되는 것을 특징으로 하는 차량 운전 보조 장치. - 제1항에 있어서,
상기 출력 화면은 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역을 포함하고, 상기 제 1 조감도 이미지 영역에는 상기 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일 부분이 포함되고, 상기 제 2 조감도 이미지 영역에는 상기 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일 부분이 포함되는 것을 특징으로 하는 차량 운전 보조 장치. - 제15항에 있어서,
상기 차량의 주변 영역은 상기 제 1 조감도 이미지 영역과 상기 제 2 조감도 이미지 영역을 통해 상기 출력 화면 내에 표현되고, 상기 제 1 조감도 이미지 영역과 상기 제 2 조감도 이미지 영역은 상기 출력 화면 내에 분리되어 배치되며, 상기 주변 영역의 서로 다른 부분을 출력하는 차량 운전 보조 장치. - 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 주차를 지원하기 위한 차량 운전 보조 방법으로서,
상기 카메라를 통해 촬영된 카메라 영상을 이용하여 상기 카메라 영상에 대한 조감도 이미지를 생성하는 단계;
상기 조감도 이미지 중 적어도 일 부분이 표시되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 단계;
설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계; 및
설정된 조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 상기 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 단계를 포함하고,
상기 출력 화면을 생성하는 단계는,
상기 조감도 이미지를 상기 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 카메라는 상기 차량의 후방을 촬영하는 후방 카메라인 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
상기 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
상기 차량이 후진 상태로부터 전 상태로 또는 전진 상태로부터 후진 상태로 변경된 이후, 설정된 이미지 교체 조건에 충족될 때 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 상기 조감도 이미지 교체 조건에 충족된 것으로 판단하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 출력 화면을 생성하는 단계는 차량의 이동 거리가 상기 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 상기 조감도 이미지의 다른 부분을 상기 조감도 이미지 영역으로 생성하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
설정된 조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 방법. - 제23항에 있어서,
상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
설정된 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 출력 화면은 실시간 영상 영역을 더 포함하고,
상기 출력 화면을 생성하는 단계는 상기 카메라를 통해 촬영된 카메라 영상을 상기 실시간 영상 영역에 실시간으로 표시하는 것을 특징으로 하는 차량 운전 보조 방법. - 제17항에 있어서,
상기 출력 화면은 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역을 포함하고, 상기 제 1 조감도 이미지 영역에는 상기 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일 부분이 포함되고, 상기 제 2 조감도 이미지 영역에는 상기 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일 부분이 포함되는 것을 특징으로 하는 차량 운전 보조 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160075690A KR101861523B1 (ko) | 2016-06-17 | 2016-06-17 | 차량 운전 보조 장치 및 방법 |
| PCT/KR2017/006258 WO2017217788A2 (ko) | 2016-06-17 | 2017-06-15 | 차량 운전 보조 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160075690A KR101861523B1 (ko) | 2016-06-17 | 2016-06-17 | 차량 운전 보조 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170142363A true KR20170142363A (ko) | 2017-12-28 |
| KR101861523B1 KR101861523B1 (ko) | 2018-07-05 |
Family
ID=60664296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160075690A Active KR101861523B1 (ko) | 2016-06-17 | 2016-06-17 | 차량 운전 보조 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101861523B1 (ko) |
| WO (1) | WO2017217788A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102626499B1 (ko) * | 2023-05-27 | 2024-01-18 | 임철수 | 주차지원시스템이 형성된 자동차 및 그 작동방법 |
| KR102673098B1 (ko) * | 2024-01-01 | 2024-06-07 | 임철수 | 주차지원시스템 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109131334A (zh) * | 2018-08-30 | 2019-01-04 | 天津布尔科技有限公司 | 通过视频拼接技术分析车辆前向路况的辅助驾驶预警装置 |
| KR20250170222A (ko) | 2024-05-28 | 2025-12-05 | 포인드 주식회사 | 2d 영상에서 공간 내 객체 인식을 통한 충돌 위험 인식 및 알림 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003104149A (ja) * | 2001-09-27 | 2003-04-09 | Equos Research Co Ltd | 駐車支援装置 |
| JP2006252577A (ja) * | 2006-05-11 | 2006-09-21 | Nippon Soken Inc | 地図データ生成装置 |
| JP4945177B2 (ja) * | 2006-07-05 | 2012-06-06 | 三洋電機株式会社 | 車両の運転支援装置 |
| JP6326869B2 (ja) * | 2014-03-05 | 2018-05-23 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| JP6340969B2 (ja) * | 2014-07-14 | 2018-06-13 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
-
2016
- 2016-06-17 KR KR1020160075690A patent/KR101861523B1/ko active Active
-
2017
- 2017-06-15 WO PCT/KR2017/006258 patent/WO2017217788A2/ko not_active Ceased
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102626499B1 (ko) * | 2023-05-27 | 2024-01-18 | 임철수 | 주차지원시스템이 형성된 자동차 및 그 작동방법 |
| WO2024248434A1 (ko) * | 2023-05-27 | 2024-12-05 | 임철수 | 주차지원시스템 및 그 시스템이 적용된 자동차 |
| KR102673098B1 (ko) * | 2024-01-01 | 2024-06-07 | 임철수 | 주차지원시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101861523B1 (ko) | 2018-07-05 |
| WO2017217788A2 (ko) | 2017-12-21 |
| WO2017217788A3 (ko) | 2018-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101085608B (zh) | 停车辅助装置和停车辅助画面 | |
| JP5436086B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
| JP4907883B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
| CN104660985B (zh) | 图像处理设备、电子设备和图像处理方法 | |
| JP4639753B2 (ja) | 運転支援装置 | |
| KR101446897B1 (ko) | 차량 주변 감시 장치 | |
| JP3663801B2 (ja) | 車両後方視界支援装置 | |
| JP5495071B2 (ja) | 車両周辺監視装置 | |
| KR20110026469A (ko) | 주차 지원 장치 및 주차 지원 방법 | |
| CN103609101A (zh) | 车辆周边监视装置 | |
| JP2007099261A (ja) | 駐車支援方法及び駐車支援装置 | |
| JP5045172B2 (ja) | 車両用運転支援装置 | |
| JP3753681B2 (ja) | 監視システム | |
| JP5776995B2 (ja) | 車両用周辺監視装置 | |
| KR101861523B1 (ko) | 차량 운전 보조 장치 및 방법 | |
| WO2018159017A1 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
| JP2003104145A (ja) | 運転支援表示装置 | |
| JP2012001126A (ja) | 車両用周辺監視装置 | |
| JP4059309B2 (ja) | 車載カメラの画像表示制御方法及びその装置 | |
| JP2011155651A (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
| JP2009087228A (ja) | 画像表示装置 | |
| KR20160107529A (ko) | 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법 | |
| JP2008114691A (ja) | 車両周辺監視装置および車両周辺監視映像表示方法 | |
| JP2006224927A (ja) | 車両周辺視認装置 | |
| JP2007096496A (ja) | 車両周囲表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20160617 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20171115 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180514 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180521 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180523 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210225 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220209 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230209 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240313 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250519 Start annual number: 8 End annual number: 8 |