KR20170065738A - 헤드업 디스플레이 제어 장치 및 방법 - Google Patents

헤드업 디스플레이 제어 장치 및 방법 Download PDF

Info

Publication number
KR20170065738A
KR20170065738A KR1020150171712A KR20150171712A KR20170065738A KR 20170065738 A KR20170065738 A KR 20170065738A KR 1020150171712 A KR1020150171712 A KR 1020150171712A KR 20150171712 A KR20150171712 A KR 20150171712A KR 20170065738 A KR20170065738 A KR 20170065738A
Authority
KR
South Korea
Prior art keywords
obstacle
dimensional
vehicle
displayed
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020150171712A
Other languages
English (en)
Inventor
금병직
오형석
박성호
윤순표
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020150171712A priority Critical patent/KR20170065738A/ko
Publication of KR20170065738A publication Critical patent/KR20170065738A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60K2350/352—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 헤드업 디스플레이 제어 장치 및 방법에 관한 것으로, 차량을 중심으로 특정 방향 범위에 있는 장애물을 검출하는 센서부, 상기 차량을 중심으로 특정 방향 범위에 있는 장애물을 촬영하는 카메라부, 헤드업 디스플레이, 및 상기 센서부와 카메라부를 이용해 검출된 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하고, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 제어부를 포함한다.

Description

헤드업 디스플레이 제어 장치 및 방법{APPARATUS FOR CONTROLLING HEAD UP DISPLAY AND METHOD THEREOF}
본 발명은 헤드업 디스플레이 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 차량의 전방뿐만 아니라 좌우 및 후방을 포함한 차량의 모든 주변 상황을 헤드업 디스플레이를 통해 표시할 수 있도록 하는 헤드업 디스플레이 제어 장치 및 방법에 관한 것이다.
최근 대부분의 차량에는 내비게이션이 장착되어, 운전자에게 목적지와 길 안내를 제공하도록 하고 있으며, 또한 차량의 앞 유리창에 원하는 정보를 투사하여 운전자가 전방을 주시하면서도 투사된 정보를 획득할 수 있도록 하는 헤드업 디스플레이(HUD : Head-Up Display)를 장착한 차량이 출시되고 있기도 하다.
나아가 상기 헤드업 디스플레이(HUD)를 통해 특정 정보를 증강현실의 형식으로 디스플레이할 수 있도록 하는 연구가 진행되고 있는 상황이다.
상기 증강현실(AR : Augmented Reality)은 사용자가 눈으로 보는 현실세계에 3차원의 가상 물체를 겹쳐 보여주는 기술로서, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
그런데 종래에는 상기 헤드업 디스플레이(HUD)에 단순히 내비게이션 정보, 차량 주행 정보, 및 차량 전방 상황(예 : 충돌 정보, 속도 정보)에 대한 정보만 표시하였을 뿐이며, 차량의 측방이나 후방의 상황을 알 수 있는 정보를 제공하지는 않았다. 따라서 상기 헤드업 디스플레이(HUD)의 활용도와 사용자 편의성이 떨어지는 문제점이 있었다.
본 발명의 배경기술은 대한민국 공개특허 10-2009-0076242호(2009.07.13.공개, 차량용 헤드 업 디스플레이 장치 및 그 동작 제어 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 차량의 전방뿐만 아니라 좌우 및 후방을 포함한 차량의 모든 주변 상황을 헤드업 디스플레이를 통해 표시할 수 있도록 하는 헤드업 디스플레이 제어 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 헤드업 디스플레이 제어 장치는, 차량을 중심으로 특정 방향 범위에 있는 장애물을 검출하는 센서부; 상기 차량을 중심으로 특정 방향 범위에 있는 장애물을 촬영하는 카메라부; 헤드업 디스플레이; 및 상기 센서부와 카메라부를 이용해 검출된 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하고, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 센서부 및 카메라부는, 360도 모든 방향에 있는 장애물을 검출하거나 촬영하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부는, 상기 차량을 중심으로 360도 모든 방향을 촬영할 수 있도록 카메라의 촬영 가능 영역을 고려하여 차량의 전방, 측방, 및 후방에 적어도 4개 이상 설치되는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부는, 카메라가 설치된 상태에서도 2차원이나 3차원 좌표를 생성할 때 보정이 가능하도록 자세를 360도 회전시킬 수 있는 전동 구동부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 센서부를 통해 검출된 정보, 및 상기 카메라부를 통해 촬영된 정보를 조합하여 차량을 중심으로 미리 지정된 거리를 반지름으로 하는 2차원 또는 3차원 좌표를 생성하되, 상기 지정된 거리는 상기 센서부나 카메라부의 최대 감지 범위 이내에서 조정될 수 있음을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 2차원 또는 3차원 좌표 상에 표시되는 장애물을 실제 장애물 영상을 이용하여 표시하거나, 그래픽 이미지로 가공하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이를 통해 유리창에 투사되는 영역의 사이드(Side)나 모서리 부분에 표시하도록 제어하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 운전자의 스위치 조작, 운전자의 모션 조작, 운전자의 시선 검출, 및 차량의 속도가 기준보다 느리거나 빠른 정도, 적어도 어느 한 가지 방식에 의해 전환하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 표시할 때, 충돌 위험도가 높은 장애물에 대해서는 경고나 주의 메시지를 표시하며, 상기 경고나 주의 메시지는 지정된 특정 색상이나 모양, 특정 애니메이션 효과가 부가된 그래픽 이미지를 포함하거나, 또는 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light)가 함께 출력되게 하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 헤드업 디스플레이 제어 방법은, 제어부가 센서부를 이용해 차량을 중심으로 특정 방향 범위에 있는 장애물을 검출하는 단계; 상기 제어부가 카메라부를 이용해 상기 차량을 중심으로 특정 방향 범위에 있는 장애물을 촬영하는 단계; 상기 제어부가 상기 센서부와 카메라부를 이용해 검출된 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계; 및 상기 제어부가 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 센서부 및 카메라부는, 360도 모든 방향에 있는 장애물을 검출하거나 촬영하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계에서, 상기 제어부는, 상기 센서부를 통해 검출된 정보, 및 상기 카메라부를 통해 촬영된 정보를 조합하여 차량을 중심으로 미리 지정된 거리를 반지름으로 하는 2차원 또는 3차원 좌표를 생성하되, 상기 지정된 거리는 상기 센서부나 카메라부의 최대 감지 범위 이내에서 조정되는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계에서, 상기 제어부는, 상기 2차원 또는 3차원 좌표 상에 표시되는 장애물을 실제 장애물 영상을 이용하여 표시하거나, 그래픽 이미지로 가공하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이를 통해 유리창에 투사되는 영역의 사이드(Side)나 모서리 부분에 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 운전자의 스위치 조작, 운전자의 모션 조작, 운전자의 시선 검출, 및 차량의 속도가 기준보다 느리거나 빠른 정도, 중 적어도 어느 한 가지 방식에 의해 전환할 수 있는 것을 특징으로 한다.
본 발명에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서, 상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 표시할 때, 충돌 위험도가 높은 장애물에 대해서는 경고나 주의 메시지를 표시하며, 상기 경고나 주의 메시지는 지정된 특정 색상이나 모양, 특정 애니메이션 효과가 부가된 그래픽 이미지를 포함하거나, 또는 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light)가 함께 출력되게 하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 차량의 전방뿐만 아니라 좌우 및 후방을 포함한 차량의 모든 주변 상황을 헤드업 디스플레이를 통해 표시할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이 제어 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 차량 주변의 장애물을 검출하기 위해 장착되는 카메라를 설명하기 위하여 보인 예시도.
도 3은 상기 도 1에 있어서, 차량 주변에 있는 장애물이 표시된 2차원 또는 3차원 좌표 영상을 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이 제어 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 헤드업 디스플레이 제어 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이 제어 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 헤드업 디스플레이 제어 장치는, 센서부(110), 카메라부(120), 헤드업 디스플레이(130), 통신부(140), 및 제어부(150)를 포함한다.
상기 센서부(110)는 차량의 전방, 측방, 후방에 있는 장애물을 검출한다.
예컨대 상기 장애물은 차량, 보행자, 자전거 탑승자, 동물, 보도블록, 및 차단벽 등을 의미한다.
상기 센서부(110)는 차량을 중심으로 전방을 포함한 360도 전 방향에 대하여 장애물을 검출한다.
상기 센서부(110)는 장애물의 유무뿐만 아니라, 차량에서 장애물까지의 거리와 방향, 장애물의 길이나 크기를 검출할 수 있다. 즉, 상기 센서부(110)는 차량을 중심으로 전방, 측방, 후방에 있는 장애물(예 : 보행자, 차량, 벽, 물건 등)로부터 반사되는 신호를 검출하여 장애물과 차량 간의 거리 및 장애물의 위치와 장애물의 대략적인 길이나 크기를 검출할 수 있다.
예컨대 상기 센서부(110)는 라이다(LIDAR) 센서를 포함할 수 있으며, 이에 한정하지 않고 다른 방식의 장애물 검출 센서(예 : 초음파 센서, 적외선 센서 등)를 더 포함할 수도 있다.
참고로 상기 라이다(LIDAR : Light Detection And Ranging) 센서는 레이저 펄스를 발사하고, 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는데 사용할 수 있는 센서이다.
상기 제어부(150)는 상기 센서부(110)를 통해 검출된 정보에 기초하여 차량을 중심으로 360도 전 방향에 있는 장애물의 위치를 2차원 또는 3차원 좌표로 판단한다. 예컨대 상기 제어부(150)는 차량을 중심으로 360도 전 방향에서 검출된 장애물을 2차원 또는 3차원 좌표로 변환한다.
상기 제어부(150)는 통신부(140)를 이용해 차량 내의 전자 제어 유니트(200)와 통신하여 차량의 주향 방향, 및 주행 속도에 대한 정보를 취득할 수 있다. 또는 상기 센서부(100)에 차량의 주행 방향이나 주행 속도를 검출하기 위한 센서(예 : 차량 바퀴가 회전하는 방향이나 회전속도를 검출하는 센서)를 더 포함할 수도 있다.
상기 카메라부(120)는 차량 주변(예 : 전방, 측방, 후방 등)의 영상을 촬영하기 위한 수단으로서, 디지털 이미지 센서를 포함하는 적어도 하나 이상의 카메라(121a ~ 121f)를 포함하여 구성된다.
상기 카메라부(120)는 FIR(Far Infra Red) 카메라 및/또는 CMOS 카메라(또는 CCD 카메라)를 포함할 수 있다.
참고로 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다. 그리고 상기 FIR 카메라는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 영상을 획득한다. 특히 FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다.
상기 카메라부(120)는 탑 뷰 또는 어라운드 뷰 영상을 구현하기 위하여, 도 2에 도시된 바와 같이, 차량의 전/후/좌/우에 적어도 4개 이상의 카메라(121a ~ 121d)가 설치되며, 추가로 상기 탑 뷰 또는 어라운드 뷰 영상의 완성도를 높이고, 또한 촬영 사각지대가 발생하지 않도록 하기 위하여, 상기 4개의 카메라에 비해서 비교적 높은 위치인 차량의 전방상부 및 후방상부에도 추가 카메라(121e, 121f)가 설치될 수 있다.
상기 제어부(150)는 상기 센서부(110)를 통해 검출된 정보, 및 상기 카메라부(120)를 통해 촬영된 정보(예 : 영상)를 조합하여 차량을 중심으로 지정된 거리(반지름)까지의 2차원 또는 3차원 좌표를 생성한다.
여기서 상기 지정된 거리(반지름)는 상기 센서부(110)나 카메라부(120)의 최대 감지 범위 이내에서 조정될 수 있다.
이때 상기 2차원 또는 3차원 좌표 상의 장애물은 실제 영상으로 표시될 수 있으나, 본 실시예에서는 사용자의 시각적인 편의를 고려하여 그래픽 이미지로 가공되어 표시될 수 있다(도 3 참조).
이에 따라 상기 제어부(150)는 상기 장애물이 실제 영상이나 그래픽 이미지로 가공되어 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이(130)를 통해 출력한다. 이때 상기 2차원 또는 3차원 좌표 영상은 일종의 탑 뷰 영상 혹은 어라운드 뷰 영상이 된다.
이때 상기 제어부(140)는 상기 검출된 차량 주변의 장애물 중 근접 거리가 기준보다 짧은 장애물에 대해서 위험도(즉, 충돌 위험도)가 높은 장애물로 판단한다. 그리고 상기 위험도가 높은 장애물에 대해서 상기 제어부(140)는 경고나 주의 메시지를 출력한다.
예컨대 상기 위험도가 높은 장애물에 대한 경고나 주의 메시지는 헤드업 디스플레이(130)를 통해 표시될 수 있는 특정 색상이나 모양의 그래픽 이미지가 될 수 있다. 그러나 상기 경고나 주의 메시지를 그래픽 이미지로 한정하는 것은 아니며, 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light) 메시지가 함께 출력될 수도 있다.
여기서 상기 위험도가 높은 장애물은 급정거하는 선행 차량, 빠른 속도로 따라오는 후방 차량, 근접한 자전거/보행자, 또는 끼어들기 차량 등이 포함될 수 있다.
한편 상기 제어부(150)는 상기 장애물이 실제 영상이나 그래픽 이미지로 가공되어 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이(130)에 표시함에 있어서, 운전자의 시각을 방해할 수 있으므로, 유리창(윈드실드)에서 일 측 영역(예 : 사이드)에 표시될 수 있다.
도 3은 상기 도 1에 있어서, 차량 주변에 있는 장애물이 표시된 2차원 또는 3차원 좌표 영상을 보인 예시도이다.
도 3의 (a)는 2차원 좌표 영상이고, 도 3의 (b)는 3차원 좌표 영상이다.
상기 2차원 좌표 영상과 3차원 좌표 영상은 운전자의 스위치 조작에 따라 전환될 수 있고, 운전자의 모션 조작에 따라 전환될 수 있고, 운전자의 시선에 따라 전환될 수 있고, 또는 차량의 속도가 기준보다 느리거나 빠른지에 따라 전환될 수도 있다.
이 경우 상기 센서부(110)는 운전자의 모션이나 시선을 검출할 수 있는 센서(예 : 모션 검출 센서, 시선 검출 센서)를 추가로 포함할 수 있다.
또한 상기 스위치는 차량의 내부 차체에 부착된 스위치이거나 리모컨 스위치일 수 있다.
상기와 같이 본 실시예는 차량의 주변 환경(즉, 차량 주변에 있는 장애물)을 탑 뷰나 어라운드 뷰 영상으로 생성하여 헤드업 디스플레이(130)를 통해 표시함으로써 안전 운전에 도움을 줄 수 있다.
도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이 제어 방법을 설명하기 위한 흐름도이다.
도 4에 도시된 바와 같이, 제어부(150)는 차량을 중심으로 360도 모든 방향에 있는 장애물을 검출한다(S101).
상기 장애물은 센서부(110)를 이용해 검출하거나, 카메라부(120)를 이용해 검출할 수 있다.
이에 따라 상기 센서부(110)는 라이다(LIDAR) 센서, 초음파 센서, 적외선 센서 등 적어도 하나 이상의 센서를 포함하고, 상기 카메라부(120)는 차량의 전방, 측방, 후방을 포함하여 적어도 4개 이상의 카메라를 포함한다.
상기 제어부(150)는 상기 센서부(110)와 카메라부(120)를 이용해 검출된 장애물 정보를 조합할 수도 있다.
이때 상기 카메라부(120)를 전동 구동부(예 : 모터에 의해 자세를 360도 회전시킬 수 있는 수단)을 더 구비하여 이미 카메라가 설치된 상태에서도 2차원이나 3차원 좌표를 생성할 때 보정이 가능하게 할 수도 있다.
상기 제어부(150)는 차량을 중심으로 지정된 거리(반지름)를 갖는 2차원 또는 3차원 좌표를 생성한 후 그 2차원 또는 3차원 좌표 상에 상기 검출된 장애물을 표시한다(S102).
상기 2차원 또는 3차원 좌표 상에 표시되는 장애물은 실제 영상이거나, 사용자(운전자)의 시각적인 편의를 고려하여 그래픽 이미지로 가공되어 표시될 수 있다.
도 3의 (a)에는 2차원 좌표 영상이 예시적으로 도시되어 있으며, 도 3의 (b)에는 3차원 좌표 영상이 예시적으로 도시되어 있다.
상기 제어부(150)는 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이 상에 표시한다(S103).
이때 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 유리창의 정면에 표시할 경우 운전자의 시각을 방해할 수 있으므로, 헤드업 디스플레이(130)를 통해 유리창에 투사되는 영역 중 가능한 한 사이드(Side)나 모서리 부분에 위치시키는 것이 바람직하다.
한편 상기 2차원 좌표 영상과 3차원 좌표 영상은 운전자의 스위치 조작에 따라 전환될 수 있고, 운전자의 모션 조작에 따라 전환될 수 있고, 운전자의 시선에 따라 전환될 수 있고, 또는 차량의 속도가 기준보다 느리거나 빠른지에 따라 전환될 수도 있다.
아울러 상기 헤드업 디스플레이(130)에 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 표시할 때, 위험도가 높은 장애물에 대해서는 경고나 주의 메시지가 표시될 수 있으며, 상기 경고나 주의 메시지는 특정 색상(예 : 빨강)이나 모양, 또는 특정 애니메이션 효과가 부가된 그래픽 이미지가 될 수 있으며, 또한 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light) 메시지가 함께 출력되게 할 수도 있다.
이와 같이 본 실시예는 차량의 주변 환경(즉, 차량 주변에 있는 장애물)을 2차원이나 3차원의 탑 뷰나 어라운드 뷰 영상을 생성하여 헤드업 디스플레이(130)를 통해 표시하고 위험도가 높은 장애물을 표시해 줌으로써 안전 운전에 도움을 줄 수 있도록 하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 센서부
120 : 카메라부
121a ~ 121f : 카메라
130 : 헤드업 디스플레이
140 : 통신부
150 : 제어부

Claims (16)

  1. 차량을 중심으로 특정 방향 범위에 있는 장애물을 검출하는 센서부;
    상기 차량을 중심으로 특정 방향 범위에 있는 장애물을 촬영하는 카메라부;
    헤드업 디스플레이; 및
    상기 센서부와 카메라부를 이용해 검출된 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하고, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 제어부;를 포함하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  2. 제 1항에 있어서, 상기 센서부 및 카메라부는,
    360도 모든 방향에 있는 장애물을 검출하거나 촬영하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  3. 제 2항에 있어서, 상기 카메라부는,
    상기 차량을 중심으로 360도 모든 방향을 촬영할 수 있도록 카메라의 촬영 가능 영역을 고려하여 차량의 전방, 측방, 및 후방에 적어도 4개 이상 설치되는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  4. 제 1항에 있어서, 상기 카메라부는,
    카메라가 설치된 상태에서도 2차원이나 3차원 좌표를 생성할 때 보정이 가능하도록 자세를 360도 회전시킬 수 있는 전동 구동부;를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  5. 제 1항에 있어서, 상기 제어부는,
    상기 센서부를 통해 검출된 정보, 및 상기 카메라부를 통해 촬영된 정보를 조합하여 차량을 중심으로 미리 지정된 거리를 반지름으로 하는 2차원 또는 3차원 좌표를 생성하되,
    상기 지정된 거리는 상기 센서부나 카메라부의 최대 감지 범위 이내에서 조정될 수 있음을 특징으로 하는 헤드업 디스플레이 제어 장치.
  6. 제 1항에 있어서, 상기 제어부는,
    상기 2차원 또는 3차원 좌표 상에 표시되는 장애물을 실제 장애물 영상을 이용하여 표시하거나, 그래픽 이미지로 가공하여 표시하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  7. 제 1항에 있어서, 상기 제어부는,
    상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이를 통해 유리창에 투사되는 영역의 사이드(Side)나 모서리 부분에 표시하도록 제어하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  8. 제 1항에 있어서, 상기 제어부는,
    상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 운전자의 스위치 조작, 운전자의 모션 조작, 운전자의 시선 검출, 및 차량의 속도가 기준보다 느리거나 빠른 정도, 중 적어도 어느 한 가지 방식에 의해 전환하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  9. 제 1항에 있어서, 상기 제어부는,
    상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 표시할 때, 충돌 위험도가 높은 장애물에 대해서는 경고나 주의 메시지를 표시하며,
    상기 경고나 주의 메시지는 지정된 특정 색상이나 모양, 특정 애니메이션 효과가 부가된 그래픽 이미지를 포함하거나, 또는 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light)가 함께 출력되게 하는 것을 특징으로 하는 헤드업 디스플레이 제어 장치.
  10. 제어부가 센서부를 이용해 차량을 중심으로 특정 방향 범위에 있는 장애물을 검출하는 단계;
    상기 제어부가 카메라부를 이용해 상기 차량을 중심으로 특정 방향 범위에 있는 장애물을 촬영하는 단계;
    상기 제어부가 상기 센서부와 카메라부를 이용해 검출된 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계; 및
    상기 제어부가 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  11. 제 10항에 있어서, 상기 센서부 및 카메라부는,
    360도 모든 방향에 있는 장애물을 검출하거나 촬영하는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  12. 제 10항에 있어서, 상기 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계에서,
    상기 제어부는, 상기 센서부를 통해 검출된 정보, 및 상기 카메라부를 통해 촬영된 정보를 조합하여 차량을 중심으로 미리 지정된 거리를 반지름으로 하는 2차원 또는 3차원 좌표를 생성하되,
    상기 지정된 거리는 상기 센서부나 카메라부의 최대 감지 범위 이내에서 조정되는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  13. 제 10항에 있어서, 상기 차량 주변의 장애물을 2차원 또는 3차원의 좌표 상에 표시하는 단계에서,
    상기 제어부는, 상기 2차원 또는 3차원 좌표 상에 표시되는 장애물을 실제 장애물 영상을 이용하여 표시하거나, 그래픽 이미지로 가공하여 표시하는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  14. 제 10항에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서,
    상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 상기 헤드업 디스플레이를 통해 유리창에 투사되는 영역의 사이드(Side)나 모서리 부분에 표시하는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  15. 제 10항에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서,
    상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 운전자의 스위치 조작, 운전자의 모션 조작, 운전자의 시선 검출, 및 차량의 속도가 기준보다 느리거나 빠른 정도, 중 적어도 어느 한 가지 방식에 의해 전환할 수 있는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
  16. 제 10항에 있어서, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 헤드업 디스플레이를 통해 표시하는 단계에서,
    상기 제어부는, 상기 장애물이 표시된 2차원 또는 3차원 좌표 영상을 표시할 때, 충돌 위험도가 높은 장애물에 대해서는 경고나 주의 메시지를 표시하며,
    상기 경고나 주의 메시지는 지정된 특정 색상이나 모양, 특정 애니메이션 효과가 부가된 그래픽 이미지를 포함하거나, 또는 상기 경고나 주의 메시지와 연계되어 사운드나 라이트(Light)가 함께 출력되게 하는 것을 특징으로 하는 헤드업 디스플레이 제어 방법.
KR1020150171712A 2015-12-03 2015-12-03 헤드업 디스플레이 제어 장치 및 방법 Ceased KR20170065738A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150171712A KR20170065738A (ko) 2015-12-03 2015-12-03 헤드업 디스플레이 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150171712A KR20170065738A (ko) 2015-12-03 2015-12-03 헤드업 디스플레이 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170065738A true KR20170065738A (ko) 2017-06-14

Family

ID=59217877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171712A Ceased KR20170065738A (ko) 2015-12-03 2015-12-03 헤드업 디스플레이 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170065738A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004111A (ko) * 2017-07-03 2019-01-11 이학로 자동차 사각지대 방지 a 및 c필라 시스템
CN112930555A (zh) * 2018-08-30 2021-06-08 法雷奥舒适驾驶助手公司 车辆的混合现实的条件可用性
WO2024037363A1 (zh) * 2022-08-17 2024-02-22 华为技术有限公司 显示方法、电子设备、存储介质及程序产品
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
US12456233B2 (en) 2022-08-02 2025-10-28 Samsung Electronics Co., Ltd. Wearable electronic device for displaying obstacle-related information, operating method, and storage medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004111A (ko) * 2017-07-03 2019-01-11 이학로 자동차 사각지대 방지 a 및 c필라 시스템
CN112930555A (zh) * 2018-08-30 2021-06-08 法雷奥舒适驾驶助手公司 车辆的混合现实的条件可用性
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
US12456233B2 (en) 2022-08-02 2025-10-28 Samsung Electronics Co., Ltd. Wearable electronic device for displaying obstacle-related information, operating method, and storage medium
WO2024037363A1 (zh) * 2022-08-17 2024-02-22 华为技术有限公司 显示方法、电子设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP5454934B2 (ja) 運転支援装置
JP6806097B2 (ja) 画像表示装置及び画像表示方法
EP1878618B1 (en) Driving support method and apparatus
US10558221B2 (en) Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle
JP4969269B2 (ja) 画像処理装置
US10061992B2 (en) Image display system
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
CN103692973B (zh) 图像生成装置、图像显示系统、以及图像生成方法
JP5516998B2 (ja) 画像生成装置
US20160044284A1 (en) Vehicle vision system with panoramic view
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP2017211366A (ja) 移動体システム、情報表示装置
WO2015163205A1 (ja) 車両用表示システム
KR20170065738A (ko) 헤드업 디스플레이 제어 장치 및 방법
WO2010070920A1 (ja) 車両周囲画像生成装置
JP6589991B2 (ja) ヒューマンインターフェース
TW201526638A (zh) 車用障礙物偵測顯示系統
KR101816157B1 (ko) 헤드업 디스플레이를 이용한 차량 충돌 방지 장치 및 방법
JP2017056909A (ja) 車両用画像表示装置
KR20150055181A (ko) 헤드업 디스플레이를 이용한 나이트 비전 정보 표시 장치 및 방법
JP5691339B2 (ja) 運転支援装置
JP6313271B2 (ja) 車両用運転支援装置
JP2008265720A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151203

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161129

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170620

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20171227

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170620

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20161129

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20171227

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170816

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20170126

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20180226

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180125

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20171227

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170816

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20170620

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170126

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20161129