KR20200060651A - 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법 - Google Patents

혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20200060651A
KR20200060651A KR1020180145598A KR20180145598A KR20200060651A KR 20200060651 A KR20200060651 A KR 20200060651A KR 1020180145598 A KR1020180145598 A KR 1020180145598A KR 20180145598 A KR20180145598 A KR 20180145598A KR 20200060651 A KR20200060651 A KR 20200060651A
Authority
KR
South Korea
Prior art keywords
mixed reality
driving
assistance system
driving assistance
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180145598A
Other languages
English (en)
Other versions
KR102569898B1 (ko
Inventor
허남웅
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180145598A priority Critical patent/KR102569898B1/ko
Publication of KR20200060651A publication Critical patent/KR20200060651A/ko
Application granted granted Critical
Publication of KR102569898B1 publication Critical patent/KR102569898B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/14—Other vehicle conditions
    • B60Q2300/142—Turn signal actuation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 주행 방향과 운전석 위치가 운전자의 평소 운전 환경과 반대인 상황에서 혼합 현실 기술을 통해 평소 운전 환경과 유사한 환경을 제공할 수 있는 운전 보조 시스템 및 그 제어 방법에 관한 것이다. 본 발명의 일 실시예에 따른 혼합 현실을 이용한 운전 보조 시스템의 제어 방법은, 인지 정보 획득부를 통해 운전자의 감각과 관련된 주변 인지 정보를 획득하는 단계; 소정 조건이 만족되면, 상기 획득된 정보를 미리 설정된 희망 운전 환경에 대응하여 변환하는 단계; 및 상기 변환된 정보를 출력부를 통해 출력하는 단계를 포함하되, 상기 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나로 설정될 수 있다.

Description

혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법{DRIVING ASSISTANCE SYSTEM USING MIXED REALITY AND METHOD FOR CONTROLLING THE SAME}
본 발명은 주행 방향과 운전석 위치가 운전자의 평소 운전 환경과 반대인 상황에서 혼합 현실 기술을 통해 평소 운전 환경과 유사한 환경을 제공할 수 있는 운전 보조 시스템 및 그 제어 방법에 관한 것이다.
한국을 포함한 대다수의 국가에서는 도로의 중앙선을 기준으로 우측 차선에서 정방향 주행을 하며, 이러한 국가에서 운행/판매되는 차량은 운전석이 좌측에 위치하므로 흔히 "좌핸들" 차량이라 부른다.
이와 달리, 영국이나 일본 등 일부 국가에서는 도로의 중앙선을 기준으로 좌측 차선에서 정방향 주행을 하며, 차량의 운전석이 우측에 있어 "우핸들"이라 칭한다.
따라서, 우핸들 국가 국민이 좌핸들 국가에서 좌핸들 차량을 운전하게 될 경우 또는 좌핸들 국가 국민이 우핸들 국가에서 우핸들 차량을 운전하게 될 경우, 좌/우 회전 규칙과 신호 체계 등이 상이하여 운전 피로도가 증가하고 사고 발생률이 증가하기까지 하는 문제점이 있다.
본 발명은 주행 방향과 핸들 위치에 무관하게 자국의 운전 환경을 제공할 수 있는 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 혼합 현실을 이용한 운전 보조 시스템의 제어 방법은, 인지 정보 획득부를 통해 운전자의 감각과 관련된 주변 인지 정보를 획득하는 단계; 소정 조건이 만족되면, 상기 획득된 정보를 미리 설정된 희망 운전 환경에 대응하여 변환하는 단계; 및 상기 변환된 정보를 출력부를 통해 출력하는 단계를 포함하되, 상기 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나로 설정될 수 있다.
또한, 본 발명의 일 실시예에 따른 혼합 현실을 이용한 운전 보조 시스템은 운전자의 감각과 관련된 주변 인지 정보를 획득하는 인지 정보 획득부; 소정 조건이 만족되면, 상기 획득된 정보를 미리 설정된 희망 운전 환경에 대응하여 변환하는 운전 환경 제어기; 및 상기 변환된 정보를 출력하는 출력부를 포함하되, 상기 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나로 설정될 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법을 통해, 주행 방향과 핸들 방향이 운전자에 익숙한 방향과 반대인 상황이라도 동일한 감각으로 운전이 가능하다.
또한, 본 발명은 시각은 물론 청각과 몸의 쏠림까지 반전시켜주므로 혼합 현실에 의한 위화감이 최소화될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 운전 보조 시스템 구조의 일례를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 운전자의 운전 환경을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 운전 보조 시스템의 제어 방법의 일례를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 시각정보 변환이 수행되는 형태의 일례를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 운전 보조 시스템에 전방위 카메라가 구비될 경우 시각정보 변환이 수행되는 형태의 일례를 나타낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 발명의 일 실시예에서는, 운전자가 익숙한 핸들방향과 반대 방향인 환경에서 운전중에 운전자의 감각을 통해 인지하게 되는 주변 환경 정보를 차량에서 반전시켜 다시 운전자에게 혼합 현실 형태로 제공함으로써 기존의 운전 감각과 동일한 운전 환경을 제공할 것을 제안한다. 또한, 이를 위해 핸들 조작과 방향 지시등 조작 등 방향에 관련된 입력이 차량의 기능 수행 주체에 전달되기 전에 반전되도록 할 것을 제안한다. 여기서, 혼합 현실이란, 일반적으로 가상 현실과 증강 현실을 혼합한 형태의 기술을 의미하는 것으로, 본 발명에서는 운전자의 감각을 실제 환경과 분리하여 제공하는 기술을 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전 보조 시스템 구조의 일례를 나타낸 블럭도이다.
도 1을 참조하면, 실시예에 따른 운전 보조 시스템은 인지 정보 획득부(110), 조작부(120), 운전 환경 제어기(130), 출력부(140), 바디 제어기(150) 및 조향 제어기(160)를 포함할 수 있다. 도 1에 도시된 구성 요소는 본 발명의 실시와 관련된 구성 요소만을 나타낸 것으로, 실제 운전 보조 시스템의 구현에는 이보다 많거나 적은 구성 요소가 포함될 수 있음은 물론이다. 이하, 각 구성 요소에 대하여 상세히 설명한다.
먼저, 인지 정보 획득부(110)는 운전자가 운전 중에 운행 환경을 인지하는 감각과 관련된 정보를 획득할 수 있다. 이를 위해, 인지 정보 획득부(110)는 시각 정보를 획득하는 카메라(111), 음향 정보를 획득하는 마이크(112) 및 차량의 거동에 의해 운전자가 느낄 가속도를 감지하는 센서(113)를 포함할 수 있다.
예를 들어, 카메라(111)는 적어도 차량 전방의 영상을 획득하는 전방 카메라, 운전자 시점에서 사이드 미러의 영상을 획득하는 인캐빈 카메라, 사이드 미러의 위치 또는 그에 인접하게 배치되는 사이드 카메라, 차량 주변의 360도 영상을 획득하는 전방위 카메라 중 적어도 하나를 포함할 수 있다.
마이크(112)는 적어도 음향의 좌측과 우측을 구분할 수 있도록 스테레오 마이크인 것이 바람직하며, 더욱 바람직하게는 전방위 마이크일 수 있다.
센서(113)는 차량의 거동에 따라 운전자가 느끼는 쏠림을 감지할 수 있도록 가속도 센서나 자이로 센서를 포함할 수 있다.
다음으로, 조작부(120)는 특히 방향에 관련되어 운전자가 운전중 조작하게 되는 차량 구성요소로, 스티어링 휠과 방향 지시등 조작 레버가 이에 해당할 수 있다.
운전 환경 제어기(130)는 인지 정보 획득부(110)에서 획득된 영상, 음향, 가속도 정보를 입력받아 운전자의 희망 운전 환경과 해당 정보에서 취득된 운전 환경 요소가 일치하는지 여부를 판단하고, 일치하지 않는 경우 해당 정보를 운전자의 희망 운전 환경에 대응되도록 변환시킬 수 있다. 이때, 운전 환경 제어기(130)는 조작부(120)를 통해 입력되는 조작 입력 또한 변환시킬 수 있다. 여기서, 변환이라 함은 좌우 반전을 의미할 수 있다. 변환된 조작 입력은 바디 제어기(150)와 조향 제어기(160) 등의 개별 기능 수행 제어기로 전달될 수 있다.
물론, 운전 환경 제어기(130)는 운전자의 희망 운전 환경과 운전 환경 요소가 일치할 경우에는 해당 정보와 조작 입력을 변환시키지 않고 그대로 출력부(140)와 기타 제어기(150, 160)로 전달할 수 있다.
출력부(140)는 운전자의 시야를 커버하는 형태의 헤드마운트 디스플레이(141), 음향을 출력하는 헤드폰(142) 및 틸팅 시트(143)를 포함할 수 있다. 헤드마운트 디스플레이(141, HMD: Head Mounted Display)에서 변환된 영상이 표시되는 구체적인 형태는 도 4를 참조하여 후술하기로 한다.
헤드폰(142)은 적어도 스테레오 헤드폰인 것이 바람직하며, 전방위 마이크가 지원될 경우에는 좌우는 물론 전후방 음향까지 구분하여 전달하는 다채널 헤드폰인 것이 더욱 바람직하다.
물론, 헤드마운트 디스플레이(141)와 헤드폰(142)은 예시적인 것으로 실제 주변 운전 환경을 차단하고 운전 환경 제어기가 가공한 시각 정보와 청각 정보를 운전자에 전달할 수 있다면, 전방위 모니터나 스피커 등 다른 구성 요소로 대체될 수 있음은 당업자에 자명하다.
틸팅 시트(143)는 운전석을 적어도 좌우로 틸팅시킬 수 있는 액츄에이터를 구비하여, 센서(113) 신호에 기반하여 운전 환경 제어기(130)가 생성한 구동 신호에 따라 좌측 또는 우측으로 틸팅될 수 있다. 이러한 틸팅 시트가 구비됨으로 인해, 시각 정보와 청각 정보가 반전될 때 몸의 쏠림까지 반전된 정보와 조화되도록 함으로써 위화감이 최소화될 수 있다. 예를 들어, 시각, 청각 및 핸들 조작이 좌우반전된 상태에서 운전자가 우회전을 시도할 경우, 차량은 실제로 좌회전을 하게 된다. 이때, 틸팅 시트(143)가 구비되지 않는다면 운전자는 우회전을 한다고 생각함에도 몸은 우측으로 쏠려 감각간의 부조화가 발생한다. 따라서, 틸팅 시트(143)가 우측으로 쏠리는 가속도를 상쇄시키고 몸이 좌측으로 쏠릴 정보로 좌측으로 틸팅된다면 운전자는 몸의 쏠림마저도 우회전에 대응되어 반전된 나머지 감각과 일치하므로 반전된 감각에 대한 위화감이 최소화된다.
예컨대, 운전자는 도 2와 같은 상황에서 운전을 하게 된다. 도 2은 본 발명의 일 실시예에 따른 운전자의 운전 환경을 나타낸다. 도 2를 참조하면, 운전자는 틸팅 시트(143)로 구현된 운전석에 착석하여, 헤드마운트 디스플레이(141)를 착용한 상태로 운전하게 된다.
다시 도 1로 복귀하여, 바디 제어기(150)는 조작부(120)에서 방향 지시등 레버가 조작됨에 따라 발생한 점등 신호를 운전 환경 제어기(130)를 통해 그대로 전달받거나, 방향이 반전된 점등 신호를 수신하여, 해당 신호에 대응되는 방향 지시등을 점등시킬 수 있다.
조향 제어기(160)는 랙 앤 피니언 타입이 아닌 전기 모터를 이용한 전자식 조향 시스템을 제어하는 제어기인 것이 바람직하다. 이는 전자식 조향 시스템이 구비되어야 스티어링 휠의 회전 방향과 조향 방향이 반전될 수 있기 때문이다. 바디 제어기(150)와 유사하게, 조향 제어기(160)는 운전 환경 제어기(130)로부터 반전되거나 반전되지 않은 조향 신호를 입력받고, 그에 대응하여 조향 시스템을 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전 보조 시스템의 제어 방법의 일례를 나타내는 순서도이다.
도 3을 참조하면, 먼저 운전자의 희망 운전 환경이 결정될 수 있다(S210). 희망 운전 환경의 결정은 운전자가 소정의 조작계 조작을 통한 명령 입력 과정일 수도 있고, 운전자가 소지하되 운전자의 평소 운전 방향에 대한 정보를 저장한 스마트 기기가 차량에 해당 정보를 전달하는 과정일 수도 있다. 예를 들어, 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나를 선택하는 형태로 수행될 수 있다.
운전 환경 제어기(130)는 인지 정보 획득부(110)를 통해 시각, 청각, 가속도 등 주변 인지 정보를 획득할 수 있다(S220).
운전 환경 제어기(130)는 획득된 정보를 기반으로 운전 환경 요소를 취득할 수 있다(S230). 여기서 운전 환경 요소라 함은, 도로의 주행방향(또는 핸들 방향)을 결정함에 기반이 되는 정보로, 주행 방향에 대한 중앙선의 위치, 반대 방향으로 주행하는 차량의 위치, 국가를 판단할 수 있는 표지판 등이 이에 해당할 수 있으나, 반드시 이에 한정되는 것은 아니다.
운전 환경 제어기(130)는 취득한 운전 환경 요소를 기반으로 현재 주행 방향을 판단하고, 판단된 주행 방향이 운전자의 희망 운전 환경과 일치하는지 여부를 판단한다(S240).
판단 결과, 일치하지 않는 경우 운전 환경 제어기(130)는 주변 인지 정보를 희망 운전 환경에 대응하여 변환하고, 변환된 정보를 출력부(140)로 전달할 수 있다(S250). 이때, 운전 환경 제어기(130)는 조작부(120)를 통해 입력된 신호 중 방향과 관련된 조작에 대응되는 신호를 반전하여 바디 제어기(150)와 조향 제어기(160)에 전달할 수 있다. 또한, 정보를 변환한다고 함은 단순히 좌우 반전 외에, 추가적 영상 가공을 포함하는 개념일 수 있다. 추가적 영상 가공이 수행되는 구체적인 형태는 도 4를 참조하여 후술하기로 한다.
이와 달리, 판단된 주행 방향이 운전자의 희망 운전 환경과 일치하는 경우 운전 환경 제어기(130)는 인지 정보 획득부(110)에서 획득한 정보는 반전 없이 그대로 출력부(140)로 전달하고, 조작부(120)에서 입력된 신호도 반전 없이 바디 제어기(150)와 조향 제어기(160)로 전달할 수 있다(S260).
도 4는 본 발명의 일 실시예에 따른 시각정보 변환이 수행되는 형태의 일례를 나타낸다. 도 4에서는 간명한 이해를 돕기 위하여 차량 전방의 영상을 기준으로 설명하며, 운전자는 좌핸들을 희망 운전 환경으로 선택한 경우가 가정된다.
먼저 도 4의 (a)를 참조하면, 전방 카메라를 통해 촬영된 영상이 도시된다. 이러한 영상에서 운전 환경 제어기(130)는 중앙선(410)을 검출하고 영상 내에서 상대적 방향을 기반으로 현재 주행 방향을 판단할 수 있다. 예를 들어, 도 4의 (a)와 같은 상황에서는 중앙선(410)이 좌측에 위치하므로 운전 환경 제어기(130)는 주행 방향이 좌핸들에 해당함을 판단할 수 있다. 따라서, 희망 운전 환경과 현재 주행방향이 일치하지 않으므로 운전 환경 제어기(130)는 영상의 변환을 결정한다.
그에 따라, 운전 환경 제어기(130)는 도 4의 (b)와 같이 전방 영상을 좌우 반전시킬 수 있다. 이때, 좌우 반전된 영상에는 교통 표지판과 같이 운전에 참고될 필요가 있는 주변 객체가 포함될 수 있는데, 운전 환경 제어기(130)는 이러한 주변 객체 중 반전된 상태로 출력될 객체와 반전되어서는 안될 객체를 판단할 수 있다. 여기서, 영상 내에서 주변 객체의 인식은 특징점 추출 기반의 형상 인식 기술이나 텍스트 인식 기술 등 이미 널리 알려진 기술이 이용될 수 있음은 당업자에 자명한 바, 구체적인 인식 방법에 대한 기재는 생략하기로 한다.
예를 들어, 반전된 상태로 출력될 객체는 방향을 지시하는 객체(430)일 수 있다. 또한, 반전되어서는 안될 방향성을 갖는 객체는 좌우 반전될 경우 운전자가 위화감을 느낄 수 있는 정형화된 표지나 텍스트를 포함하는 객체(420, 440)가 이에 해당할 수 있다.
운전 환경 제어기(130)는 도 4의 (c)와 같이 방향성을 갖는 객체는 재반전시켜(420') 최종적으로 헤드마운트 디스플레이(141)에 제공될 영상을 생성할 수 있다. 만일, 희망 운전 환경을 설정함에 있어 희망 언어까지 설정된 경우, 텍스트를 포함하는 객체(440)의 텍스트는 희망 언어로 변환(440')될 수도 있다. 예컨대, 희망 언어가 한글일 경우 "STOP" 표지판은 "정지"와 같이 변환되어 출력될 수 있다.
도 5는 본 발명의 일 실시예에 따른 운전 보조 시스템에 전방위 카메라가 구비될 경우 시각정보 변환이 수행되는 형태의 일례를 나타낸다.
도 5의 (a)를 참조하면, 전방위 카메라를 통해 촬영된 영상의 한 프레임이 도시된다. 운전 환경 제어기(130)는 희망 운전 환경과 현재 주행방향이 일치하지 않을 경우 도 5의 (b)와 같이 획득된 영상을 좌우 반전시키고, 반전된 영상 중 현재 헤드마운트 디스플레이가 향하는 방향에 대응하여 운전자의 시야에 해당하는 부분의 영상을 헤드마운트 디스플레이에 제공할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 인지 정보 획득부를 통해 운전자의 감각과 관련된 주변 인지 정보를 획득하는 단계;
    소정 조건이 만족되면, 상기 획득된 정보를 미리 설정된 희망 운전 환경에 대응하여 변환하는 단계; 및
    상기 변환된 정보를 출력부를 통해 출력하는 단계를 포함하되,
    상기 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나로 설정되는,
    혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  2. 제1 항에 있어서,
    상기 인지 정보 획득부는 적어도 전방 영상을 촬영하는 카메라 및 마이크를 포함하고,
    상기 주변 인지 정보는 전방 영상 및 주변 음향을 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  3. 제2 항에 있어서,
    상기 변환하는 단계는,
    상기 카메라를 통해 획득된 영상과 상기 마이크를 통해 획득된 주변 음향을 좌우 반전시키는 단계를 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  4. 제3 항에 있어서,
    상기 출력부는 헤드마운트 디스플레이 및 헤드폰을 포함하되,
    상기 출력하는 단계는,
    상기 반전된 영상을 헤드마운트 디스플레이로 출력하는 단계; 및
    상기 반전된 주변 음향을 헤드폰으로 출력하는 단계를 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  5. 제3 항에 있어서,
    상기 변환하는 단계는,
    상기 카메라를 통해 획득된 영상에서 적어도 하나의 객체를 추출하는 단계;
    상기 적어도 하나의 객체의 방향성 여부를 판단하는 단계; 및
    상기 반전된 영상에서 방향성이 있는 것으로 판단된 객체를 재반전시키는 단계를 더 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  6. 제2 항에 있어서,
    상기 인지 정보 획득부는 차량의 거동에 따른 가속도를 감지하는 센서를 더 포함하되,
    상기 센서에서 감지된 가속도의 역방향으로 시트를 틸트시키는 단계를 더 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  7. 제1 항에 있어서,
    상기 소정의 조건이 만족될 때,
    차량의 조작부를 통해 입력되는 방향과 관련된 조작에 대응되는 신호를 좌우 반전시켜 상기 차량의 기능 수행 제어기로 전달하는 단계를 더 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  8. 제7 항에 있어서,
    상기 조작부는, 방향 지시등 레버 및 스티어링 휠을 포함하고,
    상기 기능 수행 제어기는,
    상기 방향 지시등 레버의 조작에 대응되는 방향 지시등을 제어하는 제1 제어기 및 상기 스티어링 휠의 조작에 대응되는 조향 시스템을 제어하는 제2 제어기를 포함하는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  9. 제1 항에 있어서,
    상기 기 설정된 조건은,
    상기 희망 운전 환경과 상기 인지 정보 획득부에서 획득된 정보를 기반으로 판단한 주행방향이 서로 상이한 경우 만족되는, 혼합 현실을 이용한 운전 보조 시스템의 제어 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항에 따른 혼합 현실을 이용한 운전 보조 시스템의 제어 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
  11. 운전자의 감각과 관련된 주변 인지 정보를 획득하는 인지 정보 획득부;
    소정 조건이 만족되면, 상기 획득된 정보를 미리 설정된 희망 운전 환경에 대응하여 변환하는 운전 환경 제어기; 및
    상기 변환된 정보를 출력하는 출력부를 포함하되,
    상기 희망 운전 환경은 좌핸들 또는 우핸들 중 어느 하나로 설정되는, 혼합 현실을 이용한 운전 보조 시스템.
  12. 제11 항에 있어서,
    상기 인지 정보 획득부는 적어도 전방 영상을 촬영하는 카메라 및 마이크를 포함하고,
    상기 주변 인지 정보는 전방 영상 및 주변 음향을 포함하는, 혼합 현실을 이용한 운전 보조 시스템.
  13. 제12 항에 있어서,
    상기 운전 환경 제어기는,
    상기 카메라를 통해 획득된 영상과 상기 마이크를 통해 획득된 주변 음향을 좌우 반전시키는, 혼합 현실을 이용한 운전 보조 시스템.
  14. 제13 항에 있어서,
    상기 출력부는,
    상기 반전된 영상을 출력하는 헤드마운트 디스플레이; 및
    상기 반전된 주변 음향을 출력하는 헤드폰을 포함하는, 혼합 현실을 이용한 운전 보조 시스템.
  15. 제13 항에 있어서,
    상기 운전 환경 제어기는,
    상기 카메라를 통해 획득된 영상에서 적어도 하나의 객체를 추출하고, 상기 적어도 하나의 객체의 방향성 여부를 판단하여, 상기 반전된 영상에서 방향성이 있는 것으로 판단된 객체를 재반전시키는, 혼합 현실을 이용한 운전 보조 시스템.
  16. 제12 항에 있어서,
    적어도 좌측 또는 우측으로 틸팅되는 틸팅 시트를 더 포함하되,
    상기 인지 정보 획득부는 차량의 거동에 따른 가속도를 감지하는 센서를 더 포함하고,
    상기 운전 환경 제어기는,
    상기 틸팅 시트가 상기 센서에서 감지된 가속도의 역방향으로 틸팅되도록 제어하는, 혼합 현실을 이용한 운전 보조 시스템.
  17. 제11 항에 있어서,
    상기 소정의 조건이 만족될 때,
    상기 운전 환경 제어기는,
    차량의 조작부를 통해 입력되는 방향과 관련된 조작에 대응되는 신호를 좌우 반전시켜 상기 차량의 기능 수행 제어기로 전달하는, 혼합 현실을 이용한 운전 보조 시스템.
  18. 제17 항에 있어서,
    상기 조작부는, 방향 지시등 레버 및 스티어링 휠을 포함하고,
    상기 기능 수행 제어기는,
    상기 방향 지시등 레버의 조작에 대응되는 방향 지시등을 제어하는 제1 제어기 및 상기 스티어링 휠의 조작에 대응되는 조향 시스템을 제어하는 제2 제어기를 포함하는, 혼합 현실을 이용한 운전 보조 시스템.
  19. 제11 항에 있어서,
    상기 기 설정된 조건은,
    상기 희망 운전 환경과 상기 인지 정보 획득부에서 획득된 정보를 기반으로 판단한 주행방향이 서로 상이한 경우 만족되는, 혼합 현실을 이용한 운전 보조 시스템.
KR1020180145598A 2018-11-22 2018-11-22 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법 Active KR102569898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180145598A KR102569898B1 (ko) 2018-11-22 2018-11-22 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180145598A KR102569898B1 (ko) 2018-11-22 2018-11-22 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200060651A true KR20200060651A (ko) 2020-06-01
KR102569898B1 KR102569898B1 (ko) 2023-08-24

Family

ID=71083291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180145598A Active KR102569898B1 (ko) 2018-11-22 2018-11-22 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102569898B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023287177A1 (ko) * 2021-07-13 2023-01-19 엘지전자 주식회사 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법
CN117274456A (zh) * 2023-09-07 2023-12-22 芜湖雄狮汽车科技有限公司 驾驶视角切换方法、装置、车辆及存储介质
KR20250071780A (ko) 2023-11-14 2025-05-22 한국자동차연구원 운전자 인식 기반 차량 제어 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002318525A (ja) * 2001-04-23 2002-10-31 Honda Motor Co Ltd 模擬運転装置
KR20180089717A (ko) * 2017-02-01 2018-08-09 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002318525A (ja) * 2001-04-23 2002-10-31 Honda Motor Co Ltd 模擬運転装置
KR20180089717A (ko) * 2017-02-01 2018-08-09 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023287177A1 (ko) * 2021-07-13 2023-01-19 엘지전자 주식회사 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법
WO2023287152A1 (ko) * 2021-07-13 2023-01-19 엘지전자 주식회사 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법
US12062136B2 (en) 2021-07-13 2024-08-13 Lg Electronics Inc. Mixed reality-based display device and route guide system
US12475647B2 (en) 2021-07-13 2025-11-18 Lg Electronics Inc. MR service platform providing mixed reality automotive meta service, and method for controlling same
US12567206B2 (en) 2021-07-13 2026-03-03 Lg Electronics Inc. Route guidance device and route guidance system based on augmented reality and mixed reality
US12567205B2 (en) 2021-07-13 2026-03-03 Lg Electronics Inc. MR service platform for providing mixed reality automotive meta service and control method thereof
US12592037B2 (en) 2021-07-13 2026-03-31 Lg Electronics Inc. Route guidance device and route guidance system based on augmented reality and mixed reality
CN117274456A (zh) * 2023-09-07 2023-12-22 芜湖雄狮汽车科技有限公司 驾驶视角切换方法、装置、车辆及存储介质
CN117274456B (zh) * 2023-09-07 2026-07-10 奇瑞汽车股份有限公司 驾驶视角切换方法、装置、车辆及存储介质
KR20250071780A (ko) 2023-11-14 2025-05-22 한국자동차연구원 운전자 인식 기반 차량 제어 장치 및 방법

Also Published As

Publication number Publication date
KR102569898B1 (ko) 2023-08-24

Similar Documents

Publication Publication Date Title
EP3118047B1 (en) Display control device, display device, display control program, display control method, and recording medium
US9650056B2 (en) Method for controlling a driver assistance system
US10061995B2 (en) Imaging system to detect a trigger and select an imaging area
US11068054B2 (en) Vehicle and control method thereof
US8948414B2 (en) Providing audible signals to a driver
KR20170088181A (ko) Hmd 디바이스 및 그 제어 방법
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
EP3495942B1 (en) Head-mounted display and control method thereof
KR102569898B1 (ko) 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법
US10185392B2 (en) Method for transmitting information to a driver of a motor vehicle, and adaptive driver assistance system
CN107852481A (zh) 图像显示控制装置
US20240381051A1 (en) Acoustic reproduction method, recording medium, and acoustic reproduction system
JP2001255890A (ja) 音声制御するための装置および方法
JP2016136332A (ja) 情報処理装置、情報処理方法及び記憶媒体
JP2024076283A (ja) 運転支援装置、運転支援方法及びプログラム
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
CN115315374B (zh) 声音数据处理装置和声音数据处理方法
JP7639612B2 (ja) 遠隔操作システム
KR102705475B1 (ko) 차량의 핸들 디스플레이의 영상 표시 방법 및 장치
KR20170011817A (ko) 영상 처리 장치 및 그 동작 방법
JP2024149197A (ja) 駐車支援装置及び駐車支援プログラム
JP2024112137A (ja) 表示制御装置、表示制御方法、及びプログラム
US20220135049A1 (en) Display control apparatus, display control method, and storage medium
JP2020013369A (ja) 運転支援装置、運転支援システム、及び運転支援プログラム
JP2023006970A (ja) 運転支援制御装置、及び運転支援制御方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000