WO2021125706A1 - 차량 제어 장치 및 그것의 제어 방법 - Google Patents

차량 제어 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
WO2021125706A1
WO2021125706A1 PCT/KR2020/018170 KR2020018170W WO2021125706A1 WO 2021125706 A1 WO2021125706 A1 WO 2021125706A1 KR 2020018170 W KR2020018170 W KR 2020018170W WO 2021125706 A1 WO2021125706 A1 WO 2021125706A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
building
processor
destination information
graphic object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/018170
Other languages
English (en)
French (fr)
Inventor
최성환
정두경
장유정
최병준
김연수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to EP20901355.6A priority Critical patent/EP4079592B1/en
Priority to US17/757,670 priority patent/US12240323B2/en
Priority to KR1020227000877A priority patent/KR102809612B1/ko
Publication of WO2021125706A1 publication Critical patent/WO2021125706A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present invention relates to a vehicle control device and a control method thereof.
  • a vehicle is a device that moves a user in a desired direction.
  • a typical example is a car.
  • ADAS advanced driver assistance system
  • autonomous Vehicle autonomous Vehicle
  • a vehicle may be equipped with various types of lamps.
  • a vehicle is equipped with various vehicle lamps having a lighting function to easily identify an object located around the vehicle when driving at night and a signal function to notify other vehicles or other road users of the driving state of the vehicle, and have.
  • the vehicle uses a lamp to directly emit light, such as a headlamp that irradiates light to the front to secure the driver's view, a brake lamp that is turned on when the brake is applied, and a turn signal lamp used when turning right or left.
  • a lamp to directly emit light, such as a headlamp that irradiates light to the front to secure the driver's view, a brake lamp that is turned on when the brake is applied, and a turn signal lamp used when turning right or left.
  • a device may be provided.
  • reflectors that reflect light so that the vehicle can be easily recognized from the outside are mounted on the front and rear of the vehicle.
  • ADAS Advanced Driving Assist System
  • An embodiment of the present invention aims to provide an optimized destination highlight interface in order to solve the above problems.
  • Another object of the present invention is to provide a vehicle control device capable of outputting AR information in a method optimized for a building including a destination.
  • a vehicle control apparatus includes an interface unit communicatively connected to a display unit provided in the vehicle and a processor for controlling the display unit provided in the vehicle through the interface unit,
  • the processor receives destination information through the interface unit, obtains spatial coordinates of a building corresponding to the destination information from map information, and based on the spatial coordinates of a building corresponding to the destination information, a graphic related to the destination information It characterized in that the display unit is controlled so that the object is displayed overlapping the building.
  • the processor renders a three-dimensional figure including the building by using the spatial coordinates of the building, and a graphic related to the destination information on at least one of a plurality of faces forming the three-dimensional figure It is characterized in that the display unit is controlled so that an object is output.
  • the processor determines an adjacent building of the building corresponding to the destination information, and adds the spatial coordinates of the adjacent building to the map information. Based on it, it is characterized in that a three-dimensional figure including a building corresponding to the destination information is rendered.
  • the processor determines an angle between a moving direction of the vehicle and a three-dimensional figure including the building based on the current location of the vehicle and the spatial coordinates of the building, and based on the determined angle , characterized in that it determines the number of surfaces on which the graphic object related to the destination information is output in the three-dimensional figure.
  • the processor controls the display unit to output the graphic object to any one of the plurality of surfaces of the three-dimensional figure
  • the display unit is controlled to output the graphic object to at least two surfaces of the plurality of surfaces of the three-dimensional figure.
  • the processor may increase the number of outputs of the graphic object based on the change of the angle from the first angle to the second angle by the driving of the vehicle.
  • the one surface is characterized in that it varies depending on whether another building exists between the building and the vehicle.
  • the processor determines the slope of the road on which the vehicle is traveling from the map information, and matches the building corresponding to the destination information by tilting the three-dimensional figure to correspond to the determined slope. .
  • the processor may control the display unit to output a graphic object related to the destination information based on a three-dimensional figure inclined to correspond to the inclination.
  • the interface unit is characterized in that communication is connected with a camera provided in the vehicle, and the processor receives an image from a camera provided in the vehicle, and an edge component for a building area in the received image , and matching the three-dimensional figure including the building to the building corresponding to the destination information by using the edge component.
  • the processor may control the display unit to output a graphic object related to the destination information spaced apart from the ground by a predetermined interval.
  • the processor when a neighboring building exists around a building corresponding to the destination information and the graphic object and the neighboring building overlap, the processor is configured to set the predetermined interval so that the neighboring building and the graphic object do not overlap. characterized by changing the .
  • the processor outputs the graphic object in different sizes based on the size of at least one surface determined to output the graphic object.
  • the processor when the width of the surface on which the graphic object is determined to be output is greater than the width of the graphic object, the processor changes a display position at which the graphic object is output based on the movement of the vehicle do it with
  • the processor when the vehicle enters within a preset distance based on the three-dimensional figure, sets the display position of the graphic object so that the distance between the vehicle and the graphic object is constantly maintained. It is characterized by changing the direction.
  • the graphic object when the graphic object reaches the boundary line of the area set to be output on the determined surface, the graphic object reaches the boundary line even if the distance between the vehicle and the graphic object decreases It is characterized by maintaining the state.
  • the processor when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, the processor is configured to convert the pre-generated three-dimensional figure into a building corresponding to the destination information. and controlling the display unit to output the graphic object to the surroundings and to output the graphic object on the pre-generated three-dimensional figure.
  • a control method of a vehicle control apparatus includes the steps of receiving destination information, obtaining spatial coordinates of a building corresponding to the destination information from map information, and a space of a building corresponding to the destination information and controlling the display unit so that the graphic object related to the destination information is displayed overlaid on the building based on the coordinates.
  • the controlling comprises rendering a three-dimensional figure including the building by using the spatial coordinates of the building, and adding the destination information and the destination information to at least one of a plurality of faces forming the three-dimensional figure. It is characterized in that the display unit is controlled so that a related graphic object is output.
  • a vehicle according to another embodiment of the present invention includes the vehicle control device described herein.
  • a user who can accurately output AR information to a building even on an inclined road by reflecting the inclination of the road ground and displaying the graphic object (emblem) related to the destination overlaid on the building. It has the effect of being able to provide an interface.
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a vehicle control apparatus according to the present invention.
  • 9A is a flowchart for explaining a representative control method of the present invention.
  • 9B is a flowchart illustrating a method of controlling an AR image to be displayed on a building according to an embodiment of the present invention.
  • FIG. 10 is a conceptual diagram for explaining the method illustrated in FIGS. 9A and 9B .
  • 11A, 11B, 11C, 11D, 11E, 11F, 11G, and 11H are conceptual diagrams for explaining a method of obtaining coordinates of a building including a destination according to an embodiment of the present invention.
  • 12A, 12B, 12C, 12D, 12E, 12F, 12G, 12H, 12I, and 12J are diagrams of a building to display an AR image according to the distance between the vehicle and the building including the destination It is a conceptual diagram to explain how to select a face.
  • 13A, 13B, 13C, 13D, 13E, 13F, and 13G are conceptual diagrams for explaining a method of determining a building corresponding to a destination using an image received through a camera.
  • 14A, 14B and 14C are conceptual views for explaining a method of outputting an AR image to a building when the vehicle of the present invention is driving on an inclined road.
  • 15A, 15B, 15C, 15D, and 15E are conceptual diagrams for explaining a method of outputting an AR image related to a destination on a building by the vehicle control device of the present invention.
  • 16A, 16B, 16C, and 16D are conceptual diagrams for explaining an AR image output method when coordinates of a building including a destination cannot be obtained.
  • 17 is a flowchart illustrating a method for the vehicle control device of the present invention to output an AR image to a building of a destination.
  • FIG. 18 is a conceptual diagram illustrating a system including a vehicle control apparatus according to an embodiment of the present invention.
  • 19, 20, 21 and 22 are conceptual diagrams for explaining another example of outputting an AR image according to a distance between a vehicle and a building including a destination.
  • the vehicle described in this specification may be a concept including an automobile and a motorcycle.
  • the vehicle will be mainly described with respect to the vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side in the driving direction of the vehicle
  • the right side of the vehicle means the right side in the driving direction of the vehicle
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the traveling direction of the vehicle 100 .
  • the vehicle 100 may be an autonomous driving vehicle.
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on a user input.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on a user input received through the user interface device 200 .
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on driving situation information.
  • the driving situation information may be generated based on object information provided by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the driving situation information generated by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on driving situation information received through the communication device 400 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on information, data, and signals provided from an external device.
  • the autonomous driving vehicle 100 may be operated based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710 , the taking-out system 740 , and the parking system 750 .
  • the autonomous driving vehicle 100 may receive a user input for driving through the driving manipulation device 500 . Based on a user input received through the driving manipulation device 500 , the vehicle 100 may be driven.
  • the overall length refers to the length from the front part to the rear part of the vehicle 100
  • the width refers to the width of the vehicle 100
  • the height refers to the length from the lower part of the wheel to the roof.
  • the overall length direction (L) is the standard direction for measuring the overall length of the vehicle 100
  • the full width direction (W) is the standard direction for measuring the overall width of the vehicle 100
  • the total height direction (H) is the vehicle (100) may mean a direction that is a reference for measuring the total height.
  • the vehicle 100 includes a user interface device 200 , an object detection device 300 , a communication device 400 , a driving manipulation device 500 , a vehicle driving device 600 , and a driving system. 700 , a navigation system 770 , a sensing unit 120 , an interface unit 130 , a memory 140 , a control unit 170 , and a power supply unit 190 .
  • the vehicle 100 may further include other components in addition to the components described herein, or may not include some of the components described herein.
  • the user interface device 200 is a device for communication between the vehicle 100 and a user.
  • the user interface device 200 may receive a user input and provide information generated in the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UIs) or User Experiences (UXs) through the user interface device 200 .
  • UIs User Interfaces
  • UXs User Experiences
  • the user interface device 200 may include an input unit 210 , an internal camera 220 , a biometric sensor 230 , an output unit 250 , and a processor 270 .
  • the user interface device 200 may further include other components in addition to the described components, or may not include some of the described components.
  • the input unit 200 is for receiving information from the user, and the data collected by the input unit 120 may be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 200 may be disposed inside the vehicle.
  • the input unit 200 may include one region of a steering wheel, one region of an instrument panel, one region of a seat, one region of each pillar, and a door.
  • One area of the (door), one area of the center console (center console), one area of the head lining (head lining), one area of the sun visor (sun visor), one area of the windshield (windshield) or the window (window) It may be disposed in one area or the like.
  • the input unit 200 may include a voice input unit 211 , a gesture input unit 212 , a touch input unit 213 , and a mechanical input unit 214 .
  • the voice input unit 211 may convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 may convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the touch input unit 213 may include a touch sensor for sensing a user's touch input.
  • the touch input unit 213 may be integrally formed with the display unit 251 to implement a touch screen.
  • a touch screen may provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170 .
  • the mechanical input unit 214 may be disposed on a steering wheel, a center fascia, a center console, a cockpick module, a door, and the like.
  • the internal camera 220 may acquire an image inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may acquire the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect the user's gesture from the image inside the vehicle.
  • the biometric sensor 230 may obtain biometric information of the user.
  • the biometric sensor 230 may include a sensor capable of obtaining the user's biometric information, and may obtain the user's fingerprint information, heart rate information, and the like, using the sensor.
  • the biometric information may be used for user authentication.
  • the output unit 250 is for generating an output related to visual, auditory or tactile sense.
  • the output unit 250 may include at least one of a display unit 251 , a sound output unit 252 , and a haptic output unit 253 .
  • the display unit 251 may display graphic objects corresponding to various pieces of information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (Flexible Display).
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • Flexible Display Flexible Display
  • display a three-dimensional display (3D display)
  • e-ink display may include at least one.
  • the display unit 251 may form a layer structure with the touch input unit 213 or be integrally formed to implement a touch screen.
  • the display unit 251 may be implemented as a head up display (HUD).
  • the display unit 251 may include a projection module to output information through an image projected on the windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display may be attached to a windshield or window.
  • the transparent display may display a predetermined screen while having predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display may include at least one of The transparency of the transparent display can be adjusted.
  • the user interface apparatus 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area 521a, 251b, and 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one area of the door ( 251g), one region of the center console, one region of the head lining, one region of the sun visor, or one region 251c of the windshield and one region 251h of the window.
  • the sound output unit 252 converts an electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs the converted signal. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may vibrate the steering wheel, the seat belt, and the seats 110FL, 110FR, 110RL, and 110RR so that the user can recognize the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200 .
  • the user interface apparatus 200 may include a plurality of processors 270 or may not include the processors 270 .
  • the user interface device 200 may be operated under the control of a processor or the controller 170 of another device in the vehicle 100 .
  • the user interface device 200 may be referred to as a vehicle display device.
  • the user interface device 200 may be operated under the control of the controller 170 .
  • the object detecting apparatus 300 is an apparatus for detecting an object located outside the vehicle 100 .
  • the object may be various objects related to the operation of the vehicle 100 .
  • the object O includes a lane OB10, another vehicle OB11, a pedestrian OB12, a two-wheeled vehicle OB13, traffic signals OB14, OB15, light, road, structure, This may include speed bumps, features, animals, and the like.
  • the lane OB10 may be a driving lane, a lane next to the driving lane, or a lane in which opposite vehicles travel.
  • the lane OB10 may be a concept including left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running in the vicinity of the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100 .
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 100 .
  • the pedestrian OB12 may be a person located in the vicinity of the vehicle 100 .
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100 .
  • the pedestrian OB12 may be a person located on a sidewalk or a roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle positioned around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle having two wheels positioned within a predetermined distance from the vehicle 100 .
  • the two-wheeled vehicle OB13 may be a motorcycle or a bicycle located on a sidewalk or roadway.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, and a pattern or text drawn on a road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from the street lamp.
  • the light may be sunlight.
  • the road may include a road surface, a curve, an uphill slope, a downhill slope, and the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include a street light, a street tree, a building, a power pole, a traffic light, and a bridge.
  • Features may include mountains, hills, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including other vehicles and pedestrians.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the object detecting apparatus 300 may include a camera 310 , a radar 320 , a lidar 330 , an ultrasonic sensor 340 , an infrared sensor 350 , and a processor 370 .
  • the object detecting apparatus 300 may further include other components in addition to the described components, or may not include some of the described components.
  • the camera 310 may be located at an appropriate place outside the vehicle in order to acquire an image outside the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an AVM (Around View Monitoring) camera 310b, or a 360 degree camera.
  • the camera 310 may be disposed adjacent to the front windshield in the interior of the vehicle to acquire an image of the front of the vehicle.
  • the camera 310 may be disposed around the front bumper or the radiator grill.
  • the camera 310 may be disposed adjacent to the rear glass in the interior of the vehicle in order to acquire an image of the rear of the vehicle.
  • the camera 310 may be disposed around a rear bumper, a trunk, or a tailgate.
  • the camera 310 may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • the camera 310 may be disposed around a side mirror, a fender, or a door.
  • the camera 310 may provide the acquired image to the processor 370 .
  • the radar 320 may include an electromagnetic wave transmitter and a receiver.
  • the radar 320 may be implemented in a pulse radar method or a continuous wave radar method in view of a radio wave emission principle.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object based on an electromagnetic wave, a time of flight (TOF) method or a phase-shift method, and a position of the detected object, a distance from the detected object, and a relative speed. can be detected.
  • TOF time of flight
  • the radar 320 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear or side of the vehicle.
  • the lidar 330 may include a laser transmitter and a receiver.
  • the lidar 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • the lidar 330 may be implemented as a driven or non-driven type.
  • the lidar 330 When implemented as a driving type, the lidar 330 is rotated by a motor and may detect an object around the vehicle 100 .
  • the lidar 330 may detect an object located within a predetermined range with respect to the vehicle 100 by light steering.
  • the vehicle 100 may include a plurality of non-driven lidars 330 .
  • the lidar 330 detects an object based on a time of flight (TOF) method or a phase-shift method as a laser light medium, and determines the position of the detected object, the distance from the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method as a laser light medium
  • the lidar 330 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasound sensor 340 may detect an object based on ultrasound, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 may detect an object based on infrared light, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the infrared sensor 350 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection apparatus 300 .
  • the processor 370 may detect and track the object based on the acquired image.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to an object through an image processing algorithm.
  • the processor 370 may detect and track the object based on the reflected electromagnetic wave that is reflected by the object and returns.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the electromagnetic wave.
  • the processor 370 may detect and track the object based on the reflected laser light from which the transmitted laser is reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the laser light.
  • the processor 370 may detect and track the object based on the reflected ultrasound reflected back by the transmitted ultrasound.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the ultrasound.
  • the processor 370 may detect and track the object based on the reflected infrared light reflected back by the transmitted infrared light.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the infrared light.
  • the object detecting apparatus 300 may include a plurality of processors 370 or may not include the processors 370 .
  • each of the camera 310 , the radar 320 , the lidar 330 , the ultrasonic sensor 340 , and the infrared sensor 350 may individually include a processor.
  • the object detection apparatus 300 may be operated under the control of the processor or the controller 170 of the apparatus in the vehicle 100 .
  • the object detecting apparatus 400 may be operated under the control of the controller 170 .
  • the communication apparatus 400 is an apparatus for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal, or a server.
  • the communication device 400 may include at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410 , a location information unit 420 , a V2X communication unit 430 , an optical communication unit 440 , a broadcast transceiver 450 , and a processor 470 .
  • the communication device 400 may further include other components in addition to the described components, or may not include some of the described components.
  • the short-range communication unit 410 is a unit for short-range communication.
  • Short-range communication unit 410 Bluetooth (BluetoothTM), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless) -Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication.
  • the short-range communication unit 410 may form wireless area networks to perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for obtaining location information of the vehicle 100 .
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing protocols for communication with infrastructure (V2I), vehicle-to-vehicle communication (V2V), and communication with pedestrians (V2P).
  • the optical communication unit 440 is a unit for performing communication with an external device via light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal to transmit to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light transmitter may be formed to be integrated with a lamp included in the vehicle 100 .
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server or transmitting a broadcast signal to the broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 may control the overall operation of each unit of the communication device 400 .
  • the communication device 400 may include a plurality of processors 470 or may not include the processors 470 .
  • the communication device 400 may be operated under the control of a processor or controller 170 of another device in the vehicle 100 .
  • the communication device 400 may implement a vehicle display device together with the user interface device 200 .
  • the vehicle display device may be referred to as a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the controller 170 .
  • the driving operation device 500 is a device that receives a user input for driving.
  • the vehicle 100 may be driven based on a signal provided by the driving manipulation device 500 .
  • the driving manipulation device 500 may include a steering input device 510 , an acceleration input device 530 , and a brake input device 570 .
  • the steering input device 510 may receive a driving direction input of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from a user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from a user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. According to an embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving operation device 500 may be operated under the control of the controller 170 .
  • the vehicle driving device 600 is a device that electrically controls driving of various devices in the vehicle 100 .
  • the vehicle driving unit 600 may include a power train driving unit 610 , a chassis driving unit 620 , a door/window driving unit 630 , a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • a power train driving unit 610 may be included in the vehicle driving unit 600 .
  • a chassis driving unit 620 may be included in the vehicle driving unit 600 .
  • a door/window driving unit 630 may include a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • the vehicle driving apparatus 600 may further include other components in addition to the described components, or may not include some of the described components.
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the power train driver 610 may control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612 .
  • the power source driving unit 611 may control the power source of the vehicle 100 .
  • the power source driving unit 610 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source driving unit 611 may adjust the engine output torque according to the control of the control unit 170 .
  • the power source driving unit 610 may control the motor.
  • the power source driving unit 610 may adjust the rotation speed and torque of the motor according to the control of the control unit 170 .
  • the transmission driving unit 612 may control the transmission.
  • the transmission driving unit 612 may adjust the state of the transmission.
  • the transmission driving unit 612 may adjust the state of the transmission to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission driving unit 612 may adjust the engagement state of the gear in the forward (D) state.
  • the chassis driving unit 620 may control the operation of the chassis device.
  • the chassis driving unit 620 may include a steering driving unit 621 , a brake driving unit 622 , and a suspension driving unit 623 .
  • the steering driving unit 621 may perform electronic control of a steering apparatus in the vehicle 100 .
  • the steering driving unit 621 may change the traveling direction of the vehicle.
  • the brake driving unit 622 may perform electronic control of a brake apparatus in the vehicle 100 .
  • the speed of the vehicle 100 may be reduced by controlling the operation of a brake disposed on the wheel.
  • the brake driving unit 622 may individually control each of the plurality of brakes.
  • the brake driving unit 622 may differently control the braking force applied to the plurality of wheels.
  • the suspension driving unit 623 may electronically control a suspension apparatus in the vehicle 100 . For example, when there is a curve in the road surface, the suspension driving unit 623 may control the suspension device to reduce vibration of the vehicle 100 .
  • the suspension driving unit 623 may individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of a door apparatus or a window apparatus in the vehicle 100 .
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632 .
  • the door driving unit 631 may control the door device.
  • the door driving unit 631 may control opening and closing of a plurality of doors included in the vehicle 100 .
  • the door driving unit 631 may control opening or closing of a trunk or a tail gate.
  • the door driving unit 631 may control opening or closing of a sunroof.
  • the window driving unit 632 may perform electronic control of a window apparatus. Opening or closing of a plurality of windows included in the vehicle 100 may be controlled.
  • the safety device driving unit 640 may perform electronic control of various safety apparatuses in the vehicle 100 .
  • the safety device driving unit 640 may include an airbag driving unit 641 , a seat belt driving unit 642 , and a pedestrian protection device driving unit 643 .
  • the airbag driving unit 641 may perform electronic control of an airbag apparatus in the vehicle 100 .
  • the airbag driver 641 may control the airbag to be deployed when a danger is detected.
  • the seat belt driving unit 642 may perform electronic control of a seat belt appartus in the vehicle 100 .
  • the seat belt driving unit 642 may control the occupant to be fixed to the seats 110FL, 110FR, 110RL, and 110RR using the seat belt when a danger is sensed.
  • the pedestrian protection device driving unit 643 may perform electronic control for the hood lift and the pedestrian airbag. For example, when detecting a collision with a pedestrian, the pedestrian protection device driving unit 643 may control to lift up the hood and deploy the pedestrian airbag.
  • the lamp driver 650 may electronically control various lamp apparatuses in the vehicle 100 .
  • the air conditioning driving unit 660 may perform electronic control of an air conditioner (air cinditioner) in the vehicle 100 . For example, when the temperature inside the vehicle is high, the air conditioning driving unit 660 may control the air conditioner to operate to supply cool air to the interior of the vehicle.
  • air conditioner air cinditioner
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the vehicle driving apparatus 600 may be operated under the control of the controller 170 .
  • the operation system 700 is a system for controlling various operations of the vehicle 100 .
  • the driving system 700 may be operated in an autonomous driving mode.
  • the driving system 700 may include a driving system 710 , a vehicle taking-out system 740 , and a parking system 750 .
  • the navigation system 700 may further include other components in addition to the described components, or may not include some of the described components.
  • the driving system 700 may include a processor.
  • Each unit of the navigation system 700 may each individually include a processor.
  • the operating system 700 when the operating system 700 is implemented in software, it may be a sub-concept of the control unit 170 .
  • the driving system 700 may control at least one of the user interface device 200 , the object detection device 300 , the communication device 400 , the vehicle driving device 600 , and the control unit 170 . It may be a concept that includes
  • the driving system 710 may perform driving of the vehicle 100 .
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100 .
  • the driving system 710 may receive object information from the object detecting apparatus 300 , and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the un-parking system 740 may perform un-parking of the vehicle 100 .
  • the un-parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive the object information from the object detection apparatus 300 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the parking system 750 may perform parking of the vehicle 100 .
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100 .
  • the parking system 750 may receive object information from the object detection apparatus 300 , and may provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the parking system 750 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the navigation system 770 may provide navigation information.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information on various objects on a route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include a memory and a processor.
  • the memory may store navigation information.
  • the processor may control the operation of the navigation system 770 .
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified into sub-components of the user interface device 200 .
  • the sensing unit 120 may sense the state of the vehicle.
  • the sensing unit 120 may include a posture sensor (eg, a yaw sensor, a roll sensor, a pitch sensor), a collision sensor, a wheel sensor, a speed sensor, and an inclination. sensor, weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a steering sensor by rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, an ultrasonic sensor, an illuminance sensor, an accelerator pedal position sensor, a brake pedal position sensor, and the like.
  • the sensing unit 120 may include vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, and a battery. Acquires sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, exterior illumination of the vehicle, pressure applied to the accelerator pedal, and pressure applied to the brake pedal can do.
  • the sensing unit 120 is, in addition, an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • the interface unit 130 may serve as a passage with various types of external devices connected to the vehicle 100 .
  • the interface unit 130 may have a port connectable to the mobile terminal, and may connect to the mobile terminal through the port. In this case, the interface unit 130 may exchange data with the mobile terminal.
  • the interface unit 130 may serve as a passage for supplying electrical energy to the connected mobile terminal.
  • the interface unit 130 may provide the electric energy supplied from the power supply unit 190 to the mobile terminal.
  • the memory 140 is electrically connected to the control unit 170 .
  • the memory 140 may store basic data for the unit, control data for operation control of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware.
  • the memory 140 may store various data for the overall operation of the vehicle 100 , such as a program for processing or controlling the controller 170 .
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170 .
  • the controller 170 may control the overall operation of each unit in the vehicle 100 .
  • the control unit 170 may be referred to as an Electronic Control Unit (ECU).
  • ECU Electronic Control Unit
  • the power supply unit 190 may supply power required for operation of each component under the control of the control unit 170 .
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control unit 170 include one or more processors and control unit 170, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the vehicle 100 related to the present invention may include a vehicle control device 800 .
  • the vehicle control apparatus 800 may control at least one of the components described with reference to FIG. 7 . From this point of view, the vehicle control device 800 may be the controller 170 .
  • the present invention is not limited thereto, and the vehicle control device 800 may have a separate configuration independent of the control unit 170 .
  • the vehicle control apparatus 800 may be provided in a part of the vehicle 100 .
  • the vehicle control device 800 described in this specification may include all types of devices capable of controlling a vehicle, and may be, for example, a mobile terminal.
  • the vehicle control device 800 is a mobile terminal
  • the mobile terminal and the vehicle 100 may be connected to each other through wired/wireless communication.
  • the mobile terminal may control the vehicle 100 in various ways in a communication-connected state.
  • the processor 870 described herein may be a controller of the mobile terminal.
  • the vehicle control device 800 will be described as a separate component independent of the control unit 170 .
  • the functions (operations) and control methods described for the vehicle control apparatus 800 in this specification may be performed by the control unit 170 of the vehicle. That is, all the contents described in relation to the vehicle control device 800 may be analogously applied to the control unit 170 in the same/similar manner.
  • the vehicle control apparatus 800 described in this specification may include the components described with reference to FIG. 7 and some of various components provided in the vehicle.
  • the components described with reference to FIG. 7 and various components provided in the vehicle will be described with separate names and reference numerals.
  • FIG. 8 is a block diagram illustrating a vehicle control apparatus according to the present invention.
  • the vehicle control apparatus 800 related to the present invention may be configured to control at least one component illustrated in FIG. 7 .
  • the vehicle control device 800 may include an interface unit 810 for communicating/controlling components included in the vehicle and a processor 870 for controlling components included in the vehicle.
  • the interface unit 810 may, for example, analogously apply the contents of the interface unit 130 described with reference to FIG. 7 in the same/similar manner.
  • the interface unit 810 may serve as a passage with the components included in the vehicle 100 illustrated in FIG. 7 .
  • the interface unit 810 may include a port connectable to the display unit 251 of the vehicle, and may be connected to the display unit 251 of the vehicle through the port. In this case, the interface unit 810 may exchange data with the display unit 251 of the vehicle.
  • the interface unit 810 may serve as a passage for supplying electric energy to the vehicle control device 800 connected to the vehicle 100 .
  • the vehicle control device 800 is controlled through the interface unit 810 under the control of the controller 170 .
  • the electric energy supplied from the power supply unit 190 may be provided.
  • the vehicle control device 800 described in this specification may mean an independent part/device/module that is formed to be detachably attached to a vehicle.
  • the functions of the vehicle control device 800 described in this specification can be analogously applied to the same/similarly applied functions even if the vehicle is changed, and the vehicle control device 800 is configured to operate the vehicle through the interface unit regardless of the type of vehicle. Based on being connected with, it can be performed independently.
  • the vehicle control device 800 may include a communication unit (not shown).
  • the vehicle control device 800 may be wirelessly connected to the vehicle 100 , the mobile terminal, and the wireless Internet network through the communication unit.
  • the vehicle control device 800 may include an interface unit 810 and may be connected to the vehicle 100 and/or the mobile terminal by wire through the interface unit.
  • the interface unit 810 may be communicatively connected to the display unit 251 provided in the vehicle 100 .
  • the display unit 251 may include a transparent display.
  • the transparent display may be attached to a wind shield or window of a vehicle. That is, the display unit 251 of the present invention may include a windshield and a window.
  • that the processor outputs any information (or graphic object) to the display unit 251 means that the certain information (or graphic object) is output to the windshield or any information (or graphic object) to the window It can include outputting.
  • the display unit 251 includes one area of the steering wheel, one area 251a, 251b, and 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one area of the door. It may be disposed in the area 251g, one area of the center console, one area of the head lining, one area of the sun visor, or it may be implemented in one area 251c of the windshield and one area 251h of the window.
  • the display unit 251 may include a cluster, a center information display (CID), a navigation device, and a head-up display (HUD).
  • CID center information display
  • HUD head-up display
  • the display unit 251 may implement a touch screen by forming a mutually layered structure with the touch sensor or being integrally formed.
  • This touch screen functions as the input unit 210 that provides an input interface between the vehicle 100 (or the vehicle control device 800 ) and the user, and at the same time, the vehicle 100 (or the vehicle control device 800 ). It can provide an output interface between the user and the user.
  • the processor 870 may output various information related to the vehicle to the display unit 251 . Also, the processor 870 may output the vehicle-related information to different locations of the display unit 251 according to the type of vehicle-related information.
  • the processor 870 may output the graphic object to the display unit 251 in a preset manner based on the location of the destination and the driver's gaze.
  • the display unit 251 may be a navigation system 770 (or a navigation device). Also, the display unit 251 may include a navigation system 770 .
  • the display unit 251 may mean a navigation device provided in the present vehicle 100 , and the navigation device may be built-in from the time the vehicle 100 is shipped from the factory, or may be installed by a user. It may be a navigation device.
  • the display unit 251 may mean a vehicle navigation system, and may indicate a navigation system independent of a navigation system provided by a mobile terminal.
  • Contents described with respect to the display unit 251 in this specification may be analogously applied to the navigation system 770 , a navigation device, or a vehicle navigation system.
  • the vehicle control apparatus 800 may include a processor 870 that controls the display unit 251 provided in the vehicle through the interface unit 810 .
  • the processor 870 through the interface unit 810, the display unit 251 provided in the vehicle to output an AR (Augmented Reality) image (or augmented reality image, augmented reality information, AR information) the display unit (251) can be controlled.
  • AR Augmented Reality
  • the display unit 251 may output the AR image to the windshield of the vehicle or the window of the vehicle in order to output the AR image on the actual appearance of the real world.
  • the display unit 251 may be a transparent display provided in the windshield or window, or a projector or Head-Up Display (HUD) formed to output information on the windshield or window.
  • HUD Head-Up Display
  • the display unit 251 determines the relative position of the driver's gaze and the destination through the sensing unit 120 provided in the vehicle, and looks at the destination. It can detect the driver's gaze.
  • the sensing unit 120 may determine a relative position between the vehicle and the destination based on the location of the vehicle and the location of the destination (eg, a building including the destination).
  • the sensing unit 120 may detect the gaze (or gaze direction) of the driver driving the vehicle 100 , for example, through a camera configured to photograph the interior of the vehicle.
  • the sensing unit 120 detects a driver's gaze passing through the display unit 251 (eg, a windshield) and looking at (gazing at) a destination, and the display unit through which the driver's gaze passes ( 251) can be detected.
  • the display unit 251 eg, a windshield
  • the display unit through which the driver's gaze passes ( 251) can be detected.
  • the display unit 251 (or the processor 270 for controlling the output unit 250) displays the AR image to the user on the destination (eg, a building corresponding to (including) the destination).
  • the one point of the display unit 251 eg, a windshield
  • the one point of the display unit 251 ie, a point of the display unit through which the driver's gaze passes when the driver's gaze looks at the destination
  • the functions/operations/control methods performed by the display unit 251 and the sensing unit 120 may also be performed by the control of the vehicle control device 800 .
  • the processor 870 of the vehicle control device 800 controls the display unit 251 provided in the vehicle so that the AR image is displayed overlaid on the building including the destination is the AR image from the driver's point of view.
  • the AR image is displayed overlaid on the building, and the AR image is displayed at a point of the display unit (windshield) through which the driver's gaze passes. can do.
  • 9A is a flowchart for explaining a representative control method of the present invention.
  • the processor 870 may receive destination information through the interface unit 810 (S810).
  • the destination information is input/received through the input unit 210 provided in the vehicle, received through the navigation system 770 , or through a mobile terminal connected to communicate with the vehicle 100 or the vehicle control device 800 . may be received, but is not limited thereto.
  • the destination information may have various forms, such as a place, an address, a phone number, a brand name, and a business name.
  • the processor 870 may obtain the spatial coordinates of the building corresponding to the destination information from the map information (S820).
  • the processor 870 may acquire (extract, detect) the spatial coordinates of a building corresponding to the destination information from map information, not an image acquired through a camera.
  • the building corresponding to the destination information may mean a building in which the destination included in the destination information is located.
  • One building may include at least one or more destinations.
  • the processor 870 may control the display unit 251 provided in the vehicle so that a graphic object related to the destination information is displayed overlaid on the building, based on the spatial coordinates of the building corresponding to the destination information (S830). ).
  • the graphic object related to the destination information may refer to the AR image described above.
  • a graphic object related to destination information means a trademark or emblem corresponding to the destination information, for example, when the destination is a place operated by a specific brand, the trade name, trademark, emblem, etc. of the specific brand can do.
  • the object related to the destination information may serve as a signboard for the destination to inform people of the location of the destination.
  • the destination or destination information may refer to a Point Of Interest (POI).
  • POI Point Of Interest
  • a destination, destination information, a building corresponding to the destination information, POI, and the like will be mixed and used, and a graphic object, an emblem, and an AR image related to the destination information will be mixed and used.
  • vehicle control device described in this specification may be called an AR engine in that it outputs a graphic object related to destination information in augmented reality on a building corresponding to the destination information.
  • 9B is a flowchart illustrating a method of controlling an AR image to be displayed on a building according to an embodiment of the present invention.
  • the processor 870 may render a three-dimensional figure including the building by using the spatial coordinates of the building corresponding to the destination information.
  • the processor 870 may control the display unit 251 to output a graphic object related to destination information on at least one of the plurality of surfaces forming the three-dimensional figure.
  • the processor 870 may determine (determine) whether spatial coordinates of a building corresponding to the destination information exist in the map information.
  • the map information may be stored in a memory (not shown) provided in the vehicle control device 800 , or may be stored in a memory 140 provided in the vehicle.
  • the map information may include coordinate information for each place and, when the corresponding place is a building, spatial coordinates of the building.
  • the map information may include more coordinate information and spatial coordinates as the high-precision map increases.
  • the processor 870 determines an adjacent building of the building corresponding to the destination information, and based on the spatial coordinates of the adjacent building, the destination information It is possible to render a three-dimensional figure including a building corresponding to .
  • the processor 870 may render a three-dimensional figure including the building corresponding to the destination information by using the spatial coordinates.
  • the processor 870 may determine the slope of the road on which the vehicle is traveling from the map information, and may match the building corresponding to the destination information by tilting the three-dimensional figure to correspond to the determined slope.
  • the processor 870 may control the display unit to output a graphic object related to the destination information based on a three-dimensional figure inclined to correspond to the inclination.
  • the processor 870 may search for a nearby POI building. At this time, the processor 870, based on the coordinate information (POI location, center coordinates) included in the destination information, when the vehicle enters within a preset radius from the destination corresponding to the destination information, the surrounding POI building search can be performed.
  • the coordinate information POI location, center coordinates
  • the processor 870 may determine whether shape information (shape point or spatial coordinates) of a building (neighboring POI building) corresponding to the destination information exists in the map information (S920).
  • the processor 870 is configured to generate a shape point (ie, spatial coordinates) of a nearby building (ie, a building corresponding to the destination information) from the map information (eg, e1, e2, e3, 34, e5, and e6) may be obtained (S930).
  • a shape point ie, spatial coordinates
  • a nearby building ie, a building corresponding to the destination information
  • the map information eg, e1, e2, e3, 34, e5, and e6
  • the processor 870 may calculate a bounding box (ie, a three-dimensional figure) including the building shape point based on the shape point of the building.
  • a bounding box ie, a three-dimensional figure
  • the bounding box (three-dimensional figure) may be formed to include a building corresponding to the destination information, and may be expressed by predetermined coordinate information (P1, P2, P3, P4). For example, since the shape of the building may vary, the bounding box (three-dimensional figure) may have a shape of a hexahedron.
  • the processor 870 may obtain a shape point of a building around the POI location (the location of the destination information) (S950).
  • the neighboring building may refer to a neighboring building existing within a predetermined radius from the corresponding building, not the building including the destination information.
  • the processor 870 may predict the shape of a POI building from the shape of the surrounding building ( S960 ), and render a three-dimensional figure including the POI building based on the predicted information.
  • the processor 870 may estimate a surface visible to the camera among the coordinates ((P1, P2, P3, P4) or (P1', P2', P3', P4)) of the rendered three-dimensional figure ( S970).
  • the processor 870 may estimate the slope of the surface visible to the camera based on at least one of the slope and the altitude value of the road on which the vehicle is traveling ( S980 ).
  • the processor 870 may tilt an AR image (ie, a graphic object related to destination information) to a surface visible to the camera and output it to the visible surface (S990).
  • an AR image ie, a graphic object related to destination information
  • FIG. 10 is a conceptual diagram for explaining the method illustrated in FIGS. 9A and 9B .
  • the processor 870 of the vehicle control device 800 included in the vehicle 100 may obtain the spatial coordinates of the building 1000 corresponding to the destination information from the map information.
  • the processor 870 may render the three-dimensional figure 1010 including the building 1000 by using the spatial coordinates of the building 1000 corresponding to the obtained destination information.
  • the processor 870 outputs the graphic objects 1020a and 1020b related to destination information to at least one surface (one or more surfaces) among the plurality of surfaces forming the three-dimensional figure 1010 so that the display unit 251 is output. can control
  • FIG. 10 it is shown that graphic objects 1020a and 1020b related to destination information are output (irradiated) from the vehicle to the building 1010, but it should be noted that the graphic object related to destination information is not directly irradiated to the building. do.
  • the display unit 251 eg, windshield or window
  • the graphic objects 1020a and 1020b related to the destination information are superimposed on the building 1010.
  • the graphic object is outputted using augmented reality technology.
  • the present invention is not limited thereto, and when the display unit provided in the vehicle is a projector, the contents of overlapping and outputting the graphic object described in this specification on the building may include the contents of directly outputting the graphic object to the building.
  • 11A, 11B, 11C, 11D, 11E, 11F, 11G, and 11H are conceptual diagrams for explaining a method of obtaining coordinates of a building including a destination according to an embodiment of the present invention.
  • the processor 870 of the vehicle control device 800 of the present invention selects a building adjacent to the building corresponding to the destination information. can decide
  • the processor 870 is configured to, as shown in FIG. 11A , the building corresponding to the destination information. may determine adjacent buildings 1110a and 1110b of .
  • spatial coordinates of the building corresponding to the destination information eg, shape point information (latitude and longitude coordinate values corresponding to the vertices of the building and the number of floors or the ground from which the height of the building can be estimated) height value
  • the center coordinate 1102 of the corresponding destination information may exist.
  • the processor 870 when the spatial coordinates for the building 1100 do not exist, based on the central coordinates 1102 of the Mokjikji information, the adjacent building 1110a of the building 1100 corresponding to the destination information, 1110b) can be determined.
  • the adjacent building may be called a candidate building.
  • the processor 870 may render a three-dimensional figure including the building 1100 corresponding to the destination information, based on the spatial coordinates of the adjacent building.
  • the processor 870 uses the spatial coordinates (shape point information) of the adjacent buildings 1110a and 1110b, and the bounding boxes of the adjacent buildings 1110a and 1110b ( 3D figures) 1114a and 1114b can be determined.
  • the bounding box may mean the largest figure (eg, a quadrangle, a hexahedron) including the vertices of each building.
  • the processor 870 generates straight lines 1116a and 1117a extending from each side of the bounding box 1114a of the first adjacent building (the first candidate building) 1110a and , as shown in FIG. 11D , straight lines 1116b and 1117b extending from each side of the bounding box 1114b of the second adjacent building (second candidate building) 1110b may be generated.
  • the processor 870 determines the straight lines 1116a, 1117a, 1116b, and 1117b generated from all adjacent buildings adjacent to the building corresponding to the destination information, as shown in FIGS. 11E and 11F , and the destination information. It is possible to select a plurality of straight lines on which the feet of the perpendicular are placed from the center coordinates 1102 of the destination information by lowering the feet 1106 of the perpendicular to the straight lines from the center coordinates 1102 of .
  • the processor 870 determines an area 1108 of a minimum area formed by a plurality of straight lines on which the water line is placed, and a figure formed by the determined area 1108 . can be estimated (defined) as the shape of the building corresponding to the destination information.
  • the processor 870 may render a three-dimensional figure based on the shape of a building corresponding to the destination information estimated by the area 1108 .
  • the building (POI building) corresponding to the destination information even if the spatial coordinates of the building corresponding to the destination information do not exist in the map information, based on the spatial coordinates (or shape point information) of the adjacent building, the building (POI building) corresponding to the destination information A method for estimating the shape of
  • the graphic object (eg, emblem) related to the destination information is irradiated according to the distance, angle, direction, and whether an adjacent building exists between the vehicle and the building corresponding to the destination information. You can determine the number of sides of the building.
  • 12A, 12B, 12C, 12D, 12E, 12F, 12G, 12H, 12I, and 12J are diagrams of a building to display an AR image according to the distance between the vehicle and the building including the destination It is a conceptual diagram to explain how to select a face.
  • the processor 870 may determine an angle between a moving direction of the vehicle and a three-dimensional figure including the building, based on the current location of the vehicle 100 and the spatial coordinates of the building.
  • the processor 870 may determine the number of surfaces on which the graphic object related to the destination information is output in the three-dimensional figure, based on the determined angle.
  • the processor 870 displays a graphic object related to destination information to be output on any one of a plurality of surfaces of the three-dimensional figure including the building.
  • the unit 251 may be controlled.
  • the processor 870 is configured to output the graphic object to at least two surfaces among a plurality of surfaces of a three-dimensional figure including the building ( 251) can be controlled.
  • the processor 870 may increase the number of graphic objects to be output based on the change of the angle from the first angle to the second angle by driving of the vehicle.
  • the one surface may vary depending on whether another building exists between the building corresponding to the destination information and the vehicle.
  • the processor 870 is, for each side of the three-dimensional figure rendered based on the spatial coordinates of the building corresponding to the destination information (or the spatial coordinates inferred through the neighboring buildings existing in the vicinity), the current A straight line from the vehicle to two vertices at both ends of each face can be calculated.
  • the processor 870 may calculate an angle between any one of the two straight lines and the traveling direction of the vehicle. For example, the processor 870 may determine the number of surfaces on which the graphic object is output based on an angle between a straight line up to a vertex close to the vehicle and a traveling direction of the vehicle among the two angles.
  • the number of each surface may include at least three or more, and the processor 870 determines different coordinates placed parallel to the traveling direction of the vehicle, except for coordinates that differ only in height values among the at least three or more coordinates.
  • a straight line can be calculated as a reference.
  • the processor 870 may calculate an angle between the vehicle and two straight lines connecting both vertices of the first surface 1200a of the building corresponding to the destination information and the vehicle.
  • the processor 870 may calculate a straight line between the vehicle and both vertices of the second surface 1200b of the building corresponding to the destination information.
  • the processor 870 may calculate a straight line between the vehicle and both vertices of the third surface 1200c of the building corresponding to the destination information.
  • the processor 870 determines whether the surface is visible to the user (in other words, the surface visible in the camera view) based on whether another building (or object) exists between the calculated straight lines and the vehicle. can judge whether the surface is visible to the user (in other words, the surface visible in the camera view) based on whether another building (or object) exists between the calculated straight lines and the vehicle. can judge whether the surface is visible to the user (in other words, the surface visible in the camera view) based on whether another building (or object) exists between the calculated straight lines and the vehicle. can judge
  • the processor 870 is configured so that the adjacent building 1110b does not overlap between the straight lines connecting the vehicle 100 and the first surface 1200a of the building,
  • the first surface 1200a may be determined as a surface visible to the camera view.
  • the surface visible in the view of the camera may be determined as a surface on which destination information can be output as an AR image overlaid on the building.
  • a point 1210a passing through the other building 1110b exists on any one of the straight lines connecting the vehicle 100 and the second surface 1200b of the building, or
  • the processor 870 and the second and third surfaces are , can be determined by the face obscured by the camera field of view.
  • the processor 870 may not output a graphic object related to destination information.
  • the processor 870 forms an angle between the vehicle and the three-dimensional figure (specifically, the traveling direction of the vehicle and the surface 1200a visible from the camera view of the three-dimensional figure)
  • the angle between the straight lines connecting the vertices close to the vehicle among the vertices) may increase as the angle between the vehicle and the building corresponding to the destination information is closer.
  • the processor 870 when the angle is a first angle (eg, 10 degrees) smaller than a preset angle (eg, 15 degrees) (or between a vehicle and a building corresponding to the destination information) If the distance exceeds a certain distance), the processor 870 superimposes a graphic object related to destination information on any one surface of the three-dimensional figure (for example, the surface 1200a visible in the vehicle's camera view) and augments it
  • the display unit 251 may be controlled to be output in reality.
  • the one surface may be a surface facing the road on which the vehicle is traveling.
  • the processor 870 places the destination information on at least two surfaces of the three-dimensional figure (eg, the surface 1200a visible to the camera and the surface 1200b facing the vehicle), respectively.
  • the display unit 251 may be controlled so that graphic objects related to are displayed overlapping each other.
  • the processor 870 even if the angle is the second angle, when another building exists between the building 1100 and the vehicle 100 , the surface 1200a visible in the camera view ) can output graphic objects related to destination information only.
  • the processor 870 may output a graphic object related to destination information on a plurality of surfaces.
  • the processor 870 may output the graphic object related to the destination information to the augmented reality so as to be superimposed on the building, as well as the camera In addition, the graphic object may be output in augmented reality so as to be superimposed on the building.
  • 13A, 13B, 13C, 13D, 13E, 13F, and 13G are conceptual diagrams for explaining a method of determining a building corresponding to a destination using an image received through a camera.
  • the interface unit 810 included in the vehicle control device 800 may be communicatively connected to a camera provided in the vehicle 100 .
  • the processor 870 receives an image from the camera 310 provided in the vehicle, detects an edge component for a building area from the received image, and uses the edge component to convert a three-dimensional figure into destination information. You can match the corresponding building.
  • the processor 870 may receive an image (camera image) processed through the camera 310 provided in the vehicle through the interface unit 810 .
  • the processor 870 may recognize (classify, detect) a building object in units of pixels in the received camera image 1300 .
  • the processor 870 may recognize (classify, detect) a building object in a pixel unit from a camera image by applying a semantic segmentation technique of a general deep learning method.
  • 13A (b) shows result data 1310 to which the semantic segmentation technique is applied, and the processor 870 may identify a building area using the result data 1310 .
  • the processor 870 may perform edge detection on the classified building area and extract lines 1320 that satisfy a vertical direction from among the detected edge lines.
  • the processor 870 may extract edge lines by applying a line segmentation technique.
  • the processor 870 in the map information, as shown in FIG. 13C , the shape point information (spatial coordinates) of all the buildings 1330a, 1330b, and 1330c existing within a specific radius based on the location of the current vehicle 100. ) can be extracted (received).
  • the processor 870 may project the received shape point information of the building onto the area of the camera image 1300 .
  • the building pixel in the actual camera image and the outline of the building may not match.
  • the processor 870 determines an outermost vertical edge 1350 of the building area 1340 projected on the image 1300, as shown in (a) and (b) of FIG. 13E , and the image 1300 ), a displacement value that minimizes the cost function with the vertical edge parts 1320 included in the building area may be calculated.
  • the condition of the cost function can be designed as follows.
  • the processor 870 determines that the disparity value in which the vertical edge 1320 lines are most included in the building area, the pixel distance between the outermost vertical edge 1350 of the building and the vertical edge 1320 lines included in the building area is the minimum.
  • the condition of the cost function may be designed to include at least one of a disparity value or a disparity value in which a building label pixel corresponding to the building recognition result (FIG. 13E(b)) is most included in the building area.
  • the processor 870 performs the pixel vertex (vertex) coordinates of the building by the disparity value calculated based on any one of the above conditions (ie, the three-dimensional figure 1350 including the building) coordinates) may be translated on the image 1300 to remove a matching error for a position error.
  • the processor 870 defines the first surface 1340a as a visible surface, and for the second surface 1340b, the number of building recognition pixel labels Since it is below a certain threshold, it can be defined as an invisible surface.
  • the processor 870 may control the display unit 251 so that a graphic object related to destination information is overlaid on a surface defined as a visible surface and output as augmented reality, and the graphic object is not output on an invisible surface.
  • the vehicle control device of the present invention superimposes a graphic object related to the destination information on the building in an optimized method even when the building corresponding to the destination information is tilted based on the vehicle as the road on which the vehicle is driving is inclined. You can provide a way to output it.
  • 14A, 14B and 14C are conceptual views for explaining a method of outputting an AR image to a building when the vehicle of the present invention is driving on an inclined road.
  • the processor 870 may determine the slope of the road on which the vehicle is traveling from the map information.
  • the processor 870 may match the building corresponding to the destination information by tilting the three-dimensional figure to correspond to the determined inclination.
  • the processor 870 may control the display unit 251 to output a graphic object related to destination information based on a three-dimensional figure inclined to correspond to the inclination.
  • the processor 870 may tilt the three-dimensional figure to correspond to the inclination, and control the display unit 251 so that the graphic object related to the destination information is overlapped and output in augmented reality on the inclined three-dimensional figure.
  • the processor 870 may extract height information of a building corresponding to destination information from map information.
  • map information may be defined for each node of a map constituting a road.
  • the altitude value extraction point includes a first node location that is a specific distance before the current location of the vehicle 100, and a building 1400 corresponding to the second node and destination information to be accessed by the vehicle 100 next. It can be defined as up to the next third node passing through (POI building).
  • the processor 870 may define a segment (a first segment and a second segment) composed of two nodes having a close distance.
  • the processor 870 defines a first segment including a first node and a second node, and defines a second segment by defining a second node and a third node. can do.
  • the number of segments may be defined as (total number of nodes -1).
  • the processor 870 may calculate an altitude change rate (slope) of the segments.
  • the altitude change rate (slope) may be defined as the difference between the altitude value of the front node and the altitude value of the previous node in the order of the driving direction.
  • the rate of change of the first segment may be calculated as (the altitude value of the second node minus the altitude value of the first node).
  • the processor 870 may determine that the road is uphill if the rate of change is positive, the road is bet if it is negative, and the road is flat if there is no change to 0.
  • the processor 870 determines that the elevation change rate of the first segment corresponding to the current location of the vehicle 100 is 0 and is determined to be a flat road
  • the POI building a building corresponding to the destination information
  • the AR image graphics object related to the destination
  • the processor 870 performs the first It is possible to determine the slope of the two segments.
  • the processor 870 When it is determined that the slope (altitude change rate) of the second segment corresponding to the current location of the vehicle 100 is positive or negative (uphill or downhill), the processor 870 is configured to generate a three-dimensional figure including the building 1400 . 1410 may be tilted by the altitude change rate (slope).
  • the magnitude of the angle at which the three-dimensional figure 1410 is inclined may be the same as the inclination (altitude change rate) of the ground according to a trigonometric function, as shown in (a) of FIG. 14C .
  • the direction in which the three-dimensional figure 1410 is inclined may vary depending on whether the inclination is positive or negative, and as shown in (b) of FIG. 14C , the three-dimensional figure 1410 is inclined in a direction matching the building.
  • the direction can be determined.
  • the three-dimensional figure may be tilted in a direction to lie down when the road is on a hill, and the three-dimensional figure can be tilted in a direction to pull forward when the road is downhill.
  • the present invention while the building is erected in the direction of gravity, if the road is inclined, from the vehicle's point of view, it can be determined that the building is inclined, but reflecting this, the three-dimensional figure including the building is tilted and , by superimposing a graphic object related to destination information on an inclined three-dimensional figure and outputting it as augmented reality, it is possible to realize optimized augmented reality.
  • 15A, 15B, 15C, 15D, and 15E are conceptual diagrams for explaining a method of outputting an AR image related to a destination on a building by the vehicle control device of the present invention.
  • the processor 870 may control the display unit 251 to output a graphic object related to destination information spaced apart from the ground by a predetermined interval.
  • the processor 870 may implement augmented reality to be shown to the user in a state spaced apart from the ground by a predetermined distance in a building corresponding to the destination information.
  • the processor 870 receives a graphic object (emblem) related to destination information from a cloud server, the Internet, or an external device through the interface unit 810, or receives a vehicle memory or a vehicle control device.
  • a graphic object 1500 related to the destination information may be received from a memory (not shown) of the .
  • the graphic object 1500 may have a predetermined ratio of width and height.
  • the processor 870 determines a three-dimensional figure 1510 including a building on which the graphic object is to be output, so that the graphic object can be output on the determined surface, As shown in (c) of 15a, the coordinates of the graphic object may be set.
  • the processor 870 may obtain vertex coordinates P1 , P2 , P3 , and P4 of the three-dimensional figure of the building in a three-dimensional coordinate system centered on the vehicle and the height h of the building.
  • the processor 870 performs texture mapping (OpenGL) on the graphic object (emblem image) of the pixel coordinate system into the three-dimensional coordinate system P2, P3, T3, T2, and projects it to the camera view, so that the graphic object is It may be displayed overlaid on the building in augmented reality.
  • the processor 870 when projecting the graphic object, rotated by the inclination angle of the road and projected to implement augmented reality so that the graphic object appears to be drawn on the surface of the building.
  • the projection matrix may be calculated and stored in advance through camera calibration.
  • the processor 870 may set a height q to be displayed from the ground and a padding p with a building edge.
  • the processor 870 may control the display unit to output a graphic object related to the destination information spaced apart from the ground by a predetermined distance q.
  • the processor 870 may output the graphic object in different sizes based on the size of at least one surface determined to output the graphic object related to the destination information.
  • the processor 870 may output a graphic object while observing the clearance gap p and a predetermined height q from the ground, and accordingly, according to the size of the building surface on which the graphic object is output. , the size of the graphic object may vary.
  • the processor 870 performs the height q from the ground and the building edge (here, the building edge is the ground A graphic object can be output so that the free distance from the edge of ) is maintained.
  • the output size of the graphic object may be changed so that the clearance distance from the edge of the building is maintained.
  • the processor 870 as shown on the right side of Figure 15c, even if the height of the building is high, while maintaining the ratio of the graphic object, the display unit 251 to output the graphic object to the building in augmented reality. can be controlled
  • the processor 870 sets the predetermined interval so that the neighboring building and the graphic object do not overlap. You can also change it.
  • the processor 870 is configured to prevent the graphic object from being displayed while being overlapped with the adjacent building.
  • the predetermined distance q from the ground set to be output may be changed to be longer.
  • the processor 870 may be applied when the height of the building corresponding to the destination information is higher than the adjacent building, and the graphic object is displayed on the building in a state positioned above the adjacent building.
  • the predetermined interval can be changed to be longer.
  • the processor 870 may control the size of the graphic object so that the graphic object related to the destination information is displayed to the user in a different size according to the size of the surface of the displayed building by being superimposed in augmented reality.
  • the processor 870 may change the display position at which the graphic object is output based on the movement of the vehicle.
  • the processor 870 changes the display position of the graphic object to the moving direction of the vehicle so that the distance between the vehicle and the graphic object is kept constant.
  • the processor 870 sets the graphic object to the boundary line even if the distance between the vehicle and the graphic object decreases. can keep
  • the processor 870 may stop outputting the graphic object.
  • the processor 870 enters within a preset distance based on a three-dimensional figure 1510 of a building where the vehicle is set to output a graphic object. Then, the display position of the graphic object may be changed in the traveling direction of the vehicle so that the graphic object maintains a constant distance from the vehicle 100 .
  • the processor 870 when the graphic object reaches the boundary line that can no longer move, as shown in (c) of FIG. 15E, even if the distance between the vehicle and the graphic object becomes narrower, the graphic object The object can be maintained in a state that has reached the boundary line.
  • 16A, 16B, 16C, and 16D are conceptual diagrams for explaining an AR image output method when coordinates of a building including a destination cannot be obtained.
  • the processor 870 When the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, the processor 870 outputs a pre-generated three-dimensional figure to the periphery of the building corresponding to the destination information. and control the display unit to output the graphic object on the pre-generated three-dimensional figure.
  • the processor 870 cannot extract (receive) the shape (spatial coordinates, three-dimensional figure) of the building (POI building) 1600 corresponding to the destination information from the map, the building from nearby candidate buildings
  • the shape (spatial coordinates, three-dimensional figure) of the building cannot be inferred and when the object covering the building exceeds a specific area by camera image recognition and the building cannot be detected, a virtual building that replaces the POI building ( That is, the generated three-dimensional figure) may be output to the periphery of the building corresponding to the destination information.
  • the priority of the output positions of the previously generated three-dimensional figures (virtual buildings) 1610a, 1610b, and 1610c is as shown in FIG. 16A.
  • the priority is, based on the direction of travel of the vehicle 100, the first priority is the building immediately before the POI building 1610a, the second priority is the building immediately following the POI building 1610b, and the third priority is the POI building right It may be set as a side building 1610c.
  • the processor 870 is configured to, when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, a pre-generated three-dimensional figure (virtual building 1610a) is output to the vicinity of a building corresponding to the destination information (in the case of the first priority, a location immediately before the building), and a graphic object 1630 related to the destination information on the pre-generated three-dimensional figure ) and an indicator 1622 indicating a building corresponding to the destination information overlap and control the display unit 251 to be displayed in augmented reality.
  • a pre-generated three-dimensional figure virtual building 1610a
  • the processor 870 is configured to, when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, a pre-generated three-dimensional figure (virtual building 1610a) is output to the vicinity of a building corresponding to the destination information (in the case of the first priority, a location immediately before the building), and a
  • additional information 1640a indicating that destination information exists in the next building based on the previously generated three-dimensional figure may be further output to the display unit 251 as shown in (b) of FIG. 16B . have.
  • the processor 870 is configured to, when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, a pre-generated three-dimensional figure (Virtual building 1610a) is output to the vicinity of the building corresponding to the destination information (in the case of the second priority, the location immediately following the building), and a graphic object 1630 related to the destination information is displayed on the pre-generated three-dimensional figure. ) and an indicator 1622 indicating a building corresponding to the destination information overlap and control the display unit 251 to be displayed in augmented reality.
  • a pre-generated three-dimensional figure Virtual building 1610a
  • an indicator 1622 indicating a building corresponding to the destination information overlap and control the display unit 251 to be displayed in augmented reality.
  • additional information 1640b indicating that destination information exists in the previous building based on the previously generated three-dimensional figure may be further output to the display unit 251, as shown in (b) of FIG. 16C. have.
  • the processor 870 is configured to, when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, the previously generated three-dimensional figure (virtual building 1610a) is output to the periphery of the building corresponding to the destination information (in the case of the third priority, the location opposite the building), and a graphic object 1630 related to the destination information is displayed on the pre-generated three-dimensional figure. ) and an indicator 1622 indicating a building corresponding to the destination information overlap and control the display unit 251 to be displayed in augmented reality.
  • the previously generated three-dimensional figure virtual building 1610a
  • the processor 870 is configured to, when the spatial coordinates of the building corresponding to the destination information and the spatial coordinates of the adjacent building do not exist in the map information, the previously generated three-dimensional figure (virtual building 1610a) is output to the periphery of the building corresponding to the destination information (in the case of the third priority, the location opposite the building), and a graphic object 16
  • additional information 1640c indicating that destination information exists in the opposite building based on the previously generated three-dimensional figure is further output to the display unit 251, as shown in (b) of FIG. 16D.
  • the processor 870 stops outputting the graphic object to augmented reality based on the location of the vehicle 100 and the center point of the POI building (a building corresponding to the destination information), based on satisfying a preset condition can do.
  • the preset condition is that when the distance between the location of the vehicle and the center of the building is less than or equal to a specific distance, when the angle between the location of the vehicle and the center of the building is less than or equal to a certain angle, and the displayed AR image (graphic object) is a specific area in the camera image field of view. It may include, for example, an abnormal deviation.
  • the processor 870 may also make the graphic object displayed on the other side of the building disappear based on the following condition.
  • the following conditions may include a case where a specific time has elapsed, or a specific distance or angle or less.
  • the processor 870 may control the display unit 251 to not output an AR image (graphic object) corresponding to the overlapping surface when the vehicle/passenger recognition result overlaps the building pixel area recognized from the camera image. .
  • the processor 870 may display the overlapping area by applying transparency to the AR image (graphic object).
  • 17 is a flowchart illustrating a method for the vehicle control device of the present invention to output an AR image to a building of a destination.
  • the vehicle control device 800 may request a search for surrounding major POI buildings (S1700).
  • the navigation system 770 may search for a main building within a specific radius on the map, and transmit vertex data (spatial coordinates) of one or more POI buildings found to the AR engine 800 ( S1702 and S1704 ).
  • the AR engine 800 may convert each vertex (latitude and longitude coordinates) into a 3D coordinate system centered on the vehicle (S1706) and fit a bounding box (S1708).
  • the AR engine 800 may request a road elevation value from the vehicle to the POI building (S1710), and the navigation system 770 may transmit the road elevation value to the AR engine (S1712).
  • the AR engine 800 may calculate the inclination angle of the road from the altitude values and rotate the 3D coordinate system by the angle (S1714, S1716).
  • the AR engine 800 may check the remaining distance (S1718), and when the remaining distance is less than X2, it may perform a blinking monochromatic texture mapping on the front of the virtual building (S1728).
  • the AR engine 800 may texture-map the 2D emblem image into the 3D space (S1726).
  • the navigation system 770 may request the POI service client 1700 for metadata on the representative latitude and longitude values of the POI buildings ( S1720 ).
  • the POI service client 1700 may perform a POI database search and transmit metadata such as a business name, address, emblem, and image corresponding to the corresponding latitude and longitude to the AR engine (S1724).
  • the AR engine 800 may project and transform an AR image such as an emblem on a building ( S1730 ).
  • FIG. 18 is a conceptual diagram illustrating a system including a vehicle control apparatus according to an embodiment of the present invention.
  • the vehicle control device 800 of the present invention may include various components, and includes various components such as the vehicle 100 , the user input device 200 , and the output unit 250 . communication can be performed.
  • 19, 20, 21 and 22 are conceptual diagrams for explaining another example of outputting an AR image according to a distance between a vehicle and a building including a destination.
  • the processor 870 may calculate the optimal parameters based on the building height profile of the map data.
  • the processor 870 may collect height and height information of buildings existing in the road area up to the POI location with the vehicle camera as the center, and collect pixel coordinates that project the roof location of the building onto the camera view. have.
  • the processor 870 may calculate the trajectory end height by selecting the largest building from among the collected vertical pixel coordinates of the building roof, and back-projecting the vertical pixel coordinates of the tallest building in the selected camera view.
  • the processor 870 calculates C0, C1, and C2 corresponding to the degree of curve smoothness defined in advance from the trajectory height H, and calculates the optimal trajectory height (H) calculated from the building height profile. can decide
  • the processor 870 may apply the Bezier curve equation to calculate the smooth curve.
  • the processor 870 may calculate vertex information on the path using a parameterized curve such as a Bezier curve (C0, C1, and C2 of FIG. 20 are used as control points).
  • a parameterized curve such as a Bezier curve (C0, C1, and C2 of FIG. 20 are used as control points).
  • the processor 870 places the trajectory end point at the Z point of the camera frustum, and in the case of FIG. 20 , the trajectory end point and the icon may be located on the far plane.
  • the trajectory shape can be colored according to the design result, and when a complex shape is required, a texture can be used.
  • the processor 870 may use a blinking UX because AR visibility is reduced at a distance.
  • the processor 870 may output a graphic object (emblem) related to destination information in augmented reality on a plurality of surfaces of the building.
  • the processor 870 stops the output of the graphic object being displayed and outputs the graphic object to the other side. can do.
  • the processor 870 may display the direction and the sense of distance of the POI with a parabolic trajectory, at this time, FIG. 19 and The technique described with reference to FIG. 20 may be applied.
  • a user who can accurately output AR information to a building even on an inclined road by reflecting the inclination of the road ground and displaying the graphic object (emblem) related to the destination overlaid on the building. It has the effect of being able to provide an interface.
  • the vehicle control apparatus 800 described above may be included in the vehicle 100 .
  • the operation or control method of the vehicle control apparatus 800 described above may be analogously applied to the operation or control method of the vehicle 100 (or the control unit 170 ) in the same/similar manner.
  • control method of the vehicle 100 (or the control method of the vehicle control device 800 ) is,
  • a more specific embodiment may be substituted for the above-described content, or analogously applied in the same/similar manner.
  • Each of the above steps may be performed not only by the vehicle control device 800 , but also by the controller 170 provided in the vehicle 100 .
  • all functions, configurations, or control methods performed by the vehicle control device 800 described above may be performed by the controller 170 provided in the vehicle 100 . That is, all the control methods described in this specification may be applied to a control method of a vehicle or a control method of a control device.
  • vehicle control device 800 described above may be a mobile terminal.
  • all functions, configurations, or control methods performed by the vehicle control apparatus 800 may be performed by the control unit of the mobile terminal.
  • all of the control methods described in this specification may be analogously applied to the control method of the mobile terminal in the same/similar manner.
  • the present invention described above can be implemented as computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.
  • the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 제어 장치 및 그것의 제어 방법을 제공한다. 본 발명의 일 실시 예에 따른 차량 제어 장치는, 차량에 구비된 디스플레이부와 통신 연결되는 인터페이스부 및 상기 인터페이스부를 통해 차량에 구비된 디스플레이부를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 인터페이스부를 통해 목적지 정보를 수신하고, 상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득하며, 상기 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 상기 목적지 정보와 관련된 그래픽 객체가 상기 건물에 중첩되어 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.

Description

차량 제어 장치 및 그것의 제어 방법
본 발명은 차량 제어 장치 및 그것의 제어 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
차량에는 다양한 종류의 램프가 구비될 수 있다. 일반적으로, 차량은 야간 주행을 할 때 차량 주변에 위치한 대상물을 용이하게 확인할 수 있도록 하는 조명 기능 및 다른 차량이나 기타 도로 이용자에게 자기 차량의 주행 상태를 알리기 위한 신호 기능을 가지는 다양한 차량용 램프를 구비하고 있다.
예를 들어, 차량에는 전방에 빛을 조사하여 운전자의 시야를 확보토록 하는 전조등, 브레이크를 밟을 때 점등되는 브레이크등, 우회전 또는 좌회전 시 사용되는 방향지시등과 같이 램프를 이용하여 직접 발광하는 방식으로 작동하는 장치가 구비될 수 있다.
다른 예로, 차량의 전방 및 후방에는 자기 차량이 외부에서 용이하기 인식될 수 있도록 빛을 반사시키는 반사기 등이 장착되고 있다.
이러한 차량용 램프는 각 기능을 충분히 발휘하도록 그 설치 기준과 규격에 대해서 법규로 규정되어 있다.
한편, 최근에는 ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 최적화된 목적지 하이라이트 인터페이스를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는, AR 정보를 목적지가 포함된 빌딩에 최적화된 방법으로 출력할 수 있는 차량 제어 장치를 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량 제어 장치는, 차량에 구비된 디스플레이부와 통신 연결되는 인터페이스부 및 상기 인터페이스부를 통해 차량에 구비된 디스플레이부를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 인터페이스부를 통해 목적지 정보를 수신하고, 상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득하며, 상기 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 상기 목적지 정보와 관련된 그래픽 객체가 상기 건물에 중첩되어 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 건물의 공간 좌표를 이용하여, 상기 건물을 포함하는 입체도형으로 렌더링하고, 상기 입체도형을 형성하는 복수의 면 중 적어도 하나의 면에 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 지도 정보에 상기 목적지 정보에 대응하는 건물의 공간 좌표가 미존재하는 경우, 상기 목적지 정보에 대응하는 건물의 인접 건물을 결정하고, 상기 인접 건물의 공간 좌표에 근거하여, 상기 목적지 정보에 대응하는 건물을 포함하는 입체도형을 렌더링하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 차량의 현재 위치와 상기 건물의 공간 좌표에 근거하여, 상기 차량의 진행방향과 상기 건물을 포함하는 입체도형 사이의 각도를 결정하고, 상기 결정된 각도에 근거하여, 상기 입체도형에서 상기 목적지 정보와 관련된 그래픽 객체가 출력되는 면의 개수를 결정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 결정된 각도가 기 설정된 각도보다 작은 제1 각도인 경우, 상기 입체도형의 복수의 면 중 어느 하나의 면에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하고, 상기 결정된 각도가 상기 기 설정된 각도보다 큰 제2 각도인 경우, 상기 입체도형의 복수의 면 중 적어도 두 개의 면에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 차량의 주행에 의해 상기 각도가 상기 제1 각도에서 상기 제2 각도로 변경되는 것에 근거하여, 상기 그래픽 객체의 출력 개수를 증가시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 어느 하나의 면은, 상기 건물과 상기 차량 사이에 다른 건물이 존재하는지 여부에 따라 달라지는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 지도 정보로부터 상기 차량이 주행중인 도로의 기울기를 결정하고, 상기 결정된 기울기에 대응하도록 상기 입체도형을 기울여서 상기 목적지 정보에 대응하는 건물에 매칭하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기울기에 대응되도록 기울여진 입체도형을 기준으로 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 인터페이스부는, 상기 차량에 구비된 카메라와 통신 연결되는 것을 특징으로 하고, 상기 프로세서는, 상기 차량에 구비된 카메라로부터 영상을 수신하고, 수신된 영상에서 건물 영역에 대한 엣지 성분을 검출하며, 상기 엣지 성분을 이용하여, 상기 건물을 포함하는 입체도형을 상기 목적지 정보에 대응하는 건물에 매칭하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 목적지 정보와 관련된 그래픽 객체가 지면으로부터 소정 간격만큼 이격된 상태로 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 목적지 정보에 대응하는 건물 주변에 인접 건물이 존재하고, 상기 그래픽 객체와 상기 인접 건물이 중첩되는 경우, 상기 인접 건물과 상기 그래픽 객체가 미중첩되도록 상기 소정 간격을 변경하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 그래픽 객체를 출력하도록 결정된 적어도 하나의 면의 크기에 근거하여 서로 다른 크기로 상기 그래픽 객체를 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 그래픽 객체가 출력되도록 결정된 면의 폭이 상기 그래픽 객체의 폭보다 큰 경우, 상기 차량의 이동에 근거하여, 상기 그래픽 객체가 출력되는 표시위치를 변경하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 차량이 상기 입체도형을 기준으로 기 설정된 거리 이내로 진입하면, 상기 차량과 상기 그래픽 객체 사이의 거리가 일정하게 유지되도록 상기 그래픽 객체의 표시위치를 상기 차량의 진행방향으로 변경하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 그래픽 객체가 상기 결정된 면에서 출력되도록 설정된 영역의 경계선에 도달한 경우, 상기 차량과 상기 그래픽 객체 사이의 거리가 좁아지더라도 상기 그래픽 객체를 상기 경계선에 도달한 상태로 유지시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도 정보에 미존재하는 경우, 기 생성된 입체도형을 상기 목적지 정보에 대응하는 건물의 주변에 출력하고, 상기 기 생성된 입체도형 상에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 차량 제어 장치의 제어방법은, 목적지 정보를 수신하는 단계, 상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득하는 단계 및 상기 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 상기 목적지 정보와 관련된 그래픽 객체가 상기 건물에 중첩되어 표시되도록 디스플레이부를 제어하는 단계를 포함한다.
실시 예에 있어서, 상기 제어하는 단계는, 상기 건물의 공간 좌표를 이용하여, 상기 건물을 포함하는 입체도형으로 렌더링하고, 상기 입체도형을 형성하는 복수의 면 중 적어도 하나의 면에 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 차량은, 본 명세서에서 설명하는 차량 제어 장치를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명에 따르면, 본 발명은 목적지에 해당하는 건물 상에, 목적지와 관련된 그래픽 객체(예를 들어, 엠블럼)가 사용자에게 제공되도록 하는 최적화된 AR 기술을 제공할 수 있다는 효과가 있다.
둘째, 본 발명에 따르면, 본 발명은 도로 지면의 기울기를 반영하여, 목적지와 관련된 그래픽 객체(엠블럼)을 건물에 중첩되어 표시되도록 하여, 기울어진 도로에서도 정확하게 건물에 AR 정보를 출력할 수 있는 사용자 인터페이스를 제공할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 8은 본 발명의 차량 제어 장치를 나타낸 블록도이다.
도 9a는 본 발명의 대표적인 제어방법을 설명하기 위한 흐름도이다.
도 9b는 본 발명의 일 실시 예에 따른 AR 이미지를 건물 상에 표시되도록 제어하는 방법을 설명하기 위한 흐름도이다.
도 10은 도 9a 및 도 9b에서 살펴본 방법을 설명하기 위한 개념도이다.
도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 11g 및 도 11h는 본 발명의 일 실시 예에 따른 목적지를 포함하는 건물의 좌표를 획득하는 방법을 설명하기 위한 개념도이다.
도 12a, 도 12b, 도 12c, 도 12d, 도 12e, 도 12f, 도 12g, 도 12h, 도 12i 및 도 12j는 차량과 목적지를 포함하는 건물 사이의 거리에 따라, AR 이미지를 표시할 건물의 면을 선택하는 방법을 설명하기 위한 개념도이다.
도 13a, 도 13b, 도 13c, 도 13d, 도 13e, 도 13f 및 도 13g는 카메라를 통해 수신되는 영상을 이용하여, 목적지에 해당하는 건물을 결정하는 방법을 설명하기 위한 개념도이다.
도 14a, 도 14b 및 도 14c는 본 발명의 차량이 기울어진 도로를 주행중인 경우 건물에 AR 이미지를 출력하는 방법을 설명하기 위한 개념도이다.
도 15a, 도 15b, 도 15c, 도 15d 및 도 15e는 본 발명의 차량 제어 장치가 건물 상이 목적지와 관련된 AR 이미지를 출력하는 방법을 설명하기 위한 개념도이다.
도 16a, 도 16b, 도 16c 및 도 16d는 목적지를 포함하는 건물의 좌표를 획득할 수 없는 경우의 AR 이미지 출력 방법을 설명하기 위한 개념도이다.
도 17은 본 발명의 차량 제어 장치가 목적지의 건물에 AR 이미지를 출력하는 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 차량 제어 장치를 포함하는 시스템을 나타내는 개념도이다.
도 19, 도 20, 도 21 및 도 22는 차량과 목적지를 포함하는 건물 사이의 거리에 따라 AR 이미지를 출력하는 다른 예를 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명과 관련된 차량(100)은 차량 제어 장치(800)를 포함할 수 있다.
차량 제어 장치(800)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 차량 제어 장치(800)는 제어부(170)일 수 있다.
이에 한정되지 않고, 차량 제어 장치(800)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 차량 제어 장치(800)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 차량 제어 장치(800)는 차량(100)의 일부분에 구비될 수 있다.
한편, 본 명세서에서 설명하는 차량 제어 장치(800)는, 차량을 제어하는 것이 가능한 모든 종류의 기기를 포함할 수 있으며, 일 예로, 이동 단말기일 수 있다. 차량 제어 장치(800)가 이동 단말기인 경우, 이동 단말기와 차량(100)은 유/무선 통신을 통해 통신 가능하도록 연결될 수 있다. 또한, 이동 단말기는 통신 연결된 상태에서 다양한 방식으로 차량(100)을 제어할 수 있다.
차량 제어 장치(800)가 이동 단말기인 경우, 본 명세서에서 설명하는 프로세서(870)는, 이동 단말기의 제어부일 수 있다.
이하에서는, 설명의 편의를 위해 차량 제어 장치(800)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 차량 제어 장치(800)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 차량 제어 장치(800)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.
또한, 본 명세서에서 설명하는 차량 제어 장치(800)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 차량 제어 장치(800)에 포함되는 구성요소들에 대하여 보다 구체적으로 살펴보기로 한다.
도 8은 본 발명의 차량 제어 장치를 나타낸 블록도이다.
본 발명과 관련된 차량 제어 장치(800)는, 도 7에서 살펴본 적어도 하나의 구성요소를 제어하도록 형성될 수 있다. 이를 위해, 차량 제어 장치(800)는, 차량에 포함된 구성요소와 통신/제어하기 위한 인터페이스부(810) 및 차량에 포함된 구성요소들을 제어하기 위한 프로세서(870)를 포함할 수 있다.
인터페이스부(810)는, 일 예로, 도 7에서 설명한 인터페이스부(130)의 내용을 동일/유사하게 유추적용할 수 있다.
일 예로, 인터페이스부(810)는, 도 7에서 살펴본 차량(100)에 구비된 구성요소와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(810)는 차량의 디스플레이부(251)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 차량의 디스플레이부(251)와 연결할 수 있다. 이경우, 인터페이스부(810)는 차량의 디스플레이부(251)와 데이터를 교환할 수 있다.
한편, 인터페이스부(810)는 차량(100) 연결된 차량 제어 장치(800)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 차량(100)의 인터페이스부(130)와 차량 제어 장치(800)의 인터페이스부가 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 제어 장치(800)는, 인터페이스부(810)를 통해, 전원 공급부(190)에서 공급되는 전기 에너지를 제공받을 수 있다.
본 명세서에서 설명하는 차량 제어 장치(800)는, 차량에 탈부착 가능하도록 형성되는 독립된 부품/기기/모듈 등을 의미할 수 있다.
이에 따라, 본 명세서에서 설명하는 차량 제어 장치(800)의 기능은, 차량이 변경되더라도, 동일/유사하게 유추적용될 수 있으며, 차량 제어 장치(800)가 차량의 종류와 관계없이, 인터페이스부를 통해 차량과 연결되는 것에 근거하여, 독립적으로 수행될 수 있다.
차량 제어 장치(800)는, 통신부(미도시)를 포함할 수 있다. 차량 제어 장치(800)는, 통신부를 통해, 차량(100), 이동 단말기, 무선 인터넷 네트워크에 무선 연결될 수 있다.
또한, 차량 제어 장치(800)는, 인터페이스부(810)를 포함하고, 상기 인터페이스부 통해 차량(100) 및/또는 이동 단말기와 유선 연결될 수 있다.
인터페이스부(810)는, 차량(100)에 구비된 디스플레이부(251)와 통신 연결될 수 있다.
또한, 디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 차량의 윈드 쉴드(wind shield) 또는 윈도우(window)에 부착될 수 있다. 즉, 본 발명의 디스플레이부(251)는, 윈드 쉴드 및 윈도우를 포함할 수 있다. 본 명세서에서 프로세서가 디스플레이부(251)에 어느 정보(또는 그래픽 객체)를 출력한다는 것은, 윈드쉴드에 상기 어느 정보(또는 그래픽 객체)를 출력한다는 것 또는 윈도우에 상기 어느 정보(또는 그래픽 객체)를 출력한다는 것을 포함할 수 있다.
또한, 디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(251a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
예를 들어, 상기 디스플레이부(251)는, 클러스터(Cluster), CID(Center Information Display), 네비게이션 장치 및 HUD(Head-Up Display) 등을 포함할 수 있다.
디스플레이부(251)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량(100)(또는 차량 제어 장치(800))과 사용자 사이의 입력 인터페이스를 제공하는 입력부(210)로써 기능함과 동시에, 차량(100)(또는 차량 제어 장치(800))과 사용자 사이의 출력 인터페이스를 제공할 수 있다.
프로세서(870)는, 차량과 관련된 다양한 정보를 상기 디스플레이부(251)에 출력할 수 있다. 또한, 상기 프로세서(870)는, 차량과 관련된 정보의 종류에 따라 상기 차량과 관련된 정보를 디스플레이부(251)의 서로 다른 위치에 출력할 수 있다.
또한, 프로세서(870)는, 목적지의 위치와 운전자의 시선에 근거하여, 그래픽 객체를 기 설정된 방식으로 디스플레이부(251)에 출력할 수 있다.
디스플레이부(251)에 출력되는 다양한 정보에 대해서는 첨부된 도면을 참조하여 보다 구체적으로 후술하기로 한다.
상기 디스플레이부(251)는, 내비게이션 시스템(770)(또는 내비게이션 장치)일 수 있다. 또한, 상기 디스플레이부(251)는, 내비게이션 시스템(770)을 포함할 수 있다.
즉, 상기 디스플레이부(251)는, 본 차량(100)에 구비된 내비게이션 장치를 의미할 수 있으며, 상기 내비게이션 장치는, 차량(100)이 출고될 때부터 내장되어 있을 수도 있고, 사용자에 의해 장착된 내비게이션 장치일 수도 있다.
상기 디스플레이부(251)는, 차량용 내비게이션을 의미할 수 있으며, 이동 단말기에서 제공하는 내비게이션 시스템과는 독립된 내비게이션 시스템을 의미할 수 있다.
본 명세서에서 디스플레이부(251)에 대하여 설명하는 내용은, 내비게이션 시스템(770), 내비게이션 장치 또는 차량용 내비게이션에도 동일/유사하게 유추적용될 수 있다.
차량 제어 장치(800)는, 상기 인터페이스부(810)를 통해 차량에 구비된 디스플레이부(251)를 제어하는 프로세서(870)를 포함할 수 있다.
프로세서(870)는, 인터페이스부(810)를 통해, 차량에 구비된 디스플레이부(251)가 AR(Augmented Reality) 이미지(또는, 증강 현실 이미지, 증강 현실 정보, AR 정보)를 출력하도록 상기 디스플레이부(251)를 제어할 수 있다.
상기 디스플레이부(251)는, AR 이미지를 현실 세계의 실제 모습 상에 출력시키기 위해, 차량의 윈드 쉴드 또는 차량의 윈도우에 상기 AR 이미지를 출력할 수 있다.
이를 위해, 상기 디스플레이부(251)는, 앞서 설명한 것과 같이, 윈드 쉴드 또는 윈도우에 구비된 투명 디스플레이이거나, 상기 윈드 쉴드 또는 윈도우 상에 정보를 출력하도록 형성된 프로젝터 또는 HUD(Head-Up Display)일 수 있다.
디스플레이부(251)(또는 출력부(250)를 제어하는 프로세서(270))는, 차량에 구비된 센싱부(120)를 통해, 운전자의 시선과, 목적지의 상대 위치를 결정하고, 목적지를 바라보는 운전자의 시선을 감지할 수 있다.
센싱부(120)는, 차량의 위치와 목적지(예를 들어, 목적지를 포함하는 건물)의 위치에 근거하여, 차량과 목적지 사이의 상대 위치를 결정할 수 있다.
또한, 센싱부(120)는, 예를 들어, 차량 내부를 촬영하도록 형성된 카메라를 통해, 차량(100)을 운전하는 운전자의 시선(또는 시선 방향)을 검출할 수 있다.
또한, 센싱부(120)는, 디스플레이부(251)(예를 들어, 윈드 쉴드)를 관통하여 목적지를 바라보는(응시하는) 운전자의 시선을 검출하고, 상기 운전자의 시선이 관통하는 디스플레이부(251)의 일 지점을 검출할 수 있다.
이후, 디스플레이부(251)(또는 출력부(250)를 제어하는 프로세서(270))는, 사용자에게 AR 이미지가, 상기 목적지(예를 들어, 목적지에 해당하는(포함하는) 건물) 상에 표시되어 보이도록, 상기 AR 이미지를, 상기 디스플레이부(251)(예를 들어, 윈드 쉴드)의 상기 일 지점(즉, 운전자의 시선이 목적지를 바라볼 때, 운전자의 시선이 관통하는 디스플레이부의 일 지점)을 포함하도록 출력할 수 있다.
상기 디스플레이부(251), 센싱부(120)가 수행하는 기능/동작/제어방법은, 차량 제어 장치(800)의 제어에 의해서도 수행될 수 있다.
본 명세서에서, 차량 제어 장치(800)의 프로세서(870)가, AR 이미지를 목적지를 포함하는 건물에 중첩되어 표시되도록 차량에 구비된 디스플레이부(251)를 제어한다는 것은, 운전자의 입장에서 AR 이미지가 상기 건물 상에 중첩되어 표시되도록, 상기 AR 이미지를, 운전자의 시선이 상기 건물 바라볼 때, 운전자의 시선이 관통하는 디스플레이부(윈드 쉴드)의 일 지점에 상기 AR 이미지를 표시한다는 의미를 포함할 수 있다.
도 9a는 본 발명의 대표적인 제어방법을 설명하기 위한 흐름도이다.
프로세서(870)는, 인터페이스부(810)를 통해 목적지 정보를 수신할 수 있다(S810).
상기 목적지 정보는, 차량에 구비된 입력부(210)를 통해 입력되거나, 내비게이션 시스템(770)을 통해 수신되거나, 차량(100) 또는 차량 제어 장치(800)와 통신 가능하도록 연결된 이동 단말기를 통해 입력/수신될 수 있으며, 이에 한정되지 않는다.
상기 목적지 정보는, 장소, 주소, 전화번호, 브랜드명, 상호명 등 다양한 형태일 수 있다.
이후, 프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득할 수 있다(S820).
구체적으로, 프로세서(870)는, 카메라를 통해 획득된 이미지가 아닌, 지도 정보로부터 목적지 정보에 대응하는 건물의 공간 좌표를 획득(추출, 검출)할 수 있다.
상기 목적지 정보에 대응하는 건물은, 목적지 정보에 포함된 목적지가 위치한 건물을 의미할 수 있다. 하나의 건물에는, 적어도 하나 이상의 목적지가 포함될 수 있다.
이후, 프로세서(870)는, 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 목적지 정보와 관련된 그래픽 객체가 건물에 중첩되어 표시되도록 차량에 구비된 디스플레이부(251)를 제어할 수 있다(S830).
상기 목적지 정보와 관련된 그래픽 객체는, 앞서 설명한 AR 이미지를 의미할 수 있다. 일 예로, 목적지 정보와 관련된 그래픽 객체는, 목적지 정보에 대응하는 상표, 엠블럼(emblem), 예를 들어, 목적지가 특정 브랜드에서 운영하는 장소인 경우, 상기 특정 브랜드의 상호, 상표, 엠블럼 등을 의미할 수 있다.
또한, 상기 목적지 정보와 관련된 객체는, 목적지의 위치를 사람들에게 알리기 위한 목적지에 대한 간판 역할을 수행할 수 있다.
본 명세서에서, 목적지 또는 목적지 정보는, POI(Point Of Interest, 관심 장소, 관심 지점)을 의미할 수 있다.
본 명세서에서는, 목적지, 목적지 정보, 목적지 정보에 대응하는 건물, POI 등을 혼용하여 사용하기로 하고, 목적지 정보와 관련된 그래픽 객체, 엠블럼, AR 이미지를 혼용하여 사용하기로 한다.
또한, 본 명세서에서 설명하는 차량 제어 장치는, 목적지 정보와 관련된 그래픽 객체를, 목적지 정보에 대응하는 건물 상에 증강 현실로 출력한다는 점에서, AR 엔진으로 명명될 수도 있다.
도 9b는 본 발명의 일 실시 예에 따른 AR 이미지를 건물 상에 표시되도록 제어하는 방법을 설명하기 위한 흐름도이다.
프로세서(870)는, 목적지 정보에 대응하는 건물의 공간 좌표를 이용하여, 건물을 포함하는 입체도형으로 렌더링할 수 있다.
이후, 프로세서(870)는, 입체도형을 형성하는 복수의 면 중 적어도 하나의 면에 목적지 정보와 관련된 그래픽 객체가 출력되도록 디스플레이부(251)를 제어할 수 있다.
프로세서(870)는, 지도 정보에 목적지 정보에 대응하는 건물의 공간 좌표가 존재하는지 여부를 판단(결정)할 수 있다.
상기 지도 정보는, 차량 제어 장치(800)에 구비된 메모리(미도시)에 저장될 수 있고, 차량에 구비된 메모리(140)에 저장될 수도 있다.
상기 지도 정보는, 각 장소에 대한 좌표 정보 및 해당 장소가 건물인 경우, 건물의 공간 좌표를 포함할 수 있다.
상기 지도 정보는, 고정밀 지도일수록 좌표 정보 및 공간 좌표가 더 많을 수 있다.
한편, 프로세서(870)는, 지도 정보에 목적지 정보에 대응하는 건물의 공간 좌표가 미존재하는 경우, 목적지 정보에 대응하는 건물의 인접 건물을 결정하고, 인접 건물의 공간 좌표에 근거하여, 목적지 정보에 대응하는 건물을 포함하는 입체도형을 렌더링(rendering)할 수 있다.
프로세서(870)는, 지도 정보에 목적지 정보에 대응하는 건물의 공간 좌표가 존재하는 경우, 해당 공간 좌표를 이용하여, 목적지 정보에 대응하는 건물을 포함하는 입체도형을 렌더링할 수 있다.
이후, 프로세서(870)는, 상기 지도 정보로부터 상기 차량이 주행중인 도로의 기울기를 결정하고, 상기 결정된 기울기에 대응하도록 상기 입체도형을 기울여서 상기 목적지 정보에 대응하는 건물에 매칭할 수 있다.
구체적으로, 프로세서(870)는, 상기 기울기에 대응되도록 기울여진 입체도형을 기준으로 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어할 수 있다.
위에서 설명한 내용을 다시 설명하면 다음과 같다.
도 9b를 참조하면, 프로세서(870)는, 목적지 정보가 수신되면, 주변 POI 건물 탐색을 수행할 수 있다. 이 때, 프로세서(870)는, 목적지 정보에 포함된 좌표 정보(POI의 위치, 중심 좌표)에 근거하여, 차량이 상기 목적지 정보에 대응하는 목적지로부터 기 설정된 반경 이내에 진입하는 경우, 상기 주변 POI 건물 탐색을 수행할 수 있다.
프로세서(870)는, 목적지 정보에 대응하는 건물(주변 POI 건물)의 형상 정보(형상점 또는 공간 좌표)가 지도 정보에 존재하는지 여부를 판단할 수 있다(S920).
프로세서(870)는, 상기 형상 정보가 지도 정보에 존재하는 경우, 지도 정보로부터 인근 건물(즉, 목적지 정보에 대응하는 건물)의 형상점(즉, 공간 좌표)(예를 들어, e1, e2, e3, 34, e5, e6)를 획득할 수 있다(S930).
이후, 프로세서(870)는, 상기 건물의 형상점에 근거하여, 상기 건물 형상점을 포함하는 바운딩 박스(즉, 입체도형)을 계산할 수 있다.
상기 바운딩 박스(입체 도형)은, 목적지 정보에 대응하는 건물을 포함할 수 있도록 형성될 수 있으며, 소정의 좌표 정보(P1, P2, P3, P4)로 표현될 수 있다. 일 예로, 건물의 도형이 다양할 수 있으므로, 상기 바운딩 박스(입체 도형)은, 육면체의 형상을 할 수 있다.
반면, 형상 정보가 지도 정보에 존재하지 않는 경우, 프로세서(870)는, POI 위치(목적지 정보의 위치) 주변 건물의 형상점을 획득할 수 있다(S950). 상기 주변 건물은, 목적지 정보를 포함하는 건물이 아닌, 해당 건물로부터 소정 반경 이내에 존재하는 인접 건물을 의미할 수 있다.
이후, 프로세서(870)는, 상기 주변 건물의 형상으로부터 POI 건물 형상을 예측하고(S960), 예측된 정보에 근거하여, 상기 POI 건물을 포함하는 입체도형을 렌더링할 수 있다.
추가적으로, 프로세서(870)는, 상기 렌더링된 입체도형의 좌표((P1, P2, P3, P4) 또는 (P1’, P2’, P3’, P4)) 중 카메라에 보이는 면을 추정할 수 있다(S970).
프로세서(870)는, 차량이 주행중인 도로의 기울기 및 고도값 중 적어도 하나에 근거하여, 상기 카메라에 보이는 면의 기울기를 추정할 수 있다(S980).
프로세서(870)는, 상기 카메라에 보이는 면에 AR 이미지(즉, 목적지 정보와 관련된 그래픽 객체)를 기울여서 상기 보이는 면에 출력할 수 있다(S990).
도 10은 도 9a 및 도 9b에서 살펴본 방법을 설명하기 위한 개념도이다.
도 10을 참조하면, 차량(100)에 구비된 차량 제어 장치(800)의 프로세서(870)는, 목적지 정보에 대응하는 건물(1000)의 공간 좌표를 지도 정보로부터 획득할 수 있다.
프로세서(870)는, 상기 획득된 목적지 정보에 대응하는 건물(1000)의 공간 좌표를 이용하여, 상기 건물(1000)을 포함하는 입체도형(1010)을 렌더링할 수 있다.
이후, 프로세서(870)는, 상기 입체도형(1010)을 형성하는 복수의 면 중 적어도 하나의 면(하나 이상의 면)에 목적지 정보와 관련된 그래픽 객체(1020a, 1020b)가 출력되도록 디스플레이부(251)를 제어할 수 있다.
도 10에서는, 차량에서 건물(1010)에 목적지 정보와 관련된 그래픽 객체(1020a, 1020b)를 출력(조사)하는 것으로 도시되어 있으나, 목적지 정보와 관련된 그래픽 객체를 건물에 직접 조사하는 것이 아님에 주의하여야 한다.
본 발명의 차량 제어 장치는, 상기 목적지 정보와 관련된 그래픽 객체(1020a, 1020b)가 건물(1010)에 중첩되어 보이도록, 차량에 구비된 디스플레이부(251)(예를 들어, 윈드 쉴드 또는 윈도우) 상에 상기 그래픽 객체를 증강 현실 기술을 이용하여 출력하는 것에 유의하여야 한다.
그러나, 이에 한정되지 않고, 차량에 구비된 디스플레이부가 프로젝터인 경우, 본 명세서에서 설명하는 그래픽 객체를 건물에 중첩하여 출력하는 내용은, 그래픽 객체를 건물에 직접 출력하는 내용도 포함할 수 있다.
이하에서는, 목적지 정보에 대응하는 건물의 공간 좌표가 지도 정보에 미존재하는 경우, 인접 건물을 이용하여 상기 건물의 공간 좌표를 추정하는 방법에 대하여 첨부된 도면을 참조하여 설명하기로 한다.
도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 11g 및 도 11h는 본 발명의 일 실시 예에 따른 목적지를 포함하는 건물의 좌표를 획득하는 방법을 설명하기 위한 개념도이다.
도 11a를 참조하면, 본 발명의 차량 제어 장치(800)의 프로세서(870)는, 지도 정보에 목적지 정보에 대응하는 건물의 공간 좌표가 미존재하는 경우, 목적지 정보에 대응하는 건물의 인접 건물을 결정할 수 있다.
구체적으로, 프로세서(870)는, 지도 정보에 목적지 정보에 대응하는 건물(1100)의 공간 좌표(또는 형상점 정보)가 미존재하는 경우, 도 11a에 도시된 것과 같이, 목적지 정보에 대응하는 건물의 인접 건물(1110a, 1110b)을 결정할 수 있다.
지도 정보에는, 상기 목적지 정보에 대응하는 건물에 대한 공간 좌표(예를 들어, 형상점 정보(건물의 꼭지점에 대응한느 위경도 좌표값과 건물의 높이를 추정할 수 있는 층수 또는 지면으로부터 측정된 높이값))가 미존재하더라도, 해당 목적지 정보의 중심좌표(1102)가 존재할 수 있다.
프로세서(870)는, 상기 건물(1100)에 대한 공간 좌표가 미존재하는 경우, 상기 목직지 정보의 중심 좌표(1102)에 근거하여, 목적지 정보에 대응하는 건물(1100)의 인접 건물(1110a, 1110b)을 결정할 수 있다.
상기 인접 건물은, 후보 건물로 명명될 수 있다.
프로세서(870)는, 인접 건물의 공간 좌표에 근거하여, 목적지 정보에 대응하는 건물(1100)을 포함하는 입체도형을 렌더링할 수 있다.
이를 위해, 도 11b에 도시된 것과 같이, 프로세서(870)는, 상기 인접 건물(1110a, 1110b)의 공간좌표(형상점 정보)를 이용하여, 상기 인접 건물들(1110a, 1110b)의 바운딩 박스(입체도형)(1114a, 1114b)를 결정할 수 있다.
상기 바운딩 박스는, 각 건물의 꼭지점을 포함하는 가장 큰 도형(예를 들어, 사각형, 육면체)를 의미할 수 있다.
이후, 도 11c에 도시된 것과 같이, 프로세서(870)는, 제1 인접 건물(제1 후보 건물)(1110a)의 바운딩 박스(1114a)의 각 면에서 연장되는 직선(1116a, 1117a)을 생성하고, 도 11d에 도시된 것과 같이, 제2 인접 건물(제2 후보 건물)(1110b)의 바운딩 박스(1114b)의 각 면에서 연장되는 직선(1116b, 1117b)을 생성할 수 있다.
이후, 프로세서(870)는, 도 11e 및 도 11f에 도시된 것과 같이, 목적지 정보에 대응하는 건물에 인접한 모든 인접 건물로부터 생성된 직선들(1116a, 1117a, 1116b, 1117b)을 결정하고, 목적지 정보의 중심 좌표(1102)로부터 상기 직선들에 수선의 발(1106)을 내려, 상기 목적지 정보의 중심 좌표(1102)로부터 수선의 발이 내려지는 복수의 직선을 선택할 수 있다.
이후, 도 11g에 도시된 것과 같이, 프로세서(870)는, 상기 수선의 발이 내려지는 복수의 직선들로 형성되는 최소 면적의 영역(1108)을 결정하고, 상기 결정된 영역(1108)에 의해 형성되는 도형을 목적지 정보에 대응하는 건물의 형상으로 추정(정의)할 수 있다.
이후, 도 11h에 도시된 것과 같이, 프로세서(870)는, 상기 영역(1108)에 의해 추정된 목적지 정보에 대응하는 건물의 형상에 근거하여, 입체 도형을 렌더링할 수 있다.
이와 같이, 본 발명은, 목적지 정보에 대응하는 건물의 공간 좌표가 지도 정보에 미존재하더라도, 인접 건물의 공간좌표(또는 형상점 정보)에 근거하여, 상기 목적지 정보에 대응하는 건물(POI 건물)의 형상을 추정할 수 있는 방법을 제공할 수 있다.
한편, 본 발명의 차량 제어 장치는, 차량과 목적지 정보에 대응하는 건물 사이의 거리, 각도, 방향, 인접 건물이 존재하는지 여부 등에 따라 목적지 정보와 관련된 그래픽 객체(예를 들어, 엠블럼)이 조사되는 건물의 면 수를 결정할 수 있다.
도 12a, 도 12b, 도 12c, 도 12d, 도 12e, 도 12f, 도 12g, 도 12h, 도 12i 및 도 12j는 차량과 목적지를 포함하는 건물 사이의 거리에 따라, AR 이미지를 표시할 건물의 면을 선택하는 방법을 설명하기 위한 개념도이다.
프로세서(870)는, 차량(100)의 현재 위치와 건물의 공간 좌표에 근거하여, 상기 차량의 진행방향과 상기 건물을 포함하는 입체도형 사이의 각도를 결정할 수 있다.
이후, 프로세서(870)는, 상기 결정된 각도에 근거하여, 상기 입체도형에서 상기 목적지 정보와 관련된 그래픽 객체가 출력되는 면의 개수를 결정할 수 있다.
구체적으로, 프로세서(870)는, 결정된 각도가 기 설정된 각도보다 작은 제1 각도인 경우, 상기 건물을 포함하는 입체도형의 복수의 면 중 어느 하나의 면에 목적지 정보와 관련된 그래픽 객체가 출력되도록 디스플레이부(251)를 제어할 수 있다.
또한, 프로세서(870)는, 상기 결정된 각도가 상기 기 설정된 각도보다 큰 제2 각도인 경우, 상기 건물을 포함하는 입체 도형의 복수의 면 중 적어도 두 개의 면에 상기 그래픽 객체가 출력되도록 디스플레이부(251)를 제어할 수 있다.
프로세서(870)는, 차량의 주행에 의해 상기 각도가 상기 제1 각도에서 상기 제2 각도로 변경되는 것에 근거하여, 그래픽 객체의 출력 개수를 증가시킬 수 있다.
또한, 상기 어느 하나의 면은, 목적지 정보에 대응하는 건물과 차량 사이에 다른 건물이 존재하는지 여부에 따라 달라질 수 있다.
도 12a를 참조하면, 프로세서(870)는, 목적지 정보에 대응하는 건물의 공간 좌표(또는 인근에 존재하는 인접 건물을 통해 유추된 공간 좌표)에 근거하여 렌더링된 입체 도형의 각 면에 대하여, 현재 차량에서 각 면의 양 끝에 존재하는 두 개의 꼭지점으로 향하는 직선을 산출할 수 있다.
프로세서(870)는, 상기 두 개의 직선 중 어느 하나와, 차량의 진행방향 사이의 각도를 산출할 수 있다. 일 예로, 프로세서(870)는, 두 개의 각도 중 차량과 가까운 꼭지점까지의 직선과, 차량의 진행 방향 사이의 각도를 기준으로, 그래픽 객체가 출력되는 면의 개수를 결정할 수 있다.
실제로는 각 면의 개수는 적어도 세 개 이상이 포함될 수 있으며, 프로세서(870)는, 상기 적어도 세 개 이상의 좌표 중 높이값만 다른 좌표는 제외하고, 차량의 진행방향과 평행하게 놓여진 서로 다른 좌표를 기준으로 직선을 산출할 수 있다.
예를 들어, 프로세서(870)는, 목적지 정보에 대응하는 건물의 제1 면(1200a)의 양 꼭지점과 차량을 연결하는 두 직선을 과 차량 사이의 각도를 계산할 수 있다.
도 12b에 도시된 것과 같이, 프로세서(870)는, 목적지 정보에 대응하는 건물의 제2 면(1200b)의 양 꼭지점과 차량 사이의 직선을 산출할 수 있다.
또한, 도 12c에 도시된 것과 같이, 프로세서(870)는, 목적지 정보에 대응하는 건물의 제3 면(1200c)의 양 꼭지점과 차량 사이의 직선을 산출할 수 있다.
이후, 프로세서(870)는, 상기 산출된 직선들과 차량 사이에 다른 건물(또는 객체)이 존재하는지 여부에 근거하여, 사용자에게 보여지는 면인지(다른 말로, 카메라 시야에 보이는 면인지) 여부를 판단할 수 있다.
예를 들어, 도 12d에 도시된 것과 같이, 프로세서(870)는, 차량(100)과 상기 건물의 제1 면(1200a)을 연결하는 직선들 중간에 인접 건물(1110b)이 중첩되지 않는 경우, 상기 제1 면(1200a)은 카메라 시야에 보이는 면으로 결정할 수 있다. 상기 카메라 시야에 보이는 면은, 목적지 정보가 AR 이미지로서 상기 건물에 중첩되어 출력될 수 있는 면으로 결정될 수 있다.
반면, 도 12e 및 도 12f에 도시된 것과 같이, 차량(100)과 건물의 제2 면(1200b)을 연결하는 직선 중 어느 하나에 타 건물(1110b)을 관통하는 지점(1210a)이 존재하거나, 차량(100)과 건물의 제3 면(1200c)을 연결하는 직선이 타 건물(1110b)에 의해 중첩되는 지점(1210b, 1210c)이 존재하는 경우, 프로세서(870) 상기 제2 및 제3 면은, 카메라 시야에 가려진 면으로 결정할 수 있다.
상기 직선에 타건물이 중첩되는 면에는, 프로세서(870)가 목적지 정보와 관련된 그래픽 객체를 미출력할 수 있다.
한편, 도 12g 및 도 12h에 도시된 것과 같이, 프로세서(870)는, 차량과 입체도형 사이의 각도(구체적으로는, 차량의 진행방향과, 입체 도형 중 카메라 시야에 보이는 면(1200a)을 형성하는 꼭지점들 중 차량에 가까운 꼭지점을 연결한 직선 사이의 각도)는, 차량과 목적지 정보에 대응하는 건물 사이의 각도가 가까울수록 커질 수 있다.
일 예로, 도 12g와 같이, 상기 각도가 기 설정된 각도(예를 들어, 15도)보다 작은 제1 각도(예를 들어, 10도)인 경우(또는, 차량과 목적지 정보에 대응하는 건물 사이의 거리가 일정거리 초과인 경우)에는, 프로세서(870)는, 입체 도형 중 어느 하나의 면(예를 들어, 차량의 카메라 시야에 보이는 면(1200a))에 목적지 정보와 관련된 그래픽 객체가 중첩되어 증강 현실로 출력되도록 디스플레이부(251)를 제어할 수 있다.
상기 어느 하나의 면은, 차량이 주행중인 도로를 마주보는 면일 수 있다.
다른 예로, 도 12h와 같이, 상기 각도가 상기 기 설정된 각도(예를 들어, 15도)보다 큰 제2 각도(예를 들어, 30도)인 경우(또는, 차량과 목적지 정보에 대응하는 건물 사이의 거리가 일정거리 이하인 경우)에는, 프로세서(870)는, 입체도형 중 적어도 두 개의 면(예를 들어, 카메라에 보이는 면(1200a)과, 차량을 마주보는 면(1200b))에 각각 목적지 정보와 관련된 그래픽 객체가 중첩되어 표시되도록 디스플레이부(251)를 제어할 수 있다.
도 12g 및 도 12h에 도시된 것과 같이, 프로세서(870)는, 차량의 주행에 의해 상기 각도가 제1 각도에서 제2 각도로 변경되면(즉, 차량의 주행에 의해 건물과 차량 사이의 거리가 가까워지면), 그래픽 객체의 출력 개수를 증가시킬 수 있다.
한편, 도 12i에 도시된 것과 같이, 프로세서(870)는, 상기 각도가 제2 각도더라도, 상기 건물(1100)과 차량(100) 사이에 다른 건물이 존재하는 경우, 카메라 시야에 보이는 면(1200a)에만 목적지 정보와 관련된 그래픽 객체를 출력할 수 있다.
도 12j에 도시된 것과 같이, 프로세서(870)는, 건물(1100)과 차량(100 사이에 다른 건물이 미존재하는 경우, 복수의 면에 목적지 정보와 관련된 그래픽 객체를 출력할 수 있다.
한편, 프로세서(870)는, 지도 정보에서 추출된 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 목적지 정보와 관련된 그래픽 객체를 상기 건물에 중첩되도록 증강 현실로 출력할 수 있을 뿐만 아니라, 카메라를 추가로 활용하여, 상기 그래픽 객체를 건물에 중첩되도록 증강 현실로 출력할 수 있다.
도 13a, 도 13b, 도 13c, 도 13d, 도 13e, 도 13f 및 도 13g는 카메라를 통해 수신되는 영상을 이용하여, 목적지에 해당하는 건물을 결정하는 방법을 설명하기 위한 개념도이다.
차량 제어 장치(800)에 포함된 인터페이스부(810)는, 차량(100)에 구비된 카메라와 통신 연결될 수 있다.
프로세서(870)는, 차량에 구비된 카메라(310)로부터 영상을 수신하고, 수신된 영상에서 건물 영역에 대한 엣지(Edge) 성분을 검출하며, 상기 엣지 성분을 이용하여, 입체도형을 목적지 정보에 대응하는 건물에 매칭할 수 있다.
도 13a의 (a)에 도시된 것과 같이, 프로세서(870)는, 인터페이스부(810)를 통해, 차량에 구비된 카메라(310)를 통해 처리된 영상(카메라 이미지)을 수신할 수 있다.
프로세서(870)는, 수신한 카메라 이미지(1300)에서 픽셀 단위로 건물 객체를 인식(분류, 검출)할 수 있다. 이 때, 프로세서(870)는, 일반적인 딥러닝(Deep Learning) 방식의 semantic segmentation 기술을 적용하여, 픽셀 단위로 건물 객체를 카메라 이미지에서 인식(분류, 검출)할 수 있다.
도 13a의 (b)는, 상기 semantic segmentation 기술이 적용된 결과 데이터(1310)이며, 프로세서(870)는, 상기 결과 데이터(1310)를 이용하여 건물 영역을 식별할 수 있다.
프로세서(870)는, 도 13b에 도시된 것과 같이, 분류된 건물 영역에 대하여 엣지 검출을 수행하고, 검출된 엣지 선들 중 수직 방향을 만족하는 선들(1320)을 추출할 수 있다.
일 예로, 프로세서(870)는, Line Segmentation 기술을 적용하여, 엣지 선들을 추출할 수 있다.
프로세서(870)는, 지도 정보에서, 도 13c에 도시된 것과 같이, 현재 차량(100)의 위치를 기준으로, 특정 반경 이내에 존재하는 모든 건물(1330a, 1330b, 1330c)의 형상점 정보(공간 좌표)를 추출(수신)할 수 있다.
프로세서(870)는, 수신한 건물의 형상점 정보를 카메라 이미지(1300) 영역으로 투영할 수 있다. 이 때, 현재 차량의 위치의 오류, 건물 형상점 정확도 오류 등으로 인해, 도 13d에 도시된 것과 같이, 실제 카메라 이미지 내의 건물 화소와 건물의 윤곽선이 매칭되지 않을 수 있다.
프로세서(870)는, 도 13e의 (a) 및 (b)에 도시된 것과 같이, 이미지(1300)에 투영되 건물 영역(1340)의 최외곽 수직 엣지(1350)를 결정하고, 상기 이미지(1300)의 건물 영역에 포함된 수직 엣지 성부(1320)들과의 비용함수를 최소화하는 변이값을 계산할 수 있다.
상기 비용 함수의 조건은 다음과 같이 설계될 수 있다.
프로세서(870)는, 건물 영역에 수직 엣지(1320) 선들이 가장 많이 포함되는 변이값, 건물 최외각 수직 엣지(1350)와 건물 영역에 포함되는 수직 엣지(1320) 선들과의 픽셀 거리가 최소가 되는 변이값 또는 건물 영역에 건물 인식 결과(도 13e의 (b))에 해당하는 건물 레이블 픽셀이 가장 많이 포함되는 변이값 중 적어도 하나를 포함하도록 비용 함수의 조건을 설계할 수 있다.
이후, 도 13f에 도시된 것과 같이, 프로세서(870)는, 상기 조건 중 어느 하나에 근거하여 계산된 변이값 만큼 건물의 픽셀 정점(꼭지점) 좌표(즉, 건물을 포함하는 입체 도형(1350)의 좌표)를 이미지(1300) 상에서 이동(translation)하여 위치 오류에 대한 매칭 오차를 제거할 수 있다.
이후, 도 13g의 (a)에 도시된 것과 같이, 이미지(1300) 상에서 매칭 오차를 제거하여 건물에 대한 입체도형을 이미지의 건물에 매칭한 후, 프로세서(870)는, 각 면(1340a, 1340b)마다 포함되는 건물 인식 픽셀 레이블 수를 계산하고, 각 면마다 계산된 건물 픽셀 레이블 수가 특정 임계치 이하이면, 보이지 않는 면으로 판단할 수 있다.
예를 들어, 프로세서(870)는, 도 13g의 (b)에 도시된 것과 같이, 제1 면(1340a)에 대해서는 보이는 면으로 정의하고, 제2 면(1340b)에 대해서는, 건물 인식 픽셀 레이블 수가 특정 임계치 이하이므로, 보이지 않는 면으로 정의할 수 있다.
프로세서(870)는, 보이는 면으로 정의된 면에 목적지 정보와 관련된 그래픽 객체가 중첩되어 증강 현실로서 출력되도록, 보이지 않는 면에는 상기 그래픽 객체가 미출력되도록 디스플레이부(251)를 제어할 수 있다.
한편, 본 발명의 차량 제어 장치는, 차량이 주행중인 도로가 기울어짐에 따라 차량 기준으로 목적지 정보에 대응하는 건물이 기울어진 경우에도, 최적화된 방법으로 목적지 정보와 관련된 그래픽 객체를 건물에 중첩하여 출력시킬 수 있는 방법을 제공할 수 있다.
도 14a, 도 14b 및 도 14c는 본 발명의 차량이 기울어진 도로를 주행중인 경우 건물에 AR 이미지를 출력하는 방법을 설명하기 위한 개념도이다.
프로세서(870)는, 지도 정보로부터 차량이 주행중인 도로의 기울기를 결정할 수 있다. 프로세서(870)는, 결정된 기울기에 대응하도록 입체도형을 기울여서 목적지정보에 대응하는 건물에 매칭할 수 있다.
구체적으로, 프로세서(870)는, 상기 기울기에 대응되도록 기울여진 입체도형을 기준으로, 목적지 정보와 관련된 그래픽 객체가 출력되도록 디스플레이부(251)를 제어할 수 있다.
즉, 프로세서(870)는, 기울기에 대응되도록 입체도형을 기울이고, 기울어진 입체 도형 상에 상기 목적지 정보와 관련된 그래픽 객체가 증강 현실로 중첩되어 출력되도록 디스플레이부(251)를 제어할 수 있다.
도 14a를 참조하면, 프로세서(870)는, 지도 정보에서 목적지 정보에 대응하는 건물의 고도 정보를 추출할 수 있다. 일반적으로, 지도 정보에는, 도로를 구성하는 지도의 노드(Node) 마다 정의되어 있을 수 있다.
고도값 추출 지점은, 차량(100)의 현 위치보다 특정 거리만큼의 이전인 제1 노드 위치를 포함하고, 차량(100)이 다음에 접근할 제2 노드 및 목적지 정보에 대응하는 건물(1400)(POI 건물)을 지나는 바로 다음 제3 노드까지로 정의할 수 있다.
프로세서(870)는, 상기 제1 내지 제3 노드가 정의되면, 가까운 거리의 노드 두개로 구성된 세그먼트(제1 세그먼트, 제2 세그먼트)를 정의할 수 있다.
예를 들어, 도 14a에 도시된 것과 같이, 프로세서(870)는, 제1 노드와 제2 노드를 포함하여 제1 세그먼트를 정의하고, 제2 노드와 제3 노드를 정의하여 제2 세그먼트를 정의할 수 있다. 세그먼트의 수는, (총 노드의 수 -1)로 정의될 수 있다.
각 노드별 고도값에 근거하여, 프로세서(870)는, 세그먼트들의 고도 변화율(기울기)를 계산할 수 있다.
상기 고도 변화율(기울기)는, 주행방향 순서대로 전방 노드의 고도값과 이전 노드의 고도값의 차이로 정의할 수 있다.
따라서, 제1 세그먼트의 변화율은, (제2 노드의 고도값 ? 제1 노드의 고도값)으로 계산할 수 있다.
프로세서(870)는, 변화율이 양수이면 오르막 길, 음수이면 내기막길, 0으로 변화가 없으면 평평한 길로 판단할 수 있다.
도 14a에 도시된 것과 같이, 프로세서(870)는, 차량(100)의 현 위치에 대응되는 제1 세그먼트의 고도 변화율이 0으로 평평한 길로 판정될 경우, POI 건물(목적지 정보에 대응하는 건물)(1400)의 AR 이미지(목적지와 관련된 그래픽 객체)를 기울여서 POI 건물에 출력하지 않고, 그대로 중첩하여 출력할 수 있다.
이는, 카메라의 시선방향과 수직하게 POI 건물이 위치하고 있기 때문이다.
한편, 도 14b에 도시된 것과 같이, 프로세서(870)는, 차량(100)의 현 위치가 제2 세그먼트에 진입하면(즉, 목적지 정보에 대응하는 건물이 존재하는 세그먼트에 진입하면), 상기 제2 세그먼트의 기울기를 판단할 수 있다.
프로세서(870)는, 현재 차량(100)의 위치에 대응되는 제2 세그먼트의 기울기(고도 변화율)이 양수 또는 음수(오르막길 또는 내리막길)로 판정될 경우, 상기 건물(1400)을 포함하는 입체도형(1410)을, 상기 고도 변화율(기울기)만큼 기울일 수 있다.
상기 입체도형(1410)이 기울어지는 각도의 크기는, 도 14c의 (a)에 도시된 것과 같이, 삼각함수에 따라 지면의 기울기(고도 변화율)과 동일할 수 있다.
상기 입체도형(1410)이 기울어지는 방향은, 기울기가 양수인지 음수인지에 따라 달라질 수 있으며, 도 14c의 (b)에 도시된 것과 같이, 입체도형(1410)이 건물에 매칭되는 방향으로 기울어지는 방향이 결정될 수 있다.
예를 들어, 계산된 지면의 기울기만큼, 언덕길일 경우에는 입체도형을 뒤로 눕히는 방향으로 기울이고, 내리막길일 경우, 입체도형을 앞으로 당기는 방향으로 기울일 수 있다.
이러한 구성을 통해, 본 발명은, 건물이 중력방향으로 세워져 있는 반면, 도로가 기울어진 경우, 차량의 입장에서는, 건물이 기울어진 것으로 판단될 수 있으나, 이를 반영하여 건물을 포함하는 입체도형을 기울이고, 기울어진 입체 도형 상에 목적지 정보와 관련된 그래픽 객체를 중첩하여 증강 현실로 출력하여, 최적화된 증강 현실의 구현을 가능하게 할 수 있다.
도 15a, 도 15b, 도 15c, 도 15d 및 도 15e는 본 발명의 차량 제어 장치가 건물 상이 목적지와 관련된 AR 이미지를 출력하는 방법을 설명하기 위한 개념도이다.
프로세서(870)는, 목적지 정보와 관련된 그래픽 객체가 지면으로부터 소정 간격만큼 이격된 상태로 출력되도록 디스플레이부(251)를 제어할 수 있다.
즉, 프로세서(870)는, 목적지 정보에 대응하는 건물에서 지면으로부터 소정 간격만큼 이격된 상태로 사용자에게 보여지도록 증강 현실을 구현할 수 있다.
도 15a의 (a)를 참조하면, 프로세서(870)는, 인터페이스부(810)를 통해 클라우드 서버 또는 인터넷 또는 외부 장치로부터 목적지 정보와 관련된 그래픽 객체(엠블럼)을 수신하거나, 차량 메모리 또는 차량 제어 장치의 메모리(미도시)에서 상기 목적지 정보와 관련된 그래픽 객체(1500)를 수신할 수 있다.
상기 그래픽 객체(1500)는, 폭 및 높이의 비율이 정해져있을 수 있다.
도 15a의 (b)에 도시된 것과 같이, 프로세서(870)는, 상기 그래픽 객체가 출력될 건물을 포함하는 입체도형(1510)을 결정하고, 상기 결정된 면에 상기 그래픽 객체가 출력될 수 있도록, 상기 15a의 (c)에 도시된 것과 같이, 상기 그래픽 객체의 좌표를 설정할 수 있다.
예를 들어, 프로세서(870)는, 차량을 중심으로 하는 3차원 좌표계에서의 상기 건물의 입체도형의 정점 좌표들(P1, P2, P3, P4) 및 건물의 높이 h)를 획득할 수 있다.
이후, 프로세서(870)는, 픽셀 좌표계의 그래픽 객체(엠블럼 이미지)를 3차원 좌표계 P2, P3, T3, T2로 텍스쳐 매핑을 수행하고(OpenGL), 카메라 뷰로 투영(projection)하여, 상기 그래픽 객체가 상기 건물에 증강 현실로 중첩되어 표시시킬 수 있다. 이 때, 프로세서(870)는, 상기 그래픽 객체를 투영할 때, 도로의 기울기 각도만큼 회전하여 투영하여, 상기 그래픽 객체가 상기 건물의 면에 그려져 있는 것처럼 보이도록 증강현실을 구현할 수 있다.
여기서, projection 행렬은 카메라 캘리브레이션을 통해 사전에 계산하여 저장되어 있을 수 있다.
도 15b에 도시된 것과 같이, 프로세서(870)는, 지면으로부터 표시될 높이(q) 및 건물 엣지와의 여유 간격(padding)(p)를 설정할 수 있다.
프로세서(870)는, 상기 목적지 정보와 관련된 그래픽 객체가 지면으로부터 소정 간격(q)만큼 이격된 상태로 출력되도록 상기 디스플레이부를 제어할 수 있다.
또한, 프로세서(870)는, 목적지 정보와 관련된 그래픽 객체를 출력하도록 결정된 적어도 하나의 면의 크기에 근거하여, 서로 다른 크기로 상기 그래픽 객체를 출력할 수 있다.
즉, 프로세서(870)는, 상기 여유 간격(p)과 지면으로부터의 소정 높이(q)를 준수하면서 그래픽 객체를 출력할 수 있으며, 이에 따라, 상기 그래픽 객체가 출력되도록 하는 건물 면의 크기에 따라, 상기 그래픽 객체의 크기가 달라질 수 있다.
예를 들어, 도 15c에 도시된 것과 같이, 서로 다른 면의 크기를 갖는 면에 그래픽 객체가 출력되더라도, 프로세서(870)는, 지면으로부터의 높이(q)와 건물 엣지(여기서 건물 엣지는, 지면의 엣지는 제외)로부터의 여유 간격이 지켜지도록, 그래픽 객체를 출력할 수 있다.
다른 예로, 도 15d에 도시된 것과 같이, 건물의 높이가 달라지는 경우에는, 상기 건물 엣지로부터의 여유 간격이 지켜지도록, 상기 그래픽 객체의 출력크기가 가변될 수 있다.
한편, 프로세서(870)는, 도 15c의 우측에 도시된 것과 같이, 건물의 높이 높더라도, 상기 그래픽 객체의 비율을 유지하면서 상기 그래픽 객체를 상기 건물에 증강현실로 출력되도록 디스플레이부(251)를 제어할 수 있다.
한편, 프로세서(870)는, 목적지 정보에 대응하는 건물 주변에 인접 건물이 존재하고, 상기 그래픽 객체와 상기 인접 건물이 중첩되는 경우, 상기 인접 건물과 상기 그래픽 객체가 미중첩되도록, 상기 소정 간격을 변경할 수도 있다.
즉, 프로세서(870)는, 상기 그래픽 객체가 표시되어야 할 건물의 면이, 인접한 인접 건물에 의해 가려지는 경우, 상기 그래픽 객체가 상기 인접 건물에 중첩되어 표시되는 것을 방지하기 위해, 상기 그래픽 객체가 출력되도록 설정된 지면으로부터의 소정 간격(q)를 길게 변경할 수 있다.
이 때, 상기 프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 높이가 상기 인접 건물보다 높은 경우에 적용될 수 있으며, 상기 그래픽 객체가 상기 인접 건물보다 위쪽에 위치한 상태로 상기 건물에 표시되도록 상기 소정 간격을 길게 변경할 수 있다.
즉, 상기 프로세서(870)는, 목적지 정보와 관련된 그래픽 객체가 증강 현실로 중첩되여 표시된 건물의 면의 크기에 따라, 다른 크기로 사용자에게 보여지도록 그래픽 객체의 크기를 제어할 수 있다.
프로세서(870)는, 상기 그래픽 객체가 출력되도록 결정된 면의 폭이 상기 그래픽 객체의 폭보다 큰 경우, 차량의 이동에 근거하여 상기 그래픽 객체가 출력되는 표시위치를 변경할 수 있다.
프로세서(870)는, 상기 차량이 상기 입체도형을 기준으로 기 설정된 거리 이내로 진입하면, 상기 차량과 상기 그래픽 객체 사이의 거리가 일정하게 유지되도록 상기 그래픽 객체의 표시위치를 상기 차량의 진행방향으로 변경할 수 있다.
상기 프로세서(870)는, 상기 그래픽 객체가 상기 결정된 면에서 출력되도록 설정된 영역의 경계선에 도달한 경우, 상기 차량과 상기 그래픽 객체 사이의 거리가 좁아지더라도 상기 그래픽 객체를 상기 경계선에 도달한 상태로 유지시킬 수 있다.
이후, 차량이 상기 건물을 지나친 경우, 프로세서(870)는, 상기 그래픽 객체의 출력을 중단할 수 있다.
예를 들어, 도 15e의 (a) 내지 (c)에 도시된 것과 같이, 프로세서(870)는, 차량이 그래픽 객체를 출력하도록 설정된 건물의 입체 도형(1510)을 기준으로, 기 설정된 거리 이내로 진입하면, 상기 그래픽 객체가 차량(100)과 일정한 거리를 유지하도록 그래픽 객체의 표시 위치를 차량의 진행방향으로 변경할 수 있다.
이후, 프로세서(870)는, 상기 그래픽 객체가 더 이상 이동할 수 없는 경계선에 도달한 경우, 도 15e의 (c)에 도시된 것과 같이, 상기 차량과 상기 그래픽 객체 사이의 거리가 좁아지더라도 상기 그래픽 객체를 상기 경계선에 도달한 상태로 유지시킬 수 있다.
도 16a, 도 16b, 도 16c 및 도 16d는 목적지를 포함하는 건물의 좌표를 획득할 수 없는 경우의 AR 이미지 출력 방법을 설명하기 위한 개념도이다.
프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도정보에 미존재하는 경우, 기 생성된 입체도형을 상기 목적지 정보에 대응하는 건물의 주변에 출력하고, 상기 기 생성된 입체도형 상에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어할 수 있다.
구체적으로, 프로세서(870)는, 목적지 정보에 대응하는 건물(POI 건물)(1600)의 형상(공간좌표, 입체도형)를 지도로부터 추출(수신)할 수 없는 경우, 주변 후보 건물들로부터 상기 건물의 형상(공간좌표, 입체도형)을 유추할 수 없는 경우 및 카메라 이미지 인식으로 상기 건물을 가리는 물체가 특정 면적 이상을 초과하여 상기 건물을 검출할 수 없는 경우, 상기 POI 건물을 대체하는 가상 건물(즉, 기 생성된 입체도형)을 목적지 정보에 대응하는 건물의 주변에 출력할 수 있다.
상기 기 생성된 입체도형(가상 건물)(1610a, 1610b, 1610c)의 출력 위치의 우선순위는, 도 16a와 같다.
상기 우선순위는, 차량(100)의 진행방향을 기준으로, 제1 순위는, POI 건물 바로 이전 건물(1610a), 제2 순위는 POI 건물 바로 다음 건물(1610b) 및 제3 순위는 POI 건물 맞은편 건물(1610c)로 설정될 수 있다.
도 16b의 (a)에 도시된 것과 같이, 프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도정보에 미존재하는 경우, 기 생성된 입체도형(가상 건물(1610a))을 상기 목적지 정보에 대응하는 건물의 주변(1순위인 경우, 상기 건물 바로 이전 위치)에 출력하고, 상기 기 생성된 입체도형 상에 상기 목적지 정보와 관련된 그래픽 객체(1630) 및 상기 목적지 정보에 대응하는 건물을 알리는 인디케이터(1622)가 중첩되어 증강현실로 보이도록 디스플레이부(251)를 제어할 수 있다.
추가적으로, 디스플레이부(251)에는, 도 16b의 (b)에 도시된 것과 같이, 상기 기 생성된 입체도형을 기준으로 다음 건물에 목적지 정보가 존재함을 알리는 추가정보(1640a)가 더 출력될 수 있다.
도 16c의 (a)에 도시된 것과 같이, 프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도정보에 미존재하는 경우, 기 생성된 입체도형(가상 건물(1610a))을 상기 목적지 정보에 대응하는 건물의 주변(2순위인 경우, 상기 건물 바로 다음 위치)에 출력하고, 상기 기 생성된 입체도형 상에 상기 목적지 정보와 관련된 그래픽 객체(1630) 및 상기 목적지 정보에 대응하는 건물을 알리는 인디케이터(1622)가 중첩되어 증강현실로 보이도록 디스플레이부(251)를 제어할 수 있다.
추가적으로, 디스플레이부(251)에는, 도 16c의 (b)에 도시된 것과 같이, 상기 기 생성된 입체도형을 기준으로 이전 건물에 목적지 정보가 존재함을 알리는 추가정보(1640b)가 더 출력될 수 있다.
도 16d의 (a)에 도시된 것과 같이, 프로세서(870)는, 상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도정보에 미존재하는 경우, 기 생성된 입체도형(가상 건물(1610a))을 상기 목적지 정보에 대응하는 건물의 주변(3순위인 경우, 상기 건물 맞은편 위치)에 출력하고, 상기 기 생성된 입체도형 상에 상기 목적지 정보와 관련된 그래픽 객체(1630) 및 상기 목적지 정보에 대응하는 건물을 알리는 인디케이터(1622)가 중첩되어 증강현실로 보이도록 디스플레이부(251)를 제어할 수 있다.
추가적으로, 디스플레이부(251)에는, 도 16d의 (b)에 도시된 것과 같이, 상기 기 생성된 입체도형을 기준으로 맞은편 건물에 목적지 정보가 존재함을 알리는 추가정보(1640c)가 더 출력될 수 있다.
프로세서(870)는, 차량(100)의 위치와 POI 건물(목적지 정보에 대응하는 건물)의 중심점에 근거하여, 기 설정된 조건을 만족하는 것에 근거하여, 상기 그래픽 객체가 증강 현실로 출력되는 것을 중단할 수 있다.
상기 기 설정된 조건은, 차량의 위치와 건물 중심점과의 거리가 특정 거리 이하일 경우, 차량의 위치와 건물 중심점과의 각도가 특정각 이하일 경우 및 표시된 AR 이미지(그래픽 객체)가 카메라 이미지 화각에서 특정 면적 이상 벗어난 경우 등을 포함할 수 있다.
이후, 프로세서(870)는, 건물의 일 측면에 표시된 그래픽 객체가 상기 조건에 의해 사라진 경우, 상기 건물의 다른 측면에 표시된 그래픽 객체도 다음의 조건에 근거하여, 사라지게 할 수 있다.
상기 다음의 조건은, 특정 시간이 경과한 경우, 특정 거리 또는 각도 이하인 경우를 포함할 수 있다.
또한, 프로세서(870)는, 카메라 영상으로부터 인식된 건물 픽셀 영역에 차량/보행자 인식 결과가 겹치는 경우, 겹치는 면에 대응하는 AR 이미지(그래픽 객체)가 미출력되도록 디스플레이부(251)를 제어할 수 있다.
또한, 프로세서(870)는, 차량/보행자와의 충돌 위험도가 없을 경우, 상기 겹치는 영역에 대해 AR 이미지(그래픽 객체)에 투명도를 적용하여 표시할 수 있다.
도 17은 본 발명의 차량 제어 장치가 목적지의 건물에 AR 이미지를 출력하는 방법을 설명하기 위한 흐름도이다.
도 17을 참조하면, 본 발명의 차량 제어 장치(800)(또는 AR 엔진)은, 목적지 정보가 수신되면, 주변 주요 POI 건물 탐색을 요청할 수 있다(S1700)
내비게이션 시스템(770)은, 지도 상에서 특정 반경 내 주요 건물을 탐색하고, 탐색된 하나 이상의 POI 건물들의 정점 데이터(공간 좌표)를 AR 엔진(800)으로 전송할 수 있다(S1702, S1704).
AR 엔진(800)은, 각각의 정점(위경도 좌표)를 차량을 중심으로 하는 3D 좌표계로 변환하고(S1706), 바운딩 박스를 피팅할 수 있다(S1708).
이후, AR 엔진(800)은, 차량으로부터 POI 건물까지의 도로 고도값을 요청하고(S1710), 내비게이션 시스템(770)은, 도로의 고도값을 AR 엔진으로 전송할 수 있다(S1712).
이후, AR 엔진(800)은, 고도값들로부터 도로의 기울기 각도를 계산하며, 각도만큼 3D 좌표계를 회전 변환할 수 있다(S1714, S1716)
이후, AR 엔진(800)은, 잔여 거리를 확인하고(S1718), 잔여거리가 X2보다 적게 남은 경우, 가상 건물의 정면에 깜박이는 단색 텍스쳐 매핑을 수행할 수 있다(S1728)
만역, AR엔진(800)은, 잔여거리가 X2보다 많이 남은 경우, 2D 엠블럼 이미지를 3D 공간으로 텍스쳐 매핑할 수 있다(S1726).
한편, 내비게이션 시스템(770)은, POI 건물들의 대표 위경도 값에 대한 메타 데이터를 POI 서비스 클라이언트(1700)로 요청할 수 있다(S1720).
상기 POI 서비스 클라이언트(1700)는, POI 데이터베이스 탐색을 수행하고, 해당 위경도에 상응하는 상호명, 주소, 엠블럼, 이미지 등의 메타 데이터를 AR 엔진으로 전송할 수 있다(S1724).
이후, AR 엔진(800)은 엠블럼 등의 AR 이미지를 건물 상에 투영 변환할 수 있다(S1730).
도 18은 본 발명의 일 실시 예에 따른 차량 제어 장치를 포함하는 시스템을 나타내는 개념도이다.
본 발명의 차량 제어 장치(800)는, 도 18에 도시된 것과 같이, 다양한 구성요소들을 포함할 수 있으며, 차량(100), 사용자 입력 장치(200), 출력부(250) 등 다양한 구성요소들와 통신을 수행할 수 있다.
도 19, 도 20, 도 21 및 도 22는 차량과 목적지를 포함하는 건물 사이의 거리에 따라 AR 이미지를 출력하는 다른 예를 설명하기 위한 개념도이다.
도 19를 참조하면, 프로세서(870)는, 지도 데이터의 건물 높이 프로파일을 바탕으로 최적의 췌적으로 파라미터를 산출할 수 있다.
구체적으로, 프로세서(870)는, 차량 카메라를 중심으로, POI 위치까지의 도로 영역에 존재하는 건물들의 높이 및 고도 정보를 취합하고, 건물의 지붕 위치를 카메라 뷰에 투영한 픽셀 좌표들을 취합할 수 있다.
여기서, 더 높은 건물이어도 더 멀리 있으면, 카메라 뷰에서는 작게 보일 수 있다.
프로세서(870)는, 취합된 건물 지붕의 수직 픽셀 좌표들 중에 가장 큰 건물을 선택하고, 선택된 카메라 뷰에서 가장 높은 건물의 수직 픽셀 좌표를 다시 역투영하여 궤적 끝 높이를 계산할 수 있다.
이후, 도 20을 참조하면, 프로세서(870)는, 궤적 높이 H로부터 사전에 정의한 curve smoothness 정도에 대응하는 C0, C1, C2를 계산하고, 건물 높이 프로파일로부터 계산된 최적의 궤적 높이(H)를 결정할 수 있다.
프로세서(870)는, 부드러운 곡선을 계산하기 위해, Bezier 곡선 방정식을 적용할 수 있다.
구체적으로, 프로세서(870)는, Bezier 곡산(도 20의 C0, C1, C2를 제어 포인트(control point)로 함)과 같은 parameterized curve를 이용해 경로 상 vertex 정보를 계산할 수 있다.
프로세서(870)는, camera Frustum의 Z 지점에 궤적 끝점을 위치시키고, 도 20의 경우, far plane에 궤적 끝점과 아이콘이 위치할 수 있다.
궤적 모양은 디자인 결과에 따라 색으로 칠해질 수 있으며, 복잡한 형태가 필요한 경우 텍스쳐가 이용될 수 있다.
도 21의 (a)를 참조하면, 프로세서(870)는, 차량(100)이 목적지 정보에 대응하는 건물로부터 멀리 떨어진 경우, 원거리에서는 AR 시인성이 떨어지기 떄문에 깜박이는 UX를 사용할 수 있다.
도 21의 (b)를 참조하면, 프로세서(870)는, 차량과 건물 사이의 거리가 가까워지면, 목적지 정보와 관련된 그래픽 객체(엠블럼)을 건물의 복수의 면에 증강 현실로 출력할 수 있다.
도 21의 (c)를 참조하면, 프로세서(870)는, 차량과 건물 사이의 거리가 임계값 미만으로 가까워진 경우, 기존에 표시중이던 그래픽 객체의 출력을 중단하고, 다른 측면에 상기 그래픽 객체를 출력할 수 있다.
한편, 도 22에 도시된 것과 같이, 프로세서(870)는, 목적지 정보에 대응하는 건물이 카메라 뷰에서 보이지 않을 경우, 포물선 궤적으로 POI 의 방향과 거리감을 표시할 수 있으며, 이 때, 도 19 및 도 20에서 설명한 기술이 적용될 수 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명에 따르면, 본 발명은 목적지에 해당하는 건물 상에, 목적지와 관련된 그래픽 객체(예를 들어, 엠블럼)가 사용자에게 제공되도록 하는 최적화된 AR 기술을 제공할 수 있다는 효과가 있다.
둘째, 본 발명에 따르면, 본 발명은 도로 지면의 기울기를 반영하여, 목적지와 관련된 그래픽 객체(엠블럼)을 건물에 중첩되어 표시되도록 하여, 기울어진 도로에서도 정확하게 건물에 AR 정보를 출력할 수 있는 사용자 인터페이스를 제공할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이상에서 설명한 차량 제어 장치(800)는, 차량(100)에 포함될 수 있다.
또한, 위에서 설명한 차량 제어 장치(800)의 동작 또는 제어방법은, 차량(100)(또는 제어부(170))의 동작 또는 제어방법으로 동일/유사하게 유추적용될 수 있다.
예를 들어, 차량(100)의 제어방법(또는 차량제어장치(800)의 제어방법)은,
보다 구체적인 실시 예는, 앞서 설명한 내용으로 갈음하거나, 동일/유사하게 유추적용될 수 있다.
위와 같은 각 단계는, 차량 제어 장치(800)뿐만 아니라, 차량(100)에 구비된 제어부(170)에 의해 수행될 수 있다.
또한, 위에서 살펴본 차량제어장치(800)가 수행하는 모든 기능, 구성 또는 제어방법들은, 차량(100)에 구비된 제어부(170)에 의해 수행될 수 있다. 즉, 본 명세서에서 설명하는 모든 제어방법은, 차량의 제어방법에 적용될 수도 있고, 제어 장치의 제어방법에 적용될 수도 있다.
나아가, 위에서 살펴본 차량 제어 장치(800)는 이동 단말기일 수 있다. 이 경우, 상기 차량 제어 장치(800)가 수행하는 모든 기능, 구성 또는 제어방법들은, 이동 단말기의 제어부에 의해 수행될 수 있다. 또한, 본 명세서에서 설명하는 모든 제어방법들은, 이동 단말기의 제어방법에 동일/유사하게 유추적용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 차량에 구비된 디스플레이부와 통신 연결되는 인터페이스부; 및
    상기 인터페이스부를 통해 차량에 구비된 디스플레이부를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 인터페이스부를 통해 목적지 정보를 수신하고,
    상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득하며,
    상기 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 상기 목적지 정보와 관련된 그래픽 객체가 상기 건물에 중첩되어 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 건물의 공간 좌표를 이용하여, 상기 건물을 포함하는 입체도형으로 렌더링하고,
    상기 입체도형을 형성하는 복수의 면 중 적어도 하나의 면에 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 지도 정보에 상기 목적지 정보에 대응하는 건물의 공간 좌표가 미존재하는 경우, 상기 목적지 정보에 대응하는 건물의 인접 건물을 결정하고,
    상기 인접 건물의 공간 좌표에 근거하여, 상기 목적지 정보에 대응하는 건물을 포함하는 입체도형을 렌더링하는 것을 특징으로 하는 차량 제어 장치.
  4. 제 2 항에 있어서,
    상기 프로세서는,
    상기 차량의 현재 위치와 상기 건물의 공간 좌표에 근거하여, 상기 차량의 진행방향과 상기 건물을 포함하는 입체도형 사이의 각도를 결정하고,
    상기 결정된 각도에 근거하여, 상기 입체도형에서 상기 목적지 정보와 관련된 그래픽 객체가 출력되는 면의 개수를 결정하는 것을 특징으로 하는 차량 제어 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 결정된 각도가 기 설정된 각도보다 작은 제1 각도인 경우, 상기 입체도형의 복수의 면 중 어느 하나의 면에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하고,
    상기 결정된 각도가 상기 기 설정된 각도보다 큰 제2 각도인 경우, 상기 입체도형의 복수의 면 중 적어도 두 개의 면에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 차량의 주행에 의해 상기 각도가 상기 제1 각도에서 상기 제2 각도로 변경되는 것에 근거하여, 상기 그래픽 객체의 출력 개수를 증가시키는 것을 특징으로 하는 차량 제어 장치.
  7. 제 5 항에 있어서,
    상기 어느 하나의 면은, 상기 건물과 상기 차량 사이에 다른 건물이 존재하는지 여부에 따라 달라지는 것을 특징으로 하는 차량 제어 장치.
  8. 제 2 항에 있어서,
    상기 프로세서는,
    상기 지도 정보로부터 상기 차량이 주행중인 도로의 기울기를 결정하고,
    상기 결정된 기울기에 대응하도록 상기 입체도형을 기울여서 상기 목적지 정보에 대응하는 건물에 매칭하는 것을 특징으로 하는 차량 제어 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 기울기에 대응되도록 기울여진 입체도형을 기준으로 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  10. 제 2 항에 있어서,
    상기 인터페이스부는, 상기 차량에 구비된 카메라와 통신 연결되는 것을 특징으로 하고,
    상기 프로세서는,
    상기 차량에 구비된 카메라로부터 영상을 수신하고,
    수신된 영상에서 건물 영역에 대한 엣지 성분을 검출하며,
    상기 엣지 성분을 이용하여, 상기 건물을 포함하는 입체도형을 상기 목적지 정보에 대응하는 건물에 매칭하는 것을 특징으로 하는 차량 제어 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 목적지 정보와 관련된 그래픽 객체가 지면으로부터 소정 간격만큼 이격된 상태로 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 목적지 정보에 대응하는 건물 주변에 인접 건물이 존재하고, 상기 그래픽 객체와 상기 인접 건물이 중첩되는 경우, 상기 인접 건물과 상기 그래픽 객체가 미중첩되도록 상기 소정 간격을 변경하는 것을 특징으로 하는 차량 제어 장치.
  13. 제 2 항에 있어서,
    상기 프로세서는,
    상기 그래픽 객체를 출력하도록 결정된 적어도 하나의 면의 크기에 근거하여 서로 다른 크기로 상기 그래픽 객체를 출력하는 것을 특징으로 하는 차량 제어 장치.
  14. 제 2 항에 있어서,
    상기 프로세서는,
    상기 그래픽 객체가 출력되도록 결정된 면의 폭이 상기 그래픽 객체의 폭보다 큰 경우, 상기 차량의 이동에 근거하여, 상기 그래픽 객체가 출력되는 표시위치를 변경하는 것을 특징으로 하는 차량 제어 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 차량이 상기 입체도형을 기준으로 기 설정된 거리 이내로 진입하면, 상기 차량과 상기 그래픽 객체 사이의 거리가 일정하게 유지되도록 상기 그래픽 객체의 표시위치를 상기 차량의 진행방향으로 변경하는 것을 특징으로 하는 차량 제어 장치.
  16. 제 15 항에 있어서,
    상기 프로세서는,
    상기 그래픽 객체가 상기 결정된 면에서 출력되도록 설정된 영역의 경계선에 도달한 경우, 상기 차량과 상기 그래픽 객체 사이의 거리가 좁아지더라도 상기 그래픽 객체를 상기 경계선에 도달한 상태로 유지시키는 것을 특징으로 하는 차량 제어 장치.
  17. 제 3 항에 있어서,
    상기 프로세서는,
    상기 목적지 정보에 대응하는 건물의 공간 좌표 및 상기 인접 건물의 공간 좌표가 상기 지도 정보에 미존재하는 경우, 기 생성된 입체도형을 상기 목적지 정보에 대응하는 건물의 주변에 출력하고,
    상기 기 생성된 입체도형 상에 상기 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  18. 목적지 정보를 수신하는 단계;
    상기 목적지 정보에 대응하는 건물의 공간 좌표를 지도 정보로부터 획득하는 단계; 및
    상기 목적지 정보에 대응하는 건물의 공간 좌표에 근거하여, 상기 목적지 정보와 관련된 그래픽 객체가 상기 건물에 중첩되어 표시되도록 디스플레이부를 제어하는 단계를 포함하는 차량 제어 장치의 제어방법.
  19. 제 18 항에 있어서,
    상기 제어하는 단계는,
    상기 건물의 공간 좌표를 이용하여, 상기 건물을 포함하는 입체도형으로 렌더링하고,
    상기 입체도형을 형성하는 복수의 면 중 적어도 하나의 면에 상기 목적지 정보와 관련된 그래픽 객체가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 차량 제어 장치의 제어방법.
  20. 제 1 항 내지 제 17 항 중 어느 한 항에 기재된 차량 제어 장치를 포함하는 차량.
PCT/KR2020/018170 2019-12-18 2020-12-11 차량 제어 장치 및 그것의 제어 방법 Ceased WO2021125706A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20901355.6A EP4079592B1 (en) 2019-12-18 2020-12-11 Vehicle control device and control method therefor
US17/757,670 US12240323B2 (en) 2019-12-18 2020-12-11 Vehicle control device and control method therefor
KR1020227000877A KR102809612B1 (ko) 2019-12-18 2020-12-11 차량 제어 장치 및 그것의 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962949927P 2019-12-18 2019-12-18
US62/949,927 2019-12-18

Publications (1)

Publication Number Publication Date
WO2021125706A1 true WO2021125706A1 (ko) 2021-06-24

Family

ID=76477832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018170 Ceased WO2021125706A1 (ko) 2019-12-18 2020-12-11 차량 제어 장치 및 그것의 제어 방법

Country Status (4)

Country Link
US (1) US12240323B2 (ko)
EP (1) EP4079592B1 (ko)
KR (1) KR102809612B1 (ko)
WO (1) WO2021125706A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4167055A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle display by transfering external interest information
US20240227798A9 (en) * 2021-02-22 2024-07-11 Bayerische Motoren Werke Aktiengesellschaft Vehicle Control System and Method for Operating a Driving Function at a Traffic Node

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102920181B1 (ko) 2022-02-24 2026-02-02 주식회사 엘지에너지솔루션 차단 플레이트를 포함하는 전지셀 어셈블리, 및 상기 전지셀 어셈블리를 포함하는 전지팩
US20250044110A1 (en) * 2023-08-01 2025-02-06 GM Global Technology Operations LLC Navigation system for highlighting a target location of a destination by infrared light
FR3155491A1 (fr) * 2023-11-20 2025-05-23 Stellantis Auto Sas Procédé de commande d’un écran pour signaler une pente, dispositif et véhicule automobile associés.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130137063A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법
US20170184848A1 (en) * 2015-12-29 2017-06-29 Tuomas Vallius Augmented reality display system with variable focus
JP2017126142A (ja) * 2016-01-13 2017-07-20 株式会社ぐるなび 情報処理装置、情報処理方法及びプログラム
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
KR20190078676A (ko) * 2017-12-12 2019-07-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168637A (ja) * 2000-11-30 2002-06-14 Alpine Electronics Inc ナビゲーション装置
KR100932969B1 (ko) * 2007-05-23 2009-12-21 (주)브이아이소프트 길 안내 서비스 방법 및 상기 방법을 수행하는 내비게이션시스템
JP2010230551A (ja) * 2009-03-27 2010-10-14 Sony Corp ナビゲーション装置及びナビゲーション方法
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6984341B2 (ja) * 2017-11-17 2021-12-17 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130137063A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법
US20170184848A1 (en) * 2015-12-29 2017-06-29 Tuomas Vallius Augmented reality display system with variable focus
JP2017126142A (ja) * 2016-01-13 2017-07-20 株式会社ぐるなび 情報処理装置、情報処理方法及びプログラム
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
KR20190078676A (ko) * 2017-12-12 2019-07-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4079592A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240227798A9 (en) * 2021-02-22 2024-07-11 Bayerische Motoren Werke Aktiengesellschaft Vehicle Control System and Method for Operating a Driving Function at a Traffic Node
US12472945B2 (en) * 2021-02-22 2025-11-18 Bayerische Motoren Werke Aktiengesellschaft Vehicle control system and method for operating a driving function at a traffic node
EP4167055A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle display by transfering external interest information
US12397643B2 (en) 2021-10-15 2025-08-26 Hyundai Mobis Co., Ltd. System for controlling vehicle display by transferring external interest information

Also Published As

Publication number Publication date
EP4079592A4 (en) 2024-01-31
EP4079592A1 (en) 2022-10-26
KR20220024477A (ko) 2022-03-03
US20230012932A1 (en) 2023-01-19
EP4079592B1 (en) 2024-10-23
US12240323B2 (en) 2025-03-04
KR102809612B1 (ko) 2025-05-21

Similar Documents

Publication Publication Date Title
WO2022154369A1 (ko) 차량과 연동된 디스플레이 장치 및 그것의 동작방법
WO2018044098A1 (en) Vehicle user interface apparatus and vehicle
WO2018101552A2 (en) Head-up display for vehicle
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019031851A1 (ko) 지도 제공 장치
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2019035652A1 (en) DRIVING ASSISTANCE SYSTEM AND VEHICLE COMPRISING THE SAME
WO2018135811A1 (en) User interface apparatus for vehicle and vehicle
WO2018088647A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019022497A1 (en) EXTERIOR MIRROR FOR A VEHICLE
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2021125706A1 (ko) 차량 제어 장치 및 그것의 제어 방법
WO2018186709A1 (ko) 차량용 헤드 업 디스플레이 장치
WO2018235979A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2019066477A1 (en) AUTONOMOUS VEHICLE AND ITS CONTROL METHOD
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2021091041A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2022119267A1 (ko) 경로 안내 장치 및 경로 안내 시스템
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2020017677A1 (ko) 영상 출력 장치
WO2018093192A1 (ko) 차량용 레이더 장치 및 차량
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20901355

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227000877

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020901355

Country of ref document: EP

Effective date: 20220718

WWG Wipo information: grant in national office

Ref document number: 17757670

Country of ref document: US