WO2019107730A1 - 전자 장치 및 그의 텍스트 제공 방법 - Google Patents

전자 장치 및 그의 텍스트 제공 방법 Download PDF

Info

Publication number
WO2019107730A1
WO2019107730A1 PCT/KR2018/011818 KR2018011818W WO2019107730A1 WO 2019107730 A1 WO2019107730 A1 WO 2019107730A1 KR 2018011818 W KR2018011818 W KR 2018011818W WO 2019107730 A1 WO2019107730 A1 WO 2019107730A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
user
windshield
camera
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/011818
Other languages
English (en)
French (fr)
Inventor
원영민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP18883765.2A priority Critical patent/EP3666579A4/en
Priority to CN201880077079.4A priority patent/CN111727132B/zh
Priority to US16/754,611 priority patent/US11440408B2/en
Publication of WO2019107730A1 publication Critical patent/WO2019107730A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/163—Language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the present invention relates to an electronic device and a text providing method thereof, and more particularly to an electronic device for displaying text on a windshield provided in a vehicle and a method for providing text thereof.
  • the navigation system does not display all the buildings, shops, restaurants, etc.
  • the user sometimes feels inconvenience.
  • navigation alone may not be able to find the desired location.
  • an electronic device equipped with a transportation means, including a display for displaying an image on a windshield of the transportation means, a display for photographing a user aboard the transportation means, A second camera for photographing the outside of the transportation means, and a second camera for translating the text included in the image photographed through the second camera into another language, and displaying the translated text on the windshield
  • the processor displays the translated text in different areas of the windshield based on the traveling speed of the vehicle and the gaze of the user photographed through the first camera.
  • the processor may be configured to detect a line of sight of the user photographed through the first camera when the running speed is slower than a preset speed, and to cause the translucent region of the windshield, which is determined based on the gaze of the user, The text can be displayed.
  • the processor may determine text of the at least one text photographed by the second camera based on the detected user's gaze, the text being directed to the user's gaze, translating the determined text into another language,
  • the translated text can be displayed in an area of the windshield facing the user's gaze.
  • the processor determines a text of the at least one text photographed through the second camera to be directed to the changed user's gaze, translates the determined text into another language,
  • the translated text can be displayed in an area of the windshield facing the changed user's gaze.
  • the processor may display the translated text in a predetermined area of the windshield without detecting the user's gaze when the running speed is equal to or higher than a predetermined speed.
  • the processor judges the text to be transmitted to a predetermined area of the windshield among at least one text photographed through the second camera, translates the judged text into another language, The translated text can be displayed in the set area.
  • the processor may provide feedback to indicate that the matched text exists when there is text matched with the text input from the user in the translated text.
  • a text providing method of an electronic apparatus provided in a transportation means includes photographing a user aboard the transportation means through a first camera, photographing a user on the outside of the transportation means through a second camera The method comprising the steps of photographing and translating the text contained in the image photographed through the second camera into another language and displaying the translated text on a windshield of the vehicle, The translated text is displayed in different areas of the windshield based on the running speed of the means and the gaze of the user photographed through the first camera.
  • the step of displaying may include detecting a line of sight of the user photographed through the first camera when the running speed is slower than a predetermined speed, and detecting the line of sight of the user on the basis of the sight line of the user
  • the translated text can be displayed.
  • the displaying may include determining a text of the at least one text photographed by the second camera based on the detected user's gaze, the text being directed to the user's gaze, translating the determined text into another language ,
  • the translated text can be displayed in an area of the windshield facing the user's gaze.
  • the displaying step determines a text of the at least one text photographed through the second camera to be directed to the changed user's gaze, translates the determined text into another language ,
  • the translated text may be displayed in an area of the windshield facing the changed user's gaze.
  • the displaying step may display the translated text in a predetermined area of the windshield without detecting the user's gaze when the traveling speed is equal to or higher than a predetermined speed.
  • the step of displaying comprises the steps of determining text to be transmitted to a predetermined area of the windshield of at least one text photographed through the second camera, translating the determined text into another language,
  • the translated text can be displayed in a predetermined area of the display area.
  • the method of providing text according to the present invention may further include the step of providing feedback for indicating that the matched text exists when there is text matched with the text input from the user in the translated text have.
  • the user since the text existing outside the transportation means is translated in real time and displayed on the windshield, the user operates the transportation means in an area where the user does not understand the language It is possible to provide convenience for traveling. Particularly, according to the moving speed of the transportation means, the translated text is displayed in different areas of the windshield, so that the user can receive various information without being disturbed by the operation.
  • FIG. 1 is a view for explaining an electronic device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining a configuration of an electronic device according to an embodiment of the present invention.
  • FIGS. 3 and 4 are diagrams for explaining a method of determining a transmission area according to various embodiments of the present invention.
  • FIGS 5 through 7 illustrate methods for providing translated text according to various embodiments of the present invention
  • FIG. 8 is a diagram illustrating a method of receiving text from a user according to an embodiment of the present invention.
  • FIGS. 9 and 10 are diagrams for explaining a method of providing text matched with input text according to various embodiments of the present invention.
  • FIG. 11 is a block diagram schematically showing the configuration of a transportation means having an electronic device according to an embodiment of the present invention, and Fig.
  • FIG. 12 is a flowchart illustrating a text providing method according to an embodiment of the present invention.
  • a vehicle may be a vehicle, a plane, a motorcycle, an (electric) bicycle, an electric wheel, a ship or a train, etc., have.
  • the transportation means is a vehicle
  • the vehicle may include small, medium, large, two-wheel and special vehicles, and may include a passenger, a passenger, a truck, a bus and a freight vehicle.
  • the user of the present disclosure may be a person who rides on a transportation means, for example, a person who drives or adjusts the transportation means such as a driver, an adjustment company, an engineer or a marine company, or a rider on board the transportation means.
  • FIG. 1 is a view for explaining an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may be mounted on a vehicle 10.
  • the electronic device 100 may be a separate system provided in the vehicle 10, or may be an auxiliary system such as an ADAS (advanced driver assist system) or a part of such an auxiliary system.
  • the electronic device 100 may be a control device such as an electronic control unit (ECU) that electronically controls various functions related to the operation of the transportation means 10, or may be a part of such a control device.
  • ECU electroniceeeedvanced driver assist system
  • the electronic device 100 may display various screens on the windshield 11 of the vehicle 10 (i.e., the front glass of the vehicle 10).
  • the electronic device 100 translates the text contained in the image photographed outside the vehicle 10 into a language that the user can understand, and displays the translated text on the windshield.
  • the electronic device 100 may display the translated text in the area where the text is viewed through the windshield when the user sees the text displayed on the object, It is possible to display the translated text in a specific area of the windshield.
  • the translated text is displayed in different areas of the windshield, so that the user can be provided with various information without being disturbed by the operation.
  • FIG. 2 is a block diagram for explaining a configuration of an electronic device according to an embodiment of the present invention.
  • an electronic device 100 includes a display 110, a first camera 120, a second camera 130, and a processor 140.
  • the display 110 displays an image on the windshield of the vehicle 10.
  • the display 110 may display an image containing text on the windshield of the vehicle 10.
  • the text may be a text in which the image taken outside the vehicle 10 is translated into a user-understandable language.
  • the display 110 is implemented as a head up display (HUD), and a screen can be displayed by projecting an image on a windshield.
  • the display 110 may be embodied as a transparent display disposed in the windshield of the vehicle 10.
  • the first camera 120 takes a picture of the user aboard the transportation means 10.
  • the first camera 120 may be located in the upper portion of the windshield, and may perform imaging in the inward direction of the vehicle 10. Accordingly, the first camera 120 can take a picture of the user aboard the transportation means 10.
  • an image photographed through the first camera 120 will be referred to as a rear image.
  • the second camera 130 photographs the outside of the transportation means 10. Specifically, the second camera 130 is located at the upper portion of the windshield, and can perform photographing in the outward direction of the vehicle 10. That is, the second camera 130 is disposed at the same position as the first camera 120, but can take an image in a direction opposite to that of the first camera 120. Accordingly, the second camera 130 can photograph various objects existing in front of the transportation means 10.
  • an image photographed through the second camera 130 will be referred to as a front image.
  • an object may include a signboard existing in an external environment, a signboard of a building, and the like.
  • Processor 140 controls the overall operation of electronic device 100.
  • the processor 140 can determine an area through which an object is transmitted on the weed shield, using the image captured through the first and second cameras 120 and 130. [ Hereinafter, for convenience of explanation, a region through which an object is transmitted is referred to as a transmission region.
  • the processor 140 may detect the user in the image taken through the first camera 120, i.e., the rear image, and obtain the coordinates on the user's three-dimensional space.
  • the processor 140 may detect an edge in a rear image, identify an object, and determine whether the object corresponds to a face, a shape, or the like of a person, thereby detecting a user in the rear image.
  • the processor 140 detects a distance, an angle, and a direction with respect to the user based on a point where the first camera 120 is located using the rear image , The coordinate value on the user's three-dimensional space can be obtained.
  • the processor 140 can detect the user's gaze.
  • the first camera 120 may include at least one light emitting device (e.g., an IR LED, etc.) capable of emitting light to a user.
  • a light emitting device e.g., an IR LED, etc.
  • the processor 140 can detect the user's eyes in the rear image, and detect the position of the user's eyes by detecting the position of the light reflected from the user's eyes in the back image.
  • the processor 140 may detect a pupil in a user's eye and determine the position at which the light emitted from the light emitting device is reflected from the cornea of the user.
  • the processor 140 may set the initial position of the eye using the relative positional relationship between the center position of the pupil and the position where the light is reflected from the cornea.
  • the processor 140 can set the initial position of the eye based on when the user looks at the front side.
  • whether or not the user looks at the front can be determined according to the ratio of the left and right whites (i.e., sclera) occupied by the eye to the iris.
  • the processor 140 can determine the gaze of the user by comparing the difference between the two points with the difference between the center position of the pupil at the initial position and the reflected position of the light.
  • the processor 140 can detect the object in the image captured through the second camera 130, i.e., the front image, and obtain the coordinates on the three-dimensional space of the object.
  • the processor 140 may detect an edge in the forward image to identify the object.
  • the processor 140 detects a distance, an angle and a direction with respect to an object based on a point where the second camera 130 is located using the forward image , Coordinate values on the three-dimensional space of the object can be obtained.
  • the processor 140 can determine an area through which an object is viewed on the windshield, that is, a transmission area, using the coordinate values of the user and the object.
  • the processor 140 may determine an area in which at least one object existing outside the vehicle 10 is viewed through the windshield. In other words, the processor 140 may determine an area through which the user currently views the windshield, in consideration of the user's gaze.
  • the position where the first and second cameras 120 and 130 are installed is regarded as an origin
  • the position of the user 31 is defined as L1 (x1, y1, z1)
  • the first object 32 (X2, y2, z2)
  • the position of the second object 33 is L3 (x3, y3, z3).
  • the processor 140 may determine an object that the user is looking at based on the user's gaze, and may determine an area in which the user is looking through the windshield.
  • the processor 140 can determine that the user is looking at the second object 33.
  • the processor 140 determines a straight line connecting the points L1 and L3 and determines a second object 33 that the user views the area T where the plane formed by the windshield 11 and the straight line meet in the three- It is possible to determine that the region is visible through the windshield 11.
  • T may be a region within a certain distance based on the size of the object and the distance between the user and the object based on the point where the plane and the straight line meet.
  • the processor 140 may determine an area through which an object is transmitted on the windshield without considering the user's line of sight, and determine whether the area is within a predetermined area of the windshield.
  • the fact that the user's gaze is not taken into consideration may mean that the user is looking forward, without considering the direction in which the user is looking, and may determine the region through which the object is transmitted on the windshield.
  • the predetermined area may mean an area within a predetermined distance from the center of the windshield.
  • the position where the first and second cameras 120 and 130 are installed is regarded as the origin, the position of the user 41 is defined as L1 (x1, y1, z1), the first object 42, (X2, y2, z2) and the position of the second object 43 is L3 (x3, y3, z3).
  • the processor 140 may assume that the user is facing the front direction, and may determine an area through which the object is transmitted on the windshield based on the position of the user.
  • the processor 140 determines a straight line connecting the points L1 and L2, and sets the area T1 where the plane formed by the windshield 11 and the straight line meet in the three-dimensional space, It is possible to determine the area that is visible through the windshield to the user viewing the windshield.
  • T1 may be an area within a certain distance based on the size of the object, the distance between the user and the object, and the point where the straight line meets the plane.
  • the processor 140 determines a straight line connecting the points L1 and L3 and determines a region T2 in which the windshield 11 forms in the three-dimensional space and the straight line meet the second object 43, It is possible to judge the region to be visible to the user through the windshield.
  • T2 may be an area within a certain distance based on the size of the object, the distance between the user and the object, and the point where the straight line meets the plane.
  • the processor 140 can determine whether the transmission region for each object is within a predetermined area of the windshield.
  • the processor 140 can determine that the T1 area does not belong to the predetermined area A but the T2 area belongs to the predetermined area. That is, the processor 140 can determine that the area, through which the second object 43 is transmitted on the windshield 11, among the first and second objects 42 and 43 belongs to a predetermined area.
  • the processor 140 can determine the area through which the object is transmitted on the windshield.
  • the processor 140 may control the display 110 to translate the text included in the photographed image through the second camera 130 into another language, and to display the translated text on the windshield.
  • the processor 140 can recognize the text written on the object photographed through the second camera 130 using a text reading algorithm (e.g., an optical character reader (OCR) algorithm, etc.).
  • a text reading algorithm e.g., an optical character reader (OCR) algorithm, etc.
  • the processor 140 may then translate the recognized text into another language.
  • the user can set the language in which the text is to be translated.
  • the user can set the language he or she understands to the language in which the text is to be translated.
  • the electronic device 100 may include a language database for text translation, and the processor 140 may perform translation on the recognized text using the language database.
  • the processor 140 may transmit the recognized text to a server (not shown) providing the translation service, and may receive the translated text from the server (not shown).
  • the electronic device 100 may include a communication module for communicating with a server (not shown).
  • the processor 140 may display the translated text in different areas of the windshield based on the traveling speed of the vehicle and the gaze of the user photographed through the first camera 120.
  • the processor 140 detects the line of sight of the user photographed through the first camera 120 when the traveling speed of the vehicle 10 is slower than the predetermined speed, and detects the line of sight of the windshield determined based on the user's gaze
  • the translated text can be displayed in the area.
  • the processor 140 determines the text of the at least one text photographed through the second camera 130 to be directed by the user's gaze based on the detected user's gaze, translates the determined text into another language ,
  • the translated text can be displayed in an area facing the user's eyes in the windshield.
  • the traveling speed of the transportation means 10 is slower than the preset speed, the user is more likely to recognize the text entering his / her field of view without disturbing the driving.
  • the processor 140 preferentially translates the text that the user is looking at, and the text that the user is looking at the translated text is displayed on the windshield And is displayed on the transmissive area.
  • the processor 140 may not perform the translation for other texts existing in the image captured through the second camera 130, or may perform the translation after the text that the user is looking at first is translated . In this manner, the translation burden can be reduced and the text can be translated and provided in real time.
  • the processor 140 displays “NAILS 520 ) &Quot;, "SNACK (530)" can be translated into Korean.
  • the processor 140 displays "NAILS 560” represented by “NAILS 520" in Korean in an area 540 where "NAILS 520" is visible on the windshield, and " SNACK 530 "can be displayed in the region 550 where the" SNACK 530 "is visible.
  • the processor 140 determines the text of the at least one text photographed through the second camera 130 to be directed to the changed user's gaze, translates the determined text into another language, The translated text can be displayed in the area of the windshield facing the changed user's gaze.
  • the processor 140 removes the previously displayed text and translates the text present in the area that the user is looking at newly to display it on the windshield have.
  • the processor 140 can translate "DENTIST (610)" existing in the area facing the user's eyes to Korean, among the recognized texts 610, 620 and 630.
  • the processor 140 can display "DENTIST (650)" in the region 640 where the "DENTIST (610)” is visible on the windshield, in which "DENTIST (610)” is expressed in Korean.
  • the processor 140 may remove the Korean representation for the previously displayed "NAILS” and "SNACK" on the windshield.
  • the processor 140 can display the translated text on the windshield in consideration of the user's gaze.
  • the processor 140 can display the translated text in a predetermined area of the windshield without detecting the user's line of sight.
  • the predetermined area may be an area within a predetermined distance with respect to the center of the windshield.
  • the processor 140 determines text to be transmitted to a predetermined area of the windshield of at least one text photographed through the second camera 130, translates the determined text into another language, The translated text can be displayed in the predetermined area.
  • the processor 140 may assume that the user is looking forward without detecting the user's gaze, The text to be transmitted is judged, the judged text is preferentially translated, and the translated text is displayed in the transmissive area.
  • the processor 140 may not perform the translation for other texts existing in the image captured through the second camera 130, or may perform the translation after the text that the user is looking at first is translated . In this manner, the translation burden can be reduced and the text can be translated and provided in real time.
  • the processor 140 can translate "International Airport 720" and "Gas Station 730", which are included in the predetermined area 740, into the Korean language, among the texts, .
  • the processor 140 then displays the "International Airport 770", which is expressed in Korean in the "International Airport 720" in the area 750 where the "International Airport 720" is transmitted on the windshield,
  • the gas station 730 can be displayed in the region 760 through which the gas station 730 is transmitted on the gas station 730. [ At this time, "Park (710) ", which is the text that is not included in the preset area 740, is not displayed in Korean.
  • the processor 140 may provide feedback to indicate that there is a matching text when there is text matching the input text from the user among the translated text.
  • the processor 140 may receive text from a user.
  • the user can input text in a language that he can understand, and the text can be a name for a destination, a place to be searched, and the like.
  • the user can input the word "Convenience Store” in Korean through a touch screen provided on the center fascia of the transportation means 10.
  • the user may input text through a separate external device such as a smartphone, for example, another electronic device communicating with the electronic device 100.
  • the external device may transmit the input text to the electronic device 100
  • the electronic device 100 may include a communication module for performing communication with the external device.
  • the processor 140 may display the color, shape, size, and the like of the text matched with the text input by the user to be distinguished from other text.
  • the processor 140 may provide vibration feedback for the handle, chair, etc. of the transportation device 10, or may provide sound feedback via the speaker of the transportation device 10, if there is text that matches the text entered from the user .
  • the processor 140 can display” snack 940 "at a size larger than” nail 930 ".
  • the processor 140 displays the "International Airport 1010" in the region where the "International Airport 1010” is transmitted on the windshield and the "International Airport 1030" Gas station 1020 "represented in Korean can be displayed in the area where " gas station 1020"
  • the processor 140 can display the "gas station 1040" in a different color from the "international airport 1030".
  • the processor 140 may provide feedback on it, taking into account only the text previously entered from the user.
  • the processor 140 recognizes the text in the image photographed through the second camera 130, and determines whether there is text matching the text input from the user among the recognized text.
  • the text included in the image photographed through the second camera 130 and the text input by the user may be different languages.
  • the processor 140 may provide feedback on the text that matches the text input from the user among the recognized texts, if any.
  • the processor 140 displays only the corresponding text in an area to be transmitted on the windshield or displays the text together with other texts, Size and the like can be displayed so as to be distinguished from other texts.
  • the processor 140 may also provide vibration feedback for the handle, chair, and the like of the transport device 10, or provide a specific sound through the speaker of the transport device 10, Output.
  • FIG. 11 is a block diagram schematically showing the configuration of a transportation means having an electronic device according to an embodiment of the present invention.
  • Fig. 11 it is assumed that the vehicle 10 is implemented as a vehicle.
  • the vehicle 10 includes an electronic device 100 in accordance with an embodiment of the present invention and further includes an ADAS 12, an advanced driving assistance system, a driving / An input unit 14, a sensing unit 15, an output unit 16, a driving unit 17, and a door 18 that perform overall control related to the operation of the vehicle 10 such as braking / .
  • the electronic device 100 is shown as being distinct from the ADAS 12 and the ECU 13, which are state-of-the-art driving assist systems, but this is only an example, and according to various embodiments, At least one may be all or part of the ADAS 12, or all or part of the ECU 13.
  • the ADAS 12 may be referred to as a driver assistance system or an advanced driving assistance system and may provide various auxiliary functions related to the safety of the vehicle.
  • the ADAS 12 has an adaptive cruise control function that recognizes the vehicle ahead and automatically maintains the safety distance, and automatically adjusts the speed by recognizing the distance to the vehicle ahead Smart cruise control function, traffic jam assist function that maintains a distance from the forward vehicle in the urban corridor, and up and down shifts depending on whether there is night or night transportation.
  • An adaptive highbeam function for operating the vehicle in an invisible state an night vision function for detecting an invisible object of the driver in advance by using an infrared or thermal camera, And a blind spot warning function for searching for the existence of the blind spot warning.
  • the ECU 13 can detect the state of the transportation means 10 and determine the fuel injection amount and the ignition timing so that the engine of the transportation means 10 does not fail.
  • the ECU 13 may calculate a manifold absolute pressure (MAP) value and a fuel injection MAP value that are set in advance in consideration of the number of revolutions of the engine, the intake air amount, the intake pressure, It is possible to correct the water temperature sensor, the oxygen sensor, and the like, and to adjust the opening and closing rate of the injector.
  • MAP manifold absolute pressure
  • the input unit 14 can receive various user commands related to the control of the transportation means 10 and can be provided in the transportation means 10. To this end, the input unit 14 may include a plurality of buttons or a touch screen. In this case, the processor 140 may control various components of the transportation means 10 to operate in accordance with a user command received through the input unit 14. [
  • the sensing unit 15 may sense the surrounding environment of the transportation means 10.
  • the sensing unit 15 may include a lidar sensor, a radar sensor, an ultrasonic sensor, a vision sensor, an infrared sensor, an LED sensor, and the like in order to sense the environment of the vehicle 10 And may include the same object detection sensor or distance detection sensor.
  • the sensing unit 15 may include an acceleration sensor, a gyro sensor, an illuminance sensor, a proximity sensor, a pressure sensor, a noise sensor, (E.g., a microphone), a video sensor (e.g., a camera module), a temperature sensor, a shock sensor, a tilt sensor, a 3-axis magnetic sensor, Or a timer may be further included.
  • the sensing unit 15 may be configured to detect the battery state information, the fuel state information, the engine state information (information on the engine state, the engine oil state, the timing belt state), the tire information (tire wear, Etc.), driving speed information, driving direction information, steering information based on rotation of the wheel or steering, vehicle lamp information, vehicle internal temperature and humidity information, and inclination information of the vehicle. Also, the sensing unit 15 can determine whether it is daytime or nighttime through the illuminance sensor, and the sensing unit 15 can acquire illumination information according to the degree of brightness of the daytime or the direction of the user's sight.
  • the processor 140 can control various components of the transportation means 10 using the sensing information obtained in real time by the sensing unit 15.
  • the output unit 16 may include a display (not shown) for displaying various screens and a speaker (not shown) for outputting various audio.
  • the display (not shown) may be located in the center fascia, located in a window or a seat, or may be implemented as a head-up display in which the image is projected onto a windshield or windshield.
  • a display (not shown) and a speaker (not shown) may be components of the electronic device 100.
  • the driving unit 17 may include a lamp driving unit, a steering driving unit, a brake driving unit, a power source driving unit, a suspension driving unit, and the like in order to drive a component that controls various operations of the vehicle 10 including the driving.
  • the vehicle 10 may further include a memory (not shown) in which various programs and data for controlling the vehicle 10 are stored.
  • a memory (not shown) in which various programs and data for controlling the vehicle 10 are stored.
  • the memory may be provided separately in the transportation means 10, or may be included in the ADAS 12 or the ECU 13 of the transportation means 10.
  • a memory (not shown) provided in the electronic device 100 may store various programs and data for controlling the transportation means 10.
  • the processor 140 may be connected to various components included in the transportation means 10 to transmit and receive various data and signals.
  • the processor 140 may generate and transmit control commands to control various components included in the vehicle.
  • this is only an example, and a separate processor for controlling various components included in the transportation means 10 may be provided in the transportation means 10.
  • the processor 140 may, for example, operate an operating system or an application program to control hardware or software components connected to the processor 140, and may perform various data processing and operations.
  • the processor 140 may also load and process instructions or data received from at least one of the other components into volatile memory and store the various data in non-volatile memory.
  • the processor 140 may be a generic-purpose processor capable of performing the corresponding operations by executing one or more software programs stored in a memory device or a dedicated processor (e.g., an embedded processor) (E.g., a CPU, GPU, or application processor).
  • a dedicated processor e.g., an embedded processor
  • the electronic device 100 is mounted on the transportation means 10, but this is merely an example.
  • the electronic device 100 when the electronic device 100 is implemented as an external device mounted on the vehicle 10, the electronic device 100 may be a smart phone, a tablet personal computer (PDA), a personal digital assistant (PDA) a multimedia player, etc., or it may be part of such devices and may also be used for driving assistance such as on board diagnostics (OBD) connected to a vehicle connector (e.g. OBD terminal or OBD connector) Or may be part of such devices.
  • OBD on board diagnostics
  • the electronic device 100 when the electronic device 100 is embodied as a smartphone, the electronic device 100 may be mounted to the vehicle 10 to capture a user through a front camera of the electronic device 100, 100 to the outside of the vehicle 100 through the rear camera.
  • the processor 140 may use the photographed image to perform the above-described operation to display the translated text in different areas of the windshield depending on the traveling speed of the transportation means 10.
  • the electronic device 100 can receive information on the moving speed of the transportation means 10 by performing communication with the system provided in the transportation means 10. [ On the other hand, when displaying the translated text, the electronic device 100 projects the image to the windshield of the transportation means 10 via the projection unit provided for itself, or controls the projection unit provided to the transportation means 10 So that the image can be projected onto the windshield.
  • the translated text is displayed in an area where the text is seen through the windshield, It is described as providing translated text in the area.
  • the processor 140 may translate and provide the text according to the rotation direction (or angle) of the wheel or the steering wheel in addition to the line of sight of the user.
  • the processor 140 translates text existing in the rotating direction of the vehicle 10 in accordance with the rotational direction of the wheel or steering sensed by the sensing unit 15, and displays the translated text on the windshield can do.
  • the processor 140 may translate text that is transmitted to the left area of the windshield and display the translated text in the left area of the windshield when the vehicle 10 is rotated to the left.
  • the processor 140 can translate the text that is transmitted to the right area of the windshield and display the translated text in the right area of the windshield when the vehicle 10 rotates to the right.
  • translated text may be provided in different areas depending on the direction of rotation of the wheel or steering wheel.
  • FIG. 12 is a flowchart illustrating a text providing method according to an embodiment of the present invention.
  • a user aboard the transportation means is photographed through the first camera (S1210), and the outside of the transportation means is photographed through the second camera (S1220).
  • the text included in the image photographed through the second camera is translated into another language, and the translated text is displayed on the windshield of the transportation means (S1230).
  • the translated text can be displayed in different areas of the windshield, based on the running speed of the vehicle and the gaze of the user photographed through the first camera.
  • step S1230 when the traveling speed is slower than the predetermined speed, the user's eyesight photographed through the first camera is detected, and the translated text is displayed in the area of the windshield determined based on the user's gaze .
  • a text of the at least one text photographed by the second camera on the basis of the detected user's gaze is determined, and the determined text is translated into another language.
  • the translated text can be displayed in the facing area.
  • a text of the at least one text photographed by the second camera is directed to the changed line of sight of the user, the translated text is translated into another language,
  • the translated text can be displayed in the facing area.
  • the translated text can be displayed in the predetermined area of the windshield without detecting the user's line of sight.
  • Various embodiments of the present disclosure may be implemented in software, including instructions stored on machine-readable storage media readable by a machine (e.g., a computer) (E. G., Electronic device 100) in accordance with the disclosed embodiments, when the instructions are executed by a processor, such that the processor is capable of operating directly, Or other components under the control of the processor.
  • the instructions may include code generated or executed by a compiler or an interpreter.
  • Non-transitory storage medium where 'non-transient' means that the storage medium does not contain a signal, Only it means that the material (tangible) data is not case that the permanently or temporarily stored in the storage medium.
  • the method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM).
  • CD-ROM compact disc read only memory
  • PlayStore TM application store
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Systems (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 운송 수단의 윈드실드에 이미지를 표시하는 디스플레이, 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라, 운송 수단의 외부를 촬영하기 위한 제2 카메라 및 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시하도록 디스플레이를 제어하는 프로세서를 포함하며, 프로세서는 운송 수단의 주행 속도 및 제1 카메라를 통해 촬영된 사용자의 시선에 기초하여, 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시한다.

Description

전자 장치 및 그의 텍스트 제공 방법
본 개시는 전자 장치 및 그의 텍스트 제공 방법에 관한 것으로, 더욱 상세하게는 운송 수단에 마련된 윈드실드에 텍스트를 표시하는 전자 장치 및 그의 텍스트 제공 방법에 관한 것이다.
최근 전자 기술의 발전으로, 대부분의 차량에는 내비게이션이 구비되어 있으며, 사용자는 내비게이션을 통해 목적지까지의 길 안내를 제공받을 수 있게 되었다.
하지만, 내비게이션에는 모든 건물, 상점, 식당 등이 표시되어 있기 않기 때문에, 사용자는 다소 간의 불편함을 느끼기도 하였다. 특히, 사용자는 자신이 이해하지 못하는 언어를 사용하는 국가에서 차량을 운전할 때, 내비게이션만으로는 자신이 원하는 곳을 찾을 수 없는 경우도 있다.
이에 따라, 사용자가 차량을 운전할 때, 그 주변에 존재하는 텍스트에 대한 정보를 제공하기 위한 방안이 모색이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 운송 수단 주변제 존재하는 텍스트를 번역하여 운송 수단의 윈드실드에 표시하되, 운송 수단의 이동 속도에 따라 윈드실드의 서로 다른 영역에 번역된 텍스트를 제공할 수 있는 전자 장치 및 그의 텍스트 제공 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 운송 수단에 구비된 전자 장치는 상기 운송 수단의 윈드실드(windshield)에 이미지를 표시하는 디스플레이, 상기 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라, 상기 운송 수단의 외부를 촬영하기 위한 제2 카메라 및 상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 윈드실드에 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하며, 상기 프로세서는 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시한다.
여기에서, 상기 프로세서는 상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시할 수 있다.
또한, 상기 프로세서는 상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
그리고, 상기 프로세서는 상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 프로세서는 상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
여기에서, 상기 프로세서는 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 프로세서는 상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
한편, 본 발명의 일 실시 예에 따른 운송 수단에 구비된 전자 장치의 텍스트 제공 방법은 제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하는 단계, 제2 카메라를 통해 상기 운송 수단의 외부를 촬영하는 단계 및 상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 운송 수단의 윈드실드에 표시하는 단계를 포함하며, 상기 표시하는 단계는 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여, 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시한다.
여기에서, 상기 표시하는 단계는 상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시할 수 있다.
또한, 상기 표시하는 단계는 상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
그리고, 상기 표시하는 단계는 상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 표시하는 단계는 상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
여기에서, 상기 표시하는 단계는 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 본 발명에 따른 텍스트 제공 방법은 상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 운송 수단의 외부에 존재하는 텍스트를 실시간으로 번역하여 윈드실드에 표시한다는 점에서, 사용자가 자신이 이해하지 못하는 언어를 사용하는 지역에서 운송 수단을 운전할 때에도 주행에 대한 편의를 제공받을 수 있다. 특히, 운송 수단의 이동 속도에 따라, 번역된 텍스트가 윈드실드의 서로 다른 영역에 표시된다는 점에서, 사용자는 운전에 방해를 받지 않으면서도 다양한 정보를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3 및 도 4는 본 발명의 다양한 실시 예에 따라 투과 영역을 판단하는 방법을 설명하기 위한 도면들,
도 5 내지 도 7은 본 발명의 다양한 실시 예에 따라 번역된 텍스트를 제공하는 방법을 설명하기 위한 도면들,
도 8은 본 발명의 일 실시 예에 따라 사용자로부터 텍스트를 입력받는 방법을 설명하기 위한 도면,
도 9 및 도 10은 본 발명의 다양한 실시 예에 따라 입력된 텍스트와 매칭되는 텍스트를 제공하는 방법을 설명하기 위한 도면들,
도 11은 본 발명의 일 실시 예에 따른 전자 장치를 구비한 운송 수단의 구성을 개략적으로 도시한 블록도, 그리고
도 12는 본 발명의 일 실시 예에 따른 텍스트 제공 방법을 설명하기 위한 흐름도이다.
-
이하에서 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서, 운송 수단(vehicle)은 사람이 탑승하거나 화물이 적재되어 이동할 수 있는 운송 수단으로서, 예를 들어, 차량, 비행기, 오토바이, (전기) 자전거, 전동휠, 선박 또는 기차 등이 있을 수 있다. 또한, 운송 수단이 차량인 경우, 차량은 소형, 중형, 대형, 이륜 및 특수 차량을 포함할 수 있으며, 승용, 승합, 트럭, 버스 및 화물 차량 등을 포함할 수 있다. 또한, 본 개시의 사용자는 운송 수단에 탑승한 사람으로, 예를 들어, 운전자, 조정사, 기관사 또는 항해사 등과 같이 운송 수단을 운전 또는 조정하는 사람이거나, 운송 수단에 탑승한 동승자일 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 운송 수단(10)에 탑재될 수 있다. 이 경우, 전자 장치(100)는 운송 수단(10)에 구비된 별도의 시스템일 수 있고, 또는 ADAS(advanced driver assist system)와 같은 보조 시스템일 수도 있고, 이러한 보조 시스템의 일부일 수도 있다. 또한, 전자 장치(100)는 운송 수단(10)의 운전과 관련된 다양한 기능 등을 전자적으로 제어하는 ECU(electronic control unit)와 같은 제어 장치일 수도 있고, 이러한 제어 장치의 일부일 수도 있다.
전자 장치(100)는 운송 수단(10)의 윈드실드(windshield)(11)(즉, 운송 수단(10)의 프런트 글래스(front glass))에 다양한 화면을 표시할 수 있다.
특히, 전자 장치(100)는 운송 수단(10)의 외부를 촬영한 이미지에 포함된 텍스트를 사용자가 이해할 수 있는 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시할 수 있다.
이때, 전자 장치(100)는 운송 수단(10)의 이동 속도에 따라, 사용자가 물체에 표시된 텍스트를 보았을 때 해당 텍스트가 윈드실드에서 투과되어 보이는 영역에 번역된 텍스트를 표시하거나, 사용자의 시선과는 무관하게 윈드실드의 특정한 영역에 번역된 텍스트를 표시할 수 있다.
이와 같이, 본 발명의 다양한 실시 예에 따르면, 운송 수단(10)의 외부에 존재하는 텍스트를 실시간으로 번역하여 윈드실드에 표시한다는 점에서, 사용자가 자신이 이해하지 못하는 언어를 사용하는 지역에서 운송 수단(10)을 운전할 때에도 주행에 대한 편의를 제공받을 수 있다.
특히, 운송 수단(10)의 이동 속도에 따라, 번역된 텍스트가 윈드실드의 서로 다른 영역에 표시된다는 점에서, 사용자는 운전에 방해를 받지 않으면서도 다양한 정보를 제공받을 수 있게 된다.
이하에서는 본 발명의 다양한 실시 예에 따라 윈드실드에 텍스트를 표시하는 방법에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 디스플레이(110), 제1 카메라(120), 제2 카메라(130) 및 프로세서(140)를 포함한다.
디스플레이(110)는 운송 수단(10)의 윈드실드에 이미지를 표시한다. 특히, 디스플레이(110)는 텍스트를 포함하는 이미지를 운송 수단(10)의 윈드실드에 표시할 수 있다.
여기에서, 텍스트는 운송 수단(10)의 외부를 촬영한 이미지에 포함된 텍스트가 사용자가 이해 가능한 언어로 번역된 텍스트일 수 있다.
이를 위해, 디스플레이(110)는 HUD(Head Up Display)로 구현되어, 윈드실드에 영상을 투사하여 화면을 표시할 수 있다. 뿐만 아니라, 디스플레이(110)는 운송 수단(10)의 윈드실드에 배치된 투명 디스플레이로 구현될 수도 있다.
제1 카메라(120)는 운송 수단(10)에 탑승한 사용자를 촬영한다. 예를 들어, 제1 카메라(120)는 윈드실드의 상측 부분에 위치하여, 운송 수단(10)의 내부 방향으로 촬영을 수행할 수 있다. 이에 따라, 제1 카메라(120)는 운송 수단(10)에 탑승한 사용자를 촬영할 수 있다. 이하에서는 설명의 제1 카메라(120)를 통해 촬영된 이미지를 후방 이미지라 한다.
제2 카메라(130)는 운송 수단(10)의 외부를 촬영한다. 구체적으로, 제2 카메라(130)는 윈드실드의 상측 부분에 위치하여, 운송 수단(10)의 외부 방향으로 촬영을 수행할 수 있다. 즉, 제2 카메라(130)는 제1 카메라(120)와 같은 위치에 배치되나, 제1 카메라(120)와는 반대 방향으로 촬영을 수행할 수 있다. 이에 따라, 제2 카메라(130)는 운송 수단(10)의 전방에 존재하는 다양한 물체를 촬영할 수 있다. 이하에서는 설명의 제2 카메라(130)를 통해 촬영된 이미지를 전방 이미지라 한다.
여기에서, 물체는 외부 환경에 존재하는 표지판, 건물의 간판 등을 포함할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다.
먼저, 프로세서(140)는 제1 및 제2 카메라(120, 130)를 통해 촬영된 이미지를 이용하여, 위드실드 상에서 물체가 투과되는 영역을 판단할 수 있다. 이하에서, 설명의 편의를 위해 물체가 투과되는 영역을 투과 영역이라 한다.
이를 위해, 프로세서(140)는 제1 카메라(120)를 통해 촬영된 이미지 즉, 후방 이미지에서 사용자를 검출하고, 사용자의 3차원 공간 상의 좌표를 획득할 수 있다.
구체적으로, 프로세서(140)는 후방 이미지에서 에지(edge)를 검출하여 물체를 식별하고, 해당 물체가 사람의 얼굴, 형상 등에 해당하는지를 판단하여 후방 이미지에서 사용자를 검출할 수 있다. 그리고, 제1 카메라(120)가 뎁스 카메라로 구현되는 경우, 프로세서(140)는 후방 이미지를 이용하여 제1 카메라(120)가 위치한 지점을 기준으로 사용자와의 거리, 각도 및 방향 등을 검출하여, 사용자의 3차원 공간 상의 좌표 값을 획득할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 사용자를 검출하고 검출된 사용자의 좌표 값을 획득하기 위해 다양한 알고리즘이 이용될 수 있음은 물론이다.
한편, 프로세서(140)는 사용자의 시선을 검출할 수 있다. 이를 위해, 제1 카메라(120)는 사용자에게 빛을 방출할 수 있는 적어도 하나의 발광 소자(가령, IR LED 등)를 포함할 수 있다.
이 경우, 프로세서(140)는 후방 이미지에서 사용자의 눈을 검출하고, 후방 이미지에서 발광 소자로부터 방출된 빛이 사용자의 눈에서 반사된 위치를 감지하여 사용자의 시선을 검출할 수 있다.
예를 들어, 프로세서(140)는 사용자의 눈에서 동공을 검출하고, 발광 소자에서 방출된 빛이 사용자의 각막에서 반사되는 위치를 판단할 수 있다. 그리고, 프로세서(140)는 동공의 중심 위치와 각막에서 빛이 반사된 위치 사이의 상대적인 위치 관계를 이용하여 눈의 초기 위치를 설정할 수 있다. 이때, 프로세서(140)는 사용자가 정면을 바라볼 때를 기준으로, 눈의 초기 위치를 설정할 수 있다. 여기에서, 사용자가 정면을 바라보는지 여부는 홍채를 기준으로 좌측 및 우측의 흰자위(즉, 공막)가 눈에서 차지하는 비율 등에 따라 결정될 수 있다.
한편, 사용자의 위치는 일정하게 유지되면서 시선만 변경되는 경우, 각막에서 반사되는 빛의 위치는 변경되지 않지만, 동공 중심의 위치는 변경된다. 이에 따라, 프로세서(140)는 두 지점 사이의 차이를 초기 위치에서의 동공의 중심 위치와 빛이 반사된 위치 사이의 차이와 비교하여, 사용자의 시선을 판단할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 사용자의 시선 추적을 위해 다양한 시선 추적 알고리즘이 이용될 수 있음은 물론이다.
또한, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지 즉, 전방 이미지에서 물체를 검출하고, 물체의 3차원 공간 상의 좌표를 획득할 수 있다.
구체적으로, 프로세서(140)는 전방 이미지에서 에지를 검출하여 물체를 식별할 수 있다. 그리고, 제2 카메라(130)가 뎁스 카메라로 구현되는 경우, 프로세서(140)는 전방 이미지를 이용하여 제2 카메라(130)가 위치한 지점을 기준으로 물체와의 거리, 각도 및 방향 등을 검출하여, 물체의 3차원 공간 상의 좌표 값을 획득할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 물체를 검출하고 검출된 물체의 좌표 값을 획득하기 위해 다양한 알고리즘이 이용될 수 있음은 물론이다.
한편, 프로세서(140)는 사용자 및 물체의 좌표 값을 이용하여, 윈드실드 상에서 물체가 투과되어 보이는 영역 즉, 투과 영역을 판단할 수 있다.
먼저, 프로세서(140)는 운송 수단(10)의 외부에 존재하는 적어도 하나의 물체 중에서 사용자가 바라보는 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단할 수 있다. 즉, 프로세서(140)는 사용자의 시선을 고려하여, 사용자가 현재 바라보고 있는 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
예를 들어, 도 3과 같이, 제1 및 제2 카메라(120, 130)가 설치된 위치를 원점으로 보고, 사용자(31)의 위치를 L1(x1, y1, z1), 제1 물체(32)의 위치를 L2(x2, y2, z2), 제2 물체(33)의 위치를 L3(x3, y3, z3)로 가정한다.
이 경우, 프로세서(140)는 사용자의 시선에 기초하여 사용자가 바라보고 있는 물체를 판단하고, 사용자가 바라보고 있는 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단할 수 있다.
예를 들어, 도 3과 같이, L1 지점을 기준으로 사용자의 시선(34)이 향하는 방향으로 사용자의 시야각을 고려한 일정한 각도를 갖는 2 개의 직선을 그렸을 때, 2 개의 직선 사이에 제2 물체(33)가 존재하게 된다. 이에 따라, 프로세서(140)는 사용자가 제2 물체(33)를 바라보고 있는 것으로 판단할 수 있다.
그리고, 프로세서(140)는 L1과 L3 지점을 연결하는 직선을 결정하고, 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T을 사용자가 바라보는 제2 물체(33)가 윈드실드(11) 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T는 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
한편, 프로세서(140)는 사용자의 시선을 별도로 고려하지 않고 윈드실드 상에서 물체가 투과되는 영역을 판단하고, 해당 영역이 윈드실드의 기설정된 영역 내에 속하는지를 판단할 수도 있다.
여기에서, 사용자의 시선을 고려하지 않는다는 것은 실제 사용자가 바라보고 있는 방향을 고려하지 않고 사용자가 전방을 바라보고 있는 것으로 가정하여, 윈드실드 상에서 물체가 투과되는 영역을 판단하는 것을 의미할 수 있다. 그리고, 기설정된 영역은 윈드실드의 가운데를 기준으로 일정 거리 이내의 영역을 의미할 수 있다.
예를 들어, 도 4와 같이, 제1 및 제2 카메라(120, 130)가 설치된 위치를 원점으로 보고, 사용자(41)의 위치를 L1(x1, y1, z1), 제1 물체(42)의 위치를 L2(x2, y2, z2), 제2 물체(43)의 위치를 L3(x3, y3, z3)로 가정한다.
이 경우, 프로세서(140)는 사용자가 정면 방향을 바라보고 있는 것으로 가정하고, 사용자의 위치를 기준으로 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
예를 들어, 프로세서(140)는 L1과 L2 지점을 연결하는 직선을 결정하고, 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T1을 제1 물체(42)가 정면을 바라보는 사용자에게 윈드실드 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T1은 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
또한, 프로세서(140)는 L1과 L3 지점을 연결하는 직선을 결정하고 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T2를 제2 물체(43)가 정면을 바라보는 사용자에게 윈드실드 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T2는 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
그리고, 프로세서(140)는 각 물체에 대한 투과 영역이 윈드실드의 기설정된 영역 내에 존재하는지를 판단할 수 있다.
예를 들어, 도 4와 같이, 기설정된 영역이 A와 같은 경우, 프로세서(140)는 T1 영역은 기설정된 영역 A에 속하지 않고, T2 영역은 기설정된 영역에 속하는 것으로 판단할 수 있다. 즉, 프로세서(140)는 제1 및 제2 물체(42, 43) 중에서, 제2 물체(43)가 윈드실드(11) 상에 투과되는 영역이 기설정된 영역에 속하는 것으로 판단할 수 있다.
이와 같은 방법을 통해, 프로세서(140)는 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
한편, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시하도록 디스플레이(110)를 제어할 수 있다.
이를 위해, 프로세서(140)는 텍스트 판독 알고리즘(가령, OCR(optical character reader) 알고리즘 등)을 이용하여, 제2 카메라(130)를 통해 촬영된 물체에 써져 있는 텍스트를 인식할 수 있다.
그리고, 프로세서(140)는 인식된 텍스트를 다른 언어로 번역할 수 있다.
이때, 텍스트를 어떠한 언어로 번역할 것인지는 사용자에 의해 미리 설정될 수 있다. 예를 들어, 사용자는 자신이 이해할 수 있는 언어를 텍스트가 번역될 언어로 설정할 수 있다.
이 경우, 전자 장치(100)는 텍스트 번역을 위한 언어 데이터베이스를 포함할 수 있으며, 프로세서(140)는 언어 데이터베이스를 이용하여 인식된 텍스트에 대한 번역을 수행할 수 있다.
뿐만 아니라, 프로세서(140)는 번역 서비스를 제공하는 서버(미도시)로 인식된 텍스트를 전송하고, 서버(미도시)로부터 번역된 텍스트를 제공받을 수도 있다. 이를 위해, 전자 장치(100)는 서버(미도시)와 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.
한편, 프로세서(140)는 운송 수단의 주행 속도 및 제1 카메라(120)를 통해 촬영된 사용자의 시선에 기초하여 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
먼저, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 제1 카메라(120)를 통해 촬영된 사용자의 시선을 검출하고, 사용자의 시선에 기초하여 결정된 윈드실드의 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 프로세서(140)는 검출된 사용자의 시선에 기초하여 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
즉, 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 사용자는 운전에 대한 방해 없이 자신의 시야에 들어오는 텍스트를 인식할 가능성이 높은 것으로 볼 수 있다.
이에 따라, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 사용자가 바라보고 있는 텍스트를 우선적으로 번역하고, 번역된 텍스트를 사용자가 바라보고 있는 텍스트가 윈드실드 상에서 투과되는 영역에 표시하게 된다.
이때, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 존재하는 다른 텍스트들에 대해서는 번역을 수행하지 않거나, 사용자가 바라보고 있는 텍스트를 먼저 번역한 이후에 번역을 수행할 수 있다. 이와 같이, 번역 부담을 감소시켜 실시간으로 텍스트를 번역하여 제공할 수 있게 된다.
한편, 사용자의 시선이 향하는 영역에 존재하는 물체 즉, 텍스트를 판단하고, 윈드실드 상에서 사용자의 시선이 향하는 영역 즉, 해당 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단하는 방법과 관련하여서는 도 3에서 설명한 바와 같다.
예를 들어, 도 5와 같이, 운송 수단(10)이 기설정된 속도(가령 30km/h)보다 작은 속도로 이동하고, 제2 카메라(130)를 통해 촬영된 이미지에서 "DENTIST(510)", "NAILS(520)", "SNACK(530)"과 같은 텍스트가 인식된 경우를 가정한다.
이때, 프로세서(140)는 사용자의 시선이 향하는 영역에 "NAILS(520)", "SNACK(530)"이 존재하는 경우, 인식된 텍스트들 중에서 사용자의 시선이 향하는 영역에 존재하는 "NAILS(520)", "SNACK(530)"을 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "NAILS(520)"가 투과되어 보이는 영역(540)에 "NAILS(520)"이 한국어로 표현된 "손톱(560)"을 표시하고, 윈드실드 상에서 "SNACK(530)"가 투과되어 보이는 영역(550)에 "SNACK(530)"이 한국어로 표현된 "간식(570)"을 표시할 수 있다.
한편, 프로세서(140)는 사용자의 시선이 변경되면, 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 변경된 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
즉, 사용자의 시선이 변경되어 사용자가 다른 곳을 바라보는 경우, 프로세서(140)는 이전에 표시되던 텍스트는 제거하고, 사용자가 새롭게 바라보는 영역에 존재하는 텍스트를 번역하여 윈드실드에 표시할 수 있다.
예를 들어, 도 5와 같이 사용자가 "NAILS", "SNACK"를 바라보다가, 시선을 변경하여 "DENTIST"를 바라보는 경우를 가정한다.
이 경우, 도 6과 같이, 프로세서(140)는 인식된 텍스트들(610, 620, 630) 중에서, 사용자의 시선이 향하는 영역에 존재하는 "DENTIST(610)"를 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "DENTIST(610)"가 투과되어 보이는 영역(640)에 "DENTIST(610)"이 한국어로 표현된 "치과(650)"을 표시할 수 있다. 이 경우, 프로세서(140)는 이전에 표시되던 "NAILS" 및 "SNACK"에 대한 한국어 표현은 윈드실드 상에서 제거할 수 있다.
이와 같이, 프로세서(140)는 운송 수단(10)의 속도가 기설정된 속도보다 느린 경우, 번역된 텍스트를 사용자의 시선을 고려하여 윈드실드 상에 표시할 수 있다.
한편, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도 이상인 경우, 사용자의 시선을 검출함이 없이 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다. 여기에서, 기설정된 영역은 윈드실드의 가운데를 기준으로 일정 거리 이내의 영역일 수 있다.
구체적으로, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
즉, 운송 수단(10)의 주행 속도가 기설정된 속도보다 빠른 경우, 사용자는 고속으로 운송 수단(10)을 주행하므로 시선은 전방을 향하고 있을 가능성이 높은 것으로 볼 수 있다.
이에 따라, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보가 빠른 경우, 사용자의 시선을 별도로 감지하지 않고 사용자가 전방을 바라보고 있는 것으로 가정하여, 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 우선적으로 번역하고, 번역된 텍스트를 투과되는 영역에 표시하게 된다.
이때, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 존재하는 다른 텍스트들에 대해서는 번역을 수행하지 않거나, 사용자가 바라보고 있는 텍스트를 먼저 번역한 이후에 번역을 수행할 수 있다. 이와 같이, 번역 부담을 감소시켜 실시간으로 텍스트를 번역하여 제공할 수 있게 된다.
한편, 사용자의 시선을 별도로 감지하지 않고 물체 즉, 텍스트가 윈드실드 상에 투과되는 영역을 판단하고, 해당 영역이 윈드실드의 기설정된 영역에 포함되는지를 판단하는 방법과 관련하여서는 도 4에서 설명한 바와 같다.
예를 들어, 도 7과 같이, 운송 수단(10)이 기설정된 속도(가령 30km/h)보다 높은 속도로 이동하고, 제2 카메라(130)를 통해 촬영된 이미지에서 "Park(710)", "International Airport(720)", "Gas Station(730)"과 같은 텍스트가 인식된 경우를 가정한다.
이때, 프로세서(140)는 이들 텍스트들 중에서, 윈드실드에 투과되는 영역이 기설정된 영역(740) 내에 포함되는 "International Airport(720)", "Gas Station(730)"을 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "International Airport(720)"가 투과되는 영역(750)에 "International Airport(720)"이 한국어로 표현된 "국제공항(770)"을 표시하고, 윈드실드 상에서 "Gas Station(730)"이 투과되는 영역(760)에 "Gas Station(730)"이 한국어로 표현된 "주유소(780)"을 표시할 수 있다. 이때, 윈드실드에 투과되는 영역이 기설정된 영역(740) 내에 포함되지 않는 텍스트인 "Park(710)"는 한국어로 표시되지 않게 된다.
한편, 프로세서(140)는 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
이를 위해, 프로세서(140)는 사용자로부터 텍스트를 입력받을 수 있다. 이 경우, 사용자는 자신이 이해할 수 있는 언어로 텍스트를 입력할 수 있으며, 텍스트는 자신이 가고자 하는 목적지 또는 찾고자 하는 장소 등에 대한 명칭이 될 수 있다.
예를 들어, 도 8과 같이, 사용자는 운송 수단(10)의 센터페시아(center fascia)에 마련된 터치 스크린을 통해, 한국어로 "편의점"과 같이 입력할 수 있다.
다만, 이는 일 예일 뿐이고, 사용자는 전자 장치(100)와 통신을 수행하는 다른 전자 장치 가령, 스마트폰(smartphone) 등과 같은 별도의 외부 장치를 통해 텍스트를 입력할 수도 있다. 이 경우, 외부 장치는 입력된 텍스트를 전자 장치(100)로 전송할 수 있으며, 이를 위해, 전자 장치(100)는 외부 장치와 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.
한편, 피드백은 다양한 형태로 제공될 수 있다. 예를 들어, 프로세서(140)는 사용자로부터 입력된 텍스트와 매칭되는 텍스트의 색상, 형태, 크기 등을 다른 텍스트와는 구별되도록 표시할 수 있다. 다른 예로, 프로세서(140)는 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 운송 장치(10)의 핸들, 의자 등에 대한 진동 피드백을 제공하거나, 운송 장치(10)의 스피커를 통해 특정한 사운드를 출력할 수도 있다.
예를 들어, 도 9를 참조하면, 도 5에서 설명한 바와 같이, 사용자의 시선이 향하는 영역에 존재하는 텍스트가 "NAILS(910)", "SNACK(920)"인 경우, 프로세서(140)는 윈드실드 상에서 "NAILS(910)"가 투과되어 보이는 영역에 "NAILS(910)"이 한국어로 표현된 "손톱(930)"을 표시하고, 윈드실드 상에서 "SNACK(920)"이 투과되어 보이는 영역에 "SNACK(920)"이 한국어로 표현된 "간식(940)"을 표시할 수 있다.
이때, 사용자로부터 미리 입력된 텍스트가 "간식"인 경우, 프로세서(140)는 "간식(940)"을 "손톱(930)"보다 큰 사이즈로 표시할 수 있다.
다른 예로, 도 10을 참조하면, 도 7에서 설명한 바와 같이, 윈드실드 내의 기설정된 영역에 포함되는 텍스트가 "International Airport(1010)", "Gas Station(1020)"과 같은 텍스트가 인식된 경우, 프로세서(140)는 윈드실드 상에서 "International Airport(1010)"가 투과되는 영역에 "International Airport(1010)"이 한국어로 표현된 "국제공항(1030)"을 표시하고, 윈드실드 상에서 "Gas Station(1020)"이 투과되는 영역에 "Gas Station(1020)"이 한국어로 표현된 "주유소(1040)"을 표시할 수 있다.
이때, 사용자로부터 미리 입력된 텍스트가 "주유소"인 경우, 프로세서(140)는 "주유소(1040)"를 "국제공항(1030)"과는 다른 색상으로 표시할 수 있다.
한편, 전술한 예에서는 운송 수단(10)의 이동 속도에 따라 텍스트를 서로 다른 영역에 표시할 때, 사용자로부터 미리 입력된 텍스트가 존재하는 경우, 그에 대한 피드백을 제공하는 것으로 설명하였다.
하지만, 이는 일 예일 뿐이고, 프로세서(140)는 사용자로부터 미리 입력된 텍스트만을 고려하여, 그에 대한 피드백을 제공할 수도 있다.
구체적으로, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 영상에서 텍스트를 인식하고, 인식된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는지를 판단할 수 있다.
이때, 제2 카메라(130)를 통해 촬영된 영상에 포함된 텍스트와 사용자로부터 입력된 텍스트는 서로 다른 언어일 수 있다.
그리고, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 그에 대한 피드백을 제공할 수 있다.
예를 들어, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트가 존재하는 경우, 해당 텍스트만을 윈드실드 상에서 투과되는 영역에 표시하거나, 다른 텍스트들과 함께 표시하되 해당 텍스트의 색상, 형태, 크기 등을 다른 텍스트와 구별되도록 표시할 수 있다. 또한, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트가 존재하는 경우, 운송 장치(10)의 핸들, 의자 등에 대한 진동 피드백을 제공하거나, 운송 장치(10)의 스피커를 통해 특정한 사운드를 출력할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치를 구비한 운송 수단의 구성을 개략적으로 도시한 블록도이다.
도 11에서는 운송 수단(10)이 차량으로 구현되는 것을 일 예로 설명하도록 한다.
도 11을 참조하면, 운송 수단(10)는 본 발명의 일 실시 예에 따른 전자 장치(100)를 포함하며, 그에 더해, 첨단 운전 보조 시스템인 ADAS(12), 운송 수단(10)의 구동/제동/조향 등 운송 수단(10)의 운행과 관련된 전반적인 제어를 수행하는 ECU(13), 입력부(14), 감지부(15), 출력부(16), 구동부(17) 및 도어(18)를 포함할 수 있다.
도 2에서, 전자 장치(100)는 첨단 운전 보조 시스템인 ADAS(12) 및 ECU(13)와 구별되도록 도시되었으나, 이는 일 예일 뿐이며, 다양한 실시 예에 따르면, 전자 장치(100)의 구성요소 중 적어도 하나는 ADAS(12)의 전체 또는 일부, 또는, ECU(13)의 전체 또는 일부가 될 수 있다.
ADAS(12)는 운전자의 주행 보조 시스템 또는 첨단 주행 보조 시스템이라 칭할 수 있으며, 자동차의 안전과 관련된 다양한 보조 기능을 제공할 수 있다.
예를 들어, ADAS(12)는 전방의 운송 수단을 인식하여 안전 거리를 자동으로 유지하는 어뎁티브 크루즈 컨트롤(adaptive cruise control) 기능, 전방의 운송 수단까지의 거리를 인식하여 자동으로 속도를 조절하는 스마트 크루즈 컨트롤(smart cruise control) 기능, 도심 정체 구간에서 전방의 운송 수단과 일정 거리를 유지해지는 트랙픽 잼 어시스트(traffic jam assist) 기능, 주야 및 마주 오는 운송 수단의 유무에 따라 상향등과 하향 등을 교대로 동작시키는 어뎁티브 하이빔(adaptive highbeam) 기능, 적외선 또는 열화상 카메라를 이용하여 운전자의 눈에 보이지 않는 물체를 미리 감지하여 알려주는 나이트 비젼(night vision) 기능, 운전자에게 보이지 않는 사각 지대의 운송 수단의 존재 여부를 탐색하여 알려주는 사각 경보 시스템(blind spot warning) 기능 등을 제공할 수 있다.
ECU(13)는 예를 들어, 운송 수단(10)의 상태를 감지하여 운송 수단(10)의 엔진이 고장나지 않도록 연료의 분사량과 점화 시기를 결정할 수 있다.
예를 들어, ECU(13)는 운송 수단(10)의 엔진의 회전수와 흡입 공기량, 흡입 압력, 액셀러레이터 개방 정도를 고려하여 미리 설정한 점화 시기 MAP(Manifold Absolute Pressure) 값과 연료 분사 MAP 값에 기초하여 수온센서, 산소센서 등을 보정하고 인젝터의 개폐율을 조정할 수 있다.
입력부(14)는 운송 수단(10)의 제어와 관련된 다양한 사용자 명령을 입력받을 수 있으며, 운송 수단(10)에 구비될 수 있다. 이를 위해, 입력부(14)는 복수의 버튼 또는 터치 스크린을 포함할 수 있다. 이 경우, 프로세서(140)는 입력부(14)를 통해 입력받은 사용자 명령에 따라 동작하도록 운송 수단(10)의 각종 구성요소를 제어할 수 있다.
감지부(15)는 운송 수단(10)의 주변 환경을 감지할 수 있다. 예를 들어, 감지부(15)는 운송 수단(10)의 주변 환경을 감지하기 위하여, 라이더(Lidar) 센서, 레이다(Radar) 센서, 초음파 센서, 비젼(Vision) 센서, 적외선 센서, LED 센서 등과 같은 물체 감지 센서 또는 거리 감지 센서를 포함할 수 있다.
그 밖에, 감지부(15)는 가속도 센서(acceleration sensor), 자이로 센서(gyro sensor), 조도 센서(illuminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(noise sensor)(예컨대, 마이크), 비디오 센서(video sensor)(예컨대, 카메라 모듈), 온도 센서, 충격 센서(shock sensor), 기울기 센서(tilt sensor), 자기장 센서(3-axis Magnetic sensor), 음성 인식 센서, 또는 타이머 중 적어도 하나의 센서를 더 포함할 수 있다.
그 밖에, 감지부(15)는 운송 수단(10) 내의 배터리 상태 정보, 연료 상태 정보, 엔진 상태 정보(엔진 상태, 엔진 오일 상태, 타이밍 벨트 상태에 관한 정보), 타이어 정보(타이어 마모도, 뒤틀림 정도 등), 주행 속도 정보, 주행 방향 정보, 휠 또는 스티어링의 회전에 따른 조향 정보, 차량 램프 정보, 차량 내부 온도 및 습도 정보, 차량의 기울기 정보 등을 감지할 수 있다. 또한, 감지부(15)는 조도 센서를 통해, 주간인지 야간인지 여부를 판단할 수 있으며, 감지부(15)는 주간의 밝기 정도 또는 사용자의 시선 방향에 따른 조도 정보를 획득할 수도 있다.
이 경우, 프로세서(140)는 감지부(15)에서 실시간으로 획득한 감지 정보를 이용하여 운송 수단(10)의 각종 구성요소를 제어할 수 있다.
출력부(16)는 다양한 화면을 디스플레이하기 위한 디스플레이(미도시) 및 다양한 오디오를 출력하기 위한 스피커(미도시)를 포함할 수 있다.
이 경우, 디스플레이(미도시)는 센터페시아에 위치하거나 유리창 또는 좌석에 위치할 수 있고, 또는, 전면 유리창 즉, 윈드실드에 이미지를 투사하는 방식의 헤드업 디스플레이로 구현될 수도 있다.
한편, 디스플레이(미도시) 및 스피커(미도시)는 전자 장치(100)의 구성요소가 될 수도 있다.
구동부(17)는 운행을 포함한 운송 수단(10)의 각종 동작을 제어하는 구성요소를 구동하기 위해, 램프 구동부, 조향 구동부, 브레이크 구동부, 동력원 구동부, 서스펜션 구동부 등을 포함할 수 있다.
한편, 도시되지는 않았으나, 운송 수단(10)은 운송 수단(10)을 제어하기 위한 각종 프로그램 및 데이터가 저장된 구비된 메모리(미도시)를 더 포함할 수 있다. 이 경우, 메모리(미도시)의 적어도 일부는 운송 수단(10)에 별도로 마련될 수도 있고, 또는, 운송 수단(10)의 ADAS(12) 또는 ECU(13)에 포함될 수도 있다. 다만, 전자 장치(100)에 마련된 메모리(미도시)가 운송 수단(10)을 제어하기 위한 각종 프로그램 및 데이터를 저장할 수도 있다.
한편, 프로세서(140)는 운송 수단(10)에 포함된 각종 구성요소와 연결되어 다양한 데이터 및 신호를 송수신할 수 있다. 그리고, 프로세서(140)는 제어 명령을 생성하고 전송하여 차량에 포함된 각종 구성요소를 제어할 수 있다. 다만, 이는 일 예일 뿐이고, 운송 수단(10)에 포함된 각종 구성요소를 제어하기 위한 별도의 프로세서가 운송 수단(10)에 마련될 수도 있다.
이 경우, 프로세서(140)는 예를 들어, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(140)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(140)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(140)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, GPU 또는 application processor)로 구현될 수 있다.
한편, 상술한 예에서는 전자 장치(100)가 운송 수단(10)에 탑재되는 것으로 설명하였으나, 이는 일 예에 불과하다.
즉, 전자 장치(100)가 운송 수단(10)에 장착되는 외부 장치로 구현되는 경우, 전자 장치(100)는 스마트폰, 태블릿 PC(tablet personal computer), PDA(personal digital assistant) 또는 PMP(portable multimedia player) 등으로 구현되거나, 이러한 기기들의 일부가 될 수도 있고, 또한, 차량용 커넥터(예: OBD 단자 또는 OBD 커넥터 등)에 연결되는 자기 진단 기기(on board diagnostics, OBD), 네비게이션 등과 같은 운전 보조 장치로 구현되거나, 이러한 기기들의 일부가 될 수도 있다.
예를 들어, 전자 장치(100)가 스마트폰으로 구현되는 경우, 전자 장치(100)는 운송 수단(10)에 장착되어, 전자 장치(100)의 전면 카메라를 통해 사용자를 촬영하고, 전자 장치(100)의 후면 카메라를 통해 운송 수단(100)의 외부를 촬영할 수 있다. 이 경우, 프로세서(140)는 촬영된 이미지를 이용하여, 전술한 바와 같은 동작을 수행하여 운송 수단(10)의 이동 속도에 따라 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
이 경우, 전자 장치(100)는 운송 수단(10)에 마련된 시스템과 통신을 수행하여 운송 수단(10)에 대한 이동 속도에 대한 정보를 수신받을 수 있다. 한편, 번역된 텍스트를 표시할 때, 전자 장치(100)는 자신에 마련된 투사 유닛을 통해 운송 수단(10)의 윈드실드에 이미지를 투사하거나, 또는, 운송 수단(10)에 마련된 투사 유닛을 제어하여 윈드실드에 이미지를 투사할 수 있다.
한편, 상술한 예에서는 운송 수단의 속도에 따라 사용자가 물체에 표시된 텍스트를 보았을 때 해당 텍스트가 윈드실드에서 투과되어 보이는 영역에 번역된 텍스트를 표시하거나, 사용자의 시선과는 무관하게 윈드실드의 특정한 영역에 번역된 텍스트를 제공하는 것으로 설명하였다.
다만, 이는 일 예일 뿐이고, 프로세서(140)는 사용자의 시선 이외에도 휠 또는 스티어링의 회전 방향(또는, 각도)에 따라 텍스트를 번역하여 제공할 수도 있다.
구체적으로, 프로세서(140)는 감지부(15)에서 감지된 휠 또는 스티어링의 회전 방향에 따라, 운송 수단(10)이 회전하는 방향에 존재하는 텍스트를 번역하고, 번역된 텍스트를 윈드실드에 표시할 수 있다.
예를 들어, 프로세서(140)는 운송 수단(10)이 좌측으로 회전하는 경우, 윈드실드에서 좌측 영역에 투과되는 텍스트를 번역하고, 번역된 텍스트를 윈드실드의 좌측 영역에 표시할 수 있다. 또한, 프로세서(140)는 운송 수단(10)이 우측으로 회전하는 경우, 윈드실드에서 우측 영역에 투과되는 텍스트를 번역하고, 번역된 텍스트를 윈드실드의 우측 영역에 표시할 수 있다.
이와 같이, 휠 또는 스티어링의 회전 방향에 따라 서로 다른 영역에 번역된 텍스트가 제공될 수도 있다.
도 12는 본 발명의 일 실시 예에 따른 텍스트 제공 방법을 설명하기 위한 흐름도이다.
먼저, 제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하고(S1210), 제2 카메라를 통해 상기 운송 수단의 외부를 촬영한다(S1220).
그리고, 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 운송 수단의 윈드실드에 표시한다(S1230).
이때, 운송 수단의 주행 속도 및 제1 카메라를 통해 촬영된 사용자의 시선에 기초하여, 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
먼저, S1230 단계는 주행 속도가 기설정된 속도보다 느린 경우, 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 사용자의 시선에 기초하여 결정된 윈드실드의 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 검출된 사용자의 시선에 기초하여 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
또한, 사용자의 시선이 변경되면, 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 변경된 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
한편, S1230 단계는 주행 속도가 기설정된 속도 이상인 경우, 사용자의 시선을 검출함이 없이 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
한편, 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
이와 같이 텍스트를 표시하는 구체적인 방법에 대해서는 상술한 바 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (14)

  1. 운송 수단에 구비된 전자 장치에 있어서,
    상기 운송 수단의 윈드실드(windshield)에 이미지를 표시하는 디스플레이;
    상기 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라;
    상기 운송 수단의 외부를 촬영하기 위한 제2 카메라; 및
    상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 윈드실드에 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여, 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는, 전자 장치.
  8. 운송 수단에 구비된 전자 장치의 텍스트 제공 방법에 있어서,
    제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하는 단계;
    제2 카메라를 통해 상기 운송 수단의 외부를 촬영하는 단계; 및
    상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 운송 수단의 윈드실드에 표시하는 단계;를 포함하며,
    상기 표시하는 단계는,
    상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여, 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  9. 제8항에 있어서,
    상기 표시하는 단계는,
    상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  10. 제9항에 있어서,
    상기 표시하는 단계는,
    상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  11. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  12. 제8항에 있어서,
    상기 표시하는 단계는,
    상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  13. 제12항에 있어서,
    상기 표시하는 단계는,
    상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  14. 제8항에 있어서,
    상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는 단계;를 더 포함하는, 텍스트 제공 방법.
PCT/KR2018/011818 2017-11-29 2018-10-08 전자 장치 및 그의 텍스트 제공 방법 Ceased WO2019107730A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18883765.2A EP3666579A4 (en) 2017-11-29 2018-10-08 ELECTRONIC DEVICE AND METHOD FOR PROVIDING ASSOCIATED TEXT
CN201880077079.4A CN111727132B (zh) 2017-11-29 2018-10-08 电子设备及其文本提供方法
US16/754,611 US11440408B2 (en) 2017-11-29 2018-10-08 Electronic device and text providing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170161962A KR102446387B1 (ko) 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법
KR10-2017-0161962 2017-11-29

Publications (1)

Publication Number Publication Date
WO2019107730A1 true WO2019107730A1 (ko) 2019-06-06

Family

ID=66665612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011818 Ceased WO2019107730A1 (ko) 2017-11-29 2018-10-08 전자 장치 및 그의 텍스트 제공 방법

Country Status (5)

Country Link
US (1) US11440408B2 (ko)
EP (1) EP3666579A4 (ko)
KR (1) KR102446387B1 (ko)
CN (1) CN111727132B (ko)
WO (1) WO2019107730A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4134867A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. Identification method and identification device for object of interest of user

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102864123B1 (ko) * 2019-11-15 2025-09-25 현대모비스 주식회사 차량의 윈드쉴드를 통해 차량 내 탑승자에게 외부 시설물의 정보를 표출하는 시스템 및 방법
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
US20240412010A1 (en) * 2023-06-09 2024-12-12 Ford Global Technologies, Llc Vehicle interface control
FR3154671A1 (fr) * 2023-10-26 2025-05-02 Faurecia Interieur Industrie Système et procédé d’affichage enrichi pour véhicule automobile
DE102024002500B3 (de) 2024-08-01 2026-01-22 Mercedes-Benz Group AG Verfahren zur Visualisierung einer Fahrzeugumgebung und Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055011A (ko) * 2010-11-22 2012-05-31 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20130104821A (ko) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR20140058312A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 차량용 전자장치
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
KR20160120104A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 차량용 표시장치 및 그것의 제어방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925272A (en) * 1988-02-15 1990-05-15 Yazaki Corporation Indication display unit for vehicles
US20020043025A1 (en) * 2000-10-17 2002-04-18 Zayas Jose A. Retractable parking space barrier
US7389602B1 (en) * 2001-07-11 2008-06-24 Anthony Simoes Handicap placard dash display
US20040210444A1 (en) * 2003-04-17 2004-10-21 International Business Machines Corporation System and method for translating languages using portable display device
KR100613906B1 (ko) 2004-11-16 2006-08-21 한국전자통신연구원 주행속도 기반 연속적인 공간영역 질의 처리에 의한헤드업 디스플레이 장치를 갖는 차량항법 시스템 및 그의정보 출력 방법
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP2009139940A (ja) * 2007-11-16 2009-06-25 Panasonic Corp 画像表示装置
KR101588890B1 (ko) 2008-07-10 2016-01-27 삼성전자주식회사 카메라 기반 영상의 문자 인식 및 번역 방법
KR100926165B1 (ko) * 2009-08-18 2009-11-10 (주)애니쿼터스 Ｎｆｃ 컨트롤러를 통한 원샷 ｃａｌｌ·원샷 ｓｍｓ·원샷 인터넷 접속 기능을 갖는 휴대폰 단말기 자동전송 장치 및 방법
US8469711B2 (en) * 2009-09-29 2013-06-25 Advanced Training System Llc System, method and apparatus for driver training of shifting
CN102656501B (zh) * 2009-12-14 2014-07-02 松下电器产业株式会社 透过型显示装置
JP5661786B2 (ja) * 2010-10-01 2015-01-28 パナソニックＩｐマネジメント株式会社 表示装置、移動体及び制御装置
US9421866B2 (en) 2011-09-23 2016-08-23 Visteon Global Technologies, Inc. Vehicle system and method for providing information regarding an external item a driver is focusing on
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
CA2906399A1 (en) 2013-03-15 2014-10-09 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US20140375810A1 (en) * 2013-06-21 2014-12-25 Digimarc Corporation Vehicular safety methods and arrangements
CN104597625A (zh) 2013-10-30 2015-05-06 富泰华工业（深圳）有限公司 智能眼镜
EP2869676A1 (en) * 2013-10-31 2015-05-06 Hendrikus A. Le Sage Transparent illuminated display system for automobiles
KR20150066036A (ko) 2013-12-06 2015-06-16 이동녀 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
CN106233184B (zh) * 2014-03-31 2019-12-20 伟雷股份公司 透过汽车挡风玻璃显示信息的方法及其实施装置
US9720259B2 (en) * 2014-10-13 2017-08-01 William Hart Eyewear pupilometer
US20160323722A1 (en) * 2014-11-12 2016-11-03 Katherine Rose Kovarik Method and System for Improving the Safety of Driving While Communicating
JP2016161479A (ja) 2015-03-04 2016-09-05 株式会社ゼンリンデータコム ナビゲーションシステム及びナビゲーション方法
DE102016203185A1 (de) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head-Up-Display und Steuerverfahren dafür
JP2016173802A (ja) 2015-03-18 2016-09-29 株式会社ゼンリンデータコム 経路案内装置
KR101853396B1 (ko) * 2015-08-21 2018-04-30 엘지전자 주식회사 차량 내 휴대 기기를 제어하는 장치 및 방법
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
JP6272375B2 (ja) 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
CN206155363U (zh) * 2016-09-28 2017-05-10 马文强 一种眼动行为分析及车辆屏幕控制装置
CN111065547B (zh) * 2017-09-15 2022-12-06 三菱电机株式会社 照射装置和照射方法
KR102073861B1 (ko) * 2018-01-17 2020-02-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055011A (ko) * 2010-11-22 2012-05-31 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20130104821A (ko) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR20140058312A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 차량용 전자장치
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
KR20160120104A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 차량용 표시장치 및 그것의 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3666579A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4134867A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. Identification method and identification device for object of interest of user

Also Published As

Publication number Publication date
EP3666579A1 (en) 2020-06-17
CN111727132A (zh) 2020-09-29
KR20190069633A (ko) 2019-06-20
KR102446387B1 (ko) 2022-09-22
US11440408B2 (en) 2022-09-13
EP3666579A4 (en) 2020-10-21
US20210197665A1 (en) 2021-07-01
CN111727132B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
WO2019107730A1 (ko) 전자 장치 및 그의 텍스트 제공 방법
WO2017217578A1 (ko) 차량용 제어장치 및 그것의 제어방법
WO2018070717A1 (en) Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
WO2021137485A1 (en) Method and device for displaying 3d augmented reality navigation information
WO2018092989A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021194254A1 (ko) 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
WO2017034282A1 (en) Driver assistance apparatus and method for controlling the same
JPWO2018167966A1 (ja) Ａｒ表示装置及びａｒ表示方法
WO2017171257A1 (en) Vehicle control apparatus and method thereof
US20250282292A1 (en) Vehicle display device and image display method
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2018143589A1 (ko) 차선 정보를 출력하는 방법 및 장치
WO2016021961A1 (ko) 차량용 헤드램프 구동장치 및 이를 구비한 차량
WO2020105751A1 (ko) 탑승자 모니터링 방법 및 이를 위한 장치
WO2017039047A1 (ko) 차량 및 그 제어방법
WO2017003052A1 (ko) 차량 운전 보조 방법 및 차량
US20200249044A1 (en) Superimposed-image display device and computer program
WO2018117719A1 (ko) 전자 장치 및 그의 제어 방법
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
JP2022002117A (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
WO2020189806A1 (ko) 차량 제어 장치
WO2020096263A1 (ko) 이동체에 포함된 카메라 시스템 및 그 제어방법
WO2017018844A1 (ko) 자율 주행 차량 및 그의 동작 방법
WO2021085691A1 (ko) 차량용 내비게이션의 영상 제공 방법
WO2017104888A1 (ko) 차량 운전 보조장치 및 이의 차량 운전 보조방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883765

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018883765

Country of ref document: EP

Effective date: 20200310

NENP Non-entry into the national phase

Ref country code: DE