WO2024043359A1 - 광고 정보 제공 장치 및 제공 방법 - Google Patents

광고 정보 제공 장치 및 제공 방법 Download PDF

Info

Publication number
WO2024043359A1
WO2024043359A1 PCT/KR2022/012672 KR2022012672W WO2024043359A1 WO 2024043359 A1 WO2024043359 A1 WO 2024043359A1 KR 2022012672 W KR2022012672 W KR 2022012672W WO 2024043359 A1 WO2024043359 A1 WO 2024043359A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
audio
advertisement
vehicle
advertising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/012672
Other languages
English (en)
French (fr)
Inventor
송치원
김기현
김중항
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020247043480A priority Critical patent/KR20250022077A/ko
Priority to EP22956565.0A priority patent/EP4575962A4/en
Priority to PCT/KR2022/012672 priority patent/WO2024043359A1/ko
Publication of WO2024043359A1 publication Critical patent/WO2024043359A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B14/00—Transmission systems not characterised by the medium used for transmission
    • H04B14/02—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation
    • H04B14/04—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers

Definitions

  • the present invention relates to a device provided in or connected to a vehicle, and more specifically, to a device and method for providing advertising information according to an audio advertisement broadcast from the vehicle.
  • infotainment technology and telematics technology provides various information to vehicle occupants while the vehicle is driving.
  • passengers in a vehicle can search for desired information or receive various entertainment information while the vehicle is driving.
  • the advertising industry using the infotainment technology and telematics technology has developed significantly.
  • advertisements provided to vehicle occupants can be provided in two major ways.
  • One is a video advertisement that provides both visual and auditory information
  • the other is an audio advertisement that provides advertisements as sound information.
  • the video-type advertisement provides both visual and auditory information, so the delivery effect is high, but there is a problem that there is a risk of interfering with the driving of the driver who must drive the vehicle. Therefore, depending on the driver, advertisement output may be restricted or the infotainment function may be turned off to block advertisement delivery. In other words, there is a problem of high aversion to advertising.
  • audio advertisements have the advantage of being relatively safe and less likely to be avoided since they provide auditory information, making them less expensive to produce, and rarely interfering with driving behavior.
  • local-specific advertising is possible through local broadcasting stations, and since the topic of information provided for each audio channel is often designated, there is an advantage in that it is easy to target advertising to listeners who listen to a specific topic.
  • the present invention aims to solve the above-described problems and other problems, and provides an advertising information providing device and method for providing advertising information that increases the effect of audio advertising and draws passengers' attention to audio advertising. It is for that purpose.
  • Another purpose of the present invention is to provide an advertising information providing device and method for providing advertising information that allows a passenger to subsequently receive advertising information about an audio advertisement he or she has listened to at the passenger's request.
  • the purpose of the present invention is to provide an advertising information providing device and method for providing advertising information that can provide at least one advertising information that matches the passenger among existing audio advertisements according to the setting status of the passenger or vehicle. do.
  • an advertising information providing device performs a communication connection with a communication unit that communicates with a cloud server and a sound output unit and display unit of the vehicle.
  • an interface unit formed to do so, and an audio detection unit that receives PCM (Pulse Code Modulation) data stored in the audio buffer of the audio output unit through the interface unit and generates audio information including characteristics of the audio signal output from the audio output unit.
  • controlling the communication unit to transmit the generated audio information to the cloud server, and providing advertisement information including POI (Point Of Interest) information of the audio advertisement corresponding to the audio information in response to the transmitted audio information.
  • a processor that makes a request to the cloud server and, when the advertisement information is received from the cloud server according to the request, controls the interface unit so that content included in the POI information and the received advertisement information is displayed on the display unit of the vehicle. It is characterized by including.
  • the processor when the driving route of the vehicle is set, the processor configures at least one location corresponding to POI information among the advertisement information received from the cloud server to be located within a preset distance from a point on the driving route. Detecting advertising information and controlling the interface unit so that POI information and content included in the detected advertising information are displayed together with the driving route on the display unit.
  • the processor receives an occupant detection result of the vehicle through the interface unit, detects at least one of advertisement information received from the cloud server based on the occupant detection result, and detects the detected advertisement.
  • the interface unit is controlled so that POI information and content included in the information are displayed on the display unit.
  • the processor based on a result of comparing the advertising topics included in the passenger profile corresponding to the passenger detection result and the advertising topics of each of the advertising information received from the cloud server, At least one piece of advertising information received from a server is detected, and the passenger profile includes preferred advertising topics according to the gender and age of the passenger.
  • the processor when advertising topics preferred by a specific passenger are learned, the processor generates a customized passenger profile including the learned advertising topics, and as a result of detecting the passenger, when the detected passenger is the specific passenger. Detecting at least one of the advertisement information received from the cloud server based on the customized passenger profile, and advertising topics preferred by the specific passenger are learned according to the places that the specific passenger visits a certain number of times or more. do.
  • the audio information includes audio fingerprint information (fingerprint) corresponding to characteristics of the sound signal, and the audio fingerprint information includes at least some of the samples of the PCM data sampled at regular time intervals. It is characterized as a PCM pattern analyzed from.
  • the processor controls the audio detection unit to further collect information about the time at which the PCM data is received and the application that controls the audio output unit when the PCM data is received, and the audio fingerprint information. and transmitting the collected time and application information as the audio information to the cloud server, wherein the cloud server detects audio advertisements corresponding to the audio fingerprint information and collects the collected time and application among the detected audio advertisements. Characterized by searching for any one audio advertisement according to the information as an audio advertisement corresponding to the audio information, and transmitting advertisement information corresponding to the searched audio advertisement in response to the transmission of the audio information.
  • the information on the application includes at least one of a radio program broadcast through the application, a radio channel, or radio frequency information.
  • the advertisement information includes POI information including the name and location of a store, store, or company providing a service corresponding to the audio advertisement corresponding to the audio information, and the service corresponding to the audio advertisement. It is characterized by including at least one graphic object representing information.
  • it further includes an advertisement information identification unit that identifies an audio advertisement corresponding to the audio information, and the processor requests the cloud server for advertisement information for a specific audio advertisement identified based on the audio information. And, the advertisement information is received from the cloud server in response to the request.
  • the advertisement information identification unit includes audio fingerprint information for a plurality of different audio advertisements as comparison data, and includes characteristics of the sound signal included in the audio information and audio fingerprints included in the comparison data. It is characterized in that it identifies a specific audio advertisement corresponding to the characteristics of the sound signal by comparing it with information.
  • each of the audio fingerprint information is PCM patterns obtained by sampling PCM data corresponding to each audio advertisement at regular time intervals and analyzing at least a portion of the sampled PCM data, and the characteristics of the sound signal. is characterized in that it is a PCM pattern analyzed from at least some of the samples of PCM data stored in the audio buffer of the audio output unit sampled at regular time intervals.
  • the processor updates the collation data based on update data provided from the cloud server, and when a new audio advertisement is added, the processor updates the collation data corresponding to the newly added audio advertisement. Characterized in that fingerprint information is transmitted as the update data to the advertisement information providing device.
  • the communication unit performs a communication connection with a preset mobile terminal to receive information about the vehicle, and the processor provides the mobile terminal with POI information of advertising information received from the cloud server and The communication unit is controlled to display content.
  • the processor detects the validity period of the service included in each advertisement information from each of the advertisement information received from the cloud server, and detects the advertisement whose validity period has not elapsed based on the current date and time.
  • the interface unit is controlled to display POI information and content on the display unit.
  • the advertisement information providing device transmits the location of the vehicle obtained from the vehicle along with the audio information to the cloud server, and the cloud server transmits the audio advertisement corresponding to the audio information.
  • the location of the store providing the service is compared with the location of the vehicle, and if the location of the store does not match the location of the vehicle, among other stores providing the service of the audio advertisement, it matches the location of the vehicle.
  • searches for a store provides advertising information including POI information corresponding to the searched store to the advertising information providing device in response to the transmitted audio information, and determines the location of the vehicle in a certain area where the vehicle is located. It is characterized by information.
  • a control method of an advertising information providing device receives PCM (Pulse Code Modulation) data stored in the audio buffer of the sound output unit of the vehicle.
  • PCM Pulse Code Modulation
  • detecting audio fingerprint information of the sound signal output from the audio output unit POI (Point Of Interest) information for a specific audio advertisement corresponding to the audio fingerprint information, and a service provided through the specific audio advertisement.
  • requesting advertisement information including information from a cloud server and in response to the request, when advertisement information for the specific audio advertisement is received, checking whether the output conditions of the received advertisement information are met. and, based on the check result, displaying POI information of the received advertisement information and information of the service on a display unit of the vehicle.
  • the step of requesting the advertisement information from the cloud server includes audio fingerprint information detected from PCM data of the audio buffer based on comparison data including audio fingerprint information of a plurality of different audio advertisements. Characterized by comprising the step of identifying any one corresponding audio advertisement, and requesting advertisement information corresponding to any one of the identified audio advertisements from the cloud server.
  • the audio fingerprint information is characterized as a PCM pattern analyzed from at least some of the samples of the PCM data sampled at regular time intervals.
  • the cloud server includes a communication unit that receives audio fingerprint information, audio fingerprint information corresponding to a plurality of different audio advertisements, and information on services provided in each of the plurality of audio advertisements.
  • An advertisement information database including advertisement information including POI (Point Of Interest) information corresponding to location information of a store providing the service, and a specific audio advertisement corresponding to the received audio fingerprint information from the advertisement information database.
  • a search engine for searching advertising information and when the audio fingerprint information is received through the communication unit, controls the search engine to search for an audio advertisement corresponding to the received audio fingerprint information, and when the audio advertisement is searched, the searched It is characterized by comprising a server control unit that controls the communication unit to transmit advertising information of an audio advertisement in response to the received audio fingerprint information.
  • the present invention increases the effectiveness of the audio advertisement by detecting a broadcast audio advertisement and providing POI (Point of Interest) information corresponding to the detected audio advertisement, and It has the effect of arousing the attention of passengers.
  • POI Point of Interest
  • the present invention receives and stores POI information corresponding to previously broadcast audio advertisements, and provides it through a terminal where vehicle information is provided according to the passenger's request, so that the passenger can search for the previously broadcast audio advertisements. This has the effect of being able to receive desired POI information.
  • the present invention determines at least one audio advertisement that matches the occupant based on the location of the vehicle, the occupant identification result, the set route, etc., among a plurality of broadcast audio advertisements, and provides only POI information corresponding to the determined audio advertisement. This has the effect of preventing the transmission of unnecessary audio advertisements.
  • FIG. 1 is a diagram showing the exterior of a vehicle according to an embodiment of the present invention.
  • Figure 2 is a diagram of a vehicle according to an embodiment of the present invention viewed from various external angles.
  • 3 and 4 are diagrams showing the interior of a vehicle according to an embodiment of the present invention.
  • Figures 5 and 6 are diagrams referenced for explaining objects according to an embodiment of the present invention.
  • Figure 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • Figure 8 is a block diagram showing the structure of an advertising information providing device according to an embodiment of the present invention.
  • Figure 9 is a conceptual diagram showing the flow of information exchanged between an advertising device and a vehicle according to an embodiment of the present invention through an interface unit.
  • Figure 10 is a flowchart showing an operation process in which advertising information corresponding to audio information is provided between an advertising information providing device and a cloud server according to an embodiment of the present invention.
  • Figure 11 is a flowchart showing another operation process in which advertising information corresponding to audio information is provided between an advertising information providing device and a cloud server according to an embodiment of the present invention.
  • Figure 12 is a flowchart illustrating in more detail the operation process of collecting audio information in the advertising information providing device according to an embodiment of the present invention.
  • Figure 13 is a flowchart showing an operation process for determining that an advertisement corresponding to audio information has been detected based on a passenger detection result, according to an embodiment of the present invention.
  • Figure 14 is a flowchart showing an operation process in which a cloud server provides advertisement information corresponding to an audio advertisement according to the location of the advertisement information providing device, according to an embodiment of the present invention.
  • Figure 15 is a flowchart showing an operation process of outputting advertising information corresponding to at least one piece of audio information based on a set driving route in an advertising information providing device according to an embodiment of the present invention.
  • FIG. 16 is an example diagram illustrating an example in which POI information according to a previously broadcast audio advertisement is displayed along a driving route set according to the operation process of FIG. 15.
  • FIG. 17 is a flowchart illustrating an operation process of providing advertisement information corresponding to audio advertisements already broadcast through a terminal providing vehicle information in an advertisement information providing device according to an embodiment of the present invention.
  • FIG. 18 is a flowchart showing an operation process in which POI information is output through the terminal according to the operation process of FIG. 17.
  • the vehicle described in this specification may include a car and a motorcycle. Below, description of vehicles will focus on automobiles.
  • the vehicle described in this specification may be a concept that includes all internal combustion engine vehicles having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle refers to the left side of the vehicle's traveling direction
  • the right side of the vehicle refers to the right side of the vehicle's traveling direction
  • FIG. 1 is a diagram showing the exterior of a vehicle according to an embodiment of the present invention.
  • Figure 2 is a diagram of a vehicle according to an embodiment of the present invention viewed from various external angles.
  • 3 and 4 are diagrams showing the interior of a vehicle according to an embodiment of the present invention.
  • Figure 7 is a block diagram used to describe a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the moving direction of the vehicle 100.
  • Vehicle 100 may be an autonomous vehicle.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on user input.
  • the vehicle 100 may be switched from a manual mode to an autonomous driving mode, or from an autonomous driving mode to a manual mode, based on a user input received through the user interface device 200.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on driving situation information.
  • Driving situation information may be generated based on object information provided by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information generated by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information received through the communication device 400.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode or from autonomous driving mode to manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle 100 may be driven based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710, the parking system 740, and the parking system 750.
  • the autonomous vehicle 100 may receive user input for driving through the driving control device 500. Based on user input received through the driving control device 500, the vehicle 100 may be driven.
  • the overall length refers to the length from the front to the rear of the vehicle 100
  • the overall width refers to the width of the vehicle 100
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) is the direction that is the standard for measuring the overall length of the vehicle 100
  • the overall width direction (W) is the direction that is the standard for measuring the overall width of the vehicle 100
  • the overall height direction (H) is the direction that is the standard for measuring the overall width of the vehicle 100. It may refer to the direction that serves as the standard for measuring the total height of (100).
  • the vehicle 100 includes a user interface device 200, an object detection device 300, a communication device 400, a driving operation device 500, a vehicle driving device 600, and a navigation system. It may include (700), a navigation system 770, a sensing unit 120, a vehicle interface unit 130, a memory 140, a control unit 170, and a power supply unit 190.
  • the vehicle 100 may further include other components in addition to the components described in this specification, or may not include some of the components described.
  • the user interface device 200 is a device for communication between the vehicle 100 and the user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detection unit 230, an output unit 250, and a processor 270.
  • the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 200 is used to receive information from the user, and the data collected by the input unit 120 can be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 200 may be placed inside a vehicle.
  • the input unit 200 is an area of the steering wheel, an area of the instrument panel, an area of the seat, an area of each pillar, and a door.
  • the input unit 200 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can convert the user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be formed integrally with the display unit 251 to implement a touch screen.
  • This touch screen can provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be placed on a steering wheel, center fascia, center console, cockpit module, door, etc.
  • the internal camera 220 can acquire images inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may obtain the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a user's gesture from an image inside the vehicle.
  • the biometric detection unit 230 can acquire the user's biometric information.
  • the biometric sensor 230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sensation.
  • the output unit 250 may include at least one of a display unit 251, an audio output unit 252, and a haptic output unit 253.
  • the display unit 251 can display graphic objects corresponding to various information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a display, a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display It may include at least one of a display, a 3D display, and an e-ink display.
  • the display unit 251 and the touch input unit 213 may form a layered structure or be formed as one piece, thereby implementing a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 is equipped with a projection module and can output information through an image projected on a windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • a transparent display can display a certain screen while having a certain transparency.
  • transparent displays include transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transparent transparent display, and transparent LED (Light Emitting Diode) display. It may include at least one of: The transparency of a transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area of the instrument panel (521a, 251b, 251e), one area of the seat (251d), one area of each pillar (251f), and one area of the door ( 251g), may be placed in an area of the center console, an area of the headlining, or an area of the sun visor, or may be implemented in an area of the windshield (251c) or an area of the window (251h).
  • the audio output unit 252 converts the electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to vibrate the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR so that the user can perceive the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the user interface device 200 may be called a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detection device 300 is a device for detecting objects located outside the vehicle 100.
  • Objects may be various objects related to the operation of the vehicle 100.
  • the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), light, a road, a structure, Can include speed bumps, landmarks, animals, etc.
  • Lane OB10 may be a driving lane, a lane next to a driving lane, or a lane in which an oncoming vehicle travels. Lane OB10 may be a concept that includes left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • a pedestrian OB12 may be a person located on a sidewalk or roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle located around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle with two wheels located within a predetermined distance from the vehicle 100.
  • the two-wheeled vehicle OB13 may be a motorcycle or bicycle located on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and patterns or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from street lights.
  • the light may be sunlight.
  • a road may include a road surface, a curve, a slope such as uphill or downhill, etc.
  • the structure may be an object located near the road and fixed to the ground.
  • structures may include streetlights, trees, buildings, electric poles, traffic lights, and bridges.
  • Landforms may include mountains, hills, etc.
  • objects can be classified into moving objects and fixed objects.
  • a moving object may be a concept that includes other vehicles and pedestrians.
  • a fixed object may be a concept including a traffic signal, road, or structure.
  • the object detection device 300 may include a camera 310, radar 320, lidar 330, ultrasonic sensor 340, infrared sensor 350, and processor 370.
  • the object detection apparatus 300 may further include other components in addition to the components described, or may not include some of the components described.
  • the camera 310 may be located at an appropriate location outside the vehicle to obtain images of the exterior of the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an Around View Monitoring (AVM) camera 310b, or a 360-degree camera.
  • AVM Around View Monitoring
  • camera 310 may be placed close to the front windshield, inside the vehicle, to obtain an image of the front of the vehicle.
  • the camera 310 may be placed around the front bumper or radiator grill.
  • the camera 310 may be placed close to the rear windshield in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the camera 310 may be placed around the rear bumper, trunk, or tailgate.
  • the camera 310 may be placed close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera 310 may be placed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • Radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented as a pulse radar or continuous wave radar based on the principle of transmitting radio waves.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method depending on the signal waveform among the continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object using electromagnetic waves based on a Time of Flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • TOF Time of Flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the radar 320 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • LiDAR 330 may include a laser transmitter and a receiver. LiDAR 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • LiDAR 330 may be implemented as a driven or non-driven type.
  • the LIDAR 330 When implemented in a driven manner, the LIDAR 330 is rotated by a motor and can detect objects around the vehicle 100.
  • the LIDAR 330 can detect objects located within a predetermined range based on the vehicle 100 through optical steering.
  • the vehicle 100 may include a plurality of non-driven LIDARs 330.
  • the LIDAR 330 detects an object via laser light based on a time of flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • Lidar 330 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect an object based on ultrasonic waves and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 can detect an object based on infrared light, and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the infrared sensor 350 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection device 300.
  • the processor 370 can detect and track an object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor 370 can detect and track an object based on reflected electromagnetic waves that are transmitted when the electromagnetic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object, based on electromagnetic waves.
  • the processor 370 may detect and track an object based on reflected laser light that is returned after the transmitted laser is reflected by the object.
  • the processor 370 may perform operations such as calculating the distance to the object and calculating the relative speed to the object, based on the laser light.
  • the processor 370 may detect and track an object based on reflected ultrasonic waves in which the transmitted ultrasonic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the processor 370 may detect and track an object based on the reflected infrared light that is returned after the transmitted infrared light is reflected by the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on infrared light.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may each individually include a processor.
  • the object detection device 300 may be operated under the control of the processor or control unit 170 of the device in the vehicle 100.
  • the object detection device 400 may be operated under the control of the control unit 170.
  • the communication device 400 is a device for communicating with an external device.
  • the external device may be another vehicle, mobile terminal, or server.
  • the communication device 400 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • -Fidelity Wi-Fi Direct
  • Wireless USB Wireless Universal Serial Bus
  • the short-range communication unit 410 may form a wireless area network and perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for acquiring location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P) protocols.
  • the optical communication unit 440 is a unit for communicating with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • Broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the processor 470 may control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving control device 500 is a device that receives user input for driving.
  • the vehicle 100 may be operated based on signals provided by the driving control device 500.
  • the driving control device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of the direction of travel of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, touch pad, or button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from the user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. Depending on the embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, touch pad, or button.
  • the driving control device 500 may be operated under the control of the control unit 170.
  • the vehicle driving device 600 is a device that electrically controls the operation of various devices in the vehicle 100.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. You can.
  • the vehicle driving device 600 may further include other components in addition to the components described, or may not include some of the components described.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the power train driver 610 can control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source driver 611 may control the power source of the vehicle 100.
  • the power source driver 610 may perform electronic control of the engine. Thereby, the output torque of the engine, etc. can be controlled.
  • the power source driving unit 611 can adjust the engine output torque according to the control of the control unit 170.
  • the power source driver 610 may control the motor.
  • the power source driving unit 610 can adjust the rotational speed and torque of the motor according to the control of the control unit 170.
  • the transmission drive unit 612 can control the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission drive unit 612 can adjust the gear engagement state in the forward (D) state.
  • the chassis driver 620 can control the operation of the chassis device.
  • the chassis drive unit 620 may include a steering drive unit 621, a brake drive unit 622, and a suspension drive unit 623.
  • the steering drive unit 621 may perform electronic control of the steering apparatus within the vehicle 100.
  • the steering drive unit 621 can change the moving direction of the vehicle.
  • the brake driver 622 may perform electronic control of the brake apparatus within the vehicle 100. For example, the speed of the vehicle 100 can be reduced by controlling the operation of the brakes disposed on the wheels.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driver 622 can control braking force applied to a plurality of wheels differently.
  • the suspension drive unit 623 may perform electronic control of the suspension apparatus within the vehicle 100. For example, when the road surface is curved, the suspension drive unit 623 may control the suspension device to reduce vibration of the vehicle 100.
  • the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of the door apparatus or window apparatus within the vehicle 100.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driver 631 can control the door device.
  • the door driver 631 can control the opening and closing of a plurality of doors included in the vehicle 100.
  • the door driver 631 can control the opening or closing of the trunk or tail gate.
  • the door driver 631 can control the opening or closing of the sunroof.
  • the window driver 632 may perform electronic control of a window apparatus. It is possible to control the opening or closing of a plurality of windows included in the vehicle 100.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driver 640 may include an airbag driver 641, a seat belt driver 642, and a pedestrian protection device driver 643.
  • the airbag driving unit 641 may perform electronic control of the airbag apparatus within the vehicle 100.
  • the airbag driving unit 641 may control the airbag to be deployed when danger is detected.
  • the seat belt drive unit 642 may perform electronic control of the seat belt appartus in the vehicle 100. For example, when danger is detected, the seat belt drive unit 642 can control the passenger to be fixed to the seat (110FL, 110FR, 110RL, 110RR) using the seat belt.
  • the pedestrian protection device driving unit 643 may perform electronic control of the hood lift and pedestrian airbag. For example, the pedestrian protection device driving unit 643 may control the hood to lift up and the pedestrian airbag to deploy when a collision with a pedestrian is detected.
  • the lamp driver 650 may perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driver 660 may perform electronic control of the air conditioning device (air cinditioner) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the vehicle driving device 600 may be operated under the control of the control unit 170.
  • the operation system 700 is a system that controls various operations of the vehicle 100.
  • the navigation system 700 may be operated in autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may further include other components in addition to the components described, or may not include some of the components described.
  • the navigation system 700 may include a processor. Each unit of the navigation system 700 may individually include a processor.
  • the navigation system 700 when the navigation system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the navigation system 700 includes at least one of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170. It may be an inclusive concept.
  • the driving system 710 can drive the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the parking system 740 can remove the vehicle 100.
  • the parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 750 can park the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may park the vehicle 100 by receiving a signal from an external device through the communication device 400 and providing a control signal to the vehicle driving device 600.
  • the navigation system 770 may provide navigation information.
  • Navigation information may include at least one of map information, set destination information, route guidance information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include memory and a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified as a sub-component of the user interface device 200.
  • the sensing unit 120 can sense the status of the vehicle.
  • the sensing unit 120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, speed sensor, and inclination sensor.
  • Sensor weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a rotational steering sensor, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc.
  • the sensing unit 120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, and battery. Obtain sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. can do.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), etc. may be further included.
  • the vehicle interface unit 130 may serve as a passageway for various types of external devices connected to the vehicle 100.
  • the vehicle interface unit 130 may have a port that can be connected to a mobile terminal, and can be connected to a mobile terminal through the port. In this case, the vehicle interface unit 130 can exchange data with the mobile terminal.
  • the vehicle interface unit 130 may serve as a conduit for supplying electrical energy to a connected mobile terminal.
  • the vehicle interface unit 130 may provide electrical energy supplied from the power supply unit 190 to the mobile terminal under the control of the control unit 170. .
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as programs for processing or controlling the control unit 170.
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170.
  • the control unit 170 may control the overall operation of each unit within the vehicle 100.
  • the control unit 170 may be named ECU (Electronic Control Unit).
  • the power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control units 170 included in the vehicle 100 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • FIG. 8 is a block diagram showing the structure of an advertising information providing device 800 according to an embodiment of the present invention.
  • the advertising information providing device 800 includes a processor 860 and an interface unit 810 connected to the processor 860 and controlled by the processor 860. , may be configured to include a communication unit 830, an audio detection unit 820, and a memory 840. In addition, it may be configured to further include an advertising information identification unit 850. Additionally, the advertising information providing device 800 may be mounted or mounted on the vehicle 100, and may be implemented integrally with the vehicle 100. When implemented integrally with the vehicle 100, the processor 860 may be the control unit 170 of the vehicle 100, and each component of the advertising information providing device 800 connected to the processor 860 is connected to the vehicle 100. It may be a component provided in (100).
  • the communication unit 830 may be configured to perform wireless communication with at least one of the electrical equipment provided in the vehicle, for example, a peripheral device (eg, a mobile terminal) placed inside the vehicle, or the vehicle electrical equipment shown in FIG. 7.
  • a peripheral device eg, a mobile terminal
  • the preset server may include a cloud server 900 that provides advertisement information or an advertisement metadata server 950 that provides audio advertisements and advertisement information corresponding to the audio advertisements.
  • the communication unit 830 may be the communication device 400 described above and may include at least one of the components included in the communication device 400.
  • the interface unit 810 may communicate with at least one of the components provided in the vehicle.
  • the interface unit 810 may be formed to perform wired communication with at least one of the components provided in the vehicle shown in FIG. 7.
  • the interface unit 810 receives sensing information from one or more sensors provided in the vehicle 100.
  • the interface unit 810 may be called a sensor data collector.
  • the interface unit 810 uses sensors provided in the vehicle (e.g., sensors (V.Sensors) that detect operation of the vehicle (e.g., heading, throttle, break, wheel, etc.) and surrounding information of the vehicle. Collects (receives) sensed information through sensors (e.g. Camera, Radar, LiDAR, Sonar, etc.) for sensing.
  • sensors e.g. Camera, Radar, LiDAR, Sonar, etc.
  • the interface unit 810 may transmit information sensed through sensors provided in the vehicle to the communication unit 830 (or processor 860) so that it is reflected in the high-precision map. And the interface unit 810 can exchange data with the vehicle interface unit 130.
  • the interface unit 810 may serve as a passageway for electrical equipment installed in the vehicle through the vehicle interface unit 130.
  • the processor 860 can be connected to the control unit 170 of the vehicle 100 through the interface unit 810, and can control each component connected to the control unit 170 by controlling the control unit 170. there is. Therefore, as shown in FIG. 8, data provided from the communication device 400, audio output unit 252, internal camera 220, display unit 251, and navigation system 770 of the vehicle 100 are interfaced. It can be received by the processor 860 through the unit 810, and control data according to the control of the processor 860 can be applied to each of the components through the interface unit 810.
  • the processor 860 can be connected to the control unit 170 of the vehicle 100 through the interface unit 810, and each component of the vehicle 100 is controlled by the control unit 170 through the control unit 170. Elements (each electrical component) can be controlled.
  • the interface unit 810 may be connected to the vehicle 100 and serve as a passage through which electrical energy is supplied. Accordingly, the advertising information providing device 800 can receive electrical energy from the power supply unit 190 of the vehicle through the interface unit 810 and turn on the power.
  • the audio detection unit 820 may collect audio information according to the sound signal output from the sound output unit 252 of the vehicle 100.
  • the audio detection unit 820 may receive sound data input to a buffer (audio buffer) to be output through a speaker provided in the sound output unit 252. And the received sound data can be collected as audio information according to the sound signal output from the sound output unit.
  • the sound data stored in the audio buffer may be PCM (Pulse Code Modulation) data that the sound output unit 252 will convert into an analog signal (sound signal). Therefore, the audio information collected by the audio detection unit 820 may be the PCM data.
  • the audio detection unit 820 can extract features from the collected audio information.
  • the melody or harmony combination may be different. Therefore, the melody or harmony combination may be a characteristic of the sound signal. And the characteristics of these sound signals are unique to each sound signal, and can be used like a fingerprint corresponding to the sound signal. That is, the collected audio information can be used as audio fingerprint information corresponding to the sound signal.
  • the PCM data when converted to an analog signal, it can be directly converted to sound information. Therefore, when the user's personal information is output through an audio output unit, such as during a phone call using the user's car phone, the user's personal information may be collected as audio information. Additionally, when audio information collected is used to collect advertising information, there is a problem that the user's personal information included in the audio information may be exposed.
  • the audio detection unit 820 can extract and collect only feature information from the collected audio information.
  • the audio detection unit 820 may detect patterns of audio information, that is, PCM data, as characteristic information of the audio information.
  • the pattern information of the detected PCM data may be fingerprint information corresponding to the acoustic signal.
  • the audio detection unit 820 may further collect information on audio-related applications running on the control unit 170.
  • the information on the audio-related application may be media (for example, a broadcast program) and sound channel information related to the output sound signal. That is, the audio detection unit 820 can collect audio information and simultaneously collect information about broadcast programs and channels related to the collected audio information.
  • the audio detection unit 820 may further collect information on the times at which audio information was collected.
  • the time at which the audio information is collected may be the time at which the sound signal related to the audio information is output from the sound output unit 252.
  • the broadcast program, audio channel information, and visual information collected by the audio detection unit 820 can be used to search for more accurate advertising information corresponding to the collected audio information.
  • the memory 840 stores data supporting various functions of the advertising information providing device 800.
  • the memory 840 may store a plurality of application programs (application programs or applications) running on the advertising information providing device 800, data for operation of the advertising information providing device 800, and commands.
  • memory 840 may store collected audio information. Additionally, data and commands for detecting audio fingerprint information from the collected audio information can be stored. Additionally, when the audio fingerprint information is detected, the detected audio fingerprint information can be stored, and when advertisement information is received from the cloud server 900 based on the audio fingerprint information, the received advertisement information can be stored.
  • the present invention controls each component of the connected advertising information providing device 800 and may include a processor 860 that controls the overall operation of the advertising information providing device 800.
  • the processor 860 may first collect audio information corresponding to the sound signal output from the sound output unit 252 of the vehicle 100 through the interface unit 810. Additionally, the communication unit 830 can be controlled to detect audio fingerprint information from the collected audio information and transmit the detected audio fingerprint information to a preset server.
  • the cloud server 900 may be a server that searches for advertisements corresponding to audio fingerprint information provided from the advertisement information providing device 800 and provides advertisement information corresponding to the searched advertisements.
  • the cloud server 900 includes an advertisement information database (DB) 930 containing advertisement information corresponding to each of a plurality of audio advertisements and audio fingerprint information corresponding to each audio advertisement, the advertisement information database ( 930), a search engine 920 for searching advertising information corresponding to the audio fingerprint information, and receiving audio fingerprint information from the communication unit 830 of the advertising information providing device 800, and the search engine 920 ) may be configured to include a server control unit 910 that controls the search engine 920 to search for advertisement information corresponding to the received audio fingerprint information from the advertisement information database 930. Additionally, the cloud server 900 may be configured to include a communication unit (not shown) for communication connection with the advertisement information providing device 800.
  • DB advertisement information database
  • the advertisement information stored in the advertisement information database 930 may be information including a service corresponding to an audio advertisement, the name of a store or business providing the service, and location information of the store or business.
  • the advertisement information may be information including a graphic object displayed on the display unit 251 of the vehicle 100, and the name and location of the service corresponding to the audio advertisement and the store or company providing the service. It may be POI (Point Of Interest) information containing information.
  • POI Point Of Interest
  • the cloud server 900 searches for audio advertisement information corresponding to the collected audio fingerprint information, and retrieves the audio advertisement information.
  • POI information corresponding to can be searched as advertisement information corresponding to the audio fingerprint information.
  • the searched POI information can be transmitted to the advertisement information providing device 800 in response to the transmitted audio fingerprint information.
  • the processor 860 of the advertising information providing device 800 controls the interface unit 810 to output the POI information received in response to the audio fingerprint information to the display unit 251 of the vehicle 100. can do.
  • the processor 860 may control the interface unit 810 to output the POI information when a preset condition is met.
  • the processor 860 may output the POI information based on information provided from the navigation system 770.
  • the information provided from the navigation system 770 may be preset route information to the destination. That is, the processor 860 extracts POI information corresponding to at least one store or stores located around the driving path of the vehicle 100 set to the destination from among the POI information received in response to the transmitted audio fingerprint information. And, the extracted POI information can be output through the display unit 251. Accordingly, POI information corresponding to the sound signal output through the sound output unit 252 may be output.
  • the processor 860 may output the POI information based on the result of detecting the occupant. For example, if the detected passenger is a woman, POI information corresponding to an audio advertisement targeting men may not be extracted.
  • the occupants may include not only the driver but also all occupants in the cabin, that is, a boarding space such as the guest room of the vehicle 100.
  • each passenger in the cabin may be detected through the internal camera 220 provided in the vehicle 100.
  • the processor 860 can classify the passengers seated in each seat of the cabin according to the seat and identify the occupants for each seat.
  • the processor 860 may control the interface unit 810 to display different POI information on the display unit 251 corresponding to each seat according to the results of identifying each passenger. Therefore, customized POI information can be provided to each passenger in each seat.
  • the display unit 251 corresponding to each seat may be displays arranged on the back of the seat in front of the seat.
  • the preset condition may be a validity period set in POI information.
  • the processor 860 may store POI information transmitted from the cloud server 900.
  • POI information whose validity period has elapsed can be detected by comparing the current date and time with the validity period.
  • the interface unit 810 can be controlled to display only POI information whose validity period has not elapsed through the display unit 251 .
  • the processor 860 may transmit advertising information, that is, POI information, stored in the memory 840 to a preset mobile terminal according to the user's request.
  • the mobile terminal may be a terminal that is preset to be connected to the vehicle 100.
  • the mobile terminal includes a mobile phone, a smart phone, a laptop computer, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a slate PC, and a tablet PC. It may include a PC), an ultrabook, a wearable device (eg, a watch-type terminal (smartwatch), a glass-type terminal (smart glass), a head mounted display (HMD), etc.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • HMD head mounted display
  • the mobile terminal may be connected to the vehicle 100 through the communication device 400. Additionally, various information about the vehicle 100 provided by the control unit 170 of the vehicle 100 can be displayed.
  • the processor 860 is connected to the vehicle's control unit 170 through the interface unit 810 and can transmit advertising information, that is, POI information, stored in the memory 840 to the mobile terminal. Then, the mobile terminal that receives the POI information through the control unit 170 and the communication device 400 can display the received POI information.
  • the communication unit 830 can be connected to the advertising metadata server 950 under the control of the processor 860.
  • the advertising metadata server 950 may be an advertiser's server that provides advertising information to the cloud server 900.
  • the processor 860 determines preset conditions, such as when a user's input for POI information displayed through the mobile terminal or display unit 251 is approved or when a driving route passing through a store corresponding to specific POI information is set. If this is met, advertisement inflow information can be transmitted to the advertisement metadata server 950 corresponding to the specific POI information.
  • the advertisement inflow information is information indicating whether the user has entered the advertisement, and may be information to indicate that the user has selected POI information, such as the number of clicks. Therefore, the advertising metadata server 950 can check whether the user has selected an advertisement, that is, whether the advertisement has flown, based on the advertisement inflow information collected through the communication unit 830, which is the advertising effect of the broadcast audio advertisement. can be calculated. In other words, you can collect visible and clear data about the effectiveness of audio advertising.
  • the advertisement information providing device 800 transmits the collected audio information (or audio fingerprint information) to the cloud server 900, and determines whether the transmitted audio information is an audio advertisement.
  • the cloud server 900 may provide the corresponding advertisement information, that is, POI information, to the advertisement information providing device 800.
  • the advertisement information providing device 800 responds to the sound signal output from the sound output unit 252. There is a problem in that audio information must be continuously provided to the cloud server 900.
  • the cloud server 900 and the advertisement information providing device 800 must be connected to each other at all times, and the cloud server 900 must also always receive audio information provided from the vehicle 100 to determine whether it is an audio advertisement. Therefore, there is a problem that communication data between the vehicle 100 and the cloud server 900 increases unnecessarily and the load on the cloud server 900 increases.
  • the advertisement information providing device 800 may further include an advertisement information identification unit 850 to independently identify whether the collected audio information is an audio advertisement. there is.
  • the advertising information identification unit 850 compares the collected audio information, for example, audio fingerprint information, with features corresponding to a plurality of pre-stored different audio advertisements to determine whether the collected audio information is an audio advertisement. can be determined.
  • the audio advertisement corresponding to the audio information collected as a result of the determination by the advertisement information identification unit 850 may be identified simultaneously with the determination.
  • the advertisement information identification unit 850 may be a separate component from the processor 860, as shown in FIG. 8, but may also be implemented integrally with the processor 860.
  • the processor 860 may request advertisement information corresponding to a specific audio advertisement from the cloud server 900. Then, the cloud server 900 transmits only the advertisement information for the requested audio advertisement to the cloud server 900, thereby significantly reducing the load on the cloud server 900.
  • the advertising information providing device 800 connects to the cloud server 900 only when necessary (when requesting advertising information), so the amount of wireless data exchanged between the cloud server 900 and the advertising information providing device 800 is reduced. can be greatly reduced.
  • data since data is transmitted to the cloud server 900 only for audio information identified as an audio advertisement, data other than the audio advertisement, such as user call information output through the speaker of the vehicle 100, is not transmitted outside the vehicle 100. Leakage can be prevented. Therefore, there is an effect of preventing the user's personal information from being leaked to the outside.
  • the memory 840 may further include comparison data for identification of the audio advertisement in the advertisement information identification unit 850.
  • the comparison data may be audio fingerprint information for a plurality of different audio advertisements.
  • the comparison data is PCM data for a certain time for each of a plurality of different audio advertisements. You can.
  • the comparison data is pattern information about the collected PCM data samples for each of a plurality of different audio advertisements. It can be. That is, the comparison data may be audio fingerprint information for a plurality of different audio advertisements.
  • the comparison data may be updated by the cloud server 900.
  • the comparison data stored in the memory 840 may be updated to include the latest audio advertisement according to a preset cycle.
  • the cloud server 900 provides the advertisement information providing device 800 with the fingerprint information for the added audio advertisement as update data. can be transmitted to.
  • the memory 840 may update the previously stored comparison data based on the update data. Accordingly, the memory 840 may delete audio fingerprint information corresponding to old audio advertisements whose validity period has expired and update the comparison data to include audio fingerprint information corresponding to the latest and newly added audio advertisements.
  • the comparison data stored in the memory 840 may be audio fingerprint information about audio advertisements collected according to user preferences. For example, based on information collected based on the user's wearable terminal or mobile terminal, information on places the user frequently visits may be collected. And based on the collected information, the user's preferred places can be collected. In this case, audio fingerprint information of audio advertisements related to the user's preferred locations may be stored in the memory 840 as the comparison data.
  • the processor 860 may further include an artificial intelligence module (not shown).
  • the memory 840 can store data for the operation of the artificial intelligence module (for example, at least one algorithm information for machine learning, etc.).
  • the artificial intelligence module is responsible for processing information based on artificial intelligence technology, and may include one or more modules that perform at least one of information learning, information inference, information perception, and natural language processing. You can.
  • the artificial intelligence module uses machine learning technology to learn, infer, and process a vast amount of information (big data), such as information stored in the memory 840 and information stored in a communicable external storage. You can do at least one.
  • the machine learning is a technology that collects and learns a large amount of information based on at least one algorithm, and judges and predicts information based on the learned information, and learning of information refers to the characteristics, rules, judgment standards, etc. of the information. It can mean identifying, quantifying the relationship between information, and predicting new data using the quantified patterns.
  • the algorithms used by these machine learning techniques can be algorithms based on statistics, for example, decision trees that use tree-structured forms as predictive models, or artificial intelligence that mimics the structure and function of neural networks in living things.
  • Neural network genetic programming based on biological evolution algorithms, clustering, which distributes observed examples into subsets called clusters, and Monte Carlo, which calculates function values as probabilities through randomly extracted random numbers. It may be a method (Monter carlo method), etc.
  • deep learning technology is a technology that uses artificial neural network algorithms to perform at least one of learning, judgment, and processing of information.
  • An artificial neural network may have a structure that connects layers and transmits data between layers.
  • This deep learning technology can learn vast amounts of information through an artificial neural network using a CPU (e.g. GPU (Graphic Processing Unit)) optimized for parallel computation.
  • a CPU e.g. GPU (Graphic Processing Unit)
  • audio advertisements corresponding to the learned user's preferred location can be detected.
  • the processor 860 may transmit quantified data to the cloud server 900 according to the user's preferred location. Additionally, audio advertisements corresponding to the transmitted quantified data and audio fingerprint information corresponding to the audio advertisements can be provided from the cloud server 900.
  • the processor 860 can learn that the user's preferred location is a hamburger franchise store through learning of the artificial intelligence module, and based on the learning results, the processor 860 may learn that the user frequently visited a hamburger franchise store.
  • the store's main menu item, 'hamburger' can be extracted as quantifiable data.
  • the processor 860 can transmit the extracted quantified data 'hamburger' to the cloud server 900, and the cloud server 900 advertises audio advertisements corresponding to the quantified data 'hamburger' transmitted from the processor 860. It can be searched from the information DB 930. Additionally, audio fingerprint information of audio advertisements found as a result of the search may be transmitted to the advertisement information providing device 800 in response to the received quantified data.
  • the cloud server 900 provides the audio fingerprint information retrieved for the quantified data 'hamburger' to the advertisement information providing device 800, so that the audio fingerprint of the audio advertisement for hamburger franchises other than the hamburger franchise store frequently visited by the user Information and audio fingerprint information about similar products searched for the song 'hamburger', for example, sandwiches, may be provided as the comparison data. Therefore, not only the hamburgers of franchise stores (e.g., King Donald Burger) that the user frequently visits, but also the audio fingerprint information of hamburgers of other franchises (ABC Burger) and the audio fingerprint information of sandwich audio advertisements can be stored as comparison data. Accordingly, when the ABC burger or sandwich advertisement is output from the audio output unit 252, advertisement information corresponding to the advertisement may be requested from the cloud server 900.
  • the Apple burger or sandwich advertisement is output from the audio output unit 252
  • advertisement information corresponding to the advertisement may be requested from the cloud server 900.
  • FIG. 9 is a conceptual diagram illustrating the flow of information exchanged between the advertising information providing device 800 and the vehicle 100 according to an embodiment of the present invention through the interface unit 810, as described above.
  • the control unit 170 of the vehicle 100 may run the application 1002 related to audio output according to the user's manipulation or request.
  • the application 1002 may be an application that receives and outputs a radio broadcast signal (hereinafter referred to as a radio broadcast application).
  • the control unit 170 may provide information about the running application 1002 to the advertisement information providing device 800 through the interface unit 810.
  • the information of the application 1002 may include information on the media and information on the time when the sound signal is output.
  • the media information may be information about a radio program broadcast in the radio broadcasting application.
  • the radio program information may include the name of the program and information on the frequency of the radio channel being broadcast.
  • information on the time at which the sound signal is output may be information on the time at which the radio program is broadcast.
  • the media information and visual information can be input to the audio detection unit 820.
  • the operating system 1003 of the vehicle 100 is controlled as the application 1002 is driven, and the audio manager 1004 can receive a radio broadcast signal from a tuned radio broadcast channel under the control of the operating system 1003. .
  • the received audio broadcast signal may be PCM data as digitally modulated data, and the audio manager 1004 may demodulate the received PCM data and apply it to the audio output unit 252. Then, the audio output unit 252 can output an audio signal according to the demodulated PCM data.
  • the audio manager 1004 may store the received PCM data in an audio buffer for demodulation. Then, a portion of the PCM data stored in the audio buffer can be copied, and the copied data, that is, a portion of the audio PCM data, can be input to the audio detection unit 820 through the interface unit 810.
  • the audio detection unit 820 can extract audio fingerprint information from some of the input audio PCM data.
  • the audio fingerprint information may be pattern information of the input audio PCM data. And in this case, when the audio fingerprint information is pattern information, the audio fingerprint information can be formed as text information. And the extracted audio fingerprint information and the media information and visual information may be provided to the processor 860.
  • the processor 860 can determine whether part of the audio PCM data input to the audio detection unit 820 is part of an audio advertisement based on the pre-stored audio fingerprint information, that is, comparison data (e.g., advertisement Information identification unit 850). And in the case of an audio advertisement, an advertisement information search request can be transmitted to the cloud server 900.
  • the audio fingerprint information input from the audio detection unit 820 may be transmitted together with the advertisement information search request.
  • the advertisement information identification unit 850 may not transmit the request for advertisement information to the cloud server 900.
  • the cloud server 900 may transmit advertising information search results corresponding to audio fingerprint information in response to a request from the processor 860.
  • the processor 860 may receive advertising information metadata in a preset format (eg, JASON) and parse the received advertising information search results based on the pre-stored media metadata. And advertising information can be extracted.
  • the advertisement information may be POI information.
  • the processor 860 may transmit the extracted advertising information, that is, POI information, to the display manager 1001 of the vehicle 100 when it meets preset conditions (driving path, occupant detection result, or user preference, etc.). . Then, the display manager 1001 can control the display unit 251 to output the received POI information.
  • Figure 10 is a flowchart showing an operation process in which advertising information corresponding to audio information is provided between an advertising information providing device and a cloud server according to an embodiment of the present invention.
  • the advertising information providing device 800 may first collect audio information (S1010).
  • the audio information is audio fingerprint information corresponding to an audio signal to be output from the audio output unit 252, and may be PCM data as digitally modulated data stored in an audio buffer for demodulation by the audio output unit 252.
  • the audio information may be pattern information of PCM data analyzed from the PCM data.
  • the audio information may be text information.
  • the advertising information providing device 800 may transmit the collected audio information to the preset cloud server 900 (S1012).
  • the transmitted audio information may include the PCM data or pattern information.
  • it may include visual information and media information collected together when audio information is collected, that is, the name of the radio broadcast program and the frequency information of the radio broadcast channel being broadcast.
  • the cloud server 900 may be a server preset to provide advertising information in response to the audio information provided from the advertising information providing device 800 in step S1012. That is, it may be a server that includes an advertisement information database 930 and a search engine 920 that include advertisement information corresponding to each of the different audio advertisements and audio fingerprint information corresponding to each audio advertisement. And here, the advertisement information may be graphic information including a service corresponding to the audio advertisement and the name of a store or company providing the service, and POI information including location information of the store or company.
  • the cloud server 900 may search for an advertisement corresponding to the received audio information, that is, audio fingerprint information (S1014). Then, it can be checked whether there is an audio advertisement corresponding to the received audio fingerprint information (S1016). In this case, in order to search for a more accurate audio advertisement corresponding to the audio fingerprint information, visual information and media information transmitted along with the audio information may be further used.
  • the cloud server 900 may include information on media broadcast at each time. And based on the media broadcast at the time collected together with the audio fingerprint information (e.g., radio broadcast program, broadcast channel, and broadcast frequency), the audio among the audio data that was broadcast during the broadcast of the corresponding media, e.g., radio broadcast program, You can search for audio advertisements that correspond to fingerprint information.
  • the audio fingerprint information e.g., radio broadcast program, broadcast channel, and broadcast frequency
  • the cloud server 900 provides advertisement information without responding to the received audio information.
  • the operation can be terminated.
  • a response message indicating that there is no audio advertisement corresponding to the audio information may be transmitted to the advertisement information providing device 800.
  • the advertisement information providing device 800 may determine that the audio fingerprint information collected based on reception of the response message is not for an audio advertisement.
  • the cloud server 900 provides advertisement information corresponding to the searched audio advertisement, that is, POI information. can be searched from the advertisement information DB 930 (S1018). Then, the searched POI information can be transmitted to the advertisement information providing device 800 in response to the audio information (audio fingerprint information) transmitted in step S1012 (S1020).
  • the advertisement information providing device 800 may store the POI information received from the cloud server 900 (S1022). And the display unit 251 can be controlled through the interface unit 810 to display the POI information on the display unit 251 (S1024).
  • the processor 860 of the advertising information providing device 800 displays the stored POI information through the interface unit 810 so that it is displayed on the display unit 251 only when preset conditions are met. Unit 251 can be controlled.
  • audio advertisements may be detected for all sound signals output from the sound output unit 252, and advertisement information corresponding to the detected audio advertisements may be searched. Therefore, the cloud server 900 determines whether the sound signal output from the sound output unit 252 is advertising information. Therefore, in the case shown in FIG. 10, there is a problem in that the load on the cloud server 900 increases and the amount of data exchanged between the advertising information providing device 800 and the cloud server 900 increases.
  • Figure 11 is to solve this problem, in which the advertising information providing device 800 according to an embodiment of the present invention determines whether there is an audio advertisement corresponding to the collected audio information, and as a result of the determination, audio corresponding to the audio advertisement.
  • This is a flowchart showing another operation process according to an embodiment of the present invention, which requests advertising information corresponding to the collected audio information from the cloud server 900 when information is collected.
  • the advertising information providing device 800 may first collect audio information in the same manner as in FIG. 10 (S1110).
  • the audio information may be PCM data as audio fingerprint information or text information (pattern information) including a pattern extracted from the PCM data.
  • the advertisement information providing device 800 may search for an audio advertisement corresponding to the collected audio information based on the comparison data stored in the memory 840 (S1112). And, as a result of the search in step S1112, if there is no comparison data corresponding to the collected audio information, the processor 860 may determine that the collected audio information is not an audio advertisement for which advertisement information is requested. Accordingly, the process proceeds to step S1110 again and the audio detection unit 820 is controlled to collect audio information from the audio buffer of the audio output unit 252 again.
  • step S1112 if there is comparison data corresponding to the collected audio information, that is, if an audio advertisement corresponding to the audio information is searched, the processor 860 checks whether the searched audio advertisement matches the passenger. You can do it (S1114).
  • the processor 860 may compare the topics of the advertisement determined according to the result of detecting the passenger with the topic of the audio advertisement searched according to the collected audio information in step S1114.
  • the subject of the audio advertisement is determined by the audio advertisement searched in step S1112.
  • the advertisement subject corresponding to the searched audio advertisement may be detected. .
  • the processor 860 may determine that the currently detected audio advertisement subject does not match the passenger. Then, the process proceeds again to step S1110 and the audio detection unit 820 can be controlled to collect audio information from the audio buffer of the audio output unit 252 again.
  • the processor 860 may determine that the subject of the detected audio advertisement matches the detected passenger. Accordingly, the processor 860 may request the cloud server 900 for audio advertisement information corresponding to the collected audio information, for example, advertisement information corresponding to a specific audio advertisement corresponding to the comparison data (S1116).
  • the cloud server 900 may be a server preset to provide advertisement information according to a request from the advertisement information providing device 800. That is, it may be a server that includes an advertisement information database 930 and a search engine 920 that include advertisement information corresponding to each of the different audio advertisements and audio fingerprint information corresponding to each audio advertisement. Additionally, the advertisement information may be graphic information including a service corresponding to the audio advertisement and the name of a store or company providing the service, and POI information including location information of the store or company.
  • the cloud server 900 may search for advertisement information corresponding to the specific audio advertisement from the advertisement information DB 930 (S1118). .
  • the cloud server 900 may transmit the searched advertisement information, that is, POI information, to the advertisement information providing device 800 in response to the advertisement information request transmitted in step S1116 (S1120).
  • the advertisement information providing device 800 may store the POI information received from the cloud server 900 (S1122). And the display unit 251 can be controlled through the interface unit 810 to display the POI information on the display unit 251 (1124). In this case, the processor 860 of the advertising information providing device 800 displays the stored POI information through the interface unit 810 so that it is displayed on the display unit 251 only when preset conditions are met. Unit 251 can be controlled.
  • the processor 860 may use the check result of step S1114 only for the purpose of determining whether the collected audio fingerprint information is for an audio advertisement for which advertisement information is requested. In this case, if there is matching data corresponding to the audio fingerprint information as a result of the check in step S1114, the processor 860 may transmit the audio fingerprint information collected in step S1110 to the cloud server 900 as is. .
  • the cloud server 900 can perform a process of searching for an audio advertisement corresponding to the collected audio fingerprint information. That is, depending on the check result of step S1114, the same process as the process after step S1014 of FIG. 10 may be performed. However, even in this case, because the advertisement information providing device 800 primarily filters whether there is an audio advertisement corresponding to the audio fingerprint information collected, the load on the cloud server 900 and the cloud server 900 and the advertisement The amount of data exchanged between the information providing devices 800 can be greatly reduced.
  • the advertising information providing device 800 collects PCM data, media information, and visual information as audio information has been described.
  • FIG. 12 is a flowchart illustrating in more detail the operation process of collecting the audio information in the advertising information providing device 800 according to an embodiment of the present invention.
  • the processor 860 stores data in the audio buffer of the audio output unit 252 through the interface unit 810.
  • the audio detection unit 820 can be controlled to detect stored audio PCM data (S1200). Then, the detected audio PCM data can be sampled at a preset time interval to generate samples for at least some of the audio PCM data (S1202).
  • the processor 860 may analyze the pattern of the audio PCM data from the generated audio PCM data samples (S1204). For example, the pitch differences, chords, and melody changes of each note that makes up the rhythm can be analyzed as a pattern of the PCM data, and this pattern is a unique characteristic of an acoustic signal with a unique rhythm, that is, audio fingerprint information. It can be analyzed as: Moreover, in the case of audio advertisements in which a unique tone is repeated to increase advertisement influx effect and advertisement awareness, the pattern of the PCM data may be different for each audio advertisement. Therefore, this pattern of PCM data can be used as audio fingerprint information corresponding to each audio advertisement.
  • this pattern of PCM data may be data that cannot be demodulated because it is not PCM data. Therefore, it can be advantageous in that the user's personal information does not leak, and the results of analyzing the samples obtained through the sampling can be transmitted in text form rather than audio data. Therefore, there is an advantage in that the size of data can be greatly reduced.
  • the processor 860 may detect media information corresponding to the PCM data analyzed in step S1204 and time information at which the PCM data was collected (S1206).
  • the media information may include media corresponding to the currently analyzed PCM data, that is, information on the currently broadcasting radio broadcast program and radio broadcast channel (eg, radio broadcast frequency).
  • the time at which the PCM data was collected may be current time information.
  • the processor 860 may generate text information including the analyzed pattern information and the media information and visual information collected in step S1206.
  • the generated text information can be collected as audio information corresponding to the sound signal currently output from the sound output unit 252 (S1208). Therefore, when the collected audio information is transmitted to the cloud server 900, the pattern information analyzed in step S1204 and the text information including the media information and visual information collected in step S1206 will be transmitted to the cloud server 900. You can.
  • the advertising information providing device 800 can detect the occupants in the cabin and provide advertisement information suitable for the occupants based on the occupant detection results. There is a bar.
  • the processor 860 of the advertisement information providing device 800 if there is an audio advertisement matching the collected audio information as a result of the search in step S1112 of FIG. 11, the matched audio advertisement is displayed in the vehicle 100.
  • the occupants in the cabin may be detected, and it may be determined that there is a searched audio advertisement only if it matches the profile of the detected occupant. In this case, even if there is an audio advertisement that matches the collected audio information, if the audio advertisement does not match the profile of the detected passenger, the processor 860 considers that the audio advertisement was not searched and returns to step S1110 in FIG. 11. You can proceed to collect audio information.
  • Figure 13 is a flowchart showing the operation process of the advertisement information providing device 800 according to an embodiment of the present invention in this case.
  • the processor 860 of the advertisement information providing device 800 may first search for an audio advertisement matching the collected audio information (S1300).
  • the matching audio advertisement is an audio advertisement corresponding to one of the audio fingerprint information stored as comparison data in the memory 840, and the audio fingerprint information included in the audio information currently collected by the audio detection unit 820 It may be an audio advertisement with audio fingerprint information matching (e.g., PCM pattern information).
  • the processor 860 may determine that there is no audio advertisement matching the audio information (S1312). Then, the processor 860 can proceed again to step S1110 of FIG. 11 and collect audio information.
  • the processor 860 can detect the occupants of the vehicle 100 (S1304). And the occupant profile can be detected according to the occupant detection result in step S1304 (S1306).
  • the processor 860 may determine the gender and age group of the passenger according to the result of detecting the passenger in step S1304. And according to the passenger detection result, a profile corresponding to the passenger's gender and age can be detected.
  • the passenger profile may be a profile including advertising topics that match the gender and age group of the detected passenger.
  • the searched passenger is a child
  • a profile containing advertising topics such as toys or play equipment
  • the searched passenger is an adult female
  • a profile containing advertising topics such as cosmetics or perfume
  • a profile containing advertising topics such as shoes or exercise equipment may be detected.
  • at least some of the advertising topics included in each profile may overlap with each other. For example, advertising topics corresponding to specific foods may be commonly included in all profiles.
  • the processor 860 can determine whether the subject of the audio advertisement found to match the currently collected audio information is included in the profile of the currently detected passenger (S1308).
  • the subject of the audio advertisement is determined by the audio advertisement searched in step S1300.
  • an audio advertisement matching the audio information is searched in step S1300, along with the search of the audio advertisement, an advertisement corresponding to the searched audio advertisement is performed. The subject can be detected.
  • step S1308 if the topic of the detected audio advertisement is included in the topics set in the passenger profile detected in step S1306, the processor 860 determines that the audio advertisement corresponding to the collected audio information matches the passenger. It can be determined by doing so (S1310). Accordingly, the processor 860 may proceed to step S1116 of FIG. 11 to request advertisement information corresponding to the detected audio advertisement from the cloud server 900 and proceed with the process after step S1116.
  • step S1308 if the topic of the detected audio advertisement is not included in the topics set in the passenger profile detected in step S1306, the processor 860 determines that the audio advertisement corresponding to the collected audio information is, It can be determined that it does not correspond to the occupant (S1312). In this case, advertisement information may not be requested from the cloud server 900, and advertisement information corresponding to the audio advertisement may not be received.
  • the operation process shown in FIG. 13 can be performed for each passenger. Therefore, for the same audio advertisement, the audio advertisement that matches the collected audio information may be detected as matching the passenger for passengers seated in some seats, but matches the collected audio information for passengers seated in other seats. It may be determined that the audio advertisement provided does not suit the occupants.
  • the processor 860 determines that the audio advertisement matching the collected audio information matches even one passenger, the processor 860 proceeds to step S1116 of FIG. 11 and provides advertisement information of the audio advertisement matching the collected audio information. can be requested from the cloud server 900. And, according to the subsequent process of FIG. 11, advertising information can be received and stored. However, the processor 860 may control the interface unit 810 to display the stored advertisement information only on the display unit 251 corresponding to the passenger determined to match the audio advertisement. In other words, whether to output advertisement information (POI information) may be determined depending on whether the subject of the audio advertisement matches the occupant detection result.
  • POI information advertisement information
  • the processor 860 may provide a customized passenger profile based on the result of identifying the passenger.
  • the processor 860 may create a customized occupant profile corresponding to the occupant.
  • the customized passenger profile may be a passenger profile that further includes at least one subject determined according to the identifiable passenger's preferred location, etc.
  • the processor 860 may add or remove at least one of the advertising topics included in the customized passenger profile according to the preset passenger's request.
  • advertising topics that the preset passenger wants to receive can be included in the customized passenger profile, and advertising topics that the preset passenger does not want can be deleted.
  • the advertisement information providing device 800 may request advertisement information corresponding to the audio advertisement from the cloud server 900, limited to the advertisement topics included in the customized passenger profile. Therefore, when the customized passenger profile is applied, when the preset passenger is identified, only POI information of advertisements corresponding to advertising topics desired by the preset passenger among the broadcast audio advertisements can be provided from the cloud server 900. .
  • the cloud server 900 records the current status of the advertising information providing device 800. Advertising information that matches the situation can be provided.
  • the situation of the advertising information providing device 800 may be the location of the advertising information providing device 800, and when the advertising information providing device 800 is mounted on the vehicle 100, the advertising information providing device 800 may be a location of the advertising information providing device 800.
  • the location of 800 may be the location of the vehicle 100. Therefore, the cloud server 900 reflects the area where the vehicle 100 equipped with the advertising information providing device 800 is currently located, and responds to the request from the advertising information providing device 800 or the information transmitted from the advertising information providing device 800.
  • POI information corresponding to an audio advertisement corresponding to audio information may be searched and the searched POI information may be provided to the advertisement information providing device 800 as advertisement information corresponding to the requested or transmitted audio information.
  • the advertising information providing device 800 may transmit information about the location of the vehicle 100 to the cloud server 900 along with the audio information.
  • the location of the vehicle 100 may be information on a certain area where the vehicle 100 is located.
  • FIG. 14 is a flowchart illustrating an operation process in which the cloud server 900 provides advertisement information corresponding to an audio advertisement according to the current location of the advertisement information providing device 800, according to an embodiment of the present invention.
  • the cloud server 900 provides audio advertisements or advertisement information matching audio information (step S1018 of FIG. 10) transmitted from the advertisement information providing device 800.
  • advertising information corresponding to an audio advertisement is searched according to a request from the device 800 (step S1118 in FIG. 11)
  • the cloud server 900 determines the location of the store, business, or store (hereinafter referred to as store) corresponding to the audio advertisement. can be detected (S1400).
  • the cloud server 900 detects whether the detected store is located within the specific area, and if the detection result shows that the store is located within the specific area, the cloud server 900 detects whether the store is located within the specific area. It may be determined that the store is located close to the vehicle 100.
  • step S1402 if the store is located close to the vehicle 100, the cloud server 900 sends POI information including location information of the store close to the vehicle 100, as shown in FIG. According to step S1018 of 10 or step S1118 of FIG. 11, advertisement information searched in response to an audio advertisement may be provided to the advertisement information providing device 800 (S1404).
  • the cloud server 900 may further search for stores in other locations corresponding to the audio advertisement (S1406) .
  • stores in other locations corresponding to the audio advertisement may be stores of the same affiliated store (franchise) corresponding to the audio advertisement or stores providing the same service.
  • the cloud server 900 may search for stores that provide services included in the audio advertisement based on the audio advertisement searched according to the request from the advertisement information providing device 800 or the received audio information.
  • the cloud server 900 detects another store that provides the same service as the searched audio advertisement based on the audio advertisement searched according to the request of the advertisement information providing device 800 or the received audio information. and the locations of other detected stores can be detected.
  • the cloud server 900 may detect whether there is a store close to the current location of the vehicle 100 among the locations of other stores detected in step S1406 (S1408). In this case, if the location of the vehicle 100 is information about a specific area, the cloud server 900 can detect whether there is another store within the specific area that provides the same service as the searched audio advertisement.
  • the cloud server 900 proceeds to step S1404 and determines the location of the other store for the advertisement searched corresponding to the audio advertisement. It can be provided as information to the advertisement information providing device 800.
  • the cloud server 900 determines that there is no POI information corresponding to the audio advertisement and transmits advertisement information corresponding to the searched audio advertisement. The operation process can be terminated. In this case, a response message indicating that there is no searched advertising information may be transmitted to the advertising information providing device 800.
  • a plurality of locations of stores corresponding to the audio advertisement may be detected.
  • the cloud server 900 may detect a store located within the area where the vehicle 100 is located or within a preset distance from the current location of the vehicle 100 among the locations of the plurality of detected stores. And, as a result of detection, POI information about at least one store located within the area where the vehicle 100 is located or located within a preset distance from the current location of the vehicle 100 may be transmitted to the advertisement information providing device 800.
  • the cloud server 900 determines that there is no POI information corresponding to the audio advertisement, The operation process of transmitting advertisement information corresponding to the searched audio advertisement may be terminated. In this case, a response message indicating that there is no searched advertising information may be transmitted to the advertising information providing device 800.
  • the advertising information providing device 800 can receive POI information as advertising information corresponding to an audio advertisement and store the received POI information. Additionally, it has been mentioned that the POI information can be output based on whether preset output conditions are met.
  • the preset conditions may be set in various ways.
  • the preset condition may be a result of occupant detection. That is, if the passenger profile corresponding to the detected passenger as a result of passenger detection does not match the advertisement subject of the audio advertisement, the processor 860 may limit the output of POI information corresponding to the audio advertisement.
  • the preset condition may be a driving route to the destination.
  • the processor 860 may detect whether there is POI information located within a preset distance from the set driving route among pre-stored POI information. And when at least one piece of POI information located within a preset distance from the set driving path is detected, the display unit 251 can be controlled through the interface unit 810 so that the detected POI information is displayed around the driving path. .
  • FIG. 15 is a flowchart illustrating an operation process of outputting advertising information corresponding to at least one piece of audio information based on a set driving route in the advertising information providing device 800 according to an embodiment of the present invention.
  • FIG. 16 is an example diagram showing an example in which POI information according to a previously broadcast audio advertisement is displayed along a driving route set according to the operation process of FIG. 15.
  • the processor 860 of the advertisement information providing device 800 may store POI information when it is received as advertisement information corresponding to an audio advertisement from the cloud server 900. Then, the process proceeds to step S1024 of FIG. 10 or step S1124 of FIG. 11, and at least some of the stored POI information can be displayed on the display unit 251.
  • the processor 860 can detect the set driving route information from the navigation system 770 (S1500 ). And based on the detected driving path, it can be detected whether there is POI information provided from the cloud server 900 in the vicinity (S1502).
  • the POI information provided from the cloud server 900 may be POI information corresponding to an audio advertisement retrieved according to a request from the advertisement information providing device 800. That is, at least one store corresponding to the audio advertisement previously output from the audio output unit 252 can be detected based on the driving route to the currently set destination. And when the set driving route is displayed, at least one detected POI information can be displayed along with the driving route (S1504).
  • FIG. 16 shows an example in which the location 1600 of the vehicle 100 before the destination is set, that is, the location of the advertising information providing device 800, is displayed on the display unit 251. It is shown.
  • a driving path 1610 connecting the current location 1600 of the vehicle 100 to the destination may be set, as shown in (b) of FIG. 16.
  • the processor 860 of the advertising information providing device 800 selects the POI information adjacent to the driving path 1610 among the POI information received in response to the request transmitted to the cloud server 900 in response to the collected audio information. It is possible to detect whether POI information is present. In this case, if the location included in the POI information is within a preset distance from a point on the driving route 1610, the POI information may be POI information adjacent to the driving route 1610.
  • the processor 860 displays the detected POI information 1620 on the display unit 251 where route information 1610 is displayed, as shown in (c) of FIG. 16. It can be displayed.
  • additional information 1630 included in the POI information 1620 may be further displayed on the display unit 251.
  • the additional information 1630 is information on the audio advertisement searched in response to the collected audio information, and includes at least one of information about the service provided through the audio advertisement, the period during which the service is provided, and the store or place where the service is provided. It can contain one.
  • POI information corresponding to the audio advertisement provided by the advertisement information providing device 800 may be displayed on the display unit 251 according to the driving route set to the destination. Therefore, if the driving route changes due to a change in destination or change in stopover, the POI information displayed on the display unit 251 may also change accordingly. In other words, by displaying only POI information that matches the driving route, unnecessary POI information can be prevented from being displayed.
  • the processor 860 may determine that advertisement information corresponding to the POI information has been exposed. In this case, the processor 860 may determine that an advertisement influx effect for passengers has occurred. Additionally, the processor 860 operates when there is a user's input on the displayed POI information, for example, when there is a touch input on the additional information 1630 or a touch input on the POI information 1620, or the POI information ( 1620), when a destination setting is requested, it may be determined that advertisement information corresponding to the POI information has been exposed. And the advertisement information exposure effect corresponding to the POI information may be regarded as the advertisement information exposure effect for the audio advertisement corresponding to the POI information.
  • the processor 860 may transmit notification information corresponding to the accumulated number of advertisement information exposures to the advertisement metadata server 950 at a preset time period. Then, the advertising metadata server 950 can quantitatively calculate the advertising inflow effect for the audio advertisement based on the notification information provided from the plurality of advertising information providing devices 800.
  • the advertising information providing device 800 provides information about the vehicle 100 to the user's mobile terminal to which information about the vehicle 100 is provided and simultaneously responds to the audio advertisement. It has been mentioned that POI information can be provided.
  • Figure 17 shows that in this case, the advertising information providing device 800 according to an embodiment of the present invention provides advertising information corresponding to audio advertisements already broadcast through a preset mobile terminal to which information on the vehicle 100 is provided.
  • This is a flowchart showing the operation process.
  • the processor 860 of the advertisement information providing device 800 may store POI information when it is received as advertisement information corresponding to an audio advertisement from the cloud server 900. In this case, among the stored POI information, POI information whose preset validity period has expired may be deleted (S1700).
  • the processor 860 can classify POI information whose validity period has not expired according to various classification criteria (S1710).
  • the processor 860 may classify the POI information stored in the memory 840 based on the time at which the corresponding audio information was collected, related media information, or the location of the vehicle 100 detected when the audio information was received. (S1702).
  • the processor 860 can detect the mobile terminal 1800 connected to the vehicle 100 so that information about the vehicle 100 is provided (S1704). And a communication connection with the detected mobile terminal 1800 can be established.
  • the mobile terminal 1800 may be connected to the advertising information providing device 800 via the vehicle 100 or the communication device 400 of the vehicle 100.
  • the processor 860 may transmit the POI information classified in step S1702 to the mobile terminal 1800. And the mobile terminal 1800 can be controlled so that the transmitted POI information is displayed on the display unit (S1706). Then, the mobile terminal 1800 may display a menu for searching the classified POI information in one area of the interface screen where information on the vehicle 100 is displayed.
  • FIG. 18 is a flowchart showing an operation process in which classified POI information is output through the mobile terminal 1800 according to the operation process of FIG. 17.
  • FIG. 18 (a) shows an example in which a menu for searching the classified POI information is displayed in one area of the interface screen where information on the vehicle 100 is displayed. It is showing.
  • the interface screen displays a first area 1810 where information on the vehicle 100 is displayed and media information output through the media application in conjunction with the media application of the vehicle 100. It may include a second area 1820 that displays the classified POI information, and a third area 1830 that displays a menu for searching the classified POI information.
  • the third area may display information about classification criteria of the POI information.
  • the audio A search menu 1831 by location where the advertisement was output, that is, the output location, and a search menu 1832 by the time the audio advertisement was output, that is, the output time may be displayed in the third area 1830.
  • a media-specific menu 1833 which is a menu that allows searching for POI information according to the broadcast program or channel related to the audio advertisement. It may be displayed in the third area 1830.
  • the mobile terminal 1800 sends menu selection information corresponding to the selected menu to the advertising information providing device 800. It can be sent to . Then, the processor 860 of the advertisement information providing device 800 may transmit classified POI information corresponding to the received menu selection information to the mobile terminal 1800. Then, the mobile terminal 1800 can display the POI information received in response to the transmission of the menu selection information on the display unit.
  • the user can select one of the POI information displayed on the display unit of the mobile terminal 1800. Then, the selected POI information may be displayed in the third area.
  • Figure 18(b) shows an example in which POI information selected in this way is displayed.
  • vehicle speed information 1811 and fuel information 1812 provided from the vehicle 100 may be displayed in the first area 1810. Additionally, information about songs output by a music application, which is a media application, may be displayed in the second area 1820. And POI information 1840 selected by the user may be displayed in the third area 1830.
  • the selected POI information 1840 may display information related to the content of the service provided through the audio advertisement, the name of the affiliated store where the service is provided, and the location of the affiliated store where the service is provided.
  • the POI information 1840 may include a destination setting menu 1850 through which a destination to an affiliated store providing the service can be set directly in the vehicle 100. Accordingly, when the user selects the destination setting menu 1850, a driving route targeting a store providing the service broadcast through the audio advertisement can be immediately set in the vehicle 100.
  • the processor 860 selects a store that provides the service broadcast through the audio advertisement in the same area as the vehicle 100 or within a preset distance from the vehicle 100, based on the current location of the vehicle 100.
  • the driving path can be set only when detection is performed and there is a detected store.
  • the advertising information providing device 800 stores POI information corresponding to the pre-stored POI information when the audio fingerprint information is collected.
  • comparison with audio fingerprint information can also be performed.
  • the processor 860 may determine that the corresponding POI information has already been received and may not request POI information corresponding to the collected audio fingerprint information from the cloud server 900. Accordingly, in the case of audio fingerprint information for which POI information has already been collected, POI information may not be requested again.
  • the configuration of identifying an audio advertisement based on audio fingerprint information is used as an example, but of course, it is also possible to identify an audio advertisement using a non-audible sound.
  • an advertiser may include an inaudible sound in a specific frequency band or a specific pitch corresponding to the advertisement at the beginning of the audio advertisement.
  • the non-audible sound may be output in the form of a chord output along with background music, but as it is a sound in the non-audible band, passengers may not be able to identify it.
  • audio information PCM data
  • the advertisement information providing device 800 or the cloud server 900 may identify the corresponding audio advertisement based on the PCM data corresponding to the sound in the non-audible band or the pattern of the PCM data.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 클라우드 서버와 통신하는 통신부, 차량의 음향 출력부 및 디스플레이부와 통신 연결을 수행하는 인터페이스부, 인터페이스부를 통해 음향 출력부의 오디오 버퍼에 저장된 PCM 데이터를 수신하여 출력되는 음향 신호의 특징을 포함하는 오디오 정보를 생성하는 오디오 감지부, 오디오 정보를 클라우드 서버에 전송하도록 통신부를 제어하고, 오디오 정보에 대응하는 POI 정보를 포함하는 광고 정보를 클라우드 서버에 요청하며, 요청에 의하여 클라우드 서버로부터 광고 정보가 수신되면, POI 정보 및 광고 정보에 포함된 컨텐츠가 차량의 디스플레이부에 표시되도록 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

Description

광고 정보 제공 장치 및 제공 방법
본 발명은 차량에 구비되거나 차량과 연결되는 장치에 대한 것으로, 보다 자세하게는 상기 차량에서 방송되는 오디오 광고에 따른 광고 정보를 제공하는 장치 및 방법에 대한 것이다.
현재 인포테인먼트(Infortainment) 기술 및 텔레메틱스(Telematics) 기술의 발달로, 차량의 주행 중에 차량에 탑승자에게 다양한 정보를 제공하는 기술이 등장하였다. 이러한 기술의 일환으로 차량에 탑승한 탑승자는 원하는 정보를 검색하거나, 또는 다양한 엔터테인먼트 정보를 상기 차량의 주행 중에 제공받을 수 있다. 그리고 이처럼 차량에 탑승한 탑승자에게 다양한 정보를 제공하는 것이 가능하게 되면서, 상기 인포테인먼트 기술 및 텔레매틱스 기술을 이용한 광고 산업이 크게 발전하게 되었다.
한편 차량 탑승자에게 제공되는 광고는 크게 두 가지 방식으로 제공될 수 있다. 하나는 동영상 형태의 광고로서 시각 정보 및 청각 정보를 모두 제공하는 방식이고, 다른 하나는 오디오 광고로서 음향 정보로서 광고를 제공하는 방식이다. 그런데 상기 동영상 형태의 광고는 시각 정보 및 청각 정보를 모두 제공하므로 전달 효과는 높으나, 차량을 운전하여야 하는 운전자의 경우에 운전을 방해할 위험이 있다는 문제가 있다. 따라서 운전자에 따라 광고 출력을 제한하거나, 인포테인먼트 기능을 오프하여 광고 전달을 차단하기도 한다. 즉, 광고에 대한 기피도가 높다는 문제가 있다.
이에 비하여 오디오 광고는 청각 정보를 제공하므로 생산 가격이 낮고, 운전 행위를 거의 방해하지 않으므로 상대적으로 안전하고 기피도가 낮다는 이점이 있다. 또한 지역 방송국을 통한 지역 특화 광고가 가능하고, 오디오 채널마다 제공되는 정보의 주제가 지정된 경우가 많으므로, 특정 주제를 청취하는 청취자로 광고 타겟팅이 용이하다는 이점이 있다.
그런데 오디오 광고의 경우, 청각 정보만을 제공하므로 광고 효과가 약하다는 문제가 있다. 즉, 광고 효과가 약하므로, 광고에 대한 탑승자의 주의력이 낮아지고 이에 따라 탑승자를 광고에 유입하기가 어렵다는 문제가 있다. 그리고 이러한 약한 광고 효과 및 광고 유입의 어려움으로 인하여 광고 효과의 측정이 어렵다는 문제가 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 오디오 광고의 효과를 증가시키고, 오디오 광고에 대하여 탑승자의 주의를 환기시킬 수 있도록 하는 광고 정보 제공 장치 및 그 제공 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 탑승자의 요청에 따라 탑승자가 자신이 청취한 오디오 광고에 대한 광고 정보를 차후 제공받을 수 있도록 하는 광고 정보 제공 장치 및 그 제공 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 탑승자 또는 차량의 설정 상태에 따라, 기 방송된 오디오 광고들 중 탑승자에게 부합되는 적어도 하나의 광고 정보를 제공할 수 있는 광고 정보 제공 장치 및 그 제공 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 광고 정보 제공 장치는, 클라우드 서버와 통신하는 통신부와, 차량의 음향 출력부 및 디스플레이부와 통신 연결을 수행하도록 형성된 인터페이스부와, 상기 인터페이스부를 통해 상기 음향 출력부의 오디오 버퍼에 저장된 PCM(Pulse Code Modulation) 데이터를 수신하여 상기 음향 출력부에서 출력되는 음향 신호의 특징을 포함하는 오디오 정보를 생성하는 오디오 감지부 및, 상기 생성된 오디오 정보를 상기 클라우드 서버에 전송하도록 상기 통신부를 제어하고, 전송된 오디오 정보에 대한 응답으로 상기 오디오 정보에 대응하는 오디오 광고의 POI(Point Of Interest) 정보를 포함하는 광고 정보를 상기 클라우드 서버에 요청하며, 상기 요청에 의하여 상기 클라우드 서버로부터 상기 광고 정보가 수신되면, 상기 POI 정보 및 수신된 광고 정보에 포함된 컨텐츠가 상기 차량의 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량의 주행 경로가 설정되면, 상기 클라우드 서버로부터 수신된 광고 정보들 중 POI 정보에 대응하는 위치가 상기 주행 경로 상의 일 지점으로부터 기 설정된 거리 이내에 위치한 적어도 하나의 광고 정보를 검출하고, 검출된 광고 정보에 포함된 POI 정보 및 컨텐츠가, 상기 디스플레이부 상에 상기 주행 경로와 함께 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 인터페이스부를 통해 상기 차량의 탑승자 검출 결과를 수신하고, 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 상기 탑승자 검출 결과에 근거하여 검출 및, 검출된 광고 정보에 포함된 POI 정보 및 컨텐츠가, 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 탑승자 검출 결과에 대응하는 탑승자 프로파일에 포함된 광고 주제들과, 상기 클라우드 서버로부터 수신된 광고 정보들 각각의 광고 주제를 비교한 결과에 근거하여, 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 검출하며, 상기 탑승자 프로파일은, 탑승자의 성별 및 연령대에 따라 선호하는 광고 주제들을 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 특정 탑승자가 선호하는 광고 주제들이 학습된 경우, 학습된 광고 주제들을 포함하는 맞춤형 탑승자 프로파일을 생성하고, 상기 탑승자 검출 결과, 검출된 탑승자가 상기 특정 탑승자인 경우 상기 맞춤형 탑승자 프로파일에 근거하여 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 검출하며, 상기 특정 탑승자가 선호하는 광고 주제들은, 상기 특정 탑승자가 일정 횟수 이상 방문하는 장소에 따라 학습되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 오디오 정보는, 상기 음향 신호의 특징에 대응하는 오디오 지문 정보(fingerprint)를 포함하며, 상기 오디오 지문 정보는, 일정 시간 간격으로 샘플링된 상기 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 PCM 데이터가 수신되는 시각과, 상기 PCM 데이터가 수신될 때 상기 음향 출력부를 제어하는 애플리케이션의 정보를 더 수집하도록 상기 오디오 감지부를 제어하며, 상기 오디오 지문 정보와 상기 수집된 시각 및 애플리케이션의 정보를 상기 오디오 정보로서 상기 클라우드 서버에 전송하며, 상기 클라우드 서버는, 상기 오디오 지문 정보에 대응하는 오디오 광고들을 검출하고, 검출된 오디오 광고들 중 상기 수집 시각 및 애플리케이션의 정보에 따른 어느 하나의 오디오 광고를 상기 오디오 정보에 대응하는 오디오 광고로 검색 및, 검색된 오디오 광고에 대응하는 광고 정보를 상기 오디오 정보의 전송에 대한 응답으로 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 애플리케이션의 정보는, 상기 애플리케이션을 통해 방송되는 라디오 프로그램이나 라디오 채널 또는 라디오 주파수의 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 광고 정보는, 상기 오디오 정보에 대응하는 오디오 광고에 대응하는 서비스를 제공하는 매장이나 점포 또는 업체의 명칭과 위치를 포함하는 POI 정보 및, 상기 오디오 광고에 대응하는 서비스의 정보를 나타내는 그래픽 객체를 적어도 하나 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 오디오 정보에 대응하는 오디오 광고를 식별하는 광고 정보 식별부를 더 포함하며, 상기 프로세서는, 상기 오디오 정보에 근거하여 식별된 특정 오디오 광고에 대한 광고 정보를 상기 클라우드 서버에 요청하고, 상기 클라우드 서버로부터 상기 요청에 대한 응답으로 상기 광고 정보를 수신하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 광고 정보 식별부는, 복수의 서로 다른 오디오 광고에 대한 오디오 지문 정보들을 대조 데이터로 포함하며, 상기 오디오 정보에 포함된 상기 음향 신호의 특징과 상기 대조 데이터에 포함된 오디오 지문 정보들과 비교하여 상기 음향 신호의 특징에 대응하는 특정 오디오 광고를 식별하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 오디오 지문 정보들 각각은, 각 오디오 광고에 대응하는 PCM 데이터를 일정 시간 간격으로 샘플링 및, 샘플링된 PCM 데이터들 중 적어도 일부로부터 분석된 PCM 패턴들이며, 상기 음향 신호의 특징은, 상기 음향 출력부의 오디오 버퍼에 저장된 PCM 데이터를 일정 시간 간격으로 샘플링한 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 클라우드 서버로부터 제공되는 갱신 데이터에 근거하여 상기 대조 데이터를 갱신하며, 상기 클라우드 서버는, 새로운 오디오 광고가 추가되는 경우 상기 새로 추가된 오디오 광고에 대응하는 오디오 지문 정보를 상기 갱신 데이터로서 상기 광고 정보 제공 장치에 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 통신부는, 상기 차량의 정보를 제공받을 수 있도록 기 설정된 이동 단말기와 통신 연결을 수행하며, 상기 프로세서는, 상기 이동 단말기에 상기 클라우드 서버로부터 수신된 광고 정보의 POI 정보 및 컨텐츠가 표시되도록, 상기 통신부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 클라우드 서버로부터 수신된 광고 정보들 각각으로부터, 각 광고 정보에 포함된 서비스의 유효 기간을 검출하고, 현재 날짜 및 시각에 근거하여 유효 기간이 경과하지 않은 광고 정보의 POI 정보 및 컨텐츠가 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 광고 정보 제공 장치는, 상기 오디오 정보와 함께, 상기 차량으로부터 획득한 상기 차량의 위치를 상기 클라우드 서버에 전송하며, 상기 클라우드 서버는, 상기 오디오 정보에 대응하는 오디오 광고의 서비스를 제공하는 매장의 위치와 상기 차량의 위치를 비교하며, 상기 매장의 위치가 상기 차량의 위치에 부합하지 않는 경우, 상기 오디오 광고의 서비스를 제공하는 다른 매장들 중, 상기 차량의 위치에 부합하는 매장을 검색하며, 검색된 매장에 대응하는 POI 정보를 포함하는 광고 정보를 상기 전송된 오디오 정보에 대한 응답으로 상기 광고 정보 제공 장치에 제공하고, 상기 차량의 위치는, 상기 차량이 위치한 일정 지역의 정보임을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 광고 정보 제공 장치의 제어 방법은, 차량의 음향 출력부의 오디오 버퍼에 저장된 PCM(Pulse Code Modulation) 데이터를 수신하여, 상기 음향 출력부에서 출력되는 음향 신호의 오디오 지문 정보를 검출하는 단계와, 상기 오디오 지문 정보에 대응하는 특정 오디오 광고에 대하여 POI(Point Of Interest) 정보 및 상기 특정 오디오 광고를 통해 제공되는 서비스의 정보를 포함하는 광고 정보를, 클라우드 서버에 요청하는 단계와, 상기 요청에 대한 응답으로, 상기 특정 오디오 광고에 대한 광고 정보가 수신되면, 수신된 광고 정보의 출력 조건이 충족되었는지 여부를 체크하는 단계 및, 상기 체크 결과에 근거하여, 상기 수신된 광고 정보의 POI 정보 및 상기 서비스의 정보를 상기 차량의 디스플레이부 상에 표시하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 광고 정보를 클라우드 서버에 요청하는 단계는, 복수의 서로 다른 오디오 광고의 오디오 지문 정보들을 포함하는 대조 데이터에 근거하여, 상기 오디오 버퍼의 PCM 데이터로부터 검출된 오디오 지문 정보에 대응하는 어느 하나의 오디오 광고를 식별하는 단계 및, 상기 식별된 어느 하나의 오디오 광고에 대응하는 광고 정보를 상기 클라우드 서버에 요청하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 오디오 지문 정보는, 일정 시간 간격으로 샘플링된 상기 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 한다.
또한 본 발명의 실시 예에 따른 클라우드 서버는, 오디오 지문 정보를 수신하는 통신부와, 복수의 서로 다른 오디오 광고에 각각 대응하는 오디오 지문 정보들 및, 상기 복수의 오디오 광고 각각에서 제공되는 서비스의 정보와 해당 서비스를 제공하는 매장의 위치 정보에 대응하는 POI(Point Of Interest) 정보를 포함하는 광고 정보들을 포함하는 광고 정보 데이터베이스와, 상기 광고 정보 데이터베이스로부터, 상기 수신된 오디오 지문 정보에 대응하는 특정 오디오 광고의 광고 정보를 검색하는 검색 엔진 및, 상기 통신부를 통해 상기 오디오 지문 정보가 수신되는 경우, 상기 검색 엔진을 제어하여 상기 수신된 오디오 지문 정보에 대응하는 오디오 광고를 검색하고, 오디오 광고가 검색된 경우 검색된 오디오 광고의 광고 정보를 상기 수신된 오디오 지문 정보에 대한 응답으로 전송하도록 상기 통신부를 제어하는 서버 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 광고 정보 제공 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 방송되는 오디오 광고를 검출하고 검출된 오디오 광고에 대응하는 POI(Point OF Interest) 정보를 제공함으로써, 오디오 광고의 효과를 증가시키고, 오디오 광고에 대하여 탑승자의 주의를 환기시킬 수 있다는 효과가 있다.
또한 본 발명은, 기 방송된 오디오 광고들에 대응하는 POI 정보들을 수신하고 저장 및, 탑승자의 요청에 따라 차량 정보가 제공되는 단말기를 통해 제공함으로써, 탑승자가 검색을 통해 상기 기 방송된 오디오 광고들 중 원하는 POI 정보를 제공받을 수 있다는 효과가 있다.
또한 본 발명은, 방송되는 다수의 오디오 광고들 중, 차량의 위치나 탑승자 식별 결과, 설정된 경로 등에 근거하여 탑승자에 부합하는 적어도 하나의 오디오 광고를 결정하고, 결정된 오디오 광고에 대응하는 POI 정보만을 제공받음으로써 불필요한 오디오 광고의 전달을 방지할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시 예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시 예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시 예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 8은 본 발명의 실시 예에 따른 광고 정보 제공 장치의 구조를 도시한 블록도이다.
도 9는 인터페이스부를 통해 본 발명의 실시 예에 따른 광고 장치와 차량 사이에서 교환되는 정보들의 흐름을 도시한 개념도이다.
도 10은 본 발명의 실시 예에 따른 광고 정보 제공 장치와 클라우드 서버 간에 오디오 정보에 대응하는 광고 정보가 제공되는 동작 과정을 도시한 흐름도이다.
도 11은 본 발명의 실시 예에 따른 광고 정보 제공 장치와 클라우드 서버 간에 오디오 정보에 대응하는 광고 정보가 제공되는 다른 동작 과정을 도시한 흐름도이다.
도 12는 본 발명의 실시 예에 따른 광고 정보 제공 장치에서 오디오 정보가 수집되는 동작 과정을 보다 자세히 도시한 흐름도이다.
도 13은 본 발명의 실시 예에 따라, 탑승자 검출 결과에 근거하여 오디오 정보에 대응하는 광고가 검출된 것으로 판별하는 동작 과정을 도시한 흐름도이다.
도 14는 본 발명의 실시 예에 따라, 클라우드 서버가 광고 정보 제공 장치의 위치에 따라 오디오 광고에 대응하는 광고 정보를 제공하는 동작 과정을 도시한 흐름도이다.
도 15는 본 발명의 실시 예에 따른 광고 정보 제공 장치에서, 설정된 주행 경로에 근거하여 적어도 하나의 오디오 정보에 대응하는 광고 정보를 출력하는 동작 과정을 도시한 흐름도이다.
도 16은, 상기 도 15의 동작 과정에 따라 설정된 주행 경로에 따라 기 방송된 오디오 광고에 따른 POI 정보가 표시되는 예를 도시한 예시도이다.
도 17은 본 발명의 실시 예에 따른 광고 정보 제공 장치에서, 차량 정보가 제공되는 단말기를 통해 기 방송된 오디오 광고들에 대응하는 광고 정보들을 제공하는 동작 과정을 도시한 흐름도이다.
도 18은, 상기 도 17의 동작 과정에 따라 상기 단말기를 통해 POI 정보들이 출력되는 동작 과정을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 안내 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
도 8은 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)의 구조를 도시한 블록도이다.
도 8을 참조하여 살펴보면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 프로세서(860)와 상기 프로세서(860)에 연결되며, 상기 프로세서(860)에 의해 제어되는 인터페이스부(810), 통신부(830), 오디오 감지부(820) 및 메모리(840)를 포함하여 구성될 수 있다. 또한 광고 정보 식별부(850)를 더 포함하여 구성될 수 있다. 또한 상기 광고 정보 제공 장치(800)는 차량(100)에 장착 또는 탑재되도록 형성될 수도 있으며, 상기 차량(100)과 일체형으로 구현될 수도 있다. 차량(100)과 일체형으로 구현되는 경우 상기 프로세서(860)는 차량(100)의 제어부(170) 일 수 있으며, 상기 프로세서(860)과 연결되는 광고 정보 제공 장치(800)의 각 구성 요소는 차량(100)에 구비되는 구성 요소일 수 있다.
상기 통신부(830)는 차량에 구비된 전장품, 예를 들어 차량 내부에 배치된 주변 기기(예를 들어 이동 단말기) 또는 도 7에서 살펴본 차량 전장품 중 적어도 하나와 무선 통신을 수행하도록 형성될 수 있다.
또한 기 설정된 서버나 도로에 구비된 인프라 등과 통신을 수행하도록 형성될 수 있다. 여기서 상기 기 설정된 서버는 광고 정보를 제공하는 클라우드 서버(900)나 오디오 광고 및 오디오 광고에 대응하는 광고 정보를 제공하는 광고 메타 데이터 서버(950)를 포함할 수 있다.
상기 통신부(830)는, 앞서 설명한 통신 장치(400)일 수 있으며, 상기 통신 장치(400)에 포함된 구성요소들 중 적어도 하나를 포함할 수 있다.
인터페이스부(810)는, 차량에 구비된 구성품 중 적어도 하나와 통신을 수행할 수 있다.
구체적으로, 인터페이스부(810)는, 도 7에서 살펴본 차량에 구비된 구성품 중 적어도 하나와 유선 통신을 수행하도록 형성될 수 있다.
상기 인터페이스부(810)는 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신한다.
상기 인터페이스부(810)는 센서 데이터 콜렉터(Sensor Data Collector)로 호칭될 수 있다.
상기 인터페이스부(810)는, 차량에 구비되는 센서(예를 들어, 차량의 조작을 감지하는 센서(V.Sensors)(예를 들어, heading, throttle, break, wheel 등)와 차량의 주변 정보를 센싱하기 위한 센서(S.Sensors)(예를 들어, Camera, Radar, LiDAR, Sonar 등))를 통해 센싱된 정보를 수집(수신)한다.
상기 인터페이스부(810)는, 차량에 구비된 센서를 통해 센싱된 정보가 고정밀 지도에 반영되도록 통신부(830)(또는 프로세서(860))로 전송할 수 있다. 그리고 인터페이스부(810)는, 차량 인터페이스부(130)와 데이터를 교환할 수 있다.
인터페이스부(810)는 차량 인터페이스부(130)를 통해 차량에 구비된 전장품과의 통로 역할을 수행할 수 있다.
예를 들어 인터페이스부(810)를 통해 프로세서(860)는 차량(100)의 제어부(170)에 연결될 수 있으며, 상기 제어부(170)를 제어하여 제어부(170)에 연결된 각 구성요소를 제어할 수 있다. 따라서 도 8에서 보이고 있는 바와 같이 차량(100)의 통신 장치(400), 음향 출력부(252), 내부 카메라(220), 디스플레이부(251) 및 내비게이션 시스템(770)에서 제공되는 데이터들이, 인터페이스부(810)를 통해 프로세서(860)에 수신될 수 있으며, 상기 프로세서(860)의 제어에 따른 제어 데이터들이 인터페이스부(810)를 통해 상기 각 구성요소에 인가될 수 있다.
즉, 프로세서(860)는 인터페이스부(810)를 통해 차량(100)의 제어부(170)와 연결될 수 있으며, 상기 제어부(170)를 통해, 제어부(170)에서 제어되는 차량(100)의 각 구성요소(각 전장품)를 제어할 수 있다.
또한 인터페이스부(810)는 차량(100)에 연결되어 전기 에너지를 공급받는 통로 역할을 수행할 수 있다. 따라서 광고 정보 제공 장치(800)는, 인터페이스부(810)를 통해 차량의 전원 공급부(190)로부터 전기 에너지를 공급받아 전원을 온 시킬 수 있다.
한편 오디오 감지부(820)는 차량(100)의 음향 출력부(252)에서 출력되는 음향 신호에 따른 오디오 정보를 수집할 수 있다. 예를 들어, 오디오 감지부(820)는 음향 출력부(252)에 구비된 스피커를 통해 출력되기 위해 버퍼(오디오(Audio) 버퍼)에 입력되는 음향 데이터들을 수신할 수 있다. 그리고 수신된 음향 데이터들을 상기 음향 출력부에서 출력되는 음향 신호에 따른 오디오 정보로서 수집할 수 있다. 이 경우 상기 오디오 버퍼에 저장된 음향 데이터들은 음향 출력부(252)가 아날로그 신호(음향 신호)로 변환할 PCM(Pulse Code Modulation) 데이터들일 수 있다. 따라서 오디오 감지부(820)에 수집되는 오디오 정보들은 상기 PCM 데이터들일 수 있다.
여기서 오디오 감지부(820)는 수집된 오디오 정보들로부터 특징을 추출할 수 있다. 예를 들어 서로 다른 음향 신호의 경우 선율 또는 화성 조합 등이 서로 다를 수 있다. 따라서 상기 선율 또는 화성 조합 등이 상기 음향 신호의 특징일 수 있다. 그리고 이러한 음향 신호의 특징은 음향 신호 별로 고유한 것으로, 상기 음향 신호에 대응하는 지문(fingerprint) 처럼 사용될 수 있다. 즉, 수집된 오디오 정보들이, 상기 음향 신호에 대응하는 오디오 지문 정보로서 사용될 수 있다.
한편 상기 PCM 데이터는 아날로그 신호로 변환하는 경우 음향 정보로 바로 변환될 수 있다. 따라서 사용자의 카폰(car phone)을 이용한 전화 통화와 같이 사용자의 개인 정보가 음향 출력부를 통해 출력되는 경우 사용자의 개인 정보가 오디오 정보로 수집될 수 있다. 그리고 광고 정보 수집을 위해 수집된 오디오 정보가 이용되는 경우, 상기 오디오 정보에 포함된 사용자의 개인 정보가 노출될 수 있다는 문제가 있다.
이러한 사용자의 개인 정보 노출을 방지하기 위해 오디오 감지부(820)는 수집된 오디오 정보로부터 특징 정보만을 추출하고 수집할 수 있다. 일 예로 오디오 감지부(820)는 오디오 정보들, 즉 PCM 데이터들의 패턴을 상기 오디오 정보의 특징 정보로 검출할 수 있다. 이 경우 상기 검출된 PCM 데이터들의 패턴 정보가 상기 음향 신호에 대응하는 지문 정보일 수 있다.
한편 오디오 감지부(820)는 제어부(170)에서 구동되는 오디오 관련 애플리케이션의 정보를 더 수집할 수 있다. 여기서 상기 오디오 관련 애플리케이션의 정보는 출력되는 음향 신호와 관련된 미디어(예를 들어 방송 프로그램) 및 음향 채널 정보일 수 있다. 즉, 오디오 감지부(820)는 오디오 정보를 수집함과 동시에, 수집된 오디오 정보들과 관련된 방송 프로그램 및 채널의 정보를 수집할 수 있다.
또한 상기 오디오 감지부(820)는 오디오 정보들이 수집된 시각들의 정보를 더 수집할 수 있다. 이 경우 상기 오디오 정보들이 수집된 시각은 상기 오디오 정보들에 관련된 음향 신호가 음향 출력부(252)에서 출력되는 시각일 수 있다.
여기서 오디오 감지부(820)에서 수집된 방송 프로그램과 오디오 채널의 정보, 그리고 시각 정보는 수집된 오디오 정보에 대응하는 보다 정확한 광고 정보를 검색하는데 이용될 수 있다.
그리고 메모리(840)는 광고 정보 제공 장치(800)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(840)는 광고 정보 제공 장치(800)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 광고 정보 제공 장치(800)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 예를 들어 메모리(840)는 수집되는 오디오 정보들을 저장할 수 있다. 그리고 수집되는 오디오 정보로부터 오디오 지문 정보를 검출하기 위한 데이터 및 명령어를 저장할 수 있다. 또한 상기 오디오 지문 정보가 검출되는 경우, 검출된 오디오 지문 정보를 저장할 수 있으며, 상기 오디오 지문 정보에 근거하여 클라우드 서버(900)로부터 광고 정보가 수신되는 경우, 수신된 광고 정보를 저장할 수 있다.
한편, 본 발명은, 연결된 광고 정보 제공 장치(800)의 각 구성요소를 제어하며, 상기 광고 정보 제공 장치(800)의 전반적인 동작을 제어하는 프로세서(860)를 포함할 수 있다. 상기 프로세서(860)는 먼저 인터페이스부(810)를 통해 차량(100)의 음향 출력부(252)에서 출력되는 음향 신호에 대응하는 오디오 정보들을 수집할 수 있다. 그리고 수집된 오디오 정보들로부터 오디오 지문 정보를 검출하고 검출된 오디오 지문 정보를 기 설정된 서버로 전송하도록 상기 통신부(830)를 제어할 수 있다.
여기서 상기 클라우드 서버(900)는 광고 정보 제공 장치(800)로부터 제공되는 오디오 지문 정보에 대응하는 광고를 검색하고, 검색된 광고에 대응하는 광고 정보를 제공하는 서버일 수 있다. 이를 위해 상기 클라우드 서버(900)는 복수의 오디오 광고에 각각 대응하는 광고 정보들 및 각 오디오 광고에 대응하는 오디오 지문 정보들이 포함된 광고 정보 데이터베이스(DB, Database)(930), 상기 광고 정보 데이터베이스(930)로부터 상기 오디오 지문 정보에 대응하는 광고 정보를 검색하기 위한 검색 엔진(engine)(920), 광고 정보 제공 장치(800)의 통신부(830)로부터 오디오 지문 정보를 수신하고, 상기 검색 엔진(920)이 상기 광고 정보 데이터베이스(930)로부터, 상기 수신된 오디오 지문 정보에 대응하는 광고 정보를 검색하도록 상기 검색 엔진(920)을 제어하는 서버 제어부(910)를 포함하여 구성될 수 있다. 또한 클라우드 서버(900)는 상기 광고 정보 제공 장치(800)와 통신 연결을 위한 통신부(도시되지 않음)를 포함하여 구성될 수 있다.
여기서 상기 광고 정보 데이터베이스(930)에 저장된 광고 정보는 오디오 광고에 대응하는 서비스 및 그 서비스를 제공하는 매장 또는 업체의 명칭, 그리고 매장 또는 업체의 위치 정보를 포함하는 정보일 수 있다. 이러한 경우 상기 광고 정보는 차량(100)의 디스플레이부(251) 상에 표시되는 그래픽 객체를 포함하는 정보일 수 있으며, 상기 오디오 광고에 대응하는 서비스 및 그 서비스를 제공하는 매장 또는 업체의 명칭과 위치 정보를 포함하는 POI(Point Of Interest) 정보일 수 있다.
즉, 클라우드 서버(900)는 차량(100)에 탑재된 광고 정보 제공 장치(800)로부터 오디오 지문 정보가 수신되는 경우, 수집된 오디오 지문 정보에 대응하는 오디오 광고 정보를 검색하고, 검색된 오디오 광고 정보에 대응하는 POI 정보를 상기 오디오 지문 정보에 대응하는 광고 정보로서 검색할 수 있다. 그리고 검색된 POI 정보를, 상기 전송된 오디오 지문 정보에 대한 응답으로 상기 광고 정보 제공 장치(800)에 전송할 수 있다.
그러면 상기 광고 정보 제공 장치(800)의 프로세서(860)는 상기 오디오 지문 정보에 대한 응답으로 수신된 POI 정보를 상기 차량(100)의 디스플레이부(251)에 출력하도록 상기 인터페이스부(810)를 제어할 수 있다. 이 경우 상기 프로세서(860)는, 기 설정된 조건에 부합하는 경우에 상기 POI 정보가 출력되도록 상기 인터페이스부(810)를 제어할 수 있다.
예를 들어 프로세서(860)는 내비게이션 시스템(770)으로부터 제공되는 정보에 근거하여 상기 POI 정보를 출력할 수 있다. 이 경우 상기 내비게이션 시스템(770)으로부터 제공되는 정보는 목적지까지의 기 설정된 경로 정보일 수 있다. 즉, 프로세서(860)는, 전송된 오디오 지문 정보에 대한 응답으로 수신된 POI 정보들 중, 목적지까지 설정된 차량(100)의 주행 경로 주변에 위치한 적어도 하나의 매장 또는 점포에 대응하는 POI 정보들을 추출 및, 추출된 POI 정보들을 디스플레이부(251)를 통해 출력할 수 있다. 따라서 음향 출력부(252)를 통해 출력되는 음향 신호에 대응하는 POI 정보가 출력될 수 있다.
또는 프로세서(860)는 탑승자를 검출한 결과에 근거하여 상기 POI 정보를 출력할 수도 있다. 일 예로 검출된 탑승자가 여성인 경우, 남성을 대상으로 하는 오디오 광고에 대응하는 POI 정보는 추출되지 않을 수 있다.
여기서 탑승자는 운전자 뿐만 아니라, 차량(100)의 객실과 같은 탑승 공간, 즉 캐빈(cabbin)에 탑승하는 탑승자 모두를 포함할 수 있다. 일 예로 상기 캐빈에 탑승한 각 탑승자는 차량(100)에 구비된 내부 카메라(220)를 통해 검출될 수 있다. 그리고 상기 내부 카메라(220)에서 검출된 결과에 근거하여 프로세서(860)는 캐빈의 각 좌석에 착석한 탑승자들을 좌석에 따라 구분 및, 각 좌석 별로 탑승자를 식별할 수 있다. 그리고 프로세서(860)는 각 탑승자를 식별한 결과에 따라 각 좌석에 대응하는 디스플레이부(251)에 서로 다른 POI 정보가 표시되도록 인터페이스부(810)를 제어할 수 있다. 따라서 각 좌석에 탑승한 탑승자 각각에 맞춤화된 POI 정보들이 제공될 수 있다. 이 경우 각 좌석에 대응하는 디스플레이부(251)는, 그 좌석 앞 좌석의 후면에 배치된 디스플레이들일 수 있다.
또한 상기 기 설정된 조건은 POI 정보에 설정된 유효 기간일 수 있다. 예를 들어 프로세서(860)는 클라우드 서버(900)로부터 전송된 POI 정보들을 저장할 수 있다. 그리고 저장된 POI 정보들 중 유효 기간이 설정된 POI 정보들의 경우, 현재 날짜 및 시각과 상기 유효 기간을 비교하여 유효 기간이 경과한 POI 정보들을 검출할 수 있다. 그리고 유효 기간이 경과한 POI 정보들을 삭제함으로써 유효 기간이 경과하지 않은 POI 정보들만 디스플레이부(251)를 통해 표시되도록 인터페이스부(810)를 제어할 수 있다.
또한 프로세서(860)는 메모리(840)에 저장된 광고 정보, 즉 POI 정보를 사용자의 요청에 따라 기 설정된 이동 단말기에 전송할 수 있다. 여기서 상기 이동 단말기는 차량(100)과 연결되도록 기 설정된 단말기 일 수 있다. 예를 들어 상기 이동 단말기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), PMP(portable multimedia player), 내비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다.
상기 이동 단말기는 통신 장치(400)를 통해 차량(100)과 연결될 수 있다. 그리고 차량(100)의 제어부(170)에서 제공되는 차량(100)의 다양한 정보들을 표시할 수 있다. 이 경우 프로세서(860)는 인터페이스부(810)를 통해 차량의 제어부(170)와 연결되어, 메모리(840)에 저장된 광고 정보, 즉 POI 정보를 상기 이동 단말기에 전송할 수 있다. 그러면 제어부(170) 및 통신 장치(400)를 통해 POI 정보를 수신한 이동 단말기는 수신된 POI 정보를 표시할 수 있다.
한편 상기 통신부(830)는 기 설정된 조건에 부합하는 경우, 프로세서(860)의 제어에 따라 광고 메타 데이터 서버(950)와 연결될 수 있다. 광고 메타 데이터 서버(950)는 광고 정보를 클라우드 서버(900)에 제공한 광고주의 서버일 수 있다. 그리고 프로세서(860)는 상기 이동 단말기 또는 디스플레이부(251)를 통해 표시된 POI 정보에 대한 사용자의 입력이 인가되거나, 특정 POI 정보에 대응하는 매장을 경유하는 주행 경로가 설정되는 경우 등, 기 설정된 조건이 충족되는 경우, 상기 특정 POI 정보에 대응하는 광고 메타 데이터 서버(950)에 광고 유입 정보를 전송할 수 있다.
여기서 상기 광고 유입 정보는 사용자가 광고에 유입되었는지 여부를 나타내는 정보로서, 클릭 수와 같이 사용자가 POI 정보를 선택하였음을 알리기 위한 정보일 수 있다. 따라서 광고 메타 데이터 서버(950)는 통신부(830)를 통해 수집되는 광고 유입 정보에 근거하여 사용자가 광고를 선택하였는지 여부, 즉 광고 유입 여부를 체크할 수 있으며, 이는 방송된 오디오 광고의 광고 효과로서 산출될 수 있다. 즉, 오디오 광고 효과에 대한 가시적이고 명확한 데이터를 수집할 수 있다.
한편, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 수집된 오디오 정보(또는 오디오 지문 정보)를 클라우드 서버(900)에 전송하고, 전송된 오디오 정보가 오디오 광고인지 여부를 상기 클라우드 서버(900)가 판별 및, 판별된 오디오 정보가 오디오 광고인 경우에 대응하는 광고 정보, 즉 POI 정보를 클라우드 서버(900)가 광고 정보 제공 장치(800)에 제공할 수 있다. 그러나 이러한 경우, 음향 출력부(252)에서 출력되는 음향 신호가 오디오 광고인지 여부를 클라우드 서버(900)가 판별하므로, 광고 정보 제공 장치(800)는 음향 출력부(252)에서 출력되는 음향 신호에 대한 오디오 정보를 지속적으로 클라우드 서버(900)와 제공하여야 한다는 문제가 있다. 따라서 클라우드 서버(900)와 광고 정보 제공 장치(800)가 항시 서로 연결되어야 한다는 문제가 있으며, 클라우드 서버(900) 역시 차량(100)에서 제공되는 오디오 정보를 항시 수신하여 오디오 광고 인지 여부를 판별하여야 하므로, 차량(100)과 클라우드 서버(900) 사이의 통신 데이터가 불필요하게 많아지고, 클라우드 서버(900)의 부하가 증대된다는 문제가 있다.
이러한 문제를 해결하기 위하여, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는, 수집되는 오디오 정보가 오디오 광고인지 여부를 자체적으로 식별하기 위한 광고 정보 식별부(850)를 더 포함할 수 있다.
이 경우 광고 정보 식별부(850)는 수집된 오디오 정보, 예를 들어, 오디오 지문 정보를 기 저장된 복수의 서로 다른 오디오 광고에 대응하는 특징과 비교하여, 삭이 수집된 오디오 정보가 오디오 광고인지 여부를 판별할 수 있다. 이 경우 광고 정보 식별부(850)의 판별 결과 수집된 오디오 정보에 대응하는 오디오 광고가, 상기 판별과 동시에 식별될 수 있다.
여기서 상기 광고 정보 식별부(850)는 도 8에서 보이고 있는 바와 같이 프로세서(860)와 별개의 구성일 수 있으나, 상기 프로세서(860)와 일체형으로 구현될 수도 있다.
광고 정보 식별부(850)의 오디오 광고 식별 결과에 근거하여, 프로세서(860)는 특정 오디오 광고에 대응하는 광고 정보를 클라우드 서버(900)에 요청할 수 있다. 그러면 클라우드 서버(900)는 요청된 오디오 광고에 대한 광고 정보만을 클라우드 서버(900)에 전송하므로, 클라우드 서버(900)의 부하를 크게 감소시킬 수 있다. 또한 광고 정보 제공 장치(800)는 필요한 경우(광고 정보 요청시)에 한하여 클라우드 서버(900)에 연결하므로, 클라우드 서버(900)와 광고 정보 제공 장치(800) 사이에서 교환되는 무선 데이터의 양을 크게 감소시킬 수 있다. 뿐만 아니라 오디오 광고로 식별된 오디오 정보에 한해서만 클라우드 서버(900)에 데이터를 전송하므로, 차량(100)의 스피커를 통해 출력되는 사용자의 통화 정보 등, 오디오 광고가 아닌 데이터가 차량(100) 외부로 유출되는 것을 방지할 수 있다. 따라서 사용자의 개인 정보가 외부로 유출되는 상황을 미연에 방지할 수 있다는 효과가 있다.
이를 위해 메모리(840)는 광고 정보 식별부(850)에서 오디오 광고의 식별을 위한 대조 데이터를 더 포함할 수 있다. 여기서 대조 데이터는 복수의 서로 다른 오디오 광고에 대한 오디오 지문 정보일 수 있다. 예를 들어, 상기 오디오 감지부(820)가 수집하는 오디오 지문 정보가, 일정 시간 동안의 PCM 데이터인 경우라면, 상기 대조 데이터는 복수의 서로 다른 오디오 광고 각각에 대한 일정 시간 동안의 PCM 데이터들 일 수 있다. 또는 상기 오디오 감지부(820)가 수집하는 오디오 지문 정보가, 수집된 PCM 데이터 샘플에 대한 패턴 정보인 경우라면, 상기 대조 데이터는 복수의 서로 다른 오디오 광고 각각에 대한 PCM 데이터 샘플에 대한 패턴 정보들 일 수 있다. 즉, 상기 대조 데이터는, 복수의 서로 다른 오디오 광고에 대한 오디오 지문 정보 일 수 있다.
여기서 상기 대조 데이터는 클라우드 서버(900)에 의해 갱신될 수 있다. 일 예로 메모리(840)에 저장된 대조 데이터는, 기 설정된 주기에 따라 최신 오디오 광고에 대응하는 포함하도록 갱신될 수 있다.
또는 클라우드 서버(900)는 새로운 오디오 광고에 대응하는 광고 정보 및 오디오 지문 정보가 광고 정보 DB(930)에 추가되는 경우, 추가된 오디오 광고에 대한 지문 정보를 갱신 데이터로서 광고 정보 제공 장치(800)에 전송할 수 있다. 그리고 메모리(840)는 갱신 데이터에 근거하여 기 저장된 대조 데이터를 갱신할 수 있다. 따라서 메모리(840)는 유효 기간이 경과된 오래된 오디오 광고에 대응하는 오디오 지문 정보들을 삭제하고, 새로 추가된 최신 오디오 광고에 대응하는 오디오 지문 정보가 포함되도록 대조 데이터를 갱신될 수 있다.
한편, 상기 메모리(840)에 저장되는 대조 데이터는, 사용자의 선호도에 따라 수집되는 오디오 광고들에 대한 오디오 지문 정보들일 수 있다. 일 예로 사용자의 웨어러블 단말기 또는 이동 단말기 등에 근거하여 수집되는 정보들에 근거하여, 사용자가 자주 방문하는 장소의 정보가 수집될 수 있다. 그리고 수집된 정보들에 근거하여 사용자가 선호하는 장소들이 수집될 수 있다. 이 경우 상기 사용자 선호 장소들과 관련된 오디오 광고들의 오디오 지문 정보들이 상기 대조 데이터로서 메모리(840)에 저장될 수 있다.
이러한 사용자 선호 광고 학습을 위해 프로세서(860)는 인공지능 모듈(도시되지 않음)을 더 포함할 수 있다. 그리고 상기 메모리(840)는 인공지능 모듈의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
한편 인공지능 모듈은, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
상기 인공지능 모듈은 머신 러닝(machine running) 기술을 이용하여, 메모리(840)에 저장된 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅 데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 여기서 상기 머신 러닝은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이며, 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 것을 의미할 수 있다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 CPU(예 : GPU(Graphic Processing Unit))를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
한편 인공지능 모듈을 통해 사용자가 선호하는 장소가 학습되면, 학습된 사용자의 선호 장소에 대응하는 오디오 광고가 검출될 수 있다. 일 예로 프로세서(860)는 사용자가 선호하는 장소에 따라 정량화된 데이터를 클라우드 서버(900)로 전송할 수 있다. 그리고 전송된 정량화된 데이터에 대응하는 오디오 광고 및 오디오 광고에 대응하는 오디오 지문 정보를 클라우드 서버(900)로부터 제공받을 수 있다.
일 예로 사용자가 햄버거 프랜차이즈 매장을 자주 방문하는 경우, 프로세서(860)는 인공지능 모듈의 학습을 통해 사용자가 선호하는 장소가 햄버거 프랜차이즈 매장임을 학습할 수 있고, 학습 결과에 근거하여 사용자가 자주 방문한 프랜차이즈 매장의 주 메뉴인 '햄버거'를 정량화 데이터로 추출할 수 있다. 그러면 프로세서(860)는 추출된 정량화 데이터 '햄버거'를 클라우드 서버(900)에 전송할 수 있으며, 클라우드 서버(900)는 프로세서(860)로부터 전송된 정량화된 데이터 '햄버거'에 대응하는 오디오 광고들을 광고 정보 DB(930)로부터 검색할 수 있다. 그리고 검색 결과 검색된 오디오 광고들의 오디오 지문 정보들을 수신된 정량화된 데이터에 대한 응답으로 광고 정보 제공 장치(800)에 전송할 수 있다.
이 경우 클라우드 서버(900)는 정량화된 데이터 '햄버거'에 대해 검색된 오디오 지문 정보들을 광고 정보 제공 장치(800)에 제공하므로, 사용자가 자주 방문한 햄버거 프랜차이즈 매장 외에 다른 햄버거 프랜차이즈에 대한 오디오 광고의 오디오 지문 정보 및, 성가 '햄버거'에 대해 검색된 유사 제품, 예를 들어 샌드위치에 대한 오디오 지문 정보들이 함께 상기 대조 데이터로서 제공될 수 있다. 따라서 사용자가 자주 방문하는 프랜차이즈 매장(예 : 킹도날드 버거)의 햄버거 뿐만 아니라 다른 프랜차이즈의 햄버거(ABC 버거)의 오디오 지문 정보 및 샌드위치 오디오 광고들의 오디오 지문 정보들이 대조 데이터로 저장될 수 있다. 이에 따라 상기 ABC 버거 또는 샌드위치 광고가 음향 출력부(252)에서 출력되는 경우, 관련된 그 광고에 대응하는 광고 정보가 클라우드 서버(900)에 요청될 수 있다.
도 9는 상술한 바와 같이 인터페이스부(810)를 통해 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)와 차량(100) 사이에서 교환되는 정보들의 흐름을 도시한 개념도이다.
도 9를 참조하여 살펴보면, 먼저 차량(100)의 제어부(170)는 사용자의 조작 또는 요청에 따라 오디오 출력과 관련된 애플리케이션(1002)을 구동할 수 있다. 일 예로 상기 애플리케이션(1002)은 라디오 방송 신호를 수신하여 출력하는 애플리케이션(이하 라디오 방송 애플리케이션))일 수 있다.
그러면 제어부(170)는 구동되는 애플리케이션(1002)의 정보를 인터페이스부(810)를 통해 광고 정보 제공 장치(800)에 제공할 수 있다. 이 경우 상기 애플리케이션(1002)의 정보는 미디어(media)의 정보 및, 음향 신호가 출력되는 시각의 정보를 포함할 수 있다. 여기서 상기 미디어의 정보는 상기 라디오 방송 애플리케이션에서 방송되는 라디오 프로그램의 정보일 수 있다. 이 경우 상기 라디오 프로그램의 정보는, 프로그램의 명칭 및 방송되는 라디오 채널의 주파수의 정보를 포함할 수 있다. 또한 상기 음향 신호가 출력되는 시각의 정보는, 상기 라디오 프로그램이 방송되는 시각의 정보일 수 있다. 그리고 상기 미디어 정보와 시각 정보는 오디오 감지부(820)로 입력될 수 있다.
한편 애플리케이션(1002)의 구동에 따라 차량(100)의 운영체제(1003)가 제어되고, 운영체제(1003)의 제어에 따라 오디오 매니저(1004)가 튜닝된 라디오 방송 채널로부터 라디오 방송 신호를 수신할 수 있다. 그리고 이 경우 수신되는 오디오 방송 신호는 디지털 변조된 데이터로서 PCM 데이터일 수 있으며, 오디오 매니저(1004)는 수신된 PCM 데이터를 복조하여 오디오 출력부(252)로 인가할 수 있다. 그러면 오디오 출력부(252)는 복조된 PCM 데이터에 따라 음향 신호를 출력할 수 있다.
이 경우 오디오 매니저(1004)는 수신된 PCM 데이터를 복조를 위해 오디오 버퍼에 저장할 수 있다. 그러면 오디오 버퍼에 저장된 PCM 데이터 일부에 대한 복사가 이루어질 수 있으며, 복사된 데이터 즉, 오디오 PCM 데이터의 일부가 인터페이스부(810)를 통해 오디오 감지부(820)로 입력될 수 있다.
그러면 오디오 감지부(820)는 입력된 일부의 오디오 PCM 데이터로부터 오디오 지문 정보를 추출할 수 있다. 일 예로 상기 오디오 지문 정보는 상기 입력된 오디오 PCM 데이터의 패턴 정보일 수 있다. 그리고 이처럼 오디오 지문 정보가 패턴 정보인 경우, 상기 오디오 지문 정보는 텍스트 정보로 형성될 수 있다. 그리고 추출된 오디오 지문 정보 및 상기 미디어 정보와 시각 정보가 프로세서(860)로 제공될 수 있다.
그러면 프로세서(860)는 기 저장된 오디오 지문 정보, 즉 대조 데이터에 근거하여, 상기 오디오 감지부(820)에 입력된 오디오 PCM 데이터의 일부가 오디오 광고의 일부인지 여부를 판별할 수 있다(예 : 광고 정보 식별부(850)). 그리고 오디오 광고인 경우 클라우드 서버(900)에 광고 정보 검색 요청을 전송할 수 있다. 여기서 상기 오디오 감지부(820)에서 입력된 오디오 지문 정보가 상기 광고 정보 검색 요청과 함께 전송될 수 있다. 이 경우 상기 입력된 오디오 PCM 데이터의 일부가 오디오 광고의 일부가 아닌 경우 광고 정보 식별부(850)는 광고 정보의 요청을 클라우드 서버(900)에 전송하지 않을 수도 있다.
한편 클라우드 서버(900)는 프로세서(860)의 요청에 대한 응답으로 오디오 지문 정보에 대응하는 광고 정보 검색 결과를 전송할 수 있다. 그러면 프로세서(860)는 기 설정된 포맷(예 : JASON)의 광고 정보 메타 데이터를 수신하고 기 저장된 미디어 메타 데이터에 근거하여 수신된 광고 정보 검색 결과를 파싱할 수 있다. 그리고 광고 정보를 추출할 수 있다. 이 경우 상기 광고 정보는 POI 정보일 수 있다.
그리고 프로세서(860)는 추출된 광고 정보, 즉 POI 정보를, 기 설정된 조건(주행 경로, 탑승자 검출 결과, 또는 사용자 선호도 등)에 부합하는 경우 차량(100)의 디스플레이 매니저(1001)에 전달할 수 있다. 그러면 디스플레이 매니저(1001)는 디스플레이부(251)를 제어하여 수신된 POI 정보를 출력할 수 있다.
이하에서는 이와 같이 구성된 광고 정보 제공 장치(800)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 10은 본 발명의 실시 예에 따른 광고 정보 제공 장치와 클라우드 서버 간에 오디오 정보에 대응하는 광고 정보가 제공되는 동작 과정을 도시한 흐름도이다.
도 10을 참조하여 살펴보면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 먼저 오디오 정보를 수집할 수 있다(S1010). 여기서 상기 오디오 정보는 음향 출력부(252)에서 출력될 음향 신호에 대응하는 오디오 지문 정보로서, 음향 출력부(252)에서 복조를 위해 오디오 버퍼에 저장된 디지털 변조된 데이터로서 PCM 데이터일 수 있다. 또는 상기 오디오 정보는 상기 PCM 데이터로부터 분석된 PCM 데이터의 패턴 정보가 상기 오디오 정보일 수 있다. 이 경우 상기 오디오 정보는 텍스트 정보일 수 있다.
오디오 정보가 수집되면 광고 정보 제공 장치(800)는 기 설정된 클라우드 서버(900)에 상기 수집된 오디오 정보를 전송할 수 있다(S1012). 이 경우 상기 전송되는 오디오 정보는, 상기 PCM 데이터 또는 패턴 정보를 포함할 수 있다. 뿐만 아니라 오디오 정보가 수집될 때에 함께 수집되었던 시각 정보 및 미디어 정보, 즉 라디오 방송 프로그램의 명칭과 방송되는 라디오 방송 채널의 주파수 정보를 포함할 수 있다.
상기 클라우드 서버(900)는 상기 S1012 단계에서 광고 정보 제공 장치(800)로부터 제공되는 오디오 정보에 대한 응답으로, 광고 정보를 제공하도록 기 설정된 서버일 수 있다. 즉, 서로 다른 오디오 광고 각각에 대응하는 광고 정보들 및 각 오디오 광고에 대응하는 오디오 지문 정보를 포함하는 광고 정보 데이터베이스(930) 및, 검색 엔진(920)을 포함하는 서버일 수 있다. 그리고 여기서 상기 광고 정보는 상기 오디오 광고에 대응하는 서비스 및 그 서비스를 제공하는 매장 또는 업체의 명칭을 포함하는 그래픽 정보 및, 상기 매장 또는 업체의 위치 정보를 포함하는 POI 정보일 수 있다.
한편, 클라우드 서버(900)는 광고 정보 제공 장치(800)로부터 오디오 정보가 수신되면, 수신된 오디오 정보, 즉 오디오 지문 정보에 대응하는 광고를 검색할 수 있다(S1014). 그리고 상기 수신된 오디오 지문 정보에 대응하는 오디오 광고가 있는지 여부를 체크할 수 있다(S1016). 이 경우 오디오 지문 정보에 대응하는 보다 정확한 오디오 광고의 검색을 위해, 오디오 정보와 함께 전송된 시각 정보 및 미디어 정보를 더 이용할 수도 있다.
이를 위해 클라우드 서버(900)는 각 시간별로 방송되는 미디어들의 정보를 포함할 수 있다. 그리고 상기 오디오 지문 정보와 함께 수집된 시각에 방송되는 미디어(예 : 라디오 방송 프로그램, 방송 채널 및 방송 주파수)에 근거하여, 해당 미디어, 예를 들어 라디오 방송 프로그램 방송 중에 방송되었던 오디오 데이터들 중 상기 오디오 지문 정보에 대응하는 오디오 광고를 검색할 수 있다.
S1016 단계의 체크 결과 오디오 지문 정보, 또는 오디오 지문 정보 및 시각 정보와 미디어 정보의 조합에 대응하는 오디오 광고가 없는 경우라면, 클라우드 서버(900)는 수신된 오디오 정보에 대한 응답 없이 광고 정보를 제공하는 동작을 종료할 수 있다. 또는 상기 오디오 정보에 대응하는 오디오 광고가 없음을 알리는 응답 메시지를 광고 정보 제공 장치(800)에 전송할 수 있다. 이 경우 광고 정보 제공 장치(800)는 상기 응답 메시지의 수신에 근거하여 수집된 오디오 지문 정보가 오디오 광고에 대한 것이 아니라고 판별할 수 있다.
반면 S1016 단계의 체크 결과 오디오 지문 정보, 또는 오디오 지문 정보 및 시각 정보와 미디어 정보의 조합에 대응하는 오디오 광고가 검색된 경우라면, 클라우드 서버(900)는 검색된 오디오 광고에 대응하는 광고 정보, 즉 POI 정보를 광고 정보 DB(930)로부터 검색할 수 있다(S1018). 그리고 검색된 POI 정보를 상기 S1012 단계에서 전송된 오디오 정보(오디오 지문 정보)에 대한 응답으로 광고 정보 제공 장치(800)에 전송할 수 있다(S1020).
그러면 광고 정보 제공 장치(800)는 클라우드 서버(900)로부터 수신된 POI 정보를 저장할 수 있다(S1022). 그리고 인터페이스부(810)를 통해 디스플레이부(251)를 제어하여, 상기 POI 정보를 상기 디스플레이부(251) 상에 표시할 수 있다(S1024). 이 경우 상기 광고 정보 제공 장치(800)의 프로세서(860)는 기 설정된 조건이 충족되는 경우에 한하여, 상기 저장된 POI 정보가 상기 디스플레이부(251) 상에 표시되도록 인터페이스부(810)를 통해 상기 디스플레이부(251)를 제어할 수 있다.
한편 도 10과 같은 경우, 음향 출력부(252)에서 출력되는 모든 음향 신호에 대하여 오디오 광고를 검출하고 검출된 오디오 광고에 대응하는 광고 정보가 검색될 수 있다. 따라서 음향 출력부(252)에서 출력되는 음향 신호가 광고 정보인지 여부를 클라우드 서버(900)가 판별한다. 따라서 도 10과 같은 경우 클라우드 서버(900)의 부하가 증대되고, 광고 정보 제공 장치(800)와 클라우드 서버(900) 간에 교환되는 데이터량이 많아진다는 문제가 있다.
도 11은 이러한 문제를 해결하기 위한 것으로, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)가 수집된 오디오 정보에 대응하는 오디오 광고가 있는지 여부를 판별하고, 판별 결과 오디오 광고에 대응하는 오디오 정보가 수집된 경우에 클라우드 서버(900)에 수집된 오디오 정보에 대응하는 광고 정보를 요청하는, 본 발명의 실시 예에 따른 다른 동작 과정을 도시한 흐름도이다.
도 11을 참조하여 살펴보면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는, 도 10과 동일하게 먼저 오디오 정보를 수집할 수 있다(S1110). 여기서 상기 오디오 정보는, 오디오 지문 정보로서 PCM 데이터 또는 상기 PCM 데이터로부터 추출된 패턴을 포함하는 텍스트 정보(패턴 정보)일 수 있다.
상기 S1110 단계에서 오디오 정보가 수집되면, 광고 정보 제공 장치(800)는 메모리(840)에 저장된 대조 데이터에 근거하여 상기 수집된 오디오 정보에 대응하는 오디오 광고를 검색할 수 있다(S1112). 그리고 S1112 단계의 검색 결과, 수집된 오디오 정보에 대응하는 대조 데이터가 없는 경우라면, 프로세서(860)는 수집된 오디오 정보가, 광고 정보를 요청할 오디오 광고가 아닌 것으로 판별할 수 있다. 따라서 다시 S1110 단계로 진행하고 오디오 감지부(820)를 제어하여 음향 출력부(252)의 오디오 버퍼로부터 오디오 정보를 다시 수집할 수 있다.
그러나 S1112 단계의 검색 결과, 수집된 오디오 정보에 대응하는 대조 데이터가 있는 경우라면, 즉 오디오 정보에 대응하는 오디오 광고가 검색된 경우라면, 프로세서(860)는 검색된 오디오 광고가 탑승자에게 부합하는지 여부를 체크할 수 있다(S1114).
일 예로 프로세서(860)는 S1114 단계에서, 탑승자를 검출한 결과에 따라 결정되는 광고 주제들과, 상기 수집된 오디오 정보에 따라 검색된 오디오 광고의 주제를 비교할 수 있다. 여기서 상기 오디오 광고의 주제는 상기 S1112 단계에서 검색된 오디오 광고에 의해 결정되는 것으로, 상기 S1110 단계에서 수집된 오디오 정보에 매칭되는 오디오 광고가 검색되는 경우, 검색된 오디오 광고에 대응하는 광고 주제가 검출될 수 있다.
그리고 검출된 오디오 광고의 주제가 상기 탑승자를 검출한 결과에 따라 결정되는 광고 주제들 중에 포함되지 않은 경우라면, 프로세서(860)는 현재 검출된 오디오 광고 주제가 탑승자에게 부합되지 않는 것으로 판단할 수 있다. 그러면 다시 S1110 단계로 진행하고 오디오 감지부(820)를 제어하여 음향 출력부(252)의 오디오 버퍼로부터 오디오 정보를 다시 수집할 수 있다.
반면 검출된 오디오 광고의 주제가 상기 탑승자를 검출한 결과에 따라 결정되는 광고 주제들 중에 포함된 경우라면, 프로세서(860)는 검출된 오디오 광고의 주제가 검출된 탑승자에 부합하는 것으로 판단할 수 있다. 따라서 프로세서(860)는 수집된 오디오 정보에 대응하는 오디오 광고, 예를 들어 상기 대조 데이터에 대응하는 특정 오디오 광고에 대응하는 광고 정보를 클라우드 서버(900)에 요청할 수 있다(S1116).
상기 클라우드 서버(900)는 상기 도 10과 마찬가지로, 광고 정보 제공 장치(800)의 요청에 따른 광고 정보를 제공하도록 기 설정된 서버일 수 있다. 즉, 서로 다른 오디오 광고 각각에 대응하는 광고 정보들 및 각 오디오 광고에 대응하는 오디오 지문 정보를 포함하는 광고 정보 데이터베이스(930) 및, 검색 엔진(920)을 포함하는 서버일 수 있다. 또한 상기 광고 정보는 상기 오디오 광고에 대응하는 서비스 및 그 서비스를 제공하는 매장 또는 업체의 명칭을 포함하는 그래픽 정보 및, 상기 매장 또는 업체의 위치 정보를 포함하는 POI 정보일 수 있다.
한편, 클라우드 서버(900)는 S1116 단계에서 특정 오디오 광고에 대한 광고 정보의 요청이 수신되면, 상기 특정 오디오 광고에 대응하는 광고 정보를, 상기 광고 정보 DB(930)로부터 검색할 수 있다(S1118).
그리고 클라우드 서버(900)는 검색된 광고 정보, 즉 POI 정보를 상기 S1116 단계에서 전송된 광고 정보 요청에 대한 응답으로, 광고 정보 제공 장치(800)에 전송할 수 있다(S1120).
그러면 광고 정보 제공 장치(800)는 클라우드 서버(900)로부터 수신된 POI 정보를 저장할 수 있다(S1122). 그리고 인터페이스부(810)를 통해 디스플레이부(251)를 제어하여, 상기 POI 정보를 상기 디스플레이부(251) 상에 표시할 수 있다(1124). 이 경우 상기 광고 정보 제공 장치(800)의 프로세서(860)는 기 설정된 조건이 충족되는 경우에 한하여, 상기 저장된 POI 정보가 상기 디스플레이부(251) 상에 표시되도록 인터페이스부(810)를 통해 상기 디스플레이부(251)를 제어할 수 있다.
한편 상술한 설명에서는, 프로세서(860)가 수집된 오디오 지문 정보에 대응하는 특정 오디오 광고를 직접 검색하고, 검색된 특정 오디오 광고의 광고 정보를 클라우드 서버(900)에 요청하는 구성을 설명하였다. 그러나 이와는 달리, 프로세서(860)는 상기 S1114 단계의 체크 결과를, 수집된 오디오 지문 정보가, 광고 정보를 요청할 오디오 광고에 대한 것인지 여부를 판별하는 용도로만 사용할 수도 있음은 물론이다. 이 경우 프로세서(860)는 상기 S1114 단계의 체크 결과, 오디오 지문 정보에 대응하는 대조 데이터가 있는 경우라면, 상기 S1110 단계에서 수집된 오디오 지문 정보를 그대로 클라우드 서버(900)에 전송할 수도 있음은 물론이다.
그러면 클라우드 서버(900)는 수집된 오디오 지문 정보에 대응하는 오디오 광고를 검색하는 과정을 수행할 수 있다. 즉, 상기 S1114 단계의 체크 결과에 따라 상기 도 10의 S1014 단계 이후의 과정과 동일한 과정이 진행될 수도 있다. 그러나 이러한 경우에도, 광고 정보 제공 장치(800)에서 수집된 오디오 지문 정보에 대응하는 오디오 광고가 있는지 여부를 1차적으로 필터링하기 때문에, 클라우드 서버(900)의 부하 및 상기 클라우드 서버(900)와 광고 정보 제공 장치(800) 사이에서 교환되는 데이터의 양을 크게 줄일 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 오디오 정보로서 PCM 데이터 및 미디어 정보와 시각 정보를 수집하는 예를 설명하였다.
도 12는 이러한 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)에서 상기 오디오 정보가 수집되는 동작 과정을 보다 자세히 도시한 흐름도이다.
도 12를 참조하여 살펴보면, 도 10의 S1010 단계 또는 도 11의 S1110 단계에서 오디오 정보의 수집이 시작되는 경우, 프로세서(860)는 인터페이스부(810)를 통해 음향 출력부(252)의 오디오 버퍼에 저장된 오디오 PCM 데이터들을 검출하도록 오디오 감지부(820)를 제어할 수 있다(S1200). 그리고 검출된 오디오 PCM 데이터들을 기 설정된 시간 간격에 따라 샘플링하여, 상기 오디오 PCM 데이터들 중 적어도 일부에 대한 샘플들을 생성할 수 있다(S1202).
그리고 프로세서(860)는 생성된 오디오 PCM 데이터 샘플들로부터 상기 오디오 PCM 데이터의 패턴을 분석할 수 있다(S1204). 예를 들어, 리듬을 구성하는 각 음의 고저차, 화음, 선율 변화 등이 상기 PCM 데이터의 패턴으로 분석될 수 있으며, 이러한 패턴은 고유한 리듬을 가지는 음향 신호에 대한 고유한 특징, 즉 오디오 지문 정보로 분석될 수 있다. 더욱이 광고 유입 효과 및 광고의 인지도를 높이기 위해 고유의 음률이 반복되는 오디오 광고의 경우 상기 PCM 데이터의 패턴은 각 오디오 광고마다 서로 다를 수 있다. 따라서 이러한 PCM 데이터의 패턴은 각 오디오 광고에 대응하는 오디오 지문 정보로 이용될 수 있다.
한편 이러한 PCM 데이터의 패턴은, PCM 데이터가 아니므로 복조가 불가능한 데이터일 수 있다. 따라서 사용자의 개인 정보 유출이 발생하지 않는다는 점에서 유리할 수 있으며, 상기 샘플링을 통해 얻어진 샘플들을 분석한 결과로서 오디오 데이터가 아닌 텍스트 형태로 전송될 수 있다. 따라서 데이터의 크기를 크게 줄일 수 있다는 장점이 있다.
그리고 프로세서(860)는 상기 S1204 단계에서 분석된 PCM 데이터에 대응하는 미디어 정보 및, 상기 PCM 데이터가 수집된 시각 정보를 검출할 수 있다(S1206). 여기서 상기 미디어 정보는, 현재 분석된 PCM 데이터에 대응하는 미디어, 즉 현재 방송중인 라디오 방송 프로그램 및 라디오 방송 채널(예 : 라디오 방송 주파수)의 정보를 포함할 수 있다. 또한 상기 PCM 데이터가 수집된 시각은 현재 시각의 정보일 수 있다.
그리고 프로세서(860)는 분석된 패턴 정보 및 상기 S1206 단계에서 수집된 미디어 정보와 시각 정보를 포함하는 텍스트 정보를 생성할 수 있다. 그릭 생성된 텍스트 정보를 음향 출력부(252)에서 현재 출력되는 음향 신호에 대응하는 오디오 정보로서 수집할 수 있다(S1208). 따라서 수집된 오디오 정보가 클라우드 서버(900)로 전송되는 경우, 상기 S1204 단계에서 분석된 패턴 정보 및 상기 S1206 단계에서 수집된 미디어 정보와 시각 정보를 포함하는 텍스트 정보가 클라우드 서버(900)로 전송될 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 캐빈에 탑승한 탑승자를 검출 및 탑승자 검출 결과에 근거하여 탑승자에게 부합하는 광고 정보를 제공할 수 있음을 언급한 바 있다.
이를 위해 상기 광고 정보 제공 장치(800)의 프로세서(860)는, 상기 도 11의 S1112 단계의 검색 결과, 수집된 오디오 정보에 매칭되는 오디오 광고가 있는 경우, 매칭된 오디오 광고가 차량(100)의 캐빈에 탑승한 탑승자를 검출하고, 검출된 탑승자의 프로파일(profile)에 부합하는 경우에 한하여 검색된 오디오 광고가 있는 것으로 판별할 수도 있다. 이러한 경우 수집된 오디오 정보에 매칭되는 오디오 광고가 있다고 하더라도, 검출된 탑승자의 프로파일에 오디오 광고가 부합되지 않는 경우, 프로세서(860)는 오디오 광고가 검색되지 않은 것으로 간주하고 다시 도 11의 S1110 단계로 진행하여 오디오 정보를 수집할 수 있다.
도 13은 이러한 경우에 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)의 동작 과정을 도시한 흐름도이다.
도 13을 참조하여 살펴보면, 상기 광고 정보 제공 장치(800)의 프로세서(860)는 먼저 수집된 오디오 정보에 매칭되는 오디오 광고를 검색할 수 있다(S1300). 예를 들어 상기 매칭되는 오디오 광고는 메모리(840)에 대조 데이터로 저장된 오디오 지문 정보들 중 어느 하나에 대응하는 오디오 광고로서, 오디오 감지부(820)에서 현재 수집된 오디오 정보에 포함된 오디오 지문 정보(예 : PCM 패턴 정보)에 매칭되는 오디오 지문 정보를 가지는 오디오 광고일 수 있다.
상기 S1300 단계의 검색 결과, 매칭되는 오디오 광고가 없는 경우라면 프로세서(860)는 오디오 정보에 매칭되는 오디오 광고가 없는 것으로 판별할 수 있다(S1312). 그러면 프로세서(860)는 다시 도 11의 S1110 단계로 진행하여 오디오 정보를 수집할 수 있다.
그러나 상기 S1300 단계의 검색 결과, 매칭되는 오디오 광고가 있는 경우라면, 프로세서(860)는 차량(100)에 탑승한 탑승자를 검출할 수 있다(S1304). 그리고 상기 S1304 단계의 탑승자 검출 결과에 따라 탑승자 프로파일을 검출할 수 있다(S1306).
예를 들어 프로세서(860)는 S1304 단계에서 탑승자를 검출한 결과에 따라 탑승자의 성별, 연령대 등을 판별할 수 있다. 그리고 상기 탑승자 검출 결과에 따라 탑승자의 성별 및 연령대에 대응하는 프로파일을 검출할 수 있다. 여기서 상기 탑승자 프로파일은 검출된 탑승자의 성별 및 연령대에 부합되는 광고 주제들을 포함하는 프로파일일 수 있다. 일 예로 검색된 탑승자가 어린아이인 경우, 장난감이나 놀이 기구 등의 광고 주제들이 포함되는 프로파일이 검출될 수 있다. 반면 검색된 탑승자가 성인 여성인 경우 화장품이나 향수 등의 광고 주제들이 포함되는 프로파일이 검출될 수 있다. 또는 탑승자가 성인 남성인 경우 구두나 운동 기구 등의 광고 주제들이 포함되는 프로파일이 검출될 수 있다. 여기서 각 프로파일에 포함되는 광고 주제들중 적어도 일부는 서로 중복될 수 있음은 물론이다. 예를 들어 특정 음식에 대응하는 광고 주제는 모든 프로파일에 공통적으로 포함될 수 있다.
그러면 프로세서(860)는 현재 수집된 오디오 정보에 매칭되는 것으로 검색된 오디오 광고의 주제가, 현재 검출된 탑승자의 프로파일에 포함되어 있는지 여부를 판별할 수 있다(S1308). 여기서 상기 오디오 광고의 주제는 상기 S1300 단계에서 검색된 오디오 광고에 의해 결정되는 것으로, 상기 S1300 단계에서 오디오 정보에 매칭되는 오디오 광고가 검색되는 경우, 오디오 광고의 검색과 함께, 검색된 오디오 광고에 대응하는 광고 주제가 검출될 수 있다.
상기 S1308 단계의 판별 결과, 검출된 오디오 광고의 주제가, 상기 S1306 단계에서 검출된 탑승자 프로파일에 설정된 주제들에 포함된 경우, 프로세서(860)는 수집된 오디오 정보에 대응하는 오디오 광고가, 탑승자에 부합하는 것으로 판별할 수 있다(S1310). 따라서 프로세서(860)는 도 11의 S1116 단계로 진행하여 검출된 오디오 광고에 대응하는 광고 정보를 클라우드 서버(900)에 요청 및 상기 S1116 단계 이후의 과정을 진행할 수 있다.
반면 상기 S1308 단계의 판별 결과, 검출된 오디오 광고의 주제가, 상기 S1306 단계에서 검출된 탑승자 프로파일에 설정된 주제들에 포함되어 있지 않은 경우, 프로세서(860)는 수집된 오디오 정보에 대응하는 오디오 광고가, 탑승자에 부합하지 않는 것으로 판별할 수 있다(S1312). 이 경우 클라우드 서버(900)에 광고 정보가 요청되지 않을 수 있으며, 오디오 광고에 대응하는 광고 정보가 수신되지 않을 수 있다.
한편 상기 도 13에서 도시한 동작 과정은 캐빈에 탑승한 탑승자가 복수인 경우, 탑승자들 각각에 대하여 이루어질 수 있다. 따라서 동일한 오디오 광고에 대하여 일부 좌석에 탑승한 탑승자에 대해서는 수집된 오디오 정보에 매칭되는 오디오 광고가 탑승자에게 부합하는 것으로 검출될 수 있으나, 다른 일부의 좌석에 탑승한 탑승자에 대해서는 수집된 오디오 정보에 매칭되는 오디오 광고가 탑승자에게 부합하지 않는 것으로 판단될 수 있다.
이 경우 프로세서(860)는 한 명의 탑승자라도 수집된 오디오 정보에 매칭되는 오디오 광고가 탑승자에게 부합하는 것으로 판단되는 경우, 도 11의 S1116 단계로 진행하여 수집된 오디오 정보에 매칭되는 오디오 광고의 광고 정보를 클라우드 서버(900)에 요청할 수 있다. 그리고 도 11의 이후 진행 과정에 따라 광고 정보를 수신 및 저장할 수 있다. 다만, 프로세서(860)는 상기 저장된 광고 정보를, 상기 오디오 광고에 부합하는 것으로 판별된 탑승자에게 대응하는 디스플레이부(251)에서만 표시되도록 인터페이스부(810)를 제어할 수 있다. 즉, 광고 정보(POI 정보)의 출력 여부가, 오디오 광고의 주제와 탑승자 검출 결과의 부합 여부에 따라 결정될 수 있다.
한편 상술한 설명에서는, 탑승자를 검출한 결과 탑승자의 연령대, 성별 등만을 검출하는 것을 설명하였으나, 상기 탑승자 검출 결과에 근거하여 탑승자가 특정인으로 식별될 수도 있음은 물론이다. 이 경우 프로세서(860)는 탑승자를 식별한 결과에 근거하여 맞춤형 탑승자 프로파일을 제공할 수도 있다.
일 예로 프로세서(860)는 검출된 탑승자가, 식별 가능한 기 설정된 탑승자인 경우, 그 탑승자에 대응하는 맞춤형 탑승자 프로파일을 생성할 수 있다. 이 경우 상기 맞춤형 탑승자 프로파일은, 상기 식별 가능한 탑승자가 선호하는 장소 등에 따라 결정되는 적어도 하나의 주제를 더 포함하는 탑승자 프로파일일 수 있다. 이 경우 프로세서(860)는 상기 기 설정된 탑승자의 요청에 따라 맞춤형 탑승자 프로파일에 포함된 광고 주제들 중 적어도 하나를 추가하거나 제거할 수 있다.
따라서 상기 기 설정된 탑승자가 제공받기를 원하는 광고 주제가 상기 맞춤형 탑승자 프로파일에 포함될 수 있으며, 상기 기 설정된 탑승자가 원하지 않는 광고 주제들은 삭제될 수 있다. 이러한 경우 상기 맞춤형 탑승자 프로파일에 포함된 광고 주제들에 한하여, 광고 정보 제공 장치(800)는 클라우드 서버(900)에 오디오 광고에 대응하는 광고 정보를 요청할 수 있다. 그러므로 상기 맞춤형 탑승자 프로파일이 적용되는 경우, 상기 기 설정된 탑승자가 식별되면 방송되는 오디오 광고들 중 상기 기 설정된 탑승자가 원하는 광고 주제들에 대응하는 광고들의 POI 정보들만 클라우드 서버(900)로부터 제공받을 수 있다.
한편 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)의 요청 또는 광고 정보 제공 장치(800)로부터 전송된 오디오 정보에 대한 응답으로, 클라우드 서버(900)는 광고 정보 제공 장치(800)의 현재 상황에 부합하는 광고 정보를 제공할 수 있다.
예를 들어 상기 광고 정보 제공 장치(800)의 상황은, 광고 정보 제공 장치(800)의 위치일 수 있으며, 상기 광고 정보 제공 장치(800)가 차량(100)에 탑재되는 경우 상기 광고 정보 제공 장치(800)의 위치는 상기 차량(100)의 위치가 될 수 있다. 따라서 클라우드 서버(900)는, 현재 광고 정보 제공 장치(800)가 탑재된 차량(100)이 위치한 지역을 반영하여, 광고 정보 제공 장치(800)의 요청 또는 광고 정보 제공 장치(800)로부터 전송된 오디오 정보에 대응하는 오디오 광고에 대응하는 POI 정보를 검색하고 검색된 POI 정보를 상기 요청 또는 전송된 오디오 정보에 대응하는 광고 정보로서 광고 정보 제공 장치(800)에 제공할 수 있다.
이하의 설명에서는 설명의 편의상 상기 광고 정보 제공 장치(800)의 현재 상황이, 상기 광고 정보 제공 장치(800)가 탑재된 차량(100)의 위치임을 가정하여 설명하기로 한다. 이 경우 광고 정보 제공 장치(800)는 상기 차량(100)의 위치에 대한 정보를 상기 오디오 정보와 함께 클라우드 서버(900)로 전송할 수 있다. 이 경우 상기 차량(100)의 위치는 차량(100)이 위치한 일정 지역의 정보일 수 있다.
도 14는 본 발명의 실시 예에 따라, 클라우드 서버(900)가 광고 정보 제공 장치(800)의 현재 위치에 따라 오디오 광고에 대응하는 광고 정보를 제공하는 동작 과정을 도시한 흐름도이다.
도 14를 참조하여 살펴보면, 본 발명의 실시 예에 따른 클라우드 서버(900)는, 광고 정보 제공 장치(800)로부터 전송된 오디오 정보(도 10의 S1018 단계)에 매칭되는 오디오 광고, 또는 광고 정보 제공 장치(800)의 요청(도 11의 S1118 단계)에 따른 오디오 광고에 대응하는 광고 정보가 검색되는 경우, 클라우드 서버(900)는 상기 오디오 광고에 대응하는 매장이나 업체 또는 점포(이하 매장)의 위치를 검출할 수 있다(S1400).
그리고 검출된 매장의 위치가 상기 차량(100)의 위치로부터 기 설정된 거리 이내인지 여부를 체크할 수 있다(S1402). 이 경우 상기 차량(100)의 위치가 특정 지역의 정보이면, 클라우드 서버(900)는 상기 특정 지역 내에 상기 검출된 매장이 위치하는지를 검출하고, 검출 결과 상기 특정 지역 내에 상기 매장이 위치하는 경우에 상기 차량(100)에 근접한 위치에 상기 매장이 위치하는 것으로 판단할 수 있다.
상기 S1402 단계의 판단 결과, 상기 차량(100)에 근접한 위치에 상기 매장이 위치한 경우라면, 클라우드 서버(900)는 차량(100)에 위치에 근접한 매장의 위치 정보를 포함하는 POI 정보를, 상기 도 10의 S1018 단계 또는 상기 도 11의 S1118 단계에 따라 오디오 광고에 대응하여 검색되는 광고 정보로서 광고 정보 제공 장치(800)에 제공할 수 있다(S1404).
반면 상기 S1402 단계의 판단 결과, 상기 차량(100)에 근접한 위치에 상기 매장이 위치하지 않는 경우라면, 클라우드 서버(900)는 오디오 광고에 대응하는 다른 위치의 매장들을 더 검색할 수 있다(S1406). 이 경우 상기 오디오 광고에 대응하는 다른 위치의 매장들은 오디오 광고에 대응하는 동일한 가맹점(프랜차이즈)의 매장이나 동일한 서비스를 제공하는 매장일 수 있다.
이 경우 클라우드 서버(900)는, 광고 정보 제공 장치(800)의 요청 또는 수신된 오디오 정보에 따라 검색된 오디오 광고에 근거하여, 오디오 광고에 포함된 서비스가 제공되는 매장들을 검색할 수 있다. 이 경우 오디오 광고에서 제공되는 서비스가 특정 매장 한정인 경우라면, 동일한 가맹점의 매장이라고 할지라도, 상기 오디오 광고에 대응하는 매장들이 아닐 수 있다. 따라서 클라우드 서버(900)는, 상기 S1406 단계에서, 상기 광고 정보 제공 장치(800)의 요청 또는 수신된 오디오 정보에 따라 검색된 오디오 광고에 근거하여, 검색된 오디오 광고와 동일한 서비스를 제공하는 다른 매장을 검출하고 검출된 다른 매장의 위치들을 검출할 수 있다.
그리고 클라우드 서버(900)는 상기 S1406 단계에서 검출된 다른 매장의 위치들 중, 차량(100)의 현재 위치에 근접한 매장이 있는지 여부를 검출할 수 있다(S1408). 이 경우 상기 차량(100)의 위치가 특정 지역의 정보이면, 클라우드 서버(900)는 상기 특정 지역 내에, 상기 검색된 오디오 광고와 동일한 서비스를 제공하는 다른 매장이 있는지를 검출할 수 있다.
그리고 검출 결과 상기 특정 지역 내에 상기 검색된 오디오 광고와 동일한 서비스를 제공하는 다른 매장이 있는 경우, 클라우드 서버(900)는 상기 S1404 단계로 진행하여 상기 다른 매장의 위치를, 오디오 광고에 대응하여 검색되는 광고 정보로서 광고 정보 제공 장치(800)에 제공할 수 있다.
반면 상기 특정 지역 내에 상기 검색된 오디오 광고와 동일한 서비스를 제공하는 다른 매장이 있는 경우, 클라우드 서버(900)는 오디오 광고에 대응하는 POI 정보가 없는 것으로 판별하고, 검색된 오디오 광고에 대응하는 광고 정보를 전송하는 동작 과정을 종료할 수 있다. 이 경우 검색된 광고 정보가 없음을 알리는 응답 메시지가 광고 정보 제공 장치(800)에 전송될 수 있다.
한편 상기 S1400 단계에서, 상기 오디오 광고에 대응하는 매장의 위치는 복수개가 검출될 수 있다. 이 경우 클라우드 서버(900)는 상기 복수개 검출된 매장의 위치들 중, 차량(100)이 위치한 지역 내에 위치하거나 또는 현재 차량(100)의 위치로부터 기 설정된 거리 이내에 위치한 매장을 검출할 수 있다. 그리고 검출 결과 차량(100)이 위치한 지역 내에 위치하거나 또는 현재 차량(100)의 위치로부터 기 설정된 거리 이내에 위치한 적어도 하나의 매장에 대한 POI 정보를 광고 정보 제공 장치(800)에 전송할 수 있다.
반면 차량(100)이 위치한 지역 내에 위치하거나 또는 현재 차량(100)의 위치로부터 기 설정된 거리 이내에 위치한 매장이 없는 경우라면, 클라우드 서버(900)는 오디오 광고에 대응하는 POI 정보가 없는 것으로 판별하고, 검색된 오디오 광고에 대응하는 광고 정보를 전송하는 동작 과정을 종료할 수 있다. 이 경우 검색된 광고 정보가 없음을 알리는 응답 메시지가 광고 정보 제공 장치(800)에 전송될 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 오디오 광고에 대응하는 광고 정보로서 POI 정보를 수신하고 수신된 POI 정보를 저장할 수 있음을 언급한 바 있다. 그리고 기 설정된 출력 조건이 충족되는지 여부에 근거하여 상기 POI 정보를 출력할 수 있음을 언급한 바 있다.
이 경우 상기 기 설정된 조건은 다양하게 설정될 수 있다. 일 예로 상기 기 설정된 조건은 탑승자 검출 결과일 수 있다. 즉, 탑승자 검출 결과 검출된 탑승자에 대응하는 탑승자 프로파일이, 오디오 광고의 광고 주제와 부합되지 않는 경우 프로세서(860)는 상기 오디오 광고에 대응하는 POI 정보의 출력을 제한할 수 있다.
또한 상기 기 설정된 조건은, 목적지까지의 주행 경로일 수 있다. 일 예로 프로세서(860)는 목적지까지의 주행 경로가 설정되는 경우, 기 저장된 POI 정보들 중, 상기 설정된 주행 경로로부터 기 설정된 거리 이내에 위치한 POI 정보가 있는지 여부를 검출할 수 있다. 그리고 상기 설정된 주행 경로로부터 기 설정된 거리 이내에 위치한 POI 정보가 적어도 하나 검출되는 경우, 검출된 POI 정보들이 상기 주행 경로 주변에 표시되도록 인터페이스부(810)를 통해 상기 디스플레이부(251)를 제어할 수 있다.
도 15는 이처럼 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)에서, 설정된 주행 경로에 근거하여 적어도 하나의 오디오 정보에 대응하는 광고 정보를 출력하는 동작 과정을 도시한 흐름도이다. 그리고 도 16은, 상기 도 15의 동작 과정에 따라 설정된 주행 경로에 따라 기 방송된 오디오 광고에 따른 POI 정보가 표시되는 예를 도시한 예시도이다.
먼저 도 15를 참조하여 살펴보면, 상기 광고 정보 제공 장치(800)의 프로세서(860)는 클라우드 서버(900)로부터 POI 정보가, 오디오 광고에 대응하는 광고 정보로서 수신되는 경우 이를 저장할 수 있다. 그리고 도 10의 S1024 단계 또는 도 11의 S1124 단계로 진행하여, 상기 저장된 POI 정보들 중 적어도 일부를 디스플레이부(251) 상에 표시할 수 있다.
이를 위해 상기 프로세서(860)는, 내비게이션 시스템(770)을 통해 목적지가 설정 및 목적지까지의 주행 경로가 설정되는 경우, 상기 내비게이션 시스템(770)으로부터, 상기 설정된 주행 경로 정보를 검출할 수 있다(S1500). 그리고 검출된 주행 경로를 기준으로, 주변에 상기 클라우드 서버(900)로부터 제공된 POI 정보가 있는지 여부를 검출할 수 있다(S1502).
여기서 상기 클라우드 서버(900)로부터 제공된 POI 정보는, 광고 정보 제공 장치(800)의 요청에 따라 검색된 오디오 광고에 대응하는 POI 정보일 수 있다. 즉, 음향 출력부(252)에서 기 출력된 오디오 광고에 대응하는 적어도 하나의 매장이, 현재 설정된 목적지까지의 주행 경로에 근거하여 검출될 수 있다. 그리고 설정된 주행 경로가 표시되는 경우, 검출된 적어도 하나의 POI 정보를 상기 주행 경로와 함께 표시할 수 있다(S1504).
도 16을 참조하여 살펴보면, 도 16의 (a)는 목적지가 설정되기 전의 차량(100) 위치(1600), 즉 광고 정보 제공 장치(800)의 위치가 디스플레이부(251) 상에 표시되는 예를 도시한 것이다. 이 경우 목적지가 지정되면, 도 16의 (b)에서 보이고 있는 바와 같이 차량(100)의 현재 위치(1600)로부터 목적지를 연결하는 주행 경로(1610)가 설정될 수 있다.
그러면 광고 정보 제공 장치(800)의 프로세서(860)는, 수집된 오디오 정보에 대응하여 클라우드 서버(900)에 전송된 요청에 대한 응답으로 수신된 POI 정보들 중, 상기 주행 경로(1610)에 인접한 POI 정보가 있는지 여부를 검출할 수 있다. 이 경우 POI 정보에 포함된 위치가, 주행 경로(1610) 상의 일 지점과 기 설정된 거리 이내인 경우 그 POI 정보는 상기 주행 경로(1610)에 인접한 POI 정보일 수 있다.
그리고 검출된 POI 정보가 있는 경우 프로세서(860)는, 도 16의 (c)에서 보이고 있는 바와 같이, 경로 정보(1610)가 표시되는 디스플레이부(251) 상에 상기 검출된 POI 정보(1620)를 표시할 수 있다. 이 경우 상기 POI 정보(1620)에 포함된 부가 정보(1630)가 상기 디스플레이부(251) 상에 더 표시될 수 있다. 여기서 상기 부가 정보(1630)는 상기 수집된 오디오 정보에 대응하여 검색된 오디오 광고의 정보로서, 오디오 광고를 통해 제공되는 서비스 및 서비스가 제공되는 기간, 그리고 서비스 제공되는 매장이나 장소에 대한 정보들 중 적어도 하나를 포함할 수 있다.
한편 상술한 바와 같이, 광고 정보 제공 장치(800)에서 제공되는 오디오 광고에 대응하는 POI 정보는, 목적지까지 설정된 주행 경로에 따라 디스플레이부(251) 상에 표시될 수 있다. 따라서 목적지가 변경되거나 또는 경유지의 변경 등으로 인해 주행 경로가 변경되는 경우라면, 그에 따라 디스플레이부(251) 상에 표시되는 POI 정보 역시 달라질 수 있다. 즉, 주행 경로에 부합되는 POI 정보만 표시함으로써, 불필요한 POI 정보가 표시되는 것을 방지할 수 있다.
한편 이처럼 주행 경로의 설정에 따라 POI 정보가 표시되는 경우, 프로세서(860)는 상기 POI 정보에 대응하는 광고 정보가 노출된 것으로 판단할 수 있다. 이 경우 프로세서(860)는 탑승자에 대한 광고 유입 효과가 발생한 것으로 판단할 수 있다. 또한 프로세서(860)는 상기 표시된 POI 정보에 대한 사용자의 입력이 있는 경우, 예를 들어 부가 정보(1630)에 대한 터치 입력 또는 POI 정보(1620)에 대한 터치 입력이 있는 경우, 또는 상기 POI 정보(1620)에 대한 목적지 설정이 요청되는 경우 상기 POI 정보에 대응하는 광고 정보가 노출된 것으로 판단할 수 있다. 그리고 상기 POI 정보에 대응하는 광고 정보 노출 효과는, 상기 POI 정보에 대응하는 오디오 광고에 대한 광고 정보 노출 효과로 간주될 수 있다.
한편 프로세서(860)는 기 설정된 시간을 주기로 누적된 광고 정보 노출 횟수에 대응하는 알림 정보를 광고 메타 데이터 서버(950)로 전송할 수 있다. 그러면 광고 메타 데이터 서버(950)는 다수의 광고 정보 제공 장치(800)로부터 제공되는 알림 정보에 근거하여 오디오 광고에 대한 광고 유입 효과를 정량적으로 산출할 수 있다.
한편 상술한 설명에 따르면 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 차량(100)의 정보가 제공되는 사용자의 이동 단말기에 차량(100)의 정보를 제공함과 동시에 상기 오디오 광고에 대응하는 POI 정보를 제공할 수 있음을 언급한 바 있다.
도 17은 이러한 경우에 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)에서, 차량(100)의 정보가 제공되는 기 설정된 이동 단말기를 통해 기 방송된 오디오 광고들에 대응하는 광고 정보들이 제공되는 동작 과정을 도시한 흐름도이다.
도 17을 참조하여 살펴보면, 상기 광고 정보 제공 장치(800)의 프로세서(860)는 클라우드 서버(900)로부터 POI 정보가 오디오 광고에 대응하는 광고 정보로서 수신되는 경우 이를 저장할 수 있다. 이 경우 저장된 POI 정보들 중, 기 설정된 유효 기간이 만료된 POI 정보들은 삭제될 수 있다(S1700).
그러면 프로세서(860)는 유효 기간이 만료되지 않은 POI 정보들을 다양한 분류 기준에 따라 분류할 수 있다(S1710). 예를 들어 프로세서(860)는 대응하는 오디오 정보가 수집된 시각, 관련된 미디어 정보, 또는 오디오 정보가 수신될 때 검출된 차량(100)의 위치 등에 근거하여 메모리(840)에 저장된 POI 정보들을 분류할 수 있다(S1702).
그리고 프로세서(860)는 상기 차량(100)의 정보가 제공되도록 상기 차량(100)에 연결된 이동 단말기(1800)를 검출할 수 있다(S1704). 그리고 검출된 이동 단말기(1800)와의 통신 연결을 수행할 수 있다. 이 경우 상기 이동 단말기(1800)는 차량(100) 또는 차량(100)의 통신 장치(400)를 경유하여 광고 정보 제공 장치(800)와 연결될 수 있다.
상기 이동 단말기(1800)와 연결되면, 프로세서(860)는 상기 S1702 단계에서 분류된 POI 정보들을 상기 이동 단말기(1800)에 전송할 수 있다. 그리고 상기 전송된 POI 정보들이 디스플레이부 상에서 표시되도록 상기 이동 단말기(1800)를 제어할 수 있다(S1706). 그러면 이동 단말기(1800)는 상기 차량(100)의 정보가 표시되는 인터페이스 화면의 일 영역에 상기 분류된 POI 정보들을 검색할 수 있는 메뉴를 표시할 수 있다.
도 18은, 상기 도 17의 동작 과정에 따라 상기 이동 단말기(1800)를 통해 분류된 POI 정보들이 출력되는 동작 과정을 도시한 흐름도이다.
먼저 도 18의 (a)를 참조하여 살펴보면, 도 18의 (a)는 차량(100)의 정보가 표시되는 인터페이스 화면의 일 영역에 상기 분류된 POI 정보들을 검색할 수 있는 메뉴가 표시되는 예를 보이고 있는 것이다.
상기 인터페이스 화면을 살펴보면, 상기 인터페이스 화면은 차량(100)의 정보가 표시되는 제1 영역(1810)과, 차량(100)의 미디어 애플리케이션에 연동하여 상기 미디어 애플리키케이션을 통해 출력되는 미디어 정보들을 표시하는 제2 영역(1820), 그리고 상기 분류된 POI 정보들을 검색할 수 있는 메뉴가 표시되는 제3 영역(1830)을 포함할 수 있다.
이 경우 상기 제3 영역은, 상기 POI 정보의 분류 기준들에 대한 정보를 표시할 수 있다. 일 예로 오디오 광고에 대응하여 클라우드 서버(900)로부터 수신 및 저장된 POI 정보들이, 오디오 광고가 출력된 차량(100)의 위치에 따라 분류 및, 오디오 광고가 출력된 시간에 따라 분류되는 경우, 상기 오디오 광고가 출력된 위치, 즉 출력 위치별 검색 메뉴(1831)와 오디오 광고가 출력된 시간, 즉 출력 시간별 검색 메뉴(1832)가 상기 제3 영역(1830)에 표시될 수 있다. 또한 오디오 광고가 출력된 미디어, 예를 들어 방송 프로그램 또는 채널에 따라 분류되는 경우 상기 오디오 광고에 관련된 방송 프로그램 또는 채널에 따라 POI 정보를 검색할 수 있도로 하는 메뉴인 미디어별 메뉴(1833)가 상기 제3 영역(1830)에 표시될 수 있다.
이러한 경우 상기 제3 영역(1830)에 표시되는 메뉴들(1831, 1832, 1833) 중 어느 하나가 선택되면, 이동 단말기(1800)는 선택된 메뉴에 대응하는 메뉴 선택 정보를 광고 정보 제공 장치(800)로 전송할 수 있다. 그러면 상기 광고 정보 제공 장치(800)의 프로세서(860)는 수신된 메뉴 선택 정보에 대응하여 분류된 POI 정보들을 이동 단말기(1800)로 전송할 수 있다. 그러면 이동 단말기(1800)는 상기 메뉴 선택 정보의 전송에 대한 응답으로 수신된 POI 정보들을 디스플레이부 상에 표시할 수 있다.
그러면 사용자는 상기 이동 단말기(1800)의 디스플레이부 상에 표시되는 POI 정보들 중 어느 하나를 선택할 수 있다. 그러면 선택된 POI 정보가 상기 제3 영역에 표시될 수 있다. 도 18의 (b)는 이처럼 선택된 POI 정보가 표시되는 예를 도시한 것이다.
도 18의 (b)를 참조하여 살펴보면, 상기 제1 영역(1810)에는 차량(100)으로부터 제공되는 차량의 속도 정보(1811) 및 연료 정보(1812)가 표시될 수 있다. 또한 제2 영역(1820)에는 미디어 애플리케이션인 음악 애플리케이션에 의해 출력되는 곡의 정보가 표시될 수 있다. 그리고 제3 영역(1830)에는 사용자에 의해 선택된 POI 정보(1840)가 표시될 수 있다.
이 경우 상기 선택된 POI 정보(1840)는 오디오 광고를 통해 제공되는 서비스의 내용 및, 서비스가 제공되는 가맹점의 명칭, 그리고 상기 서비스자 제공되는 가맹점의 위치에 관련된 정보가 표시될 수 있다. 상기 POI 정보(1840)는 상기 서비스를 제공하는 가맹점으로의 목적지를 바로 차량(100)에 설정할 수 있는 목적지 설정 메뉴(1850)를 포함할 수 있다. 따라서 사용자가 상기 목적지 설정 메뉴(1850)를 선택하는 경우, 상기 오디오 광고를 통해 방송된 서비스를 제공하는 매장을 목적지로 하는 주행 경로가 바로 차량(100)에 설정될 수 있다.
이 경우 프로세서(860)는 차량(100)의 현재 위치에 근거하여, 차량(100)과 동일한 지역에 있거나 또는 차량(100)으로부터 기 설정된 거리 이내에 상기 오디오 광고를 통해 방송된 서비스를 제공하는 매장을 검출하고 검출된 매장이 있는 경우에 한하여 상기 주행 경로를 설정할 수 있음은 물론이다.
한편 본 발명의 실시 예에 따른 광고 정보 제공 장치(800)는 클라우드 서버(900)로 전송한 오디오 지문 정보에 대응하는 POI 정보가 저장된 경우, 오디오 지문 정보가 수집될 때 기 저장된 POI 정보에 대응하는 오디오 지문 정보와 비교를 수행할 수도 있음은 물론이다. 이 경우 오디오 지문 정보가 동일하면 프로세서(860)는 대응하는 POI 정보가 이미 수신된 것으로 판별하고, 수집된 오디오 지문 정보에 대응하는 POI 정보를 클라우드 서버(900)에 요청하지 않을 수도 있다. 이에 따라 이미 POI 정보가 수집된 오디오 지문 정보의 경우, POI 정보를 다시 요청하지 않을 수도 있다.
또한 상술한 설명에서는 오디오 지문 정보에 근거하여 오디오 광고를 식별하는 구성을 예로 들었으나, 이와는 달리 비 가청음을 이용하여 오디오 광고를 식별할 수도 있음은 물론이다.
일 예로 광고주는 자신의 광고가 오디오 채널을 통해 방송될 때에, 자신의 광고에 대응하는 특정 주파수 대역 또는 특정 음정의 비 가청음을 오디오 광고 시작 부분에 포함시킬 수 있다. 이 경우 상기 비 가청음은 배경음악과 함께 출력되는 화음의 형태로 출력될 수 있으나, 비 가청대역의 음으로서 탑승자가 이를 식별하지 못할 수 있다. 그러나 PCM 데이터에는 포함되어 있는 바, 상기 비 가청대역의 음에 대응하는 오디오 정보(PCM 데이터)가 오디오 지문 정보의 역할을 수행할 수도 있음은 물론이다. 따라서 상기 비 가청대역의 음에 대응하는 PCM 데이터, 또는 그 PCM 데이터의 패턴에 근거하여 광고 정보 제공 장치(800) 또는 클라우드 서버(900)가 대응하는 오디오 광고를 식별할 수도 있음은 물론이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 클라우드 서버와 통신하는 통신부;
    차량의 음향 출력부 및 디스플레이부와 통신 연결을 수행하도록 형성된 인터페이스부;
    상기 인터페이스부를 통해 상기 음향 출력부의 오디오 버퍼에 저장된 PCM(Pulse Code Modulation) 데이터를 수신하여 상기 음향 출력부에서 출력되는 음향 신호의 특징을 포함하는 오디오 정보를 생성하는 오디오 감지부; 및,
    상기 생성된 오디오 정보를 상기 클라우드 서버에 전송하도록 상기 통신부를 제어하고, 전송된 오디오 정보에 대한 응답으로 상기 오디오 정보에 대응하는 오디오 광고의 POI(Point Of Interest) 정보를 포함하는 광고 정보를 상기 클라우드 서버에 요청하며,
    상기 요청에 의하여 상기 클라우드 서버로부터 상기 광고 정보가 수신되면, 상기 POI 정보 및 수신된 광고 정보에 포함된 컨텐츠가 상기 차량의 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 하는 광고 정보 제공 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 차량의 주행 경로가 설정되면, 상기 클라우드 서버로부터 수신된 광고 정보들 중 POI 정보에 대응하는 위치가 상기 주행 경로 상의 일 지점으로부터 기 설정된 거리 이내에 위치한 적어도 하나의 광고 정보를 검출하고,
    검출된 광고 정보에 포함된 POI 정보 및 컨텐츠가, 상기 디스플레이부 상에 상기 주행 경로와 함께 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 광고 정보 제공 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 인터페이스부를 통해 상기 차량의 탑승자 검출 결과를 수신하고, 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 상기 탑승자 검출 결과에 근거하여 검출 및,
    검출된 광고 정보에 포함된 POI 정보 및 컨텐츠가, 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 광고 정보 제공 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 탑승자 검출 결과에 대응하는 탑승자 프로파일에 포함된 광고 주제들과, 상기 클라우드 서버로부터 수신된 광고 정보들 각각의 광고 주제를 비교한 결과에 근거하여, 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 검출하며,
    상기 탑승자 프로파일은,
    탑승자의 성별 및 연령대에 따라 선호하는 광고 주제들을 포함하는 것을 특징으로 하는 광고 정보 제공 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    특정 탑승자가 선호하는 광고 주제들이 학습된 경우, 학습된 광고 주제들을 포함하는 맞춤형 탑승자 프로파일을 생성하고,
    상기 탑승자 검출 결과, 검출된 탑승자가 상기 특정 탑승자인 경우 상기 맞춤형 탑승자 프로파일에 근거하여 상기 클라우드 서버로부터 수신된 광고 정보들 중 적어도 하나를 검출하며,
    상기 특정 탑승자가 선호하는 광고 주제들은,
    상기 특정 탑승자가 일정 횟수 이상 방문하는 장소에 따라 학습되는 것을 특징으로 하는 광고 정보 제공 장치.
  6. 제1항에 있어서,
    상기 오디오 정보는,
    상기 음향 신호의 특징에 대응하는 오디오 지문 정보(fingerprint)를 포함하며,
    상기 오디오 지문 정보는,
    일정 시간 간격으로 샘플링된 상기 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 하는 광고 정보 제공 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 PCM 데이터가 수신되는 시각과, 상기 PCM 데이터가 수신될 때 상기 음향 출력부를 제어하는 애플리케이션의 정보를 더 수집하도록 상기 오디오 감지부를 제어하며, 상기 오디오 지문 정보와 상기 수집된 시각 및 애플리케이션의 정보를 상기 오디오 정보로서 상기 클라우드 서버에 전송하며,
    상기 클라우드 서버는,
    상기 오디오 지문 정보에 대응하는 오디오 광고들을 검출하고, 검출된 오디오 광고들 중 상기 수집 시각 및 애플리케이션의 정보에 따른 어느 하나의 오디오 광고를 상기 오디오 정보에 대응하는 오디오 광고로 검색 및, 검색된 오디오 광고에 대응하는 광고 정보를 상기 오디오 정보의 전송에 대한 응답으로 전송하는 것을 특징으로 하는 광고 정보 제공 장치.
  8. 제7항에 있어서, 상기 애플리케이션의 정보는,
    상기 애플리케이션을 통해 방송되는 라디오 프로그램이나 라디오 채널 또는 라디오 주파수의 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 광고 정보 제공 장치.
  9. 제1항에 있어서, 상기 광고 정보는,
    상기 오디오 정보에 대응하는 오디오 광고에 대응하는 서비스를 제공하는 매장이나 점포 또는 업체의 명칭과 위치를 포함하는 POI 정보 및, 상기 오디오 광고에 대응하는 서비스의 정보를 나타내는 그래픽 객체를 적어도 하나 포함하는 것을 특징으로 하는 광고 정보 제공 장치.
  10. 제1항에 있어서,
    상기 오디오 정보에 대응하는 오디오 광고를 식별하는 광고 정보 식별부를 더 포함하며,
    상기 프로세서는,
    상기 오디오 정보에 근거하여 식별된 특정 오디오 광고에 대한 광고 정보를 상기 클라우드 서버에 요청하고, 상기 클라우드 서버로부터 상기 요청에 대한 응답으로 상기 광고 정보를 수신하는 것을 특징으로 하는 광고 정보 제공 장치.
  11. 제10항에 있어서, 상기 광고 정보 식별부는,
    복수의 서로 다른 오디오 광고에 대한 오디오 지문 정보들을 대조 데이터로 포함하며,
    상기 오디오 정보에 포함된 상기 음향 신호의 특징과 상기 대조 데이터에 포함된 오디오 지문 정보들과 비교하여 상기 음향 신호의 특징에 대응하는 특정 오디오 광고를 식별하는 것을 특징으로 하는 광고 정보 제공 장치.
  12. 제11항에 있어서,
    상기 오디오 지문 정보들 각각은,
    각 오디오 광고에 대응하는 PCM 데이터를 일정 시간 간격으로 샘플링 및, 샘플링된 PCM 데이터들 중 적어도 일부로부터 분석된 PCM 패턴들이며,
    상기 음향 신호의 특징은,
    상기 음향 출력부의 오디오 버퍼에 저장된 PCM 데이터를 일정 시간 간격으로 샘플링한 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 하는 광고 정보 제공 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 클라우드 서버로부터 제공되는 갱신 데이터에 근거하여 상기 대조 데이터를 갱신하며,
    상기 클라우드 서버는,
    새로운 오디오 광고가 추가되는 경우 상기 새로 추가된 오디오 광고에 대응하는 오디오 지문 정보를 상기 갱신 데이터로서 상기 광고 정보 제공 장치에 전송하는 것을 특징으로 하는 광고 정보 제공 장치.
  14. 제1항에 있어서,
    상기 통신부는,
    상기 차량의 정보를 제공받을 수 있도록 기 설정된 이동 단말기와 통신 연결을 수행하며,
    상기 프로세서는,
    상기 이동 단말기에 상기 클라우드 서버로부터 수신된 광고 정보의 POI 정보 및 컨텐츠가 표시되도록, 상기 통신부를 제어하는 것을 특징으로 하는 광고 정보 제공 장치.
  15. 제1항에 있어서, 상기 프로세서는,
    상기 클라우드 서버로부터 수신된 광고 정보들 각각으로부터, 각 광고 정보에 포함된 서비스의 유효 기간을 검출하고, 현재 날짜 및 시각에 근거하여 유효 기간이 경과하지 않은 광고 정보의 POI 정보 및 컨텐츠가 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 광고 정보 제공 장치.
  16. 제1항에 있어서,
    상기 광고 정보 제공 장치는,
    상기 오디오 정보와 함께, 상기 차량으로부터 획득한 상기 차량의 위치를 상기 클라우드 서버에 전송하며,
    상기 클라우드 서버는,
    상기 오디오 정보에 대응하는 오디오 광고의 서비스를 제공하는 매장의 위치와 상기 차량의 위치를 비교하며,
    상기 매장의 위치가 상기 차량의 위치에 부합하지 않는 경우, 상기 오디오 광고의 서비스를 제공하는 다른 매장들 중, 상기 차량의 위치에 부합하는 매장을 검색하며, 검색된 매장에 대응하는 POI 정보를 포함하는 광고 정보를 상기 전송된 오디오 정보에 대한 응답으로 상기 광고 정보 제공 장치에 제공하고,
    상기 차량의 위치는,
    상기 차량이 위치한 일정 지역의 정보임을 특징으로 하는 광고 정보 제공 장치.
  17. 오디오 광고에 대응하는 광고 정보를 제공하는 광고 정보 제공 장치의 제어 방법에 있어서,
    차량의 음향 출력부의 오디오 버퍼에 저장된 PCM(Pulse Code Modulation) 데이터를 수신하여, 상기 음향 출력부에서 출력되는 음향 신호의 오디오 지문 정보를 검출하는 단계;
    상기 오디오 지문 정보에 대응하는 특정 오디오 광고에 대하여 POI(Point Of Interest) 정보 및 상기 특정 오디오 광고를 통해 제공되는 서비스의 정보를 포함하는 광고 정보를, 클라우드 서버에 요청하는 단계;
    상기 요청에 대한 응답으로, 상기 특정 오디오 광고에 대한 광고 정보가 수신되면, 수신된 광고 정보의 출력 조건이 충족되었는지 여부를 체크하는 단계; 및,
    상기 체크 결과에 근거하여, 상기 수신된 광고 정보의 POI 정보 및 상기 서비스의 정보를 상기 차량의 디스플레이부 상에 표시하는 단계를 포함하는 것을 특징으로 하는 광고 정보 제공 장치의 제어 방법.
  18. 제17항에 있어서,
    상기 광고 정보를 클라우드 서버에 요청하는 단계는,
    복수의 서로 다른 오디오 광고의 오디오 지문 정보들을 포함하는 대조 데이터에 근거하여, 상기 오디오 버퍼의 PCM 데이터로부터 검출된 오디오 지문 정보에 대응하는 어느 하나의 오디오 광고를 식별하는 단계; 및,
    상기 식별된 어느 하나의 오디오 광고에 대응하는 광고 정보를 상기 클라우드 서버에 요청하는 단계를 포함하는 것을 특징으로 하는 광고 정보 제공 장치의 제어 방법.
  19. 제17항에 있어서, 상기 오디오 지문 정보는,
    일정 시간 간격으로 샘플링된 상기 PCM 데이터의 샘플들 중 적어도 일부로부터 분석된 PCM 패턴임을 특징으로 하는 광고 정보 제공 장치의 제어 방법.
  20. 오디오 지문 정보를 수신하는 통신부;
    복수의 서로 다른 오디오 광고에 각각 대응하는 오디오 지문 정보들 및, 상기 복수의 오디오 광고 각각에서 제공되는 서비스의 정보와 해당 서비스를 제공하는 매장의 위치 정보에 대응하는 POI(Point Of Interest) 정보를 포함하는 광고 정보들을 포함하는 광고 정보 데이터베이스;
    상기 광고 정보 데이터베이스로부터, 상기 수신된 오디오 지문 정보에 대응하는 특정 오디오 광고의 광고 정보를 검색하는 검색 엔진; 및,
    상기 통신부를 통해 상기 오디오 지문 정보가 수신되는 경우, 상기 검색 엔진을 제어하여 상기 수신된 오디오 지문 정보에 대응하는 오디오 광고를 검색하고, 오디오 광고가 검색된 경우 검색된 오디오 광고의 광고 정보를 상기 수신된 오디오 지문 정보에 대한 응답으로 전송하도록 상기 통신부를 제어하는 서버 제어부를 포함하는 것을 특징으로 하는 클라우드 서버.
PCT/KR2022/012672 2022-08-24 2022-08-24 광고 정보 제공 장치 및 제공 방법 Ceased WO2024043359A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020247043480A KR20250022077A (ko) 2022-08-24 2022-08-24 광고 정보 제공 장치 및 제공 방법
EP22956565.0A EP4575962A4 (en) 2022-08-24 2022-08-24 ADVERTISING INFORMATION PROVIDING DEVICE AND PROVIDING METHOD
PCT/KR2022/012672 WO2024043359A1 (ko) 2022-08-24 2022-08-24 광고 정보 제공 장치 및 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/012672 WO2024043359A1 (ko) 2022-08-24 2022-08-24 광고 정보 제공 장치 및 제공 방법

Publications (1)

Publication Number Publication Date
WO2024043359A1 true WO2024043359A1 (ko) 2024-02-29

Family

ID=90013569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012672 Ceased WO2024043359A1 (ko) 2022-08-24 2022-08-24 광고 정보 제공 장치 및 제공 방법

Country Status (3)

Country Link
EP (1) EP4575962A4 (ko)
KR (1) KR20250022077A (ko)
WO (1) WO2024043359A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223031A (ja) * 2012-04-13 2013-10-28 Yazaki Corp 車両用音響出力制御装置
JP2014135058A (ja) * 2013-01-14 2014-07-24 Toyota Motor Corp インタラクティブ車内広告の管理
KR20150010806A (ko) * 2012-05-11 2015-01-28 아이티씨코 스페인, 에스.엘. 차내 정보 전달 시스템 및 방법
KR20190095198A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 자율 주행 시스템과 그 미디어 재생 방법
US20220036256A1 (en) * 2009-10-30 2022-02-03 Getaround, Inc. Vehicle access control services and platform

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567899B2 (en) * 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition
CN105528438A (zh) * 2015-12-18 2016-04-27 大陆汽车投资（上海）有限公司 将电台广播中的音频内容可视化的方法
US10887031B2 (en) * 2018-08-03 2021-01-05 Gracenote, Inc. Vehicle-based media system with audio ad and navigation-related action synchronization feature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036256A1 (en) * 2009-10-30 2022-02-03 Getaround, Inc. Vehicle access control services and platform
JP2013223031A (ja) * 2012-04-13 2013-10-28 Yazaki Corp 車両用音響出力制御装置
KR20150010806A (ko) * 2012-05-11 2015-01-28 아이티씨코 스페인, 에스.엘. 차내 정보 전달 시스템 및 방법
JP2014135058A (ja) * 2013-01-14 2014-07-24 Toyota Motor Corp インタラクティブ車内広告の管理
KR20190095198A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 자율 주행 시스템과 그 미디어 재생 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4575962A4 *

Also Published As

Publication number Publication date
EP4575962A4 (en) 2025-07-16
KR20250022077A (ko) 2025-02-14
EP4575962A1 (en) 2025-06-25

Similar Documents

Publication Publication Date Title
WO2022154425A1 (ko) 차량과 연동된 내비게이션 장치, ar 플랫폼 장치, 이들을 포함하는 ar 플랫폼 시스템 및 동작방법
WO2023287156A1 (ko) 혼합 현실 자동자 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2019221390A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019031853A1 (ko) 지도 제공 장치
WO2021002487A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2021141142A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2018169162A1 (ko) 차량 제어 장치를 구비한 차량 및 차량의 제어방법
WO2020080566A1 (ko) 전자 제어 장치 및 통신 장치
WO2018097423A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2021091039A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2020235714A1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
WO2018110762A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2023153764A1 (ko) 디지털 트윈 기반 충전소 관제 시스템
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2022119267A1 (ko) 경로 안내 장치 및 경로 안내 시스템
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22956565

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247043480

Country of ref document: KR

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 1020247043480

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2022956565

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022956565

Country of ref document: EP

Effective date: 20250321

WWP Wipo information: published in national office

Ref document number: 2022956565

Country of ref document: EP