WO2022208811A1 - 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造 - Google Patents

情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造 Download PDF

Info

Publication number
WO2022208811A1
WO2022208811A1 PCT/JP2021/014043 JP2021014043W WO2022208811A1 WO 2022208811 A1 WO2022208811 A1 WO 2022208811A1 JP 2021014043 W JP2021014043 W JP 2021014043W WO 2022208811 A1 WO2022208811 A1 WO 2022208811A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
notification
intent
application
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/014043
Other languages
English (en)
French (fr)
Inventor
毅 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2022542792A priority Critical patent/JPWO2022208811A1/ja
Priority to EP21927054.3A priority patent/EP4317916A4/en
Priority to US17/908,826 priority patent/US20240194181A1/en
Priority to PCT/JP2021/014043 priority patent/WO2022208811A1/ja
Publication of WO2022208811A1 publication Critical patent/WO2022208811A1/ja
Anticipated expiration legal-status Critical
Priority to JP2024091153A priority patent/JP2024107110A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Definitions

  • the present invention relates to an information processing program, an information processing method, a storage medium, an application device, and a data structure.
  • the late voice information determines whether or not to wait for output of voice information.
  • a technique is known in which, on the condition that it is determined that it is possible to wait, the output of later voice information is put on standby, and after the first voice information is preferentially output, the later voice information is output. ing.
  • the preceding voice information is output preferentially, and then the subsequent voice information is output. It is not always possible to output both pieces of information. In other words, with the above-described conventional technology, it is not always possible to convey necessary information to the user within a desired period of time.
  • the above conventional technology has the problem that the content becomes difficult to understand due to voice interruptions, and the problem that the case where the user's response is required is not taken into consideration.
  • the present invention has been made in view of the above, and provides an information processing program, an information processing method, a storage medium, an application device, and data capable of appropriately conveying necessary information to a driver of a mobile object. It is intended to provide structure.
  • the information processing program stores character string information indicating a character string constituting a notification sentence to be output by voice to the driver of the mobile object, and the type of notification set for each character string.
  • a transmission step of transmitting the intent information to an information processing device that generates the notification sentence based on the intent information; is an information processing program for causing a computer to execute
  • the information processing method is an information processing method executed by an information processing apparatus, wherein character string information indicating a character string constituting a notification sentence to be voice-output to a driver of a mobile object is provided. and intention information indicating the type of notification set for each character string; and an intent generation step of generating intent information including: and a transmitting step of transmitting the intent information to.
  • the storage medium according to claim 10 includes character string information indicating a character string constituting a notification sentence to be voice-output to the driver of the mobile body, and the type of notification set for each character string. and a transmission step of transmitting the intent information to an information processing device that generates the notification message based on the intent information. and an information processing program for causing a computer to execute the above.
  • the application device further includes character string information indicating a character string constituting a notification sentence to be output as voice to a driver of a mobile object, and a notification type set for each character string.
  • an intent generation unit that generates intent information including: a transmission unit that transmits the intent information to an information processing device that generates the notification message based on the intent information; , is provided.
  • the data structure according to claim 12 is data used for a process of generating the notification text by an information processing device having a generation unit that generates a notification text output by voice to a driver of a mobile object.
  • a structure that includes character string information indicating a character string that constitutes the notification text, and intention information that indicates the type of notification set for each character string, wherein the generation unit includes the character string information and generating length information required for the notification based on the intention information, and outputting the notification text based on the length information required for the notification and an output delay timing indicating timing at which the notification of the notification text should be completed.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of an application device according to the embodiment;
  • FIG. 3 is a diagram illustrating a configuration example of an information processing apparatus according to the embodiment;
  • FIG. 4 is a diagram illustrating an overview of information processing according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of intent information according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of intent information according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of intent information according to the embodiment;
  • FIG. 8 is a flow chart showing an information processing procedure according to the embodiment.
  • FIG. 9 is a hardware configuration diagram showing an example of a computer that implements the functions of an application device or an information processing device.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment.
  • the information processing system 1 includes an application device 10 (hereinafter also referred to as an application device 10 ) and an information processing device 100 .
  • the application device 10 and the information processing device 100 are connected via a predetermined network N so as to be communicable by wire or wirelessly.
  • the information processing system 1 shown in FIG. 1 may include a plurality of application devices 10 and a plurality of information processing devices 100 .
  • the application device 10 is an information processing device that executes an application that provides information to the driver of a vehicle (an example of a mobile object), and is realized by, for example, a server device or a cloud system.
  • FIG. 1 shows a case where the application device 10 is implemented by a cloud system.
  • the mobile body is a vehicle will be described, but the mobile body is not limited to the vehicle.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • application device 10 will be described as application devices 10-1 and 10-2 according to the type of application executed by the application device 10.
  • FIG. 10-1 is application device 10 that executes application #1 (hereinafter also referred to as application #1).
  • application device 10-2 is application device 10 that executes application #2 (hereinafter also referred to as application #2).
  • application devices 10-1 and 10-2 will be referred to as the application device 10 when they are not distinguished from each other.
  • the information processing device 100 is, for example, a stationary navigation device or drive recorder installed in a vehicle. Note that the information processing device 100 is not limited to a navigation device or a drive recorder, and may be a mobile terminal such as a smart phone used by a vehicle occupant.
  • FIG. 2 is a diagram illustrating a configuration example of an application device according to the embodiment.
  • the application device 10 has a communication section 11 , a storage section 12 and a control section 13 .
  • the communication unit 11 is realized by, for example, a NIC (Network Interface Card) or the like. Also, the communication unit 11 is connected to the network N (see FIG. 1) by wire or wirelessly.
  • NIC Network Interface Card
  • the storage unit 12 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 12 stores information about machine learning models used to generate intent information.
  • the storage unit 12 also stores application priority information indicating an application priority set for each application.
  • the storage unit 12 includes sensor information such as position information of the vehicle in a form linked to the ID of the information processing device 100 (an example of identification information for identifying the information processing device 100 mounted on each vehicle). It stores state information, guidance route information including searched routes and destinations, user's interest information, user's schedule information, and the like.
  • the control unit 13 is a controller, and for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like controls the application device 10.
  • Various programs (corresponding to an example of an information processing program) stored in an internal storage device are executed by using a storage area such as a RAM as a work area.
  • the control unit 13 has an acquisition unit 131 , an intent generation unit 132 and a transmission unit 133 .
  • Acquisition unit 131 acquires various types of information. For example, the acquisition unit 131 acquires a machine learning model that receives an application notification text and outputs intent information. For example, the acquisition unit 131 acquires a machine learning model learned based on learning data including a combination of an application notification text and intent information. After acquiring the machine learning model, the acquiring unit 131 stores information about the acquired machine learning model in the storage unit 12 .
  • the acquisition unit 131 acquires sensor information including position information of the information processing device 100 from the information processing device 100 via the communication unit 11, voice recognition results of the user in the vehicle, and the like.
  • the intent generating unit 132 generates intent information, which is information obtained by converting information related to a notification text to be voice-output to the driver of the moving object into metadata.
  • intent information is information obtained by converting information related to a notification text to be voice-output to the driver of the moving object into metadata.
  • intent information according to the embodiment will be described with reference to FIGS. 5 to 7.
  • FIG. 5 to 7 are diagrams showing examples of intent information according to the embodiment.
  • the intent generation unit 132 generates an application notification text regarding notification.
  • the intent generation unit 132 Based on the guidance route information and position information of the information processing device 100, the intent generation unit 132 outputs "Turn right at the intersection ahead. Convenience store A is the landmark. Drive in the innermost lane.” please.” is generated.
  • intent generation unit 132 After generating application notification text #13, intent generation unit 132 generates intent information T1 based on generated application notification text #13.
  • the intent generation unit 132 extracts a character string from the application notification sentence #13. Subsequently, the intent generation unit 132 generates intent information T1 including the extracted character string.
  • the intent generation unit 132 refers to the storage unit 12 and acquires the machine learning model #1 that receives the application notification sentence as input and outputs a character string indicating the notification content.
  • the intent generation unit 132 acquires the machine learning model #1 learned based on the learning data including the combination of the application notification sentence and the character string indicating the notification content.
  • the intent generation unit 132 After acquiring the machine learning model #1, the intent generation unit 132 inputs the application notification sentence #13 to the acquired machine learning model #1, and outputs "next intersection” and " Acquire a character string that indicates the notification content such as "turn right", “convenience store”, “innermost”. The intent generation unit 132 generates intent information T1 including the acquired character string.
  • the intent generation unit 132 may use a technique related to natural language processing such as morphological analysis to extract a character string from the application notification text. For example, the intent generation unit 132 morphologically analyzes the application notification sentence ##13, and from the application notification sentence #1, ⁇ this ahead'', ⁇ intersection'', ⁇ turn right'', ⁇ convenience store A'', ⁇ first'', ⁇ Extract words such as "inside”. Subsequently, the intent generation unit 132 compares the extracted word with predetermined dictionary information to determine the type of part of speech, the type of conjugation, synonyms, and the like of the word.
  • a technique related to natural language processing such as morphological analysis to extract a character string from the application notification text. For example, the intent generation unit 132 morphologically analyzes the application notification sentence ##13, and from the application notification sentence #1, ⁇ this ahead'', ⁇ intersection'', ⁇ turn right'', ⁇ convenience store A'', ⁇ first''
  • the intent generating unit 132 generates notification contents such as “next intersection”, “turn right”, “convenience store”, and “innermost” based on the results of comparing the extracted words with predetermined dictionary information.
  • Intent information T1 including the indicated character string is generated.
  • the intent generation unit 132 generates intent information including intention information indicating the type of notification set for each character string.
  • the intent generation unit 132 refers to the storage unit 12 to obtain a machine learning model #2 that receives an application notification text as an input and outputs intention information indicating the type of notification for each character string.
  • the intent generation unit 132 acquires the machine learning model #2 learned based on the learning data including the combination of the application notification text and the intention information set for each character string.
  • the intent generation unit 132 acquires the machine learning model #3 that has learned to output a character string indicating the type of notification for each character string as output information when an application notification text is input.
  • the intent generating unit 132 After acquiring the machine learning model #2, the intent generating unit 132 inputs the application notification sentence #1 to the acquired machine learning model #2, and generates the intention information for each character string output from the machine learning model #2. get.
  • the intent generation unit 132 acquires intention information, which is a character string "route” indicating the type of notification, for the character strings "next intersection” and "turn right”. Further, the intent generation unit 132 acquires intention information, which is a character string “mark” indicating the type of notification, for the character string “convenience store”. In addition, the intent generation unit 132 acquires intention information, which is a character string “traveling lane” indicating the type of notification, for the character string “innermost”. The intent generation unit 132 generates intent information T1 including intention information for each acquired character string.
  • the intent generation unit 132 generates intent information including content priority information indicating the content priority set for each character string.
  • the intent generation unit 132 refers to the storage unit 12 to acquire the machine learning model #3 that receives an application notification text and outputs content priority information indicating content priority for each character string.
  • the intent generation unit 132 acquires the machine learning model #3 learned based on the learning data including the combination of the application notification text and the content priority information set for each character string. For example, when an application notification message is input, the intent generation unit 132 outputs numbers indicating the content priority of each character string (for example, 1, 2, 3, . Take a machine learning model #3 that has been trained to output a number).
  • the intent generation unit 132 After acquiring the machine learning model #3, the intent generation unit 132 inputs the application notification sentence #1 to the acquired machine learning model #3, and determines the content priority for each character string output from the machine learning model #3. Get information.
  • the intent generation unit 132 acquires the content priority information, which is the numeral "1" indicating the content priority, for the character strings "next intersection” and "turn right”.
  • the intent generation unit 132 acquires content priority information, which is the number "3" indicating the content priority, for the character string "convenience store”.
  • the intent generation unit 132 acquires content priority information, which is the number "2" indicating the content priority, for the "innermost” character string.
  • the intent generation unit 132 generates intent information T1 including content priority information for each character string obtained.
  • the intent generation unit 132 generates intent information that further includes notification priority information indicating the notification priority set for each piece of intent information.
  • the intent generating unit 132 refers to the storage unit 12 and acquires the machine learning model #4 that receives the application notification text as input and outputs notification priority information.
  • the intent generation unit 132 acquires the machine learning model #4 learned based on the learning data including the combination of the application notification text and the notification priority information. For example, when an application notification message is input, the intent generation unit 132 outputs a number indicating the notification priority of the notification related to the application notification message (for example, 1, 2, 3, A machine learning model #4 trained to output a number such as . . . is obtained.
  • the intent generation unit 132 After acquiring the machine learning model #4, the intent generation unit 132 inputs the application notification text #1 to the acquired machine learning model #4, and acquires the notification priority information output from the machine learning model #4. .
  • the intent generation unit 132 acquires notification priority information (In priority), which is the number "1" indicating the notification priority, for the notification related to application notification sentence #1.
  • the intent generation unit 132 generates intent information T1 including the acquired notification priority information.
  • the intent generation unit 132 generates intent information that further includes application priority information indicating the application priority set for each application that generates intent information.
  • the intent generation unit 132 refers to the storage unit 12 and acquires application priority information indicating the application priority set for the application #1.
  • the intent generating unit 132 acquires a number indicating the application priority set for each application (for example, numbers such as 1, 2, 3, . . . in descending order of priority).
  • the intent generation unit 132 acquires application priority information, which is the number "1" indicating the application priority.
  • the intent generation unit 132 generates intent information T1 including the acquired application priority information.
  • the intent generation unit 132 may determine overall priority information indicating overall priority of intent information based on notification priority information and application priority information. For example, the intent generation unit 132 adds the number indicating the notification priority and the number indicating the application priority, calculates the average value, and uses the calculated average value as the overall priority of the intent information. may be used as general priority information. Although illustration is omitted, in FIG. 5 , the intent generation unit 132 adds the number “1” indicating the notification priority and the number “1” indicating the application priority, and averages the average value “1” as the intent. This is general priority information indicating the general priority of the information T1.
  • the intent generating unit 132 Based on the position information of the information processing device 100, the intent generating unit 132 outputs information such as, "After turning right at the intersection ahead, there is a cake shop 'XXX' that has recently become a hot topic on TV. . We recommend the less sweet Mont Blanc. ” is generated. Subsequently, the intent generation unit 132 generates the intent information T2 based on the application notification text #24 in the same manner as in the case of FIG. 5 described above.
  • the intent generating unit 132 selects “next intersection”, “turn right”, “400m away”, “cake shop”, “store name “XXX”, “reputation on TV”, “Mont Blanc”, “ Intent information T2 is generated that includes a character string indicating the content of the notification such as "not sweet”.
  • the intent generating unit 132 generates the character string "route” indicating the type of notification for the character strings “next intersection", “turn right” and “400m ahead”. Get the intention information that is In addition, the intent generation unit 132 acquires intention information, which is a character string “recommended” indicating the type of notification, for the character strings “cake shop”, “store name “XXX”", and "popular on TV”. In addition, the intent generating unit 132 acquires intention information, which is a character string “recommended” indicating the type of notification, for the character strings “Montblanc” and “less sweet”. The intent generating unit 132 generates intent information T2 including intention information for each acquired character string.
  • the intent generation unit 132 generates the number “1" indicating the content priority for the character strings “next intersection”, “turn right”, “400m away” and “cake shop”. Get priority information.
  • the intent generation unit 132 acquires content priority information, which is the number "3" indicating the content priority, for the character string "store name 'XXX'”.
  • the intent generation unit 132 acquires content priority information, which is the number "4" indicating the content priority, for the character strings "Reputable on TV” and "Not sweet”.
  • the intent generation unit 132 acquires content priority information, which is the number “2” indicating the content priority, for the character string “Montblanc”.
  • the intent generating unit 132 generates intent information T2 including content priority information for each character string obtained.
  • the intent generation unit 132 acquires notification priority information (In priority), which is the number "2" indicating the notification priority, for the notification regarding application notification sentence #2.
  • the intent generation unit 132 generates intent information T2 including the acquired notification priority information.
  • the intent generation unit 132 generates intent information T2 including the acquired application priority information.
  • the intent generation unit 132 adds the number "2" indicating the notification priority and the number "2" indicating the application priority and averages them to obtain an average value "2".
  • the overall priority information indicates the overall priority of the intent information T2.
  • the intent generation unit 132 issues the message, "There is a shower forecast near your home in 1 hour. Is it okay to take in the laundry? and connect the TV phone. /(if the user's response is "yes", end)" is generated. Subsequently, the intent generation unit 132 generates the intent information T3 based on the application notification text #34 in the same manner as in the case of FIG. 5 described above. Specifically, the intent generating unit 132 generates notifications such as “rainstorm”, “near home”, “1 hour later”, “laundry”, “Yes/No”, “Yes: end, No: videophone”. Intent information T3 including a character string indicating the content is generated.
  • the intent generating unit 132 generates the character strings "weather forecast” indicating the type of notification for the character strings “rainstorm”, “near home”, and “one hour later”. Get intent information that is a column. Further, the intent generation unit 132 acquires intention information, which is a character string “information” indicating the type of notification, for the character string “laundry”. Further, the intent generation unit 132 acquires intention information, which is a character string "user response” indicating the type of notification, for the character strings “Yes/No” and “Yes: end, No: videophone”. The intent generation unit 132 generates intent information T3 including intention information for each acquired character string.
  • the intent generation unit 132 acquires content priority information, which is the number “1” indicating the content priority, for the character strings “passing rain” and “near home”. In addition, the intent generating unit 132 acquires content priority information, which is the number “2” indicating the content priority, for the character string “one hour later”. In addition, the intent generation unit 132 acquires content priority information, which is the number "3” indicating the content priority, for the character string "laundry”. In addition, the intent generation unit 132 acquires content priority information, which is the number "4" indicating the content priority, for the character strings "Yes/No" and “Yes: end, No: videophone”. The intent generating unit 132 generates intent information T3 including content priority information for each character string obtained.
  • the intent generation unit 132 acquires notification priority information (In priority), which is the number "3" indicating the notification priority, for the notification regarding application notification sentence #3.
  • the intent generation unit 132 generates intent information T3 including the acquired notification priority information.
  • the intent generation unit 132 generates intent information T3 including the acquired application priority information.
  • the intent generation unit 132 adds the number "3" indicating the notification priority and the number "3" indicating the application priority and averages them to obtain an average value "3".
  • the overall priority information indicates the overall priority of the intent information T3.
  • the transmitting unit 133 transmits intent information to the information processing apparatus 100 that generates a notification message based on the intent information. For example, when intent information is generated by the intent generation unit 132 , the transmission unit 133 transmits the intent information to the information processing apparatus 100 . For example, when the intent generating section 132 generates the intent information T1 to T3, the transmitting section 133 transmits the intent information T1 to T3 to the information processing apparatus 100 .
  • FIG. 3 is a diagram illustrating a configuration example of an information processing apparatus according to the embodiment.
  • information processing apparatus 100 includes communication section 110 , storage section 120 , sensor section 130 , voice output section 140 , voice recognition section 150 and control section 160 .
  • the communication unit 110 is implemented by, for example, a NIC, a modem chip, an antenna module, and the like. Also, the communication unit 110 is connected to the network N (see FIG. 1) by wire or wirelessly.
  • the storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM or flash memory, or a storage device such as a hard disk or an optical disk.
  • the sensor unit 130 includes various sensors.
  • the sensor unit 130 includes a GNSS (Global Navigation Satellite System).
  • the GNSS sensor uses GNSS to receive radio waves containing positioning data transmitted from navigation satellites.
  • the positioning data is used to detect the absolute position of the vehicle from latitude and longitude information.
  • the GNSS to be used may be, for example, GPS (Global Positioning System) or other systems.
  • the sensor unit 130 also outputs positioning data generated by the GNSS sensor to the control unit 160 .
  • the sensor unit 130 includes a vehicle speed sensor.
  • the vehicle speed sensor detects the running speed of the vehicle and generates vehicle speed data according to the running speed.
  • Sensor unit 130 also outputs vehicle speed data generated by the vehicle speed sensor to control unit 160 .
  • the sensor unit 130 includes an acceleration sensor.
  • the acceleration sensor detects acceleration of the vehicle and generates acceleration data according to the traveling acceleration.
  • Sensor unit 130 outputs acceleration data generated by the acceleration sensor to control unit 160 .
  • the sensor unit 130 may calculate the speed based on the acceleration data.
  • the sensor unit 130 includes a camera. Under the control of control unit 160, the camera captures the surroundings of the vehicle and generates a captured image. Also, the sensor unit 130 outputs the captured image generated by the camera to the control unit 160 .
  • the audio output unit 140 includes a speaker, converts a digital audio signal input from the control unit 160 into an analog audio signal by D/A (Digital/Analog) conversion, and outputs the analog audio signal from the speaker. Output audio.
  • D/A Digital/Analog
  • the voice output unit 140 voice-outputs the notification text generated by the generation unit 163 to the driver. Specifically, the voice output unit 140 voice-outputs each of the plurality of application notification sentences in the order determined by the generation unit 163 .
  • Speech recognition unit 150 is implemented by control unit 160 executing a speech recognition application stored in storage unit 120 . Also, the voice recognition unit 150 recognizes the voice of the driver's speech. The voice recognition unit 150 also converts the driver's speech received by a microphone forming a part of the voice input unit (not shown) into text data. Note that the conversion process to text data may be performed by a dedicated server (not shown).
  • the speech recognition unit 150 has a barge-in function.
  • the speech recognition unit 150 enables the barge-in function when the determination unit 164 determines to enable the barge-in function.
  • the speech recognition unit 150 disables the barge-in function.
  • the control unit 160 is a controller.
  • various programs (corresponding to an example of an information processing program) stored in a storage device inside the information processing apparatus 100 are stored in a RAM or the like by a CPU, MPU, ASIC, FPGA, or the like. It is realized by executing using a storage area as a work area.
  • the control unit 160 has an acquisition unit 161 , a calculation unit 162 , a generation unit 163 and a determination unit 164 .
  • Acquisition unit 161 acquires various types of information. Specifically, the acquisition unit 161 acquires situation information including traveling information about the traveling situation of the moving body and driving information about the driving situation of the driver. For example, the acquisition unit 161 obtains from the sensor unit 130, as examples of travel information, travel speed of a moving object, travel vehicle density, traffic congestion information, road type (highway, city road, community road, suburban road, mountain road, straight line, etc.). roads, intersections, on curves, etc.), time and weather (day, night, sunny, rain, snow, snow cover, ice, etc.).
  • the acquisition unit 161 receives traffic jam information, road types (highways, city roads, community roads, suburban roads, mountain roads, straight roads, intersections, curved roads, etc.), time and weather (days) from an external information providing device. during the day, at night, sunny, rainy, snowy, snowy, frozen, etc.).
  • road types highways, city roads, community roads, suburban roads, mountain roads, straight roads, intersections, curved roads, etc.
  • time and weather days
  • the acquisition unit 161 acquires the driver's attribute information, the presence or absence of a fellow passenger, and the fellow passenger's attribute information as an example of the driving information.
  • the acquisition unit 161 acquires driver attribute information and fellow passenger attribute information registered in advance in a predetermined database.
  • the acquisition unit 161 may acquire information regarding the presence or absence of a fellow passenger from the driver based on the driver's self-declaration.
  • the acquisition unit 161 acquires each intent information from each of a plurality of applications.
  • FIG. 4 is a diagram illustrating an overview of information processing according to the embodiment.
  • the acquiring unit 161 of the information processing apparatus 100 acquires the intent information T1 to T3 from the three applications #1 to #3 at the same time.
  • the acquisition unit 161 obtains, from the application, character string information indicating a character string that constitutes a notification sentence to be output by voice to the driver of the mobile object, and intent indicating the type of notification set for each character string.
  • Get intent information including information and
  • the acquisition unit 161 acquires intent information further including content priority information indicating the content priority set for each character string.
  • the acquisition unit 161 acquires intent information that further includes notification priority information indicating the notification priority set for each piece of intent information.
  • the acquisition unit 161 acquires intent information further including application priority information indicating an application priority set for each application.
  • the acquisition unit 161 acquires the output delay timing indicating the timing at which notification of the notification text should be completed.
  • the output delay timing may be the time when the notification of the notification text should be completed or the place where the notification of the notification text should be completed.
  • the acquisition unit 161 acquires the output delay timing based on the intent information acquired from the application. For example, based on the intent information T1, the acquiring unit 161 acquires the information "next intersection" as the output delay timing of the notification message regarding the intent information T1. Further, based on the intent information T2, the acquiring unit 161 acquires the information “next intersection” and the information “cake shop” as output delay timings of the notification text related to the intent information T2. Further, based on the intent information T3, the acquiring unit 161 acquires the information "one hour later" as the delay timing for outputting the notification message regarding the intent information T3.
  • the calculator 162 calculates an output delay time, which is the remaining time until the output delay timing is reached. Specifically, the calculation unit 162 calculates the output delay time based on the output delay timing acquired by the acquisition unit 161 . For example, when the output delay timing is a predetermined time, the calculation unit 162 calculates the remaining time from the current time to the predetermined output delay timing as the output delay time. Further, when the output delay timing is at the predetermined position, the calculation unit 162 calculates the expected arrival time from the current position to the predetermined position at the output delay timing as the output delay time. For example, the calculation unit 162 calculates the expected arrival time based on the distance to the predetermined position and the expected average speed of the moving object.
  • the calculation unit 162 calculates a degree of safety indicating the degree of safety of the traveling situation of the moving object or the driving situation of the driver. For example, the calculator 162 calculates a higher degree of safety as the vehicle speed is lower. Also, for example, the calculation unit 162 calculates that the degree of safety is higher when running on a suburban road than on a city road.
  • the calculation unit 162 calculates, based on the situation information acquired by the acquisition unit 161, the margin indicating the degree of leeway that the driver can pay attention to other than driving the moving object. For example, the calculation unit 162 calculates that the margin is higher when running on a straight road than when running on a non-straight road. Also, for example, the calculation unit 162 calculates the margin to be lower when the weather is rainy than when the weather is sunny.
  • the calculation unit 162 After calculating the degree of safety and the degree of margin, the calculation unit 162 then calculates the output grace period based on the calculated degree of safety and the degree of margin. Specifically, the calculation unit 162 calculates a longer output delay time as the degree of safety is higher. For example, the calculation unit 162 calculates the output delay time longer than the expected arrival time as the degree of safety is higher. Further, the calculation unit 162 calculates a longer output delay time as the margin is higher. For example, the calculation unit 162 calculates the output delay time longer than the expected arrival time as the degree of safety is higher.
  • the generation unit 163 generates a notification sentence that is output as voice to the driver based on the intent information. For example, the generation unit 163 generates a notification sentence that is output as voice to the driver based on the character string information and the intention information included in the intent information. More specifically, generation unit 163 generates a notification message including a character string based on the character string information and the intention information, and the timing at which the voice output of the generated notification message is completed is more than the output delay timing. Change the wording of the notification text so that it is before. The generation unit 163 changes the expression of the notification text to generate a notification text that can be played back within the output delay time.
  • the generation unit 163 generates a provisional notification text including a character string, and if the reproduction time of the provisional notification text does not exceed the output grace time, the expression of the notification text is more pronounced than the provisional notification text.
  • Change to a polite expression For example, the generating unit 163 generates intention information corresponding to the character strings “next intersection” and “turn right” and the character strings “next intersection” and “turn right” included in the intent information T1 shown in FIG. Based on a certain "route” character string, a provisional notification text "Turn right at the next intersection” with a reproduction time of 2 seconds is generated. At this time, assuming that the output delay time is 3 seconds, the generation unit 163 converts the expression of the provisional notification text into a temporary Change to a more polite expression "Turn right at the next intersection” (playback time: 2.5 seconds).
  • the generation unit 163 generates a provisional notification message including a character string, and if the reproduction time of the provisional notification message exceeds the output delay time, the expression of the notification message is changed to a writing style that does not include the auxiliary verb at the end of the sentence. .
  • the generating unit 163 generates intention information corresponding to the character strings "next intersection” and “turn right” and the character strings “next intersection” and “turn right” included in the intent information T1 shown in FIG. Based on a certain "route” character string, a provisional notification text "Turn right at the next intersection” with a reproduction time of 2.5 seconds is generated.
  • the generation unit 163 changes the representation of the notification text to the end of the sentence because the playback time (2.5 seconds) of the provisional notification text exceeds the output delay time (2 seconds). Change the sentence style to "Turn right at the next intersection" (playback time: 2 seconds) without the auxiliary verb. It should be noted that, when the reproduction time of the provisional notification text exceeds the output delay time, the generating unit 163 may change the expression of the notification text to a stylistic ending of the formal statement.
  • the generation unit 163 generates a notification sentence that is output to the driver by voice based on the character string information, the intention information, and the content priority information. Specifically, the generation unit 163 generates a notification message including a character string based on the content priority so that the voice output of the notification message is completed before the output delay timing. More specifically, the generation unit 163 generates a provisional notification message including a plurality of character strings with different content priorities, and if the playback time of the provisional notification message exceeds the output delay time, the provisional notification message are deleted in order from the character string with the lowest content priority among the plurality of character strings included in the to generate a notification text that can be reproduced within the output delay time.
  • the generation unit 163 generates the character strings “next intersection” and “turn right” with a content priority of “1” and “first intersection” with a content priority of “2” included in the intent information T1 shown in FIG. "Inner side” and “Convenience store” with a content priority of "3". Turn right at the intersection ahead. Convenience store A is the landmark. ” is generated. Next, the generation unit 163 estimates the playback time of the provisional notification text to be 8 seconds.
  • the generation unit 163 At this time, assuming that the output delay time is 7 seconds, the generation unit 163 generates multiple Delete the character string "convenience store” of "3", which has a low content priority among the character strings of . Next, the generation unit 163 generates the character string "next intersection” and “turn right” with a content priority of "1" and the character string “innermost” with a content priority of "2". Turn right at the intersection of . Please drive in the innermost lane.” is generated. Next, the generation unit 163 estimates the playback time of the provisional notification text to be 6 seconds. Since the playback time (6 seconds) of the provisional notification text does not exceed the output delay time (7 seconds), the generation unit 163 adopts the generated provisional notification text as the notification text.
  • the generation unit 163 generates a plurality of different application notification texts based on a plurality of different intent information acquired from each of a plurality of different applications, and based on the notification priority information acquired by the acquisition unit 161. , the application notification text generated based on the intent information with the highest notification priority among the plurality of application notification texts is determined to be output as voice in order.
  • the generating unit 163 generates three different application notification sentences #1′ to #3′ based on intent information #1 to #3 obtained from three different applications #1 to #3, respectively. . Subsequently, the generation unit 163 determines that the notification priority of application #1 is “1”, the notification priority of application #2 is “2”, and the notification priority of application #2 is “2”, based on the notification priority information included in each of the intent information #1 to #3. Information that the notification priority of application #3 is "3" is acquired. Next, when outputting a notification text including three application notification texts #1′ to #3′, the generation unit 163 generates an application notification generated based on the intent information #1 having the highest notification priority.
  • Sentence #1′ is first voice-output
  • application notification sentence #2′ generated based on intent information #2 with the next highest notification priority is voice-output second
  • notification sentence #2′ with the lowest notification priority is voice-output second.
  • it is determined that the application notification sentence #3' generated based on the tent information #3 is to be voice-output.
  • the generation unit 163 may determine the order of outputting a plurality of application notification sentences based on the application priority instead of the notification priority. Specifically, the generation unit 163 generates a plurality of different application notification texts based on a plurality of different intent information acquired from a plurality of different applications, respectively, and generates the application priority information acquired by the acquisition unit 161. , it is determined that the application notification text regarding the application with the higher application priority among the plurality of application notification texts is to be output as a voice in order.
  • the generation unit 163 determines that the application priority of application #1 is “1”, the application priority of application #2 is “2”, and the application priority of application #2 is “2”. The information that the application priority of #3 is "3" is acquired. Subsequently, when outputting a notification text including three application notification texts #1′ to #3′, the generation unit 163 generates an application notification based on the intent information #1 having the highest application priority. Sentence #1′ is first voice-output, application notification sentence #2′ generated based on intent information #2 with the next highest application priority is voice-output second, and notification sentence #2′ with the lowest application priority is voice-output. Finally, it is determined that the application notification sentence #3' generated based on the tent information #3 is to be voice-output.
  • the generation unit 163 may determine the order of outputting a plurality of application notification texts by voice based on the overall priority indicating the overall priority instead of the notification priority or the application priority. Specifically, the generation unit 163 generates a plurality of different application notification texts based on a plurality of different intent information acquired from a plurality of different applications, respectively, and generates the overall priority information acquired by the acquisition unit 161. , it is decided to output the application notification text by voice in order from the application notification text related to the application with the highest overall priority among the plurality of application notification texts.
  • the generation unit 163 determines that the overall priority of application #1 is "1", the overall priority of application #2 is “2", and the overall priority of application #2 is "2". Acquire information that the overall priority of #3 is "3". Subsequently, when outputting a notification text including three application notification texts #1′ to #3′, the generation unit 163 generates an application notification based on the intent information #1 having the highest overall priority. Sentence #1′ is first voice-output, application notification sentence #2′ generated based on intent information #2 with the second highest overall priority is voice-output second, and notification sentence #2′ with the lowest overall priority is voice-output. Finally, it is determined that the application notification sentence #3' generated based on the tent information #3 is to be voice-output.
  • the generation unit 163 generates all the application notification texts that can be generated based on each intent information acquired from each application. For example, based on the intent information T1 shown in FIG. ) and "Turn right at the next intersection" (reproduction time: 2.5 seconds). In addition, the generation unit 163 generates an application notification message "Turn right at the next intersection. Please drive in the innermost lane.” Generate #12. In addition, the generation unit 163 generates an application notification text #13 that includes a character string of all notification priority levels, such as “Turn right at the intersection ahead. do. In this way, the generation unit 163 generates all of the application notification texts #11', #11, #12, and #13 that can be generated based on the intent information T1.
  • the generation unit 163 Based on the intent information T2 shown in FIG. 6 obtained from application #2, the generation unit 163 generates the message "After turning right at the next intersection, 400 m pastry shop” containing only the character string with the content priority of "1". and "A cake shop is 400 m ahead after turning right at the next intersection” are generated. In addition, the generation unit 163 generates an application notification message #22 that includes a character string with a content priority of “2” or lower, saying “After turning right at the next intersection, there is a cake shop 400 meters ahead.
  • the generation unit 163 generates an application notification text # that includes a character string with a content priority of “3” or less, “After turning right at the next intersection, there is a cake shop “XXX” 400 meters ahead. Montblanc is recommended.” 23 is generated. In addition, the generation unit 163 generates a character string of all notification priority, including "After turning right at the intersection ahead, there is a cake shop 'XXX' that has recently been talked about on TV. Recommended.” is generated as the application notification message #24. In this way, the generation unit 163 generates all of the application notification texts #21′, #21, #22, #23, and #24 that can be generated based on the intent information T2.
  • the generation unit 163 Based on the intent information T3 shown in FIG. 7 acquired from the application #3, the generation unit 163 generates a message "A passing rain is forecast near my house.” An application notification sentence #31 is generated. In addition, generation unit 163 generates application notification text #32, which includes a character string with a content priority of “2” or lower, and reads, “There is a rain forecast near your home in one hour.” In addition, the generating unit 163 generates an application notification text #33 that includes a character string with a content priority of “3” or lower, and reads “There is a shower forecast near your home in 1 hour. to generate In addition, the generation unit 163 generates a message containing a character string indicating the priority of all notifications. ) Connect your home and TV phone. /(if the user's response is "yes", end)" is generated. In this way, the generation unit 163 generates all of the application notification texts #31, #32, #33, and #34 that can be generated based on the intent information T3.
  • the generating unit 163 estimates the playback time of each application notification text. For example, the generation unit 163 generates application notification messages #11′, #11, #12, #13, #21′, #21, #22, #23, #24, #31, #32, #33. and #34 are estimated.
  • the generation unit 163 selects the application notification text with the longest playback time from among the application notification texts. For example, generation unit 163 generates application notification text #13, which is the longest among the notification texts related to application #1, application notification text #24, which is the longest among the notification texts related to application #2, and notification text related to application #3. Select the longest app notification sentence #34.
  • the generation unit 163 selects the application notification text with the longest playback time from each application notification text, it estimates the total playback time of the notification text including all the selected application notification texts. For example, the generation unit 163 estimates the total playback time of notification texts including all of the selected application notification text #13, application notification text #24, and application notification text #34. Subsequently, the generation unit 163 determines whether or not the total reproduction time of the notification text is equal to or less than the output grace period.
  • generation unit 163 determines that the total playback time of the notification text is equal to or less than the output grace period, it determines to output the selected application notification text. When determining to output the selected application notification text, generation unit 163 generates a notification text including all of the selected application notification text.
  • the generation unit 163 determines that the total reproduction time of the notification message is not equal to or less than the output grace time, the generation unit 163 generates the following in descending order of application priority (or notification priority or overall priority).
  • the generation unit 163 sets the application priority. In order from the lowest application #3, the next shortest application notification sentence #33 is selected instead of the application notification sentence #34.
  • the generation unit 163 estimates the total playback time of the notification message including all the selected application notification messages.
  • the generating unit 163 generates a temporary notification text including a plurality of application notification texts with different application priorities (or may be notification priorities or overall priorities), and generates temporary notification texts. If the total playback time exceeds the output grace time, among the multiple application notification texts included in the temporary notification text, the one with the lower application priority (or notification priority or overall priority) The length of the application notification text is shortened in order from the application notification text, and the notification text that can be reproduced within the output grace time is generated.
  • the determination unit 164 Based on the situation information acquired by the acquisition unit 161, the determination unit 164 receives the driver's response to the notification when outputting a notification message regarding notification content requiring a response from the driver to the driver. Determine reception hours. Specifically, the determination unit 164 determines the acceptance time based on a comparison between the reproduction time of the notification text generated by the generation unit 163 and the output grace time calculated by the calculation unit 162 . More specifically, when the total playback time of the provisional notification text including the character string generated by the generation unit 163 is longer than the output grace time by less than a predetermined time, the determination unit 164 determines that the reception time is short. decide.
  • the generation unit 163 When the determination unit 164 determines that the reception time is short, the generation unit 163 generates a notification message that includes only the option numbers and option items to be selected by the driver. For example, the generation unit 163 generates option numbers “1”, “2”, “1. A notification message is generated that includes only "3” and the option items "Italian”, “Chinese”, and "Japanese”.
  • the determination unit 164 determines that there is no reception time when the total playback time of the provisional notification text is longer than the output delay time by a predetermined time or more. If the determination unit 164 determines that there is no reception time, the generation unit 163 generates a notification message that does not include notification content that requires a response from the driver. For example, when the determination unit 164 determines that there is no reception time, the generation unit 163 generates a user response including "There is a shower forecast near your house in one hour. Is it safe to take in the laundry?" (If the user answers "No") connect home and videophone. /(end if user response is "yes")” instead of app notification sentence #34, which deleted the following user response: "There is a forecast of rain near your home in 1 hour. Are you okay?" is generated as an application notification message #34'.
  • the determining unit 164 determines the reception time based on the degree of safety and the degree of margin calculated by the calculating unit 162 . For example, the determining unit 164 determines a longer reception time as the degree of safety calculated by the calculating unit 162 is higher. Further, the determination unit 164 determines a longer reception time as the margin calculated by the calculation unit 162 is higher.
  • the determination unit 164 determines whether to enable the barge-in function of the speech recognition unit 150 based on the situation information acquired by the acquisition unit 161 . Specifically, the determination unit 164 determines whether to enable the barge-in function of the speech recognition unit 150 based on the degree of safety and the degree of margin calculated by the calculation unit 162 . For example, the determining unit 164 determines to enable the barge-in function when the degree of safety calculated by the calculating unit 162 exceeds the first threshold. Further, the determination unit 164 determines to enable the barge-in function when the margin calculated by the calculation unit 162 exceeds the second threshold.
  • the transmission unit 165 transmits the information acquired by the acquisition unit 161 to the application device 10 .
  • the transmitting unit 165 transmits to the application apparatus 10 the situation information including the traveling information concerning the traveling situation of the moving object acquired by the acquiring unit 161 and the driving information concerning the driving situation of the driver.
  • the transmission unit 165 transmits status information to the application device 10 in real time.
  • the transmission unit 165 may transmit the status information to the application device 10 at predetermined time intervals (for example, every 30 seconds or 1 minute).
  • FIG. 8 is a flowchart illustrating an example of information processing according to the embodiment.
  • the calculation unit 162 of the information processing apparatus 100 calculates the output delay time, which is the remaining time until the output delay timing is reached (step S101).
  • the generation unit 163 of the information processing device 100 generates all the application notification texts that can be generated based on each intent information acquired from each application (step S102). After generating all the application notification texts that can be generated, the generation unit 163 estimates the playback time of each application notification text (step S103).
  • the generation unit 163 After estimating the playback time of each application notification text, the generation unit 163 selects the application notification text with the longest playback time from each application notification text (step S104). After selecting the application notification text with the longest playback time from each application notification text, the generating unit 163 estimates the total playback time of the notification text including all the selected application notification texts (step S105). Subsequently, the generation unit 163 determines whether or not the total reproduction time of the notification text is equal to or less than the output delay time (step S106).
  • step S106 determines that the total reproduction time of the notification text is equal to or less than the output grace time (step S106; Yes). It determines to output the selected application notification text (step S107). When determining to output the selected application notification text, generation unit 163 generates a notification text including all of the selected application notification text.
  • step S106 determines that the total reproduction time of the notification text is not equal to or less than the output grace time (step S106; No)
  • step S108 selects the next shortest application notification text in descending order of application priority
  • step S105 estimates the total playback time of the notification text including all the selected application notification texts
  • the generation unit 163 generates a provisional notification message including a plurality of character strings with different content priorities, and if the playback time of the provisional notification message exceeds the output grace time, the provisional notification message I explained the case of generating a notification text that can be played within the output grace time by deleting in order from the character string with the lowest content priority among the multiple character strings contained in the It is not limited to this.
  • the generation unit 163 generates a provisional notification message that preferentially includes a character string with a higher content priority among a plurality of character strings with different content priorities, and generates a provisional notification message.
  • a character string having a content priority lower than that of the character string included in the provisional notification text is added to generate a notification text that can be reproduced within the output delay time.
  • the generation unit 163 sets the content priority over the character string included in the provisional notification text because the total playback time of the temporary notification text does not exceed the output delay time.
  • a character string of "2" with a low value is added to generate a notification text that can be played back within the output grace period.
  • the generation unit 163 adds a character string with a low content priority of “2” to a character string with a content priority of “1” and writes “Turn right at the next intersection. Please.” (reproduction time: 6 seconds).
  • the generation unit 163 generates a provisional notification text including a plurality of application notification texts with different application priorities (or may be notification priority or overall priority). If the total playback time of the notification text exceeds the output grace time, the application priority (or the notification priority or overall priority may be used) among the multiple application notification texts included in the temporary notification text.
  • the application priority or the notification priority or overall priority may be used among the multiple application notification texts included in the temporary notification text
  • the generation unit 163 selects the application priority (or the notification priority or the total priority) generates a temporary notification text that includes the higher application notification text preferentially, and if the total playback time of the temporary notification text does not exceed the output grace time, the temporary notification text Add an application notification text with a lower application priority (or it may be notification priority or general priority) than the application notification text included in the , and generate a notification text that can be played within the output grace period .
  • the generation unit 163 generates application notification text #1 with an application priority of “1”, application notification text #2 with an application priority of “2”, application notification text #3 with an application priority of “3”, application Generate provisional notification texts that preferentially include application notification texts #1 to #3 with application priorities of 1 to 3 among application notification texts #4, . . . . Subsequently, if the total playback time of the provisional notification text including all of the application notification texts #1 to #3 does not exceed the output grace period, the generating unit 163 generates more application notification texts than the application notification texts included in the provisional notification texts. An application notification text #4 having a low priority application priority of "4" is added to the provisional notification text to generate a notification text that can be played back within the output delay time.
  • the generation unit 163 generates a provisional notification text including a plurality of application notification texts with different application priorities (or may be notification priority or overall priority). If the total playback time of the notification text exceeds the output grace time, the application priority (or the notification priority or overall priority may be used) among the multiple application notification texts included in the temporary notification text.
  • the application priority or the notification priority or overall priority may be used among the multiple application notification texts included in the temporary notification text
  • the generation unit 163 generates a temporary notification message including a plurality of application notification messages with different application priorities (or may be notification priority or overall priority), and generates a provisional notification message. If the total playback time of exceeds the output grace time, the one with the lower application priority (or notification priority or overall priority) among the multiple application notification texts included in the temporary notification text Delete the notification sentences from the application in order, and generate a notification sentence that can be played within the output grace period.
  • the generation unit 163 generates application notification text #1 with an application priority of “1”, application notification text #2 with an application priority of “2”, application notification text #3 with an application priority of “3”, and application notification text #3 with an application priority of “3”.
  • a provisional notification text including application notification text #4 with a priority of "4" is generated.
  • the generation unit 163 selects the lowest application priority among the plurality of application notification texts included in the provisional notification text.
  • the application notification text #4 of "4" is deleted in order to generate a notification text that can be reproduced within the output grace period.
  • the intent generation unit 132 generates an application notification text and generates intent information based on the generated application notification text. is not limited to Specifically, the intent generation unit 132 may generate intent information based on the status information acquired from the information processing device 100 . For example, the intent generating unit 132 generates intent information T1 to T3 shown in FIGS. Then, the transmission unit 133 transmits the intent information generated by the intent generation unit 132 to the information processing apparatus 100 .
  • the information processing apparatus 100 generates a notification message based on the content priority information, the notification priority information, the application priority information, or the overall priority information acquired from the application apparatus 10. Illustrated, but not limited to. Specifically, the generation unit 163 of the information processing device 100, when generating a notification text, based on the past notification history, the user's attribute information, the interest information, the fellow passenger information, and the situation information, the content Changes may be made to priority, notification priority, app priority, or overall priority.
  • the generation unit 163 generates information (for example, a character string) that the user is likely to be interested in, based on the past notification history, user attribute information, interest information, fellow passenger information, and situation information. It may be weighted so that it has a higher priority. Further, for example, the generation unit 163 sets the notification priority for notifications that did not respond to notifications in the past based on a history of no response to notifications (no visits to facilities, no response within the response time). It can be weighted so that it is low. The generation unit 163 generates a notification text based on the weighted content priority, notification priority, application priority, or overall priority.
  • information for example, a character string
  • the application device 10 includes the intent generator 132 and the transmitter 133 .
  • the intent generation unit 132 includes character string information indicating a character string that constitutes a notification sentence to be voice-output to the driver of the mobile object, intention information indicating the type of notification set for each character string, and Generate intent information containing
  • the transmitting unit 133 transmits intent information to the information processing apparatus 100 that generates a notification message based on the intent information.
  • the application device 10 provides the information processing apparatus 100 that generates the notification text with intent information, which is information obtained by converting information related to the notification text into metadata, instead of providing a fixed notification text. .
  • intent information which is information obtained by converting information related to the notification text into metadata.
  • the application apparatus 10 can generate a notification text that can convey necessary information to the driver of the mobile object within a desired time according to the situation information. to Therefore, the application device 10 can appropriately convey necessary information to the driver of the mobile object.
  • intent generation unit 132 generates intent information that further includes content priority information indicating the content priority set for each character string.
  • the application device 10 enables the information processing device 100 to generate a notification message that can appropriately convey necessary information to the driver of the mobile object according to the content priority.
  • intent generation unit 132 generates intent information that further includes notification priority information indicating the notification priority set for each piece of intent information.
  • intent generation unit 132 generates intent information that further includes application priority information indicating the application priority set for each application that generates intent information.
  • the intent generation unit 132 generates an application notification text regarding notifications, and generates intent information based on the generated application notification text. For example, the intent generation unit 132 generates intent information including a character string extracted from the application notification text.
  • the application device 10 can effectively utilize application notification texts generated by existing applications to generate intent information.
  • the application device 10 further includes an acquisition unit 131 .
  • Acquisition unit 131 acquires a machine learning model that receives an application notification text and outputs intent information.
  • the acquisition unit 131 acquires a machine learning model learned based on learning data including a combination of the application notification text and the intent information.
  • the intent generation unit 132 generates intent information by inputting the application notification text into the machine learning model.
  • the application device 10 can generate appropriate intent information from the application notification text without human intervention.
  • the intent generation unit 132 associated with the application apparatus 10 is realized by executing a processing procedure associated with the information processing program using the RAM as a work area of the information processing program by the CPU, MPU, or the like of the application apparatus 10 .
  • the intent generating unit 132 related to the application device 10 uses the CPU, MPU, etc. of the application device 10 to perform information processing related to intent information generation processing related to the information processing program using the RAM as a work area. It is realized by executing a procedure.
  • Other units related to the application device 10 are similarly realized by executing each procedure by the information processing program.
  • FIG. 9 is a hardware configuration diagram showing an example of a computer that implements the functions of the application device 10 or the information processing device 100.
  • Computer 1000 includes CPU 1100 , RAM 1200 , ROM 1300 , HDD 1400 , communication interface (I/F) 1500 , input/output interface (I/F) 1600 and media interface (I/F) 1700 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section.
  • the ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.
  • the HDD 1400 stores programs executed by the CPU 1100 and data used by these programs.
  • Communication interface 1500 receives data from another device via a predetermined communication network, sends the data to CPU 1100, and transmits data generated by CPU 1100 to another device via a predetermined communication network.
  • the CPU 1100 controls output devices such as displays and printers, and input devices such as keyboards and mice, via an input/output interface 1600 .
  • CPU 1100 acquires data from an input device via input/output interface 1600 .
  • CPU 1100 also outputs the generated data to an output device via input/output interface 1600 .
  • an MPU Micro Processing Unit
  • a GPU Graphics Processing Unit
  • the media interface 1700 reads programs or data stored in the recording medium 1800 and provides them to the CPU 1100 via the RAM 1200 .
  • CPU 1100 loads such a program from recording medium 1800 onto RAM 1200 via media interface 1700, and executes the loaded program.
  • the recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. etc.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 13 or the control unit 160 by executing programs loaded on the RAM 1200.
  • CPU 1100 of computer 1000 reads these programs from recording medium 1800 and executes them, but as another example, these programs may be obtained from another device via a predetermined communication network.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • section, module, unit can be read as “means” or “circuit”.
  • acquisition unit can be read as acquisition means or an acquisition circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

情報処理プログラムは、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、インテント情報に基づいて通知文を生成する情報処理装置に対して、インテント情報を送信する送信ステップと、をコンピュータに実行させるための情報処理プログラムである。

Description

情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造
 本発明は、情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造に関する。
 従来、複数種類の音声出力が同時に存在する場合において、複数種類の音声出力を制御する技術が知られている。例えば、先発の音声情報の有意の内容を伝え終わる予定時刻と、後発の音声情報の出力要求の発生時点から出力が開始されるまでの遅延の許容時間とに基づく時間的関係に応じて、後発の音声情報の出力の待機の可否を判断する。そして、待機可能と判断されたことを条件に、後発の音声情報の出力を待機させ、先発の音声情報の出力を優先的に行った後で、後発の音声情報の出力を行う技術が知られている。
特許第6020189号公報
 しかしながら、上記の従来技術では、先発の音声情報の出力を優先的に行った後で、後発の音声情報の出力を行うにすぎないため、所望の時間内に、先発の音声情報と後発の音声情報の両方を出力することができるとは限らない。すなわち、上記の従来技術では、所望の時間内に、利用者に対して必要な情報を伝えきることができるとは限らない。
 また、上記の従来技術では、音声割り込みによって内容が分かりにくくなってしまうといった課題や、利用者の応答が必要な場合などについて考慮されていないといった課題が存在する。
 本発明は、上記に鑑みてなされたものであって、移動体の運転者に対して必要な情報を適切に伝えることを可能にする情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造を提供することを目的とする。
 請求項1に記載の情報処理プログラムは、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、をコンピュータに実行させるための情報処理プログラムである。
 また、請求項9に記載の情報処理方法は、情報処理装置が実行する情報処理方法であって、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、を含むことを特徴とする。
 また、請求項10に記載の記憶媒体は、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、をコンピュータに実行させるための情報処理プログラムを記憶したことを特徴とする。
 また、請求項11に記載のアプリケーション装置は、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成部と、前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信部と、を備えることを特徴とする。
 また、請求項12に記載のデータ構造は、移動体の運転者に対して音声出力される通知文を生成する生成部を備える情報処理装置が前記通知文を生成する処理のために用いられるデータ構造であって、前記通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含み、前記生成部に、前記文字列情報と、前記意図情報とに基づく通知に要する長さ情報を生成させ、前記通知に要する長さ情報と前記通知文の通知を完了すべきタイミングを示す出力猶予タイミングとに基づいて、前記通知文を生成させる、データ構造。
図1は、実施形態に係る情報処理システムの構成例を示す図である。 図2は、実施形態に係るアプリケーション装置の構成例を示す図である。 図3は、実施形態に係る情報処理装置の構成例を示す図である。 図4は、実施形態に係る情報処理の概要を示す図である。 図5は、実施形態に係るインテント情報の一例を示す図である。 図6は、実施形態に係るインテント情報の一例を示す図である。 図7は、実施形態に係るインテント情報の一例を示す図である。 図8は、実施形態に係る情報処理手順を示すフローチャートである。 図9は、アプリケーション装置または情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、図面を参照しつつ、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施形態)
〔1.情報処理システムの構成〕
 まず、図1を用いて、実施形態に係る情報処理システムの構成について説明する。図1は、実施形態に係る情報処理システムの構成例を示す図である。図1に示すように、情報処理システム1には、アプリケーション装置10(以下、アプリ装置10ともいう)と、情報処理装置100とが含まれる。アプリ装置10と、情報処理装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、図1に示した情報処理システム1には、複数台のアプリ装置10や、複数台の情報処理装置100が含まれてもよい。
 アプリケーション装置10は、車両(移動体の一例)の運転者に対して情報提供を行うアプリケーションを実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。図1では、アプリケーション装置10がクラウドシステムにより実現される場合を示す。なお、以下の説明では、移動体が車両である例を説明するが、移動体は車両に限られない。本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 また、以下では、アプリケーション装置10で実行されるアプリケーションの種類に応じて、アプリケーション装置10をアプリ装置10-1、10-2として説明する。例えば、アプリ装置10-1は、アプリケーション#1(以下、アプリ#1ともいう)が実行されるアプリケーション装置10である。また、例えば、アプリ装置10-2は、アプリケーション#2(以下、アプリ#2ともいう)が実行されるアプリケーション装置10である。また、以下では、アプリ装置10-1、10-2について、特に区別なく説明する場合には、アプリケーション装置10と記載する。
 情報処理装置100は、例えば、車両に設置される据え置き型のナビゲーション装置またはドライブレコーダーである。なお、情報処理装置100としては、ナビゲーション装置またはドライブレコーダーに限らず、車両の乗員が利用するスマートフォン等の携帯型端末を採用しても構わない。
〔2.アプリケーション装置の構成〕
 次に、図2を用いて、実施形態に係るアプリケーション装置の構成について説明する。図2は、実施形態に係るアプリケーション装置の構成例を示す図である。図2に示すように、アプリケーション装置10は、通信部11と、記憶部12と、制御部13とを有する。
(通信部11)
 通信部11は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部11は、ネットワークN(図1参照)と有線又は無線で接続される。
(記憶部12)
 記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部12は、インテント情報を生成するために用いられる機械学習モデルに関する情報を記憶する。また、記憶部12は、アプリケーションごとに設定されているアプリ優先度を示すアプリ優先度情報を記憶する。
 また、記憶部12は、情報処理装置100のID(各車両に搭載された情報処理装置100を識別する識別情報の一例)に紐づけられた形で、車両の位置情報などのセンサ情報を含む状態情報や、探索経路と目的地などを含む案内経路情報、利用者の興味関心情報、利用者の予定情報などを記憶する。
(制御部13)
 制御部13は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、アプリケーション装置10の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図2に示す例では、制御部13は、取得部131と、インテント生成部132と、送信部133とを有する。
(取得部131)
 取得部131は、各種の情報を取得する。例えば、取得部131は、アプリ通知文を入力とし、インテント情報を出力する機械学習モデルを取得する。例えば、取得部131は、アプリ通知文とインテント情報との組合せを含む学習データに基づいて学習された機械学習モデルを取得する。取得部131は、機械学習モデルを取得すると、取得した機械学習モデルに関する情報を記憶部12に格納する。
 また、取得部131は、情報処理装置100から通信部11を介して情報処理装置100の位置情報などを含むセンサ情報や、車両に乗車している利用者の音声認識の結果等を取得する。
(インテント生成部132)
 インテント生成部132は、移動体の運転者に対して音声出力される通知文に関する情報をメタデータ化した情報であるインテント情報を生成する。ここで、図5~図7を用いて、実施形態に係るインテント情報について説明する。図5~図7は、実施形態に係るインテント情報の一例を示す図である。
 インテント生成部132は、通知に関するアプリ通知文を生成する。図5に示す例では、インテント生成部132は、情報処理装置100の案内経路情報や位置情報に基づき「この先の交差点を右折です。コンビニAが目印です。一番内側の車線を走行して下さい。」というアプリ通知文#13を生成する。インテント生成部132は、アプリ通知文#13を生成すると、生成したアプリ通知文#13に基づいて、インテント情報T1を生成する。
 例えば、インテント生成部132は、アプリ通知文#13から文字列を抽出する。続いて、インテント生成部132は、抽出された文字列を含むインテント情報T1を生成する。図5に示す例では、インテント生成部132は、記憶部12を参照して、アプリ通知文を入力とし、通知内容を示す文字列を出力する機械学習モデル#1を取得する。例えば、インテント生成部132は、アプリ通知文と通知内容を示す文字列との組合せを含む学習データに基づいて学習された機械学習モデル#1を取得する。インテント生成部132は、機械学習モデル#1を取得すると、取得した機械学習モデル#1にアプリ通知文#13を入力して、機械学習モデル#1から出力された「次の交差点」、「右折」、「コンビニ」、「一番内側」といった通知内容を示す文字列を取得する。インテント生成部132は、取得した文字列を含むインテント情報T1を生成する。
 あるいは、インテント生成部132は、機械学習モデルを用いる代わりに、形態素解析等の自然言語処理に関する技術を用いて、アプリ通知文から文字列を抽出してもよい。例えば、インテント生成部132は、アプリ通知文##13を形態素解析して、アプリ通知文#1から「この先」、「交差点」、「右折」、「コンビニA」、「一番」、「内側」といった単語を抽出する。続いて、インテント生成部132は、抽出した単語を所定の辞書情報と照らし合わせて、単語の品詞の種類、活用形の種類、同義語などを割り出す。続いて、インテント生成部132は、抽出した単語を所定の辞書情報と照らし合わせた結果に基づいて、「次の交差点」、「右折」、「コンビニ」、「一番内側」といった通知内容を示す文字列を含むインテント情報T1を生成する。
 また、インテント生成部132は、文字列ごとに設定されている通知の種類を示す意図情報を含むインテント情報を生成する。例えば、インテント生成部132は、記憶部12を参照して、アプリ通知文を入力とし、通知の種類を示す意図情報を文字列ごとに出力する機械学習モデル#2を取得する。例えば、インテント生成部132は、アプリ通知文と文字列ごとに設定されている意図情報との組合せを含む学習データに基づいて学習された機械学習モデル#2を取得する。例えば、インテント生成部132は、アプリ通知文が入力された場合に、出力情報として文字列ごとの通知の種類を示す文字列を出力するよう学習された機械学習モデル#3を取得する。
 インテント生成部132は、機械学習モデル#2を取得すると、取得した機械学習モデル#2にアプリ通知文#1を入力して、機械学習モデル#2から出力された文字列ごとの意図情報を取得する。図5では、インテント生成部132は、「次の交差点」および「右折」の文字列について、通知の種類を示す「経路」という文字列である意図情報を取得する。また、インテント生成部132は、「コンビニ」の文字列について、通知の種類を示す「目印」という文字列である意図情報を取得する。また、インテント生成部132は、「一番内側」の文字列について、通知の種類を示す「走行車線」という文字列である意図情報を取得する。インテント生成部132は、取得した文字列ごとの意図情報を含むインテント情報T1を生成する。
 また、インテント生成部132は、文字列ごとに設定されている内容優先度を示す内容優先度情報を含むインテント情報を生成する。例えば、インテント生成部132は、記憶部12を参照して、アプリ通知文を入力とし、内容優先度を示す内容優先度情報を文字列ごとに出力する機械学習モデル#3を取得する。例えば、インテント生成部132は、アプリ通知文と文字列ごとに設定されている内容優先度情報との組合せを含む学習データに基づいて学習された機械学習モデル#3を取得する。例えば、インテント生成部132は、アプリ通知文が入力された場合に、出力情報として文字列ごとの内容優先度を示す数字(例えば、優先度が高い方から順に1、2、3、…といった数字)を出力するよう学習された機械学習モデル#3を取得する。
 インテント生成部132は、機械学習モデル#3を取得すると、取得した機械学習モデル#3にアプリ通知文#1を入力して、機械学習モデル#3から出力された文字列ごとの内容優先度情報を取得する。図5では、インテント生成部132は、「次の交差点」および「右折」の文字列について、内容優先度を示す「1」という数字である内容優先度情報を取得する。また、インテント生成部132は、「コンビニ」の文字列について、内容優先度を示す「3」という数字である内容優先度情報を取得する。また、インテント生成部132は、「一番内側」の文字列について、内容優先度を示す「2」という数字である内容優先度情報を取得する。インテント生成部132は、取得した文字列ごとの内容優先度情報を含むインテント情報T1を生成する。
 また、インテント生成部132は、インテント情報ごとに設定されている通知優先度を示す通知優先度情報をさらに含むインテント情報を生成する。例えば、インテント生成部132は、記憶部12を参照して、アプリ通知文を入力とし、通知優先度情報を出力する機械学習モデル#4を取得する。例えば、インテント生成部132は、アプリ通知文と通知優先度情報との組合せを含む学習データに基づいて学習された機械学習モデル#4を取得する。例えば、インテント生成部132は、アプリ通知文が入力された場合に、出力情報としてアプリ通知文に関する通知の通知優先度を示す数字(例えば、優先度が高い方から順に1、2、3、…といった数字)を出力するよう学習された機械学習モデル#4を取得する。
 インテント生成部132は、機械学習モデル#4を取得すると、取得した機械学習モデル#4にアプリ通知文#1を入力して、機械学習モデル#4から出力された通知優先度情報を取得する。図5では、インテント生成部132は、アプリ通知文#1に関する通知について、通知優先度を示す「1」という数字である通知優先度情報(In優先度)を取得する。インテント生成部132は、取得した通知優先度情報を含むインテント情報T1を生成する。
 また、インテント生成部132は、インテント情報を生成するアプリケーションごとに設定されているアプリ優先度を示すアプリ優先度情報をさらに含むインテント情報を生成する。図示は省略するが、図5では、インテント生成部132は、記憶部12を参照して、アプリケーション#1に設定されているアプリ優先度を示すアプリ優先度情報を取得する。例えば、インテント生成部132は、アプリケーションごとに設定されているアプリ優先度を示す数字(例えば、優先度が高い方から順に1、2、3、…といった数字)を取得する。図5では、インテント生成部132は、アプリ優先度を示す「1」という数字であるアプリ優先度情報を取得する。インテント生成部132は、取得したアプリ優先度情報を含むインテント情報T1を生成する。
 また、インテント生成部132は、通知優先度情報とアプリ優先度情報とに基づいて、インテント情報の総合的な優先度を示す総合優先度情報を決定してよい。例えば、インテント生成部132は、通知優先度を示す数字とアプリ優先度を示す数字を加算して平均した平均値を算出して、算出した平均値をインテント情報の総合的な優先度を示す総合優先度情報としてよい。図示は省略するが、図5では、インテント生成部132は、通知優先度を示す数字「1」とアプリ優先度を示す数字「1」を加算して平均した平均値「1」をインテント情報T1の総合的な優先度を示す総合優先度情報とする。
 図6に示す例では、インテント生成部132は、情報処理装置100の位置情報に基づき「この先の交差点を右折後、400m先に最近TVで話題となっているケーキ屋さん「XXX」があります。甘さ控えめのモンブランがお薦めです。」というアプリ通知文#24を生成する。続いて、インテント生成部132は、上述した図5の場合と同様にして、アプリ通知文#24に基づいてインテント情報T2を生成する。具体的には、インテント生成部132は、「次の交差点」、「右折」、「400m先」、「ケーキ屋」、「店名「XXX」」、「TVで評判」、「モンブラン」、「甘さ控えめ」といった通知内容を示す文字列を含むインテント情報T2を生成する。
 また、図6では、インテント生成部132は、インテント生成部132は、「次の交差点」、「右折」および「400m先」の文字列について、通知の種類を示す「経路」という文字列である意図情報を取得する。また、インテント生成部132は、「ケーキ屋」、「店名「XXX」」および「TVで評判」の文字列について、通知の種類を示す「お薦め」という文字列である意図情報を取得する。また、インテント生成部132は、「モンブラン」および「甘さ控えめ」の文字列について、通知の種類を示す「お薦め」という文字列である意図情報を取得する。インテント生成部132は、取得した文字列ごとの意図情報を含むインテント情報T2を生成する。
 また、図6では、インテント生成部132は、「次の交差点」、「右折」、「400m先」および「ケーキ屋」の文字列について、内容優先度を示す「1」という数字である内容優先度情報を取得する。また、インテント生成部132は、「店名「XXX」」の文字列について、内容優先度を示す「3」という数字である内容優先度情報を取得する。また、インテント生成部132は、「TVで評判」および「甘さ控えめ」の文字列について、内容優先度を示す「4」という数字である内容優先度情報を取得する。また、インテント生成部132は、「モンブラン」の文字列について、内容優先度を示す「2」という数字である内容優先度情報を取得する。インテント生成部132は、取得した文字列ごとの内容優先度情報を含むインテント情報T2を生成する。
 また、図6では、インテント生成部132は、アプリ通知文#2に関する通知について、通知優先度を示す「2」という数字である通知優先度情報(In優先度)を取得する。インテント生成部132は、取得した通知優先度情報を含むインテント情報T2を生成する。
 また、図示は省略するが、図6では、インテント生成部132は、インテント生成部132は、記憶部12を参照して、アプリケーション#2に設定されたアプリ優先度を示す「2」という数字であるアプリ優先度情報を取得する。インテント生成部132は、取得したアプリ優先度情報を含むインテント情報T2を生成する。
 また、図示は省略するが、図6では、インテント生成部132は、通知優先度を示す数字「2」とアプリ優先度を示す数字「2」を加算して平均した平均値「2」をインテント情報T2の総合的な優先度を示す総合優先度情報とする。
 図7に示す例では、インテント生成部132は、「1時間後に自宅付近に通り雨が予報されています。洗濯物の取り込みは大丈夫ですか?(ユーザの応答が「いいえ」の場合、)自宅とTV電話を繋ぎます。/(ユーザの応答が「はい」の場合、終了)」というアプリ通知文#34を生成する。続いて、インテント生成部132は、上述した図5の場合と同様にして、アプリ通知文#34に基づいてインテント情報T3を生成する。具体的には、インテント生成部132は、「通り雨」、「自宅付近」、「1時間後」、「洗濯物」、「Yes/No」、「Yes:終了、No:TV電話」といった通知内容を示す文字列を含むインテント情報T3を生成する。
 また、図7では、インテント生成部132は、インテント生成部132は、「通り雨」、「自宅付近」および「1時間後」の文字列について、通知の種類を示す「天気予報」という文字列である意図情報を取得する。また、インテント生成部132は、「洗濯物」の文字列について、通知の種類を示す「情報」という文字列である意図情報を取得する。また、インテント生成部132は、「Yes/No」および「Yes:終了、No:TV電話」の文字列について、通知の種類を示す「ユーザ応答」という文字列である意図情報を取得する。インテント生成部132は、取得した文字列ごとの意図情報を含むインテント情報T3を生成する。
 また、図7では、インテント生成部132は、「通り雨」および「自宅付近」の文字列について、内容優先度を示す「1」という数字である内容優先度情報を取得する。また、インテント生成部132は、「1時間後」の文字列について、内容優先度を示す「2」という数字である内容優先度情報を取得する。また、インテント生成部132は、「洗濯物」の文字列について、内容優先度を示す「3」という数字である内容優先度情報を取得する。また、インテント生成部132は、「Yes/No」および「Yes:終了、No:TV電話」の文字列について、内容優先度を示す「4」という数字である内容優先度情報を取得する。インテント生成部132は、取得した文字列ごとの内容優先度情報を含むインテント情報T3を生成する。
 また、図7では、インテント生成部132は、アプリ通知文#3に関する通知について、通知優先度を示す「3」という数字である通知優先度情報(In優先度)を取得する。インテント生成部132は、取得した通知優先度情報を含むインテント情報T3を生成する。
 また、図示は省略するが、図7では、インテント生成部132は、インテント生成部132は、記憶部12を参照して、アプリケーション#3に設定されたアプリ優先度を示す「3」という数字であるアプリ優先度情報を取得する。インテント生成部132は、取得したアプリ優先度情報を含むインテント情報T3を生成する。
 また、図示は省略するが、図7では、インテント生成部132は、通知優先度を示す数字「3」とアプリ優先度を示す数字「3」を加算して平均した平均値「3」をインテント情報T3の総合的な優先度を示す総合優先度情報とする。
(送信部133)
 送信部133は、インテント情報に基づいて通知文を生成する情報処理装置100に対して、インテント情報を送信する。例えば、送信部133は、インテント生成部132によってインテント情報が生成されると、情報処理装置100に対して、インテント情報を送信する。例えば、送信部133は、インテント生成部132によってインテント情報T1~T3が生成されると、情報処理装置100に対して、インテント情報T1~T3を送信する。
〔3.情報処理装置の構成〕
 次に、図3を用いて、実施形態に係る情報処理装置の構成について説明する。図3は、実施形態に係る情報処理装置の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、センサ部130と、音声出力部140と、音声認識部150と、制御部160とを有する。
(通信部110)
 通信部110は、例えば、NIC、モデムチップ及びアンテナモジュール等によって実現される。また、通信部110は、ネットワークN(図1参照)と有線又は無線で接続される。
(記憶部120)
 記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
(センサ部130)
 センサ部130は、各種センサを備える。例えば、センサ部130は、GNSS(Global Navigation Satellite System)を備える。GNSSセンサは、GNSSを利用して、航法衛星から送信された測位用データを含む電波を受信する。当該測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。なお、利用されるGNSSは、例えば、GPS(Global Positioning System)であってもよいし、他のシステムであっても構わない。また、センサ部130は、GNSSセンサが生成した測位用データを制御部160に出力する。
 また、センサ部130は、車速センサを備える。車速センサは、車両の走行速度を検出し、当該走行速度に応じた車速データを生成する。また、センサ部130は、車速センサが生成した車速データを制御部160に出力する。
 また、センサ部130は、加速度センサを備える。加速度センサは、車両の加速度を検出し、当該走行加速度に応じたか加速度データを生成する。センサ部130は、加速度センサが生成した加速度データを制御部160に出力する。また、センサ部130は、加速度データに基づき速度を算出してもよい。
 また、センサ部130は、カメラを備える。カメラは、制御部160による制御の下、車両の周囲を撮影して撮影画像を生成する。また、センサ部130は、カメラが生成した撮影画像を制御部160に出力する。
(音声出力部140)
 音声出力部140は、スピーカを含み、制御部160から入力したデジタルの音声信号をD/A(Digital/Analog)変換によってアナログの音声信号に変換し、当該スピーカから当該アナログの音声信号に応じた音声を出力する。
 また、音声出力部140は、生成部163によって生成された通知文を運転者に対して音声出力する。具体的には、音声出力部140は、生成部163によって決定された順に複数のアプリ通知文をそれぞれ順番に音声出力する。
(音声認識部150)
 音声認識部150は、記憶部120に記憶されている音声認識アプリが制御部160によって実行されることにより実現される。また、音声認識部150は、運転者の発話を音声認識する。また、音声認識部150は、音声入力部(図示略)の一部をなすマイクロホンにより受け付けられた運転者の発話をテキストデータに変換する処理を行う。なお、テキストデータへの変換処理は図示しない専用のサーバで行われても良い。
 また、音声認識部150は、バージイン機能を備える。音声認識部150は、決定部164によってバージイン機能を有効にすると決定された場合に、バージイン機能を有効にする。一方、音声認識部150は、決定部164によってバージイン機能を有効にしないと決定された場合には、バージイン機能を無効にする。
(制御部160)
 制御部160は、コントローラであり、例えば、CPU、MPU、ASICやFPGA等によって、情報処理装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図3に示す例では、制御部160は、取得部161と、算出部162と、生成部163と、決定部164とを有する。
(取得部161)
 取得部161は、各種の情報を取得する。具体的には、取得部161は、移動体の走行状況に関する走行情報および運転者の運転状況に関する運転情報を含む状況情報を取得する。例えば、取得部161は、センサ部130から、走行情報の一例として、移動体の走行速度、走行車両密度、渋滞情報、道路種別(高速道路、市街路、生活道路、郊外路、山岳道路、直線路、交差点、カーブ中など)、時間および天候(日中、夜間、晴れ、雨、雪、積雪、凍結など)に関する情報を取得する。なお、取得部161は、外部の情報提供装置から、渋滞情報、道路種別(高速道路、市街路、生活道路、郊外路、山岳道路、直線路、交差点、カーブ中など)、時間および天候(日中、夜間、晴れ、雨、雪、積雪、凍結など)に関する情報を取得してもよい。
 また、取得部161は、運転情報の一例として、運転者の属性情報、同乗者の有無、同乗者の属性情報を取得する。例えば、取得部161は、所定のデータベースにあらかじめ登録された運転者の属性情報や同乗者の属性情報を取得する。また、取得部161は、運転者の自己申告によって運転者から同乗者の有無に関する情報を取得してもよい。
 また、取得部161は、複数のアプリケーションそれぞれから、インテント情報それぞれを取得する。ここで、図4を用いて、情報処理装置100による情報処理の概要を説明する。図4は、実施形態に係る情報処理の概要を示す図である。図4に示す例では、情報処理装置100の取得部161は、同時に3つのアプリケーション#1~#3それぞれからインテント情報T1~T3それぞれを取得する。
 例えば、取得部161は、アプリケーションから、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を取得する。また、取得部161は、文字列ごとに設定されている内容優先度を示す内容優先度情報をさらに含むインテント情報を取得する。また、取得部161は、インテント情報ごとに設定されている通知優先度を示す通知優先度情報をさらに含むインテント情報を取得する。また、取得部161は、アプリケーションごとに設定されているアプリ優先度を示すアプリ優先度情報をさらに含むインテント情報を取得する。
 また、取得部161は、通知文の通知を完了すべきタイミングを示す出力猶予タイミングを取得する。ここで、出力猶予タイミングは、通知文の通知を完了すべき時刻であっても、通知文の通知を完了すべき場所であっても良い。例えば、取得部161は、アプリケーションから取得したインテント情報に基づいて、出力猶予タイミングを取得する。例えば、取得部161は、インテント情報T1に基づいて、インテント情報T1に関する通知文の出力猶予タイミングとして、「次の交差点」という情報を取得する。また、取得部161は、インテント情報T2に基づいて、インテント情報T2に関する通知文の出力猶予タイミングとして、「次の交差点」という情報および「ケーキ屋」という情報を取得する。また、取得部161は、インテント情報T3に基づいて、インテント情報T3に関する通知文の出力猶予タイミングとして、「1時間後」という情報を取得する。
(算出部162)
 算出部162は、出力猶予タイミングに到達するまでの残り時間である出力猶予時間を算出する。具体的には、算出部162は、取得部161によって取得された出力猶予タイミングに基づいて、出力猶予時間を算出する。例えば、算出部162は、出力猶予タイミングが所定の時刻である場合には、現在時刻から出力猶予タイミングである所定の時刻までの残り時間を出力猶予時間として算出する。また、算出部162は、出力猶予タイミングが所定の位置である場合には、現在位置から出力猶予タイミングである所定の位置に到達するまでの到着予想時間を出力猶予時間として算出する。例えば、算出部162は、所定の位置までの道のりと移動体の期待平均速度とに基づいて、到着予想時間を算出する。
 また、算出部162は、取得部161によって取得された状況情報に基づいて、移動体の走行状況または運転者の運転状況の安全性の度合いを示す安全度を算出する。例えば、算出部162は、車両速度が低い程、安全度を高く算出する。また、例えば、算出部162は、市街路よりも郊外路を走っている方が安全度を高く算出する。
 また、算出部162は、取得部161によって取得された状況情報に基づいて、運転者が移動体の運転以外に注意を払うことができる余裕の度合いを示す余裕度を算出する。例えば、算出部162は、直線路でない道よりも直線路を走っている方が余裕度を高く算出する。また、例えば、算出部162は、天候が晴れの場合よりも雨の場合の方が余裕度を低く算出する。
 続いて、算出部162は、安全度および余裕度を算出すると、算出した安全度および余裕度に基づいて、出力猶予時間を算出する。具体的には、算出部162は、安全度が高いほど、出力猶予時間を長く算出する。例えば、算出部162は、安全度が高いほど、到着予想時間よりも出力猶予時間を長く算出する。また、算出部162は、余裕度が高いほど、出力猶予時間を長く算出する。例えば、算出部162は、安全度が高いほど、到着予想時間よりも出力猶予時間を長く算出する。
(生成部163)
 生成部163は、インテント情報に基づいて、運転者に対して音声出力される通知文を生成する。例えば、生成部163は、インテント情報に含まれる文字列情報と意図情報とに基づいて、運転者に対して音声出力される通知文を生成する。より具体的には、生成部163は、文字列情報と意図情報とに基づいて、文字列を含む通知文を生成し、当該生成された通知文の音声出力が完了するタイミングが出力猶予タイミングより前となるように通知文の表現を変更する。生成部163は、通知文の表現を変更することで、出力猶予時間内に再生可能な通知文を生成する。
 例えば、生成部163は、文字列を含む仮の通知文を生成し、仮の通知文の再生時間が出力猶予時間を超えない場合は、通知文の表現を、仮の通知文と比べてより丁寧な表現に変更する。例えば、生成部163は、図5に示すインテント情報T1に含まれる「次の交差点」と「右折」の文字列と、「次の交差点」と「右折」の文字列に対応する意図情報である「経路」の文字列とに基づいて、再生時間2秒の「次の交差点を右折」という仮の通知文を生成する。このとき、出力猶予時間が3秒であるとすると、生成部163は、仮の通知文の再生時間(2秒)が出力猶予時間(3秒)を超えないので、通知文の表現を、仮の通知文と比べてより丁寧な表現の「次の交差点を右折です」(再生時間2.5秒)に変更する。
 また、生成部163は、文字列を含む仮の通知文を生成し、仮の通知文の再生時間が出力猶予時間を超える場合は、通知文の表現を文末の助動詞を含まない文体に変更する。例えば、生成部163は、図5に示すインテント情報T1に含まれる「次の交差点」と「右折」の文字列と、「次の交差点」と「右折」の文字列に対応する意図情報である「経路」の文字列とに基づいて、再生時間2.5秒の「次の交差点を右折です」という仮の通知文を生成する。このとき、出力猶予時間が2秒であるとすると、生成部163は、仮の通知文の再生時間(2.5秒)が出力猶予時間(2秒)を超えるので、通知文の表現を文末の助動詞を含まない文体の「次の交差点を右折」(再生時間2秒)に変更する。なお、生成部163は、仮の通知文の再生時間が出力猶予時間を超える場合は、通知文の表現を体言止めの文体に変更してもよい。
 また、生成部163は、文字列情報と、意図情報と、内容優先度情報と、に基づいて、運転者に対して音声出力される通知文を生成する。具体的には、生成部163は、出力猶予タイミングより前に通知文の音声出力が完了するように、内容優先度に基づき文字列を含む通知文を生成する。より具体的には、生成部163は、内容優先度が異なる複数の文字列を含む仮の通知文を生成し、仮の通知文の再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数の文字列のうち内容優先度が低い方の文字列から順に削除して、出力猶予時間内に再生可能な通知文を生成する。
 例えば、生成部163は、図5に示すインテント情報T1に含まれる内容優先度が「1」の「次の交差点」と「右折」の文字列と、内容優先度が「2」の「一番内側」の文字列と、内容優先度が「3」の「コンビニ」の文字列をすべて含む「この先の交差点を右折です。コンビニAが目印です。一番内側の車線を走行して下さい。」という仮の通知文を生成する。続いて、生成部163は、仮の通知文の再生時間を8秒と見積もる。
 このとき、出力猶予時間が7秒であるとすると、生成部163は、仮の通知文の再生時間(8秒)が出力猶予時間(7秒)を超えるので、仮の通知文に含まれる複数の文字列のうち内容優先度が低い「3」の「コンビニ」の文字列を削除する。続いて、生成部163は、内容優先度が「1」の「次の交差点」と「右折」の文字列と、内容優先度が「2」の「一番内側」の文字列を含む「次の交差点を右折です。一番内側の車線の走行して下さい。」という仮の通知文を生成する。続いて、生成部163は、仮の通知文の再生時間を6秒と見積もる。生成部163は、仮の通知文の再生時間(6秒)が出力猶予時間(7秒)を超えないので、生成した仮の通知文を通知文として採用する。
 また、生成部163は、異なる複数のアプリケーションそれぞれから取得した異なる複数のインテント情報それぞれに基づいて異なる複数のアプリ通知文をそれぞれ生成し、取得部161によって取得された通知優先度情報に基づいて、複数のアプリ通知文のうち、通知優先度が高いインテント情報に基づいて生成されたアプリ通知文から順に音声出力することを決定する。
 例えば、生成部163は、異なる3つのアプリケーション#1~#3それぞれから取得したインテント情報#1~#3それぞれに基づいて、異なる3つのアプリ通知文#1´~#3´をそれぞれ生成する。続いて、生成部163は、インテント情報#1~#3それぞれに含まれる通知優先度情報から、アプリケーション#1の通知優先度が「1」、アプリケーション#2の通知優先度が「2」、アプリケーション#3の通知優先度が「3」という情報を取得する。続いて、生成部163は、3つのアプリ通知文#1´~#3´を含む通知文を音声出力する場合に、通知優先度が最も高いインテント情報#1に基づいて生成されたアプリ通知文#1´を最初に音声出力し、通知優先度が次に高いインテント情報#2に基づいて生成されたアプリ通知文#2´を2番目に音声出力し、通知優先度が最も低いインテント情報#3に基づいて生成されたアプリ通知文#3´を最後に音声出力することを決定する。
 また、生成部163は、通知優先度の代わりに、アプリ優先度に基づいて、複数のアプリ通知文を音声出力する順番を決定してもよい。具体的には、生成部163は、異なる複数のアプリケーションそれぞれから取得した異なる複数のインテント情報それぞれに基づいて異なる複数のアプリ通知文をそれぞれ生成し、取得部161によって取得されたアプリ優先度情報に基づいて、複数のアプリ通知文のうち、アプリ優先度が高いアプリケーションに関するアプリ通知文から順に音声出力することを決定する。
 例えば、生成部163は、インテント情報#1~#3それぞれに含まれるアプリ優先度情報から、アプリケーション#1のアプリ優先度が「1」、アプリケーション#2のアプリ優先度が「2」、アプリケーション#3のアプリ優先度が「3」という情報を取得する。続いて、生成部163は、3つのアプリ通知文#1´~#3´を含む通知文を音声出力する場合に、アプリ優先度が最も高いインテント情報#1に基づいて生成されたアプリ通知文#1´を最初に音声出力し、アプリ優先度が次に高いインテント情報#2に基づいて生成されたアプリ通知文#2´を2番目に音声出力し、アプリ優先度が最も低いインテント情報#3に基づいて生成されたアプリ通知文#3´を最後に音声出力することを決定する。
 また、生成部163は、通知優先度またはアプリ優先度の代わりに、総合的な優先度を示す総合優先度に基づいて、複数のアプリ通知文を音声出力する順番を決定してもよい。具体的には、生成部163は、異なる複数のアプリケーションそれぞれから取得した異なる複数のインテント情報それぞれに基づいて異なる複数のアプリ通知文をそれぞれ生成し、取得部161によって取得された総合優先度情報に基づいて、複数のアプリ通知文のうち、総合優先度が高いアプリケーションに関するアプリ通知文から順に音声出力することを決定する。
 例えば、生成部163は、インテント情報#1~#3それぞれに含まれる総合優先度情報から、アプリケーション#1の総合優先度が「1」、アプリケーション#2の総合優先度が「2」、アプリケーション#3の総合優先度が「3」という情報を取得する。続いて、生成部163は、3つのアプリ通知文#1´~#3´を含む通知文を音声出力する場合に、総合優先度が最も高いインテント情報#1に基づいて生成されたアプリ通知文#1´を最初に音声出力し、総合優先度が次に高いインテント情報#2に基づいて生成されたアプリ通知文#2´を2番目に音声出力し、総合優先度が最も低いインテント情報#3に基づいて生成されたアプリ通知文#3´を最後に音声出力することを決定する。
 また、生成部163は、各アプリケーションから取得した各インテント情報に基づいて、生成可能なアプリ通知文をすべて生成する。例えば、生成部163は、アプリケーション#1から取得した図5に示すインテント情報T1に基づいて、内容優先度が「1」の文字列のみを含む「次の交差点を右折」(再生時間2秒)および「次の交差点を右折です」(再生時間2.5秒)という2つのアプリ通知文#11´および#11を生成する。また、生成部163は、内容優先度が「2」以下の文字列を含む「次の交差点を右折です。一番内側の車線の走行して下さい。」(再生時間6秒)というアプリ通知文#12を生成する。また、生成部163は、全通知優先度の文字列を含む「この先の交差点を右折です。コンビニAが目印です。一番内側の車線を走行して下さい。」というアプリ通知文#13を生成する。このように、生成部163は、インテント情報T1に基づいて、生成可能なアプリ通知文#11´、#11、#12および#13をすべて生成する。
 また、生成部163は、アプリケーション#2から取得した図6に示すインテント情報T2に基づいて、内容優先度が「1」の文字列のみを含む「次の交差点を右折後、400mでケーキ屋」および「次の交差点を右折後、400m先にケーキ屋です」という2つのアプリ通知文#21´および#21を生成する。また、生成部163は、内容優先度が「2」以下の文字列を含む「次の交差点を右折後、400m先にケーキ屋です。モンブランがお薦めです」というアプリ通知文#22を生成する。また、生成部163は、内容優先度が「3」以下の文字列を含む「次の交差点を右折後、400m先にケーキ屋“XXX”があります。モンブランがお薦めです。」というアプリ通知文#23を生成する。また、生成部163は、全通知優先度の文字列を含む「この先の交差点を右折後、400m先に最近TVで話題となっているケーキ屋さん“XXX”があります。甘さ控えめのモンブランがお薦めです。」というアプリ通知文#24を生成する。このように、生成部163は、インテント情報T2に基づいて、生成可能なアプリ通知文#21´、#21、#22、#23および#24をすべて生成する。
 また、生成部163は、アプリケーション#3から取得した図7に示すインテント情報T3に基づいて、内容優先度が「1」の文字列のみを含む「自宅付近に通り雨が予報されています。」というアプリ通知文#31を生成する。また、生成部163は、内容優先度が「2」以下の文字列を含む「1時間後に自宅付近に通り雨が予報されています。」というアプリ通知文#32を生成する。また、生成部163は、内容優先度が「3」以下の文字列を含む「1時間後に自宅付近に通り雨が予報されています。洗濯物の取り込みは大丈夫ですか?」というアプリ通知文#33を生成する。また、生成部163は、全通知優先度の文字列を含む「1時間後に自宅付近に通り雨が予報されています。洗濯物の取り込みは大丈夫ですか?(ユーザの応答が「いいえ」の場合、)自宅とTV電話を繋ぎます。/(ユーザの応答が「はい」の場合、終了)」というアプリ通知文#34を生成する。このように、生成部163は、インテント情報T3に基づいて、生成可能なアプリ通知文#31、#32、#33および#34をすべて生成する。
 続いて、生成部163は、生成可能なアプリ通知文をすべて生成すると、各アプリ通知文の再生時間を見積もる。例えば、生成部163は、生成可能なアプリ通知文#11´、#11、#12、#13、#21´、#21、#22、#23、#24、#31、#32、#33および#34それぞれの再生時間を見積もる。
 続いて、生成部163は、各アプリ通知文の再生時間を見積もると、各アプリ通知文の中から再生時間が最長のアプリ通知文を選択する。例えば、生成部163は、アプリ#1に関する通知文の中で最長のアプリ通知文#13と、アプリ#2に関する通知文の中で最長のアプリ通知文#24と、アプリ#3に関する通知文の中で最長のアプリ通知文#34を選択する。
 続いて、生成部163は、各アプリ通知文の中から再生時間が最長のアプリ通知文を選択すると、選択したアプリ通知文をすべて含む通知文の総再生時間を見積もる。例えば、生成部163は、選択したアプリ通知文#13とアプリ通知文#24とアプリ通知文#34をすべて含む通知文の総再生時間を見積もる。続いて、生成部163は、通知文の総再生時間が出力猶予時間以下であるか否かを判定する。
 生成部163は、通知文の総再生時間が出力猶予時間以下であると判定した場合、選択したアプリ通知文を出力することを決定する。生成部163は、選択したアプリ通知文を出力することを決定すると、選択したアプリ通知文をすべて含む通知文を生成する。
 一方、生成部163は、通知文の総再生時間が出力猶予時間以下でないと判定した場合、アプリ優先度(または、通知優先度や総合優先度であってもよい)の低い方から順に、次に短いアプリ通知文を選択する。例えば、生成部163は、選択したアプリ通知文#13とアプリ通知文#24とアプリ通知文#34をすべて含む通知文の総再生時間が出力猶予時間以下でないと判定した場合、アプリ優先度の低いアプリ#3から順に、アプリ通知文#34の代わりに次に短いアプリ通知文#33を選択する。続いて、生成部163は、アプリ優先度の低い方から順に、次に短いアプリ通知文を選択すると、選択した選択したアプリ通知文をすべて含む通知文の総再生時間を見積もる。
 このように、生成部163は、アプリ優先度(または、通知優先度や総合優先度であってもよい)が異なる複数のアプリ通知文を含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数のアプリ通知文のうち、アプリ優先度(または、通知優先度や総合優先度であってもよい)が低い方のアプリ通知文から順にアプリ通知文の長さを短くして、出力猶予時間内に再生可能な通知文を生成する。
(決定部164)
 決定部164は、取得部161によって取得された状況情報に基づいて、運転者の応答を要する通知内容に関する通知文を運転者に対して音声出力する場合に、通知文に対する運転者の応答を受け付ける受付時間を決定する。具体的には、決定部164は、生成部163によって生成された通知文の再生時間と算出部162によって算出された出力猶予時間との比較に基づいて、受付時間を決定する。より具体的には、決定部164は、生成部163によって生成された文字列を含む仮の通知文の総再生時間が出力猶予時間よりも所定時間未満だけ長い場合には、受付時間が短いと決定する。
 生成部163は、決定部164によって受付時間が短いと決定された場合には、運転者に選択させる選択肢の番号と選択肢の項目のみを含む通知文を生成する。例えば、生成部163は、「この先、お薦めの1.イタリアン、2.中華、3.和食の店があります。どれを希望しますか?」といった選択肢の番号である「1」、「2」、「3」と、選択肢の項目である「イタリアン」、「中華」、「和食」のみを含む通知文を生成する。
 また、決定部164は、仮の通知文の総再生時間が出力猶予時間よりも所定時間以上長い場合には、受付時間がないと決定する。生成部163は、決定部164によって受付時間がないと決定された場合には、運転者の応答を要する通知内容を含まない通知文を生成する。例えば、生成部163は、決定部164によって受付時間がないと決定された場合には、ユーザ応答を含む「1時間後に自宅付近に通り雨が予報されています。洗濯物の取り込みは大丈夫ですか?(ユーザの応答が「いいえ」の場合、)自宅とTV電話を繋ぎます。/(ユーザの応答が「はい」の場合、終了)」というアプリ通知文#34の代わりに、ユーザ応答以下を削除した「1時間後に自宅付近に通り雨が予報されています。洗濯物の取り込みは大丈夫ですか?」というアプリ通知文#34´を生成する。
 また、決定部164は、算出部162によって算出された安全度および余裕度に基づいて、受付時間を決定する。例えば、決定部164は、算出部162によって算出された安全度が高いほど、受付時間を長く決定する。また、決定部164は、算出部162によって算出された余裕度が高いほど、受付時間を長く決定する。
 また、決定部164は、取得部161によって取得された状況情報に基づいて、音声認識部150のバージイン機能を有効にするか否かを決定する。具体的には、決定部164は、算出部162によって算出された安全度および余裕度に基づいて、音声認識部150のバージイン機能を有効にするか否かを決定する。例えば、決定部164は、算出部162によって算出された安全度が第1閾値を超える場合に、バージイン機能を有効にすると決定する。また、決定部164は、算出部162によって算出された余裕度が第2閾値を超える場合に、バージイン機能を有効にすると決定する。
(送信部165)
 送信部165は、取得部161が取得した情報をアプリケーション装置10に対して送信する。具体的には、送信部165は、取得部161が取得した移動体の走行状況に関する走行情報および運転者の運転状況に関する運転情報を含む状況情報をアプリケーション装置10に送信する。例えば、送信部165は、リアルタイムに状況情報をアプリケーション装置10に送信する。また、例えば、送信部165は、所定時間ごと(例えば、30秒ごとや1分ごとなど)に状況情報をアプリケーション装置10に送信してよい。
〔4.情報処理のフロー〕
 次に、図8を用いて、実施形態に係る情報処理の手順について説明する。図8は、実施形態に係る情報処理の一例を示すフローチャートである。図8に示す例では、情報処理装置100の算出部162は、出力猶予タイミングに到達するまでの残り時間である出力猶予時間を算出する(ステップS101)。
 情報処理装置100の生成部163は、各アプリケーションから取得した各インテント情報に基づいて、生成可能なアプリ通知文をすべて生成する(ステップS102)。生成部163は、生成可能なアプリ通知文をすべて生成すると、各アプリ通知文の再生時間を見積もる(ステップS103)。
 生成部163は、各アプリ通知文の再生時間を見積もると、各アプリ通知文の中から再生時間が最長のアプリ通知文を選択する(ステップS104)。生成部163は、各アプリ通知文の中から再生時間が最長のアプリ通知文を選択すると、選択したアプリ通知文をすべて含む通知文の総再生時間を見積もる(ステップS105)。続いて、生成部163は、通知文の総再生時間が出力猶予時間以下であるか否かを判定する(ステップS106)。
 生成部163は、通知文の総再生時間が出力猶予時間以下であると判定した場合(ステップS106;Yes)、選択したアプリ通知文を出力することを決定する(ステップS107)。生成部163は、選択したアプリ通知文を出力することを決定すると、選択したアプリ通知文をすべて含む通知文を生成する。
 一方、生成部163は、通知文の総再生時間が出力猶予時間以下でないと判定した場合(ステップS106;No)、アプリ優先度の低い方から順に、次に短いアプリ通知文を選択する(ステップS108)。生成部163は、アプリ優先度の低い方から順に、次に短いアプリ通知文を選択すると、選択した選択したアプリ通知文をすべて含む通知文の総再生時間を見積もる(ステップS105)。
〔5.変形例〕
〔5-1.優先度に基づく情報の付加〕
 上述した実施形態では、生成部163は、内容優先度が異なる複数の文字列を含む仮の通知文を生成し、仮の通知文の再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数の文字列のうち内容優先度が低い方の文字列から順に削除して、出力猶予時間内に再生可能な通知文を生成する場合について説明したが、通知文の生成の仕方はこれに限られない。
 具体的には、生成部163は、内容優先度が異なる複数の文字列のうち、内容優先度が高い方の文字列を優先的に含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超えない場合は、仮の通知文に含まれる文字列よりも内容優先度が低い文字列を付加して、出力猶予時間内に再生可能な通知文を生成する。
 例えば、生成部163は、アプリケーション#1から取得した図5に示すインテント情報T1に基づいて、内容優先度が「1」の文字列のみを含む「次の交差点を右折」(再生時間2秒)および「次の交差点を右折です」(再生時間2.5秒)という2つのアプリ通知文#11´および#11を生成する。このとき、出力猶予時間が7秒であるとすると、生成部163は、仮の通知文の総再生時間が出力猶予時間を超えないので、仮の通知文に含まれる文字列よりも内容優先度が低い「2」の文字列を付加して、出力猶予時間内に再生可能な通知文を生成する。例えば、生成部163は、内容優先度が「1」の文字列に内容優先度が低い「2」の文字列を付加して、「次の交差点を右折です。一番内側の車線の走行して下さい。」(再生時間6秒)という出力猶予時間内に再生可能な通知文を生成する。
 また、上述した実施形態では、生成部163は、アプリ優先度(または、通知優先度や総合優先度であってもよい)が異なる複数のアプリ通知文を含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数のアプリ通知文のうち、アプリ優先度(または、通知優先度や総合優先度であってもよい)が低い方のアプリ通知文から順にアプリ通知文の長さを短くして、出力猶予時間内に再生可能な通知文を生成する場合について説明したが、通知文の生成の仕方はこれに限られない。
 具体的には、生成部163は、アプリ優先度(または、通知優先度や総合優先度であってもよい)が異なる複数のアプリ通知文のうち、アプリ優先度(または、通知優先度や総合優先度であってもよい)が高い方のアプリ通知文を優先的に含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超えない場合は、仮の通知文に含まれるアプリ通知文よりもアプリ優先度(または、通知優先度や総合優先度であってもよい)が低いアプリ通知文を付加して、出力猶予時間内に再生可能な通知文を生成する。
 例えば、生成部163は、アプリ優先度が「1」のアプリ通知文#1、アプリ優先度が「2」のアプリ通知文#2、アプリ優先度が「3」のアプリ通知文#3、アプリ優先度が「4」のアプリ通知文#4、…、のうち、アプリ優先度が「1」~「3」のアプリ通知文#1~#3を優先的に含む仮の通知文を生成する。続いて、生成部163は、アプリ通知文#1~#3をすべて含む仮の通知文の総再生時間が出力猶予時間を超えない場合は、仮の通知文に含まれるアプリ通知文よりもアプリ優先度が低いアプリ優先度が「4」のアプリ通知文#4を仮の通知文に付加して、出力猶予時間内に再生可能な通知文を生成する。
〔5-2.優先度に基づく情報の削除〕
 また、上述した実施形態では、生成部163は、アプリ優先度(または、通知優先度や総合優先度であってもよい)が異なる複数のアプリ通知文を含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数のアプリ通知文のうち、アプリ優先度(または、通知優先度や総合優先度であってもよい)が低い方のアプリ通知文から順にアプリ通知文の長さを短くして、出力猶予時間内に再生可能な通知文を生成する場合について説明したが、通知文の生成の仕方はこれに限られない。   
 具体的には、生成部163は、アプリ優先度(または、通知優先度や総合優先度であってもよい)が異なる複数のアプリ通知文を含む仮の通知文を生成し、仮の通知文の総再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数のアプリ通知文のうち、アプリ優先度(または、通知優先度や総合優先度であってもよい)が低い方のアプリ通知文から順に削除して、出力猶予時間内に再生可能な通知文を生成する。
 例えば、生成部163は、アプリ優先度が「1」のアプリ通知文#1、アプリ優先度が「2」のアプリ通知文#2、アプリ優先度が「3」のアプリ通知文#3およびアプリ優先度が「4」のアプリ通知文#4を含む仮の通知文を生成する。続いて、生成部163は、仮の通知文の総再生時間が出力猶予時間を超える場合は、仮の通知文に含まれる複数のアプリ通知文のうち、アプリ優先度が最も低いアプリ優先度が「4」のアプリ通知文#4から順に削除して、出力猶予時間内に再生可能な通知文を生成する。
〔5-3.インテント情報の生成処理〕
 また、上述した実施形態では、インテント生成部132がアプリ通知文を生成し、生成したアプリ通知文に基づいてインテント情報を生成する場合について説明したが、インテント情報の生成の仕方はこれに限られない。具体的には、インテント生成部132は、情報処理装置100から取得した状況情報に基づいて、インテント情報を生成してよい。例えば、インテント生成部132は、情報処理装置100から取得した案内経路情報や位置情報などを含む状況情報に基づいて、図5~図7に示すインテント情報T1~T3を生成する。そして、送信部133は、情報処理装置100に対して、インテント生成部132が生成したインテント情報を送信する。
〔5-4.優先度情報の変更処理〕
 また、上述した実施形態では、情報処理装置100がアプリケーション装置10から取得した内容優先度情報、通知優先度情報、アプリ優先度情報、または総合優先度情報に基づいて、通知文を生成する例について説明したが、これに限られない。具体的には、情報処理装置100の生成部163は、通知文を生成する際に、過去の通知履歴、利用者の属性情報、興味関心情報、同乗者情報、および状況情報に基づいて、内容優先度、通知優先度、アプリ優先度、または総合優先度に変更を加えても良い。例えば、生成部163は、過去の通知履歴、利用者の属性情報、興味関心情報、同乗者情報、および状況情報に基づいて、利用者の興味が高そうな情報(例えば、文字列)に対して優先度が高くなるように重みをつけてよい。また、例えば、生成部163は、通知に対する反応がなかった(施設に立ち寄りが無かった、応答時間内に応答がなかった)履歴に基づき、過去に通知に対する反応がなかった通知に関する通知優先度が低くなるように重みをつけてよい。生成部163は、重み付けされた内容優先度、通知優先度、アプリ優先度、または総合優先度に基づいて、通知文を生成する。
〔6.効果〕
 上述してきたように、実施形態に係るアプリケーション装置10は、インテント生成部132と送信部133とを備える。インテント生成部132は、移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成する。送信部133は、インテント情報に基づいて通知文を生成する情報処理装置100に対して、インテント情報を送信する。
 このように、アプリケーション装置10は、通知文を生成する情報処理装置100に対して、固定的な通知文を与えるのではなく、通知文に関する情報をメタデータ化した情報であるインテント情報を与える。これにより、アプリケーション装置10は、情報処理装置100が状況情報に応じて、所望の時間内に、移動体の運転者に対して必要な情報を伝えきることができる通知文を生成することを可能にする。したがって、アプリケーション装置10は、移動体の運転者に対して必要な情報を適切に伝えることを可能にすることができる。
 また、インテント生成部132は、文字列ごとに設定されている内容優先度を示す内容優先度情報をさらに含むインテント情報を生成する。
 これにより、アプリケーション装置10は、情報処理装置100が内容優先度に応じて、移動体の運転者に対して必要な情報を適切に伝えることができる通知文を生成することを可能にする。
 また、インテント生成部132は、インテント情報ごとに設定されている通知優先度を示す通知優先度情報をさらに含むインテント情報を生成する。
 これにより、アプリケーション装置10は、通知優先度に応じて、移動体の運転者に対して必要な情報を適切に伝えることができる通知文を生成することを可能にする。
 また、インテント生成部132は、インテント情報を生成するアプリケーションごとに設定されているアプリ優先度を示すアプリ優先度情報をさらに含むインテント情報を生成する。
 これにより、アプリケーション装置10は、アプリ優先度に応じて、移動体の運転者に対して必要な情報を適切に伝えることができる通知文を生成することを可能にする。
 また、インテント生成部132は、通知に関するアプリ通知文を生成し、生成したアプリ通知文に基づいて、インテント情報を生成する。例えば、インテント生成部132は、アプリ通知文から抽出された文字列を含むインテント情報を生成する。
 これにより、アプリケーション装置10は、既存のアプリケーションによって生成されるアプリ通知文を有効活用して、インテント情報を生成することを可能にする。
 また、アプリケーション装置10は、取得部131をさらに備える。取得部131は、アプリ通知文を入力とし、インテント情報を出力する機械学習モデルを取得する。例えば、取得部131は、アプリ通知文と前記インテント情報との組合せを含む学習データに基づいて学習された機械学習モデルを取得する。インテント生成部132は、アプリ通知文を機械学習モデルに入力することにより、インテント情報を生成する。
 これにより、アプリケーション装置10は、人手によらずに、アプリ通知文から適切なインテント情報を生成することができる。
〔7.プログラム〕
 上述してきたアプリケーション装置10による処理は、本願に係る情報処理プログラムにより実現される。例えば、アプリケーション装置10に係るインテント生成部132は、アプリケーション装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る処理手順が実行されることにより実現される。例えば、アプリケーション装置10に係るインテント生成部132は、アプリケーション装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係るインテント情報の生成処理等に関する情報処理手順が実行されることにより実現される。アプリケーション装置10に係る他の部も同様に、情報処理プログラムによる各手順が実行されることにより実現される。
〔8.ハードウェア構成〕
 また、上述してきた実施形態に係るアプリケーション装置10または情報処理装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、アプリケーション装置10または情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
 CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
 CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。なお、CPU1100の代わりに、MPU(Micro Processing Unit)、また多大な計算パワーを必要とすることからGPU(Graphics Processing Unit)を用いてもよい。
 メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000がアプリケーション装置10または情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部13または制御部160の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
 以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔9.その他〕
 また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
 また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
    1 情報処理システム
   10 アプリケーション装置
   11 通信部
   12 記憶部
   13 制御部
  131 取得部
  132 インテント生成部
  133 送信部
  100 情報処理装置
  110 通信部
  120 記憶部
  130 センサ部
  140 音声出力部
  150 音声認識部
  160 制御部
  161 取得部
  162 算出部
  163 生成部
  164 決定部
  165 送信部

Claims (12)

  1.  移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、
     前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、
     をコンピュータに実行させるための情報処理プログラム。
  2.  前記インテント生成ステップは、
     前記文字列ごとに設定されている内容優先度を示す内容優先度情報をさらに含む前記インテント情報を生成する、
     を特徴とする請求項1に記載の情報処理プログラム。
  3.  前記インテント生成ステップは、
     前記インテント情報ごとに設定されている通知優先度を示す通知優先度情報をさらに含む前記インテント情報を生成する、
     ことを特徴とする請求項1または2に記載の情報処理プログラム。
  4.  前記インテント生成ステップは、
     前記インテント情報を生成するアプリケーションごとに設定されているアプリ優先度を示すアプリ優先度情報をさらに含む前記インテント情報を生成する、
     ことを特徴とする請求項1~3のいずれか1つに記載の情報処理プログラム。
  5.  前記インテント生成ステップは、
     通知に関するアプリ通知文を生成し、生成した前記アプリ通知文に基づいて、前記インテント情報を生成する、
     ことを特徴とする請求項1~4のいずれか1つに記載の情報処理プログラム。
  6.  前記インテント生成ステップは、
     前記アプリ通知文から抽出された前記文字列を含む前記インテント情報を生成する、
     ことを特徴とする請求項5に記載の情報処理プログラム。
  7.  前記アプリ通知文を入力とし、前記インテント情報を出力する機械学習モデルを取得する取得ステップ、
     をさらに実行させ、
     前記インテント生成ステップは、
     前記アプリ通知文を前記機械学習モデルに入力することにより、前記インテント情報を生成する、
     ことを特徴とする請求項5または6に記載の情報処理プログラム。
  8.  前記取得ステップは、
     前記アプリ通知文と前記インテント情報との組合せを含む学習データに基づいて学習された前記機械学習モデルを取得する、
     ことを特徴とする請求項7に記載の情報処理プログラム。
  9.  情報処理装置が実行する情報処理方法であって、
     移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、
     前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、
     を含むことを特徴とする情報処理方法。
  10.  移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成ステップと、
     前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信ステップと、
     をコンピュータに実行させるための情報処理プログラムを記憶したことを特徴とする記憶媒体。
  11.  移動体の運転者に対して音声出力される通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含むインテント情報を生成するインテント生成部と、
     前記インテント情報に基づいて前記通知文を生成する情報処理装置に対して、前記インテント情報を送信する送信部と、
     を備えることを特徴とするアプリケーション装置。
  12.  移動体の運転者に対して音声出力される通知文を生成する生成部を備える情報処理装置が前記通知文を生成する処理のために用いられるデータ構造であって、
     前記通知文を構成する文字列を示す文字列情報と、前記文字列ごとに設定されている通知の種類を示す意図情報と、を含み、
     前記生成部に、前記文字列情報と、前記意図情報とに基づく通知に要する長さ情報を生成させ、前記通知に要する長さ情報と前記通知文の通知を完了すべきタイミングを示す出力猶予タイミングとに基づいて、前記通知文を生成させる、データ構造。
PCT/JP2021/014043 2021-03-31 2021-03-31 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造 Ceased WO2022208811A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022542792A JPWO2022208811A1 (ja) 2021-03-31 2021-03-31
EP21927054.3A EP4317916A4 (en) 2021-03-31 2021-03-31 Information processing program, information processing method, storage medium, application device, and data structure
US17/908,826 US20240194181A1 (en) 2021-03-31 2021-03-31 Non-transitory computer readable storage medium, information processing method, and application device
PCT/JP2021/014043 WO2022208811A1 (ja) 2021-03-31 2021-03-31 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造
JP2024091153A JP2024107110A (ja) 2021-03-31 2024-06-05 情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/014043 WO2022208811A1 (ja) 2021-03-31 2021-03-31 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造

Publications (1)

Publication Number Publication Date
WO2022208811A1 true WO2022208811A1 (ja) 2022-10-06

Family

ID=83458251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014043 Ceased WO2022208811A1 (ja) 2021-03-31 2021-03-31 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造

Country Status (4)

Country Link
US (1) US20240194181A1 (ja)
EP (1) EP4317916A4 (ja)
JP (2) JPWO2022208811A1 (ja)
WO (1) WO2022208811A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170176A (ja) * 2014-03-07 2015-09-28 株式会社デンソー 文章短縮装置及び文章短縮プログラム
JP6020189B2 (ja) 2013-01-18 2016-11-02 株式会社デンソー 音声出力制御装置
JP2020112507A (ja) * 2019-01-16 2020-07-27 日本電信電話株式会社 案内文生成装置、案内システム、案内文生成方法及びプログラム
JP2020135258A (ja) * 2019-02-18 2020-08-31 株式会社日立物流 運転支援システム及び運転支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143191A (ja) * 1999-11-12 2001-05-25 Yazaki Corp 車両用情報処理方法、及びその装置、並びに車両
WO2005055046A1 (en) * 2003-11-20 2005-06-16 Volvo Technology Corporation Method and system for interact between a vehicle driver and a plurality of applications
DE102007058651A1 (de) * 2007-12-04 2009-06-10 Navigon Ag Verfahren zum Betrieb eines Navigationsgeräts
US8340900B2 (en) * 2009-12-18 2012-12-25 Mitac International Corporation Navigation device and alerting method thereof
CN102770891B (zh) * 2010-03-19 2015-06-24 三菱电机株式会社 信息提供装置
US10163435B2 (en) * 2013-09-11 2018-12-25 Denso Corporation Voice output control device, voice output control method, and recording medium
KR101648032B1 (ko) * 2014-09-16 2016-08-12 현대자동차주식회사 운전 보조 장치, 및 운전 보조 장치의 제어방법
CN106289304A (zh) * 2016-09-30 2017-01-04 百度在线网络技术(北京)有限公司 导航信息展示方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020189B2 (ja) 2013-01-18 2016-11-02 株式会社デンソー 音声出力制御装置
JP2015170176A (ja) * 2014-03-07 2015-09-28 株式会社デンソー 文章短縮装置及び文章短縮プログラム
JP2020112507A (ja) * 2019-01-16 2020-07-27 日本電信電話株式会社 案内文生成装置、案内システム、案内文生成方法及びプログラム
JP2020135258A (ja) * 2019-02-18 2020-08-31 株式会社日立物流 運転支援システム及び運転支援方法

Also Published As

Publication number Publication date
EP4317916A4 (en) 2024-12-18
EP4317916A1 (en) 2024-02-07
US20240194181A1 (en) 2024-06-13
JP2024107110A (ja) 2024-08-08
JPWO2022208811A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
KR101960140B1 (ko) 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
EP3339126B1 (en) Method and system to recognize individual driving preference for autonomous vehicles
KR101960141B1 (ko) 실시간 교통 정보에 기반하여 자율 주행 차량 내에서 콘텐츠를 제공하는 시스템 및 방법
JP7190952B2 (ja) 制御装置、制御方法およびプログラム
JP6150077B2 (ja) 車両用音声対話装置
CN104067326A (zh) 用户辅助的位置情况标识
CN105096637B (zh) 基于公共交通的导航信息获取方法及装置
CN107850447A (zh) 导航装置和导航方法
JP2006012081A (ja) コンテンツ出力装置、ナビゲーション装置、コンテンツ出力プログラム、及びコンテンツ出力方法
US10775795B2 (en) Navigation system, navigation method, and recording medium
JP2006317573A (ja) 情報端末
CN114690896A (zh) 信息处理装置、信息处理方法及存储介质
CN116424362A (zh) 交互方法、装置、车机交互系统及车辆
US20180176332A1 (en) Navigation system with content delivery mechanism and method of operation thereof
JP5729257B2 (ja) 情報提供装置、および情報提供方法
WO2022208811A1 (ja) 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造
JP7672265B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP7685355B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP2022156986A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP2018059721A (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
JP7741178B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN111791893B (zh) 疲劳处理方法、装置、车辆及计算机可读存储介质
US12618685B2 (en) Sentiment-based navigation
JP2009157065A (ja) 音声出力装置、音声出力方法、音声出力プログラムおよび記録媒体
US20240344840A1 (en) Sentiment-based navigation

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022542792

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17908826

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21927054

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021927054

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021927054

Country of ref document: EP

Effective date: 20231031

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: 2021927054

Country of ref document: EP