WO2016092924A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2016092924A1
WO2016092924A1 PCT/JP2015/075698 JP2015075698W WO2016092924A1 WO 2016092924 A1 WO2016092924 A1 WO 2016092924A1 JP 2015075698 W JP2015075698 W JP 2015075698W WO 2016092924 A1 WO2016092924 A1 WO 2016092924A1
Authority
WO
WIPO (PCT)
Prior art keywords
response
information
behavior
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/075698
Other languages
English (en)
French (fr)
Inventor
松山　科子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016563553A priority Critical patent/JPWO2016092924A1/ja
Priority to EP15867943.1A priority patent/EP3232395A4/en
Priority to US15/531,059 priority patent/US20170329766A1/en
Publication of WO2016092924A1 publication Critical patent/WO2016092924A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Recommending goods or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • the present disclosure relates to an information processing device, a control method, and a program.
  • Patent Document 1 proposes a system for selecting content that is optimal for the current user and that matches the user's preference and operation habits in a content distribution service for music data and video data. By selecting content such as music based on the user's preference, the selection result has an unexpectedness.
  • Patent Document 1 does not take into consideration that a user's behavior is detected and a response according to behavior characteristics is automatically performed. In addition, the system described in Patent Document 1 returns a selection result when a user speaks, and information is not automatically provided.
  • the system is highly convenient for the user. For example, it is useful for the user to go to a coffee shop every morning when the location of a nearby coffee shop is automatically presented in the morning when the user visits a different place on a trip or business trip. It can be said that the information was presented at the appropriate time. Also, it is not necessary when you behave in the same way every day, but on the day you walked unusually, “I was tired today” “I got exercise” “Today's calorie consumption is more than usual ⁇ calories
  • the information that shows how much it differs from usual, such as words of effort and tune, such as “It was a lot”, is the information that the user wants.
  • an information processing device that can present information that the user wants at an appropriate timing by responding to an unusual behavior based on the behavior information of the user, And suggest programs.
  • a behavior analysis unit that analyzes a behavior pattern within a predetermined period, and a response to the different behavior is generated when a behavior different from the behavior pattern is detected
  • An information processing apparatus includes a generation unit and a determination unit that determines an output timing of the generated response.
  • a behavior analysis unit that analyzes a behavior pattern within a predetermined period based on accumulated behavior information, and a response to the different behavior when a behavior different from the behavior pattern is detected
  • a program for causing the function to function as a generation unit that generates and a determination unit that determines an output timing of the generated response is proposed.
  • the information processing system includes a user terminal 1 possessed by a user and a server 2 that controls response generation and presentation timing.
  • the user terminal 1 and the server 2 are connected via, for example, the network 3.
  • the user terminal 1 is realized by, for example, a smart eyeglass 1a, a smartphone 1b, a smart watch 1c, or the like.
  • the user terminal 1 continuously senses user behavior information and transmits the detected behavior information to the server 2 via the network 3.
  • the user terminal 1 is equipped with a GPS (Global Positioning System), an acceleration sensor, a geomagnetic sensor, and the like, and senses position information and motion information (activity).
  • the server 2 accumulates the behavior information transmitted from the user terminal 1, and analyzes the behavior pattern of the user from the behavior information. In addition, when the user's behavior is different from the behavior pattern, that is, when an unusual behavior is detected, the server 2 automatically generates a response to the different behavior and presents it to the user from the user terminal 1.
  • the server 2 can control the response presentation timing according to the response content. For example, the server 2 performs control so that information based on location information such as information about a store existing near the current location of the user is immediately presented, and the amount of activity of the user (the number of steps, distance traveled, time spent standing, etc.) If it is based on the above, it is controlled so that it is presented, for example, when returning home after the end of the activity of the day.
  • the server 2 can also be controlled to present at a predetermined timing according to the user's behavior and behavior pattern (habit).
  • the user terminal 1 is not limited to the form shown in FIG. 1, for example, a tablet terminal, a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Digital Computer), a portable music player, a portable game machine, Alternatively, it may be a wearable terminal (HMD (head mounted display), smart band).
  • the user terminal 1 has both a function of sensing a user's action and a function of presenting a response according to the control of the server 2. It may be performed by a terminal, and a sensing function may be provided in a plurality of information processing terminals.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the user terminal 1 according to the present embodiment.
  • the user terminal 1 includes a control unit 10, a communication unit 11, an input unit 12, a current position measurement unit 13, a motion detection unit 14, a display unit 15, a speaker 16, and a storage unit 17.
  • the control unit 10 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the user terminal 1. To do. Specifically, the control unit 10 according to the present embodiment receives the current position information measured by the current position measurement unit 13 and the movement information (that is, activity amount information) detected by the movement detection unit 14 from the communication unit 11. Control to send to server 2. Note that the control unit 10 may control to transmit the current position information and the motion information in real time. In addition, the control unit 10 performs control so that the response transmitted from the server 2 via the communication unit 11 is output from the display unit 15 or the speaker 16.
  • a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the user terminal 1. To do. Specifically, the control unit 10 according to the present embodiment receives the current
  • the communication unit 11 has a function of connecting to an external device by wireless / wired and transmitting / receiving data.
  • the communication unit 11 according to the present embodiment is connected to the server 2, for example, and transmits current position information and motion information or receives a response generated by the server 2 according to the control of the control unit 10.
  • the input unit 12 detects an information input operation by the user, and transmits the detected input information to the control unit 10.
  • the input unit 12 is realized by a touch panel, a keyboard, a numeric keypad, a button, a switch, and the like.
  • gesture input is enabled by realizing the input unit 12 with a camera.
  • voice input is possible by realizing the input unit 12 with a microphone.
  • the input unit 12 may be realized by a plurality of types of input devices.
  • the current position measurement unit 13 has a function of detecting the current position of the user terminal 1 based on an externally acquired signal.
  • the current position measurement unit 13 is realized by a GPS positioning unit, receives a radio wave from a GPS satellite, detects a position where the user terminal 1 exists, and detects the detected position information. 10 is output.
  • the current position measurement unit 13 may detect the position by, for example, transmission / reception with Wi-Fi (registered trademark), mobile phone / PHS / smartphone, or short distance communication.
  • the motion detection unit 14 has a function of detecting the motion of the user terminal 1. Specifically, for example, the motion detection unit 14 is realized by a triaxial acceleration sensor, a geomagnetic sensor, and the like, and uses the data detected by these to detect the amount of user activity (stop time, walking time, number of steps, running time). , Sitting time, standing time, riding time, etc.). The motion detection unit 14 outputs the detected motion information to the control unit 10.
  • the display unit 15 has a function of displaying characters, images, and other information on the screen in accordance with instructions from the control unit 10.
  • the speaker 16 has a function of reproducing an audio signal in accordance with an instruction from the control unit 10.
  • storage part 17 memorize
  • FIG. The storage unit 17 may store user schedule information.
  • the configuration of the user terminal 1 has been specifically described above.
  • the configuration of the user terminal 1 is not limited to the example illustrated in FIG. 2, and may be a configuration that does not include the speaker 16, for example.
  • the user terminal 1 is provided with a current position measurement unit 13 and a motion detection unit 14 separately, and short-distance wireless communication (for example, infrared communication, Wi-Fi (registered trademark), Bluetooth (registered trademark)) from the separate unit.
  • short-distance wireless communication for example, infrared communication, Wi-Fi (registered trademark), Bluetooth (registered trademark)
  • FIG. 3 is a block diagram illustrating an example of the configuration of the server 2 according to the present embodiment.
  • the server 2 includes a control unit 20, a communication unit 21, a behavior information storage unit 22, a habit storage unit 23, and a response storage unit 24.
  • the control unit 20 is configured by, for example, a microcomputer including a CPU, a ROM, a RAM, a nonvolatile memory, and an interface unit, and controls each configuration of the server 2.
  • the control unit 20 includes a behavior information storage control unit 20a, a habit analysis unit 20b, a response generation unit 20c, a timing determination unit 20d, a response output control unit 20e, and a voice. It functions as a recognition unit 20f, a semantic analysis unit 20g, a weather information acquisition unit 20h, and a feedback unit 20i.
  • the behavior information storage control unit 20a stores the current position information and movement information transmitted from the user terminal 1 via the communication unit 21 in the behavior information storage unit 22 as behavior information.
  • the movement information is activity amount information indicating the number of steps, the time of walking, the time of running, the boarding time, the time of standing, or the time of sitting.
  • the habit analysis unit 20b analyzes the behavior pattern of the user, that is, the habit based on the behavior information stored in the behavior information storage unit 22. Specifically, the habit analyzer 20b analyzes the user's habits based on behavior information for a predetermined period. For example, the habit analysis unit 20b extracts a visit place category (restaurant, convenience store, bookstore, etc.) based on behavior information for the past N months, and detects a category or store name with a high number of visits as a place where the user always goes. To do. The number of visits may be determined in the number of visits by category of the user, or may be determined by comparing with statistics of other users.
  • a visit place category restaurant, convenience store, bookstore, etc.
  • the habit analysis unit 20b can also detect a place where the user always goes on a weekday morning or night, or a holiday morning or night, by extracting the date and time of visiting a visited place with a high number of visits.
  • the habit analysis unit 20b analyzes the usual number of steps (weekdays and holidays), the time and place on the train (standing / sitting rate), etc. based on the behavior information of the past N months. May be.
  • the habit analysis unit 20b analyzes averages and variances such as office hours, return time, and return time based on behavior information for the past week, and detects customs such as return time, return time, return time, etc. You can also.
  • the habit information analyzed by the habit analysis unit 20 b is stored in the habit storage unit 23.
  • the response generation unit 20 c generates a response to the user behavior information received from the user terminal 1 via the communication unit 21.
  • the response generation unit 20c refers to the user's habits stored in the habit storage unit 23, and generates a response to the different behaviors when an action different from the habits is detected. For example, when it is determined that the user has visited a place that the user does not normally visit based on the position information, the response generation unit 20c generates a call such as “Is it fun?” Or “Is it different from usual?”. Further, when the user visits a place that the user does not normally visit based on the user's habit of going to a coffee shop every morning, the response generation unit 20c provides information (locations) about coffee shops of the same category or the same name that exist nearby.
  • the response generation unit 20c based on the user's preference information, in addition to the user's habits, when the user visits a place that the user does not normally visit, information on a restaurant or the like that the nearby user likes (location information) May be generated.
  • the response generation unit 20c finds that the amount of activity is more / less than usual based on habits related to the amount of activity and movement information (number of steps, walking time, standing time, etc.), Generates a call such as “Now,” “I walked a lot today.” In addition, the response generation unit 20c generates information that conveys a difference from normal behavior such as “I walked n steps more than usual today” and “Today's calorie consumption is higher than usual”.
  • the response generation unit 20c finds that it was not possible to sit on a train that is always sitting on the basis of lifestyle related habits and movement information, such as “I was sorry today” or “I am tired today” Generate tuned words. Further, when it is found that the return time or return time is later than usual, the response generation unit 20c generates a word of effort or synchronization such as “I worked hard until late, good work”. Further, the response generation unit 20c generates words of effort and synchronization for a predetermined period, such as “I was busy this week” when the return to work or return time continues for a week.
  • the response generation by the response generation part 20c by this embodiment is not limited to this.
  • the response generation unit 20c may be used when the weather information acquired by the weather information acquisition unit 20h is special when the user has a habit of walking or moving by bicycle during commuting / commuting, shopping, picking up a child, etc. If the discomfort index based on the weather is higher than a predetermined value, a response informing the weather, advice according to the special weather, and words of effort and synchronization according to the special weather are generated. Specifically, the response generation unit 20c “tunes suddenly from the night.
  • the weather information acquisition unit 20h acquires information on the weather from an external predetermined server and outputs the information to the response generation unit 20c.
  • the discomfort index is obtained by the equation 1: 0.81Td + 0.01H (0.99Td-14.3) +46.3 using temperature (Td) and humidity (H).
  • Td temperature
  • H humidity
  • the response generation unit 20c determines that special weather such as heavy rain or heavy snow is determined according to the region (for example, heavy rain for rain of 20 mm or more per hour, heavy snow for a snowfall depth of 20 cm for 24 hours, etc.). You may judge based on.
  • the response generation unit 20c when the user is in the habit of traveling by train at the time of commuting / commuting to school, reports an accident or the like if an unusual situation such as an accident, delay, or arrangement is occurring based on the railway information. Produce responses, advice, words of effort and alignment.
  • the response generation unit 20c can generate a response according to the utterance (inquiry by voice) from the user. Specifically, for example, when the user utters at the user terminal 1, the voice collected by the input unit 12 is transmitted to the server 2, and the server 2 performs voice recognition by the voice recognition unit 20f to perform character data. Convert to Next, the meaning analysis unit 20g analyzes the meaning of the character data output from the speech recognition unit 20f. For example, when a character string such as “What is the weather on weekends?” Is output by voice recognition, the semantic analysis unit 20g determines the date of “weekend” from the current date and time.
  • the semantic analysis unit 20g is listening to “where the weather” based on the location of the place where the user is going to go on the weekend from the current location or address, work location, or schedule information of the user. Is estimated.
  • the semantic analysis unit 20g can analyze the utterance of “weather information on ⁇ (location) on XX month ⁇ day”.
  • generation part 20c produces
  • the response generation unit 20c generates a response based on the weather information acquired by the weather information acquisition unit 20h.
  • the response content generated according to the user's utterance in this way is stored in the response storage unit 24.
  • the response generation unit 20c may generate a response for notifying the change. For example, when the weather forecast changes several days after responding the weather information one week later according to the utterance from the user, the response generation unit 20c generates a response based on the latest weather information. As described above, generation of a response by the response generation unit 20c according to the utterance has been described. However, the present embodiment is not limited to this, and a response is generated in response to an inquiry from the user, for example, by character input or a gesture other than voice. It is also possible to do.
  • the timing determination unit 20d determines the presentation timing of the response generated by the response generation unit 20c to the user. Specifically, the timing determination unit 20d presents a response immediately, or at a specific timing such as in the morning, when going out, when getting off, at home, before going to bed, at the weekend, etc. (predetermined according to the user's action or action pattern) (Timing). For example, the timing determination unit 20d may determine the timing so as to present it immediately if it is information about a place. Specifically, for example, when a user visits a place where he / she does not normally go, if there is a store of the same category or the same name as the store the user always visits, the store information is determined to be presented immediately.
  • the timing determination unit 20d determines to present it in the morning if it is a store of the same category as the store that the user always goes in the morning, and presents it in the evening if it is a store of the same category as the store that always goes at night. You may decide based on a habit to decide.
  • the timing determination unit 20d may determine to present it at the end of the activity of the day, that is, when returning home, in the case of a response such as a call when the daily activity amount is different from the usual amount.
  • the timing determination unit 20d may determine to present it at the end of the life of the day, that is, at the time of going home or at bedtime, in the case of a response of a word of effort or synchronization when different from the usual lifestyle. In addition, the timing determination unit 20d may determine to present it at the time of getting off in the case of a response of a word of effort or synchronization when the state at the time of boarding is different from usual.
  • the timing determination unit 20d decides to present it before departure if it is a response or advice informing about special weather or a railroad accident, or to return it in the case of a word of labor or synchronization according to the special weather or railroad accident. May be.
  • the timing determination unit 20d determines to immediately present the response generated according to the utterance from the user.
  • the timing determination unit 20d determines to present immediately when there is a change in the response for notifying the change generated by the response generation unit 20c when there is a change in the response already answered. Alternatively, it may be decided to notify the time when the user who has returned home is spending at home.
  • the response output control unit 20e controls the user terminal 1 to present the response generated by the response generation unit 20c to the user at the timing determined by the timing determination unit 20d. For example, the response output control unit 20e transmits a response to the user terminal 1 and instructs to present the response when the timing determined by the timing determination unit 20d is reached. Alternatively, the response output control unit 20e may transmit a response from the communication unit 21 to the user terminal 1 and instruct the presentation timing of the response. In the user terminal 1, for example, a response is output (voice output or display output) from the speaker 16 or the display unit 15.
  • the response output control unit 20e can also control the response output mode according to the device type of the user terminal 1. For example, when the user terminal 1 is a device having a relatively small display area such as a smart band or a smart watch, the response output control unit 20e performs control so that the granularity of information is coarse, that is, the response outline is presented. On the other hand, when the user terminal 1 is a device having a relatively large display area such as a smartphone or a tablet terminal, the response output control unit 20e performs control so that the granularity of information is fine, that is, detailed information on the response is presented. Further, the response output control unit 20e may control the smart band or the smart watch so that the summary is displayed on the smart band or the smart phone and the detailed information is displayed on the smartphone or the tablet terminal so that the responses are presented with different granularities.
  • the feedback unit 20i reflects the user's behavior for the automatically generated response as feedback in the response generation unit 20c, the timing determination unit 20d, and the habit storage unit 23, thereby generating a more appropriate response, timing determination, and habit information. Can be accumulated. Further, the feedback unit 20i may reflect what the user has replied as preference information in the preference information storage unit (not shown) of the server 2.
  • the communication unit 21 has a function of connecting to an external device by wireless / wired and transmitting / receiving data.
  • the communication unit 21 according to the present embodiment is connected to, for example, the user terminal 1 and receives user behavior information, or transmits response information to the user terminal 1 according to the control of the response output control unit 20e.
  • the behavior information storage unit 22 stores user behavior information (position information, movement information, and the like) transmitted from the user terminal 1.
  • the habit storage unit 23 stores user habit information (behavior pattern) analyzed by the habit analysis unit 20b.
  • the response storage unit 24 stores a response to the utterance from the user generated by the response generation unit 20c.
  • the configuration of the server 2 according to the present embodiment has been specifically described above. Note that the configuration of the server 2 is not limited to the example illustrated in FIG. 3.
  • the behavior information storage unit 22, the habit storage unit 23, and the response storage unit 24 may be provided in the external server.
  • FIG. 4 is a flowchart showing habit analysis processing according to this embodiment.
  • the user terminal 1 detects user behavior information.
  • the user behavior information includes position information from the current position measurement unit 13 and motion information from the motion detection unit 14. Further, the user terminal 1 transmits the detected user behavior information to the server 2. The transmission of the behavior information can be continuously performed in real time.
  • step S106 the behavior information storage control unit 20a of the server 2 stores the behavior information transmitted from the user terminal 1 in the behavior information storage unit 22.
  • the habit analysis unit 20b of the server 2 analyzes habits (that is, behavior patterns) based on the behavior information stored in the behavior information storage unit 22. For example, the habit analysis unit 20b analyzes the behavior pattern for each time zone on weekdays and holidays based on behavior information for the past month or week.
  • step S112 the habit storage unit 23 of the server 2 stores habit information (for example, information in which a place and a matter are associated with the time axis) as an analysis result by the habit analysis unit 20b.
  • habit information for example, information in which a place and a matter are associated with the time axis
  • FIG. 5 is a flowchart showing a response process according to the present embodiment. As shown in FIG. 5, first, in step S ⁇ b> 123, the user terminal 1 detects user behavior information and transmits it to the server 2.
  • step S126 the behavior information storage control unit 20a of the server 2 stores the behavior information transmitted from the user terminal 1 in the behavior information storage unit 22.
  • step S129 the response generation unit 20c of the server 2 reads the user's habit information from the habit storage unit 23.
  • step S132 the response generation unit 20c compares the user behavior information transmitted from the user terminal 1 with the habit information read from the habit storage unit 23, and whether or not the user behavior is different from the habit. Determine whether. Specifically, for example, the response generation unit 20c determines whether the user is in a different place from where the user always goes and whether the user's movement (activity amount) is different from the usual place.
  • step S135 the response generation unit 20c generates a response to a different action.
  • the response generation unit 20c may generate information on a store in the same category as the store that the user regularly visits using the habit information read from the habit storage unit 23 as necessary.
  • the response generation unit 20c generates a call or a word of effort / synchronization as a response when the amount of activity is higher than usual, when it is not possible to sit down on a train that can always be seated, or when the return time is later than usual. May be.
  • step S138 the timing determination unit 20d determines the output timing to the user of the response generated by the response generation unit 20c.
  • step S144 the response output control unit 20e controls to output a response from the user terminal 1 to the user.
  • the response can be output by voice output or display output.
  • FIG. 6 is a flowchart showing the response accumulation process according to this embodiment. As shown in FIG. 6, first, in step S ⁇ b> 203, an utterance (voice input) from the user is detected by the input unit 12 of the user terminal 1 and transmitted to the server 2.
  • step S ⁇ b> 203 an utterance (voice input) from the user is detected by the input unit 12 of the user terminal 1 and transmitted to the server 2.
  • step S206 the voice recognition unit 20f of the server 2 recognizes the voice transmitted from the user terminal 1 and converts the voice into character data.
  • step S209 the semantic analysis unit 20g extracts the meaning (the content of the utterance) of the character data converted by the voice recognition unit 20f.
  • step S212 the response generation unit 20c generates a response to the meaning of the utterance by the user extracted by the semantic analysis unit 20g, that is, the utterance content. For example, when the utterance from the user is an utterance of weather information, the response generation unit 20c generates the weather information of the date and place extracted by the semantic analysis unit 20g as a response.
  • step S215 the response output control unit 20e controls to output the response generated by the response generation unit 20c from the user terminal 1 to the user.
  • step S218, the control unit 20 stores the response content in the response storage unit 24.
  • the response content is a response content that may change in the future, such as future weather information
  • the control unit 20 adds additional information such as an answer when the weather changes by the day ⁇ to the response storage unit 24.
  • the control unit 20 may store the preference information storage unit (not shown) of the server 2 as the user's preference information or the habit storage unit 23. It may be reflected as a habit. For example, in the case of a favorite utterance such as “it is fun to go to the coffee shop every morning”, the control unit 20 can reflect the utterance as a habit in the habit storage unit 23.
  • FIG. 7 is a flowchart showing a re-response process according to this embodiment. As described above with reference to FIG. 6, since the response once performed is stored in the response storage unit 24, the server 2 can respond again when there is a change in the response content thereafter. is there.
  • the response generation unit 20c determines whether or not the response content stored in the response storage unit 24 has changed. For example, the response generation unit 20c determines that there is a change in the response content when the weather information has changed before the weekend arrives after responding to the weather information on the weekend.
  • the response generation unit 20c when there is a change in the response content (“Yes” in S223), the response generation unit 20c generates a new response in step S226.
  • step S229 the timing determination unit 20d determines the output timing of the response generated again.
  • step S229 the response output control unit 20e performs control so that the response generated again by the response generation unit 20c is output from the user terminal 1 to the user. To do.
  • step S232 the control unit 20 updates the response information stored in the response storage unit 24.
  • the operation processing according to this embodiment has been specifically described above. Subsequently, an example of presenting a response according to the present embodiment will be described.
  • the presentation of the response on the user terminal 1 according to the present embodiment may be an audio output from the speaker 16 or a display output from the display unit 15.
  • a specific example of the response display screen in the case of display output will be described with reference to FIGS.
  • FIG. 8 is a diagram showing a response display example in the case of the smart eyeglass 1a.
  • the lens unit positioned in front of the user's eyes when the user wears the smart eyeglass 1a corresponds to the display unit 15a.
  • the display unit 15a has transparency, and the user can also see an image displayed on the display unit 15a while viewing the real space through the display unit 15a.
  • the smart eyeglass 1a Based on the response data transmitted from the server 2, the smart eyeglass 1a displays a response image 32 at the end of the display unit 15a so as not to disturb the user's field of view as shown in FIG.
  • the response image 32 shows that a railway accident occurred when the user had a habit of moving a train during commuting / commuting to school ("Good morning! Trouble with the XX line!) And words of effort / synchronization ("OK? It ’s good if you do n’t have it ”).
  • the response image 32 shown in FIG. 8 may include a character and may appear to receive a response from the character. The character can be changed according to the user's preference.
  • FIG. 9 is a diagram showing a response display example in the case of the smartphone 1b. As illustrated in FIG. 9, when the user terminal 1 is realized by the smartphone 1b, the smartphone 1b displays the response image 34 on the display unit 15b based on the response data transmitted from the server 2. A return button 36 may also be displayed.
  • the response image 34 shows words of effort / synchronization according to raining when the user has a habit of walking or cycling during commuting / commuting (“Good morning! ) ”) Will be presented at the timing before departure. Further, the response image 34 shown in FIG. 9 may include a character, and may appear to receive a response from the character. The character can be changed according to the user's preference.
  • FIG. 10 is a diagram showing a response display example in the room.
  • the response image is displayed on the display unit 15 of the user terminal 1 has been described.
  • the present embodiment is not limited thereto, and is embedded in a wall or ceiling of a room as an example of the output unit.
  • a display or a projector 15 ′ that projects an image on the wall or ceiling of the room may be used.
  • the response image 38 is projected on the wall of the room by the projector 15 '.
  • the projector 15 ′ can wirelessly connect to the smartphone 1b with Wi-Fi (registered trademark) or Bluetooth (registered trademark) and function as an output unit of the smartphone 1b. .
  • FIG. 11 is a diagram illustrating a response display example in which a plurality of user terminals 1 cooperate with each other.
  • the server 2 responds to a plurality of devices with a granularity corresponding to each device. You may control to display data.
  • the smartphone 1b and the smart watch 1c are linked by wireless connection with Wi-Fi (registered trademark) or Bluetooth (registered trademark)
  • the smartphone 1b adjusts the granularity of the response data transmitted from the server 2
  • the smart watch 1c Since the display unit 15c of the smart watch 1c has a relatively small display area, and the display unit 15b of one smartphone 1b has a relatively large display area, the smart watch 1c displays an outline of the response, and details of the response are displayed on the smartphone 1b. By displaying, an appropriate display mode according to the device can be realized.
  • the user confirms the outline of the response by the response image 40 on the display unit 15c of the smart watch 1c, and confirms the detailed information on the response image 42 displayed on the display unit 15b of the smartphone 1b. be able to.
  • the response image 40 and the response image 42 show information on nearby coffee shops in the morning on the basis of the habit of going to a coffee shop every morning when the user visits a place different from the place where the user always goes. It is to be presented. Since the response image 40 is displayed on the display unit 15c of the smart watch 1c having a relatively small display area, only the presence / absence of the coffee shop, such as “I always have S coffee to go”, is shown. On the other hand, since the response image 42 is displayed on the display unit 15b of the smartphone 1b having a relatively large display area, it is possible to show detailed information such as a map image indicating the location of the coffee shop and store opening hours.
  • FIG. 12 is a diagram illustrating an example of character appearance according to a message.
  • a message includes words such as “sad”, “sorry”, and “severe”, the appearance of the character is changed to a disappointing expression, and “fun”, “happy”, “good”, etc.
  • the appearance of the character is changed to a pleasant expression.
  • the effect of healing and labor can be enhanced by changing the appearance of the character to a facial expression showing emotions (joy, sadness, anger, praise, surprise, disgust, fear, etc.) according to the message.
  • the information processing system presents information that the user wants at an appropriate timing by responding to unusual behavior based on the behavior information of the user. Is possible.
  • a computer program for causing the functions of the user terminal 1 and the server 2 to be performed on hardware such as the CPU, ROM, and RAM incorporated in the user terminal 1 and the server 2 described above can be created.
  • a computer-readable storage medium storing the computer program is also provided.
  • the information processing system has been described as including a user terminal 1 and a server 2, but the present embodiment is not limited to this, and the information processing system is realized by the user terminal 1. May be. That is, the user terminal 1 has the configuration of the server 2 shown in FIG. 3, and the user terminal 1 can generate and present a response to a behavior different from usual based on the user behavior information.
  • this technique can also take the following structures.
  • a behavior analysis unit that analyzes a behavior pattern within a predetermined period; When a behavior different from the behavior pattern is detected, a generation unit that generates a response to the different behavior; A determination unit for determining an output timing of the generated response;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the generation unit generates location information to be presented to a user based on the behavior pattern or preference information of the user for the different behavior. (3) The information processing apparatus according to (1) or (2), wherein the generation unit generates a call for the different action. (4) The information processing apparatus according to any one of (1) to (3), wherein the generation unit generates a comment of synchronization or effort for the different actions.
  • the information processing apparatus according to any one of (1) to (4), wherein the generation unit generates an advice, notification, call, synchronization, or labor comment according to special weather.
  • the behavior information is position information or motion information of a user.
  • the movement information is activity amount information indicating the number of steps, the walking time, the running time, the boarding time, the standing time, or the sitting time.
  • the determination unit determines an output timing so that a response to the different action is immediately output when the different action is detected. .
  • the information processing apparatus determines a response to the different behavior at a predetermined timing according to a user behavior or a behavior pattern.
  • the determination unit determines a response to the different behavior at a predetermined timing according to a user behavior or a behavior pattern.
  • the response is output by voice or display.
  • the information processing apparatus according to any one of (1) to (10), wherein the response is output with an information granularity corresponding to a size of a display area of the output device.
  • the information processing apparatus further includes a response storage unit that stores a response made to an inquiry from a user, The information processing apparatus according to any one of (1) to (11), wherein the generation unit generates a response again when a change occurs in the content of the stored response.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能な情報処理装置、制御方法、およびプログラムを提供する。 【解決手段】蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、を備える、情報処理装置。

Description

情報処理装置、制御方法、およびプログラム
　本開示は、情報処理装置、制御方法、およびプログラムに関する。
　近年、音声を認識して意味解析を行い、ユーザの発話に対して自動的に回答を行う対話システムが提案されている。このような対話システムは発話に対して必要な情報が返されるのみであって、ユーザが使い続けたいと思うような付加価値は無かった。
　これに対し、下記特許文献１では、音楽データや映像データのコンテンツ配信サービスにおいて、ユーザの嗜好や操作の癖に合った、現在のユーザにとって最適なコンテンツを選択するシステムが提案されている。音楽等のコンテンツをユーザの嗜好に基づいて選択することで、選択結果に意外性を持たせている。
特開２００８－９７３１３号公報
　しかしながら、特許文献１に記載のシステムでは、ユーザの行動を検知して行動特徴に応じた応答を自動的に行うことについては考慮されていない。また、特許文献１に記載システムは、ユーザから発話を行った時に選択結果が返信されるものであって、自動的に情報提供は行われない。
　また、ユーザから発話を行った時以外に情報提供を行うサービスは多々提供されているが、適切なタイミングで役に立つ情報が提示されなければ、ユーザにとっては邪魔で煩わしいものであった。例えば一度検索したキーワードに基づいて広告やお勧めの店等の情報がその後頻繁に提示されても、提示された時やその日に店に行けなければ役に立たない情報であるため、ユーザにとっては不要であった。
　したがって、ユーザが発話をしなくても、ユーザが欲しいであろう情報が適切なタイミングで提示されれば、ユーザにとって利便性の高いシステムとなる。例えば、毎朝コーヒーショップに行くことが日課のユーザが、旅行や出張等で普段と異なる場所を訪れた際に、朝、近くにあるコーヒーショップの場所が自動的に提示されると、ユーザにとって役に立つ情報が適切なタイミングで提示されたと言える。また、毎日同じような行動をしている時には不要であるが、珍しくよく歩いた日には、「今日は疲れたね」「運動になったね」「今日の消費カロリーはいつもより○○○カロリーも多かったよ」といった、労りや同調の言葉、普段とどう違ったかを示す情報が、ユーザにとって欲しい情報となる。
　このように、ユーザが欲しいであろう情報や情報提示の適切なタイミングは、ユーザの行動に応じて判断することが可能である。
　そこで、本開示では、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能な情報処理装置、制御方法、およびプログラムを提案する。
　本開示によれば、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、を備える情報処理装置を提案する。
　本開示によれば、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、前記生成された応答の出力タイミングを決定することと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、前記生成された応答の出力タイミングを決定する決定部と、として機能させるためのプログラムを提案する。
　以上説明したように本開示によれば、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態による習慣解析処理を示すフローチャートである。 本実施形態による応答処理を示すフローチャートである。 本実施形態による応答蓄積処理を示すフローチャートである。 本実施形態による再応答処理を示すフローチャートである。 本実施形態によるスマートアイグラスの場合における応答表示例を示す図である。 本実施形態によるスマートフォンの場合における応答表示例を示す図である。 本実施形態による部屋での応答表示例を示す図である。 本実施形態による複数のユーザ端末で連携する応答表示例を示す図である。 本実施形態によるメッセージに応じたキャラクタ様相例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．ユーザ端末の構成
　　２－２．サーバの構成
　３．動作処理
　　３－１．習慣解析処理
　　３－２．応答処理
　　３－３．応答蓄積処理および再応答処理
　４．応答提示例
　５．まとめ
　　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　まず、本開示の一実施形態による情報処理システムの概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システムは、ユーザが所持するユーザ端末１と、応答生成および提示タイミングの制御を行うサーバ２とを含む。ユーザ端末１とサーバ２は、例えばネットワーク３を介して接続する。
　ユーザ端末１は、図１に示すように、例えばスマートアイグラス１ａ、スマートフォン１ｂ、スマートウォッチ１ｃ等により実現される。ユーザ端末１は、ユーザの行動情報を継続的にセンシングし、検知した行動情報を、ネットワーク３を介してサーバ２に送信する。具体的には、例えばユーザ端末１には、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、加速度センサ、地磁気センサ等が搭載され、位置情報や動き情報（活動量）がセンシングされる。
　サーバ２は、ユーザ端末１から送信された行動情報を蓄積し、行動情報からユーザの行動パターンを解析する。また、サーバ２は、ユーザの行動が行動パターンと異なる場合、すなわち普段と異なる行動が検知された場合、当該異なる行動に対して自動的に応答を生成し、ユーザ端末１からユーザに提示する。また、サーバ２は、応答の提示タイミングを応答内容に応じて制御することが可能である。例えば、サーバ２は、ユーザの現在地近くに存在する店の情報等、位置情報に基づく情報であれば即時提示するよう制御し、ユーザの活動量（歩数、走った距離、立っていた時間等）に基づくものであれば一日の活動終了後、例えば帰宅時に提示するよう制御する。また、サーバ２は、ユーザの行動や行動パターン（習慣）に応じた所定のタイミングで提示するよう制御することも可能である。
　これにより、普段同じような行動を取っている場合には提示される情報も常態化してきて面白味に欠けるが、普段と異なる行動に基づいて応答を自動生成し、応答タイミングを制御することで、ユーザが欲しいであろう情報を適切なタイミングで提示することができる。
　以上、本開示の一実施形態による情報処理システムの概要について説明した。なお、ユーザ端末１は、図１に示すような形態に限定されず、例えばタブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ（ヘッドマウントディスプレイ）、スマートバンド）であってもよい。また、図１に示す例では、ユーザ端末１が、ユーザの行動をセンシングする機能と、サーバ２の制御に従って応答を提示する機能とを兼ねているが、センシング機能と提示機能を別々の情報処理端末で行ってもよいし、また、センシング機能を複数の情報処理端末に設けてもよい。
　続いて、本実施形態の情報処理システムに含まれるユーザ端末１およびサーバ２の構成について説明する。
　　＜＜２．構成＞＞
　　＜２－１．ユーザ端末の構成＞
　図２は、本実施形態によるユーザ端末１の構成の一例を示すブロック図である。図２に示すように、ユーザ端末１は、制御部１０、通信部１１、入力部１２、現在位置計測部１３、動き検知部１４、表示部１５、スピーカ１６、および記憶部１７を有する。
　（制御部１０）
　制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、ユーザ端末１の各構成を制御する。具体的には、本実施形態による制御部１０は、現在位置計測部１３により計測された現在位置情報や、動き検知部１４により検知された動き情報（すなわち活動量情報）を、通信部１１からサーバ２に送信するよう制御する。なお制御部１０は、現在位置情報および動き情報をリアルタイムで送信するよう制御してもよい。また、制御部１０は、通信部１１を介してサーバ２から送信された応答を表示部１５またはスピーカ１６から出力するよう制御する。
　（通信部１１）
　通信部１１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１１は、例えばサーバ２と接続し、制御部１０の制御に従って、現在位置情報および動き情報を送信したり、サーバ２で生成された応答を受信したりする。
　（入力部１２）
　入力部１２は、ユーザによる情報入力操作を検出し、検出した入力情報を制御部１０に送信する。例えば入力部１２は、タッチパネル、キーボード、テンキー、ボタン、スイッチ等により実現される。また、入力部１２をカメラにより実現することで、ジェスチャー入力が可能となる。また、入力部１２をマイクロフォンにより実現することで、音声入力が可能となる。また、入力部１２は、複数種類の入力デバイスにより実現されてもよい。
　（現在位置計測部１３）
　現在位置計測部１３は、外部からの取得信号に基づいてユーザ端末１の現在位置を検知する機能を有する。具体的には、例えば現在位置計測部１３は、ＧＰＳ測位部により実現され、ＧＰＳ衛星からの電波を受信して、ユーザ端末１が存在している位置を検知し、検知した位置情報を制御部１０に出力する。また、現在位置計測部１３は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　（動き検知部１４）
　動き検知部１４は、ユーザ端末１の動きを検知する機能を有する。具体的には、例えば動き検知部１４は、３軸加速度センサおよび地磁気センサ等により実現され、これらで検知されるデータを利用して、ユーザの活動量（停止時間、歩行時間、歩数、走行時間、座っていた時間、立っていた時間、乗り物に乗っていた時間等）を検知する。動き検知部１４は、検知した動き情報を制御部１０に出力する。
　（表示部１５）
　表示部１５は、制御部１０の指示に従って、画面に文字や画像その他の情報を表示する機能を有する。
　（スピーカ１６）
　スピーカ１６は、制御部１０の指示に従って、音声信号を再生する機能を有する。
　（記憶部１７）
　記憶部１７は、様々なデータを記憶し、例えば制御部１０の各処理を実行するためのプログラムを記憶する。また、記憶部１７は、ユーザのスケジュール情報を記憶していてもよい。
　以上、本実施形態によるユーザ端末１の構成について具体的に説明した。なおユーザ端末１の構成は図２に示す例に限定されず、例えばスピーカ１６を有さない構成であってもよい。また、ユーザ端末１は、現在位置計測部１３や動き検知部１４が別体に設けられ、別体から近距離無線通信（例えば赤外線通信、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標））により現在位置情報および動き情報を取得する構成であってもよい。
　　＜２－２．サーバの構成＞
　図３は、本実施形態によるサーバ２の構成の一例を示すブロック図である。図３に示すように、サーバ２は、制御部２０、通信部２１、行動情報記憶部２２、習慣記憶部２３、および応答記憶部２４を有する。
　（制御部２０）
　制御部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、サーバ２の各構成を制御する。具体的には、本実施形態による制御部２０は、図３に示すように、行動情報記憶制御部２０ａ、習慣解析部２０ｂ、応答生成部２０ｃ、タイミング決定部２０ｄ、応答出力制御部２０ｅ、音声認識部２０ｆ、意味解析部２０ｇ、天候情報取得部２０ｈ、およびフィードバック部２０ｉとして機能する。
　行動情報記憶制御部２０ａは、通信部２１を介してユーザ端末１から送信された現在位置情報および動き情報等を行動情報として行動情報記憶部２２に記憶する。動き情報とは、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間等を示す活動量情報である。
　習慣解析部２０ｂは、行動情報記憶部２２に記憶された行動情報に基づいて、ユーザの行動パターン、すなわち習慣を解析する。具体的には、習慣解析部２０ｂは、所定期間の行動情報に基づいて、ユーザの習慣を解析する。例えば習慣解析部２０ｂは、過去Ｎカ月の行動情報に基づいて、訪問場所のカテゴリ（飲食店、コンビニ、本屋等）を抽出し、訪問回数が多いカテゴリまたは店名を、ユーザがいつも行く場所として検出する。訪問回数の多さは、ユーザのカテゴリ別の訪問回数の中で判断してもよいし、他ユーザの統計と比べて判断してもよい。また、習慣解析部２０ｂは、訪問回数が多い訪問場所に行った日時も併せて抽出することで、ユーザが平日朝または夜、若しくは休日朝または夜等にいつも行く場所を検出することができる。また、習慣解析部２０ｂは、過去Ｎカ月の行動情報に基づいて、いつもの歩数（平日、休日別）、いつも電車に乗っている時間・場所（立っている／座っている率）等を解析してもよい。さらに、習慣解析部２０ｂは、過去一週間の行動情報に基づいて、出社時間、帰社時間、帰宅時間等の平均や分散を解析し、出社時間、帰社時間、帰宅時間等の習慣を検出することもできる。習慣解析部２０ｂにより解析された習慣情報は、習慣記憶部２３に記憶される。
　応答生成部２０ｃは、通信部２１を介してユーザ端末１から受信したユーザの行動情報に対する応答を生成する。具体的には、応答生成部２０ｃは、習慣記憶部２３に記憶されたユーザの習慣を参照し、習慣と異なる行動が検知された際に、当該異なる行動に対する応答を生成する。例えば応答生成部２０ｃは、位置情報に基づいて、ユーザが普段訪れない場所に訪れたことが分かった場合、「楽しかったかな？」「いつもと違うことができたかな」といった呼びかけを生成する。また、応答生成部２０ｃは、毎朝コーヒーショップに行くといったユーザの習慣に基づいて、ユーザが普段訪れない場所を訪れた際には、近くに存在する同カテゴリまたは同名称のコーヒーショップに関する情報（場所情報）を生成する。なお、応答生成部２０ｃは、ユーザの習慣の他、ユーザの嗜好情報に基づいて、ユーザが普段訪れない場所を訪れた際に、近くに存在するユーザが好む飲食店等に関する情報（場所情報）を生成してもよい。
　また、応答生成部２０ｃは、活動量に関する習慣と動き情報（歩数、歩いている時間、立っている時間等）に基づいて、普段より活動量が多い／少ないことが分かった場合、「運動になったね」「今日はよく歩いたね」といった呼びかけを生成する。また、応答生成部２０ｃは、「今日はいつもよりｎ歩も歩いたよ」「今日の消費カロリーはいつもより多いよ」といった通常の行動との違いを伝える情報を生成する。
　また、応答生成部２０ｃは、生活に関する習慣と動き情報に基づいて、いつも座れている電車で座れなかったことが分かった場合、「今日は残念だったね」「今日は疲れたね」といった、労りや同調の言葉を生成する。また、応答生成部２０ｃは、普段よりも帰社や帰宅時間が遅いことが分かった場合、「遅くまで頑張ったね、お疲れさま」といった、労りや同調の言葉を生成する。また、応答生成部２０ｃは、帰社や帰宅時間が遅いことが一週間続いた場合、「今週は忙しかったね」といった、所定期間に対する労りや同調の言葉を生成する。
　以上、普段の習慣と異なる行動に対する応答生成について説明したが、本実施形態による応答生成部２０ｃによる応答生成はこれに限定されない。例えば、応答生成部２０ｃは、ユーザが通勤／通学時、買い物時、子供の送迎時等に歩きや自転車で移動する習慣の場合、天候情報取得部２０ｈにより取得された天候情報が特殊な場合や天候に基づく不快指数が所定値より高い場合には、天候を知らせる応答、特殊な天候に応じた助言、特殊な天候に応じた労りや同調の言葉を生成する。具体的には、応答生成部２０ｃは、「夜から急に冷え込んだね。自転車寒かったよね」「蒸し暑いね、水分補給を忘れずに」「雪大丈夫？」といった同調、労り、呼びかけ、助言等の応答を生成する。天候情報取得部２０ｈは、外部の所定サーバから天候に関する情報を取得し、応答生成部２０ｃに出力する。
　なお特殊な天候であるか否かの判断や不快指数の算出は一般的な方法を用いて行われ得る。例えば、不快指数は、温度（Ｔｄ）および湿度（Ｈ）を用いて、式１：0.81Td+0.01H(0.99Td-14.3)+46.3により求められる。不快指数５５以下の場合は寒さによる不快を感じ、８５以上の場合は暑さによる不快を感じるため、このような場合に、応答生成部２０ｃは応答を生成する。また、応答生成部２０ｃは、大雨や大雪といった特殊な天候は、地域によって定められた基準（例えば一時間あたり20mm以上の雨であれば大雨、２４時間降雪の深さ２０ｃｍであれば大雪等）に基づいて判断してもよい。
　また、応答生成部２０ｃは、ユーザが通勤／通学時に電車で移動する習慣の場合、鉄道情報に基づいて事故、遅延、見合わせ等の普段と異なる状況が発生している場合には、事故等を知らせる応答、助言、労りや同調の言葉を生成する。
　また、応答生成部２０ｃは、ユーザからの発話（音声による問い合わせ）に応じた応答を生成することも可能である。具体的には、例えばユーザ端末１においてユーザが発話を行った場合、入力部１２により収音された音声がサーバ２に送信され、サーバ２は、音声認識部２０ｆにより音声認識を行って文字データに変換する。次いで、意味解析部２０ｇにより、音声認識部２０ｆから出力された文字データの意味を解析する。例えば「週末の天気は？」といった文字列が音声認識により出力された場合、意味解析部２０ｇは、現在日時から「週末」の日付を判断する。また、意味解析部２０ｇは、ユーザの現在位置または住所、勤務地、若しくはスケジュール情報から週末に出掛ける予定が入っている場合には外出先の場所に基づいて、「どこの天気」を聞いているかを推定する。これにより、意味解析部２０ｇは、「○月×日における△△（場所）の天候情報」の発話であると解析することができる。そして、応答生成部２０ｃは、意味解析部２０ｇから出力された解析結果（ユーザの発話の意味）に応じた応答を生成する。例えば、「○月×日における△△（場所）の天候情報」といった発話の場合、応答生成部２０ｃは、天候情報取得部２０ｈにより取得された天候情報に基づいて、応答を生成する。また、このようにユーザの発話に応じて生成した応答内容は、応答記憶部２４に記憶される。
　また、応答生成部２０ｃは、応答記憶部２４に記憶された、既に回答した応答に変化があった場合、変化を通知するための応答を生成してもよい。例えばユーザからの発話に応じて一週間後の天候情報を応答した数日後に天気予報が変わった場合、応答生成部２０ｃは、最新の天候情報に基づいた応答を生成する。以上、発話に応じた応答生成部２０ｃによる応答の生成について説明したが、本実施形態はこれに限定されず、音声以外の、例えば文字入力やジェスチャー等によるユーザからの問い合わせに対して応答を生成することも可能である。
　タイミング決定部２０ｄは、応答生成部２０ｃで生成された応答のユーザへの提示タイミングを決定する。具体的には、タイミング決定部２０ｄは、応答を即時提示するか、朝・外出時・降車時・帰宅時・就寝前・週末等の特定のタイミング（ユーザの行動または行動パターンに応じた所定のタイミング）で提示するかを決定する。例えば、タイミング決定部２０ｄは、場所に関する情報であれば即時提示するようタイミングを決定してもよい。具体的には、例えばユーザが普段行かない場所を訪れた際に、ユーザがいつも行く店と同カテゴリまたは同名称の店が近くにある場合、当該店の情報を即時提示するよう決定する。また、タイミング決定部２０ｄは、ユーザが朝にいつも行く店と同カテゴリの店であれば、朝に提示するよう決定し、夜にいつも行く店と同カテゴリの店であれば夜に提示するよう決定するよう、習慣に基づいて決定してもよい。
　また、タイミング決定部２０ｄは、一日の活動量が普段と異なる場合の呼びかけ等の応答の場合、一日の活動終了時すなわち帰宅時に提示するよう決定してもよい。
　また、タイミング決定部２０ｄは、普段の生活習慣と異なる場合の労りや同調の言葉の応答の場合、一日の生活終了時すなわち帰宅時や就寝時に提示するよう決定してもよい。また、タイミング決定部２０ｄは、乗車時の状態が普段と異なる場合の労りや同調の言葉の応答の場合、降車時に提示するよう決定してもよい。
　また、タイミング決定部２０ｄは、特殊な天候や鉄道事故等を知らせる応答や助言であれば出発前、特殊な天候や鉄道事故等に応じた労りや同調の言葉の場合は帰宅時に提示するよう決定してもよい。
　また、タイミング決定部２０ｄは、ユーザからの発話に応じて生成した応答は即時提示するよう決定する。
　また、タイミング決定部２０ｄは、既に回答した応答に変化があった場合に応答生成部２０ｃにより生成された、変化を通知するための応答の場合、変化があった場合に即時提示するよう決定してもよいし、帰宅後のユーザが自宅で過ごしている時間に通知するよう決定してもよい。
　応答出力制御部２０ｅは、タイミング決定部２０ｄにより決定されたタイミングで、応答生成部２０ｃにより生成された応答をユーザ端末１からユーザに提示するよう制御する。例えば、応答出力制御部２０ｅは、タイミング決定部２０ｄにより決定されたタイミングになった際に、ユーザ端末１に応答を送信して、当該応答を提示するよう指示する。または、応答出力制御部２０ｅは、通信部２１からユーザ端末１に応答を送信すると共に、当該応答の提示タイミングを指示してもよい。ユーザ端末１では、例えばスピーカ１６または表示部１５から応答が出力（音声出力、表示出力）される。
　さらに、応答出力制御部２０ｅは、ユーザ端末１のデバイス種別に応じて応答の出力態様を制御することも可能である。例えば、ユーザ端末１がスマートバンドやスマートウォッチといった比較的表示領域が小さいデバイスの場合、応答出力制御部２０ｅは、情報の粒度を粗く、すなわち応答の概要を提示するよう制御する。一方、ユーザ端末１がスマートフォンやタブレット端末といった比較的表示領域が大きいデバイスの場合、応答出力制御部２０ｅは、情報の粒度を細かく、すなわち応答の詳細情報を提示するよう制御する。また、応答出力制御部２０ｅは、スマートバンドやスマートウォッチに概要を表示させると共に、スマートフォンやタブレット端末に詳細情報を表示させるといった複数のデバイスに異なる粒度で応答を提示するよう制御してもよい。
　フィードバック部２０ｉは、自動生成した応答に対するユーザの行動をフィードバックとして応答生成部２０ｃやタイミング決定部２０ｄ、習慣記憶部２３に反映させることで、より適切な応答の生成や、タイミングの決定、習慣情報の蓄積を実現することができる。また、フィードバック部２０ｉは、ユーザが好きと回答したものを嗜好情報としてサーバ２が有する嗜好情報記憶部（不図示）に反映させてもよい。
　（通信部２１）
　通信部２１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部２１は、例えばユーザ端末１と接続し、ユーザの行動情報を受信したり、応答出力制御部２０ｅの制御に従って応答情報をユーザ端末１に送信したりする。
　（行動情報記憶部２２）
　行動情報記憶部２２は、ユーザ端末１から送信されたユーザの行動情報（位置情報および動き情報等）を記憶する。
　（習慣記憶部２３）
　習慣記憶部２３は、習慣解析部２０ｂにより解析されたユーザの習慣情報（行動パターン）を記憶する。
　（応答記憶部２４）
　応答記憶部２４は、応答生成部２０ｃにより生成されたユーザからの発話に対する応答を記憶する。
　以上、本実施形態によるサーバ２の構成について具体的に説明した。なおサーバ２の構成は図３に示す例に限定されず、例えば行動情報記憶部２２、習慣記憶部２３、および応答記憶部２４が外部サーバに設けられていてもよい。
　　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について、図４～図７を参照して具体的に説明する。
　　＜３－１．習慣解析処理＞
　図４は、本実施形態による習慣解析処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、ユーザ端末１はユーザの行動情報を検知する。上述したように、ユーザの行動情報は、現在位置計測部１３による位置情報、動き検知部１４による動き情報が含まれる。また、ユーザ端末１は、検知したユーザの行動情報をサーバ２に送信する。行動情報の送信は継続的にリアルタイムで行われ得る。
　次に、ステップＳ１０６において、サーバ２の行動情報記憶制御部２０ａは、ユーザ端末１から送信された行動情報を行動情報記憶部２２に記憶する。
　次いで、ステップＳ１０９において、サーバ２の習慣解析部２０ｂは、行動情報記憶部２２に蓄積された行動情報に基づいて、習慣（すなわち行動パターン）を解析する。例えば習慣解析部２０ｂは、過去１カ月や１週間の行動情報に基づいて、平日・休日における時間帯別の行動パターンを解析する。
　そして、ステップＳ１１２において、サーバ２の習慣記憶部２３は、習慣解析部２０ｂによる解析結果である習慣情報（例えば時間軸に場所・事柄を対応付けた情報）を記憶する。
　　＜３－２．応答処理＞
　図５は、本実施形態による応答処理を示すフローチャートである。図５に示すように、まず、ステップＳ１２３において、ユーザ端末１はユーザの行動情報を検知し、サーバ２に送信する。
　次に、ステップＳ１２６において、サーバ２の行動情報記憶制御部２０ａは、ユーザ端末１から送信された行動情報を行動情報記憶部２２に記憶する。
　次いで、ステップＳ１２９において、サーバ２の応答生成部２０ｃは、習慣記憶部２３からユーザの習慣情報の読み出しを行う。
　次に、ステップＳ１３２において、応答生成部２０ｃは、ユーザ端末１から送信されたユーザの行動情報と、習慣記憶部２３から読み出した習慣情報とを比較して、ユーザの行動が習慣と異なるか否かを判断する。具体的には、例えば応答生成部２０ｃは、ユーザがいつも行く場所と異なる場所に居るか、また、ユーザの動き（活動量）がいつもと異なるかを判断する。
　次いで、習慣と異なる場合（ステップＳ１３２で「Ｙｅｓ」）、ステップＳ１３５において、応答生成部２０ｃは、異なる行動に対する応答を生成する。この際、応答生成部２０ｃは、必要に応じて習慣記憶部２３から読み出した習慣情報を用いて、いつも行く店と同カテゴリの店の情報を生成してもよい。また、応答生成部２０ｃは、いつもより活動量が多い場合や、いつも座れる電車で座れなかった場合、いつもより帰宅時間が遅かった場合等は、呼びかけや、労り・同調の言葉を応答として生成してもよい。
　次に、ステップＳ１３８において、タイミング決定部２０ｄは、応答生成部２０ｃで生成された応答のユーザへの出力タイミングを決定する。
　次いで、決定されたタイミングになった場合（Ｓ１４１で「Ｙｅｓ」）、ステップＳ１４４において、応答出力制御部２０ｅは、応答をユーザ端末１からユーザへ出力するよう制御する。応答の出力は、音声出力や表示出力により行われ得る。
　　＜３－３．応答蓄積処理および再応答処理＞
　図６は、本実施形態による応答蓄積処理を示すフローチャートである。図６に示すように、まず、ステップＳ２０３において、ユーザ端末１の入力部１２によりユーザからの発話（音声入力）が検知され、サーバ２に送信される。
　次いで、ステップＳ２０６において、サーバ２の音声認識部２０ｆは、ユーザ端末１から送信された音声の認識を行い、音声を文字データへ変換する。
　次に、ステップＳ２０９において、意味解析部２０ｇは、音声認識部２０ｆにより変換された文字データの意味（発話の内容）を抽出する。
　次いで、ステップＳ２１２において、応答生成部２０ｃは、意味解析部２０ｇにより抽出されたユーザによる発話の意味、すなわち発話内容に対する応答を生成する。例えば応答生成部２０ｃは、ユーザからの発話が天候情報の発話である場合、意味解析部２０ｇにより抽出した日時および場所の天候情報を応答として生成する。
　次に、ステップＳ２１５において、応答出力制御部２０ｅは、応答生成部２０ｃにより生成された応答をユーザ端末１からユーザに出力するよう制御する。
　次いで、ステップＳ２１８において、制御部２０は、応答内容を応答記憶部２４に記憶する。この際、制御部２０は、応答内容が未来の天候情報等の今後変化する可能性がある応答内容の場合、○日までに天候変化時は要回答といった付加情報を付けて応答記憶部２４に記憶する。
　なお、制御部２０は、ユーザからの発話がユーザの好みに関するものである場合、サーバ２が有する嗜好情報記憶部（不図示）にユーザの嗜好情報として記憶してもよいし、習慣記憶部２３に習慣として反映させてもよい。例えば「毎朝コーヒーショップに行くのが楽しいな」といった好みの発話の場合、制御部２０は、習慣として習慣記憶部２３に反映させることができる。
　図７は、本実施形態による再応答処理を示すフローチャートである。図６を参照して上述したように、一度行った応答が応答記憶部２４に記憶されているため、サーバ２は、その後応答内容に変化があった場合には再度応答を行うことが可能である。
　具体的には、まず、ステップＳ２２３において、応答生成部２０ｃは、応答記憶部２４に記憶した応答内容に変化があったか否かを判断する。例えば応答生成部２０ｃは、週末の天候情報について応答した後、週末が到来する前に天候情報に変化が生じた場合、応答内容に変化ありと判断する。
　次いで、応答内容に変化があった場合（Ｓ２２３で「Ｙｅｓ」）、ステップＳ２２６において、応答生成部２０ｃは、新たな応答を生成する。
　次に、ステップＳ２２９において、タイミング決定部２０ｄは、再度生成した応答の出力タイミングを決定する。
　次いで、決定されたタイミングになった場合（Ｓ２３２で「Ｙｅｓ」）、ステップＳ２２９において、応答出力制御部２０ｅは、応答生成部２０ｃにより再度生成された応答をユーザ端末１からユーザに出力するよう制御する。
　そして、ステップＳ２３２において、制御部２０は、応答記憶部２４に記憶された応答情報を更新する。
　以上、本実施形態による動作処理について具体的に説明した。続いて、本実施形態による応答の提示例について説明する。本実施形態によるユーザ端末１での応答の提示は、スピーカ１６からの音声出力であってもよいし、表示部１５からの表示出力であってもよい。以下では、表示出力の場合における応答表示画面の具体例について図８～図１２を参照して説明する。
　　＜＜４．応答提示例＞＞
　図８は、スマートアイグラス１ａの場合における応答表示例を示す図である。図８に示すように、ユーザ端末１がスマートアイグラス１ａにより実現されている場合、スマートアイグラス１ａをユーザが装着した場合にユーザの眼前に位置するレンズ部が表示部１５ａに相当する。表示部１５ａは透過性を有し、ユーザは表示部１５ａを介して現実空間を視認しつつ、表示部１５ａに表示された画像も見ることができる。
　スマートアイグラス１ａは、サーバ２から送信された応答データに基づいて、図８に示すように、ユーザの視界を邪魔しないよう表示部１５ａの端に応答画像３２を表示する。応答画像３２は、ユーザが通勤／通学時に電車移動の習慣がある場合に、鉄道事故が生じたこと（「おはよう！○○線でトラブルだって！」）及び労り・同調の言葉（「大丈夫？影響ないといいけど」）を出発前のタイミングで提示するものである。また、図８に示す応答画像３２はキャラクタを含み、キャラクタから応答が発せられるように見せてもよい。当該キャラクタはユーザの好みに応じて変更可能である。
　図９は、スマートフォン１ｂの場合における応答表示例を示す図である。図９に示すように、ユーザ端末１がスマートフォン１ｂにより実現されている場合、スマートフォン１ｂは、サーバ２から送信された応答データに基づいて、表示部１５ｂに応答画像３４を表示する。また、併せて戻るボタン３６が表示されてもよい。
　応答画像３４は、ユーザが通勤／通学時に徒歩や自転車移動の習慣がある場合に、雨が降っていることに応じた労り・同調の言葉（「おはよう！雨で通勤大変だね。あんまり濡れずにすみますように」）を出発前のタイミングで提示するものである。また、図９に示す応答画像３４はキャラクタを含み、キャラクタから応答が発せられるように見せてもよい。当該キャラクタはユーザの好みに応じて変更可能である。
　図１０は、部屋での応答表示例を示す図である。上述した実施形態では、ユーザ端末１の表示部１５で応答画像が表示される場合について説明したが、本実施形態はこれに限定されず、出力部の一例として、部屋の壁や天井に埋め込まれたディスプレイ、または部屋の壁や天井に画像投影するプロジェクタ１５’を用いてもよい。図１０に示す例では、部屋の壁にプロジェクタ１５’により応答画像３８が投影されている様子を示す。プロジェクタ１５’は、例えばユーザ端末１がスマートフォン１ｂにより実現されている場合に、スマートフォン１ｂとＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）で無線接続し、スマートフォン１ｂの出力部として機能し得る。
　図１１は、複数のユーザ端末１で連携する応答表示例を示す図である。例えばユーザがスマートウォッチ１ｃ（またはスマートバンド等）を腕に装着し、かつ、鞄やポケットにスマートフォン１ｂを入れて所持している場合、サーバ２は複数のデバイスに各デバイスに応じた粒度で応答データを表示するよう制御してもよい。若しくは、スマートフォン１ｂとスマートウォッチ１ｃがＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）で無線接続して連携している場合、スマートフォン１ｂはサーバ２から送信された応答データの粒度を調整してスマートウォッチ１ｃの表示部１５ｃに応答概要を表示するよう制御してもよい。スマートウォッチ１ｃの表示部１５ｃは比較的表示領域が小さく、一方のスマートフォン１ｂの表示部１５ｂは比較的表示領域が大きいため、スマートウォッチ１ｃでは応答の概要を表示し、スマートフォン１ｂに応答の詳細を表示することでデバイスに応じた適切な表示態様を実現できる。
　これによりユーザは、図１１に示すように、スマートウォッチ１ｃの表示部１５ｃでは応答画像４０により応答の概要を確認し、詳しい情報はスマートフォン１ｂの表示部１５ｂに表示された応答画像４２で確認することができる。
　応答画像４０および応答画像４２は、ユーザがいつも行く場所とは異なる場所を訪れた際に、普段は毎朝コーヒーショップに行く習慣があることに基づいて、近くに存在するコーヒーショップの情報を朝に提示するものである。応答画像４０は、比較的表示領域が小さいスマートウォッチ１ｃの表示部１５ｃに表示されるため、「いつも行くＳコーヒーがあるよ」といった、コーヒーショップの存在有無のみを示す。一方、応答画像４２は、比較的表示領域が大きいスマートフォン１ｂの表示部１５ｂに表示されるため、コーヒーショップの場所を示す地図画像や店の営業時間等の詳細情報を示すことが可能である。
　なお、上述した各応答提示例では、メッセージと共にキャラクタを表示しているが、当該キャラクタの表情をメッセージ内容に応じて変化させることも可能である。図１２は、メッセージに応じたキャラクタ様相例を示す図である。図１２に示すように、例えばメッセージに「悲しい」「残念」「大変」といった言葉が含まれる場合には、キャラクタの様相を残念な表情に変化させ、「楽しい」「嬉しい」「良かった」といった言葉が含まれる場合には、キャラクタの様相を楽しい表情に変化させる。このように、キャラクタの様相をメッセージに応じた感情（喜び、悲しみ、怒り、諦め、驚き、嫌悪、恐怖など）を示す表情に変化させることで、癒しや労りの効果を高めることができる。
　　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの行動情報に基づき、普段と異なる行動に対して応答することで、ユーザが欲しいであろう情報を適切なタイミングで提示することを可能とする。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したユーザ端末１、サーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１、サーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、図１に示すように、本実施形態による情報処理システムはユーザ端末１とサーバ２を含む構成として説明したが、本実施形態はこれに限定されず、情報処理システムがユーザ端末１で実現されてもよい。すなわち、図３に示すサーバ２の構成をユーザ端末１が備え、ユーザ端末１において、ユーザの行動情報に基づいて普段と異なる行動に対して応答を生成し、提示することが可能となる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
　前記生成された応答の出力タイミングを決定する決定部と、
を備える、情報処理装置。
（２）
　前記生成部は、前記異なる行動に対して、ユーザの前記行動パターンまたは嗜好情報に基づいてユーザに提示する場所情報を生成する、前記（１）に記載の情報処理装置。
（３）
　前記生成部は、前記異なる行動に対する呼びかけを生成する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記生成部は、前記異なる行動に対する同調または労りのコメントを生成する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記生成部は、特殊な天候に応じた助言、通知、呼びかけ、同調、または労りのコメントを生成する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記行動情報は、ユーザの位置情報または動き情報である、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記動き情報は、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間を示す活動量情報である、前記（６）に記載の情報処理装置。
（８）
　前記決定部は、前記異なる行動が検知された際に、前記異なる行動に対する応答を即時出力するよう出力タイミングを決定する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記決定部は、前記異なる行動に対する応答を、ユーザの行動または行動パターンに応じた所定のタイミングに決定する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記応答は、音声出力または表示出力される、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記応答は、出力デバイスの表示領域の大きさに対応した情報粒度で出力される、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情報処理装置は、ユーザからの問い合わせに対して行った応答を記憶する応答記憶部をさらに備え、
　前記生成部は、前記記憶した応答の内容に変化が生じた場合、再度応答を生成する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、
　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、
　前記生成された応答の出力タイミングを決定することと、
を含む、制御方法。
（１４）
　コンピュータを、
　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
　前記生成された応答の出力タイミングを決定する決定部と、
として機能させるための、プログラム。
　１　　ユーザ端末
　１０　　制御部
　１１　　通信部
　１２　　入力部
　１３　　現在位置計測部
　１４　　動き検知部
　１５　　表示部
　１６　　スピーカ
　１７　　記憶部
　２　　サーバ
　２０　　制御部
　２０ａ　　行動情報記憶制御部
　２０ｂ　　習慣解析部
　２０ｃ　　応答生成部
　２０ｄ　　タイミング決定部
　２０ｅ　　応答出力制御部
　２０ｆ　　音声認識部
　２０ｇ　　意味解析部
　２０ｈ　　天候情報取得部
　２０ｉ　　フィードバック部
　２１　　通信部
　２２　　行動情報記憶部
　２３　　習慣記憶部
　２４　　応答記憶部

Claims (14)

  1. 　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
    　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
    　前記生成された応答の出力タイミングを決定する決定部と、
    を備える、情報処理装置。
  2. 　前記生成部は、前記異なる行動に対して、ユーザの前記行動パターンまたは嗜好情報に基づいてユーザに提示する場所情報を生成する、請求項１に記載の情報処理装置。
  3. 　前記生成部は、前記異なる行動に対する呼びかけを生成する、請求項１に記載の情報処理装置。
  4. 　前記生成部は、前記異なる行動に対する同調または労りのコメントを生成する、請求項１に記載の情報処理装置。
  5. 　前記生成部は、特殊な天候に応じた助言、通知、呼びかけ、同調、または労りのコメントを生成する、請求項１に記載の情報処理装置。
  6. 　前記行動情報は、ユーザの位置情報または動き情報である、請求項１に記載の情報処理装置。
  7. 　前記動き情報は、歩数、歩いた時間、走った時間、乗車時間、立っていた時間、または座っていた時間を示す活動量情報である、請求項６に記載の情報処理装置。
  8. 　前記決定部は、前記異なる行動が検知された際に、前記異なる行動に対する応答を即時出力するよう出力タイミングを決定する、請求項１に記載の情報処理装置。
  9. 　前記決定部は、前記異なる行動に対する応答を、ユーザの行動または行動パターンに応じた所定のタイミングに決定する、請求項１に記載の情報処理装置。
  10. 　前記応答は、音声出力または表示出力される、請求項１に記載の情報処理装置。
  11. 　前記応答は、出力デバイスの表示領域の大きさに対応した情報粒度で出力される、請求項１に記載の情報処理装置。
  12. 　前記情報処理装置は、ユーザからの問い合わせに対して行った応答を記憶する応答記憶部をさらに備え、
    　前記生成部は、前記記憶した応答の内容に変化が生じた場合、再度応答を生成する、請求項１に記載の情報処理装置。
  13. 　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析することと、
    　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成することと、
    　前記生成された応答の出力タイミングを決定することと、
    を含む、制御方法。
  14. 　コンピュータを、
    　蓄積された行動情報に基づいて、所定期間内における行動パターンを解析する行動解析部と、
    　前記行動パターンと異なる行動が検知された際に、当該異なる行動に対する応答を生成する生成部と、
    　前記生成された応答の出力タイミングを決定する決定部と、
    として機能させるための、プログラム。
PCT/JP2015/075698 2014-12-09 2015-09-10 情報処理装置、制御方法、およびプログラム Ceased WO2016092924A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016563553A JPWO2016092924A1 (ja) 2014-12-09 2015-09-10 情報処理装置、制御方法、およびプログラム
EP15867943.1A EP3232395A4 (en) 2014-12-09 2015-09-10 Information processing device, control method, and program
US15/531,059 US20170329766A1 (en) 2014-12-09 2015-09-10 Information processing apparatus, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014248568 2014-12-09
JP2014-248568 2014-12-09

Publications (1)

Publication Number Publication Date
WO2016092924A1 true WO2016092924A1 (ja) 2016-06-16

Family

ID=56107120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075698 Ceased WO2016092924A1 (ja) 2014-12-09 2015-09-10 情報処理装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US20170329766A1 (ja)
EP (1) EP3232395A4 (ja)
JP (1) JPWO2016092924A1 (ja)
WO (1) WO2016092924A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152124A (ja) * 2018-06-04 2018-09-27 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
JP2018151860A (ja) * 2017-03-13 2018-09-27 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
US10706606B2 (en) 2017-08-24 2020-07-07 Fuji Xerox Co., Ltd. Information processing apparatus for modifying a graphical object based on sensor input
US20220318485A1 (en) * 2020-09-29 2022-10-06 Google Llc Document Mark-up and Navigation Using Natural Language Processing
JP7325595B1 (ja) 2022-09-30 2023-08-14 Kddi株式会社 コンテンツ提供システム、コンテンツ提供装置及び携帯端末

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD822716S1 (en) 2016-05-13 2018-07-10 Google Llc Voice interface device
CN106463110A (zh) * 2014-06-03 2017-02-22 索尼公司 信息处理设备、信息处理方法和程序
JP6784044B2 (ja) * 2016-03-24 2020-11-11 カシオ計算機株式会社 行動解析装置、行動解析方法及びプログラム
KR102307976B1 (ko) 2016-05-10 2021-09-30 구글 엘엘씨 디바이스들 상의 보이스 어시스턴트에 대한 구현들
EP3455747B1 (en) * 2016-05-13 2021-07-28 Google LLC Voice-controlled closed caption display
US10446144B2 (en) * 2016-11-21 2019-10-15 Google Llc Providing prompt in an automated dialog session based on selected content of prior automated dialog session
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
US10705789B2 (en) * 2018-07-25 2020-07-07 Sensory, Incorporated Dynamic volume adjustment for virtual assistants

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293506A (ja) * 1999-04-09 2000-10-20 Sony Corp 行動予測方法及びその装置
JP2003216752A (ja) * 2002-01-23 2003-07-31 Fujitsu Ltd 行動指示プログラムおよび行動指示方法
JP2005062963A (ja) * 2003-08-18 2005-03-10 Toshiba Corp 時系列行動パターンを表示する装置、方法、およびプログラム
JP2007018350A (ja) * 2005-07-08 2007-01-25 Hokkaido Univ 情報検索装置、情報検索方法および情報検索プログラム
JP2007072835A (ja) * 2005-09-08 2007-03-22 Aos Technologies Kk サービス利用者サポートシステム
JP2013206139A (ja) * 2012-03-28 2013-10-07 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム。

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028377A1 (en) * 2001-07-31 2003-02-06 Noyes Albert W. Method and device for synthesizing and distributing voice types for voice-enabled devices
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
NO318991B1 (no) * 2002-09-05 2005-05-30 Opera Software Asa Presentasjon av HTML-innhold på en liten terminalskjerm
US20040215453A1 (en) * 2003-04-25 2004-10-28 Orbach Julian J. Method and apparatus for tailoring an interactive voice response experience based on speech characteristics
US20060122840A1 (en) * 2004-12-07 2006-06-08 David Anderson Tailoring communication from interactive speech enabled and multimodal services
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US8566098B2 (en) * 2007-10-30 2013-10-22 At&T Intellectual Property I, L.P. System and method for improving synthesized speech interactions of a spoken dialog system
CN101727904B (zh) * 2008-10-31 2013-04-24 国际商业机器公司 语音翻译方法和装置
KR20110002757A (ko) * 2009-07-02 2011-01-10 삼성전자주식회사 감성 모델 장치, 감성 모델의 성향 학습 장치 및 방법
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
KR101622111B1 (ko) * 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
EP2956919A4 (en) * 2013-02-15 2016-09-21 Voxy Inc SYSTEMS AND METHOD FOR LEARNING A LANGUAGE
US9640173B2 (en) * 2013-09-10 2017-05-02 At&T Intellectual Property I, L.P. System and method for intelligent language switching in automated text-to-speech systems
US9804820B2 (en) * 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293506A (ja) * 1999-04-09 2000-10-20 Sony Corp 行動予測方法及びその装置
JP2003216752A (ja) * 2002-01-23 2003-07-31 Fujitsu Ltd 行動指示プログラムおよび行動指示方法
JP2005062963A (ja) * 2003-08-18 2005-03-10 Toshiba Corp 時系列行動パターンを表示する装置、方法、およびプログラム
JP2007018350A (ja) * 2005-07-08 2007-01-25 Hokkaido Univ 情報検索装置、情報検索方法および情報検索プログラム
JP2007072835A (ja) * 2005-09-08 2007-03-22 Aos Technologies Kk サービス利用者サポートシステム
JP2013206139A (ja) * 2012-03-28 2013-10-07 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3232395A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151860A (ja) * 2017-03-13 2018-09-27 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
US10706606B2 (en) 2017-08-24 2020-07-07 Fuji Xerox Co., Ltd. Information processing apparatus for modifying a graphical object based on sensor input
JP2018152124A (ja) * 2018-06-04 2018-09-27 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
US20220318485A1 (en) * 2020-09-29 2022-10-06 Google Llc Document Mark-up and Navigation Using Natural Language Processing
US12216983B2 (en) * 2020-09-29 2025-02-04 Google Llc Document mark-up and navigation using natural language processing
JP7325595B1 (ja) 2022-09-30 2023-08-14 Kddi株式会社 コンテンツ提供システム、コンテンツ提供装置及び携帯端末
JP2024051615A (ja) * 2022-09-30 2024-04-11 Kddi株式会社 コンテンツ提供システム、コンテンツ提供装置及び携帯端末

Also Published As

Publication number Publication date
JPWO2016092924A1 (ja) 2017-09-14
EP3232395A4 (en) 2018-07-11
US20170329766A1 (en) 2017-11-16
EP3232395A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
WO2016092924A1 (ja) 情報処理装置、制御方法、およびプログラム
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8438127B2 (en) Behaviour pattern analysis system, mobile terminal, behaviour pattern analysis method, and program
JP5071536B2 (ja) 情報提供装置、及び、情報提供システム
US20170351767A1 (en) Information processing system, information processing device, control method, and program
US11092454B2 (en) Device and method for providing content to user
JPWO2019244715A1 (ja) プログラム、情報処理方法、情報処理装置および情報処理システム
US20170229045A1 (en) Information processing device, control method, and program
KR20210000078A (ko) 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템
US20170160881A1 (en) Information processing device, information processing method, and program
US11057728B2 (en) Information processing apparatus, information processing method, and program
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3640824A1 (en) Information processing device, information processing method, and program
KR20160083760A (ko) 홈 디바이스를 제어하는 방법 및 디바이스
JP7060014B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102400014B1 (ko) 이동 단말의 데이터 브로드캐스팅을 이용한 서비스 제공 방법 및 장치
KR20150110319A (ko) 영상을 디스플레이 하는 방법 및 디바이스
CN118214975A (zh) 无线耳机的控制方法、无线耳机、电子设备及存储介质
US11455178B2 (en) Method for providing routine to determine a state of an electronic device and electronic device supporting same
JP7043818B2 (ja) 情報処理方法及び情報処理装置
US20240176818A1 (en) Content playback system, information processing apparatus, and content playback controlling application
KR20210145507A (ko) 위치 정보를 활용한 세차 서비스 제공자 추천 시스템
CN110598089A (zh) 一种基于环境信息处理的语音助手方法和系统
JP2022085881A (ja) 携帯端末、携帯端末による報知方法、携帯端末用報知プログラム、及び、携帯端末システム
JP7794691B2 (ja) 端末装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15867943

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016563553

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15531059

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015867943

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE