WO2024190324A1 - 情報処理装置、および情報処理システム、並びに情報処理方法 - Google Patents

情報処理装置、および情報処理システム、並びに情報処理方法 Download PDF

Info

Publication number
WO2024190324A1
WO2024190324A1 PCT/JP2024/006064 JP2024006064W WO2024190324A1 WO 2024190324 A1 WO2024190324 A1 WO 2024190324A1 JP 2024006064 W JP2024006064 W JP 2024006064W WO 2024190324 A1 WO2024190324 A1 WO 2024190324A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
action
information processing
terminal
behavior data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/006064
Other languages
English (en)
French (fr)
Inventor
宏一郎 高島
弘就 星野
浩一 加藤
正明 長谷川
康孝 柏木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to EP24770437.2A priority Critical patent/EP4682811A4/en
Priority to JP2025506634A priority patent/JPWO2024190324A1/ja
Priority to CN202480017036.2A priority patent/CN120858370A/zh
Publication of WO2024190324A1 publication Critical patent/WO2024190324A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/40—Business processes related to social networking or social networking services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to an information processing device, an information processing system, and an information processing method. More specifically, the present disclosure relates to an information processing device, an information processing system, and an information processing method that provide various suggestions and reports to a user who is a terminal user from a user terminal such as a smartphone.
  • AI Artificial Intelligence
  • various information processing devices such as smartphones
  • external devices such as various servers accessible via a network, operating network-connected devices, device operations such as music playback, and even ordering products such as detergents and food.
  • devices use cameras, microphones, and other sensors attached to devices such as smartphones to observe user behavior and output suggestions and advice based on the user behavior.
  • Patent Document 1 JP 2021-192131 A. This document discloses a configuration in which, for example, when a user mentions plans to eat out at a certain restaurant, the system warns the user that the user will gain weight and recommends other restaurants.
  • the technologies disclosed thus far are configured to provide advice based on the behavior of a smartphone user that can be acquired from a certain device, for example, a single smartphone.
  • a smartphone can obtain information on the behavior of not only the user using that smartphone, but also other users' behavior from other devices, and provide optimal advice while taking into account the behavior of those other users.
  • the present disclosure has been made in consideration of the above-mentioned problems, for example, and aims to provide an information processing device, information processing system, and information processing method that acquires not only the behavior of a user of an information processing device such as a smartphone, but also information on other users from outside, comprehensively considers this information, and executes optimal actions such as making suggestions.
  • one embodiment of the present disclosure provides an information processing device, information processing system, and information processing method that take into account the character of the user to whom advice is being given, and executes various actions in action modes (tastes) that take into account the user character.
  • a first aspect of the present disclosure is a method for manufacturing a semiconductor device comprising: A user behavior data acquisition unit that acquires behavior data of a user who uses an information processing device; an execution action determination unit that determines an action to be executed for the user; an action execution unit that executes the action determined by the execution action determination unit; The execution action determination unit The information processing device determines an action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and behavior data of an external terminal user acquired from an external terminal.
  • a second aspect of the present disclosure is An information processing system having a plurality of communication terminals that communicate via a network, Each of the plurality of communication terminals, Analyzing behavioral data of a plurality of users who use the plurality of communication terminals; The information processing system determines and executes an action to be taken for each user who uses the plurality of communication terminals.
  • a third aspect of the present disclosure is An information processing method executed in an information processing device, a user behavior data acquisition step in which a user behavior data acquisition unit acquires behavior data of a user who uses the information processing device; an execution action determination step in which an execution action determination unit determines an action to be executed for the user; an action execution unit executes an action execution step of executing the action determined by the execution action determination unit;
  • the execution action determination step includes:
  • the information processing method includes a step of determining an action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and behavior data of an external terminal user acquired from an external terminal.
  • a system refers to a logical collective configuration of multiple devices, and each of the devices is not limited to being located within the same housing.
  • the system includes a user behavior data acquisition unit that acquires behavior data of a user who uses a user terminal such as a smartphone, an execution action determination unit that determines an action to be executed for the user, and an action execution unit that executes the action determined by the execution action determination unit.
  • the execution action determination unit determines and executes the optimal action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and the behavior data of the user using the external terminal acquired from the external terminal.
  • This configuration realizes an apparatus and method for determining and executing an optimal action, such as advice, for each user by comprehensively considering the behavioral data of each user at a plurality of user terminals. It should be noted that the effects described in this specification are merely examples and are not limiting, and additional effects may also be provided.
  • FIG. 1 is a diagram illustrating an overview of a process executed by an information processing device according to the present disclosure.
  • 1 is a diagram illustrating an overview of a process executed by an information processing device according to the present disclosure.
  • 1 is a diagram illustrating an overview of a process executed by an information processing device according to the present disclosure.
  • 1 is a diagram illustrating an overview of a process executed by an information processing device according to the present disclosure.
  • 1 is a diagram illustrating an overview of a process executed by an information processing device according to the present disclosure.
  • FIG. 1 is a diagram illustrating an example configuration of an information processing system according to the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a user terminal corresponding to an information processing device of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of data stored in a user/machine character matching database.
  • FIG. 11 is a diagram illustrating an example of data stored in a user/machine character matching database.
  • 11 is a diagram illustrating an example of a process for determining an execution mode (tist) of an action executed by an action execution mode (tist) determination unit;
  • FIG. 2 is a diagram illustrating a flowchart illustrating a sequence of processing executed by an information processing device of the present disclosure.
  • 11 is a diagram illustrating an example of a process for determining a machine role and an action to be executed by using data stored in both terminals through communication between multiple terminals.
  • FIG. 11 is a diagram illustrating a flowchart for explaining an example of a process for determining a machine role and an action to be executed by using data stored in both terminals through communication processing between a plurality of terminals.
  • 13 is a diagram illustrating a UI for setting a process for recording user behavior data and a process for providing the data to other user terminals.
  • FIG. 13 is a diagram illustrating a UI for setting a process for recording user behavior data and a process for providing the data to other user terminals.
  • FIG. 11 is a sequence diagram illustrating an example of a sequence of a process of providing user behavior data to another user terminal and a process of recording the data.
  • FIG. 11 is a diagram illustrating a specific example of "behavioral data transmission/reception terminal management data" generated or updated by the management server.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. 11 is a diagram illustrating an example of a specific processing sequence when an action to be executed is determined between a plurality of user terminals that transmit and receive behavioral data to and from each other.
  • FIG. FIG. 2 is a diagram illustrating an example of a hardware configuration of a user terminal and a server which are information processing devices according to the present disclosure.
  • FIG. 1 to 3 are diagrams illustrating an example sequence of a process executed by an information processing device according to the present disclosure. The processes from step S01 shown in FIG. 1 to step S06 shown in FIG. 3 are executed in sequence.
  • the information processing device according to the present disclosure is not limited to smartphones, and may include various devices such as PCs, tablet terminals, smart speakers, and agent devices.
  • An information processing device such as a smartphone disclosed herein not only acquires the behavior of the user of the information processing device, but also information on other users from other devices, and comprehensively considers this information to perform optimal actions such as making suggestions. These processes are executed under the control of an application (program) stored in the information processing device.
  • an application program stored in the information processing device.
  • Step S01 First, as shown in step S01 of FIG. 1, a child 10 posts a photo on an SNS site using a child terminal (smartphone) 12, which is his or her own smartphone.
  • a child terminal smarttphone 12
  • Step S02 Next, in step S02, the father 20 of the child 10 takes notice that the child 10 has posted a photo on the SNS site.
  • the child terminal (smartphone) 12 and the father terminal (smartphone) 22 owned by the father 20 are observing the situation in which the father 20 is scolding the child 10. That is, the conversation in which the father 20 scolds the child 10 is inputted by the microphone of the terminal (smartphone) and stored in the memory of each terminal.
  • the data recorded in the memory of each terminal does not have to be the conversation itself, and may be, for example, data indicating that the father scolded the child.
  • the configuration may be such that images or sensor detection information using a camera or other sensor, for example, a position sensor such as a GPS, is recorded.
  • Step S03 Next, despite being warned by the father 20, the child 10 again attempts to post a photo to the SNS site using his/her own smartphone, the child terminal (smartphone) 12, as shown in step S03 of FIG. 2 .
  • Step S04 When the child 10 is about to post a photo in step S03, the child terminal 12 and the father terminal 22 communicate with each other, analyze the behavioral data of each user stored in each terminal, and consider the action (response) to be taken.
  • This process can be performed, for example, by using AI functions such as a pre-generated learning model.
  • the optimal action is considered based on the behavioral information of each user stored in each terminal and the accumulated data in a knowledge database accessible via a network.
  • AI functions such as learning models may be configured within each terminal, or may be configured to use the AI functions of an external device that each terminal can access.
  • communication between the child terminal 12 and the father terminal 22 may be direct communication or communication via a communication management server.
  • step S04 of FIG. 2 As shown in step S04 of FIG. 2, as a result of the review process carried out between the child terminal 12 and the father terminal 22, i.e., the review process of the action (response) to be taken, it is concluded that the optimal action is to "pay attention to the child.”
  • Step S05 the child terminal 12 considers the optimal action execution mode as a pre-processing for executing an action (warning the child), that is, considers the optimal way to warn the child.
  • the child's character is analyzed based on past user behavior data stored in the memory unit of the child's terminal 12, and the optimal action execution mode (content and method of output comment) according to the analyzed character is determined. For example, the most appropriate method of warning is determined according to the user's character, such as "gently teaching” or “strictly ordering.”
  • Step S06 Finally, the child terminal 12 executes an action for the child 10 in step S06.
  • step S04 the action consideration result generated in step S04, "Watch out for the child” is executed according to the optimal action execution mode considered in step S05.
  • the child terminal 12 notifies the child 10, "Your dad will get mad if you post the picture.” Such speech is output via the speaker of the child terminal 12.
  • This type of processing can discourage child 10 from posting photos on SNS sites.
  • step S06 may be configured to be performed by displaying an animated image on the display unit as shown in FIG. 4 (step S06b), for example, as if the animated image is speaking to the child.
  • step S06c the same text as the spoken content, i.e., "Your dad will get mad if you post the picture.”
  • the text of the speech sentence may be displayed while being spoken.
  • the action to be taken by the child terminal 12 with respect to the child 10 is executed in an optimal manner determined based on past user behavior data and the like in step S05. That is, as described above, the most appropriate warning method is executed according to the user's character, such as "gently teaching” or “strictly ordering.”
  • step S06d is an example of processing with caution when set to "strict command".
  • the child terminal 12 "Don't post the picture, your dad will get mad at you.” Execute such an utterance.
  • step S06e is a processing example in which a caution is given in the "gently teach" setting.
  • the child terminal 12 "You'd better not post pictures. Your dad will get mad if he finds them.” Execute such an utterance.
  • background music is also output in conjunction with this speech.
  • a user device such as a smartphone analyzes the user's character with whom the action will be performed, and executes various actions in the most appropriate action format according to the analysis results.
  • an information processing device such as a smartphone disclosed herein not only acquires the behavior of the user of the information processing device, but also information on other users from other devices, and comprehensively considers this information to determine and execute optimal actions such as suggestions.
  • the information processing device disclosed herein such as a smartphone, analyzes the user's character with which the action will be performed, and executes various actions in the optimal action format according to the analysis results.
  • processing examples described with reference to Figures 1 to 5 are examples of processing executed by the information processing device of the present disclosure. Various other processing examples will be described later.
  • FIG. 6 illustrates an example of the configuration of an information processing system according to the present disclosure.
  • Figure 6 shows users a, 30a to e, 30e, user terminals a, 31a to e, 31e such as smartphones used by each user, a management server 50 which is a server that performs communication control processing between each terminal, and a communication network 40 used for communication between each of these devices.
  • FIG. 6 shows only five users and five user terminals, this is only a partial illustration, and in reality there are many more users and user terminals in addition to these.
  • User terminals a, 31a to e, 31e are composed of information processing devices capable of communication, such as smartphones, tablet terminals, and PCs.
  • FIG. 7 shows an example of the configuration of a user terminal 100.
  • the user terminal 100 shown in FIG. 7 corresponds to the user terminals a, 31a to e, 31e shown in FIG. 6.
  • the user terminal 100 has a communication unit 101, a sensor group 102, a data acquisition unit 110, a data storage unit 120, a data analysis unit 130, an action control unit 140, an action execution unit 150, a user response analysis unit 160, and a user/machine character matching database 170.
  • the communication unit 101 executes communication with other user terminals and a management server via a communication network 40 shown in FIG.
  • the sensor group 102 is configured with various sensors, for example, a camera, a microphone, a position sensor such as a GPS, an acceleration sensor such as a gyro, and a sensor that detects operations performed by the user on the user terminal 100 .
  • the data acquisition unit 110 includes an external data acquisition unit 111 , a user behavior data acquisition unit 112 , and a user relationship data acquisition unit 113 .
  • the data storage unit 120 also includes an external data storage unit 121 , a user behavior data storage unit 122 , and a user relationship data storage unit 123 .
  • the external data acquisition unit 111 performs processing to acquire sensor detection information such as images, sounds, and user operations detected by the sensor group 102 described above, and to acquire data from various databases such as a knowledge database accessible via the communication unit 101.
  • the data acquired by the external data acquisition unit 111 is stored in the external data storage unit 121 of the data storage unit 120.
  • the user behavior data acquisition unit 112 analyzes user behavior based on sensor detection information such as images, sounds, and user operations detected by the sensor group 102 described above.
  • the system analyzes user behavior such as the user walking, running, or about to go out. Furthermore, as explained above with reference to Figures 1 to 5, various user behaviors such as the user trying to post a photo on a SNS site or being scolded by their father are analyzed.
  • This user behavior analysis process can be performed, for example, by using AI functions such as a pre-generated learning model.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device accessible via a network.
  • the user behavior data analyzed by the user behavior data acquisition unit 112 is stored in the user behavior data storage unit 122 of the data storage unit 120.
  • the user relationship data acquisition unit 113 analyzes sensor detection information such as images, sounds, and user operations detected by the sensor group 102 described above, as well as information obtainable from other user terminals connected via the communication network 40 shown in FIG. 6, estimates the relationship between the user using the user terminal 100 and other users, and generates user relationship data as an estimation result.
  • the user relationship data acquiring unit 113 can also receive behavior data of other users acquired in other user terminals from the other user terminals via the communication network. However, in order to receive behavioral data of other users, it is necessary that the provision of behavioral data is permitted on the user terminal used by the user from whom the behavioral data is to be obtained. In other words, it is necessary to register in advance users and user terminals to which behavioral data may be transmitted. Details of this behavioral data transmission setting process will be described later.
  • the user relationship data generated by the user relationship data acquisition unit 113 is stored in the user relationship data storage unit 122 of the data storage unit 120.
  • the data analysis unit 130 has a user character analysis unit 131, a machine character analysis unit 132, and a machine role determination unit 133.
  • the user character analysis unit 131 uses the data stored in the data storage unit 120 to analyze the character of the user who uses the user terminal 100. For example, it analyzes the user's character to determine whether the user is self-centered, polite, etc.
  • the user character analysis unit 131 analyzes what kind of character (personality) the user has, based on, for example, the user's past behavioral data stored in the user behavior data storage unit 122 in the data storage unit 120, and data showing the relationship with the user stored in the user relationship data storage unit 123, etc.
  • This user character analysis process can be performed, for example, by using AI functions such as a pre-generated learning model.
  • AI functions such as a pre-generated learning model.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device accessible via a network.
  • the machine character determination unit 132 determines the subject of action execution for the user who uses the user terminal 100, specifically, the character of the user terminal itself. Note that the "machine” here corresponds to the user terminal 100. In the processing example described with reference to FIGS. 1 to 5, advice to the child 10, i.e. "Your dad will get mad if you post the picture.” The child terminal 12 which is the entity that executes such advice corresponds to the "machine.”
  • the information processing device disclosed herein such as a smartphone, analyzes the user's character against whom an action will be performed, and executes various actions in the most appropriate action format according to the analysis results.
  • the machine character determination unit 132 performs a process of determining the machine character that is optimal for executing the action in this optimal action mode. That is, the machine character determination unit 132 determines the optimum machine character according to the user's character analyzed by the user character analysis unit 131 .
  • the machine character determination unit 132 refers to the user/machine character matching database 170 shown in FIG. 7 to determine the optimal machine character for the user character.
  • the user/machine character matching database 170 is configured within the user terminal 100, but this user/machine character matching database 170 may not be configured within the user terminal 100, but may be an external database accessible via the communication unit 101.
  • FIG. 8 is a diagram showing an example of data stored in the user/machine character matching database 170. As shown in FIG.
  • the user/machine character matching database 170 stores correspondence data between user characters and machine characters that are compatible with the user characters.
  • the machine i.e., an information-type device 100 such as a smartphone, provides various suggestions and advice to the user.
  • an information-type device 100 such as a smartphone
  • the machine provides various suggestions and advice to the user.
  • the user/machine character matching database 170 is a database that records machine characters that are compatible with various user characters. In the example shown in FIG. 8, the following various characters are recorded as user characters.
  • User character a self-centered character
  • User character a polite character
  • User character a character who likes to analyze events
  • User character an idealistic character
  • the database contains machine characters that are compatible with these various user characters.
  • the machine character determination unit 132 thus refers to the user/machine character matching database 170, which records and associates user characters with machine characters that are compatible with each other, to determine the optimal machine character for the user character.
  • FIG. 8 is an example of data stored in the user/machine character matching database 170, and databases with other data structures may also be used.
  • a user/machine character matching database 170 storing data as shown in FIG. 9 may be used.
  • the database shown in FIG. (a) a user character; (b) user status; (c) Machine Character This is a database in which each of the data (a) to (c) is associated with each other.
  • the user/machine character matching database 170 shown in FIG. 9 is a database that is set up to change the machine characters that are compatible with a single user character depending on the current user situation.
  • the user/machine character matching database 170 shown in FIG. 9 is a database that is set up so that the machine characters that are compatible with a single user character change depending on the current user situation.
  • the machine character determination unit 132 may perform a process of determining a machine character that is compatible with the user character, taking into consideration the current user situation.
  • the current user situation can be determined based on the data stored in the user behavior data storage unit 122 of the data storage unit 120.
  • the machine role determination section 133 of the data analysis section 130 determines the role that the machine should perform. Specifically, the role that the machine should perform is determined, for example, to give advice to the user, comfort the user, report to the user, or listen to the user's troubles.
  • the machine role determination unit 133 inputs the data stored in the data storage unit 123, i.e., the external data stored in the external data storage unit 121, the user behavior data stored in the user behavior data storage unit 122, and the data indicating the relationship with other users stored in the user relationship data storage unit 123, and determines the role that the machine should perform for the user.
  • the role of the machine is to stop a child (user) from posting photos.
  • the machine-role determination process executed by the machine-role determination unit 133 can be executed by using, for example, an AI function such as a learning model generated in advance.
  • the AI function such as the learning model may be configured in the terminal, or may be configured to use the AI function of an external device accessible via a network.
  • the action control unit 140 includes an execution action determining unit 141 and an action execution mode (mode) determining unit 142 .
  • the execution action determining unit 141 determines the action to be executed by the machine, that is, the user terminal 100 . That is, the machine role determination unit 133 determines a specific action to be executed to fulfill the role of the determined machine. For example, various actions to be taken, such as warning the user, providing advice, making a suggestion, or reporting, may be determined.
  • the role of the machine determined by the machine-role determination unit 133 is "the role of giving advice to the user," the specific content of the advice to be given is determined. Moreover, if the role of the machine determined by the machine role determination unit 133 is “the role of comforting the user,” words and music for comforting the user are determined. If the role of the machine determined by the machine-role determination unit 133 is "the role of listening to the user's troubles,” the unit performs processing such as determining words of comfort and questions to elicit the user's troubles.
  • the execution action determination unit 141 determines the specific action to be taken by the child (user) to "output a comment to stop the child (user) from posting photos.”
  • the processing performed by the execution action decision unit 141 can also be performed by using AI functions such as a learning model that has been generated in advance.
  • AI functions such as a learning model that has been generated in advance.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device that can be accessed via a network.
  • the action execution mode (type) determining unit 142 determines the execution mode (type) of the action determined by the execution action determining unit 141 .
  • the process of determining the action execution mode (taste) is performed so as to reflect the machine character determined by the machine character determination unit 132 and the machine role determined by the machine role determination unit 133.
  • the user terminal 100 which is a machine, can execute various actions for the user. Specifically, it can execute various actions such as outputting audio such as comments and background music, outputting images, or controlling other network-connected devices such as lighting, televisions, and air conditioners.
  • the execution action determination unit 141 determines which action to execute.
  • the action execution mode (type) determination unit 142 determines the execution mode (type) of the action determined by the execution action determination unit 141.
  • FIG. 10 shows the correspondence between "(a) the type of action to be executed” determined by the action execution determination unit 141 and "(b) a specific example of the action execution mode” determined by the action execution mode determination unit 142 for that action to be executed.
  • the action execution mode (tone) determination unit 142 determines the volume, tone (bright/dark, etc.), speaking speed, etc. of the output voice.
  • the action execution mode determination unit 142 determines the character size, type, output speed, etc. of the output text.
  • the action execution mode (taste) determining unit 142 determines the type, volume, etc. of the output BGM.
  • the action execution mode (video) determining section 142 determines the type of output image or video, etc.
  • the action execution mode (taste) determination unit 142 determines the type, intensity, etc. of the smell to be output.
  • the action execution mode determination unit 142 determines the external device to be controlled, the control mode, etc.
  • the action execution mode (tist) determination unit 142 determines the execution mode (tist) of the action to be executed determined by the execution action determination unit 141.
  • the execution action determination unit 141 of the action control unit 140 determines the action to be executed by the machine, i.e., the user terminal 100. That is, the execution action determination unit 141 determines a specific action to be executed to fulfill the role of the machine determined by the machine role determination unit 133. Furthermore, the action execution mode (type) determining unit 142 determines the execution mode (type) of the action determined by the execution action determining unit 141 .
  • the action execution unit 150 executes the execution action determined by the execution action determination unit 141 of the action control unit 140 according to the execution mode (mode) determined by the action execution mode (mode) determination unit 142.
  • the action execution unit 150 is composed of a speaker that outputs sound and background music, a display unit that displays images and videos, a command generation unit that generates and outputs commands to control other devices, an odor generation unit that outputs odors, etc.
  • the user reaction analysis unit 160 analyzes the user's reaction to the action executed by the action execution unit 150 . For example, the user's reactions, such as whether or not the user followed the advice presented by the machine (user terminal 100) and whether or not the user smiled in response to the machine's (user terminal 100) consolation, are analyzed.
  • the user reaction analysis process performed by the user reaction analysis unit 160 can also be performed by using AI functions such as a learning model that has been generated in advance.
  • AI functions such as a learning model that has been generated in advance.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device that can be accessed via a network.
  • the user reaction analysis results generated by the user reaction analysis unit 160 are fed back and input to the data analysis unit 130 and the action control unit 140 . For example, if it is analyzed that the user's reaction is insufficient, for example, if it is confirmed that the user is ignoring the machine's advice, processing such as changing the action to be executed and executing a different action again is performed.
  • the flowchart shown in FIG. 11 is a flowchart explaining the sequence of processing executed by an information processing device of the present disclosure, for example, a user terminal 100 such as a smartphone described with reference to FIG. 7.
  • the flow shown in FIG. 11 is a flow for explaining the processes executed by the data analysis unit 130, the action control unit 140, the action execution unit 150, and the user response analysis unit 160 of the user terminal 100 shown in FIG.
  • the flow shown in Fig. 11 is executed under the control of a control unit (data processing unit) of a user terminal according to a program stored in a storage unit of the user terminal, which is an information processing device of the present disclosure.
  • the control unit (data processing unit) has a processor such as a CPU having a program execution function, and can perform processing according to the flow by program execution processing using the processor.
  • Step S101 First, in step S101, the user behavior data and user relationship data stored in the data storage unit 120 are analyzed to estimate the user character.
  • the user character analysis unit 131 of the data analysis unit 130 analyzes what kind of character (personality) the user has based on the user's past behavioral data stored in the user behavior data storage unit 122 in the data storage unit 120, data indicating the relationship with the user stored in the user relationship data storage unit 123, and the like.
  • the user character analysis process can be performed using AI functions such as a pre-generated learning model.
  • Step S102 Next, in step S102, a user/machine character matching database is referenced to determine the optimal machine character that matches the user character estimated in step S101.
  • This process is executed by the machine character determination section 132 of the data analysis section 130 shown in FIG. As mentioned above, the “machine” corresponds to the user terminal 100 .
  • the user/machine character matching database 170 is a database that records machine characters that have good compatibility with various user characters.
  • the machine character determination unit 132 refers to the user/machine character matching database 170 to determine the optimal machine character that matches the user character estimated in step S101.
  • Step S103 Next, in step S103, the user behavior data, other user relationship data, and external data stored in the data storage unit 120 are analyzed to determine the machine role (advising the user, making suggestions, reporting, praising, approving, rejecting, etc.).
  • This process is executed by the machine role determination unit 133 .
  • the role that the machine should perform is determined, for example, to give advice to the user, comfort the user, report to the user, or listen to the user's troubles.
  • Step S104 Next, in step S104, the user behavior data, user relationship data, and external data stored in the data storage unit 120 are analyzed to determine an action to be executed.
  • This process is executed by the execution action determination unit 141 in the action control unit 140 shown in FIG. 7.
  • the execution action determination unit 141 determines the action to be executed by the machine, i.e., the user terminal 100. Specifically, it determines the specific action to be executed to fulfill the role of the machine determined by the machine role determination unit 133 in step S103.
  • step S105 the execution mode (tact) of the action determined in step S104 is determined.
  • the process of determining the action execution mode (taste) is performed so as to reflect the machine character determined by the machine character determination unit 132 and the machine role determined by the machine role determination unit 133.
  • the process of determining the action execution mode (text) is performed according to the type of action determined by the action execution determination unit 141, as described above with reference to FIG. 10. For example, if the action determined by the action execution determination unit 141 is audio output, the action execution mode (text) determination unit 142 determines the volume, tone (bright/dark, etc.), speaking speed, etc. of the output audio.
  • Step S106 Next, in step S106, the action to be executed determined in step S104 is executed in accordance with the action execution mode (type) determined in step S105.
  • the action execution unit 150 is specifically composed of a speaker that outputs audio and background music, a display unit that displays images and videos, a command generation unit that generates and outputs commands to control other devices, an odor generation unit for outputting odors, and the like.
  • Step S107 Next, in step S107, the user reaction is analyzed, and depending on the analysis result, it is determined whether or not the action needs to be executed again.
  • the user reaction analysis unit 160 analyzes the user's reaction to the action executed by the action execution unit 150 .
  • the user's reactions are analyzed, for example, whether or not the user followed the advice presented by the machine (user terminal 100), and whether or not the user smiled in response to the machine's (user terminal 100) consolation.
  • Step S108 Furthermore, in step S108, it is determined whether or not the action needs to be executed again. This process is also executed by the user reaction analysis unit 160 shown in FIG.
  • the user reaction analysis unit 160 analyzes the user's reaction to the action executed by the action execution unit 150, and if the user reaction is insufficient, for example if it is confirmed that the user is ignoring the machine's advice, it determines that it is necessary to change the action to be executed and execute a different action again, and repeats the processing from step S101 onwards.
  • the information processing device such as a smartphone disclosed herein analyzes the character of the user who will be the opponent of the action, and determines the optimal character and role of the machine according to the analysis result. Furthermore, it determines the action to be performed on the user and the execution mode (text) of the action, and executes the determined action. By carrying out such processing, it becomes possible to provide the user with the most effective advice or other action.
  • step S04 of Figure 2 the child terminal 12 communicates with the father terminal 22 to determine the action to be executed.
  • processing is performed within one user terminal that executes an action, but for example, the process of determining the machine role and the process of determining the action to be executed in steps S103 to S104 of the flow shown in FIG. 11 may be configured to communicate with other user terminals and perform processing taking into account data stored in the other user terminals, for example, behavioral data of users of other terminals stored in the other user terminals.
  • FIG. 12 is a diagram illustrating an example of communication between terminals when determining the machine role and the action to be executed.
  • User terminal a, 31a of user a, 30a shown in FIG. 12 is a terminal that performs the process of determining the machine role and the process of determining the action to be executed.
  • This user terminal a, 31a communicates with other user terminals, for example, user terminal b, 31b of user b, 30b shown in FIG. 12, and user terminal c, 31c of user c, 30c, to perform the process of determining the machine role and the action to be executed of user terminal a, 31a.
  • user terminal a, 31a sends an information request to user terminal b, 31b and user terminal c, 31c, and in response to this information request, user terminal b, 31b and user terminal c, 31c refer to the user behavior data and other user relationship data of each user stored in their own terminal, generate a response, and send the response to user terminal a, 31a.
  • the user terminal a, 31a considers the answer data acquired from the other terminals and performs a process of determining the machine role of the user terminal a, 31a and the action to be executed.
  • This series of processes can be executed, for example, by using AI functions such as a pre-generated learning model.
  • AI functions such as a pre-generated learning model.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device accessible via a network.
  • the flowchart in FIG. 13 explains the specific sequence for determining the machine role and the action to be executed by communicating with other user terminals.
  • the flowchart shown in FIG. 13 is a flow that explains the specific sequence of the machine role determination process and execution action determination process in steps S103 to S104 of the flow shown in FIG. 11, when communication is performed with another user terminal and data stored in the other user terminal, for example, behavioral data of users of other terminals stored in the other user terminal, is taken into consideration.
  • Steps S103a to S103d in the flow chart shown in Fig. 13 correspond to the process of step S103 in the flow chart shown in Fig. 11, i.e., the process of determining the role of the machine.
  • Step S104 in the flow chart shown in Fig. 13 corresponds to the process of step S104 in the flow chart shown in Fig. 11, i.e., the process of determining the action to be executed by the machine. The process of each step in the flow chart shown in Fig. 13 will be described.
  • Step S103a The process of step S103a in the flow shown in FIG. 13 is executed after the process of step S102 in the flow shown in FIG. That is, in step S102, the user/machine character matching database is referenced, and this is executed after the process of determining the optimal machine character that matches the user character estimated in step S101.
  • step S103a the user terminal performs a verification process to determine whether or not it should refer to stored data of other user terminals (such as behavioral data of other users) when determining the machine role (warning the user, making suggestions, reporting, praising, approving, denying, etc.).
  • This process is executed by the machine role determination unit 133.
  • the machine role is, for example, to give advice to the user, to comfort the user, to report to the user, to listen to the user's troubles, etc., which is a role that the machine should perform. During this process, it is verified whether it is necessary to refer to data stored in other user terminals.
  • AI functions such as a learning model generated in advance can be used.
  • the AI functions such as the learning model may be configured within the terminal, or may be configured to use the AI functions of an external device accessible via a network.
  • Step S103b is a process branching step according to the result of the verification process in step S103a. If it is determined as a result of the verification process in step S103a that it is better to refer to the data stored in another user terminal, the process proceeds to step S103c.
  • step S103a determines whether it is necessary to refer to the data stored in other user terminals. If it is determined as a result of the verification process in step S103a that it is not necessary to refer to the data stored in other user terminals, the process proceeds to step S105 in the flow shown in FIG. 11. In this case, processing is executed using only the data stored in the own terminal according to the flow chart shown in FIG. 11 described above.
  • Step S103c If it is determined in step S103b that it is better to refer to the data stored in another user terminal, the process proceeds to step S103c.
  • the user terminal obtains data (such as other users' behavioral data) from other user terminals.
  • the user terminal makes inquiries of other user terminals regarding the machine role of the user terminal or the actions that should be performed.
  • the other user terminal When an inquiry is made to another user terminal regarding the machine role or execution action of the user's own terminal, the other user terminal will, for example, refer to user relationship data within the terminal, analyze the relationship between the user of the other user terminal and the user of the user terminal that made the inquiry, and then send a response regarding the machine role and execution action.
  • This process can be performed using AI functions such as learning models.
  • Step S103d the user terminal that has acquired data or made an inquiry from another user terminal analyzes the user behavior data, user relationship data, and external data stored in its own terminal, as well as the data received from the other user terminal, and determines the machine role (to warn the user, make a suggestion, report, praise, agree, deny, etc.).
  • This process is executed by the machine role determination unit 133 .
  • the role that the machine should perform is determined, for example, to give advice to the user, comfort the user, report to the user, or listen to the user's troubles.
  • Step S104a Next, in step S104a, the user action data, user relationship data, and external data stored in the data storage unit 120, and data received from other user terminals are analyzed to determine an action to be executed.
  • This process is executed by the execution action determination unit 141 in the action control unit 140 shown in FIG. 7.
  • the execution action determination unit 141 determines the action to be executed by the machine, i.e., the user terminal 100. Specifically, it determines the specific action to be executed to fulfill the role of the machine determined by the machine role determination unit 133 in step S103.
  • a configuration may be adopted in which suggestions regarding actions to be executed are received from other user terminals and processing is performed taking those suggestions into consideration.
  • step S105 in the flow shown in FIG. 11, where the execution mode (tact) of the action determined in step S104 is determined. Thereafter, the action is executed in step S106.
  • the final machine role and execution actions are determined not only by analyzing stored data in one user terminal, but also by using stored data in other user terminals and proposals based on analysis results in other user terminals. By performing such processing, it becomes possible to perform more accurate machine role and action determination processing based on the results of more detailed analysis of the actions and relationships of multiple users.
  • the process described with reference to Figs. 12 and 13 is a process in which one user terminal communicates with another user terminal to determine the role of the machine and the action to be executed. In order to carry out these processes, it may be necessary to acquire user behavior data, etc. stored in another user terminal from that user terminal.
  • the user relationship data acquisition unit 113 of the user terminal 100 may receive behavioral data of other users acquired in other user terminals via a communication network.
  • the provision of behavioral data is permitted on the user terminal used by the user from whom the behavioral data is to be obtained.
  • the UI shown in FIG. 14 is an example of a UI for setting whether or not one's own behavior data is recorded in one's own terminal.
  • FIG. (A) Recording of User's Behavior Data The user can set this setting item by touching either "Yes” or “No.” By touching “Yes”, user behavior information acquired by the camera, microphone, and other sensors of the user terminal is acquired by the user behavior data acquisition unit 112 and stored in the user behavior data storage unit 122 .
  • the UI shown in FIG. 15 is an example of a UI for setting whether or not to record behavior data of other users other than the user himself/herself in the user's own terminal.
  • FIG. (B) Recording Other User's Action Data the user inputs the user ID of the other user for whom he/she wishes to record action data, or the user terminal ID of the other user, and when input is complete, touches "Input Complete.”
  • the data entered by the user is sent to the management server 50 .
  • the management server 50 inquires of the user terminal of the target user whose behavior data is to be recorded whether or not to permit a behavior data recording request from another user terminal.
  • the management server 50 transmits the response result of "permitted” or “not permitted” to the terminal that requested the behavioral data recording.
  • the storage unit within the management server 50 records and holds information about the terminal that transmits and receives the behavioral data as management data.
  • FIG. 16 shows, from the left, the following devices: (1) "Behavior data request terminal” that requests behavior data of other users (2) Management Server 50 (3) "Behavior data providing terminal a” that provides its own behavior data to the “behavior data request terminal” (4) "Behavior data providing terminal b” that provides its own behavior data to the "behavior data request terminal”
  • steps S201 to S207 are executed sequentially between these devices. These processes will be explained below in order.
  • step S201 First, in step S201, the behavior data request terminal transmits to the management server 50 the user ID of the user for whom behavior data is to be recorded, or the user terminal ID.
  • This process is executed using the UI previously described with reference to FIG. 15.
  • Step S202 the management server 50, which has received the data from the behavioral data requesting terminal, inquires of the user terminal of the specified user whether or not to permit the request to record behavioral data, based on the user ID or user terminal ID received from the behavioral data requesting terminal.
  • Step S03 is a response from the "behavioral data providing terminal a.”
  • the "behavior data providing terminal a” transmits a response to the management server 50 indicating that the behavior data recording request from the "behavior data request terminal" is permitted.
  • Step S04 is a response from the "behavioral data providing terminal b."
  • the "behavior data providing terminal b" transmits a response to the management server 50 to the effect that the behavior data recording request from the "behavior data request terminal" is not permitted.
  • Step S05 The management server 50 generates or updates "behavior data transmitting/receiving terminal management data" in response to the "behavior data providing terminal a" and the response from the "behavior data providing terminal a” and stores the data in a memory unit within the server 50.
  • the "behavioral data transmission/reception terminal management data" shown in FIG. 17 is management data in which the following data are associated and registered.
  • the management server 50 manages the transmission and reception of user behavior data acquired by each user terminal based on this "behavior data transmission/reception terminal management data.” That is, the user behavior data acquired in the user terminal of the behavior data providing user is acquired, and the processing of transmitting the acquired user behavior data to the user terminal of the behavior data requesting user is executed.
  • Step S206 The management server 50, which has stored in its memory the "behavioral data transmission/reception terminal management data" having the data structure described with reference to Figure 17, then in step S206 transmits to the "behavioral data requesting terminal" a response from the terminal that inquired as to whether or not to permit the request to record the behavioral data, i.e., whether or not the "behavioral data” can be provided.
  • step S207 the user of the "behavioral data request terminal" confirms the response from the other terminal received from the management server 50, that is, the information on whether or not "behavioral data” can be provided.
  • the "behavior data request terminal” and “behavior data transmission/reception terminal management data” that associates the "behavior data request terminal” are registered in the management server 50.
  • the management server 50 manages the transmission and reception of user behavior data acquired by each user terminal based on this "behavior data transmission/reception terminal management data.” That is, the user behavior data acquired in the user terminal of the behavior data providing user is acquired, and the processing of transmitting the acquired user behavior data to the user terminal of the behavior data requesting user is executed.
  • the user terminal can perform processes such as machine role determination and execution action determination, taking into account not only the data stored in the terminal itself, but also the user actions of other users received from other terminals.
  • Process Example 1 A basic processing example for determining an action to be executed between two user terminals that mutually transmit and receive behavioral data.
  • Process Example 2 A processing example for determining an action to be executed between two user terminals that mutually transmit and receive behavioral data.
  • Process Example 3 A processing example a for determining an action to be executed between three user terminals that mutually transmit and receive behavioral data.
  • Processing Example 4 Processing Example B for Determining Actions to be Executed Among Three User Terminals That Exchange Behavioral Data with Each Other (Processing Example 5) Processing Example a in which an action determined between two user terminals that transmit and receive behavioral data to each other is used as optimal advice for a user (Processing Example 6) Processing Example B in which an action determined between two user terminals that transmit and receive behavioral data to each other is used as optimal advice for a user
  • FIG. 18 is a sequence diagram showing this (Processing Example 1), which explains the processing executed between user terminal a, 31a used by user a, 30a, and user terminal b, 31b used by user b, 30b.
  • user a, 30a and user b, 30b are permitted to transmit and receive their respective behavioral data between their user terminals a, b.
  • the terminal has already been registered as a transmission/reception permitted terminal in the "behavior data transmission/reception terminal management data" held by the management server 50 described above with reference to FIG.
  • the process steps (from step S221) shown in FIG. 18 will be described below in order.
  • Step S221 First, in step S221, the user terminal a, 31a transmits the behavior data of the user a, 30a to the user terminal b, 31b.
  • the user terminal a, 31a also records the behavioral data of the user a, 30a in the user terminal a, 31a.
  • the behavioral data is stored in the user behavior data storage unit 121 in the data storage unit 120 described above with reference to FIG. 7.
  • Step S222 the user terminal b, 31b stores the behavior data of the user a, 30a received from the user terminal a, 31a in a memory unit in the user terminal b, 31b, or in the user relationship data storage unit 123 in the data storage unit 120 described above with reference to FIG.
  • Step S223 Furthermore, in step S223, the user terminal b, 31b transmits the behavior data of the user b, 30b to the user terminal a, 31a.
  • user terminal b, 31b also records the behavioral data of user b, 30b in user terminal b, 31b.
  • the behavioral data is stored in the user behavioral data storage unit 121 in the data storage unit 120 described above with reference to FIG. 7.
  • Step S224 the user terminal a, 31a stores the behavior data of the user b, 30b received from the user terminal b, 31b in the memory unit in the user terminal a, 31a, or in the user relationship data storage unit 123 in the data storage unit 120 described above with reference to FIG.
  • Step S225 the user terminals a, 31a and b, 31b communicate with each other and determine actions to be executed for the users a and b based on the behavior data of the users a and b stored in each terminal. For example, various actions to be taken, such as warning, advising, suggesting, or reporting to the user, may be determined.
  • Step S226 Next, in step S226, the user terminal a, 31a executes the execution action determined in step S225.
  • actions such as warning, advice, suggestions, and reports are performed on user a, 30a.
  • Step S227 the user terminal b, 31b, executes the execution action determined in step S225.
  • actions such as warning, advice, suggestions, and reports are performed on user b, 30b.
  • FIGS. 19 and 20 are sequence diagrams showing this (Processing Example 2), which explain the processing executed between user terminal a, 31a used by user a (child), 30a, and user terminal b, 31b used by user b (father), 30b.
  • Steps S231 to S232 are processes in which the user terminals a and 31a and the user terminals b and 31b transmit and receive their respective user action data to each other and record it in each terminal. This process corresponds to the processes in steps S221 to S114 in the sequence diagram previously described with reference to FIG. 18, and is shown in a simplified form.
  • User terminal a, 31a and user terminal b, 31b each record behavioral data of users a and b.
  • Step S233 Next, in step S233, the user a (child) 30a operates the user terminal a 31a to post a photo on the SNS.
  • Step S234 Next, in step S234, user b (father), 30b, warns user a (child), 30a.
  • This attention process is a process that is actually performed orally by user b (father), 30b and user a (child), 30a, facing each other in the same space.
  • Step S235a and S235b Next, in steps S235a and S235b, user terminal a, 31a and user terminal b, 31b record in each terminal the behavioral data of user a (child), 30a and user b (father), 30b performed in step S234, i.e., the behavioral data that user b (father), 30b warned user a (child), 30a.
  • Step S236 Next, in step S236, the user a (child) 30a operates the user terminal a 31a to post a photo on the SNS.
  • Step S237) the user terminal a, 31a and the user terminal b, 31b communicate with each other and determine an action to be executed for the users based on the behavior data of the users a and b stored in each terminal.
  • Step S238 Next, in step S238, the user terminal a, 31a executes the execution action determined in step S237.
  • step S239 the user a (child) 30a stops posting photos in response to the warning from the user terminal a 31a.
  • step S240 user terminal b, 31b receives behavioral data of user a (child), 30a indicating that user a (child), 30a has stopped posting photos, and based on this behavioral data, reports to user b (father), 31b that user a (child), 30a has stopped posting photos.
  • FIGS. 21 and 22 are sequence diagrams showing this (Processing Example 3), and explain the processing executed between user terminal a, 31a used by user a (child), 30a, user terminal b, 31b used by user b (father), 30b, and user terminal c, 31c used by user c (mother), 30c.
  • Steps S251 to S252 are processes in which the user terminals a and 31a, the user terminals b and 31b, and the user terminals c and 31c transmit and receive their respective user action data to each other and record it in each terminal.
  • User terminal a, 31a, user terminal b, 31b, and user terminal c, 31c each record behavioral data of users a, b, and c.
  • Step S253 Next, in step S253, the user a (child) 30a operates the user terminal a 31a to post a photo on the SNS.
  • Step S254 Next, in step S254, user b (father), 30b, warns user a (child), 30a.
  • This attention process is a process that is actually performed orally by user b (father), 30b and user a (child), 30a, facing each other in the same space.
  • Steps S255a, S255b, S255c Next, in steps S235a, S235b, and S255c, user terminal a, 31a, user terminal b, 31b, and user terminal c, 31c record in each terminal the behavioral data of user a (child), 30a and user b (father), 30b performed in step S254, i.e., the behavioral data that user b (father), 30b warned user a (child), 30a.
  • Step S256 Next, in step S256, the user a (child) 30a operates the user terminal a 31a to post a photo on the SNS.
  • Step S257 Next, in step S257, user terminals a, 31a, user terminals b, 31b, and user terminals c, 31c communicate with each other and determine actions to be performed on the users based on the behavioral data of users a, b, and c stored in each terminal.
  • the execution action decision unit of each terminal confirms, based on the behavioral data of each user a, b, c, that user b (father), 30b, is at work and cannot directly warn user a (child), 30a, and further that user c (mother), 30c, is near user a (child), 30a. Based on these checks, a decision is made as to what action to take.
  • the action to be executed is determined to be an action to inform user c (mother), 30c, that user a (child), 30a, is about to post a photo.
  • Step S258 Next, in step S258, the user terminal c, 31c executes the execution action determined in step S257.
  • Step S259 Next, in step S259, user c (mother), 30c, directly or verbally warns user a (child), 30a.
  • Step S260 Next, in step S260, user a (child), 30a, stops posting photos in response to the warning from user c (mother), 30c.
  • step S261 user terminal b, 31b receives behavioral data of user a (child), 30a indicating that user a (child), 30a has stopped posting photos, and based on this behavioral data, reports to user b (father), 31b that user a (child), 30a has stopped posting photos.
  • FIGS. 23 and 24 are sequence diagrams showing this (Processing Example 4), and explain the processing executed between user terminal a, 31a used by user a (child), 30a, user terminal b, 31b used by user b (father), 30b, and user terminal c, 31c used by user c (mother), 30c.
  • Steps S271 to S272 are processes in which the user terminals a and 31a, the user terminals b and 31b, and the user terminals c and 31c transmit and receive their respective user action data to each other and record it in each terminal.
  • User terminal a, 31a, user terminal b, 31b, and user terminal c, 31c each record behavioral data of users a, b, and c.
  • Step S273 Next, in step S253, the user a (child) 30a operates the user terminal a 31a to post a photo on the SNS.
  • Step S274 Next, in step S274, the user terminal c, 31c of the user c (mother), 30c reports to the user c (mother), 30c that the user a (child), 30a has posted a photo.
  • Step S275 Next, in step S275, user c (mother), 30c, becomes enraged and warns user a (child), 30a.
  • This attention process is a process that is actually performed orally by user c (mother), 30c and user a (child), 30a, facing each other in the same space.
  • the data on this behavior i.e., the behavior of user c (mother), 30c, becoming angry and scolding user a (child), 30a, is stored in user terminals a, b, and c.
  • Step S276 user terminals a, 31a, user terminals b, 31b, and user terminals c, 31c communicate with each other and determine actions to be performed on the users based on the behavioral data of users a, b, and c stored in each terminal.
  • the execution action decision unit of each terminal decides on the optimal execution action, taking into consideration the behavior of user c (mother), 30c, who became angry and scolded user a (child), 30a.
  • the action to be executed is determined to be an action to report to user a (father), 30b that user a (child), 30a, is feeling depressed after being reprimanded by user c (mother), 30c for posting photos.
  • Step S277 the user terminal b, 31b, executes the execution action determined in step S277.
  • Step S278 Next, in step S278, user b (father), 30b, directly and verbally comforts user a (child), 30a.
  • the child might say to user A (30a), "What's wrong? Let's play a game together without telling mom.”
  • FIG. 25 is a sequence diagram showing this (Processing Example 5), which explains the processing executed between user terminal a, 31a used by user a (male), 30a, and user terminal b, 31b used by user b (female), 30b.
  • Steps S301 and S302 are processes in which the user terminals a and 31a and the user terminals b and 31b transmit and receive their respective user action data to each other and record it in each terminal.
  • User terminal a, 31a and user terminal b, 31b each record behavioral data of users a and b.
  • Step S303 Next, in step S303, the user terminal a, 31a acquires behavioral data indicating that the user a (male), 30a, is stressed out because of trouble at work.
  • Step S304 the user terminal a, 31a and the user terminal b, 31b communicate with each other and determine an action to be executed for the users based on the behavior data of the users a and b stored in each terminal.
  • the action to be executed is determined to be to give advice to user b (female), 30b, on how to treat user a (male), 30a.
  • Step S305 Next, in step S305, the user terminal b, 31b, executes the execution action determined in step S304.
  • FIGS. 26 and 27 are sequence diagrams showing this (Processing Example 6), which explain the processing executed between user terminal a, 31a used by user a (male), 30a, and user terminal b, 31b used by user b (female), 30b.
  • Steps S321 to S322 are processes in which the user terminals a and 31a and the user terminals b and 31b transmit and receive their respective user action data to each other and record it in each terminal.
  • User terminal a, 31a and user terminal b, 31b each record behavioral data of users a and b.
  • Step S323a and S323b Next, in step S323, the user terminal a, 31a acquires behavioral data indicating that the user a (male) is not doing well at work or in his private life and is seeking change.
  • user terminal b, 31b acquires behavioral data indicating that user b (female) wants to date user a but is unable to speak her feelings.
  • Step S324 the user terminal a, 31a and the user terminal b, 31b communicate with each other and determine an action to be executed for the users based on the behavior data of the users a and b stored in each terminal.
  • the action to be executed is determined to be to advise user b (female), 30b, about the action that user a (male), 30a, should take.
  • Step S325 Next, in step S325, the user terminal b, 31b, executes the execution action determined in step S324.
  • Step S326 Next, in step S326, user b (female), 30b, arguees her feelings to user a (male), 30a, following advice from user terminal b, 31b.
  • the information processing device (user terminal) disclosed herein performs the process of determining the role (machine role) that the device should perform and the process of determining the action to be executed, taking into account the data stored in the own terminal and the data stored in other terminals. By carrying out these processes, it becomes possible to maintain good relationships among a plurality of users.
  • FIG. 28 is a diagram showing an example of the hardware configuration of the user terminal 100, which is an information processing device according to the present disclosure, and the management server 50. As shown in FIG. The hardware configuration shown in FIG. 28 will now be described.
  • CPU (Central Processing Unit) 301 functions as a control unit or data processing unit that executes various processes according to programs stored in ROM (Read Only Memory) 302 or storage unit 308. For example, it executes processes according to the sequences described in the above-mentioned embodiments.
  • RAM (Random Access Memory) 303 stores programs and data executed by CPU 301.
  • CPU 301, ROM 302, and RAM 303 are interconnected by bus 304.
  • the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 is connected to an input unit 306 consisting of various switches, a keyboard, a mouse, a microphone, a sensor, etc., and an output unit 307 consisting of a display, a speaker, etc.
  • the CPU 301 executes various processes in response to commands input from the input unit 306, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input/output interface 305 is, for example, a hard disk, and stores the programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmitter/receiver for Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, and other data communication via networks such as the Internet or a local area network, and communicates with external devices.
  • the drive 310 connected to the input/output interface 305 drives removable media 311, such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory such as a memory card, and records or reads data.
  • removable media 311 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory such as a memory card
  • the technology disclosed in this specification can have the following configurations.
  • a user behavior data acquisition unit that acquires behavior data of a user who uses an information processing device; an execution action determination unit that determines an action to be executed for the user; an action execution unit that executes the action determined by the execution action determination unit;
  • the execution action determination unit The information processing device determines an action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and behavior data of a user using an external terminal acquired from an external terminal.
  • the user behavior data acquisition unit The information processing device according to (1), wherein at least one of an image or a voice acquired by a sensor of the information processing device, or user operation information on the information processing device is input, and the user's behavior is analyzed to acquire user behavior data.
  • the information processing device further comprises: a user relationship data acquisition unit that acquires user relationship data indicating a relationship between the user and a user using the external terminal by utilizing information acquired from the external terminal;
  • the execution action determination unit The information processing device according to (1) or (2), wherein an action to be executed is determined by utilizing the user relationship data acquired by the user relationship data acquisition unit.
  • the user relationship data acquisition unit An information processing device as described in (3), which analyzes images or audio acquired by a sensor of the information processing device, or user operation information on the information processing device, and information acquired from the external terminal, and generates user relationship data indicating the relationship between the user and a user using the external terminal.
  • the user relationship data acquisition unit Acquire behavioral data of a user of the external terminal stored in the external terminal;
  • the execution action determination unit The information processing device according to (3) or (4), wherein the action to be executed is determined by utilizing the behavioral data of the user using the external terminal acquired by the user relationship data acquisition unit.
  • the user relationship data acquisition unit The information processing device according to any one of (3) to (5) acquires behavior data of a user using an external terminal, the behavior data being stored in the external terminal from which acquisition of user behavior data is permitted.
  • the permission information for acquiring user behavior data from an external terminal is registered in the management server;
  • the information processing device according to any one of (3) to (6), wherein the information processing device is configured to execute a process of acquiring user behavior data from an external terminal under the control of the management server.
  • the execution action determination unit The information processing device according to any one of (1) to (7), which determines an action to be executed by utilizing external information acquired by a sensor of the information processing device.
  • the execution action determination unit The information processing device according to any one of (1) to (9), wherein at least one of the following actions is determined as an action to be performed on the user: issuing a warning to the user, providing advice to the user, making a suggestion to the user, or reporting to the user.
  • the information processing device further comprises: A user character analysis unit that analyzes the user's character,
  • the action execution unit is The information processing device according to any one of (1) to (10), which executes an action controlled according to the user character analyzed by the user character analysis unit.
  • the information processing device further comprises: a user character analysis unit that analyzes the user's character; a machine character determination unit that determines a machine character that is an action execution subject in accordance with the user character analyzed by the user character analysis unit; an action execution mode determination unit that determines an execution mode of an action in accordance with the machine character determined by the machine character determination unit;
  • the action execution unit is The information processing device according to any one of (1) to (11), wherein the action determined by the execution action determination unit is executed in the action execution mode determined by the action execution mode determination unit.
  • the machine character determination unit determines a machine character by referring to a database in which a machine character having good compatibility with each of a plurality of different user characters is associated.
  • the information processing device further comprises: a machine role determination unit that determines a role of the machine that is an action execution subject; The machine role determination unit, An information processing device described in any of (1) to (13) that executes a process of determining the role of the machine based on the user behavior data of the user acquired by the user behavior data acquisition unit and behavior data of an external device user acquired from an external device.
  • the machine role determination unit The information processing device according to (14), which determines a machine role to be at least any one of giving advice to a user, comforting a user, reporting to a user, and listening to a user's concerns.
  • the action execution unit 15. An information processing device according to any one of (1) to (14), which executes at least one of the following actions: outputting audio from a speaker, outputting text or an image to a display unit, or controlling an external device.
  • An information processing system having a plurality of communication terminals that communicate via a network, Each of the plurality of communication terminals, Analyzing behavioral data of a plurality of users who use the plurality of communication terminals; An information processing system that determines and executes an action to be taken for each user who uses the plurality of communication terminals.
  • An information processing method executed in an information processing device a user behavior data acquisition step in which a user behavior data acquisition unit acquires behavior data of a user who uses the information processing device; an execution action determination step in which an execution action determination unit determines an action to be executed for the user; an action execution unit executes an action execution step of executing the action determined by the execution action determination unit;
  • the execution action determination step includes: An information processing method comprising the step of determining an action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and behavior data of an external terminal user acquired from an external terminal.
  • a program recording the processing sequence can be installed and executed in memory within a computer built into dedicated hardware, or the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be pre-recorded on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet, and installed on a recording medium such as an internal hard disk.
  • a system refers to a logical collective configuration of multiple devices, and is not limited to devices in the same housing.
  • the system includes a user behavior data acquisition unit that acquires behavior data of a user who uses a user terminal such as a smartphone, an execution action determination unit that determines an action to be executed for the user, and an action execution unit that executes the action determined by the execution action determination unit.
  • the execution action determination unit determines and executes the optimal action to be executed based on the user behavior data of the user acquired by the user behavior data acquisition unit and the behavior data of the user using the external terminal acquired from the external terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

複数のユーザ端末各々の利用者の行動データを総合的に考慮して各ユーザに対して最適なアドバイス等のアクションを決定して実行する装置、方法を提供する。スマホ等のユーザ端末を利用するユーザの行動データを取得するユーザ行動データ取得部と、ユーザに対して実行するアクションを決定する実行アクション決定部と、実行アクション決定部が決定したアクションを実行するアクション実行部を有する。実行アクション決定部は、ユーザ行動データ取得部が取得したユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行すべき最適なアクションを決定して実行する。

Description

情報処理装置、および情報処理システム、並びに情報処理方法
　本開示は、情報処理装置、および情報処理システム、並びに情報処理方法に関する。さらに詳細には、スマホ等のユーザ端末から端末利用者であるユーザに対して、様々な提案や報告などを行う情報処理装置、および情報処理システム、並びに情報処理方法に関する。
　昨今、ＡＩ（Ａｒｔｉｆｉｃａｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術の進化とともに、ユーザと対話を行うシステムや、ユーザの行動や、ネットワークを介してアクセス可能な膨大な知識データベースの蓄積データ等に基づいてユーザにアドバイス等の提案を行うシステムが利用されている。
　スマートスピーカやエージェント機器、スマホ（スマートフォン）等、様々な機器にＡＩ機能が備えられており、例えばユーザがスマホに対して、「明日の天気を教えて」と発話した場合、スマホは天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して出力する。具体的には、例えば、
　システム応答＝「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
　このようなシステム応答を出力する。
　スマホ等、様々な情報処理装置のＡＩ機能を利用することで、天気予報のみならず、ネットワークを介してアクセス可能な様々なサーバ等の外部装置からの取得情報を提供する処理や、ネットワーク接続された機器の操作、音楽再生などの機器操作、さらに洗剤、食品等の商品注文など、様々な処理を実行することができる。
　さらに、スマホ等の機器に装着されたカメラやマイク、その他のセンサ等を用いてユーザの行動を観察し、ユーザ行動に応じた提案やアドバイスを出力する装置もある。
　なお、ユーザにアドバイスを行うシステムを開示した従来技術として、例えば特許文献１（特開２０２１－１９２１３１号公報）がある。
　この文献は、例えばユーザがあるレストランでの外食予定を話した場合、システムがユーザの体重が増加する警告を行い、他のレストランを勧める構成を開示している。
　しかし、この特許文献に記載の構成も含め、これまでに開示されている技術は、ある装置、例えば１台のスマホが取得可能なスマホ利用ユーザの行動に基づいてアドバイスを行うといった構成である。
　例えば１台のスマホが、そのスマホの利用ユーザの行動のみならず、その他のユーザの行動情報を他機器から取得して、他のユーザの行動も考慮して最適なアドバイスを行う構成を開示したものはない。
特開２０２１－１９２１３１号公報
　本開示は、例えば、上記問題点に鑑みてなされたものであり、スマホ等の情報処理装置の利用ユーザの行動のみならず、その他のユーザの情報を外部から取得し、これらの情報を総合的に検討して最適な提案等のアクションを実行する情報処理装置、および情報処理システム、並びに情報処理方法を提供することを目的とする。
　また、本開示の一実施例の構成では、アドバイスの対象となるユーザのキャラクタについて考慮して、ユーザキャラクタを考慮したアクション態様（ティスト）で様々なアクションを実行する情報処理装置、および情報処理システム、並びに情報処理方法を提供する。
　本開示の第１の側面は、
　情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得部と、
　前記ユーザに対して実行するアクションを決定する実行アクション決定部と、
　前記実行アクション決定部が決定したアクションを実行するアクション実行部を有し、
　前記実行アクション決定部は、
　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定する情報処理装置にある。
　さらに、本開示の第２の側面は、
　ネットワークを介して通信を行う複数の通信端末を有する情報処理システムであり、
　前記複数の通信端末各々が、
　前記複数の通信端末を利用する複数ユーザの行動データを解析し、
　前記複数の通信端末を利用する各ユーザに対して実行するアクションを決定して実行する情報処理システムにある。
　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　ユーザ行動データ取得部が、前記情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得ステップと、
　実行アクション決定部が、前記ユーザに対して実行するアクションを決定する実行アクション決定ステップと、
　アクション実行部が、前記実行アクション決定部が決定したアクションを実行するアクション実行ステップを実行し、
　前記実行アクション決定ステップは、
　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定するステップである情報処理方法にある。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、複数のユーザ端末各々の利用者の行動データを総合的に考慮して各ユーザに対して最適なアドバイス等のアクションを決定して実行する装置、方法が実現される。
　具体的には、例えば、スマホ等のユーザ端末を利用するユーザの行動データを取得するユーザ行動データ取得部と、ユーザに対して実行するアクションを決定する実行アクション決定部と、実行アクション決定部が決定したアクションを実行するアクション実行部を有する。実行アクション決定部は、ユーザ行動データ取得部が取得したユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行すべき最適なアクションを決定して実行する。
　本構成により、複数のユーザ端末各々の利用者の行動データを総合的に考慮して各ユーザに対して最適なアドバイス等のアクションを決定して実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 本開示の情報処理装置に相当するユーザ端末の構成例について説明する図である。 ユーザ／マシンキャラクタ・マッチングデータベースに格納されたデータの一例について説明する図である。 ユーザ／マシンキャラクタ・マッチングデータベースに格納されたデータの一例について説明する図である。 アクション実行態様（ティスト）決定部が実行するアクションの実行態様（ティスト）の決定処理例について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 複数端末間の通信処理によって、双方の格納データ等を利用してマシン役割の決定処理や、実行アクションの決定処理を行う処理例について説明する図である。 複数端末間の通信処理によって、双方の格納データ等を利用してマシン役割の決定処理や、実行アクションの決定処理を行う処理例について説明するフローチャートを示す図である。 ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩについて説明する図である。 ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩについて説明する図である。 ユーザ行動データの他ユーザ端末への提供処理、記録処理のシーケンス例について説明するシーケンス図である。 管理サーバが生成、または更新する「行動データ送受信端末管理データ」の具体例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 相互に行動データを送受信する複数のユーザ端末間で実行アクションを決定する場合の具体的な処理シーケンスの一例について説明する図である。 本開示の情報処理装置であるユーザ端末やサーバのハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の情報処理装置、および情報処理システム、並びに情報処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理装置が実行する処理の概要について
　２．本開示の情報処理システム、および情報処理装置の具体的構成例について
　３．本開示の情報処理装置が実行する処理のシーケンスについて
　４．ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩについて
　５．本開示の情報処理装置を利用した処理の具体例について
　６．ユーザ端末、およびサーバのハードウェア構成例について
　７．本開示の構成のまとめ
　　［１．本開示の情報処理装置が実行する処理の概要について］
　まず、図１以下を参照して本開示の情報処理装置が実行する処理の概要について説明する。
　図１～図３は、本開示の情報処理装置が実行する処理の一例のシーケンスについて説明する図である。
　図１に示すステップＳ０１から、図３に示すステップＳ０６までの各処理が、順次、実行される。
　なお、以下では、本開示の情報処理装置の一例としてスマホ（スマートフォン）を利用した例について説明する。ただし、本開示の情報処理装置はスマホに限らず、ＰＣ、タブレット端末、スマートスピーカ、エージェント機器等、様々な装置が含まれる。
　本開示のスマホ等の情報処理装置は、情報処理装置の利用ユーザの行動のみならず、その他のユーザの情報を他機器から取得し、これらの情報を総合的に検討して最適な提案等のアクションを実行する。
　なお、これらの処理は、情報処理装置に格納されたアプリケーション（プログラム）の制御の下で実行される。
　以下、図１に示すステップＳ０１から、図３に示すステップＳ０６までの各処理について、順次、説明する。
　　（ステップＳ０１）
　まず、図１のステップＳ０１に示すように、子供１０が、自分のスマホである子供端末（スマホ）１２を利用して、ＳＮＳサイトに写真を投稿する。
　　（ステップＳ０２）
　次に、ステップＳ０２において、子供１０の父親２０が、子供１０がＳＮＳサイトに写真を投稿したことを注意する。
　父親２０は、子供１０の安全を考えて、子供１０がＳＮＳサイトに写真を投稿することを止めさせたいと思っており、子供１０に対して口頭で、直接、注意する。
　子供端末（スマホ）１２と、父親２０が所有する父親端末（スマホ）２２は、この父親２０が子供１０を注意している状況を観測している。
　すなわち、端末（スマホ）のマイクによって、父親２０が子供１０を注意している会話を入力し、各端末の記憶部に格納する。各端末の記憶部に記録するデータは会話そのものでなくてもよく、例えば父親が子供を注意したということを示すデータでもよい。また、カメラやその他のセンサ、例えばＧＰＳ等の位置センサ等を利用した画像やセンサ検出情報を記録する構成としてもよい。
　　（ステップＳ０３）
　次に、子供１０は、父親２０に注意されたにも関わらず、図２のステップＳ０３に示すように、また、自分のスマホである子供端末（スマホ）１２を利用して、ＳＮＳサイトに写真を投稿しようとしている。
　　（ステップＳ０４）
　子供１０が、ステップＳ０３で写真を投稿しようとしている状態において、子供端末１２と、父親端末２２は相互通信を実行し、各端末に格納された、各ユーザの行動データを解析して、実行すべきアクション（対応）を検討する。
　この処理は、例えば、予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。具体的には、各端末に格納済みの各ユーザの行動情報や、ネットワークを介してアクセス可能な知識データベースの蓄積データ等に基づいて、最適なアクション（対応）を検討する。
　なお、学習モデル等のＡＩ機能は各端末内に構成してもよいし、各端末がアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　なお、子供端末１２と、父親端末２２間の通信は、直接通信でもよいし、通信管理サーバを介した通信のいずれであってもよい。
　図２のステップＳ０４に示すように、子供端末１２と、父親端末２２間で実行された検討処理、すなわち実行すべきアクション（対応）の検討処理の結果として、最適なアクションは「子供に注意する」ことであるとの結論が出される。
　　（ステップＳ０５）
　次に、ステップＳ０５において、子供端末１２は、アクション（子供に注意する）実行の事前処理として、最適なアクション実行態様を検討する。すなわち子供に対する最適な注意の仕方を検討する。
　具体的には、子供端末１２の記憶部に格納されているこれまでの過去のユーザ行動データ等に基づいて、子供のキャラクタを解析し、解析されたキャラクタに応じた最適なアクション実行態様（出力コメントの内容や方法）を決定する。
　例えば「優しく教える」、あるいは「きつく命令する」等、ユーザのキャラクタに応じた最適な注意の方法を決定する。
　　（ステップＳ０６）
　最後に、子供端末１２は、ステップＳ０６において、子供１０に対するアクションを実行する。
　すなわち、ステップＳ０４で生成したアクション検討結果＝「子供に注意する」を、ステップＳ０５において検討した最適アクション実行態様に従って実行する。
　図３（Ｓ０６）に示すように、子供端末１２は、子供１０に対して、
　「写真を投稿するとお父さんに怒られますよ」
　このような発話を、子供端末１２のスピーカを介して出力する。
　このような処理によって、子供１０に、ＳＮＳサイトに対する写真投稿を思いとどまらせることが可能となる。
　なお、ステップＳ０６において子供端末１２が子供１０に対して実行するアクションは、例えば図４の（ステップＳ０６ｂ）に示すように表示部にアニメーション画像を表示して、アニメーション画像が話しかけているような設定で行う構成としてもよい。
　また、図４の（ステップＳ０６ｃ）に示すように表示部に発話内容と同じテキスト、すなわち、
　「写真を投稿するとお父さんに怒られますよ」
　上記発話文のテキストを表示しながら、発話する設定としてもよい。
　また、前述したように、子供端末１２が子供１０に対して実行するアクションの態様は、ステップＳ０５において、過去のユーザ行動データ等に基づいて決定される最適な態様で実行される。
　すなわち、前述したように、「優しく教える」、あるいは「きつく命令する」等、ユーザのキャラクタに応じた最適な注意の方法で実行される。
　具体例を図５に示す。
　図５の（ステップＳ０６ｄ）の例は、「きつく命令する」設定で注意する処理例である。
　この場合、子供端末１２は、図５（Ｓ０６ｄ）に示すように、
　「写真を投稿しちゃダメ、お父さんに怒られるぞ」
　このような発話を実行する。
　さらに、図５の（ステップＳ０６ｅ）の例は、「優しく教える」設定で注意する処理例である。
　この場合、子供端末１２は、図５（Ｓ０６ｅ）に示すように、
　「写真の投稿はやめた方がいいよ。お父さんに見つかると怒られるよ」
　このような発話を実行する。
　さらに、この発話に併せて、ＢＧＭも出力する。
　このように、スマホ等のユーザ端末は、アクション実行相手となるユーザのキャラクタを解析し、その解析結果に応じた最適なアクション態様で様々なアクションを実行する。
　以上、図１～図５を参照して本開示の情報処理装置が実行する処理のシーケンスの一例について説明した。
　例えば、図２の（ステップＳ０４）において説明したように、本開示のスマホ等の情報処理装置は、情報処理装置の利用ユーザの行動のみならず、その他のユーザの情報を他機器から取得し、これらの情報を総合的に検討して最適な提案等のアクションを決定して実行する。
　また、図３の（ステップＳ０５）等において説明したように、本開示のスマホ等の情報処理装置は、アクション実行相手となるユーザのキャラクタを解析し、その解析結果に応じた最適なアクション態様で様々なアクションを実行する。
　なお、図１～図５を参照して説明した処理例は、本開示の情報処理装置が実行する処理の一例である。その他の様々な処理例については、後段で説明する。
　　［２．本開示の情報処理システム、および情報処理装置の具体的構成例について］
　次に、本開示の情報処理システム、および情報処理装置の具体的構成例について説明する。
　図６には、本開示の情報処理システムの一構成例を示している。
　図６には、ユーザａ，３０ａ～ユーザｅ，３０ｅと各ユーザが利用するスマホ等のユーザ端末ａ，３１ａ～ユーザ端末ｅ，３１ｅと、各端末間の通信制御処理等を実行するサーバである管理サーバ５０、およびこれら各装置間の通信に利用される通信ネットワーク４０を示している。
　なお、図６には５人のユーザと５つのユーザ端末のみ示しているが、これは一部を示しているものであり、実際にはこれらの他にも多数のユーザ、ユーザ端末が存在する。
　ユーザ端末ａ，３１ａ～ユーザ端末ｅ，３１ｅは、例えばスマホ（スマートフォン）、タブレット端末、ＰＣ等の通信可能な情報処理装置によって構成される。
　図１～図５を参照して説明した処理は、例えば図６に示す５台のユーザ端末３１中の２台のユーザ端末を利用して実行される処理である。
　次に、図７を参照して本開示の情報処理装置に相当するユーザ端末の構成例について説明する。
　図７には、ユーザ端末１００の構成例を示している。図７に示すユーザ端末１００は、図６に示すユーザ端末ａ，３１ａ～ユーザ端末ｅ，３１ｅに相当する。
　図７に示すようにユーザ端末１００は、通信部１０１、センサ群１０２、データ取得部１１０、データ格納部１２０、データ解析部１３０、アクション制御部１４０、アクション実行部１５０、ユーザ反応解析部１６０、ユーザ／マシンキャラクタ・マッチングデータベース１７０を有する。
　通信部１０１は、図６に示す通信ネットワーク４０を介して他のユーザ端末や管理サーバとの通信を実行する。
　センサ群１０２は、例えば、カメラ、マイク、ＧＰＳ等の位置センサ、ジャイロ等の加速度センサ、さらにユーザのユーザ端末１００に対する操作を検出するセンサ等、様々なセンサによって構成される。
　データ取得部１１０は、外部データ取得部１１１、ユーザ行動データ取得部１１２、ユーザ関係データ取得部１１３を有する。
　また、データ格納部１２０は、外部データ格納部１２１、ユーザ行動データ格納部１２２、ユーザ関係データ格納部１２３を有する。
　外部データ取得部１１１は、上述したセンサ群１０２が検出する画像、音声、ユーザ操作等のセンサ検出情報の取得処理や、通信部１０１を介してアクセス可能な知識データベース等、様々なデータベースからのデータ取得処理を行う。
　外部データ取得部１１１が取得したこれらのデータは、データ格納部１２０の外部データ格納部１２１に格納される。
　ユーザ行動データ取得部１１２は、上述したセンサ群１０２が検出する画像、音声、ユーザ操作等のセンサ検出情報に基づいて、ユーザの行動を解析する。
　具体的には、例えばユーザが歩いている。走っている、あるいは外出しようとしているといったユーザ行動を解析する。さらに、先に図１～図５を参照して説明したようにＳＮＳサイトに写真を投稿しようとしているとか、父親に怒られているといった様々なユーザ行動を解析する。
　このユーザ行動解析処理は、例えば、予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　ユーザ行動データ取得部１１２が、解析したユーザ行動データは、データ格納部１２０のユーザ行動データ格納部１２２に格納される。
　ユーザ関係データ取得部１１３は、上述したセンサ群１０２が検出する画像、音声、ユーザ操作等のセンサ検出情報や、図６に示す通信ネットワーク４０を介して接続される他のユーザ端末から取得可能な情報を解析し、ユーザ端末１００を利用しているユーザとその他のユーザとの関係を推定し、推定結果としてユーザ関係データを生成する。
　なお、ユーザ関係データ取得部１１３は、他のユーザ端末において取得された他のユーザの行動データも、他のユーザ端末から通信ネットワークを介して受信可能である。
　ただし、他のユーザの行動データを受信するためには、行動データ取得対象ユーザが利用するユーザ端末において、行動データの提供を許可していることが必要である。
　すなわち、行動データを送信してもよいユーザやユーザ端末を予め登録することが必要である。この行動データ送信設定処理の詳細については後段で説明する。
　ユーザ関係データ取得部１１３が生成したユーザ関係データは、データ格納部１２０のユーザ関係データ格納部１２２に格納される。
　データ解析部１３０は、ユーザキャラクタ解析部１３１、マシンキャラクタ解析部１３２、マシン役割決定部１３３を有する。
　ユーザキャラクタ解析部１３１は、データ格納部１２０に格納されたデータを利用してユーザ端末１００を利用するユーザのキャラクタを解析する。例えば、自己中心的である、礼儀正しい等、ユーザのキャラクタを解析する。
　ユーザキャラクタ解析部１３１は、例えばデータ格納部１２０内のユーザ行動データ格納部１２２に格納されたユーザの過去の行動データや、ユーザ関係データ格納部１２３に格納された詫―ザとの関係を示すデータ等に基づいて、ユーザがどのようなキャラクタ（性格）であるかを解析する。
　このユーザキャラクタ解析処理は、例えば予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　マシンキャラクタ決定部１３２は、ユーザ端末１００を利用するユーザに対するアクション実行主体、具体的にはユーザ端末自体のキャラクタを決定する。なお、ここで、「マシン」とはユーザ端末１００に相当する。
　図１～図５を参照して説明した処理例では、子供１０に対するアドバイス、すなわち、
　「写真を投稿するとお父さんに怒られますよ」
　このようなアドバイスの実行主体である子供端末１２が「マシン」に相当する。
　図４、図５を参照して説明したように、本開示のスマホ等の情報処理装置は、アクション実行相手となるユーザのキャラクタを解析し、その解析結果に応じた最適なアクション態様で様々なアクションを実行する。
　マシンキャラクタ決定部１３２は、この最適なアクション態様でアクションを実行するために最適なマシンのキャラクタを決定する処理を行う。
　すなわち、マシンキャラクタ決定部１３２は、ユーザキャラクタ解析部１３１が解析したユーザのキャラクタに応じた最適なマシンのキャラクタを決定する。
　マシンキャラクタ決定部１３２は、図７に示すユーザ／マシンキャラクタ・マッチングデータベース１７０を参照して、ユーザキャラクタに応じた最適なマシンキャラクタを決定する。
　なお、図７には、ユーザ／マシンキャラクタ・マッチングデータベース１７０をユーザ端末１００内に設定した構成としているが、このユーザ／マシンキャラクタ・マッチングデータベース１７０をユーザ端末１００内に構成せず、通信部１０１を介してアクセス可能な外部データベースとしてもよい。
　図８は、ユーザ／マシンキャラクタ・マッチングデータベース１７０に格納されたデータの一例を示す図である。
　ユーザ／マシンキャラクタ・マッチングデータベース１７０には、ユーザキャラクタと、そのユーザキャラクタと相性がよいマシンキャラクタの対応データが格納される。
　マシン、すなわちスマホ等の情報種の装置１００は、ユーザに様々な提案やアドバイスなどを行う。このマシンがユーザに対して行うアドバイスをユーザが素直に受け入れるためには、ユーザとマシンとの相性が良いことが必要である。
　すなわちユーザのキャラクタに最も相性が良いキャラクタをマシンが有することがベストである。
　ユーザ／マシンキャラクタ・マッチングデータベース１７０には、様々なユーザキャラクタに対して相性がよいマシンキャラクタを記録したデータベースである。
　図８に示す例では、ユーザキャラクタとして、以下の様々なキャラクタが記録されている。
　ユーザキャラクタ＝自己中心的なキャラクタ
　ユーザキャラクタ＝礼儀正しいキャラクタ
　ユーザキャラクタ＝事象解析好きなキャラクタ
　ユーザキャラクタ＝理想追求型キャラクタ
　データベースには、これらの様々なユーザキャラクタに対して相性のよいマシンキャラクタが記録されている。すなわち、
　「ユーザキャラクタ＝自己中心的なキャラクタ」である場合、相性の良いマシンキャラクタは、「マシンキャラクタ＝自己中心的なキャラクタ」である。
　「ユーザキャラクタ＝礼儀正しいキャラクタ」である場合、相性の良いマシンキャラクタは、「マシンキャラクタ＝礼儀正しいキャラクタ」である。
　「ユーザキャラクタ＝事象解析好きなキャラクタ」である場合、相性の良いマシンキャラクタは、「マシンキャラクタ＝事象解析好きなキャラクタ」である。
　ユーザキャラクタ＝理想追求型キャラクタ」である場合、相性の良いマシンキャラクタは、「マシンキャラクタ＝理想追求型キャラクタ」である。
　マシンキャラクタ決定部１３２は、このように、ユーザキャラクタに相性の良いマシンキャラクタを対応付けて記録したユーザ／マシンキャラクタ・マッチングデータベース１７０を参照して、ユーザキャラクタに応じた最適なマシンキャラクタを決定する。
　なお、図８は、ユーザ／マシンキャラクタ・マッチングデータベース１７０の格納データの一例であり、その他のデータ構成を持つデータベースを利用してもよい。
　例えば図９に示すようなデータを格納したユーザ／マシンキャラクタ・マッチングデータベース１７０を利用してもよい。
　図９に示すデータベースは、
　（ａ）ユーザキャラクタ、
　（ｂ）ユーザ状況、
　（ｃ）マシンキャラクタ
　これら（ａ）～（ｃ）の各データを対応付けて設定したデータベースである。
　図９に示すユーザ／マシンキャラクタ・マッチングデータベース１７０は、１つのユーザキャラクタに対する相性の良いマシンキャラクタを、現在のユーザ状況に応じて変更する設定としたデータベースである。
　例えば、「ユーザキャラクタ＝自己中心的なキャラクタ」であり、
　現在のユーザ状況が「焦っている」状態である場合は、
　相性の良いマシンキャラクタは、「マシンキャラクタ＝やや自己中心的なキャラクタ」である。
　しかし、ユーザキャラクタが同じ「ユーザキャラクタ＝自己中心的なキャラクタ」であり、
　現在のユーザ状況が「焦っていない」状態である場合は、
　相性の良いマシンキャラクタは、「マシンキャラクタ＝とても礼儀正しいキャラクタ」となる。
　このように、図９に示すユーザ／マシンキャラクタ・マッチングデータベース１７０は、１つのユーザキャラクタに対する相性の良いマシンキャラクタを、現在のユーザ状況に応じて変更する設定としたデータベースである。
　マシンキャラクタ決定部１３２は、このように、現在のユーザ状況を考慮して、ユーザキャラクタに相性の良いマシンキャラクタを決定する処理を行ってもよい。
　なお、現在のユーザ状況は、データ格納部１２０のユーザ行動データ格納部１２２に格納されたデータに基づいて判定することができる。
　次に、図７に示すユーザ端末１００のデータ解析部１３０のマシン役割決定部１３３について説明する。
　データ解析部１３０のマシン役割決定部１３３は、マシンが実行すべき役割を決定する。
　具体的には、例えば、ユーザにアドバイスする。あるいはユーザを慰める、ユーザに報告する。ユーザの悩みを聞いてあげる等、マシンが実行すべき役割を決定する。
　マシン役割決定部１３３は、データ格納部１２３の格納データ、すなわち、外部データ格納部１２１に格納された外部データ、ユーザ行動データ格納部１２２に格納されたユーザ行動データ、ユーザ関係データ格納部１２３に格納された他のユーザとの関係を示すデータ、これらのデータを入力し、ユーザに対してマシンが実行すべき役割を決定する。
　具体的には、例えば図１～図５を参照して説明した処理例では、マシンの役割は、子供（ユーザ）の写真投稿を止めさせるという役割である。
　マシン役割決定部１３３が実行するマシン役割決定処理は、例えば予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　次に、図７に示すユーザ端末１００のアクション制御部１４０の構成と実行する処理について説明する。
　図７に示すように、アクション制御部１４０は、実行アクション決定部１４１と、アクション実行態様（ティスト）決定部１４２を有する。
　実行アクション決定部１４１は、マシン、すなわちユーザ端末１００が実行するアクションを決定する。
　すなわち、マシン役割決定部１３３が決定したマシンの役割を果たすために実行する具体的なアクションを決定する。
　例えば、ユーザに対して注意する、アドバイスを行う、提案する、報告するなどの様々な実行アクションを決定する。
　例えば、マシン役割決定部１３３が決定したマシンの役割が「ユーザにアドバイスする役割」であれば、アドバイスすべき具体的内容を決定する。
　また、マシン役割決定部１３３が決定したマシンの役割が「ユーザを慰める役割」であれば、慰めるための言葉や音楽を決定する。
　マシン役割決定部１３３が決定したマシンの役割が「ユーザの悩みを聞いてあげる役割」であれば、慰めるための言葉やユーザの悩みを聞き出すための質問を決定する等の処理を行う。
　例えば図１～図５を参照して説明した処理例では、マシンの役割は、子供（ユーザ）の写真投稿を止めさせるという役割であり、この場合、実行アクション決定部１４１は、子供（ユーザ）に「写真の投稿を中止させるコメントを出力する」という具体的なアクションを決定する。
　実行アクション決定部１４１が実行する処理も、例えば予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　アクション実行態様（ティスト）決定部１４２は、実行アクション決定部１４１が決定した実行アクションの実行態様（ティスト）を決定する。
　なお、アクション実行態様（ティスト）の決定処理は、マシンキャラクタ決定部１３２が決定したマシンキャラクタや、マシン役割決定部１３３が決定したマシン役割を反映するように実行する。
　図１０を参照して、アクション実行態様（ティスト）決定部１４２が実行するアクションの実行態様（ティスト）の決定処理例について説明する。
　マシンであるユーザ端末１００はユーザに対して様々なアクションを実行することができる。具体的にはコメントやＢＧＭ等の音声出力、画像出力、あるいはネットワーク接続された他の機器、例えば照明、テレビ、エアコン等の制御など、様々なアクションを実行できる。
　どのアクションを実行するかは、実行アクション決定部１４１が決定する。アクション実行態様（ティスト）決定部１４２は、実行アクション決定部１４１が決定したアクションの実行態様（ティスト）を決定する。
　図１０には、実行アクション決定部１４１が決定した「（ａ）実行アクションの種類」と、その実行アクションに対して、アクション実行態様（ティスト）決定部１４２が決定する「（ｂ）アクション実行態様の具体例」を対応付けて示している。
　図１０に示すように、例えば、実行アクション決定部１４１が決定したアクションが音声出力である場合、アクション実行態様（ティスト）決定部１４２は、出力音声の音量、トーン（明るい／暗い等）、発話速度等を決定する。
　また、実行アクション決定部１４１が決定したアクションが表示部に対するテキスト出力である場合、アクション実行態様（ティスト）決定部１４２は、出力テキストの文字の大きさ、種類、出力速度等を決定する。
　実行アクション決定部１４１が決定したアクションがＢＧＭ出力である場合、アクション実行態様（ティスト）決定部１４２は、出力ＢＧＭの種類、音量等を決定する。
　実行アクション決定部１４１が決定したアクションが表示部に対する画像、映像の出力である場合、アクション実行態様（ティスト）決定部１４２は、出力画像や映像の種類等を決定する。
　実行アクション決定部１４１が決定したアクションが匂いの出力である場合、アクション実行態様（ティスト）決定部１４２は、出力する匂いの種類、強度等を決定する。
　実行アクション決定部１４１が決定したアクションが外部デバイスの制御である場合、アクション実行態様（ティスト）決定部１４２は、制御対象とする外部デバイスや、制御態様等を決定する。
　このように、アクション実行態様（ティスト）決定部１４２は、実行アクション決定部１４１が決定した実行アクションの実行態様（ティスト）を決定する。
　図７に戻り、ユーザ端末１００の構成と処理ついての説明を続ける。
　上述したように、アクション制御部１４０の実行アクション決定部１４１は、マシン、すなわちユーザ端末１００が実行するアクションを決定する。すなわち、マシン役割決定部１３３が決定したマシンの役割を果たすために実行する具体的なアクションを決定する。
　さらに、アクション実行態様（ティスト）決定部１４２は、実行アクション決定部１４１が決定した実行アクションの実行態様（ティスト）を決定する。
　アクション実行部１５０は、アクション制御部１４０の実行アクション決定部１４１が決定した実行アクションを、アクション実行態様（ティスト）決定部１４２が決定した実行態様（ティスト）に従って実行する。
　なお、アクション実行部１５０は、具体的には、音声やＢＧＭを出力するスピーカ、画像、映像を表示する表示部（ディスプレイ）、他デバイスを制御するためのコマンドを生成してする出力するコマンド生成部、匂い出力のための匂い生成部等によって構成される。
　ユーザ反応解析部１６０は、アクション実行部１５０が実行したアクションに対するユーザの反応を解析する。
　例えばマシン（ユーザ端末１００）が提示したアドバイスに従ったか、従っていないか、またマシン（ユーザ端末１００）の慰めに対して微笑んだか否か等、ユーザの反応を解析する。
　ユーザ反応解析部１６０が実行するユーザ反応解析処理についても、例えば予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　ユーザ反応解析部１６０が生成したユーザ反応解析結果は、データ解析部１３０や、アクション制御部１４０にフィードバック入力される。
　例えば、ユーザ反応が不十分であると解析された場合、例えばマシンのアドバイスを無視していることが確認された場合などの場合は、実行アクションを変更して、再度、異なるアクションを実行する等の処理が実行される。
　　［３．本開示の情報処理装置が実行する処理のシーケンスについて］
　次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
　図１１に示すフローチャートは、本開示の情報処理装置、例えば図７を参照して説明したスマホ等のユーザ端末１００が実行する処理のシーケンスについて説明するフローチャートである。
　なお、図１１に示すフローは、図１１に示すユーザ端末１００のデータ解析部１３０と、アクション制御部１４０、アクション実行部１５０、ユーザ反応解析部１６０が実行する処理を説明するフローである。
　図１１に示すフローは、本開示の情報処理装置であるユーザ端末の記憶部に格納されたプログラムに従って、ユーザ端末の制御部（データ処理部）の制御の下で実行される。制御部（データ処理部）は、例えばプログラム実行機能を有するＣＰＵ等のプロセッサを有し、プロセッサを利用したプログラム実行処理により、フローに従った処理を行うことができる。
　以下、図１１に示すフローの各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、ステップＳ１０１において、データ格納部１２０に格納されたユーザ行動データや、ユーザ関係データを解析して、ユーザキャラクタを推定する。
　この処理は、図７に示すデータ解析部１３０のユーザキャラクタ解析部１３１が実行する処理である。
　データ解析部１３０のユーザキャラクタ解析部１３１は、データ格納部１２０内のユーザ行動データ格納部１２２に格納されたユーザの過去の行動データや、ユーザ関係データ格納部１２３に格納された詫―ザとの関係を示すデータ等に基づいて、ユーザがどのようなキャラクタ（性格）であるかを解析する。
　なお、前述したように、ユーザキャラクタ解析処理は、例えば予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。
　　（ステップＳ１０２）
　次に、ステップＳ１０２において、ユーザ／マシンキャラクタ・マッチングデータベースを参照して、ステップＳ１０１で推定したユーザキャラクタにマッチする最適なマシンキャラクタを決定する。
　この処理は、図７に示すデータ解析部１３０のマシンキャラクタ決定部１３２が実行する処理である。
　なお、前述したように「マシン」とはユーザ端末１００に相当する。
　先に図８、図９を参照して説明したように、ユーザ／マシンキャラクタ・マッチングデータベース１７０には、様々なユーザキャラクタに対する良い相性のマシンキャラクタを記録したデータベースである。
　マシンキャラクタ決定部１３２は、ユーザ／マシンキャラクタ・マッチングデータベース１７０を参照してステップＳ１０１で推定したユーザキャラクタにマッチする最適なマシンキャラクタを決定する。
　　（ステップＳ１０３）
　次に、ステップＳ１０３において、データ格納部１２０に格納されたユーザ行動データ、他ユーザ関係データ、外部データを解析して、マシン役割（ユーザに注意する、提案する、報告する、ほめる、賛同する、否定する等）を決定する。
　この処理は、マシン役割決定部１３３が実行する処理である。
　具体的には、例えば、ユーザにアドバイスする。あるいはユーザを慰める、ユーザに報告する。ユーザの悩みを聞いてあげる等、マシンが実行すべき役割を決定する。
　　（ステップＳ１０４）
　次に、ステップＳ１０４において、データ格納部１２０に格納されているユーザ行動データ、ユーザ関係データ、外部データを解析して、実行アクションを決定する。
　この処理は、図７に示すアクション制御部１４０内の実行アクション決定部１４１が実行する処理である。
　実行アクション決定部１４１は、マシン、すなわちユーザ端末１００が実行するアクションを決定する。具体的には、ステップＳ１０３でマシン役割決定部１３３が決定したマシンの役割を果たすために実行する具体的なアクションを決定する。
　　（ステップＳ１０５）
　次に、ステップＳ１０５において、ステップＳ１０４で決定したアクションの実行態様（ティスト）を決定する。
　なお、前述したようにアクション実行態様（ティスト）の決定処理は、マシンキャラクタ決定部１３２が決定したマシンキャラクタや、マシン役割決定部１３３が決定したマシン役割を反映するように実行される。
　なお、このアクション実行態様（ティスト）の決定処理は、先に図１０を参照して説明したように実行アクション決定部１４１が決定したアクションの種類に応じて行われる。例えば実行アクション決定部１４１が決定したアクションが音声出力である場合、アクション実行態様（ティスト）決定部１４２は、出力音声の音量、トーン（明るい／暗い等）、発話速度等を決定する。
　　（ステップＳ１０６）
　次に、ステップＳ１０６において、ステップＳ１０４で決定した実行アクションを、ステップＳ１０５で決定したアクション実行態様（ティスト）に従って実行する。
　この処理は、図７に示すアクション実行部１５０が実行する処理である。
　前述したようにアクション実行部１５０は、具体的には、音声やＢＧＭを出力するスピーカ、画像、映像を表示する表示部（ディスプレイ）、他デバイスを制御するためのコマンドを生成してする出力するコマンド生成部、匂い出力のための匂い生成部等によって構成される。
　　（ステップＳ１０７）
　次に、ステップＳ１０７において、ユーザ反応を解析し、解析結果に応じて、アクションの再実行が必要か否かを判定する。
　この処理は、図７に示すユーザ反応解析部１６０が実行する処理である。
　ユーザ反応解析部１６０は、アクション実行部１５０が実行したアクションに対するユーザの反応を解析する。
　前述したように、例えばマシン（ユーザ端末１００）が提示したアドバイスに従ったか、従っていないか、またマシン（ユーザ端末１００）の慰めに対して微笑んだか否か等、ユーザの反応を解析する。
　　（ステップＳ１０８）
　さらに、ステップＳ１０８において、アクションの再実行が必要か否かを判定する。
　この処理も、図７に示すユーザ反応解析部１６０が実行する。
　ユーザ反応解析部１６０は、アクション実行部１５０が実行したアクションに対するユーザの反応を解析し、ユーザ反応が不十分である場合、例えばマシンのアドバイスを無視していることが確認された場合などには、実行アクションを変更して、再度、異なるアクションを実行する必要があると判定し、ステップＳ１０１以下の処理を繰り返す。
　一方、ユーザ反応が十分である場合、例えばマシンのアドバイスに従っていることが確認された場合には、処理を終了する。
　このように、本開示のスマホ等の情報処理装置は、アクション実行相手となるユーザのキャラクタを解析し、その解析結果に応じた最適なマシンのキャラクタや役割を決定する。さらに、ユーザに対して実行するアクション、およびアクションの実行態様（ティスト）を決定して、決定したアクションを実行する。
　このような処理を行うことで、ユーザに対して最も効果的なアドバイス等のアクションを行うことが可能となる。
　なお、先に図１～図３を参照して説明した処理シーケンスの例では、図２のステップＳ０４において、子供端末１２が父親端末２２と通信を行って実行すべきアクションを決定する処理を行っていた。
　図１１に示すフローチャートでは、基本的に、アクションを実行する１台のユーザ端末内で処理を行う例を説明したが、例えば図１１に示すフローのステップＳ１０３～Ｓ１０４のマシン役割の決定処理や、実行アクションの決定処理は、他のユーザ端末と通信を行って他のユーザ端末内の格納データ、例えば他のユーザ端末に格納された他端末のユーザの行動データ等を考慮した処理を行う構成としてもよい。
　このように複数端末間の通信処理によって、双方の格納データ等を利用してマシン役割の決定処理や、実行アクションの決定処理を行う処理例について図１２、図１３を参照して説明する。
　図１２は、マシン役割の決定処理や、実行アクションの決定処理を行う際の端末間通信の例を説明する図である。
　図１２に示すユーザａ，３０ａのユーザ端末ａ，３１ａがマシン役割の決定処理と、実行アクションの決定処理を行う端末である。このユーザ端末ａ，３１ａが、他のユーザ端末、例えば図１２に示すユーザｂ，３０ｂのユーザ端末ｂ，３１ｂや、ユーザｃ，３０ｃのユーザ端末ｃ，３１ｃと通信を実行して、ユーザ端末ａ，３１ａのマシン役割や、実行アクションの決定処理を行う。
　図１２に示すように、ユーザ端末ａ，３１ａは、ユーザ端末ｂ，３１ｂや、ユーザ端末ｃ，３１ｃに対して、情報依頼を送信し、ユーザ端末ｂ，３１ｂや、ユーザ端末ｃ，３１ｃはこの情報依頼に対して、自端末に格納された各ユーザのユーザ行動データや他ユーザ関係データ等を参照して、回答を生成してユーザ端末ａ，３１ａに回答を送信する。
　ユーザ端末ａ，３１ａはこれら、他端末から取得する回答データを考慮してユーザ端末ａ，３１ａのマシン役割や、実行アクションの決定処理を行う。
　これら一連の処理は、例えば、予め生成した学習モデル等のＡＩ機能を利用して実行することが可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　図１３に示すフローチャートは、マシン役割の決定処理と、実行アクションの決定処理を、他のユーザ端末と通信を行って実行する場合の具体的シーケンスを説明するフローチャートである。
　すなわち、図１３に示すフローチャートは、図１１に示すフローのステップＳ１０３～Ｓ１０４のマシン役割の決定処理と、実行アクションの決定処理を、他のユーザ端末と通信を行って他のユーザ端末内の格納データ、例えば他のユーザ端末に格納された他端末のユーザの行動データ等を考慮した処理を行う場合の具体的シーケンスを説明するフローである。
　図１３に示すフローチャートのステップＳ１０３ａ～ステッブＳ１０３ｄが、図１１に示すフローのステップＳ１０３の処理、すなわちマシンの役割決定処理に相当する。また、図１３に示すフローのステップＳ１０４が、図１１に示すフローのステップＳ１０４の処理、すなわちマシンの実行アクションの決定処理に相当する
　図１３に示すフローの各ステップの処理について説明する。
　　（ステップＳ１０３ａ）
　図１３に示すフローのステップＳ１０３ａの処理は、図１１に示すフローのステップＳ１０２の処理の後に実行される。
　すなわち、ステップＳ１０２において、ユーザ／マシンキャラクタ・マッチングデータベースを参照して、ステップＳ１０１で推定したユーザキャラクタにマッチする最適なマシンキャラクタの決定処理の後に実行される。
　マシンキャラクタの決定処理が完了すると、ユーザ端末はステップＳ１０３ａの処理を実行する。
　ユーザ端末は、ステップＳ１０３ａにおいて、マシン役割（ユーザに注意する、提案する、報告する、ほめる、賛同する、否定する等）を決定する処理に際して、他のユーザ端末の格納データ（他のユーザの行動データ等）を参照すべきであるか否かの検証処理を実行する。
　この処理は、マシン役割決定部１３３が実行する処理である。前述したようにマシン役割りとは、例えば、ユーザにアドバイスする。あるいはユーザを慰める、ユーザに報告する。ユーザの悩みを聞いてあげる等、マシンが実行すべき役割である。
　この処理に際して、他のユーザ端末の格納データを参照したほうがよいかを検証する。
　例えば先に図１～図３を参照して説明した処理例では、父親端末２２の格納データから父親２０の行動データを取得することで、父親の性格、例えば怒りっぽいとか、優しいとかの情報をえることができ、この情報に応じてマシンの役割やアクションを決定することで、より的確な処理を行うことが可能となる。
　なお、このステップＳ１０３ａの処理に際しても例えば、予め生成した学習モデル等のＡＩ機能を利用可能である。なお、前述したように学習モデル等のＡＩ機能は端末内に構成されたものを利用してもよいし、ネットワークを介してアクセス可能な外部装置のＡＩ機能を利用する構成としてもよい。
　　（ステップＳ１０３ｂ）
　ステップＳ１０３ｂは、ステップＳ１０３ａの検証処理の結果に応じた処理分岐ステップである。
　ステップＳ１０３ａの検証処理の結果として、他のユーザ端末の格納データを参照したほうがよいと判定した場合は、ステップＳ１０３ｃに進む。
　一方、ステップＳ１０３ａの検証処理の結果として、他のユーザ端末の格納データを参照しなくてよいと判定した場合は、図１１に示すフローのステップＳ１０５に進む。この場合は、先に説明した図１１に示すフローチャートに従って自端末の格納データのみを利用した処理が実行される。
　　（ステップＳ１０３ｃ）
　ステップＳ１０３ｂにおいて、他のユーザ端末の格納データを参照したほうがよいと判定した場合は、ステップＳ１０３ｃに進む。
　この場合、ユーザ端末は、他のユーザ端末からデータ（他ユーザの行動データ等）を取得する。または、他のユーザ端末に対して、自端末のマシン役割や実行アクションをどうすべきかについて問い合わせを行う。
　他のユーザ端末に対して、自端末のマシン役割や実行アクションをどうすべきかについて問い合わせを行った場合、他のユーザ端末は、例えば端末内のユーザ関係データ等を参照して、他ユーザ端末のユーザと、問い合わせ元のユーザ端末の利用ユーザとの関係性を解析するなどして、マシン役割や実行アクションについての回答を送信する。
　この処理は例えば学習モデル等のＡＩ機能を利用して実行することが可能である。
　　（ステップＳ１０３ｄ）
　次に、他のユーザ端末からデータ取得や問い合わせを行ったユーザ端末は、ステップＳ１０３ｄにおいて、自端末に格納されたユーザ行動データ、ユーザ関係データ、外部データと、他のユーザ端末からの受信データを解析して、マシン役割（ユーザに注意する、提案する、報告する、ほめる、賛同する、否定する等）を決定する。
　この処理は、マシン役割決定部１３３が実行する処理である。
　具体的には、例えば、ユーザにアドバイスする。あるいはユーザを慰める、ユーザに報告する。ユーザの悩みを聞いてあげる等、マシンが実行すべき役割を決定する。
　　（ステップＳ１０４ａ）
　次に、ステップＳ１０４ａにおいて、データ格納部１２０に格納されているユーザ行動データ、ユーザ関係データ、外部データと、他のユーザ端末からの受信データを解析して、実行アクションを決定する。
　この処理は、図７に示すアクション制御部１４０内の実行アクション決定部１４１が実行する処理である。
　実行アクション決定部１４１は、マシン、すなわちユーザ端末１００が実行するアクションを決定する。具体的には、ステップＳ１０３でマシン役割決定部１３３が決定したマシンの役割を果たすために実行する具体的なアクションを決定する。
　なお、このステップＳ１０４ａの実行アクションの決定処理に際しても、他のユーザ端末から、実行すべきアクションについて提案を受信して、その提案を考慮した処理を行う構成としてもよい。
　これらの処理の後、図１１に示すフローのステップＳ１０５に進み、ステップＳ１０４で決定したアクションの実行態様（ティスト）を決定する。
　その後、ステップＳ１０６でアクションを実行する。
　この図１３に示すフローでは、１つのユーザ端末内の格納データの解析のみならず、他のユーザ端末の格納データや、他のユーザ端末における解析結果に基づく提案等を利用して最終的なマシンの役割や実行アクションの決定処理を行う。
　このような処理を行うことで、複数のユーザの行動や関係のより詳細な解析結果に基づいて、より精度の高いマシン役割やアクションの決定処理を行うことが可能となる。
　　［４．ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩについて］
　次に、ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩ（ユーザインタフェース）について説明する。
　図１２、図１３を参照して説明した処理は、１つのユーザ端末が他のユーザ端末と通信を実行して、マシンの役割や実行すべきアクションを決定する処理である。
　これらの処理を行うためには、他のユーザ端末からそのユーザ端末に格納されたユーザ行動データ等を取得することが必要になる場合がある。
　また、先に図７を参照して説明したように、ユーザ端末１００のユーザ関係データ取得部１１３は、他のユーザ端末において取得された他のユーザの行動データを、通信ネットワークを介して受信する場合がある。
　ただし、他のユーザの行動データを受信するためには、行動データ取得対象ユーザが利用するユーザ端末において、行動データの提供を許可していることが必要である。
　すなわち、行動データを送信してもよいユーザやユーザ端末を予め登録することが必要である。
　以下では、ユーザ端末間で行動データを送受信する場合の設定処理の詳細について説明する。
　図１４、図１５を参照して、ユーザ行動データの記録処理、および他ユーザ端末への提供処理の設定用ＵＩについて説明する。
　図１４に示すＵＩは、自分の行動データを自端末に記録するか否かを設定するためのＵＩの例である。
　図１４に示すように、
　（Ａ）ご本人様行動データ記録
　この設定項目に対してユーザは、「はい」、「いいえ」のいずれかをタッチして設定することができる。
　「はい」をタッチすることで、ユーザ端末のカメラやマイク、その他のセンサによって取得されるユーザ行動情報が、ユーザ行動データ取得部１１２によって取得され、ユーザ行動データ格納部１２２に格納される。
　さらに、図１５に示すＵＩは、自分以外の他ユーザの行動データを自端末に記録するか否かを設定するためのＵＩの例である。
　図１５に示すように、
　（Ｂ）他ユーザ行動データ記録
　この設定項目に対してユーザは、行動データの記録を行おうとする他ユーザのユーザＩＤ、または他ユーザのユーザ端末ＩＤを入力し、入力が完了すると、「入力完了」をタッチする。
　この処理によって、ユーザが入力したデータが、管理サーバ５０に送信される。
　管理サーバ５０は、ユーザの入力データに基づいて、行動データの記録対象ユーザのユーザ端末に対して、他のユーザ端末からの行動データ記録要求を許可するか否かを問い合わせる。
　この問い合わせに対して、行動記録を許可する、または許可しないとの回答が得られた場合、管理サーバ５０は、「許可」、または「不許可」の解答結果を行動データ記録要求端末に送信する。さらに管理サーバ５０内の記憶部に、行動データを送受信する端末情報等を管理データとして記録、保持する。
　この処理のシーケンスの一例について図１６を参照して説明する。
　図１６には、左から以下の各装置を示している。
　（１）他のユーザの行動データを要求する「行動データ要求端末」
　（２）管理サーバ５０
　（３）自身の行動データを「行動データ要求端末」に提供する「行動データ提供端末ａ」
　（４）自身の行動データを「行動データ要求端末」に提供する「行動データ提供端末ｂ」
　これらの各装置間でステップＳ２０１～Ｓ２０７の処理が順次、実行される。
　以下、これらの処理について、順次、説明する。
　　（ステップＳ２０１）
　まず、ステップＳ２０１において、行動データ要求端末が、行動データを記録したいユーザのユーザＩＤ、またはユーザ端末ＩＤを管理サーバ５０に送信する。
　この処理は、先に図１５を参照して説明したＵＩを利用して実行される処理である。
　　（ステップＳ２０２）
　次に、行動データ要求端末からのデータを受信した管理サーバ５０は、ステップＳ２０２において、行動データ要求端末から受信したユーザＩＤ、またはユーザ端末ＩＤに基づいて、指定ユーザのユーザ端末に対して、行動データの記録要求を許可するか否かを問い合わせる。
　図に示す例では、「行動データ提供端末ａ」と「行動データ提供端末ｂ」に対して問い合わせを行う。
　　（ステップＳ０３）
　ステップＳ０３は、「行動データ提供端末ａ」からの応答である。
　「行動データ提供端末ａ」は、「行動データ要求端末」からの行動データ記録要求を許可する旨の回答を管理サーバ５０に送信する。
　　（ステップＳ０４）
　ステップＳ０４は、「行動データ提供端末ｂ」からの応答である。
　「行動データ提供端末ｂ」は、「行動データ要求端末」からの行動データ記録要求を許可しない旨の回答を管理サーバ５０に送信する。
　　（ステップＳ０５）
　管理サーバ５０は、「行動データ提供端末ａ」と、「行動データ提供端末ａ」からの応答に応じて、「行動データ送受信端末管理データ」を生成、または更新してサーバ５０内の記憶部に格納する。
　管理サーバ５０が生成、または更新する「行動データ送受信端末管理データ」の具体例について、図１７を参照して説明する。
　図１７に示す「行動データ送受信端末管理データ」は、以下の各データを対応付けて登録した管理データである。
　（ｐ）行動データ要求ユーザのユーザＩＤ／端末ＩＤ
　（ｑ１～）行動データ提供ユーザのユーザＩＤ／端末ＩＤ
　管理サーバ５０は、この「行動データ送受信端末管理データ」に基づいて、各ユーザ端末で取得されたユーザの行動データデータの送受信管理を実行する。
　すなわち、行動データ提供ユーザのユーザ端末において取得されたユーザ行動データを取得し、これを行動データ要求ユーザのユーザ端末に送信する処理を実行する。
　図１６に示すシーケンス図の説明を続ける。
　　（ステップＳ２０６）
　図１７を参照して説明したデータ構成を有する「行動データ送受信端末管理データ」を記憶部に格納した管理サーバ５０は、次に、ステップＳ２０６において、「行動データ要求端末」に対して、行動データの記録要求を許可するか否かを問い合わせた端末からの回答、すなわち、「行動データ」提供の可否を送信する。
　　（ステップＳ２０７）
　「行動データ要求端末」のユーザは、ステップＳ２０７において、管理サーバ５０から受信した他端末からの回答、すなわち、「行動データ」提供の可否情報を確認する。
　このような処理シーケンスによって、管理サーバ５０に「行動データ要求端末」と、「行動データ要求端末」とを対応付けた「行動データ送受信端末管理データ」が登録される。
　管理サーバ５０は、この「行動データ送受信端末管理データ」に基づいて、各ユーザ端末で取得されたユーザの行動データデータの送受信管理を実行する。
　すなわち、行動データ提供ユーザのユーザ端末において取得されたユーザ行動データを取得し、これを行動データ要求ユーザのユーザ端末に送信する処理を実行する。
　この結果、ユーザ端末は、例えばマシン役割の決定処理や、実行アクションの決定処理を、自端末に格納されたデータのみならず、他の端末から受信した他ユーザのユーザ行動を考慮して実行することが可能となる。
　　［５．本開示の情報処理装置を利用した処理の具体例について］
　次に、本開示の情報処理装置を利用した処理の具体例について説明する。
　以下の複数の処理例について、順次、説明する。
　（処理例１）相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する基本処理例
　（処理例２）相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する処理例
　（処理例３）相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ａ
　（処理例４）相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ｂ
　（処理例５）相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ａ
　（処理例６）相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ｂ
　　（５－１．（処理例１）相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する基本処理例）
　まず、（処理例１）として、相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する基本処理例について説明する。
　図１８は、この（処理例１）を示すシーケンス図であり、ユーザａ，３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ，３０ｂが利用するユーザ端末ｂ，３１ｂ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ，３０ａとユーザｂ，３０ｂは、各ユーザのユーザ端末ａ，ｂ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図１８に示す処理ステップ（ステップＳ２２１～）について順次、説明する。
　　（ステップＳ２２１）
　まず、ステップＳ２２１において、ユーザ端末ａ，３１ａがユーザａ，３０ａの行動データをユーザ端末ｂ，３１ｂに送信する。
　なお、ユーザ端末ａ，３１ａは、ユーザａ，３０ａの行動データをユーザ端末ａ，３１ａにも記録している。先に図７を参照して説明したデータ格納部１２０内のユーザ行動データ格納部１２１に格納している。
　　（ステップＳ２２２）
　次に、ステップＳ２２２において、ユーザ端末ｂ，３１ｂは、ユーザ端末ａ，３１ａから受信したユーザａ，３０ａの行動データをユーザ端末ｂ，３１ｂ内の記憶部に格納する。先に図７を参照して説明したデータ格納部１２０内のユーザ関係データ格納部１２３に格納する。
　　（ステップＳ２２３）
　さらに、ステップＳ２２３において、ユーザ端末ｂ，３１ｂがユーザｂ，３０ｂの行動データをユーザ端末ａ，３１ａに送信する。
　なお、ユーザ端末ｂ，３１ｂは、ユーザｂ，３０ｂの行動データをユーザ端末ｂ，３１ｂにも記録している。先に図７を参照して説明したデータ格納部１２０内のユーザ行動データ格納部１２１に格納している。
　　（ステップＳ２２４）
　次に、ステップＳ２２４において、ユーザ端末ａ，３１ａは、ユーザ端末ｂ，３１ｂから受信したユーザｂ，３０ｂの行動データをユーザ端末ａ，３１ａ内の記憶部に格納する。先に図７を参照して説明したデータ格納部１２０内のユーザ関係データ格納部１２３に格納する。
　　（ステップＳ２２５）
　次に、ステップＳ２２５において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂは、相互に通信を行い、各端末に格納されたユーザａ，ｂの行動データに基づいて、ユーザａ，ｂに対して実行するアクションを決定する。
　例えば、ユーザに対して注意する、アドバイスを行う、提案する、報告するなどの様々な実行アクションを決定する。
　この処理は、先に図１２，図１３を参照して説明した処理に相当する。２つの端末ａ，ｂ間で、各端末に格納されたデータを利用して最適なアクションを決定する。
　　（ステップＳ２２６）
　次に、ステップＳ２２６において、ユーザ端末ａ，３１ａは、ステップＳ２２５で決定した実行アクションを実行する。
　例えばユーザａ，３０ａに対して、注意、アドバイス、提案、報告などのアクションを実行する。
　　（ステップＳ２２７）
　次に、ステップＳ２２７において、ユーザ端末ｂ，３１ｂは、ステップＳ２２５で決定した実行アクションを実行する。
　例えばユーザｂ，３０ｂに対して、注意、アドバイス、提案、報告などのアクションを実行する。
　これらの処理を行うことで、ユーザａ，３０ａとユーザｂ，３０ｂの相互理解が深まり、良好な関係が構築される。
　　（５－２．（処理例２）相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する処理例）
　次に、（処理例２）として、相互に行動データを送受信する２つのユーザ端末間で実行アクションを決定する処理例について説明する。
　図１９、図２０は、この（処理例２）を示すシーケンス図であり、ユーザａ（子供），３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ（父親），３０ｂが利用するユーザ端末ｂ，３１ｂ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂは、各ユーザのユーザ端末ａ，ｂ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図１９、図２０に示す処理ステップ（ステップＳ２３１～）について順次、説明する。
　　（ステップＳ２３１～Ｓ２３２）
　ステップＳ２３１～Ｓ２３２は、ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂが相互に各々のユーザ行動データを送受信し、それぞれの端末に記録する処理である。
　この処理は、先に図１８を参照して説明したシーケンス図のステップＳ２２１～Ｓ１１４の処理に相当し、これらの処理を簡略化して示している。
　ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂ各々には、ユーザａ，ｂの行動データが記録される。
　　（ステップＳ２３３）
　次に、ステップＳ２３３において、ユーザａ（子供），３０ａが、ユーザ端末ａ，３１ａを操作してＳＮＳに写真を投稿する。
　　（ステップＳ２３４）
　次に、ステップＳ２３４において、ユーザｂ（父親），３０ｂが、ユーザａ（子供），３０ａを注意する。
　この注意処理は、ユーザｂ（父親），３０ｂとユーザａ（子供），３０ａが実際に同じ空間で相対して、口頭で実行される処理である。
　　（ステップＳ２３５ａ，Ｓ２３５ｂ）
　次に、ステップＳ２３５ａ，Ｓ２３５ｂにおいて、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂは、ステップＳ２３４で行われたユーザａ（子供），３０ａと、ユーザｂ（父親），３０ｂの行動、すなわち、ユーザｂ（父親），３０ｂがユーザａ（子供），３０ａに注意したという行動データを、各端末に記録する。
　　（ステップＳ２３６）
　次に、ステップＳ２３６において、ユーザａ（子供），３０ａが、ユーザ端末ａ，３１ａを操作してＳＮＳに写真を投稿しようとする。
　　（ステップＳ２３７）
　次に、ステップＳ２３７において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂは、相互に通信を行い、各端末に格納されたユーザａ，ｂの行動データに基づいて、ユーザに対して実行するアクションを決定する。
　この処理は、先に図１２，図１３を参照して説明した処理に相当する。２つの端末ａ，ｂ間で、各端末に格納されたデータを利用して最適なアクションを決定する。
　　（ステップＳ２３８）
　次に、ステップＳ２３８において、ユーザ端末ａ，３１ａは、ステップＳ２３７で決定した実行アクションを実行する。
　例えばユーザａ（子供），３０ａに対して、写真投稿を中止させるためのアクションとして、
　「お父さんに怒られるよ」
　このような注意を実行する。
　　（ステップＳ２３９）
　次に、ステップＳ２３９において、ユーザａ（子供），３０ａは、ユーザ端末ａ，３１ａからの注意に応じて、写真投稿を中止する。
　　（ステップＳ２４０）
　次に、ステップＳ２４０において、ユーザ端末ｂ，３１ｂは、ユーザａ（子供），３０ａが写真投稿を中止したこと示すユーザａ（子供），３０ａの行動データを受信し、この行動データに基づいて、ユーザｂ（父親），３１ｂに対して、ユーザａ（子供），３０ａが写真投稿を中止したことを報告する。
　これらの処理を行うことで、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂの相互理解が深まり、良好な関係が構築される。
　　（５－３．（処理例３）相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ａ）
　次に、（処理例３）として、相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ａについて説明する。
　図２１～図２２は、この（処理例３）を示すシーケンス図であり、ユーザａ（子供），３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ（父親），３０ｂが利用するユーザ端末ｂ，３１ｂと、ユーザｃ（母親），３０ｃが利用するユーザ端末ｃ，３１ｃ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂとユーザｃ（母親），３０ｃは、各ユーザのユーザ端末ａ，ｂ，ｃ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図２１～図２２に示す処理ステップ（ステップＳ２５１～）について順次、説明する。
　　（ステップＳ２５１～Ｓ２５２）
　ステップＳ２５１～Ｓ２５２は、ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂとユーザ端末ｃ，３１ｃが相互に各々のユーザ行動データを送受信し、それぞれの端末に記録する処理である。
　ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂと、ユーザ端末ｃ，３１ｃ各々には、ユーザａ，ｂ，ｃの行動データが記録される。
　　（ステップＳ２５３）
　次に、ステップＳ２５３において、ユーザａ（子供），３０ａが、ユーザ端末ａ，３１ａを操作してＳＮＳに写真を投稿する。
　　（ステップＳ２５４）
　次に、ステップＳ２５４において、ユーザｂ（父親），３０ｂが、ユーザａ（子供），３０ａを注意する。
　この注意処理は、ユーザｂ（父親），３０ｂとユーザａ（子供），３０ａが実際に同じ空間で相対して、口頭で実行される処理である。
　　（ステップＳ２５５ａ，Ｓ２５５ｂ，Ｓ２５５ｃ）
　次に、ステップＳ２３５ａ，Ｓ２３５ｂ，Ｓ２５５ｃにおいて、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂと、ユーザ端末ｃ，３１ｃは、ステップＳ２５４で行われたユーザａ（子供），３０ａと、ユーザｂ（父親），３０ｂの行動、すなわち、ユーザｂ（父親），３０ｂがユーザａ（子供），３０ａに注意したという行動データを、各端末に記録する。
　　（ステップＳ２５６）
　次に、ステップＳ２５６において、ユーザａ（子供），３０ａが、ユーザ端末ａ，３１ａを操作してＳＮＳに写真を投稿しようとする。
　　（ステップＳ２５７）
　次に、ステップＳ２５７において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂと、ユーザ端末ｃ，３１ｃは、相互に通信を行い、各端末に格納されたユーザａ，ｂ，ｃの行動データに基づいて、ユーザに対して実行するアクションを決定する。
　この処理は、先に図１２，図１３を参照して説明した処理に相当する。３つの端末ａ，ｂ，ｃ間で、各端末に格納されたデータを利用して最適なアクションを決定する。
　このアクション決定処理に際して、各端末の実行アクション決定部は、各ユーザａ，ｂｃの行動データに基づいて、ユーザｂ（父親），３０ｂが会社に出勤中で、ユーザａ（子供），３０ａに直接、注意できないこと、さらにユーザｃ（母親），３０ｃがユーザａ（子供），３０ａの近くにいることを確認する。
　これらの確認に基づいて、実行すべきアクションを決定する。
　具体的には、ユーザｃ（母親），３０ｃに対して、ユーザａ（子供），３０ａが写真投稿をしようとしていることを報告するアクションを実行アクションとして決定する。
　　（ステップＳ２５８）
　次に、ステップＳ２５８において、ユーザ端末ｃ，３１ｃは、ステップＳ２５７で決定した実行アクションを実行する。
　すなわち、ユーザｃ（母親），３０ｃに対して、
　「子供が写真を投稿しようとしています」
　このような報告を実行する。
　　（ステップＳ２５９）
　次に、ステップＳ２５９において、ユーザｃ（母親），３０ｃが、ユーザａ（子供），３０ａに対して、直接、口頭で注意する。
　　（ステップＳ２６０）
　次に、ステップＳ２６０において、ユーザａ（子供），３０ａは、ユーザｃ（母親），３０ｃからの注意に応じて、写真投稿を中止する。
　　（ステップＳ２６１）
　次に、ステップＳ２６１において、ユーザ端末ｂ，３１ｂは、ユーザａ（子供），３０ａが写真投稿を中止したこと示すユーザａ（子供），３０ａの行動データを受信し、この行動データに基づいて、ユーザｂ（父親），３１ｂに対して、ユーザａ（子供），３０ａが写真投稿を中止したことを報告する。
　これらの処理を行うことで、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂ、およびユーザｃ（母親），３０ｃの相互理解が深まり、良好な関係が構築される。
　　（５－４．（処理例４）相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ｂ）
　次に、（処理例４）として、相互に行動データを送受信する３つのユーザ端末間で実行アクションを決定する処理例ｂについて説明する。
　図２３～図２４は、この（処理例４）を示すシーケンス図であり、ユーザａ（子供），３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ（父親），３０ｂが利用するユーザ端末ｂ，３１ｂと、ユーザｃ（母親），３０ｃが利用するユーザ端末ｃ，３１ｃ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂとユーザｃ（母親），３０ｃは、各ユーザのユーザ端末ａ，ｂ，ｃ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図２３～図２４に示す処理ステップ（ステップＳ２７１～）について順次、説明する。
　　（ステップＳ２７１～Ｓ２７２）
　ステップＳ２７１～Ｓ２７２は、ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂとユーザ端末ｃ，３１ｃが相互に各々のユーザ行動データを送受信し、それぞれの端末に記録する処理である。
　ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂと、ユーザ端末ｃ，３１ｃ各々には、ユーザａ，ｂ，ｃの行動データが記録される。
　　（ステップＳ２７３）
　次に、ステップＳ２５３において、ユーザａ（子供），３０ａが、ユーザ端末ａ，３１ａを操作してＳＮＳに写真を投稿する。
　　（ステップＳ２７４）
　次に、ステップＳ２７４において、ユーザｃ（母親），３０ｃのユーザ端末ｃ，３１ｃが、ユーザｃ（母親），３０ｃに、ユーザａ（子供），３０ａが写真投稿を行ったことを報告する。
　　（ステップＳ２７５）
　次に、ステップＳ２７５において、ユーザｃ（母親），３０ｃが、ユーザａ（子供），３０ａに対して激怒して注意する。
　この注意処理は、ユーザｃ（母親），３０ｃとユーザａ（子供），３０ａが実際に同じ空間で相対して、口頭で実行される処理である。
　この行動、すなわちユーザｃ（母親），３０ｃが、ユーザａ（子供），３０ａに対して激怒して注意した行動データは、ユーザ端末ａ，ｂ，ｃに格納される。
　　（ステップＳ２７６）
　次に、ステップＳ２７６において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂと、ユーザ端末ｃ，３１ｃは、相互に通信を行い、各端末に格納されたユーザａ，ｂ，ｃの行動データに基づいて、ユーザに対して実行するアクションを決定する。
　各端末の実行アクション決定部は、ユーザｃ（母親），３０ｃが、ユーザａ（子供），３０ａに対して激怒して注意したという行動を考慮して、最適な実行アクションを決定する。
　具体的には、ユーザａ（父親），３０ｂに対して、ユーザａ（子供），３０ａがユーザｃ（母親），３０ｃに写真投稿を注意されて落ち込んでいることを報告するアクションを実行アクションとして決定する。
　　（ステップＳ２７７）
　次に、ステップＳ２７７において、ユーザ端末ｂ，３１ｂは、ステップＳ２７７で決定した実行アクションを実行する。
　すなわち、ユーザｂ（父親），３０ｂに対して、
　「子供が母親に怒られて落ち込んでいます。母親に気づかれないように慰めてあげましょう」
　このようなアドバイスを実行する。
　　（ステップＳ２７８）
　次に、ステップＳ２７８において、ユーザｂ（父親），３０ｂが、ユーザａ（子供），３０ａに対して、直接、口頭で慰める。
　例えば、「どうしたの母親に内緒で一緒にゲームしようか」このような言葉をユーザａ（子供），３０ａに投げかける。
　これらの処理を行うことで、ユーザａ（子供），３０ａとユーザｂ（父親），３０ｂ、およびユーザｃ（母親），３０ｃの相互理解が深まり、良好な関係が構築される。
　　（５－５．（処理例５）相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ａ）
　次に、（処理例５）として、相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ａについて説明する。
　図２５は、この（処理例５）を示すシーケンス図であり、ユーザａ（男性），３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ（女性），３０ｂが利用するユーザ端末ｂ，３１ｂ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ（男性），３０ａとユーザｂ（女性），３０ｂは、各ユーザのユーザ端末ａ，ｂ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図２５に示す処理ステップ（ステップＳ３０１～）について順次、説明する。
　　（ステップＳ３０１～Ｓ３０２）
　ステップＳ３０１～Ｓ３０２は、ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂが相互に各々のユーザ行動データを送受信し、それぞれの端末に記録する処理である。
　ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂ各々には、ユーザａ，ｂの行動データが記録される。
　　（ステップＳ３０３）
　次に、ステップＳ３０３において、ユーザ端末ａ，３１ａが、ユーザａ（男性），３０ａが仕事のトラブルでかりかりしていることを示す行動データを取得する。
　　（ステップＳ３０４）
　次に、ステップＳ３０４において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂは、相互に通信を行い、各端末に格納されたユーザａ，ｂの行動データに基づいて、ユーザに対して実行するアクションを決定する。
　この処理は、先に図１２，図１３を参照して説明した処理に相当する。２つの端末ａ，ｂ間で、各端末に格納されたデータを利用して最適なアクションを決定する。
　ここでは、ユーザｂ（女性），３０ｂに対して、ユーザａ（男性），３０ａに対する接し方をアドバイスするというアクションを実行アクションとして決定する。
　　（ステップＳ３０５）
　次に、ステップＳ３０５において、ユーザ端末ｂ，３１ｂは、ステップＳ３０４で決定した実行アクションを実行する。
　具体的には、ユーザｂ（女性），３０ｂに対して、
　「ユーザａは仕事のトラブルでかりかりしています。今日はマイルドに接したほうがよさそうです」
　このようなアドバイスを実行する。
　これらの処理を行うことで、ユーザａ（男性），３０ａとユーザｂ（女性），３０ｂの相互理解が深まり、良好な関係が構築される。
　　（５－６．（処理例６）相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ｂ）
　次に、（処理例６）として、相互に行動データを送受信する２つのユーザ端末間で決定するアクションをユーザに対する最適アドバイスとした処理例ｂについて説明する。
　図２６～図２７は、この（処理例６）を示すシーケンス図であり、ユーザａ（男性），３０ａが利用するユーザ端末ａ，３１ａと、ユーザｂ（女性），３０ｂが利用するユーザ端末ｂ，３１ｂ間で実行する処理を説明するシーケンス図である。
　なお、ユーザａ（男性），３０ａとユーザｂ（女性），３０ｂは、各ユーザのユーザ端末ａ，ｂ間で相互に各々の行動データを送受信することを許可している。
　すなわち、先に図１７を参照して説明した管理サーバ５０が保持する「行動データ送受信端末管理データ」に送受信許可端末として登録済みであるものとする。
　以下、図２５に示す処理ステップ（ステップＳ３０１～）について順次、説明する。
　　（ステップＳ３２１～Ｓ３２２）
　ステップＳ３２１～Ｓ３２２は、ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂが相互に各々のユーザ行動データを送受信し、それぞれの端末に記録する処理である。
　ユーザ端末ａ，３１ａと、ユーザ端末ｂ，３１ｂ各々には、ユーザａ，ｂの行動データが記録される。
　　（ステップＳ３２３ａ，Ｓ３２３ｂ）
　次に、ステップＳ３２３において、ユーザ端末ａ，３１ａが、ユーザａ（男性）が
仕事もプライベートもうまくいかず、変化を求めている状態を示す行動データを取得する。
　一方、ユーザ端末ｂ，３１ｂは、ユーザｂ（女性）がユーザａと付き合いたいけど告白できない状態であることを示す行動データを取得する。
　　（ステップＳ３２４）
　次に、ステップＳ３２４において、ユーザ端末ａ，３１ａとユーザ端末ｂ，３１ｂは、相互に通信を行い、各端末に格納されたユーザａ，ｂの行動データに基づいて、ユーザに対して実行するアクションを決定する。
　この処理は、先に図１２，図１３を参照して説明した処理に相当する。２つの端末ａ，ｂ間で、各端末に格納されたデータを利用して最適なアクションを決定する。
　ここでは、ユーザｂ（女性），３０ｂに対して、ユーザａ（男性），３０ａに対して行動すべきであることをアドバイスするというアクションを実行アクションとして決定する。
　　（ステップＳ３２５）
　次に、ステップＳ３２５において、ユーザ端末ｂ，３１ｂは、ステップＳ３２４で決定した実行アクションを実行する。
　具体的には、ユーザｂ（女性），３０ｂに対して、
　「ユーザａは変化を求めています。行動を起こすなら今が絶好のタイミングです」
　このようなアドバイスを実行する。
　　（ステップＳ３２６）
　次に、ステップＳ３２６において、ユーザｂ（女性），３０ｂは、ユーザ端末ｂ，３１ｂからのフドバイスに従って、ユーザａ（男性），３０ａに対して告白する。
　これらの処理を行うことで、ユーザａ（男性），３０ａとユーザｂ（女性），３０ｂの相互理解が深まり、良好な関係が構築される。
　このように、本開示の情報処理装置（ユーザ端末）は、装置が実行すべき役割（マシン役割）の決定処理や、実行アクションの決定処理を、自端末に格納されたデータや他の端末からに格納されたデータを考慮して実行する。
　これらの処理を行うことで、複数のユーザ間の関係を良好に維持することが可能となる。
　　［６．ユーザ端末、およびサーバのハードウェア構成例について］
　次に、例えば図７を参照して説明した構成を有するスマホ等のユーザ端末１００や、管理サーバ５０のハードウェア構成例について説明する。
　図２８は、本開示の情報処理装置であるユーザ端末１００や、管理サーバ５０のハードウェア構成の一例を示す図である。
　以下、図２８に示すハードウェア構成について説明する。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得部と、
　前記ユーザに対して実行するアクションを決定する実行アクション決定部と、
　前記実行アクション決定部が決定したアクションを実行するアクション実行部を有し、
　前記実行アクション決定部は、
　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定する情報処理装置。
　（２）　前記ユーザ行動データ取得部は、
　前記情報処理装置のセンサが取得する画像、または音声、または前記情報処理装置に対するユーザ操作情報の少なくともいずれかを入力して、前記ユーザの行動を解析してユーザ行動データを取得する（１）に記載の情報処理装置。
　（３）　前記情報処理装置は、さらに、
　前記外部端末からの取得情報を利用して前記ユーザと前記外部端末利用ユーザの関係を示すユーザ関係データを取得するユーザ関係データ取得部を有し、
　前記実行アクション決定部は、
　前記ユーザ関係データ取得部が取得した前記ユーザ関係データを利用して実行アクションを決定する（１）または（２）に記載の情報処理装置。
　（４）　前記ユーザ関係データ取得部は、
　前記情報処理装置のセンサが取得する画像、または音声、または前記情報処理装置に対するユーザ操作情報、および前記外部端末からの取得情報を解析し、前記ユーザと前記外部端末利用ユーザの関係を示すユーザ関係データを生成する（３）に記載の情報処理装置。
　（５）　前記ユーザ関係データ取得部は、
　前記外部端末に格納された前記外部端末利用ユーザの行動データを取得し、
　前記実行アクション決定部は、
　前記ユーザ関係データ取得部が取得した前記外部端末利用ユーザの行動データを利用して実行アクションを決定する（３）または（４）に記載の情報処理装置。
　（６）　前記ユーザ関係データ取得部は、
　ユーザ行動データの取得が許可された外部端末に格納された外部端末利用ユーザの行動データを取得する（３）～（５）いずれかに記載の情報処理装置。
　（７）　外部端末からのユーザ行動データの取得許可情報は管理サーバに登録されており、
　前記情報処理装置による外部端末からのユーザ行動データの取得処理は、前記管理サーバの制御の下で実行する構成である（３）～（６）いずれかに記載の情報処理装置。
　（８）　前記実行アクション決定部は、
　前記情報処理装置のセンサが取得する外部情報を利用して実行アクションを決定する（１）～（７）いずれかに記載の情報処理装置。
　（９）　前記センサは、カメラ、マイク、位置センサの少なくともいずれかのセンサを含む（８）に記載の情報処理装置。
　（１０）　前記実行アクション決定部は、
　前記ユーザに対して実行するアクションとして、ユーザに対して注意する、またはアドバイスを行う、または提案する、または報告する、これら少なくともいずれかのアクションを決定する（１）～（９）いずれかに記載の情報処理装置。
　（１１）　前記情報処理装置は、さらに、
　前記ユーザのキャラクタを解析するユーザキャラクタ解析部を有し、
　前記アクション実行部は、
　前記ユーザキャラクタ解析部が解析したユーザキャラクタに応じて制御されたアクションを実行する（１）～（１０）いずれかに記載の情報処理装置。
　（１２）　前記情報処理装置は、さらに、
　前記ユーザのキャラクタを解析するユーザキャラクタ解析部と、
　前記ユーザキャラクタ解析部が解析したユーザキャラクタに応じて、アクション実行主体であるマシンのキャラクタを決定するマシンキャラクタ決定部と、
　前記マシンキャラクタ決定部が決定したマシンキャラクタに応じてアクションの実行態様を決定するアクション実行態様決定部を有し、
　前記アクション実行部は、
　前記実行アクション決定部が決定したアクションを、前記アクション実行態様決定部が決定したアクション実行態様で実行する（１）～（１１）いずれかに記載の情報処理装置。
　（１３）　前記マシンキャラクタ決定部は、
　異なる複数のユーザキャラクタ各々に対する相性の良いマシンキャラクタを対応付けたデータベースを参照して、マシンキャラクタを決定する（１２）に記載の情報処理装置。
　（１４）　前記情報処理装置は、さらに、
　アクション実行主体である前記マシンの役割を決定するマシン役割決定部を有し、
　前記マシン役割決定部は、
　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部機器から取得した外部機器利用ユーザの行動データに基づいて、前記マシンの役割を決定する処理を実行する（１）～（１３）いずれかに記載の情報処理装置。
　（１５）　前記マシン役割決定部は、
　ユーザにアドバイスする、またはユーザを慰める、またはユーザに報告する、またはユーザの悩みを聞く、これら少なくともいずれかのマシン役割を決定する（１４）に記載の情報処理装置。
　（１６）　前記アクション実行部は、
　スピーカからの音声出力、または表示部へのテキストまたは画像出力、または、外部機器の制御の少なくともいずれかのアクションを実行する（１）～（１４）いずれかに記載の情報処理装置。
　（１７）　ネットワークを介して通信を行う複数の通信端末を有する情報処理システムであり、
　前記複数の通信端末各々が、
　前記複数の通信端末を利用する複数ユーザの行動データを解析し、
　前記複数の通信端末を利用する各ユーザに対して実行するアクションを決定して実行する情報処理システム。
　（１８）　情報処理装置において実行する情報処理方法であり、
　ユーザ行動データ取得部が、前記情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得ステップと、
　実行アクション決定部が、前記ユーザに対して実行するアクションを決定する実行アクション決定ステップと、
　アクション実行部が、前記実行アクション決定部が決定したアクションを実行するアクション実行ステップを実行し、
　前記実行アクション決定ステップは、
　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定するステップである情報処理方法。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、複数のユーザ端末各々の利用者の行動データを総合的に考慮して各ユーザに対して最適なアドバイス等のアクションを決定して実行する装置、方法が実現される。
　具体的には、例えば、スマホ等のユーザ端末を利用するユーザの行動データを取得するユーザ行動データ取得部と、ユーザに対して実行するアクションを決定する実行アクション決定部と、実行アクション決定部が決定したアクションを実行するアクション実行部を有する。実行アクション決定部は、ユーザ行動データ取得部が取得したユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行すべき最適なアクションを決定して実行する。
　本構成により、複数のユーザ端末各々の利用者の行動データを総合的に考慮して各ユーザに対して最適なアドバイス等のアクションを決定して実行する装置、方法が実現される。
　　１０　子供
　　１２　子供端末
　　２０　父親
　　２２　父親端末
　１００　ユーザ端末
　１０１　通信部
　１０２　センサ群
　１１０　データ取得部
　１１１　外部データ取得部
　１１２　ユーザ行動データ取得部
　１１３　ユーザ関係データ取得部
　１２０　データ格納部
　１２１　外部データ格納部
　１２２　ユーザ行動データ格納部
　１２３　ユーザ関係データ格納部
　１３０　データ解析部
　１３１　ユーザキャラクタ解析部
　１３２　マシンキャラクタ解析部
　１３３　マシン役割決定部
　１４０　アクション制御部
　１４１　実行アクション決定部
　１４２　アクション実行態様（ティスト）決定部
　１５０　アクション実行部
　１６０　ユーザ反応解析部
　１７０　ユーザ／マシンキャラクタ・マッチングデータベース
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (18)

  1. 　情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得部と、
    　前記ユーザに対して実行するアクションを決定する実行アクション決定部と、
    　前記実行アクション決定部が決定したアクションを実行するアクション実行部を有し、
    　前記実行アクション決定部は、
    　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定する情報処理装置。
  2. 　前記ユーザ行動データ取得部は、
    　前記情報処理装置のセンサが取得する画像、または音声、または前記情報処理装置に対するユーザ操作情報の少なくともいずれかを入力して、前記ユーザの行動を解析してユーザ行動データを取得する請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、さらに、
    　前記外部端末からの取得情報を利用して前記ユーザと前記外部端末利用ユーザの関係を示すユーザ関係データを取得するユーザ関係データ取得部を有し、
    　前記実行アクション決定部は、
    　前記ユーザ関係データ取得部が取得した前記ユーザ関係データを利用して実行アクションを決定する請求項１に記載の情報処理装置。
  4. 　前記ユーザ関係データ取得部は、
    　前記情報処理装置のセンサが取得する画像、または音声、または前記情報処理装置に対するユーザ操作情報、および前記外部端末からの取得情報を解析し、前記ユーザと前記外部端末利用ユーザの関係を示すユーザ関係データを生成する請求項３に記載の情報処理装置。
  5. 　前記ユーザ関係データ取得部は、
    　前記外部端末に格納された前記外部端末利用ユーザの行動データを取得し、
    　前記実行アクション決定部は、
    　前記ユーザ関係データ取得部が取得した前記外部端末利用ユーザの行動データを利用して実行アクションを決定する請求項３に記載の情報処理装置。
  6. 　前記ユーザ関係データ取得部は、
    　ユーザ行動データの取得が許可された外部端末に格納された外部端末利用ユーザの行動データを取得する請求項３に記載の情報処理装置。
  7. 　外部端末からのユーザ行動データの取得許可情報は管理サーバに登録されており、
    　前記情報処理装置による外部端末からのユーザ行動データの取得処理は、前記管理サーバの制御の下で実行する構成である請求項３に記載の情報処理装置。
  8. 　前記実行アクション決定部は、
    　前記情報処理装置のセンサが取得する外部情報を利用して実行アクションを決定する請求項１に記載の情報処理装置。
  9. 　前記センサは、カメラ、マイク、位置センサの少なくともいずれかのセンサを含む請求項８に記載の情報処理装置。
  10. 　前記実行アクション決定部は、
    　前記ユーザに対して実行するアクションとして、ユーザに対して注意する、またはアドバイスを行う、または提案する、または報告する、これら少なくともいずれかのアクションを決定する請求項１に記載の情報処理装置。
  11. 　前記情報処理装置は、さらに、
    　前記ユーザのキャラクタを解析するユーザキャラクタ解析部を有し、
    　前記アクション実行部は、
    　前記ユーザキャラクタ解析部が解析したユーザキャラクタに応じて制御されたアクションを実行する請求項１に記載の情報処理装置。
  12. 　前記情報処理装置は、さらに、
    　前記ユーザのキャラクタを解析するユーザキャラクタ解析部と、
    　前記ユーザキャラクタ解析部が解析したユーザキャラクタに応じて、アクション実行主体であるマシンのキャラクタを決定するマシンキャラクタ決定部と、
    　前記マシンキャラクタ決定部が決定したマシンキャラクタに応じてアクションの実行態様を決定するアクション実行態様決定部を有し、
    　前記アクション実行部は、
    　前記実行アクション決定部が決定したアクションを、前記アクション実行態様決定部が決定したアクション実行態様で実行する請求項１に記載の情報処理装置。
  13. 　前記マシンキャラクタ決定部は、
    　異なる複数のユーザキャラクタ各々に対する相性の良いマシンキャラクタを対応付けたデータベースを参照して、マシンキャラクタを決定する請求項１２に記載の情報処理装置。
  14. 　前記情報処理装置は、さらに、
    　アクション実行主体である前記マシンの役割を決定するマシン役割決定部を有し、
    　前記マシン役割決定部は、
    　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部機器から取得した外部機器利用ユーザの行動データに基づいて、前記マシンの役割を決定する処理を実行する請求項１に記載の情報処理装置。
  15. 　前記マシン役割決定部は、
    　ユーザにアドバイスする、またはユーザを慰める、またはユーザに報告する、またはユーザの悩みを聞く、これら少なくともいずれかのマシン役割を決定する請求項１４に記載の情報処理装置。
  16. 　前記アクション実行部は、
    　スピーカからの音声出力、または表示部へのテキストまたは画像出力、または、外部機器の制御の少なくともいずれかのアクションを実行する請求項１に記載の情報処理装置。
  17. 　ネットワークを介して通信を行う複数の通信端末を有する情報処理システムであり、
    　前記複数の通信端末各々が、
    　前記複数の通信端末を利用する複数ユーザの行動データを解析し、
    　前記複数の通信端末を利用する各ユーザに対して実行するアクションを決定して実行する情報処理システム。
  18. 　情報処理装置において実行する情報処理方法であり、
    　ユーザ行動データ取得部が、前記情報処理装置を利用するユーザの行動データを取得するユーザ行動データ取得ステップと、
    　実行アクション決定部が、前記ユーザに対して実行するアクションを決定する実行アクション決定ステップと、
    　アクション実行部が、前記実行アクション決定部が決定したアクションを実行するアクション実行ステップを実行し、
    　前記実行アクション決定ステップは、
    　前記ユーザ行動データ取得部が取得した前記ユーザのユーザ行動データと、外部端末から取得した外部端末利用ユーザの行動データに基づいて実行アクションを決定するステップである情報処理方法。
PCT/JP2024/006064 2023-03-14 2024-02-20 情報処理装置、および情報処理システム、並びに情報処理方法 Ceased WO2024190324A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP24770437.2A EP4682811A4 (en) 2023-03-14 2024-02-20 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
JP2025506634A JPWO2024190324A1 (ja) 2023-03-14 2024-02-20
CN202480017036.2A CN120858370A (zh) 2023-03-14 2024-02-20 信息处理装置、信息处理系统以及信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023039317 2023-03-14
JP2023-039317 2023-03-14

Publications (1)

Publication Number Publication Date
WO2024190324A1 true WO2024190324A1 (ja) 2024-09-19

Family

ID=92755451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/006064 Ceased WO2024190324A1 (ja) 2023-03-14 2024-02-20 情報処理装置、および情報処理システム、並びに情報処理方法

Country Status (4)

Country Link
EP (1) EP4682811A4 (ja)
JP (1) JPWO2024190324A1 (ja)
CN (1) CN120858370A (ja)
WO (1) WO2024190324A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002177640A (ja) * 2000-12-13 2002-06-25 Nintendo Co Ltd 対戦ゲーム機およびシステム
JP2008077311A (ja) * 2006-09-20 2008-04-03 Sony Ericsson Mobilecommunications Japan Inc 行動案内装置、行動予定処理方法、行動案内システム、及び行動予定処理プログラム
WO2017018015A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 通信装置、情報処理システム、記録媒体、および情報処理方法
WO2019049491A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 情報処理装置および情報処理方法
WO2020022294A1 (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
JP2021192131A (ja) 2018-08-30 2021-12-16 ソニーグループ株式会社 情報処理装置、および情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165785A1 (en) * 2004-01-23 2005-07-28 Ibm Corporation Social network surfing
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
CN113436622A (zh) * 2020-03-04 2021-09-24 腾讯科技（深圳）有限公司 一种智能语音助手的处理方法及装置
US20220036251A1 (en) * 2020-07-30 2022-02-03 Intuition Robotics, Ltd Compiling a customized persuasive action for presenting a recommendation for a user of an input/output device
US20220301250A1 (en) * 2021-03-17 2022-09-22 DMLab. CO., LTD Avatar-based interaction service method and apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002177640A (ja) * 2000-12-13 2002-06-25 Nintendo Co Ltd 対戦ゲーム機およびシステム
JP2008077311A (ja) * 2006-09-20 2008-04-03 Sony Ericsson Mobilecommunications Japan Inc 行動案内装置、行動予定処理方法、行動案内システム、及び行動予定処理プログラム
WO2017018015A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 通信装置、情報処理システム、記録媒体、および情報処理方法
WO2019049491A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 情報処理装置および情報処理方法
WO2020022294A1 (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
JP2021192131A (ja) 2018-08-30 2021-12-16 ソニーグループ株式会社 情報処理装置、および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4682811A1

Also Published As

Publication number Publication date
CN120858370A (zh) 2025-10-28
EP4682811A1 (en) 2026-01-21
EP4682811A4 (en) 2026-02-18
JPWO2024190324A1 (ja) 2024-09-19

Similar Documents

Publication Publication Date Title
JP7216751B2 (ja) デバイス間ハンドオフ
US11658906B2 (en) Observation platform query response
EP4027614A1 (en) Automated messaging reply-to
CN112152903B (zh) 通过即时通信应用进行的信息提供方法及系统
US20170277993A1 (en) Virtual assistant escalation
EP3468227B1 (en) A system with a computing program and a server for hearing device service requests
JP7292780B2 (ja) 認知システムのためのコミュニケーション・モデル
CN113067952B (zh) 用于多台机器人的人机协同无感控制方法和装置
JP2019159880A (ja) 応答装置、応答方法、応答プログラム及び応答システム
WO2021176795A1 (ja) マッチングシステム、マッチング方法およびマッチングプログラム
CN118760414A (zh) 音效调节方法、车辆、电子设备和存储介质
JP2023109464A (ja) 面談支援装置、面談支援方法及びコンピュータプログラム
JP2021026261A (ja) 情報処理システム、方法およびプログラム
CN114821815B (zh) 一种宠物在线交互系统运行方法、装置、设备及介质
WO2024190324A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
CN120030118A (zh) 交互陪伴方法、装置、电子设备及存储介质
JP7290977B2 (ja) プログラム及び情報処理装置
WO2021075288A1 (ja) 情報処理装置、情報処理方法
JP2024068624A (ja) 情報処理装置、情報入力支援システム、情報入力支援方法、及びプログラム
JP7256325B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7658151B2 (ja) 会議管理装置、方法、プログラムおよび会議管理システム
US11936718B2 (en) Information processing device and information processing method
JP7307576B2 (ja) プログラム及び情報処理装置
CN118101742A (zh) 服务流转方法及相关产品
US20260075143A1 (en) Systems and methods for providing a virtual communication center

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24770437

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025506634

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025506634

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202480017036.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2024770437

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202480017036.2

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2024770437

Country of ref document: EP

Effective date: 20251014

ENP Entry into the national phase

Ref document number: 2024770437

Country of ref document: EP

Effective date: 20251014

ENP Entry into the national phase

Ref document number: 2024770437

Country of ref document: EP

Effective date: 20251014

ENP Entry into the national phase

Ref document number: 2024770437

Country of ref document: EP

Effective date: 20251014

ENP Entry into the national phase

Ref document number: 2024770437

Country of ref document: EP

Effective date: 20251014

WWP Wipo information: published in national office

Ref document number: 2024770437

Country of ref document: EP