WO2016072117A1 - 情報処理装置、制御方法、および記憶媒体 - Google Patents

情報処理装置、制御方法、および記憶媒体 Download PDF

Info

Publication number
WO2016072117A1
WO2016072117A1 PCT/JP2015/072053 JP2015072053W WO2016072117A1 WO 2016072117 A1 WO2016072117 A1 WO 2016072117A1 JP 2015072053 W JP2015072053 W JP 2015072053W WO 2016072117 A1 WO2016072117 A1 WO 2016072117A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
interaction
sensitivity value
unit
sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/072053
Other languages
English (en)
French (fr)
Inventor
末吉　隆彦
敦 塩野崎
宏 岩波
井原　圭吾
宮島　靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202210044035.XA priority Critical patent/CN114461062A/zh
Priority to CN201580059299.0A priority patent/CN107111359B/zh
Priority to JP2016557469A priority patent/JP6561996B2/ja
Priority to US15/522,834 priority patent/US11010726B2/en
Priority to EP15856779.2A priority patent/EP3217349A4/en
Publication of WO2016072117A1 publication Critical patent/WO2016072117A1/ja
Anticipated expiration legal-status Critical
Priority to US17/226,626 priority patent/US11640589B2/en
Priority to US18/174,392 priority patent/US20230230053A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Qualifying participants for shopping transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values

Definitions

  • the present disclosure relates to an information processing device, a control method, and a storage medium.
  • Patent Document 1 discloses a technique for obtaining an emotion parameter indicating the degree of emotion based on biological information such as heart rate and blood pressure, and converting it into a one-dimensional emotion currency.
  • the value of a product can have individual value even if it is the same product as well as the function and design of the product.
  • the present disclosure proposes an information processing apparatus, a control method, and a storage medium that can quantify the sensibility value of an object based on the interaction between objects.
  • the detection unit that detects information related to the interaction between the first object and the second object, the sensitivity value of the first object, and
  • An information processing system comprising: a generation unit capable of generating a sensitivity value of each of the second objects.
  • a control method includes the ability to generate a sensitivity value for each second object.
  • the computer is configured to detect the information related to the interaction between the first object and the second object, and to detect the information on the first object based on the information related to the interaction.
  • a storage medium storing a program for functioning as a generation unit capable of generating a sensitivity value and a sensitivity value of the second object is proposed.
  • FIG. 5th application example It is a figure which shows the data example which extracted the data used for the sensitivity value calculation from the data example of the interaction evaluation value shown in FIG. It is a figure explaining the whole structure of the realistic sensation reproduction system by the 5th application example. It is a block diagram which shows an example of a structure of the reproduction information generation apparatus by the 5th application example. It is a flowchart which shows the reproduction information generation process by the 5th application example. It is a figure explaining the object recognition by the 5th application example. It is a figure which shows the example of data of interaction evaluation by a 5th application example. It is a figure which shows the data example which extracted the data used for Kansei value calculation from the data example of interaction evaluation shown in FIG.
  • FIG. 1 An overview of Information Processing System According to an embodiment of the present disclosure will be described with reference to FIG.
  • all persons and things are defined as objects, and each object (Obj.A to Obj.D) has an interaction (interaction) between objects.
  • a sensing device 1 (10A to 10D) for detection is provided.
  • a person Obj.A is equipped with a sensing device 1A realized by a wearable device such as a watch-type device.
  • the house Obj.B is provided with a sensing device 1B capable of detecting opening / closing of a door, entry / exit of a person, repair of a house, and the like.
  • the vehicle Obj.C is provided with a sensing device 1C that can detect the travel distance, the number of times of use, the politeness of driving, the car wash, and the like.
  • the camera Obj.D is provided with a sensing device 1D capable of detecting the usage time, storage state, subject type, water wetting, impact, number of maintenances, and the like.
  • the interaction detected by the sensing device 1 is transmitted to the sensitivity server 2 via the network 3.
  • each interaction performed by a person Obj.A with respect to a house Obj.B, a car Obj.C, and a camera Obj.D (opening / closing, repairing, driving, storage, etc.) is performed on the sensing devices 1A to 10D.
  • each of the person-side sensing device 1A and the house-side sensing device 1B performs the respective interaction (interaction performed to another object, other object). Interaction) is detected.
  • the detected interaction is not limited to an interaction between a person and an object, and an interaction between an object and an object can also be detected.
  • the sensitivity server 2 accumulates the interaction received from the sensing device 1 and analyzes it to calculate the sensitivity value of each object.
  • the sensitivity value calculated by the sensitivity server 2 is used in various services. Since the necessary sensitivity values may differ depending on the nature of the service, the sensitivity server 2 sends an evaluation value obtained by quantifying the evaluation of each interaction to each service, and the service side performs an interaction evaluation by a predetermined calculation method. The sensitivity value may be calculated based on the value.
  • a sensitivity value that is a new index obtained by quantifying the value of each object based on the interaction between objects is obtained. Can be provided. The usefulness of such sensitivity values will be described below as the background of the present disclosure.
  • the “sensibility value” of people / things can be defined as correlating with the history of every interaction, regardless of whether people / things (including services) are distinguished.
  • This embodiment proposes a sensitivity value obtained by quantifying a pseudo “sensitivity value” of a person / thing from the above viewpoint.
  • Kansei values are expressed as multi-dimensional vectors, so it is possible to use the vectors by dropping the dimensions or making them simple scalar values so that they can be handled easily, and optimizing them for each service or product.
  • Sensitivity value is an indicator of a new value economy, and is expected to become an economic concept that is paired with money in the future. Therefore, Kansei values are stored (accumulated), exchange media (functions that mediate the exchange of goods A and goods B), and a measure of the value of people and goods (all goods and services are given sensitivity values, The value is expected to be determined by money and sensitivity.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the sensing device 1 according to the present embodiment. As shown in FIG. 2, the sensing device 1 includes a sensor 11, an interaction extraction unit 12, and a communication unit 13.
  • the sensor 11 has a function of detecting an interaction between objects.
  • the sensor 11 includes, for example, a humidity sensor, a temperature sensor, a vibration sensor, an infrared sensor, a camera, a tactile sensor, a gyro sensor, an illuminance sensor, a human sensor, an atmospheric sensor (for example, a dust sensor, a contaminant sensor), a speed sensor, and a count value.
  • a humidity sensor for example, a humidity sensor, a temperature sensor, a vibration sensor, an infrared sensor, a camera, a tactile sensor, a gyro sensor, an illuminance sensor, a human sensor, an atmospheric sensor (for example, a dust sensor, a contaminant sensor), a speed sensor, and a count value.
  • the interaction extraction unit 12 functions as a detection unit that detects information related to the interaction between the first object and the second object based on the sensing data output from the sensor 11. For example, the interaction extraction unit 12 can extract interactions such as the number of times of opening / closing the door, the impact / strength at the time of opening / closing, and the entry / exit of a person based on sensing data of a sensor that detects opening / closing of the door.
  • the interaction extraction unit 12 uses the sensing data of the sensor to detect that the target object is disassembled, reset processing is performed, failure symptoms are improved (no error), parts are replaced, and the like. Based on this, it is possible to extract an interaction such as repair / maintenance of the target object.
  • the interaction extraction unit 12 detects a distance measurement value, an engine frequency measurement value, a tire replacement frequency, a brake timing, dirt, position information, a fuel addition frequency, and the like. Based on the sensing data, it is possible to extract interactions such as the travel distance, the number of uses, the politeness of driving, the car wash, and the like of the target object.
  • the interaction extraction unit 12 uses the sensing data of a sensor that detects activation time, activation timing, mounting state, ambient air, humidity, temperature, water wetting, impact, etc. Interactions such as storage status can be extracted.
  • the communication unit 13 transmits information related to the interaction extracted by the interaction extraction unit 12 to the sensitivity server 2 via the network 3.
  • the sensing device 1 described above includes a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a nonvolatile memory. Control.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • FIG. 3 is a block diagram showing an example of the configuration of the sensitivity server 2 according to the present embodiment.
  • the sensitivity server 2 includes a communication unit 21, a control unit 20, an object DB 22, and a sensitivity information DB 24.
  • the communication unit 21 receives information related to interaction (hereinafter also referred to as interaction information) from the sensing device 1 mounted / mounted on each object (person, thing) via the network. Further, the communication unit 21 transmits the interaction value stored in the sensitivity information DB 24 or the sensitivity value calculated by the sensitivity value calculation unit 20e in response to a request from the external device.
  • interaction information information related to interaction
  • the communication unit 21 transmits the interaction value stored in the sensitivity information DB 24 or the sensitivity value calculated by the sensitivity value calculation unit 20e in response to a request from the external device.
  • the control unit 20 controls each component of the sensitivity server 2.
  • the control unit 20 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory. Furthermore, the control unit 20 according to the present embodiment functions as an interaction storage control unit 20a, an evaluation unit 20b, an object management unit 20c, a related object search unit 20d, and a sensitivity value calculation unit 20e.
  • the interaction storage control unit 20a controls to store the interaction information received from the sensing device 1 mounted / mounted on the object in the sensitivity information DB 24.
  • the evaluation unit 20b evaluates the interaction stored in the sensitivity information DB 24.
  • the interaction evaluation method is not particularly limited, for example, the evaluation unit 20b calculates and evaluates based on a criterion defined by some evaluation index for the object that has interacted / received, and specifically, ⁇ 1.0 to 1.0. Give a score of.
  • the evaluation result is stored in the sensitivity information DB 24 in association with the interaction.
  • the object management unit 20c performs management such as registration, change, and deletion of information related to objects stored in the object DB 22.
  • the related object search unit 20d searches the object DB 22 and the sensitivity information DB 24 as related objects for other objects that have interacted with the object ID requested from the external device.
  • the sensitivity value calculation unit 20e calculates the sensitivity value of the object based on the evaluation value of the interaction information stored in the sensitivity information DB 24. A specific method for calculating the sensitivity value will be described later.
  • the object DB (database) 22 is a storage unit that stores an object ID of each object.
  • the object DB 22 stores various information related to the object such as a product name, a product type, a manufacturer name (or manufacturer ID), a model number, and a manufacturing date and time.
  • the sensibility information DB 24 is a storage unit that stores interaction between objects and evaluation of the interaction.
  • FIG. 4 is a sequence diagram showing operation processing of the information processing system 100 according to the present embodiment.
  • step S103 the interaction extraction unit of the sensing device 1A 12 acquires the interaction, and transmits the acquired interaction to the sensibility server 2 by the communication unit 13 in the subsequent step S106.
  • step S109 the interaction extraction unit 12 of the sensing device 1B acquires the interaction, and in the subsequent step S112, the acquired interaction is transmitted to the sensitivity server 2 by the communication unit 13.
  • the interaction is acquired by both objects and transmitted to the Kansei server 2.
  • step S115 the interaction storage control unit 20a of the sensitivity server 2 stores the interaction transmitted from each sensing device 1 in the sensitivity information DB 24, and in the subsequent step S118, the evaluation unit 20b performs the interaction evaluation.
  • the interaction evaluation by the evaluation unit 20b is also stored in the sensitivity information DB 24 in association with the interaction.
  • step S121 the sensitivity value calculation unit 20e of the sensitivity server 2 calculates the sensitivity value of the object based on the interaction evaluation as necessary.
  • the operation processing according to this embodiment has been described above.
  • the sensitivity value of the object calculated based on the interaction history collected by the sensitivity server 2 of this embodiment can be used in various services as a new index indicating the value of the object.
  • various service systems using sensitivity values according to the present embodiment will be described with reference to a plurality of application examples.
  • the sensitivity value of an individual is used as creditworthiness information. It is also possible to visualize the individual's creditworthiness on various scales by filtering according to specific conditions (time and object attributes) from the history of interaction with the object with which the individual has been involved. For example, in the past it was a bad person who hit the thing, but now it is a good person who handles things carefully, and personal computers are handled carefully but getting on the car makes the handling rough. Also appears in the sensitivity value.
  • FIG. 5 is a diagram for explaining the overall configuration of the personal credit information providing system 101 according to the first application example.
  • the personal credit information providing system 101 includes a personal credit information providing server 4 and a sensitivity server 2.
  • Sensitivity server 2 receives interaction information from user Obj.A, user Obj.A, who is a member of personal credit information provision system 101, and from house Obj.B, car Obj.C, and camera Obj.D, which the user is interacting with. get.
  • the user acquires the credit information of user Obj.A.
  • the user sends the personal credit information providing server 4 to the user Obj.A ID (that is, the object ID) and, if necessary, the period (for example, start time, end time) and related objects.
  • a search condition such as an attribute (for example, a product category or manufacturer name) is specified, and a request is made to display the credit information of the user Obj.A.
  • the personal credit information providing server 4 acquires a sensitivity value from the sensitivity server 2 based on the ID of the user Obj.A and a search condition (period, related object attribute, etc.) in response to a request from the user. At this time, the sensitivity values of the related objects (house Obj.B, car Obj.C, camera Obj.D) that have interacted with the user Obj.A can also be acquired.
  • the personal credit information providing server 4 provides the user Obj.A's creditworthiness information to the user based on the acquired sensitivity value.
  • search conditions such as a period and related object attributes are not specified
  • comprehensive credit information of user Obj.A is displayed.
  • the credit information of the user Obj.A for the designated period is displayed.
  • the related object attribute is designated, the creditworthiness information corresponding to the interaction with the object matching the designated object attribute among the objects related to the user Obj.A is displayed.
  • the sensitivity value may be displayed as the creditworthiness value as it is, or may be visualized by graphing or line charting.
  • the user may not be subscribed to the same personal credit information providing system 101 as the user Obj.A, and may acquire the credit information of the user Obj.A using, for example, a credit sales company.
  • the management server (not shown) of the credit sales company accesses the personal credit information providing server 4 of the personal credit information providing system 101 and acquires the credit information of the user Obj.A.
  • FIG. 6 is a block diagram showing an example of the configuration of the personal credit information providing server 4 according to this embodiment.
  • the personal credit information providing server 4 includes a control unit 40, a communication unit 41, and a product / user information DB (database) 42.
  • the communication unit 41 is connected to a user terminal (not shown) via a network and receives a request from the user or transmits credit information to the user in response to the request.
  • the communication unit 41 is connected to the sensitivity server 2 via a network, and acquires the sensitivity value of the target object and the sensitivity value of the related object.
  • the control unit 40 controls each configuration of the personal credit information providing server 4.
  • the control unit 40 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory. Furthermore, the control unit 40 according to the present embodiment functions as a related product search unit 40a, a sensitivity value request unit 40b, a result generation unit 40c, a display control unit 40d, and an object management unit 40e.
  • the related product search unit 40a searches the product / user information DB 42 for products related to the survey target person specified by the user.
  • the product related to the survey subject is, for example, a product associated with the survey subject in advance as a product owned by the survey subject.
  • the sensitivity value requesting unit 40b requests the sensitivity server 2 for the sensitivity value of the survey target person specified by the user. Specifically, the sensibility value requesting unit 40b specifies the object ID of the survey target person and the search condition (period, related object attribute, related object object ID, etc.) if there are search conditions, and the communication unit 41. To the sentiment server 2 via the search condition (period, related object attribute, related object object ID, etc.) if there are search conditions, and the communication unit 41. To the sentiment server 2 via
  • the result generation unit 40c generates a result of the creditworthiness survey of the survey target person based on the sensitivity value of the survey target person acquired from the sensitivity server 2 by the sensitivity value requesting unit 40b. Specifically, for example, the result generation unit 40c generates a result screen indicating the creditworthiness information of the survey target person.
  • the display control unit 40d controls to display the result screen generated by the result generation unit 40c on the requesting user terminal. For example, the display control unit 40d controls to transmit information for displaying the result screen to the user terminal via the communication unit 41.
  • the object management unit 40e performs management such as registration, change, and deletion of information related to a product / user (an example of an object) stored in the product / user information DB.
  • the product / user information DB 42 is a storage unit that stores information about products / users.
  • a user is a user who is registered as a member in the personal credit information providing system 101, for example.
  • the product / user information includes the object ID of each product / user.
  • the configuration of the personal credit information providing server 4 according to this application example has been described above. Since the configuration of the sensitivity server 2 included in the personal credit information providing system 101 has been described with reference to FIG. 3, the description thereof is omitted here.
  • FIG. 7 is a diagram showing a data example of the object DB 22 of the sensitivity server 2 according to the first application example.
  • the object DB 22 of the sensitivity server 2 stores an object ID for identifying each object, an object type, a manufacturer ID, a model number, a serial number, and a manufacturing date (object generation date) in association with each other. Yes.
  • FIG. 8 is a diagram illustrating a data example of the sensitivity information DB 24 of the sensitivity server 2 according to the first application example.
  • the sensitivity information DB 24 stores information related to the interaction that occurs between the objects. As described above, when an interaction occurs between objects, the interaction is detected in both objects.
  • a data string of interaction information generated in each object is generated for each object.
  • the partner object when the interaction occurs in the data string is referred to as a related object.
  • the sensitivity information DB 24 of the sensitivity server 2 is associated with the object ID of the object in which the interaction has occurred, the date / time of the interaction, the related object ID, the interaction type, the details of the interaction, and the interaction evaluation value. It is remembered.
  • the person with the object ID: 18000555 performs an interaction “driving” on the car with the object ID: 5505 on June 21, 2000, and The details are “access / brake operation: polite, handle operation: slow”, and the interaction evaluation value 1 is given.
  • an automobile with object ID: 5505 receives an interaction “driving” from a person with object ID: 18000555 on June 21, 2000, and the details of the interaction are “fuel consumption: good, brake consumption” : Small ”, and an interaction evaluation value of 1 is given. In this way, an interaction performed from one object to the other object can be detected on both the one object side and the other object side.
  • the interaction of driving is performed by the person sitting in the driver's seat. It is detected that the car has been driven.
  • care interaction includes, for example, recording of vibrations and voices detected by the sensor 11 provided in the house, images of cameras (an example of the sensor 11) provided in various parts of the house, and sensors worn by the user It can be detected that the landlord has cared for the house based on the operation analysis from 11 and based on the record reference to the registered remodeling company server.
  • FIG. 9 is a flowchart showing a credit ranking display process according to the first application example.
  • the range of the survey target person is designated by the user.
  • a request for a creditworthiness survey of the target person is made to the personal credit information providing server 4 from the user terminal.
  • the sensitivity value requesting unit 40b of the personal credit information providing server 4 requests the sensitivity value of the target person from the sensitivity server 2 based on the object ID of the target person.
  • the object ID of the target person may be specified by the user, or may be acquired from the product / user information DB 42. Alternatively, on the sensitivity server 2 side, the object ID of the target person may be acquired from the object DB 22 according to the name of the target person specified by the personal credit information providing server 4.
  • the sensitivity value calculation unit 20e of the sensitivity server 2 calculates the sensitivity value based on the interaction evaluation value associated with the object ID of the designated target person. For example, the sensitivity value calculation unit 20e calculates the total sensitivity value of the target person based on the sum of the interaction evaluation values between the target person and other objects. Alternatively, the sensibility value calculation unit 20e may calculate the total sensibility value of the target person based on the average value of the interaction evaluation values between the target person and other objects, or after performing weighting according to the age, Alternatively, the total sensitivity value may be calculated from the average value.
  • step S215 the result generation unit 40c of the personal credit information providing server 4 regards the sensitivity values as creditworthiness and sorts the target persons. , Generate credit rating ranking screen. At this time, the result generation unit 40c generates a ranking screen based on the total creditworthiness of the target person.
  • FIG. 10 shows an example of the credit rating ranking screen.
  • the survey subjects are displayed in the order based on the individual's total creditworthiness.
  • the ranking screen 45 includes, for example, target person information fields 46a, 46b, and 46c, and the target person information fields 46a, 46b, and 46c are arranged in descending order of creditworthiness.
  • Each of the target person information fields 46a, 46b, and 46c includes a name of the target person and a star display indicating a ranking according to the creditworthiness.
  • numerical values of creditworthiness that is, sensitivity values
  • the target person information fields 46a, 46b, and 46c numerical values of creditworthiness (that is, sensitivity values) that are the basis of ranking may be displayed.
  • the creditworthiness information for each object attribute of the target person ⁇ is displayed.
  • the display of creditworthiness information for each object attribute will be described later with reference to FIGS.
  • the name 462 of the target person included in the target person information column 46c is selected, the creditworthiness information for each age of the target person ⁇ is displayed.
  • the display of creditworthiness information for each age will be described later with reference to FIGS.
  • step S218, the display control unit 40d controls to display the result (ranking screen) generated by the result generation unit 40c on the requesting user terminal.
  • FIG. 11 is a flowchart showing the credit information display processing for each object attribute according to the first application example. As shown in FIG. 11, first, in step S223, the personal credit information providing server 4 requests a sensitivity value from the sensitivity server 2 based on the object ID of the subject.
  • the related object search unit 20d of the sensitivity server 2 acquires the object ID (related object ID) of the related product linked to the object ID of the target person.
  • the related product linked to the object ID of the target person indicates another object (also referred to as a related object) in which an interaction has occurred with the target person.
  • the related object search unit 20d based on the object attribute included in the search condition specified by the user, among the other objects that have interacted with the target person, the specified object attribute (that is, the object (Type) may be searched.
  • step S229 the sensitivity value calculation unit 20e of the sensitivity server 2 acquires the interaction evaluation value associated with the related object ID from the sensitivity information DB 24.
  • step S231 the sensitivity value calculation unit 20e calculates the sensitivity value of the related product based on the interaction evaluation value of the related product.
  • the sensitivity value calculated here is a relative sensitivity value between the target person and the related product.
  • an example of calculating the sensitivity value of the related product will be described with reference to FIG.
  • FIG. 12 is a diagram for explaining the calculation of the relative sensitivity value of the subject person with respect to the house according to the first application example.
  • the sensibility value calculation unit 20e based on the extracted interaction information, is obtained by dividing the initial evaluation value by the diameter and multiplying by a predetermined weighting factor, and each maintenance (care)
  • the relative sensibility values of the subject and the house are calculated by summing the evaluation values obtained by dividing the evaluation values by the maintenance intervals and multiplying them by a predetermined weighting factor.
  • the result generating unit 40c of the personal credit information providing server 4 is acquired from the Kansei server 2 by the Kansei value requesting unit 40b in Step S237.
  • the relative sensitivity value of the related product is regarded as creditworthiness, and a display screen of creditworthiness information for each object attribute is generated.
  • the display control unit 40d controls to display a display screen of the generated credit information for each object attribute on the requesting user terminal.
  • FIG. 13 shows an example of a display screen of creditworthiness information for each object attribute.
  • the credit information display screen 47 for each object attribute shown in FIG. 13 is a screen that changes when an arrow 461 included in the target person information column 46c of the ranking screen 45 shown in FIG. A relative sensitivity value based on an interaction evaluation value between ⁇ and another object is displayed as creditworthiness.
  • a creditworthiness information display screen 47b for the car attribute and a creditworthiness information display screen 47c for the camera attribute can be displayed.
  • the creditworthiness may be graphed or the like, and advice corresponding to the creditworthiness is also displayed. In this way, for example, when searching for a homestay, a room share, or a car sharing partner, in addition to the total creditworthiness of the other party, what is the creditworthiness (how to handle the goods) of what attributes individually You can know if it is.
  • FIG. 14 is a flowchart showing the credit age display process. As shown in FIG. 14, first, in step S243, the personal credit information providing server 4 requests a sensitivity value from the sensitivity server 2 based on the object ID of the subject.
  • step S246 the related object search unit 20d of the sensitivity server 2 acquires the object ID (related object ID) of the related product linked to the object ID of the target person.
  • the related product linked to the object ID of the target person indicates another object (also referred to as a related object) in which an interaction has occurred with the target person.
  • step S249 the sensitivity value calculation unit 20e divides the interaction from the subject for each related object ID by age, and acquires the evaluation value for each age of the subject.
  • the sensitivity value calculation unit 20e calculates sensitivity values for each age between the target person and related objects based on the evaluation value. At this time, the sensitivity value calculation unit 20e may acquire the evaluation value for each age based on the sum, average value, weighted sum / average value, etc. of the interaction evaluation values for each age.
  • step S254 the sensibility value calculation unit 20e adds the sensibility values of each age of the subject to obtain a total sensibility value.
  • step S260 the result generation unit 40c of the personal credit information providing server 4 is obtained from the sensitivity server 2 by the sensitivity value requesting unit 40b. Considering the sensibility value as creditworthiness, a display screen of creditworthiness information by age of the target person is generated. And the display control part 40d controls to display the display screen of the produced credit information of the target person according to age on the requesting user terminal.
  • FIG. 15 shows an example of a display screen of the creditworthiness information of each subject by age group.
  • the creditworthiness information display screen 48 shown on the left side of FIG. 15 is a screen that is transitioned when the name 462 of the target person included in the target person information field 46c of the ranking screen 45 shown in FIG. The current creditworthiness of ⁇ is displayed.
  • the chronological table display button 481 on the creditworthiness information display screen 48 is selected, the screen transitions to a creditworthiness information display screen 49 classified by age shown on the right side of FIG.
  • the creditworthiness (total creditworthiness by age) of all the objects of the subject for each age is displayed.
  • the creditworthiness information display screen 49 by age it is not limited to the creditworthiness with respect to all the goods for every age as shown in FIG. 15, You may display the creditworthiness according to the age for every object attribute.
  • the personal credit information providing system 101 has been described above.
  • the person's creditworthiness ranking is displayed.
  • this application example is not limited to this, and for example, a creditworthiness ranking in which people and goods are mixed may be displayed.
  • a creditworthiness ranking in which people and goods are mixed may be displayed.
  • searching for a helper destination if the survey target is designated as “helper”, people and things (robots) can be ranked together.
  • the sensitivity value according to the present embodiment can be used as a criterion for the reliability of the user (exhibitor) who has submitted.
  • the sensitivity value can be converted into a value called “sensitivity value” and used.
  • the reliability of the seller and the politeness of handling can be determined by referring to the sensitivity value based on the interaction evaluation value with the thing other than the exhibited item, You can determine whether you are always a messy person.
  • FIG. 16 is a diagram illustrating the overall configuration of the auction system 102 according to the second application example. As shown in FIG. 16, the auction system 102 includes an auction server 5 and a sensitivity server 2.
  • Sensitivity server 2 acquires interaction information from user Obj.A, user Obj.A, who is a member of auction system 102, house Obj.B, car Obj.C, and camera Obj.D, which the user is constantly interacting with.
  • the user Obj.A and the user shown in FIG. 16 register as members in the auction system 102, they are registered in association with their unique IDs. Further, when the user Obj.A puts a product on the auction system 102, the user Obj.A transmits an object ID unique to the product to the auction server 5.
  • the auction server 5 requests the sensitivity server 2 for the sensitivity value of the object based on the object ID of the exhibited object. At this time, the auction server 5 also requests the sensitivity server 2 for the sensitivity value of the user Obj.A who is the exhibitor of the object.
  • the object is a product having a specific model number or product name
  • information on other exhibited products having the same model number or product name is acquired from the product / user information DB 42 (see FIG. 6) of the auction server 5 and acquired.
  • a sensitivity value may be requested from the sensitivity server 2 based on the object ID of the product.
  • the acquisition of the sensibility value to the sensibility server 2 by the auction server 5 may be performed when a new product is exhibited, or when the user of the auction service considers the product to be purchased, This may be performed when a product is designated for the server 5.
  • the auction server 5 considers the sensitivity value as the creditworthiness of the product (eg, politeness, cherished, thoughtfulness, etc.) based on the acquired sensitivity value, and sorts it in the order of the sensitivity value. Products that have been handled carefully and products that have the user's feelings can be displayed at the top.
  • the sensitivity value as the creditworthiness of the product (eg, politeness, cherished, thoughtfulness, etc.) based on the acquired sensitivity value, and sorts it in the order of the sensitivity value. Products that have been handled carefully and products that have the user's feelings can be displayed at the top.
  • FIG. 17 is a block diagram showing an example of the configuration of the auction server 5 according to this embodiment.
  • the auction server 5 includes a control unit 50, a communication unit 51, and a product / user information DB 52.
  • the communication unit 51 is connected to a user terminal (not shown) via a network and receives a request from the user, or transmits an exhibition product or an exhibitor's sensitivity value to the user in response to the request. To do.
  • the communication unit 41 is connected to the sensitivity server 2 via a network, and acquires the sensitivity value of the target object and the sensitivity value of the related object.
  • the control unit 50 controls each component of the auction server 5. Further, the control unit 50 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory. Furthermore, the control unit 50 according to the present embodiment functions as a related product search unit 50a, a sensitivity value request unit 50b, a result generation unit 50c, a display control unit 50d, and an object management unit 50e.
  • the related product search unit 50a searches the product / user information DB 42 for products related to the survey target product.
  • the product related to the survey target product is, for example, a product having the same model number and name as the survey target product.
  • the sensitivity value request unit 50b requests the sensitivity server 2 for the sensitivity value of the product to be investigated. Specifically, the sensitivity value requesting unit 50b sends the object ID of the survey target product, the object ID of the related product when there is a related product, and the object ID of the exhibitor of the survey target product via the communication unit 51. It transmits to the sensitivity server 2.
  • the result generation unit 50c generates the result of the sensitivity value survey of the survey target product based on the sensitivity value of the survey target product acquired from the sensitivity server 2 by the sensitivity value request unit 50b. Specifically, for example, the result generation unit 50c generates a result screen indicating the sensitivity value of the survey target product.
  • the display control unit 50d controls to display the result screen generated by the result generation unit 50c on the user terminal. For example, the display control unit 50d controls to transmit information for displaying the result screen to the user terminal via the communication unit 41.
  • the object management unit 50e performs management such as registration, change, and deletion of information related to a product / user (an example of an object) stored in the product / user information DB.
  • the product / user information DB 52 is a storage unit that stores information about products / users.
  • the user is a user who is registered as a member in the auction system 102, for example.
  • the product / user information includes the object ID of each product / user.
  • FIG. 18 shows a data example of the exhibition product information stored in the product / user information DB 52.
  • an exhibition ID for identifying each exhibited product in the product / user information DB 52, an exhibition ID for identifying each exhibited product, a type ID, an object ID of the product, an object ID of the exhibitor, an exhibition date / time, an auction end date / time, a current price, and a bid list.
  • product descriptions are stored in association with each other.
  • the configuration of the auction server 5 according to this application example has been described above. Since the configuration of the sensitivity server 2 included in the auction system 102 has been described with reference to FIG. 3, description thereof is omitted here.
  • FIG. 19 is a diagram illustrating a data example of the sensitivity information DB 24 of the sensitivity server 2 according to the second application example.
  • the sensitivity information DB 24 stores information related to the interaction that occurs between the objects.
  • the object ID of the object in which the interaction has occurred, the date and time of the interaction, the related object ID, the interaction type, the details of the interaction, and the interaction evaluation value are stored in association with each other.
  • the interaction is extracted from both objects and evaluated by the evaluation unit 20b.
  • the interaction evaluation values extracted by both of these objects are the same value, but this application example is not limited to this, and may be different evaluation values.
  • an interaction “operation” performed by a user object ID: 1930213
  • a digital camera object ID: 384
  • the user who performed the operation takes care of the camera and carefully operates the camera.
  • a negative evaluation is performed such that the operation is forcibly performed or the camera is placed violently, and different evaluations may occur depending on the direction of interaction.
  • the details of the interaction such as driving politeness and roughness are analyzed based on sensing data detected by sensors mounted on an accelerator pedal, a brake pedal, and a steering wheel.
  • the evaluation value of the driving interaction is obtained so that the input values of the accelerator, the brake, and the steering wheel operation are included in the evaluation function and are in the range of -1.0 to 1.0.
  • the interaction of camera operations includes the force with which the camera's shutter button is pressed, the speed of turning the dials / number of times of overturning, the impact when placing the camera, and the impact received by the main body when it is in a bag etc. Is detected by a sensor.
  • the evaluation unit 20b weights each value based on sensing data detected by the sensor and calculates an evaluation value. Further, the evaluation unit 20b normalizes the calculated value in a range of ⁇ 1.0 to 1.0.
  • the storage interaction of the camera or the like is extracted by sensing the temperature, humidity, and dustiness (which can be detected by the dust sensor) of the storage location, and the evaluation unit 20b determines these values during the storage period. Based on the amount of change, the storage condition for the camera or the like is quantified. Further, the evaluation value may be calculated by weighting each parameter. The evaluation unit 20b normalizes the calculated value in a range of ⁇ 1.0 to 1.0.
  • FIG. 20 is a flowchart showing a list display process according to the sensitivity value of the exhibited product according to the second application example. As shown in FIG. 20, first, in step S303, the user designates an exhibition item to be investigated.
  • step S306 the sensitivity value request unit 50b of the auction server 5 searches the product / user information DB 52 for the product specified by the user.
  • the related product search unit 50a may also search for products (other exhibited products with the same model number or name) related to the searched product information.
  • step S309 the sensitivity value requesting unit 50b requests the sensitivity server 2 for the sensitivity value of the subject based on the object ID of each product.
  • step S312 the sensitivity value calculation unit 20e of the sensitivity server 2 calculates a sensitivity value based on the interaction evaluation value associated with the object ID of the designated product.
  • step S318 the result generation unit 50c of the auction server 5 sorts the products in order of the sensitivity values, and ranks the exhibited products according to the sensitivity values. Generate a screen. At this time, the result generation unit 40c generates a ranking screen based on the total sensitivity value (absolute sensitivity value) of the target product.
  • FIG. 21 shows an example of a list display screen corresponding to the sensitivity value of the exhibited product.
  • the survey target products are displayed in the order based on the total sensitivity value (absolute sensitivity value) of each product.
  • the survey target products include listed products (related products) having the same model number and name as the listed products in addition to the listed products designated by the user. Thus, the user can know the sensitivity values of the same type of listed products in addition to the designated listed product.
  • the list display screen 55 includes, for example, target product information columns 56a, 56b, and 56c, and the target product information columns 56a, 56b, and 56c are arranged in descending order of sensitivity values.
  • Each of the target product information fields 56a, 56b, and 56c includes an exhibitor name of the target product and a star display indicating ranking according to the sensitivity value.
  • sensitivity values that are the basis for ranking may be displayed.
  • step S321 the display control unit 50d controls to display the result (list display screen) generated by the result generation unit 50c on the requesting user terminal.
  • FIG. 22 is a flowchart showing a detailed information display process related to the sensitivity value of the exhibited product according to the second application example.
  • the personal credit information providing server 4 acquires the object ID of the exhibited product from the exhibited ID and requests the sensitivity server 2 for the sensitivity value of the exhibited product.
  • step S336 the sensibility value calculation unit 20e of the sensibility server 2 acquires the detailed contents (product type, manufacturer, date of manufacture, etc.) of the object corresponding to the object ID of the product from the object DB 22.
  • step S339 the sensitivity value calculation unit 20e filters all of the interaction evaluation values of the target product by filtering the product object ID from the sensitivity information DB 24 (see FIG. 23).
  • step S341 the sensitivity value calculation unit 20e classifies all the interaction evaluation values of the acquired target products for each related object ID.
  • the related object ID is an object that has interacted with the target product, and usually corresponds to the owner of the target product.
  • step S344 the sensitivity value calculation unit 20e selects one related object ID.
  • step S347 a relative sensitivity value between the selected related object ID and the target product is calculated. That is, the sensitivity value calculation unit 20e calculates an interaction evaluation value with the related object ID selected in S344 among the evaluation values classified for each related object ID in S341.
  • step S352 the sensitivity value calculation unit 20e calculates the absolute sensitivity value of the target product based on all the interaction evaluation values of the target product acquired in S339.
  • the sensitivity value calculation unit 20e calculates the absolute sensitivity value of the target product based on all the interaction evaluation values of the target product acquired in S339.
  • FIG. 23 is a diagram for explaining the calculation of the relative / absolute sensitivity value of the exhibited product according to the second application example. As shown in FIG. 23, first, all interaction information related to the exhibited product is acquired from the sensitivity information DB 24 by filtering with the exhibited product (object ID: 384).
  • the sensitivity value calculation unit 20e calculates an absolute sensitivity value of the product and a sensitivity value (relative sensitivity value) for each related object ID (object IDs: 1930213, 4649, 5930884) based on the acquired interaction information.
  • the related object ID is an object ID of a past owner (owner) of the product.
  • the absolute sensitivity value of a product is the total number of sensitivity values based on the interaction history of the product so far. Specifically, as shown in FIG. 23, for example, the absolute sensitivity value of the product is calculated by the sum of the average value for each interaction type multiplied by the weight a corresponding to the interaction type (operation, storage).
  • the relative sensitivity value of a product is a sensitivity value based on an interaction history for each owner of the product.
  • FIG. 23 shows, as an example, a formula for calculating a relative sensitivity value between an object ID: 5930884 (one owner) and a digital camera (object ID: 384).
  • the interaction history the third and fourth lines in the data example shown in FIG. 23
  • the interaction type operation, storage
  • the relative sensitivity value between the product and the related object ID is calculated by the sum of the product multiplied by the weight a corresponding to ().
  • the result generation unit 50c of the auction server 5 has related object IDs as detailed information regarding the sensitivity values of the products acquired from the sensitivity server 2 by the sensitivity value requesting unit 50b.
  • a screen is generated that displays the relative sensitivity value for each age, the main interaction content, and the absolute sensitivity value (total sensitivity value) of the product.
  • the display control unit 50d controls to display the generated detailed information display screen on the requesting user terminal.
  • FIG. 24 shows an example of a detailed information display screen regarding the sensitivity value of the exhibited product.
  • the detailed information display screen 57 of the exhibited product shown in FIG. 24 is a screen that is transitioned when an arrow 561 included in the target product information field 46a of the list display screen 55 shown in FIG.
  • the detailed information regarding the sensitivity value of the product exhibited by ⁇ is displayed.
  • the relative sensitivity values (0.92, -0.56, 0.80) for each successive owner of the products exhibited by the exhibitor XX are shown in chronological order.
  • the total sensitivity value (absolute sensitivity value) of the product is displayed. Thereby, the user can grasp
  • FIG. 25 is a flowchart showing a display process of detailed information related to the sensitivity value of the exhibitor. As shown in FIG. 25, first, in step S363, the personal credit information providing server 4 acquires the exhibitor's object ID from the exhibition ID, and requests the sensitivity server 2 for the sensitivity value of the exhibitor.
  • step S366 the sensibility value calculation unit 20e of the sensibility server 2 acquires the detailed contents (name, gender, age, etc.) of the object corresponding to the exhibitor's object ID from the object DB 22.
  • step S369 the sensitivity value calculation unit 20e filters the seller's object ID from the sensitivity information DB 24 to obtain all the seller's interaction evaluation values (interaction information history so far).
  • step S371 the sensitivity value calculation unit 20e classifies all the acquired interaction evaluation values of the exhibitor for each related object ID.
  • the related object ID is an object having an interaction relationship with the target person, and usually corresponds to an article owned by the exhibitor or other exhibited items that the exhibitor has exhibited.
  • the sensitivity value calculation unit 20e calculates a sensitivity value (relative sensitivity value) for each related object, calculates a total value (absolute sensitivity value), and transmits it to the auction server 5.
  • the result generation unit 50c of the auction server 5 includes, as detailed information related to the seller's sensitivity value acquired from the sensitivity server 2 by the sensitivity value request unit 50b, the relative sensitivity value for each related object ID, the main interaction contents, and the seller.
  • a screen is displayed that displays the absolute sensitivity value (total sensitivity value).
  • the display control unit 50d controls to display the generated detailed information display screen on the requesting user terminal.
  • the total sensitivity value (absolute sensitivity value) of the exhibitor may be the sum of the sensitivity values (relative sensitivity values) for each related object, may be an average value, or may be an interaction type. It may be calculated by adding and averaging the evaluation values after weighting each time.
  • FIG. 26 shows an example of a detailed information display screen related to the sensitivity value of the exhibitor.
  • the seller's detailed information display screen 58 shown in FIG. 26 is a screen that is transitioned to when the seller's name 562 included in the target product information field 46c of the list display screen 55 shown in FIG.
  • Detailed information about the sensitivity values of ⁇ is displayed.
  • the relative sensitivity values ( ⁇ 0.32, 0.12, and ⁇ 0.3) of each item of the exhibitor ⁇ are displayed, and the total sensitivity value (absolute) of the exhibitor is also displayed. Sensitivity value) is displayed.
  • the user can be a person who takes care of things on a daily basis, or is usually messy, by looking at the sensitivity value of the seller's reliability and the careful handling of the goods, You can determine if you are a person. Before making a successful bid for an item for sale, it is possible to know the human nature by looking at the sensitivity value of the exhibitor.
  • the detailed information display screen 58 may display other information (age, gender, etc.) set to be disclosed by the exhibitor as exhibitor information.
  • the auction system 102 according to the second application example has been described above.
  • FIG. 27 is a diagram illustrating the overall configuration of the environment adjustment system 103 according to the third application example.
  • the environment adjustment system 103 includes a moving body 6 that changes a user's surrounding environment following the user, and an environment adjustment server 7 that controls the moving body 6.
  • the environment adjustment server 7 communicates with the moving body 6 via an access point or the like, and performs movement control or the like of the moving body 6.
  • the moving body 6 may be a plurality of moving bodies 6a to 6c, and can be moved with base stations installed outdoors as base points.
  • the environment adjustment server 7 is connected to the sensibility server 2 and the heat map server 75 via the network 3 and acquires information necessary for movement control of the moving body 6.
  • the environment adjustment server 7 can acquire the user's sensitivity value from the sensitivity server 2 and perform environment adjustment control according to the sensitivity value.
  • the environment adjustment server 7 can provide a more comfortable environment for the user by causing the user to follow the moving body 6 and locally changing the surrounding environment according to the user's emotion.
  • the moving body 6 is realized by a small flying drone as shown in FIG. 27, and can follow the moving user and fly.
  • FIG. 28 is a diagram for explaining an example of environment adjustment by the moving body 6 of this application example. As shown in FIG. 28, for example, the moving body 6 flies following the user while moving and functions as a parasol or a parasol so that rain or direct sunlight does not hit the user. The surrounding environment can be changed.
  • the moving body 6 can also expand a cover range as needed. For example, as shown in FIG. 28, the cover range can be expanded by expanding the plate member 651 in a circular shape from the center of the moving body 6.
  • the moving body 6 is not limited to the flying object shown in FIG. 27, and may be, for example, a robot-type moving body that moves on the ground and follows the user, or a water moving body.
  • FIG. 29 is a diagram illustrating an example of the configuration of the moving body 6 according to this application example.
  • the moving body 6 includes a communication unit 61, an object sensor 62, a moving body control unit 63, an environment sensor 64, and a deformation control unit 65.
  • the communication unit 61 exchanges data with the environment adjustment server 7. For example, the communication unit 61 transmits the sensor information acquired by the object sensor 62 and the environment sensor 64 to the environment adjustment server 7, and receives control information including instructions for movement control and deformation control from the environment adjustment server 7.
  • the object sensor 62 is a detection unit that acquires information about the tracking object.
  • the following object corresponds to a user who moves outdoors, for example.
  • the object sensor 62 includes, for example, a camera 62a, an infrared camera 62b, a wireless signal receiving unit 62c, or a microphone array 62d, and acquires information about the user.
  • the moving body control unit 63 has a function of controlling the movement of the moving body 6.
  • the moving body control unit 63 includes a power drive unit 63a and an attitude control unit 63b.
  • the power drive unit 63 a is realized by, for example, a propeller, wheels, and walking legs, and drives the target user to follow the control according to the control of the moving body control unit 63.
  • the posture control unit 63b detects the posture of the moving body 6 using a gyro sensor or the like, and controls the power driving unit 63a to adjust the inclination and altitude of the moving body 6.
  • the mobile body control unit 63 according to the present disclosure can locally change the user's surrounding environment by controlling the flight path and altitude of the mobile body 6 so that the mobile body 6 avoids rain and awning of the user, for example. it can.
  • the environment sensor 64 is a detection unit that acquires information about the surrounding environment. Specifically, the environment sensor 64 acquires the environment information using, for example, a latitude / longitude positioning unit 64a or an altitude sensor 64b. In addition, the specific example of the environmental sensor 64 is not limited to this, Furthermore, you may have a temperature sensor, a humidity sensor, etc. as needed.
  • the deformation control unit 65 performs control to deform the shape of the moving body 6 so as to expand the cover range for avoiding rain and awning.
  • the mobile unit 6 described above includes a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a nonvolatile memory. Control.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • FIG. 30 is a block diagram illustrating an example of the configuration of the environment adjustment server 7. As illustrated in FIG. 30, the environment adjustment server 7 includes a communication unit 71, a control unit 70, and a user DB 72.
  • the communication unit 71 transmits / receives data to / from an external device. Specifically, for example, the communication unit 71 receives object information and environment information from the moving body 6 and transmits control information for controlling movement of the moving body 6 to the moving body 6. The communication unit 71 also acquires predetermined data from the sensitivity server 2 and the heat map server 75 via the network 3.
  • the control unit 70 controls each configuration of the environment adjustment server 7. Specifically, the control unit 70 controls the moving body 6 to follow the target user and change the surrounding environment of the target user according to the user's emotion.
  • the control unit 70 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory.
  • control unit 70 includes a user setting management unit 70a, an object detection unit 70b, an emotion estimation unit 70c, an environment information acquisition unit 70d, a heat map generation / acquisition unit 70e, a sensitivity value calculation unit 70f, and a moving body control unit. Functions as 70g.
  • the user setting management unit 70a performs management such as registration, change, and deletion of user information of the system.
  • the user information includes, for example, a user name, identification number, face image, age, gender, hobby / preference, home address, work place, behavior pattern, and the like.
  • the object detection unit 70b detects a person around the moving body 6 or an object possessed by the person based on the object sensor information transmitted from the moving body 6.
  • the target object detection unit 70b can detect a target user by analyzing a captured image transmitted from the moving body 6 and collating it with a face image of the user who has been registered in the user DB 72. it can.
  • the target object detection part 70b can also detect a target user based on the identification information of the user which the mobile body 6 received from wireless communication apparatuses, such as a smart band with which the user was mounted
  • the emotion estimation unit 70c estimates the emotion of the target user detected by the target object detection unit 70b. Specifically, for example, the emotion estimation unit 70c estimates the emotion of the target user based on the biological information (pulse, body temperature, amount of sweat, brain waves, etc.) of the target user.
  • the biological information is acquired by the smart band worn by the user, transmitted to the mobile body 6, and further transmitted from the mobile body 6 to the environment adjustment server 7.
  • the emotion estimation unit 70c can also estimate the emotion of the target user based on the attributes (gender, age, height, weight, personality, occupation, etc.), hobbies / preferences, and surrounding environment of the target user.
  • the environment information acquisition unit 70d acquires information on the surrounding environment from the moving body 6 via the communication unit 71. Specifically, the environment information acquisition unit 70d acquires data (latitude and longitude, altitude, etc.) detected by the environment sensor 64 of the moving body 6 as environment information.
  • the environment information acquisition unit 70d may acquire surrounding terrain information, building information, and the like as environment information from a predetermined server in accordance with the position (latitude / longitude information) of the moving body 6.
  • the heat map generation / acquisition unit 70e generates an emotion heat map in which emotions are geographically mapped based on the estimation result of the emotion estimation unit 70c and the environment information output from the environment information acquisition unit 70d. More specifically, the heat map generation / acquisition unit 70e generates an emotion heat map indicating what kind of emotions are present at which locations based on the emotion estimation results of a plurality of users.
  • the heat map generation / acquisition unit 70e generates an environmental heat map around the current location of the target user based on the environmental information (latitude / longitude, altitude, terrain information, building information, etc.) output from the environmental information acquisition unit 70d. To do.
  • the heat map generated in this way may be stored in the heat map server 75 on the network, or may be stored in a storage unit (not shown) of the environment adjustment server 7. Also, the heat map can be updated periodically.
  • the heat map generation / acquisition unit 70e can also generate an integrated heat map that integrates the emotion heat map and the environmental heat map.
  • the sensitivity value calculation unit 70f calculates the sensitivity value (that is, the relative sensitivity value) of the target user detected by the target object detection unit 70b with respect to personal belongings or a person (related object) who is present. Specifically, the sensitivity value calculation unit 70f acquires an interaction evaluation value associated with the object ID of the target user from the sensitivity server 2, and based on the interaction evaluation value, the relative sensitivity for each related object of the target user. Calculate the value.
  • an interaction evaluation such as frequent maintenance of the watch possessed by the target user and an interaction evaluation stored in a dedicated case are stored in the sensitivity server 2, and the sensitivity value calculation unit 70f Obtains the interaction evaluation of the target user and calculates the sensitivity value.
  • the formula for calculating the sensibility value is not particularly limited. For example, each interaction with the specific object (related object) of the target user is classified for each interaction type, and a weighting function corresponding to the interaction type is used to calculate all the interactions with the specific object. Evaluations may be averaged.
  • the object ID of the target user can be acquired from the user DB 72.
  • the moving body control unit 70h determines an area where the environment should be changed in the route along which the target user moves, and the moving body 6 uses the surroundings of the user. Control to change the environment.
  • the determination of the area where the environment should be changed is made based on, for example, whether the value of the integrated heat map is higher than a predetermined threshold. In this way, by using an integrated heat map in which the emotion heat map and the environmental heat map are integrated, the moving body 6 is made to follow the target user when passing through a place where the target user moves, for example, where it is easily wet with rain. By avoiding rain, the surrounding environment of the target user can be locally changed, and the target user can be in a comfortable state.
  • the moving body control unit 70 h obtains the sensitivity value for the personal belongings of the target user and the person with whom it is acquired (important thought). It is also possible to perform control such as expanding the cover range by the moving body 6 or covering the target user with priority over the target user according to the degree).
  • each device included in this application example has been specifically described above.
  • the sensitivity value is calculated by the sensitivity value calculation unit 70f of the environment adjustment server 7.
  • the sensitivity value may be calculated on the sensitivity server 2 side.
  • FIG. 31 is a flowchart showing the environment adjustment process. As shown in FIG. 31, first, in step S403, the environment adjustment server 7 acquires the target user's current location and destination environment information and destination arrival time information.
  • step S406 the emotion estimation unit 70c of the environment adjustment server 7 acquires user attributes, hobbies / preferences, biometric information, and the like.
  • the emotion estimation unit 70c estimates the user's emotion. That is, the emotion estimation unit 70c estimates what emotion the user will have in the current environment on the route from the current location to the destination based on the user's attributes, hobbies / preferences, or biological information. can do. For example, the fact that the user is a woman in her thirties and is carrying a parasol from the past is extracted from past behavior history, conversations, writing, etc., and the purchase history of sunscreen and parasol is extracted from the purchase history Then, it is presumed that the woman has a feeling of fear (unpleasant feeling) against ultraviolet rays, direct sunlight, and sunburn.
  • fear unpleasant feeling
  • step S412 the control unit 70 of the environment adjustment server 7 determines whether or not an environment change is necessary based on the estimation result. Specifically, for example, when the user has a feeling of fear (uncomfortable feeling) about ultraviolet rays, direct sunlight, or sunburn, the weather at the current location or the destination is clear and direct If the environment is exposed to sunlight, it is determined that environmental changes are necessary.
  • fear uncomfortable feeling
  • step S415 the mobile body control unit 70g controls the mobile body 6 so as to change the surrounding environment of the target user. Specifically, the mobile body control unit 70g causes the mobile body 6 to follow the target user, and avoids rain and flies at a position to be awned so as to change the environment around the target user.
  • step S418, the environment adjustment server 7 determines whether or not the user has arrived at the destination.
  • the environment adjustment operation ends.
  • the moving body control unit 70g controls the moving body 6 to return to a predetermined base station.
  • step S421 the environment adjustment server 7 uses the object detection unit 70b and the environment information acquisition unit 70d to determine the current location information of the user and the current location. Environmental information is acquired and S415 is repeated.
  • the cover range changing process of the moving body 6 will be described with reference to FIG.
  • the cover range can be changed based on the sensitivity value of the target user. This makes it possible to perform environmental adjustments according to the feelings of the target user, such as preferentially covering things that are important to the target user on a daily basis, or covering people important to the target user.
  • FIG. 32 is a flowchart showing the range changing process. As shown in FIG. 32, first, in step S433, the sensitivity value calculation unit 70f of the environment adjustment server 7 determines the object ID of the target user.
  • step S436 the surrounding information of the moving body 6 is sensed by the object sensor 62 and the environment sensor 64, and information on the target user and information on the surrounding environment are acquired.
  • step S439 S436 is repeated until the determined target user can be detected.
  • step S442 the target object detection unit 70b moves with another object (stroller, luggage, etc.) moving with the target user or with the target user. Detect moving people.
  • the sensitivity value calculation unit 70f acquires the detected object ID of another object or person.
  • object IDs also referred to as related object IDs
  • the sensitivity server 2 is inquired based on the analysis result of the captured image acquired by the camera 62a of the moving body 6, It may be searched from the object DB 22 by the related object search unit 20d.
  • the sensitivity value calculation unit 70f specifies the object ID of the target user and the object ID of another object or person moving with the target user, and sets the object ID between the target user and the other object or person.
  • An interaction evaluation value is acquired from the sensitivity server 2.
  • the interaction evaluation value is normalized by, for example, an evaluation value of an action such as conversation from the target user to another person, mail, or storage, maintenance, wearing, appreciation, etc. from the target user to the object from ⁇ 1.0 to 1.0. It is a thing.
  • FIG. 33 and 34 a specific example of interaction evaluation data used for the sensitivity value calculation will be described with reference to FIGS. 33 and 34.
  • FIG. 33 is a diagram showing an example of interaction evaluation data according to this application example.
  • FIG. 33 is an example of interaction evaluation used when the moving body 6 functions as an umbrella, for example.
  • object ID: 70007 object ID: 70007
  • object ID: 70008 object ID: 70008
  • the mobile body control unit 70g acquires an interaction evaluation value as shown in FIG.
  • the interaction evaluation example shown in FIG. 33 includes an evaluation value of the interaction when an interaction such as conversation, e-mail, contact outside the workplace occurs, for example.
  • Evaluation of conversation interaction is based on the user's utterance tone during conversation by voice recognition, and the familiarity based on the conversation content (whether personal content other than work was also spoken in this case) understood by speech recognition and syntax analysis. It is evaluated by the degree, the degree of smile of the user based on the image analysis, the number of times when both eyes based on the image recognition are matched.
  • the evaluation of the mail interaction is performed using the degree of familiarity of the mail text based on the syntax analysis, the degree of clumping, the number of mails, and the like.
  • the evaluation of contact interaction outside the workplace detected whether the interaction was inside or outside the workplace with location information or other sensors, and spent time outside the workplace, time spent nearby, or conversation was conducted The case is evaluated based on conversation interaction evaluation.
  • the target user (object ID: 70007) calls the mobile unit 6, the target user (object ID: 70007) is a colleague at work (object ID), depending on the weighting of the evaluation according to the type of interaction when calculating the sensitivity value. : 70008) Since it can be seen from the height of the calculated sensitivity value, the mobile body control unit 70g controls the mobile body 6 to cover the work colleagues who are with the target user. To do.
  • FIG. 34 is a diagram showing another data example of the interaction evaluation according to this application example.
  • FIG. 34 is an example of interaction evaluation used when the mobile unit 6 functions as a parasol, for example.
  • Situation is strong when the target user (object ID: 8165) is an antique that is a treasure for him and wears a watch (object ID: 80075) handed over from his father. Assume a case. This watch is important for the target user, and there is a desire to cover it over its own body (do not want to be exposed to direct sunlight).
  • the 34 includes an evaluation value of the interaction when an interaction such as storage, maintenance, wearing, care, and appreciation occurs, for example.
  • the evaluation is determined by the light intensity (darkness degree), humidity, temperature, average value of these values and the degree of keeping constant.
  • the evaluation is extremely high because a dedicated case is used.
  • the evaluation was further weighted and the other storage periods were even higher (usually 0.3, but 1, 2 rows) The eyes are 0.5).
  • the evaluation at the time of storage will decrease, so the procedure at the time of storage will also affect the evaluation.
  • the storage period lasts for a long time, and there is no attachment, so the evaluation may be lowered, but this watch is important for the user, so the time factor at the time of storage Is not affected.
  • the maintenance is evaluated by a predetermined index of the maintenance content, a professional evaluation of the maintenance, or another objective ranking index. For example, in the case of content such as complete overhaul and maintenance at shops that have been used so far, the evaluation will be high.
  • the evaluation of wearing is evaluated according to the importance and speciality of an event (such as going out) where the user goes out wearing a watch. For example, in the case of special events that do not normally go, the evaluation of wearing a watch is high. On the other hand, if you participate in a press event that is held many times a year, your rating of wearing a watch will be low. In addition, the luminous intensity, temperature, humidity at the time of wearing, the degree of proximity to others, etc. also affect the evaluation value.
  • the interaction of the care is evaluated by analyzing, for example, a video of whether each part has been disassembled and cared for along the care process.
  • Appraisal is evaluated based on the time during which the watch is being watched and the facial expression of the user at that time, and the appreciation interaction is detected according to the degree of happiness, the degree of relaxation by brain waves, and the like. Further, if the user's action during appreciation, for example, explicitly telling a friend that the person is a keepsake is detected by voice recognition of the conversation, syntactic analysis, etc., the evaluation is high.
  • the sensitivity value calculation unit 70f calculates the user's feelings about the thing or the feelings embedded in the thing as a sensitivity value based on the interaction evaluation with the thing worn by the user. Then, the mobile body control unit 70g determines the importance of the wristwatch worn by the user based on the sensitivity value, and controls the mobile body 6 to cover the wristwatch from direct sunlight in preference to the target user. To do.
  • the sensitivity value calculation unit 70f calculates the sensitivity value of the target user for another object / person.
  • the formula for calculating the sensibility value is not particularly limited. For example, each interaction with the specific object (related object) of the target user is classified for each interaction type, and a weighting function corresponding to the interaction type is used to calculate all the interactions with the specific object. You may average evaluation (refer following formula 1).
  • the above formula 1 is a case where a sensitivity value is calculated based on an interaction evaluation value between humans, and a weighting function TW (t) of the elapsed time with respect to the evaluation value is used.
  • t specifies the interaction time (or evaluation time), and weights depending on how much time has passed since the interaction was performed. This is because in the case of the relationship between human beings, the recent interaction is more important than the past interaction.
  • step S454 the moving body control unit 70g determines whether or not the cover range needs to be changed based on the sensitivity value calculated by the sensitivity value calculation unit 70f. Specifically, when the relative sensitivity value of the target user with respect to another object / person is higher than the threshold value, the moving body control unit 70g covers the other object / person with the target user or with priority over the target user. Judge to do.
  • step S457 the moving body control unit 70g instructs the moving body 6 to change the cover range.
  • Telepresence System a case where the sensitivity value is used when setting a privacy level in the telepresence system 104 that controls communication at a remote location will be described with reference to FIGS. .
  • FIG. 35 is a diagram for explaining the overall configuration of the telepresence system 104 according to the fourth application example.
  • the telepresence system 104 connects a plurality of spaces (for example, rooms R1 and R2), and provides a video in one space to the other, so that a user in a remote space Can communicate with each other.
  • the telepresence system 1 acquires the state of the user A existing in the room R1 with a high-resolution camera and a microphone array provided in the room R1, and displays the display unit 82a-2 provided in the room R2 and Output from the speaker.
  • the telepresence system 104 acquires the state of the user B existing in the room R2 with a high-resolution camera and a microphone array provided in the room R2, and uses the display unit 82a-1 and the speaker provided in the room R1. Output.
  • each other's state is captured by a high-resolution camera and provided to the other party, so that even remote users can communicate with each other more realistically.
  • a means for controlling the privacy of the user is also required.
  • the privacy level in the telepresence can be automatically set according to the other party, so that the privacy can be kept moderate. Specifically, by masking the video to be provided to the other party according to the set privacy level, the communication is turned off in response to the user's request that a part of the video in the room is not shown. It can respond without cutting.
  • the sensitivity value which is a predetermined index indicating the humanity and reliability of the other party, is used for setting the privacy level.
  • the telepresence system 104 sets the privacy level of the user A to the user B low, and Increase the area.
  • the telepresence system 104 sets a high privacy level for the user B of the user A, and Control to reduce the area or turn off communication.
  • the control of the area of the video image (the captured image of user A) to the other party performed according to the set privacy level is realized by masking the video image with a predetermined means.
  • the video masking means for example, an image is superimposed on a public video (a captured image of the user A), and at least a part of the public video is hidden, so that the privacy of the user A can be kept moderate.
  • a shoji image is used as an example of the superimposed image.
  • the shoji is a device that can be opened and closed by moving left and right, so that the intention of the person who operated it can be retained.
  • the privacy level is set as a virtual shoji opening of such shoji images. That is, when the privacy level is lowered, the opening is increased, and when the privacy level is increased, the opening is decreased.
  • the opening degree (privacy level) of the shoji image may be shared between the communication source and the communication destination. Thereby, the user A can intuitively grasp how much his / her privacy level is set by looking at the opening degree of the shoji image displayed on the display unit 82a-1.
  • FIG. 36 is a diagram for explaining a display example of a shoji image according to this application example.
  • a display unit 82a, a camera 82b, and a microphone array 82c are provided on the wall surface.
  • the display unit 82a actually has a shoji on the wall of the room R1, and the remote room R2 is present next to the screen 82a.
  • the wall surface of the room R2 and the lower end of the display unit 82a are arranged close to the floor.
  • the camera 82b and the microphone array 82c are installed above the display part 82a as an example.
  • the captured image 821 transmitted from the room R2 and a shoji image 822 that masks the captured image 821 are displayed on the display unit 82a.
  • the shoji image 822 is superimposed on the captured image 821, and the opening degree is adjusted according to the privacy level.
  • the shoji image 822 is used as an example of the privacy control means.
  • this application example is not limited to this, and for example, a curtain, a roll curtain, a gourd, a blind, a frosted glass, a liquid crystal shutter, etc. Images may be used as well.
  • the privacy control means is a curtain image, a roll curtain image, a treat image, or a blind image
  • the privacy level is set as its opening
  • it is a frosted glass image or a liquid crystal shutter the privacy level is set as its transparency.
  • data transmission / reception in the room R1 is controlled by a first communication control device (not shown), and data transmission / reception in the room R2 is controlled by a second communication control device (not shown).
  • the first and second communication control devices are connected via a network and transmit / receive data to / from each other.
  • FIG. 37 is a block diagram showing an example of the configuration of the communication control device 8 according to the fourth application example.
  • the communication control device 8 controls transmission / reception of data in a space connected by the telepresence system 1.
  • the communication control device 8 includes a control unit 80, a communication unit 81, a telepresence unit 82, various sensors 83, a calendar / clock unit 85, and a storage unit 87.
  • the control unit 80 controls each component of the communication control device 8.
  • the control unit 80 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory. Specifically, the control unit 80 functions as an opponent user information acquisition unit 80a, a sensitivity value calculation unit 80b, an opening setting unit 80c, a telepresence control unit 80d, a gesture detection unit 80e, and an emotion information acquisition unit 80f.
  • the partner user information acquisition unit 80a acquires information regarding the partner user of the communication destination.
  • the sensitivity value calculation unit 80b acquires the interaction evaluation value associated with the partner user from the sensitivity server 2 based on the object ID of the partner user, and calculates the sensitivity value of the partner user.
  • the object ID of the partner user may be acquired by the partner user information acquisition unit 80a, may be acquired by inquiring a specific server, or may be registered in the storage unit 87 in advance.
  • the sensitivity value calculation unit 80b outputs the calculated sensitivity value of the other user to the opening setting unit 80c.
  • the opening setting unit 80c sets a privacy level corresponding to the other user as the opening. Specifically, the opening degree setting unit 80c has a lower privacy level, that is, a virtual shoji opening degree, as the partner user can be trusted according to the sensitivity value calculated by the sensitivity value calculation unit 80b. Set larger.
  • the telepresence control unit 80d controls the telepresence unit 82 to realize telepresence between the target space and the communication destination space. Specifically, the telepresence control unit 80d performs control so that the captured image captured by the camera 82b of the telepresence unit 82 and the sound collected by the microphone array 82c are transmitted from the communication unit 81 to the communication control apparatus of the communication destination. To do. At this time, the telepresence control unit 80d performs control so as to mask the captured image in accordance with the opening set by the opening setting unit 80c.
  • the telepresence control unit 80d may perform processing for superimposing a shoji image on the captured image according to the set opening, and may transmit the processed image to the communication destination or may be set The opening degree may be transmitted to the communication destination together with the captured image.
  • the telepresence control unit 80d controls the display unit 82a to display the captured image 821 received from the communication control apparatus that is the communication destination, and similarly controls the speaker 82d to reproduce the received audio.
  • the telepresence control unit 80d adjusts the position of the shoji image 822 to be superimposed on the captured image 821 according to the opening set by the opening setting unit 80c.
  • the gesture detection unit 80e detects the user's gesture based on the depth information acquired by the depth sensor 83a included in the various sensors 83. For example, a gesture for opening / closing a shoji is detected. Thereby, the user can arbitrarily change the opening degree of the shoji image 822.
  • the emotion information acquisition unit 80f is based on biological information detected by a biological sensor 83d described later, facial expression detected from a captured image acquired by a visible light camera, and conversation content detected from voice acquired by a microphone. Estimate user emotion and obtain emotion information.
  • the communication unit 81 transmits / receives data to / from an external device.
  • the communication unit 81 controls the communication control device of the communication destination according to the control of the telepresence control unit 80d, the captured image captured by the camera 82b of the telepresence unit 82, the voice collected by the microphone array 82c, the opening degree The opening degree set by the setting unit 80c is transmitted.
  • the communication unit 81 receives a captured image and sound acquired in the communication destination space from the communication control device of the communication destination.
  • the communication unit 81 connects to the sensitivity server 2 and acquires an interaction evaluation value associated with the object ID of the target user.
  • the various sensors 83 include a plurality of sensors that acquire environment information of the target space, user behavior information existing in the target space, emotion information, and the like.
  • the various sensors 83 according to the present embodiment include a depth sensor 83a, a person sensor 83b, a behavior sensor 83c, a biological sensor 83d, a position information acquisition unit 83e, an altitude sensor 83f, an air pollution sensor 83g, and a temperature / humidity sensor. 83h, noise sensor 83i and the like.
  • the telepresence unit 82 includes a display unit 82a, a camera 82b, a microphone array 82c, and a speaker 82d.
  • the display unit 82a displays a captured image 821 of the communication destination space and a shoji image 822 that is superimposed according to the opening set by the opening setting unit 80c.
  • the speaker 82d outputs the sound of the communication destination space.
  • the speaker 82d may output at a volume corresponding to the opening set by the opening setting unit 80c.
  • the camera 82b images the target space (communication source space), and the captured image is transmitted to the communication control device of the communication destination.
  • the microphone array 82c picks up sound in the target space, and the sound data is transmitted to the communication control device of the communication destination.
  • the calendar / clock unit 85 acquires the current date and time, and outputs the acquired date and time information to the control unit 80.
  • the storage unit 87 stores various processing programs executed by the control unit 80 and data used in the various processing, for example, user attribute information and object ID.
  • the communication control device 8 has been described above.
  • the communication control device 8 is not limited to each configuration described above.
  • the communication control device 8 may include a physical obstacle that includes a physical obstacle portion and is installed so as to cover the display portion 82a as an example of a means for masking an image according to a privacy level.
  • the calculation of the sensitivity value may be performed on the sensitivity server 2 side instead of the sensitivity value calculation unit 80b of the communication control device 8.
  • each communication control device 8 that controls each space connected by telepresence is connected via a network
  • the telepresence system according to the present disclosure is not limited to this, for example, Communication in each space may be controlled by one server.
  • the server has each functional configuration included in the control unit 80 of the communication control device 8 shown in FIG.
  • the telepresence unit 82 and various sensors 83 are provided in each space.
  • FIG. 38 is a flowchart showing telepresence control processing according to this application example. As shown in FIG. 38, first, in step S503, the telepresence control unit 80d of the communication control device 8 that is the communication source performs connection processing with the communication control device that is the communication destination.
  • step S506 the opening setting unit 80c of the communication control device 8 sets the opening of the shoji. Details of the opening degree setting control will be described later with reference to FIG.
  • the telepresence control unit 80d acquires the captured image (video) and audio of the user transmitted to the communication destination by the camera 82b and the microphone array 82c, and sets the acquired captured image and audio to the set opening degree. Control to mask according to. Specifically, for example, the telepresence control unit 80d may perform processing for superimposing a shoji image on the captured image according to the set opening, and may transmit the processed image to the communication destination or may be set The opening degree may be transmitted to the communication destination together with the captured image.
  • step S512 the telepresence control unit 80d outputs the image and sound received from the communication control apparatus of the communication destination from the display unit 82a and the speaker 82d in a state where the image and sound are masked according to the set opening degree. Control.
  • the telepresence control unit 80d ends communication with the communication destination.
  • FIG. 39 is a flowchart showing an opening setting operation process according to this application example. As shown in FIG. 39, first, in step S523, the opening setting unit 80c of the communication control device 8 sets the shoji opening to an initial state registered in advance.
  • step S526 the sensitivity value calculation unit 80b acquires the object ID of the other user.
  • the object ID of the partner user can be acquired from the communication control apparatus of the communication destination by the partner user information acquisition unit 80a.
  • the sensitivity value calculation unit 80b acquires the interaction evaluation value associated with the object ID of the partner user from the sensitivity server 2 in step S532. To do.
  • step S535 the sensitivity value calculation unit 80b calculates a sensitivity value based on the acquired interaction evaluation value.
  • the calculation of the interaction evaluation value and the sensitivity value acquired from the sensitivity server 2 will be specifically described with reference to FIGS. 40 to 41.
  • FIG. 40 to 41 the sensitivity value calculation unit 80b calculates a sensitivity value based on the acquired interaction evaluation value.
  • FIG. 40 is a diagram showing an example of interaction evaluation data according to this application example.
  • the data example shown in FIG. 40 is an interaction evaluation associated with the object ID of the designated partner user (here, user B) acquired by the sensitivity value calculation unit 80b from the sensitivity server 2.
  • the sensitivity value calculation unit 80b performs only interaction evaluation from the other user (here, user B, object ID 5505) with respect to another object (related object) from the accumulated data of past interaction evaluation shown in FIG. To extract the sensitivity value.
  • FIG. 41 shows a data example in which the data used for the sensitivity value calculation is extracted from the data example of the interaction evaluation value shown in FIG.
  • an interaction such as “seen / see, throw an object / throw, make a phone call” is detected by an object or a sensing device mounted / mounted around the object.
  • an interaction such as “seen / see, throw an object / throw, make a phone call” is detected by an object or a sensing device mounted / mounted around the object.
  • the user B is in the room from the operation history of the television.
  • an interaction such that the user B is watching the television / the television is being watched by the user B is detected.
  • the user B when it is detected that the user B is picking up the handset of the telephone from the analysis result of the captured image of the camera sensor installed in the telephone or the room, the user B makes a telephone call from the operation history of the telephone. If an event is detected, an interaction such as making a call is detected. Furthermore, when it is detected that an impact is applied to the telephone by the vibration sensor attached to the telephone, or when a sound of pulling the cord by the microphone attached to the telephone is detected, the cord is An interaction such as a call being made while being pulled is detected.
  • the sensitivity value Q1 is calculated by the following equation 2, for example.
  • Equation 2 the sensitivity value Q1 is calculated by multiplying the sum of the evaluation values for each interaction type by a coefficient corresponding to the interaction type, and dividing the sum of all interaction types by the total number of interactions.
  • Equation 3 is obtained by applying the interaction evaluation shown in FIG. 41 to Equation 1 above.
  • the sensitivity value calculation unit 80b can obtain the sensitivity value Q1 of the user B as shown in the above equation 3.
  • the calculated sensitivity value of the other user represents the reliability of the other user.
  • the telepresence system 104 it is safe even if the communication partner is a reliable person even if the privacy is lowered, but if it is an unreliable person, the privacy of the user can be kept moderate by increasing the privacy. it can. Therefore, the use of the sensitivity value representing the reliability of the other user is effective.
  • the opening is output to the telepresence controller 80d.
  • FIG. 42 is a diagram illustrating the overall configuration of the realistic reproduction system 105 according to this application example.
  • the realistic reproduction system 105 includes a reproduction information generation device 9 that generates realistic reproduction information from acquired content data, and a viewer (when reproducing content data based on the realistic reproduction information).
  • the user has a reproduction control device 95 that reproduces the sense of presence when content data is generated.
  • the reproduction information generating device 9 and the reproduction control device 95 can be connected via a network.
  • the reproduction information generation device 9 uses a sensitivity value, which is a predetermined index indicating feelings and relationships with respect to the subject of the content data creator (eg, a photographer), to provide an abstract for adding a new effect representing the feeling toward the subject. Generate realistic presence reproduction information.
  • the reproduction control device 95 Based on the realistic reproduction information associated with the content data, the reproduction control device 95 performs device control, image effects, and so on to reproduce the realism (context) at the time of generating the content data when reproducing the content data. Generate audio effects. Since the realistic reproduction information is abstracted, the reproduction control device 95 can perform reproduction processing according to the characteristics of the available devices and the effects that can be generated.
  • FIG. 43 is a block diagram showing an example of the configuration of the reproduction information generation device 9 according to this application example.
  • the reproduction information generation device 9 includes a control unit 90, a communication unit 91, a content storage unit 92, and a realistic reproduction information storage unit 93.
  • the control unit 90 controls each component of the reproduction information generating device 9.
  • the control unit 90 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory.
  • the control unit 90 includes a content analysis unit 90a, a content additional information extraction unit 90b, a weather / location detailed information search unit 90c, a subject recognition unit 90d, a sensitivity value acquisition unit 90e, a realistic feeling reproduction information generation unit 90f, It also functions as a storage control unit 90g.
  • the content analysis unit 90a performs image analysis and audio analysis on content data such as moving images.
  • the content data may be stored in the content storage unit 92 or may be received via the communication unit 91.
  • the content analysis unit 90a includes an image feature amount extraction unit 901, a vibration feature amount extraction unit 902, and an audio feature amount extraction unit 903.
  • the image feature amount extraction unit 901 has a function of extracting an image feature amount based on image analysis.
  • the vibration feature amount extraction unit 902 has a function of extracting a vibration feature amount based on image analysis.
  • the voice feature quantity extraction unit 903 has a function of extracting voice feature quantities based on voice analysis. These feature amounts may be extracted for each frame of the moving image or may be extracted for each predetermined number of frames.
  • the content additional information extraction unit 90b extracts additional information from the content data.
  • the additional information is information stored at the time of generation of the content data (at the time of shooting in the case of moving images). For example, the date information (capture date in the case of moving images), time information, position information (latitude) Longitude, altitude), and other sensor information acquired at the time of content data generation.
  • the weather / location detailed information search unit 90c searches for the weather detailed information and the location detailed information of the content generation location based on the date / time and location of the content data extracted by the content additional information extraction unit 90b.
  • Detailed weather information includes weather, temperature, humidity, wind direction, wind power, rainfall, and the like.
  • the detailed location information includes a station name, a facility name, a place name, a building type, and the like.
  • the detailed weather / location information search unit 90c searches for detailed information on such weather / location by accessing a search server (such as a reverse geocoding system or an event calendar server) on the network.
  • a search server such as a reverse geocoding system or an event calendar server
  • the subject recognition unit 90d recognizes the subject of the content data based on the image feature amount extracted by the image feature amount extraction unit 901 of the content analysis unit 90a or the audio feature amount extracted by the audio feature amount extraction unit 903. .
  • the sensitivity value acquisition unit 90e acquires the sensitivity values between the content data generator (photographer in the case of a moving image) and the subject. Specifically, the sensitivity value acquisition unit 90e requests the sensitivity server 2 to acquire a sensitivity value based on the object ID of the creator and the object ID of the subject. When the evaluation of the interaction between the creator and the subject is transmitted from the sensitivity server 2, the sensitivity value acquisition unit 90e generates the relative sensitivity value of the creator with respect to the subject (generated for the subject based on the interaction evaluation). Index indicating how the person feels). The sensitivity value may be calculated by the sensitivity server 2. In this case, the sensitivity value acquisition unit 90 e acquires the calculated sensitivity value from the sensitivity server 2 via the communication unit 91.
  • the creator's object ID may be embedded as metadata in the content data and extracted by the content additional information extraction unit 90b.
  • the object ID of the subject may be embedded as metadata in the content data and extracted by the content additional information extraction unit 90b.
  • the object ID of the subject may be acquired based on the feature amount of the subject recognized by the subject recognition unit 90d.
  • the association between the subject feature quantity and the object ID may be stored in a storage unit (not shown) of the reproduction information generation device 9 or may be stored in the object DB 22 of the sensitivity server 2.
  • the sensitivity value acquisition unit 90e can acquire the object ID of the subject by transmitting the subject feature amount to the sensitivity server 2.
  • the realistic sensation reproduction information generation unit 90f generates information for giving the viewer (user) a sense of reality (context) of the content data when reproducing the content data.
  • the storage control unit 90g may embed the realistic sensation reproduction information generated by the realistic sensation reproduction information generation unit 90f in the content data stored in the content storage unit 92, or may be associated with the content data as a separate file. You may preserve
  • the communication unit 91 transmits / receives data to / from an external device.
  • the communication unit 91 is connected to the sensitivity server 2 and receives an interaction evaluation value corresponding to the object ID.
  • the communication unit 91 is connected to the reproduction control device 95 and transmits content data in which realistic reproduction information is embedded, or content data and realistic reproduction information associated with the content data.
  • the content storage unit 92 stores content data.
  • the content data to be stored may be received by the communication unit 91.
  • the realistic reproduction information storage unit 93 stores the realistic reproduction information generated as a separate file in association with the content data.
  • FIG. 44 is a flowchart showing reproduction information generation processing according to this application example.
  • step S603 the sensitivity value acquisition unit 90e acquires the first frame of the moving image.
  • the sensitivity value acquisition unit 90e acquires the subject recognition result of the target frame from the subject recognition unit 90d.
  • the subject recognition unit 90d performs subject recognition in the frame based on the image feature amount extracted by the image analysis of the target frame. For example, as shown in FIG. 45, a frame 97 of a moving image generated by shooting by the photographer P is subjected to image analysis, and subjects S1, S2, and S3 are recognized.
  • step S609 the sensitivity value acquisition unit 90e acquires an object ID corresponding to the subject of the target frame recognized by the subject recognition unit 90d.
  • the sensitivity value acquisition unit 30e transmits the photographer's object ID and subject attributes to the sensitivity server 2 in step S612.
  • the sensitivity value acquisition unit 90e receives the object ID candidate of the subject from the sensitivity server 2.
  • the related object search unit 20 d searches for related objects that are the same as or similar to the attributes of the subject from, for example, objects having a history of interaction with the photographer, and generates reproduction information using the object ID as a candidate.
  • a reply is sent to the device 9.
  • step S621 when there are a plurality of object ID candidates returned from the sensitivity server 2 (“Yes” in S618), in step S621, the sensitivity value acquisition unit 90e selects one object ID corresponding to the subject from the plurality of candidates. To do.
  • step S624 the sensitivity value acquisition unit 90e transmits the object ID of the subject to the sensitivity server 2.
  • the sensitivity value acquisition unit 90e acquires the relative sensitivity value between the photographer and the subject, and stores the acquired relative sensitivity value in association with the position of the subject in the frame.
  • the relative sensitivity value between the shadow person and the subject may be calculated by the sensitivity server 2, or the sensitivity value acquisition unit 90e may calculate the relative sensitivity value based on the interaction evaluation between the photographer and the subject received from the sensitivity server 2. Also good.
  • step S609 when there is another subject in the target frame (“Yes” in S630), the processing from step S609 is repeated.
  • the photographer P father, father, object ID: 105384093
  • the subject S2 child, object ID: 15122014
  • the subject S3 toy, object ID: 101960
  • the relative sensitivity value indicating the emotion or feeling of the object ID: 312039) is acquired.
  • FIG. 46 is a diagram showing an example of interaction evaluation data according to this embodiment.
  • the interaction evaluation shown in FIG. 46 is an interaction evaluation returned from the sensitivity server 2 based on the photographer's object ID specified by the sensitivity value acquisition unit 90e and the object ID of each subject.
  • the photographer P performed on the wife (object ID: 105384093) of the subject S1 on December 24, 2013. Is given a rating of 0.7.
  • the wife of the subject S1 interacted with the photographer P (object ID: 312039) who received an accessory on December 24, 2013.
  • the rating is 1.00. In this way, an interaction performed from one object to the other object can be detected on both the one object side and the other object side.
  • the types of interaction detected include storage, skinship, conversation, play, etc., as shown in FIG. 46, in addition to the above gifts.
  • the interaction of gifts includes, for example, credit card usage history, online shopping purchase history, e-mail and social media content, recognition of images captured by cameras in rooms and objects, and sound from microphones in rooms and objects. It is detected from the recognition etc.
  • the interaction evaluation of the gift is performed by the evaluation unit 20b of the sensitivity server 2.
  • the evaluation unit 20b can determine the degree of inspiration according to the ratio of the present amount to the usual purchase history and income of the person who gave the gift, the positive degree to the present based on the conversation recognition with the store clerk, the browsing time of the Web page at the time of online purchase The degree of seriousness based on time is extracted from the page transition until the item is selected, and each of these values is given a predetermined weight, and normalized to -1.0 to 1.0 to obtain an evaluation value.
  • the evaluation unit 20b weights the storage location, the humidity of the storage location, the amount of dust in the atmosphere, etc., normalizes it to -1.0 to 1.0, and sets it as an evaluation value.
  • the evaluation unit 20b weights various indexes acquired from the smile level by smile recognition, the laughter voice by voice recognition and the content of conversation, and normalizes it to -1.0 to 1.0 to obtain an evaluation value.
  • conversation interaction is detected based on, for example, voice recognition, voice tone, analysis of contents written in mail or social media (syntax analysis, semantic analysis), and the like.
  • the evaluation unit 20b determines the positive / negative degree of the conversation content using words, contexts, voice tones, and the like included in the conversation. Since the total sum of evaluation changes depending on the number of words and the conversation content, finally, Normalize to 1.0 to 1.0 to make the evaluation value.
  • the play interaction is detected based on, for example, confirmation of connection between the proximity wireless communication chip provided on the toy and the proximity wireless communication chip attached to the child, movements of the acceleration sensors of the two, and the like. If it is not possible to recognize “play” from the connection confirmation and movement, if the other object is a toy, the toy is for play, so that it is recognized as an interaction of “play”.
  • the evaluation unit 20b obtains an evaluation value for the child's toy based on the measurement result of the interaction time between the two and detection of laughter or laughter based on the captured image or voice.
  • the evaluation value when viewed from the toy side may be obtained by measuring how roughly it has been handled based on the data of the acceleration sensor, or whether it has deviated from the original usage as a toy. Even if an infant is handling a toy roughly, the evaluation value when viewed from the toy is low, but if the partner is an infant at the stage of obtaining the final sensitivity value, the evaluation value viewed from the toy The evaluation value can be adjusted by reducing or correcting the weighting coefficient.
  • FIG. 47 is a diagram illustrating a data example in which data used for sensitivity value calculation is extracted from the interaction evaluation data example illustrated in FIG. 46. As shown in FIG. 47, the interaction evaluation between the photographer (object ID: 312039) and each of the subjects S1 to S3 (object IDs: 105384093, 15122014, 101960) is extracted.
  • the sensitivity value acquisition unit 90e calculates the relative sensitivity value between the photographer and the subject, for example, the sum of the evaluations of the target subjects, or the sum of the evaluations of the target subjects after multiplying the weighting factor for each interaction type of the target subjects, Alternatively, it is obtained by an average value obtained by dividing the sum by the number of interactions.
  • the sensitivity value acquisition unit 90e calculates the sensitivity value of the entire frame. Specifically, for example, the sum of the relative sensitivity values of each subject in the frame, or an average obtained by dividing the sum by the number of subjects.
  • step S636 the sensitivity value acquisition unit 90e stores the sensitivity value of the target frame (the relative sensitivity value of each subject and the sensitivity value of the entire frame).
  • step S639 the frame to be processed is advanced by one. If there is still a new frame (“Yes” in S642), the processing from step S606 is repeated.
  • the relative sensitivity value between each subject and the photographer is calculated.
  • the present disclosure is not limited to this, and the absolute sensitivity value of each subject may be calculated as necessary.
  • a relative sensitivity value between subjects may be calculated.
  • the absolute sensitivity value of each subject is the sum of all the interaction evaluations of the subject, or the sum of all the evaluations of the target subject multiplied by the weighting factor for each interaction type, or the sum is divided by the number of interactions It is obtained from the average value.
  • the relative sensitivity value between subjects is the sum of the interaction evaluations between subjects, or the sum of the interaction evaluations between subjects multiplied by the weighting factor for each interaction type, or the average value obtained by dividing the sum by the number of interactions Is required.
  • FIG. 1 the reproduction method can be freely determined according to the characteristics of the device provided on the reproduction side based on the abstract presence reproduction information generated by the reproduction information generation device 9.
  • FIG. 48 is a block diagram showing an example of the configuration of the playback control device 95 according to this application example.
  • the playback control device 95 includes a content acquisition unit 951, a realistic reproduction information acquisition unit 952, a realistic reproduction effect identification unit 953, an image effect generation unit 954, an audio effect generation unit 955, and a device control unit 956.
  • the content acquisition unit 951 acquires content data to be reproduced.
  • the content acquisition unit 951 acquires content data from the cloud (for example, the content storage unit 92 of the reproduction information generation device 9).
  • the presence reproduction information acquisition unit 952 acquires the presence reproduction information corresponding to the content data to be reproduced. For example, realistic reproduction information is assumed to be embedded in content data or stored in the cloud as a separate file from the content data.
  • the realism reproduction effect specifying unit 953 is based on the realism reproduction information acquired by the realism reproduction information acquisition unit 952 and the characteristics of the device provided on the playback side. Specific context). Examples of the device provided on the reproduction side include a television device that outputs images and sounds, an air conditioner device, a scent spray device, a vibration device, a lighting device, and a blower device.
  • the image effect generation unit 954 generates an image effect for reproducing the presence according to the instruction of the presence reproduction effect specifying unit 953.
  • the audio effect generation unit 955 generates an audio effect for reproducing the presence according to the instruction of the presence reproduction effect specifying unit 953.
  • the device control unit 956 controls various devices in accordance with instructions from the realistic sensation reproduction effect specifying unit 953 to give the user (viewer) a sense of realism.
  • the decoding unit 957 decodes the content data acquired by the content acquisition unit 951 and outputs it to the content output control unit 958.
  • Content output control unit 958 outputs the content data decoded by decoding unit 957. Specifically, for example, the content output control unit 958 controls to reproduce from the television device when the content data is a moving image. Further, the content output control unit 958 reproduces a moving image together with the image effect generated by the image effect generation unit 954, or outputs the audio effect generated by the audio effect generation unit 955.
  • the realistic sensation reproduction information includes a relative sensitivity value indicating the photographer's feelings and feelings about the subject. Providing a new appreciation experience such as what the photographer feels about the subject and what the photographer feels by viewing the playback side according to the relative sensitivity value can do.
  • FIG. 49 is a flowchart showing a reproduction process using a sensitivity value according to this application example.
  • the realistic reproduction effect specifying unit 953 acquires the sensitivity value T of the entire current reproduction frame.
  • the sensitivity value T of the entire reproduction frame can be acquired from the presence reproduction information acquired by the presence reproduction information acquisition unit 952.
  • the sensitivity value T of the entire reproduction frame corresponds to the sensitivity value of the entire target frame described in step S633 of FIG.
  • step S656 the realistic sensation reproduction effect specifying unit 953 determines whether or not the difference between the sensitivity value T ′ of the entire previous frame and the sensitivity value T of the entire current frame is greater than or equal to a predetermined value.
  • step S659 the realistic sensation reproduction effect specifying unit 953 determines whether or not the minimum application time of the device control is exceeded. This is to avoid switching the device control in a short time.
  • the realistic reproduction effect specifying unit 953 performs device control so as to perform device control according to the value of the sensitivity value T in step S662.
  • Section 956 is instructed. For example, physical effects corresponding to the sensitivity values, such as generation of vibration, smoke emission, and illumination change, are performed.
  • step S665 the realistic sensation reproduction effect specifying unit 953 determines whether or not the minimum application time of the image effect has been exceeded. This is to avoid switching the image effect in a short time.
  • the realistic reproduction effect specifying unit 953 applies the effect of the entire image corresponding to the value of the sensitivity value T in step S668.
  • the image effect generation unit 954 is instructed to do so.
  • the effect of the entire image is, for example, an effect of making the entire tone of the image brighter or making the color of the image a little red.
  • step S671 the realistic sensation reproduction effect identifying unit 953 determines whether or not the minimum application time of BGM (Background Music) has been exceeded. This is to prevent the BGM from being switched in a short time.
  • BGM Background Music
  • step S674 when the minimum application time of BGM has been exceeded (“Yes” in S671), in step S674, the realistic effect reproduction effect specifying unit 953 reproduces the BGM according to the value of the sensitivity value T so as to reproduce the BGM.
  • the generation unit 955 is instructed. For example, when the sensitivity value T is high, a pleasant and bright BGM is reproduced, and when the sensitivity value T is low, a dark BGM is reproduced.
  • the realistic sensation reproduction effect specifying unit 953 acquires the sensitivity value for each subject recognized from the current playback frame and the position on the screen of each subject (that is, the position within the frame).
  • the sensitivity value for each subject is a photographer's relative sensitivity value for each subject included in the realistic reproduction information.
  • step S680 the realistic sensation reproduction effect specifying unit 953 instructs the image effect generation unit 954 to select an image effect or a superimposed image corresponding to the type and sensitivity value of the subject, and further, the selected image effect. Is controlled to instruct the content output control unit 958 to display at a position corresponding to the subject.
  • the image effect arranged to correspond to each subject according to the sensitivity value will be described with reference to FIG.
  • the realism reproduction effect specifying unit 953 performs image effects E1 to E3 as shown in the frame 99 shown in the right of FIG. 50 according to the relative sensitivity values of the subjects S1, S2, and S3 recognized from the frame 98 shown in the left of FIG. E3 is arranged corresponding to each of the subjects S1 to S3. For example, when the subject S1 is a mother, the subject S2 is a child, and the subject S3 is a toy, an image effect for a family or a child is selected. If the relative sensitivity value is high, a bright and bright image effect is selected.
  • the arrangement corresponding to the subject includes, for example, arranging the subject around the subject so as not to overlap the subject. As a result, the feeling that the photographer was taking, the atmosphere at the time of shooting, and the like are represented by the newly added effects, and the realism at the time of shooting is reproduced.
  • step S683 If the video has not been played back to the end position (“No” in step S683), the processes of S653 to S680 are repeated.
  • Such sensitivity values can be used for the personal credit information providing system 101, the auction system 102, the environment adjustment system 103, the telepresence system 104, and the realistic reproduction system 105, for example.
  • the interaction information may be accumulated, and the evaluation and sensitivity value may be calculated each time it is accumulated, or the interaction information accumulated and the sensitivity value may be calculated when necessary.
  • this technique can also take the following structures.
  • An information processing system comprising: (2)
  • the generation unit includes an absolute sensitivity value based on information related to an interaction between one object and a plurality of other objects, and information related to an interaction between the one object and a specific object.
  • the information processing system according to (1), wherein a relative value can be generated.
  • the information processing system includes: A storage control unit for storing information related to the interaction in the storage unit in association with the first object and the second object; In the above (1) or (2), the generation unit generates a sensitivity value of the specific object based on a history of information related to the interaction associated with the specific object stored in the storage unit. The information processing system described. (4) When the first object is a person and the second object is a thing, the generation unit can detect the sensitivity value of the first object and the second object based on information related to the interaction.
  • the information processing system according to any one of (1) to (3), wherein the sensibility values of each object can be generated.
  • the detection unit according to any one of (1) to (4), wherein when an interaction occurs between the first object and the second object, the detection unit detects information related to bidirectional interaction, respectively.
  • the information processing system includes: 6.
  • the information processing system includes: 7.
  • the information processing system includes: An environment adjustment server that performs environment adjustment control according to a sensitivity value of an object attached to the target user or the target user when the surrounding environment of the target user is adjusted by a moving body that moves following the target user.
  • the information processing system according to any one of (1) to (7), comprising: (9)
  • the information processing system includes: When the privacy level is automatically set according to the sensitivity value of the user of the communication destination device, and the video of the user of the communication source device is transmitted to the communication destination device, the communication source device according to the automatically set privacy level
  • the information processing system according to any one of (1) to (8), further including a communication control device that controls to mask the video of the user.
  • the information processing system includes: A reproduction information generating apparatus that generates abstract realistic reproduction information based on a sensitivity value of a subject extracted from content data, and controls to store the generated realistic reproduction information in association with the content data.
  • the information processing system according to any one of (1) to (9), comprising: (11) Detecting information related to the interaction between the first object and the second object; Based on information related to the interaction, it is possible to generate a sensitivity value of the first object and a sensitivity value of the second object, respectively. Including a control method.
  • SYMBOLS 100 Information processing system 101 Personal credit information provision system 102 Auction system 103 Environmental adjustment system 104 Telepresence system 105 Realism reproduction system 1 Sensing device 11 Sensor 12 Interaction extraction part 13 Communication part 2 Kansei server 20 Control part 20a Interaction memory control part 20b Evaluation unit 20c Object management unit 20d Related object search unit 20e Sensitivity value calculation unit 21 Communication unit 22 Object DB 24 Kansei Information DB DESCRIPTION OF SYMBOLS 3 Network 4 Personal credit information provision server 5 Auction server 6 Mobile body 7 Environment adjustment server 8 Communication control apparatus 9 Reproduction information generation apparatus 95 Reproduction control apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioethics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することが可能な情報処理装置、制御方法、および記憶媒体を提供する。 【解決手段】第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、を備える、情報処理システム。

Description

情報処理装置、制御方法、および記憶媒体
　本開示は、情報処理装置、制御方法、および記憶媒体に関する。
　近年、ある時点における人の感情を生体情報等から推定し、コンテンツデータの検索や、情報のレコメンデーション等に用いることが行われている。
　例えば、下記特許文献１では、心拍、血圧等の生体情報に基づいて感情の度合いを示す感情パラメータを求め、１次元の感情貨幣に変換する技術が開示されている。
特開２００５－１２４９０９号公報
　しかしながら、上記特許文献１や従来技術では、主に生体情報に基づく人の感情（快／不快）の推定が行われ、モノの仮想的な心理状態については言及されていなかった。
　例えば、同じ商品であっても、思い入れを持って大切に使われた場合と、乱雑に扱われた場合とでは、モノに宿る利用者の思い入れや愛着は異なるはずであるが、それを計測したり、第三者に客観的に知らせたりする術がなかった。
　このように、物の価値は、その物の機能やデザインだけではなく、同じ商品であっても個別の価値が生じ得る。
　そこで、本開示では、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することが可能な情報処理装置、制御方法、および記憶媒体を提案する。
　本開示によれば、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、を備える、情報処理システムを提案する。
　本開示によれば、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出することと、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能なことと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、として機能させるための、プログラムが記憶された、記憶媒体を提案する。
　以上説明したように本開示によれば、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるセンシングデバイスの構成の一例を示すブロック図である。 本実施形態による感性サーバの構成の一例を示すブロック図である。 本実施形態による情報処理システムの動作処理を示すシーケンス図である。 第１の応用例による個人信用情報提供システムの全体構成を説明する図である。 第１の応用例による個人信用情報提供サーバの構成の一例を示すブロック図である。 第１の応用例による感性サーバのオブジェクトＤＢのデータ例を示す図である。 第１の応用例による感性サーバの感性情報ＤＢのデータ例を示す図である。 第１の応用例による信用ランキングの表示処理を示すフローチャートである。 第１の応用例による信用力ランキング画面の一例を示す図である。 第１の応用例によるオブジェクト属性毎の信用力情報の表示処理を示すフローチャートである。 第１の応用例による対象者の家に対する相対的感性値の算出について説明する図である。 第１の応用例によるオブジェクト属性毎の信用力情報表示画面の一例を示す図である。 第１の応用例による信用力の年代表示処理を示すフローチャートである。 第１の応用例による信用力の年代表示画面の一例を示す図である。 第２の応用例によるオークションシステムの全体構成を説明する図である。 第２の応用例によるオークションサーバの構成の一例を示すブロック図である。 第２の応用例によるオークションサーバの商品・ユーザ情報ＤＢに記憶されている出品商品のデータ例を示す図である。 第２の応用例による感性サーバの感性情報ＤＢのデータ例を示す図である。 第２の応用例による出品商品の感性値に応じたリスト表示処理を示すフローチャートである。 第２の応用例による出品商品の感性値に応じたリスト表示画面の一例を示す図である。 第２の応用例による出品商品の感性値に関する詳細情報の表示処理を示すフローチャートである。 第２の応用例による出品商品の相対的／絶対的感性値の算出について説明する図である。 第２の応用例による出品商品の感性値に関する詳細情報表示画面の一例を示す図である。 第２の応用例による出品者の感性値に関する詳細情報の表示処理を示すフローチャートである。 第２の応用例による出品者の感性値に関する詳細情報表示画面の一例を示す図である。 第３の応用例による環境調整システムの全体構成を説明する図である。 第３の応用例の移動体による環境調整の一例について説明する図である。 第３の応用例による移動体の構成の一例を示すブロック図である。 第３の応用例による環境調整サーバの構成の一例を示すブロック図である。 第３の応用例による環境調整処理を示すフローチャートである。 第３の応用例によるカバー範囲変更処理を示すフローチャートである。 第３の応用例によるインタラクション評価のデータ例を示す図である。 第３の応用例によるインタラクション評価の他のデータ例を示す図である。 第４の応用例によるテレプレゼンスシステムの全体構成を説明する図である。 第４の応用例による障子画像の表示例について説明する図である。 第４の応用例による通信制御装置の構成の一例を示すブロック図である。 第４の応用例によるテレプレゼンス制御処理を示すフローチャートである。 第４の応用例による開度設定の動作処理を示すフローチャートである。 第４の応用例によるインタラクション評価のデータ例を示す図である。 図４０示すインタラクション評価値のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 第５の応用例による臨場感再現システムの全体構成を説明する図である。 第５の応用例による再現情報生成装置の構成の一例を示すブロック図である。 第５の応用例による再現情報生成処理を示すフローチャートである。 第５の応用例による被写体認識について説明する図である。 第５の応用例によるインタラクション評価のデータ例を示す図である。 図４６に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 第５の応用例による再生制御装置の構成の一例を示すブロック図である。 第５の応用例による感性値を利用した再生処理を示すフローチャートである。 第５の応用例による感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．基本構成および動作処理
　　２－１．センシングデバイス
　　２－２．感性サーバ
　　２－３．動作処理
　３．応用例
　　３－１．個人信用情報提供システム
　　３－２．オークションシステム
　　３－３．環境調整システム
　　３－４．テレプレゼンスシステム
　　３－５．臨場感再現システム
　４．まとめ
　　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　まず、本開示の一実施形態による情報処理システム１００の概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システム１００では、人や物全てをオブジェクトと定義し、各オブジェクト（Obj.A～Obj.D）には、オブジェクト間のインタラクション（相互作用）を検出するためのセンシングデバイス１（１０Ａ～１０Ｄ）が設けられている。例えば人Obj.Aには、時計型デバイス等のウェアラブルデバイスにより実現されたセンシングデバイス１Ａが装着されている。また、家Obj.Bには、扉の開閉や、人の出入り、家の修繕等を検出可能なセンシングデバイス１Ｂが設けられている。また、車Obj.Cには、走行距離や、使用回数、運転の丁寧さ、洗車等を検出可能なセンシングデバイス１Ｃが設けられている。また、カメラObj.Dには、使用時間、保管状態、被写体の種別、水濡れ、衝撃、メンテナンス回数等を検出可能なセンシングデバイス１Ｄが設けられている。
　センシングデバイス１が検出したインタラクションは、ネットワーク３を介して感性サーバ２に送信される。例えば、人Obj.Aが、家Obj.B、車Obj.C、およびカメラObj.Dに対して行ったそれぞれのインタラクション（扉の開閉、修繕、運転、保管等）が、センシングデバイス１Ａ～１０Ｄによってそれぞれ検出され、感性サーバ２に送信される。具体的には、人が家に対して何らかのインタラクションを行った場合、人側のセンシングデバイス１Ａと家側のセンシングデバイス１Ｂでそれぞれのインタラクション（他のオブジェクトへ行ったインタラクション、他のオブジェクトから行われたインタラクション）が検出される。また、検出されるインタラクションは、人と物の間のインタラクションに限定されず、物と物の間のインタラクションも検出され得る。
　感性サーバ２は、センシングデバイス１から受信したインタラクションを蓄積し、これを分析することで、各オブジェクトの感性値を算出する。感性サーバ２で算出された感性値は様々なサービスで利用される。なお、サービスの性質に応じて必要な感性値は異なる場合もあるため、感性サーバ２は各インタラクションの評価を数値化した評価値を各サービスに送信し、サービス側において所定の算出方法でインタラクション評価値に基づいて感性値が算出されてもよい。
　このように、本実施形態による情報処理システム１００では、人・モノの全てをオブジェクトと定義した上で、オブジェクト間のインタラクションに基づいてそれぞれのオブジェクトの価値を数値化した新しい指標である感性値を提供することができる。このような感性値の有用性について、以下本開示の背景として説明する。
　（背景）
　近年、新自由主義市場原理に基づくグローバル経済が行きすぎ、成熟社会では新しい価値経済の指標が求められている。具体的には、新しいモノづくりにおけるモノの「感性価値」について議論されている。一般的には、作り手によりモノに込められたこだわりや思想、背景、技術などを感性価値と称し、これを活かした地域の取り組みが行われている。また、ユーザが愛着を持ってモノを扱ったことは、目には見えないモノの特別な価値となり、貨幣価値以上の価値が生まれることもある。しかしながら、従来、このような「感性価値」を情報科学の領域で用いることは行われていなかった。
　ここで、昨今のデバイス小型化、バッテリー技術やネットワーク技術の進歩により、モノ同士を繋げるＩｏＴ（Internet of Things)の時代に突入してきた。この時代の先には、モノと人が区別なくつながる（チューリングテストを合格したモノが人とインタラクションする）時代が到来すると仮定できる。その場合、人・モノの「感性価値」は、人・モノ（サービスを含む）の区別なく、あらゆるインタラクションの履歴に相関すると定義できる。
　本実施形態は、上記のような観点から、人・モノの疑似的な「感性価値」を数値化した感性値について提案する。感性価値は多次元のベクトルで表現されるため、そのベクトルを扱いやすいように次元を落としたり単純なスカラー値にしたりして利用することが考えられ、各々のサービスや商品に合わせて最適化して利用する。感性値は新しい価値経済の指標となり、将来、貨幣と対になる経済概念になることが予想される。従って、感性値には、保存（蓄積）、交換媒体（モノＡとモノＢの交換を媒介する機能）、および人・モノの価値の尺度（商品やサービス全てに感性値が付与され、モノの価値は、貨幣と感性値で判断される）といった機能が期待される。
　以上、本実施形態による情報処理システム１００の概要について説明した。続いて、情報処理システム１００に含まれるセンシングデバイス１および感性サーバ２の構成と、情報処理システム１００の動作処理について順次説明する。
　　＜＜２．基本構成＞＞
　　＜２－１．センシングデバイス＞
　図２は、本実施形態によるセンシングデバイス１の構成の一例を示すブロック図である。図２に示すように、センシングデバイス１は、センサ１１、インタラクション抽出部１２、および通信部１３を有する。
　（センサ）
　センサ１１は、オブジェクト間のインタラクションを検知する機能を有する。センサ１１は、例えば湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、ジャイロセンサ、照度センサ、人感センサ、大気センサ（例えば埃センサ、汚染物質センサ）、速度センサ、回数計測値等により実現される。
　（インタラクション抽出部）
　インタラクション抽出部１２は、センサ１１から出力されたセンシングデータに基づいて、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部として機能する。例えば、インタラクション抽出部１２は、扉の開閉を検知するセンサのセンシングデータに基づいて、扉の開閉回数や、開閉時の衝撃／強さ、人の出入りといったインタラクションを抽出することができる。
　また、インタラクション抽出部１２は、対象オブジェクトが分解されたり、リセット処理が行われたり、故障症状が改善されたこと（エラーなし）、部品交換が行われたこと等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの修繕・メンテナンスといったインタラクションを抽出することができる。
　また、インタラクション抽出部１２は、対象オブジェクトが車、自転車、自動二輪車等の場合、距離測定値、エンジン回数測定値、タイヤ交換頻度、ブレーキタイミング、汚れ、位置情報、燃料追加頻度等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの走行距離、使用回数、運転の丁寧さ、洗車等といったインタラクションを抽出することができる。
　また、インタラクション抽出部１２は、起動時間、起動タイミング、置載状態、周囲の大気、湿度、温度、水濡れ、衝撃等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの愛用度、愛着具合、保管状態といったインタラクションを抽出することができる。
　（通信部）
　通信部１３は、インタラクション抽出部１２により抽出されたインタラクションに関連する情報を、ネットワーク３を介して感性サーバ２に送信する。
　以上説明したセンシングデバイス１には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータが搭載され、センシングデバイス１の各構成を制御する。
　　＜２－２．感性サーバ＞
　図３は、本実施形態による感性サーバ２の構成の一例を示すブロック図である。図３に示すように、感性サーバ２は、通信部２１、制御部２０、オブジェクトＤＢ２２、および感性情報ＤＢ２４を有する。
　（通信部）
　通信部２１は、ネットワークを介して各オブジェクト（人、物）に装着／搭載されたセンシングデバイス１から、インタラクションに関連する情報（以下、インタラクション情報とも称する）を受信する。また、通信部２１は、外部装置からの要求に応じて、感性情報ＤＢ２４に格納されているインタラクション評価、または感性値算出部２０ｅにより算出した感性値を送信する。
　（制御部）
　制御部２０は、感性サーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部２０は、インタラクション記憶制御部２０ａ、評価部２０ｂ、オブジェクト管理部２０ｃ、関連オブジェクト検索部２０ｄ、および感性値算出部２０ｅとして機能する。
　インタラクション記憶制御部２０ａは、オブジェクトに装着／搭載されたセンシングデバイス１から受信したインタラクション情報を感性情報ＤＢ２４に記憶するよう制御する。
　評価部２０ｂは、感性情報ＤＢ２４に記憶したインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部２０ｂは、インタラクションを行った／受けたオブジェクトにとって何らかの評価指標で定めた基準から算出評価し、具体的には－１．０～１．０の点数を付ける。評価結果は、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。
　オブジェクト管理部２０ｃは、オブジェクトＤＢ２２に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。
　関連オブジェクト検索部２０ｄは、外部装置から要求されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトＤＢ２２や感性情報ＤＢ２４から検索する。
　感性値算出部２０ｅは、感性情報ＤＢ２４に蓄積されているインタラクション情報の評価値に基づいて、オブジェクトの感性値を算出する。感性値の具体的な算出方法については後述する。
　（オブジェクトＤＢ）
　オブジェクトＤＢ（データベース）２２は、各オブジェクトのオブジェクトＩＤを格納する記憶部である。また、オブジェクトＤＢ２２には、オブジェクトＩＤの他、商品名、商品種類、メーカー名（またはメーカーＩＤ）、型番、製造日時等の、オブジェクトに関する多々の情報が格納されている。
　（感性情報ＤＢ）
　感性情報ＤＢ２４は、オブジェクト間のインタラクションや、インタラクションの評価を格納する記憶部である。
　　＜２－３．動作処理＞
　次に、本実施形態による情報処理システム１００の動作処理について図４を参照して説明する。図４は、本実施形態による情報処理システム１００の動作処理を示すシーケンス図である。
　図４に示すように、まず、センシングデバイス１Ａが設けられたオブジェクトＡから、センシングデバイス１Ｂが設けられたオブジェクトＢに対して何らかのインタラクションが行われると、ステップＳ１０３において、センシングデバイス１Ａのインタラクション抽出部１２は、インタラクションを取得し、続くステップＳ１０６において、取得したインタラクションを通信部１３により感性サーバ２に送信する。
　また、インタラクションが行われたオブジェクトＢに設けられたセンシングデバイス１Ｂでも同様の処理が行われる。すなわち、ステップＳ１０９において、センシングデバイス１Ｂのインタラクション抽出部１２は、インタラクションを取得し、続くステップＳ１１２において、取得したインタラクションを通信部１３により感性サーバ２に送信する。
　これにより、オブジェクト間でインタラクションが行われると、双方のオブジェクトでそれぞれインタラクションが取得され、感性サーバ２に送信される。
　次に、ステップＳ１１５において、感性サーバ２のインタラクション記憶制御部２０ａは、各センシングデバイス１から送信されたインタラクションを感性情報ＤＢ２４に記憶し、続くステップＳ１１８において、評価部２０ｂによりインタラクション評価を行う。なお評価部２０ｂによるインタラクション評価も、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。
　そして、ステップＳ１２１において、感性サーバ２の感性値算出部２０ｅは、必要に応じて、インタラクション評価に基づいてオブジェクトの感性値の算出を行う。
　以上、本実施形態による動作処理について説明した。本実施形態の感性サーバ２により収集されたインタラクション履歴に基づいて算出されたオブジェクトの感性値は、オブジェクトの価値を示す新たな指標として様々なサービスで利用することが考えられる。以下、本実施形態による感性値を利用した各種サービスシステムについて、複数の応用例を挙げて説明する。
　　＜＜３．応用例＞＞
　　＜３－１．個人信用情報提供システム＞
　まず、第１の応用例として、感性値を信用力（信頼度）とみなして個人信用情報提供システム１０１で利用する場合について、図５～図１５を参照して説明する。
　従来、個人の信用度を提供する信用情報提供サービスとしては、資産、負債、クレジットカードの契約年数等から算出した信用力が提供されていた。これに対し、本実施形態では、個人の持つ感性値を信用力情報として用いる。また、個人がこれまで関わったオブジェクトとのインタラクションの履歴から、特定の条件（時間やオブジェクトの属性）でフィルタすることで、さまざまな尺度で個人の信用力を可視化することも可能となる。例えば、昔はモノに当たり散らす素行の悪い人間だったが、今はモノを大事に扱う善人であるといったことや、パソコンは大事に扱うが車に乗ると扱いが荒くなるなどの、個人の人間性も感性値に表れる。
　図５は、第１の応用例による個人信用情報提供システム１０１の全体構成を説明する図である。図５に示すように、個人信用情報提供システム１０１は、個人信用情報提供サーバ４と、感性サーバ２とを含む。
　感性サーバ２は、個人信用情報提供システム１０１の会員であるユーザObj.A、ユーザObj.Aが常日頃インタラクションを行っている家Obj.B、車Obj.C、カメラObj.Dからインタラクション情報を取得する。
　また、図５に示すユーザObj.Aと利用者は、個人信用情報提供システム１０１に会員登録する際、それぞれ固有のＩＤと対応付けて登録される。
　ここで、利用者がユーザObj.Aの信用情報を取得する場合を想定する。利用者は、図５に示すように、個人信用情報提供サーバ４に、ユーザObj.AのＩＤ（すなわちオブジェクトＩＤ）と、必要に応じて、期間（例えば開始時間、終了時間）や、関連オブジェクトの属性（例えば商品カテゴリやメーカー名）などの検索条件を指定して、ユーザObj.Aの信用情報の表示を依頼する。
　個人信用情報提供サーバ４は、利用者からの要求に応じて、ユーザObj.AのＩＤと検索条件（期間、関連オブジェクトの属性等）を元に、感性値を感性サーバ２から取得する。この際、ユーザObj.Aとの間にインタラクションが発生した関連オブジェクト（家Obj.B、車Obj.C、カメラObj.D）の感性値も取得され得る。
　そして、個人信用情報提供サーバ４は、取得した感性値に基づいて、ユーザObj.Aの信用力情報を利用者に提供する。期間や関連オブジェクト属性等の検索条件が指定されない場合、ユーザObj.Aの総合的な信用力情報が表示される。また、期間を指定した場合、指定した期間におけるユーザObj.Aの信用力情報が表示される。また、関連オブジェクト属性を指定した場合、ユーザObj.Aに関連するオブジェクトのうち、指定されたオブジェクト属性にマッチしたオブジェクトとのインタラクションに応じた信用力情報が表示される。
　また、信用力情報の表示方法は、感性値の値をそのまま信用力の値として表示してもよいし、グラフ化したり、線表化して可視化してもよい。
　以上、第１の応用例による個人信用情報提供システム１０１の概要について説明した。なお、利用者は、ユーザObj.Aと同じ個人信用情報提供システム１０１に加入していなくてもよく、例えば信販会社を利用してユーザObj.Aの信用情報を取得してもよい。この場合、信販会社の管理サーバ（不図示）が、個人信用情報提供システム１０１の個人信用情報提供サーバ４にアクセスし、ユーザObj.Aの信用情報を取得する。
　（３－１－１．構成）
　次に、個人信用情報提供システム１０１に含まれる個人信用情報提供サーバ４の構成について図６を参照して説明する。
　図６は、本実施形態による個人信用情報提供サーバ４の構成の一例を示すブロック図である。図６に示すように、個人信用情報提供サーバ４は、制御部４０、通信部４１、および商品・ユーザ情報ＤＢ（データベース）４２を有する。
　（通信部）
　通信部４１は、ネットワークを介して利用者の端末（不図示）と接続し、利用者からの要求を受信したり、要求に応じて信用情報を利用者に送信したりする。また、通信部４１は、ネットワークを介して感性サーバ２と接続し、対象オブジェクトの感性値や、関連オブジェクトの感性値を取得する。
　（制御部）
　制御部４０は、個人信用情報提供サーバ４の各構成を制御する。また、制御部４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部４０は、関連商品検索部４０ａ、感性値要求部４０ｂ、結果生成部４０ｃ、表示制御部４０ｄ、およびオブジェクト管理部４０ｅとして機能する。
　関連商品検索部４０ａは、利用者により指定された調査対象者に関連する商品を商品・ユーザ情報ＤＢ４２から検索する。調査対象者に関連する商品とは、例えば調査対象者が所有する商品として予め調査対象者に紐付けられた商品である。
　感性値要求部４０ｂは、利用者により指定された調査対象者の感性値を感性サーバ２に要求する。具体的には、感性値要求部４０ｂは、調査対象者のオブジェクトＩＤと、検索条件がある場合は当該検索条件（期間、関連オブジェクトの属性、関連オブジェクトのオブジェクトＩＤ等）を、通信部４１を介して感性サーバ２に送信する。
　結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した調査対象者の感性値に基づいて、調査対象者の信用力調査の結果を生成する。具体的には、例えば結果生成部４０ｃは、調査対象者の信用力情報を示す結果画面を生成する。
　表示制御部４０ｄは、結果生成部４０ｃにより生成された結果画面を要求元の利用者端末に表示するよう制御する。例えば、表示制御部４０ｄは、結果画面を表示するための情報を、通信部４１を介して利用者端末に送信するよう制御する。
　オブジェクト管理部４０ｅは、商品・ユーザ情報ＤＢ４２に記憶されている商品・ユーザ（オブジェクトの一例）に関する情報の登録、変更、削除等の管理を行う。
　（商品・ユーザ情報ＤＢ）
　商品・ユーザ情報ＤＢ４２は、商品・ユーザに関する情報を記憶する記憶部である。ユーザとは、例えば個人信用情報提供システム１０１に会員登録されたユーザである。また、商品・ユーザ情報には、各商品・ユーザのそれぞれのオブジェクトＩＤが含まれる。
　以上、本応用例による個人信用情報提供サーバ４の構成について説明した。なお個人信用情報提供システム１０１に含まれる感性サーバ２の構成は、図３を参照して説明したため、ここでの説明は省略する。
　［データ構成例］
　次に、個人信用情報提供システム１０１で利用する感性値を算出するために用いられる感性サーバ２のオブジェクトＤＢ２２のデータ例、および感性情報ＤＢ２４のデータ例について、図７、図８を参照して説明する。
　図７は、第１の応用例による感性サーバ２のオブジェクトＤＢ２２のデータ例を示す図である。感性サーバ２のオブジェクトＤＢ２２には、図７に示すように、各オブジェクトを識別するオブジェクトＩＤ、オブジェクトの種類、メーカーＩＤ、型番、シリアル番号、製造日時（オブジェクト生成日時）が対応付けて記憶されている。
　図８は、第１の応用例による感性サーバ２の感性情報ＤＢ２４のデータ例を示す図である。感性情報ＤＢ２４には、オブジェクト間で発生したインタラクションに関する情報が格納されている。上述したように、オブジェクト間でインタラクションが発生した場合、双方のオブジェクトにおいてインタラクションが検出される。図８に示すデータ例では、オブジェクト毎に、そのオブジェクトに生じたインタラクション情報のデータ列が生成されている。ここで、当該データ列において、インタラクションが生じた際の相手オブジェクトは、関連オブジェクトと称する。
　感性サーバ２の感性情報ＤＢ２４には、図８に示すように、インタラクションが生じたオブジェクトのオブジェクトＩＤ、インタラクションの日時・期間、関連オブジェクトＩＤ、インタラクション種類、インタラクションの詳細、インタラクション評価値が対応付けて記憶されている。
　例えば、図８に示すデータ例の１行目では、オブジェクトＩＤ：18000555の人物が、2000年6月21日に、オブジェクトＩＤ：5505の自動車に対して「運転」というインタラクションを行い、当該インタラクションの詳細が「アクセス／ブレーキ操作：丁寧、ハンドル操作：ゆっくり」であって、インタラクション評価値１が付与されている。また、２行目では、オブジェクトＩＤ：5505の自動車が、2000年6月21日に、オブジェクトＩＤ：18000555の人物から「運転」というインタラクションを受け、当該インタラクションの詳細が「燃費：良い、ブレーキ消耗：少」であって、インタラクション評価値１が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。
　検知されるインタラクション種類は、上記運転の他、図８に示すように、オーナー変更、購入、交換、手入れ、清掃等が挙げられる。
　運転のインタラクションは、例えば車に設けられたセンサ１１により運転席に座っている人物を認識し、当該人物が運転席に居る間に車の移動が検知される場合、運転席に座った人物により車が運転されていたことが検知される。
　また、手入れのインタラクションは、例えば家に設けられたセンサ１１で検知した振動や音声の記録、家の各所に設けられたカメラ（センサ１１の一例）の映像、およびユーザが身に着けているセンサ１１からの動作解析に基づいて、さらには登録しているリフォーム会社サーバへ記録参照等に基づいて、家主が家の手入れを行ったことを検出し得る。
　（３－１－２．表示処理）
　続いて、個人信用情報提供システム１０１の表示処理について図９～図１５を参照して説明する。
　［信用ランキング表示］
　図９は、第１の応用例による信用ランキングの表示処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３において、利用者により調査対象者の範囲が指定される。具体的には、利用者端末から、対象者の信用力調査依頼が個人信用情報提供サーバ４に対して行われる。
　次に、ステップＳ２０６において、個人信用情報提供サーバ４の感性値要求部４０ｂは、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して対象者の感性値を要求する。対象者のオブジェクトＩＤは、利用者により指定されてもよいし、商品・ユーザ情報ＤＢ４２から取得されてもよい。若しくは、感性サーバ２側で、個人信用情報提供サーバ４により指定された対象者の氏名等に応じて、当該対象者のオブジェクトＩＤをオブジェクトＤＢ２２から取得してもよい。
　次いで、ステップＳ２０９において、感性サーバ２の感性値算出部２０ｅは、指定された対象者のオブジェクトＩＤに対応付けられたインタラクション評価値に基づいて、感性値を算出する。例えば感性値算出部２０ｅは、対象者と他のオブジェクト間のインタラクション評価値の総和により、対象者のトータル感性値を算出する。若しくは、感性値算出部２０ｅは、対象者と他のオブジェクト間のインタラクション評価値の平均値により対象者のトータル感性値を算出してもよいし、年代に応じた重み付けを行った上で、総和または平均値によりトータル感性値を算出してもよい。
　複数の対象者の感性値が要求されている場合は全員の対象者の感性値の算出が終わるまで、上記Ｓ２０６、Ｓ２０９が繰り返される（Ｓ２１２）。
　続いて、全員の感性値算出が終了すると（Ｓ２１２において「Ｙｅｓ」）、ステップＳ２１５において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値を信用力とみなして、対象者をソートし、信用力のランキング画面を生成する。この際、結果生成部４０ｃは、対象者のトータル信用力に基づいたランキング画面を生成する。
　ここで、図１０に、信用力のランキング画面の一例を示す。図１０に示すように、ランキング画面４５では、調査対象者が個人のトータル信用力に基づいた順で表示される。具体的には、ランキング画面４５は、例えば対象者情報欄４６ａ、４６ｂ、４６ｃを含み、対象者情報欄４６ａ、４６ｂ、４６ｃが信用力の高い順に並べられている。対象者情報欄４６ａ、４６ｂ、４６ｃは、それぞれ、対象者の氏名と、信用力に応じたランク付けを示す星表示が含まれる。
　また、対象者情報欄４６ａ、４６ｂ、４６ｃには、ランキングの根拠となる信用力の数値（すなわち感性値）が表示されていてもよい。また、例えば対象者情報欄４６ｃに含まれる矢印４６１を選択すると、対象者△△△△のオブジェクト属性毎の信用力情報が表示される。オブジェクト属性毎の信用力情報の表示については、図１１～図１３を参照して後述する。また、例えば対象者情報欄４６ｃに含まれる対象者の氏名４６２を選択すると、対象者△△△△の年代毎の信用力情報が表示される。年代毎の信用力情報の表示については、図１４～図１５を参照して後述する。
　そして、図９に戻り、ステップＳ２１８において、表示制御部４０ｄは、結果生成部４０ｃにより生成された結果（ランキング画面）を、要求元の利用者端末に表示するよう制御する。
　［オブジェクト属性毎の信用力情報表示］
　図１１は、第１の応用例によるオブジェクト属性毎の信用力情報の表示処理を示すフローチャートである。図１１に示すように、まず、ステップＳ２２３において、個人信用情報提供サーバ４は、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して感性値を要求する。
　次に、ステップＳ２２６において、感性サーバ２の関連オブジェクト検索部２０ｄは、対象者のオブジェクトＩＤに紐付けられた関連商品のオブジェクトＩＤ（関連オブジェクトＩＤ）を取得する。ここで、対象者のオブジェクトＩＤに紐付けられた関連商品とは、対象者との間にインタラクションが生じた他のオブジェクト（関連オブジェクトとも称す）を示す。また、関連オブジェクト検索部２０ｄは、利用者に指定された検索条件に含まれるオブジェクト属性に基づいて、対象者との間にインタラクションが生じた他のオブジェクトのうち、指定されたオブジェクト属性（すなわちオブジェクト種類）に合致するものを検索してもよい。
　次いで、ステップＳ２２９において、感性サーバ２の感性値算出部２０ｅは、関連オブジェクトＩＤに対応付けられたインタラクション評価値を感性情報ＤＢ２４から取得する。
　次に、ステップＳ２３１において、感性値算出部２０ｅは、関連商品のインタラクション評価値に基づいて、関連商品の感性値を算出する。ここで算出される感性値は、対象者と関連商品との間の相対的感性値である。以下、図１２を参照して関連商品の感性値の算出の一例について説明する。
　図１２は、第１の応用例による対象者の家に対する相対的感性値の算出について説明する図である。図１２に示すように、まず、感性情報ＤＢ２４から、対象者（オブジェクトＩＤ：18000555）が家（オブジェクトＩＤ：11401）に対して行ったインタラクション情報だけが抽出される。そして、感性値算出部２０ｅは、図１２に示すように、抽出したインタラクション情報に基づいて、初期評価値を径年で割ったものに所定の重み係数を掛けたものと、各メンテナンス（手入れ）の評価値を各メンテナンス間隔で割ってそれぞれ所定の重み係数を掛けたものの合計との総和により、対象者と家の相対的感性値を算出する。
　次いで、図１１に戻り、関連商品が複数ある場合は全ての関連商品の感性値の算出が終わるまで、上記Ｓ２２９、Ｓ２３１が繰り返される（Ｓ２３４）。
　続いて、全ての関連商品の感性値算出が終了すると（Ｓ２３４において「Ｙｅｓ」）、ステップＳ２３７において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した関連商品の相対的感性値を信用力とみなして、オブジェクト属性毎の信用力情報の表示画面を生成する。そして、表示制御部４０ｄは、生成されたオブジェクト属性毎の信用力情報の表示画面を要求元の利用者端末で表示するよう制御する。
　ここで、図１３に、オブジェクト属性毎の信用力情報の表示画面の一例を示す。図１３に示すオブジェクト属性毎の信用力情報表示画面４７は、図１０に示すランキング画面４５の対象者情報欄４６ｃに含まれる矢印４６１を選択した際に遷移する画面であって、対象者△△△△と他のオブジェクトとのインタラクション評価値に基づく相対的感性値が信用力として表示される。
　図１３に示すように、例えば家属性に対する信用力情報表示画面４７ａの他、自動車属性に対する信用力情報表示画面４７ｂや、カメラ属性に対する信用力情報表示画面４７ｃが表示され得る。また、信用力は、グラフ化等されていてもよく、信用力に応じたアドバイスも表示される。これにより、例えばホームステイ先やルームシェア、カーシェアリングを行う相手を探す場合等に、相手のトータル信用力の他、個別に、どのような属性のモノに対する信用力（モノの扱い方）がどの程度であるかを知ることができる。
　［信用力年代表示］
　図１４は、信用力の年代表示処理を示すフローチャートである。図１４に示すように、まず、ステップＳ２４３において、個人信用情報提供サーバ４は、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して感性値を要求する。
　次に、ステップＳ２４６において、感性サーバ２の関連オブジェクト検索部２０ｄは、対象者のオブジェクトＩＤに紐付けられた関連商品のオブジェクトＩＤ（関連オブジェクトＩＤ）を取得する。ここで、対象者のオブジェクトＩＤに紐付けられた関連商品とは、対象者との間にインタラクションが生じた他のオブジェクト（関連オブジェクトとも称す）を示す。
　次いで、ステップＳ２４９において、感性値算出部２０ｅは、一つの関連オブジェクトＩＤについて、対象者からのインタラクションを年代別に分け、対象者の年代毎の評価値を取得する。
　次に、ステップＳ２５１において、感性値算出部２０ｅは、評価値に基づいて対象者と関連オブジェクト間の年代別の感性値の算出を行う。この際、感性値算出部２０ｅは、年代別のインタラクション評価値の総和、平均値、重み付けを行った上での総和／平均値等により、年代毎の評価値を取得してもよい。
　続いて、ステップＳ２５４において、感性値算出部２０ｅは、対象者の各年代の感性値を加算し、トータル感性値を取得する。
　次に、関連商品が複数ある場合は全ての関連商品の感性値の算出が終わるまで、上記Ｓ２４９、Ｓ２５１が繰り返される（Ｓ２５７）。
　そして、全ての関連商品の感性値算出が終了すると（Ｓ２５７において「Ｙｅｓ」）、ステップＳ２６０において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した感性値を信用力とみなして、対象者の年代別の信用力情報の表示画面を生成する。そして、表示制御部４０ｄは、生成された対象者の年代別の信用力情報の表示画面を要求元の利用者端末で表示するよう制御する。
　ここで、図１５に、対象者の年代別の信用力情報の表示画面の一例を示す。図１５左に示す信用力情報表示画面４８は、図１０に示すランキング画面４５の対象者情報欄４６ｃに含まれる対象者の氏名４６２を選択した際に遷移する画面であって、対象者△△△△の現在の信用力が表示される。また、信用力情報表示画面４８の年表表示ボタン４８１が選択されると、画面は、図１５右に示す年代別信用力情報表示画面４９に遷移する。年代別信用力情報表示画面４９では、対象者の年代毎の全てのモノに対する信用力（年代別トータル信用力）が表示される。なお、年代別信用力情報表示画面４９では、図１５に示すような、年代毎の全てのモノに対する信用力に限定されず、オブジェクト属性毎の年代別の信用力を表示してもよい。
　以上、第１の応用例による個人信用情報提供システム１０１について説明した。なお、図１０では、人の信用力ランキングが表示されているが、本応用例はこれに限定されず、例えば人とモノが混在した信用力ランキングが表示されてもよい。例えば、ヘルパー先を探す場合に、調査対象を「ヘルパー」に指定すると、人とモノ（ロボット）が一緒にランキング表示され得る。
　　＜３－２．オークションシステム＞
　次に、第２の応用例として、感性値を、出品者の信頼度や、出品商品に込められた思い、扱われた方の丁寧さ等を示すものとみなしてオークションシステム１０２で利用する場合について、図１６～図２６を参照して説明する。
　一般的に、オークションではあるユーザが使っていた物を出品するため、そのユーザと物の関係性から算出されたモノに宿る感性価値に基づいて価格が決まることが利用者にとって好ましい。また、本実施形態による感性価値は、出品したユーザ（出品者）の信頼度の基準として用いることも可能である。本実施形態では、上述したように、感性価値を「感性値」という値に変換して利用することが可能である。また、出品者の信頼度や扱いの丁寧さは、出品したモノ以外のモノとの間のインタラクション評価値に基づく感性値を参照することで、日常的にモノを大事にする人なのか、それともいつも乱雑に扱う人なのかが判断できる。
　図１６は、第２の応用例によるオークションシステム１０２の全体構成を説明する図である。図１６に示すように、オークションシステム１０２は、オークションサーバ５と、感性サーバ２とを含む。
　感性サーバ２は、オークションシステム１０２の会員であるユーザObj.A、ユーザObj.Aが常日頃インタラクションを行っている家Obj.B、車Obj.C、カメラObj.Dからインタラクション情報を取得する。
　また、図１６に示すユーザObj.Aと利用者は、オークションシステム１０２に会員登録する際、それぞれ固有のＩＤと対応付けて登録される。また、ユーザObj.Aは、オークションシステム１０２に商品を出品するとき、当該商品固有のオブジェクトＩＤをオークションサーバ５に送信する。オークションサーバ５は、出品されたオブジェクトのオブジェクトＩＤを元に、当該オブジェクトの感性値を感性サーバ２に要求する。この際、オークションサーバ５は、当該オブジェクトの出品者であるユーザObj.Aの感性値も併せて感性サーバ２に要求する。また、当該オブジェクトが特定の型番や商品名をもつ商品の場合、同じ型番や商品名を有する他の出品商品の情報をオークションサーバ５の商品・ユーザ情報ＤＢ４２（図６参照）から取得し、取得した商品のオブジェクトＩＤを元に、感性サーバ２に感性値を要求してもよい。
　このようなオークションサーバ５による感性サーバ２への感性値の取得は、新たな商品が出品された場合に行ってもよいし、オークションサービスの利用者が、購入する商品を検討する際に、オークションサーバ５に対して商品を指定した場合に行われてもよい。
　そして、オークションサーバ５は、取得した感性値に基づいて、感性値をその商品の信用力（丁寧さ、大事に扱われていたか、思い入れ等）とみなし、感性値順にソートすすることで、より丁寧に扱われてきた商品や利用者の思い入れが入った商品を上位に表示することができる。
　以上、第２の応用例によるオークションシステム１０２の概要について説明した。
　（３－２－１．構成）
　次に、オークションシステム１０２に含まれるオークションサーバ５の構成について図１７を参照して説明する。
　図１７は、本実施形態によるオークションサーバ５の構成の一例を示すブロック図である。図１７に示すように、オークションサーバ５は、制御部５０、通信部５１、および商品・ユーザ情報ＤＢ５２を有する。
　（通信部）
　通信部５１は、ネットワークを介して利用者の端末（不図示）と接続し、利用者からの要求を受信したり、要求に応じて出品商品や出品者の感性値を利用者に送信したりする。また、通信部４１は、ネットワークを介して感性サーバ２と接続し、対象オブジェクトの感性値や、関連オブジェクトの感性値を取得する。
　（制御部）
　制御部５０は、オークションサーバ５の各構成を制御する。また、制御部５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部５０は、関連商品検索部５０ａ、感性値要求部５０ｂ、結果生成部５０ｃ、表示制御部５０ｄ、およびオブジェクト管理部５０ｅとして機能する。
　関連商品検索部５０ａは、調査対象商品に関連する商品を商品・ユーザ情報ＤＢ４２から検索する。調査対象商品に関連する商品とは、例えば調査対象商品と同じ型番、名称の商品である。
　感性値要求部５０ｂは、調査対象商品の感性値を感性サーバ２に要求する。具体的には、感性値要求部５０ｂは、調査対象商品のオブジェクトＩＤと、関連商品がある場合は関連商品のオブジェクトＩＤと、調査対象商品の出品者のオブジェクトＩＤを、通信部５１を介して感性サーバ２に送信する。
　結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した調査対象商品等の感性値に基づいて、調査対象商品等の感性値調査の結果を生成する。具体的には、例えば結果生成部５０ｃは、調査対象商品の感性値を示す結果画面を生成する。
　表示制御部５０ｄは、結果生成部５０ｃにより生成された結果画面を利用者端末に表示するよう制御する。例えば、表示制御部５０ｄは、結果画面を表示するための情報を、通信部４１を介して利用者端末に送信するよう制御する。
　オブジェクト管理部５０ｅは、商品・ユーザ情報ＤＢ４２に記憶されている商品・ユーザ（オブジェクトの一例）に関する情報の登録、変更、削除等の管理を行う。
　（商品・ユーザ情報ＤＢ）
　商品・ユーザ情報ＤＢ５２は、商品・ユーザに関する情報を記憶する記憶部である。ユーザとは、例えばオークションシステム１０２に会員登録されたユーザである。また、商品・ユーザ情報には、各商品・ユーザのそれぞれのオブジェクトＩＤが含まれる。
　ここで、商品・ユーザ情報ＤＢ５２に記憶されている出品商品情報のデータ例を図１８に示す。図１８に示すように、商品・ユーザ情報ＤＢ５２には、各出品商品を識別する出品ＩＤ、種別ＩＤ、商品のオブジェクトＩＤ、出品者のオブジェクトＩＤ、出品日時、オークション終了日時、現在価格、入札リスト、および商品説明が対応付けて記憶されている。
　以上、本応用例によるオークションサーバ５の構成について説明した。なおオークションシステム１０２に含まれる感性サーバ２の構成は、図３を参照して説明したため、ここでの説明は省略する。
　［データ構成例］
　次に、オークションシステム１０２で利用する感性値を算出するために用いられる感性サーバ２の感性情報ＤＢ２４のデータ例について、図１９を参照して説明する。なお、本応用例において用いられるオブジェクトＤＢ２２のデータ例は、図７に示す例と同様のため、ここでの説明は省略する。
　図１９は、第２の応用例による感性サーバ２の感性情報ＤＢ２４のデータ例を示す図である。感性情報ＤＢ２４には、オブジェクト間で発生したインタラクションに関する情報が格納されている。図１９に示すデータ例では、インタラクションが生じたオブジェクトのオブジェクトＩＤ、インタラクションの日時・期間、関連オブジェクトＩＤ、インタラクション種類、インタラクションの詳細、インタラクション評価値が対応付けて記憶されている。
　オブジェクト間でインタラクションが生じた際、双方のオブジェクトでそれぞれインタラクションが抽出され、評価部２０ｂによりそれぞれ評価される。図１９に示す例では、このような双方のオブジェクトでそれぞれ抽出されたインタラクション評価値が同じ値になっているが、本応用例はこれに限定されず、異なる評価値であってもよい。例えばデジタルカメラ（オブジェクトＩＤ：384）に対して、ユーザ（オブジェクトＩＤ：1930213）が行った「操作」というインタラクションが抽出された場合に、操作を行ったユーザはカメラを大事にしていて丁寧に操作したプラスの評価が行われ、一方カメラ側では操作が強引であったり、置くときに乱暴に置かれているなどマイナスの評価が行われ、インタラクションの方向によって異なる評価が生じ得る。
　また、各インタラクションの抽出と評価の一例は次の通りである。
　例えば、運転のインタラクションは、アクセルペダル、ブレーキペダル、ハンドルに搭載されたセンサによって検知されたセンシングデータに基づいて、運転の丁寧さ、荒さといったインタラクションの詳細が分析される。また、運転インタラクションの評価値は、アクセル、ブレーキ、ハンドル操作それぞれの入力値を評価関数に入れて-1.0～1.0の範囲になるように求められる。
　また、カメラ等の操作のインタラクションは、カメラのシャッターボタンを押しこむ力、ダイヤル類を回す速さ／行き過ぎて戻る回数、カメラを置くときの衝撃、鞄などに入っている場合に本体が受ける衝撃をセンサで検知する。評価部２０ｂは、当該センサで検知されたセンシングデータに基づいて各値に重み付けを行い、評価値を算出する。また、評価部２０ｂは、算出した値を-1.0～1.0の範囲に正規化する。
　また、カメラ等の保管のインタラクションは、保管する場所の温度、湿度、埃っぽさ（ダストセンサーで検知可能）をセンシングすることで抽出され、評価部２０ｂは、保管期間中のこれらの値の変化量に基づいて、カメラ等にとっての保管状態の良し悪しを数値化する。また、各パラメータに重み付けを行って評価値を算出してもよい。評価部２０ｂは、算出した値を-1.0～1.0の範囲に正規化する。
　（３－２－２．表示処理）
　続いて、オークションシステム１０２の表示処理について図２０～図２６を参照して説明する。
　［リスト表示］
　図２０は、第２の応用例による出品商品の感性値に応じたリスト表示処理を示すフローチャートである。図２０に示すように、まず、ステップＳ３０３において、利用者により調査対象の出品商品が指定される。
　次に、ステップＳ３０６において、オークションサーバ５の感性値要求部５０ｂは、商品・ユーザ情報ＤＢ５２から、利用者に指定された商品を検索する。また、この際、関連商品検索部５０ａにより、検索された当該商品の情報に関連する商品（同じ型番や名称の他の出品商品）も併せて検索してもよい。
　次いで、ステップＳ３０９において、感性値要求部５０ｂは、各商品のオブジェクトＩＤに基づいて、感性サーバ２に対して対象者の感性値を要求する。
　次に、ステップＳ３１２において、感性サーバ２の感性値算出部２０ｅは、指定された商品のオブジェクトＩＤに対応付けられたインタラクション評価値に基づいて、感性値を算出する。
　複数の商品の感性値が要求された場合は全ての商品の感性値の算出が終わるまで、上記Ｓ３０９、Ｓ３１２が繰り返される（Ｓ３１５）。
　続いて、全ての感性値算出が終了すると（Ｓ３１５において「Ｙｅｓ」）、ステップＳ３１８において、オークションサーバ５の結果生成部５０ｃは、感性値順に商品をソートし、感性値に応じた出品商品のランキング画面を生成する。この際、結果生成部４０ｃは、対象商品のトータル感性値（絶対的感性値）に基づいたランキング画面を生成する。
　ここで、図２１に、出品商品の感性値に応じたリスト表示画面の一例を示す。図２１に示すように、リスト表示画面５５では、調査対象商品が各商品のトータル感性値（絶対的感性値）に基づいた順で表示される。調査対象商品には、利用者が指定した出品商品の他、当該出品商品と同じ型番、名称の出品商品（関連商品）も含まれる。これにより、利用者は、指定した出品商品の他にも同じ種類の出品商品の感性値を併せて知ることができる。
　リスト表示画面５５は、例えば対象商品情報欄５６ａ、５６ｂ、５６ｃを含み、対象商品情報欄５６ａ、５６ｂ、５６ｃが感性値の高い順に並べられている。対象商品情報欄５６ａ、５６ｂ、５６ｃは、それぞれ、対象商品の出品者名と、感性値に応じたランク付けを示す星表示が含まれる。また、対象商品情報欄５６ａ、５６ｂ、５６ｃには、ランキングの根拠となる感性値が表示されていてもよい。
　また、例えば対象商品情報欄５６ａに含まれる矢印５６１を選択すると、出品者○○○○により出品されている商品の感性値に関する詳細情報が表示される。商品の感性値に関する詳細情報の表示については、図２２～図２４を参照して後述する。また、例えば対象商品情報欄４６ｃに含まれる出品者の氏名５６２を選択すると、出品者△△△△の感性値に関する詳細情報が表示される。出品者の感性値に関する詳細情報の表示については、図２５～図２６を参照して後述する。
　そして、図２０に戻り、ステップＳ３２１において、表示制御部５０ｄは、結果生成部５０ｃにより生成された結果（リスト表示画面）を、要求元の利用者端末に表示するよう制御する。
　［出品商品の感性値に関する詳細情報表示］
　図２２は、第２の応用例による出品商品の感性値に関する詳細情報の表示処理を示すフローチャートである。図２２に示すように、まず、ステップＳ３３３において、個人信用情報提供サーバ４は、出品ＩＤから出品商品のオブジェクトＩＤを取得し、感性サーバ２に対して出品商品の感性値を要求する。
　次に、ステップＳ３３６において、感性サーバ２の感性値算出部２０ｅは、オブジェクトＤＢ２２から、商品のオブジェクトＩＤに対応するオブジェクトの詳細内容（商品種類、メーカー、製造日時等）を取得する。
　次いで、ステップＳ３３９において、感性値算出部２０ｅは、感性情報ＤＢ２４から、商品のオブジェクトＩＤでフィルタをかけて、対象商品の全てのインタラクション評価値を取得する（図２３参照）。
　次に、ステップＳ３４１において、感性値算出部２０ｅは、取得した対象商品の全てのインタラクション評価値を、関連オブジェクトＩＤ毎に分類する。ここで、関連オブジェクトＩＤとは、対象商品に対してインタラクションを行ったオブジェクトであって、通常は対象商品の所有者が該当する。
　次いで、ステップＳ３４４において、感性値算出部２０ｅは、一の関連オブジェクトＩＤを選択する。
　次に、ステップＳ３４７において、選択した関連オブジェクトＩＤと、対象商品との相対的感性値を算出する。すなわち、感性値算出部２０ｅは、上記Ｓ３４１で関連オブジェクトＩＤ毎に分類した評価値のうち、上記Ｓ３４４で選択した関連オブジェクトＩＤとのインタラクション評価値を算出する。
　次いで、対象商品に対応する（インタラクション関係のある）全ての関連オブジェクトＩＤの相対的感性値の算出が終わるまで、上記Ｓ３４４、Ｓ３４７が繰り返される（Ｓ３５１）。
　次いで、ステップＳ３５２において、感性値算出部２０ｅは、上記Ｓ３３９で取得した、対象商品の全てのインタラクション評価値に基づいて、対象商品の絶対的感性値を算出する。以下、図２３を参照して出品商品の相対的／絶対的感性値の算出の一例について説明する。
　図２３は、第２の応用例による出品商品の相対的／絶対的感性値の算出について説明する図である。図２３に示すように、まず、感性情報ＤＢ２４から、出品商品（オブジェクトＩＤ：384）でフィルタをかけて、出品商品に関する全てのインタラクション情報を取得する。
　そして、感性値算出部２０ｅは、取得したインタラクション情報に基づいて、商品の絶対的感性値と関連オブジェクトＩＤ（オブジェクトＩＤ：1930213、4649、5963084）毎の感性値（相対的感性値）を算出する。関連オブジェクトＩＤは、商品の歴代の所有者（オーナー）のオブジェクトＩＤである。
　商品の絶対的感性値は、その商品の今までのインタラクション履歴に基づく感性値の総数である。具体的には、図２３に示すように、例えばインタラクション種類毎の平均値にインタラクション種類（操作、保管）に応じた重みａを掛けたものの総和により、商品の絶対的感性値が算出される。
　また、商品の相対的感性値は、その商品の歴代の所有者毎のインタラクション履歴に基づく感性値である。図２３には、一例として、オブジェクトＩＤ：5963084（一の所有者）とデジタルカメラ（オブジェクトＩＤ：384）との相対的感性値の算出式を示す。図２３に示すように、関連オブジェクトＩＤ：5963084とのインタラクション履歴（図２３に示すデータ例のうち３行目および４行目）を用いて、インタラクション種類毎の平均値にインタラクション種類（操作、保管）に応じた重みａを掛けたものの総和により、商品と関連オブジェクトＩＤの相対的感性値が算出される。
　次いで、図２２に戻り、ステップＳ３５４において、オークションサーバ５の結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した商品の感性値に関する詳細情報として、関連オブジェクトＩＤが関係していた年代毎の相対的感性値と主なインタラクション内容、および商品の絶対的感性値（トータル感性値）を表示する画面を生成する。そして、表示制御部５０ｄは、生成された詳細情報表示画面を要求元の利用者端末で表示するよう制御する。
　ここで、図２４に、出品商品の感性値に関する詳細情報表示画面の一例を示す。図２４に示す出品商品の詳細情報表示画面５７は、図２１に示すリスト表示画面５５の対象商品情報欄４６ａに含まれる矢印５６１を選択した際に遷移する画面であって、出品者○○○○により出品された商品の感性値に関する詳細情報が表示される。
　図２４に示す詳細情報表示画面５７では、出品者○○○○により出品された商品の歴代オーナー毎の相対的感性値（0.92、－0.56、0.80）が時系列で示され、また、併せて当該商品のトータル感性値（絶対的感性値）が表示される。これにより、利用者は、これまで商品がどのように扱われていたか、どのような思いが込められているかを把握することができる。このように、商品の新たな価値として、今までの扱われ方等に基づく感性価値を客観的に示す感性値が明示される。
　［出品者の感性値に関する詳細情報表示］
　図２５は、出品者の感性値に関する詳細情報の表示処理を示すフローチャートである。図２５に示すように、まず、ステップＳ３６３において、個人信用情報提供サーバ４は、出品ＩＤから出品者のオブジェクトＩＤを取得し、感性サーバ２に対して出品者の感性値を要求する。
　次に、ステップＳ３６６において、感性サーバ２の感性値算出部２０ｅは、オブジェクトＤＢ２２から、出品者のオブジェクトＩＤに対応するオブジェクトの詳細内容（氏名、性別、年齢等）を取得する。
　次いで、ステップＳ３６９において、感性値算出部２０ｅは、感性情報ＤＢ２４から、出品者のオブジェクトＩＤでフィルタをかけて、出品者の全てのインタラクション評価値（今までのインタラクション情報履歴）を取得する。
　次に、ステップＳ３７１において、感性値算出部２０ｅは、取得した出品者の全てのインタラクション評価値を、関連オブジェクトＩＤ毎に分類する。ここで、関連オブジェクトＩＤとは、対象者との間にインタラクション関係があるオブジェクトであって、通常は出品者の所有物品や、出品者が出品している他の出品商品が該当する。
　続いて、ステップＳ３７４において、感性値算出部２０ｅは、関連オブジェクト毎に感性値（相対的感性値）を算出し、また、その合計値（絶対的感性値）を算出し、オークションサーバ５に送信する。オークションサーバ５の結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した出品者の感性値に関する詳細情報として、関連オブジェクトＩＤ毎の相対的感性値と主なインタラクション内容、および出品者の絶対的感性値（トータル感性値）を表示する画面を生成する。そして、表示制御部５０ｄは、生成された詳細情報表示画面を要求元の利用者端末で表示するよう制御する。なお、出品者のトータル感性値（絶対的感性値）は、関連オブジェクト毎の感性値（相対的感性値）の総和であってもよいし、平均値であってもよいし、また、インタラクション種類毎に重み付けを行った上で評価値を合算、平均して算出されてもよい。
　ここで、図２６に、出品者の感性値に関する詳細情報表示画面の一例を示す。図２６に示す出品者の詳細情報表示画面５８は、図２１に示すリスト表示画面５５の対象商品情報欄４６ｃに含まれる出品者の氏名５６２を選択した際に遷移する画面であって、出品者△△△△の感性値に関する詳細情報が表示される。
　図２６に示す詳細情報表示画面５８では、出品者△△△△の各商品に対する相対的感性値（-0.32、0.12、－0.3）が示され、また、併せて出品者のトータル感性値（絶対的感性値）が表示される。これにより、利用者は、出品者の信頼度や扱いの丁寧さについて、出品商品以外のモノとの感性値を見ることで、日常的にモノを大事にする人なのか、若しくは普段から乱雑な扱いをする人なのかを判断することができる。出品商品の落札前に、出品者の感性値を見て人間性を知ることができる。
　なお、詳細情報表示画面５８には、出品者の情報として、出品者により公開可能に設定されている他の情報（年齢、性別等）が表示されてもよい。
　以上、第２の応用例によるオークションシステム１０２について説明した。
　　＜３－３．環境調整システム＞
　次に、第３の応用例として、感性値を、移動するユーザの周囲環境を局所的に調整する環境調整システム１０３で利用する場合について、図２７～図３４を参照して説明する。
　図２７は、第３の応用例による環境調整システム１０３の全体構成を説明する図である。図２７に示すように、環境調整システム１０３は、ユーザに追従してユーザの周辺環境を変化させる移動体６と、移動体６を制御する環境調整サーバ７とを含む。環境調整サーバ７は、アクセスポイント等を介して移動体６と通信し、移動体６の移動制御等を行う。移動体６は、図１に示すように、複数の移動体６ａ～６ｃであってもよく、それぞれ屋外等に設置された各ベースステーションを基点として移動することができる。
　環境調整サーバ７は、ネットワーク３を介して、感性サーバ２やヒートマップサーバ７５と接続し、移動体６の移動制御を行う際に必要な情報を取得する。例えば環境調整サーバ７は、ユーザの感性値を感性サーバ２から取得し、感性値に応じて環境調整制御を行うことができる。
　また、環境調整サーバ７は、移動体６をユーザに追従させ、ユーザの感情に応じて周囲の環境を局所的に変化させることで、ユーザにより快適な環境を提供することができる。
　移動体６は、図２７に示すような小型の飛行型ドローンにより実現され、移動するユーザに追従して飛行することができる。図２８は、本応用例の移動体６による環境調整の一例を説明する図である。図２８に示すように、例えば移動体６は、移動するユーザの上方に位置しながら追従飛行して、雨傘や日傘として機能し、雨や直射日光がユーザに当たらないようにすることで、局所的に周辺環境を変化させることができる。また、移動体６は、必要に応じてカバー範囲を広げることもできる。例えば、図２８に示すように、移動体６の中心から円状に板状部材６５１を広げることで、カバー範囲を広げることができる。
　なお移動体６は、図２７に示す飛行物体に限定されず、例えば地上を移動してユーザを追従するロボット型の移動体や、水上移動体であってもよい。
　以上、本開示による環境調整システム１０３の概要について説明した。
　（３－３－１．構成）
　次に、本応用例による環境調整システム１０３に含まれる移動体６および環境調整サーバ７の構成について順次説明する。なお、感性サーバ２の構成は、図３を参照して既に説明したので、ここでの説明は省略する。
　［移動体６の構成］
　図２９は、本応用例による移動体６の構成の一例を示す図である。図２９に示すように、移動体６は、通信部６１、対象物センサ６２、移動体制御部６３、環境センサ６４、および変形制御部６５を有する。
　通信部６１は、環境調整サーバ７とデータの送受信を行う。例えば通信部６１は、対象物センサ６２や環境センサ６４で取得したセンサ情報を環境調整サーバ７へ送信し、また、移動制御や変形制御の指示を含む制御情報を環境調整サーバ７から受信する。
　対象物センサ６２は、追従対象物に関する情報を取得する検知部である。ここで、追従対象物とは、例えば屋外を移動するユーザが該当する。また、対象物センサ６２は、例えばカメラ６２ａ、赤外線カメラ６２ｂ、無線信号受信部６２ｃ、またはマイクアレイ６２ｄを含み、ユーザに関する情報を取得する。
　移動体制御部６３は、移動体６の移動を制御する機能を有する。具体的には、移動体制御部６３は、動力駆動部６３ａおよび姿勢制御部６３ｂにより構成される。動力駆動部６３ａは、例えばプロペラ、車輪、歩行脚により実現され、移動体制御部６３の制御に従って対象ユーザを追従するよう駆動する。また、姿勢制御部６３ｂは、ジャイロセンサ等により移動体６の姿勢を検知し、動力駆動部６３ａを制御して移動体６の傾きや高度を調整する。本開示による移動体制御部６３は、例えば移動体６がユーザの雨避けや日除けになるよう移動体６の飛行経路や高度を制御することで、ユーザの周囲環境を局所的に変化させることができる。
　環境センサ６４は、周囲の環境に関する情報を取得する検知部である。環境センサ６４は、具体的には、例えば緯度経度測位部６４ａ、または高度センサ６４ｂにより環境情報を取得する。なお環境センサ６４の具体例はこれに限定されず、さらに必要に応じて温度センサや湿度センサ等を有していてもよい。
　変形制御部６５は、雨避けや日除けのカバー範囲を拡大するよう移動体６の形状を変形させる制御を行う。
　以上説明した移動体６には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータが搭載され、移動体６の各構成を制御する。
　［環境調整サーバ７の構成］
　図３０は、環境調整サーバ７の構成の一例を示すブロック図である。図３０に示すように、環境調整サーバ７は、通信部７１、制御部７０、およびユーザＤＢ７２を有する。
　通信部７１は、外部装置とデータの送受信を行う。具体的には、例えば通信部７１は、移動体６から対象物情報や環境情報を受信し、また、移動体６の移動を制御するための制御情報を移動体６に送信する。また、通信部７１は、ネットワーク３を介して、感性サーバ２やヒートマップサーバ７５から所定のデータを取得する。
　制御部７０は、環境調整サーバ７の各構成を制御する。具体的には、制御部７０は、移動体６を対象ユーザに追従させ、ユーザの感情に応じて対象ユーザの周辺環境を変化させるよう制御する。また、制御部７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。
　ここで、制御部７０は、ユーザ設定管理部７０ａ、対象物検出部７０ｂ、感情推定部７０ｃ、環境情報取得部７０ｄ、ヒートマップ生成／取得部７０ｅ、感性値算出部７０ｆ、および移動体制御部７０ｇとして機能する。
　ユーザ設定管理部７０ａは、本システムの利用ユーザの情報の登録、変更、削除といった管理を行う。利用ユーザの情報とは、例えばユーザ名、識別番号、顔画像、年齢、性別、趣味・嗜好、自宅住所、勤務地、行動パターン等である。
　対象物検出部７０ｂは、移動体６から送信された対象物センサ情報に基づいて、移動体６の周囲に居る人物や人物が所持している物等の検出を行う。具体的には、例えば対象物検出部７０ｂは、移動体６から送信された撮像画像を解析し、ユーザＤＢ７２に登録済みの利用ユーザの顔画像と照合することで、対象ユーザを検出することができる。または、対象物検出部７０ｂは、移動体６が、ユーザに装着されたスマートバンド等の無線通信装置から受信したユーザの識別情報に基づいて、対象ユーザを検出することもできる。
　感情推定部７０ｃは、対象物検出部７０ｂにより検出された対象ユーザの感情を推定する。具体的には、例えば感情推定部７０ｃは、対象ユーザの生体情報（脈拍、体温、発汗量、脳波、等）に基づいて、対象ユーザの感情を推定する。生体情報は、ユーザが装着するスマートバンドにより取得され、移動体６へ送信され、さらに移動体６から環境調整サーバ７に送信される。
　また、感情推定部７０ｃは、対象ユーザの属性（性別、年齢、身長、体重、性格、職業等）や趣味・嗜好、周辺環境に基づいて、対象ユーザの感情を推定することもできる。
　環境情報取得部７０ｄは、通信部７１を介して、移動体６から周辺環境に関する情報を取得する。具体的には、環境情報取得部７０ｄは、移動体６の環境センサ６４により検知されたデータ（緯度経度、高度等）を環境情報として取得する。また、環境情報取得部７０ｄは、移動体６の位置（緯度経度情報）に応じて、周囲の地形情報や建物情報等を所定のサーバから環境情報として取得してもよい。
　ヒートマップ生成／取得部７０ｅは、感情推定部７０ｃの推定結果と、環境情報取得部７０ｄから出力された環境情報に基づいて、感情を地理的にマップした感情ヒートマップを生成する。より具体的には、ヒートマップ生成／取得部７０ｅは、複数のユーザの感情推定結果に基づいて、どの場所でどのような感情になった人が多いかを示す感情ヒートマップを生成する。
　また、ヒートマップ生成／取得部７０ｅは、環境情報取得部７０ｄから出力された環境情報（緯度経度、高度、地形情報、建物情報等）に基づいて、対象ユーザの現在地周辺の環境ヒートマップを生成する。
　このように生成されたヒートマップは、ネットワーク上のヒートマップサーバ７５に格納されてもよいし、環境調整サーバ７の記憶部（不図示）に格納されてもよい。また、ヒートマップは定期的に更新され得る。
　さらに、ヒートマップ生成／取得部７０ｅは、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを生成することもできる。
　感性値算出部７０ｆは、対象物検出部７０ｂにより検出された対象ユーザの、所持品や一緒に居る人物（関連オブジェクト）に対する感性値（すなわち相対的感性値）を算出する。具体的には、感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤに対応付けられたインタラクション評価値を感性サーバ２から取得し、当該インタラクション評価値に基づいて対象ユーザの関連オブジェクト毎の相対的感性値を算出する。
　例えば、対象ユーザが所持している時計に対して、頻繁に手入れを行ったといったインタラクションの評価や、専用ケースに保管したといったインタラクションの評価が感性サーバ２に格納されており、感性値算出部７０ｆは、このような対象ユーザのインタラクション評価を取得して感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト（関連オブジェクト）に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい。なお対象ユーザのオブジェクトＩＤは、ユーザＤＢ７２から取得し得る。
　移動体制御部７０ｈは、ヒートマップ生成／取得部７０ｅから出力された統合ヒートマップに基づいて、対象ユーザが移動する経路において、環境を変化させるべきエリアを判断し、移動体６によりユーザの周辺環境を変化させるよう制御する。環境を変化させるべきエリアの判断は、例えば統合ヒートマップの値が所定の閾値より高いか否かに基づいて行う。このように、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを利用することで、対象ユーザが移動する経路において、例えば雨に濡れやすい場所を通る時は移動体６を対象ユーザに追従させて雨避けを実現することで対象ユーザの周辺環境を局所的に変化させ、対象ユーザを快適な状態にさせることができる。
　また、移動体制御部７０ｈは、移動体６により対象ユーザの周辺環境を変化させる際、感性値算出部７０ｆにより取得された、対象ユーザの所持品や一緒にいる人物に対する感性値（大事に思っている度合い）に応じて、移動体６によるカバー範囲を拡大したり、対象ユーザよりも優先してカバーしたりといった制御を行うことも可能である。
　以上、本応用例に含まれる各装置の構成について具体的に説明した。なお、本応用例では、環境調整サーバ７の感性値算出部７０ｆにより感性値を算出する旨を説明したが、感性値の算出は、感性サーバ２側で行われもよい。
　（３－３－２．動作処理）
　次に、本応用例による動作処理について、図３１、図３２を参照して説明する。
　［環境調整処理］
　図３１は、環境調整処理を示すフローチャートである。図３１に示すように、まず、ステップＳ４０３において、環境調整サーバ７は、対象ユーザの現在地および目的地の環境情報と、目的地到着時刻情報を取得する。
　次に、ステップＳ４０６において、環境調整サーバ７の感情推定部７０ｃは、ユーザの属性、趣味・嗜好、または生体情報等を取得する。
　次いで、ステップＳ４０９において、感情推定部７０ｃは、ユーザの感情を推定する。すなわち、感情推定部７０ｃは、ユーザの属性、趣味・嗜好、または生体情報等に基づいて、現在地から目的地までの経路上で、現状の環境下においてユーザがどのような感情になるかを推定することができる。例えば、ユーザが３０代の女性で、普段から日傘を持ち歩いていることが過去の行動履歴や会話、書き込みなどから抽出され、また、購買履歴から日焼け止めや日傘を購入していることが抽出されると、当該女性は紫外線や直射日光、日焼けに対して恐れの感情（不快な感情）を抱いていることが推定される。
　続いて、ステップＳ４１２において、環境調整サーバ７の制御部７０は、推定結果に基づいて、環境変化が必要か否かを判断する。具体的には、例えば制御部７０は、ユーザが紫外線や直射日光、日焼けに対して恐れの感情（不快な感情）を抱いている場合に、現在地や目的地の天候が快晴であって、直射日光が当たる環境である場合、環境変化が必要と判断する。
　次に、環境変化が必要な場合（Ｓ４１２において「Ｙｅｓ」）、ステップＳ４１５において、移動体制御部７０ｇは、対象ユーザの周辺環境を変化させるよう移動体６の制御を行う。具体的には、移動体制御部７０ｇは、移動体６を対象ユーザに追従させ、対象ユーザ周辺の環境を変化させるよう、雨避け、日除けとなる位置で飛行させる。
　次に、ステップＳ４１８において、環境調整サーバ７は、ユーザが目的地に着いたか否かを判断する。目的地に着いた場合、環境調整動作が終了するので、例えば移動体制御部７０ｇは、移動体６を所定のベースステーションに戻すよう制御する。
　そして、ユーザが目的地に着いていない場合（Ｓ４１８において「Ｎｏ」）、ステップＳ４２１において、環境調整サーバ７は、対象物検出部７０ｂおよび環境情報取得部７０ｄにより、ユーザの現在位置情報、および現在地の環境情報を取得し、上記Ｓ４１５を繰り返す。
　［カバー範囲変更処理］
　次に、移動体６のカバー範囲の変更処理について図３２を参照して説明する。本応用例では、対象ユーザの感性値に基づいて、カバー範囲を変更することが可能である。これにより、日頃から対象ユーザが大切にしている物を優先してカバーしたり、対象ユーザにとって大事な人もカバーしたり等、対象ユーザの気持ちに応じた環境調整を行うことが可能となる。
　図３２は、範囲変更処理を示すフローチャートである。図３２に示すように、まず、ステップＳ４３３において、環境調整サーバ７の感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤを決定する。
　次に、ステップＳ４３６において、移動体６の周囲情報を、対象物センサ６２、環境センサ６４によりセンシングし、対象ユーザの情報と周辺環境の情報を取得する。
　次いで、ステップＳ４３９において、決定した対象ユーザが検出できるまで上記Ｓ４３６を繰り返す。
　続いて、対象ユーザが検出できた場合（Ｓ４３９において「Ｙｅｓ」）、ステップＳ４４２において、対象物検出部７０ｂは、対象ユーザと共に移動している他の物体（ベビーカーや、荷物等）または対象ユーザと共に移動している人物を検出する。
　次いで、ステップＳ４４５において、感性値算出部７０ｆは、検出された他の物体や人物のオブジェクトＩＤを取得する。これらのオブジェクトＩＤ（関連オブジェクトＩＤとも称す）は、予めユーザＤＢ７２に登録されていてもよいし、移動体６のカメラ６２ａで取得した撮像画像の解析結果に基づいて感性サーバ２に問い合わせを行い、関連オブジェクト検索部２０ｄによりオブジェクトＤＢ２２から検索されたものであってもよい。
　続いて、ステップＳ４４８において、感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤと、対象ユーザと共に移動している他の物体や人物のオブジェクトＩＤを指定し、対象ユーザと他の物体や人物間のインタラクション評価値を、感性サーバ２から取得する。インタラクション評価値は、例えば対象ユーザから他の人物に対する会話、メール、若しくは対象ユーザから物体に対する保管、メンテナンス、着用、鑑賞等の行為の評価値が、－１．０～１．０で正規化されたものである。ここで、感性値算出に用いられる具体的なインタラクション評価のデータ例について、図３３、図３４を参照して説明する。
　図３３は、本応用例によるインタラクション評価のデータ例を示す図である。図３３は、移動体６が例えば雨傘として機能する際に用いられるインタラクション評価の一例である。状況としては、対象ユーザ（オブジェクトID: 70007）が、職場の同僚（オブジェクトID: 70008）と外で昼食を終えた後、職場に戻ろうとすると雨が降っている場合を想定する。この際、移動体６で、対象ユーザに加えて、職場の同僚も雨から逃れるようにカバーして飛行するかどうか（カバーする場合はどの程度カバーするか、二人を平等にまたはどちらかを優先してカバーするか等）を決定するため、移動体制御部７０ｇは、感性サーバ２から、図３３に示すようなインタラクション評価値を取得する。
　図３３に示すインタラクション評価例では、例えば会話、メール、職場外接触といったインタラクションが発生した際の当該インタラクションの評価値が含まれる。会話インタラクションの評価は、例えば音声認識による会話中のユーザの発話トーンに基づく好感度合い、音声認識と構文解析で分かる会話内容（この場合仕事以外のパーソナルな内容についても会話されたかどうか）に基づく親しみ度合い、画像解析に基づくユーザの笑顔度合い、画像認識に基づく両者が目を合わせた回数等により評価される。また、メールインタラクションの評価は、構文解析に基づくメール文面の親しさ度合い、かしこまり度合い、メールの回数等を用いて評価される。また、職場外接触インタラクションの評価は、職場内と職場外のインタラクションであるかどうかを位置情報またはその他のセンサで検出し、職場以外で共に過ごした時間、近くにいた時間、会話が行われた場合は会話インタラクション評価に基づいて、評価される。
　図３３に示す例では、対象ユーザ（オブジェクトID: 70007）からみた職場の同僚（オブジェクトID: 70008）の評価は徐々に高くなっているので、好感度が高いことが推測できる。また職場の同僚（オブジェクトID: 70008）からみた対象ユーザ（オブジェクトID: 70007）も、徐々に高くはなってはいるが、対象ユーザ（オブジェクトID: 70007）からみた職場の同僚（オブジェクトID: 70008）への評価よりは低く、互いの評価が異なることが分かる。
　対象ユーザ（オブジェクトID: 70007）が移動体６を呼び出した場合、感性値算出時のインタラクション種類に応じた評価の重み付けにもよるが、対象ユーザ（オブジェクトID: 70007）が職場の同僚（オブジェクトID: 70008）に対して好感を持っていることは、算出される感性値の高さから分かるため、移動体制御部７０ｇは、移動体６により対象ユーザと一緒にいる職場同僚もカバーするよう制御する。
　図３４は、本応用例によるインタラクション評価の他のデータ例を示す図である。図３４は、移動体６が例えば日傘として機能する際に用いられるインタラクション評価の一例である。状況としては、対象ユーザ（オブジェクトID：8165）が、自分にとっては宝物である骨董品であって、かつ父親から譲り受けた形見の腕時計（オブジェクトID：80075）を身につけている場合に日差しが強い場合を想定する。対象ユーザにとって、この腕時計は重要なものであって、自分の身体よりも優先してカバーしてほしい（直射日光に当てたくない）という思いがある。
　図３４に示すインタラクション評価例では、例えば保存、メンテナンス、着用、手入れ、鑑賞といったインタラクションが発生した際の当該インタラクションの評価値が含まれる。保存のインタラクションに関しては、保存場所の光度(暗さ度合い)、湿度、温度、これらの値の平均値と一定に保たれている度合いによって評価が決まる。この例では、専用ケースを利用しているということで、その評価は極めて高い。また、ユーザは猛暑であった夏季期間中は腕時計を専用保管ケースに入れ保管したので、その評価はさらに重み付けされ、他の保管期間も更により高い（通常は0.3であるが、１、２行目は0.5)。また、晩餐会の後は手入れをし忘れて保管した場合、保管時の評価は下がるので、保管時の手順などもその評価に影響する。また、ものによっては保管期間が長く続くことによって、愛着がないということで、その評価が下がることもあるが、この腕時計に関しては、ユーザにとって大事にされているものなので、保管時の時間的要素は影響ないとする。
　また、メンテナンスの評価は、そのメンテナンス内容の予め規定された指数、かつメンテナンスを行ったプロの評価、またはその他の客観的なランキングの指数などによって評価される。例えば完全オーバーホールという内容や、今までも利用していたショップでのメンテナンスの場合、評価は高くなる。
　着用の評価は、ユーザが時計を着用して出掛けるイベント（外出先等）の重要度、特別度に応じて評価される。例えば普段は行かない特別なイベントの場合、時計を着用することの評価は高くなる。一方、年に何回も行われるプレスイベントに参加した場合に時計を着用していたことの評価は低くなる。その他、着用時の光度、温度、湿度、他人との接近度合いなども評価値に影響する。
　また、手入れのインタラクションは、手入れ工程に沿って、各パーツを分解して手入れされたかを映像で解析等して評価される。
　鑑賞の評価は、その時計を鑑賞していた時間、そのときのユーザの顔の表情に基づいて鑑賞インタラクションが検出され、その幸福度合い、脳波によるリラックス度合いなどに応じて評価される。また、鑑賞している際のユーザのアクション、例えば友達に形見であることを明示的に伝えていることを会話の音声認識、構文解析等により検出されると、高い評価がされる。
　感性値算出部７０ｆは、このようなユーザが身に着けているものとのインタラクション評価に基づいて、ユーザのモノに対する思いや、当該モノに込められた思いを感性値として算出する。そして、移動体制御部７０ｇは、ユーザが身に着けている腕時計の重要性を、感性値に基づいて判断し、移動体６により対象ユーザよりも優先して腕時計を直射日光からカバーするよう制御する。
　次に、図３２に戻り、ステップＳ４５１において、感性値算出部７０ｆは、他の物体／人物に対する対象ユーザの感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト（関連オブジェクト）に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい（下記式１参照）。
Figure JPOXMLDOC01-appb-I000001
　また、上記式１は、人間同士のインタラクション評価値に基づいて感性値を算出する場合であって、評価値に対する時間経過の重み付け関数TW(t)を用いている。t はインタラクション時刻（または評価時刻）を指定し、インタラクションが行われた時間からどの程度経過しているかによって重み付けを行う。人間同士の関係の場合、過去のインタラクションよりも最近のインタラクションを重視するためである。
　続いて、ステップＳ４５４において、移動体制御部７０ｇは、感性値算出部７０ｆにより算出された感性値に基づいて、カバー範囲の変更が必要か否かを判断する。具体的には、移動体制御部７０ｇは、対象ユーザの他の物体／人物に対する相対的感性値が閾値より高い場合、他の物体／人物も対象ユーザと共に、または対象ユーザよりも優先してカバーするよう判断する。
　そして、カバー範囲の変更が必要な場合（Ｓ４５４において「Ｙｅｓ」）、ステップＳ４５７において、移動体制御部７０ｇは、カバー範囲を変更するよう移動体６に指示を行う。
　以上により、本応用例では、例えば対象ユーザが大事にしている骨董品を持ち歩く際に、少しでも太陽や雨が当たらないよう移動体６によりカバーしたり、子供や親友と一緒の場合はカバー範囲を共有したりすることができる。
　　＜３－４．テレプレゼンスシステム＞
　次に、第４の応用例として、感性値を、遠隔地の通信を制御するテレプレゼンスシステム１０４におけるプライバシーレベルの設定を行う際に利用する場合について、図３５～図４１を参照して説明する。
　図３５は、第４の応用例によるテレプレゼンスシステム１０４の全体構成を説明する図である。図３５に示すように、本応用例によるテレプレゼンスシステム１０４は、複数の空間（例えば部屋Ｒ１、Ｒ２）を結び、一方の空間の映像を他方に提供することで、遠隔地の空間にいるユーザ同士のコミュニケーションを図ることができる。具体的には、テレプレゼンスシステム１は、部屋Ｒ１に存在するユーザＡの様子を、部屋Ｒ１に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ２に設けられた表示部８２ａ－２およびスピーカから出力させる。また、テレプレゼンスシステム１０４は、同様に部屋Ｒ２に存在するユーザＢの様子を部屋Ｒ２に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ１に設けられた表示部８２ａ－１およびスピーカから出力させる。
　このように、互いの様子が高解像度カメラで撮像され、相手側に提供されることで、遠隔地に居るユーザ同士であっても、よりリアリティのある密なコミュニケーションを取ることができる。しかしながら一方で、ユーザのプライバシーをコントロールする手段も必要となる。
　本応用例によるテレプレゼンスシステム１０４では、テレプレゼンスにおけるプライバシーレベルを相手に応じて自動的に設定することで、プライバシーを適度に保つことができる。具体的には、設定されたプライバシーレベルに応じて相手側に提供する映像をマスクすることで、部屋の映像の一部を見せたくないといったユーザの要望に対して、通信をＯＦＦして一方的に切断することなく対応することができる。
　本応用例では、かかるプライバシーレベルの設定に、相手の人間性や信頼度を示す所定の指標である感性値を用いる。
　例えば、ユーザＢの感性値が高い場合、ユーザＢは信頼度の高い人物であると言えるため、テレプレゼンスシステム１０４はユーザＡのユーザＢに対するプライバシーレベルを低く設定し、ユーザＢに公開する映像の領域を大きくする。一方、ユーザＢの感性値が低い場合、ユーザＢは信頼度の低い人物であると言えるため、テレプレゼンスシステム１０４はユーザＡのユーザＢに対するプライバシーレベルを高く設定し、ユーザＢに公開する映像の領域を小さく、若しくは通信をＯＦＦするよう制御する。
　ここで、設定されたプライバシーレベルに応じて行う相手への公開映像（ユーザＡの撮像画像）の領域の制御は、映像を所定手段でマスクすることにより実現する。映像のマスク手段としては、例えば公開映像（ユーザＡの撮像画像）に画像を重畳表示し、公開映像の少なくとも一部を隠すことで、ユーザＡのプライバシーを適度に保つことができる。本応用例では、重畳する画像に、一例として障子画像を用いる。障子は左右の移動により開閉するため、操作した人の意図が残せるデバイスでもある。すなわち、障子の場合は、蝶番部分を軸として回転する方式の扉や窓と異なり、少し開いた状態で停止させていても不安定ではなく、操作した人の意図（どの程度開けていたいか）が残る。ユーザＢは、障子画像によりどの程度隠されているか（仮想的な障子の開き具合、すなわち開度）により、ユーザＡがどの程度なら公開してもよいと思っているかを直感的に把握することができる。
　プライバシーレベルは、このような障子画像の仮想的な障子開度として設定される。つまり、プライバシーレベルを低くする場合は開度を大きく、プライバシーレベルを高くする場合は開度を小さくする。また、障子画像の開度（プライバシーレベル）は、通信元と通信先とで共有されるようにしてもよい。これにより、ユーザＡは、自らのプライバシーレベルがどの程度に設定されているかを、表示部８２ａ－１に表示された障子画像の開度を見て直感的に把握することができる。
　図３６は、本応用例による障子画像の表示例について説明する図である。図３６に示すように、ユーザＡが存在する部屋Ｒ１には、表示部８２ａ、カメラ８２ｂ、およびマイクアレイ８２ｃが壁面に設けられている。表示部８２ａは、表示部８２ａに部屋Ｒ２の撮像画像８２１と障子画像８２２が表示された際、実際に部屋Ｒ１の壁に障子が存在し、遠隔地の部屋Ｒ２があたかも隣に存在するかのような臨場感や一体感を実現するよう、部屋Ｒ２の壁面かつ表示部８２ａの下端が床に近接するよう配置される。また、カメラ８２ｂおよびマイクアレイ８２ｃは、一例として、表示部８２ａの上方に設置されている。
　表示部８２ａには、部屋Ｒ２から送信された撮像画像８２１と、当該撮像画像８２１をマスクする障子画像８２２が表示される。障子画像８２２は、撮像画像８２１に重畳表示され、プライバシーレベルに応じて開度が調整される。
　以上、本応用例によるテレプレゼンスシステム１０４の概要について説明した。なお、図３６に示す例では、プライバシーコントロール手段の一例として障子画像８２２を用いたが、本応用例はこれに限定されず、例えばカーテン、ロールカーテン、御簾、ブラインド、曇りガラス、液晶シャッター等の画像を同様に用いてもよい。プライバシーコントロール手段がカーテン画像、ロールカーテン画像、御簾画像、またはブラインド画像の場合、プライバシーレベルはその開度として設定され、曇りガラス画像または液晶シャッターの場合、プライバシーレベルはその透過度として設定される。
　また、上述したテレプレゼンスシステム１０４では、部屋Ｒ１のデータ送受信が第１の通信制御装置（不図示）により制御され、部屋Ｒ２のデータ送受信が第２の通信制御装置（不図示）により制御される。第１、第２の通信制御装置は、ネットワークを介して接続し、互いにデータの送受信を行う。
　（３－４－１．構成）
　続いて、テレプレゼンスシステム１０４に含まれる通信制御装置の構成について図３７を参照して説明する。図３７は、第４の応用例による通信制御装置８の構成の一例を示すブロック図である。通信制御装置８は、テレプレゼンスシステム１で結ばれる空間におけるデータの送受信を制御する。
　図３７に示すように、本実施形態による通信制御装置８は、制御部８０、通信部８１、テレプレゼンス部８２、各種センサ８３、カレンダー・時計部８５、および記憶部８７を有する。
　［制御部８０］
　制御部８０は、通信制御装置８の各構成を制御する。制御部８０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部８０は、相手ユーザ情報取得部８０ａ、感性値算出部８０ｂ、開度設定部８０ｃ、テレプレゼンス制御部８０ｄ、ジェスチャー検出部８０ｅ、および感情情報取得部８０ｆとして機能する。
　相手ユーザ情報取得部８０ａは、通信先の相手ユーザに関する情報を取得する。
　感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤに基づいて、相手ユーザに対応付けられたインタラクション評価値を感性サーバ２から取得し、相手ユーザの感性値を算出する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部８０ａにより取得してもよいし、特定サーバに問い合わせて取得してもよいし、記憶部８７に予め登録されていてもよい。感性値算出部８０ｂは、算出した相手ユーザの感性値を開度設定部８０ｃに出力する。
　開度設定部８０ｃは、相手ユーザに応じたプライバシーレベルを開度として設定する。具体的には、開度設定部８０ｃは、感性値算出部８０ｂにより算出された感性値に応じて、相手ユーザが信頼できる人物である程プライバシーレベルを低く、すなわち仮想的な障子の開度を大きく設定する。
　テレプレゼンス制御部８０ｄは、テレプレゼンス部８２を制御し、対象空間と通信先空間とのテレプレゼンスを実現する。具体的には、テレプレゼンス制御部８０ｄは、テレプレゼンス部８２のカメラ８２ｂで撮像した撮像画像、およびマイクアレイ８２ｃで収音した音声を通信部８１から通信先の通信制御装置に送信するよう制御する。この際、テレプレゼンス制御部８０ｄは、開度設定部８０ｃで設定された開度に応じて撮像画像をマスクするよう制御する。具体的には、例えばテレプレゼンス制御部８０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。
　また、テレプレゼンス制御部８０ｄは、通信先の通信制御装置から受信した撮像画像８２１を表示部８２ａに表示させ、同様に受信した音声をスピーカ８２ｄで再生させるよう制御する。なお、プライバシーレベルが通信先と共有されている場合、テレプレゼンス制御部８０ｄは、開度設定部８０ｃにより設定された開度に従って撮像画像８２１に重畳表示する障子画像８２２の位置を調整する。
　ジェスチャー検出部８０ｅは、各種センサ８３に含まれる深度センサ８３ａにより取得された深度情報に基づいて、ユーザのジェスチャーを検出する。例えば障子を開ける／閉めるジェスチャーが検出される。これにより、ユーザは、障子画像８２２の開度を任意に変更することができる。
　感情情報取得部８０ｆは、後述する生体センサ８３ｄにより検出される生体情報や、可視光カメラにより取得した撮像画像から検出される顔の表情、マイクロホンにより取得した音声から検出される会話内容に基づいてユーザの感情を推定し、感情情報を取得する。
　［通信部８１］
　通信部８１は、外部装置とデータの送受信を行う。例えば通信部８１は、通信先の通信制御装置に対して、テレプレゼンス制御部８０ｄの制御に従い、テレプレゼンス部８２のカメラ８２ｂで撮像した撮像画像や、マイクアレイ８２ｃで収音した音声、開度設定部８０ｃで設定された開度等を送信する。また、通信部８１は、通信先の通信制御装置から、通信先の空間で取得された撮像画像および音声を受信する。
　また、通信部８１は、感性サーバ２に接続し、対象ユーザのオブジェクトＩＤに紐付けられたインタラクション評価値を取得する。
　［各種センサ８３］
　各種センサ８３は、対象空間の環境情報、対象空間に存在するユーザの行動情報、および感情情報等を取得する複数のセンサを含む。具体的には、本実施形態による各種センサ８３は、深度センサ８３ａ、人物センサ８３ｂ、行動センサ８３ｃ、生体センサ８３ｄ、位置情報取得部８３ｅ、高度センサ８３ｆ、大気汚染センサ８３ｇ、および気温・湿度センサ８３ｈ、騒音センサ８３ｉ等を含む。
　［テレプレゼンス部８２］
　テレプレゼンス部８２は、表示部８２ａ、カメラ８２ｂ、マイクアレイ８２ｃ、およびスピーカ８２ｄを有する。表示部８２ａは、図３６に示すように、通信先の空間の撮像画像８２１と、開度設定部８０ｃにより設定された開度に応じて重畳される障子画像８２２とを表示する。また、スピーカ８２ｄは、通信先の空間の音声を出力する。この際、スピーカ８２ｄは、開度設定部８０ｃにより設定された開度に応じた音量で出力してもよい。カメラ８２ｂは、対象空間（通信元の空間）を撮像し、撮像画像は通信先の通信制御装置に送信される。マイクアレイ８２ｃは、対象空間の音声を収音し、音声データは通信先の通信制御装置に送信される。
　［カレンダー・時計部８５］
　カレンダー・時計部８５は、現在の日時を取得し、取得した日時情報を制御部８０に出力する。
　［記憶部］
　記憶部８７は、制御部８０により実行される各種処理のプログラムや、各種処理で利用されるデータ、例えばユーザの属性情報やオブジェクトＩＤ等を記憶する。
　以上、本応用例による通信制御装置８の構成について説明した。なお通信制御装置８は、上述した各構成に限定されない。例えば、通信制御装置８は、物理障子部を備え、プライバシーレベルに応じて映像をマスクする手段の一例として、表示部８２ａを覆うよう設置された物理的障子を用いてもよい。
　また、感性値の算出は、通信制御装置８の感性値算出部８０ｂではなく、感性サーバ２側で行われてもよい。
　また、本応用例では、テレプレゼンスで繋がる各空間を制御するそれぞれの通信制御装置８がネットワークを介して接続されるものとして説明したが、本開示によるテレプレゼンスシステムはこれに限定されず、例えば各空間の通信を１のサーバにより制御してもよい。この場合、当該サーバは、図３７に示す通信制御装置８の制御部８０に含まれる各機能構成を有する。また、テレプレゼンス部８２や各種センサ８３は、各空間にそれぞれ設けられる。
　（３－４－２．動作処理）
　次に、本応用例によるテレプレゼンスシステム１０４の動作処理について具体的に説明する。
　［テレプレゼンス制御］
　図３８は、本応用例によるテレプレゼンス制御処理を示すフローチャートである。図３８に示すように、まず、ステップＳ５０３において、通信元の通信制御装置８のテレプレゼンス制御部８０ｄは、通信先の通信制御装置との接続処理を行う。
　次に、ステップＳ５０６において、通信制御装置８の開度設定部８０ｃは、障子の開度を設定する。開度の設定制御の詳細については、図３９を参照して後述する。
　次いで、ステップＳ５０９において、テレプレゼンス制御部８０ｄは、通信先に送信するユーザの撮像画像（映像）および音声をカメラ８２ｂおよびマイクアレイ８２ｃにより取得し、取得した撮像画像および音声を、設定した開度に応じてマスクするよう制御する。具体的には、例えばテレプレゼンス制御部８０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。
　次に、ステップＳ５１２において、テレプレゼンス制御部８０ｄは、通信先の通信制御装置から受信した画像および音声を、設定した開度に応じてマスクした状態で、表示部８２ａおよびスピーカ８２ｄから出力するよう制御する。
　そして、通信終了が指示されると（Ｓ５１５において「Ｙｅｓ」）、テレプレゼンス制御部８０ｄは通信先との通信を終了する。
　［開度の設定制御］
　続いて、図３８のステップＳ５０６に示す障子の開度設定について具体的に説明する。図３９は、本応用例による開度設定の動作処理を示すフローチャートである。図３９に示すように、まず、ステップＳ５２３において、通信制御装置８の開度設定部８０ｃは、障子開度を予め登録した初期状態に設定する。
　次に、ステップＳ５２６において、感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤを取得する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部８０ａにより通信先の通信制御装置から取得することが可能である。
　次いで、相手ユーザのオブジェクトＩＤを取得できた場合（Ｓ５２９において「Ｙｅｓ」）、ステップＳ５３２において、感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤに対応付けられたインタラクション評価値を感性サーバ２から取得する。
　続いて、ステップＳ５３５において、感性値算出部８０ｂは、取得したインタラクション評価値に基づいて感性値を算出する。ここで、感性サーバ２から取得するインタラクション評価値および感性値の算出について図４０～図４１を参照して具体的に説明する。
　図４０は、本応用例によるインタラクション評価のデータ例を示す図である。図４０に示すデータ例は、感性値算出部８０ｂが感性サーバ２から取得した、指定した相手ユーザ（ここではユーザＢとする）のオブジェクトＩＤに対応付けられたインタラクション評価である。
　次いで、感性値算出部８０ｂは、図４０に示す過去のインタラクション評価の蓄積データから、他のオブジェクト（関連オブジェクト）に対する、相手ユーザ（ここではユーザＢであって、オブジェクトＩＤ５５０５）からのインタラクション評価だけを抜き出し、感性値算出を行う。図４１には、このように図４０示すインタラクション評価値のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す。
　図４０、図４１に示す「見られる／見る、モノを投げる／投げられる、電話をかける」といったインタラクションは、オブジェクトやオブジェクトの周囲に装着／搭載されたセンシングデバイスにより検知される。例えば、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢがテレビの方向を継続的に見ていることが検出された場合、また、テレビの動作履歴からユーザＢが部屋に居る時間帯にテレビが動作して映像が出力されている場合には、ユーザＢがテレビを見ている／テレビがユーザＢに見られているといったインタラクションが検知される。また、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢによるモノを投げるモーションや物体がユーザＢの手から離れ移動することが検出された場合、また、テレビに搭載された振動センサによりモノがテレビの筐体に当たったことが検知され場合、テレビに対してモノを投げた／投げられたといったインタラクションが検知される。
　また、電話機や部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢが電話機の受話器を手に取っている様子が検出された場合、また、電話機の動作履歴からユーザＢが電話を掛けたことが検出された場合には、電話をかけるといったインタラクションが検知される。さらに、電話機に装着された振動センサにより電話機に対して衝撃が加えられたことが検出された場合、また、電話機に装着されたマイクロホンによりコードが引っ張られる音が検出された場合には、コードが引っ張られながら電話をかけていたといったインタラクションが検知される。
　続いて、感性値算出部８０ｂによるユーザＢの感性値Ｑ１の算出の一例について説明する。感性値Ｑ１は、例えば下記式２により算出する。
Figure JPOXMLDOC01-appb-I000002
　上記式２では、各インタラクションの種類ごとに合計された評価値の和に、インタラクションの種類に応じた係数を掛け、全てのインタラクションの種類の総和をインタラクション総数で割ることにより、感性値Ｑ１が算出されることを示す。ここで、上記式１に図４１に示すインタラクション評価を当てはめたものを下記式３に示す。
Figure JPOXMLDOC01-appb-I000003
　このように、感性値算出部８０ｂは、ユーザＢの感性値Ｑ１を上記式３に示すように求めることができる。
　算出した相手ユーザの感性値は、相手ユーザの信頼度を表す。テレプレゼンスシステム１０４において、通信する相手が信頼できる人である場合はプライバシーを低くしても安心だが、信頼できない人である場合はプライバシーを高くしておくことでユーザのプライバシーを適度に保つことができる。したがって、相手ユーザの信頼度を表す感性値の利用が有効となる。
　続いて、図３９に戻り、ステップＳ５３８において、開度設定部８０ｃは、感性値算出部８０ｂにより算出された感性値に基づいて、プライバシーレベルである障子の開度を算出、設定し、設定した開度をテレプレゼンス制御部８０ｄに出力する。
　以上、本応用例によるテレプレゼンスシステム１０４における感性値の利用について説明した。
　　＜３－５．臨場感再現システム＞
　次に、第５の応用例として、既存の動画を再生する場合に感性値を利用して、撮影者や被写体の関係性に基づく新たな演出を加える臨場感再現システム１０５について、図４２～図５０を参照して説明する。
　図４２は、本応用例による臨場感再現システム１０５の全体構成を説明する図である。図４２に示すように、臨場感再現システム１０５は、取得したコンテンツデータから臨場感再現情報を生成する再現情報生成装置９と、臨場感再現情報に基づいてコンテンツデータを再生する際に鑑賞者（ユーザ）にコンテンツデータ生成時の臨場感を再現する再生制御装置９５とを有する。再現情報生成装置９と再生制御装置９５はネットワークを介して接続され得る。
　再現情報生成装置９は、コンテンツデータ生成者（例えば撮影者）の被写体に対する気持ちや関係性を示す所定の指標である感性値を用いて、被写体への気持ちを表す新たな演出を加えるための抽象化された臨場感再現情報を生成する。
　再生制御装置９５は、コンテンツデータに紐付けられた臨場感再現情報に基づいて、コンテンツデータを再生する際に、コンテンツデータ生成時の臨場感（コンテキスト）を再現するよう、デバイス制御や画像エフェクト、音声エフェクトの生成を行う。臨場感再現情報は抽象化されたものであるため、再生制御装置９５は、利用可能なデバイスや生成可能なエフェクトの特性に応じた再現処理を行うことができる。
　（３－５－１．再現情報生成側の構成および動作処理）
　次に、再現情報生成装置９の構成および動作処理について、図４３～図４７を参照して説明する。
　［再現情報生成装置９の構成］
　図４３は、本応用例による再現情報生成装置９の構成の一例を示すブロック図である。図４３に示すように、再現情報生成装置９は、制御部９０、通信部９１、コンテンツ記憶部９２、および臨場感再現情報記憶部９３を有する。
　制御部９０は、再現情報生成装置９の各構成を制御する。制御部９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部９０は、コンテンツ解析部９０ａ、コンテンツ付加情報抽出部９０ｂ、天候・場所詳細情報検索部９０ｃ、被写体認識部９０ｄ、感性値取得部９０ｅ、臨場感再現情報生成部９０ｆ、および記憶制御部９０ｇとしても機能する。
　コンテンツ解析部９０ａは、動画等のコンテンツデータに対して画像解析や音声解析を行う。コンテンツデータは、コンテンツ記憶部９２に記憶されていてもよいし、通信部９１を介して受信してもよい。コンテンツ解析部９０ａは、画像特徴量抽出部９０１と、振動特徴量抽出部９０２と、音声特徴量抽出部９０３を有する。
　画像特徴量抽出部９０１は、画像解析に基づいて画像特徴量を抽出する機能を有する。振動特徴量抽出部９０２は、画像解析に基づいて振動特徴量を抽出する機能を有する。また、音声特徴量抽出部９０３は、音声解析に基づいて音声特徴量を抽出する機能を有する。これらの特徴量は、動画のフレーム毎に抽出してもよいし、所定フレーム数毎に抽出してもよい。
　コンテンツ付加情報抽出部９０ｂは、コンテンツデータから付加情報を抽出する。付加情報とは、当該コンテンツデータの生成時（動画の場合は撮影時）に記憶された情報であって、例えばコンテンツデータの日付情報（動画の場合は撮影日）、時刻情報、位置情報（緯度経度、高度）、その他コンテンツデータ生成時に取得されたセンサ情報等が挙げられる。
　天候・場所詳細情報検索部９０ｃは、コンテンツ付加情報抽出部９０ｂにより抽出されたコンテンツデータの日時、場所に基づいて、コンテンツ生成場所の天候詳細情報や場所詳細情報を検索する。天候詳細情報としては、天候、温度、湿度、風向き、風力、雨量、等が挙げられる。場所詳細情報としては、駅名、施設名、地名、建物種類等が挙げられる。天候・場所詳細情報検索部９０ｃは、このような天候・場所の詳細情報を、ネットワーク上の検索サーバ（逆ジオコーディングシステムや、イベントカレンダーサーバ等）にアクセスして検索する。
　被写体認識部９０ｄは、コンテンツ解析部９０ａの画像特徴量抽出部９０１により抽出された画像特徴量、または音声特徴量抽出部９０３により抽出された音声特徴量に基づいて、コンテンツデータの被写体を認識する。
　感性値取得部９０ｅは、コンテンツデータ生成者（動画の場合は撮影者）と被写体との感性値を取得する。具体的には、感性値取得部９０ｅは、生成者のオブジェクトＩＤと、被写体のオブジェクトＩＤとに基づいて感性サーバ２に対して感性値の取得を要求する。感性サーバ２から生成者と被写体との間のインタラクションの評価が送信された場合、感性値取得部９０ｅは、当該インタラクション評価に基づいて、被写体に対する生成者の相対的感性値（被写体に対して生成者がどのような気持ちを抱いているかを示す指標）を算出する。なお感性値の算出は感性サーバ２で行われてもよく、この場合、感性値取得部９０ｅは、感性サーバ２から通信部９１を介して、算出された感性値を取得する。
　生成者のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部９０ｂにより抽出されてもよい。被写体のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部９０ｂにより抽出されてもよい。若しくは、被写体のオブジェクトＩＤは、被写体認識部９０ｄにより認識された被写体の特徴量に基づいて取得されてもよい。被写体特徴量とオブジェクトＩＤとの対応付けは、再現情報生成装置９の記憶部（不図示）に記憶されていてもよいし、感性サーバ２のオブジェクトＤＢ２２に記憶されていてもよい。感性値取得部９０ｅは、被写体特徴量を感性サーバ２に送信して被写体のオブジェクトＩＤを取得することが可能である。
　臨場感再現情報生成部９０ｆは、コンテンツデータを再生する際に、コンテンツデータの臨場感（コンテキスト）を鑑賞者（ユーザ）に与えるための情報を生成する。
　記憶制御部９０ｇは、臨場感再現情報生成部９０ｆにより生成された臨場感再現情報を、コンテンツ記憶部９２に記憶されているコンテンツデータに埋め込んでもよいし、コンテンツデータに紐付けて別ファイルとして臨場感再現情報記憶部９３に保存してもよい。
　通信部９１は、外部装置とデータの送受信を行う。例えば通信部９１は、感性サーバ２と接続し、オブジェクトＩＤに対応するインタラクション評価値を受信する。また、通信部９１は、再生制御装置９５と接続し、臨場感再現情報が埋め込まれたコンテンツデータ、またはコンテンツデータと当該コンテンツデータに紐付けられた臨場感再現情報を送信する。
　コンテンツ記憶部９２は、コンテンツデータを格納する。格納するコンテンツデータは、通信部９１により受信したものであってもよい。
　臨場感再現情報記憶部９３は、コンテンツデータに紐付けて別ファイルとして生成された臨場感再現情報を格納する。
　［再現情報生成装置９の動作処理］
　次に、再現情報生成装置９による再現情報生成処理について、図４４を参照して説明する。図４４は、本応用例による再現情報生成処理を示すフローチャートである。
　図４４に示すように、まず、ステップＳ６０３において、感性値取得部９０ｅは、動画の先頭フレームを取得する。
　次に、ステップＳ６０６において、感性値取得部９０ｅは、被写体認識部９０ｄから対象フレームの被写体認識結果を取得する。被写体認識部９０ｄは、対象フレームの画像解析により抽出された画像特徴量に基づいて、フレーム内の被写体認識を行う。例えば、図４５に示すように、撮影者Ｐが撮影を行って生成した動画のフレーム９７を画像解析し、被写体Ｓ１、Ｓ２、Ｓ３を認識する。
　次いで、ステップＳ６０９において、感性値取得部９０ｅは、被写体認識部９０ｄにより認識された対象フレームの被写体に対応するオブジェクトＩＤを取得する。
　被写体のオブジェクトＩＤが取得できなかった場合（Ｓ６０９において／Ｎｏ）、ステップＳ６１２において、感性値取得部３０ｅは、撮影者のオブジェクトＩＤおよび被写体の属性を感性サーバ２に送信する。
　次いで、ステップＳ６１５において、感性値取得部９０ｅは、感性サーバ２から被写体のオブジェクトＩＤの候補を受信する。感性サーバ２では、関連オブジェクト検索部２０ｄにより、例えば撮影者がインタラクションを起こした履歴のあるオブジェクトから、被写体の属性と同じまたは似ている関連オブジェクトを検索し、そのオブジェクトＩＤを候補として再現情報生成装置９に返信する。
　次に、感性サーバ２から返信されたオブジェクトＩＤ候補が複数ある場合（Ｓ６１８において「Ｙｅｓ」）、ステップＳ６２１において、感性値取得部９０ｅは、複数の候補から被写体に対応するオブジェクトＩＤを１つ選択する。
　続いて、ステップＳ６２４において、感性値取得部９０ｅは、被写体のオブジェクトＩＤを感性サーバ２に送信する。
　次に、ステップＳ６２７において、感性値取得部９０ｅは、撮影者と被写体間の相対的感性値を取得し、取得した相対的感性値をフレーム内の被写体の位置に紐付けて記憶する。影者と被写体間の相対的感性値は、感性サーバ２において算出されてもよいし、感性値取得部９０ｅが、感性サーバ２から受信した撮影者と被写体間のインタラクション評価に基づいて算出してもよい。
　次いで、対象フレーム内に他の被写体がある場合（Ｓ６３０において「Ｙｅｓ」）、上記ステップＳ６０９からの処理が繰り返される。これにより、例えば図１４に示す被写体Ｓ１（妻、オブジェクトＩＤ：105384093）、被写体Ｓ２（子供、オブジェクトＩＤ：15122014）、および被写体Ｓ３（玩具、オブジェクトＩＤ：101960）の各々に対する撮影者Ｐ（父親、オブジェクトＩＤ：312039）の感情や気持ちを示す相対的感性値が取得される。
　ここで、感性値取得部９０ｅによる相対的感性値の算出について、図４６、図４７を参照して具体的に説明する。図４６は、本実施形態によるインタラクション評価のデータ例を示す図である。図４６に示すインタラクション評価は、感性値取得部９０ｅにより指定された撮影者のオブジェクトＩＤと各被写体のオブジェクトＩＤに基づいて、感性サーバ２から返信されたインタラクション評価である。
　例えば、図４６に示すデータ例の１行目では、撮影者Ｐ（オブジェクトＩＤ：312039）が、2013年12月24日に、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）に対して行った「アクセサリーを贈与した」というインタラクションに対して評価0.7が付与されている。また、２行目では、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）が、2013年12月24日に、撮影者Ｐ（オブジェクトＩＤ：312039）から行われた「アクセサリーを贈与された」というインタラクションに対して評価1.00が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。
　検知されるインタラクション種類は、上記贈与の他、図４６に示すように、保管、スキンシップ、会話、遊ぶ等が挙げられる。
　贈与のインタラクションは、例えばクレジットカードの使用履歴やネットショッピングの購入履歴、メールやソーシャルメディアの書き込み内容、部屋やオブジェクトに備えられたカメラによる撮像画像の認識、部屋やオブジェクトに備えられたマイクロホンによる音声の認識等から検知される。贈与のインタラクション評価は、感性サーバ２の評価部２０ｂにより行われる。例えば、評価部２０ｂは、贈与した人の普段の購入履歴や収入に対するプレゼント金額の割合に応じた奮発度、店員との会話認識に基づくプレゼントに対するポジティブ度、ネット購入時におけるＷｅｂページの閲覧時間やページの遷移から品物を選ぶまで時間に基づく真剣度等を抽出し、これらの値に各々所定の重み付けを行い、-1.0～1.0に正規化して評価値とする。
　また、保管のインタラクションは、例えばオブジェクトの位置や、移動履歴、部屋やオブジェクトに備えられたカメラによる撮像画像の認識等から検知される。評価部２０ｂは、保管場所、保管場所の湿度、大気中の埃の分量等に重み付けを行い、-1.0～1.0に正規化して評価値とする。
　また、スキンシップのインタラクションは、例えば互いのウェアラブルデバイスを経由した人体通信による接触判定、カメラによる画像認識、両者の加速度センサの動きパターン等に基づいて検知される。評価部２０ｂは、笑顔認識による笑顔度、音声認識による笑い声や会話の内容から取得した各種指標に重み付けを行い、-1.0～1.0に正規化して評価値とする。
　また、会話のインタラクションは、例えば音声認識、声のトーン、メールやソーシャルメディアへの書き込み内容の解析（構文解析、意味解析）等に基づいて検知される。評価部２０ｂは、会話に含まれる単語、文脈、声のトーン等を利用して会話内容のポジティブ／ネガティブ度を判定し、単語の数や会話内容によって評価の総和が変わるため、最終的に-1.0～1.0に正規化して評価値とする。
　また、遊びのインタラクションは、例えば玩具に設けられた近接無線通信チップと子供に装着された近接無線通信チップとの接続確認や、両者の加速度センサの動き等に基づいて検知される。接続確認と動きからは「遊ぶ」の認識ができない場合、他方のオブジェクトが玩具であれば、玩具は遊ぶためのものであるため、「遊ぶ」というインタラクションと認識される。評価部２０ｂは、両者のインタラクション時間の計測結果と撮像画像や音声による笑顏検出や笑い声検出に基づいて、子供の玩具に対する評価値を求める。また、玩具側から見た場合の評価値は、加速度センサのデータを元にどれくらい乱暴に扱われたか、本来の玩具としての使い方を逸脱していたかを計測して求められてもよい。なお、乳幼児が玩具を乱暴に扱っている場合も、玩具から見た場合の評価値は低くなるが、最終的な感性値を求める段階で、相手が乳幼児である場合、玩具から見た評価値の重み付け係数を小さくしたり、補正したりすることで、評価値を調整することが可能である。
　次いで、感性値取得部９０ｅにより各被写体に対する撮影者の感情や気持ちを示す相対的感性値を算出する場合、感性値取得部９０ｅは、図４６に示すインタラクション評価のデータから、撮影者と被写体間のインタラクション評価だけを抜き出す。図４７は、図４６に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。図４７に示すように、撮影者（オブジェクトＩＤ：312039）と、各被写体Ｓ１～Ｓ３（オブジェクトＩＤ：105384093、15122014、101960）間のインタラクション評価が抜き出される。
　感性値取得部９０ｅは、撮影者と被写体との相対的感性値を、例えば対象被写体の評価の総和、または対象被写体のインタラクション種類毎に重み係数を乗じてから対象被写体の評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。
　次に、図４４に戻り、ステップＳ６３３において、感性値取得部９０ｅは、フレーム全体の感性値を算出する。具体的には、例えばフレーム内の各被写体の相対的感性値の総和、または総和を被写体数で割った平均により求められる。
　次いで、ステップＳ６３６において、感性値取得部９０ｅは、対象フレームの感性値（各被写体の相対的感性値、およびフレーム全体の感性値）を記憶する。
　そして、ステップＳ６３９において、処理対象のフレームを一つ進め、まだ新しいフレームがある場合は（Ｓ６４２において「Ｙｅｓ」）、上記ステップＳ６０６からの処理が繰り返される。
　以上、本応用例による臨場感再現情報としての感性値の算出について説明した。なお、以上説明した実施形態では、各被写体と撮影者間の相対的感性値を算出したが、本開示はこれに限定されず、必要に応じて各被写体の絶対的感性値を算出してもよいし、被写体同士の相対的感性値を算出してもよい。各被写体の絶対的感性値は、被写体の全てのインタラクション評価を加算した総和、またはインタラクション種類毎に重み係数を乗じてから対象被写体の全ての評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。また、被写体同士の相対的感性値は、被写体間のインタラクション評価の総和、またはインタラクション種類毎に重み係数を乗じてから被写体間のインタラクション評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。
　（３－５－２．再生側の構成および動作処理）
　続いて、再生制御装置９５の構成および動作処理について、図４８～図５０を参照して説明する。再生側では、再現情報生成装置９により生成された抽象化された臨場感再現情報に基づいて、再生側が備えるデバイスの特性に応じて自由に再現方法を決めることができる。
　［再生制御装置９５の構成］
　図４８は、本応用例による再生制御装置９５の構成の一例を示すブロック図である。図４８に示すように、再生制御装置９５は、コンテンツ取得部９５１、臨場感再現情報取得部９５２、臨場感再現効果特定部９５３、画像エフェクト生成部９５４、音声エフェクト生成部９５５、デバイス制御部９５６、デコード部９５７、およびコンテンツ出力制御部９５８を有する。
　コンテンツ取得部９５１は、再生するコンテンツデータを取得する。例えば、コンテンツ取得部９５１は、クラウド上（例えば再現情報生成装置９のコンテンツ記憶部９２）からコンテンツデータを取得する。
　臨場感再現情報取得部９５２は、再生するコンテンツデータに対応する臨場感再現情報を取得する。例えば、臨場感再現情報は、コンテンツデータに埋め込まれている場合と、コンテンツデータとは別ファイルとしてクラウド上に保存されている場合とが想定される。
　臨場感再現効果特定部９５３は、臨場感再現情報取得部９５２により取得された臨場感再現情報と、再生側が備えるデバイスの特性とに応じて、どのデバイスで臨場感（臨場感再現情報で表されているコンテキスト）の再現を行うかを特定する。再生側が備えるデバイスとしては、例えば画像および音声を出力するテレビジョン装置、エアーコンディショナー装置、香り噴霧装置、振動装置、照明装置、および送風装置等が挙げられる。
　画像エフェクト生成部９５４は、臨場感再現効果特定部９５３の指示に従って、臨場感を再現するための画像エフェクトを生成する。
　音声エフェクト生成部９５５は、臨場感再現効果特定部９５３の指示に従って、臨場感を再現するための音声エフェクトを生成する。
　デバイス制御部９５６は、臨場感再現効果特定部９５３の指示に従って各種デバイスを制御し、ユーザ（鑑賞者）に臨場感を与える。
　デコード部９５７は、コンテンツ取得部９５１により取得されたコンテンツデータをデコードし、コンテンツ出力制御部９５８に出力する。
　コンテンツ出力制御部９５８は、デコード部９５７でデコードされたコンテンツデータを出力する。具体的には、例えばコンテンツ出力制御部９５８は、コンテンツデータが動画の場合、テレビジョン装置から再生するよう制御する。また、コンテンツ出力制御部９５８は、画像エフェクト生成部９５４により生成された画像エフェクトと共に動画を再生したり、音声エフェクト生成部９５５により生成された音声エフェクトを出力したりする。
　［再生制御装置９５の動作処理］
　次に、再生制御装置９５による再生処理について、図４９を参照して説明する。臨場感再現情報には、上述したように、被写体に対する撮影者の感情や気持ちを示す相対的感性値が含まれている。再生側において当該相対的感性値に応じた演出を行うことで、撮影者が被写体に対してどのような思いを持っているのか、撮影者の気持ちになって鑑賞するといった新たな鑑賞体験を提供することができる。
　図４９は、本応用例による感性値を利用した再生処理を示すフローチャートである。図４９に示すように、まず、ステップＳ６５３において、臨場感再現効果特定部９５３は、現在の再生フレーム全体の感性値Ｔを取得する。再生フレーム全体の感性値Ｔは、臨場感再現情報取得部９５２により取得された臨場感再現情報から取得し得る。再生フレーム全体の感性値Ｔは、図４４のステップＳ６３３で説明した対象フレーム全体の感性値に相当する。
　次に、ステップＳ６５６において、臨場感再現効果特定部９５３は、前のフレーム全体の感性値Ｔ’と、現在のフレーム全体の感性値Ｔとの差が所定値以上であるか否かを判断する。
　次いで、感性値の差が所定値以上である場合（Ｓ６５６において「Ｙｅｓ」）、ステップＳ６５９において、臨場感再現効果特定部９５３は、デバイス制御の最低適用時間を越えているか否かを判断する。デバイス制御が短い時間で切り替えられてしまうことも回避するためである。
　次に、デバイス制御の最低適用時間を越えている場合（Ｓ６５９において「Ｙｅｓ」）、ステップＳ６６２において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じたデバイス制御を行うようデバイス制御部９５６に指示する。例えば、振動の発生、スモークの噴出、照明の変更等の、感性値に応じた物理的な演出を行う。
　次いで、ステップＳ６６５において、臨場感再現効果特定部９５３は、画像エフェクトの最低適用時間を越えているか否かを判断する。画像エフェクトが短い時間で切り替えられてしまうことも回避するためである。
　次に、画像エフェクトの最低適用時間を越えている場合（Ｓ６６５において「Ｙｅｓ」）、ステップＳ６６８において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じた画像全体のエフェクトを適用するよう、画像エフェクト生成部９５４に指示する。画像全体のエフェクトとは、例えば画像のトーン全体を明るくしたり、画像の色合いを少し赤くしたりする演出である。
　次いで、ステップＳ６７１において、臨場感再現効果特定部９５３は、ＢＧＭ（Background Music）の最低適用時間を越えているか否かを判断する。ＢＧＭが短い時間で切り替えられてしまうことも回避するためである。
　次に、ＢＧＭの最低適用時間を越えている場合（Ｓ６７１において「Ｙｅｓ」）、ステップＳ６７４において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じたＢＧＭを再生するよう、音声エフェクト生成部９５５に指示する。例えば、感性値Ｔが高い場合は楽しく明るいＢＧＭを再生し、感性値Ｔが低い場合は暗いＢＧＭを再生する。
　続いて、ステップＳ６７７において、臨場感再現効果特定部９５３は、現在の再生フレームから認識される被写体毎の感性値と、各被写体の画面上の位置（すなわちフレーム内での位置）を取得する。被写体毎の感性値は、臨場感再現情報に含まれる、各被写体に対する撮影者の相対的感性値である。
　次に、ステップＳ６８０において、臨場感再現効果特定部９５３は、被写体の種類と感性値に応じた画像エフェクトや重畳画像を選択するよう画像エフェクト生成部９５４に指示し、さらに、選択された画像エフェクトを被写体に対応する位置に表示するようコンテンツ出力制御部９５８に指示する制御する。ここで、感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例について図５０を参照して説明する。
　臨場感再現効果特定部９５３は、図５０左に示すフレーム９８から認識される被写体Ｓ１、Ｓ２、Ｓ３の相対的感性値に応じて、図５０右に示すフレーム９９のように、画像エフェクトＥ１～Ｅ３を、各被写体Ｓ１～Ｓ３に対応して配置する。例えば被写体Ｓ１が母親、被写体Ｓ２が子供、被写体Ｓ３が玩具である場合、家族用や子供用の画像エフェクトが選択される。また、相対的感性値が高い場合、楽しく明るい画像エフェクトが選択される。また、被写体に対応した配置とは、例えば被写体の周囲に、被写体と重ならないよう配置することが挙げられる。これにより、撮影者がどのような気持ちで撮影を行っていたのか、撮影時はどのような雰囲気であったかなどが、新たに追加された演出で表され、撮影時の臨場感が再現される。
　なお、上記Ｓ６６２、Ｓ６６８、Ｓ６７４、Ｓ６８０では、感性値の値に応じた演出（デバイス制御、画像エフェクト、ＢＧＭ）を行う旨を説明したが、本実施形態はこれに限定されず、臨場感再現情報に、被写体の相対的感性値から推定された抽象的な撮影者の主観表現が記述されていた場合、当該主観表現に応じた演出を行うことも可能である。
　そして、動画終了位置まで再生されていない場合（ステップＳ６８３において「Ｎｏ」）、上記Ｓ６５３～Ｓ６８０の処理が繰り返される。
　以上、本応用例による臨場感再現システム１０５における感性値の利用について説明した。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することを可能とする。具体的には、モノとユーザの間のインタラクションを計測して具体的な多次元のベクトル値としてモノやユーザに紐付けてサーバに履歴を保管することで、モノに紐づく感性値、利用者に紐づく感性値、また両者間の相対的な感性値を算出することができるようになる。
　このような感性値は、例えば個人信用情報提供システム１０１、オークションシステム１０２、環境調整システム１０３、テレプレゼンスシステム１０４、臨場感再現システム１０５に利用することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、インタラクション情報を蓄積していき、その評価や感性値を蓄積時に都度算出してもよいし、必要な時に蓄積していたインタラクション情報の評価や感性値の算出を行ってもよい。
　また、上述した各装置に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、各装置の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
を備える、情報処理システム。
（２）
　前記生成部は、一のオブジェクトと、他の複数のオブジェクトとの間のインタラクションに関連する情報に基づく絶対的感性数値と、前記一のオブジェクトと、特定のオブジェクトとの間のインタラクションに関連する情報に基づく相対的価値とを生成可能である、前記（１）に記載の情報処理システム。
（３）
　前記情報処理システムは、
　前記インタラクションに関連する情報を、前記第１のオブジェクトと前記第２のオブジェクトにそれぞれ関連付けて記憶部に記憶する記憶制御部をさらに備え、
　前記生成部は、前記記憶部に記憶された特定のオブジェクトに関連付けられた前記インタラクションに関連する情報の履歴に基づき、当該特定のオブジェクトの感性値を生成する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記生成部は、前記第１のオブジェクトが人であって、前記第２のオブジェクトが物である場合も、前記インタラクションに関連する情報に基づいて、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能である、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記検出部は、前記第１のオブジェクトと前記第２のオブジェクト間でインタラクションが発生した際、双方向のインタラクションに関連する情報をそれぞれ検出する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記情報処理システムは、
　前記感性値を個人の信用力とみなして個人信用情報を提供する信用情報提供サーバを備える、前記（１）～（５）のいずれか１項に記載の情報処理システム。
（７）
　前記情報処理システムは、
　前記感性値を出品者の信頼度、または出品商品の価値とみなして、出品者または出品商品の感性値を提供する商取引サーバを備える、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記情報処理システムは、
　対象ユーザに追従して移動する移動体により前記対象ユーザの周囲環境を調整する際に、前記対象ユーザまたは前記対象ユーザに付随するオブジェクトの感性値に応じて、環境調整制御を行う環境調整サーバを備える、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　前記情報処理システムは、
　通信先装置のユーザの感性値に応じてプライバシーレベルを自動設定し、前記通信先装置に通信元装置のユーザの映像を送信する際に、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御する通信制御装置を備える、前記（１）～（８）のいずれか１項に記載の情報処理システム。
（１０）
　前記情報処理システムは、
　コンテンツデータから抽出された被写体の感性値に基づいて、抽象化された臨場感再現情報を生成し、生成された臨場感再現情報を前記コンテンツデータに関連付けて記憶するよう制御する再現情報生成装置を備える、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出することと、
　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能なことと、
を含む、制御方法。
（１２）
　コンピュータを、
　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
として機能させるための、プログラムが記憶された、記憶媒体。
　１００　　情報処理システム
　１０１　　個人信用情報提供システム
　１０２　　オークションシステム
　１０３　　環境調整システム
　１０４　　テレプレゼンスシステム
　１０５　　臨場感再現システム
　１　　センシングデバイス
　１１　　センサ
　１２　　インタラクション抽出部
　１３　　通信部
　２　　感性サーバ
　２０　　制御部
　２０ａ　　インタラクション記憶制御部
　２０ｂ　　評価部
　２０ｃ　　オブジェクト管理部
　２０ｄ　　関連オブジェクト検索部
　２０ｅ　　感性値算出部
　２１　　通信部
　２２　　オブジェクトＤＢ
　２４　　感性情報ＤＢ
　３　　ネットワーク
　４　　個人信用情報提供サーバ
　５　　オークションサーバ
　６　　移動体
　７　　環境調整サーバ
　８　　通信制御装置
　９　　再現情報生成装置
　９５　　再生制御装置

Claims (12)

  1. 　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
    　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
    を備える、情報処理システム。
  2. 　前記生成部は、一のオブジェクトと、他の複数のオブジェクトとの間のインタラクションに関連する情報に基づく絶対的感性数値と、前記一のオブジェクトと、特定のオブジェクトとの間のインタラクションに関連する情報に基づく相対的価値とを生成可能である、請求項１に記載の情報処理システム。
  3. 　前記情報処理システムは、
    　前記インタラクションに関連する情報を、前記第１のオブジェクトと前記第２のオブジェクトにそれぞれ関連付けて記憶部に記憶する記憶制御部をさらに備え、
    　前記生成部は、前記記憶部に記憶された特定のオブジェクトに関連付けられた前記インタラクションに関連する情報の履歴に基づき、当該特定のオブジェクトの感性値を生成する、請求項１に記載の情報処理システム。
  4. 　前記生成部は、前記第１のオブジェクトが人であって、前記第２のオブジェクトが物である場合も、前記インタラクションに関連する情報に基づいて、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能である、請求項１に記載の情報処理システム。
  5. 　前記検出部は、前記第１のオブジェクトと前記第２のオブジェクト間でインタラクションが発生した際、双方向のインタラクションに関連する情報をそれぞれ検出する、請求項１に記載の情報処理システム。
  6. 　前記情報処理システムは、
    　前記感性値を個人の信用力とみなして個人信用情報を提供する信用情報提供サーバを備える、請求項１に記載の情報処理システム。
  7. 　前記情報処理システムは、
    　前記感性値を出品者の信頼度、または出品商品の価値とみなして、出品者または出品商品の感性値を提供する商取引サーバを備える、請求項１に記載の情報処理システム。
  8. 　前記情報処理システムは、
    　対象ユーザに追従して移動する移動体により前記対象ユーザの周囲環境を調整する際に、前記対象ユーザまたは前記対象ユーザに付随するオブジェクトの感性値に応じて、環境調整制御を行う環境調整サーバを備える、請求項１に記載の情報処理システム。
  9. 　前記情報処理システムは、
    　通信先装置のユーザの感性値に応じてプライバシーレベルを自動設定し、前記通信先装置に通信元装置のユーザの映像を送信する際に、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御する通信制御装置を備える、請求項１に記載の情報処理システム。
  10. 　前記情報処理システムは、
    　コンテンツデータから抽出された被写体の感性値に基づいて、抽象化された臨場感再現情報を生成し、生成された臨場感再現情報を前記コンテンツデータに関連付けて記憶するよう制御する再現情報生成装置を備える、請求項１に記載の情報処理システム。
  11. 　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出することと、
    　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能なことと、
    を含む、制御方法。
  12. 　コンピュータを、
    　第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
    　前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
    として機能させるための、プログラムが記憶された、記憶媒体。
PCT/JP2015/072053 2014-11-07 2015-08-04 情報処理装置、制御方法、および記憶媒体 Ceased WO2016072117A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202210044035.XA CN114461062A (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质
CN201580059299.0A CN107111359B (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质
JP2016557469A JP6561996B2 (ja) 2014-11-07 2015-08-04 情報処理装置、制御方法、および記憶媒体
US15/522,834 US11010726B2 (en) 2014-11-07 2015-08-04 Information processing apparatus, control method, and storage medium
EP15856779.2A EP3217349A4 (en) 2014-11-07 2015-08-04 Information processing device, control method, and storage medium
US17/226,626 US11640589B2 (en) 2014-11-07 2021-04-09 Information processing apparatus, control method, and storage medium
US18/174,392 US20230230053A1 (en) 2014-11-07 2023-02-24 Information processing apparatus, control method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-227004 2014-11-07
JP2014227004 2014-11-07

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/522,834 A-371-Of-International US11010726B2 (en) 2014-11-07 2015-08-04 Information processing apparatus, control method, and storage medium
US17/226,626 Continuation US11640589B2 (en) 2014-11-07 2021-04-09 Information processing apparatus, control method, and storage medium

Publications (1)

Publication Number Publication Date
WO2016072117A1 true WO2016072117A1 (ja) 2016-05-12

Family

ID=55908849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/072053 Ceased WO2016072117A1 (ja) 2014-11-07 2015-08-04 情報処理装置、制御方法、および記憶媒体

Country Status (5)

Country Link
US (3) US11010726B2 (ja)
EP (1) EP3217349A4 (ja)
JP (3) JP6561996B2 (ja)
CN (2) CN107111359B (ja)
WO (1) WO2016072117A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116552A1 (ja) * 2016-12-20 2018-06-28 ソニー株式会社 情報処理装置および情報処理方法
JP2018169930A (ja) * 2017-03-30 2018-11-01 株式会社ゼンリンデータコム 情報提供システム及び情報提供方法
JP2019109620A (ja) * 2017-12-15 2019-07-04 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP2019109621A (ja) * 2017-12-15 2019-07-04 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
WO2019146205A1 (ja) * 2018-01-23 2019-08-01 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2019537110A (ja) * 2016-11-12 2019-12-19 グーグル エルエルシー 電子的コミュニケーションに含めるためのグラフィカル要素の決定
JP2020154870A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 選択装置、選択方法及び選択プログラム
JP2020529680A (ja) * 2017-08-08 2020-10-08 Ｌｉｎｅ株式会社 通話中の感情を認識し、認識された感情を活用する方法およびシステム
US11303590B2 (en) 2016-09-20 2022-04-12 Google Llc Suggested responses based on message stickers
JP2022116917A (ja) * 2021-01-29 2022-08-10 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
US11418471B2 (en) 2015-12-21 2022-08-16 Google Llc Automatic suggestions for message exchange threads
US11451499B2 (en) 2017-06-15 2022-09-20 Google Llc Embedded programs and interfaces for chat conversations
US11502975B2 (en) 2015-12-21 2022-11-15 Google Llc Automatic suggestions and other content for messaging applications
US11574470B2 (en) 2017-05-16 2023-02-07 Google Llc Suggested actions for images
US11700134B2 (en) 2016-09-20 2023-07-11 Google Llc Bot permissions
JPWO2023233490A1 (ja) * 2022-05-30 2023-12-07
US12235889B2 (en) 2022-08-26 2025-02-25 Google Llc Device messages provided in displayed image compilations based on user content
JP2025056784A (ja) * 2023-09-26 2025-04-08 ソフトバンクグループ株式会社 システム
WO2026004420A1 (ja) * 2024-06-26 2026-01-02 株式会社豊田中央研究所 情報処理システム、情報処理方法及びプログラム
JP7799121B1 (ja) * 2025-06-12 2026-01-14 株式会社サイバーエージェント 画像編集装置、画像編集方法、およびプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788235B2 (en) * 2014-11-07 2020-09-29 Sony Corporation Control system, control method, and storage medium
US20160219931A1 (en) * 2015-01-30 2016-08-04 Suraaj Doshi System and Apparatus to Effect Behavioral Change
KR20160109242A (ko) * 2015-03-10 2016-09-21 한국전자통신연구원 객체 중심의 서비스 제공 장치 및 방법
CN107924544B (zh) * 2015-08-05 2022-04-15 索尼公司 信息处理系统和信息处理方法
JP6909961B2 (ja) 2017-04-21 2021-07-28 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び、表示システム
US11057332B2 (en) * 2018-03-15 2021-07-06 International Business Machines Corporation Augmented expression sticker control and management
JP7080079B2 (ja) * 2018-03-19 2022-06-03 本田技研工業株式会社 情報提供装置およびその制御方法
KR20190131163A (ko) * 2018-05-16 2019-11-26 현대자동차주식회사 감정 지도 작성 방법, 감정 지도 장치 및 감정 지도 작성 장치를 포함한 차량
US20200068169A1 (en) * 2018-08-21 2020-02-27 Richard Dean Nehrboss Methods and Subsystems for Utilizing Home Safety Sensors within a Telepresence Platform
US20220027513A1 (en) * 2018-12-05 2022-01-27 Sony Corporation Information processing device, information processing method, and information processing program
CN111290001A (zh) * 2018-12-06 2020-06-16 杭州海康威视数字技术股份有限公司 一种基于gps坐标的目标统筹方法、装置及设备
CN110647046B (zh) * 2019-09-29 2022-08-02 青岛海尔科技有限公司 基于智能家居操作系统的路线更新方法及装置
JP2021117840A (ja) * 2020-01-28 2021-08-10 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2021177183A1 (ja) * 2020-03-05 2021-09-10 日本電気株式会社 監視装置、監視システム、監視方法およびプログラム記録媒体
JP7127096B2 (ja) * 2020-10-14 2022-08-29 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022160956A (ja) 2021-04-07 2022-10-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び端末装置
SE545609C2 (en) * 2022-02-04 2023-11-14 Assa Abloy Ab Alerting a difference in user sentiment of a user using a door
CN121920982A (zh) * 2022-06-24 2026-04-24 张青霞 基于云服务的智能型立体停车设备
WO2024075344A1 (ja) * 2022-10-05 2024-04-11 パナソニックＩｐマネジメント株式会社 映像出力方法、映像出力システム及びプログラム
WO2024084736A1 (ja) * 2022-10-18 2024-04-25 パナソニックＩｐマネジメント株式会社 映像出力方法、映像出力システム及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259129A (ja) * 1998-03-09 1999-09-24 Yamaha Motor Co Ltd 自律移動体の制御方法
JP2002077592A (ja) * 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2006140747A (ja) * 2004-11-11 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
JP2007213324A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 運転評価サポートシステムおよび運転評価データ算出方法
JP2008015585A (ja) * 2006-07-03 2008-01-24 National Institute Of Information & Communication Technology 生活タスク支援システム

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728715B2 (en) * 1996-01-23 2010-06-01 En-Gauge, Inc. Remote monitoring
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6604091B2 (en) * 1999-09-10 2003-08-05 Yamaha Hatsudoki Kabushiki Kaisha Interactive artificial intelligence
US20020023034A1 (en) * 2000-03-31 2002-02-21 Brown Roger G. Method and system for a digital automated exchange
CN1283428C (zh) * 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法
US7106887B2 (en) 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
WO2001084407A1 (en) * 2000-04-27 2001-11-08 Nec Corporation Environment information simulation system, device, and method, and recorded medium
JP2002049385A (ja) * 2000-08-07 2002-02-15 Yamaha Motor Co Ltd 音声合成装置、疑似感情表現装置及び音声合成方法
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
US6774811B2 (en) * 2001-02-02 2004-08-10 International Business Machines Corporation Designation and opportunistic tracking of valuables
US7685059B2 (en) * 2001-03-30 2010-03-23 Roger G. Brown Method and system for a digital automated exchange
JP4266552B2 (ja) * 2001-10-16 2009-05-20 日本電気株式会社 ロボット装置及びその制御方法
US7452268B2 (en) * 2002-08-07 2008-11-18 Sony Computer Entertainment America Inc. System and method for modifying actions of a group of characters via group interactions
JP2005124909A (ja) 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
WO2007017853A1 (en) * 2005-08-08 2007-02-15 Nice Systems Ltd. Apparatus and methods for the detection of emotions in audio interactions
KR100825719B1 (ko) * 2005-12-09 2008-04-29 한국전자통신연구원 복수의 감정 생성 로봇 및 로봇에서 복수의 감정 생성 방법
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
EP2008199A4 (en) * 2006-03-31 2011-06-29 Imagini Holdings Ltd SYSTEM AND METHOD FOR SEGMENTING AND IDENTIFICATION OF DATA RECORDS ON THE BASIS OF PROFILE MATCH BY MEANS OF MULTIMEDIA QUESTION
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP4963640B2 (ja) * 2006-10-10 2012-06-27 キヤノン株式会社 物体情報取得装置及び方法
EP1956528B1 (en) * 2007-02-08 2018-10-03 Samsung Electronics Co., Ltd. Apparatus and method for expressing behavior of software robot
US20090006242A1 (en) * 2007-06-29 2009-01-01 Conopco Inc, D/B/A Unilever Automated auctioning method for market evaluation
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
JP4985722B2 (ja) * 2009-07-23 2012-07-25 三菱電機株式会社 空気調和機
US8818882B2 (en) * 2009-08-24 2014-08-26 Visa International Service Association Alias identity and reputation validation engine
US20110161218A1 (en) * 2009-09-22 2011-06-30 Cortera, Inc. Credit reporting interface
US20130246097A1 (en) * 2010-03-17 2013-09-19 Howard M. Kenney Medical Information Systems and Medical Data Processing Methods
FR2959208B1 (fr) * 2010-04-22 2012-05-25 Eurl Jmdtheque Engin gyropendulaire a propulsion compensatoire et collimation de gradient fluidique multi-milieux multimodal a decollage et atterrissage vertical
US20120011007A1 (en) * 2010-07-07 2012-01-12 At&T Intellectual Property I, L.P. Mobile Payment Using DTMF Signaling
CN103154953A (zh) * 2010-09-30 2013-06-12 阿弗科迪瓦公司 测量具有上网功能的应用程序的情感数据
US8380607B2 (en) * 2010-12-17 2013-02-19 Indiana University Research And Technology Corporation Predicting economic trends via network communication mood tracking
JP5658597B2 (ja) * 2011-03-03 2015-01-28 大阪瓦斯株式会社 省エネ行動評価システム
US9317860B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US8768812B2 (en) * 2011-05-02 2014-07-01 The Boeing Company System, method and computer-readable storage medium for valuing a performance option
US20120284154A1 (en) * 2011-05-04 2012-11-08 Jeffrey Creighton Articles Of Manufacture, Education Billing Management Methods, Education Billing Management Systems, Education Enrollment Systems, And Education Enrollment Methods
US20120290470A1 (en) * 2011-05-11 2012-11-15 Samsung Electro-Mechanics Company, Ltd. Payment systems and methods for providing wireless power transfer
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
WO2013006559A2 (en) * 2011-07-01 2013-01-10 Stoneware, Inc. Method and apparatus for application costing for service provisioning
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
US20130046555A1 (en) * 2011-08-16 2013-02-21 Roderick A. Hyde Devices and methods for recording information on a subject's body
US9772270B2 (en) * 2011-08-16 2017-09-26 Elwha Llc Devices and methods for recording information on a subject's body
US20130060624A1 (en) * 2011-09-07 2013-03-07 Elwha LLC, a limited liability company of the State of Delaware Computational systems and methods for regulating information flow during interactions
US20130085954A1 (en) * 2011-09-29 2013-04-04 The Boeing Company System and method for identifying a qualified candidate
WO2013111144A2 (en) * 2011-11-04 2013-08-01 Vserv Digital Services Pvt.Ltd. System for inserting services in a software application
DE102011056940A1 (de) * 2011-12-22 2013-06-27 Bauhaus Universität Weimar Verfahren zum Betrieb einer mehrfachberührungsfähigen Anzeige und Vorrichtung mit einer mehrfachberührungsfähigen Anzeige
EP2798592A4 (en) * 2011-12-29 2015-06-17 Intel Corp METHOD AND SYSTEM FOR MOBILE TRADE WITH REAL-TIME SHOPPING SUPPORT
KR20130084543A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20130238471A1 (en) * 2012-03-06 2013-09-12 Nintendo Of America Inc. Systems and/or methods involving linked manufacturer serial numbers and unique identifiers applied to products
US20130246192A1 (en) * 2012-03-13 2013-09-19 Nokia Corporation System for enabling and incentivizing advertisements in crowdsourced video services
US20130275320A1 (en) * 2012-04-16 2013-10-17 Google Inc. Identifying Prospective Employee Candidates via Employee Connections
US9424721B2 (en) * 2012-04-18 2016-08-23 Square, Inc. Point-of-sale system
US20130325706A1 (en) * 2012-06-01 2013-12-05 Dadesystems, Llp System, method, apparatus, and computer program product for improved payment processing
US20130332201A1 (en) * 2012-06-12 2013-12-12 Peter L. Hagelstein Data acquisition apparatus configured to acquire data for insurance purposes, and related systems and methods
US9886493B2 (en) * 2012-09-28 2018-02-06 The Regents Of The University Of California Systems and methods for sensory and cognitive profiling
US9721263B2 (en) * 2012-10-26 2017-08-01 Nbcuniversal Media, Llc Continuously evolving symmetrical object profiles for online advertisement targeting
US20140172677A1 (en) * 2012-12-13 2014-06-19 Creditera, LLC Providing combined access to business and personal credit information
US8606599B1 (en) * 2013-01-03 2013-12-10 Medidata Solutions, Inc. Apparatus and method for executing tasks
US20140222526A1 (en) * 2013-02-07 2014-08-07 Augmedix, Inc. System and method for augmenting healthcare-provider performance
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
JP5617971B2 (ja) * 2013-08-01 2014-11-05 株式会社日立製作所 組織コミュニケーション可視化システム
US9993386B2 (en) * 2013-11-29 2018-06-12 Louis G. RACETTE Instrumentation absolute value differential amplifier circuit and applications
US9799159B2 (en) * 2014-02-14 2017-10-24 Igt Canada Solutions Ulc Object detection and interaction for gaming systems
US10150043B2 (en) * 2014-03-11 2018-12-11 Microsoft Technology Licensing, Llc Interactive smart beads
US20150348200A1 (en) * 2014-06-03 2015-12-03 Christopher T. Fair Systems and methods for facilitating communication and investment
CN104071342B (zh) * 2014-07-03 2016-01-27 国家电网公司 带电清除异物无人机防护罩
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259129A (ja) * 1998-03-09 1999-09-24 Yamaha Motor Co Ltd 自律移動体の制御方法
JP2002077592A (ja) * 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2006140747A (ja) * 2004-11-11 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
JP2007213324A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 運転評価サポートシステムおよび運転評価データ算出方法
JP2008015585A (ja) * 2006-07-03 2008-01-24 National Institute Of Information & Communication Technology 生活タスク支援システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKI KAWAMURA ET AL.: "An Activity Evaluation by Introducing Feature Vector for Complex Sensor Data in a Ubiquitous Environment", DAI 2 KAI FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT -DEIM 2010- RONBUNSHU [ ONLINE, 25 May 2010 (2010-05-25), XP055278752 *
See also references of EP3217349A4 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11502975B2 (en) 2015-12-21 2022-11-15 Google Llc Automatic suggestions and other content for messaging applications
US11418471B2 (en) 2015-12-21 2022-08-16 Google Llc Automatic suggestions for message exchange threads
US11700134B2 (en) 2016-09-20 2023-07-11 Google Llc Bot permissions
US11303590B2 (en) 2016-09-20 2022-04-12 Google Llc Suggested responses based on message stickers
JP2019537110A (ja) * 2016-11-12 2019-12-19 グーグル エルエルシー 電子的コミュニケーションに含めるためのグラフィカル要素の決定
CN110114786A (zh) * 2016-12-20 2019-08-09 索尼公司 信息处理装置和信息处理方法
WO2018116552A1 (ja) * 2016-12-20 2018-06-28 ソニー株式会社 情報処理装置および情報処理方法
JP7140252B2 (ja) 2016-12-20 2022-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2021185537A (ja) * 2016-12-20 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2018116552A1 (ja) * 2016-12-20 2019-10-24 ソニー株式会社 情報処理装置および情報処理方法
JP2018169930A (ja) * 2017-03-30 2018-11-01 株式会社ゼンリンデータコム 情報提供システム及び情報提供方法
US11574470B2 (en) 2017-05-16 2023-02-07 Google Llc Suggested actions for images
US11451499B2 (en) 2017-06-15 2022-09-20 Google Llc Embedded programs and interfaces for chat conversations
JP2022020659A (ja) * 2017-08-08 2022-02-01 Ｌｉｎｅ株式会社 通話中の感情を認識し、認識された感情を活用する方法およびシステム
JP2020529680A (ja) * 2017-08-08 2020-10-08 Ｌｉｎｅ株式会社 通話中の感情を認識し、認識された感情を活用する方法およびシステム
JP2019109621A (ja) * 2017-12-15 2019-07-04 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP2019109620A (ja) * 2017-12-15 2019-07-04 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP7469044B2 (ja) 2018-01-23 2024-04-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
WO2019146205A1 (ja) * 2018-01-23 2019-08-01 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JPWO2019146205A1 (ja) * 2018-01-23 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US11868405B2 (en) 2018-01-23 2024-01-09 Sony Corporation Information processor, information processing method, and recording medium
JP2020154870A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 選択装置、選択方法及び選択プログラム
JP7175810B2 (ja) 2019-03-20 2022-11-21 ヤフー株式会社 選択装置、選択方法及び選択プログラム
JP7176019B2 (ja) 2021-01-29 2022-11-21 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
JP2022116917A (ja) * 2021-01-29 2022-08-10 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
JPWO2023233490A1 (ja) * 2022-05-30 2023-12-07
WO2023233490A1 (ja) * 2022-05-30 2023-12-07 日本電信電話株式会社 情報処理装置、算出方法及び算出プログラム
JP7750407B2 (ja) 2022-05-30 2025-10-07 Ｎｔｔ株式会社 情報処理装置、算出方法及び算出プログラム
US12235889B2 (en) 2022-08-26 2025-02-25 Google Llc Device messages provided in displayed image compilations based on user content
JP2025056784A (ja) * 2023-09-26 2025-04-08 ソフトバンクグループ株式会社 システム
WO2026004420A1 (ja) * 2024-06-26 2026-01-02 株式会社豊田中央研究所 情報処理システム、情報処理方法及びプログラム
JP7799121B1 (ja) * 2025-06-12 2026-01-14 株式会社サイバーエージェント 画像編集装置、画像編集方法、およびプログラム

Also Published As

Publication number Publication date
US11010726B2 (en) 2021-05-18
CN107111359A (zh) 2017-08-29
JP6561996B2 (ja) 2019-08-21
JPWO2016072117A1 (ja) 2017-08-17
US20230230053A1 (en) 2023-07-20
JP7001181B2 (ja) 2022-01-19
JP2021061053A (ja) 2021-04-15
US20170330160A1 (en) 2017-11-16
JP6822527B2 (ja) 2021-01-27
CN114461062A (zh) 2022-05-10
US20210233042A1 (en) 2021-07-29
CN107111359B (zh) 2022-02-11
EP3217349A4 (en) 2018-03-28
US11640589B2 (en) 2023-05-02
JP2019204529A (ja) 2019-11-28
EP3217349A1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
JP7001181B2 (ja) 情報処理システム、制御方法、およびプログラム
US20250106364A1 (en) Personalized Keyword Log
JP7126709B2 (ja) 折りたたみ式仮想現実装置
US20210097281A9 (en) Systems and methods for using persistent, passive, electronic information capturing devices
JP6111932B2 (ja) 行動支援装置、行動支援方法、プログラム、および記憶媒体
US20200004291A1 (en) Wearable apparatus and methods for processing audio signals
CN110304067B (zh) 作业支援系统、信息处理方法及存储介质
JP2005315802A (ja) ユーザ支援装置
CN109690686A (zh) 用于分析图像的可穿戴装置和方法
CN110996796A (zh) 信息处理设备、方法和程序
CN117541321B (zh) 一种基于虚拟数字人的广告制作发布方法及系统
JP2011215964A (ja) サーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム
JP6631628B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200066280A (ko) 접이식 가상현실 장비
US11289084B2 (en) Sensor based semantic object generation
US12579765B2 (en) Defining and modifying context aware policies with an editing tool in extended reality systems
CN105845144A (zh) 一种实现动物声音与形态翻译功能的智能健康管理系统
US20240071378A1 (en) Authoring context aware policies through natural language and demonstrations
JP7219546B2 (ja) 物件検索システム
JP7692124B1 (ja) 情報提示システム、情報提示方法、及び情報提示プログラム
JP7733696B2 (ja) 情報処理システム
WO2025018301A1 (ja) 制御システム
WO2025028399A1 (ja) 行動制御システム及び情報処理システム
CN121614038A (zh) 一种基于ai智能体与元宇宙的远程个性化服务系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15856779

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016557469

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015856779

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15522834

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE