WO2020209185A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020209185A1
WO2020209185A1 PCT/JP2020/015265 JP2020015265W WO2020209185A1 WO 2020209185 A1 WO2020209185 A1 WO 2020209185A1 JP 2020015265 W JP2020015265 W JP 2020015265W WO 2020209185 A1 WO2020209185 A1 WO 2020209185A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
tactile
unit
search
presentation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/015265
Other languages
English (en)
French (fr)
Inventor
伊藤　鎮
語楓 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/600,914 priority Critical patent/US20220187921A1/en
Priority to KR1020217030610A priority patent/KR20210151793A/ko
Priority to EP20786981.9A priority patent/EP3955137A4/en
Priority to CN202080015577.3A priority patent/CN113454620B/zh
Priority to JP2021513609A priority patent/JP7484899B2/ja
Publication of WO2020209185A1 publication Critical patent/WO2020209185A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • This disclosure relates to information processing devices, information processing methods, and programs.
  • Patent Document 1 describes a technique of generating a signal configured to cause a tactile effect according to a predetermined condition and outputting the generated signal to a tactile presentation device.
  • a new and improved information processing apparatus and information processing capable of providing information for more appropriately realizing the tactile sensation desired by the user based on the information for searching the tactile sensation. Propose methods and programs.
  • the tactile presentation information and one or more tactile metas associated with the tactile presentation information are based on the tactile search information used for searching the tactile presentation information for realizing the tactile sensation presented to the user.
  • An information processing apparatus includes a search unit that searches for the tactile presentation information from a tactile database including information, and an output unit that outputs information related to the searched tactile presentation information.
  • the processor is associated with the tactile presentation information and the tactile presentation information based on the tactile search information used for searching the tactile presentation information for realizing the tactile sensation presented to the user.
  • An information processing method is provided, which includes searching the tactile presentation information from a tactile database including one or more tactile meta information, and outputting information related to the searched tactile presentation information.
  • the computer is associated with the tactile presentation information and the tactile presentation information based on the tactile search information used for searching the tactile presentation information for realizing the tactile sensation presented to the user.
  • a program that functions as an information processing device, including a search unit that searches for the tactile presentation information from a tactile database including one or more tactile meta information, and an output unit that outputs information related to the searched tactile presentation information. Is provided.
  • the searched tactile presentation information it is a figure which shows the signal waveform of vibration. It is a figure which shows the frequency spectrum of the signal waveform shown in FIG.
  • the network 40 may include a public network such as a telephone line network, the Internet, and a satellite communication network, a LAN (Local Area Network), a WAN (Wide Area Network), and the like. Further, the network 40 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • a public network such as a telephone line network, the Internet, and a satellite communication network, a LAN (Local Area Network), a WAN (Wide Area Network), and the like.
  • the network 40 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the server 10 stores information collected based on various known services such as SNS (Social Networking Service). More specifically, the server 10 stores information transmitted by the user based on SNS or the like. For example, the information stored in the server 10 includes tactile presentation information for realizing tactile sensation. Further, the tactile presentation information may be stored in the server 10 together with at least one of various information such as text information, image information, and voice information. Various types of information stored in the server 10 are transmitted to the information processing apparatus 20 via the network 40 as needed. In the present specification, the tactile sensation may be various sensations felt by the skin such as pressure sensation, force sensation, pain sensation, and temperature, in addition to the sensation perceived by the vibration stimulus.
  • SNS Social Networking Service
  • the information processing device 20 searches the tactile database for tactile presentation information for realizing the tactile sensation presented to the user, based on the tactile search information. Further, the information processing device 20 transmits the searched tactile presentation information to the user terminal 30.
  • the tactile database is stored in the information processing device 20, but the tactile database may be stored in any device of the server 10, the information processing device 20, or the user terminal 30. .. The details of the data structure of the tactile database will be described later.
  • the user terminal 30 presents the tactile sensation to the user based on the information related to the tactile presentation information transmitted from the information processing device 20.
  • the user terminal 30 presents a tactile sensation by, for example, giving a vibration stimulus to the user's hand or the like. Further, the user terminal 30 has a function of displaying various information such as a search result of tactile presentation information by the information processing device 20.
  • FIG. 2 is a diagram showing an example of the data structure of the tactile database DB.
  • the tactile database DB includes tactile presentation information and one or more tactile meta information associated with the tactile presentation information.
  • the tactile meta information is information for classifying the tactile presentation information.
  • the tactile database DB according to the present embodiment preferably includes device-dependent information depending on the device on which the tactile sensation is presented.
  • a plurality of tactile presentation information is stored in the tactile database DB.
  • the tactile presentation information A and the tactile presentation information B are shown in the tactile database DB of FIG.
  • the above two tactile presentation information is shown in FIG. 2, three or more tactile presentation information may be stored in the tactile database DB.
  • the tactile presentation information is information for realizing the tactile sensation presented to the user. More specifically, the user terminal 30 presents the tactile sensation to the user by generating, for example, a vibration corresponding to the tactile presentation information based on the tactile presentation information.
  • the tactile presentation information may be information representing a vibration signal waveform presented to the user. Further, the tactile presentation information may be data representing one or a plurality of parameters extracted from the vibration signal waveform presented to the user.
  • tactile meta information is associated with these tactile presentation information.
  • tactile meta information is stored for each tactile meta information type in which tactile meta information is classified.
  • FIG. 2 shows two types of tactile meta information, that is, tactile meta information type A and tactile meta information type B.
  • the tactile meta information type stored in the tactile database DB may be one type or three or more types.
  • tactile meta information AA1 and tactile meta information AA2 of tactile meta information type A tactile meta information AB1 and tactile meta information of tactile meta information type B are shown.
  • AB2 is shown.
  • each tactile meta information about the tactile meta information type A and the tactile meta information type B may be associated with each other.
  • shared tactile meta information may exist in a plurality of tactile presentation information.
  • FIG. 2 shows two tactile meta information for the tactile meta information type A as the tactile meta information associated with the tactile presentation information A, but for one or three or more tactile meta information types A.
  • Tactile meta information may be associated with tactile presentation information A.
  • one or more tactile meta information may be associated with each tactile presentation information.
  • the tactile meta information related to all the tactile meta information types does not necessarily have to be associated with the tactile presentation information.
  • the tactile sensation felt by the user differs depending on the shape or mechanism of the device that presents the tactile sensation. Therefore, it is difficult to make different devices present an appropriate tactile sensation with one tactile presentation information. Therefore, in order for the device to present an appropriate tactile sensation, it is necessary to process the tactile sensation presentation information into information corresponding to the device. Therefore, by processing the tactile presentation information using the device-dependent information, the user can feel an appropriate tactile sensation according to the device.
  • device-dependent information is associated with each of the tactile presentation information.
  • the device-dependent information is information corresponding to the device that presents the tactile sensation based on the tactile sensation presentation information. More specifically, the device-dependent information is information for converting tactile presentation information into information according to the device.
  • Such a device may be provided, for example, in a tactile presentation unit described later, which is provided in the user terminal 30.
  • the data structure of the tactile database DB has been explained above.
  • the tactile search information is information that can be compared with the tactile meta information, and is information related to the tactile image desired by the user. More specifically, the tactile search information is information having contents as listed in the list of tactile meta information types described later with reference to FIG. Further, the tactile search information may be the tactile presentation information itself, or may be a combination of the tactile presentation information and the processed information.
  • the processed information may be, for example, information for processing the tactile presentation information into information according to the device in order to cause various devices to present the tactile sensation.
  • the tactile presentation information is searched, for example, the same or similar tactile meta information as the tactile search information is searched for, and the tactile presentation information associated with the found tactile meta information is searched.
  • the tactile sensation is presented to the user based on the searched tactile sensation presentation information.
  • the tactile presentation information search method described here is only an example of the search method, and the tactile presentation information search method using the tactile database DB is not limited to such a search method.
  • FIG. 3 is a list showing an example of tactile meta information species.
  • the tactile meta information types shown in FIG. 3 will be described in order from the top.
  • the tactile meta information type may be text.
  • the tactile meta information of the text may be text information such as "fluffy”.
  • the text information may be associated with, for example, tactile presentation information for realizing a fluffy tactile sensation.
  • the tactile meta information type may be a still image.
  • the tactile meta information of the still image may be image information such as a photograph or a stamp, for example.
  • the image information may be information representing a still image included in the image of the chick.
  • the image information of a chick can be pronounced of the "fluffy" tactile sensation of a chick's hair. Therefore, the image information may be associated with the tactile presentation information for realizing a fluffy tactile sensation.
  • the tactile meta information type may be a moving image as well as a still image.
  • the tactile meta information type may include voice information related to the user's voice.
  • the voice information may be information about the speed, pitch, or emotion of the user's utterance.
  • the tactile presentation information stored in the tactile database is searched using, for example, the tactile search information input by the user.
  • the tactile search information may be the voice of the user.
  • the information processing device 20 may extract information on the speed, pitch, or emotion of the utterance from the input voice.
  • the tactile search information may be searched by comparing the extracted information with the tactile meta information which is the voice information stored in the tactile database. For example, suppose that the user inputs the utterance content of "fluffy" as the tactile search information.
  • the voice information may include, for example, information about the user's emotion, which is estimated from the speed of utterance and the like, in addition to the character information of "fluffy". Therefore, by including the voice information in the tactile meta information, it is possible to more appropriately provide the information for realizing the tactile sensation according to, for example, the emotion of the user.
  • the tactile meta information type may be a tactile motion.
  • the tactile motion of the user is the motion of the user who is presented with the tactile sensation.
  • the tactile meta information of the user's tactile motion may be, for example, motion data such as a vector related to motion data representing the motion (movement) of the user's finger or the like touching a device or the like.
  • the tactile meta information of the user's tactile motion may be a physical quantity such as the user's acceleration, velocity, displacement amount, or conversion of these into unit times.
  • the information regarding the tactile motion is information that can more directly express the tactile sensation desired by the user. Therefore, by including the information related to the tactile motion in the tactile meta information, the information for realizing the tactile sensation desired by the user can be more appropriately provided.
  • the tactile meta information type may be the movement of an object. More specifically, the tactile meta information type may be the operation of an object (hereinafter, also referred to as “presentation”) assumed as a tactile sensation presented to the user.
  • the tactile meta information related to the movement of the presentation may be motion data such as a vector of motion data of the presentation, for example.
  • the tactile meta information related to the movement of the presented object may be a physical quantity such as acceleration, velocity, displacement amount of the presented object, or conversion of these into unit times.
  • the tactile meta information type may be a user's part (hereinafter, also referred to as “contact part”) to which the device touches and the tactile sensation is presented.
  • contact part a user's part
  • the way the user feels the tactile sensation differs depending on the contact site. Therefore, by presenting the tactile sensation corresponding to the tactile meta information of the contact portion to the user, the tactile sensation desired by the user is presented more appropriately.
  • the tactile meta information species may be the surface structure of the presentation.
  • the tactile meta information regarding the surface structure of the presentation may be, for example, information regarding the unevenness, hardness, or softness of the surface of the presentation.
  • the tactile meta information type may be signal waveform information.
  • the signal waveform information is information about a signal waveform representing a tactile sensation presented to the user.
  • the tactile meta information regarding the signal waveform information may be, for example, information such as the frequency characteristic of the signal waveform, the beat component, the ratio of the bass component, the ratio of the treble component, or ASRD (Attack Decay Sustain Release).
  • ADSR is four parameters related to the characteristic shape of the sound waveform, and represents Rise (Attack), Attenuation (Decay), Retention after attenuation (Stain), and Release, respectively. Parameters and the like can be mentioned.
  • the tactile meta information type may be a user characteristic of the user to whom the tactile sensation is presented.
  • the tactile meta information of the user characteristic may be the user information representing the user characteristic.
  • the user information may be, for example, information such as a target age or physique. By including the user information in the tactile meta information, the user is more appropriately provided with the information for realizing the tactile sensation according to the user characteristic.
  • the tactile meta information type is the target age of the user to whom the tactile sensation is presented, the age may be restricted according to the content of the tactile sensation presentation information or the part of the user to which the tactile sensation is presented.
  • the tactile meta information type may be the type of the presentation part which is the part of the user to which the tactile sensation is presented.
  • the frequency of vibration that is easily perceived differs depending on the part presented to the user. Therefore, by associating the tactile meta information regarding the presentation site with the tactile presentation information, it is possible to present the tactile sensation according to the presentation site.
  • a waveform signal corresponding to the presentation site may be stored in the tactile database DB.
  • the tactile database DB only the waveform signal for presenting the tactile sensation to the palm may be stored as the tactile sensation presentation information.
  • parameters corresponding to each part are stored in the tactile database DB as tactile presentation information.
  • the waveform signal for presenting the tactile sensation to the palm is processed based on the parameters corresponding to the presented part.
  • the tactile sensation is presented to the user based on the processed information. More specifically, in the tactile database DB, the difference in frequency from the palm may be stored as a parameter for a part other than the palm.
  • the frequency of the waveform signal for presenting the tactile sensation to the palm is corrected to a desired frequency by such a difference.
  • the basic signal waveform is not limited to the signal waveform for presenting the tactile sensation to the palm, and the signal waveform related to other parts may be used as the basis.
  • the tactile database DB does not need to store the waveform signal corresponding to each of the parts where the tactile sensation is presented. Therefore, since the tactile database DB only needs to store the parameter information realized with a smaller amount of data than the waveform signal information, the tactile database DB can be realized with a smaller amount of data.
  • the processing of the waveform signal described above is performed, for example, by the processing unit 252 described later.
  • the tactile meta information type may be a type of information regarding the frequency of the signal waveform realized by the tactile presentation information.
  • the tactile meta information type may be monotonicity or clarity of the signal waveform.
  • the monotonicity is the degree of frequency change per unit time in the signal waveform representing the tactile sensation presented, the degree of amplitude change per unit time, and the like.
  • the tactile meta information species may be clarity. Clarity is, for example, the degree of roughness or clarity. In general, the more types of frequencies are included in a tactile waveform signal per unit time, the more "coarse" the tactile sensation becomes. On the other hand, when less types of frequencies are included in the tactile waveform signal per unit time, the tactile sensation becomes a "clearer" tactile sensation.
  • the tactile meta information type may be a continuous presentation amplification factor.
  • the tactile meta information regarding the continuous presentation amplification factor is a parameter for enhancing the intensity of the tactile sensation presented over time, for example, depending on the content of the tactile sensation presented or the site where the tactile sensation is presented.
  • humans become accustomed (or numb) to the sensations of the tactile sensations. For this reason, humans feel that when a stimulus of the same intensity is presented, the stimulus becomes weaker at the site where the tactile sensation is presented.
  • the user can continue to feel the same tactile sensation at the site where the tactile sensation is presented without causing habituation or the like.
  • the tactile presentation information may be included in the content stored in the server 10 using SNS or the like.
  • the tactile database DB may store the tactile presentation information included in the content.
  • the tactile presentation information may include information about the creator of such content. More specifically, the tactile presentation information may include a profile of an informant who provides the tactile presentation information. As a result, the tactile presentation information is searched based on the profile of the information provider, so that the user can more appropriately present the tactile sensation intended by the creator of the content.
  • the tactile meta information type may be search information.
  • the search information is information that can be used to search for tactile presentation information.
  • the search information may be generated based on AI (Artificial Intelligence) technology.
  • the search information may be generated based on, for example, various known machine learning algorithms.
  • the tactile meta information species have been described above with reference to FIG.
  • the information regarding the signal waveform, monotonicity, or clarity may be a parameter constituting the tactile presentation information.
  • the tactile meta information type is not limited to the example described with reference to FIG.
  • the tactile meta information species may be appropriately deleted from the list shown in FIG. 3 or added to such a list.
  • the tactile search information includes information regarding the content corresponding to the above-mentioned tactile meta information type. Therefore, the tactile presentation information can be information that more embodies the tactile sensation that the user imagines.
  • FIG. 4 is a functional block diagram showing the configuration of the information processing device 20 according to the embodiment of the present disclosure.
  • the information processing device 20 according to the embodiment of the present disclosure has a function of searching tactile presentation information from a tactile database based on tactile search information for searching tactile presentation information for realizing tactile sensation presented to a user.
  • the information processing device 20 has a function of outputting information related to the searched tactile presentation information.
  • the information processing device 20 has a function of updating the relationship in at least two or more of the plurality of tactile presentation information or the plurality of tactile meta information included in the tactile database.
  • the communication control unit 210, the communication unit 215, the storage unit 220, the update unit 230, the search unit 240, the processing unit 250, and the output unit 255 of the information processing device 20 cooperate with each other for these functions of the information processing device 20. It is realized by. Hereinafter, each functional unit included in the information processing apparatus 20 will be described.
  • the communication control unit 210 has a function of controlling communication performed between the information processing device 20 and various devices connected to the network 40. More specifically, the communication control unit 210 controls the communication between the information processing device 20 and various devices connected to the network 40 by controlling the communication unit 215.
  • the communication unit 215 receives, for example, the information stored in the server 10 and transmits it to the communication control unit 210. Further, the communication unit 215 transmits the tactile search information transmitted from the user terminal 30 to the communication control unit 210. Further, the communication unit 215 transmits the tactile presentation information searched from the tactile database to the user terminal 30 via the network 40.
  • the storage unit 220 stores various types of information such as information transmitted to the information processing device 20 or information generated by the information processing device 20.
  • the storage unit 220 stores a tactile database.
  • the tactile database is used for searching by the search unit 240, if necessary. Further, the tactile database is updated by the update unit 230 as needed.
  • the storage unit 220 may store the tactile search information transmitted from the user terminal 30 or the like to the information processing device 20. Such tactile search information is used, for example, for the search unit 240 to search for tactile presentation information.
  • the tactile database 221 shown in the center of FIG. 5 is stored in the storage unit 220.
  • Various information such as tactile presentation information, image information (for example, photo or stamp), voice information, text information, etc. are transmitted to the information processing device 20 from various external devices such as the server 10 via the network 40. Will be done.
  • This information is transmitted from the communication control unit 210 to the update unit 230.
  • the update unit 230 extracts tactile-related information related to tactile sensation from the transmitted information and stores it in the tactile sensation database 221.
  • tactile-related information is extracted from the first information 260 and the second information 270 in the tactile database 221 and stored in the tactile database 221.
  • the first information 260 is information in which the first image information 261 including the image 262 of the chick, the first text information "fluffy", and the first tactile presentation information 263 are integrated. is there.
  • the first tactile presentation information 263 is tactile presentation information for realizing the tactile sensation of the body hair of a chick included in the first image information 261.
  • the second information 270 is a combination of the second image information 271 including the image 272 of the teddy bear, the second text information "fluffy", and the second tactile presentation information 273. This is the information that has become.
  • the second tactile presentation information 273 is tactile presentation information for realizing the tactile sensation of a teddy bear.
  • the update unit 230 includes the first image information 261 and the second image information 271, the first text information, the second text information, and the first tactile sensation included in the first information 260 and the second information 270.
  • the presentation information 263 and the second tactile presentation information 273 are extracted and stored in the tactile database 221.
  • the update unit 230 stores the first tactile presentation information 263 included in the first information 260 in the tactile database 221 in association with the first image information 261 and the first text information.
  • the update unit 230 stores the second tactile presentation information 273 included in the second information 270 in the tactile database 221 in association with the second image information 271 and the second text information.
  • these image information or text information are associated with tactile presentation information as tactile meta information.
  • the update unit 230 updates the tactile database based on the mutual relationship in the plurality of tactile meta information stored in the tactile database 221. More specifically, the update unit 230 determines that the first tactile presentation information associated with the first tactile meta information is based on the similarity between the first tactile meta information and the second tactile meta information.
  • the tactile similarity with the second tactile presentation information associated with the second tactile meta information is updated. For example, there may be a positive correlation between the similarity and the tactile similarity. That is, if the similarity is high, the tactile similarity may also be high. In the present embodiment, when certain tactile presentation information is searched, tactile presentation information similar to the tactile presentation information can also be searched.
  • the update unit 230 has the first tactile presentation information 263 and the second tactile presentation information 273. Increase the tactile similarity with.
  • the first and second tactile meta information is text information
  • the tactile database 221 stores the first text information "fluffy" and the second text information.
  • the update unit 230 determines that the first text information and the second text information are the same.
  • “matching” is included in the expression “similar”. Therefore, the update unit 230 raises the tactile similarity between the first tactile presentation information 263 associated with the first text information and the second tactile presentation information 273 associated with the second text information.
  • the second tactile presentation information 273 may be more tactile presentation information that can realize the tactile sensation desired by the user than the first tactile presentation information 263. Therefore, as described above, the similarity between the first tactile presentation information and the second tactile presentation information is modified according to the similarity between the first tactile meta information and the second tactile meta information. This makes it possible to more appropriately present the tactile sensation desired by the user.
  • the update unit 230 can utilize the big data stored in the server 10 to associate the tactile presentation information with the tactile meta information.
  • the above big data includes information indicating that the sand, which is a product purchased by the user, has been evaluated as "rough” or "wet". To do.
  • the update unit 230 may update the tactile database by associating the tactile presentation information with the character information "sand" as the tactile meta information.
  • the update unit 230 may update the tactile similarity in a plurality of tactile presentation information according to the number of times the tactile presentation information is used (that is, transmitted to the user terminal 30 or the like). Specifically, when each of a plurality of tactile presentation information is used at the same ratio based on a certain tactile search information, the update unit 230 raises the tactile similarity in the tactile presentation information. For example, when a certain tactile presentation information and a tactile presentation information different from the tactile presentation information are transmitted to the user terminal 30 about the same number of times based on the tactile search information of "roughness", the update unit 230 uses these 2 The tactile similarity in one tactile presentation information may be increased. In this way, the update unit 230 can update the tactile database based on the number of times the tactile presentation information is actually used.
  • the tactile database is a database that matches the usage status of the tactile presentation information by the user. As a result, the user is provided with more appropriate information for realizing the tactile sensation.
  • the update unit 230 raises the tactile similarity in the tactile presentation information associated with the two text information based on the similarity of the two text information.
  • the updating unit 230 may update the tactile similarity in the tactile presentation information associated with the two image information based on the similarity of the two image information.
  • the update unit 230 may update the tactile database based on the search result by the search unit 240 described later. As a result, the tactile database is updated with a more appropriate tactile database according to the past search results. As a result, the accuracy of searching the tactile presentation information is improved, and the information for realizing the tactile sensation is more appropriately provided to the user. For example, when a plurality of tactile presentation information is searched by the search unit 240, the update unit 230 may update the tactile database by increasing the tactile similarity between the plurality of tactile presentation information. When a plurality of tactile presentation information is searched based on a certain tactile search information, it is possible that these tactile presentation information can realize similar tactile sensations.
  • the update unit 230 may update the tactile database based on the frequency at which the tactile presentation information is adopted (adoption frequency) and the tactile search information used for searching the adopted tactile presentation information.
  • the adoption of the tactile presentation information may mean that the searched tactile presentation information is used to realize the tactile sensation actually presented to the user.
  • the updating unit 230 may update, for example, the probability that the tactile presentation information is searched based on the adoption frequency of the tactile presentation information and the tactile search information used for searching the adopted tactile presentation information.
  • a plurality of tactile presentation information is searched based on specific tactile search information will be described.
  • the update unit 230 updates the tactile database so that the more frequently adopted tactile presentation information is searched with a higher probability based on the specific tactile search information among the plurality of tactile presentation information. May be good. Further, the update unit 230 may update the tactile database so that the less frequently adopted tactile presentation information is, the lower the probability that the tactile presentation information is searched based on the specific tactile search information. In the present embodiment, even if the tactile presentation information is searched, for example, when the user determines that the tactile presentation information is inappropriate, the tactile presentation information may not be used for realizing the tactile sensation. Therefore, it is considered that the more frequently adopted tactile sensation information is, the more appropriately the tactile sensation desired by the user can be realized.
  • the update unit 230 updates the tactile database based on the frequency of adoption of the tactile presentation information and the tactile search information used for searching the adopted tactile presentation information, thereby realizing information for the user to realize the tactile sensation. Will be able to be provided more appropriately. Further, the update unit 230 detects tactile presentation information similar to the tactile presentation information that is the target of the adoption frequency, based on the adoption frequency of the tactile presentation information and the tactile search information used for searching the adopted tactile presentation information. The tactile database may be updated with respect to. For example, the update unit 230 also uses the tactile search information used for searching the frequently adopted tactile presentation information for the tactile presentation information similar to the frequently adopted tactile presentation information among the plurality of searched tactile presentation information. The tactile database may be updated to be searched with a higher probability.
  • FIGS. 6 and 7 are diagrams for explaining an example in which the update unit 230 updates the tactile database based on the relationship between the two tactile meta information groups.
  • the tactile meta information group is a set of a plurality of tactile meta information.
  • FIG. 6 shows a first tactile meta information group 280, which is a first set of tactile meta information stored in the tactile database, and a second tactile meta information group 281 which is a second set. ..
  • a third tactile presentation information 283 or a fourth tactile presentation information 284 is associated with the first tactile meta information group 280 and the second tactile meta information group 281, respectively.
  • the first tactile meta information group 280 and the second tactile meta information group 281 have a tactile meta information group 282 shared with each other.
  • the search unit 240 has a function of searching the tactile presentation information from the tactile database by using the tactile search information for searching the tactile presentation information.
  • the search unit 240 uses the tactile search information transmitted from the user terminal 30 or the like to the information processing device 20 via the network 40, for example.
  • the search unit 240 transmits the searched tactile presentation information to the processing unit 250 or the output unit 255.
  • the search unit 240 may transmit the ID corresponding to the searched tactile presentation information to the output unit 255.
  • Such an ID is transmitted to the user terminal 30 via the network 40.
  • the user terminal 30 may inquire of, for example, a mirror server of the information processing device 20 existing in the vicinity of the user terminal 30 and acquire tactile presentation information.
  • the user terminal 30 may inquire of another user terminal or the like to acquire tactile presentation information.
  • Peer to Peer communication, Bluetooth (registered trademark) connection, or the like may be used without going through the network 40.
  • the processing unit 250 has a function of executing various processes based on the search result of the search unit 240. More specifically, the processing unit 250 has a function of generating information based on the tactile search information searched by the search unit 240 and generating information representing information regarding the search result. The processing unit 250 transmits the processing result to the output unit 255. Further, the processing unit 250 transmits the processing result to the updating unit 230 as needed.
  • FIG. 8 is a functional block diagram showing the configuration of the processing unit 250. As shown in FIG. 8, the processing unit 250 includes an extraction unit 251, a processing unit 252, and an image creation unit 253.
  • the extraction unit 251 has a function of extracting feature information representing the features of the tactile presentation information searched by the search unit 240.
  • the extracted feature information is transmitted to the processing unit 252.
  • the amount of data of the extracted feature information may be smaller than the amount of data of the tactile presentation information to be extracted.
  • the extracted feature information is transmitted to the communication control unit 210 and transmitted to the user terminal 30.
  • the tactile sensation is presented to the user by the user terminal 30 based on the transmitted feature information.
  • the extracted feature information may be extracted based on the tactile search information corresponding to the searched tactile presentation information.
  • the tactile search information includes information on the tactile sensation that the user imagines. Therefore, the feature information extracted based on the tactile search information may be information that matches the tactile sensation desired by the user. Therefore, by extracting the feature information based on the tactile search information, it is possible to more appropriately provide the information for realizing the tactile sensation desired by the user.
  • the extraction unit 251 may extract information representing one cycle of the above waveforms as feature information. Good. For example, the extraction unit 251 may calculate the autocorrelation function of the tactile presentation information and extract the information for one cycle. Further, the extraction unit 251 may extract information representing one cycle based on the tactile meta information associated with the searched tactile presentation information. The extraction unit 251 transmits the extracted information for one cycle and the information indicating how many pieces of information for one cycle are included in the tactile presentation information to the communication control unit 210. These transmitted information are transmitted to the user terminal 30 and used for realizing the tactile sensation. By extracting the information for one cycle from the tactile presentation information in this way, the amount of data transmitted by the information processing apparatus 20 to the user terminal 30 can be reduced.
  • the extracted feature information may be extracted based on the emotion information related to the user's emotion included in the tactile search information.
  • the emotional information may be, for example, information about emotions such as "joy” or "anger".
  • the tactile search information is image information
  • the emotional information may be acquired from the image information.
  • the tactile search information is image information including an image of a person's smile
  • various known image recognition techniques may be used to acquire emotional information of "joy" from the image of the smile.
  • FIG. 9 shows a vibration signal waveform 500 represented by tactile search information, with time on the horizontal axis and amplitude on the vertical axis.
  • the frequency spectrum 510 of the signal waveform 500 shown in FIG. 9 is shown with the horizontal axis representing the frequency f and the vertical axis representing the intensity.
  • the signal waveform 500 has components having frequencies from 0 to f2.
  • the emotion of "joy” is expressed by a vibration stimulus with a higher frequency than other emotions. Therefore, when the tactile sensation due to the vibration stimulus of a higher frequency is presented to the user, the user may recall the feeling of "joy” by the stimulus. Therefore, when the tactile search information includes information related to the emotion of "joy", the extraction unit 251 extracts the information related to the signal waveform having a higher frequency from the signal waveforms and transmits it to the communication control unit 210. You may. For example, the extraction unit 251 may extract the frequency component 512 having a frequency of f1 or more indicated by the diagonal line shown in FIG. 10 and transmit it to the communication control unit 210. Further, the extraction unit 251 may perform processing such as frequency thinning or low resolution for the frequency component 511 having a frequency less than f1 and transmit it to the communication control unit 210.
  • the emotion of "anger” is expressed by a vibration stimulus with a lower frequency than other emotions. Therefore, when the tactile sensation due to the vibration stimulus of a lower frequency is presented to the user, the user may recall the feeling of "anger” by the stimulus.
  • the extraction unit 251 may extract the frequency component 511 whose frequency shown in FIG. 10 is lower than f1 and transmit it to the communication control unit 210.
  • the extraction unit 251 may perform processing such as frequency thinning or low resolution on the frequency component 512 having a frequency of f1 or more and transmit it to the communication control unit 210. As described above, by extracting the feature information from the tactile presentation information based on the user's emotional information, it is possible to more appropriately present the user with a tactile sensation that matches the emotion.
  • the feature information extracted from the tactile presentation information may be the same as the tactile meta information associated with the tactile presentation information. In this case, the extraction unit 251 does not have to transmit the feature information to the output unit 255. Further, when all the extracted feature information is covered by the tactile meta information associated with the tactile presentation information to be extracted, the extraction unit 251 transmits all the feature information to the output unit 255. You don't have to. In this case, the extraction unit 251 transmits the tactile meta information associated with the tactile presentation information to the output unit 255. The transmitted tactile meta information is output to the user terminal 30 or the like via the communication control unit 210.
  • the processing unit 252 has a function of processing the tactile presentation information searched by the search unit 240. For example, when the tactile presentation information is represented by a parameter or the like instead of the signal waveform itself, the processing unit 252 generates information representing the signal waveform based on the parameter or the like. Further, when it is necessary to process the tactile presentation information into information corresponding to the device that presents the tactile sensation to the user, the processing unit 252 processes the tactile presentation information into information according to the device. The processing unit 252 may process the tactile presentation information into information according to the device based on the device-dependent information stored in the tactile database. In addition, the processing unit 252 may summarize the tactile presentation information.
  • the processing unit 252 may summarize the tactile presentation information by performing a process of lowering the resolution of the signal waveform represented by the tactile presentation information.
  • the summarized tactile presentation information may be used, for example, to confirm whether the tactile sensation based on the searched tactile presentation information is the desired tactile sensation by the user. Further, the processing unit 252 may process the tactile presentation information according to the part of the user to which the tactile sensation is presented.
  • the image creation unit 253 creates image data for displaying the image on the user terminal 30 or the like. For example, the image creation unit 253 creates image data for displaying the result searched by the search unit 240 on the user terminal 30. Specifically, the image creation unit 253 may create image data for displaying the number or contents of the searched tactile presentation information on the user terminal 30. Further, when the tactile presentation information is not searched, the image creation unit 253 may create image data for displaying that the tactile presentation information has not been searched.
  • FIG. 11 is a functional block diagram showing the configuration of the user terminal 30.
  • the user terminal 30 has a function of acquiring tactile search information and transmitting the acquired tactile search information to the information processing device 20. Further, the user terminal 30 has a function of presenting a tactile sensation to the user based on the tactile sensation presentation information searched by the information processing device 20. Further, the user terminal 30 has a function of displaying the result of the information processing device 20 searching the tactile presentation information from the tactile database.
  • the functions of the user terminal 30 are realized by the input unit 310, the communication control unit 320, the communication unit 325, the tactile presentation unit 330, the storage unit 340, the display control unit 350, and the display unit 355 included in the user terminal 30.
  • the input unit 310 has a function of acquiring various kinds of information according to an operation by the user.
  • the input unit 310 is realized by various known input devices such as a mouse or a keyboard.
  • the input unit 310 acquires tactile search information by, for example, a user operation.
  • the tactile search information may be, for example, information such as text information, image information, or voice information.
  • the input unit 310 transmits the acquired information to the communication control unit 320.
  • the information processing device 20 may search for a plurality of tactile presentation information, and information related to these tactile presentation information may be transmitted to the user terminal 30.
  • the display unit 355, which will be described later, may display, for example, information representing the contents of the plurality of searched tactile presentation information.
  • the user refers to the contents of the plurality of tactile presentation information displayed on the display unit 355, selects the tactile presentation information that realizes the desired tactile sensation, and inputs the information representing the selected tactile presentation information to the input unit 310. be able to.
  • the input unit 310 can transmit information representing the tactile presentation information input by the user to the information processing device 20 via the communication control unit 320, the communication unit 325, and the network 40. As a result, the information processing device 20 can recognize the result of the user selecting the tactile presentation information.
  • the communication unit 325 has a function of transmitting and receiving various information.
  • the communication unit 325 has a function of transmitting various information acquired by the input unit 310 to the information processing device 20 or the like via the network 40.
  • the communication unit 325 receives the tactile presentation information searched by the information processing device 20 via the network 40.
  • the communication unit 325 may receive the result of the information processing device 20 searching for the tactile presentation information.
  • the information received by the communication unit 325 via the network 40 is transmitted to the communication control unit 320.
  • the tactile presentation unit 330 may convert the information related to the tactile presentation information into the signal waveform information according to the device included in the tactile presentation unit 330, if necessary.
  • the tactile presentation unit 330 presents the tactile sensation to the user based on the converted signal waveform information. Thereby, the tactile sensation can be more appropriately presented to the user according to the shape or mechanism of the device.
  • the tactile presentation unit 330 may acquire information for converting into signal waveform information according to the device from the storage unit 340. Further, when the information related to the tactile presentation information is a parameter or the like that characterizes the signal waveform information, the tactile presentation unit 330 may generate the signal waveform information based on the parameter or the like and present the tactile sensation. ..
  • the tactile presentation unit 330 when the tactile presentation unit 330 is provided with a plurality of devices for presenting the tactile sensation, the tactile sensation presentation by the plurality of devices may be controlled in chronological order. This makes it possible to present the tactile sensation to the user through complex perception.
  • the tactile presentation unit 330 may control the presentation of tactile sensations by the plurality of devices based on the information regarding the plurality of tactile presentation information. For example, when a plurality of devices are arranged along the user's right shoulder to the left flank, the tactile presentation unit 330 controls the plurality of devices to give the user the right shoulder to the left flank. It is possible to present a tactile sensation that is torn diagonally.
  • the storage unit 340 stores various information such as information acquired by the user terminal 30 or information necessary for processing by the user terminal 30. For example, the storage unit 340 stores information or search results related to the searched tactile presentation information transmitted from the information processing device 20. Further, the storage unit 340 stores information necessary for the tactile presentation unit 330 to present the tactile sensation. For example, the storage unit 340 stores information for the tactile presentation unit 330 to convert the tactile presentation information into information according to the device. Further, the storage unit 340 may store a database similar to the tactile database stored in the information processing device 20. The information stored in the storage unit 340 is referred to by the communication control unit 320, the tactile presentation unit 330, or the display control unit 350, if necessary.
  • the display control unit 350 has a function of controlling the display of various information by the display unit 355 based on the image data created by the information processing device 20. For example, the display control unit 350 acquires image data related to the search result of the tactile presentation information by the information processing device 20 from the communication control unit 320, transmits the image data to the display unit 355, and causes the display unit 355 to display the search result. Further, the display control unit 350 may process the acquired image data and transmit it to the display unit 355, if necessary. For example, the display control unit 350 may have acquired image data indicating that a plurality of tactile presentation information has been searched.
  • the display control unit 350 processes the image data so that the information representing the plurality of tactile presentation information is displayed in order from the top of the screen on the display unit 355 in descending order of the number of times the user has used the information. You may.
  • the user can recognize the tactile presentation information that is frequently used by referring to the display unit 355. It is presumed that the tactile presentation information that is frequently used can realize the tactile sensation desired by the user. Therefore, the contents of the tactile presentation information are displayed on the display unit 355 in descending order of the number of times of use, so that the user can present an appropriate tactile sensation.
  • the display unit 355 has a function of displaying various information as an image to the user.
  • the display unit 355 is realized by various known image display devices such as a liquid crystal display.
  • the display unit 355 may display an image showing the content of the searched tactile presentation information. More specifically, the display unit 355 may display an image reminiscent of the tactile sensation presented based on the searched tactile sensation presentation information. The user can recall the tactile sensation presented by referring to such an image. Further, when the information processing apparatus 20 searches for a plurality of tactile presentation information, the display unit 355 may display an image reminiscent of each of the tactile sensations corresponding to the plurality of tactile presentation information.
  • the user can select an image most pronounced of the tactile sensation desired by the user from the plurality of images displayed on the display unit 355, and input information on the tactile sensation corresponding to the selected image to the input unit 310.
  • the tactile presentation unit 330 can present the selected tactile sensation to the user.
  • FIG. 12 is a diagram showing how the tactile presentation information is searched.
  • the tactile database 223 stored in the storage unit 220 included in the information processing device 20 is shown. It is assumed that the tactile database 223 stores the tactile-related information acquired from the first information 260 described with reference to FIG. More specifically, the first image information 261 including the image 262 of the chick shown in FIG. 5, the first text information "fluffy", and the first tactile presentation information 263 are stored in the tactile database 223. It is assumed that it is stored.
  • the user inputs the third information 291 to the input unit 310 of the user terminal 30.
  • the third information 291 includes a third image information 292 having a chick image 293.
  • the third image information 292 is transmitted from the user terminal 30 to the information processing device 20 as tactile search information. Further, in conjunction with this transmission, a signal requesting the information processing device 20 to search for the tactile presentation information is transmitted from the user terminal 30.
  • the information processing device 20 searches the tactile database 223 using the third image information 292.
  • the image 262 of the chick included in the first image information 261 and the image 293 of the chick included in the third image information 292 are similar.
  • the information processing device 20 determines that the first image information 261 stored in the tactile database 223 and the third image information 292 transmitted from the user terminal 30 are similar.
  • the information processing device 20 searches for the first tactile presentation information 263 associated with the first image information 261 and transmits the first tactile presentation information 263 to the user terminal 30.
  • the tactile presentation unit 330 can present the tactile sensation based on the transmitted first tactile presentation information 263.
  • the first tactile presentation information 263 received by the user terminal 30 is stored in the storage unit 340 included in the user terminal 30 together with the third image information 292.
  • the user terminal 30 can transmit the third image information 292 together with the first tactile presentation information 263 to, for example, various servers connected to the network.
  • the user terminal 30 requests the information processing device 20 to search for the tactile presentation information and the time when the user terminal 30 presents the tactile sensation.
  • a user is viewing a moving image displayed on the display unit 355, for example, he / she may want the moving image to present a tactile sensation to the tactile presentation unit 330 in real time.
  • an analysis unit included in the user terminal 30 analyzes a moving image displayed on the display unit 355, and requests the information processing device 20 to search for tactile presentation information based on the analysis result. For example, when the display unit 355 displays a moving image showing a horse running "fluffy", the analysis unit analyzes that the moving image contains an image showing that the horse is running. ..
  • the user terminal 30 requests that the information processing device 20 transmit the information indicating the state when the horse is running "Pakapaka" as the tactile search information to search the tactile presentation information. To do.
  • the tactile presentation unit 330 since the above-mentioned time lag occurs, it may be difficult for the tactile presentation unit 330 to present the tactile sensation in real time while waiting for the tactile presentation information to be searched by the information processing apparatus 20. Therefore, during such a time lag, by presenting a provisional tactile sensation to the user based on the tactile presentation information stored in the user terminal 30, it is possible to prevent the user from feeling the above time lag.
  • FIG. 13 is a diagram showing a signal waveform of vibration related to the sense of touch presented to the user.
  • the first vibration waveform 520 related to the provisional tactile sensation presented based on the tactile presentation information stored in the user terminal 30, and the tactile presentation information searched by the information processing apparatus 20 are shown.
  • a second vibration waveform 523 relating to the presented tactile sensation and a vibration waveform 524 which is a superposition of the first vibration waveform 520 and the second vibration waveform 523 are shown.
  • the horizontal axis indicates the time, and the time when the user inputs the tactile search information to the user terminal 30 is set to 0.
  • the vertical axis shows the amplitude of each vibration waveform.
  • the user terminal 30 presents the tactile sensation to the user based on the tactile sensation presentation information stored in the storage unit 340. More specifically, the tactile presentation unit 330 presents the tactile sensation represented by the first vibration waveform 520 to the user.
  • the first vibration waveform 520 is a waveform different from the vibration waveform 522 shown by the broken line in the middle stage, which corresponds to the desired tactile sensation.
  • a person cannot accurately sense the sense of touch when he or she begins to feel the sense of touch. Therefore, even if the first vibration waveform 520 has a waveform different from the desired vibration waveform 522, the user can feel the tactile sensation without feeling any discomfort.
  • the amplitude of the first vibration waveform 520 is smaller than that of the vibration waveform 521 represented by the tactile presentation information stored in the user terminal 30 from time t1 to t2. That is, from time t1 to t2, the first vibration waveform 520 fades out. On the other hand, from time t1 to t2, the second vibration waveform 523 fades in. After time t2, the second vibration waveform 523 becomes a tactile waveform desired by the user.
  • the vibration waveform 524 in which the first vibration waveform 520 and the second vibration waveform 523, which have been described above, are superimposed is shown at the bottom of FIG.
  • the tactile sensation is presented to the user based on the tactile sensation presented information stored in the user terminal 30.
  • the timing at which the moving image is displayed can be delayed.
  • the timing at which the tactile sensation is presented and the timing at which the moving image is displayed can be matched, and the tactile sensation can be presented to the user without discomfort.
  • FIG. 14 is a flowchart showing a flow in which the information processing apparatus 20 according to the embodiment of the present disclosure updates the tactile database.
  • description will be given with reference to the flowchart shown in FIG.
  • the information processing device 20 requests the server information from the server 10 (step S101). More specifically, the communication unit 215 transmits a signal requesting tactile-related information to the server 10 via the network 40.
  • the information processing device 20 updates the tactile database (step S110). More specifically, the update unit 230 updates the tactile database stored in the storage unit 220 based on the server information. A more detailed update process will be described with reference to FIG. FIG. 15 is a flowchart showing an update process of the tactile database. Hereinafter, the description will be given with reference to the flowchart shown in FIG.
  • the update unit 230 acquires the server information (step S111). Next, the update unit 230 determines whether or not the server information includes the tactile presentation information (step S112). If it is determined that the server information includes the tactile presentation information (step S112: Yes), the process proceeds to step S113. When it is determined that the server information does not include the tactile presentation information (step S112: No), the update process ends.
  • the update unit 230 extracts tactile meta information from the server information (step S113).
  • the tactile meta information is extracted from image information, text information, voice information, tactile presentation information, and the like included in the server information.
  • information related to the sense of touch is extracted as the sense of touch meta information.
  • the server information includes the text information "It's fluffy", the text information is extracted as the tactile meta information.
  • the update unit 230 confirms the tactile meta information included in the tactile database (step S114). More specifically, the update unit 230 compares each of the tactile meta information extracted in step S113 with each of the tactile meta information included in the tactile database. When the tactile meta information that completely matches the extracted tactile meta information exists as the tactile meta information associated with the tactile presentation information detected in step S112 in the tactile database (step S115: Yes), FIG. The update process shown in is completed. That is, when the extracted tactile meta information exists as registered data in the tactile database, the update process shown in FIG. 15 ends. On the other hand, if the extracted tactile meta information does not exist as the data registered in the tactile database (step S115: No), the process proceeds to step S116.
  • the update unit 230 determines whether or not the tactile meta information extracted in step S113 contains tactile meta information similar to any of the tactile meta information included in the tactile database (step). S116). If it is determined that there is extracted tactile meta information that is similar to any of the tactile meta information contained in the tactile database (step S116: Yes), the process proceeds to step S117. On the other hand, if it is determined that there is no extracted tactile meta information similar to any of the tactile meta information contained in the tactile database (step S116), the process proceeds to step S118.
  • step S116 the update unit 230 stores in the storage unit 220 that the extracted tactile meta information and the tactile meta information included in the tactile database are similar (step S117).
  • the update unit 230 updates the tactile database (step S118). More specifically, the update unit 230 stores the tactile presentation information in the tactile database in a state in which the tactile meta information extracted from the tactile presentation information included in the server information is associated with the tactile meta information. When the tactile database is updated, the update process ends.
  • the server information of the server 10 is transmitted to the information processing device 20 as needed, and the information processing device 20 is tactile based on the server information. Update the database. Therefore, as the information is accumulated in the server 10, the tactile database stored in the information processing apparatus 20 is updated. As a result, the information processing device 20 can search the tactile presentation information more accurately, and can provide information for realizing a more appropriate tactile sensation to the user.
  • the information processing apparatus 20 searches the tactile presentation information from the tactile database, and the user terminal 30 presents the tactile sensation based on the searched tactile presentation information. Will be described.
  • FIG. 16 is a flowchart showing an outline of a processing example by the information processing apparatus 20 and the user terminal 30 according to the embodiment of the present disclosure.
  • the user terminal 30 acquires tactile search information (step S201). More specifically, the input unit 310 acquires tactile search information composed of image information, voice information, text information, and the like by an operation of a user or the like. The acquired tactile search information is transmitted to the communication control unit 320.
  • the information processing device 20 searches the tactile presentation information from the tactile database (step S205). More specifically, the communication unit 215 receives the tactile search information and the request information. The received tactile search information and request information are transmitted to the search unit 240 via the communication control unit 210. The search unit 240 receives the request information and uses the transmitted tactile search information to search the tactile search information from the tactile database stored in the storage unit 220.
  • the information processing device 20 acquires the tactile presentation information (step S207). More specifically, the search unit 240 acquires the tactile presentation information searched in step S205.
  • the information processing device 20 transmits the tactile presentation information to the user terminal 30 (step S209). More specifically, the search unit 240 transmits the searched tactile presentation information to the processing unit 250 or the output unit 255. The tactile presentation information transmitted to the processing unit 250 is subjected to various processing and transmitted to the output unit 255. The output unit 255 transmits the tactile presentation information transmitted from the search unit 240 or the tactile presentation information processed by the processing unit 250 to the communication control unit 210 as information related to the tactile presentation information. The communication control unit 210 causes the communication unit 215 to transmit information related to the searched tactile presentation information to the user terminal 30 via the network 40.
  • the user terminal 30 presents a tactile sensation (step S211). More specifically, the communication unit 325 receives information related to the tactile presentation information. For example, the communication control unit 320 acquires the received tactile presentation information and transmits it to the tactile presentation unit 330. The tactile presentation unit 330 presents the tactile sensation to the user based on the transmitted tactile sensation presentation information.
  • the information processing apparatus 20 searches the tactile presentation information from the tactile database using the tactile search information, and outputs the information related to the searched tactile presentation information. In this way, since the information related to the tactile presentation information is output based on the tactile presentation information searched using the tactile search information, the information for realizing the tactile sensation desired by the user is provided more appropriately. To.
  • tactile search information using text information, image information, voice information, etc. alone or in combination of these information is used.
  • the tactile sensation that the user imagines is expressed more concretely.
  • more accurate tactile search information is searched, and information for realizing a more appropriate tactile sensation is provided to the user.
  • FIG. 17 is a flowchart showing a first specific example of the information processing device 20 and the user terminal 30 according to the embodiment of the present disclosure.
  • the method in which the information processing apparatus 20 acquires the tactile presentation information will be described more specifically.
  • the first specific example will be described with reference to the flowchart shown in FIG.
  • steps S301 and S303 are carried out, but since these processes are substantially the same as the processes of steps S201 and S203 shown in FIG. 16, description thereof will be omitted here.
  • step S305 the information processing device 20 searches for tactile meta information. More specifically, the search unit 240 searches the tactile database for tactile meta information similar to the tactile search information.
  • the search unit 240 determines whether or not there is tactile meta information similar to the tactile search information in the tactile database (step S307). If it is determined that there is tactile meta information similar to the tactile search information (step S307: Yes), the process proceeds to step S309. On the other hand, if it is determined that there is no tactile meta information similar to the tactile search information (step S307: No), the process proceeds to step S311.
  • step S307 the information processing device 20 acquires the tactile presentation information (step S309). More specifically, the search unit 240 acquires the tactile presentation information associated with the tactile meta information determined to be similar to the tactile search information in step S307.
  • the information processing device 20 transmits the search result to the user terminal 30 (step S311). More specifically, when the search unit 240 has acquired the tactile presentation information in step S309, the search unit 240 transmits the acquired tactile presentation information to the processing unit 250 or the output unit 255. The output unit 255 transmits information related to the tactile presentation information to the communication control unit 210 as a search result. On the other hand, when the tactile presentation information is not acquired, the search unit 240 transmits the information indicating that the tactile presentation information was not searched as the search result to the communication control unit 320. The communication control unit 320 controls the communication unit 325 so as to transmit the search result to the user terminal 30. The communication unit 325 transmits the search result to the user terminal 30 via the network 40.
  • the user terminal 30 outputs the search result (step S313). More specifically, the communication unit 325 receives the search result and transmits the received search result to the communication control unit 320.
  • the communication control unit 320 transmits the tactile presentation information to the tactile presentation unit 330.
  • the tactile presentation unit 330 presents the tactile sensation to the user based on the transmitted tactile sensation presentation information.
  • the communication control unit 320 transmits information indicating that the tactile presentation information has not been searched to the display control unit 350.
  • the display control unit 350 causes the display unit 355 to display information indicating that the tactile presentation information has not been searched, for example, as image information. As a result, the user can recognize that the tactile presentation information has not been searched.
  • FIG. 18 is a flowchart showing a second specific example of the information processing system 1 according to the embodiment of the present disclosure.
  • the second specific example differs from the first specific example in that the search unit 240 acquires tactile meta information from the tactile database.
  • the search unit 240 acquires tactile meta information from the tactile database.
  • steps S401 to S407 are carried out, but since these processes are substantially the same as the processes of steps S301 to S307 shown in FIG. 17, description thereof will be omitted here.
  • the information processing device 20 acquires the tactile meta information (step S409). More specifically, the search unit 240 acquires the tactile meta information determined to be similar to the tactile search information from the tactile database.
  • the information processing device 20 transmits the search result to the user terminal 30 (step S411).
  • the search unit 240 transmits the acquired tactile meta information to the communication control unit 210 as a search result.
  • the search unit 240 transmits the information indicating that the tactile meta information was not searched to the communication control unit 210 as a search result.
  • the communication control unit 210 transmits the transmitted search result to the communication unit 215.
  • the communication unit 215 transmits the search result to the user terminal 30 via the network 40.
  • the user terminal 30 outputs the search result (step S413). More specifically, the communication unit 325 receives the search result and transmits the received search result to the communication control unit 320.
  • the communication control unit 320 transmits the tactile meta information to the tactile presentation unit 330.
  • the tactile presentation information associated with the tactile meta information is stored in the storage unit 340. That is, it is assumed that the storage unit 340 stores a database similar to the tactile database stored in the information processing device 20.
  • the tactile presentation unit 330 searches the transmitted tactile meta information from the storage unit 340, and presents the tactile sensation to the user based on the tactile presentation information associated with the searched tactile meta information.
  • the communication control unit 320 transmits information indicating that the tactile sensation is not presented by the tactile presentation unit 330 to the display control unit 350. Based on the transmitted information, the display control unit 350 causes the display unit 355 to display information indicating that the tactile sensation is not presented by the tactile sensation presenting unit 330. This allows the user to recognize that the tactile sensation is not presented.
  • FIG. 19 is a flowchart showing a first application example of processing by the information processing device 20 and the user terminal 30 according to the embodiment of the present disclosure.
  • the first application example will be described with reference to the flowchart shown in FIG.
  • steps S501 and S503 are carried out, but since these processes are substantially the same as the processes of steps S201 and S203 shown in FIG. 16, description thereof will be omitted here.
  • the information processing device 20 searches for tactile presentation information (step S505). More specifically, the communication unit 215 receives the tactile search information from the user terminal 30 and transmits the received tactile search information to the communication control unit 210. The communication control unit 210 transmits the transmitted tactile search information to the search unit 240. The search unit 240 searches the tactile presentation information from the tactile database by using the transmitted tactile search information. In the first application example, the search unit 240 searches for a plurality of tactile presentation information. The search unit 240 transmits the searched plurality of tactile presentation information to the processing unit 250 or the output unit 255 as candidates for the tactile presentation information.
  • the information processing device 20 transmits a candidate for tactile presentation information to the user terminal 30 (step S507). More specifically, the output unit 255 transmits information related to the plurality of tactile presentation information to the communication control unit 210 as candidates for the tactile presentation information.
  • the communication control unit 210 controls the communication unit 215 so as to transmit the transmitted tactile presentation information candidate to the user terminal 30. As a result, candidates for tactile presentation information are transmitted to the user terminal 30.
  • the user terminal 30 outputs a tactile candidate (step S509). More specifically, the communication unit 325 receives the candidate for the tactile presentation information and transmits the received candidate for the tactile presentation information to the communication control unit 320. The communication control unit 320 transmits the transmitted tactile presentation information candidate to the tactile presentation unit 330. The tactile presentation unit 330 presents tactile candidates to the user based on the transmitted tactile presentation information candidates.
  • the user terminal 30 requests the selected tactile candidate (step S511). More specifically, the user selects a tactile sensation that most closely matches the tactile sensation desired by the user from the tactile sensation candidates presented in step S509, and inputs information corresponding to the selected tactile sensation to the input unit 310.
  • the input unit 310 transmits the input information to the communication control unit 320.
  • the communication control unit 320 controls the communication unit 325 so as to transmit the information corresponding to the selected tactile sensation to the information processing device 20. As a result, information about the selected tactile sensation is transmitted to the information processing device 20.
  • the information processing device 20 updates the tactile database (step S513). More specifically, the communication unit 215 transmits information corresponding to the selected tactile candidate to the update unit 230 via the communication control unit 210.
  • the update unit 230 updates the tactile database with respect to the tactile presentation information for realizing the selected tactile sensation. For example, the update unit 230 uses the tactile search information used for the search or the information extracted from the tactile search information as tactile meta information associated with the tactile presentation information for realizing the selected tactile sensation. It may be stored in the database.
  • the update unit 230 may update the tactile database according to the degree of selectivity of the presented tactile sensation. For example, when two tactile presentation information searched based on a certain tactile search information are selected by the user at a similar ratio, the update unit 230 raises the tactile similarity of the two tactile presentation information to the tactile database. May be updated. As a result, the user is provided with more appropriate information for realizing the tactile sensation.
  • the information processing device 20 transmits the tactile presentation information to the user terminal 30 (step S515). More specifically, the communication control unit 210 controls the communication unit 215 so as to transmit information related to the tactile presentation information for realizing the selected tactile sensation to the user terminal 30.
  • the user terminal 30 presents the selected tactile sensation (step S517). More specifically, the communication unit 325 receives the information related to the tactile presentation information for realizing the selected tactile sensation, and transmits the information related to the received tactile presentation information to the communication control unit 320. The communication control unit 320 transmits the transmitted information to the tactile presentation unit 330, and the tactile presentation unit 330 presents the tactile sensation to the user.
  • the information processing device 20 updated the tactile database based on the selection result of information related to the tactile presentation information by the user.
  • the tactile database is updated in a manner more in line with the user's wishes.
  • the user is more appropriately provided with information for achieving the desired tactile sensation.
  • FIG. 20 is a flowchart showing a second application example of processing by the information processing device 20 and the user terminal 30 according to the embodiment of the present disclosure.
  • the second application example will be described with reference to the flowchart shown in FIG.
  • steps S601 and S603 are carried out, but since these processes are substantially the same as the processes of steps S201 and S203 shown in FIG. 16, description thereof will be omitted here.
  • the information processing device 20 searches for the tactile presentation information (step S605). More specifically, the communication unit 215 transmits the tactile search information to the search unit 240 via the communication control unit 210. The search unit 240 searches a plurality of tactile presentation information from the tactile database using the transmitted tactile search information. The searched plurality of tactile presentation information is transmitted to the processing unit 250.
  • the information processing device 20 processes the tactile presentation information (step S607). More specifically, the processing unit 252 included in the processing unit 250 processes each of the plurality of tactile presentation information based on the confirmation information.
  • the confirmation information is information used to convert the tactile presentation information into information for realizing the tactile sensation for the user to confirm the tactile sensation.
  • the processing unit 252 creates a digest version of the tactile presentation information based on the confirmation information. For example, the time for which the tactile sensation is presented based on the tactile sensation presentation information of the digest version may be shorter than the time for which the tactile sensation is presented based on the tactile sensation presentation information before processing. That is, the tactile sensation presented based on the tactile sensation presentation information after processing may be a simplified tactile sensation than the tactile sensation presented based on the tactile sensation presentation information before processing.
  • the information processing device 20 transmits a candidate for tactile presentation information to the user terminal 30 (step S609). More specifically, the processing unit 250 transmits each of the processed tactile presentation information to the communication control unit 320 via the output unit 255 as a candidate for the tactile presentation information. The communication control unit 320 controls the communication unit 325 so as to transmit a candidate for the tactile presentation information transmitted to the user terminal 30.
  • the user terminal 30 presents a tactile candidate (step S611). More specifically, the communication unit 325 receives the candidate for the tactile presentation information, and transmits the received candidate for the tactile presentation information to the tactile presentation unit 330 via the communication control unit 320. The tactile presentation unit 330 presents tactile candidates to the user based on the transmitted tactile presentation information candidates.
  • the user terminal 30 requests the information processing device 20 for the selected tactile sensation (step S613).
  • the user selects a tactile sensation that best matches the tactile sensation desired by the user from the presented tactile sensation candidates, and inputs information representing the selected tactile sensation to the input unit 310.
  • the input unit 310 transmits the input information to the communication control unit 320.
  • the communication control unit 320 controls the communication unit 325 so as to transmit the transmitted information to the information processing device 20.
  • the information processing device 20 processes the tactile presentation information (step S615). More specifically, the communication unit 215 receives the information regarding the selected tactile sensation, and transmits the received information to the processing unit 250 via the communication control unit 210. The processing unit 252 processes the tactile presentation information for realizing the transmitted tactile sensation based on the usage information.
  • the usage information is information for processing the tactile presentation information into information for more appropriately realizing the tactile sensation presented to the user.
  • the usage information may be information for processing the tactile presentation information into information corresponding to the devices constituting the tactile presentation unit 330.
  • the information processing device 20 transmits the tactile presentation information to the user terminal 30 (step S617). More specifically, the processing unit 252 transmits the tactile presentation information processed in step S615 to the communication control unit 210.
  • the communication control unit 210 controls the communication unit 215 so as to transmit the processed tactile presentation information to the user terminal 30.
  • the user terminal 30 presents the selected tactile sensation (step S619). More specifically, the communication unit 325 receives the tactile presentation information and transmits the received tactile presentation information to the tactile presentation unit 330 via the communication control unit 320. The tactile presentation unit 330 presents the tactile sensation to the user based on the transmitted tactile sensation presentation information.
  • the second application example has been described above with reference to FIG. 20.
  • the processing unit 252 generated a digest version of the tactile presentation information, and the user terminal 30 presented the tactile sensation based on the tactile presentation information.
  • the amount of information data transmitted by the information processing device 20 to the user terminal 30 is reduced.
  • the presented tactile sensation is simplified, the user can select the tactile sensation more easily. As a result, the user will be provided with information for realizing the tactile sensation more easily.
  • the information processing device 20 constituting the information processing system 1 mainly includes a CPU 601, a ROM 602, and a RAM 603. Further, the information processing device 20 further includes a host bus 604, a bridge 605, an external bus 606, an interface 607, an input device 608, an output device 609, a storage device 610, a drive 612, and a connection port 614. And a communication device 616.
  • the CPU 601 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 20 according to various programs recorded in the ROM 602, the RAM 603, the storage device 610, or the removable recording medium 613.
  • the ROM 602 stores programs, calculation parameters, and the like used by the CPU 601.
  • the RAM 603 primarily stores a program used by the CPU 601 and parameters that change as appropriate in the execution of the program. These are connected to each other by a host bus 604 composed of an internal bus such as a CPU bus.
  • the communication control unit 210, the update unit 230, the search unit 240, the processing unit 250, and the output unit 255 shown in FIG. 4 may be configured by the CPU 601.
  • the host bus 604 is connected to an external bus 606 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 605. Further, an input device 608, an output device 609, a storage device 610, a drive 612, a connection port 614, and a communication device 616 are connected to the external bus 606 via the interface 607.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 608 is an operating means operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, levers, and pedals. Further, the input device 608 may be, for example, a remote control means (so-called remote controller) using infrared rays or other radio waves, or an externally connected device such as a mobile phone or PDA that supports the operation of the information processing device 20. It may be 615. Further, the input device 608 is composed of, for example, an input control circuit that generates an input signal based on the information input by the user using the above-mentioned operating means and outputs the input signal to the CPU 601. By operating the input device 608, the user of the information processing device 20 can input various data to the information processing device 20 and instruct the processing operation.
  • a remote control means such as a mobile phone or PDA that supports the operation of the information processing device 20. It may be 615.
  • the input device 608 is composed of, for example, an input control circuit that generates an input signal based on the information
  • the output device 609 is composed of a device capable of visually or audibly notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 609 outputs, for example, the results obtained by various processes performed by the information processing device 20.
  • the display device displays the results obtained by various processes performed by the information processing device 20 as text or an image.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the signal.
  • the output device 609 may be a device capable of presenting a tactile sense based on the tactile sense presentation information. As a result, the user can confirm the tactile sensation by using the device of the information processing apparatus 20.
  • the storage device 610 is a data storage device configured as an example of the storage unit of the information processing device 20.
  • the storage device 610 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 610 stores programs executed by the CPU 601, various data, and the like.
  • the storage unit 220 shown in FIG. 4 may be configured by the storage device 610.
  • the drive 612 is a reader / writer for a recording medium, and is built in or externally attached to the information processing device 20.
  • the drive 612 reads the information recorded on the removable recording medium 613 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 603.
  • the drive 612 can also write a record to a removable recording medium 613 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 613 is, for example, DVD media, HD-DVD media, Blu-ray (registered trademark) media, or the like.
  • the removable recording medium 613 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 613 may be, for example, an IC card (Integrated Circuit card) or an electronic device equipped with a non-contact type IC chip.
  • CF CompactFlash
  • SD memory card Secure Digital memory card
  • the connection port 614 is a port for directly connecting to the information processing device 20.
  • Examples of the connection port 614 include a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • Other examples of the connection port 614 include an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 616 is, for example, a communication interface composed of a communication device or the like for connecting to a communication network (network) 617.
  • the communication device 616 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 616 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 616 can transmit and receive signals and the like to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP / IP.
  • the communication network 617 connected to the communication device 616 is composed of a network connected by wire or wireless, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. ..
  • the above is an example of a hardware configuration capable of realizing the functions of the information processing device 20 constituting the information processing system 1 according to the embodiment of the present disclosure.
  • Each of the above components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • various configurations corresponding to the information processing apparatus 20 constituting the information processing system 1 are naturally provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the number of computers for executing the computer program is not particularly limited. For example, a plurality of computers (for example, a plurality of servers, etc.) may execute the computer program in cooperation with each other.
  • the tactile database may be stored in the user terminal 30.
  • the user terminal 30 may have a function of searching the tactile database, or the information processing device 20 or the like may search the tactile database stored in the user terminal 30.
  • the update unit includes the first tactile presentation information associated with the first tactile meta information and the second tactile presentation information based on the similarity between the first tactile meta information and the second tactile meta information.
  • the updating unit determines the tactile similarity between the first tactile presentation information and the second tactile presentation information. increase, The information processing device according to (3) above.
  • the update unit when the first tactile meta information group, which is the first set of the tactile meta information, and the second tactile meta information group, which is the second set, have tactile meta information groups similar to each other. By associating the tactile presentation information that is not associated with the second tactile meta information group and is associated with the first tactile meta information group with the second tactile meta information group, the tactile sensation Update the database, The information processing device according to any one of (2) to (4) above.
  • the update unit updates the tactile database based on the search result by the search unit.
  • the information processing device according to any one of (2) to (5) above.
  • the update unit updates the tactile database by increasing the tactile similarity between the plurality of tactile presentation information.
  • the information processing device according to (6) above.
  • the update unit updates the tactile database based on the result of the user selecting information related to the tactile presentation information output by the output unit.
  • the information processing device according to any one of (2) to (7) above. (9) Claims (2) to (8), wherein the updating unit updates the tactile database based on the frequency at which the tactile presentation information is adopted and the tactile search information used for searching the adopted tactile presentation information.
  • the information processing apparatus according to any one of the above items.
  • an extraction unit for extracting feature information representing the characteristics of the searched tactile presentation information from the tactile presentation information searched by the search unit is provided.
  • the information processing device according to any one of (1) to (9) above.
  • (11) The feature information is extracted based on the tactile search information corresponding to the searched tactile presentation information.
  • the information processing device according to (10) above.
  • (12) The feature information is extracted based on the information about the user's emotion included in the tactile search information.
  • (13) When the tactile sensation presented based on the tactile sensation presentation information is represented by a waveform having periodicity,
  • the feature information is information representing one cycle of the waveform.
  • the information processing device according to (10) or (11).
  • the tactile meta information includes user information about the user.
  • the information processing device includes any one of (1) to (13).
  • the tactile meta information includes information about the part of the user to whom the tactile sensation is presented based on the tactile presentation information.
  • the information processing device according to any one of (1) to (14) above.
  • a processing unit for processing the searched tactile presentation information into information according to the user's part is provided.
  • the information processing device according to (15) above.
  • the tactile meta information includes tactile motion information relating to the tactile motion of the user.
  • the information processing device according to any one of (1) to (16).
  • the tactile meta information includes information about voice by the user.
  • the information processing device according to any one of (1) to (17).
  • the tactile meta information includes information on the frequency of the signal waveform realized by the tactile presentation information.
  • the information processing device according to any one of (1) to (18).
  • the processor From a tactile database containing the tactile presentation information and one or more tactile meta information associated with the tactile presentation information, based on the tactile search information used to search for the tactile presentation information to realize the tactile sensation presented to the user.
  • Searching for the tactile presentation information To output information related to the searched tactile presentation information, Information processing methods, including. (21) Computer, From a tactile database containing the tactile presentation information and one or more tactile meta information associated with the tactile presentation information, based on the tactile search information used to search for the tactile presentation information to realize the tactile sensation presented to the user.
  • a search unit that searches for the tactile presentation information
  • An output unit that outputs information related to the searched tactile presentation information
  • a program that functions as an information processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、前記検索された触覚提示情報に関連する情報を出力する出力部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　従来、例えば振動刺激などのようなユーザの触覚を介して知覚される各種情報を、ユーザに提示するための技術が提案されている。例えば、特許文献１には、所定の条件に応じて触覚効果を引き起こすように構成される信号を生成し、生成された信号を触覚提示デバイスに出力する技術が記載されている。
特開２０１７－１９４９８１号公報
　上記のように、従来、触覚をユーザに提示する技術は提案されてきた。一方、上記のような触覚に関連する各種情報が多数蓄積されるにつれて、辞書で言葉を検索するように、蓄積された触覚に関する情報の中からユーザが所望する情報を検索することができれば、ユーザの利便性をより一層向上させることが可能となると考えられる。
　そこで、本開示では、触覚を検索するための情報に基づいて、ユーザが所望する触覚をより適切に実現するための情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、前記検索された触覚提示情報に関連する情報を出力する出力部と、を備える、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索することと、前記検索された触覚提示情報に関連する情報を出力することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、前記検索された触覚提示情報に関連する情報を出力する出力部と、を備える、情報処理装置として機能させるプログラムが提供される。
本開示の一実施形態に係る情報処理システムの構成を示す図である。 触覚データベースのデータ構造の一例を示す図である。 触覚メタ情報種の一例を示すリストである。 本開示の一実施形態に係る情報処理装置の構成を示す機能ブロック図である。 更新部による触覚データベースの更新の一例について説明するための図である。 更新部が、２つの触覚メタ情報群の関係に基づいて、触覚データベースを更新する例を説明するための図である。 更新部が、２つの触覚メタ情報群の関係に基づいて、触覚データベースを更新する例を説明するための図である。 処理部の構成を示す機能ブロック図である。 検索された触覚提示情報の一例として、振動の信号波形を示す図である。 図９に示す信号波形の周波数スペクトルを示す図である。 ユーザ端末の構成を示す機能ブロック図である。 触覚提示情報が検索される様子を示す図である。 ユーザに提示される触覚に係る振動の信号波形を示す図である。 本開示の一実施形態に係る情報処理装置が触覚データベースを更新する流れを示すフローチャート図である。 触覚データベースの更新処理を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置及びユーザ端末による処理例の概要を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置及びユーザ端末による第１の具体例を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置及びユーザ端末による第２の具体例を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置及びユーザ端末の処理の第１の応用例を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置及びユーザ端末の処理の第２の応用例を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理システムの全体構成
　　１．１．触覚データベース
　　１．２．情報処理装置の構成及び機能
　　１．３．ユーザ端末の構成及び機能
　２．更新例
　３．処理例
　　３．１．処理例の概要
　　３．２．第１の具体例
　　３．３．第２の具体例
　４．応用例
　　４．１．第１の応用例
　　４．２．第２の応用例
　５．ハードウェア構成例
　６．補足
　＜１．情報処理システムの全体構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システム１について説明する。図１は、本開示の一実施形態に係る情報処理システム１の構成を示す図である。本開示の一実施形態に係る情報処理システム１は、サーバ１０、情報処理装置２０、及びユーザ端末３０を備える。サーバ１０、情報処理装置２０、及びユーザ端末３０は、互いにネットワーク４０により接続されている。
　なお、ネットワーク４０は、電話回線網、インターネット、衛星通信網などの公衆回線網や、ＬＡＮ（Ｌｏｃａｌ　Ａｅｒａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　サーバ１０は、ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）等の各種の公知のサービスに基づいて収集された情報を格納する。より具体的には、サーバ１０は、ユーザがＳＮＳ等に基づき送信した情報を格納している。例えば、サーバ１０に格納される情報には、触覚を実現するための触覚提示情報が含まれる。また、触覚提示情報は、テキスト情報、画像情報、又は音声情報等の各種の情報の少なくともいずれかとともにサーバ１０に格納されていてもよい。サーバ１０に格納されている各種の情報は、必要に応じて、ネットワーク４０を介して情報処理装置２０に送信される。なお、本明細書において、触覚とは、振動刺激により知覚される感覚のほか、圧覚、力覚、痛覚、又は温度等の皮膚で感じられる各種の感覚であり得る。
　情報処理装置２０は、触覚検索情報に基づいて、触覚データベースから、ユーザに提示される触覚を実現するための触覚提示情報を検索する。また、情報処理装置２０は、検索した触覚提示情報をユーザ端末３０に送信する。なお、本実施形態では、触覚データベースは情報処理装置２０に記憶されているものとするが、触覚データベースはサーバ１０、情報処理装置２０、又はユーザ端末３０のいずれの装置に記憶されていてもよい。触覚データベースのデータ構造の詳細については後述する。
　ユーザ端末３０は、情報処理装置２０から送信された触覚提示情報に関連する情報に基づいて、ユーザに触覚を提示する。ユーザ端末３０は、例えば、ユーザの手などに振動刺激を与えることにより、触覚を提示する。また、ユーザ端末３０は、情報処理装置２０による触覚提示情報の検索結果等の各種の情報を表示する機能を有する。
　＜＜１．１．触覚データベース＞＞
　ここで、触覚データベースのデータ構造の一例について、図２を参照して説明する。図２は、触覚データベースＤＢのデータ構造の一例を示す図である。触覚データベースＤＢは、触覚提示情報と、触覚提示情報に関連付けられた１以上の触覚メタ情報とを含む。ここで、触覚メタ情報は、触覚提示情報を分類する情報である。さらに、本実施形態に係る触覚データベースＤＢは、触覚が提示されるデバイスに依存するデバイス依存情報を含むことが好ましい。
　図２に示すように、触覚データベースＤＢには、複数の触覚提示情報が格納されている。例えば、図２の触覚データベースＤＢには、触覚提示情報Ａ及び触覚提示情報Ｂが示されている。なお、図２では、上記の２つの触覚提示情報が示されているが、触覚データベースＤＢには、３つ以上の触覚提示情報が格納されてもよい。
　触覚提示情報は、ユーザに提示される触覚を実現するための情報である。より具体的には、ユーザ端末３０が触覚提示情報に基づき、例えば当該触覚提示情報に対応する振動を生成することにより、ユーザに触覚が提示される。例えば、触覚提示情報は、ユーザに提示される振動の信号波形を表す情報であってもよい。また、触覚提示情報は、ユーザに提示される振動の信号波形から抽出された１又は複数のパラメータを表すデータであってもよい。
　これらの触覚提示情報には、１以上の触覚メタ情報が関連付けられている。図２に示す触覚データベースＤＢでは、触覚メタ情報を分類した触覚メタ情報種毎に触覚メタ情報が格納されている。図２には、触覚メタ情報種Ａ及び触覚メタ情報種Ｂの２種類の触覚メタ情報が示されている。なお、触覚データベースＤＢに格納される触覚メタ情報種は１種類であってもよいし、３種類以上であってもよい。
　図２には、例えば、触覚提示情報Ａに関連付けられた触覚メタ情報として、触覚メタ情報種Ａの触覚メタ情報ＡＡ１及び触覚メタ情報ＡＡ２、触覚メタ情報種Ｂの触覚メタ情報ＡＢ１及び触覚メタ情報ＡＢ２が示されている。さらに、触覚提示情報Ｂについても、触覚メタ情報種Ａ及び触覚メタ情報種Ｂについての各々の触覚メタ情報が関連付けられてもよい。また、複数の触覚提示情報において、共有される触覚メタ情報が存在していてもよい。
　なお、図２には、触覚提示情報Ａに関連付けられた触覚メタ情報として、触覚メタ情報種Ａについて２つの触覚メタ情報が示されているが、１又は３以上の触覚メタ情報種Ａについての触覚メタ情報が触覚提示情報Ａに関連付けられてもよい。なお、他の触覚メタ情報種についても、各触覚提示情報に、１以上の触覚メタ情報が関連付けられてもよい。また、必ずしもすべての触覚メタ情報種に係る触覚メタ情報が触覚提示情報に関連付けられていなくてもよい。
　例えば、ある信号波形を表す触覚提示情報に基づいてデバイスが触覚を提示するとき、触覚を提示するデバイスの形状又は機構等に応じて、ユーザが感じる触覚が異なる。従って、１つの触覚提示情報では、異なるデバイスに適切な触覚を提示させることが困難である。このため、デバイスに適切な触覚を提示させるためには、触覚提示情報をデバイスに応じた情報に加工する必要がある。そこで、デバイス依存情報を用いて触覚提示情報が加工されることにより、ユーザは、デバイスに応じた適切な触覚を感じることができる。
　本実施形態に係る触覚データベースＤＢでは、触覚提示情報の各々に、デバイス依存情報が関連付けられている。ここで、デバイス依存情報とは、触覚提示情報に基づき触覚を提示するデバイスに応じた情報である。より具体的には、デバイス依存情報は、触覚提示情報をデバイスに応じた情報に変換するための情報である。かかるデバイスは、例えば、ユーザ端末３０が備える、後述する触覚提示部に設けられてもよい。
　以上、触覚データベースＤＢのデータ構造について説明した。触覚データベースＤＢから触覚提示情報が検索される際には、触覚検索情報が用いられる。触覚検索情報は、触覚メタ情報と比較可能な情報であり、ユーザが所望する触覚のイメージに関連する情報である。より具体的には、触覚検索情報は、図３を参照して後述する触覚メタ情報種のリストに挙げられるような内容の情報である。また、触覚検索情報は、触覚提示情報そのものであってもよいし、触覚提示情報と加工情報とを合わせた情報であってもよい。加工情報は、例えば、各種のデバイスに触覚を提示させるために、触覚提示情報をデバイスに応じた情報に加工するための情報であってもよい。触覚提示情報が検索される際には、例えば、触覚検索情報と同一又は類似の触覚メタ情報が探し出され、探し出された触覚メタ情報と関連付けられた触覚提示情報が検索される。検索された触覚提示情報に基づき、ユーザに触覚が提示される。なお、ここで説明した触覚提示情報の検索方法は、検索方法の一例にすぎず、触覚データベースＤＢを用いた触覚提示情報の検索方法はかかる検索方法に限定されない。
　次に、上述した触覚メタ情報種の具体例について、図３を参照して詳細に説明する。図３は、触覚メタ情報種の一例を示すリストである。以下、図３に示す触覚メタ情報種を上から順に説明する。
　例えば、触覚メタ情報種は、テキストであってもよい。テキストの触覚メタ情報は、例えば、「フワフワ」などのテキスト情報であってもよい。当該テキスト情報は、例えば、フワフワな触覚を実現させるための触覚提示情報に関連付けられてもよい。
　また、触覚メタ情報種は、静止画であってもよい。静止画の触覚メタ情報は、例えば、写真又はスタンプなどの画像情報であってもよい。例えば、画像情報がひよこの画像が含む静止画を表す情報であってもよい。ひよこの画像情報は、ひよこの毛の「フワフワ」な触覚を想起させ得る。このため、当該画像情報は、フワフワな触覚を実現させるための触覚提示情報に関連付けられてもよい。また、触覚メタ情報種は、静止画でなくとも、動画であってもよい。
　また、触覚メタ情報種は、ユーザの音声に関する音声情報を含んでもよい。音声情報は、ユーザの発話における発話の速度、ピッチ、又は感情に関する情報であってもよい。触覚データベースに格納された触覚提示情報は、例えばユーザにより入力された触覚検索情報を用いて検索される。このとき、触覚検索情報は、ユーザの音声である場合がある。この場合、情報処理装置２０は、入力された音声から、発話の速度、ピッチ、又は感情に関する情報を抽出してもよい。これらの抽出された情報と、触覚データベースに格納された音声情報である触覚メタ情報とが比較されることにより、触覚検索情報が検索されてもよい。例えば、ユーザが触覚検索情報として、「フワフワ」という発話内容を入力したとする。このとき、音声情報には、「フワフワ」という文字情報以外にも、発話の速度等から推定される、例えばユーザの感情に関する情報が含まれ得る。このため、触覚メタ情報が音声情報を含むことにより、例えば、ユーザの感情等に応じて、触覚を実現するための情報をより適切に提供することができる。
　また、触覚メタ情報種は、触動作であってもよい。ここで、ユーザの触動作とは、触覚を提示されるユーザの動作である。ユーザの触動作の触覚メタ情報は、例えば、デバイスなどを触るユーザの指などのモーション（動き）を表すモーションデータに係るベクトル等の運動データであってもよい。また、ユーザの触動作の触覚メタ情報は、ユーザの加速度、速度、変位量、又はこれらの単位時間換算などの物量であってもよい。触動作に関する情報は、ユーザが所望する触覚をより直接的に表現し得る情報である。このため、触覚メタ情報に触動作に関する情報が含まれることにより、ユーザが所望する触覚を実現するための情報がより適切に提供されるようになる。
　また、触覚メタ情報種は、物体の動作であってもよい。より具体的には、触覚メタ情報種は、ユーザに提示される触覚として想定されている物体（以下、「提示物」ともいう。）の動作であってもよい。提示物の動作に係る触覚メタ情報は、例えば、提示物のモーションデータのベクトル等の運動データであってもよい。また、提示物の動作に係る触覚メタ情報は、提示物の加速度、速度、変位量、又はこれらの単位時間換算などの物量であってもよい。
　また、触覚メタ情報種は、デバイスが接触し、触覚が提示されるユーザの部位（以下、「接触部位」ともいう。）であってもよい。一般的に、接触部位に応じて、ユーザによる触覚の感じ方が異なる。このため、接触部位の触覚メタ情報に応じた触覚がユーザに提示されることにより、ユーザが所望する触覚がより適切に提示される。
　また、触覚メタ情報種は、提示物の表面構造であってもよい。提示物の表面構造に関する触覚メタ情報は、例えば、提示物の表面の凹凸、硬さ、又は柔らかさに関する情報であってもよい。
　また、触覚メタ情報種は、信号波形情報であってもよい。信号波形情報は、ユーザに提示される触覚を表す信号波形に関する情報である。信号波形情報に関する触覚メタ情報は、例えば、信号波形の周波数特性、ビート成分、低音成分の割合、高音成分の割合、又はＡＳＲＤ（Ａｔｔａｃｋ　Ｄｅｃａｙ　Ｓｕｓｔａｉｎ　Ｒｅｌｅａｓｅ）などの情報であってもよい。ここで、ＡＤＳＲとは、音の波形の特徴的な形状に係る４つのパラメータであって、それぞれ立ち上がり（Ａｔｔａｃｋ）、減衰（Ｄｅｃａｙ）、減衰後の保持（Ｓｕｓｔａｉｎ）、及び余韻（Ｒｅｌｅａｓｅ）を表すパラメータ等が挙げられる。
　また、触覚メタ情報種は、触覚が提示されるユーザのユーザ特性であってもよい。ユーザ特性の触覚メタ情報は、ユーザ特性を表すユーザ情報であってもよい。例えば、ユーザ情報は、例えば、対象年齢又は体格などの情報であってもよい。触覚メタ情報にユーザ情報が含まれることにより、ユーザには、当該ユーザ特性に応じた触覚を実現するための情報がより適切に提供される。また、触覚メタ情報種が、触覚が提示されるユーザの対象年齢である場合には、触覚提示情報の内容又は触覚が提示されるユーザの部位等に応じて、年齢制限をかけてもよい。
　また、触覚メタ情報種は、触覚が提示されるユーザの部位である提示部位の種類であってもよい。一般的に、ユーザに提示される部位によって、感じやすい振動の周波数が異なる。このため、提示部位に関する触覚メタ情報が触覚提示情報に関連付けられることにより、提示部位に応じた触覚を提示することができる。
　また、触覚提示情報は、提示部位に応じた波形信号が触覚データベースＤＢに格納されてもよい。例えば、触覚データベースＤＢには、触覚提示情報として、掌に触覚を提示するための波形信号のみが格納されてもよい。この場合、掌以外の部位については、各々の部位に応じたパラメータが触覚データベースＤＢに触覚提示情報として格納される。掌以外の部位に触覚が提示される場合には、掌に触覚を提示するための波形信号が、提示される部位に応じたパラメータに基づいて加工される。加工された情報に基づいて、ユーザに触覚が提示される。より具体的には、触覚データベースＤＢには、掌以外の部位に対して、掌との周波数の差分がパラメータとして格納されてもよい。触覚がユーザに提示される際には、かかる差分により掌に触覚を提示するための波形信号の周波数が、所望の周波数に修正される。なお、基礎となる信号波形は、掌に触覚を提示するための信号波形に限らず、他の部位に係る信号波形を基礎としてもよい。これにより、触覚データベースＤＢは、触覚が提示される部位の各々に応じた波形信号を格納する必要がなくなる。このため、触覚データベースＤＢは、波形信号の情報よりも小さなデータ量で実現されるパラメータの情報を格納すればよいので、より小さなデータ量で触覚データベースＤＢを実現することができる。なお、上記の波形信号の加工等は、例えば、後述する加工部２５２により実施される。
　また、触覚メタ情報種は、触覚提示情報で実現される信号波形の周波数に関する情報の種類であってもよい。例えば、触覚メタ情報種は、信号波形の単調度又は明澄度などであってもよい。ここで、単調度とは、提示される触覚を表す信号波形における単位時間当たりの周波数変化の程度、又は単位時間当たりの振幅変化の程度などである。また、触覚メタ情報種は、明澄度であってもよい。明澄度は、例えば、粗さ又は澄み具合などの度合いである。一般的に、触覚を表す単位時間あたりの波形信号において、より多くの種類の周波数が含まれると、かかる触覚は、より「粗い」触覚となる。一方、触覚を表す単位時間あたりの波形信号において、より少ない種類の周波数が含まれると、かかる触覚は、より「澄んだ」触覚となる。
　また、触覚メタ情報種は、連続提示増幅率であってもよい。連続提示増幅率に関する触覚メタ情報は、例えば、提示される触覚の内容又は触覚が提示される部位に応じて、時間経過とともに提示される触覚の強度を強めるためのパラメータである。一般的に、身体の同一の部位に連続的に触覚が提示されると、ヒトは、触覚が提示されている部位の感覚が慣れてくる（又は痺れてくる）。このため、ヒトは、同じ強度の刺激が提示されると、触覚が提示される部位では、刺激が弱くなっていくように感じる。連続提示増幅率に基づいて、提示される触覚の強度が強められることにより、ユーザは、触覚が提示される部位において、慣れ等を生じることなく同じ触覚を感じ続けられるようになる。
　また、後述するように、触覚提示情報は、ＳＮＳ等を用いてサーバ１０に格納されたコンテンツに含まれる場合がある。触覚データベースＤＢには、かかるコンテンツに含まれる触覚提示情報が格納される場合がある。この場合、触覚提示情報は、かかるコンテンツの作成者に関する情報を含んでもよい。より具体的には、触覚提示情報は、触覚提示情報を提供する情報提供者のプロファイルを含んでもよい。これにより、触覚提示情報が、情報提供者のプロファイルに基づき検索されるため、ユーザには、コンテンツの作成者の意図する触覚がより適切に提示され得る。
　また、触覚メタ情報種は、検索用情報であってもよい。検索用情報は、触覚提示情報を検索するために用いられ得る情報である。検索用情報は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術に基づき生成されてもよい。検索用情報は、例えば、各種の公知の機械学習アルゴリズムに基づき生成されてもよい。検索用情報が触覚メタ情報として用いられることにより、例えばサーバ１０等に記憶されていない情報であっても触覚メタ情報として用いることができる。
　以上、図３を参照して、触覚メタ情報種について説明した。なお、信号波形、単調度、又は明澄度に関する情報は、触覚提示情報を構成するパラメータであってもよい。また、触覚メタ情報種は、図３を参照して説明した例に限られない。触覚メタ情報種は、図３に示したリストから適宜削除されてもよいし、かかるリストに追加されてもよい。また、触覚検索情報は、上記の触覚メタ情報種に相当する内容に関する情報を含む。このため、触覚提示情報は、ユーザがイメージする触覚をより具体化した情報となり得る。
　＜＜１．２．情報処理装置の構成及び機能＞＞
　次に、図４を参照して、本開示の一実施形態に係る情報処理装置２０の構成について説明する。図４は、本開示の一実施形態に係る情報処理装置２０の構成を示す機能ブロック図である。本開示の一実施形態に係る情報処理装置２０は、ユーザに提示される触覚を実現するための触覚提示情報を検索するための触覚検索情報に基づいて、触覚データベースから触覚提示情報を検索する機能を有する。また、情報処理装置２０は、検索された触覚提示情報に関連する情報を出力する機能を有する。さらに、情報処理装置２０は、触覚データベースに含まれる複数の触覚提示情報又は複数の触覚メタ情報の少なくとも２以上における関係を更新する機能を有する。情報処理装置２０が有するこれらの機能は、情報処理装置２０が備える通信制御部２１０、通信部２１５、記憶部２２０、更新部２３０、検索部２４０、処理部２５０、及び出力部２５５が協働することにより実現される。以下、情報処理装置２０が備える各機能部について説明する。
　通信制御部２１０は、情報処理装置２０とネットワーク４０に接続された各種の装置との間で実施される通信を制御する機能を有する。より具体的には、通信制御部２１０は、通信部２１５を制御することにより、情報処理装置２０とネットワーク４０に接続された各種の装置との通信を制御する。通信部２１５は、例えば、サーバ１０に格納された情報を受信し、通信制御部２１０に伝達する。また、通信部２１５は、ユーザ端末３０から送信された触覚検索情報を通信制御部２１０に伝達する。さらに、通信部２１５は、触覚データベースから検索された触覚提示情報を、ネットワーク４０を介して、ユーザ端末３０に送信する。
　記憶部２２０は、情報処理装置２０に送信された情報又は情報処理装置２０において生成された情報等の各種の情報を記憶する。例えば、記憶部２２０は、触覚データベースを記憶する。当該触覚データベースは、必要に応じて、検索部２４０による検索に用いられる。また、当該触覚データベースは、必要に応じて、更新部２３０により更新される。なお、記憶部２２０は、ユーザ端末３０等から情報処理装置２０に送信された触覚検索情報を記憶してもよい。かかる触覚検索情報は、例えば、検索部２４０が触覚提示情報を検索するために用いられる。
　更新部２３０は、記憶部２２０に記憶された触覚データベースに含まれる複数の触覚提示情報又は複数の触覚メタ情報の少なくとも２以上における関係を更新する機能を有する。情報処理装置２０は、これらの情報に基づいて、触覚提示情報を検索する。このため、これらの情報における関係が更新されることにより、情報処理装置２０は、より精度よく触覚提示情報を検索することができる。この結果、ユーザには、触覚を実現するために必要な情報がより適切に提供されるようになる。
　図５を参照して、更新部２３０による触覚データベースの更新の一例について説明する。図５の中央に示す触覚データベース２２１は、記憶部２２０に記憶されているものとする。情報処理装置２０には、サーバ１０等の各種の外部の装置からネットワーク４０を介して、触覚提示情報、画像情報（例えば、写真又はスタンプ等）、音声情報、テキスト情報などの各種の情報が送信される。これらの情報は、通信制御部２１０から更新部２３０に伝達される。更新部２３０は、伝達された情報から触覚に関連する触覚関連情報を抽出して、触覚データベース２２１に格納する。
　図５に示す例では、触覚データベース２２１には、第１の情報２６０及び第２の情報２７０から触覚関連情報が抽出され、触覚データベース２２１に格納されている。第１の情報２６０は、ひな鳥の画像２６２が含まれる第１の画像情報２６１と、「フワフワだー」という第１のテキスト情報と、第１の触覚提示情報２６３とが一体となった情報である。第１の触覚提示情報２６３は、第１の画像情報２６１に含まれるひな鳥の体毛の触覚を実現するための触覚提示情報である。一方、第２の情報２７０は、くまのぬいぐるみの画像２７２が含まれる第２の画像情報２７１と、「フワフワだ―」という第２のテキスト情報と、第２の触覚提示情報２７３とが一体となった情報である。第２の触覚提示情報２７３は、くまのぬいぐるみの触覚を実現するための触覚提示情報である。
　更新部２３０は、第１の情報２６０及び第２の情報２７０に含まれる、第１の画像情報２６１、第２の画像情報２７１、第１のテキスト情報、第２のテキスト情報、第１の触覚提示情報２６３、及び第２の触覚提示情報２７３を抽出し、触覚データベース２２１に格納する。このとき、更新部２３０は、第１の情報２６０に含まれる第１の触覚提示情報２６３を、第１の画像情報２６１及び第１のテキスト情報と関連付けて触覚データベース２２１に格納する。さらに、更新部２３０は、第２の情報２７０に含まれる第２の触覚提示情報２７３を、第２の画像情報２７１及び第２のテキスト情報と関連付けて触覚データベース２２１に格納する。なお、これらの画像情報又はテキスト情報は、触覚メタ情報として、触覚提示情報に関連付けられる。
　ここでは、更新部２３０が、触覚データベース２２１に記憶された複数の触覚メタ情報における互いの関係に基づいて、触覚データベースを更新する例について説明する。より具体的には、更新部２３０が、第１の触覚メタ情報と第２の触覚メタ情報との類似度に基づいて、第１の触覚メタ情報に関連付けられた第１の触覚提示情報と、第２の触覚メタ情報に関連付けられた第２の触覚提示情報と、の触覚類似度を更新する。当該類似度と当該触覚類似度との間には、例えば、正の相関がある場合がある。つまり、当該類似度が高いと、当該触覚類似度も高くなる場合がある。本実施形態では、ある触覚提示情報が検索されたときに、当該触覚提示情報に類似する触覚提示情報も検索され得る。従って、当該類似度に基づいて、当該触覚類似度を更新することにより、ユーザが所望する触覚を実現するための情報をより適切に提供することができるようになる。図５に示す例では、更新部２３０が、第１の触覚メタ情報と第２の前記触覚メタ情報とが類似している場合に、第１の触覚提示情報２６３と第２の触覚提示情報２７３との触覚類似度を上げる。図５に示す例では、第１及び第２の触覚メタ情報が、テキスト情報である例について説明する。
　上述のように、触覚データベース２２１には、「フワフワだー」という第１のテキスト情報と第２のテキスト情報とが格納されている。更新部２３０は、これらの第１のテキスト情報と第２のテキスト情報とが同一である判定する。なお、ここで、「一致している」とは、「類似している」という表現に含まれるものとする。このため、更新部２３０は、第１のテキスト情報に関連付けられた第１の触覚提示情報２６３と、第２のテキスト情報に関連付けられた第２の触覚提示情報２７３との触覚類似度を上げる。
　ここで、上記のようにして触覚データベースが更新されることによる効果を説明する。触覚提示情報は、上述のように、触覚データベースから検索される。ある触覚提示情報が検索されたときに、検索された触覚提示情報と類似する触覚提示情報も検索されるようにしてもよい。例えば、ある検索された触覚提示情報と類似している触覚提示情報も検索されてもよい。上記の例では、第１の触覚提示情報２６３と第２の触覚提示情報２７３との類似度が上げられている。この結果、第１の触覚提示情報２６３と第２の触覚提示情報２７３とが類似しているものと後述する検索部２４０により判定される場合には、第１の触覚提示情報２６３が検索される際に第２の触覚提示情報２７３も検索される。場合によっては、第１の触覚提示情報２６３よりも、第２の触覚提示情報２７３の方が、よりユーザが所望する触覚を実現できる触覚提示情報である場合がある。このため、上記のように、第１の触覚メタ情報と第２の触覚メタ情報との類似度に応じて、第１の触覚提示情報と第２の触覚提示情報との類似度を修正することにより、ユーザがより所望する触覚をより適切に提示することが可能になる。
　次に、更新部２３０が、触覚データベースに格納された触覚提示情報と触覚メタ情報（ここでは文字情報）とを関連づける例の他の具体例について説明する。例えば、更新部２３０は、サーバ１０が記憶しているビッグデータを活用して、触覚提示情報と触覚メタ情報とを関連付けることができる。例えば、上記のビッグデータには、ユーザが購入した製品である砂に対して、「ざらざらしている」又は「湿っている」等の評価コメントを行ったことを表す情報が含まれているとする。このとき、例えばユーザ端末３０への触覚提示情報の送信の履歴に基づき、触覚データベースにおいて、ある触覚提示情報に「ざらざら」という触覚メタ情報が関連付けられているものとする。このとき、更新部２３０は、かかる触覚提示情報に触覚メタ情報として「砂」という文字情報を関連付けることにより、触覚データベースを更新してもよい。
　また、更新部２３０は、触覚提示情報が使用（すなわち、ユーザ端末３０などに送信）される回数に応じて、複数の触覚提示情報における触覚類似度を更新してもよい。具体的には、ある触覚検索情報に基づき、ある複数の触覚提示情報の各々が同程度の割合で使用された場合、更新部２３０はこれらの触覚提示情報における触覚類似度を上げる。例えば、「ざらざら」という触覚検索情報に基づき、ある触覚提示情報と、かかる触覚提示情報と異なる触覚提示情報とがユーザ端末３０に同程度の回数送信された場合、更新部２３０は、これらの２つの触覚提示情報における触覚類似度を上げてもよい。このように、更新部２３０は、触覚提示情報が実際に使用された回数等に基づき、触覚データベースを更新することができる。このため、触覚データベースはユーザによる触覚提示情報の使用状況に合致したデータベースとなる。この結果、ユーザには、触覚を実現するための情報がより適切に提供されるようになる。なお、ここでは、更新部２３０は、２つのテキスト情報の類似度に基づいて、かかる２つのテキスト情報に関連付けられた触覚提示情報における触覚類似度を上げた。これに限らず、更新部２３０は、２つの画像情報の類似度に基づいて、かかる２つの画像情報に関連付けられた触覚提示情報における触覚類似度を更新してもよい。
　また、更新部２３０は、後述する検索部２４０による検索結果に基づいて、触覚データベースを更新してもよい。これにより、触覚データベースは過去の検索結果に応じたより適切な触覚データベースに更新される。この結果、触覚提示情報の検索の精度が向上し、ユーザに触覚を実現するための情報がより適切に提供されるようになる。例えば、更新部２３０は、検索部２４０により複数の触覚提示情報が検索された場合に、当該複数の触覚提示情報における互いの触覚類似度を上げることにより、触覚データベースを更新してもよい。ある触覚検索情報に基づき、複数の触覚提示情報が検索された場合、これらの触覚提示情報は類似した触覚を実現できる可能性がある。このため、これらの触覚提示情報における触覚類似度を上げることにより、類似した触覚を実現するための触覚提示情報が検索され易くなる。この結果、ユーザは、類似した触覚提示情報から所望の触覚提示情報を選択することが可能になるので、ユーザに触覚を実現するための情報をより適切に提供できるようになる。
　さらに、更新部２３０は、触覚提示情報が採用された頻度（採用頻度）及び当該採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、触覚データベースを更新してもよい。ここで触覚提示情報の採用とは、検索された触覚提示情報が実際にユーザに提示される触覚の実現に用いられることであってもよい。更新部２３０は、触覚提示情報の採用頻度及び当該採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、例えば、触覚提示情報が検索される確率を更新してもよい。ここで一例として、特定の触覚検索情報に基づき、複数の触覚提示情報が検索されている場合について説明する。この場合、更新部２３０は、これらの複数の触覚提示情報の中で、採用頻度が高い触覚提示情報ほど当該特定の触覚検索情報に基づき高い確率で検索されるように、触覚データベースを更新してもよい。また、更新部２３０は、採用頻度が低い触覚提示情報ほど、特定の触覚検索情報に基づき、より低い確率で当該触覚提示情報が検索されるように、触覚データベースを更新してもよい。本実施形態では、検索された触覚提示情報であっても、例えばユーザにより当該触覚提示情報が不適切と判断された場合には、当該触覚提示情報が触覚の実現に用いられない場合がある。従って、採用頻度が高い触覚提示情報ほど、ユーザが所望する触覚をより適切に実現することができると考えられる。このため、更新部２３０が、触覚提示情報の採用頻度及び採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、触覚データベースを更新することにより、ユーザに触覚を実現するための情報をより適切に提供できるようになる。また、更新部２３０は、触覚提示情報の採用頻度及び採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、当該採用頻度の対象となる触覚提示情報に類似する触覚提示情報の検出に関して、触覚データベースを更新してもよい。例えば、更新部２３０は、検索された複数の触覚提示情報のうち採用頻度が高い触覚提示情報に類似する触覚提示情報についても、当該採用頻度が高い触覚提示情報の検索に用いられた触覚検索情報に基づき、より高い確率で検索されるように触覚データベースを更新してもよい。
　次に、図６及び図７を参照して、更新部２３０が触覚データベースを更新する他の例について説明する。図６及び図７は、更新部２３０が、２つの触覚メタ情報群の関係に基づいて、触覚データベースを更新する例を説明するための図である。ここで、触覚メタ情報群とは、複数の触覚メタ情報の集合である。
　まず、図６を参照して、更新部２３０が触覚データベースを更新する例について説明する。図６には、触覚データベースに格納された触覚メタ情報の第１の集合である第１の触覚メタ情報群２８０と第２の集合である第２の触覚メタ情報群２８１とが示されている。第１の触覚メタ情報群２８０及び第２の触覚メタ情報群２８１には、それぞれ第３の触覚提示情報２８３又は第４の触覚提示情報２８４が関連付けられている。このとき、第１の触覚メタ情報群２８０と第２の触覚メタ情報群２８１とが互いに共有する触覚メタ情報群２８２を有している。このとき、更新部２３０は、第２の触覚メタ情報群２８１に関連付けられておらず、第１の触覚メタ情報群２８０に関連付けられた第３の触覚提示情報２８３を、第２の触覚メタ情報群２８１と関連づけることにより、触覚データベースを更新してもよい。第１の触覚メタ情報群２８０に関連付けられた第３の触覚提示情報２８３は、例えば、第２の触覚メタ情報群２８１から想起されるような触覚の実現する触覚提示情報である可能性がある。このため、このようにして触覚データベースが更新されることにより、ユーザにとってより適切な触覚提示情報が検索されるようになる。
　なお、上記のように第１の触覚メタ情報群２８０と第２の触覚メタ情報群２８１とが共有する触覚メタ情報群２８２を有している必要はない。図７に示すように、第３の触覚メタ情報群２８５と第４の触覚メタ情報群２８６とが共有する触覚メタ情報群を有していない場合であっても、上記２つの触覚メタ情報群が、互いに類似する第１の類似触覚メタ情報群２８７又は第２の類似触覚メタ情報群２８８とを有している場合であってもよい。この場合、更新部２３０は、第３の触覚メタ情報群２８５に関連付けられた触覚提示情報２８９を第４の触覚メタ情報群２８６に関連付けることにより、触覚データベースを更新してもよい。なお、第３の触覚メタ情報群２８５に関連付けられた触覚提示情報２８９と第４の触覚メタ情報群２８６に関連付けられた触覚提示情報２９０とは、異なる触覚提示情報であるものとする。
　次に、図４に戻って、情報処理装置２０が備える検索部２４０について説明する。検索部２４０は、触覚提示情報を検索するための触覚検索情報を用いて、触覚データベースから触覚提示情報を検索する機能を有する。ここで、検索部２４０は、例えばユーザ端末３０等からネットワーク４０を介して情報処理装置２０に送信された触覚検索情報を用いる。
　なお、検索部２４０は、触覚データベースから複数の触覚提示情報を検索してもよいが、検索される触覚提示情報の数が多いと、検索される触覚提示情報のデータ量の総量が大きくなりすぎる場合がある。そこで、検索部２４０が検索する触覚提示情報の数の上限が設定されていてもよい。上限の値は、例えば１０程度の数であってもよい。
　ここで、触覚検索情報は、触覚メタ情報と比較可能な情報である。検索部２４０は、触覚検索情報と触覚データベースに格納された触覚メタ情報との関係に基づいて、触覚提示情報を検索する。例えば、検索部２４０は、触覚検索情報と触覚メタ情報との類似度を判定する。検索部２４０は、触覚検索情報と一致又は類似している触覚メタ情報を探し出すと、検索された触覚メタ情報に関連付けられた触覚提示情報を探し出す。検索された触覚提示情報は、処理部２５０又は出力部２５５に伝達される。また、検索部２４０による検索結果は、更新部２３０に伝達される。検索部２４０が触覚提示情報を触覚データベースから検索する例については、図１０を参照して後述する。
　検索部２４０は、検索した触覚提示情報を処理部２５０又は出力部２５５に伝達する。なお、検索部２４０は、検索した触覚提示情報に対応するＩＤを出力部２５５に伝達してもよい。かかるＩＤは、ネットワーク４０を介して、ユーザ端末３０に送信される。ユーザ端末３０は、送信されたＩＤに基づいて、ユーザ端末３０の近傍に存在する、例えば、情報処理装置２０のミラーサーバ等に問い合わせ、触覚提示情報を取得してもよい。また、ユーザ端末３０は、他のユーザ端末などに問い合わせて触覚提示情報を取得してもよい。このとき、ユーザ端末３０と他の端末との通信には、ネットワーク４０を介さず、Ｐｅｅｒ　ｔｏ　Ｐｅｅｒ通信又はＢｌｕｅｔｏｏｔｈ（登録商標）接続などが用いられてもよい。
　また、ユーザ端末３０は、情報処理装置２０が記憶している触覚データベースと類似した類似触覚データベースを記憶していてもよい。このとき、記憶部２２０は、触覚データベースと類似触覚データベースとを記憶していてもよい。検索部２４０は、触覚データベースから検索した触覚提示情報と類似する触覚提示情報を類似触覚データベースから検索する。検索部２４０は、類似触覚データベースから検索された類似触覚提示情報のＩＤと、類似触覚提示情報と触覚データベースから検索された触覚提示情報との差分と、を出力部２５５に伝達する。上記のＩＤと差分は、ユーザ端末３０に送信される。ユーザ端末３０は、送信されたＩＤに基づき類似触覚提示情報を読み出す。さらに、ユーザ端末３０は、読み出した類似触覚提示情報と上記の差分とを合算し、目的の触覚提示情報を生成する。この場合、情報処理装置２０は、ＩＤと差分とをユーザ端末３０に送信すればよいので、ユーザ端末３０に送信するデータ量を削減することができる。
　処理部２５０は、検索部２４０が検索した結果に基づいて、各種の処理を実施する機能を有する。より具体的には、処理部２５０は、検索部２４０が検索した触覚検索情報に基づく情報を生成したり、検索の結果に関する情報を表す情報を生成したりする機能を有する。処理部２５０は、処理した結果を出力部２５５に伝達する。また、処理部２５０は、処理した結果を必要に応じて更新部２３０に伝達する。
　図８を参照して、処理部２５０についてより詳細に説明する。図８は、処理部２５０の構成を示す機能ブロック図である。図８に示すように、処理部２５０は、抽出部２５１、加工部２５２、及び画像作成部２５３を備える。
　抽出部２５１は、検索部２４０により検索された触覚提示情報の特徴を表す特徴情報を抽出する機能を有する。抽出された特徴情報は、加工部２５２に伝達される。抽出された特徴情報のデータ量は、抽出の対象となる触覚提示情報のデータ量よりも少ない場合がある。抽出された特徴情報は、通信制御部２１０に伝達され、ユーザ端末３０に送信される。送信された特徴情報に基づき、ユーザ端末３０により触覚がユーザに提示される。このように、特徴情報が抽出されることにより、触覚の提示に必要なデータ量を削減することができる。
　なお、抽出される特徴情報は、検索された触覚提示情報に対応する触覚検索情報に基づいて、抽出されてもよい。触覚検索情報は、ユーザがイメージする触覚に関する情報が含まれる。このため、触覚検索情報に基づいて抽出された特徴情報は、ユーザが所望する触覚に合致した情報となる場合がある。このため、触覚検索情報に基づいて特徴情報を抽出することで、ユーザが所望する触覚を実現するための情報をより適切に提供することができる。
　また、検索された触覚提示情報に基づき提示される触覚が周期性を有する波形である場合には、抽出部２５１は、上記波形のうちの１周期分を表す情報を特徴情報として抽出してもよい。例えば、抽出部２５１は、触覚提示情報の自己相関関数を算出して、１周期分の情報を抽出してもよい。また、抽出部２５１は、検索された触覚提示情報に関連付けられた触覚メタ情報に基づき、１周期分を表す情報を抽出してもよい。抽出部２５１は、抽出した１周期分の情報と、触覚提示情報に１周期分の情報がいくつ含まれるのか表す情報と、を通信制御部２１０に伝達する。伝達されたこれらの情報は、ユーザ端末３０に送信され、触覚の実現に用いられる。このように、触覚提示情報から１周期分の情報を抽出することにより、情報処理装置２０がユーザ端末３０に送信するデータ量を削減することができる。
　また、抽出される特徴情報は、触覚検索情報に含まれるユーザの感情に関する感情情報に基づいて、抽出されてもよい。感情情報は、例えば、「喜び」又は「怒り」などの感情に関する情報であってもよい。例えば触覚検索情報が画像情報である場合には、感情情報は、当該画像情報から取得されてもよい。例えば、触覚検索情報が人の笑顔の画像を含む画像情報である場合には、各種の公知の画像認識技術を用いて、笑顔の画像から「喜び」の感情情報を取得してもよい。
　ここで、図９及び図１０を参照して、触覚検索情報から取得された感情情報に基づいて、触覚提示情報から特徴情報が抽出される例について説明する。図９は、検索された触覚提示情報の一例として、振動の信号波形を示す図である。また、図１０は、図９に示す信号波形の周波数スペクトルを示す図である。
　図９には、横軸を時間、縦軸を振幅として、触覚検索情報が表す振動の信号波形５００が示されている。図１０には、横軸を周波数ｆ、縦軸を強度として、図９に示す信号波形５００の周波数スペクトル５１０が示されている。図１０に示すように、信号波形５００は、周波数が０～ｆ２までの成分をもつ。
　一般的に、「喜び」という感情は、他の感情と比べて、より高い周波数の振動刺激により表される。このため、より高い周波数の振動刺激による触覚がユーザに提示されると、ユーザは、当該刺激により「喜び」の感情を想起する場合がある。そこで、触覚検索情報から「喜び」という感情に関する情報が含まれる場合には、抽出部２５１は、信号波形のうち、より高い周波数の信号波形に係る情報を抽出し、通信制御部２１０に伝達してもよい。例えば、抽出部２５１は、図１０に示す斜線で示された周波数がｆ１以上の周波数成分５１２を抽出して、通信制御部２１０に伝達してもよい。また、抽出部２５１は、周波数がｆ１未満の周波数成分５１１については、周波数の間引き又は低解像度等の処理をして、通信制御部２１０に伝達してもよい。
　また、「怒り」という感情は、他の感情と比べて、より低い周波数の振動刺激により表される。このため、より低い周波数の振動刺激による触覚がユーザに提示されると、ユーザは、当該刺激により「怒り」の感情を想起する場合がある。例えば、抽出部２５１は、図１０に示す周波数がｆ１よりも低い周波数成分５１１を抽出して、通信制御部２１０に伝達してもよい。一方、抽出部２５１は、周波数がｆ１以上の周波数成分５１２について、周波数の間引き又は低解像度等の処理を施し、通信制御部２１０に伝達してもよい。以上のように、ユーザの感情情報に基づいて、触覚提示情報から特徴情報が抽出されることにより、ユーザに感情に合致した触覚をより適切に提示することができる。
　ここで、抽出部２５１が特徴情報を出力部２５５に伝達する際の処理について補足する。触覚提示情報から抽出された特徴情報が、当該触覚提示情報に関連付けられた触覚メタ情報と同一である場合がある。この場合、抽出部２５１は、当該特徴情報を出力部２５５に伝達しなくてもよい。また、抽出された特徴情報の全てが、抽出の対象となる触覚提示情報に関連付けられた触覚メタ情報で網羅される場合には、抽出部２５１は、当該全ての特徴情報を出力部２５５に伝達しなくてもよい。この場合、抽出部２５１は、触覚提示情報に関連付けられた触覚メタ情報を出力部２５５に伝達する。伝達された触覚メタ情報は、通信制御部２１０を介して、ユーザ端末３０等に出力される。
　加工部２５２は、検索部２４０により検索された触覚提示情報を加工する機能を有する。例えば、触覚提示情報が信号波形そのものではなく、パラメータ等で表される場合には、加工部２５２は、かかるパラメータ等に基づいて、信号波形を表す情報を生成する。また、触覚提示情報をユーザに触覚を提示するデバイスに応じた情報に加工する必要がある場合には、加工部２５２は、触覚提示情報をデバイスに応じた情報に加工する。なお、加工部２５２は、触覚データベースに格納されたデバイス依存情報に基づいて、触覚提示情報をデバイスに応じた情報に加工してもよい。また、加工部２５２は、触覚提示情報を要約してもよい。より具体的には、加工部２５２は、触覚提示情報で表される信号波形の解像度を下げる処理などを施すことにより触覚提示情報を要約してもよい。要約された触覚提示情報は、例えば、検索された触覚提示情報に基づく触覚が、ユーザが所望の触覚であるか否かを確認するために用いられてもよい。さらに、加工部２５２は、触覚が提示されるユーザの部位に応じて、触覚提示情報を加工してもよい。
　画像作成部２５３は、ユーザ端末３０等に画像を表示させるための画像データを作成する。例えば、画像作成部２５３は、検索部２４０により検索された結果をユーザ端末３０に表示させるための画像データを作成する。具体的には、画像作成部２５３は、ユーザ端末３０に検索された触覚提示情報の個数又は内容などを表示させるための画像データを作成してもよい。また、触覚提示情報が検索されなかった場合には、画像作成部２５３は、触覚提示情報が検索されなかったことを表示するための画像データを作成してもよい。
　出力部２５５は、各種の情報を出力する機能を有する。例えば、処理部２５０により生成された情報又は検索部２４０から伝達された触覚提示情報を、触覚提示情報に関連する情報として、通信制御部２１０に出力する。通信制御部２１０に伝達された触覚提示情報に関連する情報は、ネットワーク４０を介して、ユーザ端末３０に送信される。この結果、触覚提示情報に関連する情報がユーザに提供される。
　＜＜１．３．ユーザ端末の構成及び機能＞＞
　次に、図１１を参照して、ユーザ端末３０について説明する。図１１は、ユーザ端末３０の構成を示す機能ブロック図である。ユーザ端末３０は、触覚検索情報を取得し、情報処理装置２０に取得した触覚検索情報を送信する機能を有する。また、ユーザ端末３０は、情報処理装置２０が検索した触覚提示情報に基づき、ユーザに触覚を提示する機能を有する。さらに、ユーザ端末３０は、情報処理装置２０が触覚データベースから触覚提示情報を検索した結果を表示する機能を有する。ユーザ端末３０が有する機能は、ユーザ端末３０が備える入力部３１０、通信制御部３２０、通信部３２５、触覚提示部３３０、記憶部３４０、表示制御部３５０、及び表示部３５５により実現される。
　入力部３１０は、ユーザによる操作に応じて、各種の情報を取得する機能を有する。入力部３１０は、例えば、マウス又はキーボードなどの各種の公知の入力装置により実現される。入力部３１０は、例えば、ユーザの操作により、触覚検索情報を取得する。触覚検索情報は、例えば、テキスト情報、画像情報、又は音声情報等の情報であってもよい。入力部３１０は、取得した情報を通信制御部３２０に伝達する。
　また、上述のように、情報処理装置２０により複数の触覚提示情報が検索され、これらの触覚提示情報に関連する情報がユーザ端末３０に送信されている場合がある。この場合、後述する表示部３５５により、例えば、検索された複数の触覚提示情報の内容を表す情報が表示され得る。ユーザは、表示部３５５に表示された複数の触覚提示情報の内容を参照し、所望する触覚を実現する触覚提示情報を選択して、入力部３１０に選択した触覚提示情報を表す情報を入力することができる。入力部３１０は、ユーザにより入力された触覚提示情報を表す情報を、通信制御部３２０、通信部３２５、及びネットワーク４０を介して、情報処理装置２０に送信することができる。これにより、情報処理装置２０は、ユーザが触覚提示情報を選択した結果を認識することができる。
　通信制御部３２０は、通信部３２５によるユーザ端末３０と他の装置との間における情報の送受信を制御する機能を有する。例えば、通信制御部３２０は、入力部３１０から伝達された各種の情報を通信部３２５に伝達し、ネットワーク４０を介して、かかる情報を情報処理装置２０等に送信させる。
　通信部３２５は、各種の情報を送受信する機能を有する。例えば、通信部３２５は、入力部３１０が取得した各種の情報を、ネットワーク４０を介して、情報処理装置２０等に送信する機能を有する。また、通信部３２５は、情報処理装置２０により検索された触覚提示情報を、ネットワーク４０を介して受信する。また、通信部３２５は、情報処理装置２０が触覚提示情報を検索した結果を受信してもよい。通信部３２５がネットワーク４０を介して受信した情報は、通信制御部３２０に伝達される。
　触覚提示部３３０は、情報処理装置２０から出力された触覚提示情報に関連する情報に基づいて、ユーザに触覚を提示する機能を有する。例えば、触覚提示部３３０の形状は、例えば、ユーザが着ることができるジャケット型等であってもよい。この場合、触覚提示部３３０には、例えばユーザの肩又は胸などの位置に振動を発生させるデバイスが設けられてもよい。触覚提示部３３０は、触覚提示情報に関連する情報に基づき、触覚提示部３３０が備えるデバイスに振動させることで、ユーザに触覚を提示する。触覚提示情報に関連する情報が触覚の振動波形を表す情報である場合には、触覚提示部３３０は、当該情報を用いて触覚をユーザに提示する。また、触覚提示部３３０は、必要に応じて、触覚提示情報に関連する情報を、触覚提示部３３０が備えるデバイスに応じた信号波形情報に変換してもよい。触覚提示部３３０は、変換された信号波形情報に基づき、ユーザに触覚を提示する。これにより、デバイスの形状又は機構などに応じて、より適切に触覚をユーザに提示することができる。なお、触覚提示部３３０は、デバイスに応じた信号波形情報に変換するための情報を記憶部３４０から取得してもよい。また、触覚提示情報に関連する情報が信号波形情報を特徴づけるパラメータ等である場合には、触覚提示部３３０は、当該パラメータ等に基づいて信号波形情報を生成し、触覚を提示してもよい。
　また、触覚提示部３３０は、触覚を提示するための複数のデバイス備えている場合には、当該複数のデバイスによる触覚の提示を時系列で制御してもよい。これにより、ユーザに複雑な知覚を介して触覚を提示することができる。例えば、触覚提示部３３０は、複数の触覚提示情報に関する情報に基づいて、複数のデバイスによる触覚の提示を制御してもよい。例えば、ユーザの右肩から左わき腹へ沿った位置に、複数のデバイスが配置される場合には、触覚提示部３３０は、これらの複数のデバイスを制御することにより、ユーザに右肩から左わき腹へ斜めに切り裂かれた触覚を提示することができる。
　記憶部３４０は、ユーザ端末３０が取得した情報又はユーザ端末３０による処理に必要な情報等の各種の情報を記憶している。例えば、記憶部３４０は、情報処理装置２０から送信された、検索された触覚提示情報に関連する情報又は検索結果等を記憶する。また、記憶部３４０は、触覚提示部３３０が触覚を提示するために必要な情報を記憶している。例えば、記憶部３４０は、触覚提示部３３０が触覚提示情報をデバイスに応じた情報に変換するための情報を記憶している。また、記憶部３４０は、情報処理装置２０が記憶している触覚データベースに類似したデータベースを記憶していてもよい。記憶部３４０が記憶している情報は、必要に応じて、通信制御部３２０、触覚提示部３３０、又は表示制御部３５０により参照される。
　表示制御部３５０は、情報処理装置２０により作成された画像データに基づき、表示部３５５による各種の情報の表示を制御する機能を有する。例えば、表示制御部３５０は、情報処理装置２０による触覚提示情報の検索結果に係る画像データを通信制御部３２０から取得し、表示部３５５に伝達して表示部３５５に検索結果を表示させる。また、表示制御部３５０は、必要に応じて、取得した画像データを加工し、表示部３５５に伝達してもよい。例えば、表示制御部３５０は、複数の触覚提示情報が検索されたことを表す画像データを取得している場合がある。この場合、表示制御部３５０は、複数の触覚提示情報を表す情報が、ユーザに利用されている回数の高い順に、表示部３５５における画面の上から順位表示されるように、画像データを加工してもよい。これにより、ユーザは、表示部３５５を参照することで利用されている回数が高い触覚提示情報を認識できる。利用回数の高い触覚提示情報は、よりユーザが所望する触覚を実現することができると推定される。このため、利用されている回数が高い順に、表示部３５５に触覚提示情報の内容が表示されることで、ユーザにより適切な触覚が提示されるようになる。
　表示部３５５は、各種の情報を画像としてユーザに表示する機能を有する。表示部３５５は、液晶ディスプレイ等の各種の公知の画像表示装置により実現される。例えば、表示部３５５には、検索された触覚提示情報の内容を表す画像が表示されてもよい。より具体的には、表示部３５５は、検索された触覚提示情報に基づき提示される触覚を想起させる画像を表示してもよい。ユーザは、かかる画像を参照することにより、提示される触覚を想起することができる。また、表示部３５５は、情報処理装置２０により複数の触覚提示情報が検索された場合に、これらの複数の触覚提示情報に対応する触覚の各々を想起させる画像を表示してもよい。ユーザは、表示部３５５に表示された複数の画像から、最もユーザが所望する触覚を想起させる画像を選択し、選択された画像に対応する触覚に関する情報を入力部３１０に入力することができる。このとき、触覚提示部３３０は、選択された触覚をユーザに提示することができる。
　次に、図１２を参照して、触覚提示情報が検索される様子について説明する。図１２は、触覚提示情報が検索される様子を示す図である。
　図１２の中央には、情報処理装置２０が備える記憶部２２０が記憶している触覚データベース２２３が示されている。触覚データベース２２３には、図５を参照して説明した第１の情報２６０から取得される触覚関連情報が格納されているものとする。より具体的には、図５に示したひな鳥の画像２６２が含まれる第１の画像情報２６１、「フワフワだ―」という第１のテキスト情報、及び第１の触覚提示情報２６３が触覚データベース２２３に格納されているものとする。
　ここで、ユーザは、ユーザ端末３０の入力部３１０に第３の情報２９１を入力する。第３の情報２９１には、ひよこの画像２９３を有する第３の画像情報２９２が含まれる。第３の画像情報２９２は触覚検索情報として、ユーザ端末３０から情報処理装置２０に送信される。また、この送信に合わせて、ユーザ端末３０から情報処理装置２０に触覚提示情報の検索を要求する信号が送信される。情報処理装置２０は、第３の画像情報２９２を用いて、触覚データベース２２３を検索する。ここで、第１の画像情報２６１に含まれるひな鳥の画像２６２と、第３の画像情報２９２に含まれるひよこの画像２９３とは類似するものとする。情報処理装置２０は、触覚データベース２２３に格納された第１の画像情報２６１と、ユーザ端末３０から送信された第３の画像情報２９２とが類似していると判定する。情報処理装置２０は、第１の画像情報２６１に関連付けられた第１の触覚提示情報２６３を検索し、第１の触覚提示情報２６３をユーザ端末３０に送信する。触覚提示部３３０は、送信された第１の触覚提示情報２６３に基づき、触覚を提示することができるようになる。また、ユーザ端末３０が受信した第１の触覚提示情報２６３は、第３の画像情報２９２とともに、ユーザ端末３０が備える記憶部３４０に記憶される。これにより、ユーザ端末３０は、第３の画像情報２９２を第１の触覚提示情報２６３とともに、例えば、ネットワークに接続された各種のサーバに送信することができるようになる。
　一般的に、ユーザ端末３０が情報処理装置２０に触覚提示情報の検索を要求してから、ユーザ端末３０が触覚を提示するまでにタイムラグがある。例えば、ユーザが例えば表示部３５５に表示される動画を閲覧している際に、かかる動画にリアルタイムで触覚提示部３３０に触覚を提示させたい場合がある。この場合、例えば、ユーザ端末３０が備える解析部（図示しない）が表示部３５５に表示されている動画を解析し、解析した結果に基づき、情報処理装置２０に触覚提示情報の検索を要求する。例えば、表示部３５５に馬が「パカパカ」と走っている様子を表す動画が表示されている場合、解析部は、動画に馬が走っていることを表す画像が含まれていることを解析する。さらに、かかる解析結果に基づき、ユーザ端末３０は、馬が「パカパカ」と走っているときに様子を表す情報を触覚検索情報として情報処理装置２０に送信し、触覚提示情報を検索することを要求する。しかし、上記のようなタイムラグが生じるため、情報処理装置２０により触覚提示情報が検索されることを待っていると、リアルタイムで触覚提示部３３０に触覚を提示させることが困難である場合がある。そこで、かかるタイムラグの間、ユーザ端末３０が記憶している触覚提示情報に基づいて、ユーザに暫定的な触覚を提示することにより、ユーザに上記のタイムラグを感じさせないようにすることができる。
　図１３を参照して、ユーザ端末３０がユーザに上記のタイムラグを感じさせないように、暫定的な触覚を提示する例について説明する。図１３は、ユーザに提示される触覚に係る振動の信号波形を示す図である。図１３には、上から順に、ユーザ端末３０に記憶された触覚提示情報に基づき提示される暫定的な触覚に係る第１の振動波形５２０、情報処理装置２０により検索される触覚提示情報に基づき提示される触覚に係る第２の振動波形５２３、及び第１の振動波形５２０と第２の振動波形５２３との重ね合わせである振動波形５２４が示されている。なお、横軸は時刻を示しており、ユーザが触覚検索情報をユーザ端末３０に入力した時刻を０としている。また、縦軸は、各振動波形の振幅を示している。
　ユーザ端末３０は、記憶部３４０に記憶された触覚提示情報に基づいて、ユーザに触覚を提示する。より具体的には、触覚提示部３３０は、第１の振動波形５２０で表される触覚をユーザに提示する。時刻ｔ１までの時刻において、第１の振動波形５２０は、所望される触覚に対応する、中段に破線で示された振動波形５２２と異なる波形である。一般的に、人は、触覚を感じ始めたタイミングでは、触覚を正確に感じ取ることができない。このため、第１の振動波形５２０が所望される振動波形５２２と異なる波形であっても、ユーザは違和感を覚えることなく、触覚を感じることができる。また、第１の振動波形５２０は、時刻ｔ１からｔ２において、ユーザ端末３０に記憶された触覚提示情報で表される振動波形５２１よりも振幅が小さくなっている。つまり、時刻ｔ１からｔ２では、第１の振動波形５２０がフェードアウトする。一方、時刻ｔ１からｔ２では、第２の振動波形５２３がフェードインする。時刻ｔ２以降では、第２の振動波形５２３は、ユーザが所望する触覚の波形となる。
　以上説明した、第１の振動波形５２０と第２の振動波形５２３とが重ね合わせられた振動波形５２４が図１３の一番下に示されている。このように、情報処理装置２０からの触覚提示情報に基づき触覚が提示されるまでの間、ユーザ端末３０が記憶している触覚提示情報に基づきユーザに触覚が提示される。これにより、ユーザに違和感のない触覚を提示することができる。なお、ユーザが閲覧している動画が、例えば、ユーザ端末３０等に予め記憶されている場合には、動画が表示されるタイミングを遅らせるも可能である。これにより、触覚が提示されるタイミングと動画が表示されるタイミングとを合わせ、ユーザに違和感のない触覚を提示することができる。
　＜２．更新例＞
　次に、図１４を参照して、情報処理装置２０が記憶部２２０に記憶された触覚データベースを更新する例について説明する。図１４は、本開示の一実施形態に係る情報処理装置２０が触覚データベースを更新する流れを示すフローチャート図である。以下、図１４に示すフローチャート図に沿って、説明する。
　まず、情報処理装置２０が、サーバ情報をサーバ１０に要求する（ステップＳ１０１）。より具体的には、通信部２１５が、サーバ１０に、ネットワーク４０を介して、触覚関連情報を要求する信号を送信する。
　次に、サーバ１０は、サーバ情報を情報処理装置２０に送信する（ステップＳ１０３）。サーバ１０は、例えば、サーバ情報として、ＳＮＳ等に基づく、画像情報、テキスト情報、音声情報、又は触覚提示情報を情報処理装置２０に送信する。
　次に、情報処理装置２０は、触覚データベースの更新処理を行う（ステップＳ１１０）。より具体的には、更新部２３０は、サーバ情報に基づいて、記憶部２２０に記憶された触覚データベースを更新する。より詳細な更新処理について、図１５を参照して説明する。図１５は、触覚データベースの更新処理を示すフローチャート図である。以下、図１５に示すフローチャート図に沿って説明する。
　まず、更新部２３０は、サーバ情報を取得する（ステップＳ１１１）。次に、更新部２３０は、サーバ情報に触覚提示情報が含まれるか否かを判定する（ステップＳ１１２）。サーバ情報に触覚提示情報が含まれると判定されると（ステップＳ１１２：Ｙｅｓ）、ステップＳ１１３に進む。サーバ情報に触覚提示情報が含まれないと判定されると（ステップＳ１１２：Ｎｏ）、更新処理は終了する。
　ステップＳ１１２において、Ｙｅｓと判定されると、更新部２３０は、サーバ情報から触覚メタ情報を抽出する（ステップＳ１１３）。ここで、触覚メタ情報は、サーバ情報に含まれる、画像情報、テキスト情報、音声情報又は触覚提示情報等から抽出される。例えば、サーバ情報に含まれる情報のうち、触覚に関連する情報が触覚メタ情報として抽出される。例えば、サーバ情報に「フワフワだ―」というテキスト情報が含まれている場合には、かかるテキスト情報が触覚メタ情報として抽出される。
　次に、更新部２３０は、触覚データベースに含まれる触覚メタ情報を確認する（ステップＳ１１４）。より具体的には、更新部２３０は、ステップＳ１１３において抽出された触覚メタ情報の各々と、触覚データベースに含まれる触覚メタ情報の各々とを比較する。抽出された触覚メタ情報と完全に一致する触覚メタ情報が、触覚データベースにおいて、ステップＳ１１２において検出された触覚提示情報に紐づけられた触覚メタ情報として存在する場合（ステップＳ１１５：Ｙｅｓ）、図１５に示す更新処理は終了する。つまり、抽出された触覚メタ情報が、触覚データベースに登録済みデータとして存在する場合には、図１５に示す更新処理は終了する。一方、抽出された触覚メタ情報が、触覚データベースに登録済みのデータとして存在しない場合（ステップＳ１１５：Ｎｏ）、ステップＳ１１６に進む。
　次に、更新部２３０は、ステップＳ１１３において抽出された触覚メタ情報の中に、触覚データベースに含まれる触覚メタ情報のいずれかと類似している触覚メタ情報が存在するか否かを判定する（ステップＳ１１６）。触覚データベースに含まれる触覚メタ情報のいずれかと類似している抽出された触覚メタ情報が存在すると判定された場合（ステップＳ１１６：Ｙｅｓ）、ステップＳ１１７に進む。一方、触覚データベースに含まれる触覚メタ情報のいずれかと類似している抽出された触覚メタ情報が存在しないと判定された場合（ステップＳ１１６）、ステップＳ１１８に進む。
　ステップＳ１１６においてＹｅｓと判定されると、更新部２３０は、抽出された触覚メタ情報と、触覚データベースに含まれる触覚メタ情報とが類似していることを記憶部２２０に記憶させる（ステップＳ１１７）。
　次に、更新部２３０は、触覚データベースを更新する（ステップＳ１１８）。より具体的には、更新部２３０は、サーバ情報に含まれる触覚提示情報が抽出された触覚メタ情報を関連付けられた状態で、かかる触覚提示情報を触覚データベースに格納する。触覚データベースが更新されると、更新処理が終了する。
　以上、触覚データベースを更新する処理について説明した。上述したように、本開示の一実施形態に係る情報処理システム１によれば、必要に応じてサーバ１０のサーバ情報が情報処理装置２０送信され、情報処理装置２０は、当該サーバ情報に基づき触覚データベースを更新する。このため、サーバ１０に情報が蓄積されるにつれて、情報処理装置２０が記憶している触覚データベースが更新される。その結果、情報処理装置２０は、触覚提示情報をより精度よく検索できるようになり、ユーザにより適切な触覚を実現するための情報を提供することが可能になる。
　＜３．処理例＞
　次に、図１６～図２０を参照して、情報処理装置２０が触覚データベースから触覚提示情報を検索し、検索された触覚提示情報に基づいて、ユーザ端末３０が触覚を提示するまでの処理例について説明する。
　＜＜３．１．処理例の概要＞＞
　まず、図１６に示すフローチャートを参照して、情報処理装置２０及びユーザ端末３０による処理例の概要について説明する。図１６は、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理例の概要を示すフローチャート図である。
　まず、ユーザ端末３０は、触覚検索情報を取得する（ステップＳ２０１）。より具体的には、入力部３１０が、ユーザ等の操作により、画像情報、音声情報又はテキスト情報等で構成された触覚検索情報を取得する。取得された触覚検索情報は、通信制御部３２０に伝達される。
　次に、ユーザ端末３０は、情報処理装置２０に対して、触覚提示情報の検索を要求する（ステップＳ２０３）。より具体的には、通信制御部３２０は、通信部３２５にステップＳ２０１で取得した触覚検索情報と、触覚提示情報の検索の要求信号とを、情報処理装置２０に送信するように、通信部３２５を制御する。通信部３２５は、ネットワーク４０を介して、触覚検索情報と要求情報とを情報処理装置２０に送信する。
　次に、情報処理装置２０は、触覚データベースから触覚提示情報を検索する（ステップＳ２０５）。より具体的には、通信部２１５が、触覚検索情報と要求情報とを受信する。受信された触覚検索情報と要求情報とは、通信制御部２１０を介して、検索部２４０に伝達される。検索部２４０は、要求情報を受けて、伝達された触覚検索情報を用いて、記憶部２２０に記憶された触覚データベースから触覚検索情報を検索する。
　次に、情報処理装置２０は、触覚提示情報を取得する（ステップＳ２０７）。より具体的には、検索部２４０は、ステップＳ２０５において検索した触覚提示情報を取得する。
　次に、情報処理装置２０は、触覚提示情報をユーザ端末３０に送信する（ステップＳ２０９）。より具体的には、検索部２４０は、検索した触覚提示情報を処理部２５０又は出力部２５５に伝達する。処理部２５０に伝達された触覚提示情報は各種の処理が施され、出力部２５５に伝達される。出力部２５５は、検索部２４０から伝達された触覚提示情報又は処理部２５０により処理が施された触覚提示情報を、触覚提示情報に関連する情報として、通信制御部２１０に伝達する。通信制御部２１０は、通信部２１５に、ネットワーク４０を介して、検索された触覚提示情報に関連する情報をユーザ端末３０に送信させる。
　次に、ユーザ端末３０は、触覚を提示する（ステップＳ２１１）。より具体的には、通信部３２５は、触覚提示情報に関連する情報を受信する。例えば、通信制御部３２０は、受信された触覚提示情報を取得し、触覚提示部３３０に伝達する。触覚提示部３３０は、伝達された触覚提示情報に基づき、ユーザに触覚を提示する。
　以上、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０の処理例の概要について説明した。以上のように、本開示の一実施形態に係る情報処理装置２０は、触覚検索情報を用いて、触覚データベースから触覚提示情報を検索し、検索された触覚提示情報に関連する情報を出力する。このように、触覚検索情報を用いて検索された触覚提示情報に基づいて、触覚提示情報に関連する情報が出力されるため、ユーザが所望する触覚を実現するための情報がより適切に提供される。
　また、本実施形態では、テキスト情報、画像情報、音声情報などを単独、又はこれらの情報の組み合わせとした触覚検索情報が用いられた。これにより、ユーザがイメージする触覚がより具体的に表現される。この結果、より精度の高い触覚検索情報の検索が実施され、ユーザにより適切な触覚を実現するための情報が提供される。
　＜＜３．２．第１の具体例＞＞
　次に、図１７を参照して、情報処理装置２０及びユーザ端末３０による処理の第１の具体例について説明する。図１７は、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による第１の具体例を示すフローチャート図である。第１の具体例では、情報処理装置２０が触覚提示情報を取得する方法についてより具体的に説明する。以下、図１７に示すフローチャート図に沿って、第１の具体例について説明する。
　まず、ステップＳ３０１及びＳ３０３の処理が実施されるが、これらの処理は、図１６に示したステップＳ２０１及びＳ２０３の処理と実質的に同一であるため、ここでは説明を省略する。
　ステップＳ３０３の処理が終了すると、情報処理装置２０は、触覚メタ情報を検索する（ステップＳ３０５）。より具体的には、検索部２４０は、触覚データベースから、触覚検索情報と類似する触覚メタ情報を検索する。
　次に、検索部２４０は、触覚データベースにおいて、触覚検索情報と類似する触覚メタ情報が有るか否かを判定する（ステップＳ３０７）。触覚検索情報と類似する触覚メタ情報が有ると判定された場合（ステップＳ３０７：Ｙｅｓ）、ステップＳ３０９に進む。一方、触覚検索情報と類似する触覚メタ情報が無いと判定された場合（ステップＳ３０７：Ｎｏ）、ステップＳ３１１に進む。
　ステップＳ３０７において、Ｙｅｓと判定されると、情報処理装置２０は、触覚提示情報を取得する（ステップＳ３０９）。より具体的には、検索部２４０は、ステップＳ３０７において触覚検索情報と類似していると判定された触覚メタ情報に関連付けられた触覚提示情報を取得する。
　次に、情報処理装置２０は、検索結果をユーザ端末３０に送信する（ステップＳ３１１）。より具体的には、検索部２４０は、ステップＳ３０９において触覚提示情報を取得している場合には、取得した触覚提示情報を処理部２５０又は出力部２５５に伝達する。出力部２５５は、触覚提示情報に関連する情報を検索結果として、通信制御部２１０に伝達する。一方、検索部２４０は、触覚提示情報を取得していない場合には、触覚提示情報が検索されなかったことを表す情報を検索結果として通信制御部３２０伝達する。通信制御部３２０は、検索結果をユーザ端末３０に送信するように、通信部３２５を制御する。通信部３２５は、ネットワーク４０を介して、検索結果をユーザ端末３０に送信する。
　次に、ユーザ端末３０は、検索結果を出力する（ステップＳ３１３）。より具体的には、通信部３２５が検索結果を受信し、受信した検索結果を通信制御部３２０に伝達する。検索結果に触覚提示情報に関連する情報が含まれる場合には、通信制御部３２０は、触覚提示情報を触覚提示部３３０に伝達する。触覚提示部３３０は、伝達された触覚提示情報に基づいて、ユーザに触覚を提示する。一方、検索結果に触覚提示情報に関連する情報が含まれない場合には、通信制御部３２０は、触覚提示情報が検索されなかったことを表す情報を表示制御部３５０に伝達する。表示制御部３５０は、表示部３５５に、触覚提示情報が検索されなかったことを表す情報を、例えば画像情報として表示させる。これにより、ユーザは、触覚提示情報が検索されなかったことを認識することができる。
　以上、図１７を参照して、第１の具体例について説明した。第１の具体例では、触覚検索情報と類似する触覚メタ情報が触覚データベースに含まれる場合には、当該触覚メタ情報に関連付けられた触覚提示情報に関連する情報がユーザに提供される。触覚検索情報と触覚メタ情報とが類似している場合には、かかる触覚メタ情報に関連付けられた触覚提示情報は、ユーザが所望する触覚をより適切に実現することができる場合がある。このため、第１の具体例によれば、情報処理装置２０は、ユーザが所望する触覚を実現するための情報をより適切に提供することができる。また、ユーザ端末３０は、ユーザが所望する触覚をより適切に提示することができる。
　＜＜３．３．第２の具体例＞＞
　次に、図１８を参照して、第２の具体例について説明する。図１８は、本開示の一実施形態に係る情報処理システム１による第２の具体例を示すフローチャート図である。第２の具体例は、検索部２４０が触覚データベースから触覚メタ情報を取得する点で第１の具体例と異なる。以下、図１８に示すフローチャートに沿って第２の具体例について説明する。
　まず、ステップＳ４０１～Ｓ４０７の処理が実施されるが、これらの処理は、図１７に示したステップＳ３０１～Ｓ３０７の処理と実質的に同一であるため、ここでは説明を省略する。
　ステップＳ４０７の処理においてＹｅｓと判定されると、情報処理装置２０は、触覚メタ情報を取得する（ステップＳ４０９）。より具体的には、検索部２４０は、触覚検索情報と類似していると判定された触覚メタ情報を触覚データベースから取得する。
　次に、情報処理装置２０は、検索結果をユーザ端末３０に送信する（ステップＳ４１１）。検索部２４０は、ステップＳ４０９において触覚メタ情報を取得している場合には、取得した触覚メタ情報を検索結果として通信制御部２１０に伝達する。一方、検索部２４０は、触覚メタ情報を取得していない場合には、触覚メタ情報が検索されなかったことを表す情報を検索結果として通信制御部２１０に伝達する。通信制御部２１０は、伝達された検索結果を通信部２１５に伝達する。通信部２１５は、ネットワーク４０を介して、検索結果をユーザ端末３０に送信する。
　次に、ユーザ端末３０は、検索結果を出力する（ステップＳ４１３）。より具体的には、通信部３２５は、検索結果を受信し、受信した検索結果を通信制御部３２０に伝達する。通信制御部３２０は、検索結果に触覚メタ情報が含まれる場合には、触覚メタ情報を触覚提示部３３０に伝達する。ここで、記憶部３４０には、触覚メタ情報と関連付けられた触覚提示情報が記憶されているものとする。つまり、記憶部３４０には、情報処理装置２０が記憶している触覚データベースと類似したデータベースが記憶されているものとする。触覚提示部３３０は、伝達された触覚メタ情報を記憶部３４０から検索し、検索した触覚メタ情報に関連付けられた触覚提示情報に基づき、触覚をユーザに提示する。一方、検索結果に触覚メタ情報が含まれない場合には、通信制御部３２０は、触覚提示部３３０により触覚が提示されないことを表す情報を、表示制御部３５０に伝達する。表示制御部３５０は、伝達された情報に基づき、触覚提示部３３０により触覚が提示されないことを表す情報を表示部３５５に表示させる。これにより、ユーザは、触覚が提示されないことを認識することができる。
　以上、図１８を参照して第２の具体例について説明した。第２の具体例によれば、検索部２４０は、触覚検索情報に基づいて、触覚メタ情報を取得する。触覚提示部３３０は、かかる触覚メタ情報に基づいて、触覚を提示する。第２の具体例によれば、ユーザ端末３０は、情報処理装置２０が備える検索部２４０のように、データベースから触覚提示情報を検索する。従って、第２の具体例では、実質的に、ユーザ端末３０が触覚検索情報に基づいて触覚提示情報を検索し、検索した触覚提示情報を触覚提示部３３０に出力している。第２の具体例では、触覚検索情報と類似する触覚メタ情報を検索する処理と、検索された触覚メタ情報に関連付けられた触覚提示情報を検索する処理とが、情報処理装置２０とユーザ端末３０とで分担されている。この結果、ユーザ端末３０は、触覚提示情報を提供するためにかかる処理量が低減される。
　＜４．応用例＞
　次に、図１９及び図２０を参照して、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理の応用例について説明する。
　＜＜４．１．第１の応用例＞＞
　まず、図１９を参照して、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理の第１の応用例について説明する。図１９は、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理の第１の応用例を示すフローチャート図である。以下、図１９に示すフローチャートに沿って、第１の応用例について説明する。
　まず、ステップＳ５０１及びＳ５０３の処理が実施されるが、これらの処理は、図１６に示したステップＳ２０１及びＳ２０３の処理と実質的に同一であるため、ここでは説明を省略する。
　次に、情報処理装置２０は、触覚提示情報を検索する（ステップＳ５０５）。より具体的には、通信部２１５は、触覚検索情報をユーザ端末３０から受信し、受信した触覚検索情報を通信制御部２１０に伝達する。通信制御部２１０は、伝達された触覚検索情報を検索部２４０に伝達する。検索部２４０は、伝達された触覚検索情報を用いて、触覚データベースから触覚提示情報を検索する。第１の応用例では、検索部２４０は、複数の触覚提示情報を検索する。検索部２４０は、検索された複数の触覚提示情報を、触覚提示情報の候補として、処理部２５０又は出力部２５５に伝達する。
　次に、情報処理装置２０は、触覚提示情報の候補をユーザ端末３０に送信する（ステップＳ５０７）。より具体的には、出力部２５５は、複数の触覚提示情報に関連する情報を触覚提示情報の候補として、通信制御部２１０に伝達する。通信制御部２１０は、伝達された触覚提示情報の候補をユーザ端末３０に送信するように、通信部２１５を制御する。これにより、触覚提示情報の候補がユーザ端末３０に送信される。
　次に、ユーザ端末３０は、触覚の候補を出力する（ステップＳ５０９）。より具体的には、通信部３２５は、触覚提示情報の候補を受信し、受信された触覚提示情報の候補を通信制御部３２０に伝達する。通信制御部３２０は、伝達された触覚提示情報の候補を触覚提示部３３０に伝達する。触覚提示部３３０は、伝達された触覚提示情報の候補に基づいて、触覚の候補をユーザに提示する。
　次に、ユーザ端末３０は、選択された触覚の候補を要求する（ステップＳ５１１）。より具体的には、ユーザは、ステップＳ５０９において提示された触覚の候補のうち、最もユーザが所望する触覚に合致する触覚を選択し、選択した触覚に対応する情報を入力部３１０に入力する。入力部３１０は、入力された情報を通信制御部３２０に伝達する。通信制御部３２０は、選択された触覚に対応する情報を情報処理装置２０に送信するように、通信部３２５を制御する。これにより、情報処理装置２０に選択された触覚に関する情報が送信される。
　次に、情報処理装置２０は、触覚データベースを更新する（ステップＳ５１３）。より具体的には、通信部２１５は、選択された触覚の候補に対応する情報を、通信制御部２１０を介して更新部２３０に伝達する。更新部２３０は、選択された触覚を実現するための触覚提示情報について、触覚データベースを更新する。例えば、更新部２３０は、検索に用いられた触覚検索情報又は当該触覚検索情報からを抽出される情報を、選択された触覚を実現するための触覚提示情報に関連付けられた触覚メタ情報として、触覚データベースに格納してもよい。
　また、更新部２３０は、提示された触覚の選択度に応じて、触覚データベースを更新してもよい。例えば、ある触覚検索情報に基づき検索される２つの触覚提示情報が同程度の割合でユーザにより選択される場合、更新部２３０は、この２つの触覚提示情報の触覚類似度を上げることにより触覚データベースを更新してもよい。これにより、ユーザには、より触覚を実現するための情報がより適切に提供されるようになる。
　次に、情報処理装置２０は、触覚提示情報をユーザ端末３０に送信する（ステップＳ５１５）。より具体的には、通信制御部２１０は、選択された触覚を実現するための触覚提示情報に関連する情報をユーザ端末３０に送信するように、通信部２１５を制御する。
　次に、ユーザ端末３０は、選択された触覚を提示する（ステップＳ５１７）。より具体的には、通信部３２５は、選択された触覚を実現するための触覚提示情報に関連する情報を受信し、受信した触覚提示情報に関連する情報を通信制御部３２０に伝達する。通信制御部３２０は、伝達された情報を触覚提示部３３０に伝達し、触覚提示部３３０は、触覚をユーザに提示する。
　第１の応用例では、情報処理装置２０は、ユーザによる触覚提示情報に関連する情報の選択結果に基づいて、触覚データベースを更新した。これにより、触覚データベースは、よりユーザの所望に沿ったかたちに更新される。この結果、ユーザには、所望の触覚を実現するための情報がより適切に提供されるようになる。
　＜＜４．２．第２の応用例＞＞
　次に、図２０を参照して、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理の第２の応用例について説明する。図２０は、本開示の一実施形態に係る情報処理装置２０及びユーザ端末３０による処理の第２の応用例を示すフローチャート図である。以下、図２０に示すフローチャート図に沿って、第２の応用例について説明する。
　まず、ステップＳ６０１及びＳ６０３の処理が実施されるが、これらの処理は、図１６に示したステップＳ２０１及びＳ２０３の処理と実質的に同一であるため、ここでは説明を省略する。
　ステップＳ６０３の処理が終了すると、情報処理装置２０は、触覚提示情報を検索する（ステップＳ６０５）。より具体的には、通信部２１５は、通信制御部２１０を介して、検索部２４０に触覚検索情報を伝達する。検索部２４０は、伝達された触覚検索情報を用いて、触覚データベースから複数の触覚提示情報を検索する。検索された複数の触覚提示情報は、処理部２５０に伝達される。
　次に、情報処理装置２０は、触覚提示情報を加工する（ステップＳ６０７）。より具体的には、処理部２５０が備える加工部２５２が、確認用情報に基づいて、複数の触覚提示情報の各々を加工する。ここで、確認用情報とは、触覚提示情報をユーザが触覚を確認するための触覚を実現するための情報に変換するために用いられる情報である。加工部２５２は、確認用情報に基づき、触覚提示情報のダイジェスト版を作成する。例えば、ダイジェスト版の触覚提示情報に基づいて触覚が提示される時間は、加工前の触覚提示情報に基づいて触覚が提示される時間よりも短くてもよい。つまり、加工後の触覚提示情報に基づき提示される触覚は、加工前の触覚提示情報に基づき提示される触覚よりも、簡略化された触覚であってもよい。
　次に、情報処理装置２０は、触覚提示情報の候補をユーザ端末３０に送信する（ステップＳ６０９）。より具体的には、処理部２５０は、加工した複数の触覚提示情報の各々を、触覚提示情報の候補として、出力部２５５を介して、通信制御部３２０に伝達する。通信制御部３２０は、ユーザ端末３０に伝達された触覚提示情報の候補を送信するように、通信部３２５を制御する。
　次に、ユーザ端末３０は、触覚の候補を提示する（ステップＳ６１１）。より具体的には、通信部３２５は、触覚提示情報の候補を受信し、受信された触覚提示情報の候補を、通信制御部３２０を介して触覚提示部３３０に伝達する。触覚提示部３３０は、伝達された触覚提示情報の候補に基づいて、触覚の候補をユーザに提示する。
　次に、ユーザ端末３０は、選択された触覚を情報処理装置２０に要求する（ステップＳ６１３）。例えば、ユーザは、提示された触覚の候補のうちから、当該ユーザが所望する触覚に最も合致する触覚を選択し、選択された触覚を表す情報を入力部３１０に入力する。入力部３１０は、入力された情報を通信制御部３２０に伝達する。通信制御部３２０は、伝達された情報を情報処理装置２０に送信するように、通信部３２５を制御する。
　次に、情報処理装置２０は、触覚提示情報を加工する（ステップＳ６１５）。より具体的には、通信部２１５は、選択された触覚に関する情報を受信し、受信した情報を、通信制御部２１０を介して、処理部２５０に伝達する。加工部２５２は、使用用情報に基づいて、伝達された触覚を実現するための触覚提示情報を加工する。ここで、使用用情報とは、触覚提示情報をユーザに提示される触覚をより適切に実現するための情報に加工するための情報である。例えば、使用用情報は、触覚提示情報を、触覚提示部３３０を構成するデバイスに応じた情報に加工するための情報であってもよい。
　次に、情報処理装置２０は、触覚提示情報をユーザ端末３０に送信する（ステップＳ６１７）。より具体的には、加工部２５２は、ステップＳ６１５において加工した触覚提示情報を通信制御部２１０に伝達する。通信制御部２１０は、加工された触覚提示情報をユーザ端末３０に送信するように、通信部２１５を制御する。
　次に、ユーザ端末３０は、選択された触覚を提示する（ステップＳ６１９）。より具体的には、通信部３２５は、触覚提示情報を受信し、受信した触覚提示情報を、通信制御部３２０を介して、触覚提示部３３０に伝達する。触覚提示部３３０は、伝達された触覚提示情報に基づいて、触覚をユーザに提示する。
　以上、図２０を参照して、第２の応用例について説明した。第２の応用例では、加工部２５２が触覚提示情報のダイジェスト版を生成し、ユーザ端末３０は当該触覚提示情報に基づいて触覚を提示した。これにより、情報処理装置２０がユーザ端末３０に送信する情報のデータ量が削減される。また、提示される触覚が簡略化されるため、ユーザはより間便に触覚を選択することができる。この結果、ユーザには、より簡便に触覚を実現するための情報が提供されるようになる。
　＜５．ハードウェア構成例＞
　続いて、図２１を参照しながら、前述した情報処理装置２０のように、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置２０のハードウェア構成の一例について、詳細に説明する。図２１は、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置２０のハードウェア構成の一構成例を示す機能ブロック図である。
　本実施形態に係る情報処理システム１を構成する情報処理装置２０は、主に、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、を備える。また、情報処理装置２０は、更に、ホストバス６０４と、ブリッジ６０５と、外部バス６０６と、インタフェース６０７と、入力装置６０８と、出力装置６０９と、ストレージ装置６１０と、ドライブ６１２と、接続ポート６１４と、通信装置６１６とを備える。
　ＣＰＵ６０１は、演算処理装置及び制御装置として機能し、ＲＯＭ６０２、ＲＡＭ６０３、ストレージ装置６１０又はリムーバブル記録媒体６１３に記録された各種プログラムに従って、情報処理装置２０内の動作全般又はその一部を制御する。ＲＯＭ６０２は、ＣＰＵ６０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ６０３は、ＣＰＵ６０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス６０４により相互に接続されている。例えば、図４に示す通信制御部２１０、更新部２３０、検索部２４０、処理部２５０、及び出力部２５５は、ＣＰＵ６０１により構成され得る。
　ホストバス６０４は、ブリッジ６０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス６０６に接続されている。また、外部バス６０６には、インタフェース６０７を介して、入力装置６０８、出力装置６０９、ストレージ装置６１０、ドライブ６１２、接続ポート６１４及び通信装置６１６が接続される。
　入力装置６０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置６０８は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置２０の操作に対応した携帯電話やＰＤＡ等の外部接続機器６１５であってもよい。さらに、入力装置６０８は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ６０１に出力する入力制御回路などから構成されている。情報処理装置２０のユーザは、この入力装置６０８を操作することにより、情報処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置６０９は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置６０９は、例えば、情報処理装置２０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置２０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。また、出力装置６０９は、触覚提示情報に基づく触覚を提示することが可能なデバイスであってもよい。これにより、ユーザは、情報処理装置２０の当該デバイスを用いて、触覚を確認することができる。
　ストレージ装置６１０は、情報処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置６１０は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置６１０は、ＣＰＵ６０１が実行するプログラムや各種データ等を格納する。例えば、図４に示す記憶部２２０は、ストレージ装置６１０により構成され得る。
　ドライブ６１２は、記録媒体用リーダライタであり、情報処理装置２０に内蔵、あるいは外付けされる。ドライブ６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体６１３に記録されている情報を読み出して、ＲＡＭ６０３に出力する。また、ドライブ６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体６１３に記録を書き込むことも可能である。リムーバブル記録媒体６１３は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体６１３は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体６１３は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート６１４は、情報処理装置２０に直接接続するためのポートである。接続ポート６１４の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート６１４の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート６１４に外部接続機器６１５を接続することで、情報処理装置２０は、外部接続機器６１５から直接各種のデータを取得したり、外部接続機器６１５に各種のデータを提供したりする。
　通信装置６１６は、例えば、通信網（ネットワーク）６１７に接続するための通信デバイス等で構成された通信インタフェースである。通信装置６１６は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置６１６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置６１６は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置６１６に接続される通信網６１７は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２１では図示しないが、情報処理システム１を構成する情報処理装置２０に対応する各種の構成を当然備える。
　なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置２０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜６．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、触覚データベースが情報処理装置２０に記憶される例について説明したが、本技術はかかる例に限定されない。例えば、触覚データベースは、ユーザ端末３０に記憶されていてもよい。この場合、ユーザ端末３０が触覚データベースを検索する機能を有していてもよいし、ユーザ端末３０が記憶している触覚データベースを情報処理装置２０等が検索してもよい。
　また、上記実施形態では、ＳＮＳ等に含まれるコンテンツに触覚提示情報が含まれる例について説明したが、本技術は係る例に限定されない。例えば、ＳＮＳ等に含まれるコンテンツは、触覚データベースに含まれる複数の触覚メタ情報における互いの類似度を調整するために用いられてもよい。例えば、１つのコンテンツから複数の触覚メタ情報が抽出されるとする。このとき、更新部２３０は、これらの抽出された複数の触覚メタ情報の類似度を上げることにより、触覚データベースを更新してもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
（１）
　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、
　前記検索された触覚提示情報に関連する情報を出力する出力部と、
　を備える、情報処理装置。
（２）
　前記触覚データベースに含まれる複数の前記触覚提示情報又は複数の前記触覚メタ情報のうちの２以上における関係を更新する更新部を、更に備える、
　前記（１）に記載の情報処理装置。
（３）
　前記更新部は、第１の前記触覚メタ情報と第２の前記触覚メタ情報との類似度に基づいて、第１の前記触覚メタ情報に関連付けられた第１の前記触覚提示情報と、第２の前記メタ検索情報に関連付けられた第２の前記触覚提示情報と、の触覚類似度を更新する、
　前記（２）に記載の情報処理装置。
（４）
　前記更新部は、第１の前記触覚メタ情報と第２の前記触覚メタ情報とが類似している場合に、第１の前記触覚提示情報と第２の前記触覚提示情報との触覚類似度を上げる、
　前記（３）に記載の情報処理装置。
（５）
　前記更新部は、前記触覚メタ情報の第１の集合である第１の触覚メタ情報群と第２の集合である第２の触覚メタ情報群とが、互いに類似する触覚メタ情報群を有する場合において、前記第２の触覚メタ情報群に関連付けられておらず、前記第１の触覚メタ情報群と関連付けられた前記触覚提示情報を、前記第２の触覚メタ情報群と関連付けることにより、前記触覚データベースを更新する、
　前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記更新部は、前記検索部による検索結果に基づいて、前記触覚データベースを更新する、
　前記（２）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記検索部により複数の前記触覚提示情報が検索された場合に、前記更新部は、前記複数の触覚提示情報における互いの触覚類似度を上げることにより、前記触覚データベースを更新する、
　前記（６）に記載の情報処理装置。
（８）
　前記更新部は、前記ユーザが前記出力部により出力された前記触覚提示情報に関連する情報を選択した結果に基づいて、前記触覚データベースを更新する、
　前記（２）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記更新部は、前記触覚提示情報が採用された頻度及び前記採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、前記触覚データベースを更新する、請求項（２）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記検索部により検索された触覚提示情報から、前記検索された触覚提示情報の特徴を表す特徴情報を抽出する抽出部を、更に備える、
　前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記特徴情報は、前記検索された触覚提示情報に対応する前記触覚検索情報に基づいて抽出される、
　前記（１０）に記載の情報処理装置。
（１２）
　前記特徴情報は、前記触覚検索情報に含まれる前記ユーザの感情に関する情報に基づいて抽出される、
　前記（１１）に記載の情報処理装置。
（１３）
　前記触覚提示情報に基づき提示される触覚が周期性を有する波形で表される場合には、
　前記特徴情報は、前記波形のうちの１周期分を表す情報である、
　前記（１０）又は（１１）に記載の情報処理装置。
（１４）
　前記触覚メタ情報は、前記ユーザに関するユーザ情報を含む、
　前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記触覚メタ情報は、前記触覚提示情報に基づく触覚が提示される前記ユーザの部位に関する情報を含む、
　前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記検索された触覚提示情報を前記ユーザの部位に応じた情報に加工する加工部を、更に備える、
　前記（１５）に記載の情報処理装置。
（１７）
　前記触覚メタ情報は、前記ユーザの触動作に関する触動作情報を含む、
　前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　前記触覚メタ情報は、前記ユーザによる音声に関する情報を含む、
　前記（１）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
　前記触覚メタ情報は、前記触覚提示情報で実現される信号波形の周波数に関する情報を含む、
　前記（１）～（１８）のいずれか１項に記載の情報処理装置。
（２０）
　プロセッサが、
　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索することと、
　前記検索された触覚提示情報に関連する情報を出力することと、
　を含む、情報処理方法。
（２１）
　コンピュータを、
　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、
　前記検索された触覚提示情報に関連する情報を出力する出力部と、
　を備える、情報処理装置として機能させるプログラム。
　１０　　　　　　　サーバ
　２０　　　　　　　情報処理装置
　　２１０　　　　　通信制御部
　　２１５　　　　　通信部
　　２２０　　　　　記憶部
　　２３０　　　　　更新部
　　２４０　　　　　検索部
　　２５０　　　　　処理部
　　２５５　　　　　出力部
　　　２５１　　　　抽出部
　　　２５２　　　　加工部
　　　２５３　　　　画像作成部
　３０　　　　　　　ユーザ端末３０
　　３１０　　　　　入力部
　　３２０　　　　　通信制御部
　　３２５　　　　　通信部
　　３３０　　　　　触覚提示部
　　３４０　　　　　記憶部
　　３５０　　　　　表示制御部
　　３５５　　　　　表示部
　ＤＢ　　　　　　　触覚データベース

Claims (21)

  1. 　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、
    　前記検索された触覚提示情報に関連する情報を出力する出力部と、
    　を備える、情報処理装置。
  2. 　前記触覚データベースに含まれる複数の前記触覚提示情報又は複数の前記触覚メタ情報のうちの２以上における関係を更新する更新部を、更に備える、
    　請求項１に記載の情報処理装置。
  3. 　前記更新部は、第１の前記触覚メタ情報と第２の前記触覚メタ情報との類似度に基づいて、第１の前記触覚メタ情報に関連付けられた第１の前記触覚提示情報と、第２の前記メタ検索情報に関連付けられた第２の前記触覚提示情報と、の触覚類似度を更新する、
    　請求項２に記載の情報処理装置。
  4. 　前記更新部は、第１の前記触覚メタ情報と第２の前記触覚メタ情報とが類似している場合に、第１の前記触覚提示情報と第２の前記触覚提示情報との触覚類似度を上げる、
    　請求項３に記載の情報処理装置。
  5. 　前記更新部は、前記触覚メタ情報の第１の集合である第１の触覚メタ情報群と第２の集合である第２の触覚メタ情報群とが、互いに類似する触覚メタ情報群を有する場合において、前記第２の触覚メタ情報群に関連付けられておらず、前記第１の触覚メタ情報群と関連付けられた前記触覚提示情報を、前記第２の触覚メタ情報群と関連づけることにより、前記触覚データベースを更新する、
    　請求項２に記載の情報処理装置。
  6. 　前記更新部は、前記検索部による検索結果に基づいて、前記触覚データベースを更新する、
    　請求項２に記載の情報処理装置。
  7. 　前記検索部により複数の前記触覚提示情報が検索された場合に、前記更新部は、前記複数の触覚提示情報における互いの触覚類似度を上げることにより、前記触覚データベースを更新する、
    　請求項６に記載の情報処理装置。
  8. 　前記更新部は、前記ユーザが前記出力部により出力された前記触覚提示情報に関連する情報を選択した結果に基づいて、前記触覚データベースを更新する、
    　請求項２に記載の情報処理装置。
  9. 　前記更新部は、前記触覚提示情報が採用された頻度及び前記採用された触覚提示情報の検索に用いられた触覚検索情報に基づき、前記触覚データベースを更新する、請求項２に記載の情報処理装置。
  10. 　前記検索部により検索された触覚提示情報から、前記検索された触覚提示情報の特徴を表す特徴情報を抽出する抽出部を、更に備える、
    　請求項１に記載の情報処理装置。
  11. 　前記特徴情報は、前記検索された触覚提示情報に対応する前記触覚検索情報に基づいて抽出される、
    　請求項１０に記載の情報処理装置。
  12. 　前記特徴情報は、前記触覚検索情報に含まれる前記ユーザの感情に関する情報に基づいて抽出される、
    　請求項１１に記載の情報処理装置。
  13. 　前記触覚提示情報に基づき提示される触覚が周期性を有する波形で表される場合には、
    　前記特徴情報は、前記波形のうちの１周期分を表す情報である、
    　請求項１０に記載の情報処理装置。
  14. 　前記触覚メタ情報は、前記ユーザに関するユーザ情報を含む、
    　請求項１に記載の情報処理装置。
  15. 　前記触覚メタ情報は、前記触覚提示情報に基づく触覚が提示される前記ユーザの部位に関する情報を含む、
    　請求項１に記載の情報処理装置。
  16. 　前記検索された触覚提示情報を前記ユーザの部位に応じた情報に加工する加工部を、更に備える、
    　請求項１５に記載の情報処理装置。
  17. 　前記触覚メタ情報は、前記ユーザの触動作に関する触動作情報を含む、
    　請求項１に記載の情報処理装置。
  18. 　前記触覚メタ情報は、前記ユーザによる音声に関する情報を含む、
    　請求項１に記載の情報処理装置。
  19. 　前記触覚メタ情報は、前記触覚提示情報で実現される信号波形の周波数に関する情報を含む、
    　請求項１に記載の情報処理装置。
  20. 　プロセッサが、
    　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索することと、
    　前記検索された触覚提示情報に関連する情報を出力することと、
    　を含む、情報処理方法。
  21. 　コンピュータを、
    　ユーザに提示される触覚を実現するための触覚提示情報の検索に用いられる触覚検索情報に基づいて、前記触覚提示情報と前記触覚提示情報に関連付けられた１以上の触覚メタ情報と含む触覚データベースから前記触覚提示情報を検索する検索部と、
    　前記検索された触覚提示情報に関連する情報を出力する出力部と、
    　を備える、情報処理装置として機能させるプログラム。
PCT/JP2020/015265 2019-04-10 2020-04-03 情報処理装置、情報処理方法、及びプログラム Ceased WO2020209185A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/600,914 US20220187921A1 (en) 2019-04-10 2020-04-03 Information processing apparatus, information processing method, and program
KR1020217030610A KR20210151793A (ko) 2019-04-10 2020-04-03 정보 처리 장치, 정보 처리 방법 및 프로그램
EP20786981.9A EP3955137A4 (en) 2019-04-10 2020-04-03 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN202080015577.3A CN113454620B (zh) 2019-04-10 2020-04-03 信息处理装置、信息处理方法及程序
JP2021513609A JP7484899B2 (ja) 2019-04-10 2020-04-03 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-074616 2019-04-10
JP2019074616 2019-04-10

Publications (1)

Publication Number Publication Date
WO2020209185A1 true WO2020209185A1 (ja) 2020-10-15

Family

ID=72751544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015265 Ceased WO2020209185A1 (ja) 2019-04-10 2020-04-03 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US20220187921A1 (ja)
EP (1) EP3955137A4 (ja)
JP (1) JP7484899B2 (ja)
KR (1) KR20210151793A (ja)
CN (1) CN113454620B (ja)
WO (1) WO2020209185A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023148855A (ja) * 2022-03-30 2023-10-13 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラム
WO2025197504A1 (ja) * 2024-03-21 2025-09-25 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230065817A (ko) 2021-11-05 2023-05-12 현대모비스 주식회사 차량용 전동식 브레이크 및 그 제어방법
CN116662300A (zh) * 2023-05-25 2023-08-29 武汉市聚芯微电子有限责任公司 一种波形库的构建方法、装置、设备以及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034439A (ja) * 2005-07-22 2007-02-08 Advanced Telecommunication Research Institute International 触力覚検索システムおよび触力覚検索プログラム
JP2016122445A (ja) * 2014-12-19 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法
JP2017194981A (ja) 2012-05-16 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応メタデータのためのシステム及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178078A (ja) * 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像、音声データへの付加用標識データとその付加方法
KR20100008775A (ko) * 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
AU2009303298B2 (en) * 2008-10-10 2013-05-23 Internet Services, Llc Haptic output device for use with haptic encoded media
JP2012014375A (ja) * 2010-06-30 2012-01-19 Kyocera Corp 触感呈示装置および触感呈示装置の制御方法
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
JP2014164518A (ja) * 2013-02-25 2014-09-08 Nippon Hoso Kyokai <Nhk> 提示装置
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
WO2016043570A1 (ko) * 2014-09-19 2016-03-24 삼성전자 주식회사 단말장치, 단말장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR20160034789A (ko) * 2014-09-19 2016-03-30 삼성전자주식회사 단말장치, 단말장치의 구동방법 및 컴퓨터 판독가능 기록매체
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
US20170262446A1 (en) * 2016-03-08 2017-09-14 Gerald McLaughlin Method and system for description database creation, organization, and use
US10275032B2 (en) * 2016-12-22 2019-04-30 Immersion Corporation Pressure-sensitive suspension system for a haptic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034439A (ja) * 2005-07-22 2007-02-08 Advanced Telecommunication Research Institute International 触力覚検索システムおよび触力覚検索プログラム
JP2017194981A (ja) 2012-05-16 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応メタデータのためのシステム及び方法
JP2016122445A (ja) * 2014-12-19 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023148855A (ja) * 2022-03-30 2023-10-13 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラム
JP7796576B2 (ja) 2022-03-30 2026-01-09 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラム
WO2025197504A1 (ja) * 2024-03-21 2025-09-25 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
CN113454620B (zh) 2025-11-07
JPWO2020209185A1 (ja) 2020-10-15
KR20210151793A (ko) 2021-12-14
CN113454620A (zh) 2021-09-28
EP3955137A4 (en) 2022-06-15
EP3955137A1 (en) 2022-02-16
JP7484899B2 (ja) 2024-05-16
US20220187921A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
JP7484899B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109313576B (zh) 跨设备任务执行
KR102477925B1 (ko) 디지털 어시스턴트의 동기화 및 태스크 위임
EP2846221A1 (en) Method, system and computer program product for transforming haptic signals
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6841239B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017534132A5 (ja)
JP2015232868A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
CN107735776A (zh) 信息处理设备、信息处理方法和程序
JP2005011180A (ja) Ｕｒｌ検索システム及びそれに使用するサーバ並びにｕｒｌ検索方法
JP5743976B2 (ja) 情報処理装置、プログラム、及び情報処理方法
CN103309914A (zh) 信息处理设备、信息处理方法和程序
JP2018073019A (ja) 感覚情報提示システム及び感覚情報提示方法
CN113068077B (zh) 一种字幕文件处理方法及装置
US20250173059A1 (en) Predictive Input Interface Having Improved Robustness for Processing Low Precision Inputs
WO2024129352A1 (en) Systems and methods for generating images to achieve a style
JP2020037155A (ja) 仕草制御装置及び仕草制御プログラム
US20200234187A1 (en) Information processing apparatus, information processing method, and program
JP6993034B1 (ja) コンテンツ再生方法、及びコンテンツ再生システム
CN118251878A (zh) 使用多模态合成进行通信的方法和设备
JP2019056913A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
US11681434B2 (en) Method and apparatus for setting virtual keys, medium, and electronic device
JP2024118670A (ja) 触感伝達システム、触感伝達方法及び触感伝達プログラム
CN111276259B (zh) 服务确定、网络交互、分类方法和客户端、服务器和介质
JP2020190865A (ja) 情報処理装置、ユーザ端末装置、制御方法および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20786981

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021513609

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020786981

Country of ref document: EP

Effective date: 20211110

WWG Wipo information: grant in national office

Ref document number: 202080015577.3

Country of ref document: CN