WO2018047433A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2018047433A1
WO2018047433A1 PCT/JP2017/022707 JP2017022707W WO2018047433A1 WO 2018047433 A1 WO2018047433 A1 WO 2018047433A1 JP 2017022707 W JP2017022707 W JP 2017022707W WO 2018047433 A1 WO2018047433 A1 WO 2018047433A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
information
output
auxiliary device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/022707
Other languages
English (en)
French (fr)
Inventor
亜由美 中川
士文 酒井
知志 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Mobile Communications Inc filed Critical Sony Corp
Priority to JP2018538033A priority Critical patent/JP7074343B2/ja
Priority to EP17848378.0A priority patent/EP3511800A4/en
Publication of WO2018047433A1 publication Critical patent/WO2018047433A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • This disclosure relates to an information processing apparatus.
  • Patent Document 1 discloses an image processing apparatus that determines characteristics of glasses worn by a user by image recognition and corrects the size of characters and images to be output based on the determination.
  • Patent Document 1 determines the presence / absence of spectacles and characteristics based on a captured user image. For this reason, when the user is located outside the angle of view of the imaging device, it is difficult to make the above determination.
  • Patent Document 1 The image processing apparatus described in Patent Document 1 is effective for eyeglasses that can be easily imaged, but is difficult to apply to auxiliary devices that are difficult to image such as contact lenses and hearing aids.
  • the present disclosure proposes a new and improved information processing apparatus that can more flexibly determine whether or not a user wears an auxiliary device.
  • a determination unit that determines whether or not an auxiliary device is worn by a user
  • an output control unit that controls an output mode based on the determination of whether or not the auxiliary device is mounted by the determination unit.
  • An information processing apparatus is provided, wherein the determination unit determines whether or not the auxiliary instrument is mounted based on the estimated user behavior.
  • a sensor unit that collects information used for user behavior estimation and an output unit that outputs information to the user are provided, and the output unit collects from the sensor unit or an external service.
  • An information processing apparatus is provided that outputs information corresponding to an output mode that is controlled based on whether or not the user wears an auxiliary device, which is determined from the determined information.
  • FIG. 1 is a diagram illustrating an overview of an embodiment of the present disclosure and a system configuration example.
  • 3 is a functional block diagram of an information processing terminal and an information processing server according to the embodiment.
  • FIG. It is a figure for demonstrating the action estimation which concerns on the same embodiment. It is a figure which shows the example of control of the output intensity which concerns on the visual information by the information processing server which concerns on the embodiment. It is a figure which shows the example of control of the output intensity which concerns on the auditory information by the information processing server which concerns on the embodiment. It is a figure which shows the example of modal control by the information processing server which concerns on the embodiment. It is a figure for demonstrating transfer of the output information to the external device by the information processing server which concerns on the embodiment.
  • Embodiment> ⁇ 1.1. Introduction
  • various information terminals have become widespread. A user can acquire various types of information from many information terminals on a daily basis.
  • some users who handle information terminals cannot accurately perceive information output from the information terminals when they do not wear auxiliary equipment such as glasses.
  • the information terminal can correct the output size of characters and images, for example, so that a mechanism for assisting the user in perception of information can be effective.
  • Patent Document 1 a process using image recognition as described in Patent Document 1 can be assumed as a method for determining whether or not the user wears an auxiliary device.
  • a process using image recognition it is difficult to determine whether or not the auxiliary instrument is mounted when the user is not positioned within the angle of view of the imaging device.
  • the information terminal is a device whose arrangement can change each time like a small agent, there is a possibility that a user who is not wearing glasses cannot find the information terminal.
  • the technical idea according to the present disclosure was conceived by paying attention to the above points, and can be applied to many auxiliary devices such as contact lenses and hearing aids in addition to eyeglasses. Further, the technical idea according to the present disclosure makes it possible to determine whether or not the auxiliary device is attached even when the user is away from the information terminal. For this reason, the information processing server according to the present embodiment has a function of estimating the user's action from the collected information and determining whether or not the auxiliary device is attached based on the action.
  • the user's behavior can be estimated, and whether or not the auxiliary device is attached can be determined based on the behavior.
  • a user who wears an auxiliary device performs various actions on a daily basis.
  • Some of the above behaviors have a strong correlation with whether or not the auxiliary device is mounted. For example, in general, a user often removes an auxiliary device during bathing or sleeping. In addition, some users have a habit of removing auxiliary equipment when, for example, cooking or a warm meal or exercise. In this embodiment, it is possible to determine that the user is not wearing an auxiliary device when the behavior is estimated by learning by associating the above behavior with the presence or absence of the auxiliary device.
  • FIG. 1 is a diagram showing an overview of the present embodiment and a system configuration example.
  • the information processing system includes an information processing terminal 20, an information processing server 30, and an external service 40.
  • the information processing terminal 20 and the information processing server 30, and the external service 40 and the information processing server 30 are connected via a network 50 so that they can communicate with each other.
  • the auxiliary device 10 includes a vision correction device, a hearing aid device, a movement aid device, and the like.
  • the visual correction instrument described above may include, for example, glasses or contact lenses.
  • the hearing correction instrument may include, for example, a hearing aid, a sound collector, and the like.
  • the mobility aid may include a walking aid such as a wheelchair, a walker, or a crutch.
  • the auxiliary device 10 according to the present embodiment may be a glasses-type wearable device having a vision correction function.
  • the information processing terminal 20 is an information processing apparatus that presents various information to the user.
  • the information processing terminal 20 according to the present embodiment can be, for example, a display device, a projector, various agent devices, a robot, or the like. Further, the information processing terminal 20 according to the present embodiment may be a mobile phone, a smartphone, a tablet, a PC (Personal Computer), or the like.
  • the information processing terminal 20 according to the present embodiment can be realized as various devices having a function of collecting information related to user behavior and a function of outputting information to the user.
  • the information processing server 30 estimates the user's behavior based on information acquired from the information processing terminal 20 or the external service 40, and determines whether the auxiliary device 10 is mounted based on the behavior. Device. Further, the information processing server 30 according to the present embodiment has a function of controlling information output by the information processing terminal 20 based on the determined presence / absence of wearing of the auxiliary device 10.
  • the information processing server 30 determines that the user is wearing the glasses-type auxiliary device 10 based on the estimated behavior, the information processing server 30 notifies the user P1a who is wearing the auxiliary device 10.
  • the information processing terminal 20 can be controlled to output the character information O1.
  • the information processing server 30 determines that the user does not wear the auxiliary device 10 based on the estimated behavior, the information processing server 30 outputs information to output the audio information O2 to the user P1b in the state where the auxiliary device 10 is not worn.
  • the processing terminal 20 can be controlled. According to the above function of the information processing server 30 according to the present embodiment, it is possible to accurately perceive output information even when the auxiliary instrument 10 is not worn.
  • the user's behavior estimated by the information processing server 30 is, for example, behavior in which the user generally removes the auxiliary device 10 such as bathing, sleep, exercise, cooking, and meals, or behavior in which the auxiliary device 10 is removed depending on an individual. Is assumed. Further, the user behavior estimated by the information processing server 30 according to the present embodiment is not limited to the above example, and may be various behaviors that the user can take.
  • the external service 40 according to the present embodiment may be various services that transmit user behavior and information related to the behavior to the information processing server 30.
  • the external service 40 according to the present embodiment may be, for example, a schedule management application, an exercise management application, a health management application, or the like.
  • the external service 40 according to the present embodiment may include home appliances such as a water heater, a lighting device, a cooking device, and a clock.
  • the external service 40 according to the present embodiment may include a mobile phone, a smartphone, a tablet, a PC, and the like.
  • the network 50 has a function of connecting the information processing terminal 20 and the information processing server 30, and the external service 40 and the information processing server 30.
  • the network 50 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 50 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the network 50 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the system configuration example according to this embodiment has been described above.
  • the case where the information processing terminal 20 and the information processing server 30 are realized as independent information processing apparatuses has been described as an example, but the system configuration example according to the present embodiment is as follows. It is not limited to such an example.
  • the information processing terminal 20 and the information processing server 30 according to the present embodiment may be realized as a single information processing apparatus.
  • each function of the information processing terminal 20 and the information processing server 30 according to the present embodiment may be realized by a plurality of information processing apparatuses of three or more.
  • the system configuration example according to the present embodiment can be flexibly modified according to the amount of information to be handled, system specifications, operating conditions, and the like.
  • FIG. 2 is a functional block diagram of the information processing terminal 20 and the information processing server 30 according to the present embodiment.
  • the information processing terminal 20 according to the present embodiment includes a sensor unit 210, an output unit 220, and a server communication unit 230.
  • the sensor unit 210 has a function of collecting various kinds of information used for user behavior estimation.
  • the sensor unit 210 may collect information on the location of the user, the distance to the user, speech, body temperature, and installation environment.
  • the sensor unit 210 according to the present embodiment may be configured to include, for example, a microphone, a human sensor, a temperature sensor, an illuminance sensor, a gyro sensor, an acceleration sensor, a geomagnetic sensor, a GPS, an imaging sensor, a clock, and the like.
  • the output unit 220 has a function of outputting information to the user based on control by the information processing server 30. More specifically, the output unit 220 according to the present embodiment corresponds to an output mode that is controlled based on whether or not the auxiliary device 10 is worn by the user as determined from information collected by the sensor unit 210 or the external service 40. It has a function to output information.
  • the output unit 220 may perform information output corresponding to an output mode that is changed based on a determination that a user who wears the auxiliary device habitually does not wear the auxiliary device 10.
  • the output unit 220 has a function of outputting visual information and audio information corresponding to the above output mode.
  • the output unit 220 according to the present embodiment may include a display device that outputs visual information and a speaker that outputs audio information.
  • the display device can be realized by, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a touch panel, a projector, and the like.
  • the output unit 220 according to the present embodiment may have a speech synthesis function such as TTS (Text To Speech).
  • the server communication unit 230 has a function of performing information communication with the information processing server 30. More specifically, the server communication unit 230 according to the present embodiment transmits various sensor information collected by the sensor unit 210 to the information processing server 30. In addition, the server communication unit 230 according to the present embodiment receives, from the information processing server 30, a control signal corresponding to the output mode determined based on whether or not the auxiliary instrument 10 is mounted determined from the estimated behavior.
  • the function configuration example of the information processing terminal 20 according to the present embodiment has been described above.
  • the functional configuration described above is merely an example, and the functional configuration of the information processing terminal 20 according to the present embodiment is not limited to such an example.
  • the information processing terminal 20 according to the present embodiment may further include a configuration that realizes various functions of the information processing server 30.
  • the information processing terminal 20 may be configured to include, for example, a part or all of a behavior estimation unit 310, a mounting determination unit 320, an output control unit 330, a learning unit 340, and a learning DB 350, which will be described later.
  • the functional configuration of the information processing terminal 20 according to the present embodiment can be changed flexibly.
  • the information processing server 30 includes a behavior estimation unit 310, a mounting determination unit 320, an output control unit 330, a learning unit 340, a learning DB 350, and a communication unit 360.
  • the behavior estimation unit 310 has a function of estimating a user's behavior and state based on information acquired from the information processing terminal 20 and the external service 40. Specifically, the behavior estimation unit 310 according to the present embodiment can estimate the user's behavior based on the user's utterances collected by the sensor unit 210 of the information processing terminal 20. The behavior estimation unit 310 may estimate the user's behavior related to bathing based on, for example, an utterance “Is it possible to take a bath?” By the user. According to the function of the behavior estimation unit 310 according to the present embodiment, it is possible to determine whether the user wears the auxiliary device 10 even when the user is not positioned within the angle of view of the imaging sensor.
  • the behavior estimation unit 310 can estimate the user's behavior based on information acquired from the external service 40.
  • the behavior estimation unit 310 may estimate the user's behavior related to bathing based on the fact that the water heater starts or ends hot water in the bath. According to said function which the action estimation part 310 which concerns on this embodiment has, it becomes possible to estimate a user's action with a higher precision.
  • the behavior estimation unit 310 can estimate the user's behavior based on the sensor information acquired from the information processing terminal 20 or the auxiliary device 10.
  • the behavior estimation unit 310 may be based on the fact that the information processing terminal 20 has detected an increase in the user's body temperature or that the human sensor installed in the bathroom has detected the user's location. May be estimated. According to said function which the action estimation part 310 which concerns on this embodiment has, it becomes possible to estimate a user's action from various conditions. Details of the behavior estimation according to the present embodiment will be described in detail separately.
  • the wearing determination unit 320 has a function of determining whether or not the auxiliary device 10 is worn by the user. At this time, the wearing determination unit 320 according to the present embodiment can determine whether or not the auxiliary device 10 is worn based on the user's behavior estimated by the behavior estimating unit 310. According to the above function of the wearing determination unit 320 according to the present embodiment, whether or not the auxiliary device 10 is worn even when the user is not positioned within the angle of view of the imaging sensor or when it is difficult to image the auxiliary device 10. Can be determined.
  • the wearing determination unit 320 wears the auxiliary device 10 based on the fact that the user's behavior learned in association with the state where the auxiliary device 10 is not worn is estimated. It may be determined that there is not. According to said function which the mounting determination part 320 which concerns on this embodiment has, it becomes possible to determine with high precision for every user the correlation with action and the mounting
  • the output control unit 330 has a function of controlling the output mode of information output by the information processing terminal 20 based on the determination of whether or not the auxiliary instrument 10 is mounted by the mounting determination unit 320. More specifically, the output control unit 330 according to the present embodiment is based on the fact that the user who customarily wears the auxiliary device 10 is determined not to wear the auxiliary device 10 by the wearing determination unit 320. The above output mode can be changed. According to said function which the output control part 330 which concerns on this embodiment has, it becomes possible to assist perception of output information by the user who does not wear the auxiliary instrument 10. FIG.
  • the output control unit 330 controls the output intensity related to the information output based on the determination that the user does not wear the auxiliary instrument 10 by the mounting determination unit 320. be able to.
  • the output control unit 330 may increase the size of characters and images output from the information processing terminal 20.
  • the output control unit 330 may increase the volume of audio information output from the information processing terminal 20, for example. According to said function which the output control part 330 which concerns on this embodiment has, possibility that the user who is not wearing the auxiliary instrument 10 can perceive output information can be improved greatly.
  • the output control unit 330 changes the modal related to the information output of the information processing terminal 20 based on the determination that the user does not wear the auxiliary device 10 by the mounting determination unit 320. May be.
  • the output control unit 330 causes the voice information to be output instead of outputting character information for a user who does not wear spectacles, and instead of the voice information to a user who does not wear a hearing aid. Character information can be output.
  • the output control part 330 which concerns on this embodiment has, even if it is a case where the auxiliary
  • the output control unit 330 may transfer the output information to the external device based on the determination that the user does not wear the auxiliary instrument 10 by the mounting determination unit 320. For example, when the wearing determination unit 320 determines that the user does not wear glasses, the output control unit 330 transfers visual information to be output by the information processing terminal 20 to an external device such as a smartphone possessed by the user. be able to. According to said function which the output control part 330 which concerns on this embodiment has, possibility that the user who is not wearing the auxiliary instrument 10 can perceive output information can further be improved. Note that details of the output control according to the present embodiment will be described in detail separately.
  • the learning unit 340 has a function of learning by associating the user's behavior estimated by the behavior estimating unit 310 with the presence / absence of the user wearing the auxiliary device 10. At this time, the learning unit 340 learns by associating the user's behavior with the presence / absence of the auxiliary device 10 based on, for example, the user's image captured by the image sensor or the user's explicit input / non-installation input / output. May be.
  • the learning unit 340 can perform the above learning by a machine learning method or a statistical method such as an SVM (Support Vector Machine), a neural network, or a regression model.
  • SVM Serial Vector Machine
  • the learning unit 340 may have a function of performing re-learning related to the behavior and the presence / absence of wearing of the auxiliary device 10 based on the user feedback on the output information. According to the function of the learning unit 340 according to the present embodiment, for example, a learning result based on general knowledge can be personalized for each user, and more accurate learning can be performed. In addition, the learning unit 340 according to the present embodiment has a function of storing data related to the learning in the learning DB 350.
  • the learning DB 350 has a function of storing learning data relating to the correlation between the user's behavior and whether or not the auxiliary device 10 is worn.
  • the learning DB 350 may store the correlation strength between the user's behavior and whether or not the auxiliary device 10 is worn, and various information used when estimating the behavior.
  • the communication unit 360 has a function of performing information communication with the information processing terminal 20 and the external service 40. Specifically, the communication unit 360 according to the present embodiment has a function of receiving user utterance information and sensor information from the information processing terminal 20. In addition, the communication unit 360 has a function of receiving information used for estimating the user's behavior from the external service 40 or the auxiliary device 10. The communication unit 360 has a function of transmitting the output control signal generated by the output control unit 330 to the information processing terminal 20.
  • the function configuration example of the information processing server 30 according to the present embodiment has been described above.
  • the functional configuration described above is merely an example, and the functional configuration of the information processing server 30 according to the present embodiment is not limited to the example.
  • all or some of the components included in the information processing server 30 according to the present embodiment may be realized as a function of the information processing terminal 20.
  • a part of each structure with which the information processing server 30 is provided is also realizable as a function of another apparatus.
  • the learning unit 340 and the learning DB 350 may be realized as functions of another device different from the information processing server 30.
  • the functional configuration of the information processing server 30 according to the present embodiment can be changed flexibly.
  • the information processing server 30 has a function of estimating a user's action based on various pieces of acquired information.
  • the information processing server 30 according to the present embodiment for example, performs user actions based on user utterance information, information acquired from the external service 40, and sensor information acquired by the information processing terminal 20 or the auxiliary device 10. Can be estimated.
  • behavior estimation according to the present embodiment will be described in detail with specific examples.
  • the information processing server 30 can estimate the user's behavior based on the utterance information collected by the information processing terminal 20.
  • FIG. 3 is a diagram for describing behavior estimation according to the present embodiment.
  • FIG. 3 shows the user P1 who does not wear the auxiliary device 10 and the utterance PO1 by the user P1 saying “Let's take a bath”.
  • the information processing terminal 20 may detect the user's utterance PO1 as illustrated in FIG. 3 and transmit the information to the information processing server 30.
  • the information processing server 30 can estimate the user's behavior related to bathing based on the received information.
  • the information processing server 30 may estimate the user's bathing behavior based on the utterance “It was good hot water” or “I wonder if I should go to sleep soon”. You may estimate the action which concerns on a user's sleep based on speech.
  • the information processing server 30 may estimate the user's utterance itself as an action.
  • the information processing server 30 can estimate the user's behavior based on information acquired from the external service 40.
  • FIG. 3 shows an example when the external service 40 is a water heater.
  • the information processing server 30 may receive information related to the start and end of hot water from the external service 40 via the network 50.
  • the information processing server 30 can estimate the user's behavior related to bathing based on the received information.
  • the information processing server 30 does not necessarily have to acquire information on the external service 40 via the network 50.
  • the information processing server 30 can also estimate the user's behavior based on the detection of the audio output SO1 from the external service 40 as shown in FIG. 3, for example.
  • the information processing terminal 20 may transmit the detected information of the audio output SO1 from the external service 40 to the information processing server 30.
  • FIG. 3 shows an example in which the external service 40 is a water heater, but the external service 40 according to the present embodiment is not limited to such an example.
  • the external service 40 according to the present embodiment may be a behavior management application.
  • the information processing server 30 may estimate the behavior related to the user's study based on the user's schedule information acquired from the behavior management application, for example. According to the above function of the information processing server 30, for example, it can be learned that the user tends to wear the auxiliary device 10 when studying.
  • the external service 40 may be an exercise management application.
  • the information processing server 30 may estimate the action related to the user's exercise based on the exercise schedule information acquired from the exercise management application. According to the above function of the information processing server 30, for example, it can be learned that the user has a tendency to remove the auxiliary device 10 when exercising.
  • the external service 40 may be a health management application.
  • the information processing server 30 may estimate the user's state based on the user's health state acquired from the health management application.
  • the information processing server 30 can acquire information indicating that the user is receiving treatment related to eyes and ears from a health management application. According to the above function of the information processing server 30, for example, it can be learned that the user has a tendency to remove the auxiliary device 10 when receiving treatment related to eyes and ears.
  • the external service 40 may be a home appliance such as a lighting device.
  • the information processing server 30 can also estimate the user's sleep-related behavior based on the fact that the information related to turning off the lighting fixture is acquired via the network 50.
  • the information processing server 30 may estimate the user's sleep based on the fact that the lighting device is detected to be turned off by the illuminance sensor included in the sensor unit 210 of the information processing terminal 20.
  • the external service 40 may be a device such as a smartphone, a tablet, or a PC.
  • the information processing server 30 can estimate the user's behavior based on the user's search history acquired from the apparatus as described above. For example, the information processing server 30 can estimate the user's actions related to cooking and meals from the history of cooking recipes searched by the user. According to the above function of the information processing server 30, for example, it can be learned that the user tends to remove the auxiliary device 10 when having a warm meal.
  • the information processing server 30 can estimate the user's behavior based on the sensor information collected by the information processing terminal 20, the auxiliary instrument 10, or a separately installed sensor device.
  • the information processing server 30 can estimate the user's behavior related to bathing based on the fact that the information processing terminal 20 detects a rise in the user's body temperature. Further, for example, the information processing server 30 may estimate an operation of the user approaching the information processing terminal 20 or an operation of the information processing terminal 20 by the user based on sensor information collected by the information processing terminal 20. According to the above function of the information processing server 30, for example, when the user performs an operation of approaching the information processing terminal 20 or when the user operates the information processing terminal 20 by groping, It can be learned that the instrument 10 is often removed.
  • the information processing server 30 may estimate the user's behavior based on the sensor information collected by the auxiliary instrument 10. For example, when the auxiliary device 10 is a glasses-type wearable device, the information processing server 30 estimates a state in which the user has removed the auxiliary device 10 based on information on an acceleration sensor and a gyro sensor acquired from the auxiliary device 10. You can also The information processing server 30 can also perform the above estimation based on the sensor information indicating that the auxiliary device 10 such as a wearable device or a hearing aid is being charged from the charger or the auxiliary device 10. is there.
  • the information processing server 30 can estimate the user's behavior based on sensor information collected by a separately installed sensor device.
  • the information processing server 30 may estimate the user's behavior related to bathing based on, for example, that a human sensor installed in a bathroom detects the location of the user.
  • the information processing server 30 according to the present embodiment can estimate the user's behavior based on the acquired various information. According to the above-described function of the information processing server 30 according to the present embodiment, it is possible to learn by associating the user's behavior with whether or not the auxiliary device 10 is attached, and from the user's behavior based on the learning result. It becomes possible to determine whether or not the auxiliary device 10 is attached.
  • the information processing server 30 has a function of determining whether or not the auxiliary device 10 is mounted based on the estimated user behavior and controlling the output mode of the information processing terminal 20 based on the determination.
  • the information processing server 30 can change the output intensity and modal for information output when it is determined that the user does not wear the auxiliary device 10. Further, the information processing server 30 according to the present embodiment can transfer the output information to the external device when it is determined that the user does not wear the auxiliary device 10.
  • FIG. 4A is a diagram illustrating an example of control of output intensity related to visual information by the information processing server 30.
  • a user P1a wearing the glasses-type auxiliary device 10 and visual information O1a output from the information processing terminal 20 are shown.
  • the visual information O1a shown in FIG. 4A may be output in the set normal font size. That is, the information processing server 30 according to the present embodiment causes the information processing terminal 20 to output normal-size visual information when it is determined that the user is wearing the auxiliary device 10.
  • the information processing server 30 causes the information processing terminal 20 to output visual information in a size larger than normal when it is determined that the user does not wear the auxiliary device 10. For example, when the user is not wearing glasses, the information processing server 30 may perform control such as increasing the size of the signage or the moving image that the information processing terminal 20 plays.
  • the information processing server 30 According to the above function of the information processing server 30 according to the present embodiment, it is possible to greatly improve the possibility that the user can perceive visual information even when glasses are not worn.
  • FIG. 4B is a diagram illustrating an example of control of output intensity related to auditory information by the information processing server 30.
  • the upper part of FIG. 4B shows the user P2a wearing the hearing aid type auxiliary device 10 and the auditory information O2a output from the information processing terminal 20.
  • the auditory information O1a shown in FIG. 4B may be output at a set normal volume. That is, the information processing server 30 according to the present embodiment causes the information processing terminal 20 to output auditory information of normal volume when it is determined that the user is wearing the auxiliary device 10.
  • the lower part of FIG. 4B shows the user P2b in a state where the auxiliary instrument 10 is not worn and the auditory information O2b output from the information processing terminal 20.
  • the auditory information O2a is compared with the auditory information O2b, it can be seen that the auditory information O2b is output at a louder volume than the auditory information O2a.
  • the information processing server 30 causes the information processing terminal 20 to output auditory information with a volume larger than normal when it is determined that the user does not wear the auxiliary device 10. According to the function of the information processing server 30 according to the present embodiment, the possibility that the user can perceive auditory information can be greatly improved even when the hearing aid is not worn.
  • FIG. 5 is a diagram illustrating a modal control example by the information processing server 30.
  • the upper part of FIG. 5 shows a user P1b who is not wearing the glasses-type auxiliary device 10, and auditory information O2 output from the information processing terminal 20.
  • the information processing server 30 according to the present embodiment replaces the visual information output in the normal mode when it is determined that the user who wears the glasses habitually does not wear the glasses. Auditory information can be output to the information processing terminal 20.
  • the information processing server 30 may perform control to switch the moving image played by the information processing terminal 20 from subtitles to sub-audio.
  • the information processing server 30 when the user does not wear glasses, it is possible to output information based on audio information, and the user can perceive output information. Can greatly increase.
  • the lower part of FIG. 5 shows the user P2b in a state where the hearing aid type auxiliary device 10 is not worn and the visual information O1 output from the information processing terminal 20.
  • the information processing server 30 replaces the auditory information output in the normal mode when it is determined that the user who wears the hearing aid habitually does not wear the hearing aid. Visual information can be output to the information processing terminal 20.
  • the information processing server 30 when the user does not wear a hearing aid, it is possible to output information by visual information, and the user can perceive output information. Can greatly increase.
  • FIG. 6 is a diagram for explaining transfer of output information to the external device 60 by the information processing server 30.
  • the external device 60 according to the present embodiment may be, for example, a mobile phone, a smartphone, a tablet, a PC, etc. possessed by the user.
  • FIG. 6 shows the user P1b who is not wearing the glasses-type auxiliary device 10 and the output information O3 transferred to the external device 60.
  • the information processing server 30 according to the present embodiment outputs output information to be output to the information processing terminal 20 when it is determined that the user who wears spectacles habits is not wearing spectacles. 60.
  • the output information can be confirmed using the external device 60 at hand, and the possibility that the output information can be perceived is greatly improved. Is possible.
  • the transfer of the output information to the external device 60 may be executed by the information processing terminal 20.
  • the information processing server 30 may transmit a control signal that instructs the information processing terminal 20 to transfer the output information.
  • a message indicating that the output information has been transferred to the external device 60 is displayed on the information processing terminal 20, but the output information transferred to the external device 60 is simultaneously transmitted to the information processing terminal 20. May be output. 6 shows an example in which the information processing server 30 transfers visual information, the information processing server 30 may transfer auditory information to the external device 60.
  • the output control unit 330 of the information processing server 30 according to the present embodiment determines that there is a user who does not wear the auxiliary device 10 when the wearing determination unit 320 determines whether or not the auxiliary device 10 is attached to a plurality of users. Based on this, the output mode can be changed.
  • FIG. 7 is a diagram for explaining output control with priority given to a user who does not wear the auxiliary device 10 by the information processing server 30.
  • FIG. 7 shows the user P1 wearing the glasses-type auxiliary device 10, the user P2 not wearing the auxiliary device 10, and the auditory information O2 output by the information processing terminal 20.
  • the information processing server 30 may output auditory information instead of the visual information output in the normal mode so that the user P2 who is not wearing glasses can perceive the output information.
  • the information processing server 30 according to the present embodiment can determine whether or not the auxiliary device 10 is attached to a plurality of users, and can perform output control giving priority to a user who does not wear the auxiliary device 10.
  • the information processing server 30 even when a user who wears the auxiliary device 10 and a user who does not wear it are mixed, there is a possibility that both users can perceive the output information. It can be greatly increased.
  • the information processing server 30 may control the output intensity related to information output.
  • the output control unit 330 of the information processing server 30 according to the present embodiment mounts the auxiliary device 10 related to the user who is the target of the output information when the mounting determination unit 320 determines whether or not the auxiliary device 10 related to multiple users is mounted.
  • the output mode can be controlled based on the presence or absence.
  • FIG. 8 is a diagram for explaining the output control by the information processing server 30 giving priority to the target user of the output information.
  • FIG. 8 shows the user P1 wearing the glasses-type auxiliary device 10, the user P2 not wearing the auxiliary device 10, and the visual information O1 output by the information processing terminal 20.
  • the visual information O1 may be output information for the user P1.
  • the information processing server 30 provides the information processing terminal 20 when the output information is not information intended for the user. Output in normal mode may be performed. That is, the information processing server 30 according to the present embodiment can perform output control in which priority is given to the target user of the output information when it is determined whether or not the auxiliary device 10 is attached to a plurality of users.
  • the information processing server 30 According to the above function of the information processing server 30 according to the present embodiment, it is possible to increase the possibility that a user who needs output information can correctly perceive the output information.
  • the output control unit 330 of the information processing server 30 controls a plurality of output modes corresponding to the plurality of users when the mounting determination unit 320 determines whether or not the auxiliary device 10 is mounted on the plurality of users. Can do.
  • FIG. 9 is a diagram for explaining control of a plurality of output modes corresponding to a plurality of users by the information processing server 30.
  • FIG. 9 shows a user P1 wearing the glasses-type auxiliary device 10, a user P2 not wearing the auxiliary device 10, and visual information O1 and auditory information O2 output by the information processing terminal 20. Yes.
  • the information processing server 30 outputs a plurality of information outputs corresponding to each user when the user who does not wear the auxiliary device 10 and the user who does not wear the auxiliary device 10 are mixed. Can be done. That is, the information processing server 30 according to the present embodiment stores visual information O1 corresponding to the user P1 wearing the auxiliary instrument 10 and auditory information O2 corresponding to the user P2 not wearing the auxiliary instrument 10. The data is output to the processing terminal 20.
  • the information processing server 30 even when a user wearing the auxiliary device 10 and a user not wearing are mixed, presentation of output information suitable for each user is presented. Can be done.
  • FIG. 10 is a diagram for explaining output control based on environmental conditions by the information processing server 30 according to the present embodiment.
  • FIG. 10 shows visual information O ⁇ b> 1 output by the user P ⁇ b> 2, the third party P ⁇ b> 3, and the information processing terminal 20 who are not wearing the glasses-type auxiliary device 10.
  • the third person P3 is assumed to be a sleeping baby as shown in FIG. 10, for example.
  • the information processing server 30 may cause the information processing terminal 20 to output only the visual information without outputting the auditory information so as not to disturb the sleep of the third party P3. That is, the output control unit 330 of the information processing server 30 according to the present embodiment can select an output mode related to visual information based on the environmental condition indicating a request for a silent environment.
  • the information processing server 30 According to the function of the information processing server 30 according to the present embodiment, it is possible to present output information that does not interfere with a third party.
  • the environmental condition according to the present embodiment may be various information acquired from the information processing terminal 20, the external service 40, the external device 60, a separately installed sensor device, or the like.
  • the information processing server 30 is based on the detection of the location of a third party in the room adjacent to the room in which the information processing terminal 20 is installed and the detection that the lighting device is turned off.
  • the estimated third party behavior may be included in the environmental condition according to the present embodiment.
  • the above third-party behavior is expected to include studying and talking on the phone.
  • FIG. 11 is a flowchart showing a flow of output control by the information processing server 30.
  • the communication unit 360 of the information processing server 30 receives user utterance information and sensor information from the information processing terminal 20 (S1101).
  • the communication unit 360 receives service information from the external service 40 (S1102). Note that the reception of utterance information and sensor information in step S1101 and the reception of service information in step S1102 may be performed in an order different from the flow illustrated in FIG. 11 or may be performed simultaneously. Further, only one of the information may be received in steps S1101 and S1102.
  • the behavior estimation unit 310 performs user behavior estimation based on the information received in steps S1101 and S1102 (S1103).
  • the wearing determination unit 320 determines whether or not the auxiliary device 10 is worn based on the user behavior estimated in step S1103 and the learning result stored in the learning DB 350 (S1104).
  • the output control unit 330 sets a normal output mode (S1105).
  • the output control unit 330 changes the output mode (S1106).
  • step S1105 or step S1106 the communication unit 360 transmits a control signal generated according to the output mode to the information processing terminal 20 (S1107). A series of processing ends.
  • FIG. 12 is a flowchart showing the flow of learning by the information processing server 30.
  • the communication unit 360 of the information processing server 30 receives user utterance information and sensor information from the information processing terminal 20 or the like (S1201).
  • the communication unit 360 receives service information from the external service 40 (S1202). Note that the reception of utterance information and sensor information in step S1201 and the reception of service information in step S1202 may be performed in an order different from the flow shown in FIG. 12, or may be performed simultaneously. Further, only one of the information may be received in steps S1201 and S1202.
  • the behavior estimation unit 310 performs user behavior estimation based on the information received in steps S1201 and S1202 (S1203).
  • the communication unit 360 acquires image information related to the user from the information processing terminal 20 (S1204).
  • the wearing determination unit 320 analyzes the image information acquired in step S1204 and determines whether or not the auxiliary device 10 is worn by the user (S1205).
  • the communication unit 360 may acquire an explicit input of the user related to whether or not the auxiliary instrument 10 is mounted instead of the image information.
  • the learning unit 340 performs learning by associating the behavior estimated in step S1203 with the presence / absence of the auxiliary device 10 determined in step S1205, and stores the learning result in the learning DB 350 (S1206).
  • FIG. 13 is a flowchart showing a flow of relearning based on feedback by the information processing server 30.
  • the communication unit 360 of the information processing server 30 receives user feedback on the output information from the information processing terminal 20 (S1301).
  • the feedback may include explicit input information by the user.
  • the explicit input information includes, for example, an utterance by a user that “I am wearing glasses now”, a character input indicating whether or not the auxiliary device 10 is worn, a button operation, and the like.
  • the above feedback may include implicit feedback such as a change in the character size and volume by the user and a user utterance of “large”. Further, the information processing server 30 may increase the chance of receiving the feedback by causing the information processing terminal 20 to output a question such as “Do you wear glasses now?”.
  • the learning unit 340 acquires the learning data related to the output control that has received the feedback from the learning DB 350 (S1302).
  • the learning unit 340 estimates the correlation between the feedback acquired in step S1301 and the learning data acquired in step S1302 (S1303). At this time, the learning unit 340 may estimate the correlation based on, for example, a tendency based on the day of the week or a behavior before and after the user.
  • the learning unit 340 determines whether or not there is a correlation between the feedback acquired in step S1301 and the learning data acquired in step S1302 (S1304). That is, the learning unit 340 according to the present embodiment can determine whether the received feedback is an exceptional case or a regularity.
  • the learning unit 340 determines that there is no correlation between the feedback acquired in step S1301 and the learning data acquired in step S1302 (S1304: No)
  • the information processing server 30 performs a series of processes related to relearning. Exit.
  • the learning unit 340 determines that there is a correlation between the feedback acquired in step S1301 and the learning data acquired in step S1302 (S1304: Yes)
  • the learning unit 340 performs relearning based on the received information.
  • the learning result is stored in the learning DB 350 (S1305).
  • FIG. 14 is a block diagram illustrating a hardware configuration example of the information processing terminal 20 and the information processing server 30 according to the present disclosure.
  • the information processing terminal 20 and the information processing server 30 include, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, and an input device 878. , Output device 879, storage 880, drive 881, connection port 882, and communication device 883.
  • a CPU 871 a central processing unit 873
  • a RAM 873 random access memory
  • a host bus 874 a bus 873
  • a bridge 875 an external bus 876
  • an interface 877 an input device 878.
  • Output device 879 storage 880
  • drive 881, connection port 882, and communication device 883 Note that the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the information processing server 30 estimates the user's behavior based on the sensor information and the information acquired from the external service 40, and associates the behavior with whether or not the auxiliary device 10 is mounted. Has the function of learning. Further, the information processing server 30 can determine whether the user wears the auxiliary device 10 from the estimated action and the learning result, and can perform output control based on the determination. According to such a configuration, it is possible to more flexibly determine whether or not the user wears the auxiliary device.
  • auxiliary device 10 is a vision correction device or a hearing aid device
  • the auxiliary instrument 10 may be a movement assist instrument such as a wheelchair or a walking assist cane, for example.
  • the information processing server 30 can determine whether or not the user has attached the movement assisting device, and can control information output by the information processing terminal 20. According to the above function, when it is difficult for the user to move, for example, by adjusting the output intensity of the output information, the output information is also presented to the user located away from the information processing terminal 20. be able to.
  • the information processing server 30 may determine mounting other than the auxiliary device 10 and perform output control based on the determination.
  • the information processing server 30 according to the present disclosure can perform control such that visual information is preferentially output when the user wears earphones, headphones, or the like, for example. According to the present technology, it is possible to determine whether or not various devices are mounted based on the user's action and perform output control based on the determination.
  • each step in the processing of the information processing server 30 in this specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the information processing server 30 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • a determination unit that determines whether or not an auxiliary device is worn by a user; Based on the determination of whether or not the auxiliary device is mounted by the determination unit, an output control unit that controls the output mode; With The determination unit determines whether or not the auxiliary device is attached based on the estimated user behavior. Information processing device.
  • the output control unit changes the output mode based on the fact that the determination unit determines that the user who wears the auxiliary device habitually does not wear the auxiliary device. The information processing apparatus according to (1).
  • the determination unit determines that the user does not wear the auxiliary device based on the estimated behavior of the user learned in association with a state where the auxiliary device is not worn, The information processing apparatus according to (1) or (2).
  • the auxiliary device includes at least one of a vision correction device and a hearing aid device, The information processing apparatus according to any one of (1) to (3).
  • the determination unit determines whether or not the auxiliary device is attached based on behavior estimated from the user's utterance, The information processing apparatus according to any one of (1) to (4).
  • the determination unit determines whether or not the auxiliary device is attached based on behavior estimated from information acquired from an external service; The information processing apparatus according to any one of (1) to (5).
  • the determination unit determines whether or not the auxiliary device is attached based on behavior estimated from the acquired sensor information.
  • the information processing apparatus according to any one of (1) to (6).
  • the output control unit controls the output intensity according to the information output based on the determination that the user does not wear the auxiliary instrument.
  • the information processing apparatus according to any one of (1) to (7).
  • the output control unit changes a modal related to information output based on the determination that the user does not wear the auxiliary instrument.
  • the information processing apparatus according to any one of (1) to (8).
  • the output control unit transfers output information to an external device based on the determination that the user does not wear the auxiliary instrument.
  • the information processing apparatus according to any one of (1) to (9).
  • the output control unit changes the output mode based on determining that there is a user who does not wear the auxiliary device when the determination unit determines whether or not the auxiliary device is attached to a plurality of users.
  • the output control unit controls the output mode based on whether or not the auxiliary device is attached to a user as a target of output information when the determination unit determines whether or not the auxiliary device is attached to a plurality of users.
  • the output control unit controls a plurality of output modes corresponding to the plurality of users when the determination unit determines whether or not the auxiliary device is attached to the plurality of users.
  • the output control unit controls the output mode based on the acquired environmental condition.
  • the output control unit selects an output mode related to visual information based on the environmental condition indicating a request for a silent environment.
  • the environmental conditions include estimated third party behavior, The information processing apparatus according to (14) or (15).
  • An estimation unit for estimating the user's behavior Further comprising The information processing apparatus according to any one of (1) to (16).
  • a sensor unit for collecting information used for user behavior estimation; An output unit for outputting information to the user; With The output unit performs information output corresponding to an output mode controlled based on whether or not the user wears an auxiliary device, which is determined from information collected from the sensor unit or an external service. Information processing device.
  • the output unit outputs information corresponding to an output mode that is changed based on a determination that the user who customarily wears the auxiliary device does not wear the auxiliary device.
  • the output unit performs information output related to either visual information or audio information corresponding to the output mode, or both.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザによる補助器具の装着有無をより柔軟に判定する。 【解決手段】ユーザによる補助器具の装着有無を判定する判定部と、前記判定部による前記補助器具の装着有無の判定に基づいて、出力モードの制御を行う出力制御部と、を備え、前記判定部は、推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、情報処理装置が提供される。また、ユーザの行動推定に用いられる情報を収集するセンサ部と、前記ユーザに対する情報出力を行う出力部と、を備え、前記出力部は、前記センサ部または外部サービスから収集された情報から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、情報処理装置が提供される。

Description

情報処理装置
　本開示は、情報処理装置に関する。
　近年、画像認識を行う種々の装置が開発されている。また、認識された情報に基づいて出力制御を行う装置が提案されている。例えば、特許文献１には、画像認識によりユーザが装着する眼鏡の特性を判定し、当該判定に基づき出力する文字や画像の大きさを補正する画像処理装置が開示されている。
特開２０１５－２５８５９号公報
　しかし、特許文献１に記載の画像処理装置は、撮像したユーザの画像に基づいて、眼鏡の装着有無や特性の判定を行っている。このため、ユーザが撮像装置の画角外に位置する場合には、上記の判定を行うことが困難である。
　また、特許文献１に記載の画像処理装置は、撮像が容易な眼鏡に対しては有効である一方、コンタクトレンズや補聴器など撮像が困難な補助器具に対しては適用することが難しい。
　そこで、本開示では、ユーザによる補助器具の装着有無をより柔軟に判定することが可能な、新規かつ改良された情報処理装置を提案する。
　本開示によれば、ユーザによる補助器具の装着有無を判定する判定部と、前記判定部による前記補助器具の装着有無の判定に基づいて、出力モードの制御を行う出力制御部と、を備え、前記判定部は、推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、情報処理装置が提供される。
　また、本開示によれば、ユーザの行動推定に用いられる情報を収集するセンサ部と、前記ユーザに対する情報出力を行う出力部と、を備え、前記出力部は、前記センサ部または外部サービスから収集された情報から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、情報処理装置が提供される。
　以上説明したように本開示によれば、ユーザによる補助器具の装着有無をより柔軟に判定することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態の概要およびシステム構成例を示す図である。 同実施形態に係る情報処理端末および情報処理サーバの機能ブロック図である。 同実施形態に係る行動推定について説明するための図である。 同実施形態に係る情報処理サーバによる視覚情報に係る出力強度の制御例を示す図である。 同実施形態に係る情報処理サーバによる聴覚情報に係る出力強度の制御例を示す図である。 同実施形態に係る情報処理サーバによるモーダルの制御例を示す図である。 同実施形態に係る情報処理サーバによる外部装置への出力情報の転送について説明するための図である。 同実施形態に係る情報処理サーバによる補助器具を装着していないユーザを優先した出力制御について説明するための図である。 同実施形態に係る情報処理サーバによる出力情報の対象ユーザを優先した出力制御について説明するための図である。 同実施形態に係る情報処理サーバによる複数ユーザに対応する複数の出力モードの制御について説明するための図である。 同実施形態に係る本実施形態に係る情報処理サーバによる環境条件に基づく出力制御について説明するための図である。 同実施形態に係る情報処理サーバによる出力制御の流れを示すフローチャートである。 同実施形態に係る情報処理サーバによる学習の流れを示すフローチャートである。 同実施形態に係る情報処理サーバによるフィードバックに基づく再学習の流れを示すフローチャートである。 本開示に係るハードウェア構成例である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．はじめに
　　１．２．実施形態の概要およびシステム構成例
　　１．３．情報処理端末２０の機能構成例
　　１．４．情報処理サーバ３０の機能構成例
　　１．５．行動推定の詳細
　　１．６．補助器具１０の装着有無に基づく出力制御
　　１．７．複数ユーザに係る出力制御
　　１．８．環境条件に基づく出力制御
　　１．９．出力制御の流れ
　　１．１０．学習の流れ
　　１．１１．フィードバックに基づく再学習の流れ
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．はじめに＞＞
　近年、情報技術の発展に伴い、様々な情報端末が普及している。ユーザは、日常において多くの情報端末から種々の情報を取得し得る。一方、情報端末を扱うユーザには、眼鏡のような補助器具を装着していない場合、情報端末から出力される情報を正確に知覚できない者もいる。このため、ユーザが補助器具を装着していない場合、情報端末が、例えば、文字や画像の出力サイズを補正することで、ユーザによる情報の知覚を補助する仕組みが有効となり得る。
　この際、ユーザによる補助器具の装着有無を判定する手法には、特許文献１に記載されるような画像認識を用いた処理が想定され得る。しかし、上述したように、画像認識を用いる手法では、ユーザが撮像装置の画角内に位置しない場合、補助器具の装着有無を判定することが困難である。
　また、情報端末が小型のエージェントのように配置が都度変化し得る装置の場合、眼鏡を装着していないユーザが情報端末を探し出すことができない可能性もある。
　さらには、画像認識を用いる手法では、コンタクトレンズや補聴器のように小型あるいは透明な補助器具の装着有無を判定することが困難である。
　本開示に係る技術思想は、上記の点に着目して発想されたものであり、眼鏡のほか、コンタクトレンズや補聴器など多くの補助器具に対して適用可能である。また、本開示に係る技術思想は、ユーザが情報端末から離れている場合でも補助器具の装着有無を判定することを可能とする。このために、本実施形態に係る情報処理サーバは、収集された情報からユーザの行動を推定し、当該行動に基づいて補助器具の装着有無を判定する機能を有する。
　＜＜１．２．実施形態の概要およびシステム構成例＞＞
　まず、本実施形態の概要について説明する。上述したとおり、本実施形態では、ユーザの行動を推定し、当該行動に基づいて補助器具の装着有無が判定され得る。補助器具を装着するユーザは日常において様々な行動を行うが、上記のような行動には、補助器具の装着有無と強い相関を有するものが存在する。例えば、一般的に、ユーザは入浴や睡眠の際、補助器具を外す場合が多い。また、ユーザによっては、例えば、料理やあたたかい食事をする際や、運動を行う際に補助器具を外す習慣がある者もいる。本実施形態では、上記のような行動と補助器具の装着有無とを関連付けて学習することで、当該行動が推定された際、ユーザが補助器具を装着していないと判定することができる。
　図１は、本実施形態の概要およびシステム構成例を示す図である。図１を参照すると、本実施形態に係る情報処理システムは、情報処理端末２０、情報処理サーバ３０、および外部サービス４０を備える。また、情報処理端末２０と情報処理サーバ３０、および外部サービス４０と情報処理サーバ３０とは、互いに通信が行えるようにネットワーク５０を介して接続される。
　（補助器具１０）
　本実施形態に係る補助器具１０は、視覚矯正器具、聴覚補助器具、移動補助器具などを含む。上記の視覚矯正器具は、例えば、眼鏡やコンタクトレンズなどを含んでよい。また、聴覚矯正器具は、例えば、補聴器や集音器などを含んでよい。また、移動補助器具は、車椅子や歩行器、松葉杖などの歩行補助杖を含んでよい。また、本実施形態に係る補助器具１０は、視覚矯正機能を有する眼鏡型のウェアラブルデバイスであってもよい。
　（情報処理端末２０）
　本実施形態に係る情報処理端末２０は、ユーザに対し種々の情報を提示する情報処理装置である。本実施形態に係る情報処理端末２０は、例えば、ディスプレイ装置、プロジェクタ、各種のエージェント装置やロボットなどであり得る。また、本実施形態に係る情報処理端末２０は、携帯電話、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などであってもよい。本実施形態に係る情報処理端末２０は、ユーザの行動に係る情報を収集する機能と、ユーザに対し情報を出力する機能とを備える種々の装置として実現され得る。
　（情報処理サーバ３０）
　本実施形態に係る情報処理サーバ３０は、情報処理端末２０や外部サービス４０から取得した情報に基づいて、ユーザの行動を推定し、当該行動に基づいて補助器具１０の装着有無を判定する情報処理装置である。また、本実施形態に係る情報処理サーバ３０は、判定した補助器具１０の装着有無に基づいて、情報処理端末２０による情報出力を制御する機能を有する。
　例えば、図１に示すように、情報処理サーバ３０は、推定した行動からユーザが眼鏡型の補助器具１０を装着していると判定した場合、補助器具１０を装着している状態のユーザＰ１ａに対して、文字情報Ｏ１を出力するよう情報処理端末２０を制御することができる。
　一方、情報処理サーバ３０は、推定した行動からユーザが補助器具１０を装着していないと判定した場合、補助器具１０を装着していない状態のユーザＰ１ｂに対し、音声情報Ｏ２を出力するよう情報処理端末２０を制御することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着していない場合でも、出力される情報を正確に知覚することが可能となる。
　なお、情報処理サーバ３０が推定するユーザの行動には、例えば、入浴、睡眠、運動、料理、食事など、一般的にユーザが補助器具１０を外す行動や、個人によっては補助器具１０を外す行動が想定される。また、本実施形態に係る情報処理サーバ３０が推定するユーザの行動は上記の例に限定されず、ユーザが取り得る種々の行動であり得る。
　（外部サービス４０）
　本実施形態に係る外部サービス４０は、ユーザの行動や行動に係る情報を情報処理サーバ３０に送信する種々のサービスであり得る。本実施形態に係る外部サービス４０は、例えば、予定管理アプリケーション、運動管理アプリケーション、健康管理アプリケーションなどであってもよい。また、本実施形態に係る外部サービス４０は、給湯器や照明器具、調理器具、時計などの家電を含んでよい。また、本実施形態に係る外部サービス４０は、携帯電話、スマートフォン、タブレット、ＰＣなどを含んでもよい。
　（ネットワーク５０）
　ネットワーク５０は、情報処理端末２０と情報処理サーバ３０、および外部サービス４０と情報処理サーバ３０を接続する機能を有する。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク５０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係るシステム構成例について説明した。なお、図１を用いた上記の説明では、情報処理端末２０および情報処理サーバ３０が、それぞれ独立した情報処理装置として実現される場合を例に述べたが、本実施形態に係るシステム構成例は、係る例に限定されない。本実施形態に係る情報処理端末２０および情報処理サーバ３０は、単一の情報処理装置として実現されてもよい。
　一方、本実施形態に係る情報処理端末２０および情報処理サーバ３０が有する各機能は、３台以上の複数の情報処理装置により実現されてもよい。本実施形態に係るシステム構成例は、扱われる情報量やシステムの仕様、運用条件などに応じて柔軟に変形され得る。
　＜＜１．３．情報処理端末２０の機能構成例＞＞
　次に、本実施形態に係る情報処理端末２０の機能構成例について説明する。図２は、本実施形態に係る情報処理端末２０および情報処理サーバ３０の機能ブロック図である。図２を参照すると、本実施形態に係る情報処理端末２０は、センサ部２１０、出力部２２０、およびサーバ通信部２３０を備える。
　（センサ部２１０）
　センサ部２１０は、ユーザの行動推定に用いられる種々の情報を収集する機能を有する。センサ部２１０は、例えば、ユーザの所在やユーザとの距離、発話、体温、また設置環境に係る情報を収集してよい。このため、本実施形態に係るセンサ部２１０は、例えば、マイクロフォン、人感センサ、温度センサ、照度センサ、ジャイロセンサ、加速度センサ、地磁気センサ、ＧＰＳ、撮像センサ、時計などを含んで構成され得る。
　（出力部２２０）
　出力部２２０は、情報処理サーバ３０による制御に基づき、ユーザに対する情報出力を行う機能を有する。より具体的には、本実施形態に係る出力部２２０は、センサ部２１０や外部サービス４０が収集した情報から判定されるユーザによる補助器具１０の装着有無に基づいて制御される出力モードに対応する情報出力を行う機能を有する。
　この際、出力部２２０は、補助器具を習慣的に装着するユーザが補助器具１０を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行ってよい。
　また、出力部２２０は、上記の出力モードに対応する視覚情報や音声情報を出力する機能を有する。このため、本実施形態に係る出力部２２０は、視覚情報を出力するディスプレイ装置や音声情報を出力するスピーカを含んで構成され得る。上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。また、本実施形態に係る出力部２２０は、ＴＴＳ（Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）などの音声合成機能を有してよい。
　（サーバ通信部２３０）
　サーバ通信部２３０は、情報処理サーバ３０との情報通信を行う機能を有する。より具体的には、本実施形態に係るサーバ通信部２３０は、センサ部２１０が収集した種々のセンサ情報を情報処理サーバ３０に送信する。また、本実施形態に係るサーバ通信部２３０は、推定された行動から判定される補助器具１０の装着有無に基づいて決定された出力モードに対応する制御信号を情報処理サーバ３０から受信する。
　以上、本実施形態に係る情報処理端末２０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理端末２０の機能構成は、係る例に限定されない。本実施形態に係る情報処理端末２０は、情報処理サーバ３０が有する各種の機能を実現する構成をさらに備えてもよい。情報処理端末２０は、例えば、後述する行動推定部３１０、装着判定部３２０、出力制御部３３０、学習部３４０、学習ＤＢ３５０のうちの一部またはすべてを備えるように構成されてもよい。本実施形態に係る情報処理端末２０の機能構成は、柔軟に変更され得る。
　＜＜１．４．情報処理サーバ３０の機能構成例＞＞
　次に、本実施形態に係る情報処理サーバ３０の機能構成例について説明する。図２を参照すると、本実施形態に係る情報処理サーバ３０は、行動推定部３１０、装着判定部３２０、出力制御部３３０、学習部３４０、学習ＤＢ３５０、および通信部３６０を備える。
　（行動推定部３１０）
　行動推定部３１０は、情報処理端末２０や外部サービス４０から取得した情報に基づいてユーザの行動や状態を推定する機能を有する。具体的には、本実施形態に係る行動推定部３１０は、情報処理端末２０のセンサ部２１０により収集されたユーザの発話に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、ユーザによる、「お風呂に入ろうかな」、という発話に基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザが撮像センサの画角内に位置しない場合でも、ユーザによる補助器具１０の装着有無を判定することが可能となる。
　また、本実施形態に係る行動推定部３１０は、外部サービス４０から取得された情報に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、給湯器が風呂にお湯はりを開始または終了したことに基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザの行動をより高い精度で推定することが可能となる。
　さらには、本実施形態に係る行動推定部３１０は、情報処理端末２０や補助器具１０から取得されたセンサ情報に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、情報処理端末２０がユーザの体温上昇を検知したことや、風呂場に設置される人感センサがユーザの所在を検知したことに基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザの行動を多様な条件から推定することが可能となる。なお、本実施形態に係る行動推定の詳細については別途詳細に説明する。
　（装着判定部３２０）
　装着判定部３２０は、ユーザによる補助器具１０の装着有無を判定する機能を有する。この際、本実施形態に係る装着判定部３２０は、行動推定部３１０により推定されたユーザの行動に基づいて、補助器具１０の装着有無を判定することができる。本実施形態に係る装着判定部３２０が有する上記の機能によれば、ユーザが撮像センサの画角内に位置しない場合や、補助器具１０の撮像が困難な場合においても、補助器具１０の装着有無を判定することが可能となる。
　また、本実施形態に係る装着判定部３２０は、補助器具１０を装着していない状態と関連付いて学習されたユーザの行動が推定されたことに基づいて、ユーザが補助器具１０を装着していないと判定してもよい。本実施形態に係る装着判定部３２０が有する上記の機能によれば、行動と補助器具１０の装着有無との相関をユーザごとに精度高く判定することが可能となる。なお、本実施形態に係る装着判定の詳細については別途詳細に説明する。
　（出力制御部３３０）
　出力制御部３３０は、装着判定部３２０による補助器具１０の装着有無の判定に基づいて、情報処理端末２０による情報出力の出力モードを制御する機能を有する。より具体的には、本実施形態に係る出力制御部３３０は、装着判定部３２０により補助器具１０を習慣的に装着するユーザが補助器具１０を装着していないと判定されたことに基づいて、上記の出力モードを変更することができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザによる出力情報の知覚を補助することが可能となる。
　より具体的には、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、情報出力に係る出力強度を制御することができる。出力制御部３３０は、例えば、情報処理端末２０が出力する文字や画像の大きさを拡大させてもよい。また、出力制御部３３０は、例えば、情報処理端末２０が出力する音声情報の音量を上げさせてもよい。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザが出力情報を知覚できる可能性を大きく向上させることができる。
　また、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、情報処理端末２０の情報出力に係るモーダルを変更してもよい。出力制御部３３０は、例えば、眼鏡を装着していないユーザに対しては、文字情報の出力に代えて音声情報を出力させ、補聴器を装着していないユーザに対しては、音声情報に代えて文字情報を出力させることができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していない場合であっても、ユーザが出力情報を正確に知覚することが可能となる。
　また、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、外部装置に出力情報を転送してもよい。出力制御部３３０は、例えば、装着判定部３２０によりユーザが眼鏡を装着していないと判定された場合、情報処理端末２０が出力すべき視覚情報をユーザが所持するスマートフォンなどの外部装置に転送することができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザが出力情報を知覚できる可能性をさらに向上させることができる。なお、本実施形態に係る出力制御の詳細については、別途詳細に説明する。
　（学習部３４０）
　学習部３４０は、行動推定部３１０が推定したユーザの行動とユーザによる補助器具１０の装着有無とを関連付けて学習する機能を有する。この際、学習部３４０は、例えば、撮像センサにより撮像されたユーザの画像や、ユーザによる明示的な装着有無の入力に基づいて、ユーザの行動と補助器具１０の装着有無とを関連付けて学習してもよい。学習部３４０は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により上記の学習を行うことができる。
　また、学習部３４０は、出力情報に対するユーザのフィードバックに基づいて、行動と補助器具１０の装着有無とに係る再学習を行う機能を有してよい。本実施形態に係る学習部３４０が有する上記の機能によれば、例えば、一般知識に基づく学習結果をユーザごとに個人化し、より精度の高い学習を行うことが可能となる。また、本実施形態に係る学習部３４０は、上記の学習に係るデータを学習ＤＢ３５０に記憶させる機能を有する。
　（学習ＤＢ３５０）
　学習ＤＢ３５０は、ユーザの行動と補助器具１０の装着有無との相関に係る学習データを記憶する機能を有する。学習ＤＢ３５０には、ユーザの行動と補助器具１０の装着有無との相関強度や、当該行動の推定時に用いられた各種の情報が関連付けて記憶されてよい。
　（通信部３６０）
　通信部３６０は、情報処理端末２０や外部サービス４０との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部３６０は、情報処理端末２０からユーザの発話情報やセンサ情報を受信する機能を有する。また、通信部３６０は、外部サービス４０や補助器具１０からユーザの行動推定に用いられる情報を受信する機能を有する。また、通信部３６０は、出力制御部３３０が生成する出力制御信号を情報処理端末２０に送信する機能を有する。
　以上、本実施形態に係る情報処理サーバ３０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ３０の機能構成は、係る例に限定されない。上述したとおり、本実施形態に係る情報処理サーバ３０が備える各構成のすべて、または一部は、情報処理端末２０の機能として実現されてもよい。また、情報処理サーバ３０が備える各構成の一部は、別の装置の機能として実現することもできる。例えば、学習部３４０や学習ＤＢ３５０は、情報処理サーバ３０とは異なる別の装置の機能として実現されてもよい。本実施形態に係る情報処理サーバ３０の機能構成は、柔軟に変更され得る。
　＜＜１．５．行動推定の詳細＞＞
　次に、本実施形態に係る行動推定の詳細について説明する。上述したとおり、本実施形態に係る情報処理サーバ３０は、取得された種々の情報に基づいてユーザの行動を推定する機能を有する。本実施形態に係る情報処理サーバ３０は、例えば、ユーザの発話情報、外部サービス４０から取得された情報、および情報処理端末２０や補助器具１０により取得されたセンサ情報に基づいて、ユーザの行動を推定することができる。以下、本実施形態に係る行動推定について、具体例を挙げながら詳細に説明する。
　（ユーザの発話に基づく行動推定）
　まず、本実施形態に係るユーザの発話に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、情報処理端末２０が収集した発話情報に基づいてユーザの行動を推定することができる。図３は、本実施形態に係る行動推定について説明するための図である。
　図３には、補助器具１０を装着していないユーザＰ１と、ユーザＰ１による、「お風呂入ろうかな」、という発話ＰＯ１が示されている。本実施形態に係る情報処理端末２０は、図３に示すようなユーザの発話ＰＯ１を検出し、係る情報を情報処理サーバ３０に送信してよい。図３に示す一例の場合、情報処理サーバ３０は、受信した情報に基づいて、ユーザの入浴に係る行動を推定することが可能である。
　同様に、本実施形態に係る情報処理サーバ３０は、例えば、「よいお湯だった」、という発話に基づいてユーザの入浴に係る行動を推定してもよいし、「そろそろ寝ようかな」、という発話に基づいてユーザの睡眠に係る行動を推定してもよい。
　また、補助器具１０が補聴器や集音器などである場合、ユーザが対話を行っている際には、ユーザが補助器具１０を装着していることが想定される。このため、本実施形態に係る情報処理サーバ３０は、ユーザの発話そのものを行動として推定してもよい。
　（外部サービス４０から取得される情報に基づく行動推定）
　次に、本実施形態に係る外部サービス４０から取得される情報に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、外部サービス４０から取得された情報に基づいてユーザの行動を推定することができる。図３には、外部サービス４０が給湯器である場合の一例が示されている。この際、情報処理サーバ３０は、ネットワーク５０を介して、外部サービス４０からお湯はりの開始や終了に係る情報を受信してよい。情報処理サーバ３０は、受信した上記の情報に基づいて、ユーザの入浴に係る行動を推定することが可能である。
　また、情報処理サーバ３０は、必ずしもネットワーク５０を介して外部サービス４０の情報を取得しなくてもよい。情報処理サーバ３０は、例えば、図３に示すような外部サービス４０による音声出力ＳＯ１が検出されたことに基づいてユーザの行動を推定することもできる。この際、情報処理端末２０は、検出した外部サービス４０による音声出力ＳＯ１の情報を情報処理サーバ３０に送信してよい。
　また、図３には、外部サービス４０が給湯器である場合の一例が示されているが、本実施形態に係る外部サービス４０は、係る例に限定されない。本実施形態に係る外部サービス４０は、行動管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、例えば、行動管理アプリケーションから取得したユーザのスケジュール情報に基づいて、ユーザの勉強に係る行動を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、勉強をする際にはユーザが補助器具１０を装着する傾向があることなどが学習され得る。
　また、本実施形態に係る外部サービス４０は、運動管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、運動管理アプリケーションから取得した運動スケジュール情報に基づいて、ユーザの運動に係る行動を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、運動をする際にユーザが補助器具１０を外す傾向があることなどが学習され得る。
　また、本実施形態に係る外部サービス４０は、健康管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、健康管理アプリケーションから取得されたユーザの健康状態に基づいて、ユーザの状態を推定してもよい。情報処理サーバ３０は、例えば、健康管理アプリケーションからユーザが目や耳に係る治療を受けていることを示す情報を取得することができる。情報処理サーバ３０が有する上記の機能によれば、例えば、目や耳に係る治療を受けている際には、ユーザが補助器具１０を外す傾向があることなどが学習され得る。
　また、本実施形態に係る外部サービス４０は、照明器具などの家電であってもよい。この場合、情報処理サーバ３０は、照明器具の消灯に係る情報を、ネットワーク５０を介して取得したことに基づいて、ユーザの睡眠に係る行動を推定することも可能である。または、情報処理サーバ３０は、情報処理端末２０のセンサ部２１０が有する照度センサにより照明器具の消灯が検知されたことに基づいて、ユーザの睡眠を推定してもよい。
　また、本実施形態に係る外部サービス４０は、スマートフォン、タブレット、ＰＣなどの装置であってもよい。この場合、情報処理サーバ３０は、上記のような装置から取得したユーザの検索履歴に基づいてユーザの行動を推定することができる。情報処理サーバ３０は、例えば、ユーザが検索した料理のレシピの履歴から、ユーザの料理や食事に係る行動を推定することができる。情報処理サーバ３０が有する上記の機能によれば、例えば、温かい食事をする際にユーザが補助器具１０を外す傾向があることなどが学習され得る。
　（センサ情報に基づく行動推定）
　次に、本実施形態に係るセンサ情報に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、情報処理端末２０や補助器具１０、または別途設置されるセンサ装置により収集されたセンサ情報に基づいて、ユーザの行動を推定することができる。
　例えば、情報処理サーバ３０は、情報処理端末２０がユーザの体温上昇を検知したことに基づいて、ユーザの入浴に係る行動を推定することができる。また、例えば、情報処理サーバ３０は、情報処理端末２０が収集するセンサ情報に基づいて、ユーザが情報処理端末２０に近づいてくる動作やユーザによる情報処理端末２０の操作を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、ユーザが情報処理端末２０に近づいてくる動作を行う場合や、ユーザが情報処理端末２０を手探りで操作する場合などには、ユーザが補助器具１０を外している状態が多いことなどが学習され得る。
　また、情報処理サーバ３０は、補助器具１０が収集したセンサ情報に基づいて、ユーザの行動を推定してもよい。例えば、補助器具１０が眼鏡型のウェアラブルデバイスである場合、情報処理サーバ３０は、補助器具１０から取得した加速度センサやジャイロセンサの情報に基づいて、ユーザが補助器具１０を外している状態を推定することもできる。また、情報処理サーバ３０は、ウェアラブルデバイスや補聴器などの補助器具１０が充電中であること示すセンサ情報を充電器や補助器具１０から取得したことに基づいて、上記の推定を行うことも可能である。
　また、情報処理サーバ３０は、別途設置されるセンサ装置により収集されたセンサ情報に基づいて、ユーザの行動を推定することができる。情報処理サーバ３０は、例えば、風呂場に設置される人感センサがユーザの所在を検知したことに基づいて、ユーザの入浴に係る行動を推定してもよい。
　以上、本実施形態に係る行動推定について具体例を挙げて説明した。上述したように、本実施形態に係る情報処理サーバ３０は、取得した種々の情報に基づいてユーザの行動を推定することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザの行動と補助器具１０との装着有無とを関連付けて学習することが可能となり、また学習結果に基づいてユーザの行動から補助器具１０の装着有無を判定することが可能となる。
　＜＜１．６．補助器具１０の装着有無に基づく出力制御＞＞
　次に、本実施形態に係る補助器具１０の装着有無に基づく出力制御について説明する。上述したとおり、本実施形態に係る情報処理サーバ３０は、推定したユーザの行動から補助器具１０の装着有無を判定し、当該判定に基づいて情報処理端末２０の出力モードを制御する機能を有する。
　具体的には、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報出力に係る出力強度やモーダルを変更することができる。また、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、外部装置に出力情報を転送することができる。
　（出力強度の制御）
　まず、本実施形態に係る情報処理サーバ３０による出力強度の制御について説明する。図４Ａは、情報処理サーバ３０による視覚情報に係る出力強度の制御例を示す図である。図４Ａの上部には、眼鏡型の補助器具１０を装着した状態のユーザＰ１ａと、情報処理端末２０が出力する視覚情報Ｏ１ａが示されている。ここで、図４Ａに示す視覚情報Ｏ１ａは、設定された通常のフォントサイズで出力されてよい。すなわち、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していると判定した場合、情報処理端末２０に通常サイズの視覚情報を出力させる。
　一方、図４Ａの下部には、補助器具１０を装着していない状態のユーザＰ１ｂと、情報処理端末２０が出力する視覚情報Ｏ１ｂが示されている。ここで、視覚情報Ｏ１ａと視覚情報Ｏ１ｂとを比較すると、視覚情報Ｏ１ｂは視覚情報Ｏ１ａよりも大きいフォントサイズで出力されていることがわかる。このように、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報処理端末２０に通常よりも大きいサイズで視覚情報を出力させる。情報処理サーバ３０は、例えば、ユーザが眼鏡を装着していない場合には、情報処理端末２０が再生するサイネージや動画の字幕サイズを大きくするなどの制御を行ってもよい。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、眼鏡を装着していない場合でも、ユーザが視覚情報を知覚できる可能性を大きく向上させることができる。
　また、本実施形態に係る情報処理サーバ３０は、聴覚情報に係る出力強度の制御を行ってもよい。図４Ｂは、情報処理サーバ３０による聴覚情報に係る出力強度の制御例を示す図である。図４Ｂの上部には、補聴器型の補助器具１０を装着した状態のユーザＰ２ａと、情報処理端末２０が出力する聴覚情報Ｏ２ａが示されている。ここで、図４Ｂに示す聴覚情報Ｏ１ａは、設定された通常の音量で出力されてよい。すなわち、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していると判定した場合、情報処理端末２０に通常音量の聴覚情報を出力させる。
　一方、図４Ｂの下部には、補助器具１０を装着していない状態のユーザＰ２ｂと、情報処理端末２０が出力する聴覚情報Ｏ２ｂが示されている。ここで、聴覚情報Ｏ２ａと聴覚情報Ｏ２ｂとを比較すると、聴覚情報Ｏ２ｂは聴覚情報Ｏ２ａよりも大きな音量で出力されていることがわかる。このように、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報処理端末２０に通常よりも大きな音量で聴覚情報を出力させる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補聴器を装着していない場合でも、ユーザが聴覚情報を知覚できる可能性を大きく向上させることができる。
　（モーダルの制御）
　次に、本実施形態に係る情報処理サーバ３０によるモーダルの制御について説明する。図５は、情報処理サーバ３０によるモーダルの制御例を示す図である。図５の上部には、眼鏡型の補助器具１０を装着していない状態のユーザＰ１ｂと、情報処理端末２０が出力する聴覚情報Ｏ２が示されている。このように、本実施形態に係る情報処理サーバ３０は、眼鏡を習慣的に装着するユーザが眼鏡を装着していないと状態であると判定した場合、通常モードで出力される視覚情報に代えて、聴覚情報を情報処理端末２０に出力させることができる。情報処理サーバ３０は、例えば、ユーザが眼鏡を装着していない場合には、情報処理端末２０が再生する動画を字幕から副音声に切り替える制御を行ってもよい。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが眼鏡を装着していない場合、音声情報による情報出力を行うことが可能となり、ユーザが出力情報を知覚できる可能性を大幅に高めることができる。
　一方、図５の下部には、補聴器型の補助器具１０を装着していない状態のユーザＰ２ｂと、情報処理端末２０が出力する視覚情報Ｏ１が示されている。このように、本実施形態に係る情報処理サーバ３０は、補聴器を習慣的に装着するユーザが補聴器を装着していないと状態であると判定した場合、通常モードで出力される聴覚情報に代えて、視覚情報を情報処理端末２０に出力させることができる。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが補聴器を装着していない場合、視覚情報による情報出力を行うことが可能となり、ユーザが出力情報を知覚できる可能性を大幅に高めることができる。
　（外部装置への出力情報の転送）
　次に、本実施形態に係る外部装置への出力情報の転送について説明する。図６は、情報処理サーバ３０による外部装置６０への出力情報の転送について説明するための図である。本実施形態に係る外部装置６０は、例えば、ユーザの所持する携帯電話、スマートフォン、タブレット、ＰＣなどであってよい。図６には、眼鏡型の補助器具１０を装着していない状態のユーザＰ１ｂと、外部装置６０に転送される出力情報Ｏ３が示されている。このように、本実施形態に係る情報処理サーバ３０は、習慣的に眼鏡を装着するユーザが眼鏡を装着していない状態であると判定した場合、情報処理端末２０に出力させる出力情報を外部装置６０に転送することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが手元にある外部装置６０を用いて出力情報を確認することができ、出力情報を知覚できる可能性を大きく向上させることが可能となる。
　なお、外部装置６０への出力情報の転送は、情報処理端末２０により実行されてもよい。この場合、情報処理サーバ３０は、情報処理端末２０に出力情報の転送を指示する制御信号を送信してよい。また、図６に示す一例では、情報処理端末２０に、外部装置６０へ出力情報を転送した旨のメッセージが表示されているが、外部装置６０に転送される出力情報は、同時に情報処理端末２０により出力されてもよい。また、図６では、情報処理サーバ３０が視覚情報の転送を行う場合の例が示されているが、情報処理サーバ３０は、聴覚情報を外部装置６０に転送してもよい。
　＜＜１．７．複数ユーザに係る出力制御＞＞
　次に、本実施形態に係る複数ユーザに係る出力制御について説明する。上記では、情報処理サーバ３０が単一ユーザの補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行う場合を例に述べた。一方、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行うこともできる。以下、情報処理サーバ３０による複数ユーザに係る出力制御について、具体例を挙げて説明する。
　（補助器具１０を装着していないユーザの優先）
　まず、本実施形態に係る情報処理サーバ３０による、補助器具１０を装着していないユーザを優先した出力制御の例について述べる。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、補助器具１０を装着していないユーザがいると判定されたことに基づいて、出力モードを変更することができる。
　図７は、情報処理サーバ３０による補助器具１０を装着していないユーザを優先した出力制御について説明するための図である。図７には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される聴覚情報Ｏ２が示されている。
　このように、本実施形態に係る情報処理サーバ３０は、眼鏡を装着していないユーザＰ２が出力情報を知覚できるように、通常モードで出力される視覚情報に代えて聴覚情報を出力させてもよい。すなわち、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定し、補助器具１０を装着していないユーザを優先した出力制御を行うことができる。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着しているユーザと装着していないユーザが混在する場合でも、両ユーザが出力情報を知覚できる可能性を大きく高めることができる。
　なお、図７では、情報処理サーバ３０が情報出力に係るモーダルを制御する場合を例に述べたが、情報処理サーバ３０は、情報出力に係る出力強度を制御してもよい。
　（対象ユーザの優先）
　次に、本実施形態に係る情報処理サーバ３０による、対象ユーザを優先した出力制御の例について述べる。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、出力情報の対象となるユーザに係る補助器具１０の装着有無に基づいて出力モードを制御することができる。
　図８は、情報処理サーバ３０による出力情報の対象ユーザを優先した出力制御について説明するための図である。図８には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される視覚情報Ｏ１が示されている。ここで、視覚情報Ｏ１は、ユーザＰ１を対象とした出力情報であってよい。
　このように、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着していないユーザが存在する場合でも、出力情報が当該ユーザを対象とした情報でない際には、情報処理端末２０に通常モードでの出力を行わせてよい。すなわち、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定した場合、出力情報の対象ユーザを優先した出力制御を行うことができる。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、出力情報を必要とするユーザが正しく出力情報を知覚できる可能性を高めることができる。
　（複数ユーザに対応する複数の出力モードの制御）
　次に、本実施形態に係る複数ユーザに対応する複数の出力モードの制御について説明する。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、当該複数ユーザに対応する複数の出力モードを制御することができる。
　図９は、情報処理サーバ３０による複数ユーザに対応する複数の出力モードの制御について説明するための図である。図９には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される視覚情報Ｏ１と聴覚情報Ｏ２が示されている。
　このように、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着していないユーザと装着していないユーザが混在する場合、それぞれのユーザに対応する複数の情報出力を情報処理端末２０に行わせることができる。すなわち、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着しているユーザＰ１に対応する視覚情報Ｏ１と、補助器具１０を装着していないユーザＰ２に対応する聴覚情報Ｏ２とを情報処理端末２０に出力させる。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着しているユーザと装着していないユーザが混在する場合でも、それぞれのユーザに適した出力情報の提示を行うことが可能となる。
　＜＜１．８．環境条件に基づく出力制御＞＞
　次に、本実施形態に係る環境条件に基づく出力制御について説明する。上記の説明では、本実施形態に係る情報処理サーバ３０がユーザによる補助器具１０の装着有無に基づいて出力モードを変更する場合について述べた。一方、本実施形態に係る情報処理サーバ３０の出力制御部３３０は、取得された環境条件にさらに基づいて、出力モードの制御を行ってもよい。
　図１０は、本実施形態に係る情報処理サーバ３０による環境条件に基づく出力制御について説明するための図である。図１０には、眼鏡型の補助器具１０を装着していないユーザＰ２と第三者Ｐ３、および情報処理端末２０により出力される視覚情報Ｏ１が示されている。ここで、第三者Ｐ３は、例えば、図１０に示すように眠っている赤ん坊などが想定される。
　この場合、本実施形態に係る情報処理サーバ３０は、第三者Ｐ３の睡眠を妨害しないように、情報処理端末２０に聴覚情報を出力させず、視覚情報のみを出力させてよい。すなわち、本実施形態に係る情報処理サーバ３０の出力制御部３３０は、環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択することができる。
　本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、第三者の妨げにならない出力情報の提示を行うことが可能となる。
　なお、本実施形態に係る環境条件は、情報処理端末２０、外部サービス４０、外部装置６０、別途設置されるセンサ装置などから取得される種々の情報であってよい。情報処理サーバ３０は、例えば、情報処理端末２０が設置される部屋と隣接する部屋において、第三者の所在が検知されたことと照明器具が消灯していることが検知されたこととに基づいて、第三者の睡眠に係る行動を推定することができる。このように、本実施形態に係る環境条件には、推定された第三者の行動が含まれてよい。上記の第三者の行動には、睡眠のほか勉強や電話での会話などが想定される。
　＜＜１．９．出力制御の流れ＞＞
　次に、本実施形態に係る情報処理サーバ３０による出力制御の流れについて説明する。図１１は、情報処理サーバ３０による出力制御の流れを示すフローチャートである。
　図１１を参照すると、まず、本実施形態に係る情報処理サーバ３０の通信部３６０が情報処理端末２０などからユーザの発話情報やセンサ情報を受信する（Ｓ１１０１）。
　また、通信部３６０は、外部サービス４０からサービス情報を受信する（Ｓ１１０２）。なお、ステップＳ１１０１における発話情報やセンサ情報の受信と、ステップＳ１１０２におけるサービス情報の受信は、図１１に示すフローとは異なる順番で行われてもよいし、同時に行われてもよい。また、ステップＳ１１０１およびステップＳ１１０２における各情報の受信は、片方のみが行われてもよい。
　次に、行動推定部３１０は、ステップＳ１１０１およびステップＳ１１０２において受信した各情報に基づいて、ユーザの行動推定を行う（Ｓ１１０３）。
　次に、装着判定部３２０は、ステップＳ１１０３で推定されたユーザの行動と学習ＤＢ３５０に記憶される学習結果とに基づいて、補助器具１０の装着有無を判定する（Ｓ１１０４）。
　ここで、装着判定部３２０が、ユーザが補助器具１０を装着していると判定した場合（Ｓ１１０４：装着）、出力制御部３３０は、通常の出力モードを設定する（Ｓ１１０５）。
　一方、装着判定部３２０が、ユーザが補助器具１０を装着していないと判定した場合（Ｓ１１０４：未装着）、出力制御部３３０は、出力モードの変更を行う（Ｓ１１０６）。
　次に、ステップＳ１１０５またはステップＳ１１０６において出力モードが設定されると、通信部３６０は、当該出力モードに応じて生成される制御信号を情報処理端末２０に送信し（Ｓ１１０７）、情報処理サーバ３０は一連の処理を終了する。
　＜＜１．１０．学習の流れ＞＞
　次に、本実施形態に係る情報処理サーバ３０による学習の流れについて説明する。図１２は、情報処理サーバ３０による学習の流れを示すフローチャートである。
　図１２を参照すると、まず、本実施形態に係る情報処理サーバ３０の通信部３６０が情報処理端末２０などからユーザの発話情報やセンサ情報を受信する（Ｓ１２０１）。
　また、通信部３６０は、外部サービス４０からサービス情報を受信する（Ｓ１２０２）。なお、ステップＳ１２０１における発話情報やセンサ情報の受信と、ステップＳ１２０２におけるサービス情報の受信は、図１２に示すフローとは異なる順番で行われてもよいし、同時に行われてもよい。また、ステップＳ１２０１およびステップＳ１２０２における各情報の受信は、片方のみが行われてもよい。
　次に、行動推定部３１０は、ステップＳ１２０１およびステップＳ１２０２において受信した各情報に基づいて、ユーザの行動推定を行う（Ｓ１２０３）。
　次に、通信部３６０は、情報処理端末２０からユーザに係る画像情報を取得する（Ｓ１２０４）。
　次に、装着判定部３２０は、ステップＳ１２０４で取得された画像情報を分析し、ユーザによる補助器具１０の装着有無を判定する（Ｓ１２０５）。
　なお、ステップＳ１２０４における画像情報の取得とステップＳ１２０５における画像分析に基づく補助器具１０の装着有無判定は、必ずしも実行されなくてもよい。通信部３６０は、画像情報の代わりに、補助器具１０の装着有無に係るユーザの明示的な入力を取得してもよい。
　次に、学習部３４０は、ステップＳ１２０３において推定された行動とステップＳ１２０５において判定された補助器具１０の装着有無とを関連付けて学習を行い、学習結果を学習ＤＢ３５０に記憶させる（Ｓ１２０６）。
　＜＜１．１１．フィードバックに基づく再学習の流れ＞＞
　次に、本実施形態に係るフィードバックに基づく再学習の流れについて説明する。本実施形態に係る情報処理サーバ３０は、出力情報に対するユーザのフィードバックに基づいて、行動と補助器具１０の装着有無とに係る再学習を行うことができる。図１３は、情報処理サーバ３０によるフィードバックに基づく再学習の流れを示すフローチャートである。
　図１３を参照すると、まず、情報処理サーバ３０の通信部３６０が情報処理端末２０から出力情報に対するユーザのフィードバックを受信する（Ｓ１３０１）。ここで、上記のフィードバックには、ユーザによる明示的な入力情報が含まれてよい。上記の明示的な入力情報には、例えば、ユーザによる、「今は眼鏡をかけています」、という発話や補助器具１０の装着有無を示す文字入力、ボタン操作などが挙げられる。
　また、上記のフィードバックには、ユーザによる文字サイズや音量の変更や、「大きい」、というユーザの発話など暗示的なフィードバックが含まれてよい。また、情報処理サーバ３０は、情報処理端末２０に、「今は眼鏡を装着していますか」、などの質問を出力させることで、上記のフィードバックを受信する機会を増加させてもよい。
　次に、学習部３４０は、フィードバックを受けた出力制御に係る学習データを学習ＤＢ３５０から取得する（Ｓ１３０２）。
　続いて、学習部３４０は、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとの相関を推定する（Ｓ１３０３）。この際、学習部３４０は、例えば、曜日による傾向や、ユーザによる前後の行動などから上記の相関を推定してもよい。
　続いて、学習部３４０は、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関があるか否かを判定する（Ｓ１３０４）。すなわち、本実施形態に係る学習部３４０は、受信したフィードバックが例外ケースであるのか、あるいは規則性を伴うものであるのかを判定することができる。
　ここで、学習部３４０が、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関がないと判定した場合（Ｓ１３０４：Ｎｏ）、情報処理サーバ３０は、再学習に係る一連の処理を終了する。
　一方、学習部３４０が、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関があると判定した場合（Ｓ１３０４：Ｙｅｓ）、学習部３４０は、受信した情報に基づく再学習を実行し、学習結果を学習ＤＢ３５０に記憶させる（Ｓ１３０５）。
　＜２．ハードウェア構成例＞
　次に、本開示に係る情報処理端末２０及び情報処理サーバ３０に共通するハードウェア構成例について説明する。図１４は、本開示に係る情報処理端末２０及び情報処理サーバ３０のハードウェア構成例を示すブロック図である。
　図１４を参照すると、情報処理端末２０及び情報処理サーバ３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本実施形態に係る情報処理サーバ３０は、センサ情報や外部サービス４０から取得した情報に基づいてユーザの行動を推定し、当該行動と補助器具１０の装着有無とを関連付けて学習を行う機能を有する。また、情報処理サーバ３０は、推定した行動と学習結果とから、ユーザによる補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行うことができる。係る構成によれば、ユーザによる補助器具の装着有無をより柔軟に判定することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、補助器具１０が視覚矯正器具または聴覚補助器具である場合を中心に説明したが、本技術はかかる例に限定されない。本開示に係る補助器具１０は、例えば、車椅子や歩行補助杖などの移動補助器具であってもよい。本開示に係る情報処理サーバ３０は、ユーザによる移動補助器具の装着有無を判定し、情報処理端末２０による情報出力を制御することもできる。上記の機能によれば、ユーザが、移動が困難である場合に、例えば、出力情報の出力強度を調整することで、情報処理端末２０から離れた場所に位置するユーザにも出力情報を提示することができる。
　また、例えば、本開示に係る情報処理サーバ３０は、補助器具１０以外の装着を判定し、当該判定に基づいて出力制御を行ってもよい。本開示に係る情報処理サーバ３０は、例えば、ユーザがイヤホンやヘッドホンなどを装着している場合には、視覚情報を優先して出力させるなどの制御を行うことができる。本技術によれば、ユーザの行動から種々の装置の装着有無を判定し、当該判定に基づく出力制御を行うことが可能である。
　また、本明細書の情報処理サーバ３０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理サーバ３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザによる補助器具の装着有無を判定する判定部と、
　前記判定部による前記補助器具の装着有無の判定に基づいて、出力モードの制御を行う出力制御部と、
　を備え、
　前記判定部は、推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
情報処理装置。
（２）
　前記出力制御部は、前記判定部により前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、出力モードを変更する、
前記（１）に記載の情報処理装置。
（３）
　前記判定部は、前記補助器具を装着していない状態と関連付いて学習された前記ユーザの行動が推定されたことに基づいて、前記ユーザが前記補助器具を装着していないと判定する、
前記（１）または（２）に記載の情報処理装置。
（４）
　前記補助器具は、視力矯正器具または聴覚補助器具のうち少なくともいずれかを含む、
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記判定部は、前記ユーザの発話から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記判定部は、外部サービスから取得された情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記判定部は、取得されたセンサ情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係る出力強度を制御する、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係るモーダルを変更する、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、外部装置に出力情報を転送する、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記補助器具を装着していないユーザがいると判定されたことに基づいて、前記出力モードを変更する、
前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、出力情報の対象となるユーザに係る前記補助器具の装着有無に基づいて前記出力モードを制御する、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記複数ユーザに対応する複数の出力モードを制御する、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記出力制御部は、取得された環境条件にさらに基づいて、前記出力モードの制御を行う、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
　前記出力制御部は、前記環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択する、
前記（１４）に記載の情報処理装置。
（１６）
　前記環境条件は、推定された第三者の行動を含む、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
　前記ユーザの行動を推定する推定部、
　をさらに備える、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　ユーザの行動推定に用いられる情報を収集するセンサ部と、
　前記ユーザに対する情報出力を行う出力部と、
　を備え、
　前記出力部は、前記センサ部または外部サービスから収集された情報から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、
情報処理装置。
（１９）
　前記出力部は、前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行う、
前記（１８）に記載の情報処理装置。
（２０）
　前記出力部は、前記出力モードに対応する視覚情報もしくは音声情報のいずれか、または双方に係る情報出力を行う、
前記（１８）または（１９）のいずれかに記載の情報処理装置。
　１０　　　補助器具
　２０　　　情報処理端末
　２１０　　センサ部
　２２０　　出力部
　２３０　　サーバ通信部
　３０　　　情報処理サーバ
　３１０　　行動推定部
　３２０　　装着判定部
　３３０　　出力制御部
　３４０　　学習部
　３５０　　学習ＤＢ
　３６０　　通信部
　４０　　　外部サービス
　５０　　　ネットワーク
　６０　　　外部装置

Claims (20)

  1. 　ユーザによる補助器具の装着有無を判定する判定部と、
    　前記判定部による前記補助器具の装着有無の判定に基づいて、出力モードの制御を行う出力制御部と、
    　を備え、
    　前記判定部は、推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
    情報処理装置。
  2. 　前記出力制御部は、前記判定部により前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、出力モードを変更する、
    請求項１に記載の情報処理装置。
  3. 　前記判定部は、前記補助器具を装着していない状態と関連付いて学習された前記ユーザの行動が推定されたことに基づいて、前記ユーザが前記補助器具を装着していないと判定する、
    請求項１に記載の情報処理装置。
  4. 　前記補助器具は、視力矯正器具または聴覚補助器具のうち少なくともいずれかを含む、
    請求項１に記載の情報処理装置。
  5. 　前記判定部は、前記ユーザの発話から推定された行動に基づいて前記補助器具の装着有無を判定する、
    請求項１に記載の情報処理装置。
  6. 　前記判定部は、外部サービスから取得された情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
    請求項１に記載の情報処理装置。
  7. 　前記判定部は、取得されたセンサ情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
    請求項１に記載の情報処理装置。
  8. 　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係る出力強度を制御する、
    請求項１に記載の情報処理装置。
  9. 　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係るモーダルを変更する、
    請求項１に記載の情報処理装置。
  10. 　前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、外部装置に出力情報を転送する、
    請求項１に記載の情報処理装置。
  11. 　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記補助器具を装着していないユーザがいると判定されたことに基づいて、前記出力モードを変更する、
    請求項１に記載の情報処理装置。
  12. 　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、出力情報の対象となるユーザに係る前記補助器具の装着有無に基づいて前記出力モードを制御する、
    請求項１に記載の情報処理装置。
  13. 　前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記複数ユーザに対応する複数の出力モードを制御する、
    請求項１に記載の情報処理装置。
  14. 　前記出力制御部は、取得された環境条件にさらに基づいて、前記出力モードの制御を行う、
    請求項１に記載の情報処理装置。
  15. 　前記出力制御部は、前記環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択する、
    請求項１４に記載の情報処理装置。
  16. 　前記環境条件は、推定された第三者の行動を含む、
    請求項１４に記載の情報処理装置。
  17. 　前記ユーザの行動を推定する推定部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  18. 　ユーザの行動推定に用いられる情報を収集するセンサ部と、
    　前記ユーザに対する情報出力を行う出力部と、
    　を備え、
    　前記出力部は、前記センサ部または外部サービスから収集された情報から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、
    情報処理装置。
  19. 　前記出力部は、前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行う、
    請求項１８に記載の情報処理装置。
  20. 　前記出力部は、前記出力モードに対応する視覚情報もしくは音声情報のいずれか、または双方に係る情報出力を行う、
    請求項１８に記載の情報処理装置。
PCT/JP2017/022707 2016-09-08 2017-06-20 情報処理装置 Ceased WO2018047433A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018538033A JP7074343B2 (ja) 2016-09-08 2017-06-20 情報処理装置
EP17848378.0A EP3511800A4 (en) 2016-09-08 2017-06-20 INFORMATION PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016175441 2016-09-08
JP2016-175441 2016-09-08

Publications (1)

Publication Number Publication Date
WO2018047433A1 true WO2018047433A1 (ja) 2018-03-15

Family

ID=61561432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022707 Ceased WO2018047433A1 (ja) 2016-09-08 2017-06-20 情報処理装置

Country Status (3)

Country Link
EP (1) EP3511800A4 (ja)
JP (1) JP7074343B2 (ja)
WO (1) WO2018047433A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244317A (ja) * 2001-09-28 2003-08-29 Microsoft Corp 音声および状況依存による通知
JP2009152666A (ja) * 2007-12-18 2009-07-09 Toshiba Corp 音響出力制御装置、音響再生装置および音響出力制御方法
JP2010011447A (ja) * 2008-05-27 2010-01-14 Panasonic Corp 補聴器並びに補聴器に用いられる補聴処理方法及び集積回路
JP2012073940A (ja) * 2010-09-29 2012-04-12 Sharp Corp 表示システム、データ処理装置、表示装置、指示方法、表示方法、コンピュータプログラム及び記録媒体
JP2015501022A (ja) * 2011-09-30 2015-01-08 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
JP2016082522A (ja) * 2014-10-21 2016-05-16 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229995A (ja) * 2001-02-05 2002-08-16 Nippon Telegr & Teleph Corp <Ntt> マルチモーダルシームレス情報提供装置
JP2003230071A (ja) * 2002-01-31 2003-08-15 Toshiba Corp テレビ視聴システム
JP4201644B2 (ja) * 2003-05-22 2008-12-24 日立情報通信エンジニアリング株式会社 端末装置及び端末装置の制御プログラム
WO2005099301A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Audio entertainment system, device, method, and computer program
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP4411551B2 (ja) * 2007-01-12 2010-02-10 船井電機株式会社 Ａｖシステム
JP2009294740A (ja) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp データ処理装置及びプログラム
JP5127582B2 (ja) * 2008-06-20 2013-01-23 株式会社豊田中央研究所 対象物判定装置及びプログラム
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8922723B2 (en) * 2010-06-30 2014-12-30 Panasonic Corporation Optical device
US20130314514A1 (en) * 2011-03-18 2013-11-28 Kazuhiro Mochinaga Display apparatus, 3d glasses, and 3d-video viewing system
EP2761362A2 (en) * 2011-09-26 2014-08-06 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP6219014B2 (ja) * 2011-09-27 2017-10-25 ソニー株式会社 端末装置と外部装置と情報処理方法とプログラムおよび情報処理システム
US8971554B2 (en) * 2011-12-22 2015-03-03 Sonion Nederland Bv Hearing aid with a sensor for changing power state of the hearing aid
JP5902505B2 (ja) * 2012-02-21 2016-04-13 京セラ株式会社 携帯端末
JP2013175923A (ja) * 2012-02-24 2013-09-05 Sharp Corp テレビ受信機の音声調整システム、及びテレビ受信機
JP2013210952A (ja) * 2012-03-30 2013-10-10 Sony Corp 情報処理装置、電子機器、情報処理方法、及びプログラム
JP6307805B2 (ja) * 2013-07-24 2018-04-11 富士通株式会社 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム
EP3067782B1 (en) * 2013-11-08 2021-05-05 Sony Corporation Information processing apparatus, control method, and program
JP2015152940A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 提示制御装置、提示制御方法、およびプログラム
US9241620B1 (en) * 2014-07-30 2016-01-26 Dell Products, L.P. User aware digital vision correction
JP2016057855A (ja) * 2014-09-10 2016-04-21 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、情報処理システム及びプログラム
JP2016126719A (ja) * 2015-01-08 2016-07-11 株式会社デンソー 顔検出装置
JP6158859B2 (ja) * 2015-05-13 2017-07-05 ヤフー株式会社 予測装置、端末、予測方法及び予測プログラム
JP2016218801A (ja) * 2015-05-21 2016-12-22 株式会社東芝 行動推定装置、行動推定方法、及び行動推定プログラム
CN105577924B (zh) * 2015-12-21 2019-07-05 小米科技有限责任公司 可穿戴设备控制终端设备的方法、可穿戴设备和终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244317A (ja) * 2001-09-28 2003-08-29 Microsoft Corp 音声および状況依存による通知
JP2009152666A (ja) * 2007-12-18 2009-07-09 Toshiba Corp 音響出力制御装置、音響再生装置および音響出力制御方法
JP2010011447A (ja) * 2008-05-27 2010-01-14 Panasonic Corp 補聴器並びに補聴器に用いられる補聴処理方法及び集積回路
JP2012073940A (ja) * 2010-09-29 2012-04-12 Sharp Corp 表示システム、データ処理装置、表示装置、指示方法、表示方法、コンピュータプログラム及び記録媒体
JP2015501022A (ja) * 2011-09-30 2015-01-08 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
JP2016082522A (ja) * 2014-10-21 2016-05-16 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3511800A4 *

Also Published As

Publication number Publication date
EP3511800A4 (en) 2019-08-14
JP7074343B2 (ja) 2022-05-24
EP3511800A1 (en) 2019-07-17
JPWO2018047433A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US11861266B2 (en) Voice assistant for wireless earpieces
US20230045237A1 (en) Wearable apparatus for active substitution
US20250085923A1 (en) Wireless Earpiece with a Passive Virtual Assistant
JP6760267B2 (ja) 情報処理装置、制御方法、およびプログラム
US20210350823A1 (en) Systems and methods for processing audio and video using a voice print
CN106796570B (zh) 信息处理设备、信息处理方法和计算机程序
US20230005471A1 (en) Responding to a user query based on captured images and audio
US11929087B2 (en) Systems and methods for selectively attenuating a voice
US20180122025A1 (en) Wireless earpiece with a legal engine
US12200446B2 (en) Earphone smartcase with audio processor
CN110100257A (zh) 信息处理设备、信息处理方法和程序
JP6973380B2 (ja) 情報処理装置、および情報処理方法
US20220261587A1 (en) Sound data processing systems and methods
JP7074343B2 (ja) 情報処理装置
JPWO2018061346A1 (ja) 情報処理装置
US20240205614A1 (en) Integrated camera and hearing interface device
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7827795B2 (ja) システム
WO2019187593A1 (ja) 情報処理装置、情報処理方法およびプログラム
Berger et al. for Deaf (and Hearing Impaired) People
JP2025052624A (ja) システム
JP2026045031A (ja) システム
JP2025044807A (ja) システム
JP2026044773A (ja) システム
JP2025046693A (ja) システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018538033

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017848378

Country of ref document: EP

Effective date: 20190408