JP2017010176A - 機器特定方法、機器特定装置及びプログラム - Google Patents

機器特定方法、機器特定装置及びプログラム Download PDF

Info

Publication number
JP2017010176A
JP2017010176A JP2015123322A JP2015123322A JP2017010176A JP 2017010176 A JP2017010176 A JP 2017010176A JP 2015123322 A JP2015123322 A JP 2015123322A JP 2015123322 A JP2015123322 A JP 2015123322A JP 2017010176 A JP2017010176 A JP 2017010176A
Authority
JP
Japan
Prior art keywords
user
line
sight
directed
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015123322A
Other languages
English (en)
Other versions
JP6739907B2 (ja
Inventor
雅文 大久保
Masafumi Okubo
雅文 大久保
田中　敬一
Keiichi Tanaka
敬一 田中
智典 中村
Tomonori Nakamura
智典 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2015123322A priority Critical patent/JP6739907B2/ja
Priority to CN201610320472.4A priority patent/CN106257355B/zh
Priority to US15/174,933 priority patent/US9825773B2/en
Publication of JP2017010176A publication Critical patent/JP2017010176A/ja
Application granted granted Critical
Publication of JP6739907B2 publication Critical patent/JP6739907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】複数の機器から操作対象の機器を適切に判断する。【解決手段】本開示の一態様に係る機器特定方法は、複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置が行う機器特定方法であって、ユーザの視線が向けられている方向に関する視線情報を取得する取得ステップと、視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する判断ステップ（Ｓ１０３）と、ユーザの視線が第１の領域に向けられていると判断された場合（Ｓ１０３でＮｏ）、複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を対象機器として特定する特定ステップ（Ｓ１０５）とを含む。【選択図】図３

Description

本開示は、複数の機器からユーザによる操作対象となる対象機器を特定する機器特定方法及び機器特定装置に関する。
音声入力を利用して家庭にある電子機器の状態を確認及び操作するシステムがある。例えば、このようなシステムでは、携帯型マイクで取得された人の発話内容がテレビなどの電子機器に転送される。電子機器は、ユーザが発した言葉を解析して発話に基づく処理を実行する。これにより、電子機器の状態の確認又は操作が実現される。
特許文献１に記載の装置は、画像処理及び音声処理の２種類の処理の結果を解析することでユーザの発話開始から終了までの区間と音源の方向とを特定する。これにより、ユーザによる音声操作の利便性を向上できるとともに、ユーザが発した言葉の誤認識を軽減できる。
特許文献２に記載の装置は、音声、拍手又はジェスチャ等、ユーザの利用環境に応じた複数の開始トリガを用いることで、ユーザの発話開始を特定する。これにより、音声操作の利便性を向上できる。
また、特許文献３に記載の装置は、複数の電子機器を制御する際に、ユーザの手又は頭の動きから機器を特定することで、音声認識及び機器制御を行う。
特開２０１４−１５３６６３号公報 特開２０１３−０８００１５号公報 特開２００７−１２１５７６号公報
このようなシステムでは、複数の機器から操作対象の機器を適切に判断することが望まれている。
本開示は、複数の機器から操作対象の機器を適切に判断できる機器特定方法又は機器特定装置を提供することを目的とする。
本開示の一態様に係る機器特定方法は、複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置が行う機器特定方法であって、前記ユーザの視線が向けられている方向に関する視線情報を取得する取得ステップと、前記視線情報に基づき、前記ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、前記複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する判断ステップと、前記ユーザの視線が前記第１の領域に向けられていると判断された場合、前記複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を前記対象機器として特定する特定ステップとを含む。
本開示は、複数の機器から操作対象の機器を適切に判断できる機器特定方法又は機器特定装置を提供できる。
実施の形態において対話情報提供システムが提供するサービスの全体像を示す図である。 実施の形態において機器メーカがデータセンタ運営会社に該当する例を示す図である。 実施の形態において機器メーカ及び管理会社の両者又はいずれか一方がデータセンタ運営会社に該当する例を示す図である。 実施の形態１における対話情報提供システムの構成を示す図である。 実施の形態１における対話情報提供システムによる動作を示すフローチャートである。 実施の形態１における機器管理情報の一例を示す図である。 実施の形態１における対話辞書の一例を示す図である。 実施の形態１における対話情報提供システムに含まれる各装置のブロック図である。 実施の形態１における対話情報提供システムの動作例を示す図である。 実施の形態１における対話情報提供システムの動作例を示す図である。 実施の形態１における機器の動作を示すフローチャートである。 実施の形態１における集音装置の動作を示すフローチャートである。 実施の形態１におけるホームゲートウェイの動作を示すフローチャートである。 実施の形態１における対象機器特定処理のフローチャートである。 実施の形態１における音声対話処理の動作例を示す図である。 実施の形態１における音声対話処理のフローチャート図である。 実施の形態１における音声認識処理の動作例を示す図である。 実施の形態１における音声認識処理のフローチャート図である。 実施の形態１における意図理解処理の動作例を示す図である。 実施の形態２における対象機器特定処理のフローチャートである。 実施の形態２における対話情報提供システムの動作例を示す図である。 実施の形態３における第１の機器及び第２の機器のブロック図である。 実施の形態３における機器管理情報の一例を示す図である。 実施の形態３における機器管理情報の一例を示す図である。 実施の形態３における機器管理情報の一例を示す図である。 実施の形態３における対象機器設定処理のフローチャートである。 実施の形態４における対象機器設定処理のフローチャートである。 実施の形態５における対話情報提供システムの構成を示す図である。 実施の形態５における機器管理情報の一例を示す図である。 実施の形態５における対象機器設定処理のフローチャートである。 実施の形態６における対象機器特定処理のフローチャートである。 対話情報提供システムの変形例の構成を示す図である。 対話情報提供システムの変形例の構成を示す図である。 対話情報提供システムの変形例の構成を示す図である。 対話情報提供システムの変形例の構成を示す図である。 サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
（本開示の基礎となった知見）
ユーザからの発話に従って家庭内の複数の機器の状態を確認又は操作するサービスを提供するための技術が検討されている。
このようなシステムでは、装置は、ユーザの発話開始から終了までの区間を特定することでユーザの発話内容のみの音声データを取得する。そして、装置は、音声データを解析することで、ユーザが確認又は操作したい電子機器と、その確認又は操作内容を決定する。
また、ユーザの発話内容を取得する方法として、特定方向の音のみを選択するビームフォーミング処理、又は反響音を識別して反響音を削減するエコーキャンセル処理等を利用してノイズ低減を行なう方法が提案されている。しかし、ノイズ低減処理にも限界があり、既存のノイズ低減を利用した構成では十分なレベルの音声認識精度を実現することは困難である。
また、確認又は操作したい電子機器とその確認又は操作内容を特定する方法として、ユーザの発話を解析し、その結果をフレーム（テンプレート）に当てはめることによって対話を進行させるスロットフィリング技術がある。例えば、フレームは、「機器」、「操作」及び「場所」の３つの情報から構成される。ユーザが「電源を入れて」と発話するとフレームの「操作」に「ｐｏｗｅｒ＿ｏｎ」が設定されるが、他の「機器」及び「場所」のフレームは埋まらない。この場合、システムは、ユーザに対して「どの機器の電源を入れたいですか」「どこにあるどの機器の電源を入れたいですか」等を聞き返すことにより対話を継続する。ユーザが再度「エアコン」又は「リビングのエアコン」等の発話を行うことで空いている「機器」、及び／又は「場所」のフレームが埋められる。しかし、フレームが埋まるまでユーザに対して聞き返しを行い、ユーザに発話を促す必要があるため、ユーザを苛立たせる可能性がある。また、聞き返し時の発話を誤認識して更に聞き返しを繰り返したり、意図しない結果に陥ったりする可能性がある。
また、ユーザは、機器に対して話しかけることに抵抗がある一方で、何も見ずに発話することに不自然さを感じる。また、発話した内容が認識されなかったり、複数の機器が存在する場合には、ユーザは、操作対象の機器を特定するために何度も言い直しをさせられたりすることで使いにくさを感じることもある。これらのニーズを満たすための技術的な解決策に関して、検討はされていなかった。
例えば、ユーザが特定の電子機器に関連付けられていないアバター、天井マイク又はウェアラブルマイク等を利用して発話する場合、どの電子機器を操作したいのかを特定することは困難である。
このように、操作対象の機器が複数存在する場合には、ユーザの発話に操作内容に加え、操作対象の機器を特定するための情報を含める必要がある。これにより、ユーザの発話が長くなるため、ノイズ等の影響によりユーザの発話内容を正しく把握できない状況が発生する可能性が高くなる。さらに、ユーザは機器操作のために多くの文言を発する必要があり、また、対象機器を特定できない場合には聞き返しが発生する。これにより、ユーザの利便性が低下するという課題がある。
本開示の一態様に係る機器特定方法は、複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置が行う機器特定方法であって、前記ユーザの視線が向けられている方向に関する視線情報を取得する取得ステップと、前記視線情報に基づき、前記ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、前記複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する判断ステップと、前記ユーザの視線が前記第１の領域に向けられていると判断された場合、前記複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を前記対象機器として特定する特定ステップとを含む。
これにより、ユーザの視線が、機器が存在する位置以外の特定の領域に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記判断ステップでは、さらに、前記ユーザの視線が、当該ユーザが視認可能な空間に存在する、前記複数の機器に含まれる第２の機器に向けられているか否かを判断し、前記特定ステップでは、前記ユーザの視線が前記第２の機器に向けられていると判断された場合、当該第２の機器を前記対象機器として特定してもよい。
これにより、ユーザがある機器に視線を向けている場合、その機器が操作対象であると特定できる。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記第１の領域は、前記機器特定装置が存在する領域であってもよい。
これにより、ユーザの視線がホームゲートウェイなどの機器特定装置に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記機器特定装置は、前記ユーザの視線が当該機器特定装置に向けられているかを検出する視線検出部を備え、前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記機器特定装置に向けられていることを検出した旨を前記視線情報として取得し、前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記機器特定装置に向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断してもよい。
これにより、ユーザの視線が機器特定装置に向けられているかを容易な構成で精度良く検出できる。
例えば、前記機器特定装置は、前記複数の機器とは異なる位置に設置されている集音装置により収集された前記ユーザの発話に基づき前記対象機器を操作し、前記第１の領域は、前記集音装置が存在する領域であってもよい。
これにより、ユーザの視線が、特定の機器に関連付けられていない天井マイク、又はウェアラブルマイク等の集音装置に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記集音装置は、前記ユーザの視線が当該集音装置に向けられているかを検出する視線検出部を備え、前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記集音装置に向けられていることを検出した旨を前記視線情報として取得し、前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記集音装置に向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断してもよい。
これにより、ユーザの視線が集音装置に向けられているかを容易な構成で精度良く検出できる。
例えば、前記機器特定装置は、前記ユーザの発話に基づき前記対象機器を操作し、前記第１の領域は、前記ユーザによる発話の相手であるオブジェクトが存在する領域であってもよい。
これにより、ユーザの視線が、特定の機器に関連付けられていない特定のオブジェクト（例えばぬいぐるみ）に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記オブジェクトは、前記ユーザの視線が当該オブジェクトに向けられているかを検出する視線検出部を備え、前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記オブジェクトに向けられていることを検出した旨を前記視線情報として取得し、前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記オブジェクトに向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断してもよい。
これにより、ユーザの視線がオブジェクトに向けられているかを容易な構成で精度良く検出できる。
例えば、前記機器特定装置は、前記ユーザの発話に基づき前記対象機器を操作し、前記第１の領域は、前記ユーザによる発話の相手である仮想オブジェクトが存在する領域であってもよい。
これにより、ユーザの視線が、特定の機器に関連付けられていない仮想的なオブジェクト（例えばアバター）に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、前記取得ステップでは、撮像装置により撮影された、前記ユーザが含まれる画像を前記視線情報として取得し、前記判断ステップでは、前記画像を解析することにより、前記ユーザの視線が前記仮想オブジェクトに向けられているか否かを判断し、前記ユーザの視線が前記仮想オブジェクトに向けられていると判断した場合、前記ユーザの視線が前記第１の領域に向けられていると判断してもよい。
これにより、ユーザの視線が仮想的なオブジェクトに向けられているかを容易な構成で精度良く検出できる。
例えば、前記機器特定方法は、さらに、前記ユーザの発話内容に基づき前記対象機器を制御するための命令を生成し、当該命令を前記対象機器に送信する操作ステップを含んでもよい。
これにより、ユーザの発話内容に基づき、ユーザが視認不可能な空間に存在する機器を操作できる。
例えば、前記機器特定方法は、さらに、前記ユーザに対して、前記特定された対象機器を通知するステップを含んでもよい。
これにより、ユーザの発話内容に基づき、ユーザが視認不可能な空間に存在する機器を操作する前に操作内容をユーザに確認できるので、ユーザの意図しない操作が行われることを防止できる。
例えば、前記特定ステップでは、前記ユーザの視線が前記第１の領域に向けられている場合であっても、前記ユーザによる発話の内容に、前記複数の機器に含まれる第３の機器を特定する情報が含まれる場合、前記第３の機器を前記対象機器として特定してもよい。
これにより、ユーザの視線情報に基づき操作対象となる機器を特定した場合であっても、ユーザの発話内容から特定される機器を操作対象として優先させることができる。よって、ユーザの意図しない機器が誤って操作対象に選択されることを抑制できる。
例えば、前記特定ステップでは、前記ユーザの視線が前記第１の領域に向けられていると判断された場合であっても、前記ユーザによる発話の内容に、所定の空間を特定する情報が含まれる場合、前記複数の機器のうち前記所定の空間に存在する第３の機器を前記対象機器として特定してもよい。
これにより、ユーザの視線情報に基づき操作対象となる機器を特定した場合であっても、ユーザの発話内容から特定される空間に存在する機器を操作対象として優先させることができる。よって、ユーザの意図しない機器が誤って操作対象に選択されることを抑制できる。
例えば、前記機器特定装置は、複数の集音装置のいずれかにより収集された前記ユーザの発話に基づき前記対象機器を操作し、前記複数の集音装置は、前記ユーザに予め対応付けられている第１の集音装置を含み、前記機器特定方法は、さらに、前記第１の集音装置により前記ユーザの発話が収集された場合、前記複数の機器のうち、前記ユーザに予め対応付けられている機器を、前記対象機器として特定してもよい。
これにより、ユーザに対応付けられている機器を操作対象として優先させることができる。よって、ユーザの意図しない機器が誤って操作対象に選択されることを抑制できる。
また、本開示は、以上のような特徴的な処理を実行する機器特定方法として実現することができるだけでなく、機器特定方法に含まれる特徴的なステップを実行するための処理部を備える機器特定装置などとして実現することもできる。また、このような機器特定方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
（提供するサービスの全体像）
まず、本実施の形態における情報管理システムが提供するサービスの全体像について説明する。
図１Ａは、本実施の形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ１１００、データセンタ運営会社１１１０及びサービスプロバイダ１１２０を備える。
グループ１１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ１１００は、第１の機器及び第２の機器を含む複数の機器１１０１及びホームゲートウェイ１１０２を備える。複数の機器１１０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、及びそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。複数の機器１１０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１１０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ１０１０は、グループ１１００内の複数の機器１１０１を使用する。
データセンタ運営会社１１１０は、クラウドサーバ１１１１を備える。クラウドサーバ１１１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社１１１０は、データの管理、クラウドサーバ１１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社１１１０が行っている役務の詳細については後述する。
ここで、データセンタ運営会社１１１０は、データの管理又はクラウドサーバ１１１１の管理のみを行っている会社に限らない。例えば、図１Ｂに示すように、複数の機器１１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社１１１０に該当する。また、データセンタ運営会社１１１０は一つの会社に限らない。例えば、図１Ｃに示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社１１１０に該当する。
サービスプロバイダ１１２０は、サーバ１１２１を備える。ここで言うサーバ１１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ１１２０がサーバ１１２１を備えていない場合もある。
なお、上記の情報管理システムにおいて、ホームゲートウェイ１１０２は必須ではない。例えば、クラウドサーバ１１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１１０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
次に、上記の情報管理システムにおける情報の流れを説明する。
まず、グループ１１００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社１１１０のクラウドサーバ１１１１にそれぞれ送信する。クラウドサーバ１１１１は、第１の機器又は第２の機器のログ情報を集積する（図１Ａの矢印１１３１）。ここで、ログ情報とは、複数の機器１１０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含むが、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１１０１自体から直接、クラウドサーバ１１１１に提供されてもよい。また、ログ情報は、複数の機器１１０１から一旦、ホームゲートウェイ１１０２に集積され、ホームゲートウェイ１１０２からクラウドサーバ１１１１に提供されてもよい。
次に、データセンタ運営会社１１１０のクラウドサーバ１１１１は、集積したログ情報を一定の単位でサービスプロバイダ１１２０に提供する。ここで、一定の単位とは、データセンタ運営会社１１１０が集積した情報を整理してサービスプロバイダ１１２０に提供することの出来る単位でもよいし、サービスプロバイダ１１２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ１１２０が保有するサーバ１１２１に保存される（図１Ａの矢印１１３２）。
そして、サービスプロバイダ１１２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器１１０１を使用するユーザ１０１０でもよいし、外部のユーザ１０２０でもよい。ユーザ１０１０及び１０２０への情報提供方法としては、例えば、サービスプロバイダ１１２０から直接ユーザ１０１０及び１０２０へ情報が提供されてもよい（図１Ａの矢印１１３３及び１１３４）。また、ユーザ１０１０への情報提供方法としては、例えば、データセンタ運営会社１１１０のクラウドサーバ１１１１を再度経由して、ユーザ１０１０に情報が提供されてもよい（図１Ａの矢印１１３５及び１１３６）。また、データセンタ運営会社１１１０のクラウドサーバ１１１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１１２０に提供してもよい。
なお、ユーザ１０１０は、ユーザ１０２０と異なっていても同一であってもよい。
（実施の形態１）
本実施の形態では、ユーザが天井マイク等のように集音機能を持つ機器を利用して発話による機器の状態を確認及び操作する場合の一例を示す。
本実施の形態では、ユーザの視線がある機器を向いている場合には、当該機器を操作対象に決定する。また、ユーザの視線が機器のない空間を向いている（例えば、集音装置を向いている）場合には、ユーザの視認範囲にない機器を操作対象に決定する。
図２は、本実施の形態における対話情報提供システムの構成を示す図である。この対話情報提供システムは、グループ１１００と、データセンタ運営会社１１１０内の音声対話サーバ２１００とを含む。グループ１１００と、音声対話サーバ２１００とはネットワーク２０２０を経由して接続されている。
グループ１１００は、第１の空間２００１と第２の空間２００２とを含む。例えば、グループ１１００は、家庭（住宅）であり、第１の空間２００１及び第２の空間２００２はリビング又は寝室等の部屋である。なお、空間には、複数の部屋が含まれてもよい。例えば、空間は、住宅の一階、又は二階などであってもよい。また、空間は、一つの部屋のある空間（領域）であってもよい。
また、グループ１１００は、第１の機器２０１１、第２の機器２０１２、集音装置２０１３、及びホームゲートウェイ１１０２を含む。第１の機器２０１１、集音装置２０１３、及びホームゲートウェイ１１０２は第１の空間２００１に配置されており、第２の機器２０１２は、第２の空間２００２に配置されている。また、第１の機器２０１１、第２の機器２０１２、集音装置２０１３、及びホームゲートウェイ１１０２は、ネットワーク２０２１を経由して接続されている。ネットワーク２０２１は機器間通信できる手段であればよく、有線ＬＡＮ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は特定小電力無線等である。
ここで、第１の機器２０１１及び第２の機器２０１２は、エアコン又は照明等の家電機器であり、ユーザとの対話に基づき、その動作が操作又は制御される機器である。
まず、本実施の形態に係る対話情報提供システムに動作の概略を説明する。図３は、本実施の形態に係る対話情報提供システムにおける操作対象の対象機器の特定処理のフローチャートである。
なお、以下の処理は、対話情報提供システムに含まれる機器特定装置により行われる。ここで機器特定装置とは、例えば、ホームゲートウェイ１１０２である。なお、後述するように、以下の処理は、グループ１１００に含まれる１又は複数の機器により行われてもよいし、グループ１１００に含まれる１又は複数の機器と、当該機器とネットワークを経由して接続されている外部の機器（例えば、音声対話サーバ２１００）とで分散処理されてもよい。
まず、機器特定装置は、ユーザの発話内容に基づき対象機器を特定できるか否かを判定する（Ｓ１０１）。
ユーザの発話内容に基づき対象機器を特定できない場合（Ｓ１０１でＮｏ）、機器特定装置は、ユーザの視線がいずれかの機器を向いているか否かを判定する（Ｓ１０３）。具体的には、機器特定装置は、ユーザの視線が向けられている方向に関する視線情報を取得する。次に、機器特定装置は、当該視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間に存在する、複数の機器に含まれる第２の機器に向けられているか否かを判断する。また、機器特定装置は、当該視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する。ここで視認可能な空間とは、ユーザが現在の位置において視認できる空間である。
ユーザの視線がいずれの機器にも向いていない場合、つまり、ユーザの視線が上記第１の領域に向けられていると判断された場合（Ｓ１０３でＮｏ）、機器特定装置は、複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を、対象機器として特定する（Ｓ１０５）。ここで視認不可能な空間とは、ユーザが現在の位置において視認できない空間である。
一方、ユーザの視線がいずれかの機器を向いている場合、つまり、ユーザの視線が上記第２の機器に向けられていると判断された場合（Ｓ１０３でＹｅｓ）、当該第２の機器を対象機器として特定する（Ｓ１０４）。
また、ユーザの発話内容に基づき対象機器を特定できる場合（Ｓ１０１でＹｅｓ）、機器特定装置は、ユーザの発話内容に基づき特定された機器を対象機器に決定する（Ｓ１０２）。つまり、機器特定装置は、ユーザの視線が上記第１の領域又は第２機器に向けられている場合であっても、ユーザによる発話の内容に、複数の機器に含まれる第３の機器を特定する情報が含まれる場合、当該第３機器を対象機器として特定する。
次に、機器特定装置は、特定した対象機器が正しいかをユーザに確認する（Ｓ１０６）。具体的には、機器特定装置は、ユーザに対して、特定された対象機器を通知し、その返答を得る。なお、機器特定装置は、対象機器に加え、対象機器に対する制御内容をユーザに確認してもよい。
特定した対象機器がユーザにより承認された場合（Ｓ１０７でＹｅｓ）、機器特定装置は、特定された対象機器をユーザの操作に基づき操作する（Ｓ１０８）。具体的には、機器特定装置は、ユーザの発話内容に基づき対象機器を制御するための命令を生成し、当該命令を対象機器に送信する。
一方、特定した対象機器がユーザにより承認されなかった場合（Ｓ１０７でＮｏ）、機器特定装置は、ユーザに、対象機器を確認するための聞き返し対話を行い（Ｓ１０９）、当該対話により得られたユーザの発話内容に対してステップＳ１０１以降の処理を再度行う。
以上により、ユーザの視線が、機器が存在する位置以外の特定の領域に向けられている場合、ユーザにとって視認することのできない空間に存在する機器が操作対象であると特定される。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
例えば、ユーザがリビングにおり、リビングと寝室にエアコンが設置されている。この場合において、ユーザがリビングのエアコンを制御したい場合には、ユーザはリビングのエアコンに視線を向けて、「エアコンつけて」と発話することで、リビングのエアコンを制御できる。
さらに、ユーザが寝室のエアコンを制御したい場合には、ユーザは、リビングに配置されているいずれの機器にも視線を向けない状態で上記発話を行うことで、寝室のエアコンを制御できる。
このように、本実施の形態に係る手法により、対象機器がユーザの視認範囲外に存在する場合においても、ユーザの視線に基づき対象機器を特定できる。これにより、このような場合において、ユーザの発話内容を短くできるので、ユーザの利便性を向上できるとともに、ノイズ等の影響により発話内容が認識できない、又は誤って解釈されることを抑制できる。
なお、図３では、機器特定装置は、ステップＳ１０６、Ｓ１０７及びＳ１０９において、対象機器の確認及び聞き返しを行っているが、これらの処理を行わなくてもよい。または、ステップＳ１０２、Ｓ１０４及びＳ１０５のいずれかの後のみ対象機器の確認が行われてもよい。例えば、発話内容に基づき対象機器が特定された場合（Ｓ１０２の後）には、対象機器の確認が行われてなくてもよい。
また、ステップＳ１０１及びＳ１０３の判定処理の順序は一例であり、これらの処理は逆の順序で行われてもよいし、少なくとも一部が並列に行われてもよい。
また、本実施の形態では、主にユーザの発話に基づき機器が操作される場合を例に説明を行うが、他の手法により、複数の機器が操作される場合にも同様の手法を用いることができる。例えば、ジェスチャにより機器を操作する場合にも同様の手法を用いることができる。
以下、各機器の構成及び動作の一例を詳細に説明する。
図２に示すように、第１の機器２０１１は、視線検出部２１１１を備え、第２の機器２０１２は視線検出部２１２１を備える。視線検出部２１１１、２１２１及び２１３１（後述）は、ユーザの視線方向を検出する。具体的には、視線検出部２１１１、２１２１及び２１３１は、赤外線カメラ又は可視カメラを備え、これらのカメラで得られた映像を解析し、顔認識等を利用してユーザの視線が自機器へ向いているかどうかを検出する。なお、視線検出部２１１１、２１２１及び２１３１は、ユーザの顔の向きを視線の向きとして検出してもよいし、ユーザの眼球の向きを視線の向きとして検出してもよい。
なお、ここでは、各機器がユーザの視線が自機器に向いているかを検出する例を述べるが、グループ１１００内に配置された１以上のカメラにより撮影された映像を解析することでユーザの視線の方向が検出されてもよいし、その他の手法によりユーザの視線の方向が検出されてもよい。
また、以下では、この視線検出をトリガとしてユーザが発話を開始するのかどうか判定する例を述べるが、ユーザの発話開始のトリガとして視線検出に加え、又は視線検出の代わりに、口唇検出、ジェスチャ検出、又は「マイクオン」のような固定ワードの発話検出等が用いられてもよい。口唇検出は、カメラで撮影した画像からユーザの口の動き、すなわち、口唇動作を検出し、口唇動作に基づいてユーザが発話を開始するのかどうか判定する。ジェスチャ検出は、拍手又は手を挙げる等、ユーザが予め決められた動作を行った際にカメラで撮影した画像又は音声データに基づいてユーザが発話を開始するのかどうか判定する。
集音装置２０１３は、視線検出部２１３１及び集音部２１３２を備える。集音部２１３２は、周辺の音声を取得し、当該音声に含まれる、ユーザの発話内容を一定期間保持する。具体的には、集音部２１３２は、カメラ等で得られたユーザの位置情報に基づき発話音源（ユーザ）の方向を特定し、発話音源の方向を用いて、得られた音声かから周辺ノイズを低減させることで、ユーザの発話内容を抽出する。
なお、集音装置２０１３は、集音する機能を持ち、集音したデータを転送可能な機能を持つ機器であればよい。例えば、集音装置２０１３は、天井に設置されている天井マイク、ユーザが身につけるウェアラブルマイク、又は集音する機能が備わっているぬいぐるみ等である。
ホームゲートウェイ１１０２は、機器特定部２１４１、及び音声対話部２１４３を備える。また、ホームゲートウェイ１１０２は、機器管理情報２１４２を保持している。機器特定部２１４１は、第１の機器２０１１、第２の機器２０１２、及び集音装置２０１３のいずれかの視線検出部２１１１、２１２１及び２１３１でユーザの視線が検出された際、機器管理情報２１４２を利用して操作対象の対象機器を特定する。
機器管理情報２１４２は、各機器の設置場所及び視線検出機能の有無等を示す（詳細は後述する）。音声対話部２１４３は、音声対話処理を行う。具体的には、音声対話部２１４３は、集音装置２０１３へ集音開始指示命令を発行することでユーザの発話内容を含む音声データを取得し、取得した音声データを音声対話サーバ２１００へ転送する。音声対話部２１４３は、音声データに含まれる発話内容に基づく制御命令を音声対話サーバ２１００から取得し、制御命令を対象機器に送信する。
なお、本実施の形態では、ホームゲートウェイ１１０２と集音装置２０１３とが別々に存在しているが、ホームゲートウェイ１１０２内に集音装置２０１３の機能が含まれてもよい。
音声対話サーバ２１００は、クラウドサーバ１１１１の一つであり、対話辞書２１０１を保持している。この音声対話サーバ２１００は、音声データ解析により音声データから発話内容を特定し、対話辞書２１０１を利用して発話内容から制御命令を特定する。
対話辞書２１０１には、発話内容（テキスト）から制御命令を特定するためのルールが記載されている（詳細は後述する）。なお、本実施の形態では、音声対話サーバ２１００とホームゲートウェイ１１０２とが別々に存在しているが、ホームゲートウェイ１１０２内に音声対話サーバ２１００の機能が含まれてもよい。また、ホームゲートウェイ１１０２内に、音声対話サーバ２１００の機能の一部が含まれてもよい。
図４Ａは、本実施の形態における機器管理情報２１４２の一例を示す図である。
機器管理情報２１４２は、機器を一意に特定する識別子情報と、機器がホームゲートウェイかどうかを示す属性情報と、機器が保有する機能のカテゴリーを示す種別情報と、機器が集音能力を保有しているかどうかを示す集音情報と、機器が設置されている場所を示す設置場所情報と、機器がユーザの発話開始トリガ（視線）を検出した機器かどうかを示す発話情報とを含む。
識別子情報は、例えば、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等のペアリング時に機器のＭＡＣアドレス及び乱数から生成される。または、識別子情報は、ＥＣＨＯＮＥＴ Ｌｉｔｅのインスタンスリスト通知に含まれる識別子が利用される。
属性情報及び種別情報は、ＥＣＨＯＮＥＴ Ｌｉｔｅ等の家電機器制御プロトコルをサポートしている場合はその家電機器制御のカテゴリーの情報を利用して設定される。
集音情報は、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等のペアリング時に通知された集音機能有無に基づき設定される。設置場所情報は、ホームゲートウェイ１１０２の設定メニュー等を利用してユーザにより設定される。発話情報は、第１の機器２０１１、第２の機器２０１２、及び集音装置２０１３のいずれかの視線検出部２１１１、２１２１、及び２１３１からユーザの発話開始トリガ（視線）が検出された際に設定される。
図４Ｂは、本実施の形態における対話辞書２１０１の一例を示す図である。
対話辞書２１０１は、音声認識の結果得られた文字列情報（発話内容）を示す発話認識テキスト情報と、発話認識テキストから制御命令を特定するためのアクション情報とを含む。アクション情報は、発話認識テキストから特定される制御命令を示す制御命令情報と、対象機器の種別（属性）を示す機器情報と、対象機器が設置されている場所を示す場所情報とを含む。
例えば、ユーザが「リビングの照明つけて」と発話した場合、「リビング」「照明」「つけて」のキーワードマッチングにより、アクション情報として全フレーム（制御命令（ｐｏｗｅｒ＿ｏｎ）、機器（照明）、場所（リビング））が埋まる。これにより、リビングに設置されている照明の電源をオンにする処理が行われる。
また、ユーザが「エアコンつけて」と発話した場合、「エアコン」「つけて」のキーワードマッチングにより、アクション情報として場所以外のフレーム（制御命令（ｐｏｗｅｒ＿ｏｎ）、機器（エアコン））が埋まる。この場合、ユーザ宅にエアコンが１台しか設置されていない場合はそのエアコンの電源をオンにする処理が行われるが、２台以上設置されている場合は「どこのエアコンの電源を入れますか」と聞き返してユーザから場所を指定して貰うことで最終的に電源をオンにする処理を行う対象のエアコンが特定される。
また、ユーザが「冷房つけて」と発話した場合、機器そのものを特定する内容は発話されていないが機器固有の操作指示内容が発話されているので、対話辞書２１０１を用いて機器情報が補完される。また、ユーザが「電源入れて」又は「あたためて」と発話した場合、アクション情報として制御命令（ｐｏｗｅｒ＿ｏｎ、ｈｅａｔｉｎｇ＿ｏｎ）しか埋まらない。よって、ユーザから機器又は場所の情報を指示してもらう必要がある。
また、ユーザが「一括オフ」と発話した場合のように、アクション情報のうち制御命令（ａｌｌ＿ｐｏｆｆ）しか埋まらなくても操作可能になる場合もある。
図５は、本実施の形態における対話情報提供システムに各機器の構成例を示すブロック図である。
第１の機器２０１１は、先述した視線検出部２１１１に加え、機器通信部２１１２及び機器命令実行部２１１３を備える。第２の機器２０１２は、先述した視線検出部２１２１に加え、機器通信部２１２２及び機器命令実行部２１２３を備える。
機器通信部２１１２は、ＥＣＨＯＮＥＴ Ｌｉｔｅ等の家電機器制御のプロトコルスタックである。具体的には、機器通信部２１１２は、ホームゲートウェイ１１０２に対して、第１の機器２０１１が起動された際の通知等のインスタンスリスト通知と、電源入り又は切りの変化の通知等の機器状態の通知と、ホームゲートウェイ１１０２からの電源入り設定等の制御命令の受信及び解釈並びに制御命令の実行結果の応答とを行う。
また、視線検出結果のホームゲートウェイ１１０２への通知は、この通知機能を利用しても行われてもよいし、独自のプロトコルで行われてもよい。
機器命令実行部２１１３は、機器通信部２１１２から受けとった制御命令を機器のハードウェア命令へ変換して実行する。
なお、視線検出部２１２１、機器通信部２１２２及び機器命令実行部２１２３の機能は、視線検出部２１１１、機器通信部２１１２及び機器命令実行部２１１３の機能と同様である。
集音装置２０１３は、先述した視線検出部２１３１及び集音部２１３２に加え、情報提示部２１３３及び機器通信部２１３４を備える。
情報提示部２１３３は、視線検出部２１３１で検出されたユーザに対して、各種情報を提示する。例えば、情報提示部２１３３は、ユーザに対して「お話ください」と音声を出力したり、ＬＥＤライトを発光させたりしてユーザの発話を促す。
機器通信部２１３４の機能は、先述した機器通信部２１１２及び２１２２と同様である。
ホームゲートウェイ１１０２は、先述した機器特定部２１４１及び音声対話部２１４３に加え、機器管理部２１４４、機器通信部２１４５及びクラウド通信部２１４６を備える。
機器通信部２１４５の機能は、先述した機器通信部２１１２、２１２２及び２１３４の機能と同様である。クラウド通信部２１４６は、対話機能を利用するにあたって、ユーザが利用許諾に同意したかどうかを管理し、ユーザが利用許諾に同意した場合に音声対話サーバ２１００との接続を確立し、音声対話サーバ２１００と情報を送受信する。
図６は、本実施の形態における、ユーザが対象機器に対して発話する場合の対話情報提供システムにおける動作例を示す図である。例えば、第１の機器２０１１は第１の空間２００１（１階リビング）に設置されているエアコンであり、第２の機器２０１２は第２の空間２００２（２階寝室）に設定されているエアコンであり、集音装置２０１３は、第１の空間２００１（１階リビング）の天井に設置されているマイクである。ユーザは、第１の空間２００１において、第１の機器２０１１に視線を向けて「エアコンつけて」と発話する。
これにより、第１の機器２０１１は、ユーザの視線が自機器に向けられていることを検出し（Ｓ３０１）、検出結果をホームゲートウェイ１１０２に通知する（Ｓ３０２）。ホームゲートウェイ１１０２は、対象機器を特定する（Ｓ３０３）。この場合、第１の機器２０１１にユーザの視線が向けられているため、ホームゲートウェイ１１０２は、第１の機器２０１１を対象機器に決定する。
次に、集音装置２０１３、ホームゲートウェイ１１０２及び音声対話サーバ２１００は、音声対話処理を行う（Ｓ３０４）。音声対話処理は、ユーザの発話を集音した音声データを解析した結果得られた文字列情報と対話辞書２１０１からユーザの意図する家電操作を特定し、その結果をユーザに通知する処理である。図４Ｂにおける対話辞書２１０１の例では、発話認識テキスト「エアコンつけて」に対する「場所」のアクションを特定できないが、ステップＳ３０３で特定された対象機器に基づき、「場所」を「第１の空間（リビング）」と補完できる。
次に、ホームゲートウェイ１１０２は、音声対話処理の結果に基づいて第１の機器２０１１に制御命令を送信する（Ｓ３０５）。第１の機器２０１１は、受信した制御命令を実行する（Ｓ３０６）。
このような流れにより、ユーザが機器を特定する内容の発話を行わない場合であっても機器を特定して操作することが可能になる。
なお、ユーザが発話内容に機器を特定する要素が入っている場合は、ステップＳ３０３で特定された機器よりも、ユーザの発話内容で特定される機器を優先し、ユーザの発話内容で特定される機器を対象機器に決定する。例えば、リビングのエアコン（第１の機器２０１１）を見て「寝室のエアコンつけて」と発話した場合は、リビングのエアコンではなく、寝室のエアコンの電源が入れられる。
図７は、本実施の形態における、ユーザが集音装置２０１３に対して発話する場合の対話情報提供システムにおける動作例を示す図である。ユーザは、集音装置２０１３に視線を向けて「エアコンつけて」と発話する。
集音装置２０１３は、ユーザの視線が自機器に向けられていることを検知し（Ｓ３１１）、検出結果をホームゲートウェイ１１０２に通知する（Ｓ３１２）。ホームゲートウェイ１１０２は、対象機器を特定する（Ｓ３１３）。この場合、集音装置２０１３にユーザの視線が向けられているため、ホームゲートウェイ１１０２は、第１の機器２０１１及び第２の機器２０１２のうち、ユーザの視認範囲外に存在する第２の機器２０１２を対象機器に決定する。なお、ここでは、ユーザは、第１の空間２００１（リビング）に存在し、対象機器として第１の空間２００１と異なる第２の空間２００２（寝室）に配置されている第２の機器２０１２が選択される。
次に、集音装置２０１３、ホームゲートウェイ１１０２及び音声対話サーバ２１００は、ステップＳ３０４と同様に、音声対話処理を行う（Ｓ３１４）。そして、ホームゲートウェイ１１０２は、音声対話処理の結果に基づいて第２の機器２０１２に制御命令を送信する（Ｓ３１５）。第２の機器２０１２は、受信した制御命令を実行する（Ｓ３１６）。
このような流れにより、ユーザが機器を特定する内容の発話を行わず、かつ、機器に関連付けされていない集音装置２０１３に対してユーザが発話した場合であっても機器を特定して操作することが可能になる。
次に、各装置の動作を説明する。図８は、第１の機器２０１１の動作の流れを示すフローチャートである。なお、第２の機器２０１２の動作も同様である。
まず、第１の機器２０１１は、ユーザの視線が自機器に向いているかを検出することで、ユーザの発話開始を検出する（Ｓ２０１）。第１の機器２０１１は、ユーザの視線を検出した場合（Ｓ２０１でＹｅｓ）、ユーザの視線を検出したことを示す視線検出通知をホームゲートウェイ１１０２に送信する（Ｓ２０２）。
また、第１の機器２０１１は、ホームゲートウェイ１１０２から制御命令を受信した場合（Ｓ２０３でＹｅｓ）、受信した制御命令を実行する（Ｓ２０４）。
図９は、集音装置２０１３の動作の流れを示すフローチャートである。まず、集音装置２０１３は、ユーザの視線が自機器に向いているかを検出することで、ユーザの発話開始を検出する（Ｓ２１１）。集音装置２０１３は、ユーザの視線を検出した場合（Ｓ２１１でＹｅｓ）、ユーザの視線を検出したことを示す視線検出通知をホームゲートウェイ１１０２に送信する（Ｓ２１２）。
図１０は、ホームゲートウェイ１１０２の動作の流れを示すフローチャートである。ホームゲートウェイ１１０２は、第１の機器２０１１、第２の機器２０１２又は集音装置２０１３から視線検出通知を受信した場合（Ｓ２２１でＹｅｓ）、いずれの装置で視線が検出されたかに基づき、対象機器を特定する（Ｓ２２２）。次に、ホームゲートウェイ１１０２は、音声対話処理を行う（Ｓ２２３）。次に、ホームゲートウェイ１１０２は、ステップＳ２２２で特定された対象機器に、音声対話処理で特定された制御命令を送信する（Ｓ２２４）。
以下、ホームゲートウェイ１１０２における対象機器を特定する処理（Ｓ２２２）の詳細を説明する。図１１は、対象機器特定処理（Ｓ２２２）の詳細を示すフローチャートである。
ホームゲートウェイ１１０２は、機器管理情報２１４２を参照し、視線検出通知の送信元の装置が家電機器かどうかを判定する（Ｓ２３１）。ここで家電機器とは、音声対話により操作を行う対象の機器である。
視線検出通知の送信元の装置が家電機器である場合（Ｓ２３１でＹｅｓ）、ホームゲートウェイ１１０２は、視線検出通知の送信元の装置を対象機器に決定する（Ｓ２３２）。一方、視線検出通知の送信元の装置が家電機器でない場合（Ｓ２３１でＮｏ）、ホームゲートウェイ１１０２は、機器管理情報２１４２を参照し、ユーザの視認範囲外に機器が存在するかどうか判定する（Ｓ２３３）。
具体的には、ユーザがどの空間に存在するかは検出されている。例えば、ホームゲートウェイ１１０２は、視線検出通知の送信元の装置と同じ空間（例えば部屋）にユーザが存在していると判断する。なお、ホームゲートウェイ１１０２は、ユーザの音声を取得した集音装置２０１３と同じ空間にユーザが存在していると判定してもよい。また、ホームゲートウェイ１１０２は、視線検出通知の送信元の装置の近傍にユーザが存在していると判断してもよい。または、ホームゲートウェイ１１０２は、グループ１１００内に設置されているカメラで得られた情報から、ユーザの位置を判定してもよい。
ホームゲートウェイ１１０２は、機器管理情報２１４２を参照し、ユーザの存在する空間（例えば部屋）と異なる空間に存在する機器を、ユーザの視認範囲外の機器と判断する。なお、ここでは、ユーザと機器とが同じ空間（例えば部屋）に存在するか否かに基づき、各機器がユーザの視認範囲内であるか視認範囲外であるかが判定されているが、ホームゲートウェイ１１０２は、各機器及びユーザの位置をより詳細に判定するとともに、ユーザの存在する空間の詳細な間取りの情報等を用いて、ユーザの位置から実際に視認可能な機器を特定し、特定された機器以外をユーザの視認範囲外の機器と判定してもよい。
ユーザの視認範囲外に機器が存在する場合（Ｓ２３３でＹｅｓ）、ホームゲートウェイ１１０２は、ユーザの視認範囲外の機器を対象機器に決定する（Ｓ２３４）。
一方、ユーザの視認範囲外に機器が存在しない場合（Ｓ２３３でＮｏ）、ホームゲートウェイ１１０２は、対象機器を決定せず、全ての機器を対象機器の候補に決定する。
なお、予めデフォルトの対象機器の候補として機器管理情報２１４２で管理されている全機器が設定され、ステップＳ２３２又はＳ２３４において、対象機器として機器が選択された場合には、当該機器のみが対象機器になるように更新されてもよい。
また、ここでは、ステップＳ２３２及びＳ２３４において一つの機器のみが対象機器として選択される例を述べたが、対象機器を判定するための視線以外の判定基準が用いられる場合には、選択された機器の優先度が高く設定されてもよい。これにより、他の判定基準との組合せにより、最も可能性が高い機器を選択できる。また、これにより、例えば、ユーザの視認範囲外に複数の機器が存在する場合にはこれらの複数の機器の優先度を高く設定し、他の判定基準に基づき、一つの機器を選択できる。なお、以下で述べる他の実施の形態においても同様の変形例を適用できる。
以下、図６及び図７に示す音声対話処理（Ｓ３０４及びＳ３１４）の詳細を説明する。図１２は、音声対話処理（Ｓ３０４及びＳ３１４）の動作例を示す図である。
まず、集音装置２０１３、ホームゲートウェイ１１０２及び音声対話サーバ２１００は、発話内容をテキストに変換する音声認識処理を行う（Ｓ３２１）。次に、ホームゲートウェイ１１０２及び音声対話サーバ２１００は、対話辞書２１０１に基づいて、音声認識処理の結果として得られた認識テキストから機器への制御命令を出力する意図理解処理を行う（Ｓ３２２）。この意図理解処理により、対象機器又は制御命令が特定できていない場合（Ｓ３２３）、ホームゲートウェイ１１０２は、ユーザに聞き返しを行うように集音装置２０１３へ指示する（Ｓ３２４）。集音装置２０１３は、聞き返しの指示を受信すると、ユーザに対して対象機器又は制御命令を特定するための聞き返しを行う（Ｓ３２５）。
この聞き返しにより得られた発話内容に対して、再度、音声認識処理（Ｓ３２６）及び意図理解処理（Ｓ３２７）が行われる。この意図理解処理により、対象機器及び制御命令が特定できた場合（Ｓ３２８）、ホームゲートウェイ１１０２は、集音装置２０１３に音声対話の結果を提示させる指示を集音装置２０１３へ送信する（Ｓ３２９）。集音装置２０１３は、結果表示の指示を受信すると、音声対話結果の情報をユーザに対して提示する（Ｓ３３０）。
図１３は、ホームゲートウェイ１１０２による音声対話処理（図１０のＳ２２３）のフローチャートである。まず、ホームゲートウェイ１１０２は、音声認識処理（Ｓ２４１）及び意図理解処理（Ｓ２４２）を行う。次に、ホームゲートウェイ１１０２は、対象機器が特定できているかを判断する（Ｓ２４３）。機器が特定できている場合（Ｓ２４３でＹｅｓ）、ホームゲートウェイ１１０２は、制御命令が特定できているかを判断する（Ｓ２４４）。制御命令が特定できている場合（Ｓ２４４でＹｅｓ）、ホームゲートウェイ１１０２は、集音装置２０１３に音声対話の結果を表示させる指示を集音装置２０１３へ送信する（Ｓ２４５）。
一方、対象機器が特定できていないと判断された場合（Ｓ２４３でＮｏ）、又は、制御命令が特定できていないと判断された場合（Ｓ２４４でＮｏ）、ホームゲートウェイ１１０２は、ユーザに聞き返しを行うように集音装置２０１３へ指示する（Ｓ２４６）。
ここで、音声認識処理において、対象機器特定処理によって特定された対象機器の情報を利用することにより誤認識のリスクを低減できる可能性がある。例えば、ユーザが「あたためて」と発話した場合、音声認識結果を抽出する際には、「あたためて」、「暖めて」、「温めて」、「アタタメテ」等複数の候補が考えられる。仮に、対象機器としてエアコンと特定されている場合、「暖めて」を最有力候補としたほうが意図理解による機器操作内容として正しい結果が得やすい。同様に対象機器として電子レンジが特定されている場合は「温めて」としたほうがよい。また、対象機器が特定されていない場合は「あたためて」を選定したほうがよい。
また、聞き返しを行っても理想的な回数の発話で必ずユーザが望む機器操作が行われるわけではない。例えば、ユーザが「電源入れて」と発話した場合、図４Ｂに示す対話辞書２１０１では、聞き返しにより機器と場所との２つの情報をユーザに発話してもらえば処理が完結するはずである。ただ、実際には機器として「エアコン」、場所として「寝室」のみをはっきり大きな声で発話してもらえる保証はない。雑音が混じったり、ユーザが余計な言葉を言ったり、ユーザが小さくこもった声で発話する場合もある。このように、認識に失敗する可能性は多々あるため、対象機器特定処理によりなるべく少ない発話で機器操作を行えるようにすることでユーザの利便性は高まる。あまりに誤認識が発生する場合には、ユーザに対して認識しやすい発話例を提示することで誤認識率の低減をはかったり、愛嬌あるキャラクター等に謝罪させることによりユーザの苛立ちを緩和させるようにしたりしても良い。
図１４は、音声認識処理（図１２のＳ３２１）の動作例を示す図である。まず、ホームゲートウェイ１１０２は、集音装置２０１３に対して音声を保持するように指示し（Ｓ３５１）、音声対話サーバ２１００に対して音声認識を開始するように指示する（Ｓ３５２）。
指示を受けた集音装置２０１３は、ユーザが発話した音声データの保持を開始する（Ｓ３５３）。その後、集音装置２０１３は、ユーザに対して発話するよう誘導するための情報を提示する（Ｓ３５５）。一方で、指示を受けた音声対話サーバ２１００は、音声データに対する音声認識を開始する（Ｓ３５４）。
次に、ホームゲートウェイ１１０２は、集音装置２０１３が保持している音声データを取得し（Ｓ３５６）、音声対話サーバ２１００に音声データを転送する（Ｓ３５７）。音声対話サーバ２１００は、転送された音声データに対して音声認識処理を行う（Ｓ３５８）。この一連の処理がユーザの発話が終了するまで繰り返される。
ユーザの発話が終了した場合、ホームゲートウェイ１１０２は、集音装置２０１３に対して音声データの保持を終了するよう通知し（Ｓ３５９）、音声対話サーバ２１００に対して音声認識を終了するよう通知する（Ｓ３６０）。
通知を受けた集音装置２０１３は、ユーザが発話した音声データの保持を終了する（Ｓ３６１）。通知を受けた音声対話サーバ２１００は、音声認識処理を終了し（Ｓ３６２）、ホームゲートウェイ１１０２へ音声認識結果を通知する（Ｓ３６３）。
図１５は、ホームゲートウェイ１１０２による音声認識処理（図１３のＳ２４１）のフローチャートである。
まず、ホームゲートウェイ１１０２は、集音装置２０１３に対して音声を保持するように指示し、音声対話サーバ２１００に対して音声認識を開始するように指示する（Ｓ２５１）。次に、ホームゲートウェイ１１０２は、集音装置２０１３が保持している音声データを取得する（Ｓ２５２）。そして、ホームゲートウェイ１１０２は、取得した音声データに基づき、ユーザの発話が終了したかどうかを判断する（Ｓ２５３）。
ユーザの発話がまだ続いていると判断された場合（Ｓ２５３でＮｏ）、ホームゲートウェイ１１０２は、音声対話サーバ２１００に音声データを転送し（Ｓ２５４）、ステップＳ２５２に戻る。
一方、ユーザの発話が終了したと判断された場合（Ｓ２５３でＹｅｓ）、ホームゲートウェイ１１０２は、集音装置２０１３に対して音声データの保持を終了するよう通知し、音声対話サーバ２１００に対して音声認識を終了するよう通知する（Ｓ２５５）。
次に、ホームゲートウェイ１１０２は、音声対話サーバ２１００から送信された音声認識結果を受信する（Ｓ２５６）。
図１６は、意図理解処理（図１２のＳ３２２及びＳ３２７）の動作例を示す図である。まず、ホームゲートウェイ１１０２は、音声対話サーバ２１００に対して意図理解の開始を指示する（Ｓ３７１）。このとき、ホームゲートウェイ１１０２は、例えば、発話認識テキストなどを入力情報として音声対話サーバ２１００に送る。
音声対話サーバ２１００は、意図理解開始の指示を受けると、発話認識テキストと対話辞書２１０１とを照合して、機器に対して指示するアクションを決定する（Ｓ３７２）。そして、音声対話サーバ２１００は、ホームゲートウェイ１１０２に対して、決定したアクションを示す情報を送信する（Ｓ３７３）。
なお、上記説明では、ユーザの視線が複数の機器が存在しない領域に向けられていることを検出する手法として、集音装置２０１３が備える視線検出部２１３１の検出結果が用いられているが、これ以外の方法が用いられてもよい。例えば、視線検出部は、複数の機器（第１の機器２０１１及び第２の機器２０１２）が配置されている領域以外の任意の領域に設けられていてもよい。
例えば、ホームゲートウェイ１１０２が視線検出部を備えてもよい。または、ユーザの対話の対象となるオブジェクト（人形等）に視線検出部が設けられていてもよい。さらに、ユーザの対話の対象となるオブジェクトは仮想的なオブジェクト（フォログラム等）であってもよい。この場合、例えば、グループ１１００内に設置されているカメラにより撮影された画像に基づき、ユーザの視線の方向が検出されてもよい。また、複数の機器が備える視線検出部のいずれにおいてもユーザの視線が検出されなかった場合に、ユーザの視線が複数の機器が存在しない領域に向けられていると判定されてもよい。
なお、ユーザの視線が複数の機器が存在しない領域に向けられていることを検出する手法として、上記のいずれかが用いられても良いし、２以上の手法が用いられてもよい。
以上のように、本実施の形態に係る機器特定方法は、複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置（例えば、ホームゲートウェイ１１０２等）により行われる。なお、先述したように機器特定装置は、ホームゲートウェイ１１０２に限定されず、システムに含まれる任意の機器であればよい。例えば、後述するように、機器特定装置は、ホームゲートウェイ１１０２、集音装置２０１３及び音声対話サーバ２１００の機能のうち少なくとも一部を含んでもよい。
まず、機器特定装置は、ユーザの視線が向けられている方向に関する視線情報を取得する。機器特定装置は、視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する（Ｓ１０３、Ｓ２３１）。
例えば、第１の領域は、機器特定装置が存在する領域である。具体的には、機器特定装置は、ユーザの視線が当該機器特定装置に向けられているかを検出する視線検出部を備え、当該視線検出部がユーザの視線が機器特定装置に向けられていることを検出した旨を視線情報として取得する。機器特定装置は、視線検出部がユーザの視線が機器特定装置に向けられていることを検出した場合に、ユーザの視線が第１の領域に向けられていると判断する。
または、機器特定装置は、複数の機器とは異なる位置に設置されている集音装置２０１３により収集されたユーザの発話に基づき対象機器を操作し、第１の領域は、集音装置２０１３が存在する領域である。具体的には、集音装置２０１３は、ユーザの視線が当該集音装置２０１３に向けられているかを検出する視線検出部２１３１を備える。機器特定装置は、視線検出部２１３１がユーザの視線が集音装置２０１３に向けられていることを検出した旨を視線情報として取得する。機器特定装置は、視線検出部２１３１がユーザの視線が集音装置２０１３に向けられていることを検出した場合に、ユーザの視線が第１の領域に向けられていると判断する。
または、機器特定装置は、ユーザの発話に基づき対象機器を操作し、第１の領域は、ユーザによる発話（対話）の相手であるオブジェクト（人形等）が存在する領域である。具体的には、オブジェクトは、ユーザの視線が当該オブジェクトに向けられているかを検出する視線検出部を備える。機器特定装置は、視線検出部がユーザの視線がオブジェクトに向けられていることを検出した旨を視線情報として取得する。機器特定装置は、視線検出部がユーザの視線がオブジェクトに向けられていることを検出した場合に、ユーザの視線が第１の領域に向けられていると判断する。
または、機器特定装置は、ユーザの発話に基づき前記対象機器を操作し、第１の領域は、ユーザによる発話（対話）の相手である仮想オブジェクト（フォログラム等）が存在する領域である。具体的には、機器特定装置は、撮像装置により撮影された、ユーザが含まれる画像を視線情報として取得する。機器特定装置は、当該画像を解析することにより、ユーザの視線が仮想オブジェクトに向けられているか否かを判断し、ユーザの視線が仮想オブジェクトに向けられていると判断した場合、ユーザの視線が第１の領域に向けられていると判断する。
ユーザの視線が前記第１の領域に向けられていると判断された場合（Ｓ１０３でＮｏ、Ｓ２３１でＮｏ）、機器特定装置は、複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を対象機器として特定する（Ｓ１０５、Ｓ２３４）。
次に、機器特定装置は、特定された対象機器をユーザの操作に基づき操作する（Ｓ１０８）。具体的には、機器特定装置は、ユーザの発話内容に基づき対象機器を制御するための命令を生成し、当該命令を対象機器に送信する。
また、機器特定装置は、ユーザに対して、特定された対象機器を通知し（Ｓ１０６）、特定された対象機器がユーザにより承認された場合（Ｓ１０７でＹｅｓ）に、特定された対象機器をユーザの操作に基づき操作する（Ｓ１０８）。
これにより、本実施の形態に係る機器特定方法は、ユーザの視線が、機器が存在する位置以外の特定の領域に向けられている場合には、ユーザにとって視認することのできない空間に存在する機器を操作対象であると特定できる。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
また、機器特定装置は、ユーザの視線が、当該ユーザが視認可能な空間に存在する、複数の機器に含まれる第２の機器に向けられているか否かを判断し（Ｓ１０３、Ｓ２３１）、ユーザの視線が第２の機器に向けられていると判断された場合（Ｓ１０３でＹｅｓ、Ｓ２３１でＹｅｓ）、当該第２の機器を対象機器として特定する（Ｓ１０４、Ｓ２３２）。
これにより、本実施の形態に係る機器特定方法は、ユーザがある機器に視線を向けている場合、その機器が操作対象であると特定できる。これにより、ユーザに対する聞き返しの発生を低減できるので、ユーザの利便性を向上できる。
また、ユーザの視線が第１の領域に向けられている場合であっても、ユーザによる発話の内容に、複数の機器に含まれる第３の機器を特定する情報が含まれる場合、機器特定装置は、第３の機器を対象機器として特定する。また、ユーザの視線が第１の領域に向けられていると判断された場合であっても、ユーザによる発話の内容に、所定の空間を特定する情報が含まれる場合、複数の機器のうち所定の空間に存在する第３の機器を対象機器として特定する（Ｓ１０１でＹｅｓ、Ｓ１０２）。
これにより、ユーザの視線情報に基づき操作対象となる機器を特定した場合であっても、ユーザの発話内容から特定される機器を操作対象として優先させることができる。よって、ユーザの意図しない機器が誤って操作対象に選択されることを抑制できる。
（実施の形態２）
本実施の形態では、上記実施の形態１に係る対話情報提供システムの変形例について説明する。なお、以下の実施の形態では、先の実施の形態と重複する説明は省略し、主に相違点を説明する。
本実施の形態に係る対話情報提供システムは、実施の形態１に係る対話情報提供システムに対して、対象機器特定処理（図１０のＳ２２２）が異なる。具体的には、本実施の形態では、ユーザの視線が機器に向いていない場合、ユーザの近くに存在する機器を対象機器として選択する。
図１７は、本実施の形態に係る対象機器特定処理（Ｓ２２２Ａ）のフローチャートである。なお、図１７に示す処理は、図１０に示す処理に対してステップＳ２３３及びＳ２３４の代わりにステップＳ２３３Ａ及びＳ２３４を含む。
視線検出通知の送信元の装置が家電機器でない場合（Ｓ２３１でＮｏ）、ホームゲートウェイ１１０２は、機器管理情報２１４２を参照し、ユーザの近くに機器が存在するかどうか判定する（Ｓ２３３Ａ）。
具体的には、ホームゲートウェイ１１０２は、機器管理情報２１４２を参照し、ユーザの存在する空間（例えば部屋）と同じ空間に存在する機器を、ユーザの近くの機器と判断する。
ユーザの近くに機器が存在する場合（Ｓ２３３ＡでＹｅｓ）、ホームゲートウェイ１１０２は、ユーザの近くの機器を対象機器に決定する（Ｓ２３４Ａ）。
一方、ユーザの近くに機器が存在しない場合（Ｓ２３３ＡでＮｏ）、ホームゲートウェイ１１０２は、対象機器を決定せず、全ての機器を対象機器の候補に決定する。
なお、予めデフォルトの対象機器の候補として機器管理情報２１４２で管理されている全機器が設定され、ステップＳ２３４Ａにおいて、対象機器として機器が選択された場合には、当該機器のみが対象機器になるように更新されてもよい。
図１８は、本実施の形態における、ユーザが集音装置２０１３に対して発話する場合の対話情報提供システムにおける動作例を示す図である。なお、ユーザが対象機器に対して発話する場合の対話情報提供システムにおける動作例は、図６と同様である。
例えば、ユーザは、集音装置２０１３に視線を向けて「エアコンつけて」と発話する。
集音装置２０１３は、ユーザの視線が自機器に向けられていることを検知し（Ｓ３１１）、検出結果をホームゲートウェイ１１０２に通知する（Ｓ３１２）。ホームゲートウェイ１１０２は、対象機器を特定する（Ｓ３１３Ａ）。この場合、集音装置２０１３にユーザの視線が向けられているため、ホームゲートウェイ１１０２は、第１の機器２０１１及び第２の機器２０１２のうち、ユーザの近くに存在する第１の機器２０１１を対象機器に決定する。なお、ここでは、ユーザは、第１の空間２００１（リビング）に存在し、対象機器として、ユーザと同じ第１の空間２００１に存在する第１の機器２０１１が選択される。
次に、集音装置２０１３、ホームゲートウェイ１１０２及び音声対話サーバ２１００は、ステップＳ３０４と同様に、音声対話処理を行う（Ｓ３１４）。そして、ホームゲートウェイ１１０２は、音声対話処理の結果に基づいて第１の機器２０１１に制御命令を送信する（Ｓ３１５Ａ）。第１の機器２０１１は、受信した制御命令を実行する（Ｓ３１６Ａ）。
このような流れにより、ユーザが機器を特定する内容の発話を行わず、かつ、機器に関連付けされていない集音装置２０１３に対してユーザが発話した場合であっても機器を特定して操作することが可能になる。
（実施の形態３）
本実施の形態では、上記実施の形態１に係る対話情報提供システムの変形例について説明する。本実施の形態では、第１の機器２０１１及び第２の機器２０１２は、さらに、ユーザとの距離を検出する機能を有する。対話情報提供システムは、検出された、機器とユーザとの距離に基づき、ユーザの視認範囲外の機器を特定する。
図１９は、本実施の形態における第１の機器２０１１Ａ及び第２の機器２０１２Ａの一例を示すブロック図である。第１の機器２０１１Ａ及び第２の機器２０１２Ａは、実施の形態１に係る第１の機器２０１１及び第２の機器２０１２の構成要素に加え、ユーザと自機器との距離を検出する距離検出部２１１４及び２１２４を備える。ここで距離検出部２１１４及び２１２４は、ユーザが自機器から所定の距離以内に存在するか否かを検出してもよいし、ユーザと自機器との距離（値）を検出してもよい。
図２０Ａ〜図２０Ｃは、本実施の形態における機器管理情報２１４２の一例を示す図である。図２０Ａに示す機器管理情報２１４２Ａの例では、ホームゲートウェイ１１０２と、第１の機器２０１１であるエアコンと、集音装置２０１３である天井マイクとがリビングに設置され、第２の機器２０１２であるエアコンが寝室に設置されている。また、距離検出部２１１４及び２１２４で取得されたユーザと機器との距離情報として、第１の機器２０１１でユーザが検出されたことが示されている。
図２０Ｂに示す機器管理情報２１４２Ｂの例では、ホームゲートウェイ１１０２と、第１の機器２０１１であるエアコンと、第２の機器２０１２であるエアコンと、集音装置２０１３である天井マイクとが存在しているが、各装置の設置場所は設定されていない。また、距離検出部２１１４及び２１２４で取得されたユーザと機器との距離情報として、第１の機器２０１１でユーザが検出されたことが示されている。
図２０Ｃに示す機器管理情報２１４２Ｃの例では、ホームゲートウェイ１１０２と、第２の機器２０１２であるエアコンとがリビングに設置されており、第１の機器２０１１である電子レンジと、集音装置２０１３である集音マイクとがキッチンに設置されている。また、距離検出部２１１４及び２１２４で取得されたユーザと機器との距離情報として、第１の機器２０１１でユーザが検出されたことが示されている。
なお、ここでは、距離情報としてどの機器でユーザが検出されたかが示されているが、距離の遠近が分かるよう数値情報が示されてもよい。また、この数値情報として、機器との通信時間を示す情報が用いられてもよい。これにより、ユーザを検出した機器が複数存在する場合に、どの機器がユーザに最も近いかを判定できる。
図２１は、図１１に示す処理のうち、ユーザの視認範囲外の機器を対象機器に設定する処理（Ｓ２３３及びＳ２３４）の詳細を示すフローチャートである。
まず、ホームゲートウェイ１１０２は、機器管理情報２１４２に設置場所情報が設定されているかどうか判定する（Ｓ４０１）。設置場所情報が設定されている場合（Ｓ４０１でＹｅｓ）、ホームゲートウェイ１１０２は、ユーザと異なる空間（例えば異なる部屋）に設置されている機器を選択する（Ｓ４０２）。
一方、設置場所情報が設定されていない場合（Ｓ４０１でＮｏ）、ホームゲートウェイ１１０２は、距離情報に基づき、ユーザから所定の距離以上は離れている機器を選択する（Ｓ４０３）。例えば、ホームゲートウェイ１１０２は、ユーザを検出した機器以外の機器を選択する。
また、ステップＳ４０２及びＳ４０３において、複数の機器が選択された場合（Ｓ４０４でＹｅｓ）、ホームゲートウェイ１１０２は、最もユーザからの距離が遠い機器を選択する（Ｓ４０５）。
以下、この処理の具体例を図２０Ａ及び図２０Ｂの例で説明する。
図２０Ａに示す例では、第１の機器２０１１はリビングに設置されているエアコンであり、第２の機器２０１２は寝室に設置されているエアコンであり、集音装置２０１３は天井に設置されているマイクである。ユーザがリビングで機器に視線を向けずに（例えば集音装置２０１３に視線を向けて）「あたためて」と発話した場合には、ユーザと異なる部屋に設置されている寝室のエアコンが対象機器として選択される。なお、異なる部屋に複数台のエアコンが設置されている場合は、これらの全てのエアコンが選択されてもよいし、最もユーザから遠い機器のみが選択されてもよい。
また、図２０Ｂに示す例では、ユーザからの距離が近い順に第１の機器２０１１、第２の機器２０１２が存在している。第１の機器２０１１及び第２の機器２０１２はエアコンであり、集音装置２０１３は天井に設置されているマイクである。ユーザがリビングで機器に視線を向けずに「冷房つけて」と発話した場合、ユーザからの距離が最も遠い寝室のエアコンの冷房運転が開始される。
（実施の形態４）
本実施の形態では、上記実施の形態２に係る対話情報提供システムに対して、実施の形態３と同様の変形例を適用した場合について説明する。なお、第１の機器２０１１Ａ及び第２の機器２０１２Ａ、及び機器管理情報２１４２の構成は、実施の形態３と同様である。
図２２は、図１７に示す処理のうち、ユーザの近くの機器を対象機器に設定する処理（Ｓ２３３Ａ及びＳ２３４Ａ）の詳細を示すフローチャートである。
まず、ホームゲートウェイ１１０２は、機器管理情報２１４２に設置場所情報が設定されているかどうか判定する（Ｓ４０１）。設置場所情報が設定されている場合（Ｓ４０１でＹｅｓ）、ホームゲートウェイ１１０２は、ユーザと同じ空間（例えば同じ部屋）に設置されている機器を選択する（Ｓ４０２Ａ）。
一方、設置場所情報が設定されていない場合（Ｓ４０１でＮｏ）、ホームゲートウェイ１１０２は、距離情報に基づき、ユーザから所定の距離以内に存在する機器を選択する（Ｓ４０３Ａ）。例えば、ホームゲートウェイ１１０２は、ユーザを検出した機器を選択する。
また、ステップＳ４０２Ａ及びＳ４０３Ａにおいて、複数の機器が選択された場合（Ｓ４０４でＹｅｓ）、ホームゲートウェイ１１０２は、最もユーザからの距離が近い機器を選択する（Ｓ４０５Ａ）。
以下、この処理の具体例を図２０Ａ〜図２０Ｃの例で説明する。
図２０Ａに示す例では、第１の機器２０１１はリビングに設置されているエアコンであり、第２の機器２０１２は寝室に設置されているエアコンであり、集音装置２０１３は天井に設置されているマイクである。ユーザがリビングで機器に視線を向けずに「あたためて」と発話した場合には、ユーザと同じ部屋に設置されているリビングのエアコンが対象機器として選択される。なお、リビングに複数台のエアコンが設置されている場合は、これらの全てのエアコンが選択されてもよいし、最もユーザに近い機器のみが選択されてもよい。
また、図２０Ｂに示す例では、ユーザからの距離が近い順に第１の機器２０１１、第２の機器２０１２が存在している。第１の機器２０１１及び第２の機器２０１２はエアコンであり、集音装置２０１３は天井に設置されているマイクである。ユーザがリビングで機器に視線を向けずに「冷房つけて」と発話した場合、ユーザからの距離が近いリビングのエアコンの冷房運転が開始される。これにより、ユーザにより快適な環境を提供できる。
また、図２０Ｃに示す例では、第１の機器２０１１はキッチンに設置されている電子レンジであり、第２の機器２０１２はリビングに設置されているエアコンであり、集音装置２０１３はキッチンに設置されているマイク機能を有する表示機器である。ユーザがキッチンで表示機器を利用してレシピを検索しながら「あたためて」と発話した場合にも同様に、発話しているユーザとの距離が閾値以内の機器である電子レンジが選択される。または、ユーザが居る場所をキッチンと特定すると、距離の遠近のみでなく、調理家電カテゴリーの機器である電子レンジを優先することで更にユーザの意図を推定しやすくなる可能性がある。
（実施の形態５）
本実施の形態では、上記実施の形態４の変形例を説明する。また、本実施の形態では、ユーザが自分専用のぬいぐるみ、アバター、又はウェアラブルマイク等を利用して、発話により家電機器の状態を確認又は操作する場合について説明する。具体的には、ユーザが機器に視線を向けずに発話した場合であって、ユーザ専用の集音装置で発話が取得された場合には、そのユーザに対応付けられている機器（例えば、そのユーザの部屋に設置されている機器）が選択される。
図２３は、本実施の形態における対話情報提供システムの一例を示す図である。図２３に示す対話情報提供システムは、図２に示す対話情報提供システムに対してグループ１１００Ａの構成がグループ１１００と異なる。具体的には、グループ１１００Ａは、さらに、集音装置２０１４を含む。集音装置２０１４は、視線検出部２１５１と集音部２１５２を備える。視線検出部２１５１と集音部２１５２の機能は、集音装置２０１３が備える視線検出部２１３１と集音部２１３２と同様である。集音装置２０１４は、更に、ユーザ情報２１５５を保持している。ユーザ情報２１５５は、集音装置２０１３を使用するユーザ（所有者）の名称又は識別子等を示す。
図２４は、本実施の形態における機器管理情報２１４２の一例を示す図である。図２４に示す機器管理情報２１４２Ｄの例では、ホームゲートウェイ１１０２と、第１の機器２０１１であるエアコンと、集音装置２０１３である天井マイクとがリビングに設置され、第２の機器２０１２であるエアコンが子供部屋に設置されている。また、子供が、集音装置２０１４であるウェアラブルマイクを身につけて発話しようとしている。
図２５は、ユーザの近くの機器を対象機器に設定する処理（図１７のＳ２３３Ａ及びＳ２３４Ａ）の詳細を示すフローチャートである。図２５に示す処理は、図２２に示す処理に対してステップＳ４０６及びＳ４０７が追加されている。
設置場所情報が設定されている場合（Ｓ４０１でＹｅｓ）、ホームゲートウェイ１１０２は、ユーザが天井マイクのように設置場所が固定されている設置マイクを利用して発話したかどうか判定する（Ｓ４０６）。ユーザが設置マイクを利用して発話した場合（Ｓ４０６でＹｅｓ）、実施の形態４と同様にステップＳ４０２Ａ以降の処理が行われる。
一方、ユーザが設置マイクを利用して発話していない場合、つまり、そのユーザに対応付けられているウェアラブルマイク等の携帯マイクを利用して発話した場合（Ｓ４０６でＮｏ）、ホームゲートウェイ１１０２は、ユーザの部屋に設置されている機器を選択する（Ｓ４０７）。
この処理の具体例を図２４の例で説明する。
図２４の例では、第１の機器２０１１はリビングに設置されているエアコンであり、第２の機器２０１２はユーザの部屋に設置されているエアコンであり、集音装置２０１４はユーザ専用のウェアラブルマイクである。ユーザは、リビングでウェアラブルマイクを利用して「あたためて」と発話した場合には、ユーザの部屋に設置されている第２の機器２０１２が選択される。
このようにして、「あたためて」のようにユーザが機器を特定する発話をしない場合でも機器を特定して該当機器を制御することが可能になる。
なお、ユーザには予め優先度が設定されていてもよい。これにより、複数のユーザが同時に発話した場合に、より優先度の高いユーザの発話が優先される。例えば、家族内において大人の優先度が子供より高く設定されていてもよい。または、家族の優先度が高く設定されており、来客等の予め登録されていないユーザの優先度が低く設定されてもよい。
なお、ここでは、実施の形態４の変形例として、本実施の形態の動作を説明したが、他の実施の形態に対しても同様の変形例を適用できる。
以上のように、機器特定装置は、複数の集音装置２０１３及び２０１４のいずれかにより収集されたユーザの発話に基づき対象機器を操作する。複数の集音装置２０１３及び２０１４は、ユーザに予め対応付けられている第１の集音装置２０１４を含む。機器特定装置は、第１の集音装置２０１４によりユーザの発話が収集された場合、複数の機器（第１の機器２０１１及び第２の機器２０１２）のうち、ユーザに予め対応付けられている機器を対象機器として特定する。
これにより、ユーザに対応付けられている機器を操作対象として優先させることができる。よって、ユーザの意図しない機器が誤って操作対象に選択されることを抑制できる。
（実施の形態６）
本実施の形態では、上記実施の形態１の変形例を説明する。本実施の形態では、対話情報提供システムは、集音を開始する際にユーザに操作したい機器を明示的に指示してもらえるようユーザを誘導する。具体的には、対話情報提供システムは、ユーザに対象機器の方を向いて発話することを促す。
図２６は、対象機器特定処理（Ｓ２２２）の変形例（Ｓ２２２Ｂ）のフローチャートである。図２６に示す処理は、図１１に示す処理に対してステップＳ２３５及びＳ２３６が追加されている。
視線検出通知の送信元の装置が家電機器でない場合（Ｓ２３１でＮｏ）、ホームゲートウェイ１１０２は、ユーザに対象機器へ視線を向けて発話してもらう通知を行ったかどうか判定する（Ｓ２３５）。通知を行っていない場合（Ｓ２３５でＮｏ）、ホームゲートウェイ１１０２は、ユーザへの情報提示能力を有する集音装置２０１３等に、ユーザにメッセージを伝えるように指示する（Ｓ２３６）。例えば、このメッセージとは「操作したい機器を向いてお話ください」等である。
このようにすることで、より明確にユーザの操作したい機器を特定することが可能になる。
（その他の変形例）
なお、上記実施の形態において説明された技術は、例えば以下の構成によっても実現されうる。
図２７では、視線検出部２１３１と集音部２１３２とが別機器に分離されている。つまり、図２７に示すグループ１１００Ｂは、集音装置２０１３の代わりに、視線検出部２１３１を備える視線検出装置２０１３Ａと、集音部２１３２を備える集音装置２０１３Ｂとを備える。このような構成にすることにより、機器の単価を下げられるだけでなく、機器を小型化及び軽量化できるので機器を携帯しやすくできる。これにより、視線検出の精度を向上できる。
図２８に示すグループ１１００Ｃでは、ホームゲートウェイ１１０２Ａは対話辞書２１４７を保持している。このような構成にすることにより、電波不良又は有線ＬＡＮケーブルが抜けている場合等の通信切断時においても発話による機器制御を実施できる。また、通信可能な場合においても通信によるオーバーヘッドを低減できるため応答性を高めることができる。
なお、この場合、ホームゲートウェイ１１０２Ａ、及び音声対話サーバ２１００の両方で意図理解処理を実施してもよい。この場合、ホームゲートウェイ１１０２Ａが保有する対話辞書２１４７と、音声対話サーバ２１００が保有する対話辞書２１０１とに差異が発生する場合が考えられるため、いずれか一方でしか所望の結果が得られない可能性がある。
図２９に示す例では、ホームゲートウェイ１１０２Ａに対話辞書２１４７が保持され、音声対話サーバ２１００が存在しない。このような構成にすることにより、インターネットに接続していない環境においても発話による機器制御を実施できる。
図３０に示すグループ１１００Ｄでは、ホームゲートウェイ１１０２と集音装置２０１３とが一体化されている。グループ１１００Ｄに含まれるホームゲートウェイ１１０２Ｂは、視線検出部２１３１及び集音部２１３２を備える。このような構成にすることにより、視線検出通知等を機器間通信で行う必要がなくなるため通信によるオーバーヘッドが低減されるので、ユーザへの応答性を向上できる。
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
（サービスの類型１：自社データセンタ型クラウドサービス）
図３１は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１１２０がグループ１１００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ１１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１１２０が、ビッグデータを管理するクラウドサーバ１１１１を保有している。したがって、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ１１２０は、データセンタ（クラウドサーバ）１２０３を運営及び管理している。また、サービスプロバイダ１１２０は、オペレーティングシステム（ＯＳ）１２０２及びアプリケーション１２０１を管理する。サービスプロバイダ１１２０は、サービスプロバイダ１１２０が管理するＯＳ１２０２及びアプリケーション１２０１を用いてサービスを提供する（矢印１２０４）。
（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図３２は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築及び稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社１１１０が、データセンタ（クラウドサーバ）１２０３を運営及び管理している。また、サービスプロバイダ１１２０は、ＯＳ１２０２及びアプリケーション１２０１を管理する。サービスプロバイダ１１２０は、サービスプロバイダ１１２０が管理するＯＳ１２０２及びアプリケーション１２０１を用いてサービスを提供する（矢印１２０４）。
（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図３３は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築及び稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社１１１０は、ＯＳ１２０２を管理し、データセンタ（クラウドサーバ）１２０３を運営及び管理している。また、サービスプロバイダ１１２０は、アプリケーション１２０１を管理する。サービスプロバイダ１１２０は、データセンタ運営会社１１１０が管理するＯＳ１２０２及びサービスプロバイダ１１２０が管理するアプリケーション１２０１を用いてサービスを提供する（矢印１２０４）。
（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図３４は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社１１１０は、アプリケーション１２０１を管理し、ＯＳ１２０２を管理し、データセンタ（クラウドサーバ）１２０３を運営及び管理している。また、サービスプロバイダ１１２０は、データセンタ運営会社１１１０が管理するＯＳ１２０２及びアプリケーション１２０１を用いてサービスを提供する（矢印１２０４）。
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
以上、本開示の実施の形態に係る対話情報提供システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る対話情報提供システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
さらに、本開示は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記フローチャート等に示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る対話情報提供システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、ユーザの発話により複数の機器を操作する機器制御システム、及び複数の機器と接続されるホームゲートウェイにおいて有用である。
１０１０、１０２０ ユーザ
１１００、１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄ グループ
１１０１ 複数の機器
１１０２、１１０２Ａ、１１０２Ｂ ホームゲートウェイ
１１１０ データセンタ運営会社
１１１１ クラウドサーバ
１１２０ サービスプロバイダ
１１２１ サーバ
１２０１ アプリケーション
１２０２ ＯＳ
１２０３ データセンタ
２００１ 第１の空間
２００２ 第２の空間
２０１１、２０１１Ａ 第１の機器
２０１２、２０１２Ａ 第２の機器
２０１３、２０１３Ｂ、２０１４ 集音装置
２０１３Ａ 視線検出装置
２０２０、２０２１ ネットワーク
２１００ 音声対話サーバ
２１０１、２１４７ 対話辞書
２１１１、２１２１、２１３１、２１５１ 視線検出部
２１１２、２１２２、２１３４、２１４５ 機器通信部
２１１３、２１２３ 機器命令実行部
２１１４、２１２４ 距離検出部
２１３２、２１５２ 集音部
２１３３ 情報提示部
２１４１ 機器特定部
２１４２、２１４２Ａ、２１４２Ｂ、２１４２Ｃ、２１４２Ｄ 機器管理情報
２１４３ 音声対話部
２１４４ 機器管理部
２１４６ クラウド通信部
２１５５ ユーザ情報

Claims (17)

  1. 複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置が行う機器特定方法であって、
    前記ユーザの視線が向けられている方向に関する視線情報を取得する取得ステップと、
    前記視線情報に基づき、前記ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、前記複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する判断ステップと、
    前記ユーザの視線が前記第１の領域に向けられていると判断された場合、前記複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を前記対象機器として特定する特定ステップとを含む
    機器特定方法。
  2. 前記判断ステップでは、さらに、前記ユーザの視線が、当該ユーザが視認可能な空間に存在する、前記複数の機器に含まれる第２の機器に向けられているか否かを判断し、
    前記特定ステップでは、前記ユーザの視線が前記第２の機器に向けられていると判断された場合、当該第２の機器を前記対象機器として特定する
    請求項１記載の機器特定方法。
  3. 前記第１の領域は、前記機器特定装置が存在する領域である
    請求項１又は２記載の機器特定方法。
  4. 前記機器特定装置は、前記ユーザの視線が当該機器特定装置に向けられているかを検出する視線検出部を備え、
    前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記機器特定装置に向けられていることを検出した旨を前記視線情報として取得し、
    前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記機器特定装置に向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断する
    請求項３記載の機器特定方法。
  5. 前記機器特定装置は、前記複数の機器とは異なる位置に設置されている集音装置により収集された前記ユーザの発話に基づき前記対象機器を操作し、
    前記第１の領域は、前記集音装置が存在する領域である
    請求項１又は２記載の機器特定方法。
  6. 前記集音装置は、前記ユーザの視線が当該集音装置に向けられているかを検出する視線検出部を備え、
    前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記集音装置に向けられていることを検出した旨を前記視線情報として取得し、
    前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記集音装置に向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断する
    請求項５記載の機器特定方法。
  7. 前記機器特定装置は、前記ユーザの発話に基づき前記対象機器を操作し、
    前記第１の領域は、前記ユーザによる発話の相手であるオブジェクトが存在する領域である
    請求項１又は２記載の機器特定方法。
  8. 前記オブジェクトは、前記ユーザの視線が当該オブジェクトに向けられているかを検出する視線検出部を備え、
    前記取得ステップでは、前記視線検出部が前記ユーザの視線が前記オブジェクトに向けられていることを検出した旨を前記視線情報として取得し、
    前記判断ステップでは、前記視線検出部が前記ユーザの視線が前記オブジェクトに向けられていることを検出した場合に、前記ユーザの視線が前記第１の領域に向けられていると判断する
    請求項７記載の機器特定方法。
  9. 前記機器特定装置は、前記ユーザの発話に基づき前記対象機器を操作し、
    前記第１の領域は、前記ユーザによる発話の相手である仮想オブジェクトが存在する領域である
    請求項１又は２記載の機器特定方法。
  10. 前記取得ステップでは、撮像装置により撮影された、前記ユーザが含まれる画像を前記視線情報として取得し、
    前記判断ステップでは、前記画像を解析することにより、前記ユーザの視線が前記仮想オブジェクトに向けられているか否かを判断し、前記ユーザの視線が前記仮想オブジェクトに向けられていると判断した場合、前記ユーザの視線が前記第１の領域に向けられていると判断する
    請求項９記載の機器特定方法。
  11. 前記機器特定方法は、さらに、
    前記ユーザの発話内容に基づき前記対象機器を制御するための命令を生成し、当該命令を前記対象機器に送信する操作ステップを含む
    請求項１〜１０のいずれか１項に記載の機器特定方法。
  12. 前記機器特定方法は、さらに、
    前記ユーザに対して、前記特定された対象機器を通知するステップを含む
    請求項１〜１０のいずれか１項に記載の機器特定方法。
  13. 前記特定ステップでは、前記ユーザの視線が前記第１の領域に向けられている場合であっても、前記ユーザによる発話の内容に、前記複数の機器に含まれる第３の機器を特定する情報が含まれる場合、前記第３の機器を前記対象機器として特定する
    請求項１〜１２のいずれか１項に記載の機器特定方法。
  14. 前記特定ステップでは、前記ユーザの視線が前記第１の領域に向けられていると判断された場合であっても、前記ユーザによる発話の内容に、所定の空間を特定する情報が含まれる場合、前記複数の機器のうち前記所定の空間に存在する第３の機器を前記対象機器として特定する
    請求項１〜１２のいずれか１項に記載の機器特定方法。
  15. 前記機器特定装置は、複数の集音装置のいずれかにより収集された前記ユーザの発話に基づき前記対象機器を操作し、
    前記複数の集音装置は、前記ユーザに予め対応付けられている第１の集音装置を含み、
    前記機器特定方法は、さらに、
    前記第１の集音装置により前記ユーザの発話が収集された場合、前記複数の機器のうち、前記ユーザに予め対応付けられている機器を、前記対象機器として特定する
    請求項１又は２記載の機器特定方法。
  16. 複数の機器からユーザによる操作対象となる対象機器を特定する機器特定装置であって、
    前記ユーザの視線が向けられている方向に関する視線情報を取得する取得部と、
    前記視線情報に基づき、前記ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、前記複数の機器が存在する位置と異なる第１の領域に向けられているか否かを判断する判断部と、
    前記ユーザの視線が前記第１の領域に向けられていると判断された場合、前記複数の機器のうち、当該ユーザが視認不可能な空間に存在する第１の機器を、前記対象機器として特定する特定部とを備える
    機器特定装置。
  17. 請求項１記載の機器特定方法をコンピュータに実行させるためのプログラム。
JP2015123322A 2015-06-18 2015-06-18 機器特定方法、機器特定装置及びプログラム Active JP6739907B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015123322A JP6739907B2 (ja) 2015-06-18 2015-06-18 機器特定方法、機器特定装置及びプログラム
CN201610320472.4A CN106257355B (zh) 2015-06-18 2016-05-16 设备控制方法和控制器
US15/174,933 US9825773B2 (en) 2015-06-18 2016-06-06 Device control by speech commands with microphone and camera to acquire line-of-sight information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015123322A JP6739907B2 (ja) 2015-06-18 2015-06-18 機器特定方法、機器特定装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017010176A true JP2017010176A (ja) 2017-01-12
JP6739907B2 JP6739907B2 (ja) 2020-08-12

Family

ID=57587054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015123322A Active JP6739907B2 (ja) 2015-06-18 2015-06-18 機器特定方法、機器特定装置及びプログラム

Country Status (3)

Country Link
US (1) US9825773B2 (ja)
JP (1) JP6739907B2 (ja)
CN (1) CN106257355B (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180030A (ja) * 2017-04-03 2018-11-15 三菱電機株式会社 操作装置および操作方法
JP2018190413A (ja) * 2017-05-02 2018-11-29 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
WO2019069588A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 制御システム
WO2019093123A1 (ja) * 2017-11-07 2019-05-16 ソニー株式会社 情報処理装置および電子機器
WO2019202666A1 (ja) * 2018-04-17 2019-10-24 三菱電機株式会社 機器制御システム及び機器制御方法
KR102051011B1 (ko) * 2018-11-27 2019-12-02 오아 주식회사 학습 기반 음성 인식 단말을 제어하는 서버 및 제어 방법
KR102051016B1 (ko) * 2018-11-27 2019-12-02 오아 주식회사 학습 기반 음성 인식 단말을 제어하는 서버 및 제어 방법
JP2020505643A (ja) * 2017-02-15 2020-02-20 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 音声認識方法、電子機器、及びコンピュータ記憶媒体
JP2020060951A (ja) * 2018-10-10 2020-04-16 三菱電機株式会社 制御装置、機器制御システム、機器制御方法及びプログラム
WO2020105680A1 (ja) * 2018-11-22 2020-05-28 ダイキン工業株式会社 空気調和システム
JP2020521997A (ja) * 2017-05-08 2020-07-27 深▲せん▼前海達闥雲端智能科技有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈｅｎｚｈｅｎ） Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏ．， Ｌｔｄ． ロボットのウェイクアップ方法、装置及びロボット
US10726837B2 (en) 2017-11-02 2020-07-28 Hisense Visual Technology Co., Ltd. Voice interactive device and method for controlling voice interactive device
WO2020158615A1 (ja) * 2019-01-29 2020-08-06 ダイキン工業株式会社 空気調和システム
JP2020136695A (ja) * 2019-02-12 2020-08-31 株式会社竹中工務店 設備制御装置、設備制御システム、及び設備制御方法
CN112419666A (zh) * 2020-10-19 2021-02-26 钱继华 一种基于升降控制的智能居住服务方法及其系统
JP2021047012A (ja) * 2019-01-29 2021-03-25 ダイキン工業株式会社 空気調和システム
JP2021047013A (ja) * 2018-11-22 2021-03-25 ダイキン工業株式会社 空気調和システム
JP2021071682A (ja) * 2019-11-01 2021-05-06 東芝ライフスタイル株式会社 機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラム
JP2021521497A (ja) * 2018-05-04 2021-08-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 検出された口運動および／または注視に基づく自動化アシスタントの適応
JP2022154713A (ja) * 2021-03-30 2022-10-13 オーデリック株式会社 照明操作機器及び照明システム
US11493992B2 (en) 2018-05-04 2022-11-08 Google Llc Invoking automated assistant function(s) based on detected gesture and gaze
US11688417B2 (en) 2018-05-04 2023-06-27 Google Llc Hot-word free adaptation of automated assistant function(s)
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US12548558B2 (en) 2022-01-19 2026-02-10 Google Llc Mitigating false positives and/or false negatives in hot word free adaptation of automated assistant

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
JP2017117371A (ja) * 2015-12-25 2017-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、制御装置およびプログラム
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10271093B1 (en) * 2016-06-27 2019-04-23 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11107469B2 (en) * 2017-01-18 2021-08-31 Sony Corporation Information processing apparatus and information processing method
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US10459687B2 (en) * 2017-03-28 2019-10-29 Wipro Limited Method and system for controlling an internet of things device using multi-modal gesture commands
US10573171B2 (en) 2017-05-23 2020-02-25 Lenovo (Singapore) Pte. Ltd. Method of associating user input with a device
US10983753B2 (en) * 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10547936B2 (en) * 2017-06-23 2020-01-28 Abl Ip Holding Llc Lighting centric indoor location based service with speech-based user interface
CN107360157A (zh) * 2017-07-10 2017-11-17 绵阳美菱软件技术有限公司 一种用户注册方法、装置及智能空调器
EP4040289B1 (en) * 2017-07-14 2023-09-20 Daikin Industries, Ltd. Device control system
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10482904B1 (en) 2017-08-15 2019-11-19 Amazon Technologies, Inc. Context driven device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10083006B1 (en) * 2017-09-12 2018-09-25 Google Llc Intercom-style communication using multiple computing devices
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11450314B2 (en) 2017-10-03 2022-09-20 Google Llc Voice user interface shortcuts for an assistant application
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
KR101972545B1 (ko) 2018-02-12 2019-04-26 주식회사 럭스로보 음성 명령을 통한 위치 기반 음성 인식 시스템
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN109166579A (zh) * 2018-09-04 2019-01-08 广州市果豆科技有限责任公司 一种结合人脸信息的语音控制方法及系统
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
KR102168802B1 (ko) * 2018-09-20 2020-10-22 한국전자통신연구원 상호 작용 장치 및 방법
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US10878812B1 (en) * 2018-09-26 2020-12-29 Amazon Technologies, Inc. Determining devices to respond to user requests
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US20200135191A1 (en) * 2018-10-30 2020-04-30 Bby Solutions, Inc. Digital Voice Butler
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
JP2020112692A (ja) * 2019-01-11 2020-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 方法、制御装置、及びプログラム
WO2020158504A1 (ja) * 2019-01-29 2020-08-06 ソニー株式会社 情報機器、情報処理方法、情報処理プログラム、制御装置、制御方法及び制御プログラム
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
CN109817211B (zh) * 2019-02-14 2021-04-02 珠海格力电器股份有限公司 一种电器控制方法、装置、存储介质及电器
CN109884911A (zh) * 2019-03-21 2019-06-14 珠海格力电器股份有限公司 一种家电设备控制器及其控制方法、装置和存储介质
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020246640A1 (ko) 2019-06-05 2020-12-10 엘지전자 주식회사 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
US11838459B2 (en) * 2019-06-07 2023-12-05 Canon Kabushiki Kaisha Information processing system, information processing apparatus, and information processing method
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
CN110300225A (zh) 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11568239B2 (en) * 2019-08-13 2023-01-31 Lg Electronics Inc. Artificial intelligence server and method for providing information to user
CN112413834B (zh) * 2019-08-20 2021-12-17 广东美的制冷设备有限公司 空调系统及空调指令检测方法、控制装置和可读存储介质
CN112445138A (zh) * 2019-08-30 2021-03-05 广东美的制冷设备有限公司 家电设备控制方法、装置及设备
CA3148488A1 (en) * 2019-09-02 2021-03-11 Shenbin ZHAO Vehicle avatar devices for interactive virtual assistant
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN111312250A (zh) * 2020-02-21 2020-06-19 珠海荣邦电子科技有限公司 基于语音的多设备适配控制方法、装置及系统
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US12387716B2 (en) 2020-06-08 2025-08-12 Sonos, Inc. Wakewordless voice quickstarts
CN111833868A (zh) * 2020-06-30 2020-10-27 北京小米松果电子有限公司 语音助手控制方法、装置及计算机可读存储介质
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US12283269B2 (en) 2020-10-16 2025-04-22 Sonos, Inc. Intent inference in audiovisual communication sessions
US12454273B2 (en) 2020-10-22 2025-10-28 Nissan Motor Co., Ltd. Information processing device and information processing method
JP7473002B2 (ja) * 2020-10-22 2024-04-23 日産自動車株式会社 情報処理装置及び情報処理方法
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US12431125B2 (en) * 2021-03-05 2025-09-30 Comcast Cable Communications, Llc Keyword detection
CN113534672B (zh) * 2021-06-28 2025-03-21 青岛海尔空调器有限总公司 用于控制智能设备的方法、装置及智能设备
WO2023272629A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 界面的控制方法、装置和系统
US12327556B2 (en) 2021-09-30 2025-06-10 Sonos, Inc. Enabling and disabling microphones and voice assistants
US12536999B2 (en) 2021-11-04 2026-01-27 Samsung Electronics Co., Ltd. Wearable electronic device and method for controlling electronic devices using vision information
US12327549B2 (en) 2022-02-09 2025-06-10 Sonos, Inc. Gatekeeping for voice intent processing
CN114822530B (zh) * 2022-03-18 2025-07-11 深圳绿米联创科技有限公司 智能设备控制方法、装置、电子设备及存储介质
KR20230143436A (ko) * 2022-04-05 2023-10-12 현대자동차주식회사 대화 시스템 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318843A (ja) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2007121576A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Works Ltd 音声操作装置
WO2014171144A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085500B2 (ja) * 1999-01-29 2008-05-14 株式会社エクォス・リサーチ 車両状況把握装置、エージェント装置、および、車両制御装置
US6654720B1 (en) * 2000-05-09 2003-11-25 International Business Machines Corporation Method and system for voice control enabling device in a service discovery network
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP4296714B2 (ja) * 2000-10-11 2009-07-15 ソニー株式会社 ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム
EP1215658A3 (en) * 2000-12-05 2002-08-14 Hewlett-Packard Company Visual activation of voice controlled apparatus
BR0304830A (pt) * 2002-05-14 2004-08-17 Koninkl Philips Electronics Nv Dispositivo, e, método de comunicação entre um usuário e um aparelho elétrico
CN1174337C (zh) * 2002-10-17 2004-11-03 南开大学 识别人眼注视与否的方法和装置及其应用
WO2006033035A1 (en) * 2004-09-22 2006-03-30 Philips Intellectual Property & Standards Gmbh A device to be used as an interface between a user and target devices
JP3824168B2 (ja) * 2004-11-08 2006-09-20 松下電器産業株式会社 ディジタル映像再生装置
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
JP2008058409A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
CN101601259A (zh) * 2007-01-12 2009-12-09 松下电器产业株式会社 控制便携式终端的语音识别功能的方法和无线通信系统
JPWO2008105252A1 (ja) * 2007-02-28 2010-06-03 コニカミノルタホールディングス株式会社 常時接続型コミュニケーション装置及びその制御方法
CN101084817B (zh) * 2007-04-26 2012-08-22 复旦大学 开放智能计算构架的家用多功能小型服务机器人
US8737323B2 (en) * 2009-07-28 2014-05-27 Interdigital Patent Holdings, Inc. Method and apparatus for using direct wireless links and a central controller for dynamic resource allocation
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
JP2013080015A (ja) 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
CN202514027U (zh) * 2011-10-13 2012-10-31 陈龙胜 一种多功能家居机顶盒
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US9746916B2 (en) * 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9607612B2 (en) * 2013-05-20 2017-03-28 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US9767799B2 (en) * 2013-05-21 2017-09-19 Mitsubishi Electric Corporation Voice recognition system and recognition result display apparatus
CN104348969A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线凝视操作手机的方法
US9607608B2 (en) * 2013-12-09 2017-03-28 Honeywell International Inc. Voice based diagnostic systems and methods
WO2015125274A1 (ja) * 2014-02-21 2015-08-27 三菱電機株式会社 音声認識装置、システムおよび方法
JP6350903B2 (ja) * 2014-05-20 2018-07-04 パナソニックＩｐマネジメント株式会社 操作補助装置および操作補助方法
JP6233650B2 (ja) * 2014-05-20 2017-11-22 パナソニックＩｐマネジメント株式会社 操作補助装置および操作補助方法
CN104253944B (zh) * 2014-09-11 2018-05-01 陈飞 基于目光连接的声音命令下达装置和方法
CN104605793B (zh) * 2014-09-23 2017-09-01 缔奇智能（河南）股份有限公司 地面清洁机器人系统及智能家电系统
CN104539996B (zh) * 2015-01-19 2016-10-12 泰州市通扬塑料制品厂 基于观众状态检测的电视遥控设备
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2002318843A (ja) * 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
JP2007121576A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Works Ltd 音声操作装置
WO2014171144A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505643A (ja) * 2017-02-15 2020-02-20 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 音声認識方法、電子機器、及びコンピュータ記憶媒体
JP2018180030A (ja) * 2017-04-03 2018-11-15 三菱電機株式会社 操作装置および操作方法
JP2018190413A (ja) * 2017-05-02 2018-11-29 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
JP2020521997A (ja) * 2017-05-08 2020-07-27 深▲せん▼前海達闥雲端智能科技有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈｅｎｚｈｅｎ） Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏ．， Ｌｔｄ． ロボットのウェイクアップ方法、装置及びロボット
US11276402B2 (en) 2017-05-08 2022-03-15 Cloudminds Robotics Co., Ltd. Method for waking up robot and robot thereof
JP6994292B2 (ja) 2017-05-08 2022-01-14 達闥机器人有限公司 ロボットのウェイクアップ方法、装置及びロボット
JP2019066731A (ja) * 2017-10-03 2019-04-25 東芝ライフスタイル株式会社 制御システム
WO2019069588A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 制御システム
US11302328B2 (en) 2017-11-02 2022-04-12 Hisense Visual Technology Co., Ltd. Voice interactive device and method for controlling voice interactive device
US10726837B2 (en) 2017-11-02 2020-07-28 Hisense Visual Technology Co., Ltd. Voice interactive device and method for controlling voice interactive device
JP7215417B2 (ja) 2017-11-07 2023-01-31 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019093123A1 (ja) * 2017-11-07 2019-05-16 ソニー株式会社 情報処理装置および電子機器
JPWO2019093123A1 (ja) * 2017-11-07 2020-09-24 ソニー株式会社 情報処理装置および電子機器
JPWO2019202666A1 (ja) * 2018-04-17 2020-12-03 三菱電機株式会社 機器制御システム及び機器制御方法
US11533191B2 (en) 2018-04-17 2022-12-20 Mitsubishi Electric Corporation Apparatus control system and apparatus control method
WO2019202666A1 (ja) * 2018-04-17 2019-10-24 三菱電機株式会社 機器制御システム及び機器制御方法
KR20240067114A (ko) * 2018-05-04 2024-05-16 구글 엘엘씨 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출
KR20230121930A (ko) * 2018-05-04 2023-08-21 구글 엘엘씨 감지된 입 움직임 및/또는 시선을 기반으로 자동화된어시스턴트 적응
US11688417B2 (en) 2018-05-04 2023-06-27 Google Llc Hot-word free adaptation of automated assistant function(s)
KR102677096B1 (ko) * 2018-05-04 2024-06-21 구글 엘엘씨 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응
US11614794B2 (en) 2018-05-04 2023-03-28 Google Llc Adapting automated assistant based on detected mouth movement and/or gaze
KR102817837B1 (ko) * 2018-05-04 2025-06-09 구글 엘엘씨 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출
US11493992B2 (en) 2018-05-04 2022-11-08 Google Llc Invoking automated assistant function(s) based on detected gesture and gaze
JP2021521497A (ja) * 2018-05-04 2021-08-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 検出された口運動および／または注視に基づく自動化アシスタントの適応
KR102916605B1 (ko) * 2018-05-04 2026-01-22 구글 엘엘씨 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응
JP2020060951A (ja) * 2018-10-10 2020-04-16 三菱電機株式会社 制御装置、機器制御システム、機器制御方法及びプログラム
JP7397341B2 (ja) 2018-11-22 2023-12-13 ダイキン工業株式会社 空気調和システム
WO2020105680A1 (ja) * 2018-11-22 2020-05-28 ダイキン工業株式会社 空気調和システム
JP2021047013A (ja) * 2018-11-22 2021-03-25 ダイキン工業株式会社 空気調和システム
JP2020085313A (ja) * 2018-11-22 2020-06-04 ダイキン工業株式会社 空気調和システム
KR102051016B1 (ko) * 2018-11-27 2019-12-02 오아 주식회사 학습 기반 음성 인식 단말을 제어하는 서버 및 제어 방법
KR102051011B1 (ko) * 2018-11-27 2019-12-02 오아 주식회사 학습 기반 음성 인식 단말을 제어하는 서버 및 제어 방법
WO2020158615A1 (ja) * 2019-01-29 2020-08-06 ダイキン工業株式会社 空気調和システム
JP2020122585A (ja) * 2019-01-29 2020-08-13 ダイキン工業株式会社 空気調和システム
JP7364923B2 (ja) 2019-01-29 2023-10-19 ダイキン工業株式会社 空気調和システム、サーバ、空気調和システムの制御方法、プログラム及び記録媒体
CN113348329A (zh) * 2019-01-29 2021-09-03 大金工业株式会社 空气调节系统
US11852366B2 (en) 2019-01-29 2023-12-26 Daikin Industries, Ltd. System and method to control an air conditioning system using a voice command
JP2021047012A (ja) * 2019-01-29 2021-03-25 ダイキン工業株式会社 空気調和システム
JP2020136695A (ja) * 2019-02-12 2020-08-31 株式会社竹中工務店 設備制御装置、設備制御システム、及び設備制御方法
JP7505704B2 (ja) 2019-02-12 2024-06-25 株式会社竹中工務店 設備制御装置、設備制御システム、及び設備制御方法
JP7433841B2 (ja) 2019-11-01 2024-02-20 東芝ライフスタイル株式会社 機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラム
JP2021071682A (ja) * 2019-11-01 2021-05-06 東芝ライフスタイル株式会社 機器操作システム、機器操作方法、情報処理装置及びコンピュータプログラム
CN112419666A (zh) * 2020-10-19 2021-02-26 钱继华 一种基于升降控制的智能居住服务方法及其系统
JP7636782B2 (ja) 2021-03-30 2025-02-27 オーデリック株式会社 照明操作機器及び照明システム
JP2022154713A (ja) * 2021-03-30 2022-10-13 オーデリック株式会社 照明操作機器及び照明システム
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US12424222B2 (en) 2022-01-19 2025-09-23 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US12548558B2 (en) 2022-01-19 2026-02-10 Google Llc Mitigating false positives and/or false negatives in hot word free adaptation of automated assistant

Also Published As

Publication number Publication date
JP6739907B2 (ja) 2020-08-12
US9825773B2 (en) 2017-11-21
CN106257355B (zh) 2021-02-09
US20160373269A1 (en) 2016-12-22
CN106257355A (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
JP6739907B2 (ja) 機器特定方法、機器特定装置及びプログラム
JP6516585B2 (ja) 制御装置、その方法及びプログラム
US20210050013A1 (en) Information processing device, information processing method, and program
US12001754B2 (en) Context based media selection based on preferences setting for active consumer(s)
JP6475386B2 (ja) 機器の制御方法、機器、及びプログラム
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
JP6767206B2 (ja) 応答システム
JP7622956B2 (ja) 装置及びプログラム等
CN107408027B (zh) 信息处理设备、控制方法及程序
CN106653008B (zh) 一种语音控制方法、装置及系统
CN117193704A (zh) 用于语音接口设备的对话感知主动通知
CN117351953A (zh) 语音接口设备处的聚焦会话
EP3419020B1 (en) Information processing device, information processing method and program
WO2016052018A1 (ja) 家電管理システム、家電、リモコン装置、ロボット
KR102209092B1 (ko) 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템
JP6619488B2 (ja) 人工知能機器における連続会話機能
JP2016090655A (ja) 音声認識ロボットシステム、音声認識ロボット、音声認識ロボットの制御装置、音声認識ロボットを制御するための通信端末、およびプログラム
CN104506586A (zh) 一种通过手势调节音量的智能耳机系统及调节方法
JP2021002062A (ja) 応答システム
CN110164426B (zh) 语音控制方法和计算机存储介质
US20200160833A1 (en) Information processor, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200722

R150 Certificate of patent or registration of utility model

Ref document number: 6739907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150