JP6710037B2

JP6710037B2 - 通信装置

Info

Publication number: JP6710037B2
Application number: JP2015208939A
Authority: JP
Inventors: 和永加藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-10-23
Filing date: 2015-10-23
Publication date: 2020-06-17
Anticipated expiration: 2035-10-23
Also published as: US10650825B2; WO2017068560A1; JP2017083526A; US20180286407A1; CN108475504A

Description

本開示は、複数のデバイスが通信することで、これらデバイスが連携して動作するシステムに関し、これらデバイス間の連携の信頼性を向上させる技術に関する。

従来より、例えば家屋などの施設において、複数のデバイスが通信するシステムが利用されている。例えば、情報家電が家庭内のネットワークにより接続され、ユーザの携帯端末から、これら情報家電に対して指令を送信することで、ユーザが情報家電を制御することを可能としている。こうすることでユーザの利便性が高まるため、様々な技術が検討されている。例えば、特開２０１２−３７７８３号公報（特許文献１）は、利便性を低下させることなく、操作性を向上させた情報家電システムについて記載している。特許文献１の技術によると、音声認識手段による音声認識の結果を、認識結果情報として情報家電に送信する。これにより、ネットワークにより接続される情報家電からなるシステムにおいて、ユーザが携帯端末に対して音声入力をすることにより、音声認識サーバを経由して情報家電を制御することができる。

特開２０１２−３７７８３号公報特開２００６−１７９３６号公報

セキュリティ対策等の観点から、情報家電の動作を制御することができるユーザを限定したいことがある。例えば、施設内に設置されるテレビ、エアコンその他の情報家電の動作を制御することができるユーザを、施設に居住するユーザ、または、施設を管理するユーザその他のユーザに限定したいことがある。しかし、特許文献１の技術によると、音声により情報家電に指令を行うユーザが誰であるかにかかわらず、音声認識により示される指令内容に基づいて各情報家電を制御している。また、個人を識別するための情報をユーザが音声入力する等によりユーザを特定するための情報を音声認識サーバへ送信する場合、セキュリティの観点から、これら個人を識別するための情報を秘匿化する等の処理を要する。

したがって、複数のデバイスが通信するシステムにおいて、情報家電の制御にかかるセキュリティを一定水準以上に発揮させつつ情報家電の動作を容易に制御することができる技術が必要とされている。本開示は、これら複数のデバイスが通信するシステムにおいて、デバイス間の連携の信頼性を向上させる技術を提供することを目的としている。

一実施形態に従う通信装置は、１以上の通信機器と通信可能に構成されている。通信装置は、音声の入力を受け付けて、受け付けた音声に基づく音声信号を出力するように構成された音声処理部と、通信装置の動作を制御するように構成された制御部とを備える。制御部は、受け付けた音声信号と、ユーザを識別するために記憶部に蓄積される音声データとに基づいて、ユーザを認証する処理を行うユーザ識別部と、受け付けた音声信号に音声認識処理を行うことにより、受け付けた音声に示されるユーザの指示内容を判別する指示判別部と、ユーザ識別部によりユーザが認証され、指示判別部によりユーザの指示内容が判別された場合に、判別されたユーザの指示内容に関連する通信機器に対して指示内容にかかる指令を送信する連携機器処理部とを含む。

一実施形態に従う通信装置は、サーバ装置と通信可能なものである。サーバ装置は、ユーザを識別するための音声データを記憶するように構成されている。通信装置は、１以上の通信機器と通信可能に構成されている。通信装置は、音声の入力を受け付けて、受け付けた音声に基づく音声信号を出力するように構成された音声処理部と、通信装置の動作を制御するように構成された制御部とを備える。制御部は、音声信号をサーバ装置に送信することにより、音声信号に基づくユーザを認証する処理、および、音声信号に示されるユーザの指示内容を判別する処理をサーバ装置に行わせ、処理結果をサーバ装置から受信し、サーバ装置によりユーザが認証され、ユーザの指示内容が判別された場合に、判別されたユーザの指示内容に関連する通信機器に対して指示内容にかかる指令を送信する連携機器処理部を含む。

一実施形態によると、ユーザが認証され、ユーザの指示内容が音声認識処理により判別した場合に通信機器に対して通信装置が指令を送信するため、情報家電などの通信機器を制御することができるユーザを限定しつつ、音声認識により情報家電をユーザが容易に制御することができる。そのため、デバイス間の連携の信頼性を向上させることができる。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

本実施形態の情報家電システムの概要を示す図である。通信装置１０の構成とサーバ２０の構成とを示すブロック図である。装着型通信機器３０の構成の概略を示す図である。通信装置１０がユーザの音声の入力を受け付けて、受け付けた音声に基づきユーザを認証する処理およびユーザの指示内容を判別し、処理結果に応じて情報家電４０に指令を送信する処理を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜実施の形態＞
本実施形態では、スマートフォンなどの通信装置と、テレビ、エアコンなどの情報家電（通信機器）とによって構成される情報家電システムについて説明する。

図１は、本実施形態の情報家電システムの概要を示す図である。図１に示すように、情報家電システムは、スマートフォンなどの通信装置１０Ａと、情報家電４０Ａ（テレビ）、情報家電４０Ｂ（エアコン）などの通信機器（以下、情報家電４０Ａ、情報家電４０Ｂなどの情報家電を「情報家電４０」と総称することもある）とが通信可能に構成されている。例えば、通信装置１０Ａは、施設内に設置されるブロードバンドルータ９１を介して情報家電４０と通信する。装着型通信機器３０は、ユーザが装着するウェアラブルデバイスである。装着型通信機器３０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線規格に従って通信装置１０Ａと通信する。例えば、装着型通信機器３０は、ユーザの音声入力を受け付けるマイクを備えており、マイクで受け付けた音声を音声信号に変換して通信装置１０Ａへ送信する。

通信装置１０Ａは、ブロードバンドルータ９１を介してネットワーク９０と接続する。通信装置１０Ｂは、無線基地局９２を介してネットワーク９０と接続する。通信装置１０Ａと通信装置１０Ｂとは、ネットワーク９０を介してサーバ２０と通信する。通信装置１０Ｂは、ネットワーク９０を介して情報家電４０の動作を制御するための指令を送信することができる。以下、通信装置１０Ａと通信装置１０Ｂとを「通信装置１０」と総称することもある。

サーバ２０は、通信装置１０Ａ等から音声信号を受け付けて、音声認識処理を行う。サーバ２０は、音声認識処理を行うことにより、音声入力を行ったユーザの意図を特定して、音声認識処理の結果を通信装置１０Ａ等へ応答する。

通信装置１０Ａおよび通信装置１０Ｂは、例えばスマートフォンであるが、これに限られない。通信装置１０Ａおよび通信装置１０Ｂは、３Ｇ、ＬＴＥ（Long Term Evolution）、高速無線ＬＡＮ（Local Area Network）規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの複数の無線通信規格に対応している。図１に示すように、通信装置１０Ａのユーザは、家に滞在している。家には様々な情報家電４０（例えば、テレビ４０Ａおよびエアコン４０Ｂ）が設置されている。情報家電４０は、通信機能を有しており、ブロードバンドルータ９１と通信することにより、ネットワーク９０を介してサーバ２０と通信することができる。情報家電４０に含まれる各家電機器は、逐次、動作状況をサーバ２０へ送信する。サーバ２０は、情報家電４０に含まれる各家電機器の動作状況を、ネットワーク９０を介して受信し、受信した動作状況の情報を蓄積する。

＜構成＞
図２を参照して、本実施形態にかかる各装置を詳細に説明する。

図２は、通信装置１０の構成とサーバ２０の構成とを示すブロック図である。通信装置１０と装着型通信機器３０とは互いに通信可能である。

図２に示すように、通信装置１０は、アンテナ１０１と、無線通信部１１１と、物理操作キー１３１と、操作受付部（タッチパネル）１４１と、ディスプレイ１４２と、電源制御部１４３と、カメラ１４５と、音声処理部１４６と、マイク１４７と、スピーカ１４８と、記憶部１５０と、制御部１６０とを含む。

アンテナ１０１は、通信装置１０が発する信号を電波として放射する。また、アンテナ１０１は、空間から電波を受信して受信信号を無線通信部１１１へ与える。本実施形態では、通信装置１０は、複数の無線通信規格に対応している。

無線通信部１１１は、通信装置１０が他の無線機器と通信するため、アンテナ１０１等を介して信号を送受信するための変復調処理などを行う。無線通信部１１１は、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。無線通信部１１１は、通信装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１６０へ与える。

物理操作キー１３１は、物理的な入力装置であり、ユーザによる押下操作を受け付ける。物理操作キー１３１は、ユーザの押下操作に応じて、操作内容を示す信号を制御部１６０へ出力する。

操作受付部１４１は、ユーザの入力操作を受け付ける。操作受付部１４１は、例えば静電容量方式のタッチパネルを用いることによって、ユーザの接触位置を検出する。操作受付部１４１は、検出したユーザの接触位置を示す信号を入力操作として制御部１６０へ出力する。

ディスプレイ１４２は、制御部１６０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１４２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

電源制御部１４３は、通信装置１０の各回路に対する電力の供給を制御する。電源制御部１４３は、例えば電源制御用ＩＣ（Integrated Circuit）である。バッテリ１４４は、通信装置１０の各回路を動作させるための電力を供給する供給源である。バッテリ１４４に充電される電力は、電源制御部１４３の制御に従って各回路へ供給される。

音声処理部１４６は、音声信号の変復調を行う。音声処理部１４６は、マイク１４７から与えられる信号を変調して、変調後の信号を制御部１６０へ与える。また、音声処理部１４６は、音声信号をスピーカ１４８へ与える。音声処理部１４６は、例えば音声処理用のプロセッサによって実現される。マイク１４７は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４６へ与える。スピーカ１４８は、音声処理部１４６から与えられる音声信号を音声に変換して当該音声を通信装置１０の外部へ出力する。

記憶部１５０は、例えばフラッシュメモリ等により構成され、通信装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１５０は、ユーザ音声情報１５１と、機器管理情報１５２とを記憶する。また、記憶部１５０は、ユーザが複数である場合に、複数のユーザそれぞれについて、指令を送信可能な情報家電４０および送信可能な指令内容の情報を管理して記憶する。

ユーザ音声情報１５１は、音声によりユーザを識別するために記憶部１５０に記憶される、ユーザのサンプルの音声データである。例えば、通信装置１０は、ユーザが通話等を行う都度、ユーザの音声をサンプリングしてユーザ音声情報１５１として記憶する。

機器管理情報１５２は、通信装置１０が通信する情報家電４０を管理するための情報である。情報家電４０を管理するための情報とは、例えば、通信装置１０が情報家電４０と通信するためのアドレス（ＭＡＣ（media access control）アドレスなど）などである。例えば、通信装置１０は、ビーコン信号を送出すること等により、通信装置１０と通信中の情報家電４０のリストを機器管理情報１５２として記憶部１５０に記憶する。

制御部１６０は、記憶部１５０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、通信装置１０の動作を制御する。制御部１６０は、例えばアプリケーションプロセッサである。制御部１６０は、プログラムに従って動作することにより、音声入力受付部１６１と、ユーザ識別部１６２と、指示判別部１６３と、連携機器処理部１６４としての機能を発揮する。

音声入力受付部１６１は、マイク１４７によりユーザの音声の入力を受け付けて、音声信号を生成する。

ユーザ識別部１６２は、音声入力受付部１６１により生成された音声信号と、ユーザを識別するために記憶部１５０に蓄積されるユーザ音声情報１５１とに基づいて、ユーザを認証する処理を行う。ユーザ識別部１６２は、ユーザが複数である場合に、複数のユーザのうちいずれのユーザが音声を通信装置１０に入力したかを認証する。

指示判別部１６３は、音声入力受付部１６１により生成された音声信号に音声認識処理を行うことにより、音声に示されるユーザの指示内容を判別する。

連携機器処理部１６４は、ユーザ識別部１６２によりユーザが認証され、指示判別部１６３によりユーザの指示内容が判別された場合に、判別されたユーザの指示内容に関連する情報家電４０に対して、指示内容にかかる指令を送信する。連携機器処理部１６４は、指示判別部１６３によるユーザの指示内容の判別結果が、通信装置１０と通信可能な１以上の情報家電４０に対する指示である場合に、その指令を、指令の送信対象となる情報家電４０へ送信する。連携機器処理部１６４は、ユーザの指示内容に関連する情報家電４０が複数ある場合に、いずれの情報家電４０に対して指令を送信するかの選択操作をユーザから受け付けて、選択結果に基づいて、各情報家電の優先度を設定し、設定された優先度に基づいて、選択対象となる情報家電の候補をユーザに報知する。連携機器処理部１６４は、ユーザ識別部１６２によるユーザの認証と、指示判別部１６３によるユーザの指示内容の判別とのうち少なくともいずれかに失敗した場合に、情報家電４０に対する指令の送信を停止する。連携機器処理部１６４は、ユーザ識別部１６２により認証されたユーザについて、指令を送信可能な情報家電４０および送信可能な指令内容の情報の管理内容に従って、指令を情報家電４０に送信する。

図２を参照して、サーバ２０は、通信部２０２と、記憶部２０６と、制御部２０７とを含む。記憶部２０６は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＲＡＭ（Random Access Memory）等により構成され、サーバ２０が使用するプログラムを記憶し、サーバ２０が使用する各種のデータを蓄積する。通信部２０２は、サーバ２０が他の通信機器と通信するための変復調処理などを行う通信インタフェースである。

ある局面において、記憶部２０６は、ユーザ音声情報２６１と、機器管理情報２６２とを記憶する。ユーザ音声情報２６１は、音声によりユーザを識別するための、ユーザのサンプルの音声データである。予めメモリに記憶されるユーザのサンプルの音声と、マイク１４７等により入力される音声とを比較することによるユーザの認証処理は、通信装置１０が行うが、この他に、サーバ２０が通信装置１０からマイク１４７等により入力される音声を受信して、受信した音声と、ユーザ音声情報２６１とを比較することで行うこととしてもよい。

機器管理情報２６２は、通信装置１０が通信する情報家電４０を管理するための情報である。機器管理情報２６２は、例えば、施設内に配置される情報家電４０のアドレス、情報家電４０の消費電力の情報その他の情報を含む。

制御部２０７は、記憶部２０６に記憶されるプログラムを読み込んで実行することにより、サーバ２０の動作を制御する。制御部２０７は、例えば複数のプロセッサによって実現される。制御部２０７は、プログラムに従って動作することにより、通話処理部２７１と、ユーザ識別部２７２と、指示判別部２７３と、連携機器処理部２７４として機能する。

通話処理部２７１は、通信装置１０Ａと通信装置１０Ｂとが、例えば通話アプリケーションを使用して通話処理を行う際に、これら通信装置間の通信接続の確立および音声データの送受信を行う。

ユーザ識別部２７２は、通信装置１０の音声入力受付部１６１により生成された音声信号を受信して、受信した音声信号と、ユーザを識別するために記憶部２０６に蓄積されるユーザ音声情報２６１とに基づいて、ユーザを認証する処理を行う。ユーザ識別部２７２は、ユーザが複数である場合に、複数のユーザのうちいずれのユーザが音声を通信装置１０に入力したかを認証する。

指示判別部２７３は、通信装置１０の音声入力受付部１６１により生成された音声信号に音声認識処理を行うことにより、音声に示されるユーザの指示内容を判別する。

連携機器処理部２７４は、ユーザ識別部１６２によりユーザが認証され、指示判別部１６３によりユーザの指示内容が判別された場合に、判別されたユーザの指示内容に関連する情報家電４０に対して、指示内容にかかる指令を送信する。

このように、ユーザの音声のサンプルデータに基づき、通信装置１０に対して音声入力をしたユーザを認証する処理と、音声信号に対して音声認識処理を行うことによりユーザの指示内容を判別する処理と、判別されたユーザの指示内容に関連する情報家電４０に対して指令を送信する処理とを、通信装置１０の他にサーバ２０が行うこととしてもよい。

図３は、装着型通信機器３０の構成の概略を示す図である。装着型通信機器３０は、人体に装着される装置であり、例えば、腕時計型のデバイス、メガネ型のデバイス、腕輪型のデバイスなど様々な形態により実現される。装着型通信機器３０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格により通信装置１０と接続され、通信装置１０と連携して様々な処理を行う。例えば、装着型通信機器３０は、様々な通知（メッセージングアプリケーションの新着メッセージなど）を通信装置１０から受信して、音声等によりユーザに通知を報知する。

図３に示すように、装着型通信機器３０は、アンテナ３０１と、無線通信部３１１と、物理操作キー３３１と、操作受付部（タッチパネル）３４１と、ディスプレイ３４２と、音声処理部３４６と、マイク３４７と、スピーカ３４８と、記憶部３５０と、制御部３６０とを含む。

アンテナ３０１は、装着型通信機器３０が発する信号を電波として放射する。また、アンテナ３０１は、空間から電波を受信して受信信号を無線通信部３１１へ与える。本実施形態では、装着型通信機器３０は、複数の無線通信規格に対応している。

無線通信部３１１は、アンテナ３０１等を介して信号を送受信するための変復調処理などを行う。無線通信部３１１は、チューナー、ＲＳＳＩ算出回路、ＣＲＣ算出回路、高周波回路などを含む通信モジュールである。無線通信部３１１は、装着型通信機器３０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部３６０へ与える。

物理操作キー３３１は、物理的な入力装置であり、ユーザによる押下操作を受け付ける。物理操作キー３３１は、ユーザの押下操作に応じて、操作内容を示す信号を制御部３６０へ出力する。例えば、装着型通信機器３０が腕時計型のウェアラブルデバイスである場合、物理操作キー３３１は、腕時計に備わる竜頭などである。

操作受付部３４１は、ユーザの入力操作を受け付ける。操作受付部３４１は、例えば静電容量方式のタッチパネルを用いることによって、ユーザの接触位置を検出する。操作受付部３４１は、検出したユーザの接触位置を示す信号を入力操作として制御部３６０へ出力する。

ディスプレイ３４２は、制御部３６０の制御に応じて、画像、動画、テキストその他の情報を表示する。ディスプレイ３４２は、例えばＬＣＤや有機ＥＬディスプレイによって実現される。

音声処理部３４６は、音声信号の変復調を行う。音声処理部３４６は、マイク３４７から与えられる信号を変調して、変調後の信号を制御部３６０へ与える。また、音声処理部３４６は、音声信号をスピーカ３４８へ与える。音声処理部３４６は、例えば音声処理用のプロセッサによって実現される。

マイク３４７は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部３４６へ与える。スピーカ３４８は、音声処理部３４６から与えられる音声信号を音声に変換して当該音声を装着型通信機器３０の外部へ出力する。

記憶部３５０は、例えばフラッシュメモリ等により構成され、装着型通信機器３０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部３５０は、ユーザ音声データ３５２を記憶する。ユーザ音声データ３５２は、装着型通信機器３０がマイク３４７を介して入力を受け付けた音声に対してデジタル変換処理を行うことで生成される音声信号を示すデータである。

制御部３６０は、記憶部３５０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、装着型通信機器３０の動作を制御する。制御部３６０は、例えばアプリケーションプロセッサである。制御部３６０は、プログラムに従って動作することにより、通信処理部３６１と、音声入力受付部３６２としての機能を発揮する。

通信処理部３６１は、装着型通信機器３０が通信装置１０等の外部の装置と通信接続を確立し、外部の装置とデータを送受信する処理を行う。例えば、装着型通信機器３０は、通信装置１０とＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ規格等により通信接続する。

音声入力受付部３６２は、装着型通信機器３０がマイク３４７を介して音声の入力を受け付けて、受け付けた音声に対してデジタル変換処理を行った音声信号を生成する処理を行う。

＜動作＞
図４を参照して、本実施形態の情報家電システムを構成する通信装置１０の動作を説明する。

図４は、通信装置１０がユーザの音声の入力を受け付けて、受け付けた音声に基づきユーザを認証する処理およびユーザの指示内容を判別し、処理結果に応じて情報家電４０に指令を送信する処理を示すフローチャートである。

ステップＳ１０１において、通信装置１０は、マイク１４７を介して、ユーザの音声入力を受け付ける。ユーザは、情報家電４０に対する指令を含む音声をマイク１４７に入力する。

ステップＳ１０２において、通信装置１０は、通話処理時等においてユーザの音声をサンプルデータとして蓄積したユーザ音声情報１５１と、ステップＳ１０１において入力を受け付けた音声による音声信号とを比較することにより声紋判別処理を行う。これにより、通信装置１０は、ユーザの認証を行う。通信装置１０は、声紋判別処理によりユーザを認証した場合（ステップＳ１０２においてＹＥＳ）、ステップＳ１０３の処理を行い、声紋判別処理の結果、ユーザを認証することに失敗した場合（ステップＳ１０２においてＮＯ）、ステップＳ１０４の処理を行う。

ステップＳ１０３において、通信装置１０は、ステップＳ１０１において入力を受け付けた音声による音声信号に対して音声認識処理を行うことで、ユーザによる情報家電４０への指令を含むユーザの意図を解釈する。

ステップＳ１０４において、通信装置１０は、音声によるユーザの認証に失敗したことを、ディスプレイ１４２への表示、スピーカ１４８による音声出力によってユーザに通知する。

ステップＳ１０５において、通信装置１０は、ステップＳ１０３の処理によるユーザの意図の解釈の結果、通信装置１０が通信処理により連携している情報家電４０が処理する内容か否かを判別する。例えば、通信装置１０は、ステップＳ１０３の処理によるユーザの意図の解釈の結果において、情報家電４０を識別する情報（例えば、ユーザの音声信号において、機器「エアコン」、機器「テレビ」など）を抽出する。通信装置１０は、ユーザが指定した情報家電４０と通信装置１０とが通信可能であるか否かを、機器管理情報１５２を参照することで判定する。また、通信装置１０は、ステップＳ１０３の処理によるユーザの意図の解釈の結果において、ユーザが情報家電４０に対して指令する内容が、ユーザが指定した情報家電４０において実行可能であるか判定する。通信装置１０は、例えば、機器「エアコン」に対して、設定温度を変更する指令内容であれば、機器「エアコン」が実行可能である処理であると判定する。このように、通信装置１０は、ユーザの意図の解釈の結果において、ユーザが指定する機器と、通信装置１０とが通信処理により連携しているか否か、また、ユーザが指定した機器に対して、ユーザの指令内容が実行可能であるか否かを判定する。例えば、機器管理情報１５２において、通信装置１０が通信により連携している機器の識別情報と、これら機器に対して送信することができる指令とが対応付けられている。ステップＳ１０３の処理によるユーザの意図の解釈の結果、通信装置１０が通信処理により連携している情報家電４０が処理する内容である場合（ステップＳ１０５においてＹＥＳ）、通信装置１０は、ステップＳ１０６の処理を行い、そうでない場合（ステップＳ１０５においてＮＯ）、通信装置１０は、ステップＳ１０７の処理を行う。

ステップＳ１０６において、通信装置１０は、ステップＳ１０３の処理によるユーザの意図の解釈の結果、ユーザが指定する情報家電４０が複数存在するか否かを判定する。通信装置１０は、ユーザの意図の解釈の結果において、情報家電４０を識別する情報を抽出し、抽出結果に基づいて、複数の機器に対する指令を含むか否かを判定する。例えば、ユーザの音声信号において、機器「エアコン」、機器「テレビ」のように、機器を識別する情報が複数含まれる場合に、通信装置１０は、ユーザが指定する情報家電４０が複数存在すると判定する。通信装置１０は、ユーザの意図の解釈の結果において、複数の機器に対する指令を含むと判定した場合（ステップＳ１０６においてＹＥＳ）、ステップＳ１０８の処理を行い、そうでない場合（ステップＳ１０６においてＮＯ）、ステップＳ１１０の処理を行う。

ステップＳ１０７において、通信装置１０は、ユーザの音声による指令を送信すべき情報家電４０がないことを示すエラーの通知を、ディスプレイ１４２への表示、スピーカ１４８による音声出力によってユーザに通知する。

ステップＳ１０８において、通信装置１０は、複数の情報家電４０のうち、どの機器に対してユーザの指令を送信すべきかの指定をユーザに選択させるため、ディスプレイ１４２に選択対象となる機器の候補を表示する、またはスピーカ１４８で選択対象となる機器の候補を音声出力し、マイク１４７でユーザから音声入力により機器の指定を受け付ける等により、ユーザによる機器の選択を受け付ける。

ステップＳ１０９において、通信装置１０は、ステップＳ１０８でユーザから選択を受け付けた機器を記憶する。通信装置１０は、ユーザが選択した機器の情報を履歴として記憶することで、次回、複数の機器に対する指令をユーザが行った場合に、ユーザから機器の選択を受け付ける際、ユーザが選択した機器の履歴に応じて、例えばユーザの選択回数が多い機器を優先して選択候補としてユーザに通知する。例えば、通信装置１０は、ユーザが指定する情報家電４０が複数ある場合に、ユーザが機器を選択した回数の履歴に基づき、選択回数が多い機器を優先してディスプレイ１４２に表示する。

ステップＳ１１０において、通信装置１０は、ユーザの指令に関連する情報家電４０（ユーザの意図の解釈の結果において、ユーザが指定する情報家電４０が複数存在する場合は、ユーザによって選択された情報家電４０）に対し、ステップＳ１０３で解釈したユーザの意図に従う指令を通知する。例えば、通信装置１０は、ユーザからの入力音声に対する音声認識処理により、機器「エアコン」に対して、指令内容「電源オフ」等の指令を送信する。

ステップＳ１１１において、通信装置１０からユーザの指令を受信した情報家電４０は、通信装置１０から受信した指令に応じた処理を行う。

＜まとめ＞
従来、ユーザによって入力された音声に対し、音声認識処理を行うことにより、情報家電に対して動作指示を行う通信装置がある。しかし、ユーザの認証を行わないで音声認識処理によって情報家電への動作指示を行うことは、第三者による情報家電に対する操作を可能とすることとなり、セキュリティの観点から課題がある。そのため、セキュリティ対策を行うために、別途、ユーザを識別するための情報などをユーザが音声入力し、入力された音声に基づく音声信号を音声認識サーバ等に送信するなどの対応が必要となる。特に、ユーザの認証において、秘匿することが望ましい情報（ＩＤ情報など）を音声入力すること、また、音声認識サーバ等へ送信することについて、セキュリティの観点から別途対策が必要となる。

これに対し、本実施形態によると、ユーザの音声を、例えば通話処理時等においてサンプルデータとして保持し、通信装置１０に蓄積させることで、ユーザの音声の認識精度を向上させる通信装置１０を使用している。このようにして通信装置１０に蓄積されたユーザのサンプルの音声データに基づいて、通信装置１０に入力された音声と比較してユーザの認証を行うため、ユーザの認証を容易に行うことができる。

さらに、ユーザが通信装置１０に入力した音声に基づく音声信号に対して通信装置１０が音声認識処理を行うことで、通信装置１０が連携する情報家電４０と、Ｍ２Ｍ（Machine to Machine）技術により、ユーザの音声の音声認識処理結果を共有することができる。

通信装置１０は、音声認識処理により、ユーザの意図を解釈し、解釈結果に応じて、適切な情報家電４０に対し、音声認識処理の結果に基づく処理を指示することができる。これにより、セキュリティの高い音声認識処理、および、適切なデバイスへの処理実施が可能となる。さらに、通信装置１０が、複数のユーザによる操作に対応している場合、複数のユーザのそれぞれについて、ユーザの認証および音声認識処理に基づく情報家電４０への指令を行うことができる。例えば、通信装置１０が管理する情報家電４０について、ユーザごとに管理することができる。

このような情報家電システムは、例えば、ユーザの音声に基づくユーザの認証により通信装置１０のロックを解除するとともに、情報家電４０に対する様々な処理を行うことを可能とする。例えば、本実施形態に従う家電システムを利用することで、ユーザは、通信装置１０に対する音声入力を、ホームセキュリティ関連の機能を起動するためのトリガとして用いることができる。また、音声認識可能な端末において、セキュリティ対策として本実施形態の情報家電システムの技術を使用することができる。また、情報家電システムをユーザが利用することにより、通信装置１０からの音声入力による情報家電４０の遠隔操作を行うことができる。

なお、図４の説明において、通信装置１０は、マイク１４７に入力された音声（ステップＳ１０１）に基づき声紋判別処理および音声認識処理を行う（ステップＳ１０２、ステップＳ１０３）こととして説明している。通信装置１０は、マイク１４７から入力された音声に限らず、装着型通信機器３０など、通信機器１０と通信接続するデバイスによって音声入力を受け付けて、装着型通信機器３０から音声信号を受信することで、声紋判別処理等を行うこととしてもよい。

本実施の形態に係るシステムを構成する各装置は、プロセッサと、その上で実行されるプログラムにより実現される。本実施の形態を実現するプログラムは、通信インタフェースを介してネットワークを利用した送受信等により提供される。

今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０１アンテナ、１１１無線通信部、１３１物理操作キー、１４１操作受付部、１４２ディスプレイ、１４３電源制御部、１４５カメラ、１４６音声処理部、１４７マイク、１４８スピーカ、１５０記憶部、１５１ユーザ音声情報、１５２機器管理情報、１６０制御部、１６１音声入力受付部、１６２ユーザ識別部、１６３指示判別部、１６４連携機器処理部、２０２通信部、２０６記憶部、２０７制御部、２６１ユーザ音声情報、２６２危機管理情報、２７１通話処理部、２７２ユーザ識別部、２７３指示判別部、２７４連携機器処理部、３０１アンテナ、３１１無線通信部、３４１操作受付部、３４２ディスプレイ、３４６音声処理部、３４７マイク、３４８スピーカ、３５０記憶部、３５２ユーザ音声データ、３６０制御部、３６１通信処理部、３６２音声入力受付部、１０通信装置、２０サーバ、３０装着型通信機器、４０情報家電、９０ネットワーク、９１ブロードバンドルータ、９２無線基地局。

Claims

通信装置であって、
１以上の通信機器と通信可能に構成されており、
音声の入力を受け付けて、受け付けた音声に基づく音声信号を出力するように構成された音声処理部と、
前記通信装置の動作を制御するように構成された制御部とを備え、
前記制御部は、
前記音声信号と、ユーザを識別するために記憶部に蓄積される音声データとに基づいて、ユーザを認証する処理を行うユーザ識別部と、
前記音声信号に音声認識処理を行うことにより、前記受け付けた音声に示されるユーザの指示内容を判別する指示判別部と、
前記ユーザ識別部によりユーザが認証され、前記指示判別部により前記ユーザの指示内容が判別された場合に、前記判別された前記ユーザの指示内容に関連する前記通信機器に対して前記指示内容にかかる指令を送信する連携機器処理部とを含み、
前記制御部の前記連携機器処理部が前記指令を送信することには、前記ユーザの指示内容に関連する前記通信機器が複数ある場合に、いずれの通信機器に対して指令を送信するかの選択操作をユーザから受け付けて、選択結果に基づいて各通信機器の優先度を設定し、前記設定された優先度に基づいて選択対象となる通信機器の候補をユーザに報知することが含まれる、通信装置。
前記制御部の前記連携機器処理部が前記指令を送信することには、前記ユーザの指示内容の判別結果が、前記通信装置と通信可能な前記１以上の通信機器に対する指示である場合に、前記指令を前記通信機器へ送信することが含まれる、請求項１に記載の通信装置。
前記制御部の前記連携機器処理部が前記指令を送信することには、前記ユーザ識別部による前記ユーザの認証と、前記指示判別部による前記ユーザの指示内容の判別とのうち少なくともいずれかに失敗した場合に、前記通信機器に対する前記指令の送信を停止することが含まれる、請求項１または２に記載の通信装置。
前記制御部の前記ユーザ識別部が行う処理には、複数のユーザのうちいずれのユーザが前記音声を前記通信装置に入力したかを認証することが含まれ、
前記通信装置は、前記複数のユーザそれぞれについて、指令を送信可能な前記通信機器および送信可能な指令内容の情報を記憶するように構成されており、
前記連携機器処理部が前記指令を送信することには、前記認証されたユーザについて、前記指令を送信可能な前記通信機器および送信可能な指令内容の情報に従って前記指令を前記通信機器に送信することが含まれる、請求項１から３のいずれか１項に記載の通信装置。
サーバ装置と通信可能な通信装置であって、
前記サーバ装置は、ユーザを識別するための音声データを記憶するように構成されており、
前記通信装置は、
１以上の通信機器と通信可能に構成されており、
音声の入力を受け付けて、受け付けた音声に基づく音声信号を出力するように構成された音声処理部と、
前記通信装置の動作を制御するように構成された制御部とを備え、
前記制御部は、
前記音声信号を前記サーバ装置に送信することにより、前記音声信号に基づくユーザを認証する処理、および、前記音声信号に示されるユーザの指示内容を判別する処理を前記サーバ装置に行わせ、処理結果を前記サーバ装置から受信し、前記サーバ装置によりユーザが認証され、前記ユーザの指示内容が判別された場合に、前記判別された前記ユーザの指示内容に関連する前記通信機器に対して前記指示内容にかかる指令を送信する連携機器処理部を含み、
前記制御部の前記連携機器処理部が前記指令を送信することには、前記ユーザの指示内容に関連する前記通信機器が複数ある場合に、いずれの通信機器に対して指令を送信するかの選択操作をユーザから受け付けて、選択結果に基づいて各通信機器の優先度を設定し、前記設定された優先度に基づいて選択対象となる通信機器の候補をユーザに報知することが含まれる、通信装置。