JPH1124694A

JPH1124694A - 命令認識装置

Info

Publication number: JPH1124694A
Application number: JP9194745A
Authority: JP
Inventors: Hitoshi Hongo; 仁志本郷; Masahiro Ishiba; 正大石場
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1997-07-04
Filing date: 1997-07-04
Publication date: 1999-01-29

Abstract

(57)【要約】【課題】操作者が本来命令を発しようとしている装置
のみが音声による命令を認識することができる命令認識
装置を提供する。【解決手段】音声認識を行うためのマイク１０や音声
認識部１２の他に、カメラ１６、視線検出部１８を設
け、音声入力があった場合に、この命令認識実行装置Ａ
が搭載された機器に向いた視線が検出された場合に限
り、実行処理を行うようにする。また、さらに、検出さ
れた視線の人物の口の動きがあるかどうかについても判
定し、音声入力があった場合に、上記視線が検出され、
さらに、その視線の人物の口の動きがある場合に実行処
理を行うようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、命令認識装置に関
するものであり、特に、音声認識により命令を認識する
命令認識装置に関するものである。

【０００２】

【従来の技術】従来より音声認識技術の開発が進められ
ており、例えば、パーソナルコンピュータの分野では、
この音声認識技術を使って操作者の命令を認識して実行
することが行われている。また、特開平８−８３０９３
号公報には、表示画面上のユーザの視線の動きに基づい
て音声認識する対象を制御する点が開示されている。

【０００３】

【発明が解決しようとする課題】しかし、今後音声認識
により操作することができる家電製品等の装置が多く世
に出てくることが予想されるが、音声認識をインタフェ
ースとする製品が多数存在する状況では、本来動作を意
図していない装置が誤って動作してしまうおそれがあ
る。例えば、音声認識機能を有する装置としてテレビと
エアコンが近くに存在する場合に、本来テレビを動作さ
せるつもりで「電源オン」と発声したところ、エアコン
まで動作してしまうおそれがある。そこで、本発明は、
操作者が本来命令を発しようとしている装置のみが音声
による命令を認識することができる命令認識装置を提供
することを目的とする。

【０００４】

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、音声
により入力された命令を認識する命令認識装置であっ
て、音声を入力する音声入力手段と、任意の被写体を撮
影する撮影手段と、該撮影手段により撮影された画像に
より、視線を検出する視線検出手段と、該視線検出手段
により所定の視線が検出された場合に、上記音声入力手
段に入力された音声に基づく命令の発信を判断する判断
手段とを有することを特徴とする。この第１の構成の命
令認識装置においては、音声入力手段により音声が入力
される。一方、撮影手段が所定の被写体を撮影し、該撮
影手段が撮影した画像に基づき視線検出手段が視線を検
出する。そして、判断手段が、該視線検出手段により所
定の視線が検出された場合に、上記音声入力手段に入力
された音声に基づく命令の発信を判断する。よって、本
命令認識装置の方へ視線を向けていない無関係な音声に
よる誤作動を防止することができる。

【０００５】また、第２には、音声により入力された命
令を認識する命令認識装置であって、音声を入力する音
声入力手段と、任意の被写体を撮影する撮影手段と、該
撮影手段により撮影された画像により、視線を検出する
視線検出手段と、該視線検出手段により検出された視線
の人物の口が動いたかどうかを判定する口動作判定手段
と、該視線検出手段により所定の視線が検出され、か
つ、上記口動作判定手段により視線の人物の口が動いた
と判定された場合に、上記音声入力手段に入力された音
声に基づく命令の発信を判断する判断手段とを有するこ
とを特徴とする。この第２の構成の命令認識装置におい
ては、音声入力手段により音声が入力される。一方、撮
影手段が所定の被写体を撮影し、該撮影手段が撮影した
画像に基づき視線検出手段が視線を検出する。また、口
動作判定手段が、検出された視線の人物の口が動いたか
どうかを判定する。そして、判断手段が、該視線検出手
段により所定の視線が検出され、かつ、口動作判定手段
により視線の人物の口が動いたと判定された場合に、上
記音声入力手段に入力された音声に基づく命令の発信を
判断する。よって、視線が検出されても、口動作判定手
段により口の動きが検出されない場合には、命令が発信
されないので、音声とは無関係の視線を排除でき、音声
を発した者と視線の者とが異なる場合に、誤って動作す
ることを防止することができる。

【０００６】また、第３には、音声により入力された命
令を認識する命令認識装置であって、音声を入力する音
声入力手段と、該音声入力手段により入力された音声が
予め登録された音声と一致するか否かを判定する音声判
定手段と、視線を検出する視線検出手段と、該視線検出
手段により所定の視線が検出され、かつ、入力された音
声が登録された音声と一致する場合に、上記音声入力手
段に入力された音声に基づく命令の発信を判断する判断
手段とを有することを特徴とする。この第３の構成の命
令認識装置においては、音声入力手段により音声が入力
される。すると、上記音声判定手段が、入力された音声
が登録された音声と一致するか否かが判定される。一
方、上記視線検出手段が視線を検出する。そして、判断
手段が、該視線検出手段により所定の視線が検出され、
かつ、入力された音声が登録された音声と一致する場合
に、上記音声入力手段に入力された音声に基づく命令の
発信を判断する。よって、音声入力があり、視線が検出
されても、音声が異なる場合には命令が発信されないの
で、登録者とは異なる者の音声入力を排除でき、誤って
動作することを防止することができる。

【０００７】また、第４には、上記第１から第３までの
いずれかの構成において、上記視線検出手段が、任意の
被写体を撮影する撮影手段を有し、上記視線検出手段
は、該撮影手段により撮影された画像により視線を検出
することを特徴とする。また、第５には、上記第１から
第４までのいずれかの構成において、上記所定の視線
が、所定の面又は空間を通過する視線であることを特徴
とする。また、第６には、上記第１から第５までのいず
れかの構成において、上記判断手段が、上記視線検出手
段により検出された視線が所定時間停留した場合に、音
声入力手段により入力された音声に基づく命令を発信す
ることを特徴とする。よって、単に視線が通過した場合
等を排除することができるので、動作の意志のない場合
の誤動作を防止することができる。

【０００８】

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく命令認識
実行装置Ａは、図１に示されるように、マイク１０と、
音声認識部１２と、命令認識部１４と、カメラ１６と、
視線検出部１８と、判断部２０と、命令発信部２２と、
実行部２４とを有している。

【０００９】ここで、上記音声入力手段としての上記マ
イク１０は、入力された音声を電気信号としての音声信
号に変換するものである。また、音声認識部１２は、上
記マイク１０から入力された音声信号の波長等を分析す
ることにより入力された音声を認識して、所定の音声デ
ータを出力するものである。この音声認識は、予め命令
語（単語）を登録しておくことで認識精度を向上させる
ことができる。具体的には、この音声認識部１２は、音
声認識のためのプログラムを格納する記憶部と該プログ
ラムに従い処理を行うＣＰＵ等により構成される。ま
た、上記命令認識部１４は、上記音声認識部１２から出
力された音声データに基づき命令内容を認識するもので
ある。例えば、「電源オン」との音声が入力された場合
には、「電源をオンする」旨の命令を認識する。そし
て、この認識した命令内容についての命令データは判断
部２０に送られる。

【００１０】また、上記撮影手段としての上記カメラ１
６は、所定の被写体を撮影するものである。このカメラ
１６は、例えば、ＣＣＤカメラ等により構成される。ま
た、上記視線検出部１８は、上記カメラ１６により得ら
れた画像データに人間の顔があり、カメラ１６の方を向
いている場合に、その人の視線方向を検出するものであ
る。具体的には、撮影して得られた画像データに対して
エッジ抽出を行い、人間の顔が写っている場合に、その
目における黒目の方向を検出することにより行う。詳細
については後述する。この視線検出部１８は、実際に
は、視線検出を行うためのプログラムを格納した記憶部
と該プログラムに従い所定の処理を行うＣＰＵ等により
構成される。このカメラ１６と視線検出部１８とは上記
視線検出手段として機能する。

【００１１】また、上記判断手段としての上記判断部２
０は、上記命令認識部１４から命令データが送られ、さ
らに、視線検出部１８により検出された視線が所定の対
象物の方を向いている場合に、該命令認識部１４から送
られた命令データを命令発信部２２に送信する。つま
り、所定の対象物を向いた所定の視線が検出された場合
には、入力された音声に基づく命令の発信を判断する。
この判断部２０は、カメラ１６の方向を向いているかど
うかの判断をも行う。また、命令発信部２２は、判断部
２０から送られた命令データに従い、実行部２４に対し
て所定の命令を発信する。実行部２４は、該命令発信部
２２からの発信された命令に従い所定の実行処理を行う
ものである。

【００１２】なお、上記命令認識実行装置Ａのうち、マ
イク１０と、音声認識部１２と、命令認識部１４と、カ
メラ１６と、視線検出部１８と、判断部２０が、上記命
令認識装置として機能する。なお、本実施例では、上記
のように視線検出手段をカメラ１６と視線検出部１８と
により構成するものとして説明したが、これには限られ
ず、人物の視線を検出できるものであれば他の構成とし
てもよい。

【００１３】上記構成に基づく命令認識実行装置Ａの動
作について、図２を利用して説明する。なお、この場合
には、図３に示すように、上記構成の命令認識実行装置
Ａがテレビジョン受信装置Ｐに搭載されているものとし
て説明する。まず、マイク１０に音声の入力があるかど
うか判定される（Ｓ１０）。そして、音声の入力がある
場合には、ステップＳ１１に移行し、音声の入力がない
場合には、ステップＳ１０に戻る。例えば、図３の甲が
「電源オン」と発声した場合には、音声の入力があるも
のと判定される。

【００１４】ステップＳ１１では、視線が所定の対象物
の方を向いているか判定される（Ｓ１１）。ここでは、
上記所定の対象物としてテレビジョン受信装置Ｐの方を
向いているかどうかが判定される。すなわち、まず、カ
メラ１６が所定の被写体を撮影する。すると、このカメ
ラ１６により撮影された画像は視線検出部１８に送られ
る。視線検出部１８では、撮影された画像にエッジ抽出
処理が行われる。そして、エッジ抽出処理後に、まず、
人の顔があるかどうかが検出される。つまり、エッジ抽
出処理が行われた画像と標準パターン画像とを比較し
て、人の顔があるかどうかを推定する。なお、人の顔の
判定においては、肌色情報をも考慮して行うようにして
もよい。フレーム間の差分画像から移動した物体を検知
し、その物体と標準パターン画像とを比較して人の顔を
判定するようにしてもよい。

【００１５】人の顔があることが検出されたら、視線検
出部１８においては、視線が検出される。ここでは、視
線方向を検出する。すなわち、エッジ抽出することによ
り得られたエッジ情報から、検出された人の顔における
目の垂直方向の位置と目の水平方向の位置とを推定して
目の部分の画像を切り出し、この切り出した画像と濃淡
画像とから目における黒目の位置を水平方向及び垂直方
向に抽出する。その後、黒目の水平方向標準パターンと
垂直方向標準パターンとそれぞれ比較して、視線方向を
検出するのである。以上のようにして図３の甲の視線が
検出される。この視線方向のデータが判断部２０に送ら
れる。

【００１６】そして、上記判断部２０では、検出された
視線の方向がテレビジョン受信装置Ｐを向いているかど
うかが判定される。つまり、撮影された画像におけるそ
の人の目の空間座標位置と、視線検出部１８により検出
された視線方向とにより、視線の空間位置を検出して、
これによりその人がテレビジョン受信装置Ｐの範囲を見
ているかどうかを判定する。なお、上記目の空間座標位
置の検出については次のように行う。つまり、図３に示
すＸ方向、Ｙ方向の座標については撮影された２次元画
像における座標により検出可能であり、また、Ｚ方向の
座標については、例えば、顔の大きさから推定する方法
や距離センサにより検出する方法等がある。なお、この
Ｚ方向の座標については、所定の光を照射し、顔や目等
に反射して帰ってくるまでの時間により算出してもよ
い。

【００１７】以上のようにして、目の空間位置と視線方
向とに基づき、空間内における視線の位置が決定される
ので、その視線がテレビジョン受信装置Ｐの前面を通過
するかどうかを判定する。具体的には、テレビジョン受
信装置Ｐの角部の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ
２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）の範囲内を通過
するかどうかにより、視線がテレビジョン受信装置Ｐの
方を向いているかどうかを判定する。上記の各座標につ
いては予め定めておく。なお、テレビジョン受信装置Ｐ
が占める空間のいずれかを視線を通過しているか否かに
より判定してもよい。つまり、視線が所定の面又は空間
を通過する視線であるか否かにより判定を行うようにす
る。

【００１８】なお、視線がテレビジョン受信装置Ｐの方
を向いているかどうかを判定するに際して、注視点が検
出されるかどうかを条件とするのが好ましい。つまり、
テレビジョン受信装置Ｐのいずれかの位置を向いた視線
が一定時間停留しているかどうかにより判定する。つま
り、視線がテレビジョン受信装置Ｐの方を向いていたと
しても、単に視線を向けただけであるとか、テレビジョ
ン受信装置Ｐ以外の別の場所に視線を向けるために単に
視線方向が通過しただけの場合等には、テレビジョン受
信装置Ｐを動作させる意志がないものとして、所定時間
視線がテレビジョン受信装置Ｐに対して停留しているこ
とを条件とすることが望ましい。そして、このステップ
Ｓ１１により視線がテレビジョン受信装置Ｐの方を向い
ている場合には、ステップＳ１２に移行し、向いていな
い場合には、ステップＳ１０に戻る。

【００１９】ステップＳ１２では、音声認識と命令認識
が行われる（Ｓ１２）。つまり、上記音声認識部１２に
おいて入力された該音声が認識されて、音声認識部１２
からは音声データが出力される。例えば、「電源オン」
の音声が入力された場合には、この「電源オン」の音声
データが出力される。そして、命令認識部１４はこの音
声データに従い命令内容を認識して、命令データを出力
する。つまり、上記の例では、「電源をオン作動させ
る」旨の命令データが出力される。そして、上記判断部
２０は、上記命令データが送信された場合には、命令デ
ータを命令発信部２２に送信する。

【００２０】すると、命令発信部２２は、実行部２４に
対して所定の命令を発信する（Ｓ１３）。つまり、上記
の例では、テレビジョン受信装置Ｐの電源をオン作動さ
せる旨の命令が発信される。命令を受けた実行部２４
は、所定の命令を実行する。つまり、上記の例では、実
際に電源をオン作動させる。

【００２１】なお、視線方向検出の方法は上記の方法に
は限られず、他の方法であってもよい。例えば、人の顔
があるかどうかの検出は上記と同様の方法で行い、視線
検出については、近赤外光を照射してその反射角度に基
づき算出するようにしてもよい。また、上記の方法と、
この近赤外光による方法とを併用するようにしてもよ
い。また、上記Ｚ方向の座標は、近赤外光が反射して戻
ってくる到達時間により検出してもよい。なお、視線検
出の方法については、特開平８−３２２７９６号公報や
特開平５−２０５０３０号公報に開示されている。

【００２２】以上のようにすれば、音声入力があった場
合に、視線が検出された場合に限り実行処理を行うの
で、所定の実行処理を行いたい機器に対して視線を向け
て音声を発すればその機器において所定の動作を行うこ
とができ、他の機器にも上記機能を搭載させることによ
り、他の機器を誤って動作させるおそれがない。つまり
無関係な音声により誤って動作することがない。特に、
動作を希望する機器に目を向けて発声するのは極めて自
然な動作であるので、確実に所望の機器のみを動作させ
ることができる。

【００２３】なお、上記の例において、カメラ１６から
得た画像から検出された視線の人物の口の動きがあるか
どうかについても判定することが好ましい。すなわち、
この場合には、図２のフローチャートにおけるステップ
Ｓ１１において、視線が装置の方を向いているかどうか
についてと、さらに、口の動きがあるかどうかについて
が判定される。つまり、音声入力があり、視線が検出さ
れても、口の動きが検出されなければ、命令を発信しな
い。

【００２４】ここで、口の動きの検出は以下のように行
う。つまり、上記視線検出において得られたエッジ画像
から検出された人の顔において、口の位置を検出する。
口の位置の検出は、口の位置の垂直方向の位置と水平方
向の位置とを推定して口の部分を切り出す等して行う。
そして、複数のフレーム間において口の位置の画像に変
化がある場合には、口に動きがあるものと判定する。こ
の口の動きがあるか否かの判定は、上記判断部２０によ
り行う。つまり、ここでは判断部２０は上記口動作判定
手段として機能する。

【００２５】以上のようにすれば、装置に視線を向けて
いる人物とは別の人物が音声を発した場合でも、音声と
は無関係な視線を排除して、誤って動作することを回避
することができる。つまり、音声入力と視線検出のみで
音声による命令を実行すると、装置に視線を向けている
者と音声を発した者とが別の場合でも動作してしまうお
それがあるが、口の動きについても検出することにより
誤動作を回避することができる。

【００２６】また、口の動きについて検出する代わり
に、使用者の声を登録しておき、使用者の声による音声
入力があり、かつ、所定の対象物への視線が検出された
場合に、命令を実行するようにしてもよい。この場合に
は、予め音声を登録しておき、入力された音声がこの登
録された音声と一致するか否かにより判定する。この判
定は、音声認識部１２により行う。つまり、該音声認識
部１２が音声判定手段として機能することになる。登録
できる音声の数は、命令認識実行装置が搭載される機器
の使用者の数に応じて定めるのが好ましい。また、上記
口の動きの検出と登録された音声の検出とを併用しても
よい。

【００２７】なお、上記の例において、命令認識実行装
置Ａを搭載する機器をテレビジョン受信装置として説明
したが、これには限られず、エアコン、室内灯等の家電
製品でもよく、他のあらゆる機器に搭載が可能である。
また、上記の説明においては、視線が装置の方を向いて
いる場合に、音声認識を行い、命令認識を行うものとし
て説明したが、音声認識及び命令認識は常に行い、装置
の方を向いた視線を検出した場合に、命令を発するよう
にしてもよい。

【００２８】

【発明の効果】本発明に基づく請求項１に記載の命令認
識装置によれば、本命令認識装置の方へ視線を向けてい
ない無関係な音声による誤作動を防止することができ
る。また、請求項２に記載の命令認識装置によれば、視
線が検出されても、口動作判定手段により口の動きが検
出されない場合には、命令が発信されないので、音声と
は無関係の視線を排除でき、音声を発した者と視線の者
とが異なる場合に、誤って動作することを防止すること
ができる。また、請求項３に記載の命令認識装置によれ
ば、音声入力があり、視線が検出されても、音声が異な
る場合には命令が発信されないので、登録者とは異なる
者の音声入力を排除でき、誤って動作することを防止す
ることができる。また、特に請求項６に記載の命令認識
装置によれば、単に視線が通過した場合等を排除するこ
とができるので、動作の意志のない場合の誤動作を防止
することができる。

【図面の簡単な説明】

【図１】本発明の実施例に基づく命令認識実行装置の構
成を示すブロック図である。

【図２】本発明の実施例に基づく命令認識実行装置の動
作を示すフローチャートである。

【図３】本発明の実施例に基づく命令認識実行装置の使
用状態を示す説明図である。

【符号の説明】

Ａ命令認識実行装置１０マイク１２音声認識部１４命令認識部１６カメラ１８視線検出部２０判断部２２命令発信部２４実行部

Claims

【特許請求の範囲】

【請求項１】音声により入力された命令を認識する命
令認識装置であって、音声を入力する音声入力手段と、視線を検出する視線検出手段と、該視線検出手段により所定の視線が検出された場合に、
上記音声入力手段に入力された音声に基づく命令の発信
を判断する判断手段とを有することを特徴とする命令認
識装置。
【請求項２】音声により入力された命令を認識する命
令認識装置であって、音声を入力する音声入力手段と、視線を検出する視線検出手段と、該視線検出手段により検出された視線の人物の口が動い
たかどうかを判定する口動作判定手段と、該視線検出手段により所定の視線が検出され、かつ、上
記口動作判定手段により視線の人物の口が動いたと判定
された場合に、上記音声入力手段に入力された音声に基
づく命令の発信を判断する判断手段とを有することを特
徴とする命令認識装置。
【請求項３】音声により入力された命令を認識する命
令認識装置であって、音声を入力する音声入力手段と、該音声入力手段により入力された音声が予め登録された
音声と一致するか否かを判定する音声判定手段と、視線を検出する視線検出手段と、該視線検出手段により所定の視線が検出され、かつ、入
力された音声が登録された音声と一致する場合に、上記
音声入力手段に入力された音声に基づく命令の発信を判
断する判断手段とを有することを特徴とする命令認識装
置。
【請求項４】上記視線検出手段が、任意の被写体を撮
影する撮影手段を有し、上記視線検出手段は、該撮影手
段により撮影された画像により視線を検出することを特
徴とする請求項１又は２又は３に記載の命令認識装置。
【請求項５】上記所定の視線が、所定の面又は空間を
通過する視線であることを特徴とする請求項１又は２又
は３又は４に記載の命令認識装置。
【請求項６】上記判断手段が、上記視線検出手段によ
り検出された視線が所定時間停留した場合に、音声入力
手段により入力された音声に基づく命令を発信すること
を特徴とする請求項１又は２又は３又は４又は５に記載
の命令認識装置。