JPH0876965A - 音声認識システム - Google Patents

Abstract

(57)【要約】 【目的】利用者がシステムの利用方法を理解できずに迷
っているときなどに、オペレータを呼び出してオペレー
タに支援してもらえるようにする。 【構成】ユーザ端末１０-1に設けられた操作部１３の呼
出ボタン１３ｂが利用者によって押されると、ユーザ端
末１０-1の制御部１７から通信回線３０-1を介してオペ
レータ端末２０の制御部２５に呼出要求が伝えられて、
当該制御部２５によりオペレータに対する呼び出しがか
けられる他、ユーザ端末１０-1と接続できるように回線
が切り替えられ、この状態で、ユーザ端末１０-1の音声
入力部１１により入力された利用者の音声はオペレータ
端末２０に送られて音声出力部２４から出力され、オペ
レータ端末２０の音声入力部２１により入力されたオペ
レータの音声はユーザ端末１０-1に送られて音声出力部
１６から出力される構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報案内装置、自動発
券機等に用いて好適な音声認識システムに関する。

【０００２】

【従来の技術】近年、利用者との対話のために音声認識
を用いた様々な実用システムが考えられつつある。なか
でも、不特定話者音声認識技術を用いた音声認識システ
ムは、利用者が音声を登録することなく誰でも利用でき
るため、不特定多数の人が利用する情報案内装置、自動
発券機等の社会システムでの実用化に適している。

【０００３】しかしながら、このような音声認識システ
ムを実社会に導入するとなると、利用者がそのシステム
に不慣れであること、音声認識そのものに対する利用者
の理解度が低く、音声認識装置にとって望ましい発声が
得られない場合があり、認識率が低下してしまうこと、
また、現状の音声認識装置では、利用者の音声を常に誤
りなく認識するのが困難であること、といった要因か
ら、音声認識システムの利用価値が低下するという欠点
があった。

【０００４】以上の背景から、利用者からの入力手段と
して、音声認識を伴う音声入力手段のみを用いるのでは
なく、タッチパネル等の他の入力手段（操作手段）と併
用して利用できるようにしたシステムや、音声合成技術
を用いた音声出力手段でその利用方法を案内するシステ
ムなどが考えられている。

【０００５】このように、音声認識システムを社会シス
テムにおいて実用化するに当たっては、初めてそのシス
テムを利用する人でも目的が達成できるように実現する
ことが重要な課題となるが、従来のシステムでは、必ず
しもそれを満たしているとはいえなかった。

【０００６】

【発明が解決しようとする課題】上記したように従来の
音声認識システムでは、そのシステムを初めて利用する
人でも必ず目的を達成することができるように実現する
ことは困難であるという問題があった。

【０００７】本発明は上記事情を考慮してなされたもの
でその目的は、利用者がシステム（音声認識機能を有す
るユーザ端末）の利用方法が理解できないときや、幾度
も音声入力しても正しく認識されないときに、オペレー
タを呼び出して、オペレータに支援してもらうことが簡
単に行える音声認識システムを提供することにある。

【０００８】本発明の他の目的は、１人のオペレータが
複数のユーザ端末を受け持つことがてきる音声認識シス
テムを提供することにある。本発明の更に他の目的は、
ユーザ端末に対する利用者の利用状況をオペレータから
確実に把握できる音声認識システムを提供することにあ
る。

【０００９】本発明の更に他の目的は、利用者の要求す
る操作をオペレータが代わりに操作できる音声認識シス
テムを提供することにある。本発明の更に他の目的は、
オペレータを呼び出すことが可能であるか否かを利用者
が判断できる音声認識システムを提供することにある。

【００１０】本発明の更に他の目的は、利用者がシステ
ム利用の目的を達成できないで困っている状態を検出し
てオペレータ呼び出しを自動的にかけることができる音
声認識システムを提供することにある。

【００１１】

【課題を解決するための手段】本発明の第１の観点に係
る音声認識システムは、利用者との対話を行うための音
声認識機能を有するユーザ端末であって、利用者による
音声入力操作のためのユーザ端末側音声入力手段、この
ユーザ端末側音声入力手段から入力された音声を認識す
る音声認識手段、この音声認識手段の認識結果及び各種
情報を表示するためのユーザ端末側表示手段、利用者に
各種情報を音声で通知するユーザ端末側音声出力手段、
音声とは別の入力操作のためのユーザ端末側操作手段、
及び上記各手段を制御するためのユーザ端末側制御手段
を備えたユーザ端末と、上記ユーザ端末の利用者とオペ
レータが会話をするためのオペレータ端末であって、ユ
ーザ端末側音声入力手段により入力された利用者の音声
入力を聴取するためのオペレータ端末側音声出力手段、
及びオペレータの音声をユーザ端末の利用者に通知する
ためのオペレータ端末側音声入力手段を備えたオペレー
タ端末とを具備することを特徴とするものである。

【００１２】本発明の第２の観点に係る音声認識システ
ムは、上記第１の観点に係る音声認識システムにおける
上記ユーザ端末を複数備えた構成とすると共に、上記オ
ペレータ端末に、複数のユーザ端末の１つを当該オペレ
ータ端末に切り替え接続するためのオペレータ端末側制
御手段を更に備えた構成としたことを特徴とする。

【００１３】本発明の第３の観点に係る音声認識システ
ムは、上記第１または第２の観点に係る音声認識システ
ムのオペレータ端末に、ユーザ端末側表示手段の表示内
容をモニタするためのオペレータ端末側表示手段を更に
備えた構成としたことを特徴とする。

【００１４】本発明の第４の観点に係る音声認識システ
ムは、上記第１、第２または第３の観点に係る音声認識
システムのオペレータ端末に、ユーザ端末側操作手段を
用いた利用者による入力操作をオペレータが代行するた
めのオペレータ端末側操作手段を更に備えたことを特徴
とする。

【００１５】本発明の第５の観点に係る音声認識システ
ムは、上記第１、第２、第３または第４の観点に係る音
声認識システムのユーザ端末に、オペレータ端末のオペ
レータとの会話が可能であるか否かの状態を外部出力す
るための状態出力手段を更に備えたことを特徴とする。

【００１６】本発明の第６の観点に係る音声認識システ
ムは、上記第１、第２、第３、第４または第５の観点に
係る音声認識システムのユーザ端末に、当該ユーザ端末
と利用者との対話が予め定められた時間を超えても終了
しない状態を検出する状態検出手段、及びこの状態検出
手段の状態検出に応じてオペレータ端末に対して、オペ
レータ呼び出しをかけるオペレータ自動呼出手段を更に
備えたことを特徴とする。

【００１７】

【作用】上記第１の観点に係る音声認識システムにおい
ては、利用者の音声入力をオペレータ端末側音声出力手
段を通してオペレータが聴取でき、またオペレータの音
声をオペレータ端末側音声入力手段により入力してユー
ザ端末側音声出力手段を通して利用者に通知できる。こ
のため、利用者がシステム（ユーザ端末）の利用方法を
理解できないときや、幾度も音声入力しても正しく認識
されないときに、オペレータを呼び出して、利用方法が
わからないときはそれを尋ね、また正しく音声が認識さ
れないときには音声入力以外の入力方法を指示してもら
うことによって、利用目的を達成することが可能とな
る。

【００１８】次に、上記第２の観点に係る音声認識シス
テムにおいては、オペレータ端末の制御手段により、複
数のユーザ端末のうちの１台を選択的にオペレータ端末
に切り替え接続できる。このため、１人のオペレータが
複数のユーザ端末を受け持つことが可能となる。

【００１９】次に、上記第３の観点に係る音声認識シス
テムにおいては、利用者とユーザ端末との対話の結果、
ユーザ端末側表示手段に表示される入力音声の認識結果
や各種情報が、オペレータ端末側の表示手段にも表示さ
れる。このため、オペレータは、利用者とユーザ端末と
の対話の状況を、当該表示手段を通して詳細に把握する
ことができる。

【００２０】次に、上記第４の観点に係る音声認識シス
テムにおいては、オペレータ端末側操作手段をオペレー
タが操作することにより、ユーザ端末側操作手段を利用
者が操作したのと同じ効果が得られる。このため、利用
者の要求する入力操作をオペレータがオペレータ端末側
操作手段を用いて代わりに行うことが可能となる。

【００２１】次に、上記第５の観点に係る音声認識シス
テムにおいては、利用者はオペレータを呼び出すことが
可能であるか否かを、ユーザ端末からの状態出力内容に
より知ることができる。

【００２２】次に、上記第６の観点に係る音声認識シス
テムにおいては、利用者がユーザ端末の操作に迷ったり
したために、或いは幾度も音声入力しても正しく認識さ
れなかったために、所定時間を経過してもユーザ端末の
利用目的が達成できなかった場合には、即ち利用者とユ
ーザ端末との対話が所定時間を越えても終了しなかった
場合には、その状態が状態検出手段により検出されて、
オペレータ端末に対して、オペレータ呼び出しが自動的
にかけられる。

【００２３】

【実施例】以下、本発明の一実施例に係る音声認識シス
テムにつき図面を参照して説明する。図１は、同実施例
を示す音声認識システムのブロック構成図である。

【００２４】図１のシステムは、利用者と対話を行って
利用者の要求する情報等を提供する、例えば情報案内装
置としてのｎ台のユーザ端末１０-1〜１０-nと、このユ
ーザ端末１０-1〜１０-nが接続される１台のオペレータ
端末２０と、これらユーザ端末１０-1〜１０-nとオペレ
ータ端末２０との間の通信に供される通信回線３０-1〜
３０-nから構成される。

【００２５】ユーザ端末１０-1は音声入力部１１、音声
認識部１２、操作部１３、状態検出部１４、表示部１
５、音声出力部１６及び制御部１７から構成される。音
声入力部１１は、利用者が音声入力を行うためのもの
で、マイクロフォン１１ａを有している。

【００２６】音声認識部１２は、音声入力部１１により
入力された音声を認識するためのものである。操作部１
３は、利用者が音声入力以外の入力操作を行うためのも
ので、例えば上下左右のカーソル移動操作等に用いられ
る操作ボタン１３ａ、及び利用者がオペレータ端末２０
のオペレータを呼び出すための操作手段として用いられ
るオペレータ呼出ボタン１３ｂを有している。

【００２７】状態検出部１４は、ユーザ端末１０-1に対
する利用者の利用状態を検出するためのもので、例えば
利用者がユーザ端末１０-1の前に立ったことを光学的に
検出するセンサ１４ａを有している。

【００２８】表示部１５は、利用者の発声した入力音声
に対する認識結果や、利用者に対する利用案内、利用者
の要求した各種情報等を表示するためのもので、ＣＲＴ
ディスプレイ、液晶ディスプレイ等のディスプレイ１５
ａを有している。

【００２９】音声出力部１６は、利用者に対して各種情
報を音声出力するためのもので、例えばスピーカ１６ａ
を有している。制御部１７は、ユーザ端末１０-1全体を
制御してユーザとの対話を司る機能の他、呼出ボタン１
３ｂの操作に従う呼出要求、音声入力部１１からの入力
音声、及び表示部１５の表示内容等をオペレータ端末２
０に伝達する機能を有する。

【００３０】他のユーザ端末１０-2〜１０-nの構成につ
いても、上記したユーザ端末１０-1の構成と同様であ
る。オペレータ端末２０は、音声入力部２１、操作部２
２、表示部２３、音声出力部２４及び制御部２５から構
成される。

【００３１】音声入力部２１は、オペレータが音声入力
を行うのに用いられるもので、オペレータの音声をユー
ザ端末１０-i（ｉ＝１〜ｎ）の利用者に通知するための
ものである。

【００３２】操作部２２は、オペレータ操作に用いられ
るもので、ユーザ端末１０-iの利用者の入力操作をオペ
レータが代行するためのものである。表示部２３は、オ
ペレータのための表示に用いられるディスプレイ（図示
せず）を有しており、ユーザ端末１０-iでの表示内容
（ユーザ端末１０-1の例では、表示部１５のディスプレ
イ１５ａに表示されている画面内容）をオペレータがモ
ニタするためのものである。

【００３３】音声出力部２４は、オペレータに対する音
声出力に用いられるもので、ユーザ端末１０-iの利用者
の音声入力をオペレータが聴取するためのものである。
制御部２５は、オペレータ端末２０全体を制御する他、
通信回線３０-iを制御する。

【００３４】他のユーザ端末１０-2〜１０-nの構成も、
この図１に示したユーザ端末１０-1の構成と同様であ
る。図２は、図１中のユーザ端末１０-1の外観を示す。

【００３５】図２に示すように、ユーザ端末１０-1の筐
体の前面部には、マイクロフォン１１ａ、操作ボタン１
３ａ、呼出ボタン１３ｂ、センサ１４ａ及びディスプレ
イ１５ａが設けられている。また、ディスプレイ１５ａ
の表示画面の所定領域には、オペレータ端末２０のオペ
レータとの会話が可能であるか否か、即ちオペレータが
待機しているか否かの情報を表示するためのオペレータ
待機表示領域１５ｂが確保されている。他のユーザ端末
１０-2〜１０-nの筐体外観も、この図２に示したユーザ
端末１０-1の筐体外観と同様である。

【００３６】次に、図１及び図２の構成の動作を説明す
る。まず、利用者が例えばユーザ端末１０-1の前に接近
すると、その旨が状態検出部１４内のセンサ１４ａによ
り検出される。すると、状態検出部１４から制御部１７
に対して、利用者がユーザ端末１０-1の前に立ったこと
を示す状態検出通知が送られる。制御部１７は、この状
態検出通知を受けて、利用者に対する利用案内（操作案
内）を表示部１５及び音声出力部１６に送って、ディス
プレイ１５ａの表示画面上への利用案内表示及びスピー
カ１６ａからの利用案内音声出力を行わせる。

【００３７】利用者は、表示部１５及び音声出力部１６
によるディスプレイ１５ａ及びスピーカ１６ａを用いた
利用案内を見聞きしながら、音声入力部１１のマイクロ
フォン１１ａに向かって音声を発声することにより音声
を入力する。

【００３８】マイクロフォン１１ａから入力された音声
は音声入力部１１により音声認識部１２に渡される。音
声認識部１２は、この入力音声の認識処理を行い、その
認識結果を制御部１７に渡す。

【００３９】制御部１７は、音声認識部１２の認識結果
や、その認識結果（の示す要求）に従う各種情報を、デ
ィスプレイ１５ａ及びスピーカ１６ａから出力する。こ
のように利用者は、音声入力によってユーザ端末１０-1
と対話を行うことにより目的を達成する。この他、利用
者は、操作ボタン１３ａを用いて補助的な操作を行うと
か、音声入力の代替としてタッチパネル等の入力手段
（図示せず）を用いて入力操作を行うことによりユーザ
端末１０-1と対話を行い、目的を達成することもでき
る。

【００４０】ここで、利用者が（音声認識システムにお
ける）ユーザ端末１０-1の利用方法を理解できない場合
や、幾度も音声入力してもユーザ端末１０-1（の音声認
識部１２）により正しく認識されない場合が生じたと想
定する。

【００４１】このような場合、利用者はオペレータ端末
２０のオペレータを呼び出すために、操作部１３の呼出
ボタン１３ｂを押す。呼出ボタン１３ｂが押されたこと
はユーザ端末１０-1の制御部１７により検出される。制
御部１７は、呼出ボタン１３ｂが押されたことを検出す
ると、通信回線３０-1を介してオペレータ端末２０の制
御部２５に呼出要求を伝える。

【００４２】オペレータ端末２０の制御部２５は、ユー
ザ端末１０-1の制御部１７からの呼出要求を受け取る
と、オペレータを呼び出すための所定のメッセージを表
示部２３に表示する。この他、当該メッセージを音声に
より音声出力部２４から出力するようにしても構わな
い。また制御部２５は、オペレータ端末２０と接続され
ているｎ台のユーザ端末１０-1〜１０-nのうち、呼出要
求元のユーザ端末１０-1と接続できるように回線（通信
回線）を切り替える。これにより、オペレータ端末２０
のオペレータがユーザ端末１０-1からの呼び出しに応じ
ることが可能となり、以下に述べるように、ユーザ端末
１０-1の利用者とオペレータ端末２０のオペレータとの
間で音声による会話（対話）が行われるようになる。

【００４３】まず、ユーザ端末１０-1からのオペレータ
呼出要求に応じて上記の如く回線切り替えが行われ、オ
ペレータ端末２０が当該ユーザ端末１０-1に接続された
状態において、利用者がユーザ端末１０-1の音声入力部
１１（のマイクロフォン１１ａ）より音声を入力する
と、その入力音声（音声信号）はユーザ端末１０-1の制
御部１７により通信回線３０-1を介してオペレータ端末
２０の制御部２５に送られ、当該制御部２５によりオペ
レータ端末２０の音声出力部２４から出力される。この
結果、オペレータは音声出力部２４を通して利用者の音
声を聞くことができる。

【００４４】同様に、オペレータがオペレータ端末２０
の音声入力部２１より音声を入力すると、その音声（音
声信号）は制御部２５により通信回線３０-1を介してユ
ーザ端末１０-1の制御部１７に送られ、当該制御部１７
によりユーザ端末１０-1の音声出力部１６（のスピーカ
１６ａ）から出力される。この結果、利用者は音声出力
部１６を通してオペレータの音声を聞くことができる。

【００４５】このように本実施例においては、ユーザ端
末１０-1の利用者が呼出ボタン１３ｂを押すことによ
り、オペレータ端末２０のオペレータに対する呼び出し
がかけられると、オペレータは、音声出力部２４によっ
て利用者の音声を聞き、音声入力部２１によって利用者
に音声を伝え、利用者と会話することができる。一方、
ユーザ端末１０-1の利用者は、音声入力部１１のマイク
ロフォン１１ａと音声出力部１６のスピーカ１６ａを用
いてオペレータと会話し、ユーザ端末１０-1の利用方法
が分からないときはそれを尋ね、また正しく音声が認識
されないときには音声入力以外の入力方法を指示しても
らうことによって、目的を達成することが可能となる。

【００４６】この他、本実施例においては、ユーザ端末
１０-1の利用者とオペレータ端末２０のオペレータとが
ユーザ端末１０-1内の制御部１７及びオペレータ端末２
０内の制御部２５の制御のもとで会話する際には、ユー
ザ端末１０-1の表示部１５（のディスプレイ１５ａ）に
表示されている画面内容（表示画面の情報）が、制御部
１７により通信回線３０-1を介してオペレータ端末２０
側に転送される。そして、この転送された画面情報が、
オペレータ端末２０の制御部２５により表示部２３に表
示される。

【００４７】したがってオペレータは、ユーザ端末１０
-1の表示部１５での表示内容（即ちオペレータとユーザ
端末１０-1との間の対話の状況）をオペレータ端末２０
の表示部２３でモニタしながら、利用者に指示を与える
ことができる。

【００４８】更に本実施例においては、オペレータ端末
２０側に設けられた操作部２２を次のように利用するこ
ともできる。まず、上記のようにしてユーザ端末１０-1
からオペレータ呼び出しがかけられた際に、当該オペレ
ータが操作部２２を操作すると、その操作情報は制御部
２５の制御により通信回線３０-1を介してユーザ端末１
０-1に送られる。ユーザ端末１０-1の制御部１７は、こ
の操作情報を、利用者操作によるユーザ端末１０-1での
入力情報であるかのように受け取り、当該情報に従う処
理を行う。

【００４９】このようにオペレータは、オペレータ端末
２０の操作部２２を用いて利用者の入力操作を代行する
ことができるため、利用者の補助操作を行ったり、利用
者の目的を達成させることが可能となる。

【００５０】以上は、他のユーザ端末１０-2〜１０-nか
らオペレータ端末２０に対してオペレータ呼び出しがか
けられた場合にも同様である。このように本実施例にお
いては、１台のオペレータ端末２０にｎ台のユーザ端末
１０-1〜１０-nを接続して音声認識システムを構成し、
オペレータ呼出要求を発生したユーザ端末１０-iと接続
されるように回線切り替えを行うことで、そのユーザ端
末１０-iの利用者からの呼び出しにオペレータが応じら
れるようにしている。通常、複数台のユーザ端末から同
時にオペレータ呼出要求が生じることは少ないので、こ
のようなシステム構成とすることにより、オペレータ１
人で、ｎ台のユーザ端末１０-1〜１０-nの利用者に対処
することができ、オペレータの人数を減らすことができ
る。

【００５１】さて、本実施例においては、以下に述べる
ように、ユーザ端末１０-iの利用者は、オペレータとの
会話が可能か否かを当該ユーザ端末１０-iにて識別でき
るようになっている。

【００５２】まず、オペレータ端末２０のオペレータ
は、ユーザ端末１０-1〜１０-nからの呼び出しに応じる
ことが可能か否かの状態情報を例えば操作部２２の操作
で入力する。この状態情報は制御部２５で受け取られ
る。制御部２５は、当該情報を通信回線３０-1〜３０-n
を介してユーザ端末１０-1〜１０-nに送る。すると、例
えばユーザ端末１０-1では、オペレータ端末２０（の制
御部２５）からの状態情報を制御部１７が受け取り、表
示部１５のディスプレイ１５ａのオペレータ待機表示領
域１５ｂに、当該情報、即ちオペレータが呼び出しに応
じることが可能か否か（オペレータが待機しているか否
か）を示す情報を表示する。ユーザ端末１０-1の利用者
は、このオペレータ待機表示領域１５ｂの表示内容によ
って、オペレータを呼び出したいときにオペレータとの
会話が可能か否かを視認することができる。これはオペ
レータが不在の可能性があるときに有用である。以上の
オペレータ待機表示は、ユーザ端末１０-1以外のユーザ
端末においても同様に行われる。

【００５３】また、オペレータ端末２０（の制御部２
５）において、ユーザ端末１０-iからのオペレータ呼出
要求を受け付けた場合には、制御部２５の制御により、
ユーザ端末１０-i以外の各ユーザ端末に対してオペレー
タが呼び出しに応じることが不可能であることを示すオ
ペレータ待機表示が行われる。これは、オペレータが他
のユーザ端末の利用者から呼び出されているときに有用
となる。

【００５４】本実施例においては更に、利用者のユーザ
端末利用状態をもとに、オペレータを自動的に呼び出せ
るようになっている。これについて、ユーザ端末１０-1
からのオペレータ自動呼び出しを例に説明する。

【００５５】ユーザ端末１０-1の制御部１７は、当該ユ
ーザ端末１０-1の状態検出部１４に設けられたセンサ１
４ａを用いて利用者の利用時間を計測し、この利用時間
とユーザ端末１０-1の内部状態から、利用者のユーザ端
末利用状態を検出する。そして制御部１７は、検出した
ユーザ端末利用状態をもとにオペレータを自動的に呼び
出す。以下、この一連の処理の流れを、図３のフローチ
ャートを参照して説明する。

【００５６】まず、ユーザ端末１０-1の制御部１７は、
時間計測値ｔをクリアする（ステップＳ１）。次に制御
部１７は、センサ１４ａの出力がオン（ＯＮ）になった
か否かを調べ（ステップＳ２）、オンにならなければス
テップＳ１に戻る。

【００５７】これに対し、利用者がユーザ端末１０-1の
前に立ってセンサ１４ａの出力がオンになったならば、
制御部１７は時間計測値ｔを１インクリメントする（ス
テップＳ３）。次に、制御部１７は、センサ１４ａの出
力がオンのままであるか否かを調べ（ステップＳ４）、
オンのままであるならば（即ち利用者がユーザ端末１０
-1から立ち去らないならば）、時間計測値ｔが予め定め
られた時間（閾値）Ｔを越えているか否かを調べる（ス
テップＳ５）。この閾値Ｔには、利用者の通常のシステ
ム利用時間（標準的なシステム利用時間）に或るマージ
ンを加えた値が用いられる。また、センサ１４ａの出力
がオフになったならば（即ち利用者がユーザ端末１０-1
から立ち去ったならば）、ステップＳ１に戻る。

【００５８】さて、ステップＳ５で、時間計測値ｔが閾
値Ｔを越えていないと判定されたならば、ステップＳ３
に戻り、時間計測値ｔが１インクリメントされる。これ
に対し、ステップＳ５で、時間計測値ｔが閾値Ｔを越え
ている判定されたならば、利用者の通常のシステム利用
時間を超過していると考えられることから、制御部１７
は、利用者の目的が達成されたか否かを、例えば制御部
１７自身の内部状態をもとに検査する（ステップＳ
６）。ここで、利用者の目的が達成されたか否かは、例
えば本システム（ユーザ端末１０-1）が自動券売機であ
るならば、切符が購入されたか否かで判断することがで
きる。

【００５９】さて、ステップＳ６の検査を行うのは、１
人の利用者が本システムを複数回続けて利用することを
考慮したためである。即ち、通常のシステム利用時間を
超過する要因としては、利用者が操作に迷ったり、或い
は幾度も音声入力しても正しく認識されないなど、利用
者に何らかの問題が発生している場合と、１人の利用者
が本システムを複数回続けて利用する場合があることを
考慮したためである。もし、通常のシステム利用時間を
超過しても（時間計測値ｔが閾値Ｔを越えても）利用者
の目的が達成されていないならば、利用者に何らかの問
題が発生しているものと判断でき、逆に利用者の目的が
達成されているならば１人の利用者が本システムを複数
回続けて利用しているものと判断できる。

【００６０】制御部１７は、ステップＳ６で利用者の目
的が達成されていると判断した場合、ステップＳ１に戻
る。これに対し、ステップＳ６で利用者の目的が達成さ
れていないと判断した場合には、制御部１７は、利用者
に何らかの問題が発生しているものとして、通信回線３
０-1を介してオペレータ端末２０の制御部２５にオペレ
ータ呼出要求を通知し、オペレータを自動的に呼び出す
（ステップＳ７）。

【００６１】このように、本実施例の音声認識システム
では、利用者がシステム（ユーザ端末）の利用方法を理
解できないときや、幾度も音声入力しても正しく認識さ
れないときに、オペレータを手動で或いは自動で呼び出
し、オペレータに状況を詳しく把握させ、利用方法が分
からないときはそれをオペレータに尋ね、また音声が認
識されないときには音声入力以外の入力方法を指示して
もらい、或いは操作を代行してもらうことによって目的
を達成することができる。

【００６２】なお、本発明は上述した実施例に限定され
るものではない。例えば、実施例の音声認識システムで
は、情報案内装置を想定してシステム構成を示したが、
金銭投入手段や切符取出手段などを具備した自動発券
機、自動販売機等を想定して構成しても、本発明はその
要旨を逸脱しない範囲で種々変形して実施可能である。

【００６３】また、図２のユーザ端末１０-1の構成にお
いて、マイクロフォン１１ａとスピーカ１６ａを一体に
して電話機の受話器のような構造としたり、操作ボタン
１３ａにより実現される入力手段に代えてタッチパネル
を用いた構成とすることも可能である。また、状態検出
部１４を構成するセンサの数も１つに限るものではな
く、複数個のセンサを用いることで、より詳細な利用者
の状態を得るようにすることも可能である。更に、通信
回線３０-1〜３０-nとして公衆電話回線を用い、遠隔地
からオペレートするように構成することも可能である。

【００６４】

【発明の効果】以上詳述したように本発明によれば、利
用者が音声認識システムの利用方法が理解できないとき
や、幾度も音声入力しても正しく認識されないときに、
オペレータを手動或いは自動で呼び出して、オペレータ
に指示・操作補助してもらえるので、そのシステムを初
めて利用する人でも必ず目的を達成できる、利用者に扱
いやすいシステムを提供できる。また、利用者は、オペ
レータとの会話によってそのシステムの利用方法を学ぶ
ことができるので、システムに次第に慣れることができ
る。更に、システムを提供する側からは、オペレータを
通して、そのシステムのどこが使いにくいか、どこに問
題があるかを把握することができるので、システムを改
良するための有益な情報を得て、より良いシステムを提
供することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る音声認識システムのブ
ロック構成図。

【図２】同実施例におけるユーザ端末１０-1の外観図。

【図３】同実施例においてオペレータを自動的に呼び出
すためのユーザ端末１０-1での一連の処理の流れを示す
フローチャート。

【符号の説明】

１０-1〜１０-n…ユーザ端末、１１…音声入力部（ユー
ザ端末側音声入力手段）、１１ａ…マイクロフォン、１
２…音声認識部、１３…操作部（ユーザ端末側操作手
段）、１３ａ…操作ボタン、１３ｂ…呼出ボタン、１４
…状態検出部、１４ａ…センサ、１５…表示部（ユーザ
端末側表示手段）、１５ａ…ディスプレイ、１５ｂ…オ
ペレータ待機表示領域（状態出力手段）、１６…音声出
力部（ユーザ端末側音声出力手段）、１６ａ…スピー
カ、１７…制御部（ユーザ端末側制御手段、状態検出手
段、オペレータ自動呼び出し手段）、２０…オペレータ
端末、２１…音声入力部（オペレータ端末側音声入力手
段）、２２…操作部（オペレータ端末側操作手段）、２
３…表示部（オペレータ端末側表示手段）、２４…音声
出力部（オペレータ端末側音声出力手段）、２５…制御
部（オペレータ端末側制御手段）、３０-1〜３０-n…通
信回線。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 ５６１ Ｃ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 利用者との対話を行うための音声認識機
   能を有するユーザ端末であって、利用者による音声入力
   操作のためのユーザ端末側音声入力手段、このユーザ端
   末側音声入力手段から入力された音声を認識する音声認
   識手段、この音声認識手段の認識結果及び各種情報を表
   示するためのユーザ端末側表示手段、利用者に各種情報
   を音声で通知するユーザ端末側音声出力手段、音声とは
   別の入力操作のためのユーザ端末側操作手段、及び前記
   各手段を制御するためのユーザ端末側制御手段を備えた
   ユーザ端末と、 前記ユーザ端末の利用者とオペレータが会話をするため
   のオペレータ端末であって、前記ユーザ端末側音声入力
   手段により入力された利用者の音声入力を聴取するため
   のオペレータ端末側音声出力手段、及びオペレータの音
   声を前記ユーザ端末の利用者に通知するためのオペレー
   タ端末側音声入力手段を備えたオペレータ端末とを具備
   することを特徴とする音声認識システム。
2. 【請求項２】 利用者との対話を行うための音声認識機
   能を有する複数のユーザ端末であって、利用者による音
   声入力操作のためのユーザ端末側音声入力手段、このユ
   ーザ端末側音声入力手段から入力された音声を認識する
   音声認識手段、この音声認識手段の認識結果及び各種情
   報を表示するためのユーザ端末側表示手段、利用者に各
   種情報を音声で通知するユーザ端末側音声出力手段、音
   声とは別の入力操作のためのユーザ端末側操作手段、及
   び前記各手段を制御するためのユーザ端末側制御手段を
   それぞれ備えた複数のユーザ端末と、 前記ユーザ端末の利用者とオペレータが会話をするため
   のオペレータ端末であって、前記複数のユーザ端末の１
   つを当該オペレータ端末に切り替え接続するためのオペ
   レータ端末側制御手段、このオペレータ端末側制御手段
   により切り替え接続された前記ユーザ端末の前記ユーザ
   端末側音声入力手段により入力された利用者の音声入力
   を聴取するためのオペレータ端末側音声出力手段、及び
   オペレータの音声を前記切り替え接続されたユーザ端末
   の利用者に通知するためのオペレータ端末側音声入力手
   段を備えたオペレータ端末とを具備することを特徴とす
   る音声認識システム。
3. 【請求項３】 前記オペレータ端末に、前記ユーザ端末
   側表示手段の表示内容をモニタするためのオペレータ端
   末側表示手段を更に備えたことを特徴とする請求項１ま
   たは請求項２記載の音声認識システム。
4. 【請求項４】 前記オペレータ端末に、前記ユーザ端末
   側操作手段を用いた利用者による入力操作をオペレータ
   が代行するためのオペレータ端末側操作手段を更に備え
   たことを特徴とする請求項１乃至請求項３のいずれかに
   記載の音声認識システム。
5. 【請求項５】 前記ユーザ端末に、前記オペレータ端末
   のオペレータとの会話が可能であるか否かの状態を外部
   出力するための状態出力手段を更に備えたことを特徴と
   する請求項１乃至請求項４のいずれかに記載の音声認識
   システム。
6. 【請求項６】 前記ユーザ端末に、当該ユーザ端末と利
   用者との対話が予め定められた時間を超えても終了しな
   い状態を検出する状態検出手段、及びこの状態検出手段
   の状態検出に応じて前記オペレータ端末に対してオペレ
   ータ呼び出しをかけるオペレータ自動呼出手段を更に備
   えたことを特徴とする請求項１乃至請求項５のいずれか
   に記載の音声認識システム。