JPH07110751A - マルチモーダル装置 - Google Patents

Abstract

(57)【要約】 【目的】音声入力手段とタッチ入力手段との連携をと
り、利用者の入力操作が容易且つ確実に行え、使い勝手
が向上できるようにする。 【構成】利用者の接近が接近検知部１７により検知され
ると、制御部１３は、表示部１２に多数の入力項目を分
類して表示し、音声入力部１１からの音声による項目入
力はいずれも受け付ける一方、タッチ入力部１５からの
タッチ入力は分類の代表項目だけを受け付けるようにす
る。代表項目の１つがタッチ入力されると、制御部１３
は、その分類に属する総ての項目を大きく画面表示し、
タッチ入力部１からの項目指定入力を受け付けるように
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、利用者との対話手段を
複数有し、複雑な操作をより簡単に利用可能とするマル
チモーダル装置に関する。

【０００２】

【従来の技術】近年、操作性の向上、或いは操作の自由
度の拡大のために、音声入力（音声認識）手段及びタッ
チ入力手段などの複数の入力手段を備えたマルチモーダ
ル装置が各種開発されている。

【０００３】この種のマルチモーダル装置では、選択入
力の対象となる項目の一覧（メニュー）を画面表示し
て、その中から音声入力またはタッチ入力により任意の
項目を入力させるのが一般的である。ここで、項目数が
多い場合には、隣接項目（の表示領域）間の間隔が小さ
くなる。このような場合、タッチ入力では、視差の影響
と指の太さの影響で正確なタッチが不可能となり、利用
者の意図した項目の入力が行い難い。

【０００４】そこで従来のマルチモーダル装置では、画
面表示する項目数が多い場合には、多項目からの項目選
択に適していないタッチ入力手段からの入力を受け付け
ないなどの制限を加えるとか、１回に画面表示する項目
数を少なくして、その項目については、音声入力及びタ
ッチ入力の両入力を可能とするなどの方式が採られてい
た。

【０００５】しかし、前者の方式では、タッチ入力手段
による項目入力は受け付けられないいことから、利用者
の操作の自由度に乏しく、また項目が画面表示されてい
るために利用者が誤ってタッチ入力操作を行う可能性が
あり、しかもその操作は無駄になるという問題があっ
た。一方、後者の方式では、対象となる項目数に影響さ
れずに項目入力が行えるという音声入力手段の特長を十
分に生かせないという問題があった。

【０００６】また、音声入力では、利用者によっては音
声認識でのリジェクトや認識誤りが発生し易く、このよ
うな利用者は、その後どうしたらよいか迷ってしまう
が、従来のマルチモーダル装置では、そのような利用者
に対する配慮はなされていなかった。

【０００７】

【発明が解決しようとする課題】上記したように、従来
のマルチモーダル装置では、複数の入力手段の連携が必
ずしもうまくとれる構成となっておらず、有効に機能し
ていなかった。即ち従来のマルチモーダル装置では、複
数の入力手段が存在するがために、利用者にとっては、
どの入力手段を用いて、どのように操作してよいのか分
かり難かったり、利用者に対する操作説明に時間がかか
ったり、異なる入力手段で同様の項目を入力させるため
に互いに入力機能の制限を加える結果となることも多
く、必ずしも使い易いものではなかった。

【０００８】本発明は上記事情を考慮してなされたもの
でその目的は、異なる入力手段である音声入力手段とタ
ッチ入力手段との連携を各入力手段の特長を生かすよう
にとることができ、もって利用者の入力操作が容易且つ
確実に行える使い勝手の良いマルチモーダル装置を提供
することにある。

【０００９】

【課題を解決するための手段及び作用】本発明のマルチ
モーダル装置は、表示手段に表示した複数の選択項目か
らなメニューが所定のメニュー（予め定められた特定の
メニュー）の場合には、当該メニューの中で前記タッチ
入力手段により指定入力可能な項目を限定し、タッチ入
力手段により指定入力可能な項目の数を音声入力手段に
より入力可能な項目よりも少なく設定することを特徴と
するものである。

【００１０】このような構成においては、所定メニュー
上に多数の項目が含まれていても、視差の影響と指の太
さの影響で正確なタッチ入力が不可能となるような表示
領域の小さい項目についてのみ、タッチ入力手段による
指定入力の対象外として扱うことにより、他の表示領域
の大きい項目についてはタッチ入力手段により正しく指
定入力することが可能となる。また、音声入力手段は、
タッチ入力手段に対してなされた入力可能項目の制限の
影響を受けず、したがって多項目からの項目選択に適し
ているという音声入力手段の特長も生かせる。

【００１１】また本発明は、上記所定メニュー中の項目
を分類して表示し、各分類を代表する項目については、
音声入力手段及びタッチ入力手段のいずれからも入力可
能として扱い、各分類に属する項目については、音声入
力手段からのみ入力可能として扱うことも特徴とし、更
に分類を代表する項目が、音声入力手段またはタッチ入
力手段から入力された場合には、当該分類に属する項目
が上記所定メニュー中の同じ項目より大きいサイズに設
定された下位層のメニューを表示して、この表示された
下位層のメニュー中の項目をタッチ入力手段から入力可
能として扱うことも特徴とする。

【００１２】このようにすることにより、分類を代表す
る項目については、初めからタッチ入力手段による入力
も行え、また、その代表項目が音声入力またはタッチ入
力されたならば、対応する分類に属する項目をタッチ入
力手段から入力することも可能となる。

【００１３】また本発明は、上記所定メニュー中に、分
類に属する項目が１つだけで、それが当該分類を代表す
る項目となっているものを含め、この項目については、
タッチ入力手段からも入力可能として扱うことも特徴と
する。

【００１４】このような構成においては、選択される頻
度の高い項目を、上記所定メニュー上で分類に属する唯
一の項目として扱うことにより、当該項目をタッチ入力
によっても１回で選択することが可能となる。

【００１５】また本発明は、音声入力手段によって入力
可能な項目を表示せずに、或いは一部のみを表示して、
音声入力手段からの項目入力の受け付けを行い、入力音
声に対して音声認識処理でリジェクトが発生もしくは所
定回数続いた場合、認識結果に対する訂正要求が入力さ
れた場合、或いは所定時間内に入力がなされない場合の
いずれかに該当する場合には、タッチ入力手段による指
定入力の対象となる項目を総て表示して、タッチ入力手
段からの項目入力の受け付けに切り換えることもを特徴
とする。

【００１６】このような構成によれば、入力音声が正し
く音声認識され難い傾向にある利用者、或いは音声の入
力操作に迷って音声入力動作を起こさない利用者にとっ
ては、自動的にタッチ入力が可能な状態に切り換えられ
るため、直ちにタッチ入力操作を行うことが可能とな
る。また、音声入力手段による入力が可能な項目の総て
が表示されるのではないため、本発明が駅の券売機に適
用される場合のように、入力すべき項目（駅名）を利用
者が予め分かっているような場合には、その利用者に対
し、総ての項目を表示する場合に比べて煩雑な印象を与
えることが防止できる。

【００１７】また、入力可能な項目を総て表示した場合
に、上記のようにタッチ入力手段からの項目入力の受け
付けに切り換えないで、音声入力手段からの項目入力の
受け付けを継続するようにしても良い。このような構成
では、入力すべき項目を利用者が確実に把握していない
ような場合に、利用者の音声入力の手助けとすることが
できる。

【００１８】

【実施例】

［第１実施例］以下、本発明の第１実施例を、ハンバー
ガショップの注文機に用いるマルチモーダル装置に適用
した場合を例に、図面を参照して説明する。

【００１９】図１は同実施例に係るマルチモーダル装置
の概略構成を示すブロック図である。図１に示すマルチ
モーダル装置は、音声入力部１１、表示部１２、制御部
１３、音声認識部１４、タッチ入力部１５、音声出力部
１６及び接近検知部１７から構成される。

【００２０】音声入力部１１は、利用者が発声した音声
を入力するために用いられるもので、例えばマイクロホ
ンが内蔵されたハンドセット型音声入力装置などであ
る。表示部１２は、各種選択項目（入力項目）からなる
メニュー及び各種メッセージ等の表示に用いられるもの
で、例えばＣＲＴディスプレイ、或いは液晶ディスプレ
イなどである。

【００２１】制御部１３は、表示部１２及び音声出力部
１６を通して利用者との対話を管理・制御するものであ
る。制御部１３は、接近検知部１７の検知結果に従う表
示部１２への初期画面の表示、音声認識部１４の音声認
識による入力並びにタッチ入力部１５からのタッチ入力
の受付け制御、受付けた入力内容（と現在の状態）に従
う表示画面の切り換え、及び表示部１２並びに音声出力
部１６へのメッセージ出力等を司る。

【００２２】音声認識部１４は、音声入力部１１から入
力された音声の認識処理を司る。タッチ入力部１５は、
例えば表示部１２の表示面に重ねて用いられるタッチパ
ネルを有している。タッチ入力部１５は、利用者が表示
部１２上の表示画面を見て所望の項目の表示位置を表示
面に重ねられたタッチパネル上でタッチする（指等で触
れる）ことにより、そのタッチ位置を静電容量の変化、
赤外線の遮蔽、重力の変化などを利用して検知して入力
するものである。このタッチ入力部１５により入力され
た位置情報に相当する項目が何であるかは、即ち利用者
により選択（入力）された項目が何であるかは、その位
置情報と表示中の画面の構成情報をもとに、制御部１３
により認識されるものであるが、ここでは説明を簡単に
するために、タッチ入力部１５により項目が指定入力さ
れるものとする。

【００２３】音声出力部１６は、音声によるメッセージ
等の出力に用いられるもので、例えばスピーカである。
接近検知部１７は、利用者が本装置に接近したことを検
出するものであり、例えば光学的なセンサである。

【００２４】次に図１の構成のマルチモーダル装置の利
用手順の一例を、図２及び図３のフローチャートと図４
乃至図６の表示画面例を参照して説明する。まず、利用
者が本装置に近づくと（ステップ２０１）、その旨が接
近検知部１７により検知されて（ステップ２０２）、制
御部１３に通知される。

【００２５】すると制御部１３は、図４に示すような注
文用の表示画面（初期品名表）を表示部１２に表示する
（ステップ２０３）。この図４に示す表示画面は、多数
の注文項目を符号４０１〜４０６に示す６つの分類に分
けて表示するための画面構造を有している。図４の表示
画面例では、分類４０１〜４０６を代表する項目（分類
項目）として、「ハンバーガ」、「ジュース」、「スナ
ック」、「クールドリンク」、「カツカレー」、「ホッ
トドリンク」が用いられている。画面下方には、利用者
の注文内容（に対する認識結果）を表示するための領域
（＜ご注文＞欄）が確保されている。図では、注文内容
として「チーズバーガ １個」が示されているが、実際
には、利用者が注文をし、その内容が認識された際に表
示されるものである。また、この領域の右端には、注文
の終了をタッチ入力により指示するための「確認」ボタ
ン４０７が表示されている。なお、品名（項目）を示す
文字列の他に、対応する品物の特徴を表した絵（マー
ク）を添えて、その品物の内容を分かり易くすること可
能である。

【００２６】図４に示した表示画面では、利用者は音声
入力部１１を用いて音声による項目入力で注文すること
も、画面中の所望の項目の表示領域に相当するタッチ入
力部１５（のタッチパネル上）の位置（以下、単に項目
の領域と呼ぶ）を指で触れて（タッチして）注文するこ
とも可能である。

【００２７】但し、音声による項目入力であれば、分類
４０１〜４０６に属する項目（品名）を１回の発声で特
定できるものの、タッチ入力部１５を用いた場合には、
最初は分類項目しか指定入力できず、１回のタッチ入力
では、所望の項目（品名）を特定できないようになって
いる。

【００２８】このように、１回のタッチ入力で目的の項
目を特定できない理由は、表示部１２として通常の小画
面のディスプレイを用いた場合には、図４の例のように
項目数が多いと、項目（の表示領域）のサイズ及び隣接
項目（の表示領域）間の間隔が小さくなり、視差の影響
と指の太さの影響で正確なタッチが不可能となることに
よる。このため本実施例では、分類項目をタッチした場
合には（後述するような特別の分類項目の場合を除
き）、その分類のみを大きく画面表示して、その分類に
属する項目（品名）をタッチ入力できるようにしてい
る。

【００２９】具体的には、利用者は、音声入力部１１に
内蔵のマイクロホンに例えば「チーズバーガ」「１個」
と発声して（ステップ２０４）注文しても良いし、タッ
チ入力部１５上で「チーズバーガ」等を代表する分類項
目である「ハンバーガ」の領域（分類４０１の領域）を
触れる（ステップ２０９）ようにしても良い。

【００３０】利用者が発声した音声は音声入力部１１に
より入力される。音声認識部１４は、音声入力部１１に
より入力された音声の認識処理を行い、その認識結果を
制御部１３に渡す。

【００３１】一方、利用者がタッチした項目の位置情報
はタッチ入力部１５により入力されて、制御部１３に渡
される。制御部１３は、この位置情報と表示中の画面の
構成情報をもとに、利用者が入力指定（選択）した項目
を認識する。

【００３２】さて上記の例において、音声による注文で
は、それが音声認識部１４にて正しく認識されるなら
ば、「チーズバーガ」を１回の発声で特定できる。これ
に対して、タッチ入力による注文では、前記した理由で
１回のタッチでは特定できない。そこで制御部１３は、
上記の例のように「ハンバーガ」という分類４０１の領
域がタッチされた場合には、図５に示すような「ハンバ
ーガ」の分類に属する項目がタッチ入力可能なように拡
大された表示画面を、表示部１２に表示する（ステップ
２１０）。

【００３３】この図５に示す表示画面は、符号５０１に
示すように、「ハンバーガ」の分類を大きく表示するた
めの画面構造を有している。また当該画面には、注文品
の個数をタッチ入力により指定するための個数入力領域
５０２が確保されている。この個数入力領域５０２に
は、注文の取消を指示するための「取消」ボタン５０３
が設けられている。また、画面下方には、利用者の注文
内容の表示領域が確保されている。図では、注文内容と
して「チーズバーガ １個」が示されているが、実際に
は、利用者が注文をし、その内容が認識された際に表示
されるものである。また、この領域の右端には、注文の
追加をタッチ入力により指示するための「追加」ボタン
５０４と、注文の終了をタッチ入力により指示するため
の「確認」ボタン５０５が表示されている。

【００３４】利用者は、図５に示す表示画面が表示され
ると、「ハンバーガ」の分類５０１中の所望の項目（品
名）、例えば「チーズバーガ」をタッチし、続いて個数
入力領域５０２上で、例えば「１」「個」とタッチする
ことによって（ステップ２１１）、タッチ入力部１５か
ら注文を行うことができる。

【００３５】制御部１３は、このタッチ入力結果から、
利用者の注文した品と個数を認識する。ここで、例えば
ジュースを追加注文したい場合には、利用者はまず、
「追加」ボタン５０４をタッチする（ステップＳ３０
１）。すると制御部１３は、再び図４に示した表示画面
を表示する（ステップ３０２）。

【００３６】次にこの状態で、利用者が、「オレンジジ
ュース」等を代表する分類項目である「ジュース」の領
域（分類４０２の領域）をタッチすると（ステップ３０
３）、制御部１３は、「ジュース」の分類に属する項目
がタッチ入力可能なように拡大された（図５と同様の構
造の）表示画面を表示部１２に表示する（ステップ３０
４）。

【００３７】ここで利用者が、希望の品名と個数とを、
例えば「オレンジジュース」「１」「個」の各領域をタ
ッチすることによって指定入力すると（ステップ３０
５）、制御部１３は、「オレンジジュース １個」が追
加注文されたことを認識する。

【００３８】また、「オレンジジュース １個」を追加
した状態で、先に注文した「チーズバーガ」を「取消」
したい場合は、利用者はまず、図５の画面上の「追加」
ボタン５０４をタッチした場合（ステップ３０１）と同
様に、「ジュース」の分類の表示画面上の「追加」ボタ
ンをタッチする（ステップ３０６）。すると、制御部１
３により、図４の表示画面が再表示される（ステップ３
０７）。

【００３９】ここで利用者が、「ハンバーガ」という分
類４０１の領域をタッチすると（ステップ３０８）、図
５の表示画面が再表示される（ステップ３０９）。利用
者が、この状態で「チーズバーガ」「取消」とタッチす
ると（ステップ３１０）、制御部１３は、先に受け付け
た「チーズバーガ １個」の注文の取消を行う。

【００４０】そして、利用者が注文をし終えたと判断し
たならば、「確認」ボタン５０５をタッチする（ステッ
プ３１１）。これにより制御部１３は、利用者からの注
文受け付けを終了する。

【００４１】なお、図５中の＜ご注文＞欄の注文内容
「チーズバーガ １個」を１つの入力項目として扱える
ようにし、この「チーズバーガ １個」の領域と、「取
消」ボタン５０３とを連続してタッチすることにより、
注文済みの「チーズバーガ」の取消を行うようにしても
良い。この場合、利用者による取消の操作手順が簡略化
される。

【００４２】一方、音声入力の場合の「オレンジジュー
ス」の追加注文であれば、（タッチ入力による追加注文
と異なって）利用者は単に「オレンジジュース」「１
個」と発声する（ステップ２０５）だけで良い。また、
先に注文した「チーズバーガ」を取消する場合は、例え
ば「チーズバーガ」「取消」と発声する（ステップ２０
６）だけで良い。ここで注文の終了指示は、「確認」と
発声しても（ステップ２０７）、「確認」ボタンをタッ
チしても（ステップ２０８）行える。

【００４３】なお、図４の例では、多数の注文項目を６
つの分類４０１〜４０６に分けて表示しているが、「カ
ツカレー」のように、１つの品名（項目）をそのまま分
類項目（分類を代表する項目）とした場合には、他の
「ハンバーガ」などの分類項目と異なり、その分類項目
「カツカレー」（の領域）をタッチするだけで、１つに
特定することが可能となる。

【００４４】また、図４に示した画面の表示状態におい
て、分類項目のいずれか１つ、例えば「ジュース」を発
声した場合に、ジュースの分類に属する項目だけを、図
６に示すように大きく表示させるようにすることもでき
る。この図６に示す画面の表示状態で、例えば「オレン
ジジュース １個」を注文するには、「オレンジジュー
ス」「１個」と発声しても、「オレンジジュース」
「１」「個」とタッチしても良い。 ［第２実施例］次に、本発明の第２実施例を、駅の券売
機に用いるマルチモーダル装置に適用した場合を例に、
図７のフローチャートと図８乃至図１２の表示画面例を
参照して説明する。ここで、本装置の概略構成は、図１
に示した前記第１実施例に係る装置と同様であるため、
第２実施例の説明においては、便宜上図１も併用する。

【００４５】まず、利用者が本装置に近づき（ステップ
７０１）、その旨が接近検知部１７により検知されると
（ステップ７０２）、制御部１３により表示部１２に図
８に示すような表示画面（案内画面）が表示される（ス
テップ７０３）。この図８に示す画面では、個々の駅名
が表示されていない。その理由は、第１実施例で述べた
ようなハンバーガショップの注文機と違って、利用者
は、一般に自分の行きたい駅の駅名を知っているからで
あり、表示の必要がないためである。また、逆に個々の
駅名を表示したのでは、かえって利用者に煩雑な印象を
与えることが多いためである。

【００４６】利用者は、図５に示す案内画面が表示され
ると、その案内「どちらまででしょうか。」に従って、
音声入力部１１に内蔵のマイクロホンに、例えば「浅草
橋」「１枚」（利用者が子供の場合には、「浅草橋」
「子供」「１枚」）というように発声する（ステップ７
０４）。

【００４７】利用者が発声した音声は音声入力部１１に
より入力される。音声認識部１４は、音声入力部１１に
より入力された音声「浅草橋」「１枚」の認識処理を行
い（ステップ７０５）、その認識結果を制御部１３に渡
す。すると制御部１３は、その音声認識結果を受けて、
例えば図９に示すように「浅草橋 大人 １枚」を含む
認識結果メッセージを画面表示する（ステップ７０
６）。

【００４８】利用者は、図９に示す画面を参照し、行先
（及び枚数）が正しく認識されたと判断できたなら、画
面中に設けられた「確認」ボタン９０２をタッチする
（ステップ７０７）。すると制御部１３は、料金を計算
し、利用者に対してその料金の支払いを促すメッセージ
を表示する。

【００４９】一方、正しい認識結果が表示されていなか
った場合には、利用者は、図９の画面中に設けられた
「訂正」ボタン９０１をタッチする（ステップ７０
８）。すると制御部１３は、図８に示した案内画面を再
表示する（ステップ７０９）。但し、「いらっしゃいま
せ。」のメッセージ部分は消す。

【００５０】ここで、利用者が、再び「浅草橋」「１
枚」と発声しても、即ち再度音声入力を行っても、図９
に示したような正しい認識結果が表示されなかった場合
には、利用者は、再び「訂正」ボタン９０１をタッチす
る（ステップ７１０）。

【００５１】制御部１３は、訂正回数をカウントしてお
り、所定回数、例えば本実施例のように２回「訂正」が
タッチ入力されると、現在の利用者では、これ以上音声
による項目入力（ここでは、行先、枚数などの入力）を
繰り返しても、正しく認識できないものと判断し、図１
０に示すような表示画面に切り換えて、タッチでの項目
入力の受け付けに切り換える（ステップ７１１）。この
図１０の表示画面は、駅名の頭文字により、駅名のタッ
チ入力が可能な画面構造となっている。

【００５２】なお、利用者が所定回数音声入力しても、
音声認識部１４にてリジェクトされる場合（即ち音声認
識結果を出せない場合）、或いは１つに決められない場
合にも、上記した「訂正」回数が所定回数（２回）とな
った場合と同様の扱いをしてタッチ入力に切り換えるよ
うにしても良い。

【００５３】また、図８の案内画面を表示した後、或る
一定時間を経過しても、（利用者が行先の駅名をはっき
りと覚えていないとか、音声入力の仕方が分からないな
どの理由で）音声入力がなかった場合に、上記した「訂
正」回数が所定回数となった場合と同様の扱いをしてタ
ッチ入力に切り換えるようにしても良い。勿論、１度目
は再度案内画面を表示して、利用者に注意を喚起した
後、タッチ入力に切り換えるようにしても良い。

【００５４】さて利用者は、図１０に示す画面が表示さ
れると、希望する駅名「浅草橋」の頭文字「あ」をタッ
チ入力する（ステップ７１２）。すると制御部１３は、
図１１に示すような、頭文字が「あ」の駅名を入力項目
とするタッチ入力用の一覧を表示する（ステップ７１
３）。

【００５５】そこで利用者は、「浅草橋」をタッチ入力
する（ステップ７１４）。図１１の一覧画面には、図５
中の個数入力領域５０２と同様な枚数入力領域（図では
省略）が確保されており、この領域上で、切符の枚数、
更には「子供（或いは大人／子供）のタッチ入力が可能
なようになっている。

【００５６】利用者によるタッチ入力結果は、図９と同
様の画面に表示され、利用者の希望通りの結果であるな
らば、利用者は「確認」ボタンをタッチする。この「確
認」ボタンのタッチにより、「訂正」回数のカウント結
果がクリアされる。また、この「訂正」回数のカウント
結果は、上記したタッチ入力への切り換えによりクリア
されるようにしても良い。

【００５７】なお、上記のようにタッチ入力に切り換え
る代わりに、図１２に示すような、総ての駅名の一覧を
画面表示（一度に表示し切れない場合には、次ページ指
定により画面を切り換えて表示）し、利用者が音声で入
力する手助とするようにしても良い。この方式は、利用
者が行先の駅名をはっきりと覚えていないような場合に
適する。

【００５８】

【発明の効果】以上詳述したようにこの発明によれば、
多数の項目の中から所望の項目を選択して入力するには
適しているが、利用者によっては入力内容が正しく認識
され難い音声入力手段と、多数の項目の中からの項目の
選択入力には適していないが、少数の項目の中から選択
する際には利用者によらずに、簡単かつ確実に入力でき
るタッチ入力手段の特長を生かすように、これら両入力
手段の連携をとることができるため、利用者の入力操作
が容易且つ確実に行え、使い勝手を向上することができ
る。

【図面の簡単な説明】

【図１】本発明の第１実施例に係るマルチモーダル装置
の概略構成を示すブロック図。

【図２】同実施例における利用手順の一例を説明するた
めのフローチャートの一部を示す図。

【図３】同実施例における利用手順の一例を説明するた
めのフローチャートの残りを示す図。

【図４】同実施例において多数の項目を分類して表示す
る際の画面表示例を示す図。

【図５】同実施例においてタッチ入力により選択された
１つの分類に属する項目を大きく表示する際の表示画面
例を示す図。

【図６】同実施例において音声入力により選択された１
つの分類に属する項目を大きく表示する際の表示画面例
を示す図。

【図７】本発明の第２実施例における利用手順の一例を
説明するためのフローチャート。

【図８】同実施例における案内画面の一例を示す図。

【図９】同実施例における認識結果表示画面の一例を示
す図。

【図１０】同実施例におけるタッチ入力用画面の一例を
示す図。

【図１１】図１０の画面の下位層をなすタッチ入力用画
面の一例を示す図。

【図１２】同実施例における音声入力用画面の一例を示
す図。

【符号の説明】

１１…音声入力部、１２…表示部、１３…制御部、１４
…音声認識部、１５…タッチ入力部、１６…音声出力
部、１７…接近検知部。

Claims (7)

【特許請求の範囲】
1. 【請求項１】利用者からの音声による選択すべき項目の
   入力等に用いられる音声入力手段と、この音声入力手段
   により入力された音声を認識する音声認識手段と、各種
   選択項目からなるメニュー及び各種メッセージ等の表示
   に用いられる表示手段と、この表示手段に表示されてい
   る画面上の項目を利用者の指等で位置指示することによ
   り当該項目を指定入力するためのタッチ入力手段と、前
   記音声入力手段、前記音声認識手段、前記表示手段及び
   前記タッチ入力手段を制御して、前記音声入力手段及び
   前記タッチ入力手段からの入力の受け付けを行う制御手
   段とを具備し、 前記制御手段は、前記表示手段に前記選択項目からなる
   所定のメニューを表示した場合には、当該メニューの中
   で前記タッチ入力手段により指定入力可能な項目を限定
   し、前記タッチ入力手段により指定入力可能な項目の数
   を前記音声入力手段により入力可能な項目よりも少なく
   設定することを特徴とするマルチモーダル装置。
2. 【請求項２】前記所定のメニュー中の項目は分類されて
   表示されており、 前記制御手段は、前記各分類を代表する項目について
   は、前記音声入力手段及び前記タッチ入力手段のいずれ
   からも入力可能として扱い、前記各分類に属する項目に
   ついては、前記音声入力手段からのみ入力可能として扱
   うことを特徴とする請求項１記載のマルチモーダル装
   置。
3. 【請求項３】前記所定のメニュー中には、前記分類に属
   する項目が１つだけで、それが当該分類を代表する項目
   となっているものが含まれており、 前記制御手段は、当該代表項目については、前記タッチ
   入力手段からも入力可能として扱うことを特徴とする請
   求項２記載のマルチモーダル装置。
4. 【請求項４】前記制御手段は、前記所定のメニュー中の
   前記分類を代表する項目が、前記音声入力手段または前
   記タッチ入力手段から入力された場合には、当該分類に
   属する項目が前記所定のメニュー中の同じ項目より大き
   いサイズに設定された下位層のメニューを前記表示手段
   に表示し、この表示された下位層のメニュー中の項目を
   前記タッチ入力手段から入力可能として扱うことを特徴
   とする請求項３記載のマルチモーダル装置。
5. 【請求項５】利用者からの音声による選択すべき項目の
   入力等に用いられる音声入力手段と、この音声入力手段
   により入力された音声を認識する音声認識手段と、各種
   選択項目からなるメニュー及び各種メッセージ等の表示
   に用いられる表示手段と、この表示手段に表示されてい
   る画面上の項目を利用者の指等で位置指示することによ
   り当該項目を指定入力するためのタッチ入力手段と、前
   記音声入力手段、前記音声認識手段、前記表示手段及び
   前記タッチ入力手段を制御して、前記音声入力手段及び
   前記タッチ入力手段からの入力の受け付けを行う制御手
   段とを具備し、 前記制御手段は、前記音声入力手段によって入力可能な
   項目を前記表示手段に表示せずに、或いは一部のみを表
   示して、前記音声入力手段からの項目入力の受け付けを
   行い、入力音声に対して前記音声認識手段でのリジェク
   トが発生もしくは所定回数続いた場合、或いは認識結果
   に対する訂正要求が入力された場合には、前記タッチ入
   力手段による指定入力の対象となる項目を総て前記表示
   手段に表示して、前記タッチ入力手段からの項目入力の
   受け付けに切り換えることを特徴とするマルチモーダル
   装置。
6. 【請求項６】利用者からの音声による選択すべき項目の
   入力等に用いられる音声入力手段と、この音声入力手段
   により入力された音声を認識する音声認識手段と、各種
   選択項目からなるメニュー及び各種メッセージ等の表示
   に用いられる表示手段と、この表示手段に表示されてい
   る画面上の項目を利用者の指等で位置指示することによ
   り当該項目を指定入力するためのタッチ入力手段と、前
   記音声入力手段、前記音声認識手段、前記表示手段及び
   前記タッチ入力手段を制御して、前記音声入力手段及び
   前記タッチ入力手段からの入力の受け付けを行う制御手
   段とを具備し、 前記制御手段は、前記音声入力手段によって入力可能な
   項目を前記表示手段に表示せずに、或いは一部のみを表
   示して、前記音声入力手段からの項目入力の受け付けを
   行い、所定時間内に入力がなされない場合には、前記タ
   ッチ入力手段による指定入力の対象となる項目を総て前
   記表示手段に表示して、前記タッチ入力手段からの項目
   入力の受け付けに切り換えることを特徴とするマルチモ
   ーダル装置。
7. 【請求項７】利用者からの音声による選択すべき項目の
   入力等に用いられる音声入力手段と、この音声入力手段
   により入力された音声を認識する音声認識手段と、各種
   選択項目からなるメニュー及び各種メッセージ等の表示
   に用いられる表示手段と、この表示手段に表示されてい
   る画面上の項目を利用者の指等で位置指示することによ
   り当該項目を指定入力するためのタッチ入力手段と、前
   記音声入力手段、前記音声認識手段、前記表示手段及び
   前記タッチ入力手段を制御して、前記音声入力手段及び
   前記タッチ入力手段からの入力の受け付けを行う制御手
   段とを具備し、 前記制御手段は、前記音声入力手段によって入力可能な
   項目を前記表示手段に表示せずに、或いは一部のみを表
   示して、前記音声入力手段からの項目入力の受け付けを
   行い、入力音声に対して前記音声認識手段でのリジェク
   トが発生もしくは所定回数続いた場合、認識結果に対す
   る訂正要求が入力された場合、或いは所定時間内に入力
   がなされない場合には、前記入力可能な項目を総て前記
   表示手段に表示して、前記音声入力手段からの項目入力
   の受け付けを継続することを特徴とするマルチモーダル
   装置。