JPH06149534A - 音声画面操作装置 - Google Patents

Abstract

(57)【要約】 【目的】 表示装置６に表示されたメニュー画面２０の
項目２３を音声によって選択指定可能とする。 【構成】 情報処理装置２における処理過程で次に選択
すべき複数の項目２３をメニュー画面２０として表示す
る表示装置６と、マイク１４に入力された音声情報を空
間伝達媒体を介して出力するリモート端末機１１と、リ
モート端末機１１から出力された音声情報を受信する受
信機９と、受信機９で受信された音声情報を項目毎に予
め登録された一つの単語コードに変換する音声認識部２
２とを有し、音声認識部２２から出力された単語コード
に対応する項目２３を選択し、かつこの項目選択結果を
表示装置６のメニュー画面２０に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音声により表示装置に表
示されたメニュー画面の項目に対する選択操作を行う音
声画面操作装置に関する。

【０００２】

【従来の技術】例えば工場等の大規模プラントにおいて
は、管理室に大型コンピュータからなる制御装置が設置
され、この制御装置がプラントの各設備から入力され各
プロセスデータに対して所定の制御演算を実施して各設
備に対して操作データを出力する。また、制御装置は上
述した各設備に対する制御機能の他に、各設備の状態を
監視する監視機能も有している。

【０００３】このように制御装置は多数の業務を実行す
るので、操作者が操作しやすいように、ＣＲＴ表示装置
の表示画面にプルダウン方式で表示するための多数のメ
ニュー画面を準備して、操作者がメニュー画面に表示さ
れている複数の項目（アイコン）からマウス等の座標入
力装置を用いて一つの項目を選択し、さらにその項目に
関係するサブ項目が表示されたメニュー画面を表示して
いる。すなわち、操作者が所望する例えばアラーム状態
画面等の最終画面へ展開するようにしている。

【０００４】このように、メニュー画面に表示された選
択項目を順番に指定していくことで所望の画面が得られ
るので、たとえキー操作に不慣れな操作員であっも簡単
にかつ正確に操作を実施できる。

【０００５】また、キーボードにおける複数のキーを打
鍵して、次の画面へ展開させる従来手法に比較して飛躍
的に操作性が向上する。またキー入力間違い等の人為的
ミスを低減できる。

【０００６】このように、ＣＲＴ表示装置の表示画面に
全ての情報が表示される。しかし、ＣＲＴ表示装置の表
示画面は小さいので、原則として一人の操作員しか監視
できない。このＣＲＴ表示装置が採用される以前におい
ては、中央管理室の壁面一杯に各種のデータが常時表示
されており、プラントの管理者は、この壁面一杯に表示
された各種データを一望することによってプラントの状
態を把握していた。

【０００７】しかし、ＣＲＴ表示装置を用いることによ
って、これらの情報がＣＲＴ表示装置の表示画面に集約
されてしまうので、プラントの管理者はプラント全体の
運転状況が即座に把握できなく不安感を抱いている。

【０００８】このような不都合を解消するために、ＣＲ
Ｔ表示装置の表示画面の表示内容をそのまま例えばビデ
オ・プロジェクタを用いて大型のスクリーン上に表示す
るようにしている。このように大型のスクリーン上にメ
ニュー画面及び選択された各種のデータを表示すること
によって、管理者はプラントの状態を管理室のどの位置
からも一望できる。

【０００９】

【発明が解決しようとする課題】しかし、たとえ、メニ
ュー画面が大型のスクリーン上に表示されたとしても、
このメニュー画面を展開して、所望の画面を表示させる
ためには、やはり、ＣＲＴ表示装置が載置された操作台
におけるマウス操作又はキー操作を実施する必要があ
る。したがって、管理者としてはマウス等が置かれた操
作台位置を離れては、自由に必要な画面をスクリーン上
に表示させることはできない。

【００１０】このような不都合を解消するために、例え
は一般家庭のＴＶ装置やビデオ装置を操作する場合に用
いられる、例えば赤外線等を用いたリモート端末機が考
えられる。しかし、リモート端末機でもってスクリーン
上に表示されたメニュー画面から必要な項目を選択して
所望の画面に展開させるためには、少なくとも選択項目
数分のキーが必要である。したがって、リモート端末機
に多数のキーを配設する必要があり、端末機全体が大型
化し、プラントの管理者が常時持参するには不便であ
る。さらに、多数のキーが配設されているので、スクリ
ーンとキーとを両方見ながらキー操作する必要があり、
操作性の観点からも改良の余地がある。

【００１１】本発明はこのような事情に鑑みてなされた
ものであり、音声でメニュー画面の選択項目を指定する
ことによって、リモート端末機を小型に形成でき、さら
に、スクリーン等の表示画面のみを見ながら選択操作が
でき、表示画面の展開操作の操作性を大幅に向上でき、
さらに、管理室内のどの位置からも簡単に操作できる音
声画面操作装置を提供するとを目的とする。

【００１２】さらに、リモート端末機にマイクの他に２
〜３個の少数のボタンを取付けることにより、音声によ
る項目指定をより確実にでき、さらに取消も簡単にで
き。上述した操作性をさらに向上できる音声画面操作装
置を提供するとを目的とする。

【００１３】

【課題を解決するための手段】上記課題を解消するため
に本発明の音声画像操作装置においては、情報処理装置
における処理過程で次に選択すべき複数の項目をメニュ
ー画面として表示する表示装置と、マイクに入力された
音声情報を空間伝達媒体を介して出力するリモート端末
機と、このリモート端末機から出力された音声情報を受
信する受信機と、この受信機で受信された音声情報を項
目毎に予め登録された一つの単語コードに変換する音声
認識部と、この音声認識部から出力された単語コードに
対応する項目を選択する項目選択手段と、この項目選択
結果を表示装置のメニュー画面に表示する選択項目表示
手段とを備えている。また別の発明においては、表示装
置のメニュー画面に表示中の複数の項目のうち選択され
た項目を強調表示するようにしている。

【００１４】さらに別の発明においては、リモート端末
機にマイクの他に入力ボタンを設け、入力ボタン操作情
報と音声情報とをリモート端末機から出力するようにし
ている。そして、音声認識部においては、受信機で受信
された音声情報をボタン操作情報の示す継続時間長に制
限し、制限された後の音声情報を項目毎に予め登録され
た一つの単語コードに変換している。

【００１５】さらに別の発明においては、リモート端末
機に対して入力ボタンとマイクに加えて取消ボタン及び
実行ボタンとを取付け、実行ボタン情報受領後に入力し
た単語コードに対応する項目を選択し、かつ取消ボタン
操作情報受領に応動して項目選択及び選択項目表示を取
消すようにしている。

【００１６】

【作用】このように構成された音声画面操作装置であれ
ば、管理者がリモート端末機を所持した状態でスクリー
ン等の大型の表示装置に表示されたメニュー画面を見な
がら各項目毎に予め登録された言葉（単語）を発声する
と、マイクでその音声情報が検出され、音声情報は有線
以外の空間伝達媒体を介して空中に放出される。音声情
報は受信機で受信され、音声認識部で単語コードに変換
される。そして、この単語コードに基づいて項目が選択
され、かつ選択された項目が表示される。この場合、選
択された項目は強調表示されるので、選択した項目を目
視で確認できる。

【００１７】さらに、リモート端末機に入力ボタンを設
けることによって、この入力ボタンを押すことによっ
て、マイクから入力される音声のうちの音声認識すべき
時間領域が指定されるので、音声認識の認識精度を向上
できる。また、リモート端末機に入力ボタンに加えて取
消ボタンと実行ボタンを取付けることによって、音声で
選択した項目の確認と取消が可能となる。

【００１８】

【実施例】以下本発明の実施例を図面を用いて説明す
る。

【００１９】図１は実施例の音声画面操作装置の概略構
成を示す模式図である。工場等の大規模プラントにおけ
る中央管理室１の床１ａに大型コンピュータからなる制
御装置２が据付けられている。この制御装置２は各設備
から入力され各プロセスデータに対して所定の制御演算
を実施して各設備に対して操作データを出力する。ま
た、制御装置２は上述した各設備に対する制御機能の他
に、各設備の状態を監視する監視機能も有している。制
御装置２の前面にはＣＲＴモニタ３及びキーボード４が
取付けられている。そして、この表示画面３及びキーボ
ード４に向かって操作員５が着席する。

【００２０】管理室１の壁の一面に大型のスクリーン６
が取付けられており、スクリーン６には天井１ｂに取付
けられたビデオ・プロジェクタ７によって画像が投影さ
れる。このビデオ・プロジェクタ７には前記制御装置２
からケーブル８を介して映像信号が入力される。また、
天井１ｂの片隅には受信機９が取付けられている。受信
機９の受信信号はケーブル１０を介して制御装置２へ送
出される。また、管理室１内にはリモート端末機１１を
所持した管理者１２がいる。

【００２１】前記リモート端末機１１においては、図２
に示すように、片手で把持できる程度の外径を有した円
筒状ケース１３に音声を電気信号に変換するマイク１４
と、入力ボタン１５と取消ボタン１６と実行ボタン１７
との合計３個のボタンが取付けられている。また、円筒
状ケース１３にはアンテナ１８が取付けられている。

【００２２】円筒状ケース１３内には、増幅器，複数の
変調回路，送信機が組込まれている。そして。管理者１
２がマイク１４に向かって音声を発すると、この音声は
マイク１４によって音声信号に変換され、一つの変調回
路で例えばＦＭ変調される。高周波のＦＭ変調波は増幅
器で増幅されたのち、送信機でもってアンテナ１８を介
して空中に電波放出される。

【００２３】また、各ボタン１５，１６，１７が押され
ると、各ボタン１５，１６，１７に対して予められた２
値化された指令信号が生成され、変調回路でもって搬送
波信号をこの指令信号でＦＳＫ変調して、送信機及びア
ンテナ１８を介して空中に電波放出される。空中に電波
放出された音声のＦＭ変調電波及びＦＳＫ変調電波は受
信機９で受信されて、元の音声信号及び各指令信号に復
調され制御装置２へ送信される。

【００２４】制御装置２には、大きく分けて、プラント
の各設備のプロセス状態を制御するプロセス制御部１９
と、前記ＣＲＴモニタ３及びピデオ・プロジェクタ７を
介してスクリーン６に例えば図４に示すメニュー画面２
０等を表示する表示制御部２１と、受信機９から入力し
た音声信号及び各指令信号を単語コード及び各指令コー
ドに変換する音声指令認識部２２が収納されている。

【００２５】前記表示制御部２１はＣＲＴモニタ３及び
スクリーン６に表示すべき多数の表示フォーマットを記
憶している。そして、例えば装置の電源が投入された直
後、または何等かの業務が終了すると、図４に示すメニ
ュー画面２０をＣＲＴモニタ３及びスクリーン６に表示
する。

【００２６】このメニュー画面２０においては、例えば
「メンテナンス」，「アラーム一覧」．「グラフ表
示」，「システム全体」．…等の合計２５個の項目２３
が表示される。また、図４に示すメニュー画面２０が表
示された状態において、何等可の方法で「アラーム一
覧」の項目２３が選択されると、表示制御部２１は図５
に示すような、プラントの各設備における各信号のアラ
ーム（警報状態）の一覧表２４を表示する。なお、各ア
ラームの実際のデータはプロセス制御部１９から受領し
たデータである。

【００２７】前記音声指令認識部２２内には、図４に示
したメニュー画面２０に表示される選択すすべき各項目
２３の前述した各項目名称の基準音声信号，及び各基準
音声信号に対応する各単語コードが記憶されている。

【００２８】そして、音声指令認識部２２及び表示制御
部２１は、図３（ａ）（ｂ）に示す流れ図に従って音声
認識，コード変換処理及び表示制御処理を実行するよう
にプロマラム構成されている。

【００２９】流れ図が開始され、Ｓ（プログラム・ステ
ップ）１にて、受信機９から入力ボタン１５を押したこ
とを示す入力指令信号が入力されと、Ｓ２において、例
えば５秒等の予め定められた規定継続時間Ｔだけ受信機
９から出力される音声信号を取込んで音声バッファにセ
ットする。この時点においては、図３（ｂ）の流れ図に
示すように、表示制御部２１によって、スクリーン６に
は図４に示すメニュー画面２０が表示されている。

【００３０】なお、規定継続時間Ｔ中の音声信号のみを
取込む理由は、常時音声信号を取込んで音声認識を行う
と、周囲の雑音や指令に関係ない会話をマイク１４で拾
って、この雑音及び会話を正規の指令と判断することを
未然に防止するためである。したがって、リモート端末
機１１で音声を入力する場合は、先に入力ボタン１５を
押した直後に音声を発する必要がある。

【００３１】音声バッファに取込まれた音声信号は記憶
部に予め登録されている２５個の各基準音声信号に対し
て一致，不一致が一定の誤差範囲を含めて判定され、一
致する基準音声信号が検出されると、該当基準音声信号
に割付けられた単語コードを表示制御部２１へ送出する
（Ｓ４）。

【００３２】表示制御部２１は、図３（ｂ）の流れ図に
示すように、単語コードを受領すると、該当単語コード
にて指定された項目２３を他の項目と区別するために強
調表示する。具体的には、該当項目２３全体を点滅表示
したり、項目２３の枠を異なる色に表示したり、また全
体を反転表示する。

【００３３】Ｓ５において、受信機９から取消ボタン１
６を押したことを示す取消指令信号が入力されと、取消
コードを表示制御部２１へ送出する（Ｓ６）。そして、
流れ図の最初に戻る。表示制御部２１は、取消コードを
受領すると、該当項目２３の強調表示を解除して、流れ
図の最初に戻る。

【００３４】取消ボタン１６が押されずに、Ｓ７におい
て、受信機９から実行ボタン１７を押したことを示す実
行令信号が入力されと、実行コードを表示制御部２１へ
送出する（Ｓ８）。そして、流れ図の最初に戻る。表示
制御部２１は、実行コードを受領すると、現在強調表示
している項目２３が選択されたことの確認がなされたと
判断して、図４に示すメニュー画面２０を消去して、該
当項目２３に対して設定された次の画面をＣＲＴモニタ
３及びスクリーン６に表示する。例えば、前述したよう
に、「アラーム一覧」の項目２３が選択された場合は、
図５に示す各信号のアラーム（警報状態）の一覧表２４
を表示する。

【００３５】このように構成された音声画面操作装置で
あれば、図１に示すように、管理者１２は、スクリーン
６に図４に示すメニュー画面２０を表示させた状態で、
リモート端末機１１を片手でもって、入力ボタン１５を
押して選択したい項目２３に表記されている文字を読上
げると、この音声がマイク１４で検出され、音声指令認
識部２２で認識されて、単語コードに変換されて表示制
御部２１によって、現在表示されている複数の項目のう
ち音声で指定した項目２３が強調表示される。

【００３６】そして、この強調表示された項目２３が自
己が選択した項目に一致した場合は、実行ボタン１７を
押すと、スクリークン６の表示画面が該当項目２３が指
定する次の画面に変化する。なお、強調表示された項目
２３が自己が意図しない項目であった場合や、選択項目
を変更する場合は、その時点で取消ボタン１６を押す
と、強調表示が解除され、元のメニュー画面２０に戻
る。

【００３７】このように、管理者１２は、制御装置２の
キーボード４位置を遠く離れた管理室１内のどの位置か
らでも、自由にスクリークン６の表示画面の項目２３を
指定して、表示内容を該当項目の詳細内容を示す画面に
展開させることが可能となる。よって、従来装置のよう
に、管理者１２が制御装置２のキーボード４位置へ赴い
て、マウス操作又はキーボード操作にによって画面展開
を実施させる必要がないので、操作性を大幅に向上でき
る。

【００３８】また、リモート端末機１１には、マイク１
４のみならず、音声入力を予告する入力ボタン１５を設
けているので、外部雑音や指令に関係のない会話の音声
により、音声指令認識部２２が誤って単語コードを出力
して、表示画面が誤って次の画面に展開されることが未
然に防止される。

【００３９】さらに、リモート端末機１１には、入力ボ
タン１５の他に取消ボタン１６と実行ボタン１７を設け
ているので、音声で選択した項目２３の確認と取消が可
能となる。したがって、操作性がより一層向上できる。

【００４０】なお、リモート端末機１１に３つのボタン
１５．１６．１７が取付けられているが、３つ程度のボ
タン１５．１６．１７では、これらのボタンを見ないで
ブラインド操作が可能である。したがって、管理者１２
は、スクリーン６の表示画面を見ながら、音声でもって
表示画面を所望の画面に展開できる。

【００４１】また、リモート端末機１１は外部にマイク
１４と３つのボタン１５．１６．１７が露出しているの
みであり、片手で十分持てる程度に小型に形成でき、持
ち運び性が大幅に改善される。よって、少なくとも選択
項目数以上の選択キーが配列されている従来のリモート
端末機に比較しても、その操作性をより一層向上でき
る。

【００４２】さらに、実施例装置においては、管理者１
２が発声すべき言葉（単語）は、スクリーン６に表示さ
れた項目２３の枠内に表示されているので、各項目２３
に対応する基準音声信号として１種類の音声信号を登録
しておけばよい。したがって、必要とする記憶容量を小
さくでき、かつ認識処理速度が上昇し、ほぼ実時間で認
識できる。

【００４３】ちなみに、発声すべき言葉（単語）が表記
されていない場合においては、話者の個性により、種々
の話し方になる。例えば、新宿警察署を「新宿署」と言
ったり、第三小学校を「三小」と表現する場合がある。
これらの話者の個人差による表現形態の変化も含めて同
一意味の単語を認識するためには、膨大な数の単語の音
声信号を記憶しておく必要があり、必要とする記憶容量
が膨大になるのみならず、認識処理速度が低下する。

【００４４】なお、本発明は上述した実施例に限定され
るものではない。実施例のリモート端末機１１は手で持
ち運び可能なように構成されているが、図６に示すよう
に、イヤホン型マイクロフォン３０と、このイヤホン型
マイクロフォン３０に接続された手持ちボックス３１と
で構成してもよい。

【００４５】管理者１２の発声する音声の振動は、外部
の気体に伝搬するが、その一部は骨等の人体の一部を伝
搬して耳の聴覚器官に到達する。イヤホン型マイクロフ
ォン３０は、この聴覚器官に到達した音声を通常のイヤ
ホン等のような耳に挿入された状態で検出する、手持ち
ボックス３１内には、変調器や発信機が組込まれてお
り、外部に入力ボタン３２，取消ボタン３３及び実行ボ
タン３４が取付けられている。

【００４６】このように構成されたリモート端末機にお
いても、図２に示すリモート端末機とほぼ同様の機能を
有するので、図１に示した先の実施例とほぼ同様の効果
を奏することが可能である。

【００４７】さらに、実施例のリモート端末機は、無線
通信でもって受信機９へ音声情報及びボタン操作情報を
伝達したが、例えば、音声情報のみを無線で送信し、ボ
タン操作情報を赤外線等の伝送媒体に載せて伝送しても
よい。さらに、音声情報とボタン操作情報との両方の情
報を赤外線に載せて伝送してもよい。

【００４８】

【発明の効果】以上説明したように本発明の音声画面操
作装置によれば、音声でメニュー画面の選択項目を指定
している。したがって、各選択項目に対応したボタンを
設ける必要がないので、リモート端末機を小型軽量に形
成でき、さらに、スクリーン等の表示画面のみを見なが
ら画面の選択操作ができ、表示画面の展開操作の操作性
を大幅に向上でき、さらに、管理室内のどの位置からも
簡単に操作できる。

【００４９】また、リモート端末機に入力ボタンや取消
ボタン及び実行ボタン等の極く少ないボタンを設けるの
みで、音声の認識精度を向上でき、かつ一旦音声指定し
た項目の確認，取消操作ができ、操作性をより一層向上
できる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係わる音声画面操作装置
の概略構成を示す模式図、

【図２】 同実施例装置のリモート端末機を示す外観
図、

【図３】 同実施例装置の動作を示す流れ図、

【図４】 同実施例装置のスクリーンに表示されたメニ
ュー画面を示す図、

【図５】 同実施例装置のスクリーンに表示された指定
項目の展開画面を示す図、

【図６】 本発明の他の実施例に係わる音声画面操作装
置のリモート端末機を示す外観図。

【符号の説明】

１…管理室、２…制御装置、３…ＣＲＴモニタ、４…キ
ーボード、５…操作員、６…スクリーン、７…ビデオ・
ブロジェクタ、９…受信機、１１…リモート端末機、１
２…管理者、１４…マイク、１５，３２…入力ボタン、
１６，３３…取消ボタン、１７，３４…実行ボタン、１
８…アンテナ、２０…メニュー画面、２３…項目、２４
…一覧表、３０…イヤホン型マイクロフォン。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 情報処理装置における処理過程で次に選
   択すべき複数の項目をメニュー画面として表示する表示
   装置と、マイクに入力された音声情報を空間伝達媒体を
   介して出力するリモート端末機と、このリモート端末機
   から出力された音声情報を受信する受信機と、この受信
   機で受信された音声情報を前記項目毎に予め登録された
   一つの単語コードに変換する音声認識部と、この音声認
   識部から出力された単語コードに対応する項目を選択す
   る項目選択手段と、この項目選択結果を前記表示装置の
   メニュー画面に表示する選択項目表示手段とを備えた音
   声画面操作装置。
2. 【請求項２】 前記選択項目表示手段は、前記表示装置
   のメニュー画面に表示中の複数の項目のうち前記選択さ
   れた項目を強調表示することを特徴とする請求項１記載
   の音声画面操作装置。
3. 【請求項３】 情報処理装置における処理過程で次に選
   択すべき複数の項目をメニュー画面として表示する表示
   装置と、入力ボタンとマイクとを有し、入力ボタン操作
   情報とマイクに入力された音声情報とを空間伝達媒体を
   介して出力するリモート端末機と、このリモート端末機
   から出力されたボタン操作情報及び音声情報を受信する
   受信機と、この受信機で受信された音声情報を前記ボタ
   ン操作情報の示す継続時間長に制限し、制限された後の
   音声情報を前記項目毎に予め登録された一つの単語コー
   ドに変換する音声認識部と、この音声認識部から出力さ
   れた単語コードに対応する項目を選択する項目選択手段
   と、この項目選択結果を前記表示装置のメニュー画面に
   表示する選択項目表示手段とを備えた音声画面操作装
   置。
4. 【請求項４】 前記リモート端末機は前記入力ボタンと
   マイクに加えて取消ボタン及び実行ボタンとを有して入
   力ボタン操作情報及び音声情報の他に取消ボタン操作情
   報及び実行ボタン操作情報を出力し、前記項目選択手段
   は実行ボタン情報受領後に入力した単語コードに対応す
   る項目を選択し、かつ前記取消ボタン操作情報受領に応
   動して前記項目選択及び選択項目表示を取消すことを特
   徴とする請求項３記載の音声画面操作装置。