JPH06337773A

JPH06337773A - 計算機システム

Info

Publication number: JPH06337773A
Application number: JP5151544A
Authority: JP
Inventors: Takafumi Fujita; 隆文藤田; Koichi Kawaguchi; 幸一川口
Original assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Current assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Priority date: 1993-05-28
Filing date: 1993-05-28
Publication date: 1994-12-06

Abstract

(57)【要約】【目的】オペレータが複数のオペコンのなかから、操
作対象とするオペコンを音声によって自動的に特定する
ことにある。【構成】オペレータは、操作の対象となるオペコンに
設置されたマイクに向かって、指令を発声する。入力さ
れた音声は、一時記憶に蓄積され、切り替え装置で該当
一時記憶装置が選択されたとき、音声認識装置へ送られ
る。音声認識装置は、複数並列に接続されており、音声
パターンにより入力音声をそれぞれ認識しようとする
が、該当オペレータの音声パターンが登録されているの
はその内の１台であるので、それのみが正しい音声認識
結果である。計算機は、音声が入力されたマイクのオペ
コンの番号を記憶しているので、これにより、該当する
オペコンに対して正しい音声認識結果を送り、画面表示
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機システムに係わ
り、特に、音声入力によるマンマシンシステムを有する
計算機システムに関する。

【０００２】

【従来の技術】計算機システムにおけるマンマシンイン
ターフェイスは、表示用ディスプレイ装置と、キーボー
ドやタッチパネルなどのその他の入出力用インターフェ
イスを一体化した、オペコンと呼ばれる装置を使用する
ことが一般的である。最近の音声認識技術の進歩によ
り、オペコンに音声認識装置を組み込み、キーボードや
タッチパネルなどに代わって、音声によるマンマシンイ
ンターフェイスも実用化されようとしている。これは、
音声による指示がキーボードなどの操作と比較して、キ
ーボードのキースイッチの数の制限を受けないことや、
複雑な操作手順を覚える必要が少ないなどの理由によ
る。従来技術における音声入力によるオペコン操作は、
オペレータが一人でオペコンが１台のみであることを前
提としている。公知例である特開昭５８−７５２１６号
公報、特開昭５９−８３２１１号公報、特開昭６１−２
２６３１１号公報には、この種の技術が記載されてい
る。しかしながら、プラント制御などの計算機システム
においては、作業効率を向上させるため、また、信頼性
を高めるために、オペレータが複数おり、操作対象とな
るオペコンも複数であるのが一般的である。現在広く使
われている音声認識装置は、特定の話者（オペレータ）
の声のみを正しく認識するものであり、複数のオペレー
タが使用するためには、話者の切り替えを指示する必要
がある。このとき、該当話者の音声データパターンを認
識装置のメモリにダウンロードする必要があり、数十秒
から数分程度の時間がかかるため、現実的には同時に複
数の話者が使用できるものではない。従って、オペコン
が複数台存在する一般的な計算機システムにおいては、
オペコン毎にオペレータが固定されてしまい、別のオペ
コンでは音声による操作ができないか、オペレータが他
のオペコンを使用する毎に音声認識装置に対して自分の
音声パターンの再登録を行なわなければならない。この
ため、せっかくオペコンが複数台あっても、有効に活用
できなかったり、ダウンロードのために円滑な操業が行
えないなどの問題点があった。また、昼休みや現場の見
回りなどでオペレータが一部不在になると、残ったオペ
レータがバックアップを行わなければならないが、別の
オペコンにおいては音声による操作ができないので、現
在使用しているオペコンの画面を切り替えるなどの操作
により、バックアップを行うことになり、作業効率がよ
くないという問題点があった。また、プラントによって
は、オペコンの台数とオペレータの員数が一致していな
いこともある。この場合には、オペレータ毎にオペコン
を決めておくわけにはいかず、オペレータとオペコンの
対応は流動的である。このような場合には、高価な不特
定話者対応の音声認識を使用するか、オペレータが交替
する毎に話者設定操作を行い、オペレータの音声パター
ンの再登録を行う必要があり、実際のプラント運転シス
テムへの適用が困難であった。

【０００３】

【発明が解決しようとする課題】本発明は、このように
複数のオペレータが複数のオペコンを交代で操作する場
合において、複数のオペレータが同時にかつ任意のオペ
コンに対して、音声による操作を行なうことを可能とす
るものである。本発明の目的は、オペレータが複数のオ
ペコンのなかから、操作対象とするオペコンを音声によ
って自動的に特定すること、さらに複数のオペレータが
複数のオペコンを流動的に使用する場合において、話者
設定操作を不要とし、どのオペレータも全てのオペコン
を自由に音声で操作できるようにすることにある。

【０００４】

【課題を解決するための手段】上記目的は、マイクから
入力された音声を一時的に記憶するための一時記憶装置
と、一時記憶装置を切り替えるための切り替え装置と、
複数並列に接続され、複数のオペレータのそれぞれの音
声パターンを登録した音声認識装置と、音声認識装置が
出力し、登録されたオペレータの音声に一致またはもっ
とも高い確信度のある音声認識結果を採用する計算機を
設けることによって、達成される。

【０００５】

【作用】オペレータは、操作の対象となるオペコンに設
置されたマイクに向かって、指令を発声する。入力され
た音声は、一時記憶に蓄積され、切り替え装置で該当一
時記憶装置が選択されたとき、音声認識装置へ送られ
る。音声認識装置は、複数並列に接続されており、入力
音声をそれぞれ認識しようとするが、該当オペレータの
音声パターンが登録されているのはその内の１台である
ので、それのみが正しい音声認識結果である。計算機
は、入力されたマイクのオペコンの番号を記憶している
ので、これにより、該当するオペコンに対して正しい音
声認識結果を送ることが可能となり、目的の処理が達成
される。

【０００６】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１は、本発明の一実施例であり、音声入力によ
るマンマシンシステムを有する計算機システムの構成図
である。図１において、０１〜０４はオペレータ、１１
〜１４はマイク、２１〜２４は一時記憶装置、３１は切
り替え装置、４１〜４４は音声認識装置、５１は計算
機、７１〜７４はオペコンを表す。マイク１１〜１４
は、音声データの一時記憶装置２１〜２４に接続され、
オペレータ０１〜０４の音声を記憶する。これらはオペ
コン７１〜７４に内蔵されている。切り替え装置３１は
計算機５１の指令に従い、一時記憶装置２１〜２４から
出力される音声信号を音声認識装置４１〜４４に送る。
音声認識装置４１〜４４は、それぞれオペレータ０１〜
０４に対応した音声認識パターンを内蔵し、音声信号と
音声認識パターンの音声認識結果を作成する。従って、
この設置台数は同時に作業を行うオペレータの数に一致
しており、ここでは４台としている。計算機５１は、音
声認識装置４１〜４４の音声認識結果を取り込み、音声
認識装置４１〜４４の中で一致した、またはもっとも確
信（確信度情報）のおける音声認識結果を選択採用し
て、音声に対応した処理を行う。このとき、入力した音
声がマイク１１〜１４のいずれから入力されたものかを
記憶しておき、対応したオペコン７１〜７４に対して処
理を行う。

【０００７】図２に、本システムで使用するオペコン装
置を示す。オペコン７１本体は、表示装置８１、マイク
１１、一時記憶装置２１からなっている。本システムの
音声による操作範囲は、マイク１１に任意の画面名称を
入力することにより、該当画面を表示装置８１に出力す
ることである。マイク１１はオペコン７１に固定されて
おり、一時記憶装置２１もオペコン毎に設置されてい
る。従って、マイク１１に対して入力した音声信号は、
必ず一時記憶装置２１から出力される。これにより、一
時記憶装置２１から出力された音声信号はオペコン７１
に対して操作を行うものであると判断できる。

【０００８】図３に、オペレータと音声認識装置の対応
を示す。本システムで使用する音声認識装置４１〜４４
は、図示のように各オペレータ０１〜０４つまり特定話
者対応のものであり、あらかじめ登録した音声パターン
とそれに対応した文字列を記憶しておき、入力された音
声パターンと一致する音声パターンがあるとき、対応し
て登録された文字列を出力する。ただし、人間の発声は
同じ単語であっても毎回微妙に異なるため、完全に一致
するわけではない。登録された音声パターンにもっとも
近いものが一致したと見做される。音声認識装置４１〜
４４は、音声認識結果である文字列と共に、認識の確か
らしさをあらわす確信度情報も合わせて出力する。

【０００９】図４は、音声の一時記憶装置２１の機能を
表す。音声を記憶する手段は多くの公知技術があるが、
本システムではマイク１１から入力した音声信号をＡ／
Ｄ変換器２１１によりディジタルデータに変換し、メモ
リ２１２に記憶する。外部より選択信号が入力されたと
き、Ｄ／Ａ変換器２１３により、メモリ２１２に記憶し
たディジタルデータを再び音声信号に復元して出力す
る。本システムでは、オペレータが操作指令を音声入力
したとき、該当指令に対する画面表示の処理が完了する
まで、次の指令を音声入力しないため、一時記憶装置２
１は一つの単語を記憶することができればよい。

【００１０】図５は、切り替え装置３１及び計算機５１
の動作を表すフローチャートである。ステップ１１０
において、初期設定としてオペコン番号を１とする。ス
テップ１２０において、オペコン番号を出力して一時記
憶装置を選択するための選択信号を出力する。ステップ
１３０において、選択された一時記憶装置にデータが有
るか否かを判断し、ある場合にはステップ１４０を実行
し、データがない場合にはステップ２００を実行する。
ステップ１４０において、切り替え装置３１のスイッチ
をオペコン番号として一時記憶装置に記憶されている音
声信号を音声認識装置４１〜４４に渡す。ステップ１５
０において、音声認識装置４１〜４４の全てが認識を完
了するまで待つ。ステップ１６０において、計算機５１
が音声認識装置４１〜４４の音声認識結果と音声認識装
置４１〜４４が内蔵する確信度情報を読み込む。ステッ
プ１７０において、ステップ１６０で読み込んだ音声認
識結果と確信度の組の情報のうち、確信度がもっとも高
い音声認識結果を取り出す。ステップ１８０において、
ステップ１７０の結果、取り出された単語を受けて、一
致する単語辞書の内容を取り出し単語解析を行う。ステ
ップ１９０において、この単語解析結果により、辞書に
示される該当画面をオペコン番号に対応するオペコンに
表示要求する。ステップ２００において、オペコンの番
号を１だけ増加させ、次の検索に準備する。ステップ２
１０において、オペコン番号がオペコンの台数である４
を越えるか否かを判断し、オペコン台数以下であれば、
ステップ１２０に、また、オペコン台数を越えたときは
ステップ１１０に戻る。

【００１１】図６に、複数の一時記憶装置から音声信号
を取り出す動作について示す。例えばオペレータ０３は
任意のオペコンを使用できるので、この場合、マイク１
２に「ハンノウオンド」のように音声入力したとする。
一時記憶装置２２はマイク１１より入力された音声を記
憶する。切り替え装置３１は前記処理フローのステップ
１２０を実行する計算機５１からの指令により、一時記
憶装置２１〜２４に順次選択信号を与える。一時記憶装
置２２に選択信号が入力されたとき、切り替え装置３１
により一時記憶装置２２の出力が音声認識装置４１〜４
４につながれ、その全てに同一の音声信号が送られる。
このとき計算機５１は、音声の入力元が一時記憶装置２
２であることから、２番のオペコンに対する指令である
ことがわかるので、計算機５１のメモリ６１に割り当て
た領域にオペコン番号として２を記憶しておく。

【００１２】図７に、音声認識結果の判定の詳細を示
す。音声認識装置４１〜４４にはオペレータ０３が発声
した同一の音声信号「ハンノウオンド」が入力されてい
るが、特定話者対応であるため、オペレータ０３の音声
パターンを記憶している音声認識装置４３が９８という
もっとも確信度の高い認識結果を出力する。オペレータ
０３の音声パターンを持たない他の音声認識装置は、認
識不能で確信度０を返す（音声認識装置４２、４４）
か、誤った認識により、確信度３４の低い認識結果を返
す（音声認識装置４１）。ここで、音声認識結果のデー
タは、凡例のように上段に「認識結果」、下段に「確信
度」を示す。計算機５１は、前記処理フローのステップ
１６０を実行することで、認識装置４１〜４４の出力デ
ータを順次に全て読みだし、同ステップ１７０の実行に
より確信度情報を判別し、音声認識装置４３が出力した
音声認識結果を採用する。図８に、音声認識結果と操作
対象のオペコンの関係を示す。計算機５１は先に、音声
の入力元であるオペコンが２番であることをメモリ６１
に記憶している。これにより、オペレータの音声による
処理対象がオペコン７２であることを判断し、図７に示
すように音声認識結果である「反応温度」を表示する画
面表示の処理を行う。以上、オペレータ０３がマイク１
２に「ハンノウオンド」のように音声入力する例を説明
したが、他のオペレータ０１、０２、０４が交替してマ
イク１２に「ハンノウオンド」のように音声入力して
も、また、オペレータ０１、０２、０３、０４が交替し
て他のマイク１１、１３、１４に音声入力しても同様で
ある。

【００１３】次に、本システムにおいて、４人のオペレ
ータが同時に異なる指令を発声した場合の動作を説明す
る。図９はこの処理タイミングを表すタイムチャートで
ある。まず、処理ステップ０では４人のオペレータＡ，
Ｂ，Ｃ，Ｄが同時に異なる指令をそれぞのマイク１１〜
１４に発声すると、一時記憶装置２１〜２４の全てにそ
れぞれオペレータＡ，Ｂ，Ｃ，Ｄの音声信号が記憶され
る。処理ステップ１で一時記憶装置２１に選択信号が出
力され、音声認識装置４１〜４４全てに音声信号Ａが入
力される。処理ステップ２で音声認識結果が出力され、
入力元マイク１１に対応したオペコン７１にＡの音声認
識結果による画面が出力される。次に、処理ステップ３
で一時記憶装置２２に選択信号が出力され、音声認識装
置４１〜４４全てに音声信号Ｂが入力される。以下同様
にして処理を繰り返す。従って、最後の処理ステップ８
で入力元マイク１４に対応したオペコン７４にＤの音声
認識結果による画面が出力される。これによると、選
択信号が最後に入力されるオペコン７４に対する指令は
若干待たされることになる。しかし、音声認識の処理が
十分早いので、通常のオペレーションでは特に待たされ
るようには感じない。

【００１４】

【発明の効果】本発明によれば、複数のオペレータが１
台のもしくは複数のオペコンを交替して操作するとき、
オペコンに対応するマイクに向かって指令を発声するだ
けで、オペレータが操作対象とするオペコンを自動的に
特定することができる。このとき、音声パターンの切り
替えなどの手続きを一切必要としない。したがって、オ
ペレータは自由に必要なオペコンを使用することがで
き、操作性の向上に有効であり、また、一人のオペレー
タが操作できなくなったとき等、速やかに代わりのオペ
レータがバックアップすることができ、オペコン操作の
信頼性が向上する。

【図面の簡単な説明】

【図１】本発明の一実施例であり、音声入力によるマン
マシンシステムを有する計算機システムの構成図であ
る。

【図２】本システムにおけるオペコンの構成図である。

【図３】オペレータと音声認識装置の対応表である。

【図４】音声の一時記憶装置の詳細構成を示す。

【図５】本システムを制御するための計算機の動作を表
したフローチャートである。

【図６】一時記憶装置及び切り替え装置の動作の説明図
である。

【図７】音声認識結果の判別の詳細を示す。

【図８】音声認識結果とオペコンの対応を示す。

【図９】複数オペレータからの音声の同時入力における
動作をタイムチャートで示した図である。

【符号の説明】

０１〜０４オペレータ１１〜１４マイク２１〜２４一時記憶装置３１切り替え装置４１〜４４音声認識装置５１計算機７１〜７４オペコン

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年１１月１２日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図２】本システムにおけるオペコンの構成図である。

【図３】オペレータと音声認識装置の対応を示す図表で
ある。

【図４】音声の一時記憶装置の詳細構成を示す図であ
る。

【図７】音声認識結果の判別の詳細を示す図である。

【図８】音声認識結果とオペコンの対応を示す図であ
る。

【符号の説明】０１〜０４オペレータ１１〜１４マイク２１〜２４一時記憶装置３１切り替え装置４１〜４４音声認識装置５１計算機７１〜７４オペコン

Claims

【特許請求の範囲】

【請求項１】音声入力装置、表示用ディスプレイ装置
及びキーボードを備えた複数の運転操作卓（以下、オペ
コンという）と、入力音声が入力された音声入力装置を
記憶し、対応したオペコンを採用する手段を有する計算
機と、音声入力を一時記憶する一時記憶装置と、一時記
憶装置を切り替える切り替え装置と、音声パターンを登
録した音声認識装置を具備し、一時記憶した音声入力を
順次切り替えて音声パターンとの音声認識結果を選択採
用するとともに、操作対象とするオペコンを特定し、音
声認識結果を画面表示することを特徴とする計算機シス
テム。
【請求項２】請求項１において、音声認識装置は、音
声入力信号と音声パターンの音声認識結果及び確信度情
報を作成し、計算機は、音声認識装置の音声認識結果を
取り込み、音声入力信号と音声パターンの一致またはも
っとも高い確信度の音声認識結果と、入力音声が入力さ
れた音声入力装置に対応したオペコンを採用することを
特徴とする計算機システム。
【請求項３】請求項１または請求項２において、音声
認識装置は、複数台並列に接続され、それぞれ特定話者
に対応して異なる音声パターンが登録されていることを
特徴とする計算機システム。
【請求項４】請求項１、請求項２または請求項３にお
いて、複数の音声入力装置から複数の音声を同時に入力
し、入力音声を一時的記憶装置に記憶し、一時的記憶装
置を切り替えて全ての音声認識装置に順次に複数の音声
を入力し、音声入力の順序にしたがって音声認識結果を
出力するとともに、入力元に対応したオペコンに音声認
識結果を画面表示することを特徴とする計算機システ
ム。