JP2000516754A - インテリジェント ヒューマン／コンピュータ インターフェース システム - Google Patents

Abstract

(57)【要約】 人間とコンピュータとのインターフェースシステムであって、自働的に認識された入力信号と関係して実時間コンテキストインテリジェンスを提供できるものである。このシステムはオペレータ及び／又はユーザの入力を実時間で監視してテキストに、電子的に呈示されたデータ、情報及び言語出力によるインテリジェンス支援を提供するようにしている。

Description

【発明の詳細な説明】 インテリジェント ヒューマン／コンピュータ インターフェース システム この発明は人間とコンピュータとのインターフェースの分野に係り、とくに、 しかしそれに限定されるわけではないが、インテリジェントシステムと音声とデ ータとの両入力を処理できる能力とに関する。 現今の技術による応用とデータベース照会方法は、通常訓練されたオペレータ がメニュドライブ方式のインターフェースシステムを利用して、求めに応じて必 要とされるデータもしくは情報を検索することを含んでいる。このようなシステ ムは、一般にオペレータが多数のデータベースについてのアクセス要件に関する 知識をもつことを求めており、多くの場合は、さらに束縛条件があってオペレー タが一時にこの種のデータベース１つだけにアクセスできるようにする。 電話呼センタのような領域では、一般に顧客の問合せや苦情処理のために会社 によって使用されるのであるが、訓練されたオペレータは発呼者に所定の質問を 発してその者たちが、部品番号のような特徴を識別するために、どの特定のデー タベースを必要とされるか、質問もしくは苦情を処理するのに使用するかとか、 モデル化をするとかについて手操作でアクセスができるようにする。例えば、典 型的な呼センタオペレータは広範囲の異なる会社製品、言い換えると電話、洗濯 機、テレビジョン、オーディオ機器等についての顧客の情報要求に応答すること が必要とされることになる。そこでオペレータは素早くどの特定型式の製品を発 呼者が参照しているかを製造元、型式番号、シリアル番号及び多分購入の日付を 理解することによって、確定する必要があり、こういった情報は恐らくは複数の データベースに保存されているものである。キーボード及び／又はマウスを用い て広範囲のデータベース間を切替えて行き、密に単語を並べた質問の所定組を用 いる会話を進めて行くことは、呼センタオペレータにとっては骨の折れる課題で あり、我々の発明はオペレータの作業負荷とやりとり（トランザクション）当り の呼時間を著しく低減することになる。 広範囲のデータベースへのアクセスが求められている場合に、現在手動オペレ ータアクセスを使用している数多くの他の応用は記号論理（ロジスティックス） を含み、船舶を操舵する船長やパイロットや航空機技師によって行なわれるよう な物理的なセキュリティ（安全）やタスクを支援することがあってもよい。 欧州特許出願No.92119615.0は言語対話システムであって人間とコンピュータ との対話に機能するためのものを開示している。この特許応用の言語対話システ ムは人間とコンピュータの対話役割を有しているが、人間のオペレータの仕事タ スクを支援する機能を実行することはなく、しかし、人間のオペレータを置換え るように設計がされている。この発明は人間が機械に向って話ができるようにし 、また言語認識システムを介して入力された言語への応答が形式化されて、入力 された言語の意味的内容の理解に従って応答が作られる。ユーザから入力された 言語の意味的内容の理解は、全体のシステムの需要により前もって制限されてい る入力速度でキーワードを検出することによって行なわれる。 言語対話システムはそこで一連のやりとりを介してオペレータを支援するので はなく、人間のオペレータを置換えることによって顧客を支援する。我々の発明 は人間と計算機とのインターフェースシステムとインテリジェントシステムとを 利用するもので、このシステムはオペレータ及び／又は顧客入力（キーボード、 マウス、言語など）の実時間解析を可能とし、また自働言語認識システムによっ て用意されたコンテキスト関連のキーワードとフレーズ（句）に応答して“リッ チ（豊富）な”データ領域（いくつかのデータベース）をナビゲートすることに よりオペレータを支援するようとくに設計された理由付け機能を提供している。 我々の発明は簡単なまたより複雑なデータベースを手を使わずに探査するのに 使用するための、自働認識されたキーワード／フレーズの実時間コンテキストイ ンテリジェンスを提供する装置と方法とを用意している。さらに、この発明は、 現在の呼センタソフトウェア支援を改良するためのフレキシブルで有力なやり方 を用意するものであり、それには完全に機能的な人間とコンピュータとのインタ ーフェース（Human Computer Interface）システムとインテリジェントシステム とを統合して、それらがさらに既存のソフトウェア応用と統合できるようにして いる。 したがって、人間とコンピュータとのインターフェースシステムが提供されて いて、その構成は、言語とデータとを入力しかつビジュアルと言語との応答を出 力する両方のためのユーザインターフェース兼ディスプレイ手段と、ユーザ入力 を認識しかつインテリジェンスシステム手段に向けて認識した入力を続いて送り 、さらにユーザインターフェース兼ディスプレイ手段に向けて出力信号を供給す るための人間とコンピュータとのインターフェース手段と、インテリジェンスシ ステム手段とで成り、このインテリジェンスシステム手段は認識されたユーザ入 力をユーザによって実行されている操作のコンテキストと相関をとるようにし、 この相関をとる動作はユーザの操作のコンテキストのインテリジェントな指定と 、応用もしくはデータベースから検索された情報もしくはデータを含むことがで きるようにしたユーザインターフェース兼ディスプレイ手段に向けた出力信号を 送るためのものである。 この発明の別の特徴によると、自働認識された入力信号に関連して実時間コン テキストインテリジェンスを用意する方法が提供されていて、これによると情報 及び／又はデータでユーザインターフェース兼ディスプレイ手段から入力された ものが人間とコンピュータとのインターフェース手段により認識されて、それが インテリジェンスシステムに送られるようにでき、それによって認識されたデー タと情報とがユーザにより実行される動作のコンテキストと相関がとられ、また ユーザ操作のコンテキストのインテリジェントな指定に基いて出力信号がユーザ インターフェース兼ディスプレイ手段に送り戻されて、前記出力信号は応用もし くはデータベースから検索された情報もしくはデータを含むことができるように している。 この発明の他の特徴と利点とは添付の図面と関連した以下の記述から明らかと なろう。 この発明は例として図１ないし３に記載されている。ここで、 図１はこの発明による典型的なシステムの図式表現を示す。 図２はＨＣＩシステムの図式表現を示す。 図３はこの発明によるインテリジェントシステムの図式表現を示す。 図１では、ユーザもしくはオペレータ２はその者の思い通りに使える各種のイ ンターフェースデバイスを有しているとして示しており、言い換えるとポインテ ングデバイス／キーボード６用ディスプレイ４、マイクロフォン８およびスピー カ１０がある。これらデバイス（４，６，８，１０）のすべては人間とコンピュ ータとのインターフェース（ＨＣＩ）システム１２に接続されていて、これがそ の先ではインテリジェンスシステム１４にリンクされていて、各種の応用及び／ 又はデータベース１６へのアクセスを備えている。使用にあたっては図１に示し た全体システムはユーザもしくはオペレータ２はいずれの利用可能な入力デバイ ス（すなわちポインテングデバイス／キーボード６およびマイクロフォン８）を 使用してＨＣＩシステム１２とインテリジェンスシステム１４とを介して応用及 び／又はデータベース１６にアクセスができる。ＨＣＩシステム１２とインテリ ジェンスシステム１４との機能は本質的にはユーザもしくはオペレータ２といず れかの別人（図示せず、単数もしくは複数）か他のデータ出力用システム（図示 せず）かのいずれかとの間でされる会話もしくはデータ交換についての“傍受者 （eavesdrop）”である。 図２に示したＨＣＩシステムは統合された音声認識１８、言語合成２０及びデ ィスプレイ機能２２で構成されている。これは認識された音声フレーズが表示さ れた情報２４（例えばヘルプ（お助け）ウィンドウを表わしている）を修正でき るようにするとともに、インテリジェントシステム１４に送られ、その監視がで きるようにし、また必要であればそれが動作している条件のコンテキストを変更 できるようにする。ポインテングデバイス及び／又はキーボード６を経ての標準 的な対話もまたインテリジェントシステムに送られ全体の意思決定すなわちイン テリジェントプロセスに寄与する。 インテリジェントシステム１４からのメッセージは表示変更２４（例えば助言 質問の次の組を表わすもの）をトリガでき、また言語合成２６（例えば電話番号 は中継できる）をトリガできる。ある場合には、インテリジェントシステム１４ からのメッセージは表示（ディスプレイ）変更２４と言語合成２６との両方をト リガできる。 図３は図１と２とに示したインテリジェントシステム１４により実行される動 作を示す。先ず、インテリジェントシステム１４は入力相関モジュールでユーザ ／オペレータ２のディスプレイ４とマイクロフォン入力８からの入力データの相 関をとって、ユーザ／オペレータ２の入力の主題を識別する。これに続いて、会 話／対話相互作用の現在の状態が使われて、コンテキスト認識モジュール３０で オペレータの入力のコンテキストが判断される。いったん主題が識別されて、コ ンテキストが知れると、オペレータに対して使用されるデータを得るのに必要と される動作が決定される。これはいくつかのデータベース３２への問合せ、計算 の実行、取引の分析、ケース履歴の全体の見直しなどを含んでいてよい。いった ん動作が完了して、データが得られると、次にそれが適切な方法でオペレータに 示され、テキスト状として例えばディスプレイ４の形式を介してグラフ状にプリ ンタ（図示せず）用とするか、スピーカ８を経て音でするか、あるいはこういっ たものすべてについての何らかの組合せとして呈示される。加えて、会話／対話 相互作用の現在の状態が別オペレータに対する適切なコンテキストを提供するた めに更新される必要がある。インテリジェントシステムはそれ故にＨＣＩを介し てされる入力のすべてを連続して監視して、入力相関２８と内容認識モジュール ３０とがユーザ／オペレータ２の要求に変化を検出したときには、システムが新 しく要求されたデータベース３２及び／又は必要な計算の実行にアクセスするこ とにより応答できるようになる。 この発明の潜在的な応用の可能性は多岐にわたり、いずれものユーザ／オペレ ータ応用システムに展開され、そこでは豊富（リッチ）なデータ領域すなわちい くつかのデータベースへのアクセスと、そこでのナビゲーションとが必要とされ るところに展開される。 応用の例には航空管制（コントロール）オペレータが含まれ、そこではこの発 明の使用が入来言語及びデータの実時間監視のために用意されていて、システム は言語とデータ入力にインテリジェントなやり方で応答するのに現在のオペレー タの作業のコンテキストを評価することによっており、またデータベース、表示 スクリーンもしくは他の情報へのアクセスを必要なときに、必ずしも直接要求に よるものではなく提供することによっている。 他の例にはパイロットによるオンボードシステムの管理のための使用、武器シ ステムのオペレータ、船長及び呼センタオペレータによる使用を含んでいてよい 。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，Ｕ Ｇ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １．人間とコンピュータとのインターフェースシステムであって、その構成は： 言語とデータとを入力し、かつビジュアルと言語との応答を出力するためのユー ザインターフェース兼ディスプレイ手段と； ユーザ入力を認識して、その後認識した入力をインテリジェンスシステム手段に 送り、また出力信号を該ユーザインターフェース兼ディスプレイ手段に供給する ための人間とコンピュータとのインターフェース手段と； 該認識したユーザ入力をユーザにより実行されている操作のコンテキストとをユ ーザ操作のコンテキストのインテリジェントな評価に基いて相関をとり、またこ のような評価に基いて出力信号を応用もしくはデータベースから検索された情報 もしくはデータを含むことができる該ユーザインターフェース兼表手段に送るよ うにするインテリジェンスシステム手段とを含む人間とコンピュータとのインタ ーフェースシステム。 ２．前記インテリジェンスシステム手段により応用もしくはデータベースから検 索されたデータは印刷されたテキスト、データもしくは情報であってモニタ上に 表示されたものか出力された言語情報であるかのいずれかもしくは双方を含む請 求項１記載の人間と計算機とのインターフェースシステム。 ３．自働的に認識された入力信号と関係して実時間コンテキストインテリジェン スを提供する方法であって、それによりユーザインターフェース兼ディスプレイ 手段から入力された情報もしくはデータあるいはその両者が人間とコンピュータ とのインターフェースによって認識されて、それがインテリジェンスシステム手 段に送られ、そこで認識されたユーザ入力データと情報とがユーザにより実行さ れている操作のコンテキストと相関がとられ、さらにユーザの操作のコンテキス トのインテリジェントな評価に基いて出力信号が該ユーザインターフェース兼デ ィスプレイ手段に送り戻されて、前記出力信号は応用もしくはデータベースから 険索された情報もしくはデータを含むことができるものとする方法。 ４．前記ディスプレイ手段を経てユーザに向けて出力するために応用もしくはデ ータベースから検索された情報もしくはデータは印刷されたテキスト、モニタ上 で表示される情報か言語応用出力かあるいはその両方を含むことができる請求項 ３記載の自働的に認識された入力信号と関係して実時間コンテキストインテリジ ェンスを提供する方法。