JP2000259232A - プラント運転監視支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 運転員の負荷をさらに低減し、かつ、運転員
の養成を容易にする。 【解決手段】 プラントの運転状態を示す運転支援映像
を映像表示手段に表示させることによって、プラントの
運転を監視する運転員を支援するプラント運転監視支援
装置において、プラントを仮想的に３次元表示するＶＲ
（バーチャル・リアリティ）映像を主体とし、該ＶＲ映
像にプラントの計測データ、プラントのＩＴＶ映像また
はＶＲ映像を補完する文字メッセージのうち、何れか１
つあるいは複数を組み合わせて１画面とした運転支援映
像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プラントの運転状
態を把握して運転員の監視業務を支援するプラント運転
監視支援装置に関する。

【０００２】

【従来の技術】プラントの運転監視に係わる従来のヒュ
ーマンインタフェースは、以下のようなものである。す
なわち、運転員の操作入力は、ディスプレイ上のタッチ
パネルやマウス等を操作することによって行われ、運転
員に対するプラントの運転状態情報の提示は、ＣＲＴデ
ィスプレイに各種プロセス値を数値あるいはグラフィッ
クスとして表示することによって行われている。

【０００３】例えば、運転状態情報は、プラントを構成
する各種機器の接続系統を２次元グラフィックス画面と
してＣＲＴディスプレイ上に表示し、かつ、この２次元
グラフィックス画面上の各機器のプロセス値を数値表示
することによって運転員に提示されている。従来では、
このような２次元グラフィックス画面が用途毎に多数設
けられており、運転員は、２次元グラフィックス画面を
自ら選択することによってプラントの運転状態を把握す
る。

【０００４】

【発明が解決しようとする課題】このような従来技術で
は、ＣＲＴディスプレイ上に２次元的にプラントの運転
状態が表示されるので、運転員は直感的にプラントの運
転状態を把握することが困難である。また、プラントを
構成する多数の機器について、２次元グラフィックス画
面を選択することによって各機器の運転状態を把握しな
ければならないため、プラントの運転状態を把握するた
めの操作が煩雑である。プラントの規模が大型化する
と、それを構成する機器数も増大するので、大規模プラ
ントでは、特に運転員の負荷は大きなものとなる。

【０００５】また、ＣＲＴディスプレイ上の各種プロセ
ス値の数値表示や２次元グラフィックス表示に基づいて
プラントの運転状態を判断する必要があるので、プラン
トの構成やプロセスに対する知識及びプラントの運転監
視についての経験が要求される。また、プラントを運転
操作するためには、多数の機器について操作方法を収得
する必要があるので、熟練を要する。したがって、従来
では、運転員を養成するための専門の設備（プラント運
転訓練シミュレータ）や教育カリキュラムを用意する必
要があった。

【０００６】なお、このような従来のプラントの運転監
視に係わる既存のヒューマンインタフェースに対して、
本出願人は、特願平９−２０２００２号、特願平９−２
３１５８１号あるいは特願平１０−２６３６０９号にお
いて、ＡＩ手法に基づく事例ベース推論技術を応用した
インタフェースエージェントを提案している。この「イ
ンタフェースエージェントは、事例ベース推論の手法を
用いることにより、現在のプラントの運転状態に類似す
る過去の運転事例を検出し、この過去の運転事例に基づ
いて現在のプラントの運転状態を類推判断して、プラン
ト運転支援用の音声メッセージを運転員に提供するもの
である。

【０００７】本発明は、上述する問題点に鑑みてなされ
たもので、以下の点を目的とするものである。 （１）運転員の負荷をさらに低減する。 （２）運転員にプラントの運転状態をより直感的かつ容
易に認識させる。 （３）運転員の養成を容易にする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、プラント運転監視支援装置に係わる第
１の手段として、プラントの運転状態を示す運転支援映
像を映像表示手段に表示させることによって、プラント
の運転を監視する運転員を支援するプラント運転監視支
援装置において、プラントを仮想的に３次元表示するＶ
Ｒ（バーチャル・リアリティ）映像を主体とし、該ＶＲ
映像にプラントの計測データ、プラントのＩＴＶ映像ま
たはＶＲ映像を補完する文字メッセージのうち、何れか
１つあるいは複数を組み合わせて１画面とした運転支援
映像を表示するという手段を採用する。

【０００９】また、プラント運転監視支援装置に係わる
第２の手段として、上記第１の手段において、ＶＲ映像
に変化に応じて計測データ、ＩＴＶ映像または文字メッ
セージを切り替えるという手段を採用する。

【００１０】プラント運転監視支援装置に係わる第３の
手段として、上記第１または第２の手段において、運転
支援映像の内容を音響報知する音響報知手段を具備する
という手段を採用する。

【００１１】プラント運転監視支援装置に係わる第４の
手段として、上記第１〜第３いずれかの手段において、
現在のプラントの運転状態を過去のプラントの運転事例
に基づいて推論するインタフェースエージェントの推論
結果に基づいて運転支援映像を表示するという手段を採
用する。

【００１２】プラント運転監視支援装置に係わる第５の
手段として、上記第４の手段において、インタフェース
エージェントによって音声認識された運転員の音声指示
に基づいて運転支援映像を切り替えるという手段を採用
する。

【００１３】

【発明の実施の形態】以下、本発明に係わるプラント運
転監視支援装置の一実施形態について説明する。なお、
本実施形態は、上述したインタフェースエージェントを
リンクさせて構成したものである。

【００１４】 図１は、本実施形態におけるプラント運
転監視支援装置の全体構成図である。この図において、
符号Ａは監視対象であるプラント、１はインタフェース
エージェント、２，７はスピーカ、３はマイク、４はバ
ーチャルプラント表示システム（プラント運転監視支援
装置）、５は入力装置（例えば、マウスやキーボード
等）、６はＣＲＴディスプレイ（映像表示手段）であ
る。

【００１５】インタフェースエージェント１は、マイク
３を介してプラントＡの運転員から入力された音声指示
を音声認識してバーチャルプラント表示システム４に出
力すると共に、プラントＡから取得され、かつプラント
Ａの運転状態を示す各種データ（プラントデータ）に基
づく事例ベース推論によってプラントＡの運転状態を推
論し、この推論結果に応じて、運転員を支援する各種の
音声メッセージをスピーカ２に出力するものである。

【００１６】バーチャルプラント表示システム４は、上
記インタフェースエージェント１による事例ベース推論
の結果、プラントＡに複数備えられたＩＴＶカメラ（工
業用監視カメラ）の映像（ＩＴＶ映像）、及び上記入力
装置５の操作指示に基づいて運転員を支援する各種映像
（運転支援映像）を合成してＣＲＴディスプレイ６に出
力するものである。

【００１７】このバーチャルプラント表示システム４
は、インタフェースエージェント１による事例ベース推
論の結果に基づいて生成したＶＲ（バーチャル・リアリ
ティ）映像と文字メッセージ、及びプラントＡから得ら
れたＩＴＶ映像を組み合わせることにより、各種の運転
支援映像を合成する。また、バーチャルプラント表示シ
ステム４は、ＶＲ映像のリアリティをより向上させるた
めに、ＶＲ映像に関連する音響を生成してスピーカ７に
出力する。なお、入力装置５は、ＶＲ映像の操作指示及
びプラントＡに対する特定の操作指示を入力するための
ものである。

【００１８】図２は、上記インタフェースエージェント
１の機能構成を示すブロック図である。この図に示する
ように、インタフェースエージェント１は、言語変換シ
ステム１ａ、推論エンジン１ｂ、照合ルール１ｃ、事例
メモリ１ｄ、データ収集部１ｅ及び通信部１ｆ等から構
成されている。

【００１９】言語変換システム１ａは、運転員によって
マイク３に入力された音声指示を音声認識することによ
りコンピュータに読取可能な音声データに変換して推論
エンジン１ｂに出力すると共に、該推論エンジン１ｂか
ら入力された音声データを運転員が認識可能な音声メッ
セージに音声合成してスピーカ２に出力するものであ
る。

【００２０】さらに詳説すると、この言語変換システム
１ａは、運転員が発した音声指示から特定のキーワード
を抽出して認識するキーワードスポッティング音声認
識、及び過去に入力された運転員の音声指示を音声事例
データ（過去音声事例データ）として記憶し、この過去
音声事例データをいま入力された音声指示（現在音声事
例データ）と比較推論することにより、音声指示を認識
する事例ベース推論音声認識を組み合わせた音声認識を
行うものである。

【００２１】データ収集部１ｅは、所定のサンプリング
時間毎にプラントＡを構成する各種機器の計測データ及
び運転員のプラントＡに対する操作指示（操作指示デー
タ）をプラントＡから収集し、これらをプラントデータ
として推論エンジン１ｂに出力するものである。このプ
ラントデータは、サンプリング時間における計測データ
とそのときの操作指示データとで構成されるもので、サ
ンプリング時間におけるプラントＡの運転状態を示す情
報である。

【００２２】推論エンジン１ｂは、上記プラントデータ
を現在の運転状態を示す運転事例データ（現在運転事例
データ）として事例メモリ１ｄに順次記憶させると共
に、照合ルール１ｃに基づいて上記現在運転事例データ
に類似する過去の運転事例データ（過去運転事例デー
タ）を事例メモリ１ｄから検索することにより、プラン
トの現在の運転状態を推論・判断するものである。

【００２３】事例メモリ１ｄは、上記推論エンジン１ｂ
から順次入力される現在運転事例データを過去運転事例
データ（時間の経過とともに過去のデータとなる）とし
て順次蓄積するものである。照合ルール１ｃは、事例ベ
ース推論の手法に基づいた現在運転事例データと過去運
転事例データとの照合手順、つまり現在運転事例データ
に類似する過去運転事例データの検索手順を規定するも
のである。上記推論エンジン１ｂは、この照合ルール１
ｃに基づく事例ベース推論により、プラントＡの現在の
運転状態を判断する。なお、推論エンジン１ｂによる現
在運転事例データの生成方法の詳細及び過去運転事例デ
ータの検索の詳細については、上述した各出願に記載さ
れている。

【００２４】通信部１ｆは、推論エンジン１ｂと上記バ
ーチャルプラント表示システム４との通信を仲介するも
のであり、例えば推論エンジン１ｂの推論結果及び言語
変換システム１ａの音声認識結果をコマンドとしてバー
チャルプラント表示システム４に出力する。

【００２５】また、本実施形態では、プラントＡに対す
る特定の操作指示をバーチャルプラント表示システム４
からインタフェースエージェント１を介して入力できる
ように構成されている。通信部１ｆは、この操作指示を
バーチャルプラント表示システム４から受信すると推論
エンジン１ｂに出力する。そして、この操作指示は、推
論エンジン１ｂ及びデータ収集部１ｅを介してプラント
Ａに入力されるようになっている。

【００２６】続いて、図３は、上記バーチャルプラント
表示システム４の機能構成を示すブロック図である。こ
の図に示すように、バーチャルプラント表示システム４
は、メイン制御部４ａ、通信部４ｂ、ＶＲ制御部４ｃ、
ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ、映像合成部
４ｆ、ＶＲ表示部４ｇ、３次元仮想プラントデータベー
ス４ｈ、直接操作部４ｉ及び音響発生部４ｊ等から構成
されている。なお、音響発生部４ｊは、上記スピーカ７
と共に音響報知手段を構成するものである。

【００２７】メイン制御部４ａは、通信部４ｂを介して
インタフェースエージェント１から入力される各種コマ
ンド及び直接操作部４ｉを介して入力装置５から入力さ
れる操作指示に基づいて、通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を統括的に制御するものである。通
信部４ｂは、メイン制御部４ａによる制御の下にインタ
フェースエージェント１との通信を仲介するものであ
り、上記各種コマンドをインタフェースエージェント１
から受信するとメイン制御部４ａに出力し、メイン制御
部４ａから入力装置５の操作指示が入力されるとインタ
フェースエージェント１に出力する。

【００２８】直接操作部４ｉは、上記入力装置５の操作
指示を受け付けてＶＲ制御部４ｃに出力するものであ
る。ＶＲ制御部４ｃは、ＶＲ表示部４ｇによるＶＲ映像
の生成を制御するものである。このＶＲ制御部４ｃは、
上記メイン制御部４ａから入力される制御情報及び直接
操作部４ｉから入力される入力装置５の操作指示に基づ
いてＣＲＴディスプレイ６に表示すべきＶＲ映像の変更
指示をＶＲ表示部４ｇに出力する。

【００２９】また、ＶＲ制御部４ｃは、音響発生部４ｊ
によるスピーカ７への音響（ＶＲ映像に関連する音響）
の出力をも制御する。音響発生部４ｊは、ＶＲ映像に関
連する音響として、例えばＶＲ映像中に表示された機器
の運転音あるいはＶＲ映像が切り替わったことを運転員
に知らせる音声メッセージ等をスピーカ７に出力するも
のである。

【００３０】ＩＴＶ表示部４ｄは、メイン制御部４ａに
よる制御の下に、複数のＩＴＶカメラの映像から何れか
を選択してを映像合成部４ｆに出力するものである。Ｉ
ＴＶカメラは、プラントＡの要所に複数備えられ、プラ
ントＡを構成する各種機器の動作状態を常時撮影してい
る。メッセージ表示部４ｅは、メイン制御部４ａから入
力されるメッセージ情報（例えばテキストデータ）を文
字メッセージに変換して映像合成部４ｆに出力するもの
である。

【００３１】３次元仮想プラントデータベース４ｈは、
プラントＡの構成機器の形状を示すＶＲ映像用の各種３
次元画像データを蓄積するデータベースである。本実施
形態におけるＶＲ映像は、例えば運転員がプラントＡ内
の各種機器の状態を確認しながら移動する状態を仮想空
間として３次元表示するウオークスルー映像である。こ
のようなウオークスルー映像は、プラントＡの仮想空間
における運転員の位置変化に準じて３次元画像が変化す
るものである。したがって、ウオークスルー映像は、３
次元仮想空間上の運転員の位置や視点に応じて連続的に
変化する３次元画像である。３次元仮想プラントデータ
ベース４ｈには、このようなウオークスルー映像の生成
に必要なプラントの形状に関するデータが蓄積されてい
る。

【００３２】ＶＲ表示部４ｇは、３次元仮想プラントデ
ータベース４ｈから３次元画像データを読み込み、ＶＲ
制御部４ｃから入力されるＶＲ映像の変更指示に基づい
てＶＲ映像を生成して映像合成部４ｆに出力するもので
ある。本バーチャルプラント表示システム４は、上記ウ
オークスルー映像の他に、プラントＡを構成する各種機
器の運転状態を個別に表示する各種ＶＲ映像をＣＲＴデ
ィスプレイ６に選択的に表示するように構成されてい
る。ＶＲ表示部４ｇは、３次元仮想プラントデータベー
ス４ｈに蓄積された３次元画像データに基づいて、これ
ら各種ＶＲ映像を生成する。

【００３３】映像合成部４ｆは、上記メイン制御部４ａ
による制御の下に、ＩＴＶ表示部４ｄ、メッセージ表示
部４ｅ及びＶＲ表示部４ｇから入力された各種映像を合
成してＣＲＴディスプレイ６に出力するものである。こ
の映像合成部４ｆによる映像合成の詳細については、後
述する。

【００３４】次に、このように構成されたプラント運転
監視支援装置の動作について詳しく説明する。なお、イ
ンタフェースエージェント１の動作については、上述し
た各出願に詳細が記載されているので、以下では概要を
説明する。

【００３５】まず、通常連続運転されるプラントＡに対
して、インタフェースエージェント１のデータ収集部１
ｅは、所定間隔のサンプル時間毎にプラントデータを取
得して推論エンジン１ｂに出力する。推論エンジン１ｂ
は、このようにデータ収集部１ｅから定期的に入力され
るプラントデータを、既に事例メモリ１ｄに蓄積した過
去運転事例データとの類似度を示す距離空間にマッピン
グした後、現在運転事例データとして事例メモリ１ｄに
順次出力する。この結果、事例メモリ１ｄには、プラン
トＡの運転経過に従って現在運転事例データが過去のプ
ラントＡの運転状態を示す過去運転事例データとして順
次蓄積されることになる。

【００３６】推論エンジン１ｂは、このような事例メモ
リ１ｄへの現在運転事例データの蓄積と共に、照合ルー
ル１ｃに基づいて事例メモリ１ｄを検索することによ
り、現在運転事例データに類似する過去運転事例データ
が存在するか否かを検索する。例えば、過去の一定時間
幅に亘る１または複数の過去運転事例データと現在運転
事例データの全ての組み合わせについて、現在運転事例
データと各々の過去運転事例データの相互の距離がそれ
ぞれ算出され、その距離が最も小さい過去運転事例デー
タが現在運転事例データに最も類似した類似運転事例デ
ータとして検出される。

【００３７】このようにして類似運転事例データが検出
されると、推論エンジン１ｂは、当該類似運転事例デー
タに基づいてプラントＡの現在の運転状態を推論し、そ
の推論結果に基づいてプラントＡの運転状態を示すメッ
セージデータを生成する。例えば、類似運転事例データ
が過去においてプラントＡを構成するある機器の異常時
のものである場合には、現在運転事例データはプラント
Ａの異常状態を示していることになるので、推論エンジ
ン１ｂは、この旨を運転員に知らせるメッセージデータ
を生成する。

【００３８】言語変換システム１ａは、このメッセージ
データに基づいて音声メッセージを音声合成し、スピー
カ２に出力する。この結果、運転員は、音声メッセージ
によってプラントＡの運転状態が異常状態にあることを
認識し、必要な処置を取ることができる。

【００３９】一方、上記推論エンジン１ｂによるプラン
トＡの運転状態の推論結果及び言語変換システム１ａに
おける運転員の音声指示の認識結果は、バーチャルプラ
ント表示システム４に対するコマンドとして、インタフ
ェースエージェント１からバーチャルプラント表示シス
テム４に送信される。推論エンジン１ｂが通信部１ｆを
介して上記コマンドをバーチャルプラント表示システム
４に送信させると、このコマンドは、バーチャルプラン
ト表示システム４の通信部４ｂを介してメイン制御部４
ａに入力される。

【００４０】続いて、上記バーチャルプラント表示シス
テム４の詳細動作について、図４に示すフローチャート
を参照して説明する。

【００４１】まず、バーチャルプラント表示システム４
が起動すると、メイン制御部４ａは、３次元仮想プラン
トデータベース４ｈに蓄積されている全てのＶＲ映像用
３次元画像データをＶＲ表示部４ｇ内のメモリに読み込
ませる（ステップＳ１）。こうすることによって、ＶＲ
表示部４ｇによるＶＲ映像の生成を高速化することが可
能であり、運転員によるＶＲ映像の変更指示に対して速
やかに応答するＶＲ映像を実現することができる。

【００４２】このようなＶＲ映像用３次元画像のメモリ
への読み込みが完了すると、メイン制御部４ａは、通信
部４ｂにインタフェースエージェント１との通信接続を
確立させる（ステップＳ２）。通信部４ｂは、メイン制
御部４ａの指示に従って、インタフェースエージェント
１の通信部１ｆとの間で通信接続を確立する。これ以
降、メイン制御部４ａ、つまり本バーチャルプラント表
示システム４は、上記コマンドが通信部４ｂを介してイ
ンタフェースエージェント１から入力されるか、あるい
は入力装置５から操作イベントの入力があるまで待機状
態となる。

【００４３】ここで、インタフェースエージェント１か
ら通信部４ｂにコマンドが入力されると（ステップＳ
３）、メイン制御部４ａは、このコマンドの内容を解析
する（ステップＳ４）。そして、この解析結果つまりコ
マンドの種類に応じて上記通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を制御することにより、ＣＲＴディ
スプレイ６に各種運転支援映像を表示させる（ステップ
Ｓ５）。

【００４４】例えば、コマンドが推論エンジン１ｂの推
論結果に基づく特定機器の異常を示すものであった場
合、ＣＲＴディスプレイ６には、図５に示すような運転
支援映像が表示される。すなわち、特定機器の異常状
態を示すＶＲ映像と、当該異常機器のＩＴＶ映像と、
当該機器が異常であることを示す文字メッセージがＣ
ＲＴディスプレイ６に表示される。また、これと同時に
当該機器が異常であることを示す音声メッセージがスピ
ーカ７から報知される。

【００４５】図６は、この場合におけるメイン制御部４
ａの詳細処理の一例を示すフローチャートである。この
場合、メイン制御部４ａは、ＶＲ制御部４ｃに当該異常
機器のＶＲ映像の出力及び当該ＶＲ映像に係わる音響
（この場合、異常警報）の出力を指示する（ステップＳ
51，Ｓ52）。この指示に対して、ＶＲ制御部４ｃは、Ｖ
Ｒ表示部４ｇに当該異常機器のＶＲ映像の生成を指示す
ると共に、音響発生部４ｊに当該異常機器が異常状態に
あることを示す警報を生成させる。この結果、ＶＲ表示
部４ｇは、当該異常機器のＶＲ映像を映像合成部４ｆに
出力し、音響発生部４ｊは、上記警報をスピーカ７に出
力する。上記異常機器のＶＲ映像は、当該異常機器の異
常状態を３次元シミュレーションした映像である。

【００４６】そして、メイン制御部４ａは、当該異常機
器のＩＴＶ映像の出力指示をＩＴＶ表示部４ｄにも出力
する（ステップＳ53）。この結果、ＩＴＶ表示部４ｄ
は、複数のＩＴＶカメラのＩＴＶ映像の中から当該異常
機器のＩＴＶ映像を映像合成部４ｆに選択出力する。

【００４７】さらに、メイン制御部４ａは、当該異常機
器を知らせるメッセージの出力を当該メッセージのテキ
ストデータと共にメッセージ表示部４ｅに指示する（ス
テップＳ54）。このテキストデータは、インタフェース
エージェント１からコマンドと共にメイン制御部４ａに
入力されたものである。この結果、メッセージ表示部４
ｅは、当該テキストデータに基づいて文字メッセージを
生成し、映像合成部４ｆに出力する。

【００４８】映像合成部４ｆは、このようにしてＶＲ表
示部４ｇから入力された異常機器のＶＲ映像、ＩＴＶ表
示部４ｄから入力された異常機器のＩＴＶ映像及びメッ
セージ表示部４ｅから入力された文字メッセージを、メ
イン制御部４ａから入力された位置指定情報に基づいて
１つの画面上に合成してＣＲＴディスプレイ６に出力す
る。すなわち、図５に示すように、文字メッセージはＣ
ＲＴディスプレイ６の上端部に、異常機器のＶＲ映像は
画面中央にメイン画像として、また異常機器のＩＴＶ映
像は、ＣＲＴディスプレイ６の左下端部にそれぞれ初期
表示される。

【００４９】また、本実施形態では、異常機器のＶＲ映
像の一部に、当該ＶＲ映像を補完するように異常機器に
関連する計測データが数値表示されるようになってい
る。すなわち、ＶＲ制御部４ｃは、メイン制御部４ａか
ら異常機器のＶＲ映像の出力指示が入力されると、当該
異常機器に係わる計測データの取得要求をメイン制御部
４ａに出力する。メイン制御部４ａは、この要求を通信
部４ｂを介してインタフェースエージェント１に送信
し、プラントＡから計測データを取得する。そして、こ
の計測データは、メイン制御部４ａからＶＲ制御部４ｃ
を経由してＶＲ表示部４ｇに入力されて、異常機器のＶ
Ｒ映像に数値として組み込まれる。

【００５０】この結果、図５に示すように、異常機器の
ＶＲ映像を主体とし、このＶＲ映像を補完するように異
常機器のＩＴＶ映像と文字メッセージが１画面に合成さ
れた運転支援映像がＣＲＴディスプレイ６に表示され
る。このように映像と文字を１つの画面に合成して表示
することにより、運転員は、プラントＡの異常状態を容
易かつ正確に把握することができる。しかも、運転員
は、プラントＡの３次元シミュレーション映像であるＶ
Ｒ映像によって、運転監視室に居ながらにしてより直感
的にプラントＡの運転状態、つまりプラントＡを構成す
る各機器の動作状態を確認することができる。

【００５１】なお、上記コマンドが言語変換システム１
ａによって音声認識された運転支援映像の変更指示であ
った場合、メイン制御部４ａは、ステップＳ５におい
て、ＣＲＴディスプレイ６上に変更指示に応じた運転支
援映像を表示させる。例えば、特定機器の状態を確認し
たい旨のコマンドが入力されると、メイン制御部４ａ
は、当該機器のＩＴＶ映像を選択表示させる指示をＩＴ
Ｖ表示部４ｄに出力して、当該機器のＩＴＶ映像をＣＲ
Ｔディスプレイ６上に表示させる。

【００５２】また、メイン制御部４ａは、ＶＲ制御部４
ｃを介してＶＲ表示部４ｇを制御することにより、当該
機器のＶＲ映像をＣＲＴディスプレイ６上に表示させ
る。この際、ＶＲ制御部４ｃは、ＶＲ映像が切り替わっ
たことを運転員に知らせる音声メッセージを音響発生部
４ｊに指示する。この結果、音響発生部４ｊは、当該音
声メッセージを生成してスピーカ７に出力して、ＶＲ映
像が切り替わったことを運転員に知らせる。

【００５３】一方、入力装置５から直接操作部４ｉにＶ
Ｒ映像の変更指示に係わる操作イベントが入力されると
（ステップＳ６）、この操作イベントは、直接操作部４
ｉからＶＲ制御部４ｃを介してメイン制御部４ａに入力
される。メイン制御部４ａは、この操作イベントの種類
を解析し（ステップＳ７）、その解析結果つまり操作イ
ベントの種類に応じたＶＲ映像の表示をＶＲ制御部４ｃ
に指示する（ステップＳ８）。

【００５４】ＶＲ制御部４ｃは、メイン制御部４ａの指
示に従ったＶＲ映像をＶＲ表示部４ｇに生成させると共
に、このＶＲ映像に対応する音響の出力指示を音響発生
部４ｊに出力する。この結果、ＶＲ表示部４ｇは、操作
イベントに応じた新たなＶＲ映像を映像合成部４ｆに出
力し、この新たなＶＲ映像がＣＲＴディスプレイ６に表
示される。また、音響発生部４ｊは、ＣＲＴディスプレ
イ６に表示されたＶＲ映像に対応する音響をスピーカ７
に出力する。さらに、ＩＴＶ表示部４ｄは、メイン制御
部４ａの指示に従って、新たなＶＲ映像に対応するＩＴ
Ｖ映像を選択して映像合成部４ｆに出力する。

【００５５】例えば、入力装置５を操作することによっ
て、運転員はウオークスルー映像上でプラントＡ内を自
由に移動することができる。入力装置５から所定方向へ
の前進を指示する操作イベントを入力すると、運転員は
ウオークスルー映像上で自らが立脚する位置を変更する
ことができる。運転員が、ある機器の前に到着した場
合、当該機器の計測データがウオークスルー映像上に表
示される。

【００５６】この場合、当該機器に関連する計測データ
の取得要求が通信部４ｂを介してメイン制御部４ａから
インタフェースエージェント１に送信される。インタフ
ェースエージェント１は、この要求に対してプラントＡ
から計測データを取得してメイン制御部４ａに送信す
る。そして、この計測データは、メイン制御部４ａから
ＶＲ制御部４ｃを介してＶＲ表示部４ｇに入力されて、
ＶＲ映像内に取り込まれる。

【００５７】また、この場合、当該機機のＩＴＶ映像が
ＣＲＴディスプレイ６に表示されると共に、当該機器の
運転音がスピーカ７から報知される。すなわち、入力装
置５の操作に基づくウオークスルー映像つまりＶＲ映像
の変化に連動して、当該ウオークスルー映像に関連する
計測データ及びＩＴＶ映像がＣＲＴディスプレイ６に表
示される。

【００５８】また、上記ステップＳ６において、ウオー
クスルー映像上に表示された機器の操作に係わる操作イ
ベントが入力された場合、この操作イベントは、直接操
作部４ｉ及びＶＲ制御部４ｃを介してメイン制御部４ａ
に入力される。メイン制御部４ａは、当該操作イベント
を通信部４ｂを介してインタフェースエージェント１に
送信する（機器操作処理：ステップＳ９）。そして、こ
の操作イベントは、インタフェースエージェント１の通
信部１ｆ、推論エンジン１ｂ及びデータ収集部１ｅを介
してプラントＡに入力され、当該操作イベントに基づい
てウオークスルー映像上に表示された機器の運転が操作
される。

【００５９】例えば、入力装置５からウオークスルー映
像上に表示された異常機器の運転停止を指示する操作イ
ベントが入力されると、この操作イベントに基づいて当
該異常機器の運転が停止される。または、特定機器の計
測データを取得したい旨の操作イベントを入力装置５か
ら入力すると、この操作イベントに基づいて当該特定機
器の計測データがインタフェースエージェント１を介し
てバーチャルプラント表示システム４に取り込まれてＣ
ＲＴディスプレイ６に表示される。

【００６０】本実施形態によれば、事例ベース推論によ
るプラントＡの運転状態の推論結果及び運転員による音
声指示の音声認識結果に基づいてＶＲ映像を主体とした
運転支援映像をＣＲＴディスプレイ６に表示させるの
で、運転員は、インタフェースエージェント１から報知
された音声メッセージに基づく聴覚的なプラントＡの運
転状態の確認に加えて、ＣＲＴディスプレイ６上に表示
される運転支援映像によって視覚的にプラントＡの運転
状態を確認することかできる。したがって、プラントＡ
の運転状態の確認が極めて容易であり、プラントの運転
監視に係わる従来のヒューマンインタフェースに比較し
て、運転員の負荷を大幅に軽減することが可能である。

【００６１】また、運転支援映像がＶＲ映像を主体とし
たＩＴＶ映像あるいは文字メッセージの組み合わせの形
態でＣＲＴディスプレイ６上に表示されるので、運転員
は、プラントＡの運転状態を実体験的かつより正確に把
握することができる。また、音声認識によって運転員の
指示がインタフェースエージェント１に入力されるの
で、運転員は、自らの意志を容易にインタフェースエー
ジェント１に入力することができる。したがって、これ
らによっても運転員の負荷を軽減することが可能である
と共に、従来程、運転員の熟練を必要としないので、運
転員の養成期間の短縮及び養成設備に係わるコストの低
減を図ることが可能である。

【００６２】なお、上記実施形態は、インタフェースエ
ージェント１に音声認識された運転員の音声指示に基づ
いてプラントＡを直接操作するようには構成されていな
い。これは、現行のプラントＡの運転に対して並列的に
操作することを考慮したものである。

【００６３】すなわち、本願発明は、プラントＡの運転
に係わる次世代のヒューマンインタフェース技術を提供
するものであり、本願発明を実際のプラントＡに適用し
ようとする場合、運転員が無理なく本願発明を使いこな
すためには、一定期間に亘って従来のヒューマンインタ
フェースとの併存が必要になる。この併存期間において
運転員が音声指示入力にある程度慣れた上で、実際のプ
ラントＡの操作を音声指示することにより、正確性を必
要とするプラントＡの操作を音声指示によって確実に行
うことができる。

【００６４】さらに、本発明は、特定のプラントを対象
としたものではなく、複数の各種機器から構成された全
てのプラントの運転監視に適用可能なものである。

【００６５】

【発明の効果】以上説明したように、本発明に係わるプ
ラント運転監視支援装置によれば、以下のような効果を
奏する。

【００６６】（１）プラント運転監視支援装置に係わる
第１の手段として、プラントの運転状態を示す運転支援
映像を映像表示手段に表示させることによって、プラン
トの運転を監視する運転員を支援するプラント運転監視
支援装置において、プラントを仮想的に３次元表示する
ＶＲ（バーチャル・リアリティ）映像を主体とし、該Ｖ
Ｒ映像にプラントの計測データ、プラントのＩＴＶ映像
またはＶＲ映像を補完する文字メッセージのうち、何れ
か１つあるいは複数を組み合わせて１画面とした運転支
援映像を表示するので、運転員は、運転監視室に居なが
らにして、運転支援映像によってプラントの運転状態を
直感的かつ容易に判断することが可能であり、よって負
荷を大幅に軽減することができる。

【００６７】（２）ＶＲ映像に変化に応じて計測デー
タ、ＩＴＶ映像または文字メッセージを切り替える、す
なわちＶＲ映像の内容に応じて当該ＶＲ映像の内容を補
完する計測データ、ＩＴＶ映像または文字メッセージが
自動的に切り替え表示されるので、運転員は、ＶＲ映像
中の自らの各位置においてプラントを構成する各機器の
状態を正確に把握することができる。

【００６８】（３）運転支援映像の内容を音響報知する
音響報知手段を具備するので、運転員は、プラントの運
転状態をさらに直感的に把握することができる。

【００６９】（４）現在のプラントの運転状態を過去の
プラントの運転事例に基づいて推論するインタフェース
エージェントの推論結果に基づいて運転支援映像を表示
するので、現在のプラントの運転状態に対して、的確な
運転支援映像が表示される。したがって、運転人のプラ
ントの運転監視作業の負荷をさらに軽減することができ
る。

【００７０】（５）インタフェースエージェントによっ
て音声認識された運転員の音声指示に基づいて運転支援
映像を切り替えるので、音声指示によって容易に運転支
援映像を変更することができる。すなわち、運転員の指
示入力が極めて容易かつ直感的であり、操作に熟練を必
要としないので、運転員の養成に時間を必要としないと
共に運転員の養成に係わるコストを低減することが可能
である。

【図面の簡単な説明】

【図１】 本発明の一実施形態の全体構成図である。

【図２】 本発明の一実施形態におけるインタフェース
エージェントの機能構成を示すブロック図である。

【図３】 本発明の一実施形態の機能構成を示すブロッ
ク図である。

【図４】 本発明の一実施形態の動作を示すメインフロ
ーチャートである。

【図５】 本発明の一実施形態における運転支援映像の
一例を示す模式図である。

【図６】 本発明の一実施形態の動作を示すサブフロー
チャートである。

【符号の説明】

Ａ……プラント １……インタフェースエージェント １ａ……言語変換システム １ｂ……推論エンジン １ｃ……照合ルール １ｄ……事例メモリ １ｅ……データ収集部 １ｆ……通信部 ２……スピーカ ３……マイク ４……バーチャルプラント表示システム（映像制御手
段） ４ａ……メイン制御部 ４ｂ……通信部 ４ｃ……ＶＲ制御部 ４ｄ……ＩＴＶ表示部 ４ｅ……メッセージ表示部 ４ｆ……映像合成部 ４ｇ……ＶＲ表示部 ４ｈ……３次元仮想プラントデータベース ４ｉ……直接操作部 ４ｊ……音響発生部（音響報知手段） ５……入力装置 ６……ＣＲＴディスプレイ（映像表示手段） ７……スピーカ（音響報知手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松浦 由次 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 Ｆターム(参考） 5B050 AA03 EA19 EA28 FA02 FA10 5E501 AC02 BA05 CA03 CA08 CB02 CB09 CB14 CB15 FA15 FA27 FA32 FA36 FA42 FB34 5H223 AA01 EE06 FF03 FF06 9A001 HH03 HH15 HH23 LL09

Claims (5)

【特許請求の範囲】
1. 【請求項１】 プラント（Ａ）の運転状態を示す運転支
   援映像を映像表示手段（６）に表示させることによっ
   て、プラントの運転を監視する運転員を支援するプラン
   ト運転監視支援装置であって、 プラントを仮想的に３次元表示するＶＲ（バーチャル・
   リアリティ）映像を主体とし、該ＶＲ映像にプラントの
   計測データ、プラントのＩＴＶ映像またはＶＲ映像を補
   完する文字メッセージのうち、何れか１つあるいは複数
   を組み合わせて１画面とした運転支援映像を表示するこ
   とを特徴とするプラント運転監視支援装置。
2. 【請求項２】 ＶＲ映像に変化に応じて計測データ、Ｉ
   ＴＶ映像または文字メッセージを切り替えることを特徴
   とする請求項１記載のプラント運転監視支援装置。
3. 【請求項３】 運転支援映像の内容を音響報知する音響
   報知手段（４ｊ，７）を具備することを特徴とする請求
   項１または２記載のプラント運転監視支援装置。
4. 【請求項４】 現在のプラントの運転状態を過去のプラ
   ントの運転事例に基づいて推論するインタフェースエー
   ジェント（１）の推論結果に基づいて運転支援映像を表
   示することを特徴とする請求項１〜３いずれかに記載の
   プラント運転監視支援装置。
5. 【請求項５】 インタフェースエージェントによって音
   声認識された運転員の音声指示に基づいて運転支援映像
   を切り替えることを特徴とする請求項４記載のプラント
   運転監視支援装置。