JP2000259229A - プラント運転監視支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 プラントを構成する構成機器の状態を把握し
やすいプラント運転監視支援装置の提供。 【解決手段】 複数の構成機器Ｂ，Ｂ，…で構成される
プラントＡの運転を監視する運転員を支援するプラント
運転監視支援装置であって、構成機器Ｂの形状と該構成
機器Ｂにおいて得られる計測データに基づく該構成機器
Ｂの状態とを表現した３次元動画を、映像表示手段６に
表示させる映像制御手段４を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プラントの運転状
態を把握して運転員の監視業務を支援するプラント運転
監視支援装置に関する。

【０００２】

【従来の技術】プラントの運転監視に係わる従来のヒュ
ーマンインタフェースは、以下のようなものである。す
なわち、運転員の操作入力は、ディスプレイ上のタッチ
パネルやマウス等を操作することによって行われ、運転
員に対するプラントの運転状態情報の提示は、ＣＲＴデ
ィスプレイに各種プロセス値を数値あるいはグラフィッ
クスとして表示することによって行われている。

【０００３】例えば、運転状態情報は、プラントを構成
する各種機器の接続系統を２次元グラフィックス画面と
してＣＲＴディスプレイ上に表示し、かつ、この２次元
グラフィックス画面上の各機器のプロセス値を数値表示
することによって運転員に提示されている。従来では、
このような２次元グラフィックス画面が用途毎に多数設
けられており、運転員は、２次元グラフィックス画面を
自ら選択することによってプラントの運転状態を把握す
る。

【０００４】

【発明が解決しようとする課題】このような従来技術で
は、運転員は常時ＣＲＴディスプレイを監視していなけ
ればならず、また多数の機器について２次元グラフィッ
クス画面を選択することによってプラントの運転状態を
把握しなければならないため、その負荷は多大なもので
ある。プラントの規模が大型化すると、それを構成する
機器数も増大するので、大規模プラントでは、特に運転
員の負荷は大きなものとなる。

【０００５】また、ＣＲＴディスプレイ上の各種プロセ
ス値の数値表示や２次元グラフィックス表示に基づいて
プラントの運転状態を判断する必要があるので、プラン
トの構成やプロセスに対する知識及びプラントの運転監
視についての経験が要求される。また、プラントを運転
操作するためには、多数の機器について操作方法を習得
する必要があるので、熟練を要する。したがって、従来
では、運転員を養成するための専門の設備（プラント運
転訓練シミュレータ）や教育カリキュラムを用意する必
要があった。さらには、プラントの運転監視システムを
開発する場合、各種の異常に対する異常検出ルールを付
加する必要があるので、開発期間が長期間に亘ると共
に、この異常検出ルールを変更する際に時間を要すると
いう問題点もある。

【０００６】なお、このような従来のプラントの運転監
視に係わる既存のヒューマンインタフェースに対して、
本出願人は、特願平９−２０２００２号、特願平９−２
３１５８１号あるいは特願平１０−２６３６０９号にお
いて、ＡＩ手法に基づく事例ベース推論技術を応用した
プラントの運転監視技術を提案している。これらの技術
は、事例ベース推論の手法を用いることにより、現在の
プラントの運転状態に類似する過去の運転事例を検出
し、この過去の運転事例に基づいてプラント運転支援用
の音声メッセージを運転員に提供するものである。

【０００７】上述した問題点を解決し、運転員の負荷を
さらに低減するとともに運転員の養成を容易にすること
を目的として、現在のプラントの運転状態を過去のプラ
ントの運転事例に基づいて推論するインタフェースエー
ジェントと、該インタフェースエージェントの推論結果
に基づいて運転員を支援する運転支援映像を映像表示手
段に表示させる映像制御手段とを具備するプラント運転
監視支援装置の開発を行っている。

【０００８】このようなプラント運転監視支援装置の開
発に当って、プラントの各構成機器の計測データを運転
員に認識させるための表示の方式として、従来と同様、
数値をそのまま表示させるか、あるいは数値を計器で表
示させることを考えたが、これらの表示方式では、いず
れにおいても、構成機器の状態を運転員自身が数値から
類推することになるため、把握しにくいという問題の発
生が予想され、この点でさらなる改善の余地が生じた。
したがって、本発明は、プラントを構成する構成機器の
状態を把握しやすいプラント運転監視支援装置の提供を
目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、複数の構成機器で構成されるプラン
トの運転を監視する運転員を支援するプラント運転監視
支援装置であって、前記構成機器の形状と該構成機器に
おいて得られる計測データに基づく該構成機器の状態と
を表現した３次元動画を、映像表示手段に表示させる映
像制御手段を具備することを特徴としている。

【００１０】また、第２の発明は、前記映像制御手段
が、前記３次元動画に合わせて該３次元動画の基となる
前記計測データに基づく文字を前記映像表示手段に表示
させることを特徴としている。

【００１１】さらに、第３の発明は、前記映像制御手段
が、前記３次元動画として、視点位置を変更可能なＶＲ
（バーチャル・リアリティ）映像を前記映像表示手段に
表示させることを特徴としている。

【００１２】

【発明の実施の形態】以下、本発明に係わるプラント運
転監視支援装置の一実施形態について説明する。なお、
本発明は、特定のプラントを対象としたものではなく、
複数の各種構成機器から構成された全てのプラントの運
転監視に適用可能なものである。

【００１３】図１は、本実施形態におけるプラント運転
監視支援装置の全体構成図である。この図において、符
号Ａは、複数の構成機器Ｂ，Ｂ，…で構成される監視対
象であるプラント、１はインタフェースエージェント、
２，７はスピーカ、３はマイク、４はバーチャルプラン
ト表示システム（映像制御手段）、５は入力装置（例え
ば、マウスやキーボード等）、６はＣＲＴディスプレイ
（映像表示手段）、８はＩＴＶカメラ（工業用監視カメ
ラ）である。

【００１４】インタフェースエージェント１は、マイク
３を介してプラントＡの運転員から入力された音声指示
を音声認識してバーチャルプラント表示システム４に出
力すると共に、プラントＡから取得され、かつプラント
Ａの運転状態を示す計測データを含む各種データ（プラ
ントデータ）に基づく事例ベース推論によってプラント
Ａの運転状態を推論し、この推論結果に応じて、運転員
を支援する各種の音声メッセージをスピーカ２に出力す
るものである。

【００１５】バーチャルプラント表示システム４は、上
記インタフェースエージェント１による事例ベース推論
の結果、プラントＡに複数備えられたＩＴＶカメラ８の
映像（ＩＴＶ映像）、及び上記入力装置５の操作指示に
基づいて運転員を支援する各種映像（運転支援映像）を
合成してＣＲＴディスプレイ６に出力するものである。

【００１６】このバーチャルプラント表示システム４
は、インタフェースエージェント１による事例ベース推
論の結果に基づいて生成したＶＲ（バーチャル・リアリ
ティ）映像、メッセージデータ、及びプラントＡから得
られたＩＴＶ映像を組み合わせることにより、各種の運
転支援映像を合成する。また、バーチャルプラント表示
システム４は、ＶＲ映像のリアリティをより向上させる
ために、ＶＲ映像に関連する音響を生成してスピーカ７
に出力する。

【００１７】さらに、バーチャルプラント表示システム
４は、構成機器Ｂの形状と該構成機器Ｂに設けられた各
種センサにより該構成機器Ｂにおいて得られる計測デー
タに基づく該構成機器Ｂの状態（構成機器Ｂにおいて状
態が変化し得る部位の形状）とを３次元で表現した３次
元動画を、該３次元動画の基となる計測データに基づく
文字データと合わせてＣＲＴディスプレイ６にリアルタ
イムで表示させる。なお、このとき、３次元動画として
は、構成機器Ｂの状態を仮想的に３次元表示し視点位置
を変更可能なＶＲ映像をＣＲＴディスプレイ６に表示さ
せる。入力装置５は、ＶＲ映像の操作指示及びプラント
Ａに対する特定の操作指示を入力するためのものであ
る。

【００１８】図２は、上記インタフェースエージェント
１の機能構成を示すブロック図である。この図に示する
ように、インタフェースエージェント１は、言語変換シ
ステム１ａ、推論エンジン１ｂ、照合ルール１ｃ、事例
メモリ１ｄ、データ収集部１ｅ及び通信部１ｆ等から構
成されている。

【００１９】言語変換システム１ａは、運転員によって
マイク３に入力された音声指示を音声認識することによ
りコンピュータに読取可能な音声データに変換して推論
エンジン１ｂに出力すると共に、該推論エンジン１ｂか
ら入力された音声データを運転員が認識可能な音声メッ
セージに音声合成してスピーカ２に出力するものであ
る。

【００２０】さらに詳説すると、この言語変換システム
１ａは、運転員が発した音声指示から特定のキーワード
を抽出して認識するキーワードスポッティング音声認
識、及び過去に入力された運転員の音声指示を音声事例
データ（過去音声事例データ）として記憶し、この過去
音声事例データをいま入力された音声指示（現在音声事
例データ）と比較推論することにより、音声指示を認識
する事例ベース推論音声認識を組み合わせた音声認識を
行うものである。

【００２１】データ収集部１ｅは、所定のサンプリング
時間毎にプラントＡを構成する各種の構成機器Ｂ，Ｂ，
…の計測データ及び運転員のプラントＡに対する操作指
示（操作指示データ）をプラントＡから収集し、これら
をプラントデータとして推論エンジン１ｂに出力するも
のである。このプラントデータは、サンプリング時間に
おける計測データとそのときの操作指示データとで構成
されるもので、サンプリング時間におけるプラントＡの
運転状態を示す情報である。

【００２２】推論エンジン１ｂは、上記プラントデータ
を現在の運転状態を示す運転事例データ（現在運転事例
データ）として事例メモリ１ｄに順次記憶させると共
に、照合ルール１ｃに基づいて上記現在運転事例データ
に類似する過去の運転事例データ（過去運転事例デー
タ）を事例メモリ１ｄから検索することにより、プラン
トの現在の運転状態を推論・判断するものである。

【００２３】事例メモリ１ｄは、上記推論エンジン１ｂ
から順次入力される現在運転事例データを過去運転事例
データ（時間の経過とともに過去のデータとなる）とし
て順次蓄積するものである。照合ルール１ｃは、事例ベ
ース推論の手法に基づいた現在運転事例データと過去運
転事例データとの照合手順、つまり現在運転事例データ
に類似する過去運転事例データの検索手順を規定するも
のである。上記推論エンジン１ｂは、この照合ルール１
ｃに基づく事例ベース推論により、プラントＡの現在の
運転状態を判断する。なお、推論エンジン１ｂによる現
在運転事例データの生成方法の詳細及び過去運転事例デ
ータの検索の詳細については、上述した各出願に記載さ
れている。

【００２４】通信部１ｆは、推論エンジン１ｂと上記バ
ーチャルプラント表示システム４との通信を仲介するも
のであり、例えば推論エンジン１ｂの推論結果及び言語
変換システム１ａの音声認識結果をコマンドとしてバー
チャルプラント表示システム４に出力する。

【００２５】また、本実施形態では、プラントＡに対す
る特定の操作指示をインタフェースエージェント１を介
してバーチャルプラント表示システム４から入力できる
ように構成されている。通信部１ｆは、この操作指示を
バーチャルプラント表示システム４から受信すると推論
エンジン１ｂに出力する。そして、この操作指示は、推
論エンジン１ｂ及びデータ収集部１ｅを介してプラント
Ａに入力されるようになっている。

【００２６】続いて、図３は、上記バーチャルプラント
表示システム４の機能構成を示すブロック図である。こ
の図に示すように、バーチャルプラント表示システム４
は、メイン制御部４ａ、通信部４ｂ、ＶＲ制御部４ｃ、
ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ、映像合成部
４ｆ、ＶＲ表示部４ｇ、３次元仮想プラントデータベー
ス４ｈ、直接操作部４ｉ及び音響発生部４ｊ等から構成
されている。

【００２７】メイン制御部４ａは、通信部４ｂを介して
インタフェースエージェント１から入力される各種コマ
ンド及び直接操作部４ｉを介して入力装置５から入力さ
れる操作指示に基づいて、通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を統括的に制御するものである。通
信部４ｂは、メイン制御部４ａによる制御の下にインタ
フェースエージェント１との通信を仲介するものであ
り、上記各種コマンドをインタフェースエージェント１
から受信するとメイン制御部４ａに出力し、メイン制御
部４ａから入力装置５の操作指示が入力されるとインタ
フェースエージェント１に出力する。

【００２８】直接操作部４ｉは、上記入力装置５の操作
指示を受け付けてＶＲ制御部４ｃに出力するものであ
る。ＶＲ制御部４ｃは、ＶＲ表示部４ｇによるＶＲ映像
の生成を制御するものである。このＶＲ制御部４ｃは、
上記メイン制御部４ａから入力される制御情報及び直接
操作部４ｉから入力される入力装置５の操作指示に基づ
いてＣＲＴディスプレイ６に表示すべきＶＲ映像の変更
指示をＶＲ表示部４ｇに出力する。また、ＶＲ制御部４
ｃは、音響発生部４ｊによるスピーカ７への音響（ＶＲ
映像に関連する音響）の出力をも制御する。

【００２９】ＩＴＶ表示部４ｄは、メイン制御部４ａに
よる制御の下に、複数のＩＴＶカメラ８の映像から何れ
かを選択して映像合成部４ｆに出力するものである。Ｉ
ＴＶカメラ８は、プラントＡの要所に複数備えられ、プ
ラントＡを構成する各種の構成機器Ｂ，Ｂ，…の動作状
態を常時撮影している。メッセージ表示部４ｅは、イン
タフェースエージェント１からシステムの警告等の用途
で出力され、メイン制御部４ａを介して入力されるメッ
セージ情報（例えば日本語テキストデータ）の文字をそ
のまま映像合成部４ｆに出力するものである。

【００３０】３次元仮想プラントデータベース４ｈは、
プラントＡの全体から各構成機器Ｂ，Ｂ，…の個々のク
ローズアップ形状までのＶＲ映像用の各種３次元映像デ
ータを蓄積するデータベースである。本実施形態におけ
るＶＲ映像は、例えば運転員がプラントＡ内の各構成機
器Ｂ，Ｂ，…の状態を確認しながら移動する様子を仮想
空間にある３次元プラント内でウオークスルー表示する
のに用いる。このようなウオークスルー映像は、プラン
トＡの仮想空間における運転員の視点位置の変化に準じ
て３次元映像が変化するものである。したがって、ウオ
ークスルー映像は、３次元仮想空間上の運転員の位置や
視点に応じて連続的に変化する３次元映像である。３次
元仮想プラントデータベース４ｈには、このようなウオ
ークスルー映像の生成に必要なプラントＡの構成機器
Ｂ，Ｂ，…の個々の形状や位置に関する３次元映像デー
タが蓄積されている。

【００３１】ＶＲ表示部４ｇは、３次元仮想プラントデ
ータベース４ｈから３次元映像データを読み込み、ＶＲ
制御部４ｃから入力されるＶＲ映像の変更指示に基づい
てＶＲ映像を生成して映像合成部４ｆに出力するもので
ある。本バーチャルプラント表示システム４は、上記ウ
オークスルー映像の他に、プラントＡを構成する各種構
成機器Ｂ，Ｂ，…の状態を個別に表示する各種ＶＲ映像
をＣＲＴディスプレイ６に選択的に表示するように構成
されている。また、ＶＲ表示部４ｇには、プラントＡで
取得され、インタフェースエージェント１からメイン制
御部４ａ、ＶＲ制御部４ｃを介して各種構成機器Ｂ，
Ｂ，…の状態を示す計測データ（例えば英数字のテキス
トデータ）が入力される。ＶＲ表示部４ｇは、３次元仮
想プラントデータベース４ｈに蓄積された３次元映像デ
ータおよびプラントＡの計測データに基づいて、各種Ｖ
Ｒ映像を生成する。

【００３２】映像合成部４ｆは、上記メイン制御部４ａ
による制御の下に、ＩＴＶ表示部４ｄ、メッセージ表示
部４ｅ及びＶＲ表示部４ｇから入力された各種映像を合
成してＣＲＴディスプレイ６に出力するものである。

【００３３】次に、このように構成されたプラント運転
監視支援装置の動作について詳しく説明する。なお、イ
ンタフェースエージェント１の動作については、上述し
た各出願に詳細が記載されているので、以下では概要を
説明する。

【００３４】まず、通常連続運転されるプラントＡに対
して、インタフェースエージェント１のデータ収集部１
ｅは、所定間隔のサンプル時間毎にプラントデータを取
得して推論エンジン１ｂに出力する。推論エンジン１ｂ
は、このようにデータ収集部１ｅから定期的に入力され
るプラントデータを、既に事例メモリ１ｄに蓄積した過
去運転事例データとの類似度を示す距離空間にマッピン
グした後、現在運転事例データとして事例メモリ１ｄに
順次出力する。この結果、事例メモリ１ｄには、プラン
トＡの運転経過に従って現在運転事例データが過去のプ
ラントＡの運転状態を示す過去運転事例データとして順
次蓄積されることになる。

【００３５】推論エンジン１ｂは、このような事例メモ
リ１ｄへの現在運転事例データの蓄積と共に、照合ルー
ル１ｃに基づいて事例メモリ１ｄを検索することによ
り、現在運転事例データに類似する過去運転事例データ
が存在するか否かを検索する。例えば、過去の一定時間
幅に亘る１または複数の過去運転事例データと現在運転
事例データの全ての組み合わせについて、現在運転事例
データと各々の過去運転事例データの相互の距離がそれ
ぞれ算出され、その距離が最も小さい過去運転事例デー
タが現在運転事例データに最も類似した類似運転事例デ
ータとして検出される。

【００３６】このようにして類似運転事例データが検出
されると、推論エンジン１ｂは、当該類似運転事例デー
タに基づいてプラントＡの現在の運転状態を推論し、そ
の推論結果に基づいてプラントＡの運転状態を示すメッ
セージデータを生成する。例えば、類似運転事例データ
が過去においてプラントＡを構成するある構成機器Ｂの
異常時のものである場合には、現在運転事例データはプ
ラントＡの異常状態を示していることになるので、推論
エンジン１ｃは、この旨を運転員に知らせるメッセージ
データを生成する。

【００３７】言語変換システム１ａは、このメッセージ
データに基づいて音声メッセージを音声合成し、スピー
カ２に出力する。この結果、運転員は、音声メッセージ
によってプラントＡの運転状態が異常状態にあることを
認識し、必要な処置を取ることができる。

【００３８】一方、上記推論エンジン１ｂによるプラン
トＡの運転状態の推論結果及び言語変換システム１ａに
おける運転員の音声指示の認識結果は、バーチャルプラ
ント表示システム４に対するコマンドとして、インタフ
ェースエージェント１からバーチャルプラント表示シス
テム４に送信される。推論エンジン１ｂが通信部１ｆを
介して上記コマンドをバーチャルプラント表示システム
４に送信させると、このコマンドは、バーチャルプラン
ト表示システム４の通信部４ｂを介してメイン制御部４
ａに入力される。

【００３９】続いて、上記バーチャルプラント表示シス
テム４の詳細動作について説明する。まず、バーチャル
プラント表示システム４が起動すると、メイン制御部４
ａは、３次元仮想プラントデータベース４ｈに蓄積され
ている全てのＶＲ映像用３次元映像データをＶＲ表示部
４ｇ内のメモリに読み込ませる。こうすることによっ
て、ＶＲ表示部４ｇによるＶＲ映像の生成を高速化する
ことが可能であり、運転員によるＶＲ映像の変更指示に
対して速やかに応答するＶＲ映像を実現することができ
る。

【００４０】続いて、メイン制御部４ａは、通信部４ｂ
にインタフェースエージェント１との通信接続を確立さ
せる。通信部４ｂは、メイン制御部４ａの指示に従っ
て、インタフェースエージェント１の通信部１ｆとの間
で通信接続を確立する。これ以降、メイン制御部４ａ、
つまり本バーチャルプラント表示システム４は、上記コ
マンドが通信部４ｂを介してインタフェースエージェン
ト１から入力されるか、あるいは入力装置５から操作イ
ベントの入力があるまで待機状態となる。

【００４１】ここで、インタフェースエージェント１か
ら通信部４ｂにコマンドが入力されると、メイン制御部
４ａは、このコマンドの内容を解析する。そして、この
解析結果つまりコマンドの種類に応じて上記通信部４
ｂ、ＶＲ制御部４ｃ、ＩＴＶ表示部４ｄ、メッセージ表
示部４ｅ及び映像合成部４ｆの各動作を制御することに
より、ＣＲＴディスプレイ６に各種運転支援映像を表示
させる。

【００４２】例えば、インタフェースエージェント１か
らのコマンドが推論エンジン１ｂの推論結果に基づく特
定の構成機器Ｂの異常を示すものであった場合、メイン
制御部４ａは、当該異常とされた構成機器Ｂとインタフ
ェースエージェント１から出力される該構成機器Ｂの異
常を知らせるメッセージデータをメッセージ表示部４ｅ
に出力する。この結果、メッセージ表示部４ｅは、映像
合成部４ｆを介してメッセージデータをそのままＣＲＴ
ディスプレイ６上に表示させる。このとき、映像合成部
４ｆは、メイン制御部４ａから入力された位置指定情報
に基づいてＣＲＴディスプレイ６上における表示メッセ
ージの位置を設定する。

【００４３】また、上記のようにコマンドが特定の構成
機器Ｂの異常を示すものであった場合、メイン制御部４
ａは、当該異常とされた構成機器ＢのＩＴＶ映像を選択
表示させる指示をＩＴＶ表示部４ｄに出力する。この結
果、ＩＴＶ表示部４ｄは、当該異常とされた構成機器Ｂ
のＩＴＶ映像を映像合成部４ｆを介してＣＲＴディスプ
レイ６上に表示させる。このとき、映像合成部４ｆは、
メイン制御部４ａから入力された位置指定情報に基づい
てＣＲＴディスプレイ６上におけるＩＴＶ映像の位置を
設定する。

【００４４】さらに、上記のようにコマンドが特定の構
成機器Ｂの異常を示すものであった場合、メイン制御部
４ａは、インターフェースエージェント１を介してプラ
ントＡの当該異常とされた構成機器Ｂの各部に設けられ
た図示せぬセンサからの計測データを導入させることに
なる。そして、メイン制御部４ａは、ＶＲ制御部４ｃを
介してＶＲ表示部４ｇを制御することにより、当該異常
とされた構成機器Ｂの形状と該構成機器Ｂにおいて得ら
れる計測データに基づく該構成機器Ｂの状態（異常に係
わる状態）とを表現しかつこの計測データに基づく文字
が組み込まれたＶＲの３次元動画を、映像合成部４ｆに
出力する。そして、メイン制御部４ａは、映像合成部４
ｆで、当該異常とされた構成機器Ｂの形状と該構成機器
Ｂにおいて得られる計測データに基づく該構成機器Ｂの
状態とを表現しかつこの計測データに基づく文字が組み
込まれたＶＲの３次元動画を、ＣＲＴディスプレイ６に
映像として表示させる。このとき、映像合成部４ｆは、
メイン制御部４ａから入力された位置指定情報に基づい
てＣＲＴディスプレイ６上における３次元動画の位置を
設定する。

【００４５】ここで、ＣＲＴディスプレイ６に映像とし
て表示させる文字は、大きさおよび色が共に異なるもの
を、中心を一致させた状態で小さい文字の外側に大きい
文字が全体的にはみ出すように重ね合わせて表示させる
ようになっている。これにより、文字を３次元動画と重
ね合わせて表示させても、表示文字の背景となる３次元
動画の色によらず、内側の文字および外側の文字の少な
くともいずれか一方で文字を運転員に良好に認識させる
ことができる。

【００４６】図４に、例えば構成機器としてのタンクに
液量不足の異常が生じた場合の映像表示の具体例を示
す。この映像は、ＣＲＴディスプレイ６の画面の中央
に、タンクの形状を表現するＶＲの３次元動画と、該タ
ンクを透過画像にすることにより表れる内部の貯蔵液体
の３次元動画とが表示されており、貯蔵液体の量は、計
測データに基づいた量が３次元動画で表現されている。
すなわち、タンクに対する貯蔵液体の上面の位置が計測
データに応じた高さ位置に表示される。また、ＣＲＴデ
ィスプレイ６の左上に、該映像の基となる計測データに
基づく文字である液面レベルの割合が表示されている。

【００４７】インタフェースエージェント１からのコマ
ンドが言語変換システム１ａによって音声認識された運
転支援映像の変更指示であった場合、メイン制御部４ａ
は、ＣＲＴディスプレイ６上に変更指示に応じた運転支
援映像を表示させる。例えば、特定の構成機器Ｂを指定
しその状態を確認したい旨のコマンドが入力されると、
メイン制御部４ａは、当該指定された構成機器ＢのＩＴ
Ｖ映像を選択表示させる指示をＩＴＶ表示部４ｄに出力
して、当該指定された構成機器ＢのＩＴＶ映像をＣＲＴ
ディスプレイ６上に表示させる。

【００４８】この状態において、さらに、メイン制御部
４ａは、インターフェースエージェント１を介してプラ
ントＡの当該指定された構成機器Ｂの各部に設けられた
図示せぬセンサから計測データを導入させることにな
る。そして、メイン制御部４ａは、ＶＲ制御部４ｃを介
してＶＲ表示部４ｇを制御することにより、当該指定さ
れた構成機器Ｂの形状と該構成機器Ｂにおいて得られる
計測データに基づく該構成機器Ｂの状態とを表現しかつ
この計測データに基づく文字が組み込まれたＶＲの３次
元動画を、映像合成部４ｆに出力する。そして、メイン
制御部４ａは、映像合成部４ｆで、当該指定された構成
機器Ｂの形状と該構成機器Ｂにおいて得られる計測デー
タに基づく該構成機器Ｂの状態とを表現しかつこの計測
データの基づく文字が組み込まれたＶＲの３次元動画
を、上記と同様、ＣＲＴディスプレイ６に映像として表
示させる（図４参照）。

【００４９】一方、インタフェースエージェント１から
通信部４ｂにコマンドが入力されることなく、入力装置
５から直接操作部４ｉにＶＲ映像の変更指示に係わる操
作イベントが入力されると、この操作イベントは、直接
操作部４ｉからＶＲ制御部４ｃを介してメイン制御部４
ａに入力される。メイン制御部４ａは、この操作イベン
トを解析し、その解析結果つまり操作イベントの種類に
応じたＶＲ映像の表示をＶＲ制御部４ｃに指示する。

【００５０】ＶＲ制御部４ｃは、メイン制御部４ａの指
示に従ったＶＲ映像をＶＲ表示部４ｇに生成させると共
に、このＶＲ映像に対応する音響の出力指示を音響発生
部４ｊに出力する。この結果、ＶＲ表示部４ｇは、操作
イベントに応じた新たなＶＲ映像を映像合成部４ｆに出
力し、ＣＲＴディスプレイ６に表示される。また、音響
発生部４ｊは、ＣＲＴディスプレイ６に表示されたＶＲ
映像に対応する音響をスピーカ７に出力する。

【００５１】例えば、入力装置５を操作することによっ
て、運転員はウオークスルー映像上でプラントＡ内を自
由に移動することができる。入力装置５から所定方向へ
の前進を指示する操作イベントを入力すると、運転員は
ウオークスルー映像上で自らが立脚する位置を変更する
ことができる。そして、例えばある構成機器Ｂの前に到
着した場合、音響発生部４ｊは、当該構成機器Ｂの運転
音（音響）をスピーカ７に出力するし、運転員の仮想体
験をよりリアルなものとする。

【００５２】そして、入力装置５を操作することによっ
て、ウオークスルー映像上の特定の構成機器Ｂを指定す
る操作イベントが直接操作部４ｉを介して出力される
と、メイン制御部４ａは、インターフェースエージェン
ト１を介してプラントＡの当該指定された構成機器Ｂの
各部に設けられた図示せぬセンサから計測データを導入
させることになる。そして、メイン制御部４ａは、ＶＲ
制御部４ｃを介してＶＲ表示部４ｇを制御することによ
り、当該指定された構成機器Ｂの形状と該構成機器Ｂに
おいて得られる計測データに基づく該構成機器Ｂの状態
とを表現しかつこの計測データに基づく文字が組み込ま
れたＶＲの３次元動画を、映像合成部４ｆに出力する。
そして、メイン制御部４ａは、映像合成部４ｆで、当該
指定された構成機器Ｂの形状と該構成機器Ｂにおいて得
られる計測データに基づく該構成機器Ｂの状態とを表現
しかつこの計測データに基づく文字が組み込まれたＶＲ
の３次元動画を、上記と同様、ＣＲＴディスプレイ６に
映像として表示させる（図４参照）。

【００５３】また、上記において、ウオークスルー映像
上に表示された構成機器Ｂの操作に係わる操作イベント
が入力された場合、この操作イベントは、直接操作部４
ｉ及びＶＲ制御部４ｃを介してメイン制御部４ａに入力
される。メイン制御部４ａは、当該操作イベントを通信
部４ｂを介してインタフェースエージェント１に送信す
る。そして、この操作イベントは、インタフェースエー
ジェント１の通信部１ｆ、推論エンジン１ｂ及びデータ
収集部１ｅを介してプラントＡに入力され、当該操作イ
ベントに基づいてウオークスルー映像上に表示された構
成機器Ｂの運転が操作される。

【００５４】例えば、入力装置５からウオークスルー映
像上に表示された異常とされた構成機器Ｂの運転停止を
指示する操作イベントが入力されると、この操作イベン
トに基づいて当該異常とされた構成機器Ｂの運転が停止
される。または、特定構成機器Ｂの計測データを取得し
たい旨の操作イベントを入力装置５から入力すると、こ
の操作イベントに基づいて当該特定構成機器Ｂの計測デ
ータがインタフェースエージェント１を介してバーチャ
ルプラント表示システム４に取り込まれてＣＲＴディス
プレイ６に表示される。

【００５５】本実施形態によれば、事例ベース推論によ
るプラントＡの運転状態の推論結果及び運転員による音
声指示の音声認識結果に基づいて運転支援映像をＣＲＴ
ディスプレイ６に表示させるので、運転員は、音声メッ
セージに基づく聴覚的なプラントＡの運転状態の確認に
加えて、ＣＲＴディスプレイ６上に表示される運転支援
映像によって視覚的にプラントＡの運転状態を確認する
ことかできる。したがって、プラントＡの運転状態の確
認が容易であり、プラントの運転監視に係わる従来のヒ
ューマンインタフェースに比較して、運転員の負荷を大
幅に軽減することが可能である。

【００５６】また、運転支援映像がＶＲ映像、ＩＴＶ映
像あるいはメッセージの形態でＣＲＴディスプレイ６上
に表示されるので、運転員は、プラントＡの運転状態を
直感的かつ容易に把握することができる。また、音声認
識によって運転員の指示がインタフェースエージェント
１に入力されるので、運転員は、自らの意志を容易にイ
ンタフェースエージェント１に入力することができる。
したがって、これらによっても運転員の負荷を軽減する
ことが可能であると共に、従来程、運転員の熟練を必要
としないので、運転員の養成期間の短縮及び養成設備に
係わるコストの低減を図ることが可能である。

【００５７】加えて、構成機器Ｂにおいて得られる計測
データに基づく該構成機器Ｂの状態を示す３次元動画
を、ＣＲＴディスプレイ６に表示させるため、どの構成
機器Ｂが対象であるのかと、その構成機器Ｂの現状の状
態とを直感的に把握することができる。特に、異常とな
った構成機器Ｂが対象である場合、どの構成機器Ｂが異
常であるのかと、異常状態とを直感的に把握することが
できるため、異常に対し迅速に対応できる。また、３次
元動画に合わせて該３次元動画の基となる計測データに
基づく文字をＣＲＴディスプレイ６に同時に表示させる
ため、計測データに基づく文字とその対象となる構成機
器Ｂとの関係を容易に把握することができる。

【００５８】しかも、３次元動画として、構成機器Ｂの
状態を仮想的に３次元表示するＶＲ映像をＣＲＴディス
プレイ６に表示させるため、どの構成機器Ｂが対象であ
るのかと、その構成機器Ｂの現状の状態とを把握するこ
とがさらに容易にできることになる。なお、対象となる
構成機器Ｂの単独の３次元動画を表示させるのではな
く、対象となる構成機器Ｂおよびその周囲の構成機器Ｂ
の３次元動画を表示させたり、プラントＡの全体の構成
機器Ｂの３次元動画を表示させれば、対象となる構成機
器Ｂと他の構成機器Ｂとの関係も確認し易くなる。

【００５９】ここで、上記実施形態は、インタフェース
エージェント１に音声認識された運転員の音声指示に基
づいてプラントＡを直接操作するようには構成されてい
ない。これは、現行のプラントＡの運転と漸次、並列で
操作することを考慮したものである。

【００６０】すなわち、本願発明は、プラントＡの運転
に係わる次世代のヒューマンインタフェース技術を提供
するものであり、本願発明を実際のプラントＡに適用し
ようとする場合、運転員が無理なく本願発明を使いこな
すためには、一定期間に亘って従来のヒューマンインタ
フェースとの併存が必要になる。この併存期間において
運転員が音声指示入力にある程度慣れた上で、実際のプ
ラントの操作を音声指示することにより、正確性を必要
とするプラントの操作を音声指示によって確実に行うこ
とができる。

【００６１】

【発明の効果】以上説明したように、本発明に係わるプ
ラント運転監視支援装置によれば、以下のような効果を
奏する。

【００６２】（１）構成機器の形状と該構成機器におい
て得られる計測データに基づく該構成機器の状態とを表
現した３次元動画を、映像表示手段に表示させるため、
どの構成機器が対象であるのかと、その構成機器の現状
の状態とを直感的に把握することができる。特に、異常
となった構成機器が対象である場合、どの構成機器が異
常であるのかと、異常状態とを直感的に把握することが
できるため、異常に対し迅速に対応できる。 （２）３次元動画に合わせて該３次元動画の基となる計
測データに基づく文字を映像表示手段に表示させるた
め、計測データの基づく文字とその対象となる構成機器
との関係を容易に把握することができる。 （３）３次元動画として、視点位置を変更可能なＶＲ映
像を映像表示手段に表示させるため、どの構成機器が対
象であるのかと、その構成機器の現状の状態とを把握す
ることがさらに容易にできることになる。

【図面の簡単な説明】

【図１】 本発明の一実施形態の全体構成図である。

【図２】 本発明の一実施形態におけるインタフェース
エージェントの機能構成を示すブロック図である。

【図３】 本発明の一実施形態におけるバーチャルプラ
ント表示システムの機能構成を示すブロック図である。

【図４】 本発明の一実施形態における映像表示の一例
を示す図である。

【符号の説明】

Ａ……プラント Ｂ……構成機器 １……インタフェースエージェント １ａ……言語変換システム １ｂ……推論エンジン １ｃ……照合ルール １ｄ……事例メモリ １ｅ……データ収集部 １ｆ……通信部 ２……スピーカ ３……マイク ４……バーチャルプラント表示システム（映像制御手
段） ４ａ……メイン制御部 ４ｂ……通信部 ４ｃ……ＶＲ制御部 ４ｄ……ＩＴＶ表示部 ４ｅ……メッセージ表示部 ４ｆ……映像合成部 ４ｇ……ＶＲ表示部 ４ｈ……３次元仮想プラントデータベース ４ｉ……直接操作部 ４ｊ……音響発生部 ５……入力装置 ６……ＣＲＴディスプレイ（映像表示手段） ７……スピーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/00 ５１０ Ｇ０９Ｇ 5/00 ５１０Ｑ 5/36 ５１０Ｖ 5/36 ５１０ ５１０Ｍ Ｈ０４Ｎ 7/18 Ｄ Ｈ０４Ｎ 7/18 Ｇ０５Ｂ 15/02 Ａ (72)発明者 松浦 由次 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 Ｆターム(参考） 5C054 AA01 FD01 FE13 FE14 HA02 5C082 AA12 AA13 AA21 AA24 AA31 BA12 BA41 BA46 BB01 BB42 CA00 CA76 CB05 DA01 DA87 MM09 MM10 5C087 AA02 AA03 AA09 AA10 AA16 AA24 AA40 AA44 DD08 DD21 EE05 FF01 FF04 FF20 FF30 GG02 GG08 GG14 GG18 GG21 GG22 GG23 GG37 GG66 5H215 AA01 BB09 BB12 CC07 CX06 GG05 JJ05 JJ14 JJ15 JJ23 5H223 AA01 DD03 EE06 FF03 FF06

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の構成機器（Ｂ）で構成されるプラ
   ント（Ａ）の運転を監視する運転員を支援するプラント
   運転監視支援装置であって、 前記構成機器（Ｂ）の形状と該構成機器（Ｂ）において
   得られる計測データに基づく該構成機器（Ｂ）の状態と
   を表現した３次元動画を、映像表示手段（６）に表示さ
   せる映像制御手段（４）を具備することを特徴とするプ
   ラント運転監視支援装置。
2. 【請求項２】 前記映像制御手段（４）は、前記３次元
   動画に合わせて該３次元動画の基となる前記計測データ
   に基づく文字を前記映像表示手段（６）に表示させるこ
   とを特徴とする請求項１記載のプラント運転監視支援装
   置。
3. 【請求項３】 前記映像制御手段（４）は、前記３次元
   動画として、視点位置を変更可能なＶＲ（バーチャル・
   リアリティ）映像を前記映像表示手段（６）に表示させ
   ることを特徴とする請求項１または２記載のプラント運
   転監視支援装置。