JPH07200160A

JPH07200160A - 情報提供装置及び情報表示装置

Info

Publication number: JPH07200160A
Application number: JP33490793A
Authority: JP
Inventors: Setsuo Arita; 節男有田; Koji Oga; 幸治大賀; Hiroyuki Yuji; 弘幸湯地; Hiroshi Seki; 洋関; Yukio Nagaoka; 幸夫長岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-12-28
Filing date: 1993-12-28
Publication date: 1995-08-04
Anticipated expiration: 2017-04-22
Also published as: JP3277658B2

Abstract

(57)【要約】【目的】複数のポインタを用いた場合でも、ポインタに
より指示された表示対象物に関する情報を適切に表示で
きる。【構成】ポインタＰａ，Ｐｂは、大画面表示装置４の表
示画面を遠隔的に指示する、この表示画面をモニタカメ
ラ１で撮影する。画像処理装置２は、得られた映像信号
を基に、指示に用いられたポインタの特徴量を抽出し、
この特徴量からポインタによる指示点の位置及びポイン
タの識別を行う。電子計算機７は、該当するポインタに
よって指示された位置にある表示対象物に関する情報を
作成する。作成された情報は、ポインタによって予め定
められた表示装置（ＣＲＴ表示装置６Ａ〜６Ｇまたは大
画面表示装置４）に表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報提供装置及び情報
表示装置に係り、特に大画面表示装置及びしょうが面表
示装置を備えたシステムに適応するのに好適な情報提供
装置及び情報表示装置に関する。

【０００２】

【従来の技術】近年、発電プラントや化学プラント等の
運転制御，金融機関や証券会社での情報提供，会議など
のプレゼンテーションにおいては、大きな表示面をもつ
表示装置(ミミック表示装置なども含む)を用いた情報提
供が計画あるいは実施されている。大画面表示装置に表
示される情報を遠隔的に指示したり、指示された表示対
象に情報を与えるようにできることが望まれている。

【０００３】この要望に応えることのできる技術とし
て、例えば、特開平3−179517 号公報のポインティング
デバイス装置及び入力方法、特開平4−37922号公報のプ
レゼンテーション装置がある。

【０００４】特開平3−179517 号公報においては、１台
の赤外線投光器で遠隔的に大画面表示装置の表示面を指
示し、該表示面を監視するモニタカメラの出力信号をも
とに指示点を検出し、該指示点に指示されたことを示す
マーカを該大画面表示装置に表示することが示されてい
る。さらには、指示された表示対象物に対して、別途用
意された命令処理手段を用いて、入力される命令を処理
することも示されている。

【０００５】特開平4−37922号公報においては、スクリ
ーンや壁面に投影された画面の所用の部分を、発光器を
取り付けた指示棒で指示すると、該画面を監視している
テレビカメラの出力信号に基づいて、指示点を検出し、
画像情報を変更することが示されている。

【０００６】

【発明が解決しようとする課題】上記従来例は、いずれ
もポインタ(赤外投光器，指示棒)が１本であり、複数の
ポインタを具備して使用しようとすると、どのポインタ
によって表示面のどの部分が指示されているかを識別す
ることが出来ない。このため、複数のポインタを用い
て、これらを区別して指示点あるいは指示対象に対して
命令を実行させることができない。

【０００７】本発明の目的は、複数のポインタを用いた
場合でも対応する情報を得ることができる情報提供装置
を提供することにある。

【０００８】本発明の他の目的は、情報を得るための使
い勝手が向上できる情報表示装置を提供することにあ
る。

【０００９】

【課題を解決するための手段】上記目的は、表示装置
と、異なる指示信号を出力し、前記表示装置の表示面を
前記指示信号により指示する複数のポインタと、このポ
インタを識別する識別手段と、前記ポインタによって指
示された、前記表示面に表示されている表示対象物を、
特定する対象物特定手段と、前記ポインタの識別情報及
び前記表示対象物に基づいて得られる情報を出力する手
段とを備えることにより達成される。

【００１０】本発明の他の目的は、表示装置と、異なる
指示信号を出力し、前記表示装置の表示面を前記指示信
号により指示する複数のポインタと、前記表示面を撮影
して映像信号を出力する撮影手段と、前記映像信号に基
づいて、前記表示面を指示している前記ポインタを識別
する識別手段と、前記ポインタによって指示された、前
記表示面に表示されている表示対象物を、特定する対象
物特定手段と、前記特定された表示対象物の情報に基づ
いて、表示情報を決定する表示情報決定手段と、決定さ
れた前記表示情報を作成し、この表示情報を前記識別さ
れたポインタに対応する表示装置に出力することにより
作成される。

【００１１】

【作用】表示装置の表示面を指示するポインタを識別し
て、指示位置を検出することができるため、複数のポイ
ンタによって、それぞれを区別して、表示面を遠隔的に
指示することが可能となる。さらに、指示点あるいは指
示対象と、指示したポインタとを対応づけることが可能
であるため、これらをもとにして、新たな表示情報，操
作情報，音声情報などを発生することが可能となる。特
に、ポインタごとにこれらの発生情報の範囲や対象をあ
らかじめ指定しておくことにより、発生情報を使用目的
や使用対象ごとに切り分けることが可能となる。つま
り、ポインタごとに発生情報を切り分けることが可能と
なる。

【００１２】本発明の他の特徴によれば、ポインタに対
応して情報を表示すべき表示装置を特定しているので、
ポインの識別情報に基づいてポインタに対応した表示装
置に表示することができ、情報を得るための使い勝手が
向上する。

【００１３】

【実施例】本発明の好適な一実施例である操作・監視装
置を図１及び図２に基づいて説明する。

【００１４】本実施例は、モニタカメラ１，画像処理装
置２，電子計算機７，大画面表示装置４，ＣＲＴ表示装
置６Ａ〜６Ｇ、及びポインタＰａ及びＰｂを備える。Ｃ
ＲＴ表示装置６Ａ〜６Ｇは、操作監視盤３に設けられ
る。操作監視盤３は、運転員Ａ（一般に複数）がプラン
ト（図示せず）の運転監視のために必要な操作と監視の
機能を備えている。ＣＲＴ表示装置６Ａ〜６Ｇには運転
員Ａの各々にとって必要な運転情報が表示される。大画
面表示装置４は、操作監視盤３の後方に配置され、ＣＲ
Ｔ表示装置６Ａ〜６Ｇの表示画面よりも大きな表示面を
有する。

【００１５】電子計算機７は、図２に示す座標認識部６
０，対象物特定部６１，表示情報決定部６２、及び表示
情報作成部６３の各処理を実行する。

【００１６】このような構成により、運転員Ａは、操作
監視盤３に設けられたＣＲＴ表示装置６Ａ〜６Ｇの表示
情報を把握することができると共に、大画面表示装置４
に表示されるプラント全体に係わる情報も把握すること
ができる。更に、プラント全体を管理する立場の人（以
下、管理者と称する、図示していない）Ｂも大画面表示
装置４に表示される情報を把握することができる。この
ため、情報把握が向上つまりプラントの監視性が高くな
る。

【００１７】運転員ＡはポインタＰａを用い、管理者Ｂ
はポインタＰｂを用いる。ポインタＰｂからの遠隔操作
により、大画面表示装置４に表示されている情報の変
更、及び大画面表示装置４に表示されている情報の一部
に関するより詳細な情報の、大画面表示装置４の一部へ
の表示が行われる。また、ポインタＰａからの遠隔操作
により、大画面表示装置４に表示されている情報の詳細
情報を、ＣＲＴ表示装置６Ａ〜６Ｇのいずれか及び携帯
型表示装置ＨＤへの表示が可能になる。これは、各々の
ポインタと各種の表示装置４，６Ａ〜６Ｇ，ＨＤを対応
づけさせておくことにより可能となる。

【００１８】大画面表示装置４のどの部分がポインタＰ
ａ，Ｐｂによって指示されたかを監視するために、モニ
タカメラ１及び画像処理装置２が設けられる。更に、ど
のポインタによって大画面表示装置４を指示しているか
を識別するために、ポインタＰａ，Ｐｂからそれぞれ出
力される指示信号、すなわち出射光は、それぞれ異なっ
た形状になっている。図１では、ポインタＰａは指示信
号としてドット形状の光を出射しており、ポインタＰｂ
は指示信号として十字形の光を出射している例を示して
いる。大画面表示装置４の表示画面には、ポインタＰ
ａ，Ｐｂによる指示位置に出射した光の形状に対応する
マーカ５ａ，５ｂが後述するように表示される。このた
め、運転員Ａ及び管理者Ｂは、大画面表示装置４の表示
画面を見ることによって該当するポインタでの指示位置
を確認できる。ポインタＰａ，Ｐｂから出射される光
は、赤外線レーザである。

【００１９】まず、管理者Ｂが、ポインタＰｂから指示
信号である十字形の赤外線レーザ光を出射して大画面表
示装置４の表示画面上を指示した場合における本実施例
の操作・監視装置の作用について以下に説明する。

【００２０】本実施例の操作・監視装置は、ポインタか
ら出力された赤外線レーザ光の消灯を指示信号の入力と
みなしている。モニタカメラ(赤外線カメラ)１は、大画
面表示装置４の表示画面を撮影する。モニタカメラ１か
ら出力された赤外光の映像信号は、大画面表示装置４に
おける、ポインタＰｂから出力された指示信号である十
字形の赤外線レーザ光の映像を、含み、画像処理装置２
に入力される。ここで、赤外線のレーザを使用する理由
は、（１）画像処理装置２及び電子計算機７により認識
される、ポインタによる指示点の座標が、認識誤差のた
めに実際の指示点座標と異なることに対応するためであ
る。つまり、操作・監視装置の認識している点をカーソ
ルにより示すことにより、指示信号の入力精度を向上さ
せる。また、（２）赤外線光を出力するポインタＰａ，
Ｐｂと赤外線カメラであるモニタカメラ１を使用すれ
ば、画像処理装置２に取り込まれる映像に可視光が含ま
れず、画像処理装置２での処理が簡単かつ高速に実施で
きる。

【００２１】画像処理装置２は、図３の処理を実行す
る。赤外光の映像信号が入力される（処理２ａ）。この
映像信号に対して２値化処理が実行される(処理２ｂ)。
２値化することにより映像信号に含まれたノイズが除去
される。次に、２値画像を用いてその映像信号の特徴量
を抽出する(処理２ｃ)。この処理では、２値画像のｘ
軸，ｙ軸への投影分布を取り、２値画像の濃度が基準値
Ｌを超える点の座標を求める。ポインタＰｂについては
図４(ｄ)に示す投影分布が得られ、基準点Ｌを超える点
の座標はｘ₁，ｘ₂，ｙ₁及びｙ₂となる。これらの座標
ｘ₁，ｘ₂，ｙ₁及びｙ₂が、２値画像の特徴を示してい
る。処理２ｄでは、大画面表示装置４の画面上での、ポ
インタの指示位置を求める。すなわち、座標ｘ₁，ｘ₂，
ｙ₁及びｙ₂を用いて、２値画像の中心位置の座標(Ｘ，
Ｙ)を求める（Ｘ＝(ｘ₁＋ｘ₂)／２，Ｙ＝(ｙ₁＋ｙ₂）／
２)。この中心位置の座標(Ｘ，Ｙ)がポインタの指示位
置となる。次は、ポインタの種別を判定する(処理２
ｅ)。ポインタの種別の判定は、座標ｘ₁，ｘ₂，ｙ₁及び
ｙ₂を用いて求めた面積△Ｓ（＝(ｘ₂−ｘ₁)(ｙ₂−
ｙ₁)）の大きさによって判定する。図４(ｄ)に対する△
Ｓ₄に対しては十字形の指示信号を出力するポインタＰ
ｂであると判定する。ポインタの指示位置及びポインタ
の種別に関する情報を電子計算機７に出力する(処理２
ｆ)。

【００２２】電子計算機７の前述のポインタの指示位置
及びポインタの種別の情報を入力する。座標認識部６０
は、入力した座標（Ｘ，Ｙ）に対してメモリ６５内に予
め記憶さている座標対応表を用いて補正することによ
り、大画面表示装置４の表示画面上における実際の指示
位置の座標（Ｘ_i，Ｙ_i）を求めて出力する。座標対応表
の使用により、カメラ映像の歪及びカメラ位置の影響に
よって生じる指示位置の誤差を補正することができる。
座標（Ｘ_i，Ｙ_i）及びポインタの種別情報が表示情報作
成部６３に出力されることにより、大画面表示装置４の
画面上の座標(Ｘ_i，Ｙ_i）にポインタの種別情報に対応
したポインタのマーカ(ポインタＰｂに対しては十字形
のマーカ５ｂ）が表示される。ポインタＰａ，Ｐｂから
出力される指示信号は赤外線であるため、このままでは
管理者及び運転員は自分が指示している点がどこである
か確認できない。しかし、本実施例は、上記のように、
ポインタの種別に対応したマーカが表示されるので、自
分が指示している位置を容易に確認できる。対象物特定
部６１は、ポインタＰｂ（またはＰａ）により指示され
ている位置（大画面表示装置４の画面上）に表示されて
いる対象物を特定する。すなわち、対象物特定部６１
は、現在、大画面表示装置４に表示されている表示情報
のデータをメモリ６５から検索して入力し、指示点の座
標（Ｘ_i，Ｙ_i）例えば特開平3−179517 号公報３頁下部
右欄１８行から４頁上部左欄３行及び図３に示されてい
る処理と同様にして、指示点の座標（Ｘ_i，Ｙ_i）の位置
に表示されている対象物を特定する。表示情報決定部６
２は、その特定された対象物の情報とヘッドセットマイ
クＭｂから入力された管理者Ｂの音声情報（運転員Ａの
場合はヘッドセットマイクＭａから入力）とを併せて、
この併せた情報に基づいて表示すべき情報を決定する。
この表示すべき情報に関する指令信号が、表示情報作成
部６３に出力される。表示情報決定部６２は、例えば、
特開平3−179517 号公報４頁上部左欄１５行から６頁下
部左欄３行(図１，図５〜図７)、及び８頁上部左欄５行
から同頁下部左欄１９行(図１１，図１３及び図１４)に
記載された処理により、上記特定された対象物の情報と
管理者Ｂ(または運転員Ａ)の音声情報とを用いて、表示
すべき情報を決定する。

【００２３】表示情報作成部６３は、表示情報決定部６
２で決定された表示すべき表示情報に対応する表示情報
をメモリ６５内の情報を用いて作成する。この表示情報
の作成にあたっては、ポインタの種別情報も考慮され
る。ポインタの種別情報は、座標認識部６０，対象物特
定部６１及び表示情報決定部６２を介して表示情報作成
部６３に入力される。表示情報作成部６３は、例えば、
ポインタＰｂによって指示された対象物に関する表示情
報を、ポインタの種別情報に対応してメモリ６５に記憶
されているデータに基づいて作成する。作成された情報
は、ポインタの種別に対応して定められている表示装置
に出力され、そこに表示される。ポインタＰｂによって
指示された対象物に関する表示情報は、大画面表示装置
４に表示される。

【００２４】運転員Ａが、ポインタＰａから出力した指
示信号（１つのドット）により大画面表示装置４に表示
されている対象物を指示した場合も、ポインタＰｂで指
示した場合と同様に、画像処理装置２及び電子計算機７
で処理が実行される。画像処理装置２の２ｄ及び２ｅで
は、処理２ｃで求めた図４(ａ)の座標ｘ₁，ｘ₂，ｙ₁及
びｙ₂を用いて、中心位置の座標(Ｘ，Ｙ)を求め、面積
△Ｓ₁よりポインタの種別(ポインタＰａ)を判定する。
座標認識部６０は、ポインタＰａから出力した指示信号
に対する座標(Ｘ，Ｙ)の位置を補正し、座標（Ｘ_i，
Ｙ_i）を得る。表示情報作成部６３は、この座標値を用
いて１ドットのマーカ５ａを大画面表示装置４に表示す
る。対象物特定部６１及び表示情報決定部６２はポイン
タＰｂの場合と同じ処理を行う。表示情報作成部６３
は、ポインタＰａによって指示された対象物に関する表
示情報を、ポインタの種別情報に対応してメモリ６５に
記憶されているデータに基づいて作成する。作成された
情報は、ポインタＰａに対応する例えばＣＲＴ表示装置
６Ａに表示される。

【００２５】このように本実施例によれば、大画面表示
装置４の表示画面を指示する複数のポインタを識別する
ことができるので、複数の人によって大画面表示装置４
の表示画面を指示した場合にそれぞれの該当する表示情
報を作成して表示装置に表示できる。また、複数の人
が、同時にそれぞれのポインタにより大画面表示装置４
の表示画面を指示した場合でもそれぞれが要求する情報
を適切に作成しかつ表示することができる。

【００２６】ポインタに対応して情報を表示すべき表示
装置を特定しているので、管理者ＢがポインタＰｂで指
示した対象物に関する情報(全員が見るべき情報)は大画
面表示装置４に、運転員ＡがポインタＰａで指示した対
象物に関する情報（運転員Ａ個人が見るべき情報）はＣ
ＲＴ表示装置６Ａに表示できる。このように、ポインタ
の種別によって、情報を表示する表示装置を特定してい
るので、運転員Ａ及び管理者Ｂの情報の使い勝手が良く
なる。運転員Ａは、ＣＲＴ表示装置６Ａのタッチ相差に
よっても情報にアクセスできる。特に、運転員Ａが大画
面表示装置４をポインタＰａで指示することによって大
画面表示装置４に表示された情報に関連する情報を運転
員Ａの監視対象であるＣＲＴ表示装置６Ａに表示でき
る。これは、ポインタを識別することによって可能にな
る。

【００２７】更に、ヘッドマウントディスプレＨＤ
（「ニュートン」，Ｖｏｌ.１１，Ｎｏ.１２，Ｐ１０４
〜１０７，１９９１年，ＫＹＯＩＫＵＳＨＡ）のような
携帯型の表示装置を用いることにより、運転員Ａは、移
動しながら、大画面表示装置４をポインタＰａによって
指示し、運転員Ａに必要な個人情報をヘッドマウントデ
ィスプレＨＤに表示することができる。

【００２８】運転員Ａ及び管理者Ｂは、ポインタを用い
て遠隔にて表示画面を指示するので、運転員Ａ及び管理
者Ｂの位置に関係なく大画面表示装置４の表示画面を指
示することができる。また、運転員Ａ及び管理者Ｂの位
置に関係なく、指示位置の検出及びポインタの種別の判
定が正確に行われる。

【００２９】本実施例によれば、異なる指示信号を出力
する複数のポインタを識別し、識別されたポインタによ
って指示された指示対象物に関する情報を適切に作成し
表示することができる。このため、複数の利用者は、異
なる指示信号を出力する別々のポインタを使用すること
によって、自分が必要とする情報を適切に得ることがで
きる。また、複数の利用者が同時にポインタにより指示
した場合でも、それぞれが要求する情報が適切に表示さ
れる。

【００３０】本実施例は、複数の人が操作場所を限定さ
れることなく指示対象を指示することができ、各々の人
に対する情報や共通の情報をそれぞれ異なった表示装置
あるいは共通の表示装置に出力することが可能であり、
複数の運転員によって運転するプラントの中央制御室で
の情報提供，金融機関や証券会社での情報提供，会議な
どのプレゼンテーション等に適用して効果的であり、か
つ作業効率や作業の信頼性も一層高めることが可能とな
り、その工業的価値は極めて高い。

【００３１】更に、ポインタによって指示された表示対
象物の情報と音声情報を合わせて表示すべき情報を決定
しているので、ポインタ及び音声入力手段による入力上
方が制限されず、それらを自由に組み合わせて使用する
ことができる。このため、ポインタ及び音声入力手段を
用いた情報の入力に対する運転員等の負担を低減でき
る。

【００３２】２ドットタイプ及び３ドットタイプのポイ
ンタ（赤外線レーザ光を出射）を用いて指示した場合で
も、モニタカメラ１から出力された赤外光の映像信号を
用いて図４(ｂ)及び(ｃ)に示すような特徴を処理２ｃで
得ることができる。複数のピークが投影分布に現われる
場合には、ｘ軸及びｙ軸における最大値及び最小値を用
いて中心座標及び外接四角形の面積ΔＳを計算する。例
えば、２ドットタイプのポインタにおいては、ｘ軸の投
影分布については、ｘ₁とｘ₂を求め、ｙ軸の投影分布に
ついては、ｙ₁とｙ₂を求めて、中心座標及び外接四角形
の面積を求める。なお、中心座標を求めない場合におい
ては、ｘ軸，ｙ軸の投影分布の最小値、例えば図４
（ｂ）の（ｘ₁，ｙ₁）座標を求めても良い。

【００３３】位置の指示に用いたポインタの区別は、２
値画像内での輝度の高い点の個数、または輝度の高い領
域の外接四角形の面積などのデータを用いて実施する。
また、ポインタによる指示信号の幾何学的形状を利用
し、この形状をあらかじめ画像処理装置２内のメモリ
（図示せず）に記憶しておき、テンプレートマッチング
法により同一形状のものを検出する方法でもよい。輝度
の高い点の個数を求めてポインタを区別する場合は、図
４（ａ）〜（ｃ）に示すドットタイプのポインタを用い
る場合であり、ｘ軸またはｙ軸の２値化後の投影分布に
おいて、ピークの数の最大値で判断する。例えば、図４
（ｃ）の３ドットタイプのポインタではｘ軸のピーク数
が最大であり、３個であるため、３ドットタイプと判定
する。ところで、図５に示す４ドット及び５ドットタイ
プのポインタでは、ポインタの使用角度によっては、ｘ
軸，ｙ軸の投影分布のピーク数の最大値が発光源の数と
一致しない場合がある。そのポインタに対しては、基準
値Ｌ₁よりもレベルの高い別の基準値Ｌ₂により２値画
像の特徴を抽出する。すなわち、Ｌ₁以上のピークの数
とＬ₂以上のピークの数を合計して、ｘ軸，ｙ軸のうち
大きい方を求めて、その数によりポインタを識別するこ
とが可能である。例えば、図４（ｃ）のｙ軸において
は、ピークの数は２であるが、Ｌ₁以上のピークは２個
であり、Ｌ₂以上のピークは１個であるため、合計で３
となる。ｘ軸は、Ｌ₁以上のピークが３個であり、Ｌ₂
以上がゼロであるため、合計で３となる。従って、３ド
ットタイプのポインタにより指示されていると判定でき
る。

【００３４】ここで、ポインタの構造例について説明す
る。図６及び図７は、ドット数が３個のポインタＰを示
す。Ｋｊは直流電源であり、Ｋｅは電流制限用の保護抵
抗である。ポインタＰは、スイッチＫ₅をＯＮにするこ
とにより、駆動回路Ｋｄ₁，Ｋｄ₂，Ｋｄ₃及び発光ダイ
オードＫ₄に電圧が加わえられる。このため、半導体レ
ーザＫｂ₁，Ｋｂ₂，Ｋｂ₃からそれぞれ赤外線レーザ光
が出力される。これらの赤外線レーザ光は、コリメート
レンズＫａ₁，Ｋａ₂，Ｋａ₃によって平行光Ｋｃ₁，Ｋ
ｃ₂，Ｋｃ₃になる。広がりのない各赤外線レーザ光が、
出射面Ｋ₆の発光源Ｋ₁，Ｋ₂，Ｋ₃よりの出射光として
出力されることになる。この結果、ポインタＰから出力
された赤外線レーザ光（指示信号）は、図８に示すよう
に、大画面表紙装置４の表示画面を指示する。座標認識
部６０及び表示情報作成部６３の機能により３つの点５
Ａ，５Ｂ及び５Ｃを有するマーカが大画面表示装置４の
表示画面に表示される。スイッチＫ₅をＯＦＦにする
と、ポインタＰからの赤外線レーザ光の出射は停止され
る。発光ダイオードＫ₄は発光源Ｋ₁，Ｋ₂，Ｋ₃から光が
出力されていることを示すものであり、発光源から目視
できないが遠外光（例えば赤外線光）が出力されている
場合に特に有効である。

【００３５】図１の実施例で用いたポインタＰｂの構成
を、図９及び図１０に示す。ポインタＰｂは、２個の発
光源Ｋｈ，Ｋｉを有する。発光源Ｋｈは、半導体レーザ
Kj₁,焦点レンズＫｍ₁，コリメートレンズＫｎ₁及びスリ
ットＫｒ₁を備える。発光源Ｋｉも、同様に、半導体レ
ーザＫｊ₂，焦点レンズＫｍ₂，コリメートレンズKn₂及
びスリットＫｒ₂を備える。マーカ５ｂの水平軸におけ
る赤外線レーザ光をＸ軸出力光と称し、その垂直軸にお
ける赤外線レーザ光をＹ軸出力光と称する。スリットＫ
ｒ₁から出射される赤外線レーザ光がＸ軸出力光Ｋｓ₁で
あり、スリットＫｒ₂から出射される赤外線レーザ光が
Ｙ軸出力光Ｋｓ₂である。Ｘ軸出力光Ks₁及びＹ軸出力光
Ｋｓ₂は、それぞれ棒状の出射光であり、大画面表示装
置４の表示面上で十字形となるように焦点が合わせられ
ている。このために、半導体レーザとコリメートレンズ
との間に焦点レンズＫｍ₁，Ｋｍ₂を設けている。ポイン
タＰｂと大画面表示装置４との間の距離が変わっても、
Ｘ軸出力光Ｋｓ₁及びＹ軸出力光Ｋｓ₂が互いに中心点
で交差するのではなく、位置のずれた点で交差する。こ
のようにして、十字形状の指示信号が得られる。スリッ
トＫｒ₁及びＫｒ₂は、Ｘ軸出力光Ｋｓ₁及びＹ軸出力光
Ｋｓ₂がより一層棒状になるように、軸方向に対して垂
直の部分の幅が一定値となる様に、広がり光をしゃ断す
るために設けている。

【００３６】このように棒状の複数の赤外線レーザ光を
組合わせることにより、平行棒，単一棒及びＴ型等の指
示信号を出力するポインタを得ることができる。

【００３７】本発明の他の実施例である操作・監視装置
を図１１に基づいて説明する。前述した実施例と同じ構
成は同じ符号を付す。本実施例は、ポインタＰａ，Ｐ
ｂ，モニタカメラ１，画像処理装置２，座標変換手段１
０，対象物特定手段１１，音声入力装置１６Ａ₁〜１６
Ａ_N（図１のヘッドセットマイクＭａ，Ｍｂは一例）、
指令入力解析装置１５，操作・指示装置９，情報発生手
段２５，第１表示装置２６，第２表示装置である大画面
表示装置４を備える。情報発生手段２５は、指令出力手
段１２，制御装置１３Ａ₁〜１３Ａ_j，表示制御装置２
０，メモリ２１、及び音声出力装置２４，２４Ａを備え
る。第１表示装置２６は、ＣＲＴ表示装置６Ａ〜６Ｇ及
びヘッドマウントディスプレーＨＤ₁〜ＨＤ_kを備える。

【００３８】ポインタＰａは運転員Ａの操作により、ま
たポインタＰｂは管理者Ｂの操作により図１の実施例と
同様な指示信号を大画面表示装置４の表示画面に対して
出力する。画像処理装置２は、モニタカメラ１で撮影さ
れた大画面表示装置４の表示画面の映像信号を取り込
み、図３に示す処理２ａ〜２ｆを実行する。

【００３９】処理２ｂによる２値化により映像信号に含
まれているノイズが除去される。処理２ｄにおいて、ポ
インタの指示位置として２値画像の中心座標を求めてい
るのは、ポインタで指示する場所が異なることにより大
画面表示装置４に結像する指示信号の形状が変形して
も、指示した位置と大画面表示装置４の表示画面上で検
出した指示信号の位置がずれないようにするためであ
る。しかし、その表示画面上における指示位置がずれた
場合には、運転員（または管理者）が再びポインタで指
示することで解決する方式とすれば、必ずしも２値画像
の中心座標を求めなくてもよく、指示信号の特定位置の
座標を求めればよい。画像処理装置２は、ポインタの種
別、及びポインタによる指示点の座標（Ｘ，Ｙ）を座標
変換手段１０に出力する。

【００４０】座標変換手段１０は、図２の座標認識部６
０と同じ処理を実行し、入力した座標（Ｘ，Ｙ）を補正
し、大画面表示装置４の表示画面上における実際の指示
位置の座標（Ｘ_i，Ｙ_i）を求めて出力する。この補正は
座標対応表を用いて行われるが、例えば大画面表示装置
４の四隅に赤外線発光源を埋め込み、これを発光させて
おくことにより、上記座標対応を図れるようにする。赤
外線であるため、ユーザには見えず効果的である。この
ほか、大画面表示装置４自体が、特定パターン（例えば
画面の四隅のみを白くし、他を黒くする）の情報を出力
し、この情報の出力のときのみ一時的にモニタカメラ１
の感度を高くして、この特定パターンを認識できる様に
して、座標変換の情報を作成することも可能である。

【００４１】対象物特定手段１１は座標変換手段１０で
求めた大画面表示装置４内の座標（Ｘ_i，Ｙ_i）を基に、
運転員等が指示した表示画面上の表示対象物を特定す
る。この特定は、図１２に示す処理により行われる。ポ
インタから出力された赤外線レーザ光の消灯前における
大画面表示装置４内での指示位置の座標（Ｘ_i，Ｙ_i）を
読み込む(処理５０)。この座標を用いて、指示されてい
る対象ウィンドウを判定する(処理５１)。次いで、対象
ウィンドウ内の相対座標（Ｘｗ，Ｙｗ）を計算する(処
理５２)。対象ウィンドウ内に表示中の図についての指
示領域・文字列の対応データを用いて、相対座標（Ｘ
ｗ，Ｙｗ）にある、すなわち指示されている表示対象物
を決定する(処理５３)。指示領域・文字列対応データ
は、メモリ２１に記憶されている表示画面データ内に各
図面ごとに用意されているものである。その内容は、指
示領域の範囲及び出力文字列に関するデ−タである。ポ
インタにて指示されている表示対象物を決定すると、こ
の表示対象物に対応する文字列を出力する。特定された
表示対象物に対応する文字列の情報は、表示制御装置２
０に入力され、メモリ２１に記憶される。なお、メモリ
２１と対象物特定手段１１との間の情報の伝送は、表示
制御装置２０によって行われる。

【００４２】ポインタＰａ，Ｐｂの出射光は赤外線であ
るため、運転員は自分が指差している点がどこであるか
確認できない。そこで、表示制御装置２０は、対象物特
定手段１１で求めた相対座標（Ｘ_W，Ｘ_W）と、画像処理
装置２の処理２ｅで得られたポインタの種別情報とを取
り込み、予めポインタの種別に対応づけたマーカの情報
を用い、指示信号を出力しているポインタに対応したマ
ーカを大画面表示装置４に座標（Ｘ_W，Ｘ_W）の位置で表
示させる。この結果、ポインタで指示している点に、該
ポインタに対応したマーカを表示することが可能とな
る。ここで、表示制御装置２０は、対象物特定手段１１
から、相対座標（Ｘ_W，Ｘ_W）を取り込むのではなく、対
象物を特定した文字列を取り込んでも良い。この場合
は、該文字列で示される対象物がどの座標であるかを判
定することにより、上述と同様に大画面表示装置４の該
座標にマーカを表示することが可能となる。この場合に
は、表示対象物が特定化できているので、大画面表示装
置４に表示している表示対象物をブリンクさせたり、該
対象物の表示色を変更させたりして指示点を表示するこ
とが可能である。この場合、指示信号に対応づけたブリ
ンク周期，表示色とさせることもできる。

【００４３】運転員Ａの入力は、音声による情報あるい
はポインタＰａを用いた指示により実施される。音声情
報は、音声入力装置１６Ａ₁〜１６Ａ_Nを介して指令入力
解析装置１５に入力され、認識された後、音声認識情報
１７として表示制御装置２０に入力される。対象物特定
手段１１で特定された表示対象物に対応する文字列情報
も表示制御装置２０に入力される。表示制御装置２０
は、これらの入力情報を、いずれも自然語の単語として
扱ってメモリ２１に記憶するとともに、大画面表示装置
４上に表示する。例えば、図１１に示す大画面表示装置
４の下の枠内に表示する。運転員等は、その枠内に表示
された情報を見ることによって本実施例の操作・監視装
置が認識した入力情報をモニタできる。

【００４４】運転員等からの音声情報の入力が終了する
と、表示制御装置２０は、メモリ２１に記憶している音
声情報及び表示対象物の文字列情報の単語を統合し、一
つの文章とし、次にこの文章の解析、つまり入力文解析
を行う。表示制御装置２０は内部に入力文解析部（図示
せず）を有する。

【００４５】この入力文解析部で行われる入力文解析
は、特開平3−179517 号公報に記載された処理(図１の
実施例で説明)により実施する。図１３にその処理の概
要を、「原子炉水位トレンド図示せ」という入力文につ
いて示す。この入力文のうち、「原子炉」はポインタに
より指示された位置にある表示対象物の上記文字列情報
であり、「水位トレンド図示せ」は音声入力情報であ
る。まず、入力文を文法及び辞書を参照して、分かち書
きして意味と意味カテゴリを付加する(処理３８)。ここ
で、意味カテゴリとは、対象とする世界で使用される単
語の意味をカテゴリ分けしたものである。図１３の例で
は、系統，状態量などがそれにあたる。次に、この結果
を用いて入力文の意味を解析する(処理３９)。

【００４６】意味解析は、図１３に示すように及び
の二つのステップで実施する。まず、要求内容の種類を
同定する()。同定のために、要求の種類ごとに標準的
な文型を用意している。これらは、意味あるいは意味カ
テゴリを用いて、ルールの形で記述されている。この文
型と入力文の意味あるいは意味カテゴリをマッチングす
ることにより、要求の種類を同定する。図の例では、
“〈trend graph 〉□提示せよ”がマッチングして、要
求の種類がトレンド提示要求“trend ”であると同定さ
れている。ここで、記号“〈〉”は意味カテゴリをマ
ッチングに使用すること、“□”は任意の数の単語が含
まれても良いことを示すものである。

【００４７】次に、要求の実行に必要な情報を取得する
()。必要な情報及びその取得方法はフレーム型の知識
として用意されている。この知識を用いて情報を取得す
る。図１３の例では、必要な情報である、系統機器名と
状態量名がいずれも入力文から得られている。必要な情
報が入力文に含まれていない場合には、プラント関連知
識，対話履歴の利用、あるいは、運転員への問い合わせ
により、情報を取得する。意味の解析が終了すると、処
理命令として出力する(処理４０)。処理命令として、表
示すべき情報の内容を出力する。このような入力文解析
部は、図１の実施例における表示情報決定部に該当す
る。

【００４８】表示制御装置２０は、内部に表示情報作成
部（図示せず）を有する。表示情報作成部は、入力文解
析部で得られた表示すべき情報のデ−タに基づいて表示
情報を作成し、画像処理装置２で特定されたポインタの
種別に対応する表示装置にその表示情報を出力する。作
成された表示情報は、メモリ２１から読み出された、ポ
インタの種別に応じた情報（表示情報を作成するために
必要な情報）を用いて作成される。表示情報作成部にお
ける処理の一例を、系統図の表示情報作成を例に取って
図１４に示す。系統図の表示情報作成命令の場合、系統
機器名が必要情報として入力文解析部の処理で得られて
いる。この系統機器名を基に対応する表示図を決定す
る。まず、与えられた系統機器名を基に、メモリ２１内
の一部の記憶領域に構成された系統図構成要素データベ
ースを検索する(処理４１)。このデータベースは図面の
名称と、その図に含まれる機器などの構成要素の名称を
与えるものである。図面名称と系統機器名を比較し(処
理４２)、一致するものがあれば、その系統図の表示命
令を出力する(処理４７)。これは、運転員が図面名称を
記憶しており、それをそのまま入力した場合に対応する
処理である。検索の結果、処理４２で対応する図面がな
いと判定された場合には、入力された系統機器名をもと
に、上記デ−タベ−ス内に記憶されている図面構成要素
名称を検索する（処理４３）。この検索の結果、対応す
る要素名称がないと判定された場合は（処理４４）、関
連図面のない旨を出力し（処理４８）、運転員に再入力
を要求する。一方、要素名称が発見され、かつその要素
を含む図面名称が一つの場合には(処理４５)、その系統
図の表示命令を出力する(処理４９)。一方、図面名称が
二つ以上有る場合には、図面の選択処理を実施する。

【００４９】この処理の結果選択された情報の提示命令
は、音声出力装置２４にも入力され、音声情報２３とし
て出力されるが、大画面表示装置４，ＣＲＴ表示装置６
Ａ〜６Ｇ，ヘッドマウントディスプレＨＤ₁〜ＨＤ_Kの画
面の表示を制御するのに使用される。図１５に一例とし
てメモリ２１に記憶されている画面表示切換命令の種類
を示した。これらの処理命令に従って、画面の表示を切
り換える。どの表示装置上の表示を切り換えるかは、画
像処理装置２によって得られたポインタの種別情報を基
に決定する。つまり、ポインタの種別（ポインタＰａ，
Ｐｂ等）に対応して表示装置を割り付けておき、大画面
表示装置４の表示画面の指示に用いたポインタの種別に
応じて表示装置を決定する。これにより、ポインタに対
応して定められている表示装置に、表示制御装置２０の
表示情報作成部にて作成された表示情報２６を表示する
ことができる。

【００５０】図１５の処理項目において、系統図表示と
は系統図を表示することであり、トレンド図表示とはト
レンド図を表示することであり、ウィンドウ消去とは表
示したウィンドウを消去することである。ウィンドウ移
動とは、表示しているウィンドウを移動することであ
り、ウィンドウポップとは表示しているウィンドウを表
示面の前面に表示することであり、ウィンドウプッシュ
とは表示してるウィンドウを表示面の背面に表示するこ
とである。

【００５１】図１６は、ＣＲＴ表示装置６Ａ〜６Ｇと大
画面表示装置４を使用した場合における本実施例の表示
に関する作用の概念を示すものである。例えば、図１６
の中央に記載された大画面表示装置４において、この大
画面表示装置４に表示されたプラントの全体系統図の給
水ポンプ部分を運転員ＡがポインタＰａから出力された
指示信号により指示し、かつ運転員Ａが音声により「系
統図示せ」と入力した場合には、（ｃ）に示すように、
ＣＲＴ表示装置６Ａに給水ポンプ付近の系統図が表示さ
れる。ポインタＰａの指示信号で同じところを指示し、
運転員Ａが「流量トレンド表示」と音声入力した場合に
は、(ｄ)に示すようにＣＲＴ表示装置６Ａに給水ポンプ
流量のトレンド図が表示される。大画面表示装置４に表
示されたプラントの全体系統図の給水ポンプ部分を管理
者ＢがポインタＰｂから出力された指示信号により指示
し、かつ管理者Ｂが音声により「系統図示せ」と入力し
た場合には、(ａ)に示すように、大画面表示装置４に給
水ポンプ付近の系統図が表示される。ポインタＰｂの指
示信号で同じところを指示し、管理者Ｂが「流量トレン
ド表示」と音声入力した場合には、(ｂ)に示すように大
画面表示装置４に給水ポンプ流量のトレンド図が表示さ
れる。このような表示は、ポインタＰｂの指示信号は十
字形であり、ポインタＰａの指示信号はドット形状であ
るために可能である。これらの指示信号が識別でき、識
別した結果に基づいて、上述したようにポインタに対応
する表示装置に情報が出力される。これは、図１の実施
例でも行われる。

【００５２】本実施例によれば、図１の実施例と同じ効
果を得ることができる。

【００５３】ポインタＰａ，Ｐｂによって指示され画像
処理装置２で特定された表示対象物、及び音声入力情報
に基づいて作成された表示情報２６を、ポインタＰａ，
Ｐｂから出力された指示信号に対応して定められた表示
装置に表示することができる。このため、各々の運転員
が必要とする情報、及び運転員全員(含管理者)が把握し
なければならない情報を遠隔に指示することができるた
め、情報入手のための操作を行う場所の制約がなくな
り、マンマシン性の高い情報提示が可能である。しか
も、表示対象物の指示にあたっては、複数のポインタに
よりそれぞれ指示することができるためユーザ間相互で
使用のタイミングをずらす必要がなく、利用効率が高い
という効果がある。

【００５４】本実施例は、第１の表示装置２６及び大画
面表示装置４に表示情報２６を出力するだけではなく、
以下のように、プラントの被制御対象物を制御する制御
情報１４Ａ₁〜１４Ａ_jを出力することが可能である。

【００５５】指令出力手段１２は、表示制御装置２０か
ら出力された操作指令情報１８を入力すると、これをも
とに制御装置１３Ａ₁〜１３Ａ_jのうちのどれに制御指令
信号を出力するかを決定し、該当する制御装置に制御指
令信号を出力する。

【００５６】操作指令情報１８の作成は、以下の通りで
ある。ポインタＰａにより大画面表示装置４に表示され
ている系統図内の１つの機器を指示する。表示制御装置
２０は、運転員Ａの操作により操作・指示装置９から制
御指令を示す出力信号を入力したとき、前述したように
画像処理装置２で特定された表示対象物（上記の指示さ
れた機器）、及び運転員Ａの音声情報を統合し操作指令
情報１８として出力する。

【００５７】各制御装置１３Ａ₁〜１３Ａ_jは、指令出力
手段１２から出力された制御指令信号と、操作・指示装
置９からの出力信号をもとに、制御演算を実施し該当す
る被制御対象物に対し操作情報１４Ａ₁〜１４Ａ_jを出力
する。例えば、表示制御装置２０から一例として「モー
タＡ，回転数１０００rpm にせよ」という操作指令情報
１８が出力され、指令出力手段１２が入力したとする。
指令出力手段１２は、この入力情報に対して、表示制御
装置２０と同様な入力文解析，意味解析を行い、モータ
Ａを制御する制御装置（例えば制御装置１３Ａ₁）を判
定し、この制御装置１３Ａ₁に対して、回転数の目標値
である１０００rpm に対応する設定信号を出力する。制
御装置１３Ａ₁は、その設定信号に対して操作・指示装
置９から出力される信号（プラントからのフィ−ドバッ
ク信号１９であるモータＡの回転数を示す信号）を取り
込み、上記設定信号とモータＡの回転数を示す信号が一
致するように制御情報（制御信号）を出力する。

【００５８】指令出力手段１２は、表示制御装置２０か
ら出力されたポインタの種別情報と制御情報を出力する
制御装置とが対応しているかを判断し、予め対応付けら
れていない場合には、その操作指令情報１８を実行しな
い。このように、大画面表示装置２に対して指示信号を
出力するポインタに対して制御機能の範囲を限定できる
ので、プラント運転の信頼性が向上できる。

【００５９】図１１の実施例において、座標変換手段１
０，対象物特定手段１１，表示制御装置２０，メモリ２
１、及び指令入力解析装置１５は、ワークステーション
により実現することが可能である。ワークステーション
により実現した表示情報発生機能の構成例を図１７に示
す。ワークステーション２５０は、座標認識部３１，対
象物特定部３２，入力制御部３３，入力文解析部３４，
表示情報作成部３６、及び表示画面データを記憶したメ
モリ３７を含む。

【００６０】座標認識部３１は、座標認識部６０と同じ
機能を有し大画面表示装置４の表示画面上の実際の指示
点の座標（Ｘ_i，Ｘ_i）を求める。対象物特定部３２は、
図１２の処理で座標（Ｘ_W，Ｘ_W）を求め、ポインタで指
示している表示対象物を決定し、更にこの表示対象物に
対応する文字列情報を出力する。入力制御部３３は、こ
の文字列情報と音声入力装置から入力された音声情報と
を合せて自然語の一つの文章とし、この文章を入力文解
析部３４に出力する。入力文解析部３４は、図１の実施
例と同じく特開平3−179517 号公報４頁上部左欄１５行
から６頁下部左欄３行及び８頁上部左欄５行から同頁下
部左欄１９行に記載された処理、例えば図１３に示した
処理を実施する。入力制御部３３と入力文解析部３４と
は、図１及び図１１の実施例における表示情報決定部を
構成する。表示情報作成部３６は、図１及び図１１の実
施例における表示情報作成部と同じ機能を有する。この
ように構成することにより、これらの機能はソフトウェ
ア処理で実現できる。

【００６１】以上の説明では、ポインタからの出力は赤
外光であったが、可視光であってもよい。例えば、図
５，図６及び図９の各々のタイプのポインタにおいて、
赤色光，青色光，緑色光をそれぞれ単独で出力するよう
に、または、赤色，青色及び緑色の光を合成して出力す
るように構成することも可能である。これによって、同
一形状の指示信号を出力するポインタでも、出射光の色
を替えるだけで、指示信号の種類、つまりポインタの種
類を増やすことが可能である。

【００６２】このためには、モニタカメラ１はカラー用
とし、及び画像処理装置２はＲ（赤色)，Ｇ(緑色)，Ｂ
(青色）毎のフレームメモリを備えなければならない。
更に、画像処理装置２は、各々のフレームメモリに取り
込んだ映像情報に対してＲ，Ｇ，Ｂ毎の投影分布を求
め、これらの結果を基にして指示位置の座標を求めた
り、ポインタの種別を識別する。例えば、２値化処理後
の投影分布は、赤色による指示信号においては、Ｒのフ
レームメモリのデータに対する処理にのみ、及び緑色に
よる指示信号においては、Ｇのフレームメモリのデータ
に対する処理にのみ、結果が現われる。従って、どのフ
レームメモリのデータに対して、結果が現われたかを判
断すれば、同一形状の指示信号に対して、色が異なって
いるかを容易に区別できる。従って、この情報を用いて
ポインタを識別すればよい。

【００６３】ポインタの出射光が赤外光である場合に
は、この出射光の波長をポインタ毎に異ならせてもポイ
ンタの識別が可能である。可視光の場合には、色の変更
になる。複数のポインタにおいて出射する赤外光の波長
を替えておき、監視する赤外光の波長に対応させた赤外
線フィルタを備えた複数台のモニタカメラを設置するこ
とにより、各々のモニタカメラは波長が対応するポイン
タの出射光である赤外光（指示信号）のみを検出するこ
とができる。これにより、ポインタの光源を１個にする
ことも可能である。また、各々のポインタが出力した指
示信号が表示画面上の同一箇所を指示しても、画像処理
装置は各々のポインタからの指示信号を区別して検出す
ることが可能となる。

【００６４】図１８は、赤外光と可視光の両方を出射で
きるポインタである。大画面表示装置４の表示画面にお
ける２つの点５Ａ，５Ｂが赤外光であり、１つの点５Ｄ
が可視光である。これは、ポインタＰ₁でどこを指示し
ているかを可視光で示すためである。Ｋ６は、可視光光
源であり、例えば、可視光を出射する半導体レーザを用
いて図７と同様に構成することができる。

【００６５】ポインタＰ₁は、前述したマーカを表示装
置に表示できない場合に適用すると、その効果は大であ
る。例えば、ミミック表示装置は、パネルにモザイクで
系統図を示し、例えば弁の状態が変わったら、色付けし
たランプを点灯させてその状態を示したり、モザイク箇
所に指示計等を埋め込み、その箇所の状態量（例えば、
水位）を該指示計に表示する構成になっている。この様
な表示装置においては、マーカを表示面に提示すること
はできない。ポインタによって、例えば、上記の指示計
を指示し、これに関する詳細情報や関連情報を個別のＣ
ＲＴ表示装置に出力させようとした場合、指示の位置が
意図した場所であるか否かチェックする必要がある。こ
の様な場合に、ポインタＰ₁を用いれば、可視光を利用
者が目視することができるので、指示が確実かつ容易に
なる。

【００６６】更に、指示した対象物を音声情報を用いて
提示することにより、指示位置が利用者の意図した対象
物であるが確認できるので、より一層確かな指示を実現
できる。この場合、指示した対象物の特定は図１１の実
施例で述べたように、対象物特定手段１１で得られ結果
を基にして、これを音声情報に変換して、音声出力装置
２４から音声情報２３として提供することができる。

【００６７】ミミック表示装置を用いて情報を提示する
例としては、原子力発電所，火力発電所，鉄鋼プラン
ト，化学プラント等における中央制御室におけるプラン
ト監視，送電経路や電圧，潮流を示す電力系統監視，鉄
道における列車運行状況監視，金融や証券などにおける
株価情報の提示等がある。

【００６８】上述のポインタＰ₁を用いれば、操作・監
視盤のスイッチや指示計を指差して、これに係わる情報
を提示することも可能である。

【００６９】これらの場合にも、指示信号が、ミミック
表示装置及び操作・監視盤のどの位置を指示しているか
判断する必要がある。しかし、ミミック表示装置及び操
作・監視盤の四隅に赤外線発光源を設けて、これらの位
置からの相対距離に何があるかをあらかじめ記憶してお
けば、指示した対象物を特定することが可能である。ま
た、ポインタとして、図１９に示すものを用いてもよ
い。これらは、すべて可視光の光源を備える。図１９の
(ａ)〜(ｅ)は、赤色の光を出射する光源を１個備え、周
辺に緑色の光源を配置している。これは、複数のポイン
タを使用する場合には、各々のユーザが、それぞれのポ
インタを緑色の指示信号で区別して、赤色の指示信号で
指示位置を確認するためである。図１９の(ｆ)〜(ｊ)
は、この逆で、それぞれのポインタを赤色の指示信号で
区別して、緑色の指示信号で指示位置を確認する。この
ように、指示点を示すための光情報は１つとし、ポイン
タを区別するための光情報を複数とすることにより、識
別可能なポインタ数を多くすることが可能である。画像
処理装置としては、これらすべての光源から出射される
光を指示信号として扱えばよい。つまり、本ポインタ
は、ユーザの目視による指示点の確認を可能としてい
る。

【００７０】本ポインタは、スクリーンに撮し出される
情報の指示、及びパネル表示情報の指示等に使用し、あ
るユーザの指示点を他のユーザにも把握してもらいたい
場合に、特に有効である。この様な用途としては、会
議，説明，打合わせ，発表などが挙げられる。

【００７１】図２０は、本発明の他の実施例である大画
面表示装置を有する操作・監視装置の構成を示す。本実
施例は、図示されていないが、図１１の実施例の画像処
理装置２，座標変換手段１０，対象物特定手段１１，音
声入力装置１６Ａ₁〜１６Ａ_N，指令入力解析装置１５，
情報発生手段２５を備える。４Ａ，４Ｂが大画面表示装
置であり、４０，４１はプラントの運転に係わる操作が
可能なバックアップ盤（いわゆる操作・監視盤である）
である。バックアップ盤４０，４１は、上部に系統別ア
ラーム表示装置８を設ける。表示装置８は、アラーム項
目が刻印されているアラームタイル８_iを有し、アラー
ムを表示する時には、アラームタイル８_iに取り付けら
れたランプを点灯する。このため、どの系統にアラーム
が発生したかが分かる。ただし、アラームが発生した系
統の中で、複数のアラーム項目のうちどの項目が発生し
たかは、この系統別アラーム表示装置８のみでは確認で
きなく、その内容を個別のＣＲＴ表示装置６Ａ〜６Ｇに
表示することになる。なお、バックアップ盤４０，４１
は、更に機器状態表示ランプ，ＣＲＴ表示装置，ＥＬデ
ィスプレー，操作スイッチ，記録計等を備える。この部
分がパネル表示部である。なお、赤外線発光源４０Ａ₁
〜４０Ａ₄は、バックアップ盤４０の盤面をポインタで
指示した場合に、モニタカメラ１で撮影している指示信
号の指示位置の座標を指示対象物あるいはバックアップ
盤４０の盤面上の位置に対応させるために用いる。他の
赤外線発光源４１Ａ₁〜４１Ａ₄，４Ａ₁〜４Ａ₄，４Ｂ₁
〜４Ｂ₄も同様である。

【００７２】さて、操作監視盤３に設けたＣＲＴ表示装
置６Ａ〜６Ｇには、運転員Ａ₁，Ａ₂にとって、プラント
運転監視上、必要な情報が表示される。ＣＲＴ表示装置
６Ａ〜６Ｇへの表示データはプラントからの情報及び運
転員Ａ₁〜Ａ₂が操作手段７Ａ〜７Ｃから操作した結果を
もとにそれぞれ作成される。

【００７３】一方、大画面表示装置４Ａ，４Ｂに表示さ
れる情報は運転員のみならず、プラントを監視する管理
者Ｂによっても監視されるため、本実施例は、プラント
の全体構成，プラント管理上重要なパラメータ、及び重
要機器の状態が表示される構成になっており、運転状態
に応じて、そのメッセージと重要機器の状態がプラント
全体構成の中で変化すると共に、重要パラメータの数値
が時々刻々表示されるようになっている。さらに、２台
の大画面表示装置４Ａ，４Ｂを用いてプラント全体の状
況を監視している。

【００７４】次に、具体的な指示及び表示の例について
詳細に説明する。例は、原子力プラントを対象とする。

【００７５】運転員Ａ₁が大画面表示装置４Ａを利用し
て制御棒操作に係わる情報をＣＲＴ表示装置６Ｅに出力
する例を説明する。

【００７６】まず、ポインタＰａ₁により、例えば、炉
心表示部（指示信号５ａで示されている部分）を指示す
る。この結果、画像処理装置２は指示対象物及び指示に
用いられているポインタを認識する。この結果、図２１
に示す情報がポインタの種類に対応してＣＲＴ表示装置
６Ｅに表示される。表示のための処理は、図１１の表示
制御装置２０によって実行される。大画面表示装置４Ａ
に図２１の情報を表示する場合には、既に表示している
情報を消して新たに表示するのではなく、図２２に示す
ように、既に表示している情報の上に新たな表示情報Ｅ
を表示することが望ましい。なぜなら、この表示方法に
よれば、プラントの全体に係わる情報の概略を把握する
ことが可能であるからである。ＣＲＴ表示装置６Ｅに
は、図２２の新たな表示情報Ｅを既に表示している情報
に代って表示しても良いし、大画面表示装置４Ａと同様
に重ねて表示してもよい。また、大画面表示装置４Ａ及
びＣＲＴ表示装置６Ｅの表示画面に余白があれば、そこ
に新たな表示情報Ｅを表示してもよい。

【００７７】図２２のように、新たな表示情報Ｅが大画
面表示装置４Ａに表示されると、ポインタＰａ₁を用い
て、表示情報Ｅの必要箇所を指示して情報選択をする。
この場合、制御棒操作に係わる情報が必要としているの
で、この表示情報のうち制御棒駆動系Ｅ₁を指差するこ
とにより、例えば図２３に示す制御棒操作に係わる情報
をＣＲＴ表示装置６Ｅに表示することができる。この場
合、図２２に示す情報Ｅは不要となるため、表示制御装
置２０は、大画面表示装置４Ａに表示している情報Ｅを
消去するための処理を施す。また、図２３に示す情報を
ＣＲＴ表示装置６Ｅに表示するたにあたって、ポインタ
Ｐａ₁で図２２の制御棒駆動系Ｅ₁を指差するのではな
く、ヘッドセットマイクＭａ₁を用いて、「制御棒駆動
系，操作情報、示せ」と音声で入力しても良い。図２２
の例では、新たな表示情報を大画面表示装置に表示した
が、大画面表示装置及びＣＲＴ表示装置のいずれかに表
示するかをポインタの種別によって予め定めていてもよ
い。

【００７８】また、各ＣＲＴ表示装置がタッチ操作可能
なものであれば、図２１の情報ＥがＣＲＴ表示装置６Ｅ
に出力されている場合には、制御棒駆動系Ｅ₁の表示部
分を指でタッチすることにより、図２３の情報を該ＣＲ
Ｔ表示装置６Ｅに表示することが可能である。また、上
述と同様に、ヘッドセットマイクＭａ₁を用いて、音声
により入力しても良い。ＣＲＴ表示装置６Ｅに図２３の
ような画面が表示されると、運転員Ａ₁は「操作モー
ド」，「駆動モード」，「シーケンスタイプ」，「制御
棒No. 」等をタッチオペレーションによって操作指示す
る。図２３の斜線を施した部分は運転員Ａ₁が操作した
結果を表示している。また、図２３の左側に表示されて
いる制御棒座標中の黒塗り部分は運転員Ａ₁が制御棒の
選択を行った結果として、どの制御棒が選択されたか
を、制御棒アドレス（例、２６〜２７，２６〜３５，３
４〜３５）と関連づけて表示している。なお、図２３は
タッチオペレーション付きＣＲＴの表示例であり、操作
手段を表示することにより、操作とその操作の結果とし
て得られる情報（例、制御棒の駆動状態の情報）が同一
画面に出力されるため、運転員が操作状態を確認するの
に非常に便利である。

【００７９】この場合、ＣＲＴ表示装置６Ｅだけでな
く、他のＣＲＴ表示装置に分配して表示することもあ
る。

【００８０】次に、他の運転員Ａ₂が操作・監視盤であ
るバックアップ盤４０を利用して新たな情報をＣＲＴ表
示装置６Ｂに出力する例を説明する。情報としてはアラ
ーム情報（警報情報）をＣＲＴ表示装置６Ｂに出力する
例を説明する。

【００８１】まず、ポインタＰａ₂により、系統別アラ
ーム表示装置８のうち特定の系統のアラーム項目を選択
して詳細を見たい場合、該当するアラームタイル８_iを
指差する。指示信号５ｂによってアラームタイル８_iが
指示されると、前述の処理によって、画像処理装置２
は、指示位置及びポインタの種別を認識する。この結
果、例えば図２４または図２５に示すアラーム情報がＣ
ＲＴ表示装置６Ｂに表示される。図２４において、斜線
を施した部分は、そのアラーム（ＭＤＲＦＰ−Ａドリッ
プ８_i1とＭＤＲＦＰ−Ａ吸込流量低８_i2）が発生してい
ることを示しているが、ＣＲＴ表示装置６Ｂでは、発生
していないアラームと区別するために表示色を変えて表
示する。図２５においては、発生したアラームに対し
て、発生時刻を付加して表示している。図２４及び図２
５のいずれにおいても、どの系統かを示す情報（給水
系）を付加している。

【００８２】なお、図２５は、アラームタイル８_iを指
示されることによって表示されるアラーム情報を示して
いる。ＣＲＴ表示装置６Ｂ（タッチ操作可能）に表示さ
れる図２４の表示情報のうち、斜線部をタッチすること
により、図２５の情報を出力するようにしてもよい。こ
のようにすると、系統にどの様なアラーム項目があり、
そのうちどのアラーム項目が発生しており、かつ、その
発生時刻はいつだったかを利用者が容易に把握できると
いう効果がある。

【００８３】上記アラーム表示においては、指示対象物
を特定せずに指示点を認識することにより、詳細なアラ
ーム情報を表示しているが、これは、下記の理由による
ものである。

【００８４】大画面表示装置のように、表示装置の表示
面の同一箇所を指示しても、表示画面の内容が異なって
いれば、異なった対象物を指示することになる。従っ
て、表示装置の画面を指示する場合には、指示された表
示対象物を特定する必要がある。しかしながら、操作・
監視盤のように、表示対象物が固定である場合には、指
示点と指示対象物が常に１対１の関係で等しいため、指
示対象物を特定しなくても、指示位置の座標を判定し、
その座標に対する情報を出力すればよい。

【００８５】以上説明した様に、ミミック表示などのパ
ネル表示装置のように、表示対象物が常に固定されてい
る場合には、指示された表示対象物を必ずしも特定する
必要はなく、指示された点（座標）を判定することによ
り、該座標（指示された表示対象物に相当）に対して、
あらかじめ割り付けている情報を、該ポインタに対応す
る表示装置に出力することが可能である。

【００８６】図２０の実施例では、大画面表示装置と操
作・監視盤の両方への指示を可能としているが、操作・
監視盤のように、表示対象が固定されている場合の指示
においては、図２６に示す本発明の他の実施例である操
作・監視装置の構成によって指示点を検出し、この指示
点に基づいて新たな情報を発生することができる。本実
施例と図１１の実施例の異なる点は、図１１の対象物特
定手段１１が指示点検出手段１８０に替わったことであ
る。この指示点検出手段１８０は、座標変換手段１０の
出力情報を指示点の情報としているだけであるため、座
標変換手段１０を指示点検出手段１８０と考えてもよ
い。本実施例は、図１の実施例と同じ効果を得ることが
できる。

【００８７】図２７は、本発明の他の実施例である操作
・監視装置の構成を示している。本実施例と図２６の実
施例と異なる点は、画像処理装置２Ａが画像処理装置２
の処理２ｅを実行しなく、替わりに識別手段２７を設け
たことである。識別手段２７は、ポインタＰａ₁〜Ｐａ
_(N-1)，Ｐｂ′から出力される識別信号２７Ａ₁〜27A_Nに
基づいて指示信号を出力しているポインタを識別する。
この識別結果は、表示制御装置２０に入力される。一
方、画像処理装置２Ａは、ポインタによる指示点の位置
（座標）を求める。得られた位置座標は、座標変換手段
１０で補正された後、指示点検出手段１８０を介して表
示制御装置２０に出力する。

【００８８】本実施例は図１の実施例と同じ効果を生じ
る。更に、本実施例によれば、画像処理装置２の機能が
簡単になるため、画像処理装置の処理を短縮でき、操作
・監視装置全体の応答性を高めることができる。さら
に、ポインタの識別を識別信号に基づいて処理し、画像
処理による識別を不要としたため、形状，色など、同一
の指示情報をもつポインタによって指示することも可能
である。

【００８９】なお、各ポインタから出力する識別信号と
しては、超音波信号，無線信号，有線信号が考えられ
る。しかし、ポインタの使用場所を限定しない様にする
ためには、超音波信号，無線信号を利用することが望ま
しい。これらの信号を用いてポインタを識別するために
は、識別信号の周波数や出力周期をポインタごとに異な
らせる方式等、各種適用できる。

【００９０】本発明の他の実施例である操作・監視装置
を説明する。本実施例は、図２７の実施例において、指
示点検出手段１８０の替わりに対象物特定手段１１を設
けた点にある。このため、図２７の実施例の効果に加
え、指示した対象物を特定して、この対象物に関する新
たな情報を発生する場合に有効である。

【００９１】本発明の他の実施例である操作・監視装置
を図２８に基づいて説明する。本実施例の図２７の実施
例と異なる点は、指示点検出手段１８０の替わりに対象
物特定手段１１を設け、識別手段２７の替わりにポイン
タの識別を音声入力情報を用いて行う識別手段２８Ａ₁
〜２８Ａ_Nを備えたことにある。識別手段２８Ａ₁〜２
８Ａ_Nの各々は、音声入力装置１６Ａ₁〜１６Ａ_Nのうち
の該当する音声入力装置の出力信号を用いて対応するポ
インタを識別する。ポインタとこのポインタを使用しな
がら音声入力する人の音声情報とを予め一対一に対応付
けておくことにより、識別手段２８Ａ₁〜２８Ａ_Nは音声
情報に基づいてポインタを識別することができる。識別
手段２８Ａ₁〜２８Ａ_Nの出力信号である識別情報は、指
令入力解析装置１５に取り込まれ、音声入力による指令
の解析結果と共に、表示制御装置２０に出力される。以
上のようにして音声入力情報を用いてポインタを識別す
ることが可能となる。また、ポインタＰａ〜Ｐｂと音声
入力装置１６Ａ₁〜１６Ａ_Nを予め一対一に対応づけてお
くことにより、識別手段２８Ａ₁〜２８Ａ_Nは音声入力装
置１６Ａ₁〜１６Ａ_Nからの出力信号（音声情報）があっ
たか否かで、ポインタの利用の有無が判断できる。この
判断結果を識別情報として指令入力解析装置１５に出力
する場合においては、識別手段２８Ａ₁〜２８Ａ_Nの処理
が極めて簡単になるという特徴がある。

【００９２】図２９は、本発明の他の実施例である操作
・監視装置を示す。本実施例が、図２８の実施例と１２
と異なる点は、図２８の実施例における対象物特定手段
１１が指示点検出手段１８０に替わっていることであ
る。図２８の実施例は、ミミック表示などのように、表
示対象物が固定の場合に適用可能であるが、本実施例
は、表示対象物が可変の場合にも適用可能である。本実
施例は、図１の実施例と同じ効果も得ることができる。

【００９３】本発明の他の実施例である操作・監視装置
を図３０により説明する。本実施例が、図１１の実施例
と異なる点は、マーカ５ａ，５ｂ，５ｅ，５ｆ，５ｇ，
……が予め大画面表示装置４に表示されており、ポイン
タＰａ，Ｐｂ等の指示信号をこれらのマークの１つに当
てることにより、当該マークを選択できる。この選択し
たマークを該当するポインタの操作により、指示したい
表示対象物上に移動させて、ポインタから出射していた
指示信号を消すことにより、該表示対象物が選択され
る。これらの処理は、表示制御装置２０が実施する。表
示制御装置２０は、予め登録しているマーカ５ａ等を大
画面表示装置４の予め定められた領域（図３０では表示
領域の下部に設けている。）に表示する。

【００９４】図１１，図２６〜図３０の実施例におい
て、各々のポインタで種々の表示対象物あるいは表示位
置を指示して、その指示対象物あるいは指示位置に関す
る新たな情報を発生することは既に述べた。しかしなが
ら、プラント制御のように、各々の運転員の役割が定ま
っているような場合には、各々の運転員による指示範囲
を限定する様にすることが望ましい場合もある。この様
な場合に対応できるようにするためには、指示範囲をポ
インタごとに割りつけておき、ポインタによって指示し
たときに、該ポインタによる指示が、この予め定められ
ている指示範囲か否かを判定し、指示範囲に入っている
場合にのみ、その指示を受けつけて処理する必要があ
る。

【００９５】この判定処理は、表示制御装置２０によっ
て実行する。この場合、表示制御装置２０は図３１に示
す構成、特にその判定処理を行う割付け判定手段２０Ａ
を有する。この図３１の構成は、図１１及び図２６〜図
３０の各実施例の表示制御装置２０に適用することがで
きる。

【００９６】割付け判定手段２０Ａは、指示範囲登録情
報記憶手段２０Ａ₁及び一致判定手段２０Ａ₂を有す
る。一致判定手段２０Ａ₂は、ポインタの識別情報（ポ
インタの識別結果を示す情報）と指示位置・対象情報
（指示している位置あるいは指示している対象物を示す
情報)を入力した場合、指示範囲登録情報記憶手段２０
Ａ₁から上記識別情報に対応した指示可能な範囲を示す
情報（指示範囲登録情報）を読み出す。この読み出され
た情報と入力の指示位置・対象情報とを比較し、一致し
ておれば表示制御処理部２０Ｂに指示を許容する許可情
報を出力する。一致しない場合には、不許可情報を出力
する。これによって、ポインタごとの指示の範囲の限定
が可能となる。

【００９７】表示制御処理部２０Ｂは、図１１及び図２
６〜図３０の各実施例の表示制御装置２０における入力
文解析部及び表示情報作成部の機能を有する。従って、
表示制御処理部２０Ｂは、許可情報が入力されたとき、
入力文解析部及び表示情報作成部での処理によって該当
する表示情報を作成し、これを対応する表示装置に出力
する。

【００９８】これまでの説明においては、ポインタから
出射している指示情報が消える直前に指示されている指
示点あるいは指示対象をポインタによって指示された指
示点あるいは指示対象としていた。しかし、利用者が誤
ってポインタのスイッチ（図６及び図７のＫ₅）を離し
たり（ＯＦＦ状態）、別な人がポインタと大画面表示装
置間を横切ったりして、指示情報が一時的に消え、利用
者が指示したい指示点及び指示対象物とは異なった部分
を指示したと見なしてしまうことが考えられる。これに
対しては、ポインタのスイッチを一定期間内で２度離し
た場合にのみ、指示信号が真に消えたと見なすようにす
ることにより、この問題を解決することができる。つま
り、指示信号が一度消え、ある期間内に再度発っせら
れ、さらに該指示信号が消えた時にのみ、はじめて指示
信号が消えたと見なすものである。つまり、ポインタの
スイッチのダブルクリック操作（秒あるいはそれ以下の
短時間の操作）に対して、指示信号が消えたと判断する
ものである。このための処理は、図３２に示す通りであ
り、図１，図１１、及び図２６〜図３０の各実施例にお
ける画像処理装置２（または表示制御装置２０）によっ
て実行される。

【００９９】図３２の処理を具体的に説明する。図３２
は指示信号を検出した時の処理を示しているが、この処
理全体を繰り返し実行する。図３２の出力情報Ｊ₁は、
正しく指示信号が消えたことを示す情報である。出力情
報Ｊ₁が得られるときのみ、表示制御装置２０はポイン
タの指示に対して新たな情報を発生する。出力情報Ｊ₂
に対しては、指示信号がどの位置にあるかを示している
だけであり、マーカの表示等に利用する。図３２におい
ては、指示信号が３回以上発せられた場合には、出力情
報Ａを出力しないようにして、指示信号検出の信頼性を
高めている。実際にポインタでダブルクリック操作を試
みたところ、何度かはポインタのスイッチを３回オン・
オフしてしまった。このため、図３２において、状態Ｄ
が得られた場合には、即、出力情報Ｊ₁を出力するよう
に処理してもよい。これによって、実操作にあった処理
を実現することが可能である。

【０１００】図３３は、ポインタのダブルクリック操作
に対する指示信号の出力状況を示した図である。

【０１０１】図３２の処理においては、ステップＳ₁で
指示信号を検出し、ステップＳ₂で指示信号が消えたか
否かを判断する。指示信号が消えていなければ、ステッ
プ１０を処理し、再び先頭に戻り、ステップＳ₁，Ｓ₂を
処理する。ステップＳ₂で指示信号が消えたと判定され
ればステップＳ₃に進む。この状態が、図３３のｔ₀か
らｔ₁に至り、△Ｔ₁の期間になっている状態である。

【０１０２】ステップＳ₃で指示信号が存在しないと判
定されたときステップＳ₄に進む。ステップ４に示すよ
うに、この処理結果がＹＥＳであれば、再びステップＳ
₃に戻る。つまり、△Ｔ₁の期間に存在していることに
なる。ステップ４の処理結果がＮＯであれば、△Ｔ₁内
で指示信号の再出力がなかったことになるので、ステッ
プＳ₁₀を処理後、先頭に戻る。つまり、ポインタはダブ
ルクリックされていないと判断している。これにより、
指示信号検出の信頼性を高めている。

【０１０３】次に、ステップＳ₃の処理結果がＹＥＳで
あればステップＳ₅に進む。この状態は、図３３の△Ｔ
₂の状態になったことを示す。ステップＳ₅において、
処理結果がＮＯであれば、ステップＳ₆に進む。ステッ
プＳ₆において、△Ｔ₂経過しても指示信号が消えない
と判定されれば、ポインタのダブルクリックがなされな
かったことになるので、ステップＳ₁₀を処理後、先頭に
戻る。ステップＳ₆の処理結果がＹＥＳであれば、ステ
ップＳ₅に戻る。ステップＳ₅の処理結果がＹＥＳであ
れば、ステップＳ₇に進む。ステップＳ₇の状態は、図
３３のｔ₃とｔ₄間の状態である。ステップＳ₇の処理
結果がＮＯであり、かつステップＳ₈の処理結果もＮＯ
であれば、ポインタはダブルクリックされたことにな
る。従って、ステップＳ₉を処理後、先頭に戻るステッ
プＳ₈の処理結果がＹＥＳであれば、ステップＳ₇に戻
る。ステップＳ₇の処理結果がＹＥＳであれば、図３３
のｔ₄とｔ₅間の状態になっている。つまり、ダブルク
リック以上の操作を実施したことになるので、ステップ
Ｓ₁₀を処理後、先頭に戻る。

【０１０４】以上述べたように、ダブルクリック操作を
所定時間内で実施した時にのみ、指示信号によって特定
箇所を指示したと見なすことが可能となる。ただし、前
述した様に、ダブルクリック以上の操作（例えば、３回
のクリック操作）を実施しても、その操作を許容する様
にするとすれば、ステップＳ₅の処理結果がＹＥＳであ
ればステップＳ₇，Ｓ₈を不要とし、ステップＳ₉を実行
するようにすればよい。図３３においては、ｔ₃以降の
状態はすべて許容することになる。これによって、個人
的なポインタの操作不慣れがあっても、これを許容した
指示が可能となる。なお、ステップＳ₁₀において、消え
た指示信号の座標を出力するとしているが、消えた指示
信号を検出することは出来ないので、厳密には指示信号
が消える直前の指示信号の座標である。

【０１０５】ここで、述べた指示信号検出の信頼性向上
策については、ポインタの種類が複数であっても、単一
であっても、いずれに対しても適用できる。さらに、単
にポインタの数が複数であっても単一であっても、いず
れの場合であっても良い。以下の実施例についても同様
である。

【０１０６】図３４は、指示信号検出の信頼性向上策に
対する他の実施例を示す図である。説明の対象を大画面
表示装置４とする。大画面表示装置４の表示画面に対し
て、無効表示エリアＡＲ１を設けて、このＡＲ１内には
情報を表示しない様にし、有効表示エリアＡＲ２内（指
示の対象範囲である）に情報を表示するように予め定め
ておく。これは図１１の表示制御装置２０によって実行
される。このように、表示装置の表示画面内の周囲に無
効表示エリアＡＲ１を設けることにより、ユーザが、こ
の無効表示エリアＡＲ１をポインタで指示することはし
なくなるので、このＡＲ１に指示信号が入れば、このＡ
Ｒ１内で指示信号が消えても、指示が有効であるとは見
なさないようにすることができる。このＡＲ１がないと
図３４に示すように、指示信号を右上に移動させてい
き、大画面表示装置４から指示信号がはみだして消える
と、その消える直前の指示信号の座標を指示信号が消え
た位置と見なしてしまう。これに対して、図３４のよう
に大画面表示装置の表示画面を取り扱うことにより、こ
の問題を解決することができる。なお、無効表示エリア
ＡＲ１に指示信号が存在しているときには、マーカはＡ
Ｒ１内に表示される。ミミック表示などのパネル表示装
置や操作・監視盤の指示に対しては、指示対象範囲を有
効表示エリアＡＲ２とし、その他を図３４と同一とする
が、該有効表示エリアＡＲ２以外をすべて無効表示エリ
アＡＲ１とすることにより対応可能である。

【０１０７】図３５は、上記対策のための、図１，図１
１、及び図２６〜図３０の各実施例における画像処理装
置２（又は表示制御装置２０）によって実行する処理手
順を示している。図３５の出力情報Ｊ₁は、正しく指示
されたことを示す情報であり、この情報が得られたとき
のみ、表示制御装置２０は、ポインタの指示に対して新
たな情報を発生する。出力情報Ｊ₂は、指示信号がどの
位置にあるかを示しているだけであり、マーカの表示等
に利用する。

【０１０８】図３５において、ステップＳ₁で指示信号
を検出し、ステップＳ₂で指示信号が無効表示エリアＡ
Ｒ１内にあるか否かを判断する。この判断結果がＹＥＳ
であれば、ステップＳ₆の処理を実行して先頭に戻る。
つまり指示信号が無効表示エリアＡＲ１に存在している
ので、仮にこの無効表示エリアＡＲ１で指示信号が消え
たとしても、それを有効と見なすことのないようにして
いる。ステップＳ₂において、処理結果がＮＯであれ
ば、ステップＳ₃に進む。ここで、指示信号が有効表示
エリアＡＲ２内にあれば、ステップＳ₄に進み、指示信
号が消えたが否か判断する。指示信号が消えれば、ステ
ップＳ₅に進み、出力情報Ｊ₁を出力し、先頭に戻る。
それ以外はすべてステップＳ₆の処理を実施して、先頭
に戻る。図３５の出力情報Ｊ₁は図３２のそれと同一で
あり、図３５の出力情報Ｊ₂は図３２のそれと同一であ
る。これにより、有効表示エリアＡＲ２内を指示してい
る時に、指示信号が消えたときのみ、該指示位置あるい
は指示対象に対して、新たな情報を発生することが可能
となり、指示信号の検出に対する信頼性を高めることが
可能である。

【０１０９】さらに、図３５の処理において、ポインタ
をダブルクリック操作で指示信号を消した時にのみ、出
力情報Ｊ₁を出力する様にすることも可能である。つま
り、図３５と図３２の処理を併用することであるが、こ
れは、図３２のステップＳ₂以降の処理ステップ(Ｓ₂〜
Ｓ₁₀）を図３５のステップＳ₄以降の処理ステップ（Ｓ
₄〜Ｓ₆）に置きかえることにより実現できる。これによ
り、より一層指示信号検出に対する信頼性を高めること
ができる。

【０１１０】また、指示信号を移動させている時に指示
信号が消える場合がある。その要因としては、ユーザの
ポインタ操作により、指示信号を意図して消す場合と、
大画面表示装置等から指示信号がはみ出して消える場合
がある。前者は問題ないが、後者に対しては、指示信号
の移動軌跡を追跡しておき、指示信号が大画面表示装置
等からはみ出ると予測した場合には、該指示信号が消え
ても、それを有効と見なさないようにすることができ
る。

【０１１１】以上述べた各種処理方式は、ポインタの実
操作に則しており、指示信号検出に対する信頼性を高め
ることが可能である。

【０１１２】

【発明の効果】本発明によれば、異なる指示信号を出力
する複数のポインタを識別し、識別されたポインタによ
って指示された指示対象物に関する情報を適切に作成し
表示することができる。このため、複数の利用者は、異
なる指示信号を出力する別々のポインタを使用すること
によって、自分が必要とする情報を適切に得ることがで
きる。また、複数の利用者が同時にポインタにより指示
した場合でも、それぞれが要求する情報が適切に表示さ
れる。

【０１１３】本発明の他の特徴によれば、ポインタの識
別情報に対応して情報を表示すべき表示装置を特定して
いるので、各運転員は情報の使い勝手が良くなる。

【０１１４】更に、本発明の他の特徴によれば、指示点
あるいは指示対象物と指示したポインタとを対応付けて
いるので、これらをもとにして、新たな表示情報，操作
情報，音声情報などを発生することが可能となる。特
に、ポインタ毎にこれらの作成情報の範囲及び表示装置
を予め設定しておくことにより、表示情報を使用目的及
び使用対象毎に切り分けることが可能となる。

【０１１５】指示信号が異なるポインタで、ミミック表
示装置及び操作盤のように表示対象物が固定の装置の一
部を指示し、指示された部分に係わる情報をポインタに
対応する表示装置に提示することも可能である。

【０１１６】本発明は、複数の人が操作場所を限定され
ることなく指示対象を指示することができる。

【図面の簡単な説明】

【図１】本発明の一実施例である操作・監視装置の構成
図である。

【図２】図１の電子計算機内の機能を示す詳細構成図で
ある。

【図３】図１の画像処理装置で実行される処理手順を示
す説明図である。

【図４】図３の処理２ｃ〜２ｅの具体的な内容を示す説
明図である。

【図５】各種ポインタの光出射面を説明する図である。

【図６】ポインタの一例の斜視図である。

【図７】図６のポインタＰのレ−ザ光発生回路の説明図
である。

【図８】図６のポインタＰから出力される指示信号の説
明図である。

【図９】図１のポインタＰｂの斜視図である。

【図１０】図９のポインタの十字形の指示信号を出力す
るための発光源の構成図である。

【図１１】本発明の他の実施例である操作・監視装置の
構成図である。

【図１２】図１１の対象物特定手段にて実行される処理
手順の説明図である。

【図１３】図１１の表示制御装置の入力文解析部で実行
される入力文解析の処理内容示した説明図である。

【図１４】図１１の表示制御装置の表示情報作成部で実
行される表示情報作成の一処理内容示した説明図であ
る。

【図１５】画面表示切換命令の説明図である。

【図１６】指示した対象物に関する情報の表示例を示す
説明図である。

【図１７】図１１の座標変換手段，対象物特定手段，指
令入力解析装置，表示制御手段の機能を備えたワークス
テーションの構成図である。

【図１８】ポインタの他の実施例の斜視図である。

【図１９】図１８のポインタの光出射面の構成例を示す
説明図である。

【図２０】本発明の他の実施例である操作・監視装置の
構成図である。

【図２１】図２０で大画面表示装置に表示された炉心表
示部をポインタにて指示した場合に表示装置に表示され
る情報の一例を示す説明図である。

【図２２】図２０の新たな表示情報を大画面表示装置に
表示した例を示す説明図である。

【図２３】図２２に示す表示情報のうち制御棒駆動系Ｅ
₁を選択した場合にＣＲＴ表示装置に表示される情報の
一例を示す説明図である。

【図２４】図２０のアラームタイル８_iをポインタで指
示した場合の表示例を示す説明図である。

【図２５】図２０のアラームタイル８_iをポインタで指
示した場合の他の表示例を示す説明図である。

【図２６】本発明の他の実施例である操作・監視装置の
構成図である。

【図２７】本発明の他の実施例である操作・監視装置の
構成図である。

【図２８】本発明の他の実施例である操作・監視装置の
構成図である。

【図２９】本発明の他の実施例である操作・監視装置の
構成図である。

【図３０】本発明の他の実施例である操作・監視装置の
構成図である。

【図３１】割り付け判定手段を有する表示制御装置の他
の実施例の構成図である。

【図３２】指示対象及び指示点を検出するにあたって適
用したダブルクリックに関する処理手順の説明図であ
る。

【図３３】図３２のポインタのダブルクリック操作に対
する指示情報の出力状況を示す説明図である。

【図３４】指示情報検出の信頼性向上策に対する他の実
施例。

【図３５】指示対象や指示点を検出するにあたって、検
出の信頼性を高めた処理方式の他の例。

【符号の説明】

ＨＤ，ＨＤ₁〜ＨＤ_K…ヘッドマウントディスプレー、Ｐ
ａ，Ｐｂ…ポインタ、１…モニタカメラ、２，２Ａ…画
像処理装置、２ｃ…特徴抽出部、２ｄ…指示位置検出
部、２ｅ…ポインタ識別部、３，４０，４１…操作・監
視盤、４，４Ａ，４Ｂ…大画面表示装置、５ａ，５ｂ…
マーカ、６Ａ〜６Ｇ…ＣＲＴ表示装置、７…電子計算
機、１０…座標変換手段、１１…対象物特定手段、１５
…指令入力解析装置、１６Ａ₁〜１６Ａ_N…音声入力装
置、２０…表示制御装置、２１，３７，６５…メモリ、
２５…情報発生手段、２７…識別手段、３１，６０…座
標認識部、３２，６１…対象特定部、３４…入力文解析
部、３６，６３…表示情報作成部、６２…表示情報決定
部、１８０…指示点検出手段、ＡＲ１…無効表示エリ
ア、ＡＲ２…有効表示エリア。

フロントページの続き (72)発明者関洋茨城県日立市大みか町七丁目２番１号株式会社日立製作所エネルギー研究所内 (72)発明者長岡幸夫茨城県日立市大みか町七丁目２番１号株式会社日立製作所エネルギー研究所内

Claims

【特許請求の範囲】

【請求項１】表示装置と、異なる指示信号を出力し、前
記表示装置の表示面を前記指示信号により指示する複数
のポインタと、このポインタを識別する識別手段と、前
記ポインタによって指示された、前記表示面に表示され
ている表示対象物を、特定する対象物特定手段と、前記
ポインタの識別情報及び前記表示対象物に基づいて得ら
れる情報を出力する手段とを備えた情報提供装置。
【請求項２】前記表示面を撮影して映像信号を出力する
撮影手段と、前記映像信号に基づいて、前記ポインタを
識別する前記識別手段とを備えた請求項１の情報提供装
置。
【請求項３】表示装置と、異なる指示信号を出力し、前
記表示装置の表示面を前記指示信号により指示する複数
のポインタと、前記表示面を撮影して映像信号を出力す
る撮影手段と、前記映像信号に基づいて、前記表示面を
指示している前記ポインタを識別する識別手段と、前記
ポインタによって指示された、前記表示面に表示されて
いる表示対象物を、特定する対象物特定手段と、前記特
定された表示対象物の情報に基づいて、表示情報を決定
する表示情報決定手段と、決定された前記表示情報を作
成し、この表示情報を前記識別されたポインタに対応す
る表示装置に出力することを特徴とする情報表示装置。
【請求項４】前記映像信号に基づいて、前記表示面にお
ける前記指示信号による指示位置を求める手段と、この
指示位置に基づいて前記表示対象物を特定する前記対象
物特定手段とを備えた請求項３の情報表示装置。
【請求項５】前記指示信号である赤外光を出力する前記
ポインタを有する請求項３または４の情報表示装置。
【請求項６】前記撮影手段が赤外線カメラである請求項
３の情報表示装置。
【請求項７】前記撮影手段が赤外線カメラである請求項
４の情報表示装置。
【請求項８】前記指示位置に前記指示信号が指示してい
ることを示す印の表示情報を作成し、この表示情報を出
力する手段を備えた請求項７の情報表示装置。
【請求項９】第１表示装置と、前記第１表示装置の第１
表示面よりも大きな第２表示面を有する第２表示装置
と、異なる指示信号を出力し、前記第２表示面を前記指
示信号により指示する複数のポインタと、前記第２表示
面を撮影して映像信号を出力する撮影手段と、前記映像
信号に基づいて、前記第２表示面を指示している前記ポ
インタを識別する識別手段と、前記ポインタによって指
示された、前記第２表示面に表示されている表示対象物
を、特定する対象物特定手段と、前記特定された表示対
象物の情報に基づいて、表示情報を決定する表示情報決
定手段と、決定された前記表示情報を作成し、この表示
情報を前記識別されたポインタに対応する前記表示装置
に出力することを特徴とする情報表示装置。
【請求項１０】第１表示装置と、前記第１表示装置の第
１表示面よりも大きな第２表示面を有する第２表示装置
と、異なる指示信号を出力し、前記第２表示面を前記指
示信号により指示する複数のポインタと、前記第２表示
面を撮影して映像信号を出力する撮影手段と、前記映像
信号に基づいて、前記第２表示面を指示している前記ポ
インタを識別する識別手段と、前記ポインタによって指
示された、前記第２表示面に表示されている表示対象物
を、特定する対象物特定手段と、前記特定された表示対
象物の情報と音声入力情報に基づいて、表示情報を決定
する表示情報決定手段と、決定された前記表示情報を作
成し、この表示情報を前記識別されたポインタに対応す
る前記表示装置に出力することを特徴とする情報表示装
置。
【請求項１１】表示装置と、異なる指示信号を出力し、
前記表示装置の表示面を前記指示信号により指示する複
数のポインタと、このポインタを識別する識別手段と、
前記ポインタによって指示された、前記表示面に表示さ
れている表示対象物を、特定する対象物特定手段と、前
記ポインタの識別情報及び前記表示対象物に基づいて得
られる制御情報を出力する手段とを備えた運転制御装
置。
【請求項１２】前記表示面を撮影して映像信号を出力す
る撮影手段と、前記映像信号に基づいて、前記ポインタ
を識別する前記識別手段とを備えた請求項１の運転制御
装置。
【請求項１３】表示装置と、異なる指示信号を出力し、
前記表示装置の表示面を前記指示信号により指示する複
数のポインタと、前記表示面を撮影して映像信号を出力
する撮影手段と、前記映像信号に基づいて、前記表示面
を指示している前記ポインタを識別する識別手段と、前
記ポインタによって指示された、前記表示面に表示され
ている表示対象物を、特定する対象物特定手段と、前記
特定された表示対象物の情報に基づいて、表示情報を決
定する表示情報決定手段と、決定された前記表示情報を
作成し、この表示情報を前記識別されたポインタに対応
する表示装置に出力することを特徴とする運転制御装
置。
【請求項１４】表示装置の表示面を指示するポインタ
と、表示面に結像する各々のポインタからの指示信号の
特徴を抽出する特徴抽出手段と、前記指示信号によって
指示される点を検出する指示点検出手段，あらかじめ定
められている指示範囲に前記指示信号が指示された時に
前記指示信号が予め指示範囲に割り付けられた指示信号
であるかを前記特徴抽出手段及び前記指示点検出手段の
出力情報をもとに判定する割付け判定手段，前記割付け
判定手段から前記指示信号と指示範囲が一致しているこ
とを示す一致情報を入力したときに、前記指示範囲に割
り付けられている情報を発生する手段とを備えた情報提
供装置。
【請求項１５】前記表示装置において、情報を表示する
表示面に情報を表示しない特定のエリアを前記表示面内
の周辺領域に設けた請求項３の情報表示装置。