JPH10320095A - 映像探索方法及び装置，映像処理定義方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】遠隔運転監視システムなどにおいて、操作者が
操作の対象や操作結果を直感的に把握できるようにする
こと。 【解決手段】カメラ６０からの映像が表示されている映
像表示領域２００上で、ボタン414の表示位置を、指を
強く押しながら横に動かすと、マンマシンサーバ２０
は、指が動く度に、制御用計算機５０を介してつまみ４
２４を制御するアクチュエータに指令を出し、指の動き
にあわせてつまみ４２４を実際に動かす。つまみ４２４
が動いた結果として、メータ４２２の針も触れる。つま
み４２４やメータ４２２の針が動く様子はカメラ６０に
よって撮影され、映像表示領域２００上の映像に映しだ
される。これによって操作者は自分の指でつまみ４２４
を動かしているような感覚を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ映像（以
下、単に映像と呼ぶ）を利用したマンマシンインタフェ
ース（以下、単にマンマシンと呼ぶ）に関し、特にビデ
オカメラから入力された映像（以下、単にカメラ映像と
呼ぶ）に対して操作を施すことにより、遠隔にある事物
を監視，操作するに適した映像操作方法及び装置，映像
探索方法及び装置，映像処理定義方法及び装置、およ
び、発電プラント，化学プラント，鉄鋼圧延機，ビル，
道路，上下水システムなどの遠隔運転監視方法及びシス
テムに関する。

【０００２】

【従来の技術】原子力発電所に代表される大規模なプラ
ントシステムを安全に運転していくためには、適切なマ
ンマシンをもった運転監視システムが不可欠である。プ
ラントは、操作者の「監視」「判断」「操作」の３つの
作業によって運転維持される。運転監視システムは操作
者のこうした３つの作業が円滑にできるようなマンマシ
ンを備えている必要がある。「監視」作業では、プラン
トの状態が即座にまた正確に把握できる必要がある。
「判断」時には、判断の材料，根拠となる情報を操作者
が素早く参照できなければならない。「操作」時には、
操作の対象，操作の結果が直感的にわかり、操作者の意
図する操作が正確かつ迅速に実行できるような操作環境
が不可欠である。

【０００３】従来の運転監視システムのマンマシンを、
「監視」「判断」「操作」の各作業ごとに概観してみ
る。

【０００４】（１）監視 プラント内の状態は、圧力や温度などを検知する各種の
センサからのデータと、プラントの各所に配置されたビ
デオカメラからの映像とを監視することによって把握で
きる。各種センサからの値は、グラフィックディスプレ
イなどに様々な形態で表示される。トレンドグラフやパ
ーグラフなども多く利用されている。一方、ビデオカメ
ラからの映像は、グラフィックディスプレイとは別な専
用のモニタに表示されることが多い。プラント内には４
０個以上のカメラが設置されることも少なくない。操作
者はカメラを切り替えたり、カメラの方向やレンズを制
御しながらプラント各所の監視を行う。通常の監視業務
では、カメラからの映像を操作者が見ることは滅多に無
く、カメラ映像の利用率は低いのが現状である。

【０００５】（２）判断 プラントに何か異常が発生したときには、操作者はセン
サやカメラから得られる多量の情報を総合的に調べて、
プラント内で何が起きているかを素早く的確に判断しな
ければならない。現状の運転監視システムでは、各種セ
ンサからのデータや、カメラからの映像が独立に管理さ
れているため、それらを関連づけながら参照するのが難
しく、操作者に大きな負担をかけている。

【０００６】（３）操作 操作は操作盤上のボタンやレバーを用いて行う。最近で
は、グラフィックディスプレイとタッチパネルを組み合
わせて、画面上に表示したメニューや図形を選択するこ
とによって、操作を行えるようなシステムも多くなって
きた。しかしながら、操作盤上のボタンやレバー、また
はディスプレイ上のメニューや図形といったものは、現
場の事物とは切り離された抽象的な形態であり、操作者
がそれらの機能や、操作の結果を想起するのが困難な場
合がある。すなわち、所望の操作がどのレバーを引けば
可能なのかがすぐわからなかったり、あるボタンを押す
とプラント内のどの機器にどんな操作指令が送られるの
かが直感的につかみにくいといった問題がある。また、
操作盤がカメラなどのモニタとは独立に構成されている
ため装置が大型化するという問題もある。

【０００７】

【発明が解決しようとする課題】上述のように、従来技
術には下記の問題があった。

【０００８】（１）操作盤上のキー，ボタン，レバーに
よる遠隔操作や、画面上のメニューやアイコンを使った
遠隔操作では、現場の臨場感が伝わりにくいため、実際
の操作対象や操作結果を直感的につかみにくく、誤操作
する可能性が高い。

【０００９】（２）操作者が直接カメラの切り替や、遠
隔操作をしなければならず、多数のカメラを用いて監視
を行う場合、見たいところを映してくれるカメラを簡単
に選択できない。また、遠隔にあるカメラを操作して、
見たいところがよく見えるようにするのに手間がかか
る。

【００１０】（３）ビデオカメラからの映像を映す画面
と、他のデータを参照する画面と、操作するための画面
または装置とが別になったり、全体の装置が大きくな
る、映像と他のデータとの相互参照がやりにくいなどの
問題がある。

【００１１】（４）カメラ映像は臨場感を伝える効果は
高いが、情報量が多く、抽象化されていないため、操作
者がカメラ映像内の構造を直感的につかみにくいという
欠点がある。一方、グラフィックスによる表示は、重要
な部分を強調し、不必要な部分を簡略化し、本質的な部
分だけを抽象化して表示することができるが、実際の事
物や事象と切り離された表現となり、操作者がグラフィ
ック表現と実際の事物，事象との関係を容易に想起でき
なくなる恐れがある。

【００１２】（５）カメラからの映像情報と、他の情報
(例えば、圧力や温度などのデータ)とが全く独立に管理
されており、相互参照が簡単にできない。このため状況
の総合判断することが難しい。

【００１３】本発明の目的は、前記従来技術の問題を解
決し、下記（１）から（６）の少なくとも一つを達成す
ることにある。

【００１４】（１）遠隔運転監視システム等において、
運転員が操作の対象や操作結果を直感的に把握できるよ
うにすること。

【００１５】（２）カメラの選択や、カメラの遠隔操作
に煩わされることなく、監視したいところの映像を簡単
に見れるようにすること。

【００１６】（３）遠隔運転監視システムなどの小型
化，省スペース化を図ること。

【００１７】（４）カメラ映像とグラフィックスそれぞ
れの長所を生かし、短所を補うこと。

【００１８】（５）異種の情報を素早く相互参照できる
ようにすること。例えば、カメラ映像で現在監視してい
る部分の温度をすぐに参照できるようにすることなど。

【００１９】（６）上記目的を達成するようなマンマシ
ンを簡単に設計，開発できるようにすること。

【００２０】

【課題を解決するための手段】本発明によれば前記目的
（１）〜（５）は下記ステップを有する方法によって解
決される。

【００２１】（１）オブジェクト指定ステップ 画面上に表示されたビデオ映像内の事物（以下では、オ
ブジェクトと呼ぶ）をポインティングデバイス（以下、
ＰＤと呼ぶ）などの入力手段を使って指定する。ビデオ
映像は遠隔に置かれたビデオカメラから入力したり、蓄
積媒体（光ビデオディスク，ビデオテープレコーダ，計
算機のディスクなど）から再生したりする。ポインティ
ングデバイスとしては、例えばタッチパネル，タブレッ
ト，マウス，アイトラッカ，ジェスチャ入力装置などを
用いる。オブジェクトの指定前に、映像内の指定可能な
オブジェクトを、グラフィックスの合成表示により明示
してもよい。

【００２２】（２）処理実行ステップ 前記オブジェクト指定ステップによって指定されたオブ
ジェクトに基づいて処理を実行する。処理の内容には例
えば下記がある。

【００２３】・指定されたオブジェクトを動作させるま
たは動作した場合と同様の結果になるような操作指令を
送る。例えば、指定されたオブジェクトがボタンである
場合、実際にそのボタンを押し下げるまたは、押し下げ
られた場合と同様の結果になるような操作指令を送る。

【００２４】・指定されたオブジェクトに基づいて映像
を切り替える。例えば、遠隔にあるカメラを操作して、
指定されたオブジェクトがもっとよく見えるようにす
る。カメラの向きを動かして、映像の中央に指定された
オブジェクトが映るようにしたり、レンズを制御して指
定されたオブジェクトが大きく映るようにする。他の例
では、指定されたオブジェクトを別な角度から捉えるカ
メラの映像に切り替えたり、指定されたオブジェクトに
関連するオブジェクトを映っているカメラ映像に切り替
えたりする。

【００２５】・指定されたオブジェクトが明示されるよ
うに、グラフィックスを映像上に合成表示する。

【００２６】・指定されたオブジェクトに関連する情報
を表示する。例えば、指定されたオブジェクトのマニュ
アル，メンテナンス情報，構造図などを表示する。

【００２７】・指定されたオブジェクトに関して実行可
能な処理の一覧をメニューで表示する。メニューを図形
で表現することもできる。すなわち、いくつかの図形を
映像上に合成表示し、合成表示された図形をＰＤで選択
し、選択された図形に基づいて次の処理を実行する。

【００２８】また、本発明によれば前記目的（２）はテ
キストまたはグラフィックスを入力して探索キー指定す
る探索キー指定ステップと、前記探索キー指定ステップ
によって指定された探索キーに適合する事物が表示され
ているビデオ映像を表示する映像探索ステップを有する
方法によっても解決される。

【００２９】本発明によれば前記目的（６）は、ビデオ
カメラから入力された映像を表示する映像表示ステップ
と、前記映像表示ステップによって表示された映像上で
領域を指定する領域指定ステップと、領域指定ステップ
によって指定された領域に処理を定義する処理定義ステ
ップとを有する方法によって解決される。

【００３０】画面上のビデオ映像内のオブジェクトを直
接指定して、指定したオブジェクトに操作指令を送る。
操作者はオブジェクトの実写の映像を見ながら、操作指
示を行う。操作指示によって、オブジェクトに目に見え
るような動きがあれば、その動きはカメラ映像にそのま
ま反映される。このように、実写の映像に対して直接操
作を行うことによって、操作者は実際に現場で作業して
いる感覚で遠隔操作できる。これによって、操作者は操
作の対象や操作の結果を直感的に把握でき、誤操作を減
らすことができる。

【００３１】画面上で指定された映像内のオブジェクト
に基づいて、カメラを選択したり、カメラに操作指令を
送る。これによって、映像内のオブジェクトを指定する
だけで、そのオブジェクトを監視するのに最適な映像を
得ることができる。すなわち、操作者は見たいものを指
定するだけでよく、カメラを選択したり、カメラを遠隔
操作したりする必要がない。

【００３２】映像内のオブジェクトに直接操作を加える
際に、映像に適宜グラフィックスを合成表示する。例え
ば、ユーザがオブジェクトを指定したら、どのオブジェ
クトが指定されたのかを明示するようなグラフィックス
表示を行う。これによって、操作者は自分の意図する操
作が確実に行われていることを確認できる。また、指定
したオブジェクトに対して複数の処理を実行可能な場合
は、所望の処理を選択するためのメニューを表示する。
このメニューは、図形によって構成される場合もある。
メニューとして表示された図形を選択することにより、
操作者は実際にオブジェクトを操作しているという感覚
をより強く持つことができる。

【００３３】画面上で指定された映像内のオブジェクト
に基づいて、情報を表示する。これによって、映像内の
オブジェクトに関連する情報を、オブジェクトを指定す
るだけで、参照することができる。映像と他の情報とを
同時に参照しながら、状況判断を下すことが容易にでき
る。

【００３４】テキストまたは図形を探索キーとして入力
し、前記入力した探索キーに適合する事物が映っている
映像を表示する。テキストは、キーボードなどの文字入
力装置，音声認識装置，手書き文字認識装置などから入
力する。また図形はＰＤを用いて入力するか、すでに何
らかの方法で作成された図形データを入力する。また、
映像内にあるテキストまたは図形を探索キーとして指定
してもよい。探索対象の映像がカメラ映像の場合は、探
索キーに基づいて、カメラを選択し、さらにカメラの向
きやレンズの制御を行い、探索キーが映るようにする。
探索キーに適合する事物が映っている映像にグラフィッ
クスを適宜合成することによって、探索キーに適合する
部分が映像内のどこにあるかを明示してもよい。このよ
うに、探索キーに基づいて映像を表示することにより、
操作者は見たいものを言葉や図形で示すだけで、見たい
映像を得ることができる。

【００３５】映像を表示し、前記映像上で領域を指定
し、前記指定した領域に対して処理を定義することによ
って、映像内の事物が指定されたときに実行すべき処理
の内容を定義する。これによって、映像内の事物を直接
操作するようなマンマシンを作成できる。

【００３６】

【発明の実施の形態】本発明の一実施例であるプラント
運転監視システムを図１から図２４までを用いて説明す
る。

【００３７】本実施例の全体構成を図１を用いて説明す
る。図１において、１０はグラフィックスや映像を表示
する表示手段となるディスプレイ、１２はディスプレイ
１０の全面に取付けられた入力手段となる感圧タッチパ
ネル、１４は音声を出力するためのスピーカ、２０は操
作者がプラントの監視、および運転操作を行うためのマ
ンマシンを提供するマンマシンサーバ、３０は複数の映
像入力および複数の音声入力から一つの映像入力および
音声入力を選択するためのスイッチャ、５０はプラント
内の機器を制御したり、センサからのデータを収拾する
制御用計算機、５２は制御用計算機５０と、マンマシン
サーバ２０やその他の端末，計算機類とを接続する情報
系ローカルエリアネットワーク（以下ＬＡＮと称す）
（例えばIEEE802.3 で規定されるようなＬＡＮ）、５４
は制御用計算機５０と、制御対象である各種機器、およ
び各種センサとを接続する制御系ＬＡＮ(例えばIEEE80
2.4で規定されるようなＬＡＮ）、６０，７０，８０は
プラント内の各所に置かれ、被制御物となるオブジェク
トを撮像し、入力するための産業用ビデオカメラ（以下
単にカメラと呼ぶ）、６２，７２，８２は、制御用計算
機５０からの指令に従って、それぞれカメラ６０，７
０，８０の向きやレンズを制御するためのコントロー
ラ、６４，７４，８４は、それぞれカメラ６０，７０，
８０に取付けられたマイク、９０，９２はプラント各部
の状態を知るための各種センサ、９４，９６は制御用計
算機５０の指令に従って、プラント内の各種の機器を制
御するアクチュエータである。

【００３８】感圧タッチパネル１２はＰＤの一種であ
る。タッチパネル１２上の任意の位置を指で押すと、押
された位置座標と、押された圧力をマンマシンサーバに
報告する。タッチパネル１２はディスプレイ１０の全面
に取付けられる。タッチパネル１２は透明で、タッチパ
ネル１２の後ろにあるディスプレイ１０の表示内容を見
ることができる。これにより、操作者はディスプレイ１
０上に表示されたオブジェクトを指で触る感覚で指定す
ることができる。本実施例では、タッチパネル１２の操
作として、（１）軽く押す、（２）強く押す、（３）ド
ラッグするの３種類を用いる。ドラッグするとは、タッ
チパネル１２を指で押したまま指を動かすことをいう。
本実施例ではＰＤとして感圧タッチパネルを用いたが、
他のデバイスを用いてもよい。例えば、感圧でないタッ
チパネル，タブレット，マウス，ライトペン，アイトラ
ッカ，ジェスチャ入力装置，キーボードなどを用いても
よい。

【００３９】カメラ６０，７０，８０で撮影されている
複数の映像は、スイッチャ３０で一つに選択されマンマ
シンサーバ２０を介してディスプレイ１０上に表示され
る。マンマシンサーバ２０はRS232Cなどの通信ポートを
介してスイッチャ３０を制御し、所望のカメラからの映
像を選択する。本実施例では、映像を選択すると、同時
にマイク６４，７４，８４などからの入力音声も選択さ
れる。すなわち、カメラを選択すると、選択されたカメ
ラに付随するマイクからの入力に音声も切り替わる。マ
イクから入力された音声はスピーカ１４から出力され
る。もちろん、マイクとカメラからの入力を独立に切り
替えることもできる。マンマシンサーバ２０はカメラか
らの映像にグラフィックスを合成することができる。ま
た、マンマシンサーバ２０は情報系ＬＡＮ５２を介して
制御用計算機に操作指令を送りカメラの向きやレンズの
制御を指定する。このカメラの向きやレンズの制御をカ
メラワークと呼ぶことにする。

【００４０】さらに、マンマシンサーバは、操作者の指
令に従って、制御用計算機５０を介して、センサ９０，
９２などからデータを入力したり、アクチュエータ９
４，９６などを遠隔操作する。マンマシンサーバ２０
は、アクチュエータに操作指令を送ることによって、プ
ラント内の各種機器の動きや機能を制御する。

【００４１】図２を用いてマンマシンサーバの構成を説
明する。図２において、３００はＣＰＵ、３１０はメイ
ンメモリ、３２０はディスク、３３０はＰＤ、タッチパ
ネル１２，スイッチャ３０などを接続するためのＩ／
Ｏ、３４０はCPU300によって生成された表示データを格
納するグラフィックス用フレームバッファ、３６０は入
力されたアナログの映像情報をデジタル化するデジタイ
ザ、３７０はデジタイザ３６０の出力であるデジタル化
された映像情報を記憶するビデオ用フレームバッファ、
３８０はグラフィック用フレームバッファ３４０とビデ
オ用フレームバッファの内容を合成してディスプレイ１
０に表示するブレンド回路である。

【００４２】カメラから入力した映像情報はマンマシン
サーバ２０で生成したグラフィックスと合成した後、デ
ィスプレイ１０に表示する。グラフィック用フレームバ
ッファ３４０にはディスプレイ１０上の各画素に対応し
て、Ｒ，Ｇ，Ｂ各色のデータと、α値と呼ばれるデータ
を持つ。α値は、ビデオ用フレームバッファ３７０内の
映像情報と、グラフィック用フレームバッファ３４０内
のグラフィック表示データとの合成の仕方をディスプレ
イ１０の各画素ごとに指定する。ブレント回路３８０の
機能は、 ｄ＝ｆ（ｇ，ｖ，α） で表せる。ただし、ｇとαはそれぞれグラフィック用フ
レームバッファ３４０内の一つの画素の色情報とα値で
あり、ｖはビデオ用フレームバッファ３７０内のｇに対
応する画素の色情報、ｄはｇとｖとを合成した結果の画
素の色情報である。本システムでは関数ｆとしては下式
を用いる。

【００４３】 ｆ(ｇ，ｖ，α）＝２５５｛αｇ＋（１−α）ｖ｝ もちろん、関数ｆとして他のものを用いてもよい。

【００４４】グラフィック用フレームバッファ３４０は
いわゆるダブルバッファと呼ばれる構成になっている。
ダブルバッファは、２画面分のバッファをもち、ディス
プレイ１０に表示するバッファを随時選択できる。ディ
スプレイ１０に表示されている方のバッファを表バッフ
ァ、表示されていない方のバッファを裏バッファと呼ぶ
ことにする。表バッファと裏バッファとの切り替えは瞬
時にできる。裏バッファにグラフィックスを描画し、描
画が終了した時点で裏バッファを表バッファに切り替え
ることにより描画時のちらつきをすくなくできる。どち
らのバッファの内容もＣＰＵから随時読み出したり書き
出したりできる。

【００４５】図３にディスプレイ１０の表示画面構成の
一例を示す。図３において、１００はディスプレイ１０
の表示画面、１１０はシステム全体に関するコマンドを
指定するためのメニュー領域、１５０はセンサからのデ
ータや、プラントに関する様々な資料やデータを表示す
るためのデータ表示領域、１３０はプラント全体や、各
部分の構成図，構造図，設計図面などを表示する画面表
示領域、２００はカメラから入力された映像を表示する
映像表示領域である。

【００４６】図４は図面表示領域１３０の表示形態の一
例である。図４において、１３２はセンサのある位置を
明示するコマンドを発行するためのメニュー、１３４は
操作者が指定した図面上の一つのオブジェクトである。
操作者が画面表示領域１３０に表示された図面内のオブ
ジェクトを選択すると、そのオブジェクトに関連するセ
ンサからの情報がデータ表示領域１５０または映像表示
領域２００上に表示される。例えば、指定したオブジェ
クトに関連するセンサとして、カメラが定義されている
と、そのカメラから入力された映像が映像表示領域２０
０に表示される。また、例えば、指定されたオブジェク
トに関連するセンサとして油圧センサが定義されている
場合には、現在の油圧値を明示するグラフィックスや、
これまでの油圧値の変化を示すトレンドグラフがデータ
表示領域１５０に表示される。タッチパネル１２上を指
で強く押すと、押した位置に表示されている図面上のオ
ブジェクトが指定される。指定したオブジェクトに関連
するセンサが定義されていない場合は何も起こらない。
図４ではオブジェクト１３４の表示位置を指で強く押し
たところを示している。オブジェクトは指で押される
と、オブジェクトが指定されたことを操作者が確認でき
るように強調表示される。図４に示す例では、オブジェ
クト１３４にはオブジェクト１３４を映すカメラ６０
と、オブジェクト１３４の周囲の音を入力するためのマ
イク６４が、関連するセンサとして定義されており、オ
ブジェクト１３４が指定されると、映像表示領域２００
にオブジェクト１３４を映す映像が表示され、スピーカ
１４からはオブジェクト１３４の周囲の音が出力され
る。

【００４７】図５に、オブジェクト１３４が図面表示領
域１３０上で指定されたときの映像表示領域２００の一
表示形態と、プラント内に配置されたオブジェクト１３
４との対応関係を示す。図５において、２０２〜２１０
は、現在表示されている映像を撮影しているカメラのカ
メラワークを設定するためのメニュー、２２０は映像内
の指定可能なオブジェクトを明示するためのメニューで
ある。２０２はカメラの向きを設定するためのメニュー
である。メニュー２０２を選択することにより、カメラ
を左右にパンさせたり、上下にパンさせたりできる。２
０４はカメラのレンズを制御して映像をズームインする
ためのメニュー、２０６はカメラのレンズを制御して映
像をズームアウトするためのメニュー、２０８はカメラ
ワークを一つ前のカメラワークに設定しなおすためのメ
ニュー、２１０は最初のカメラワークに設定しなおすた
めのメニューである。

【００４８】４００〜４２４はオブジェクト１３４に付
随する。または周辺にある各種オブジェクトである。４
００はバルブ、４１０，４２０は、オブジェクト１３４
上に書かれた文字表示、４１２は電圧を示すメータ、４
１４は電源を入れるためのボタン、４１６は電源を切る
ためのボタン、４２２は油圧を示すメータ、４２４は油
圧を調節するスライダのつまみである。バルブ４００，
ボタン４１４，４１６、つまみ４２４は実際に手で操作
することのできる操作器であるとともに、マンマシンサ
ーバ２０から操作指令を出すことによって遠隔操作もで
きる操作器である。

【００４９】映像表示領域２００内を操作者が指で軽く
押すと、指の位置に表示されているオブジェクトが見や
すくなる様にカメラワークが設定される。図６は、映像
表示領域２００で、メータ４１２に指で軽く触ると、メ
ータ４１２が映像の真ん中にくるようにカメラワークが
設定される様子を示している。図６左図のようにメータ
４１２が操作者に指定されると、メータ４１２が映像の
中央に映るようにカメラ６０の向きが設定され、さらに
メータ４１２がズームインされるようにカメラ６０のレ
ンズが制御され、映像が図６右図に示すように変化す
る。操作者は単に画面上でオブジェクトに触れるだけ
で、そのオブジェクトがよりはっきり見えるようなカメ
ラワークを設定でき、カメラの遠隔操作に煩わされるこ
とがない。図６において、５０２はメータ４１２が指定
されたことを明示するためのグラフィックエコーであ
る。グラフィックエコー５０２は操作者がタッチパネル
１２から指をはなすと消去される。このように、カメラ
映像上にグラフィックの表示を合成することにより、マ
ンマシンを改善できる。

【００５０】図７は、映像表示領域２００は、バルブ４
００に指で軽く触ると、バルブ400が映像の真ん中にく
るようにカメラワークが設定される様子を示している。
図７左図のようにバルブ４００が操作者に指定される
と、図６右図に示すようにバルブ４００が中央に大きく
映るような映像に変化する。図７において、５０４はバ
ルブ４００が指定されたことを明示するためのグラフィ
ックエコーである。グラフィックエコー５０４は操作者
がタッチパネル１２から指をはなすと消去される。他の
オブジェクト４１０，４１４，４１６，４２０，４２
２，４２４に関しても同様の操作が可能である。

【００５１】映像表示領域２００内を操作者が指で強く
押すと、指の位置に表示されているオブジェクトを操作
できる。図８〜図１０にオブジェクトを操作する例を示
す。図８はボタン４１４を操作する例を示している。映
像表示領域２００上で、ボタン４１４が表示されている
位置を指で強く押すと、マンマシンサーバ２０から制御
用計算機５０を介して、遠隔にあるボタン４１４を操作
するアクチュエータに、ボタン４１４を押し下げるとい
う操作指令が送られ、遠隔の現場にあるボタン４１４が
実際に押し下げられる。ボタン４１４が押し下げられ、
その結果としてメータ４１２の針がふれる様子はカメラ
６０によって映像表示領域２００に映しだされる。これ
によって、操作者は画面上で実際にボタンを押し下げた
かのような感覚を得る。

【００５２】図９はタッチパネル１２上での指のドラッ
グによってスライダのつまみ４２４を操作する例を示し
ている。映像表示領域２００上で、ボタン４１４が表示
されている位置を強く指で押しながら指を横に動かす
と、映像に映しだされているつまみ４２４も指の動きに
合わせて動く。つまみ４２４が動いた結果、メータ422
の針も動く。このとき、マンマシンサーバ２０は、指が
動く度に、制御用計算機５０を介してつまみ４２４を制
御するアクチュエータに指令を出し、指の動きにあわせ
てつまみ４２４を実際に動かす。これによって、操作者
は自分の指でつまみ４２４を実際に動かしているような
感覚を得る。

【００５３】図１０は、オブジェクトに対して複数の操
作が可能な場合に、映像上に合成表示した図形を選択す
ることによって、所望の操作を選択する例を示す。図１
０において、５１０，５２０は、操作者がバルブ４００
の表示位置を指で強く押したときに映像に合成表示され
る図形である。操作者が図形５１０を強く押すと、マン
マシンサーバ２０は、制御用計算機５０を介して、アク
チュエータに操作指令を出し、バルブ４００を左に回転
させる。逆に、図形５１２を強く指で押すと、マンマシ
ンサーバはバルブ４００を右に回転させる操作指令をア
クチュエータに送る。バルブ４００の回転する様子はカ
メラ６０によって撮影される映像表示領域２００に映し
だされる。バルブ４００の回転に合わせて、図形５１
０，５１２の表示を回転させてもよい。

【００５４】図１１に操作可能なオブジェクト明示する
方法を示す。映像に映っている事物すべてが操作可能と
は限らないので、操作可能なオブジェクトを明示する手
段が必要になる。図１１において、５１４〜５２４は、
それぞれオブジェクト４００，４１２，４１４，４１
６，４２２，４２４が操作可能なことを明示するために
表示されたグラフィックスである。本実施例の場合は、
オブジェクトの外挿矩形を表示している。もちろん、オ
ブジェクトの明示には、もっと実物に近いグラフィック
スを表示するなど、他の様々な表示方法が考えられる。

【００５５】図１２は、テキストを入力して、そのテキ
ストが表示されている映像を探索する例を示す。図１２
において、５３０は映像に合成表示されたグラフィック
ス、６００はテキスト探索を実行するための探索シー
ト、６１０は探索キーによって適合する別の映像を探索
するための次メニュー、６２０は探索を終了することを
指定するための終了メニュー、６３０は探索メニューに
入力するためのテキスト入力領域である。メニュー領域
１１０で探索を指定するメニューを選択すると、探索シ
ート６００が表示画面１００上に表示される。テキスト
入力領域６３０にキーボードから探索キーとなるテキス
トを入力し、リターンキーを押すと、探索が開始され
る。マンマシンサーバは探索キーを含むような事物を映
せるカメラを探索し、探索したカメラを探索キーがはっ
きり見えるようなカメラワークに設定し、探索したカメ
ラからの映像を映像表示領域２００に表示する。映像内
の探索キーに適合する部分にはグラフィックス５３０を
合成表示して、探索キーに適合する部分を明示する。テ
キストを探索キーとした映像探索によって、操作者は言
葉によって、監視したい事物を映しだすことができる。
この方法では、カメラを切り替えたり、カメラの遠隔操
作をすることがなく、すばやく監視対象をみつけること
ができる。本実施例ではテキストの入力にキーボードを
用いているが、音声認識装置や手書き文字認識装置など
他の入力手段を用いてもよい。また、本実施例では、探
索キーとしてテキストを用いたが、探索キーとして図形
を用い、探索キーの図形と適合するような図形が表示さ
れているような映像を探索するようにしてもよい。

【００５６】本実施例の実現方法を図１３から図２４を
用いて説明する。本実施例の主たる機能は、映像内のオ
ブジェクトを指定して、そのオブジエクトに基づいた動
作を実行する機能にある。この機能を実現するプログラ
ムの流れ図を図１７に示す。映像表示領域２００上でタ
ッチパネル１２が押されると、その押された位置（操作
者がタッチパネルなどのＰＤを使って指定した画面上の
位置をイベント位置と呼ぶことにする）に映っているオ
ブジェクトを同定する（ステップ１０００）。オブジェ
クトが同定できた場合（イベント位置にオブジェクトが
存在する場合）（ステップ１０１０）、そのオブジェク
トに対応して定義されている動作を実行する（ステップ
１０２０）。

【００５７】イベント位置に映っているオブジェクト
は、撮影対象のモデルとカメラ情報とを参照して同定す
る。撮影対象のモデルは、撮影対象となっているオブジ
ェクトの形状や、位置に関するデータである。カメラ情
報は、撮影対象のオブジェクトをカメラがどのように撮
影しているか、すなわちカメラの位置，姿勢，画角，向
きなどのデータである。

【００５８】撮影対象のモデル化の方法には様々なもの
が考えられる。本実施例では、(１)３次元モデル，
（２）２次元モデルの２つのモデルを併用する。前記２
つのモデルの概要と、長所，短所を下記にまとめる。

【００５９】（１）３次元モデル 撮影対象の形状や位置を３次元座標系で定義したモデ
ル、長所は任意のカメラワークに対応してオブジェクト
を同定できる点。すなわち、カメラを自由に操作しなが
らオブジェクトを操作できる。短所は、モデルを３次元
空間で定義しなければならないため、モデルの作成及び
オブジェクトの同定処理が２Ｄモデルに比べて複雑にな
る点。ただし、最近では、プラントの設計や、プラント
内の装置の設計，配置にＣＡＤを利用する場合も多く、
それらのデータを流用すれば３次元モデルの作成を容易
にできる。

【００６０】（２）２次元モデル 特定のカメラワークごとに、２次元座標系（ディスプレ
イ平面）でオブジェクトの形状や位置を定義するモデ
ル。長所はモデルの作成が容易な点。画面上で図形を描
く要領でモデルを定義できる。短所は、あらかじめモデ
ルを定義してあるカメラワークの映像に対してしか操作
できない点。カメラ操作の自由度を上げるには、より多
くのカメラワークごとに、対応する平面上でオブジェク
トの形状や位置を定義する必要がある。多くの運転監視
システムでは、あらかじめ監視する場所が何ヶ所かに決
っている場合が多い。その場合には、カメラワークも何
種類かに決まるため、２次元モデルの短所は問題になら
ない。

【００６１】３次元モデルに基づいてオブジェクトを同
定する方法を図１３から図１６を用いて説明する。図５
に示したカメラ６０の撮影対象を、３次元直交座標系ｘ
ｙｚ（世界座標系と呼ぶ）でモデル化した例を図１３に
示す。ここでは、各オブジェクトの形状を平面，直方
体，円筒などでモデル化している。もちろん、球や四面
体などより多くの種類の３次元基本形状を用いてもよ
い。また、基本形状の組み合せだけでなくより精密な形
状モデルを用いてもよい。操作対象となるオブジェクト
４００，４１０，４１２，４１４，４１６，４２０，４
２２，４２４は、モデル上ではそれぞれ平面８００，８
１０，８１２，８１４，８１６，８２０，８２２，８２
４としてモデル化されている。

【００６２】図１４を用いて、カメラによって撮影され
た映像と、３次元モデルとの対応関係を説明する。カメ
ラによる撮影は、３次元空間内に配置されたオブジェク
トを２次元平面（映像表示領域２００）に投影する操作
である。すなわち、映像表示領域２００に表示された映
像は、３次元空間内に配置されたオブジェクトを２次元
平面に透視投影したものである。画面上にとられた２次
元直交座標系ＸｓＹｓを画面座標系と呼ぶことにする
と、カメラによる撮影は、世界座標系上の一点（ｘ，
ｙ，ｚ）を画面座標系上の一点（Ｘｓ，Ｙｓ）へ写像す
る数（１）として定式化できる。

【００６３】

【数１】

【００６４】数（１）における行列Ｔをビュー変換行列
と呼ぶ。ビュー変換行列Ｔの各要素は、カメラ情報（カ
メラの位置，姿勢，向き，画角）および映像表示領域２
００の大きさが与えられれば一意に決定される。カメラ
情報は世界座標系で与える。図１４において、カメラの
位置はレンズの中心Ｏｅの座標、カメラの姿勢はベクト
ルＯｅＹｅ、カメラの向きはベクトルＯｅＺｅ、に対応
する。

【００６５】オブジェクトの同定処理は画面座標系上の
一点Ｐが指定されたときに、世界座標系上のどの点が画
面座標系上の点Ｐに投影されたのかを決定する処理であ
る。図１５に示すように、カメラのレンズの中心Ｏｃと
画面座標系上の点Ｐとを結んだ直線の延長線上にある点
は、全て点Ｐに投影される。その直線上の点の内、カメ
ラによって実際に映像表示領域２００上に投影される点
は、レンズの中心Ｏｅに最も近いオブジェクト１と直線
との交点である。図１５においては、オブジェクト１と
直線８４０との交点Ｐ１が、カメラによって、映像表示
領域２００上の一点Ｐに投影される。すなわち、イベン
ト位置がＰであるとすると、オブジェクト１が同定され
ることになる。

【００６６】カメラ情報からビュー変換行列Ｔを求める
技術や、ビュー変換行列Ｔに基づいて世界座標系で定義
されたモデルを画面座標系に透視投影して表示する技術
はグラフィックス分野ではよく知られた技術である。ま
た、透視投影に当り、カメラに近いオブジェクトの面を
画面に投影し、他のオブジェクトによってカメラから隠
されている面を画面に投影しない処理は、陰面除去（hi
ddensurfaceelimination）または可視面決定（Visible
−Surface Determination）と呼ばれ、すでに多くのア
ルゴリズムが開発されている。これらの技術は、例え
ば、Foley.vanDam.Feiner.Hughes著、"Computer Graphi
cs Principles andPractice”Addison Wesley発行(１９
９０)や、Newman.Sproull著、“Principlesof Interact
ive Computer Graphics”、McGraw−Hill発行（１９７
３）などに詳しく解説されている。また、多くのいわゆ
るグラフィックワークステーションでは、カメラ情報か
らビュー変換行列の設定，透視投影，陰面除去などのグ
ラフィック機能がハードウエアやソフトウエアによって
あらかじめ組み込まれており、それらを高速に処理する
ことができる。

【００６７】本実施例ではこれらのグラフィック機能を
利用してオブジェクトの同定処理を行う。３次元モデル
において、操作の対象となるオブジェクトの面をあらか
じめ色分けし、色によってその面がどのオブジェクトに
属するのかを識別できるようにしておく。例えば、図１
３において、平面８００，８１０，８１２，８１４，８
１６，８２０，８２２，８２４にそれぞれ別な色を設定
しておく。オブジェクトごとに設定された色をＩＤ色と
呼ぶことにする。このＩＤ色付３次元モデルを用いた同
定処理の手順を図１６に示す。まず、現在のカメラ情報
を問い合わせ（ステップ１３００）、問い合わせたカメ
ラ情報に基づいてビュー変換行列を設定する（ステップ
１３１０）。マンマシンサーバ２０では常に現在のカメ
ラの状態を管理しておき、カメラ情報の問い合わせがあ
ると、現在のカメラ状態に応じてカメラ情報を返す。も
ちろん、現在のカメラ状態をカメラ制御用コントローラ
で管理するようにしてもよい。ステップ１３２０では、
ステップ１３１０で設定されたビュー変換行列に基づい
て、色分けしたモデルをグラフィック用フレームバッフ
ァ３４０の裏バッファに描画する。この描画では透視投
影および陰面除去処理が行われる。裏バッファに描画す
るため、描画した結果はディスプレイ１０には表示され
ない。描画が終了したら、イベント位置に対応する裏バ
ッファの画素値を読み出す（ステップ１３３０）。画素
値は、イベント位置に投影されたオブジェクトのＩＤ色
になっている。ＩＤ色はオブジェクトと一対一に対応し
ており、オブジェクトを同定できる。

【００６８】図１８から図２４を用いて、２次元モデル
に基づいてオブジェクトを同定する方法を説明する。２
次元モデルでは、世界座標系から画面座標系に投影され
た後のオブジェクトの位置や形状を定義する。カメラの
向きや画角が変れば、画面座標系に投影されたオブジェ
クトの位置や形状が変化する。従って、２次元モデルで
は、個々のカメラワークごとに、オブジェクトの形状や
位置のデータを持つ必要がある。本実施例では、オブジ
ェクトを矩形領域でモデル化する。すなわち、あるカメ
ラワークにおけるオブジェクトは、画面座標系における
矩形領域の位置と大きさによって表現される。もちろ
ん、他の図形（例えば、多角形や自由曲線など）を用い
てモデル化してもよい。

【００６９】図１８，図１９，図２０にカメラワークと
２次元モデルとの対応関係を示す。各図の左図に、個々
のカメラワークに対する映像表示領域２００の表示形態
を示す。また、各図の右図に個々のカメラワークに対応
するオブジェクトの２次元モデルを示す。図１８左図に
おいて、映像上のオブジェクト４１０,４１２,４１４，
４１６，４２０，４２２，４２４は、右図の２次元モデ
ルではそれぞれ矩形領域７１０，７１２，７１４，７１
６，７２０，７２２，７２４として表現される。一つの
カメラワークに対応して、オブジェクトをモデル化した
矩形の集まりを領域フレームと呼ぶ。カメラワーク１に
対応する領域フレーム１は矩形領域710，７１２，７１
４，７１６，７２０，７２２，７２４から構成される。
図１９，図２０に異なるカメラワークに対する領域フレ
ームの例を示す。図１９において、カメラワーク２に対
応する領域フレーム２は、矩形領域７４０,７４２,７４
６，７４８から構成される。矩形領域７４０，７４２，
７４６，７４８はそれぞれオブジェクト４１２，４１
６，４２４，４２２に対応する。同様に、図２０におい
て、カメラワーク３に対応する領域フレーム３は、矩形
領域７３０から構成される。矩形領域７３０はオブジェ
クト４００に対応する。同じオブジェクトでも、カメラ
ワークが異なれば、別な矩形領域に対応する。例えば、
オブジェクト４１６は、カメラワーク１の時には、矩形
領域７１６に対応し、カメラワーク２の時には７４２に
対応する。

【００７０】図２２，図２３，図２４に２次元モデルの
データ構造を示す。図２２において、１３００は各カメ
ラに対応するデータを格納するカメラデータテーブルで
ある。カメラデータテーブル１３００には、映像内の事
物に対して操作が可能なカメラワークのデータと、個々
のカメラワークに対応する領域フレームのデータが格納
される。

【００７１】図２３において、１３２０はカメラワーク
のデータである。カメラワークのデータは、カメラの水
平方向の向きである水平角，カメラの垂直方向の向きで
ある垂直角，ズームの度合を表す画角からなる。ここで
は、カメラの姿勢や、カメラの位置は固定であることを
想定している。カメラの姿勢や、カメラの位置を遠隔操
作できる場合は、それらを制御するためのデータもカメ
ラワークデータ1320に追加すればよい。カメラワークデ
ータ１３２０は、カメラをあらかじめ定義したカメラワ
ークに設定するために使われる。すなわち、マンマシン
サーバ２０はカメラワークデータをカメラ制御用コント
ローラに送り、カメラを遠隔操作する。カメラワークデ
ータ１３２０はオブジェクトの同定処理に直接必要な訳
ではない。

【００７２】図２４に領域フレームのデータ構造を示
す。領域フレームデータは、領域フレームを構成する領
域の個数と、各矩形領域に関するデータからなる。領域
データには、画面座標系における矩形領域の位置（ｘ，
ｙ），矩形領域の大きさ（ｗ，ｈ），オブジェクトの活
性状態，動作，付加情報からなる。オブジェクトの活性
状態は、オブジェクトが活性か不活性かを示すデータで
ある。オブジェクトが不活性状態にあるときには、その
オブジェクトは同定されない。活性状態にあるオブジェ
クトだけが同定される。動作には、イベント／動作対応
テーブル１３４０へのポインタが格納される。イベント
／動作対応テーブル１３４０には、オブジェクトがＰＤ
によって指定された時に、実行すべき動作が、イベント
と対になって格納される。ここで、イベントとは、ＰＤ
の操作種別を指定するものである。例えば、感圧タッチ
パネル１２を強く押した場合と、軽く押した場合ではイ
ベントが異なる。イベントが発生すると、イベント位置
にあるオブジェクトが同定され、そのオブジェクトに定
義してあるイベント／動作対の内、発生したイベントと
適合するイベントと対になっている動作が実行される。
領域フレームの付加情報には、矩形領域としてだけでは
表しきれない、オブジェクトの付加的な情報１３５０へ
のポインタが格納される。付加情報には様々なものがあ
る。例えば、オブジェクトに描かれテキスト，色，オブ
ジェクトの名前，関連情報（例えば、装置のマニュア
ル，メンテナンス情報，設計データなど）がある。これ
によって、オブジェクトに描かれたテキストに基づい
て、オブジェクトを検索したり、指定されたオブジェク
トの関連情報を表示したりできる。

【００７３】図２１に、２次元モデルを使ってオブジェ
クトを同定する手順を示す。まず、現在のカメラワーク
に対応する複数フレームをカメラデータテーブル１３０
０から検索する（ステップ１２００）。次に領域フレー
ムを構成する領域のなかから、イベント位置を含む領域
を検索する。すなわち、複数フレームデータに格納され
ている各領域の位置と大きさのデータと、イベント位置
とを比較し（ステップ１２２０）、イベント位置にある
領域が見つかったらその番号を上位の処理系に返す。上
位の処理系は、見つかった複数が活性状態か否かを調
べ、活性状態だったら、イベントに対応して定義されて
いる動作を実行する。ステップ１２２０は、イベント位
置を含む領域が見つかるか、領域フレーム内の全領域を
調べ終るまで繰り返される（ステップ１２１０）。

【００７４】２次元モデルは２次元モデル定義ツールを
使って定義する。２次元モデル定義ツールは下記機能か
らなる。

【００７５】（１）カメラ選択機能 プラント内に配置してある任意のカメラを選択し、その
カメラからの映像を画面に表示する機能。カメラの選択
方法として、下記がある。

【００７６】・画面上に表示されたプラントの配置図上
でオブジェクトを指定することにより、そのオブジェク
トを映すカメラを指定する。

【００７７】・画面上に表示されたプラントの配置図上
でカメラの配置されている場所を指定する。

【００７８】・カメラの番号や名前などの識別子を指定
する。

【００７９】（２）カメラワーク設定機能 前記カメラ選択機能によって、選択されたカメラを遠隔
操作して、カメラの向きや画角を設定する機能。

【００８０】（３）図形作画機能 画面上に表示された映像上で、図形を作画する機能。作
画は、矩形，円，折れ線，自由曲線などの基本図形要素
を組み合わせて描く。本機能によって、オブジェクトの
映像を下敷にして、オブジェクトの概形を描く。

【００８１】（４）イベント／動作対定義機能 図形作画機能で描いた少なくとも一つの図形を指定し
て、それに対してイベント／動作の対を定義する機能。
イベントは、メニューを選択するか、イベント名をテキ
ストとして入力するかして定義する。動作はあらかじめ
定義された動作をメニューから選択するか、記述言語用
いて記述する。こうした記述言語としては例えば、情報
処理学会論文誌，第３０巻，第９号，１２００ページか
ら１２１０ページに記載の「メタユーザインタフェース
を有するユーザインタフェース構築支援システム」に書
かれている記述言語ＵＩＤＬを用いる。

【００８２】前記２次元モデル定義ツールでは下記手順
により２次元モデルを作成する。

【００８３】手順１：カメラおよびカメラワークの指定 前記（１）カメラ選択機能を用いて、カメラを選択し、
画面上にその映像を表示する。次に前記（２）カメラワ
ーク設定機能を用いて、カメラワークを設定し、所望の
場所の映像を得る。

【００８４】手順２：オブジェクトの概形を定義 手順１で表示した映像内の事物の中でオブジェクトとし
て定義したいオブジェクトの概形を前記（２）図形作画
機能を用いて作画する。

【００８５】手順３：イベントと動作の対を定義 前記（４）イベント／動作対定義機能を用いて、手順２
で作画した少なくとも一つの図形を選択して、イベント
と動作の対を定義する。

【００８６】手順４：定義内容の保存 必要に応じて定義内容を保存する。定義内容は図２２，
図２３，図２４に示したデータ構造を保存される。他の
カメラや、他のカメラワークに対して２次元モデルを作
成したいときは、手順１から手順４までを繰り返す。

【００８７】オブジェクトのモデルを持つことによっ
て、あるオブジェクトが映像内のどこにどのように表示
されているかがわかる。これによって、オブジェクトに
関連する情報を映像内のオブジェクトの位置や形状に基
づいてグラフィックスを表示したり、オブジェクトの映
像を検索したりできる。下記に、例を挙げる。

【００８８】・オブジェクトの名前，機能，操作マニュ
アル，メンテナンス方法などをオブジェクトの上、また
は付近に合成表示する。例えば、あるコマンドを発行す
ると映像に映っている各機能の名前を表示するなど。

【００８９】・グラフィックスで作成したオブジェクト
を実際にカメラで映されているかのように実写の映像に
合成表示する。

【００９０】・オブジェクトの付加情報を入力されたキ
ーワードに基づいて検索し、該当するオブジェクトを映
すようにカメラとカメラワークを設定する。

【００９１】・カメラでは映すことのできないオブジェ
クト内部の構造を、映像内のオブジェクトに合成表示す
る。例えば、配管内の水流の様子を他のセンサから得ら
れたデータに基づいてシミュレーションし、その結果を
実写の映像に映っている配管の上に合成表示する。同様
に、ボイラの中の火炎の様子（例えば、センサから得ら
れた情報に基づいて作成された温度分布図）を表すグラ
ファックスを映像内のボイラに合成表示する。

【００９２】・現在注目すべきオブジェクトを、グラフ
ィックスにより明示する。例えば、センサによって異常
が検知されたと映像内のオブジェクトにグラフィックス
を合成表示する。また、トレンドグラフに表示されてい
るデータに関連する映像内のオブジェクトにグラフィッ
クスを合成して、データと映像内のオブジェクトの関連
がすぐわかるようにする。

【００９３】

【発明の効果】本発明の効果は、下記（１）から（６）
の少なくとも一つを達成することである。

【００９４】（１）遠隔運転監視システムなどにおい
て、運転員が操作の対象や操作結果を直感的に把握でき
るようになり、誤操作が減る。

【００９５】（２）カメラの選択や、カメラの遠隔操作
に煩わされることなく、監視したいところの映像を簡単
に見ることができる。

【００９６】（３）監視用映像上で操作を行うことがで
きる。このため、監視モニタと操作盤とを分ける必要が
なくなり、遠隔運転監視システムの小型化，省スペース
化を図ることができる。

【００９７】（４）カメラ映像にグラフィックスを合成
表示することにより、それぞれの長所を生かし、短所を
補うことができる。すなわち、現場の臨場感を伝えなが
ら、重要な部分を強調することができる。

【００９８】（５）異種の情報を素早く相互参照できる
表示。例えば、カメラ映像で現在監視している部分を指
定するだけで、その部分に関連するセンサの値を示すト
レンドグラフを表示させることができる。これにより、
現場の状況を総合的に判断できるようになる。

【００９９】（６）映像に対して直接操作を加えるよう
にマンマシンを簡単に設計，開発できるようになる。

【図面の簡単な説明】

【図１】本発明によるプラント運転監視システムの全体
構成である。

【図２】マンマシンサーバのハードウエア構成である。

【図３】本発明によるプラント運転監視システムの画面
構成例である。

【図４】図面表示領域の画面表示形態である。

【図５】映像表示領域の画面表示形態と現場との対応を
示す図である。

【図６】オブジェクト指定によるカメラワーク設定の一
例を示す図である。

【図７】オブジェクト指定によるカメラワーク設定の一
例を示す図である。

【図８】オブジェクト指定によるボタン操作の一例を示
す図である。

【図９】オブジェクト指定によるスライダ操作の一例を
示す図である。

【図１０】図形選択による操作の一例を示す図である。

【図１１】操作可能オブジェクトの明示例を示す図であ
る。

【図１２】探索キーによる映像探索の例を示す図であ
る。

【図１３】３次元モデルの例を示す図である。

【図１４】３次元モデルと画面上の映像との関係を示す
図である。

【図１５】画面上の点とオブジェクトとの関係を示す図
である。

【図１６】３次元モデルを用いたオブジェクト同定処理
の手順を示す図である。

【図１７】実施例の実現方法の手順を示す図である。

【図１８】２次元モデルとカメラワークとの関係を示す
図である。

【図１９】２次元モデルとカメラワークとの関係を示す
別な図である。

【図２０】２次元モデルとカメラワークとの関係を示す
さらに別な図である。

【図２１】２次元モデルを用いたオブジェクト同定処理
の手順を示す図である。

【図２２】カメラデータテーブルの構造を示す図であ
る。

【図２３】カメラワークデータの構造を示す図である。

【図２４】領域フレームのデータ構造を示す図である。

【符号の説明】

１０…ディスプレイ、１２…感圧タッチパネル、１４…
スピーカ、２０…マンマシンサーバ、３０…スイッチ
ャ、４０…キーボード、５０…制御用計算機、６０…ビ
デオカメラ、６２…カメラ制御用コントローラ、６４…
マイク、９０，９２…センサ、９４，９６…アクチュエ
ータ、１００…表示画面、１３０…図面表示領域、１５
０…データ表示領域、２００…映像表示領域、６００…
テキスト探索シート。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 二川 正康 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 谷藤 真也 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 西川 敦彦 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内

Claims (8)

【特許請求の範囲】
1. 【請求項１】計算機を用いて映像を探索する映像探索方
   法において、 テキストまたは図形を入力して探索キー指定する探索キ
   ー指定ステップと、 前記探索キー指定ステップによって指定された前記テキ
   ストまたは図形に適合する事物が表示されている映像を
   探索する映像探索ステップとを有する映像探索方法。
2. 【請求項２】請求項１の映像探索方法において、 前記探索ステップにより探索した映像上にグラフィック
   スを合成表示する合成表示ステップを有する映像探索方
   法。
3. 【請求項３】請求項１又は２の映像探索方法において、 前記探索キー指定ステップが、音声によって探索キーを
   入力するステップを有する映像探索方法。
4. 【請求項４】計算機を用いて映像を探索する映像探索装
   置において、 テキストまたは図形を入力して探索キー指定する探索キ
   ー指定部と、 該探索キー指定部によって指定された前記テキストまた
   は図形に適合する事物が表示されている映像を探索する
   映像探索部とからなる映像探索装置。
5. 【請求項５】請求項４の映像探索装置において、 映像探索部により探索した映像を表示する表示部を備え
   た映像探索装置。
6. 【請求項６】請求項４又は５の映像探索装置において、 前記映像探索部により探索した事物を映像上にグラフィ
   ックスを合成表示する合成表示部を備えた映像探索装
   置。
7. 【請求項７】カメラから入力された映像を表示部の画面
   上に表示する映像表示ステップと、 該映像表示ステップによって表示された画面上で領域を
   指定する領域指定ステップと、 該領域指定ステップによって指定された領域に処理を定
   義する処理定義ステップとを有する映像処理定義方法。
8. 【請求項８】カメラから入力された映像を画面上に表示
   する表示部と、 該表示部によって表示された画面上で領域を指定する領
   域指定部と、 該領域指定部によって指定された領域に処理を定義する
   処理定義部とを有する映像処理定義装置。