JPH0882536A - 遠隔保守システム - Google Patents
遠隔保守システムInfo
- Publication number
- JPH0882536A JPH0882536A JP7056377A JP5637795A JPH0882536A JP H0882536 A JPH0882536 A JP H0882536A JP 7056377 A JP7056377 A JP 7056377A JP 5637795 A JP5637795 A JP 5637795A JP H0882536 A JPH0882536 A JP H0882536A
- Authority
- JP
- Japan
- Prior art keywords
- rov
- environment
- signal
- image
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Closed-Circuit Television Systems (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】
【目的】 危険または接近不可能な環境で動作する保守
システムを提供する。 【構成】 環境内の構造の物理的特性を検査するセンサ
パッケージ１１を持つ遠隔操作ビークル（ＲＯＶ）１
０、ＲＯＶの位置および姿勢検知ユニット２１、環境モ
デル記憶装置３７、環境モデルを作成する環境モデラ３
９、少なくとも１つの観察位置から見た環境モデルから
環境の画像を生成する環境表現器３５、少なくとも１つ
の観察位置から見たときのＲＯＶの画像を生成するＲＯ
Ｖ表現器３３、モニタ４３に画像を表示するために環境
表現器およびＲＯＶ表現器に結合された映像混合器４
１、ならびに映像混合器、Ｐ＆Ａ検知ユニットおよびセ
ンサパッケージに結合され、上記センサパッケージから
の信号を取得パラメータとともに記録保管し、同じ取得
パラメータを持つように２つの信号を修正して比較する
ことにより信号の差を識別して該差の特性を表すことが
できる記録保管および比較装置５０を含む。
システムを提供する。 【構成】 環境内の構造の物理的特性を検査するセンサ
パッケージ１１を持つ遠隔操作ビークル（ＲＯＶ）１
０、ＲＯＶの位置および姿勢検知ユニット２１、環境モ
デル記憶装置３７、環境モデルを作成する環境モデラ３
９、少なくとも１つの観察位置から見た環境モデルから
環境の画像を生成する環境表現器３５、少なくとも１つ
の観察位置から見たときのＲＯＶの画像を生成するＲＯ
Ｖ表現器３３、モニタ４３に画像を表示するために環境
表現器およびＲＯＶ表現器に結合された映像混合器４
１、ならびに映像混合器、Ｐ＆Ａ検知ユニットおよびセ
ンサパッケージに結合され、上記センサパッケージから
の信号を取得パラメータとともに記録保管し、同じ取得
パラメータを持つように２つの信号を修正して比較する
ことにより信号の差を識別して該差の特性を表すことが
できる記録保管および比較装置５０を含む。
Description
【０００１】
【産業上の利用分野】本発明は遠隔操作のビークル（ｖ
ｅｈｉｃｌｅ）に関するものであり、更に詳しくは遠隔
操作ビークルのコンピュータ増補環境視覚化に関するも
のである。
ｅｈｉｃｌｅ）に関するものであり、更に詳しくは遠隔
操作ビークルのコンピュータ増補環境視覚化に関するも
のである。
【０００２】
【従来の技術】一般に、人間が接近できなかったり、或
いは非常に危険であるような環境内にある機械または構
造の検査が必要な場合がある。このような環境のいくつ
かは、原子炉ボイラの内側、深海中、森林火災中、油井
中、または有毒ガスで汚染された領域である。これらの
環境の高温、放射線被曝、高圧または中毒の影響は明ら
かに人間にとって危険である。油井のような空間が限ら
れた環境の中の列形ポンプを検査しなければならない場
合も、その空間要件によって人間の接近（アクセス）が
妨げられる。
いは非常に危険であるような環境内にある機械または構
造の検査が必要な場合がある。このような環境のいくつ
かは、原子炉ボイラの内側、深海中、森林火災中、油井
中、または有毒ガスで汚染された領域である。これらの
環境の高温、放射線被曝、高圧または中毒の影響は明ら
かに人間にとって危険である。油井のような空間が限ら
れた環境の中の列形ポンプを検査しなければならない場
合も、その空間要件によって人間の接近（アクセス）が
妨げられる。
【０００３】通常これらの環境内のこのような機械およ
び構造は、遠隔操作ビークル（ＲＯＶ）によって検査ま
たは修理されている。これらのＲＯＶは束縛コードによ
ってある距離離れた制御装置に取り付けてもよく、ある
いは安全な距離離れた制御装置から無線信号によって運
転してもよい。ＲＯＶは通常、試験装置またはイメージ
ング装置、例えばビデオカメラを用いて、その環境を検
知する手段を持っている。ＲＯＶはまた、その環境の方
々に自身を推進する手段を用いる。水のような流体の中
では、この推進手段として、例えば電動機によって駆動
される多数のプロペラが用いられる。
び構造は、遠隔操作ビークル（ＲＯＶ）によって検査ま
たは修理されている。これらのＲＯＶは束縛コードによ
ってある距離離れた制御装置に取り付けてもよく、ある
いは安全な距離離れた制御装置から無線信号によって運
転してもよい。ＲＯＶは通常、試験装置またはイメージ
ング装置、例えばビデオカメラを用いて、その環境を検
知する手段を持っている。ＲＯＶはまた、その環境の方
々に自身を推進する手段を用いる。水のような流体の中
では、この推進手段として、例えば電動機によって駆動
される多数のプロペラが用いられる。
【０００４】ＲＯＶを使用する場合には通常、動作環境
に対するＲＯＶ（および／または副部品）の位置および
方向を決定して、検査環境にＲＯＶをうまく動かすこと
が出来るようにする方法が必要になる。位置検知システ
ムの一例では、原子炉ボイラの水の中で動作するソナー
（ＳＯＮＡＲ）が用いられる。従来のシステムでは、環
境内の変動または雑音による誤差を相殺するために複雑
な補償方式および頻繁な再較正が必要である。例えば、
ソナー信号のフライト（ｆｌｉｇｈｔ）時間すなわち伝
搬時間は、ソナーパルスが進行する水の温度によって左
右される。圧力容器の中の温度勾配は注意深くマッピン
グ（ｍａｐｐｉｎｇ）し監視することにより、正確な位
置を決定できるようにしなければならない。
に対するＲＯＶ（および／または副部品）の位置および
方向を決定して、検査環境にＲＯＶをうまく動かすこと
が出来るようにする方法が必要になる。位置検知システ
ムの一例では、原子炉ボイラの水の中で動作するソナー
（ＳＯＮＡＲ）が用いられる。従来のシステムでは、環
境内の変動または雑音による誤差を相殺するために複雑
な補償方式および頻繁な再較正が必要である。例えば、
ソナー信号のフライト（ｆｌｉｇｈｔ）時間すなわち伝
搬時間は、ソナーパルスが進行する水の温度によって左
右される。圧力容器の中の温度勾配は注意深くマッピン
グ（ｍａｐｐｉｎｇ）し監視することにより、正確な位
置を決定できるようにしなければならない。
【０００５】通常、ＲＯＶには多数の検査センサが載置
されている。代表的なセンサとしては、水中用のテレビ
カメラ、超音波探傷変換器、熱画像作成器、およびマイ
クロホンのようなポイントプローブが挙げられる。これ
らの遠隔環境内で検査および修理するためにＲＯＶを使
用する際の主要な問題は、複雑な環境の中の所望の位置
でＲＯＶを正確に位置決めした後、その位置および方向
を確かめ、ＲＯＶからのデータを分析する人または他の
助力者にその位置および方向を伝えることが難しいとい
うことである。
されている。代表的なセンサとしては、水中用のテレビ
カメラ、超音波探傷変換器、熱画像作成器、およびマイ
クロホンのようなポイントプローブが挙げられる。これ
らの遠隔環境内で検査および修理するためにＲＯＶを使
用する際の主要な問題は、複雑な環境の中の所望の位置
でＲＯＶを正確に位置決めした後、その位置および方向
を確かめ、ＲＯＶからのデータを分析する人または他の
助力者にその位置および方向を伝えることが難しいとい
うことである。
【０００６】もう一つの問題は、環境の中で一つの場所
から別の場所に手でＲＯＶを動かすときに生じる。この
状況では、瞬間的にＲＯＶの位置を正確に決定すること
が難しい。典型的には載置されたセンサの１つは水中用
テレビカメラであるので、操作者はＲＯＶの正確な位置
および方向を判定するためにカメラからの映像を使用し
ようとすることが多い。ＲＯＶが動いている方向にカメ
ラが向いていないときは、特にそうである。通常、操作
者はカメラのズームを広角に戻し、そしてＲＯＶが実際
に環境の中のどの場所に居るか確かめようとして、ＲＯ
Ｖを更に動かして特定の形状から離すことがある。この
作業は、位置および方向の検知システムが正確で信頼で
きる程度に応じて容易になる。位置および姿勢（Ｐ＆
Ａ）システムはあまり正確でないことが多く、検査また
は修理のためにＲＯＶを正確に位置決めするのに長時間
かかることがある。
から別の場所に手でＲＯＶを動かすときに生じる。この
状況では、瞬間的にＲＯＶの位置を正確に決定すること
が難しい。典型的には載置されたセンサの１つは水中用
テレビカメラであるので、操作者はＲＯＶの正確な位置
および方向を判定するためにカメラからの映像を使用し
ようとすることが多い。ＲＯＶが動いている方向にカメ
ラが向いていないときは、特にそうである。通常、操作
者はカメラのズームを広角に戻し、そしてＲＯＶが実際
に環境の中のどの場所に居るか確かめようとして、ＲＯ
Ｖを更に動かして特定の形状から離すことがある。この
作業は、位置および方向の検知システムが正確で信頼で
きる程度に応じて容易になる。位置および姿勢（Ｐ＆
Ａ）システムはあまり正確でないことが多く、検査また
は修理のためにＲＯＶを正確に位置決めするのに長時間
かかることがある。
【０００７】ＲＯＶは通常、原子炉ボイラ内部のような
環境内でき裂や破損を判定する際に使用される。原子炉
ボイラにＲＯＶを使用する際には、幾つかの問題が生じ
る。１つの問題は、劣化の速度を判定するために特定の
期間（数年の期間）にわたって不規則さを監視しなけれ
ばならないということである。これは、現在では、ＲＯ
Ｖを特定の位置に動かし、調べるべき構造または装置を
ビデオテープに録画することにより行われている。後
日、ＲＯＶは同じ場所に配置され、現在のデータ（例え
ば映像）が前のデータと比較される。三次元の全く同じ
場所と方向にＲＯＶを配置して、前回と全く同じ観察位
置からの映像を得ることは非常に難しいので、画像間の
差異を判定することは難しい。これは、操作者が行う非
常に主観的な判定となる傾向がある。原子力設備の保守
の実際のコストは検査コストに関連するだけでなく、プ
ラントがオフラインになっている時間にもよる。これ
は、通常、保守の実際のコストの何倍にもなることがあ
る。したがって、最小限の期間内に検査と修理を完了す
ることは有益である。
環境内でき裂や破損を判定する際に使用される。原子炉
ボイラにＲＯＶを使用する際には、幾つかの問題が生じ
る。１つの問題は、劣化の速度を判定するために特定の
期間（数年の期間）にわたって不規則さを監視しなけれ
ばならないということである。これは、現在では、ＲＯ
Ｖを特定の位置に動かし、調べるべき構造または装置を
ビデオテープに録画することにより行われている。後
日、ＲＯＶは同じ場所に配置され、現在のデータ（例え
ば映像）が前のデータと比較される。三次元の全く同じ
場所と方向にＲＯＶを配置して、前回と全く同じ観察位
置からの映像を得ることは非常に難しいので、画像間の
差異を判定することは難しい。これは、操作者が行う非
常に主観的な判定となる傾向がある。原子力設備の保守
の実際のコストは検査コストに関連するだけでなく、プ
ラントがオフラインになっている時間にもよる。これ
は、通常、保守の実際のコストの何倍にもなることがあ
る。したがって、最小限の期間内に検査と修理を完了す
ることは有益である。
【０００８】検査の速度と正確さに影響を及ぼす関連の
問題は、関連する全ての過去のデータを検索することが
難しいことである。操作者が原子炉内の所与の位置を再
検査している場合には、操作者はその場所に関する過去
の全ての情報を必要とする。これは、静止画像、ある場
所の過去のビデオテープの部分、超音波画像および熱画
像のような補助センサデータ、報告書および観察書もし
くは多分その場所での音声のオーディオテープ録音のよ
うな非画像データで構成され得る。この背景情報が多数
の物理的位置に分散されており、多数の種別の媒体
（紙、写真、手書きのメモ、音声テープ、磁気ビデオテ
ープ、またはディスク他）に記録または蓄積されている
場合には、検査の判定を早く行うことが非常に難しくな
る。
問題は、関連する全ての過去のデータを検索することが
難しいことである。操作者が原子炉内の所与の位置を再
検査している場合には、操作者はその場所に関する過去
の全ての情報を必要とする。これは、静止画像、ある場
所の過去のビデオテープの部分、超音波画像および熱画
像のような補助センサデータ、報告書および観察書もし
くは多分その場所での音声のオーディオテープ録音のよ
うな非画像データで構成され得る。この背景情報が多数
の物理的位置に分散されており、多数の種別の媒体
（紙、写真、手書きのメモ、音声テープ、磁気ビデオテ
ープ、またはディスク他）に記録または蓄積されている
場合には、検査の判定を早く行うことが非常に難しくな
る。
【０００９】ＲＯＶで構造を検査したり調べたりする際
に生じるもう一つの問題は、一つの場所から次の場所に
ＲＯＶを動かすために必要とされるＲＯＶの実際の軌道
（ｔｒａｊｅｃｔｏｒｙ）すなわち移動経路を計画する
問題である。環境には通常、一点から別の点に進むとき
にＲＯＶが避けなければならない物体がある。現在で
は、操作者は、環境の青写真を調べ、またＲＯＶの大き
さと形についての知識を用いて、環境内を通るようにＲ
ＯＶを操縦している。三次元の環境の複雑さを全て視覚
化し、そして現実のＲＯＶが所与の経路を実際に通れる
か否かを視覚化することは非常に難しい。ＲＯＶの制御
は複雑で過酷であるので、操作者がＲＯＶの進行を物理
的に制御しょうと努めながら、所与の経路の適否を「判
断」するのは非常に難しい仕事となる。
に生じるもう一つの問題は、一つの場所から次の場所に
ＲＯＶを動かすために必要とされるＲＯＶの実際の軌道
（ｔｒａｊｅｃｔｏｒｙ）すなわち移動経路を計画する
問題である。環境には通常、一点から別の点に進むとき
にＲＯＶが避けなければならない物体がある。現在で
は、操作者は、環境の青写真を調べ、またＲＯＶの大き
さと形についての知識を用いて、環境内を通るようにＲ
ＯＶを操縦している。三次元の環境の複雑さを全て視覚
化し、そして現実のＲＯＶが所与の経路を実際に通れる
か否かを視覚化することは非常に難しい。ＲＯＶの制御
は複雑で過酷であるので、操作者がＲＯＶの進行を物理
的に制御しょうと努めながら、所与の経路の適否を「判
断」するのは非常に難しい仕事となる。
【００１０】現在、接近不可能な環境または危険な環境
の中で効率的な遠隔検査および修理を行うことができる
システムが必要とされている。
の中で効率的な遠隔検査および修理を行うことができる
システムが必要とされている。
【００１１】
【発明の概要】本発明による遠隔保守システムは、危険
または接近不可能な環境内の物体を規定するパラメータ
を受けるための環境モデラ（ｍｏｄｅｌｅｒ）を用い
る。環境モデラは環境のコンピュータ生成モデルを作成
する。遠隔操作ビークル（ＲＯＶ）が、環境内の構造に
ついてイメージングおよび試験を行うためのセンサパッ
ケージ、およびＲＯＶを操縦することができるアクチュ
エータを載置していて、環境の中に配置される。
または接近不可能な環境内の物体を規定するパラメータ
を受けるための環境モデラ（ｍｏｄｅｌｅｒ）を用い
る。環境モデラは環境のコンピュータ生成モデルを作成
する。遠隔操作ビークル（ＲＯＶ）が、環境内の構造に
ついてイメージングおよび試験を行うためのセンサパッ
ケージ、およびＲＯＶを操縦することができるアクチュ
エータを載置していて、環境の中に配置される。
【００１２】位置および姿勢（Ｐ＆Ａ）検知ユニット
が、環境に対するＲＯＶの位置および方向を検知する。
環境の計算ビュー（ｖｉｅｗ）を表現するための観察位
置が、（観察位置座標を入力することにより、または観
察位置座標の予め設定されたリストから選択することに
より）操作者によって決められ、環境表現器に与えられ
る。環境表現器は、選択された観察位置から見たときの
環境の幾何学的配置（ジオメトリイ）によって規定され
る形状に対応する画像を作成する。
が、環境に対するＲＯＶの位置および方向を検知する。
環境の計算ビュー（ｖｉｅｗ）を表現するための観察位
置が、（観察位置座標を入力することにより、または観
察位置座標の予め設定されたリストから選択することに
より）操作者によって決められ、環境表現器に与えられ
る。環境表現器は、選択された観察位置から見たときの
環境の幾何学的配置（ジオメトリイ）によって規定され
る形状に対応する画像を作成する。
【００１３】ＲＯＶの位置および方向は、ＲＯＶに対す
るセンサの位置および方向を規定するオフセットととも
に環境表現器に与えられる。（ＲＯＶの位置および方向
とセンサのオフセットの変位および方向とを組み合わせ
ることによって形成される）結果として得られる観察位
置により、環境表現器はセンサパッケージの観察位置か
ら「見た」とおりの環境のビュー（ｖｉｅｗ）に対応す
る画像を作成することができる。環境表現器によって作
成される像は、ＲＯＶの位置および方向に応じて実時間
で変わる。
るセンサの位置および方向を規定するオフセットととも
に環境表現器に与えられる。（ＲＯＶの位置および方向
とセンサのオフセットの変位および方向とを組み合わせ
ることによって形成される）結果として得られる観察位
置により、環境表現器はセンサパッケージの観察位置か
ら「見た」とおりの環境のビュー（ｖｉｅｗ）に対応す
る画像を作成することができる。環境表現器によって作
成される像は、ＲＯＶの位置および方向に応じて実時間
で変わる。
【００１４】同様にＲＯＶの位置および方向は、（操作
者が示した観察位置とともに）ＲＯＶ表現器に与えられ
る。ＲＯＶ表現器は、環境表現器で使用されるのと同じ
観察位置から見たときのＲＯＶの画像を発生する。映像
混合器が、環境の画像にＲＯＶの画像を重畳して、重畳
された画像をモニタに表示する。これにより、操作者は
環境に対するＲＯＶの位置を視覚化することができる。
者が示した観察位置とともに）ＲＯＶ表現器に与えられ
る。ＲＯＶ表現器は、環境表現器で使用されるのと同じ
観察位置から見たときのＲＯＶの画像を発生する。映像
混合器が、環境の画像にＲＯＶの画像を重畳して、重畳
された画像をモニタに表示する。これにより、操作者は
環境に対するＲＯＶの位置を視覚化することができる。
【００１５】いくつかの観察位置および重畳された画像
を同時に作成することにより、環境内のＲＯＶの多数の
ビューを提供することができる。代替の実施態様では、
ＲＯＶセンサパッケージからのセンサデータが、センサ
データとセンサ画像を取得する際に用いられるパラメー
タおよびセンサの空間位置のような補助情報とともに、
記憶される。これらの過去の画像または過去のセンサデ
ータはどれでも後で読み出して、（必要なら）ＲＯＶお
よびそのセンサの現在の位置および方向に対応するよう
に変換することができる。次に、ディジタル信号処理技
術を実行することにより、原子炉の保守に対する非常に
重要なパラメータである腐食速度またはき裂成長速度を
決定することができる。更に、信号処理および視覚化ユ
ニットにより、超音波スキャンのような他の形式からの
現在または過去の画像を現在または過去の映像と混ぜ合
わせることができる。過去の検査結果および操作者の観
察のような関連データも、操作者が考慮できるように自
動的に検査データベースから取り出されて表示される。
を同時に作成することにより、環境内のＲＯＶの多数の
ビューを提供することができる。代替の実施態様では、
ＲＯＶセンサパッケージからのセンサデータが、センサ
データとセンサ画像を取得する際に用いられるパラメー
タおよびセンサの空間位置のような補助情報とともに、
記憶される。これらの過去の画像または過去のセンサデ
ータはどれでも後で読み出して、（必要なら）ＲＯＶお
よびそのセンサの現在の位置および方向に対応するよう
に変換することができる。次に、ディジタル信号処理技
術を実行することにより、原子炉の保守に対する非常に
重要なパラメータである腐食速度またはき裂成長速度を
決定することができる。更に、信号処理および視覚化ユ
ニットにより、超音波スキャンのような他の形式からの
現在または過去の画像を現在または過去の映像と混ぜ合
わせることができる。過去の検査結果および操作者の観
察のような関連データも、操作者が考慮できるように自
動的に検査データベースから取り出されて表示される。
【００１６】もう一つの代替の実施態様では、操作者が
軌道すなわち移動経路を選択するための指示装置が設け
られる。移動経路はＲＯＶが訪れるべき位置の時間順の
系列（ｓｅｑｕｅｎｃｅ）である。環境の幾何学的配
置、ＲＯＶの幾何学的配置、および検査の道程が経路実
行ユニットに与えら、これによりＲＯＶアクチュエータ
が所望の移動経路に従ってＲＯＶを動かす。
軌道すなわち移動経路を選択するための指示装置が設け
られる。移動経路はＲＯＶが訪れるべき位置の時間順の
系列（ｓｅｑｕｅｎｃｅ）である。環境の幾何学的配
置、ＲＯＶの幾何学的配置、および検査の道程が経路実
行ユニットに与えら、これによりＲＯＶアクチュエータ
が所望の移動経路に従ってＲＯＶを動かす。
【００１７】
【発明の目的】本発明の１つの目的は、指定された環境
の中で遠隔操作されるビークルの位置および方向を視覚
化するためのシステムを提供することである。本発明の
もう１つの目的は、構造または装置の物理的特性を検知
し、物理的特性の空間表現を記録保管し、後日これらの
空間表現を検索して、構造または装置の劣化または変化
を判定するために他の空間表現と比較する機能を有する
遠隔操作ビークルを提供することである。
の中で遠隔操作されるビークルの位置および方向を視覚
化するためのシステムを提供することである。本発明の
もう１つの目的は、構造または装置の物理的特性を検知
し、物理的特性の空間表現を記録保管し、後日これらの
空間表現を検索して、構造または装置の劣化または変化
を判定するために他の空間表現と比較する機能を有する
遠隔操作ビークルを提供することである。
【００１８】本発明の新規な特徴は特許請求の範囲に記
述してあるが、図面を参照した以下の詳細な説明から、
本発明の構成および内容とともに本発明の他の目的およ
び特徴がより良く理解されよう。
述してあるが、図面を参照した以下の詳細な説明から、
本発明の構成および内容とともに本発明の他の目的およ
び特徴がより良く理解されよう。
【００１９】
【発明の詳しい説明】図１は、本発明による現実性を向
上したメインテナンスすなわち保守システムの主要構成
要素の概略ブロック図である。青写真測定値、位置と形
の測定値、および材料種別のような、環境を規定するパ
ラメータが手動で環境モデラ３９に与えられる。これら
のパラメータは超音波またはレーザの距離測定装置から
自動空間測定により自動的に与えることが出来る。環境
モデラ３９は、それが受けたパラメータからコンピュー
タモデルを構成する。これらのパラメータは、近実時間
で迅速に扱うことができる。このモデルは環境モデル記
憶装置３７に記憶される。
上したメインテナンスすなわち保守システムの主要構成
要素の概略ブロック図である。青写真測定値、位置と形
の測定値、および材料種別のような、環境を規定するパ
ラメータが手動で環境モデラ３９に与えられる。これら
のパラメータは超音波またはレーザの距離測定装置から
自動空間測定により自動的に与えることが出来る。環境
モデラ３９は、それが受けたパラメータからコンピュー
タモデルを構成する。これらのパラメータは、近実時間
で迅速に扱うことができる。このモデルは環境モデル記
憶装置３７に記憶される。
【００２０】ＲＯＶの幾何学的配置を規定するパラメー
タが、ＲＯＶモデラ４９に与えられる。ＲＯＶモデラ４
９は、それが受けたパラメータからコンピュータモデル
を作る。ＲＯＶのモデルはＲＯＶモデル記憶装置４７に
記憶される。環境表現器３５は、環境モデル記憶装置３
７内のモデルにアクセスし、これを「観察位置（ｖｉｅ
ｗｐｏｉｎｔ）」として知られている任意の位置および
方向から見たように表示する機能を持つ。環境表現器３
５はまた、同時にいくつかの異なる観察位置から見たモ
デルのいくつかの表示を作成する機能も持つ。 束縛コ
ードまたは無線リンクによってベースユニットに取り付
けられた遠隔操作ビークル（ＲＯＶ）１０は、危険な環
境または接近不可能な環境内に配置されることを想定し
ているものであり、複数のアクチュエータ１３を用いて
いる。アクチュエータ１３は環境の媒体を通るようにＲ
ＯＶを推進する。水で充たされた原子炉ボイラ内では、
アクチュエータはプロペラに取り付けられた電動機であ
る。これらはＲＯＶを多数の方向に動かし、かつＲＯＶ
を任意の方向に回転させることができる。地球上の環境
では、アクチュエータはモータ駆動のホイール、トラッ
クまたはベルトである。
タが、ＲＯＶモデラ４９に与えられる。ＲＯＶモデラ４
９は、それが受けたパラメータからコンピュータモデル
を作る。ＲＯＶのモデルはＲＯＶモデル記憶装置４７に
記憶される。環境表現器３５は、環境モデル記憶装置３
７内のモデルにアクセスし、これを「観察位置（ｖｉｅ
ｗｐｏｉｎｔ）」として知られている任意の位置および
方向から見たように表示する機能を持つ。環境表現器３
５はまた、同時にいくつかの異なる観察位置から見たモ
デルのいくつかの表示を作成する機能も持つ。 束縛コ
ードまたは無線リンクによってベースユニットに取り付
けられた遠隔操作ビークル（ＲＯＶ）１０は、危険な環
境または接近不可能な環境内に配置されることを想定し
ているものであり、複数のアクチュエータ１３を用いて
いる。アクチュエータ１３は環境の媒体を通るようにＲ
ＯＶを推進する。水で充たされた原子炉ボイラ内では、
アクチュエータはプロペラに取り付けられた電動機であ
る。これらはＲＯＶを多数の方向に動かし、かつＲＯＶ
を任意の方向に回転させることができる。地球上の環境
では、アクチュエータはモータ駆動のホイール、トラッ
クまたはベルトである。
【００２１】センサパッケージ１１がＲＯＶに取り付け
られる。センサパッケージ１１は、所望の構造または装
置についての情報を取得する。空間イメージング装置
は、最も普通の形式ではビデオカメラである。空間イメ
ージング装置は、例えば原子炉ボイラの壁のき裂や腐食
のような情報を取得する。センサパッケージ１１は、構
造または装置の中の不規則さを検出することができる超
音波装置、または構造検査で使用される任意のこのよう
な形式のものであってもよい。センサパッケージ１１
は、振動を測定するためのマイクロホンまたは加速度計
のようなポイント測定プローブとすることもできる。ま
た、常に２つ以上のセンサが動作するようにすることも
できる。
られる。センサパッケージ１１は、所望の構造または装
置についての情報を取得する。空間イメージング装置
は、最も普通の形式ではビデオカメラである。空間イメ
ージング装置は、例えば原子炉ボイラの壁のき裂や腐食
のような情報を取得する。センサパッケージ１１は、構
造または装置の中の不規則さを検出することができる超
音波装置、または構造検査で使用される任意のこのよう
な形式のものであってもよい。センサパッケージ１１
は、振動を測定するためのマイクロホンまたは加速度計
のようなポイント測定プローブとすることもできる。ま
た、常に２つ以上のセンサが動作するようにすることも
できる。
【００２２】位置および姿勢（Ｐ＆Ａ）検知ユニット２
１は、ＲＯＶのおおよその位置および方向を決定する。
これは、例えば、環境のまわりの既知の位置に分散配置
された、信号を相次いで放出するＳＯＮＡＲ音源とする
ことができる。既知の位置のＲＯＶ上の多数のセンサ
が、ＳＯＮＡＲ音源からの信号を検知する。センサに取
り付けられた受信器が、各センサによる信号の受信時点
の差に基づきＲＯＶの位置（ｘ，ｙ，ｚ）および方向
（α，β，γ）を決定する。
１は、ＲＯＶのおおよその位置および方向を決定する。
これは、例えば、環境のまわりの既知の位置に分散配置
された、信号を相次いで放出するＳＯＮＡＲ音源とする
ことができる。既知の位置のＲＯＶ上の多数のセンサ
が、ＳＯＮＡＲ音源からの信号を検知する。センサに取
り付けられた受信器が、各センサによる信号の受信時点
の差に基づきＲＯＶの位置（ｘ，ｙ，ｚ）および方向
（α，β，γ）を決定する。
【００２３】Ｐ＆Ａ検知ユニット２１によって決定され
た位置（ｘ，ｙ，ｚ）および方向（α，β，γ）が、Ｒ
ＯＶ表現器３３に供給される。ＲＯＶ表現器３３は、そ
れに供給された観察位置から見たときの、位置（ｘ，
ｙ，ｚ）および方向（α，β，γ）における、ＲＯＶモ
デル記憶装置４７に予め記憶されたＲＯＶのモデルの画
像を作成する。ＲＯＶ表現器３３は、同時にいくつかの
異なる観察位置から見たＲＯＶモデルの幾つかの画像を
作成する能力を有している。Ｐ＆Ａ検知ユニット２１に
よって決定されたＲＯＶの位置および方向がオフセット
計算装置３１ａに供給される。この装置は、ＲＯＶモデ
ルの原点からずれた新しい観察位置を計算する。これ
は、ＲＯＶに載置されたセンサに対応する観察位置を規
定するために使用される。
た位置（ｘ，ｙ，ｚ）および方向（α，β，γ）が、Ｒ
ＯＶ表現器３３に供給される。ＲＯＶ表現器３３は、そ
れに供給された観察位置から見たときの、位置（ｘ，
ｙ，ｚ）および方向（α，β，γ）における、ＲＯＶモ
デル記憶装置４７に予め記憶されたＲＯＶのモデルの画
像を作成する。ＲＯＶ表現器３３は、同時にいくつかの
異なる観察位置から見たＲＯＶモデルの幾つかの画像を
作成する能力を有している。Ｐ＆Ａ検知ユニット２１に
よって決定されたＲＯＶの位置および方向がオフセット
計算装置３１ａに供給される。この装置は、ＲＯＶモデ
ルの原点からずれた新しい観察位置を計算する。これ
は、ＲＯＶに載置されたセンサに対応する観察位置を規
定するために使用される。
【００２４】環境表現器３５は、それに供給される観察
位置に対応する環境の多数の画像を作成する。図１で
は、２つの観察位置が供給される。１つの観察位置は観
察位置ユニット３１ｂから供給され、もう１つの観察位
置はオフセット計算装置３１ａから供給される。環境表
現器３５は２つの画像信号を作成する。１つの画像信号
は設定された観察位置から見た環境を示し、第２の画像
信号はＲＯＶとともに進む選択されたセンサの観察位置
から見た環境を示す。
位置に対応する環境の多数の画像を作成する。図１で
は、２つの観察位置が供給される。１つの観察位置は観
察位置ユニット３１ｂから供給され、もう１つの観察位
置はオフセット計算装置３１ａから供給される。環境表
現器３５は２つの画像信号を作成する。１つの画像信号
は設定された観察位置から見た環境を示し、第２の画像
信号はＲＯＶとともに進む選択されたセンサの観察位置
から見た環境を示す。
【００２５】ＲＯＶ表現器３３および環境表現器３５に
供給される観察位置は、観察位置ユニット３１ｂにタイ
プ入力されるか、または観察位置ユニット３１ｂ内に常
駐している所定の値とすることができる。ＲＯＶ表現器
３３および環境表現器３５からの同じ観察位置に関する
画像が映像混合器４１に供給される。図１に示す実施例
では、２つの観察位置が用いられて、環境表現器３５に
より２つの画像が作成され、ＲＯＶ表現器３３により１
つの画像が作成される。単一の観察位置に対するＲＯＶ
画像および環境画像が映像混合器に供給されることによ
り、ＲＯＶ画像が環境画像に重畳され、その結果、シミ
ュレーションされる環境の中でのＲＯＶモデルの相対位
置を示す重畳画像が作成される。この相対位置は、実際
の環境に対するＲＯＶの実際の位置に対応する。映像混
合器４１は、環境表現器３５、ＲＯＶ表現器３３、およ
びＲＯＶ１０に載置されたセンサパッケージ１1からの
画像を受 ける。映像混合器４１は、操作者２が見るた
めのモニタ４３に対する画像を作成する。モニタ４３上
に作成される画像は、主画像を含む多数の副画像で構成
することができる。このような１つの副画像は、環境表
現器３５で作成された環境の画像をＲＯＶ表現器３３で
作成されたＲＯＶの画像と合成することによって得られ
る。両方の表現器に対する観察位置は同じであり、観察
位置ユニット３１ｂによって供給される。第２の副画像
は、ＲＯＶ１０と一緒に進むセンサパッケージ１１の観
察位置から見た環境のビュー（眺め又は景色）であって
もよい。モニタ４３上に現れる第３の副画像は、ＲＯＶ
１０に載置されたセンサパッケージ１１によって作成さ
れる画像である。
供給される観察位置は、観察位置ユニット３１ｂにタイ
プ入力されるか、または観察位置ユニット３１ｂ内に常
駐している所定の値とすることができる。ＲＯＶ表現器
３３および環境表現器３５からの同じ観察位置に関する
画像が映像混合器４１に供給される。図１に示す実施例
では、２つの観察位置が用いられて、環境表現器３５に
より２つの画像が作成され、ＲＯＶ表現器３３により１
つの画像が作成される。単一の観察位置に対するＲＯＶ
画像および環境画像が映像混合器に供給されることによ
り、ＲＯＶ画像が環境画像に重畳され、その結果、シミ
ュレーションされる環境の中でのＲＯＶモデルの相対位
置を示す重畳画像が作成される。この相対位置は、実際
の環境に対するＲＯＶの実際の位置に対応する。映像混
合器４１は、環境表現器３５、ＲＯＶ表現器３３、およ
びＲＯＶ１０に載置されたセンサパッケージ１1からの
画像を受 ける。映像混合器４１は、操作者２が見るた
めのモニタ４３に対する画像を作成する。モニタ４３上
に作成される画像は、主画像を含む多数の副画像で構成
することができる。このような１つの副画像は、環境表
現器３５で作成された環境の画像をＲＯＶ表現器３３で
作成されたＲＯＶの画像と合成することによって得られ
る。両方の表現器に対する観察位置は同じであり、観察
位置ユニット３１ｂによって供給される。第２の副画像
は、ＲＯＶ１０と一緒に進むセンサパッケージ１１の観
察位置から見た環境のビュー（眺め又は景色）であって
もよい。モニタ４３上に現れる第３の副画像は、ＲＯＶ
１０に載置されたセンサパッケージ１１によって作成さ
れる画像である。
【００２６】代替実施例では、より多くの、またはより
少ない観察位置の画像を使用することにより、より多く
の、またはより少ない重畳画像を作成することができ
る。また、もう１つの代替実施例では、操作者が操作の
間に観察位置およびオフセットを選択したり変更したり
することができる。もう１つの実施例では、本発明は更
に自動フライト（ｆｌｉｇｈｔ）計画器６０も用いる。
自動フライト計画器６０は、環境モデル記憶装置３７、
ＲＯＶモデル記憶装置４７およびアクチュエータ１３に
結合される。図２は、図１の自動フライト計画器６０の
詳細なブロック図である。図２で自動フライト計画器６
０は、指示装置６５、ＲＯＶ１０の予定経路すなわち軌
道を記憶するためのフライト経路記憶装置６１、経路実
行ユニット６７および軌道コンピュータ６３で構成され
る。指示装置６５は、ＲＯＶが訪れるべき環境内の行き
先位置を選択するために操作者２によって使用される。
行き先位置は軌道コンピュータ６３に与えられる。次
に、軌道コンピュータはＲＯＶモデル記憶装置４７およ
び環境モデル記憶装置３７から情報を読み出して、環境
内のどの物体とも衝突しないような行き先点への軌道を
計算する。次に、この計算された軌道は、操作者のため
に図１の映像混合器４１を介してモニタ４３に表示する
ことができる。操作者２は、指示装置６５に記号名また
は数値位置をタイプ入力することによって行き先点を規
定することができる。操作者２は軌道が許容できると判
定して、経路実行ユニット６７に軌道を実行させること
ができる。経路実行ユニット６７はアクチュエータ１３
（図１）を駆動することにより、計算された軌道に従っ
てＲＯＶを動かす。従って、現在の計算された軌道（ま
たはフライト経路記憶装置６１から選択されたもの）
は、操作者２によって指令されたとき実際の環境の中で
実際のＲＯＶにより実行することができる。オプション
として、フライト経路監視ユニット６９はフライト経路
記憶装置６１から選択された軌道を読み出し、ＲＯＶの
現在の位置および方向を受けて、選択された軌道および
ＲＯＶのたどる現在の経路を映像混合器４１を介してモ
ニタ４３に示す。
少ない観察位置の画像を使用することにより、より多く
の、またはより少ない重畳画像を作成することができ
る。また、もう１つの代替実施例では、操作者が操作の
間に観察位置およびオフセットを選択したり変更したり
することができる。もう１つの実施例では、本発明は更
に自動フライト（ｆｌｉｇｈｔ）計画器６０も用いる。
自動フライト計画器６０は、環境モデル記憶装置３７、
ＲＯＶモデル記憶装置４７およびアクチュエータ１３に
結合される。図２は、図１の自動フライト計画器６０の
詳細なブロック図である。図２で自動フライト計画器６
０は、指示装置６５、ＲＯＶ１０の予定経路すなわち軌
道を記憶するためのフライト経路記憶装置６１、経路実
行ユニット６７および軌道コンピュータ６３で構成され
る。指示装置６５は、ＲＯＶが訪れるべき環境内の行き
先位置を選択するために操作者２によって使用される。
行き先位置は軌道コンピュータ６３に与えられる。次
に、軌道コンピュータはＲＯＶモデル記憶装置４７およ
び環境モデル記憶装置３７から情報を読み出して、環境
内のどの物体とも衝突しないような行き先点への軌道を
計算する。次に、この計算された軌道は、操作者のため
に図１の映像混合器４１を介してモニタ４３に表示する
ことができる。操作者２は、指示装置６５に記号名また
は数値位置をタイプ入力することによって行き先点を規
定することができる。操作者２は軌道が許容できると判
定して、経路実行ユニット６７に軌道を実行させること
ができる。経路実行ユニット６７はアクチュエータ１３
（図１）を駆動することにより、計算された軌道に従っ
てＲＯＶを動かす。従って、現在の計算された軌道（ま
たはフライト経路記憶装置６１から選択されたもの）
は、操作者２によって指令されたとき実際の環境の中で
実際のＲＯＶにより実行することができる。オプション
として、フライト経路監視ユニット６９はフライト経路
記憶装置６１から選択された軌道を読み出し、ＲＯＶの
現在の位置および方向を受けて、選択された軌道および
ＲＯＶのたどる現在の経路を映像混合器４１を介してモ
ニタ４３に示す。
【００２７】操作者２は行き先点だけでなく軌道の中間
点（途中の点）を指示することができる。軌道コンピュ
ータは、衝突を生じないで、操作者２が指示した点に最
も近い軌道すなわち適切な経路を決定する。原子力プラ
ントのオフライン保守のような多くの場合に不規則さ
（ｉｒｒｅｇｕｌａｒｉｔｙ）の迅速で正確な判定は非
常に重要であり、プラントがオフラインである時間の長
さにコストが関連するので、画像データを迅速に収集、
検索および比較することが重要である。従来のシステム
では、構造の疑わしい場所から映像が取得される。後
日、ＲＯＶは手動で疑わしい場所の一つに向けられる。
現在の映像が取得され、通常実時間で画像を並べて見る
ことにより、劣化の程度が判定される。比較が妥当であ
るのは、記録保管された画像と現在の画像が類似のイメ
ージングパラメータを持っているときだけである。イメ
ージングパラメータは、形式が変わるごとに変化する。
例えば、ビデオカメラのイメージングパラメータには、
観察位置、視野、絞り開口、ズーム設定等が含まれる。
これらのパラメータが変えられると、画像は異なるもの
になる。
点（途中の点）を指示することができる。軌道コンピュ
ータは、衝突を生じないで、操作者２が指示した点に最
も近い軌道すなわち適切な経路を決定する。原子力プラ
ントのオフライン保守のような多くの場合に不規則さ
（ｉｒｒｅｇｕｌａｒｉｔｙ）の迅速で正確な判定は非
常に重要であり、プラントがオフラインである時間の長
さにコストが関連するので、画像データを迅速に収集、
検索および比較することが重要である。従来のシステム
では、構造の疑わしい場所から映像が取得される。後
日、ＲＯＶは手動で疑わしい場所の一つに向けられる。
現在の映像が取得され、通常実時間で画像を並べて見る
ことにより、劣化の程度が判定される。比較が妥当であ
るのは、記録保管された画像と現在の画像が類似のイメ
ージングパラメータを持っているときだけである。イメ
ージングパラメータは、形式が変わるごとに変化する。
例えば、ビデオカメラのイメージングパラメータには、
観察位置、視野、絞り開口、ズーム設定等が含まれる。
これらのパラメータが変えられると、画像は異なるもの
になる。
【００２８】与えられた場所での過去の検査からの情報
は多数の形式を取ることができる。例えば、写真、ビデ
オフレーム、ビデオテープ上のビデオシーケンス、二次
元超音波検査データのようなデータを視覚化するコンピ
ュータ生成画像、熱画像、検査報告、検査メモ、および
音声テープのような非画像データである。本発明のもう
１つの実施例では、自動フライト計画器６０はオプショ
ンであるが、図１の上記の要素を全て含んでいる上に、
記録保管および比較（Ａ＆Ｃ）装置５０も含まれる。図
３は図１の記録保管および比較装置５０の詳細なブロッ
ク図である。図３の記録保管および比較装置５０はセン
サデータ記憶装置５１を使用する。センサデータ記憶装
置５１は、空間画像と共に、各画像に関係する位置、方
向および取得パラメータを記憶することができる。これ
らのパラメータは、イメージングされたときのイメージ
ングされた場所の独自性、観察位置、イメージャの形式
（視覚、熱、超音波等）、および画像に関連する値の記
述（き裂の長さ、腐食の面積等）を規定する。更にセン
サデータ記憶装置５１は、検査報告のような本文情報に
対する記憶、およびＲＯＶに載置されたマイクロホンま
たは加速度計の記録のような非画像信号データの記憶を
行う。本文データおよび非画像信号データも特定の検査
場所に結合され、後の検索時間に確認できるようにタイ
ムスタンプが押される。センサデータ記憶装置５１に与
えられる情報の多くは、ＲＯＶ１０に載置されたセンサ
パッケージ１１から生じる。本文情報はテキスト入力装
置５７によって与えることができる。
は多数の形式を取ることができる。例えば、写真、ビデ
オフレーム、ビデオテープ上のビデオシーケンス、二次
元超音波検査データのようなデータを視覚化するコンピ
ュータ生成画像、熱画像、検査報告、検査メモ、および
音声テープのような非画像データである。本発明のもう
１つの実施例では、自動フライト計画器６０はオプショ
ンであるが、図１の上記の要素を全て含んでいる上に、
記録保管および比較（Ａ＆Ｃ）装置５０も含まれる。図
３は図１の記録保管および比較装置５０の詳細なブロッ
ク図である。図３の記録保管および比較装置５０はセン
サデータ記憶装置５１を使用する。センサデータ記憶装
置５１は、空間画像と共に、各画像に関係する位置、方
向および取得パラメータを記憶することができる。これ
らのパラメータは、イメージングされたときのイメージ
ングされた場所の独自性、観察位置、イメージャの形式
（視覚、熱、超音波等）、および画像に関連する値の記
述（き裂の長さ、腐食の面積等）を規定する。更にセン
サデータ記憶装置５１は、検査報告のような本文情報に
対する記憶、およびＲＯＶに載置されたマイクロホンま
たは加速度計の記録のような非画像信号データの記憶を
行う。本文データおよび非画像信号データも特定の検査
場所に結合され、後の検索時間に確認できるようにタイ
ムスタンプが押される。センサデータ記憶装置５１に与
えられる情報の多くは、ＲＯＶ１０に載置されたセンサ
パッケージ１１から生じる。本文情報はテキスト入力装
置５７によって与えることができる。
【００２９】記録保管および比較装置５０は、検索制御
コンピュータ５３も含む。検索制御コンピュータ５３
は、センサデータ記憶装置５１、位置および姿勢検知ユ
ニット２１、信号処理および視覚化（ＳＰ＆Ｖ）ユニッ
ト５５に結合される。操作者２の指令に応じて、検索制
御コンピュータ５３は、ＲＯＶが訪れて現在調べている
場所に関連する全ての過去のデータをセンサデータ記憶
装置５１から検索する。検索制御コンピュータ５３の制
御下で、信号処理視覚化ユニット５５は、センサパッケ
ージ１１からセンサデータを、またセンサデータ記憶装
置５１から過去の検査データを受ける。信号処理および
視覚化ユニット５５は位置、方向およびイメージングパ
ラメータに従って、センサデータ記憶装置５１に記録保
管された画像を変換することにより、センサパッケージ
１１が現在取得しつつある画像の位置、方向およびイメ
ージングパラメータを整合させる。このとき、信号は比
較できるように同じベース上にある。信号処理および視
覚化ユニット５５は、映像混合器４１を介してモニタ４
３上に並べた形式で２つの画像を操作者２に表示し、そ
れらを重畳し、画像の差を表示することができる。ある
いは、信号処理および視覚化ユニット５５は任意の適当
な画像処理方法を用いることにより操作者２の特別の関
心を引きたい領域を強調することができる。差は、カラ
ーコーディング、グラフィックディスプレイ等により強
調することができる。信号処理および視覚化ユニット５
５は、その比較および画像処理の結果を、操作者２が検
討できるようにするために任意の適当な形式で表示する
こともできる。
コンピュータ５３も含む。検索制御コンピュータ５３
は、センサデータ記憶装置５１、位置および姿勢検知ユ
ニット２１、信号処理および視覚化（ＳＰ＆Ｖ）ユニッ
ト５５に結合される。操作者２の指令に応じて、検索制
御コンピュータ５３は、ＲＯＶが訪れて現在調べている
場所に関連する全ての過去のデータをセンサデータ記憶
装置５１から検索する。検索制御コンピュータ５３の制
御下で、信号処理視覚化ユニット５５は、センサパッケ
ージ１１からセンサデータを、またセンサデータ記憶装
置５１から過去の検査データを受ける。信号処理および
視覚化ユニット５５は位置、方向およびイメージングパ
ラメータに従って、センサデータ記憶装置５１に記録保
管された画像を変換することにより、センサパッケージ
１１が現在取得しつつある画像の位置、方向およびイメ
ージングパラメータを整合させる。このとき、信号は比
較できるように同じベース上にある。信号処理および視
覚化ユニット５５は、映像混合器４１を介してモニタ４
３上に並べた形式で２つの画像を操作者２に表示し、そ
れらを重畳し、画像の差を表示することができる。ある
いは、信号処理および視覚化ユニット５５は任意の適当
な画像処理方法を用いることにより操作者２の特別の関
心を引きたい領域を強調することができる。差は、カラ
ーコーディング、グラフィックディスプレイ等により強
調することができる。信号処理および視覚化ユニット５
５は、その比較および画像処理の結果を、操作者２が検
討できるようにするために任意の適当な形式で表示する
こともできる。
【００３０】信号処理および視覚化ユニット５５は、音
声データのような非画像信号に作用して、２つの信号に
同じ取得パラメータを持たせ、変換された信号に対して
比較および信号処理を行うこともできる。検索制御コン
ピュータ５３は、１つの記録保管された画像と１つの現
在の画像を比較するかわりに、２つの記録保管された画
像を選択して相互に比較することもできる。信号処理お
よび視覚化ユニット５５は、一方の画像、他方の画像、
または両方の画像を変換して、同じ観察位置およびイメ
ージングパラメータを持たせることにより、それらを直
接比較できるようにする。異なる時点に取得された同じ
場所に対する多数の記録保管画像を信号処理および視覚
化ユニット５５で変換することにより、時間順の順序で
再生したときに「時間経過」映画を構成することができ
る。
声データのような非画像信号に作用して、２つの信号に
同じ取得パラメータを持たせ、変換された信号に対して
比較および信号処理を行うこともできる。検索制御コン
ピュータ５３は、１つの記録保管された画像と１つの現
在の画像を比較するかわりに、２つの記録保管された画
像を選択して相互に比較することもできる。信号処理お
よび視覚化ユニット５５は、一方の画像、他方の画像、
または両方の画像を変換して、同じ観察位置およびイメ
ージングパラメータを持たせることにより、それらを直
接比較できるようにする。異なる時点に取得された同じ
場所に対する多数の記録保管画像を信号処理および視覚
化ユニット５５で変換することにより、時間順の順序で
再生したときに「時間経過」映画を構成することができ
る。
【００３１】図１のブロックで示した多数の要素は物理
的にＲＯＶ内に配置してもよいし、ベースユニットに配
置してもよい。それらがどこに配置されてもほとんど差
は無い。ただし、モニタ４３および指示装置６５は操作
者２がアクセスできる所すなわち手の届く所に無ければ
ならないし、アクチュエータ１３およびセンサパッケー
ジ１１はＲＯＶ上になければならない。
的にＲＯＶ内に配置してもよいし、ベースユニットに配
置してもよい。それらがどこに配置されてもほとんど差
は無い。ただし、モニタ４３および指示装置６５は操作
者２がアクセスできる所すなわち手の届く所に無ければ
ならないし、アクチュエータ１３およびセンサパッケー
ジ１１はＲＯＶ上になければならない。
【００３２】新規な本発明の幾つかの現在好ましいと考
えられる実施例を詳しく述べてきたが、熟練した当業者
は多数の変形および変更を考えつき得よう。したがって
本発明は特許請求の範囲により限定され、説明のため示
した細部や手段によって限定されるものではない。
えられる実施例を詳しく述べてきたが、熟練した当業者
は多数の変形および変更を考えつき得よう。したがって
本発明は特許請求の範囲により限定され、説明のため示
した細部や手段によって限定されるものではない。
【図面の簡単な説明】
【図１】本発明による現実性を向上した保守システムの
概略ブロック図である。
概略ブロック図である。
【図２】図１の自動フライト計画器の詳細なブロック図
である。
である。
【図３】図１の記録保管および比較装置の更に詳細なブ
ロック図である。
ロック図である。
２ 操作者 １０ ＲＯＶ １１ センサパッケージ １３ アクチュエータ ２１ 位置および姿勢検知ユニット ３１ａ オフセット計算装置 ３１ｂ 観察位置ユニット ３３ ＲＯＶ表現器 ３５ 環境表現器 ３７ 環境モデル記憶装置 ３９ 環境モデラ ４１ 映像混合器 ４３ モニタ ４７ ＲＯＶモデル記憶装置 ５０ 記録保管および比較装置 ５１ センサデータ記憶装置 ５３ 検索制御コンピュータ ５５ 信号処理および視覚化ユニット
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 15/00 1/00 Ｈ０４Ｎ 7/18 Ｊ (72)発明者 ピーター・マイケル・ミーナン アメリカ合衆国、ニューヨーク州、スコテ ィア、ノルウッド・ドライブ、11番 (72)発明者 クロード・ホーマー・ソラナス，ザ・サー ド アメリカ合衆国、カリフォルニア州、モー ガン・ヒル、ルイス・ホルストローム・ド ライブ、2129番 (72)発明者 デイビッド・クラーク・ビッカーマン アメリカ合衆国、カリフォルニア州、プレ ザントン、エムティー・タム・サークル、 5150番 (72)発明者 クリストファー・アラン・ナイフィス アメリカ合衆国、ニューヨーク州、ビスチ ャー・フェリー、リバービユー・ロード、 321番
Claims (5)
- 【請求項１】 環境内の構造の検査と修理のための遠隔
保守システムに於いて、 （ａ）環境内の上記構造の物理的特性を検査することが
できるセンサパッケージを持つ遠隔操作ビークル（ＲＯ
Ｖ）であって、当該ＲＯＶを操縦することができるアク
チュエータを持つ遠隔操作ビークル、 （ｂ）ＲＯＶの位置および方向を供給するための位置お
よび姿勢（Ｐ＆Ａ）検知ユニット、 （ｃ）ＲＯＶの環境に関するコンピュータグラフィック
情報を保持することができる環境モデル記憶装置、 （ｄ）ＲＯＶの環境内の物体を規定するパラメータを受
け、コンピュータ生成された環境のモデルを作成し、該
モデルを上記環境モデル記憶装置に記憶させる環境モデ
ラ、 （ｅ）上記環境モデル記憶装置に結合され、少なくとも
１つの観察位置から見た環境モデルから環境の画像を生
成するための環境表現器、 （ｆ）上記Ｐ＆Ａ検知ユニットに結合されたＲＯＶ表現
器であって、少なくとも１つの観察位置から見たときの
ＲＯＶの予め記憶されたモデルから生成されるＲＯＶの
画像に対応する位置および方向におけるＲＯＶの画像を
生成するＲＯＶ表現器、 （ｇ）映像信号を表示するためのモニタ、 （ｈ）上記モニタに画像を表示するために上記環境表現
器および上記ＲＯＶ表現器に結合された映像混合器であ
って、操作者がＲＯＶの位置をその環境に対して視覚化
できるようにする映像混合器、および （ｉ）上記の映像混合器、Ｐ＆Ａ検知ユニットおよびセ
ンサパッケージに結合された記録保管および比較（Ａ＆
Ｃ）装置であって、上記センサパッケージからの信号を
取得パラメータとともに記録保管し、第１の記録保管さ
れた信号とそれの取得パラメータを検索し、第２の信号
とそれの取得パラメータを検索し、同じ取得パラメータ
を持つように上記の２つの信号を修正し、第１の修正さ
れた信号と第２の修正された信号とを比較することによ
り信号の差を識別して該差の特性を表すことができる記
録保管および比較装置を含むことを特徴とする遠隔保守
システム。 - 【請求項２】 更に、上記のＲＯＶ表現器および環境表
現器に結合されて、画像表現に用いられる観察位置を供
給する観察位置ユニットを含む請求項１記載の遠隔保守
システム。 - 【請求項３】 更に、上記Ｐ＆Ａ検知ユニットに結合さ
れたオフセット計算装置であって、画像表現のために上
記の環境表現器およびＲＯＶ表現器によって用いられ、
かつ上記Ｐ＆Ａ検知ユニットから受けたＲＯＶの位置お
よび方向に対するオフセットである観察位置を供給する
オフセット計算装置を含む請求項１記載の遠隔保守シス
テム。 - 【請求項４】 上記Ａ＆Ｃ装置が、 （ａ）上記センサパッケージからの信号および取得パラ
メータを記憶するためのセンサデータ記憶装置、 （ｂ）上記センサデータ記憶装置に結合された検索コン
ピュータであって、操作者と対話することにより、選択
すべき記録保管された信号を規定する規準を受け、操作
者の設定した規準に適合する上記センサデータ記憶装置
からの記録保管された信号およびそれの取得パラメータ
を選択し、上記センサパッケージから現在のセンサパッ
ケージ信号および取得パラメータを受け、そして記録保
管された信号を現在の取得パラメータに従って修正し
て、修正された信号を作成する検索コンピュータ、およ
び （ｃ）上記検索コンピュータに結合された信号処理およ
び視覚化（ＳＰ＆Ｖ）ユニットであって、上記修正され
た信号を現在のセンサパッケージ信号と比較することに
より信号の差を識別して該差の特性を表し、そして分析
のため操作者に対して該差の可視像を作成する信号処理
および視覚化ユニットを有している請求項１記載の遠隔
保守システム。 - 【請求項５】 上記Ａ＆Ｃ装置が、 （ａ）上記センサパッケージからの信号および取得パラ
メータを記憶するためのセンサデータ記憶装置、 （ｂ）上記センサデータ記憶装置に結合された検索コン
ピュータであって、操作者と対話することにより、選択
すべき記録保管された信号を規定する規準を受け、操作
者の設定した規準に適合する上記センサデータ記憶装置
からの記録保管された信号および取得パラメータを選択
し、第１および第２の記録保管された信号および対応す
る取得パラメータを選択し、そして該第１および第２の
記録保管された信号をそれらの取得パラメータに従って
修正して、第１および第２の修正された信号を作成す検
索コンピュータ、および （ｃ）上記検索コンピュータに結合された信号処理およ
び視覚化（ＳＰ＆Ｖ）ユニットであって、上記第１およ
び第２の修正された信号を比較することにより信号の差
を識別して該差の特性を表し、そして分析のため操作者
に対して該差の可視像を作成する信号処理および視覚化
ユニットを有する請求項１記載の遠隔保守システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US219562 | 1994-03-29 | ||
| US08/219,562 US5412569A (en) | 1994-03-29 | 1994-03-29 | Augmented reality maintenance system with archive and comparison device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0882536A true JPH0882536A (ja) | 1996-03-26 |
Family
ID=22819778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7056377A Withdrawn JPH0882536A (ja) | 1994-03-29 | 1995-03-16 | 遠隔保守システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5412569A (ja) |
| EP (1) | EP0674974A1 (ja) |
| JP (1) | JPH0882536A (ja) |
| TW (1) | TW273018B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004021300A (ja) * | 2002-06-12 | 2004-01-22 | Toshiba Corp | スクリーン制御装置 |
| JP2008009504A (ja) * | 2006-06-27 | 2008-01-17 | Olympus Corp | 情報表示システム |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7301536B2 (en) * | 1993-09-10 | 2007-11-27 | Geovector Corporation | Electro-optic vision systems |
| US5550758A (en) * | 1994-03-29 | 1996-08-27 | General Electric Company | Augmented reality maintenance system with flight planner |
| US5706195A (en) * | 1995-09-05 | 1998-01-06 | General Electric Company | Augmented reality maintenance system for multiple rovs |
| US5745387A (en) * | 1995-09-28 | 1998-04-28 | General Electric Company | Augmented reality maintenance system employing manipulator arm with archive and comparison device |
| US6625299B1 (en) * | 1998-04-08 | 2003-09-23 | Jeffrey Meisner | Augmented reality technology |
| US6271849B1 (en) | 1998-10-21 | 2001-08-07 | Spectra Precision Software , Inc. | System and method for producing externally rendered object |
| JP2001014316A (ja) * | 1999-04-28 | 2001-01-19 | Aizu Doken Corp | 建築土木用データベース生成装置及び表示装置 |
| US7084887B1 (en) * | 1999-06-11 | 2006-08-01 | Canon Kabushiki Kaisha | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
| US6330356B1 (en) * | 1999-09-29 | 2001-12-11 | Rockwell Science Center Llc | Dynamic visual registration of a 3-D object with a graphical model |
| US7262747B2 (en) * | 2001-08-09 | 2007-08-28 | Information Decision Technologies, Llc | Method and apparatus for using thermal imaging and augmented reality |
| US8015507B2 (en) * | 2001-11-05 | 2011-09-06 | H2Eye (International) Limited | Graphical user interface for a remote operated vehicle |
| GB2381725B (en) * | 2001-11-05 | 2004-01-14 | H2Eye | Graphical user interface for a remote operated vehicle |
| US7002551B2 (en) * | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
| US20070035562A1 (en) * | 2002-09-25 | 2007-02-15 | Azuma Ronald T | Method and apparatus for image enhancement |
| US20040066391A1 (en) * | 2002-10-02 | 2004-04-08 | Mike Daily | Method and apparatus for static image enhancement |
| US20040068758A1 (en) * | 2002-10-02 | 2004-04-08 | Mike Daily | Dynamic video annotation |
| US7496226B2 (en) * | 2003-09-19 | 2009-02-24 | University Of Miami | Multi-camera inspection of underwater structures |
| JP2006105640A (ja) * | 2004-10-01 | 2006-04-20 | Hitachi Ltd | ナビゲーション装置 |
| US8485822B2 (en) * | 2006-05-31 | 2013-07-16 | Caterpillar Inc. | Simulation system implementing historical machine data |
| US8139108B2 (en) * | 2007-01-31 | 2012-03-20 | Caterpillar Inc. | Simulation system implementing real-time machine data |
| US20090322671A1 (en) * | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
| WO2012076062A1 (en) * | 2010-12-10 | 2012-06-14 | Sony Ericsson Mobile Communications Ab | Touch sensitive haptic display |
| US9195231B2 (en) | 2011-11-09 | 2015-11-24 | Abyssal S.A. | System and method of operation for remotely operated vehicles with superimposed 3D imagery |
| US8983172B2 (en) | 2012-12-28 | 2015-03-17 | Modern Technology Solutions, Inc. | Visual inspection apparatus, secure one-way data transfer device and methods therefor |
| US9615177B2 (en) | 2014-03-06 | 2017-04-04 | Sphere Optics Company, Llc | Wireless immersive experience capture and viewing |
| US11106208B2 (en) | 2018-07-10 | 2021-08-31 | Imam Abdulrahman Bin Faisal University | Building quality inspection system and inspection robot |
| CN110216685B (zh) * | 2019-03-12 | 2021-02-02 | 汕头大学 | 一种用于煤仓内壁缺陷检测的悬索并联机器人及控制方法 |
| DE102022121951B3 (de) | 2022-08-31 | 2024-02-22 | Ait Austrian Institute Of Technology Gmbh | Verfahren zur Messung von Dosisleistungen radioaktiver Flächen am Boden eines Terrains |
| DE102022121953B3 (de) | 2022-08-31 | 2024-02-22 | Ait Austrian Institute Of Technology Gmbh | Verfahren zur Lokalisierung radioaktiver Quellen in Echtzeit |
| FR3148663B1 (fr) * | 2023-05-11 | 2025-11-14 | Framatome Sa | Méthode et ensemble de maintenance d’un équipement d’une installation industrielle |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1103803A (en) * | 1978-03-01 | 1981-06-23 | National Research Council Of Canada | Method and apparatus of determining the center of area or centroid of a geometrical area of unspecified shape lying in a larger x-y scan field |
| US4636137A (en) * | 1980-10-24 | 1987-01-13 | Lemelson Jerome H | Tool and material manipulation apparatus and method |
| US4916642A (en) * | 1981-07-31 | 1990-04-10 | O-Com, Inc. | Environmental control with multiple zone central processor means |
| US4432931A (en) * | 1981-10-02 | 1984-02-21 | Electric Power Research Institute, Inc. | Inspection system |
| US4581762A (en) * | 1984-01-19 | 1986-04-08 | Itran Corporation | Vision inspection system |
| US4742227A (en) * | 1985-05-29 | 1988-05-03 | Mitsubishi Denki Kabushiki Kaisha | Mobile type inspection apparatus |
| US4706120A (en) * | 1985-08-30 | 1987-11-10 | Texas Instruments Incorporated | Modular, vision system for automation of inspection and process control |
| US4818990A (en) * | 1987-09-11 | 1989-04-04 | Fernandes Roosevelt A | Monitoring system for power lines and right-of-way using remotely piloted drone |
| US4855822A (en) * | 1988-01-26 | 1989-08-08 | Honeywell, Inc. | Human engineered remote driving system |
| DE3925275A1 (de) * | 1989-07-31 | 1991-02-07 | Kernforschungsz Karlsruhe | Verfahren zur manipulation in unzugaenglichen arbeitsraeumen |
| FR2681162B1 (fr) * | 1991-09-10 | 1995-03-17 | Paris Val De Marne Universite | Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile. |
-
1994
- 1994-03-29 US US08/219,562 patent/US5412569A/en not_active Expired - Fee Related
- 1994-08-16 TW TW083107475A patent/TW273018B/zh active
-
1995
- 1995-02-14 EP EP95300904A patent/EP0674974A1/en not_active Withdrawn
- 1995-03-16 JP JP7056377A patent/JPH0882536A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004021300A (ja) * | 2002-06-12 | 2004-01-22 | Toshiba Corp | スクリーン制御装置 |
| JP2008009504A (ja) * | 2006-06-27 | 2008-01-17 | Olympus Corp | 情報表示システム |
Also Published As
| Publication number | Publication date |
|---|---|
| TW273018B (ja) | 1996-03-21 |
| EP0674974A1 (en) | 1995-10-04 |
| US5412569A (en) | 1995-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5412569A (en) | Augmented reality maintenance system with archive and comparison device | |
| US5550758A (en) | Augmented reality maintenance system with flight planner | |
| US5745387A (en) | Augmented reality maintenance system employing manipulator arm with archive and comparison device | |
| US5706195A (en) | Augmented reality maintenance system for multiple rovs | |
| US5425279A (en) | Vessel inspection system | |
| Mohammadkhorasani et al. | Augmented reality-computer vision combination for automatic fatigue crack detection and localization | |
| CN102057403B (zh) | 无损检查数据可视化和分析 | |
| US5475613A (en) | Ultrasonic defect testing method and apparatus | |
| JP4475632B2 (ja) | 無人飛行体を用いた送電線点検システム | |
| US20170074664A1 (en) | Underwater Inspection System Using An Autonomous Underwater Vehicle ("AUV") In Combination With A Laser Micro Bathymetry Unit (Triangulation Laser) and High Definition Camera | |
| US8249832B2 (en) | Correlation of inspection information and computer-aided design data for structural assessment | |
| US10191014B2 (en) | System and method for nondestructive evaluation of a test object | |
| EP3161412B1 (en) | Indexing method and system | |
| JPH08122483A (ja) | 遠隔保守システム | |
| US10969296B2 (en) | Leak-detection systems including inspection vehicles and leak-detection devices | |
| EP4314801A1 (en) | Augmented reality in ultrasonic inspection | |
| JP2009058255A (ja) | レーザ離隔計測システム | |
| US20170131220A1 (en) | Weld inspection method and system | |
| US12002193B2 (en) | Inspection device for inspecting a building or structure | |
| EP0674975A1 (en) | Maintenance system | |
| EP0681230A1 (en) | Navigation system | |
| GB2285129A (en) | Ultrasonic defect testing | |
| Arda et al. | Shelled Unmanned Aerial System for Bridge Structural Health Monitoring. | |
| EP2023165A1 (en) | System for detecting reinforcement in structures | |
| JPH06118062A (ja) | 非破壊検査用欠陥記録・再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20020604 |