JP2007018188A - 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム - Google Patents

Abstract

【課題】 作業者の位置や姿勢の変化によって刻々と変化する視野画像から、保守対象機器の存在と、保守対象機器の位置と方向を画像処理の負荷を抑えて高速に特定する。
【解決手段】 プラント内の機器・配管・計測器など保守作業に関係する保守対象機器２に対して発光型ＲＦＩＤタグ１を装着し、保守作業員が携行するＲ／Ｗ７からの発信によって、情報提示を要する保守対象機器２に関係した発光型ＲＦＩＤタグ１を選択的に発光させ、保守対象機器２の位置と方向を簡単な画像処理により検出可能とする。このため、処理装置５は、カメラ３からの画像を取り込み、発光している発光型ＲＦＩＤタグ１の位置を計算し、その画像から計算した発光型ＲＦＩＤタグ１の座標を基点とし、作業に関連した情報をＣＧに変換してＨＭＤ４等の表示装置に表示する構成とした。
【選択図】 図１

Description

本発明は、拡張現実感を利用し、特に、プラントの計測制御設備の保守等において、作業対象とする設備と重ね合わせて設備仕様や保守手順などの情報を表示することで保守作業の効率化を支援する用途に用いて好適な、拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラムに関する。

ＣＧ（Computer Graphics）を現実の光景と重ね合わせて表示する拡張現実感を利用して必要な情報を提示することで作業を支援しようとするシステムが多数提案されている。拡張現実感とは、ＶＲ（Virtual Reality）技術を用いて実世界に仮想的な情報を付加し、人間と実世界とのインタラクションを可能にするものである。ここで、ＶＲとは、人間が持つ幾つかの感覚器官に人工的に作り出した刺激を与えることで、実際には存在しない空間や物体を知覚させることをいう。

ＨＭＤ（Head-Mounted Display）や情報提示用の画像を生成するコンピュータの小型化により、拡張現実感による作業支援は現実的になってきている。実空間に対する表示位置を特定せず、ＨＭＤを使って視野の一部に作業関連図書などを常時表示しておく方式を持つシステムは既に市販されている。このようなシステムを使用することで、作業中に手を塞ぐことも無く、また脇見をする必要も無く、必要な情報を得ることができる。
ただし、本来の拡張現実感が意図するところは、単なる情報の表示にとどまらず、情報を表示する位置によって、物と情報との関係を視覚的に提示することにある。例えば、カバーで覆われた装置の内部の配線をＣＧで表示し、保守対象の装置に指示記号を重ね合わせて表示する等、言語化し難い情報を正しく伝えることに最も威力を発揮する。このためには、視野の中の適切な位置に情報を表示する必要がある。

表示位置の決定には、まず、情報と関連付けられる物体が視野の中にあるか、視野のどこにあるか、等を検出しなければならない。そのためには、画像処理技術を用いるのが一般的である。画像処理では、物体の色や形状、または、特定の色や図柄の検出用マーカ、あるいはその両方を特徴点として画像から保守対象機器を検出し、検出した位置を基点に表示位置を決定する。
また、画像認識によらず、見る側の人間の位置や姿勢を検出することで表示位置を決定する方法もある（例えば、特許文献１参照）。
特許第３６５３１９６号公報（段落「００１５」〜「００１８」、図１）

しかしながら、特許文献１に開示された技術によれば、現実の物体に関連づけて情報を提示しようとする場合、情報を関連付ける物体の位置や方向も正確に把握できていることが必須である。したがって、点検等の保守作業では，情報を関連付けるプラント内の物体すべてについて，その配置と方向を把握する必要がある。ＣＡＤ（Computer Aided Design）システムを使って設計されたプラントであれば、そこから配置座標を得ることもできるが、制御装置など建設後に移設・追設されることのある機器については正確な配置座標は望めない。また、可搬型の計測器など、その時々で位置の変わる物には対応できないといった不都合もある。

また、画像処理を用いた場合も以下に示す不都合がある。すなわち、保守の現場で作業中の人間に拡張現実感を使って情報を提示しようとした場合は、視野の移動を考慮した画像処理が必要になる。例えば、色や形状の特徴で物体を検出する場合、撮影する角度によって２次元の画像として見える形状が変化することや、光源の位置や種類によって色が変化することを考慮した処理が必要である。
このような問題点を解決する方法として、検出用マーカを保守対象物表面に貼付する方法があった。しかし、検出用マーカを用いる場合、物体の検出が必要になる位置から必ずマーカが撮影できるように計画的にマーカを設置しておく必要がある。プラント内での保守作業のように、機器や配管が入り組んだ空間を人間が自由に動いて作業するような場合、適切なマーカ配置を計画するのは容易ではない。

保守作業の対象は、タービンのように作業者よりも大きな機器もあれば、メータやスイッチのように小さな機器もあり、形状も大きさもさまざまである。また、制御盤のように外見の似通った装置、あるいは部品が同じ場所に集中していることが多く、特徴点によって個々の保守対象機器を区別しにくい。
一方で、作業者の位置や姿勢は作業に伴って動くため、画像処理によって情報の表示位置を決定しようとする場合、刻々と変化する撮影画像に対する高速な画像処理が要求される。プラント内にある多種多様な保守対象機器に対して、拡張現実感を用いることによって情報を表示しようとする場合、現実空間の画像から保守対象機器の色や形状の特徴点によらず保守対象機器を高速に検出し、保守対象機器の位置と方向を特定する方法が必要である。

本発明は前記した事情に基づいてなされたものであり、例えば、プラント内の機器や配管等、特徴点によって個々の保守対象機器を区別しにくい物体を対象に、作業者の位置や姿勢の変化によって刻々と変化する撮影画像から、保守対象機器の存在と、保守対象機器の位置と方向を画像処理の負荷を抑えて高速に特定でき、物と情報の関係を可視化する拡張現実感を実現することのできる、拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラムを提供することを目的とする。

本発明は、例えば、プラント内の機器・配管・計測器など保守作業に関係する保守対象機器に対して発光型ＲＦＩＤ（Radio Frequency Identification）タグを装着し、保守員が携行するリーダライタからの発信によって、情報提示の保守対象機器に関係した発光型ＲＦＩＤタグを選択的に発光させ、保守対象機器の位置と方向を簡単な画像処理により検出可能とした。
このため、情報提示装置は、撮影装置からの画像を取り込み、発光している発光型ＲＦＩＤタグの位置を計算し、その画像から計算した発光型ＲＦＩＤタグの座標を基点とし、作業に関連した情報をＣＧに変換して表示装置に表示する構成とした。

本発明によれば、例えば、プラント内の機器や配管等、特徴点によって個々の保守対象機器を区別しにくいような物体を対象に、作業者の位置や姿勢の変化によって刻々と変化する撮影画像から、前記保守対象機器の存在と、保守対象機器の位置と方向を画像処理の負荷を抑えて高速に特定でき、物と情報の関係を可視化する拡張現実感を実現することができる。

［システム］
以下、本発明の実施形態について図面を参照しながら詳細に説明する。図１は、本発明の実施形態にかかわる拡張現実感による情報提示システムのシステム構成の一例を示す図である。ここでは、保守の対象となる機器（保守対象機器）２に発光型ＲＦＩＤタグ１を装着し、当該機器に関連する情報を表示する場合の構成が例示されている。
保守対象機器２には、情報表示のための基点としたい位置に発光型ＲＦＩＤタグ１が装着（例えば、貼付）されている。また、保守作業員には、情報提示装置としての、例えば、ウエアラブルコンピュータが装着され、当該ウエアラブルコンピュータにより保守対象機器２に関連する情報を、ＣＧを用いて表示する。

［ウェアラブルコンピュータ］
ウエアラブルコンピュータは、現実空間を撮影するために必要なカメラ（撮影装置）３と、情報表示用のＨＭＤ（表示装置）４と、カメラ３によって撮影された画像を処理し、また、現実空間に合わせて表示を調整したＣＧを生成してＨＭＤ４に出力する処理装置５と、保守作業に関連した情報が格納される記憶装置６と、発光型ＲＦＩＤタグ１に対してデータの読み書きを行うリーダ／ライタ（Ｒ／Ｗ）７と、入力装置８を構成要素として持ち、保守作業員により常時携行される。
発光型ＲＦＩＤタグ１は、通常のＲＦＩＤタグが持つ構成に発光部を付加し、特定のコマンドを受信したときにその発光部に対して電力を供給するスイッチを設けたものであり、その詳細は、例えば、特開２００３−３１７０５０号公報に開示されている。

図２は、本発明の実施形態にかかわる拡張現実感による情報提示システムの動作を説明するために引用した動作シーケンス図である。
以下、図２に示す動作シーケンス図を参照しながら図１に示す本発明の拡張現実感による情報提示システムの動作を説明する。

［システムの処理（シーケンス図）］
動作に先立ち、記憶装置６には、これから行う作業に関する情報、例えば、保守手順書と，保守対象機器２に貼付された発光型ＲＦＩＤタグ１に固有の識別情報、作業に関連した回路図や保守記録などを格納しておくものとする。
まず、保守作業員は、入力装置８を操作することにより処理装置５を起動する（ステップＳ２１）。起動された処理装置５は、記憶装置６から保守対象に貼付された発光型ＲＦＩＤタグ１の識別情報を読み出し、Ｒ／Ｗ７に、その識別情報に該当する発光型ＲＦＩＤタグ１に対して識別情報を含んだ発光要求信号を送信することによって、発光要求を行う（ステップＳ２２）。発行要求信号を受信したＲ／Ｗ７は、識別情報を含んだ発光要求信号を、識別信号に該当する発光型ＲＦＩＤタグ１に送信する（ステップＳ２３）。

（発光と画像処理）
前記した発光要求信号を受信した発光型ＲＦＩＤタグ１は、自身に書き込まれている固有の識別情報と受信した識別情報とを比較し（ステップＳ２４）、一致した場合にのみ応答信号（Ａｃｋ）を返す（ステップＳ２６）。該当する発光型ＲＦＩＤタグ１は、内部のスイッチをＯＮして発光する（ステップＳ２５）。
発光型ＲＦＩＤタグ１からＡｃｋを受信したＲ／Ｗ７は、目的の発光型ＲＦＩＤタグ１との交信に成功したことを示すＡｃｋを処理装置５に返す（ステップＳ２７）。Ｒ／Ｗ７からＡｃｋを受信した処理装置５は、カメラ３からの画像を取り込んで画像処理を行い（ステップＳ２８）、発光している発光型ＲＦＩＤタグ１の位置計算を行う（ステップＳ２９）。そして、処理装置５は、更に、カメラ画像から計算した発光型ＲＦＩＤタグ１の座標を基準にして、記憶装置６から読み出される作業に関連した情報をＣＧに変換し、ＨＭＤ４に該当する情報を表示する（ステップＳ３０）。

処理装置５は、保守作業員が入力装置８を操作して停止指令を入力するまで（ステップＳ４４）、Ｒ／Ｗ７経由で発光型ＲＦＩＤタグ１に一定間隔で発光要求信号を送信し（ステップＳ２２、Ｓ２３、Ｓ３２およびＳ３４）、目的とする発光型ＲＦＩＤタグ１を発光させる。
また、発光型ＲＦＩＤタグ１は、発光要求信号を受信する毎に自身に固有の識別情報と受信した識別情報との比較を行い（ステップＳ２４、Ｓ３５）、自身に固有の識別情報と受信した識別情報とが一致していれば規定時間だけ発光する制御を実行する。ここでは、１回の発光要求に対し、短い間隔で３回発光するように設計されている（ステップＳ２３に対し、ステップＳ２５、Ｓ３１およびＳ３３、ステップＳ３４に対し、ステップＳ３６、Ｓ４２およびＳ４３）。更に、発光型ＲＦＩＤタグ１は、比較の結果、識別情報が一致していればＡｃｋをＲ／Ｗ７経由で処理装置５に送信し（ステップＳ２６、Ｓ２７とステップＳ３７、Ｓ３８）、処理装置５による画像処理、位置計算ならびに情報表示を促す（ステップＳ２８、Ｓ２９およびＳ３０／ステップＳ３９、Ｓ４０およびＳ４１）。

（処理の終了）
最後に、保守作業員が入力装置８を操作して停止指令を入力したときに（ステップＳ４４）、処理装置５による情報表示、および発光要求信号の送信を停止させる（ステップＳ４５）。さらに、処理装置５は、Ｒ／Ｗ７を経由して該当する発光型ＲＦＩＤタグ１に停止指令信号を送信することで、停止指令を行う（ステップＳ４６、Ｓ４７）。停止指令信号を受信した発光型ＲＦＩＤタグ１は一定時間後に発光を停止する（ステップＳ４８）。

［発光型ＲＦＩＤタグの位置の特定（図２のステップＳ２８、Ｓ２９）］
図３は、本発明の実施形態で使用される発光型ＲＦＩＤタグの発光前および発光中の画像から位置を特定する方法の一例を略図で示したものである。
図１を参照しつつ、図３に沿って本発明の実施形態で使用される発光型ＲＦＩＤタグの発光前および発光中の画像から位置を特定する方法の一例を説明する。
ここでは、発光前の画像３２と、発光中の画像３４との差分画像から発光型ＲＦＩＤタグ１の発光座標を計算する。符号３１および３３は、発光型ＲＦＩＤタグ１の位置を示す。カメラ３による撮影間隔を十分短く設定することにより、発光前と発光中の画像の撮影方向やカメラ３までの距離、外部光源の位置の違いなどは無視できる程度に軽減できる。
差分画像３６では、発光前後で変化のなかった部分の画素が消去され、発光型ＲＦＩＤタグ１の発光部分３５だけが残る。このため、処理装置５は、画像として残った部分の、例えば、中心点を発光型ＲＦＩＤタグ１の発光した座標として計算することができる。

［処理装置］
図４は、本発明の実施形態にかかわる拡張現実感による情報提示装置、具体的には図１に示す処理装置５の内部構成を機能展開して示したブロック図である。
処理装置５は、機能的に、発光要求送信部５１と、応答信号受信部５２と、画像取込部５３と、差分画像演算部５４と、表示制御部５５と、ＣＧ生成部５６と、ガイド情報生成部５７とで構成される。

発光要求送信部５１は、記憶装置６から発光型ＲＦＩＤタグ１を一意に特定する識別情報を読み取り、発光型ＲＦＩＤタグ１に対してその識別情報を含む発光要求信号をＲ／Ｗ７を経由して送信する機能を持つ。また、応答信号受信部５２は、該当する発光型ＲＦＩＤタグ１から返信される応答信号（Ａｃｋ）を受信して画像取込部５３、差分画像演算部５４を起動する機能を持つ。
また、差分画像演算部５４は、発光型ＲＦＩＤタグ１から応答信号を受信したとき、カメラ３を介して発光前と発光中に画像取込部５３へ取り込まれる撮影画像の差分を計算し、当該演算の結果得られる差分画像から該当する発光型ＲＦＩＤタグ１の発光位置を算出する機能を持つ。表示制御部５５は、記憶装置６から保守対象機器２に関連する表示情報を取得するとともに、その表示位置を、発光位置を基点とした相対位置座標として算出してＣＧ生成部５６を起動し、当該ＣＧ生成部５６により生成出力されるコンピュータグラフィックスを外部接続されるＨＭＤ４に表示する機能を持つ。

なお、表示制御部５５は、発光型ＲＦＩＤタグ１から応答信号を受信できなかったとき、もしくは応答信号を受信しても所定の表示情報を表示したい保守対象機器２が視野の外にあると判定されたときにガイド情報生成部５７を起動し、当該ガイド情報生成部５７によって生成される保守対象機器２に辿り着くために必要なガイド情報などを外部接続されるＨＭＤ４に表示する機能も併せ持つ。

［処理装置の処理］
図５は、本発明の実施形態にかかわる拡張現実感による情報提示装置の動作を説明するために引用したフローチャートである。図５には、本発明のコンピュータプログラムの処理手順も併せて示されている。
以下、図１および図４を参照しつつ、図５に示すフローチャートに沿って本発明の実施形態の拡張現実感による情報提示装置が実装される処理装置５の動作について詳細に説明する。

（起動〜Ａｃｋの受信：図２のＳ２１〜Ｓ２７）
まず、保守作業員は、入力装置８を操作することにより処理装置５を起動する。処理装置５の発光要求送信部５１は、記憶装置６から保守対象に貼付された発光型ＲＦＩＤタグ１の識別情報を読み出し、Ｒ／Ｗ７を介して読み出された識別情報を有する発光型ＲＦＩＤタグ１（保守対象機器２に貼付されている）に固有の識別情報を含む発光要求信号を送信する（ステップＳ５１）。そして、応答信号受信部５２は、該当する発光型ＲＦＩＤタグ１からＲ／Ｗ７を経由して送られる応答信号であるＡｃｋの受信の有無を判定する（ステップＳ５２）。
処理装置５の応答信号受信部５２は、Ａｃｋを受信しなければ（ステップＳ５２→″無し″）交信可能範囲内に保守対象機器２が無いと判断し（ステップＳ５３）、表示制御部５５とガイド情報生成部５７とを起動して関連情報の代わりに保守対象機器２に辿り着くためのガイド情報をＨＭＤ４に表示する（ステップＳ５４）。応答信号受信部５２は、Ａｃｋが受信できれば（ステップＳ５２→″有り″）、保守対象機器２が交信可能範囲にあるものと判断し、ステップＳ５５以降の画像処理を実行する。一般に、発光型ＲＦＩＤタグ１の交信可能範囲は狭いため、目的の発光型ＲＦＩＤタグ１と交信が成立すれば、それを貼付された保守対象機器２も近くに存在するはずである。

（画像処理、位置計算、情報表示：図２のＳ２８〜Ｓ３０）
また、発光型ＲＦＩＤタグ１は、Ａｃｋを返すと同時に、間欠的に発光するため、画像取込部５３は、発光前と発光中の様子を撮影できるように予め調整された時間間隔でカメラ３から撮影画像を取り込み、差分画像演算部５４で二つの撮影画像の差分を計算し（ステップＳ５５）、その結果を表示制御部５５に送る。時間間隔が調整されていれば差分画像には発光点だけが残るため、発光点の座標は簡単に計算することができる。
次に、表示制御部５５は、ステップＳ５５の処理の結果である差分画像における発光点の有無を判定する（ステップＳ５６）。
発光点があった場合（ステップＳ５６→“有り”）、表示制御部５５は、記憶装置６から保守対象機器２に関連する表示情報を取得するとともに、その表示位置を、差分画像により求められる発光位置を基点とした相対位置座標として算出し、ＣＧ生成部５６を起動し、ＣＧ生成部５６によりその表示情報を保守対象機器２の関連情報としてコンピュータグラフィックスに変換してＨＭＤ４に表示する（ステップＳ５９）。

（発光型ＲＦＩＤタグの発光が認められなかったときの処理）
表示制御部５５は、ステップＳ５６において発光点がない場合（ステップＳ５６→“無し”）、保守作業員が保守対象機器２の近くまで到達していることは明らかである（発光型ＲＦＩＤタグ１からのＡｃｋを受信しているため）。よって、該当する発光型ＲＦＩＤタグ１とは、交信可能範囲内だが保守対象機器２は視野の外である判断される（ステップＳ５７）。そして、処理装置５は、ガイド情報生成部５７を起動し、このガイド情報生成部５７により、「周囲を見回してください」等、発光点を探すためのガイド情報を表示する（ステップＳ５８）。

（処理の終了：図２のＳ４４〜Ｓ４８）
最後に、入力装置８を介して停止指令信号が発光要求送信部５１に入力されることで、処理装置５による情報表示、および発光要求信号の送信を停止させる。同時に、発光要求送信部５１は、該当する発光型ＲＦＩＤタグ１に停止指令信号をＲ／Ｗ７を経由して送信し、、停止指令信号を受信した発光型ＲＦＩＤタグ１は一定時間後に発光を停止する。

現実問題として、撮影した範囲に保守対象機器２が含まれているとは限らないため、従来のように画像処理だけで表示位置を計算する場合、まず撮影した画像に目的とする対象が含まれているか否かについて予め登録されている特徴点と比較し、計算する処理が必要になる。従って、撮影した画像から保守対象機器２を抽出し、その位置と方向を認識し、それに基づいて関連情報の表示位置を計算していた。
これに対し、前記した本発明の実施形態によれば、保守対象機器２に対して固有の識別情報を持った発光型ＲＦＩＤタグ１と交信が成立した時点で、少なくとも交信可能範囲に保守対象機器２が存在することが判断できるため、保守対象機器２を画像から抽出するという処理が不要になる。さらに、画像の差分を計算するという簡単な処理で関連情報表示の基点になる位置が計算できるため、画像処理にかかる処理装置５の負荷が大幅に低減される。

また、本発明の実施形態によれば、処理装置５は、表示する情報を記憶装置６から取得し、さらに表示位置を発光位置からの相対座標として取得する。このように、表示位置決定のために必要な画像処理が２つの画像の差分を計算するだけで済むため、処理負荷を大幅に低減でき、その分、短い周期で情報表示の基点となる座標を再計算できるため、作業者の位置や視線方向の変化にも追随しやすい使い勝手の良いシステム構築が可能である。

なお、前記した本発明の実施形態によれば、情報を表示したい保守対象機器２のそれぞれに１個ずつ発光型ＲＦＩＤタグ１を貼付しているため、指示記号や吹き出し等で保守対象機器２上の一点に情報を関連付ける場合にはそのまま表示位置を決定できる。
しかしながら、保守対象機器２に２次元図形等を貼り付けるような表示方法、例えば、機器内部の回路図をＣＧで重ねた表示を行うような場合、保守対象機器２の向き、傾き等を画像処理で認識する必要がある。

［複数の発光型ＲＦＩＤタグを用いた画像の傾きの算出］
図６は、本発明の他の実施形態にかかわる拡張現実感による情報提示システムのシステム構成の一例を示す図であり、保守対象機器２に複数の発光型ＲＦＩＤタグ１を貼付することで画像処理の負荷を低減する例を説明するために示した。
図６に沿って保守対象機器２に複数の発光型ＲＦＩＤタグ１を貼付することで画像処理の負荷を低減する例を説明する。
この場合も保守作業員が携行するウエアラブルコンピュータは、図１に示す実施形態と同様である。ただし、ここでは、保守対象機器２に複数の発光型ＲＦＩＤタグ６１〜６３が貼付されている。なお、貼付する発光型ＲＦＩＤタグ６１〜６３の個数は、保守対象機器２の形状にもよるが、箱型の場合は、重ねて表示したい面に、３個の発光型ＲＦＩＤタグ６１〜６３を貼付すれば目的は達せられる。

具体的に、貼付されるそれぞれの発光型ＲＦＩＤタグ１には、それぞれ固有の識別情報を書き込み、それぞれについて保守対象機器２およびその貼付位置とを対応付けて記憶装置６に記憶しておくものとする。
処理装置５から、Ｒ／Ｗ７を経由して発光型ＦＩＤタグ６１〜６３に送信される発光要求信号は、固有の識別情報を含んでいる。各発行型ＲＦＩＤタグ６１〜６３は、予め自身に割付けられた識別情報と送られた識別情報とが一致した場合にのみ発光するため、処理装置５は、３個の発行型ＲＦＩＤタグ６１〜６３を順次発光させることで保守対象機器２の表示面の向きを一意に特定することができる。保守対象機器２の表示面の向きを特定する方法は、図７を参照して後記する。

図７は、前記した本発明の他の実施形態にかかわる拡張現実感による情報提示システムの拡張現実感画像表示の一例を示す図である。具体的に、保守対象機器２平面への回路図の重ね合わせ表示の例が示されている。
図６を参照しつつ、図７に沿って本発明の他の実施形態にかかわる拡張現実感による情報提示システムの拡張現実感画像表示の一例を説明する。
図７において、保守対象機器２の平面７１には、固有の識別情報を書き込んだ発光型ＲＦＩＤタグ７２〜７４を貼付してある。処理装置５（表示制御部５５）は、この保守対象機器２をカメラ３で撮影した画像７５で、発光型ＲＦＩＤタグ７２〜７４の画像７５における座標と、実空間における相対座標とから、保守対象機器２の平面７１上の座標の変換マトリクスを生成することができる。ここで、生成された変換マトリクスに基づき、記憶装置６から読み出された保守対象機器２の内部の回路図７６を変形処理した回路図７７を取得し、これを撮影した画像７５に重ね合わせ処理すれば、現実空間の映像と合った表示画像７８が得られる。

以上説明のように本発明の実施形態は、例えば、プラント内の機器・配管・計測器など保守作業に関係する保守対象機器２に対して発光型ＲＦＩＤタグ１を装着し、保守作業員が携行するＲ／Ｗ７からの発信によって、情報提示を要する保守対象機器２に関係した発光型ＲＦＩＤタグ１を選択的に発光させ、保守対象機器２の位置と方向を簡単な画像処理により検出可能としたものである。このため、処理装置５は、カメラ３からの画像を取り込み、発光している発光型ＲＦＩＤタグ１の位置を計算し、その画像から計算した発光型ＲＦＩＤタグ１の座標を基点とし、作業に関連した情報をＣＧに変換してＨＭＤ４等の表示装置に表示する構成とした。

前記した構成によれば、例えば、プラント内の機器や配管等、特徴点によって個々の保守対象機器２を区別しにくい物体を対象に、作業者の位置や姿勢の変化によって刻々と変化する撮影画像から、保守対象機器２の存在と、保守対象機器２の位置と方向を画像処理の負荷を抑えて高速に特定でき、物と情報の関係を可視化する拡張現実感を実現することができる。

なお、図４に示す、発光要求送信部５１と、応答信号受信部５２と、画像取込部５３と、差分画像演算部５４と、表示制御部５５と、ＣＧ生成部５６と、ガイド情報生成部５７のそれぞれが持つ機能は、具体的には、処理装置５が、周辺装置として接続されるカメラ３、ＨＭＤ４、Ｒ／Ｗ７、入力装置８を使用し、記憶装置６に記録されたプログラムを逐次読み出し、実行することで実現されるものである。なお、前記したプログラムの中にはＯＳ（Operating System）、あるいは、通信回線を介してダウンロードされるプログラムデータも含まれるものとする。

本発明の実施形態にかかわる拡張現実感による情報提示システムのシステム構成の一例を示す図である。 本発明の実施形態にかかわる拡張現実感による情報提示システムの動作を説明するために引用した動作シーケンス図である。 本発明の実施形態で使用される発光型ＲＦＩＤタグの発光前および発光中の画像から位置を特定する方法の一例を略図で示したものである。 本発明の実施形態にかかわる拡張現実感による情報提示装置（処理装置）の内部構成を機能展開して示したブロック図である。 本発明の実施形態にかかわる拡張現実感による情報提示装置の動作を説明するために引用したフローチャートである。 本発明の他の実施形態にかかわる拡張現実感による情報提示システムのシステム構成の一例を示す図である。 本発明の他の実施形態にかかわる拡張現実感による情報提示システムの拡張現実感画像表示の一例を示す図である。

符号の説明

１ 発光型ＲＦＩＤタグ
２ 保守対象機器
３ 撮影装置（カメラ）
４ 表示装置（ＨＭＤ：ヘッドマウントディスプレイ）
５ 情報提示装置（処理装置）
６ 記憶装置
７ リーダ／ライタ（Ｒ／Ｗ）
８ 入力装置
５１ 発光要求送信部
５２ 応答信号受信部
５３ 画像取込部
５４ 差分画像演算部
５５ 表示制御部
５６ ＣＧ生成部
５７ ガイド情報生成部

Claims (7)

1. 情報を表示したい、保守の対象となる保守対象機器に装着される発光型ＲＦＩＤタグと、
   前記発光型ＲＦＩＤタグとはリーダライタを介して接続され、少なくとも撮影装置、表示装置、記憶装置および処理装置を備える情報提示装置とを含んで成る拡張現実感による情報提示システムであって、
   前記処理装置は、前記記憶装置から前記発光型ＲＦＩＤタグを一意に特定する識別情報を読み取り、前記発光型ＲＦＩＤタグに対して前記識別情報を含む発光要求信号を送信する機能を備え、
   前記発光型ＲＦＩＤタグは、自身に書き込まれた固有の識別情報と、前記処理装置から受信した識別情報とを比較し、一致したときに所定の時間間隔で間欠的に発光を行うとともに、前記処理装置に応答信号を送信する機能を備え、
   前記処理装置は、前記撮影装置を介して、予め調整された時間間隔で発光前と発光中に取り込まれた撮影画像の差分を演算し、当該演算の結果得られる差分画像から前記発光型ＲＦＩＤタグの発光位置を算出し、前記記憶装置から前記情報を表示したい保守対象機器に関連する表示情報を取得するとともに、その表示情報の表示位置を、前記発光位置を基点とした相対位置座標として算出し、前記表示情報をコンピュータグラフィックスに変換して前記表示装置に表示することを特徴とする拡張現実感による情報提示システム。
2. 情報を表示したい、保守の対象となる保守対象機器に装着される発光型ＲＦＩＤタグと、
   前記発光型ＲＦＩＤタグとはリーダライタを介して接続され、少なくとも撮影装置、表示装置、記憶装置および処理装置を備える情報提示装置とを含んで成る情報提示システムにおける拡張現実感による情報提示方法であって、
   前記処理装置が、
   前記記憶装置から前記発行型ＲＦＩＤタグを一意に特定する識別情報を読み取り、前記発光型ＲＦＩＤタグに対して前記識別情報を含む発光要求信号を送信し、
   前記発光型ＲＦＩＤタグが、
   自身に書き込まれた固有の識別情報と、前記処理装置から受信した識別情報とを比較し、一致したときに所定の時間間隔で間欠的に発光を行うとともに、前記処理装置に応答信号を送信し、
   前記処理装置が、
   前記撮影装置を介して、予め調整された時間間隔で発光前と発光中に取り込まれる撮影画像の差分を演算し、当該演算の結果得られる差分画像から前記発光型ＲＦＩＤタグの発光位置を算出し、
   前記処理装置が、
   前記記憶装置から前記情報を表示したい保守対象機器に関連する表示情報を取得するとともに、その表示情報の表示位置を、前記発光位置を基点とした相対位置座標として算出し、前記表示情報をコンピュータグラフィックスに変換して前記表示装置に表示すること、
   を有することを特徴とする拡張現実感による情報提示方法。
3. 情報を表示したい、保守の対象となる保守対象機器に装着される発光型ＲＦＩＤタグとはリーダライタを介して接続され、撮影装置と、表示装置と、記憶装置とを備えた、拡張現実感による情報提示装置であって、
   前記記憶装置から前記発行型ＲＦＩＤタグを一意に特定する識別情報を読み取り、前記発光型ＲＦＩＤタグに対して前記識別情報を含む発光要求信号を送信する発光要求送信部と、
   前記発光型ＲＦＩＤタグから応答信号を受信したとき、前記撮影装置を介して発光前と発光中に取り込まれる撮影画像の差分を演算し、当該演算の結果得られる差分画像から前記発光型ＲＦＩＤタグの発光位置を算出する差分画像演算部と、
   前記記憶装置から前記保守対象機器に関連する表示情報を取得するとともに、その表示情報の表示位置を、前記発光位置を基点とした相対位置座標として算出し、前記表示情報をコンピュータグラフィックスに変換して前記表示装置に表示する表示制御部と、
   を備えたことを特徴とする拡張現実感による情報提示装置。
4. 前記表示制御部は、
   前記発光型ＲＦＩＤタグから応答信号を受信できなかったとき、もしくは前記応答信号を受信しても前記情報を表示したい保守対象機器が視野の外にあると判定されたときに、前記情報を表示したい保守対象機器に辿り着くために必要なガイド情報を生成し、表示することを特徴とする請求項３に記載の拡張現実感による情報提示装置。
5. 前記発光要求送信部は、
   前記情報を表示したい保守対象機器に装着された、それぞれに固有の識別情報が書き込まれた複数の発光型ＲＦＩＤタグに対し、順次発光要求を送信することを特徴とする請求項３または請求項４に記載の拡張現実感による情報提示装置。
6. 前記表示制御部は、
   前記撮影装置を介して取り込まれた前記表示したい保守対象機器の画像上で、前記それぞれの発光型ＲＦＩＤタグの画像における基点位置と実空間の相対座標とから前記保守対象機器の平面上における座標の変換マトリクスを生成し、当該変換マトリクスに従い前記保守対象機器に関連する表示情報を変換し、前記取り込まれた保守対象機器の画像と重ね合わせて表示することを特徴とする請求項３から請求項５のいずれか一項に記載の拡張現実感による情報提示装置。
7. 情報を表示したい、保守の対象となる保守対象機器に装着される発光型ＲＦＩＤタグとはリーダライタを介して、接続され、撮影装置と、表示装置と、記憶装置とを備えた、拡張現実感による情報提示装置に用いられるコンピュータプログラムであって、
   前記記憶装置から前記発行型ＲＦＩＤタグを一意に特定する識別情報を読み取り、前記発光型ＲＦＩＤタグに対して前記識別情報を含む発光要求信号を送信する処理と、
   前記発光型ＲＦＩＤタグから応答信号を受信したとき、前記撮影装置を介して発光前と発光中に取り込まれる撮影画像の差分を演算し、当該演算の結果得られる差分画像から前記発光型ＲＦＩＤタグの発光位置を算出する処理と、
   前記記憶装置から前記保守対象機器に関連する表示情報を取得するとともに、その表示情報の表示位置を、前記発光位置を基点とした相対位置座標として取得し、前記表示情報をコンピュータグラフィックスに変換して前記表示装置に表示する処理と、
   をコンピュータに実行させるコンピュータプログラム。

Images