JP6468656B2 - Ａｒ情報表示装置 - Google Patents

Description

本発明は、操作支援用の情報を拡張現実により提供するAR情報表示装置に係り、特に、複数の対象物のAR情報を、操作者の視認性や操作性を損なうことなく、かつ対応する対象物との関連性を視覚的に容易に認識できるようにスクリーン上にまとめて表示するAR情報表示装置に関する。

現実環境に対してCGなどの仮想物体を位置合わせし、重畳表示することで情報を付加する拡張現実感（AR）が様々な分野で応用されている。

特許文献１には、光学式シースルー型HMD（Head Mounted Display）に撮像素子を取り付けてユーザの視界に映るマーカを撮像し、当該マーカに紐付いたAR情報をHMDスクリーンに表示する際、ユーザの頭の向きと連動してその画角が変動すると、撮像したマーカの傾きや位置に応じてAR情報の表示位置や傾きを精度高く特定する技術が開示されている。

一方、設備機器を操作する現場では、常に同じ手順や留意のもとで操作等を行なうわけではないので、操作者はしばしば操作内容を調査し、確認することになる。しかしながら、紙媒体のマニュアルを参照する場合には手を使ってページをめくることになるため、操作者は一時的に操作を中断しなければならない。

ここで、ハンズフリーの光学式シースルー型HMDと拡張現実技術とを組み合わせ、操作支援内容をAR情報として操作者の視界内に重畳表示すれば、操作者は視線移動のみで操作支援内容を読めるので操作を中断する必要がなくなる。

しかしながら、拡張現実技術を利用すると、カメラと対象物との相対的な位置、姿勢の変化に応じてAR情報の表示位置、姿勢も変化するため、対象物の位置、姿勢によってはAR情報が対象物に重なって表示されてしまい、対象物が見えにくくなる場合がある。

このような技術課題に対して、本発明の発明者等は、AR情報を対象物に重畳表示する際、その姿勢を一定の姿勢に整えたり、対象物を遮蔽しないように表示位置を移動させたりすることで、対象物およびそのAR情報の視認性を高める技術を発明し、特許出願（特許文献２）した。

特許第5538483号公報 特願2015-104499号

特許文献２によれば、カメラと対象物との相対的な位置、姿勢の変化に伴ってAR情報の表示位置や姿勢が変化することにより、その視認性や対象物に対する操作性が損なわれるような場合でも、AR情報の表示位置や姿勢が操作者にとって視認性、操作性の良い位置、姿勢に自動的に補正される。

しかしながら、特許文献２では対象物のAR情報が当該対象物の近傍に表示されるようにその表示位置が探索されるので、複数の対象物が近接配置されていると、操作者の視認性や操作性が損なわれないように、AR情報の全てを各対象物の近傍あるいは各対象物との対応関係を容易に認識できる位置に、他の対象物やAR情報を遮蔽しないように表示することは難しかった。そして、このような技術課題は対象物がより小さく、対象物同士の間隔がより狭くなる場合に特に顕著であった。

例えば、一つのシャーシに複数のブレードを装着して構成されるハイエンドスイッチ等では、各ブレードのみならず当該ブレードに装備された多数の小さなイーサネット（登録商標）ポートやLEDランプ等も操作の対象物となり得る。

ここで、複数のブレードや複数のイーサネット(登録商標)ポート等が対象物として指定されると、主に表示スペース上の制約から、これらのAR情報を各対応物の近傍あるいは各対象物との対応関係を容易に認識できる位置に、操作者の視認性や操作性を損なうことなく表示することは困難であった。

本発明の目的は、上記の技術課題を全て解決し、複数の対象物のAR情報を、操作者の視認性や操作性が損なわれることなく、各対象物とそのAR情報との対応関係を視覚的に容易に認識できるようにスクリーン上に一覧表示するAR情報表示装置を提供することにある。

上記の目的を達成するために、本発明は、複数の対象物のAR情報をスクリーンに表示するAR情報表示装置において、以下のような構成を具備した点に特徴がある。

(1)カメラの画像から認識できた対象物とカメラとの相対位置および姿勢を推定結果に基づいて各対象物のスクリーン上の位置を計算する手段と、各対象物のAR情報を取得する手段と、各対象物の分布に基づいて専用表示画面の配列を決定する手段と、各専用表示画面を配置するスクリーン上のスペースを決定する手段と、決定されたスペースに決定された配列で配置される各専用表示画面にAR情報を表示する手段とを具備した。

(2) 対象物またはそのAR情報のカテゴリごとに、対応する専用表示画面の表示仕様を設定する手段を設けた。表示仕様としては、対象物またはそのAR情報のカテゴリごとに、専用表示画面のサイズ、形状、外枠の色および／または外枠の線種を設定できるようにした。

(3) 各対象物とそのAR情報を表示する専用表示画面との対応関係をスクリーン上で可視化する手段を設けた。この可視化は、各対象物とそのAR情報を表示する専用表示画面とを接続する紐付け線を表示したり、あるいは各対象物とそのAR情報を表示する各専用表示画面とに同一の識別子を表示したりすることで実現できるようにした。

(4) カメラ画像から認識できた複数の対象物の一部をAR情報の表示対象として選別し、選別された複数の対象物のAR情報のみが表示されるようにした。

(5) 操作者がAR情報の表示を所望する対象物を指定する行為を識別して、それが特徴点集合の対応点マッチングにより認識できる対象物を指定するものであるか否かを判定し、この判定結果に応じて対象物の認識方法を異ならせるようにした。

(6) 専用表示画面の配列を、各対象物がスクリーン上で左右方向に分布していれば水平方向に決定し、各対象物がスクリーン上で上下方向に分布していれば垂直方向に決定するようにした。

(7) 専用表示画面の配置スペースを、スクリーン上で対象物の占有割合がより低い領域のスクリーン端部に決定するようにした。例えば、専用表示画面の配列が水平方向に決定されていれば、スクリーンの上半部および下半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定し、専用表示画面の配列が垂直方向に決定されていれば、スクリーンの右半部および左半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定するようにした。

(8) 複数の専用表示画面を一方の端部側に詰めて位置決めする手段を設けた。例えば、専用表示画面の配列が水平方向であれば、左右の各端部に位置する対象物のうちスクリーン端部に近い対象物側へ専用表示画面を詰めて位置決めするようにした。また、専用表示画面の配列が垂直方向であれば、上下の各端部に位置する対象物のうちスクリーン端部に近い対象物側へ専用表示画面を詰めて位置決めするようにした。

(9) 各対象物にカテゴリの異なる複数種のAR情報を登録し、各カテゴリのAR情報は、例えばそれぞれの専用表示画面が視覚的に最前列から奥側へ重ねて配置され、対象物ごとに所定の操作に応じて専用表示画面が切り替わるように、そのカテゴリごとに異なる形式で表示されるようにした。

(10) AR情報やその専用表示画面の表示仕様が変化しても、その変化が所定の要件を満たすほどの大きなものでなければ、それまでの表示仕様が維持されるようにした。

(11) 専用表示画面の配置の変化としては現れない潜在的な状況変化を検知し、専用表示画面の配置の変化および潜在的な状況変化を指標として表示の更新の要否を判断するようにした。

本発明によれば、以下のような効果が達成される。
(1) 請求項１の発明によれば、複数の対象物のAR情報をまとめて当該複数の対象物の分布に応じた配列でスクリーン上の専用表示画面内に表示できる。したがって、スペース上の制約等で、複数の対象物とそれらのAR情報とを近接配置できない場合でも、対象物とそのAR情報との対応関係を、操作性や視認性を損なうことなく、各対象物の分布と専用表示画面の配列との類似性に基づいて視覚的に容易に認識できるようになる。

(2) 請求項２および３の発明によれば、対象物またはそのAR情報のカテゴリに応じて、専用表示画面の表示仕様を異なるものとできるので、対象物やAR情報のカテゴリの同異を視覚的に簡単に認識できるようになる。

(3) 請求項４ないし６の発明よれば、複数の対象物とそのAR情報を表示する各専用表示画面との対応関係をスクリーン上で可視化できるので、対象物とそのAR情報との対応関係を更に明確に認識できるようになる。

(4) 請求項７，８の発明によれば、AR情報を表示する対象物を選別できるので、操作者が所望する対象物、あるいは操作の進行状況や対象物の状態に応じて必要な対象物のAR情報のみを表示できるようになる。

(5) 請求項９，１０の発明によれば、操作者がAR情報の表示を所望する対象物を指定する行為を識別して、それが特徴点集合の対応点マッチングにより認識できる対象物を指定するものであるか否かを判定し、この判定結果に応じて対象物の認識方法を異ならせることができる。したがって、対象物の大きさが、特徴点集合の対応点マッチングによりに認識できるサイズであるか否かに関わらず、あらゆる対象物を自動的に認識できるようになる。

(6) 請求項１１の発明によれば、指定された複数の対象物が左右方向に分布していればそのAR情報が水平方向に配列され、複数の対象物が上下方向に分布していればそのAR情報が垂直方向に配列されるように、各専用表示画面が配列されるので、複数の対象物とそのAR情報との対応関係を容易に認識できるようになる。

(7) 請求項１２ないし１４の発明よれば、AR情報が対象物の占有割合の低いスクリーン上の領域の端部に表示されるように各専用表示画面が配列されるので、対象物とAR情報との重なりを回避できる可能性を高くできるのみならず、専用表示画面が例えばスクリーン中央に配置されてスクリーンが小さな複数の領域に分断されてしまうことを防止できるので、スクリーンの有効利用が可能になる。

(8) 請求項１５ないし１７の発明によれば、AR情報が対象物の表示位置の偏りに応じて表示されるように各専用表示画面が配列される。したがって、複数の対象物とそのAR情報との対応関係を更に容易に認識できる可能性を更に高くできる。

(9) 請求項１８，１９の発明によれば、対象物ごとにカテゴリの異なる複数種のAR情報が登録されている場合でも、各AR情報をそのカテゴリごとに区別して表示できるので、その視認性が向上する。

(10) 請求項２０の発明によれば、AR情報そのもの、または対象物の配置方向や端部の位置、スクリーン上の対象物の占有領域といった、専用表示画面の表示仕様が変化しても、その変化が所定の要件を満たさなければ、それまでの表示仕様が維持されるので、AR情報の表示仕様が頻繁に変更されることによる視認性の低下を防止できるようになる。

(11) 請求項２２，２３の発明によれば、専用表示画面の位置の変化としては表れなくても、操作者の視認性や操作性の観点からは表示を更新することが望ましい状況では表示が更新されるので、操作者の視認性や操作性を更に向上させることができるようになる。

本発明の一実施形態に係るAR情報表示装置の構成を示した図である。 表示制御の仕組みを説明するための図である。 本発明の一実施形態の動作を示したフローチャートである。 対象物の正面図である。 対象物ごとに設定される矩形枠の例を示した図（その１）である。 対象物ごとに設定される矩形枠の例を示した図（その２）である。 専用表示画面の配列方向の決定方法を示した図である。 専用表示画面の配置スペースの決定方法を示した図である。 専用表示画面の位置決め方法を示した図（その１）である。 専用表示画面の位置決め方法を示した図（その２）である。 対象物とそのAR情報を表示する専用表示画面との対応関係を可視化する手順を示したフローチャートである。 AR情報の表示例を示した図（その１）である。 AR情報の表示例を示した図（その２）である。 AR情報の表示例を示した図（その３）である。 AR情報の表示例を示した図（その４）である。 AR情報の表示例を示した図（その５）である。 表示制御部の機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るAR情報表示装置の主要部の構成を示した図である。ここでは操作支援に好適なハンズフリーの光学式シースルー型HMDへの適用を例にして説明するが、スマートフォン、タブレット端末、光学式シースルー型以外のHMDあるいはPC端末などの他のモバイル端末や情報端末にも適用できる。

光学式シースルー型HMD１は、操作者の視線方向の映像を撮影して操作の対象物（ARオブジェクト）Objを含むカメラ画像を出力するカメラモジュール２と、対象物ObjごとにそのAR情報として、操作支援用のメッセージ、図形、イラスト、記号、動画等の操作ガイドを記憶するAR情報データベース（DB）４と、操作者が対象物のAR情報をあたかも仮想のスクリーン３上に表示されているかの様に認識するための光学系モジュール６と、複数の対象物のAR情報をスクリーン上に一覧表示しても操作性や視認性が損なわれず、かつ各対象物とそのAR情報との対応関係を操作者が容易に認識できるように、各AR情報のスクリーン３上での位置や配列等の表示仕様を制御する表示制御部５とを主要な構成としている。

前記表示制御部５は、光学式シースルー型HMD１と一体の構成でも良いし、別のモジュールとして構成しても良い。前記AR情報DB４は表示制御部５に内蔵しても良いし、あるいはネットワーク上に設けて、表示制御部５が無線通信によりネットワーク経由でAR情報を取得するように構成しても良い。

図２は、光学式シースルー型HMD１における表示制御の仕組みを説明するための図であり、図１と同一の符号は同一又は同等部分を表している。

光学式シースルー型HMD１では、操作者がスクリーンにおいて対象物Objを認識できる位置の近傍に、そのAR情報を当該対象物Objの姿勢に応じた姿勢で重ねて表示するために、対象物Objの3D座標が現実空間の座標系（マーカ座標系）からカメラ座標系へ変換され、さらにカメラ座標系からスクリーン座標系へ変換される。

ここで、対象物Objの3D座標を仮想スクリーン上の2D座標に投影する関係を3行4列の変換行列P_3×4、対象物Objに対するカメラ２の位置、姿勢を表す4行4列の変換行列をW_4×4とすれば、カメラ座標系における3D座標をスクリーンへ投影する変換行列はP_3×4・W^-1 _4×4で表される。

そして、対象物Objに対するカメラ２の現在の位置、姿勢をW1とすれば、当該対象物Objを前記変換行列P_3×4・W^-1 _4×4を用いて現実空間の座標系基準でスクリーン上に描画する射影変換行列（P_3×4・W^-1 _4×4）・W1を用いれば、AR情報を対象物Objの位置、姿勢に応じた位置、姿勢でスクリーン上に表示できる。

本発明は、このようなAR技術を利用して操作者（カメラ）と対象物との相対的な位置、姿勢を認識し、これに基づいて、複数の対象物とそのAR情報との対応関係を操作者が視覚的に容易に認識でき、かつ対象物に対する操作性やAR情報の視認性が良好に保たれるように、各AR情報の表示の位置や配列を制御するものである。

図３は、本発明の一実施形態の動作を示したフローチャートであり、ここでは、図４に示したシャーシ型ハイエンドスイッチを操作する場合を例にして、主に前記表示制御部５の動作に注目して説明する。ハイエンドスイッチはシャーシに複数のブレードを装着して構成され、各ブレードには、その種類や機能に応じて複数のイーサネット(登録商標)ポート、LEDランプ、その他各種のスイッチやインタフェース（以下、イーサネット(登録商標)ポート等で総称する）が装備されている。

ステップＳ１では、カメラ２が出力するカメラ画像から抽出した特徴点集合と各対象物の3Dモデルから予め抽出されている特徴点集合との対応点マッチングにより各対象物が認識される。ステップＳ２では、前記対応点マッチングの結果に基づいて、カメラ座標をスクリーン座標に変換する変換行列が計算される。

ステップＳ３では、認識された全ての対象物またはその一部がAR情報の表示対象として選別される。対象物の選別は、例えば操作者が対象物を指定する行為を検知して、指定された対象物を特定することで行うことができる。あるいは、認識されている各対象物の状態（形状、位置、各種ランプの点灯状態等）が操作の進行状況に応じて変化するような場合には、当該状態の認識結果に基づいて自動で行うこともできる。

あるいは、各対象物に対する操作の順序や時間が予め設定されているのであれば、経過時間と共に各対象物が順次に選別されるようにしても良い。さらにはカメラ画像に基づいて操作者と各対象物との相対位置を計算し、操作者が所定時間以上留まっていることが検知されると、その視野内で認識されている対象物を識別して、これが選別されるようにしても良い。

本実施形態では、操作者が対象物を指定する行為を検知し、当該指定された対象物が選別される場合を例にして説明する。操作者が指定した対象物は、例えば操作者が対象物を指差すなどした学習済みの行為をカメラ画像内で識別することにより、あるいは操作者の視点移動を公知の手法で検知することなどにより特定できる。

ステップＳ４では、A系対象物およびB系対象物のいずれが指定されたのか判定される。本実施形態では、サイズが比較的大きく、その位置を特徴点集合の対応点マッチングで認識できる対象物（ここでは、ハイエンドスイッチ本体および各ブレード）がA系対象物として予め登録されており、これらを指定する行為が検知されるとステップＳ７へ進む。ステップＳ７では、操作者が指定した位置およびその近傍から抽出した特徴点集合に基づいてA系対象物およびその位置が具体的に識別される。

また、本実施形態ではサイズが比較的小さく、その位置を特徴点集合の対応点マッチングでは認識できない対象物（ここでは、各ブレードに装備されているイーサネット(登録商標)ポート等）がB系対象物として予め登録されており、これらを指定する行為が検知されるとステップＳ５へ進む。

ステップＳ５では、指定位置の位置情報が前記変換行列に基づいてスクリーン座標系からモデル座標系に変換される。ステップＳ６では、変換された座標に基づいてB系対象物およびその位置が具体的に識別される。

ステップＳ８では、識別された対象物を操作者がスクリーン上で視認できる領域を囲む枠が設定され、その位置が計算される。ここでは、矩形枠が設定される場合を例にして説明する。なお、本実施形態では操作者により複数の対象物が指定されることを想定しており、指定された全ての対象物に関して上記の各処理が繰り返される。

図５，６は、対象物ごとに設定される矩形枠の概念を示した図であり、対象物としてA系のブレードが指定されていると、図５に示したように、指定されたブレードごとに矩形枠が設定され、その位置が計算される。これに対して、対象物としてA系のブレードおよびB系のイーサネット(登録商標)ポート等が指定されていると、図６に示したように、指定されたブレードおよびイーサネット(登録商標)ポート等ごとに矩形枠が設定され、その位置が計算される。

ステップＳ９では、前記指定（選別）された全ての対象物に関して、そのAR情報をスクリーン上に並べて表示するために当該スクリーンの一部に設けられる矩形の画面領域（以下、専用表示画面と表現する）の表示仕様が決定される。

本実施形態では、指定された各対象物のAR情報をデータベース４から取得する処理（９ａ）と、各対象物のAR情報を表示する専用表示画面をスクリーン上に並べて配置する際の配列方向を決定する処理（９ｂ）と、全ての専用表示画面を前記決定された配列方向でスクリーン上に配置するためのスペースを決定する処理（９ｃ）と、全ての表示専用画面を前記決定されたスペースに前記決定された配列方向で、一方の端部に詰めて配置するための位置決め処理（９ｄ）とが実行される。

前記配列方向決定処理（９ｂ）では、各対象物の矩形枠がスクリーン上で左右および上下のいずれの方向により拡がって分布しているかに基づいて、各対象物のAR情報を表示する専用表示画面の配列方向が決定される。

本実施形態では、図７に模式的に示したように、全ての対象物の矩形枠を包含する領域を対象に、その左右方向の幅w、上下方向の幅h、矩形枠同士の左右方向の重なり幅wdの総和Σwd、および矩形枠同士の上下方向の重なり幅hdの総和Σhdを求める。そして、次式(1)が成立すれば各矩形枠が左右方向により拡がって分布していると判断し、そのAR情報を表示する専用表示画面の配列を水平方向に決定する。また、次式(2)が成立すれば各矩形枠が上下方向により拡がって分布していると判断し、そのAR情報を表示する専用表示画面の配列を垂直方向に決定する。

（Σwd／w）＜（Σhd／h）…(1)

（Σhd／h）≧（Σwd／w）…(2)

例えば、前記図５に示した例であれば、各ブレードは上下方向に並んでおり、その分布が上下方向により拡がっていると判断されるので、それらのAR情報を表示する専用表示画面の配列は垂直方向に決定される。これに対して、前記図６に示した例であれば、各イーサネット(登録商標)ポート等は左右方向に並んでおり、その分布が左右方向により拡がっていると判断されるので、それらのAR情報を表示する専用表示画面の配列は水平方向に決定される。

前記配置スペース決定処理（９ｃ）では、図８に示したように、指定されている対象物Objがスクリーンを占有する割合がスクリーンの上下左右の各範囲で比較され、占有割合がより低い範囲のスクリーン端部が専用表示画面の配置スペースに決定される。

さらに具体的に説明すれば、専用表示画面の配列が垂直方向に決定されていれば、同図(a)に一例を示したように、指定されている各対象物Obj1〜Obj3がスクリーンを占有する割合がスクリーンの左右で比較される。その結果、図示の例のように右半分における占有割合が左半分における占有割合よりも低ければ、占有割合の低いスクリーン右側の右端部が配置スペースに決定される。

これに対して、専用表示画面の配列が水平方向に決定されていれば、同図(b)に一例を示したように、指定されている各対象物Obj1〜Obj3がスクリーンを占有する割合がスクリーンの上下で比較される。その結果、図示の例のように上半分における占有割合が下半分における占有割合よりも低ければ、占有割合の低いスクリーン上側の上端部が配置スペースに決定される。

前記位置決め処理（９ｄ）では、全ての表示専用画面を一方の端部に詰めて配置するための位置決めが行われる。本実施形態では、表示専用画面の配列が水平方向であって、その配置スペースがスクリーンの上端部または下端部に決定されていると、各表示専用画面を当該表示スペースにおいて右詰めおよび左詰めのいずれで位置決めするかが決定される。同様に、表示専用画面の配列が垂直方向であって、その配置スペースがスクリーンの左端部または右端部に決定されていると、各表示専用画面を当該配置スペースにおいて上詰および下詰めのいずれで位置決めするかが決定される。

図９，１０は、前記表示専用画面の位置決め方法の一例を模式的に表現した図であり、図９(a)に示したように、対象物Obj1〜Obj3が上下方向に分布していれば、最上部に位置する対象物Obj1のy座標の最大値ymaxとスクリーン上端部までの距離Δymaxが、最下部に位置する対象物Obj3のy座標の最小値yminとスクリーン下端部までの距離Δyminと比較される。その結果、Δymax＜Δyminであれば、同図(b)に示したように、対象物がより近接している上端部への上詰めに決定され、Δymax≧Δyminであれば、同図(c)に示したように下詰めに決定される。

また、図１０(a)に示したように、対象物Obj1〜Obj4が左右方向に分布していれば、最も左端に位置する対象物Obj1のx座標の最小値xminとスクリーン左端部までの距離Δxminが、最も右端に位置する対象物Obj4のx座標の最大値xmaxとスクリーン右端部までの距離Δxmaxと比較される。その結果、Δxmin＜Δxmaxであれば、同図(b)に示したように、対象物がより近接している左端部への左詰めに決定され、Δxmin≧Δxmaxであれば、同図(c)に示したように右端部への右詰めに決定される。

ステップＳ１０では、前記ステップＳ９で決定された今回周期の表示仕様と前回周期（現在）の表示仕様とが比較され、表示仕様の更新の要否が判断される。すなわち、指定（選別）された対象物や取得されたAR情報が前回の周期から変化していれば、AR情報を更新すべくステップＳ１１以降へ進む。

また、各専用表示画面の位置（配列方向、配置スペース、位置決め）については、予め定義された要件を満足する変化が認められればステップＳ１１以降へ進んで表示内容を更新する一方、要件を満足しない変化であれば、表示を更新することなくステップＳ１２へジャンプする。

このように、本実施形態によれば対象物およびAR情報ならびに可視化情報に関してはその変化が表示に直ちに反映される一方、AR情報の表示位置に関しては、ある程度の変化が認められなければ更新されずに前回周期の表示仕様が維持される。したがって、操作者への最新のAR情報の提供を担保しながら、AR情報の表示位置が頻繁に切り替わることによる視認性や作業性の低下を防止できるようになる。

なお、前記ステップＳ１０における表示仕様の更新の要否判断では、前記専用表示画面の位置に関しては、前記要件として専用表示画面の配列方向、配置スペースまたは位置決めの変化量に着目し、変化量が所定の基準値を超えれば更新要と判定し、変化量が所定の基準値を超えなければ更新不要と判定することができる。

ただし、操作者にとって視認性や操作性の高い表示仕様は、前記専用表示画面の位置に反映されにくい操作状況や操作環境などの潜在的な状況変化の影響を受けることも経験的に確認されている。したがって、専用表示画面の位置の変化量が所定の基準値を上回っていても、前記潜在的な状況変化の量や質によっては表示を維持することが望ましい場合がある。同様に、専用表示画面の位置の変化量が所定の基準値を下回っていても、前記潜在的な状況変化の量や質によっては表示を更新することが望ましい場合もある。

そこで、本実施形態では表示更新の要否を判断するための指標として、専用表示画面の位置の変化のみならず前記潜在的な状況変化をも採用し、例えばこれらの関数を指標として表示更新の要否を判断するようにしている。

このようにすれば、専用表示画面の位置の変化としては表れなくても、操作者の視認性や操作性の観点からは表示を更新することが望ましい状況では表示が更新されるので、操作者の視認性や操作性を更に向上させることができるようになる。

なお、前記潜在的な状況変化としては、操作者が同一の対象物を再指定するなどして例えば他のAR情報の表示を要求等したこと、対象物の状態変化がその形状変化やインジケータランプ等により認識されたこと、あるいは同一の表示仕様が継続されている時間長などが想定できる。

ステップＳ１１では、AR情報の表示内容および／または表示位置を更新するための新たな表示仕様が、前記ステップＳ９ａで新たに取得されたAR情報および前記ステップＳ９ｂ，９ｃ，９ｄで新たに計算された専用表示画面の配置等に基づいて決定される。ステップＳ１２では、各対象物とその専用表示画面との対応関係を可視化するための表示仕様が決定される。

図１１は、対象物とそのAR情報を表示する専用表示画面との対応関係を可視化するための表示仕様の決定方法を示したフローチャートである。

ステップＳ５１では、対象物ごとにその矩形枠の４頂点の座標が計算される。ステップＳ５２では、専用表示画面ごとに、その配置スペースの位置に応じて紐付け線の接続辺が選択される。本実施形態では、専用表示画面の配置がスクリーンの上端部であればステップＳ５３へ進み、各専用表示画面の外枠の下辺が接続辺として選択される。

同様に、専用表示画面の配置がスクリーンの下端部であればステップＳ５４へ進み、専用表示画面の外枠の上辺が接続辺として選択される。同様に、専用表示画面の配置がスクリーンの左端部であればステップＳ５５へ進み、専用表示画面の外枠の右辺が接続辺として選択される。同様に、専用表示画面の配置がスクリーンの右端部であればステップＳ５６へ進み、専用表示画面の外枠の左辺が接続辺として選択される。

ステップＳ５７では、対応物およびそのAR情報の専用表示画面のペアごとに、対応物の矩形枠と専用表示画面の外枠の接続辺とを最短で接続できる紐付け線が計算され、この紐付け線と前記矩形枠および接続辺との交点が計算される。ステップＳ５８では、各交点を結ぶ紐付け線が決定される。

なお、接続辺が紐付け線と接続される位置は、その中点に限定しても良い。同様に、対応物の矩形枠が紐付け線と接続される位置も、紐付け線を最短化できる辺上の中点に限定しても良い。また、最短の紐付け線同士が交差する場合には、最短化よりも交差の解消を優先して接続辺等と紐付け線との交点を決定するようにしても良い。さらに、前記紐付け線、対応物の矩形枠および専用表示画面の外枠の線種や色は、当該対応物やそのAR情報のカテゴリに応じて固有としても良い。

ステップＳ５９では、対象物の矩形枠内又はその近傍と、そのAR情報の専用表示画面内またはその近傍とに、それぞれ同一または対応する識別子を付するための処理が実施される。

ステップＳ６０では、カテゴリの異なる対応物やAR情報が存在する場合に、カテゴリが同一の対象物の矩形枠、AR情報の専用表示画面の外枠およびそれらを接続する紐付け線同士をカテゴリごとに固有の同色または同一線種に統一したり、専用表示画面のサイズや形状をカテゴリごとに固有としたりするなどのカテゴライズ処理が実施される

図３のフローチャートへ戻り、ステップＳ１３では、前記ステップＳ１１，Ｓ１２で決定された表示仕様にしたがって画像メモリ上に展開された画像データが透過型の光学系モジュール６上に投影されてスクリーン上に表示される。

図１２は、対象物として複数のブレードが選別されている場合のAR情報の表示例を示した図である。

図示の例では、対象物としの複数のブレードが主に上下方向に分布しているので、そのAR情報の専用表示画面の配列は垂直方向となっている。また、各ブレードは全体としてスクリーンの左半分をより多く占有しているので、その専用表示画面はスクリーンの右端部に配置されている。さらに、最上部に位置しているブレートとスクリーン上端部との距離は、最下部に位置しているブレートとスクリーン下端部との距離よりも短いので、各専用表示画面は上詰めで位置決めされている。

そして、本実施形態では各対象物とそのAR情報の専用表示画面とが共通の紐付け線で接続されると共に、各対象物の矩形枠内および対応する専用表示画面内には、それぞれに共通するローマ数字が識別子として描画されている。

図１３は、対象物として一つのブレードと複数のイーサネット(登録商標)ポート等が選別されている場合のAR情報の表示例を示した図である。

図示の例では、対象物としての複数のイーサネット(登録商標)ポート等が主に左右方向に分布しているので、そのAR情報の専用表示画面の配列は水平方向となっている。また、各イーサネット(登録商標)ポート等は全体としてスクリーンの上半分をより多く占有しているので、その専用表示画面はスクリーンの下端部に配置されている。さらに、最も左側に位置しているLEDランプとスクリーン左端部との距離は、最も右側に位置しているイーサネット(登録商標)ポートとスクリーン右端部との距離よりも短いので、各専用表示画面は左詰めで配置されている。

また、対象物として同時に選別されているブレードまたはそのAR情報は、イーサネット(登録商標)ポート等とカテゴリが異なるので、その専用表示画面は異なる位置に独立して設けられている。

このようなAR情報の表示は、図３のステップＳ１０において表示仕様が変化したと判断されてステップＳ１１以降へ進むまで維持される。その後、ステップＳ１０において表示仕様が変化したと判断されると、ステップＳ１１以降へ進んでAR情報、専用表示画面および可視化情報の表示仕様が更新される。

図１４は、図１２と同じ対象物を異なる視点で見込んだ場合のAR情報の表示例を示した図である。

操作者が移動等して対象物との相対位置が変化し、その視野（スクリーン３）に写る対象物の位置、姿勢が図１２から図１４へ変化した結果、前記ステップＳ９で決定された今回周期の表示仕様が前記予め定義された要件を満足するほどに変化し、前記ステップＳ１０において表示仕様の更新が必要と判断されると、ステップＳ１１〜Ｓ１３の各処理が改めて実行される。

その結果、図１４の視点では、対象物としてのブレードが全体としてスクリーンの右半分をより多く占有するようになるので、専用表示画面の配置スペースがスクリーン右端部から左端部へ移動している。

図１５は、各対象物に複数のAR情報が登録されている場合の表示例を示した図であり、イーサネット(登録商標)ポート等のAR情報の専用表示画面には、その背後に残りの専用表示画面が配置されている。

このように、各対象物に複数のAR情報が登録されている場合に、手前側の専用表示画面に表示されるAR情報の役割が終了して操作者が当該AR情報を消去等する操作を行うと、図１６に示したように、当該AR情報の専用表示画面が消えて、背面に隠れていた次のAR情報の専用表示画面が前面に出現するように表示内容が更新される。

なお、各対象物に複数のAR情報が登録されている場合の各AR情報の表示方法は上記に限定されるものではなく、全てのAR情報がたとえば並列的に複数列で網羅されるようにしても良い。

図１７は、前記表示制御部５の主要部の構成を示した機能ブロック図である。相対位置姿勢推定部５１は、カメラ画像から認識された各対象物について、前記ステップＳ２において、カメラ２との相対的な位置、姿勢の関係を推定する。

対象物選別部５２は、前記ステップＳ３において、前記認識された対象物の全部又は一部をAR情報の表示対象として選別する。A系対象物識別部５２ａおよびB系対象物識別部５２ｂは、前記ステップＳ３ないしS７において、操作者がAR情報の表示対象としてA系またはB系の対象物を指定したときに、当該行為を検知して指定された対象物をAR情報の表示対象として選別する。

対象物位置計算部５３は、前記ステップＳ８において、前記選別された対象物のスクリーンでの位置を前記位置、姿勢の関係に基づいて計算する。AR情報取得部５４は、前記ステップＳ９ａにおいて、前記対象物のAR情報をデータベース４から取得する。

本実施形態では、複数の対象物が選別されることを想定しており、前記対象物位置計算部５３は、選別された全ての対象物のスクリーンでの位置を計算し、前記AR情報取得部５４は、選別された全ての対象物のAR情報を取得する。

配列決定部５５は、スクリーン上での各対象物の分布を計算する分布計算部５５ａを含み、前記ステップＳ９ｂにおいて、前記指定された複数の対象物のスクリーン上での分布に基づいて、これらのAR情報を表示する専用表示画面の配列を、当該対象物またはそのAR情報のカテゴリごとに決定する。

本実施形態では、前記図７を参照して説明したように、全ての対象物（Obj1，Obj2，Obj3）に外接する矩形枠を仮想し、そのx軸方向の広がりと重なり量との割合（Σwd/w）をy軸方向の広がりと重なり量との割合（Σhd/h）と比較し、AR情報の表示配列を、Σwd/w＜Σhd/hであれば水平方向、Σwd/w≧Σhd/hであれば垂直方向に決定する。

配置スペース決定部５６は、スクリーン上での各対象物の占有割合を上下左右の範囲ごとに計算する占有割合計算部５６ａを含み、前記ステップＳ９ｃにおいて、対象物の占有割合が低い領域のスクリーン端部を専用表示画面の配置スペースに決定する。位置決め部５７は、前記ステップＳ９ｄにおいて、複数の専用表示画面を前記配置スペースにおいて一方の端部側に詰めて配置する際の位置決めを行う。

表示仕様更新判定部５０は、今回の周期で新たに取得したAR情報ならびに新たに計算された専用表示画面の配列、配置スペースおよび位置決めの各表示仕様を、前記ステップＳ１０において現在の各表示仕様と比較し、専用表示画面およびAR情報の表示仕様の更新の要否を決定する。

専用表示画面仕様決定部５８は、前記表示仕様更新判定部５０により専用表示画面に関して更新要判定がなされると、前記ステップＳ１１において専用表示画面の表示仕様を決定する。AR情報表示仕様決定部５９は、前記表示仕様更新判定部５０によりAR情報に関して更新要判定がなされると、前記ステップＳ１１においてAR情報の表示仕様を決定する。

可視化仕様決定部６０は、紐付け線決定部６０ａおよび識別子決定部６０ｂを含み、前記ステップＳ１２において、各対象物とそのAR情報を表示する専用表示画面との対応関係を、前記紐付け線や識別子をスクリーン上に描画して可視化するための表示仕様を決定する。

画像データ生成部６１は、専用表示画面、AR情報および可視化用の紐付け線や識別子を前記各決定された表示仕様で表示するための画像データを画像メモリ上に展開し、これを表示機能部へ出力する。

なお、上記の実施形態では、本発明を光学式シースルー型HMD１への適用を例にして、操作者の視点で操作性や視認性が損なわれないように各AR情報の専用表示画面が配置されるものとして説明したが、モバイル端末のように、対象物のカメラ映像がそのAR情報と共に物理スクリーン（ディスプレイ）上に表示されるシステムへの適用では、当該ディスプレイにおいて操作性や視認性が損なわれないように対象物とそのAR情報とがディスプレイ上で重ならないように各専用表示画面が配置される。

１…光学式シースルー型HMD，２…カメラモジュール，３…スクリーン，４…AR情報データベース（DB），５…表示制御部，６…光学系モジュール，５０…表示仕様更新判定部，５１…相対位置姿勢推定部，５２…対象物選別部，５３…対象物位置計算部，５４…AR情報取得部，５５…配列決定部，５６…配置スペース決定部，５７…位置決め部，５８…専用表示画面仕様決定部，５９…AR情報表示仕様決定部，６０…対応関係可視化部，６１…画像データ生成部

Claims (22)

1. 複数の対象物のAR情報をスクリーンに表示するAR情報表示装置において、
   対象物を撮影するカメラと、
   カメラ画像から認識できた対象物とカメラとの相対位置および姿勢を推定する手段と、
   各対象物のAR情報を取得する手段と、
   各対象物のスクリーンでの位置を前記位置および姿勢の推定結果に基づいて計算する手段と、
   各対象物の分布に基づいて、そのAR情報を表示する専用表示画面の配列を決定する手段と、
   各専用表示画面を前記決定された配列で配置するスクリーン上のスペースを決定する手段と、
   前記決定されたスペースに前記決定された配列で配置される各専用表示画面にAR情報を表示する手段とを具備し、
   前記専用表示画面の配列を決定する手段は、各対象物がスクリーン上で左右方向に分布していれば水平方向に決定し、各対象物がスクリーン上で上下方向に分布していれば垂直方向に決定することを特徴とするAR情報表示装置。
2. 対象物またはそのAR情報のカテゴリごとに、対応する専用表示画面の表示仕様を設定する手段を更に具備したことを特徴とする請求項１に記載のAR情報表示装置。
3. 前記表示仕様を設定する手段は、対象物またはそのAR情報のカテゴリごとに、専用表示画面のサイズ、形状、外枠の色および／または外枠の線種を当該カテゴリに固有のものとすることを特徴とする請求項２に記載のAR情報表示装置。
4. 各対象物とそのAR情報を表示する専用表示画面との対応関係をスクリーン上で可視化する手段を更に具備したことを特徴とする請求項１ないし３のいずれかに記載のAR情報表示装置。
5. 前記可視化する手段は、各対象物とそのAR情報を表示する専用表示画面とを接続する紐付け線を表示することを特徴とする請求項４に記載のAR情報表示装置。
6. 前記可視化する手段は、各対象物とそのAR情報を表示する各専用表示画面とに同一の識別子を表示することを特徴とする請求項４または５に記載のAR情報表示装置。
7. 前記認識できた複数の対象物の一部をAR情報の表示対象として選別する手段を更に具備し、
   前記選別された複数の対象物のAR情報を表示することを特徴とする請求項１ないし６のいずれかに記載のAR情報表示装置。
8. 前記選別する手段は、操作者が指定した対象物を特定し、当該特定した対象物を選別することを特徴とする請求項７に記載のAR情報表示装置。
9. 前記選別する手段は、操作者が指定したカメラ画像上の位置を前記位置および姿勢の推定結果に基づいてモデル座標の位置に変換し、当該モデル座標の位置に基づいて対象物を特定することを特徴とする請求項８に記載のAR情報表示装置。
10. 前記選別する手段は、操作者が指定したカメラ画像上の位置から抽出した特徴点集合と予め学習された対象物の特徴点集合との対応点マッチングの結果に基づいて対象物を特定することを特徴とする請求項８に記載のAR情報表示装置。
11. 前記スペースを決定する手段は、スクリーン上で対象物の占有割合がより低い領域のスクリーン端部を前記スペースに決定することを特徴とする請求項１ないし１０のいずれかに記載のAR情報表示装置。
12. 前記スペースを決定する手段は、専用表示画面の配列が水平方向に決定されていれば、スクリーンの上半部および下半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定することを特徴とする請求項１１に記載のAR情報表示装置。
13. 前記スペースを決定する手段は、専用表示画面の配列が垂直方向に決定されていれば、スクリーンの右半部および左半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定することを特徴とする請求項１１に記載のAR情報表示装置。
14. 複数の専用表示画面を前記スペースにおいて一方の端部側に詰めて位置決めする手段を更に具備したことを特徴とする請求項１ないし１３のいずれかに記載のAR情報表示装置。
15. 前記位置決めする手段は、専用表示画面の配列が水平方向であれば、スクリーン上で最も右側に位置している一の対象物とスクリーンの右側端部までの距離をスクリーン上で最も左側に位置している一の対象物とスクリーンの左側端部までの距離と比較し、距離が短い側のスクリーン端部へ前記複数の専用表示画面を詰めて位置決めすることを特徴とする請求項１４に記載のAR情報表示装置。
16. 前記位置決めする手段は、専用表示画面の配列が垂直方向であれば、スクリーン上で最も上側に位置している一の対象物とスクリーンの上側端部までの距離をスクリーン上で最も下側に位置している一の対象物とスクリーンの下側端部までの距離と比較し、距離が短い側のスクリーン端部へ前記複数の専用表示画面を詰めて位置決めすることを特徴とする請求項１４に記載のAR情報表示装置。
17. 各対象物にはカテゴリの異なる複数種のAR情報が登録されており、
    各AR情報は、そのカテゴリごとに異なる形式で表示されることを特徴とする請求項１ないし１６のいずれかに記載のAR情報表示装置。
18. 前記各専用表示画面は、対象物ごとに異なるAR情報を表示する複数が視覚的に手前側から背面へ重ねて配置され、対象物ごとに所定の操作に応じて専用表示画面が切り替わることを特徴とする請求項１７に記載のAR情報表示装置。
19. AR情報および／またはその専用表示画面の配置に関して所定の要件を満たす変化が生じたか否かを判定する手段を更に具備し、
    所定の要件を満たす変化が生じるまでは現在の表示を維持し、所定の要件を満たす変化が生じると表示を変化後の内容に更新することを特徴とする請求項１ないし１８のいずれかに記載のAR情報表示装置。
20. AR情報および／またはその専用表示画面の位置が変化すると、その内容を更新する手段を更に具備し、
    前記AR情報については、変化が認められると変化後の内容に更新し、
    前記専用表示画面の位置については、所定の要件を満たす変化が生じるまでは現在の位置を維持し、所定の要件を満たす変化が生じると変化後の位置に更新することを特徴とする請求項４ないし６のいずれかに記載のAR情報表示装置。
21. 前記所定の要件を満たす変化が生じたか否かを判定する手段は、専用表示画面の配置に反映されにくい潜在的な状況変化を検知する手段を更に具備し、
    前記専用表示画面の配置の変化および潜在的な状況変化を指標として表示の更新の要否を判定することを特徴とする請求項１９または２０に記載のAR情報表示装置。
22. 前記所定の要件を満たす変化が生じたか否かを判定する手段は、前記潜在的な状況変化として、操作者による対象物の再指定、対象物の状態の変化および一定時間の経過の少なくとも一つを検知することを特徴とする請求項２１に記載のAR情報表示装置。