JP6783618B2 - 情報表示装置、及びその処理制御方法 - Google Patents

Description

本発明は、情報表示装置、及びその処理制御方法に関する。

サーバ等の機器の保守作業では、例えば、作業者は、ドキュメントのマニュアルを参照して、現実の機器やその部位とマニュアル内の説明や図とを照らし合わせながら、機器を点検する。しかし、複数の同形状の機器から点検対象の機器を特定したり、複数の同形状の部位の中から点検対象の部位を特定したりする際には、作業者は、誤って別の機器やその部位を特定してしまうことがある。

そこで、作業者が用いるタブレットコンピュータ、ウェアラブルコンピュータ等の装置に、拡張現実（ＡＲ：Augmented Reality）技術を実装することが期待されている。例えば、現実の視界を透過して視認可能なヘッドマウントディスプレイは、文字や画像などの表示情報（「拡張情報」ともいう）を現実の視界に重畳して表示する。これにより、作業者は、直感的にかつ正確に作業対象や作業対象位置を特定することができる。

例えば、特許文献１は、外界を透過視認可能な表示部を備えた頭部装着型表示装置を開示している。特許文献１には、対象物と拡張情報との間の位置ずれを解消するため、「前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定める」と記載されている。

特開２０１６−０８２４６２号公報

ＡＲ技術を実装した表示装置は、画像認識処理によって現実の視界の撮像画像から作業対象や作業対象位置を特定し、特定した作業対象や作業対象位置に関連する拡張情報を表示する。しかしながら、画像認識処理は、負荷の高い演算処理であるため、拡張情報の表示遅れを発生させる。上記の特許文献１に記載された技術では、作業対象の動きによっては相対位置が誤って推定される可能性があり、表示遅れを根本的には低減することができない。

本発明の目的は、拡張情報を表示するための処理時間を短縮して、表示遅れを低減することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、情報表示装置であって、対象に関連する表示情報を記憶する記憶部と、撮像画像を出力する撮像部と、前記表示情報を表示する表示部と、制御部とを含む。前記制御部は、前記撮像部の撮像範囲に含まれる前記対象を検出する対象検出処理と、前記出力された撮像画像中の前記対象を画像認識する処理、及び前記認識された対象に関連する前記表示情報を前記表示部に表示させる処理を含む情報表示処理と、を実行する。前記制御部は、前記検出された対象と前記撮像部との位置関係に応じて、前記情報表示処理の動作モードを切り替える。

本発明の一態様によれば、拡張情報を表示するための処理時間を短縮して、表示遅れを低減することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る、システムの利用形態図である。 本発明の実施形態に係る、情報表示装置の構成例を示すブロック図である。 本発明の実施形態に係る、表示情報データベースのデータ構成例を示す説明図である。 本発明の実施形態に係る、情報表示装置のハードウェア構成例を示すブロック図である。 本発明の実施形態に係る、情報表示装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態に係る、作業者の視界の第１の例を示す説明図である。 本発明の実施形態に係る、作業者の視界の第２の例を示す説明図である。 本発明の実施形態に係る、作業者の視界の第３の例を示す説明図である。 本発明の実施形態に係る、作業者の視界の第４の例を示す説明図である。 本発明の実施形態の第１変形例に係る、情報表示装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態の第２変形例に係る、作業者の視界の例を示す説明図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る、システムの利用形態図である。本実施形態では、理解の促進のため、作業者Ｕがサーバルームに設置された複数のサーバＴの保守を行う状況を例に取って説明する。

サーバＴは、作業者Ｕによる保守作業の対象である。作業者Ｕは、拡張現実（ＡＲ：Augmented Reality）技術が実装された情報表示装置１を装着する。サーバＴには、ラベルＬが貼付されていてもよい。ラベルＬは、情報表示装置１が撮像画像内からサーバＴを認識するためのマーカーとして利用することができる。各ラベルＬには、各サーバＴの識別子、例えば、文字、コード、図形等の識別子が記載されている。

情報表示装置１は、作業者Ｕの頭部に着脱可能な、いわゆるヘッドマウントディスプレイと呼ばれる端末である。本実施形態の情報表示装置１は、ＡＲ技術を実装する。すなわち、情報表示装置１は、現実世界の視界とその視界に重畳した表示情報（「拡張情報」ともいう）とを表示する。本実施形態の情報表示装置１は、現実世界を撮像し、撮像画像からラベルＬ（及びサーバＴの識別子）を画像認識し、認識したサーバＴに関連する表示情報を表示する。

作業者Ｕは、例えば、情報表示装置１に表示された表示情報を見て、作業対象のサーバＴの位置を確認し、点検、部品交換、設定等の保守を行うことができる。

図２は、本発明の実施形態に係る、情報表示装置の構成例を示すブロック図である。情報表示装置１は、制御部１０と、記憶部２０と、撮像部３０と、表示部４０と、通信部５０と、入力部６０とを備える。

撮像部３０は、現実空間を撮像し、撮像画像を出力する。本実施形態の撮像部３０は、時系列に連続する撮像画像を含む映像を出力する。

表示部４０は、画像認識された作業対象に関連する表示情報を表示する。

通信部５０は、インターネット等のネットワークに接続され、外部のサーバ等の装置と通信する。

入力部６０は、作業者Ｕの入力操作を受け付ける。

制御部１０は、情報表示装置１を統合的に制御する。制御部１０は、対象検出部１１、画像取得部１２、画像認識部１３、表示処理部１４、及び処理制御部１５を含む。

対象検出部１１は、撮像部３０の撮像範囲に含まれる対象を検出する。また、対象検出部１１は、情報表示装置１と検出した各対象との位置関係を検出する。本実施形態では、撮像部３０から各対象までの距離を位置関係として用いる。なお、距離には、例えば、２次元平面上の直線距離に限られず、高さを考慮した３次元空間内の直線距離などの様々な定義の距離を用いることができる。

具体的には、対象検出部１１は、サーバＴの位置については、予め用意された位置情報を取得する。例えば、通信部５０を介して外部の位置データベースから、あるいは、記憶部２０に格納された位置データベースから、サーバＴの位置座標を取得することができる。また、対象検出部１１は、１つ以上の測位技術を用いて、情報表示装置１の位置座標及び姿勢を取得する。測位技術としては、例えば、ＧＰＳ（Global Positioning System）、ＰＤＲ（Pedestrian Dead Reckoning）、ＰＭＭ（Pedestrian Map Matching）等が含まれる。

対象検出部１１は、取得した情報表示装置１の位置座標及び姿勢を、撮像部３０の位置座標及び姿勢として用いることができる。対象検出部１１は、取得した撮像部３０の位置座標及び姿勢と、撮像部３０の所定の画角とに基づいて、撮像部３０の撮像範囲（例えば、撮像方向及び画角により定まる）を特定し、位置データベースを参照して当該撮像範囲に存在するサーバＴを特定すればよい。対象検出部１１は、撮像部３０の位置座標と特定したサーバＴの位置座標とに基づいて、撮像部３０から各サーバＴまでの距離を計算する。なお、撮像部３０の撮像範囲は、撮像方向及び画角により定義するのに限られず、例えば、撮像方向、画角、及び撮像部３０からの距離により定義してもよい。

画像取得部１２は、撮像部３０から撮像画像を取得し、画像認識部１３に出力する。

画像認識部１３は、画像取得部１２から出力された撮像画像に対して画像認識処理を実行し、当該撮像画像内に含まれる対象を認識する。画像認識処理としては、様々な技術を利用できるが、例えば、撮像画像から輪郭などの特徴を抽出し、予め用意した対象の特徴とマッチングする、パターンマッチング技術を用いることができる。本実施形態の画像認識部１３は、ラベルＬを対象として認識する。また、画像認識部１３は、ラベルＬに記載されたサーバＴの識別子（対象ＩＤ）を認識することで、サーバＴを認識する。

表示処理部１４は、撮像画像内に認識された対象に関連する表示情報を、表示情報データベース２１から取得する。また、表示処理部１４は、取得した表示情報の表示位置を決定し、認識された対象に関連付いて表示されるように、表示部４０に出力する。

処理制御部１５は、少なくとも画像取得部１２、画像認識部１３、及び表示処理部１４により実行される処理（以下、「情報表示処理」という）の動作モードを切り替えることにより、情報表示処理に要する処理時間を変更する。「動作モードを切り替える」とは、切り替えの前後で、処理手順、処理対象のデータ等が異なるように処理内容を変更することを意味する。また、「動作モードを切り替える」ことは、プログラム内や当該プログラムが利用するデータ内の所定の制御パラメータの設定を変更することも含んでもよい。例えば、処理制御部１５は、情報表示処理の制御パラメータの設定を変更することにより、情報表示処理の動作モードを切り替えることができる。

本実施形態の処理制御部１５は、対象検出部１１により検出された対象のうち、１つの対象を選択する。そして、処理制御部１５は、撮像部３０から選択した対象までの距離（対象検出部１１から取得される）に応じて、撮像画像の解像度を変更する。例えば、処理制御部１５は、解像度を切り替え可能な撮像部３０に対して、解像度の変更を指示する。なお、本実施形態の解像度とは、撮像画像を構成する画素数に基づく解像度であり、解像度が低いほど画素数が少ない。

記憶部２０は、制御部１０が使用するデータを格納する。記憶部２０は、例えば表示情報データベース２１を格納する。図３は、本発明の実施形態に係る、表示情報データベースのデータ構成例を示す説明図である。

表示情報データベース２１は、対象ＩＤ２１１及び表示情報２１２を含む１つ以上のレコードを格納する。対象ＩＤ２１１は、作業対象の識別子である。表示情報２１２は、作業対象に関連付けて表示される拡張情報の定義情報である。図３の例では、表示情報２１２は、文字列と、当該文字列の色とを含む。もちろん、表示情報２１２は、文字列及び色に限られず、図形、画像、動画、表示サイズ、表示位置等の情報を含んでいてもよい。

表示処理部１４は、画像認識部１３により認識された、撮像画像内の対象の識別子（対象ＩＤ）を用いて、当該対象関連する表示情報２１２を表示情報データベース２１から取得することができる。

図４は、本発明の実施形態に係る、情報表示装置のハードウェア構成例を示すブロック図である。情報表示装置１は、演算装置１００と、主記憶装置１１０と、補助記憶装置１２０と、通信装置１３０と、センサー群１４０と、入力装置１５０と、撮像装置１６０と、表示装置１７０とを含む。

演算装置１００は、例えば、ＣＰＵ（Central Processing Unit）などの演算ユニットである。主記憶装置１１０は、例えば、ＲＡＭ（Random Access Memory）などの記憶装置である。補助記憶装置１２０は、例えば、ハードディスクやＳＳＤ（Solid State Drive）、あるいはフラッシュＲＯＭ（Read Only Memory）などの記憶装置である。通信装置１３０は、ケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。補助記憶装置１２０は、情報表示装置１に内蔵されてもよいし、情報表示装置１に着脱可能であってもよいし、通信装置１３０を介して通信可能な外部ストレージより実現されてもよい。

センサー群１４０は、例えば、ＧＰＳセンサー、加速度センサー、角速度センサー、方位センサー、地磁気センサー等を含む１つ以上のセンサーである。上述の測位技術は、センサー群１４０の出力を用いることができる。入力装置１５０は、キー、タッチセンサー、マイクロフォンなどを含む、入力情報を受け付ける装置である。

撮像装置１６０は、例えば、イメージセンサーを搭載したデジタルスチルカメラあるいはデジタルビデオカメラである。情報表示装置１をヘッドマウントディスプレイで実現する場合、撮像装置１６０は、情報表示装置１を装着したユーザが見ている視界の映像を撮像できる位置及び方向で、情報表示装置１に設けられる。撮像装置１６０は、複数設けられてもよい。

表示装置１７０は、表示情報を含む画像を出力する装置である。情報表示装置１をヘッドマウントディスプレイとして実現する場合、出力された画像は、例えば、情報表示装置１に設けられた反射板に対して投影され、当該反射板で反射されてユーザの眼に導かれる。出力された画像は、眼に直接投影されてもよい。情報表示装置１のユーザの眼の前側は、ユーザが表示情報とともに現実の視界を見ることができるように、透過性を有する部材で構成されるのが望ましい。なお、表示装置１７０は、ユーザの眼の前側を覆い、現実の視界の映像とともに表示情報を表示してもよい。

制御部１０は、例えば、演算装置１００によって実現できる。すなわち、制御部１０の機能及び処理は、例えば、演算装置１００が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、補助記憶装置１２０内に記憶され、実行にあたって主記憶装置１１０上にロードされ、演算装置１００によって実行される。このアプリケーションプログラムは、情報表示装置１が出荷されるまでに情報表示装置１にインストールされていてもよいし、ネットワーク上のサーバからダウンロードされてインストールされてもよい。また、このアプリケーションプログラムは、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（Blue-ray Disc、登録商標）などの光学メディアや半導体メモリ等の記録媒体に格納され、当該記録媒体から読み取られて、情報表示装置１にインストールされてもよい。

記憶部２０は、例えば、主記憶装置１１０又は補助記憶装置１２０によって実現できる。撮像部３０は、例えば、撮像装置１６０によって実現できる。表示部４０は、例えば、表示装置１７０によって実現できる。通信部５０は、例えば、通信装置１３０によって実現できる。入力部６０は、例えば、入力装置１５０によって実現できる。

図５は、本発明の実施形態に係る、情報表示装置が実行する処理の一例を示すフローチャートである。本フローチャートは、制御部１０の処理を示している。本フローチャートは、対象検出処理（ステップＳ１〜ステップＳ２）と、動作モード切替処理（ステップＳ３〜ステップＳ７）、情報表示処理（ステップＳ８〜ステップＳ１３）との３つに分けて理解することができる。

制御部１０は、例えば、通信部５０を介して外部の作業指示サーバ若しくは作業者Ｕの操作端末から、あるいは、入力部６０を介して作業者Ｕから、開始指示を受け付けた場合に本フローチャートの処理を開始する。制御部１０は、例えば、作業指示サーバ若しくは作業者Ｕの操作端末から、あるいは、作業者Ｕから、終了指示を受け付けた場合に本フローチャートの処理を終了する。

まず、対象検出部１１は、対象を検出する（ステップＳ１）。例えば、対象検出部１１は、測位技術を用いて情報表示装置１の位置座標及び姿勢を取得するとともに、撮像部３０の撮像範囲を特定する。また、対象検出部１１は、位置データベースを参照して、当該撮像範囲に存在する対象の位置座標を特定する。また、対象検出部１１は、撮像部３０から各対象までの距離を計算する。

それから、対象検出部１１は、ステップＳ１の処理結果に基づいて、撮像部３０の撮像範囲内に対象が１つ以上含まれるかどうかを判定する（ステップＳ２）。撮像範囲内に対象が含まれていないと判定した場合（ステップＳ２でＮＯ）、対象検出部１１は、処理をステップＳ１に戻す。

撮像範囲内に対象が１つ以上含まれていると判定された場合（ステップＳ２でＹＥＳ）、処理制御部１５は、ステップＳ１の処理結果に基づいて、撮像範囲内に対象が複数含まれているかどうかを判定する（ステップＳ３）。

撮像範囲内に対象が複数含まれていると判定した場合（ステップＳ３でＹＥＳ）、処理制御部１５は、複数の対象の中から１つを選択する（ステップＳ４）。例えば、処理制御部１５は、ステップＳ１で取得された撮像部３０から各対象までの距離に基づいて、最大（最小、又は最大と最小の中間であってもよい）の距離を有する対象を選択する。用いる距離条件（最大、最小、又は中間）は、通信部５０を介して外部の作業指示サーバ若しくは作業者Ｕの操作端末から、あるいは、入力部６０を介して作業者Ｕから、事前に受け付ければよい。中間の距離を有する対象が複数存在する場合、所定の条件（例えば、中間の対象のうち最大距離若しくは最小距離を有するもの、あるいは、中央値を有するものなど）に従って対象を１つ選択すればよい。なお、撮像範囲内に対象が複数含まれていない（１つのみ含まれる）と判定した場合（ステップＳ３でＮＯ）、処理制御部１５は、撮像範囲内に含まれる対象を選択する。

ステップＳ３又はステップＳ４の後、処理制御部１５は、撮像部３０から選択した対象までの距離が、所定の閾値以下であるかどうかを判定する（ステップＳ５）。本実施形態の撮像部３０は、低解像度と高解像度のいずれかに設定可能である。所定の閾値には、例えば、低解像度の撮像画像からのラベルＬの画像認識を可能とする最大の距離が予め設定される。

対象までの距離が閾値以下であると判定した場合（ステップＳ５でＹＥＳ）、処理制御部１５は、撮像部３０の解像度を低解像度に設定する。対象までの距離が閾値以下の場合とは、撮像部３０から選択された対象までの距離が近く、低解像度の画像からでも画像認識が可能と推測される場合である。

対象までの距離が閾値を超えると判定した場合（ステップＳ５でＮＯ）、処理制御部１５は、撮像部３０の解像度を高解像度に設定する。対象までの距離が閾値を超える場合とは、撮像部３０から選択された対象までの距離が遠く、低解像度の画像からでは画像認識が不可能と推測される場合である。

ステップＳ６又はステップＳ７の後、画像取得部１２は、撮像部３０に指示して現実空間を撮像させ、撮像画像を取得する（ステップＳ８）。ステップＳ８では、ステップＳ６又はステップＳ７で設定された解像度の画像を得ることができる。

それから、画像認識部１３は、ステップＳ８で取得された撮像画像に対して画像認識処理を実行し、画像中に含まれる対象の中から未認識の対象を１つ認識する（ステップＳ９）。例えば、画像認識部１３は、ラベルＬを認識する。また、画像認識部１３は、ラベルＬに記載されたサーバＴの対象ＩＤを認識する。

それから、画像認識部１３は、ステップＳ９で対象を認識したかどうかを判定する（ステップＳ１０）。対象を認識しなかったと判定した場合、すなわち全ての対象の認識が終了した場合（ステップＳ１０でＮＯ）、画像認識部１３は、処理をステップＳ１に戻す。

対象を認識したと判定された場合（ステップＳ１０でＹＥＳ）、表示処理部１４は、ステップＳ９で認識された対象の対象ＩＤをキーとして、表示情報２１２を表示情報データベース２１から取得する（ステップＳ１１）。

それから、表示処理部１４は、表示情報の表示位置を決定する（ステップＳ１２）。例えば、表示処理部１４は、ステップＳ９で認識された対象の画像上の位置を、表示位置として決定する。なお、ヘッドマウントディスプレイでは、撮像部３０の位置とユーザの眼の位置とが離れている。そのため、撮像画像上で決定した表示位置を使っても、投影された表示情報の位置が好ましい位置とならない場合がある。従って、表示処理部１４は、事前に決定した位置補正値を用いて、表示位置を補正してもよい。

それから、表示処理部１４は、ステップＳ１１で取得した表示情報をステップＳ１２で決定した表示位置に設定して表示部４０に出力し、表示させる（ステップＳ１３）。そして、表示処理部１４は、処理をステップＳ９に戻す。

図６〜図１０を参照して、作業者Ｕが情報表示装置１を介して視ることのできる現実の視界（作業対象が含まれる）とそれに重畳された表示情報の例を説明する。ラベルＬの認識をすることはサーバＴを認識することと同義として説明する。

図６は、本発明の実施形態に係る、作業者の視界の第１の例を示す説明図である。図６は、撮像画像からサーバＴ１が認識された場合を示しており、現実のサーバＴ１に関連付けて、サーバＴ１を説明する表示情報Ａ１が表示されている。作業者Ｕは、現実の作業対象であるサーバＴ１と、それに関連する表示情報Ａ１とを同時に確認することができる。

図７は、本発明の実施形態に係る、作業者の視界の第２の例を示す説明図である。図７は、撮像画像から５台のサーバＴ１〜サーバＴ５が認識された場合を示しており、現実のサーバＴ１〜サーバＴ５のそれぞれに関連付けて、対応する表示情報Ａ１〜表示情報Ａ５が表示されている。図７では、撮像部３０から近い順に、サーバＴ１（サーバＴ２〜サーバＴ４も同様）、サーバＴ５が配置されている。

また、図７は、図５のフローチャートのステップＳ４において、撮像範囲内に特定された複数のサーバＴ１〜サーバＴ５のうち撮像部３０から最も遠いサーバＴ５が選択された場合を示している。この場合、サーバＴ５を基準に解像度が設定される（すなわち、少なくともサーバＴ５を画像認識可能な解像度が設定される）ため、サーバＴ５より手前のサーバＴ１〜サーバＴ４は、画像認識し易い。その結果、撮像画像から全てのサーバＴ１〜サーバＴ５が認識され、それぞれに対応する表示情報Ａ１〜表示情報Ａ５が表示される。

このように、撮像部３０から最も遠い対象を選択する場合、それよりも近くの対象も認識され易くなり、より多くの対象について表示情報を表示することができる。

図８は、本発明の実施形態に係る、作業者の視界の第３の例を示す説明図である。図８は、撮像画像から１台のサーバＴ１が認識された場合を示しており、現実のサーバＴ１に関連付けて、対応する表示情報Ａ１が表示されている。図８では、撮像部３０から近い順に、サーバＴ１、５台のサーバＴｘが配置されている。

また、図８は、図５のフローチャートのステップＳ４において、撮像範囲内に特定されたサーバＴ１及び５台のサーバＴｘのうち撮像部３０から最も近いサーバＴ１が選択された場合を示している。この場合、サーバＴ１を基準に解像度が設定される（すなわち、少なくともサーバＴ１を画像認識可能な解像度が設定される）ため、サーバＴ１より遠い５台のサーバＴｘは、画像認識することが難しい。その結果、撮像画像からサーバＴ１のみが認識され、それに対応する表示情報Ａ１が表示される。

このように、撮像部３０から最も近い対象を選択する場合、それよりも遠くの対象が認識されにくくなり、より少ない対象について表示情報を表示することができる。図７の場合と比べ、認識対象及び表示情報が少なくなるため、情報表示処理の処理時間を短縮できるメリットがある。

図９は、本発明の実施形態に係る、作業者の視界の第４の例を示す説明図である。図９は、撮像画像から２台のサーバＴ１〜サーバＴ２が認識された場合を示しており、現実のサーバＴ１〜サーバＴ２のそれぞれに関連付けて、対応する表示情報Ａ１〜表示情報Ａ２が表示されている。図９では、撮像部３０から近い順に、サーバＴ１、サーバＴ２、サーバＴｘが配置されている。

また、図９は、図５のフローチャートのステップＳ４において、撮像範囲内に特定されたサーバＴ１、サーバＴ２、及び１台のサーバＴｘのうち撮像部３０から中間（最も遠くと最も近くの間）に位置するサーバＴ２が選択された場合を示している。なお、中間に位置するサーバＴが複数存在する場合、所定の条件に従ってこれらの中から１つを選択すればよい。この場合、サーバＴ２を基準に解像度が設定される（すなわち、少なくともサーバＴ２を画像認識可能な解像度が設定される）ため、サーバＴ２より遠いサーバＴｘは、画像認識することが難しい。一方で、サーバＴ２より手前のサーバＴ１は、画像認識し易い。その結果、撮像画像からサーバＴ１及びサーバＴ２のみが認識され、それぞれに対応する表示情報Ａ１及び表示情報Ａ２が表示される。

このように、撮像部３０から中間位置の対象を選択する場合、図７及び図８の場合と比べ、中間的な数の対象を認識するとともに表示情報を表示することができる。

以上、本発明の実施形態について説明した。本実施形態によれば、拡張情報を表示するための処理時間を短縮して、表示遅れを低減することができる。

例えば、本実施形態の情報表示装置１は、撮像部３０と対象の位置関係（距離）に応じて、撮像画像の解像度を変更することにより、情報表示処理の動作モードを切り替える。すなわち、高解像度の画像を処理する動作モードを、低解像度の画像を処理する動作モードに切り替えることができる。これにより、情報表示処理の処理時間を短縮し、表示情報の表示遅れを低減することができる。また、低解像度の画像を処理することにより、情報表示装置１の演算装置等の消費電力を低減することができる。

また例えば、情報表示装置１は、対象までの距離が近い（所定の閾値以下）の場合に、解像度を低解像度に切り替えることができる。特に、作業対象が作業者Ｕの近くに在る場合には、作業者Ｕはその場から移動せずに手作業を行うことが多く、作業者Ｕの作業にはスピードが求められる。表示遅れが低減されることで、表示情報の表示の待ち時間が低減され、作業生産性が向上される。

また例えば、情報表示装置１は、複数の対象を検出した場合、それらの中の１つ選択し、当該選択した対象までの距離に応じて解像度を変更する。これにより、複数の対象が撮像画像内に存在する場合でも、解像度を変更することができる。

また例えば、情報表示装置１は、対象検出処理において撮像範囲内に対象を検出できなかった場合は、情報表示処理をスキップする。これにより、情報表示装置１の演算装置等の消費電力を低減することができる。

本発明は、上記の実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能であり、それらの態様を含むものである。上記の実施形態および各変形例から選択した２つ以上を適宜組み合わせることもできる。以下、複数の変形例について説明するが、上記の実施形態と同様の構成については説明を省略し、上記の実施形態と異なる構成について中心に説明する。

［第１変形例］
制御部１０は、測位技術や位置データベースの替わりに画像認識処理を用いて、撮像部３０と対象の位置関係を取得してもよい。

具体的には、例えば、対象検出部１１は、画像取得部１２から出力された撮像画像に対して画像認識処理を実行し、当該撮像画像内に含まれる対象を認識する。また、対象検出部１１は、認識された対象の画像上の位置、大きさ、形状等の特徴に基づいて、撮像部３０から各対象までの距離を計算する。画像上の物体の距離（深さ）を計算する処理には、様々な技術を利用できるが、例えば、予め用意した対象のモデルとの比較により推定することができる。画像認識部１３は、対象検出部１１の画像認識処理の結果を用いればよい。

図１０は、本発明の実施形態の第１変形例に係る、情報表示装置が実行する処理の一例を示すフローチャートである。本フローチャートは、制御部１０の処理を示している。本フローチャートは、対象検出処理（ステップＳ８Ａ〜ステップＳ２Ａ）と、動作モード切替処理（ステップＳ３〜ステップＳ７）、情報表示処理（ステップＳ９Ａ〜ステップＳ１３Ａ）との３つに分けて理解することができる。

まず、画像取得部１２は、撮像部３０に指示して現実空間を撮像させ、撮像画像を取得する（ステップＳ８Ａ）。ステップＳ８Ａでは、初期設定の解像度、又は、前回に実行されたステップＳ６又はステップＳ７で設定された解像度の画像を得ることができる。

それから、対象検出部１１は、対象を検出する（ステップＳ１Ａ）。例えば、対象検出部１１は、ステップＳ８Ａで取得された撮像画像に対して画像認識処理を実行し、画像中に含まれる１つ以上の対象を認識する。また、対象検出部１１は、画像処理によって、撮像部３０から認識された各対象までの距離を計算する。

それから、対象検出部１１は、ステップＳ１Ａの処理結果に基づいて、撮像部３０の撮像範囲内（撮像画像内）に対象が１つ以上含まれるかどうかを判定する（ステップＳ２Ａ）。撮像範囲内に対象が含まれていないと判定した場合（ステップＳ２ＡでＮＯ）、対象検出部１１は、処理をステップＳ８Ａに戻す。

撮像範囲内に対象が１つ以上含まれていると判定された場合（ステップＳ２ＡでＹＥＳ）、処理制御部１５は、ステップＳ１Ａの処理結果に基づいて、撮像範囲内に対象が複数含まれているかどうかを判定する（ステップＳ３）。ステップＳ３〜ステップＳ７の処理は、図５のステップＳ３〜ステップＳ７と同様である。

ステップＳ６又はステップＳ７の後、画像認識部１３は、ステップＳ１Ａで実行された画像認識処理の結果を用いて、画像中に含まれる対象の中から未選択の対象を１つ選択する（ステップＳ９Ａ）。

それから、画像認識部１３は、ステップＳ９Ａで対象を選択したかどうかを判定する（ステップＳ１０Ａ）。対象を選択しなかったと判定した場合、すなわち全ての対象の選択が終了した場合（ステップＳ１０ＡでＮＯ）、画像認識部１３は、処理をステップＳ８Ａに戻す。

対象を選択したと判定された場合（ステップＳ１０ＡでＹＥＳ）、表示処理部１４は、ステップＳ９Ａで選択された対象の対象ＩＤをキーとして、表示情報２１２を表示情報データベース２１から取得する（ステップＳ１１Ａ）。

それから、表示処理部１４は、表示情報の表示位置を決定する（ステップＳ１２Ａ）。例えば、表示処理部１４は、ステップＳ１Ａで認識された対象の画像上の位置を、表示位置として決定する。

それから、表示処理部１４は、ステップＳ１１Ａで取得した表示情報をステップＳ１２Ａで決定した表示位置に設定して表示部４０に出力し、表示させる（ステップＳ１３Ａ）。そして、表示処理部１４は、処理をステップＳ９Ａに戻す。

第１変形例によっても、上記の実施形態と同様の効果を得ることができる。また、対象検出処理と情報表示処理は共通の画像認識処理を用いることができるため、対象検出処理と情報表示処理を並列的に実行することにより、処理を効率化することができる。なお、図１０では、動作モード切替処理は、対象検出処理と情報表示処理の間で実行されているが、この場所に限定されず、例えば、情報表示処理の後（ステップＳ１０ＡでＮＯの場合）に実行されてもよい。

［第２変形例］
制御部１０は、作業指示によって選択された対象についてのみ、撮像部３０との位置関係を取得し、表示情報を表示するようにしてもよい。

具体的には、例えば、上記の位置データベースは、各サーバＴの位置座標とともに、作業対象として選択された１つ以上のサーバＴの識別子（対象ＩＤ）を格納する。作業者Ｕに作業を指示する作業指示サーバは、作業対象のサーバＴを選択し、その識別子を位置データベースに格納することができる。

対象検出部１１は、図５のフローチャートのステップＳ１において、位置データベースを参照して、撮像部３０の撮像範囲に存在するサーバＴのうち、作業対象として選択された１つ以上のサーバＴを特定する。また、対象検出部１１は、撮像部３０から特定した各サーバＴまでの距離を計算する。また、表示処理部１４は、図５のフローチャートのステップＳ１０とステップＳ１１の間に、認識されたサーバＴの識別子が、作業対象として選択されたサーバＴの識別子（ステップＳ１で取得済）と一致するかどうかを判定し、一致しない場合はステップＳ１１〜ステップＳ１３をスキップし、一致する場合はステップＳ１１〜ステップＳ１３を実行すればよい。

図１１は、本発明の実施形態の第２変形例に係る、作業者の視界の例を示す説明図である。図１１は、図５のフローチャートのステップＳ１において、撮像範囲内に特定されたサーバＴ１〜サーバＴ５のうち、作業対象としてサーバＴ２のみが選択された場合を示している。その結果、撮像画像から認識されたサーバＴ１〜サーバＴ５のうち、サーバＴ２についてのみ表示情報Ｂ２及び表示情報Ｃ２が表示されている。図１１では、表示情報Ｂ２は、サーバＴ２が作業対象であることを提示しており、表示情報Ｃ２は、作業内容を提示している。これらの表示情報は、例えば作業指示サーバによって表示情報データベース２１に事前に設定されればよい。表示情報Ｃ２は、作業位置を指していてもよい。

第２変形例によれば、作業指示で選択されていない対象に関する位置関係を特定する処理を省略することができる。また、作業指示で選択されていない対象に関する表示情報の表示処理を省略することができる。なお、対象検出部１１は、入力部６０を介して作業者Ｕから、あるいは通信部５０を介して作業指示サーバ若しくは作業者Ｕの操作端末から、作業対象の選択を受け付けてもよい。

第１変形例においても、対象検出部１１は、撮像画像から検出された対象の中から、作業対象として選択された１つ以上のサーバＴを特定してもよい。対象検出部１１は、入力部６０を介して作業者Ｕから、あるいは通信部５０を介して作業指示サーバ若しくは作業者Ｕの操作端末から、作業対象の選択を受け付けてもよい。

［その他の変形例］
上記の実施形態又は変形例の制御部１０は、撮像画像の解像度を変更することによって情報表示処理の動作モードを切り替えているが、他の方法によって情報表示処理の動作モードを切り替えてもよい。

例えば、情報表示装置１は処理速度を切り替え可能な演算装置１００を搭載し、処理制御部１５は、撮像画像の解像度に応じて演算装置１００の処理速度を切り替えてもよい。例えば、高解像度の場合には高速に、低解像度の場合には低速に切り替える。このようにすれば、例えば、高解像度の場合に、処理時間が長くなるのを防ぐことができる。解像度を３つ以上用意し、各解像度に対応する処理速度（例えば、解像度が高いほど高速）に切り替えてもよい。

例えば、情報表示装置１は処理速度を切り替え可能な演算装置１００を搭載し、処理制御部１５は、撮像部３０の撮像範囲内に特定された対象の数に応じて演算装置１００の処理速度を切り替えてもよい。例えば、対象の数が複数の場合には高速に、対象の数が１つの場合は低速に切り替える。このようにすれば、例えば、対象の数が複数の場合に、処理時間が長くなるのを防ぐことができる。対象の数を３つ以上のグループに区切り、各グループに対応する処理速度（例えば、対象の数が多いほど高速）に切り替えてもよい。

例えば、処理制御部１５は、撮像範囲内に対象が検出されなかった場合（図５のステップＳ２でＮＯ、又は図１１のステップＳ２ＡでＮＯ）、情報表示処理を停止してもよい。また、処理制御部１５は、撮像範囲内に対象が検出された場合（図５のステップＳ２でＹＥＳ、又は図１１のステップＳ２ＡでＹＥＳ）、情報表示処理を開始してもよい。このようにすれば、対象が検出されていない間は、ＲＡＭ等のメモリ上に展開されるプログラムやデータが削減され、消費電力を低減することができる。

例えば、情報表示装置１は、動作モードを切り替え設定可能な撮像部３０を搭載してもよい。動作モードは、例えば、消費電力の高い順に、電源オン状態、スリープ状態、電源オフ状態を含む。処理制御部１５は、撮像範囲内に対象が検出されなかった場合（図５のステップＳ２でＮＯ、又は図１１のステップＳ２ＡでＮＯ）、撮像部３０をスリープ状態又は電源オフ状態に設定してもよい。また、処理制御部１５は、撮像範囲内に対象が検出された場合（図５のステップＳ２でＹＥＳ、又は図１１のステップＳ２ＡでＹＥＳ）、撮像部３０を電源オン状態に設定してもよい。このようにすれば、対象が検出されていない間の消費電力を低減することができる。

例えば、情報表示装置１はフォーカスを調整可能な撮像部３０を搭載し、処理制御部１５は、撮像部３０を制御して、特定された対象までの距離に基づいて、選択した対象にフォーカスを合わせてもよい。このようにすれば、画像認識の処理時間を低減しつつ精度を向上することができる。

例えば、対象検出部１１は、検出した対象と撮像部３０との間に障害物を検出した場合、当該対象を撮像範囲内の対象からは除外するようにしてもよい。障害物は、例えば、障害物の位置情報を用いたり、画像認識処理を用いたりして検出することができる。画像認識部１３は、撮像画像中の除外された対象を含む領域に対しては画像認識処理を実行しない。このようにすれば、情報表示処理の処理負荷を低減することができる。

上記の実施形態又は変形例の制御部１０は、ラベルＬを用いた画像認識処理を実行しているが、対象を認識できれば他の方法を用いてもよい。例えば、サーバＴ等の作業対象そのものを物体認識するようにしてもよい。この場合も、対象の特徴及び当該対象の識別子を含む予め用意したデータベースから、認識した対象の識別子を得ることができる。

上記の実施形態又は変形例の制御部１０は、位置データベースを用いて対象の位置を取得しているが、対象の位置を取得できれば他の方法を用いてもよい。例えば、対象にＲＦＩＤ（Radio Frequency Identifier）等の電子タグを貼付し、情報表示装置１に搭載したタグリーダーを用いて、電磁界や電波を使った無線通信によって検出してもよい。また例えば、情報表示装置１にＴＯＦ（Time of Flight）方式などの距離画像（深さ画像）センサーを搭載し、撮像された距離画像から対象を特定してもよい。

上記の実施形態又は変形例の制御部１０は、撮像部３０の解像度を変更しているが、解像度を変更できれば他の方法であってもよい。例えば、処理制御部１５は、画像取得部１２に対して解像度の設定変更を指示し、画像取得部１２は、画像処理によって、撮像部３０から出力された画像の解像度を設定された解像度に変換すればよい。

上記の実施形態又は変形例の処理制御部１５は、１つの閾値を用いて２つの解像度から１つを選択しているが、このような構成に限定されない。

例えば、処理制御部１５は、２つ以上の閾値を用いて３つ以上の解像度から１つを選択する（例えば、距離が近いほど低い解像度を選択する）ようにしてもよい。このようにすれば、情報表示処理の処理時間をより段階的に正確に制御できる。

例えば、処理制御部１５は、対象ごとに個別の閾値を保持し、選択された対象に対応する閾値を用いて距離の判定を実行してもよい。このようにすれば、選択された対象に応じて当該対象を精度よく画像認識できるように解像度を設定することができる。

上記の実施形態又は変形例の制御部１０は、撮像部３０と選択された対象との位置関係として、距離を使用して解像度を決定しているが、このような構成に限定されない。

例えば、対象検出部１１は、撮像部３０に対する対象の角度（例えば、撮像部３０の撮像方向と、ラベルＬが貼付されている対象面の交差する角度）を特定し、特定した角度を用いて解像度を決定してもよい。処理制御部１５は、対象面の角度が閾値（角度）を超える場合に、解像度を高解像度に設定し、対象面の角度が閾値（角度）以下である場合に、解像度を低解像度に設定する。なお、対象の角度は、測位技術及び位置データベースを用いたり、画像認識処理を用いたりして特定することができる。このようにすれば、例えばラベルＬが貼付されている対象面の角度が大きい（画像認識の精度が低下する）などの場合に、高解像度の画像を得て画像認識の精度を向上することができる。対象面の角度が小さい場合には、低解像度の画像を得て画像認識の精度を維持しつつ、情報表示処理の処理負荷を低減することができる。

例えば、対象検出部１１は、画像認識処理により撮像範囲内の対象を検出するとともに、撮像画像中の対象の占める面積（あるいは近似した面積）を特定し、特定した面積を用いて解像度を決定してもよい。処理制御部１５は、対象の面積が閾値（面積）を超える場合に、解像度を低解像度に設定し、対象の面積が閾値（面積）以下である場合に、解像度を高解像度に設定する。

なお、対象検出部１１は、上述した距離、角度及び面積の２つ以上を組み合わせて用いてもよい。

上記の実施形態は、対象の検出に測位技術及び位置データベースを用いており、上記の第１変形例は、対象の検出に画像認識技術を用いているが、これらの両方を用いるようにしてもよい。

上記の第１変形例の対象検出部１１は、時系列の複数の撮像画像の中で対象をトラッキングし、前の画像で算出された当該対象までの距離を用いて、後の画像における当該対象までの距離を推定計算してもよい。

上記の実施形態又は変形例の処理制御部１５は、複数の対象が検出された場合、撮像部３０から各対象までの距離に基づいて１つの対象を選択しているが、対象を１つ選択できればこの方法に限定されない。

例えば、上記したような撮像部３０に対する対象の角度を用いたり、撮像画像中の面積を用いたりしてもよい。また例えば、処理制御部１５は、通信部５０を介して外部の作業指示サーバ若しくは作業者Ｕの操作端末から、あるいは、入力部６０を介して作業者Ｕから、対象の選択を受け付けてもよい。

上記の実施形態又は変形例の情報表示装置は、ヘッドマウントディスプレイを採用している。しかしながら、本発明の情報表示装置は、本発明の目的を達成する構成を備えていれば、ヘッドマウントディスプレイに限定されない。すなわち、本発明の情報表示装置は、ユーザの身体の一部に着脱可能なウェアラブルデバイスや、ユーザが携帯するデバイスなどを含むことができる。また、撮像部、表示部等のユニットの少なくとも一部は、１つのデバイス内に設けられている必要はなく、分離して設けられてもよい。また、情報表示装置の機能や処理の一部は、ネットワーク上のサーバなど他のデバイス上で実行されてもよい。

上記の実施形態又は変形例では、サーバの保守作業を例に説明した。もちろん、本発明は、他の多くの状況において利用できる。例えば、博物館において展示物の拡張情報を来訪者に見せたり、倉庫内の仕分け作業において商品の拡張情報を作業者に見せたりする場合である。

本発明は、情報表示装置だけでなく、情報表示装置の処理制御方法、情報表示装置のプログラム、当該プログラムを格納したコンピュータ読取可能な記録媒体、情報表示装置及び作業指示サーバを含む情報表示システム、などの様々な態様で提供することができる。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…情報表示装置、１０…制御部、１１…対象検出部、１２…画像取得部、１３…画像認識部、１４…表示処理部、１５…処理制御部、２０…記憶部、２１…表示情報データベース、３０…撮像部、４０…表示部、５０…通信部、６０…入力部、１００…演算装置、１１０…主記憶装置、１２０…補助記憶装置、１３０…通信装置、１４０…センサー群、１５０…入力装置、１６０…撮像装置、１７０…表示装置、２１１…対象ＩＤ、２１２…表示情報、Ａ…表示情報、Ｂ…表示情報、Ｃ…表示情報、Ｌ…ラベル、Ｔ…サーバ、Ｕ…作業者

Claims (10)

1. 対象に関連する表示情報を記憶する記憶部と、
   撮像画像を出力する撮像部と、
   前記表示情報を表示する表示部と、
   前記撮像部の撮像範囲を特定して前記撮像範囲に含まれる前記対象を検出する対象検出処理と、前記撮像部から出力された前記撮像画像を取得し、前記撮像画像中の前記対象を画像認識し、認識した前記対象に関連する前記表示情報を前記表示部に表示させる処理を含む情報表示処理と、を実行する制御部と、を含み、
   前記制御部は、
   前記対象検出処理にて、前記撮像部の位置座標、姿勢、及び画角に基づいて前記撮像部の前記撮像範囲を特定し、位置データベースから前記対象の位置座標を取得して、前記撮像範囲に含まれる前記対象を検出し、
   検出した前記対象と前記撮像部との位置関係に応じて、前記撮像部の解像度、又は、前記撮像部から出力された前記撮像画像の解像度を変更することにより、前記情報表示処理の動作モードを切り替える
   ことを特徴とする情報表示装置。
2. 請求項１に記載の情報表示装置であって、
   前記制御部は、前記撮像部から前記対象までの距離が所定の閾値以下である場合に、前記解像度を第１の解像度に設定し、前記撮像部から前記対象までの距離が前記所定の閾値を超える場合に、前記解像度を前記第１の解像度よりも高い第２の解像度に設定する
   ことを特徴とする情報表示装置。
3. 請求項１に記載の情報表示装置であって、
   前記制御部は、前記撮像部から前記対象までの距離に応じて、前記情報表示処理の前記動作モードを切り替える
   ことを特徴とする情報表示装置。
4. 請求項１に記載の情報表示装置であって、
   前記制御部は、前記撮像画像中の前記対象の面積、又は角度に応じて、前記情報表示処理の前記動作モードを切り替える
   ことを特徴とする情報表示装置。
5. 請求項１に記載の情報表示装置であって、
   前記制御部は、複数の前記対象が検出された場合、前記複数の対象の中から選択した１つの前記対象と前記撮像部との位置関係に応じて、前記情報表示処理の動作モードを切り替える
   ことを特徴とする情報表示装置。
6. 請求項５に記載の情報表示装置であって、
   前記制御部は、前記複数の対象の中から、前記撮像部に対して最も遠く、最も近く、又は中間に位置する前記対象を選択し、前記撮像部から前記選択した対象までの距離に応じて、前記情報表示処理の前記動作モードを切り替える
   ことを特徴とする情報表示装置。
7. 請求項１に記載の情報表示装置であって、
   前記制御部は、
   前記情報表示処理の前に前記対象検出処理を実行し、
   前記撮像範囲に前記対象が含まれる場合は、前記情報表示処理を実行して次の前記対象検出処理を実行し、
   前記撮像範囲に前記対象が含まれない場合は、前記情報表示処理をスキップして次の前記対象検出処理を実行する
   ことを特徴とする情報表示装置。
8. 請求項１に記載の情報表示装置であって、
   前記制御部は、
   前記情報表示処理の前に前記対象検出処理を実行し、
   前記撮像範囲に前記対象が含まれる場合は、前記撮像部を電源オン状態に設定するとともに前記情報表示処理を実行して次の前記対象検出処理を実行し、
   前記撮像範囲に前記対象が含まれない場合は、前記撮像部をスリープ状態又は電源オフ状態に設定するとともに前記情報表示処理をスキップして次の前記対象検出処理を実行する
   ことを特徴とする情報表示装置。
9. 請求項１に記載の情報表示装置であって、
   入力部又は通信部を含み、
   前記制御部は、
   前記撮像部の撮像範囲に含まれる１つ以上の前記対象のうち、前記入力部又は前記通信部を介して選択された前記対象を検出し、前記選択された対象に関連する前記表示情報を前記表示部に表示させる
   ことを特徴とする情報表示装置。
10. 対象に関連する表示情報を表示する情報表示装置の処理制御方法であって、
    前記情報表示装置は、
    撮像部の撮像範囲を特定して前記撮像範囲に含まれる前記対象を検出する対象検出処理と、前記撮像部から出力された撮像画像を取得し、前記撮像画像中の前記対象を画像認識し、認識した前記対象に関連する前記表示情報を表示部に表示させる処理を含む情報表示処理と、を実行する制御部を含み、
    前記制御部による、
    前記撮像部の位置座標、姿勢、及び画角に基づいて前記撮像部の前記撮像範囲を特定し、位置データベースから前記対象の位置座標を取得して、前記撮像範囲に含まれる前記対象を検出するステップと、
    検出した前記対象と前記撮像部との位置関係に応じて、前記撮像部の解像度、又は、前記撮像部から出力された前記撮像画像の解像度を変更することにより、前記情報表示処理の動作モードを切り替えるステップと、
    を含むことを特徴とする処理制御方法。

Images