JP7078568B2 - 表示装置、表示制御方法、及び表示システム - Google Patents

Description

本発明は、表示装置、表示制御方法、及び表示システムに関する。

ユーザが頭部に装着する、所謂スマートグラス等の透過型ＨＭＤ（Head Mounted Display）が工場や機器メンテナンス等における作業支援を目的として利用されている。一般に、透過型ＨＭＤを装着したユーザは、画面を介して実在する作業対象物を見ながら、透過型の画面に表示される作業支援情報（作業箇所や作業順序等）を参照する。これにより、ユーザは、実在する作業対象物から視線を大きく逸らすことなく、各種の作業を行うことが可能となる。

ところで、透過型ＨＭＤには、加速度センサやジャイロセンサ等のセンサを用いてユーザの視線方向や位置を検出する機能を搭載しているものがある。この機能を利用し、透過型の画面に作業支援情報を表示する際、その表示位置を調整することができる。

例えば、特許文献１には、「仮想スクリーン上に、外景に重畳させて描画オブジェクトを表示するための表示／投影部と、外景に対する前記仮想スクリーンの位置及び／又は角度を特定する情報を検出する検出部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、前記透過型ヘッドマウントディスプレイを制御する制御部は、アプリケーションで作成したデータに基づいて描画オブジェクトを生成し、前記検出部が検出した情報を参照して、前記描画オブジェクトの前記仮想スクリーン上の描画位置を設定する描画オブジェクト生成部と、前記表示／投影部を制御して、前記描画オブジェクトを前記仮想スクリーン上の前記描画位置に描画する描画処理部と、を備え、前記描画オブジェクト生成部は、各々の描画オブジェクトに対して、予め定めたルールに従って描画優先度を設定し、前記描画処理部は、前記描画優先度が異なる複数の描画オブジェクトの前記描画位置が重なる場合、前記描画優先度がより高い描画オブジェクトを優先して描画する、ことを特徴とする情報表示システム」と記載されている。

特開２０１５－１１５０３４号公報

特許文献１に記載の透過型ＨＭＤによれば、ユーザは画面上に干渉することなく表示された複数の情報を見ながら作業を行うことができる。しかしながら、実際には、画面上に表示する情報には予め画一的な条件で表示位置や表示内容が定義されているに過ぎない。したがって、例えば、実在の対象物に対して作業箇所や作業内容を重畳させて表示する場合、作業前に作業箇所の確認をするときに、その表示は役立つが、作業中はその表示が邪魔になって対象物の視認性が低下してしまうことがある。

また、該透過型ＨＭＤではユーザからのＵＩ(User Interface)操作に応じて情報の表示位置を変更することが可能ではある。しかしながら、常にユーザがＵＩ操作をできるとは限らない。例えば、ＵＩ操作として音声操作が採用されている場合、作業現場の騒音が大きいと、音声操作の認識率が低下してしまう。また、ＵＩ操作としてジェスチャ操作やスイッチ操作等が採用されている場合、ユーザが工具等を握っているときにはＵＩ操作を行うことができなくなる。

また、作業状態が変わるたびにユーザによるＵＩ操作が必要になると、ユーザにとっての利便性が低下してしまう。

本発明はこのような状況に鑑みてなされたものであり、作業対象物の視認性の低下を抑止できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決すべく、本発明の一態様に係る表示装置は、周囲の景色を透過し、且つ、作業支援情報を表示する表示部と、ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群と、前記センサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定部と、判定された前記ユーザの前記作業状態に応じて、前記表示部における前記作業支援情報の表示を変更する表示制御部と、を備えることを特徴とする。

本発明の一態様によれば、作業対象物の視認性の低下を抑止することが可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の第１の実施の形態に係る表示装置１００の一例を示す外観図である。 図２は、表示装置１００の構成例を示す機能ブロック図である。 図３は、本発明の第２の実施の形態に係る表示システム１２０の構成例を示す図である。 図４は、表示システム１２０を構成する情報処理装置１２２の構成例を示す機能ブロック図である。 図５は、本発明の第３の実施の形態に係る表示システム１３０の構成例を示す図である。 図６は、表示システム１３０を構成する情報処理装置１３１の構成例を示す機能ブロック図である。 図７は、本発明の第４の実施の形態に係る表示システム１４０の構成例を示す図である。 図８は、表示システム１４０を構成するサーバ装置１４２の構成例を示す機能ブロック図である。 図９は、表示処理の一例を説明するフローチャートである。 図１０は、作業状態判定処理の一例を詳述するフローチャートである。 図１１（Ａ）～図１１（Ｄ）は、ユーザの視界を撮像した画像データの例を示しており、図１１(Ａ)は作業前の状態の一例、図１１(Ｂ)は作業前の状態の一例、図１１(Ｃ)は作業中の状態の一例、図１１(Ｄ)は未作業の状態の一例をそれぞれ示す図である。 図１２（Ａ）～図１２（Ｄ）は、作業支援情報の表示例であり、図１２(Ａ)は作業前の表示例、図１２(Ｂ)は作業中の従来の表示例、図１２(Ｃ)は作業中の第１の表示例、図１２(Ｄ)は作業中の第２の表示例をそれぞれ示す図である。

以下、本発明の複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。

＜本発明の第１の実施の形態に係る表示装置１００の構成例＞
図１は、本発明の第１の実施の形態に係る表示装置１００の一例を示す外観図である。図２は、表示装置１００の機能ブロックの構成例を示している。

該表示装置１００は、ユーザが頭部に装着するメガネ型の透過型ＨＭＤである。ただし、表示装置１００の形状はメガネ型に限らず、ゴーグル型やヘルメット型でもよい。表示装置１００は、例えば、ユーザが工場作業や機器メンテナンス作業等の作業を行う際に装着し、作業支援のための情報を表示する。

表示装置１００は、メガネ型フレーム１０１の表面又は内部に、センサ群１０２、表示部１０３Ｌ，１０３Ｒ、光源部１０４、操作部１０５、音声入出力部１０６、電源部１０９、及び情報処理部１１０を備える。

センサ群１０２は、例えばメガネ型フレーム１０１の正面の中央に配置される。センサ群１０２は、図２に示すように、第１撮像部１０２１、第２撮像部１０２２、慣性計測部１０２３、環境計測部１０２４、バイタル計測部１０２５、位置計測部１０２６等の各種センサを含み、センシング結果を情報処理部１１０に出力する。なお、センサ群１０２の配置は、メガネ型フレーム１０１の中央に限らず、他の位置に配置してもよい。

第１撮像部１０２１は、カメラ等からなり、ユーザの視界を撮像対象として静止画像や動画像を撮像する。第２撮像部１０２２は、全周囲カメラ等からなり、ユーザ自身を含む周囲環境を撮像対象として静止画像や動画像を撮像する。第２撮像部１０２２によって撮像された静止画像や動画像は、ユーザの視線検出に用いられる。第１撮像部１０２１及び第２撮像部１０２２は、本発明の撮像部に相当する。

慣性計測部１０２３は、加速度センサ、ジャイロセンサ等のセンサからなり、ユーザの頭部の動きを検出する。この情報は、ユーザの視線方向や視線位置の推定に用いられる。

環境計測部１０２４は、照度計、温度計、湿度計、マイクロフォン等のセンサからなり、ユーザの周囲環境に関する情報を取得する。

バイタル計測部１０２５は、心拍計、体温計、血圧計、脈拍計、脳波計等のセンサからなり、ユーザの身体情報を取得する。この情報は、ユーザの体調や感情の推定に用いられる。

位置計測部１０２６は、地磁気センサ、ＧＰＳ(Global Positioning System)センサ等のセンサからなり、ユーザの現在位置を取得する。

表示部１０３Ｌ，１０３Ｒは、それぞれユーザの左目または右目の正面に配置されており、ユーザの周囲の景色を透過し、且つ、作業支援情報を表示する。したがって、ユーザは、表示部１０３Ｌ，１０３Ｒを透過する周囲の景色を視認しつつ、表示部１０３Ｌ，１０３Ｒに表示される作業支援情報を確認することができる。ただし、表示部１０３Ｌ，１０３Ｒは、その一方のみを設け、他方を省略してもよい。

光源部１０４は、例えばメガネ型フレーム１０１の正面の左右端に配置され、ユーザの視界に対して照明光を照射する。光源部１０４をメガネ型フレーム１０１の正面の左右端に配置することにより、照明光を広い範囲に照射することができる。ただし、光源部１０４の数や配置は図示する例に限らず、任意に変更してもよい。

操作部１０５は、例えばメガネ型フレーム１０１の蔓に配置される。操作部１０５は、スイッチ、ダイヤル等などからなり、例えば、電源のオン／オフ、表示輝度調整、出力音量調整等を行うユーザからの操作を受け付ける。

音声入出力部１０６は、例えばメガネ型フレーム１０１の蔓に配置される。音声入出力部１０６は、マイクロフォン、スピーカ等からなる。音声入出力部１０６は、例えばユーザの発話音声を取得したり、所定の音声を出力したりする。音声入出力部１０６にて取得したユーザの発話音声を音声認識し、音声による操作に用いるようにしてもよい。

電源部１０９は、バッテリまたは外部のＡＣアダプタに接続される電源インターフェースからなる。電源部１０９は、表示装置１００の各部に電力を供給する。

情報処理部１１０は、図２に示すように、制御部１１１、通信部１１２、記憶部１１３、及びＡＩエンジン群１１４を有する。

制御部１１１は、例えば、ＣＰＵ(Central Processing Unit)が所定のプログラムを実行することによって実現される。制御部１１１は、表示装置１００の全体を制御する。制御部１１１は、認証部１１１１、コンテンツ管理部１１１２、作業状態判定部１１１３、及び表示制御部１１１４の各機能ブロックを有する。

認証部１１１１は、表示装置１００が他の装置と接続する場合の個人認証処理、機器認証処理、サービス認証処理等を実行する。コンテンツ管理部１１１２は、作業支援時に実行することにより作業支援のための情報を表示するためのコンテンツを管理する。

作業状態判定部１１１３は、センサ群１０２によるセンシング結果に基づき、ＡＩエンジン群１１４を用いてユーザの作業状態を判定する。表示制御部１１１４は、作業支援の表示を行うためのコンテンツに基づき、作業支援情報を生成する。また、表示制御部１１１４は、生成した作業支援情報を表示部１０３Ｌ，１０３Ｒに表示させる。なお、作業支援情報は、作業箇所５１１、及び作業内容５１２（いずれも図１２）の少なくとも一方を含むものとする。

通信部１１２は、例えば、Ｅｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＰＷＡ(Low-Power Wide Area)、ＵＳＢ(Universal Serial Bus)（何れも商標）等のうちの少なくとも一つの通信方式に対応する通信モジュールからなり、他の装置と有線または無線にて接続して所定の情報を通信する。

記憶部１１３は、半導体メモリ等のストレージからなる。記憶部１１３には、例えば、各種プログラム、認証情報、コンテンツ等が記憶されている。ＡＩエンジン群１１４は、機械学習や深層学習で学習した結果のパラメータや閾値を用いて、様々な事象を推測、判断する。なお、ＡＩエンジン群１１４は、ハードウェアによって実現してもよいし、ＣＰＵが所定のプログラムを実行することによって実現してもよい。さらに、ＡＩエンジン群１１４は、制御部１１１の機能ブロックとして実現してもよい、

＜本発明の第２の実施の形態に係る表示システム１２０の構成例＞
次に、図３は、本発明の第２の実施の形態に係る表示システム１２０の構成例を示している。

該表示システム１２０は、表示装置１２１及び情報処理装置１２２を備える。表示装置１２１は、表示装置１００（図１）から情報処理部１１０を省略し、通信部１０７を追加したものである。表示装置１２１は、通信部１０７を用いて情報処理装置１２２と有線または無線によって接続し、所定の情報を通信する。通信部１０７による通信方式は任意であるが、例えば、Ｅｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＰＷＡ、ＵＳＢ等を採用することができる。

次に、図４は、表示システム１２０における情報処理装置１２２の機能ブロックの構成例を示している。

情報処理装置１２２は、例えば、スマートフォン、タブレット型コンピュータ等の一般的なコンピュータからなる。情報処理装置１２２は、表示装置１００（図１）の情報処理部１１０と同等の機能を有し、図４に示されるように、情報処理部１１０（図２）と同様の機能ブロックを備える。なお、情報処理装置１２２の各機能ブロックには、情報処理部１１０の対応する機能ブロックと共通の符号を付して、その説明を省略する。

表示システム１２０によれば、表示装置１２１と、情報処理装置１２２とを分離したので、表示装置１００に比べて、表示装置１２１の小型軽量化が可能となり、ユーザの装着感を向上させることができる。また例えば、表示装置１２１と表示装置１００とが同容量のバッテリを搭載している場合、通信部１０７は表示装置１００の情報処理部１１０に比べて消費する電力が小さいので、表示装置１００よりも駆動時間の延長を実現できる。

＜本発明の第３の実施の形態に係る表示システム１３０の構成例＞
次に、図５は、本発明の第３の実施の形態に係る表示システム１３０の構成例を示している。

該表示システム１３０は、表示装置１２１、情報処理装置１３１、及び外部センサ群１３２を備える。表示装置１２１は、表示システム１２０（図３）の表示装置１２１と同一のものである。表示システム１３０における表示装置１２１は、通信部１０７を用いて情報処理装置１３１や外部センサ群１３２と有線または無線によって接続し、所定の情報を通信する。

情報処理装置１３１は、表示装置１００の情報処理部１１０（図２）と同等の機能に加え、外部センサ群１３２を管理する機能を有する。

外部センサ群１３２は、図５に示されるように、ウェアラブルセンサ１３２１、位置センサ１３２２、及びカメラ１３２３等を含み、それぞれのセンシング結果を情報処理装置１３１に出力する。ウェアラブルセンサ１３２１は、ユーザに装着され、ユーザの動きやバイタル情報（心拍、体温、血圧、脈拍、脳波等）を検出する。位置センサ１３２２は、該表示システム１３０の位置情報を検出する。カメラ１３２３は、表示システム１３０の周囲を撮像する。外部センサ群１３２によるセンシング結果は、ユーザの体調、感情、視線、姿勢、位置等の推定に用いられる。なお、外部センサ群１３２によるセンシング結果は表示装置１２１を介して情報処理装置１３１に出力するようにしてもよい。

次に、図６は、表示システム１３０における情報処理装置１３１の機能ブロックの構成例を示している。

情報処理装置１３１は、例えば、パーソナルコンピュータ等の一般的なコンピュータからなる。上述したように、情報処理装置１３１は、表示装置１００の情報処理部１１０と同等の機能を有し、図６に示されるように、情報処理部１１０（図２）と同様の機能ブロックに追加して、外部センサ群管理部１１１５を備える。なお、情報処理装置１３１の各機能ブロックには、情報処理部１１０の対応する機能ブロックと共通の符号を付して、その説明を省略する。外部センサ群管理部１１１５は、外部センサ群１３２と接続し、外部センサ群１３２を制御し、センシング結果を取得する。

表示システム１３０によれば、表示システム１２０と同様の効果を得ることができる。また、表示システム１３０によれば、外部センサ群１３２によるセンシング結果も用いるので、より正確にユーザの視線や作業状態を判定でき、作業支援のための表示をより適切に表示できる。

なお、情報処理装置１３１の処理能力が情報処理装置１２２（図４）に比べて高い場合、情報処理装置１３１に対して同時に複数の表示装置１２１を接続し、各表示装置１２１に対して、各ユーザの作業状態に応じた異なる情報を表示させるようにしてもよい。

＜本発明の第４の実施の形態に係る表示システム１４０の構成例＞
次に、図７は、本発明の第４の実施の形態に係る表示システム１４０の構成例を示している。

該表示システム１４０は、表示装置１２１、情報処理装置１３１、及びサーバ装置１４２を備える。表示装置１２１は、表示システム１２０（図３）の表示装置１２１と同一のものである。表示システム１４０における表示装置１２１は、通信部１０７を用い、有線または無線によってネットワーク１４１に接続し、ネットワーク１４１上のサーバ装置１４２と所定の情報を通信する。

ネットワーク１４１は、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)、携帯電話通信網、インターネット等の双方向通信網である。

サーバ装置１４２は、表示装置１００の情報処理部１１０（図２）と同等の機能を有する。

次に、図８は、表示システム１４０におけるサーバ装置１４２の機能ブロックの構成例を示している。

サーバ装置１４２は、例えば、サーバコンピュータ等の一般的なコンピュータからなる。上述したように、サーバ装置１４２は、表示装置１００の情報処理部１１０と同等の機能を有し、図８に示されるように、情報処理部１１０（図２）と同様の機能ブロックに追加して、暗号処理部１１１６を備える。なお、情報処理装置１３１の各機能ブロックには、情報処理部１１０の対応する機能ブロックと共通の符号を付して、その説明を省略する。暗号処理部１１１６は、ネットワーク１４１を介して表示装置１２１と通信する情報に対する暗号化及び復号化を行う。

表示システム１４０によれば、表示システム１２０と同様の効果を得ることができる。また、表示システム１４０は、表示装置１２１とサーバ装置１４２との通信を暗号化できるので、表示装置１２１とサーバ装置１４２との通信内容の漏洩を抑止することができる。よって、他者に対して秘匿すべき情報を表示装置１２１に表示させることができる。

なお、サーバ装置１４２に対して、同時に複数の表示装置１２１を接続し、各表示装置１２１に対して、各ユーザの作業状態に応じた異なる作業支援情報を表示させるようにしてもよい。

なお、上述した表示装置１００、表示システム１２０，１３０，１４０における各装置の機能分担は図示した例に限られず、適宜変更することができる。

＜表示処理について＞
次に、表示装置１００（図１）、表示システム１２０（図３），１３０（図５），１４０（図７）による表示処理について、図９～図１２を参照して説明する。

図９は、表示処理の一例を説明するフローチャートである。図１０は、表示処理におけるステップＳ２の作業状態判定処理の一例を詳述するフローチャートである。図１１は、ユーザの視界を撮像した画像データの例を示しており、同図（Ａ）は「未作業」の状態、同図（Ｂ）は「未作業」の状態、同図（Ｃ）は「作業前」の状態、同図（Ｄ）は「作業中」の状態の画像データの例をそれぞれ示している。図１２は、作業支援情報の表示例を示しており、同図（Ａ）は「作業前」の表示例、同図（Ｂ）は従来の「作業中」の表示例、同図（Ｃ）は本実施形態の「作業中」の第１の表示例、同図（Ｄ）は本実施形態の「作業中」の第２の表示例をそれぞれ示している。

該表示処理は、例えば作業対象物である電子基盤上に電子部品を半田付けするような作業を支援するための処理である。具体的には、ユーザが表示部１０３Ｌ，１０３Ｒを介して見る電子基盤と重なる位置に、作業支援情報として半田付けの位置と順序を表す作業箇所５１１（図１２）や作業内容５１２（図１２）を表示することにより、ユーザの作業を支援する。

該表示処理は、例えば操作部１０５に対するユーザからの所定の開始操作に応じて実行される。

はじめに、コンテンツ管理部１１１２が、これから行う作業に対応したコンテンツを記憶部１１３から取得する。そして、表示制御部１１１４が、取得されたコンテンツに基づき、ユーザの作業を支援するための作業支援情報を生成する（ステップＳ１）。次に、作業状態判定部１１１３が、ユーザによる現在の作業状態を判定する作業状態判定処理を実行する（ステップＳ２）。

ステップＳ２の作業状態判定処理について図１０を参照して説明する。はじめに、作業状態判定部１１１３が、第１撮像部１０２１によってユーザの視界方向が撮像された画像データ５０１を取得する（ステップＳ１１）。

次に、作業状態判定部１１１３が、ステップＳ１１で取得した画像データ５０１に対してＡＩエンジン群１１４を用いて画像認識処理を行い、画像データ５０１に作業対象物５０３（いまの場合、電子基盤）が撮像されているか否かを判定する（ステップＳ１２）。ここで、例えば図１１（Ａ）に示されるように、画像データ５０１に作業対象物５０３が撮像されていないと判定された場合（ステップＳ１２でＮＯ）、作業状態判定部１１１３が、作業状態を「未作業」と判定する（ステップＳ１５）。

反対に、画像データ５０１に作業対象物５０３が撮像されていると判定した場合（ステップＳ１２でＹＥＳ）、作業状態判定部１１１３が、第２撮像部１０２２によって撮像された画像データを所定の時間分（例えば、数秒間分）取得し、ＡＩエンジン群１１４を用いて画像認識処理を行い、ユーザの視線の移動範囲５０２を検出する（ステップＳ１３）。次に、作業状態判定部１１１３が、ユーザの視線の移動範囲５０２のサイズが所定の閾値未満であるか否かを判定する（ステップＳ１４）。ここで、例えば図１１(Ｂ)に示されるように、ユーザの視線の移動範囲５０２のサイズが所定の閾値未満ではないと判定された場合、すなわち、ユーザの視線が大きく移動して作業対象物５０３に注目していない場合（ステップＳ１４でＮＯ）、作業状態判定部１１１３が、作業状態を「未作業」と判定する（ステップＳ１５）。

反対に、ユーザの視線の移動範囲５０２のサイズが所定の閾値未満であると判定した場合、すなわち、ユーザが作業対象物５０３に注目している場合（ステップＳ１４でＹＥＳ）、作業状態判定部１１１３が、第１撮像部１０２１によってユーザの視界方向が撮像された画像データ５０１を再び取得する（ステップＳ１６）。

次に、作業状態判定部１１１３が、ステップＳ１６で取得した画像データ５０１に対してＡＩエンジン群１１４を用いて画像認識処理を行い、画像データ５０１にユーザの手５０４が撮像されているか否かを判定する（ステップＳ１７）。ここで、例えば図１１(Ｃ)に示されるように、画像データ５０１にユーザの手５０４が撮像されていないと判定した場合（ステップＳ１７でＮＯ）、作業状態判定部１１１３が、作業状態を「作業前」と判定する（ステップＳ１８）。

一方、例えば図１１(Ｄ)に示されるように、画像データ５０１にユーザの手５０４が撮像されていると判定した場合（ステップＳ１７でＹＥＳ）、作業状態判定部１１１３が、作業状態を「作業中」と判定する（ステップＳ１９）。

以上のようにユーザの作業状態が判定された後、処理は、図９のステップＳ３に進められる。

なお、上述した作業状態判定処理では、第１撮像部１０２１、及び第２撮像部１０２２によって撮像された画像データに基づき、作業対象物やユーザの手の有無、ユーザの視線を検出し、検出に基づいて作業状態を判定するようにしたが、他のセンサ出力を用いてもよい。

例えば、慣性計測部１０２３の出力を用いて、ユーザの頭部の動きや歩行の有無を検出することで、視線データの代わりとし、頭部の動き量が閾値以上である場合や、ユーザが歩行中は「未作業」状態と判定してもよい。また例えば、位置計測部１０２６により、ユーザの位置情報を取得し、所定の正しい作業場所にいる場合は「作業中」としてもよい。また例えば、ユーザによる表示装置１００等の装着状態をセンサで取得し、表示装置１００等が正しい位置に装着されていない場合（表示装置１００等が視界の外）、「未作業」状態と判定してもよい。またさらに、複数のセンサの出力を用いてユーザの状態及び周囲の環境情報を取得してもよい。

また、上述した作業状態判定処理では、ユーザの作業状態を「作業前」、「作業中」、または「未作業」の３種類のいずれであるのかを判定したが、「作業後」を追加して４種類のいずれであるのかを判定するようにしてもよい。この場合、例えば、ＡＩエンジン群１１４による画像データ５０１の画像認識処理により、「作業中」の状態の後、ユーザの手が画像データ５０１から消えた場合に「作業後」と判定するようにすればよい。

図９に戻る。次に、表示制御部１１１４が、ステップＳ２における判定結果が「未作業」であるか否かを確認する（ステップＳ３）。ここで、判定結果が「未作業」であると確認した場合（ステップＳ３でＹＥＳ）、表示制御部１１１４が、作業支援情報（作業箇所５１１及び作業内容５１２）を非表示とする（ステップＳ４）。この場合、ユーザが、表示装置１００等の表示部１０３Ｌ，１０３Ｒを介して、周囲の景色を見ている状態となる。この後、処理はステップＳ２に戻されて、それ以降が繰り返される。

反対に、判定結果が「未作業」ではないと確認した場合、すなわち、判定結果が「作業前」または「作業中」であると確認した場合（ステップＳ３でＮＯ）、表示制御部１１１４が、ステップＳ２における判定結果が「作業前」であるか否かを確認する（ステップＳ５）。ここで、判定結果が「作業前」であると確認した場合（ステップＳ５でＹＥＳ）、表示制御部１１１４が、画像データ５０１における作業対象物５０３の位置を取得する（ステップＳ６）。そして、表示制御部１１１４が、例えば図１２（Ａ）に示されるように、作業対象物５０３に作業支援情報として作業箇所５１１が重畳して見えるように、表示部１０３Ｌ、１０３Ｒに作業支援情報を表示する（作業支援情報を重畳表示する）（ステップＳ７）。この後、処理はステップＳ２に戻されて、それ以降が繰り返される。

また、判定結果が「作業前」ではないと確認した場合、すなわち、判定結果が「作業中」であると確認した場合（ステップＳ５でＮＯ）、表示制御部１１１４が、画像データ５０１における作業対象物５０３、及びユーザの手５０４を包含する所定サイズの作業領域の位置を取得する（ステップＳ８）。なお、作業領域のサイズは各ユーザ共通であってもよいし、ユーザ毎に予め設定しておいてもよい。そして、表示制御部１１１４が、例えば図１２（Ｃ）に示されるように、作業領域に作業支援情報が重畳しないように、表示部１０３Ｌ、１０３Ｒに作業支援情報を表示する（作業支援情報を非重畳表示する）（ステップＳ９）。ただし、作業箇所を指示するための矢印や線については、作業性向上のため、作業対象物５０３に対して重畳表示しても構わない。この後、処理はステップＳ２に戻されて、それ以降が繰り返される。

なお、図１２（Ｃ）に示された「作業中」の表示例の代わりに、図１２（Ｄ）に示されるように、作業領域に重畳しない位置に、作業対象物画像５１３、作業箇所５１１及び作業内容５１２を表示するようにしてもよい。

上述した表示処理によれば、例えば、図１２（Ｂ）に示されるように、作業対象物５０３に対して作業箇所５１１が重畳表示され、ユーザの手５０４に対して作業内容５１２が重畳表示されてしまう従来の「作業中」の表示に比べて、ユーザの作業性や視認性を損なうことなく、ユーザの作業を支援することが可能となる。

＜変形例について＞
上述した表示処理では、「作業前」には作業支援情報を重畳表示とし、「作業中」には作業支援情報を非重畳表示とするようにした。しかしながら、ユーザの熟練度によっては、「作業中」における作業支援情報が不要な場合がある。そこで、表示処理の変形例として、例えば、「作業前」には作業支援情報を重畳表示とし、「作業中」には作業支援情報を非表示としてもよい。または、「作業前」には作業支援情報を非重畳表示とし、「作業中」には作業支援情報を重畳表示としてもよい。

さらに、作業状態として「作業後」を追加した場合、「作業中」には視認性を確保するために作業支援情報を非重畳表示とし、「作業後」には作業支援情報を重畳表示として、ユーザによる作業状態の視認が容易にできるようにしてもよい。

なお、ユーザの熟練度については、ユーザ情報として予め登録しておいてもよいし、作業の様子を撮像した画像データをＡＩエンジン群１１４が解析して判定してもよい。この場合、ＡＩエンジン群１１４は、本発明の熟練度判定部に相当する。ユーザ情報には、ユーザの熟練度の他、作業領域のサイズや、ユーザ専用の作業支援情報（例えば、作業箇所５１１を実際の作業箇所よりも所定の距離だけオフセットさせる等の情報）を記録してもよい。

また、「作業前」には、作業支援情報の文字や図を大きくしたり、説明文を詳細化し、「作業中」には作業対象物５０３に対する視認性を確保するため、作業支援情報の文字や図を小さくしたり、説明文を簡略化してもよい。

また、第１撮像部１０２１で取得した画像データの解像度に応じて、重畳表示とするか、または非重畳表示とするかを決定してもよい。

なお、本実施の形態ではユーザに装着可能な表示装置１００等を例として説明したが、本発明は、例えば、工事車両等に取り付けられるＨＵＤ（Head Up Display）に適用することが可能である。その場合、工事車両や工事車両を操作する作業者に取り付けられたセンサから作業状態を判定し、ＨＵＤに対する表示位置や表示内容を最適化すればよい。

本発明は、上記した実施形態や変形例に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

本発明は、表示装置、表示制御方法、及び表示システムだけでなく、コンピュータが読み取り可能なプログラム等の様々な態様で提供することができる。

１００・・・表示装置、１０１・・・メガネ型フレーム、１０２・・・センサ群、１０３Ｌ，１０３Ｒ・・・表示部、１０４・・・光源部、１０５・・・操作部、１０６・・・音声入出力部、１０７・・・通信部、１０９・・・電源部、１１０・・・情報処理部、１１１・・・制御部、１１２・・・通信部、１１３・・・記憶部、１１４・・・ＡＩエンジン群、１２０・・・表示システム、１２１・・・表示装置、１２２・・・情報処理装置、１３０・・・表示システム、１３１・・・情報処理装置、１３２・・・外部センサ群、１４０・・・表示システム、１４１・・・ネットワーク、１４２・・・サーバ装置、５０１・・・画像データ、５０２・・・移動範囲、５０３・・・作業対象物、５０４・・・手、５１１・・・作業箇所、５１２・・・作業内容、５１３・・・作業対象物画像、１０２１・・・第１撮像部、１０２２・・・第２撮像部、１０２３・・・慣性計測部、１０２４・・・環境計測部、１０２５・・・バイタル計測部、１０２６・・・位置計測部、１１１１・・・認証部、１１１２・・・コンテンツ管理部、１１１３・・・作業状態判定部、１１１４・・・表示制御部、１１１５・・・外部センサ群管理部、１１１６・・・暗号処理部、１３２１・・・ウェアラブルセンサ、１３２２・・・位置センサ、１３２３・・・カメラ

Claims (15)

1. 周囲の景色を透過し、且つ、作業支援情報を表示する表示部と、
   ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群と、
   前記センサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定部と、
   判定された前記ユーザの前記作業状態に応じて、前記表示部における前記作業支援情報の表示を変更する表示制御部と、を備え、
   前記作業状態判定部は、
   前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
   前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
   ことを特徴とする表示装置。
2. 請求項１に記載の表示装置であって、
   前記センサ群は、前記ユーザの頭部の動きを検出する慣性計測部を含み、
   前記作業状態判定部は、
   前記撮像部によって前記作業対象物が撮像されており、前記ユーザの視線の移動範囲が所定の閾値以上であるか、前記ユーザの頭部の移動範囲が所定の閾値以上であるか、または、前記ユーザが歩行中である場合、前記作業状態を「未作業」と判定する
   ことを特徴とする表示装置。
3. 請求項１に記載の表示装置であって、
   前記センサ群は、前記ユーザの現在位置を取得する位置計測部を含み、
   前記作業状態判定部は、
   前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が前記閾値未満であって、前記ユーザの前記現在位置が所定の正しい作業場所である場合、前記作業状態を「作業中」と判定する
   ことを特徴とする表示装置。
4. 請求項１に記載の表示装置であって、
   前記センサ群は、前記ユーザによる前記表示装置の装着状態を取得し、
   前記作業状態判定部は、前記表示装置が前記ユーザの正しい位置に装着されていない場合、前記作業状態を「未作業」と判定する
   ことを特徴とする表示装置。
5. 請求項１に記載の表示装置であって、
   前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部を透過する前記作業対象物に対して前記作業支援情報を重畳表示させるか、または非重畳表示させる
   ことを特徴とする表示装置。
6. 請求項５に記載の表示装置であって、
   前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部を透過する前記作業対象物及び前記ユーザの手を含む作業領域に対して前記作業支援情報を重畳表示させるか、または非重畳表示させる
   ことを特徴とする表示装置。
7. 請求項６に記載の表示装置であって、
   前記表示制御部は、
   前記ユーザの前記作業状態が前記「作業中」であると判定された場合、前記作業領域に対して前記作業支援情報を非重畳表示させる
   ことを特徴とする表示装置。
8. 請求項６に記載の表示装置であって、
   前記表示制御部は、
   前記ユーザの前記作業状態が前記「作業中」であると判定された場合、前記作業領域に対して前記作業支援情報を重畳表示させる
   ことを特徴とする表示装置。
9. 請求項１に記載の表示装置であって、
   前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記作業支援情報としての作業箇所及び作業内容の少なくとも一方を重畳表示させるか、または非重畳表示させる
   ことを特徴とする表示装置。
10. 請求項１に記載の表示装置であって、
    前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部における前記作業支援情報を表示させるか、または非表示させる
    ことを特徴とする表示装置。
11. 請求項１に記載の表示装置であって、
    前記表示制御部は、判定された前記ユーザの前記作業状態、及びユーザ情報に基づいて、前記表示部における前記作業支援情報の表示を変更する
    ことを特徴とする表示装置。
12. 請求項１１に記載の表示装置であって、
    前記表示制御部は、判定された前記ユーザの前記作業状態、及び前記ユーザ情報としての熟練度に基づいて、前記表示部における前記作業支援情報の表示を変更する
    ことを特徴とする表示装置。
13. 請求項１２に記載の表示装置であって、
    前記ユーザの前記熟練度を判定する熟練度判定部を、
    備えることを特徴とする表示装置。
14. 表示装置による表示制御方法であって、
    ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定ステップと、
    判定された前記ユーザの前記作業状態に応じ、周囲の景色を透過し、且つ、作業支援情報を表示する表示部における前記作業支援情報の表示を変更する変更ステップと、を含み、
    前記作業状態判定ステップは、
    前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
    前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
    ことを特徴とする表示制御方法。
15. 周囲の景色を透過し、且つ、作業支援情報を表示する表示装置と、
    ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群と、
    前記センサ群からの出力に基づき、前記表示装置における表示を制御する情報処理装置と、
    を備え、
    前記情報処理装置は、
    前記センサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定部と、
    判定された前記ユーザの前記作業状態に応じ、前記表示装置における前記作業支援情報の表示を変更する表示制御部と、を有し、
    前記作業状態判定部は、
    前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
    前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
    ことを特徴とする表示システム。

Images