JP2017102768A - 情報処理装置、表示装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】撮像画像に基づいて、撮像された物体を選択する処理を、負荷の軽い処理により実行できる情報処理装置、表示装置、情報処理方法、及び、プログラムを提供する。
【解決手段】使用者の視野の少なくとも一部を含む範囲を撮像するカメラ６１と、カメラ６１により撮像された撮像画像に基づき使用者の操作を検出し、検出した操作に従って、撮像画像に含まれるオブジェクトから対象オブジェクトを推定する制御部１４０と、を備えたことを特徴とするＨＭＤ１００。
【選択図】図４

Description

本発明は、情報処理装置、表示装置、情報処理方法、及び、プログラムに関する。

従来、商品を撮像し、撮像画像に基づき商品を特定して、商品に関する情報を表示する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、使用者の頭部に装着した状態で使用されるＨＭＤ（Head Mounted Display：頭部装着型表示装置）であり、装着者の視線方向を撮像するカメラを備える。このＨＭＤは、カメラの撮像画像をサーバーに送信し、サーバーから商品に関する商品情報を取得し、取得した商品情報に基づいて、商品に関する画像を拡張現実（ＡＲ：Augmented Reality）画像として表示する。

特開２０１１−２５３３２４号公報

特許文献１記載の装置のように、撮像画像から商品等の物体を認識し、或いは識別する場合、撮像画像に写っている全ての物体を認識することは、かえって不便である。このため、撮像画像に写っている物体の中から、処理の対象とする物体を選択する処理が必要である。例えば、特許文献１記載の装置は、撮像画像に人間の手指が含まれているか否かを判定し、かつ、加速度センサーを利用して加速度の変化に基づいて装着者の移動状態や頭部の動きを判定して、商品情報を表示すべき商品を認識する。この方法では、撮像画像に関する処理と加速度センサーが検出する加速度に関する処理とを含む、複雑な処理を行うため、処理負荷が大きく、遅延が懸念される。
本発明は上記事情に鑑みてなされたものであり、撮像画像に基づいて、撮像された物体を選択する処理を、負荷の軽い処理により実行できる情報処理装置、表示装置、情報処理方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、使用者の視野の少なくとも一部を含む範囲を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれるオブジェクトから対象オブジェクトを推定する制御部と、を備えることを特徴とする。
本発明によれば、使用者の視野を含む範囲を撮像した撮像画像に基づき使用者の操作を検出して、検出した操作に従って対象オブジェクトを推定する。これにより、撮像画像に対する処理を行うことで、対象オブジェクトを選択できるので、処理の負荷が軽い。
ここで、使用者の操作とは、使用者が使用者自身の身体を用いて行う操作を含み、この他、使用者が手に持つ物体である操作体を用いる操作を含んでもよく、使用者の身体または衣服等に装着される操作体を用いる操作を含んでもよい。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像に含まれる前記使用者の身体の画像を検出することにより、前記使用者の操作を検出すること、を特徴とする。
本発明によれば、撮像画像に基づき使用者の操作を検出できる。

また、本発明は、上記情報処理装置において、前記撮像画像の一部を含む領域と、前記領域において前記使用者の身体の画像を検出する条件とが設定され、前記制御部は、前記撮像画像に含まれるオブジェクトについて、当該オブジェクトを含む前記領域に設定された条件に従って、前記使用者の身体の画像か否かを判定し、前記使用者の身体を検出すること、を特徴とする。
本発明によれば、撮像画像に基づき使用者の操作を検出する処理において、誤検出を減らすことができる。

また、本発明は、上記情報処理装置において、前記領域には、前記撮像画像における前記領域の位置に応じて、前記領域に含まれる前記オブジェクトを前記使用者の身体の画像と判定する優先度が設定され、前記制御部は、前記オブジェクトを含む前記領域に設定された優先度に従って、前記オブジェクトが前記使用者の身体の画像か否かを判定すること、を特徴とする。
本発明によれば、撮像画像に基づいて使用者の操作を検出する場合の誤検出を減らし、検出精度を高めることができる。例えば、撮像画像が、複数の位置で使用者の身体の画像を含む場合に、使用者の操作として検出すべき画像を、優先度に基づき区別できる。このため、使用者が意図した操作を検出できる可能性を高めることができ、検出精度の向上が期待できる。

また、本発明は、上記情報処理装置において、複数の前記領域が設定され、それぞれの前記領域には前記撮像画像における前記領域の位置に応じた優先度が設定されること、を特徴とする。
本発明によれば、撮像画像に基づいて使用者の操作を検出する場合の誤検出を減らし、検出精度を高めることができる。また、操作を検出する処理に影響する優先度の設定、及び管理が容易になるという利点がある。

また、本発明は、上記情報処理装置において、前記撮像画像の底辺側に位置する前記領域には、当該領域よりも上辺側に位置する前記領域に比べて高い優先度が設定されること、を特徴とする。
本発明によれば、使用者の操作に伴い使用者の身体が撮像されやすい、底辺側に位置する領域に対し、上辺側に位置する領域よりも高い優先度を設定することによって、使用者の操作を検出する場合の検出精度を高めることができる。
ここで、撮像画像の底辺側とは、撮像時の上下方向に基づき底辺となる側を指すが、予め撮像画像に対して底辺側が定義されていてもよい。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像の縁に重なる前記オブジェクトを前記使用者の身体の画像として検出すること、を特徴とする。
本発明によれば、使用者の操作に伴って撮像された使用者の身体の画像を高い精度で検出できる。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像に含まれる人間の手の画像を検出し、前記手の画像が右手か左手か、及び、前記手の画像の前記撮像画像における位置に基づき、検出した前記手の画像を前記使用者の身体の画像と判定すること、を特徴とする。
本発明によれば、撮像画像に基づいて使用者の操作を検出する場合の誤検出を減らし、検出精度を高めることができる。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像において検出した前記人間の手の画像が前記撮像画像の縁を含む場合に、前記手の画像を前記使用者の身体の画像と判定すること、を特徴とする。
本発明によれば、使用者の操作に伴って撮像された使用者の身体の画像を高い精度で検出できる。

また、本発明は、上記情報処理装置において、対象物までの距離を検出する距離検出部を備え、前記制御部は、前記撮像画像に含まれる前記オブジェクトのうち、前記距離検出部により検出される距離が所定の距離以下の前記オブジェクトを前記使用者の身体の画像として検出すること、を特徴とする。
本発明によれば、撮像画像に基づき使用者の身体の画像を検出する場合の検出精度を、より一層、高めることができる。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像に含まれる人間の手の画像を検出し、前記手の画像に対応する前記対象物について前記距離検出部により検出された距離が、予め設定された複数の距離を含む場合に、前記手の画像を前記使用者の身体の画像と判定すること、を特徴とする。
本発明によれば、撮像画像に基づき使用者の身体の画像を検出する場合の検出精度を、より一層、高めることができる。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像に含まれる前記オブジェクトであって、前記使用者の身体との相対位置の差が所定距離以内の前記オブジェクトを、対象オブジェクトとして推定すること、を特徴とする。
本発明によれば、使用者の操作の対象であるオブジェクトを、高い精度で推定できる。

また、本発明は、上記情報処理装置において、前記制御部は、前記撮像画像から前記使用者の身体の影の画像を検出し、前記撮像画像に含まれる前記オブジェクトであって、前記身体の影の画像との相対位置の差が所定距離以内の前記オブジェクトを、対象オブジェクトとして推定すること、を特徴とする。
本発明によれば、撮像画像に基づいて、使用者の身体とオブジェクトとの位置関係を加味して、使用者の操作の対象であるオブジェクトを推定するので、推定の精度の向上を図ることができる。

また、本発明は、上記情報処理装置において、前記使用者の身体に装着される身体装着型検出装置の検出状態または検出結果を取得する取得部を備え、前記制御部は、前記取得部により取得される検出結果に基づいて、前記対象オブジェクトを推定すること、を特徴とする。
本発明によれば、使用者の身体に装着される身体装着型検出装置の検出状態または検出結果を利用して、使用者の操作の対象であるオブジェクトを高精度で推定できる。

また、上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着される表示部と、前記使用者の視野の少なくとも一部を含む範囲を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれるオブジェクトから対象オブジェクトを推定する制御部と、を備えることを特徴とする。
本発明によれば、使用者の視野を含む範囲を撮像した撮像画像に基づき使用者の操作を検出して、検出した操作に従って対象オブジェクトを推定する。これにより、撮像画像に対する処理を行うことで、対象オブジェクトを選択できるので、処理の負荷が軽い。

また、本発明は、上記表示装置において、前記制御部は、前記撮像画像に含まれる前記オブジェクトと、前記撮像画像に含まれる前記使用者の身体の画像とを検出し、前記使用者の身体以外の前記オブジェクトの位置及び形状に合わせてＧＵＩ画像を前記表示部により表示させること、を特徴とする。
本発明によれば、使用者の操作に対応してＧＵＩ（Graphical User Interface）画像を表示することで、操作性の高いユーザーインターフェースを提供できる。

また、本発明は、上記表示装置において、対象物までの距離を検出する距離検出部を備え、前記制御部は、前記使用者の身体以外の前記オブジェクトに対応する前記対象物までの距離に基づき、前記ＧＵＩ画像を前記表示部により表示させること、を特徴とする。
本発明によれば、ＧＵＩ画像を表示する処理を適正化し、ユーザーインターフェースの操作性を高めることができる。

また、上記目的を達成するために、本発明の情報処理方法は、使用者の視野の少なくとも一部を含む範囲を撮像し、撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれる複数のオブジェクトから、いずれかの前記オブジェクトを対象オブジェクトとして推定すること、を特徴とする。
本発明によれば、使用者の視野を含む範囲を撮像した撮像画像に基づき使用者の操作を検出して、検出した操作に従って対象オブジェクトを推定する。これにより、撮像画像に対する処理を行うことで、対象オブジェクトを選択できるので、処理の負荷が軽い。

また、上記目的を達成するために、本発明は、情報処理装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターにより、使用者の視野の少なくとも一部を含む範囲を撮像した撮像画像に基づき、前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれる複数のオブジェクトから、いずれかの前記オブジェクトを対象オブジェクトとして推定する処理を実行するためのプログラムである。
本発明によれば、使用者の視野を含む範囲を撮像した撮像画像に基づき使用者の操作を検出して、検出した操作に従って対象オブジェクトを推定する。これにより、撮像画像に対する処理を行うことで、対象オブジェクトを選択できるので、処理の負荷が軽い。

本発明は、上述した情報処理装置、表示装置、情報処理方法、及びプログラム以外の種々の形態で実現することも可能である。例えば、上記のプログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。また、上記情報処理装置または表示装置と通信可能なサーバー装置等が、プログラムを実行して、上述した情報処理装置或いは表示装置を制御する制御部またはコンピューターとして機能してもよい。この場合のサーバー装置等は、通信ネットワークを介して処理機能を提供する、いわゆるクラウドコンピューティングを構成することができる。

ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部と撮像範囲の対応を示す説明図。 ＨＭＤを構成する各部の機能ブロック図。 画像表示部と撮像範囲の対応の別の例を示す説明図。 画像表示部と撮像範囲の対応のさらに別の例を示す説明図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤによる表示例を示す図。 ＨＭＤによる別の表示例を示す図。 ＨＭＤが実行する操作検出処理を示すフローチャート。 撮像画像に基づく操作検出処理の例を示す図。 撮像画像における領域に関する設定の例を示す説明図。 ＨＭＤが実行する推定処理を示すフローチャート。 撮像画像に基づく推定処理の例を示す図。

図１は、本発明を適用した実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す説明図である。
ＨＭＤ１００（情報処理装置）は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結される。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、画像表示部２０の前面の中央位置に配置される。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。カメラ６１をステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像制御部１６１（図４）の制御に従って撮像を実行し、撮像画像データを撮像制御部１６１に出力する。

ここで、ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。この場合、使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー６４の測定方向は、例えば、ＨＭＤ１００の表側方向で、カメラ６１の撮像方向と重複する方向とすることができる。
距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１４０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１４０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、及び、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、及び、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続ケーブル４０を介して接続する。接続ケーブル４０はコネクター４６を備え、コネクター４６には、右イヤホン３２、左イヤホン３４及びマイク６３を有するイヤホンマイクを接続できる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続ケーブル４０は画像表示部２０に対し固定的に接続され、制御装置１０に対してはコネクター（図示略）に接離可能に接続される。制御装置１０と画像表示部２０とは、接続ケーブル４０を介して各種信号、及び／又は各種データを送受信する。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、操作部１１１（図４）として、キー操作部１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。

キー操作部１１は、制御装置１０が実行するオペレーティングシステム１５０（図４）の操作等を行うためのメニューキー、ホームキー、戻るキー等を備える。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。

図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）はカメラ６１の画角の説明図である。なお、図３（Ａ）では接続ケーブル４０の図示を省略する。

図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。

カメラ６１は、上記のように画像表示部２０の前面の中央位置に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図３（Ｂ）は、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図３（Ｂ）には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

本実施形態では、カメラ６１の光軸ＣＸは、画像表示部２０の真正面方向を向く。この構成例では、カメラ６１は、ＨＭＤ１００を装着する使用者の正面方向を撮像する。
カメラ６１の画角Ｃは、画像表示部２０の中央位置の真正面方向を含み、光軸ＣＸを中心として上下左右に所定の角度で拡がる範囲が、カメラ６１の画角Ｃに含まれる。例えば、図３（Ｂ）に示すように、画像表示部２０の正面方向に対象物ＯＢがある場合、対象物ＯＢは画角Ｃに含まれ、カメラ６１の撮像画像に対象物ＯＢが写る。ここで、使用者が対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

ＨＭＤ１００を装着する使用者が画像表示部２０を透過して右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。図１及び図２に示す本実施形態の構成で、実視野は、右光学像表示部２６及び左光学像表示部２８を透過して使用者が視認する実際の視野に相当する。実視野は、図３（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。
カメラ６１は、使用者の視野よりも広い範囲を撮像可能な画角を有することが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の機能ブロック図である。
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１４を備える。インターフェイス１１４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、及び、記憶部１２０を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上述したようにキー操作部１１、トラックパッド１４、上下キー１５及び切替スイッチ１６を含む。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、使用者の操作を受け付ける。入力情報取得部１１０は、操作部１１１における操作内容を示すデータを制御部１４０に出力する。また、入力情報取得部１１０は、制御部１４０の制御に従って、ＬＥＤインジケーター１２（図１）の点灯、点滅、消灯を制御してもよい。
制御装置１０は、電源部１３０を備え、制御装置１０及び画像表示部２０の各部に電源部１３０から電源を供給する。電源部１３０からの電源供給状態は、電源スイッチ１８（図１）の操作、及び、制御部１４０が実行するプログラムの実行状況に応じて、制御部１４０が制御する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、及び、これらのプログラムに係るデータを記憶する。このプログラムには、本発明の制御方法を実現するためのプログラムを含む。
記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。また、記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１１４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

また、記憶部１２０は、コンテンツデータ１２２、操作検出用データ１２５、及び、距離検出用データ１２７を記憶する。コンテンツデータ１２２は、静止画像、動画像など画像表示部２０が制御部１４０の制御に従って表示する画像の画像データを含む。コンテンツデータ１２２は音声データを含んでもよい。また、コンテンツデータ１２２は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。

制御部１４０には、ＧＰＳ１１５、及び通信部１１７が接続される。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標）を含む）、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１１４に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１１４より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１１４は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、撮像制御部１６１、ＡＲ表示制御部１６４、操作検出部１６５、対象推定部１６７、通信制御部１７０、音声処理部１８７、及び、表示制御部１９０として機能する。

画像表示部２０は、カメラ６１を備える。また、画像表示部２０は、インターフェイス２５、右表示駆動部２２、左表示駆動部２４、右光学像表示部２６としての右導光板２６１、左光学像表示部２８としての左導光板２６２、及び、９軸センサー６６を備える。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサー（慣性センサー）である。９軸センサー６６は、複数のセンサーを統合したセンサーユニットであってもよい。制御部１４０は、画像表示部２０が使用者の頭部に装着された状態で、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。

インターフェイス２５は、接続ケーブル４０により制御装置１０に接続され、制御装置１０が送信する各種データ及び信号を、右表示駆動部２２及び左表示駆動部２４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、及び、９軸センサー６６を制御装置１０に接続する。カメラ６１の撮像データ、９軸センサー６６による加速度（３軸）、角速度（３軸）、及び、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
右バックライト制御部２０１は、表示制御部１９０が送信する制御信号に従って、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

左バックライト制御部２０２は、表示制御部１９０が送信する制御信号に従って、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

画像処理部１６０は、画像表示部２０により表示するコンテンツの画像データに基づいて、右表示駆動部２２及び左表示駆動部２４に送信する信号を生成する。画像処理部１６０が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１６０は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

撮像制御部１６１は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１６１は撮像画像データをカメラ６１から取得して、記憶部１２０に一時的に記憶する。

撮像制御部１６１が取得する撮像画像は、後述するように、操作検出部１６５、対象推定部１６７等により処理される。この場合、撮像画像の向きとして、撮像画像の底辺側を基準とする処理が行われる。本実施形態では、カメラ６１の撮像画像は矩形であり、撮像画像の４辺のうちいずれか一辺が、底辺とされる。底辺は、撮像制御部１６１が生成する撮像画像データについて予め設定されてもよいし、カメラ６１が撮像する際に定められてもよいし、撮像画像の向きに基づき決定されてもよい。
例えば、カメラ６１が撮像を行う際の上下方向（重力方向）、或いは、カメラ６１に予め対応付けられた上下方向に従って、撮像画像の底辺が決定されてもよく、底辺がどの辺であるかを示す付加データが撮像画像データに付加されてもよい。或いは、撮像制御部１６１が操作検出部１６５または対象推定部１６７に撮像画像を渡す際に、撮像画像の向きを示すデータを付加してもよい。この場合、撮像画像の向きから底辺の位置を特定できる。また、撮像制御部１６１が、底辺を下とする向きで撮像画像の向きを決定し、撮像画像データを生成してもよい。

このため、操作検出部１６５及び対象推定部１６７は、撮像画像を処理する際に、撮像画像の底辺を特定する処理を行ってもよい。例えば、矩形の撮像画像のうち長辺を常に底辺として認識して処理してもよいし、撮像画像の向きを示す付加データや撮像画像の底辺の位置を示す付加データに従って、撮像画像の底辺を特定してもよい。

操作検出部１６５は、カメラ６１の撮像画像に基づいて、ＨＭＤ１００に対する操作を検出する。操作検出部１６５は、カメラ６１の撮像画像から使用者の身体の画像を検出することにより、この使用者の身体によって行われた操作を特定する。

対象推定部１６７は、カメラ６１の撮像画像から物体の画像を抽出することにより、カメラ６１の画角内の物体（対象物）を検出する。対象推定部１６７は、検出した対象物のうち、操作検出部１６５が特定した操作の対象となっている対象物を、推定する。

ＡＲ表示制御部１６４は、画像表示部２０による表示を制御して、ＡＲ表示を実現する。
ＡＲ表示制御部１６４は、画像表示部２０が表示するＡＲ表示用の画像を生成する。ＡＲ表示制御部１６４は、ＡＲ表示用の画像として平面画像を生成してもよい。また、ＡＲ表示制御部１６４はＡＲ表示用の画像として、立体画像を生成してもよい。この場合、ＡＲ表示制御部１６４は、画像表示部２０が右眼ＲＥに対応して右光学像表示部２６により表示する右眼用の画像と、左眼ＬＥに対応して左光学像表示部２８に表示する左眼用の画像とを生成する。これらの右眼用の画像と左目用の画像とは視差を有し、この視差により、使用者は立体画像を視認する。ＡＲ表示制御部１６４が生成する平面画像または立体画像からなる表示用の画像データは、例えば、記憶部１２０が記憶するコンテンツデータ１２２、または、カメラ６１の撮像画像に基づき生成される。ＡＲ表示制御部１６４は、生成した画像データが、実空間における対象物に対応する位置で視認されるように表示位置を決定する処理を行い、決定した表示位置に表示されるように表示制御部１９０を制御する。

また、ＡＲ表示制御部１６４は、画像の表示位置を決定する処理において、カメラ６１の撮像画像を解析して、対象推定部１６７が推定する操作の対象物を、使用者が視認する位置を求めてもよい。この場合、ＡＲ表示制御部１６４は、カメラ６１の画角における操作対象物の位置に基づき、画像表示部２０の表示領域を基準とした場合の操作対象物の位置を求める。ＡＲ表示制御部１６４は、操作対象物の位置に合わせて、文字や画像を表示する。具体的には、ＡＲ表示制御部１６４は、操作対象物を避けるように、或いは、操作対象物に重なるように、文字や画像を表示する。このようにして表示される画像は、いわゆるＡＲ効果を奏する画像（以下、ＡＲ画像という）に相当する。

ＡＲ表示制御部１６４は、カメラ６１の撮像画像から対象推定部１６７が検出し、操作の対象であると推定した操作対象物に対して、ＡＲ画像を表示してもよいし、ＡＲ表示制御部１６４が撮像画像からＡＲ表示の対象となる対象物を検出してもよい。
本実施形態では、ＡＲ表示制御部１６４は、対象推定部１６７が推定した操作対象物を、ＡＲ表示の対象とする。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２及び左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

この構成により、ＨＭＤ１００は、画像表示部２０を装着する使用者の視野の少なくとも一部を含む範囲をカメラ６１によって撮像し、撮像画像に基づき、使用者の操作を検出し、操作された操作対象物を推定する。そして、ＨＭＤ１００は、使用者が操作した操作対象物に対応するＡＲ表示を行う。例えば、使用者が、物体に対して接触する操作や、手を近づける操作等を行うと、この物体に対応して、例えばＧＵＩをＡＲ表示できる。この場合、ユーザーはＧＵＩを利用して操作を行い、例えば、物体に貼付されている画像コードを読み取らせることができる。

図３（Ａ）及び（Ｂ）にはカメラ６１が画像表示部２０の幅方向において略中央に配置された構成を例示したが、カメラ６１の位置は、これに限定されない。
図５及び図６は、カメラ６１の位置が異なる画像表示部２０の構成例を示し、図５はカメラ６１を右側端部に配置した画像表示部２０Ｂの要部構成図であり、図６はカメラ６１を左側端部に配置した画像表示部２０Ｃの要部構成図である。図５（Ａ）は画像表示部２０Ｂを使用者の頭部側から見た要部斜視図、（Ｂ）はカメラ６１の画角の説明図である。また、図６（Ａ）は画像表示部２０Ｃを使用者の頭部側から見た要部斜視図、（Ｂ）はカメラ６１の画角の説明図である。これら図５及び図６では接続ケーブル４０の図示を省略する。

図５（Ａ）及び図６（Ａ）は図３（Ａ）に相当する方向を示す。
図５（Ａ）に示す画像表示部２０Ｂは、画像表示部２０Ｂの前面において右保持部２１側の端部にカメラ６１を有する。
画像表示部２０Ｂにおいて、図５（Ｂ）に示すように、カメラ６１の光軸ＣＸ１は画像表示部２０Ｂの正面方向に対し左側に傾く方向を向く。従って、カメラ６１の画角Ｃ１は、カメラ６１の正面から左側に傾いており、右眼ＲＥ及び左眼ＬＥの正面を含む範囲となる。

また、図６（Ａ）に示す画像表示部２０Ｃは、画像表示部２０Ｃの前面において左保持部２３側の端部にカメラ６１を有する。
画像表示部２０Ｃにおいて、図６（Ｂ）に示すように、カメラ６１の光軸ＣＸ２は画像表示部２０Ｃの正面方向に対し右側に傾く方向を向く。従って、カメラ６１の画角Ｃ２は、カメラ６１の正面から左側に傾いており、右眼ＲＥ及び左眼ＬＥの正面を含む範囲となる。

図５及び図６に示すように、画像表示部２０におけるカメラ６１の位置、及び、カメラ６１の画角の方向や広さは任意に変更可能である。
また、図５（Ａ）、図６（Ａ）に示すようにカメラ６１を配置した場合の画角Ｃ１、Ｃ２は、図３を参照して説明した画角Ｃと同様、使用者の視野よりも広い範囲を含むことが好ましい。具体的には、画角Ｃ１、Ｃ２が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃ１、Ｃ２が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃ１、Ｃ２が、使用者の安定注視野よりも広い。

図７は、ＨＭＤ１００の動作を示すフローチャートである。
図７の例では、ＨＭＤ１００の制御部１４０は、カメラ６１の画角Ｃ内に存在する物体のうち、使用者が手で触る操作や手を近づける操作を行った物体を推定し、この物体に記録されている画像コードを認識する。
図８は、図７に示す動作においてＨＭＤ１００が表示する表示例を示す図である。

制御部１４０は、使用者による制御装置１０に対する操作等をトリガーとして、認識動作を開始する（ステップＳ１１）。撮像制御部１６１がカメラ６１を制御して撮像を実行させ、撮像画像データを取得する（ステップＳ１２）。
図８（Ａ）は、ステップＳ１１で認識動作を開始した場合のＨＭＤ１００の表示例を示す。画像表示部２０を装着する使用者の視野Ｖでは、制御部１４０の制御により所定範囲に枠形状のガイドＧ１が表示される。ガイドＧ１は、認識処理の対象となる範囲を使用者に示す直線であり、例えば、カメラ６１の撮像範囲に対応する。図８（Ａ）の例では、ガイドＧ１の内側に、対象物ＯＢ１、ＯＢ２、ＯＢ３が含まれる。対象物ＯＢ１は机上のキーボードであり、対象物ＯＢ２は飲料のボトルであり、対象物ＯＢ３は操作を行う使用者の右手である。

対象推定部１６７は、撮像画像に写っている対象物を検出する対象物検出処理を実行する（ステップＳ１３）。対象推定部１６７は、例えば、撮像画像から輪郭を検出することにより、撮像画像に含まれる物体の画像を検出する。検出される物体は、操作の対象である可能性がある「対象物」とする。
対象推定部１６７は、対象物として検出する物体の画像または物体の画像の特徴量に基づき、撮像画像から物体の画像を検出してもよい。この場合、対象推定部１６７が使用する画像または画像の特徴量は、例えば、設定データ１２１に含まれてもよい。
また、対象推定部１６７が撮像画像から検出する対象物の数に制限はない。例えば、対象推定部１６７は、ステップＳ１３において、図８（Ａ）の対象物ＯＢ１、ＯＢ２、ＯＢ３を検出する。

操作検出部１６５は、ステップＳ１２で撮像された撮像画像に基づき、使用者の操作を検出する操作検出処理を実行する（ステップＳ１４）。操作検出処理で、操作検出部１６５は、操作検出処理の詳細は図１０を参照して後述する。操作検出処理で、操作検出部１６５は、撮像画像において使用者の操作に関与する対象物ＯＢを特定する。

続いて、対象推定部１６７は、ステップＳ１３で検出した対象物のうち、ステップＳ１４で操作検出部１６５が検出した操作の対象である操作対象物を推定する推定処理を実行する（ステップＳ１５）。推定処理の詳細は図１３を参照して後述する。

図８（Ｂ）には、使用者が手で飲料のボトルを掴んだ状態を示す。図８（Ａ）、（Ｂ）の例ではカメラ６１の画角内に位置する対象物ＯＢ１，ＯＢ２，ＯＢ３があり、これらが対象推定部１６７により検出される。操作検出部１６５が撮像画像から検出する対象物の画像は、オブジェクトの画像に相当し、これら対象物はオブジェクトに相当する。
操作検出部１６５は、操作検出処理によって、カメラ６１の画角内に使用者の手が存在し、この手が操作を意味すると判定する。そして、この手（対象物ＯＢ３）を、使用者の操作に関与する対象物として検出する。
図８（Ｂ）の例では対象物ＯＢ３が対象物ＯＢ２に接触しているので、対象推定部１６７は、対象物ＯＢ２を操作対象物と推定する。操作対象物は対象オブジェクトに相当する。

ＡＲ表示制御部１６４は、対象推定部１６７が推定した推定処理の結果をもとにＧＵＩを表示する（ステップＳ１６）。このＧＵＩは、例えば、使用者に対し、対象推定部１６７が推定した推定処理の結果が正しいか否かの入力を促すメッセージを含んでもよい。或いは、推定処理の結果を表示するメッセージや画像を含んでもよい。また、推定処理に基づき認識処理を行うか否かの入力を求めるメッセージを含んでもよい。本実施形態では、認識処理以外の処理の実行を指示する操作と、認識処理の実行を指示する操作とが可能なＵＩとする。認識処理以外の処理とは、例えば、カメラ６１の撮像画像データを保存する処理等である。

制御部１４０は、ＡＲ表示制御部１６４がステップＳ１６で表示したＧＵＩに基づく操作を検出し、認識処理の実行を指示する操作であるか否かを判定する（ステップＳ１７）。
使用者が認識処理の実行を指示する操作は、例えば、操作対象物を手に持って、ＧＵＩの所定の位置に、認識処理の対象である操作対象物の画像コード等を重ねる操作が挙げられる。この場合、使用者が操作対象物を手に持つことや画像コードを重ねる操作を、認識処理の実行を指示する操作（ステップＳ１７；Ｙｅｓ）と判定してもよい。これに対し、使用者が操作対象物を手に持って所定の時間以上、上記の条件を満たさない場合、認識処理の実行を指示する操作でない（ステップＳ１７；Ｎｏ）と判定してもよい。また、認識処理の実行を指示する操作は、制御装置１０の操作部１１１に対する操作や、音声処理部１８７が検出する音声による入力であってもよい。
制御部１４０が、認識処理の実行を指示する操作があったと判定した場合（ステップＳ１７；Ｙｅｓ）、ＡＲ表示制御部１６４が認識用のＧＵＩを表示する（ステップＳ１８）。ここで、撮像制御部１６１がカメラ６１を制御して撮像を実行させ、撮像画像データを取得する（ステップＳ１９）。制御部１４０は、カメラ６１の撮像画像データから認識処理を実行する対象部分の画像を抽出し（ステップＳ２０）、画像コードを認識する（ステップＳ２１）。

続いて、制御部１４０は認識結果に基づく処理を実行し（ステップＳ２２）、本処理を終了するか否かを判定する（ステップＳ２３）。本処理を継続する場合（ステップＳ２３；Ｎｏ）、制御部１４０はステップＳ１１に戻る。また、制御装置１０に対する動作終了を指示する入力操作等があった場合（ステップＳ２３；Ｙｅｓ）、制御部１４０は本処理を終了する。

また、ＡＲ表示制御部１６４がステップＳ１６で表示したＧＵＩに基づき行われた操作が、認識処理の実行を指示する操作でない場合（ステップＳ１７；Ｎｏ）、制御部１４０は、操作に対応する処理を実行して（ステップＳ２４）、ステップＳ２３に移行する。
ステップＳ２４では、例えば、ステップＳ１６で表示されるＧＵＩを用いるメニュー操作が行われる。この場合、制御部１４０は、使用者のＧＵＩに対する操作によりメニュー表示が指示されると、この指示に応じてメニュー画面に設定項目を一覧表示する。ここで、使用者の手や操作部１１１に対する操作に応じて、メニュー画面において設定項目を選択し、選択した設定項目について設定が行われる。また、例えば、ステップＳ１６で表示されるＧＵＩを用いて、カメラ６１の撮像画像データの保存を指示する操作が行われ、この操作に応じて制御部１４０が撮像画像データを記憶部１２０に記憶する。

図８（Ｃ）は、ステップＳ１８で表示される認識処理用のＧＵＩの例を示す。図８（Ｃ）の認識位置ガイドＧ２は、ＡＲ表示制御部１６４が表示する直線または直線を含む。認識位置ガイドＧ２は、画像コードの認識位置を示し、画像表示部２０を通して使用者が視認する実空間において、認識位置ガイドＧ２と画像コードとが重なると、制御部１４０が画像コードを読み取る。画像コードは、バーコードやＱＲ（登録商標）コード等の二次元コード等、情報を符号化した画像であれば制限はない。

例えば、制御部１４０は、ステップＳ２０で、認識位置ガイドＧ２に重なる位置において画像コードに特有のパターンを検出することにより、認識対象部分を抽出する。認識位置ガイドＧ２は、視野Ｖで認識されれば良いので、例えばガイドＧ１内に配置される直線であってもよい。図８（Ｃ）では、ステップＳ１５で操作対象物として推定された対象物ＯＢ２の形状に合わせた湾曲部を有する線にする例を示す。図８（Ｃ）の例は、立体物の表面に直線状の光を照射した場合の見え方を模しており、立体物の形状に対応した湾曲部があるため、使用者が、認識位置ガイドＧ２により認識位置を容易に把握できるという利点がある。

図８（Ｄ）は、認識位置ガイドＧ２の別の表示例を示す。図８（Ｄ）の例では対象物ＯＢ２を使用者が掴んで持ち上げている。この状態で、制御部１４０が、対象物ＯＢ２の表面に印刷された画像コードＣＯ１を読み取ると、制御部１４０は、例えば飲料のＪＡＮコードを得る。制御部１４０は、ＪＡＮコードに基づき、対象物ＯＢ２がお茶飲料であるとの情報を取得し、使用者が対象物ＯＢ２を視認する位置に合わせて、お茶飲料であることを示す認識結果情報Ｉ１を表示する。図８（Ｄ）に示すように、使用者が対象物ＯＢ２を掴んで持ち上げ、ＧＵＩを構成する認識位置ガイドＧ２の位置に画像コードＣＯ１を重ねる動作は、ステップＳ１７（図７）で、認識実行を指示する操作に該当する。

図９は、ＨＭＤ１００による別の表示例を示す図である。
図９（Ａ）の例では、ガイドＧ１を表示する際に、制御部１４０が、カメラ６１の撮像範囲の中心を示すガイドＧ３を合わせて表示する。
ＨＭＤ１００では、カメラ６１の画角（撮像範囲）と、画像表示部２０の表示領域であるハーフミラー２６１Ａ、２６２Ａとの相対的な位置関係が、予めキャリブレーションにより対応付けられる。従って、制御部１４０は、カメラ６１の画角に対応する位置にガイドＧ１、Ｇ３等の画像を表示できる。

図９（Ｂ）の例では、制御部１４０の制御により、ガイドＧ１、Ｇ３が表示され、更に、副表示部ＳＶが表示される。副表示部ＳＶは、カメラ６１の撮像画像を、ほぼリアルタイムで表示する領域である。図９（Ｂ）の例では、使用者が、操作対象物がカメラ６１の画角に収まっているか否かを容易に確認できる。副表示部ＳＶを表示する処理は、例えば、撮像制御部１６１及びＡＲ表示制御部１６４が実行する。

図８（Ａ）〜（Ｄ）に示すガイドＧ２、図９（Ａ）、（Ｂ）に示すガイドＧ３は、ＨＭＤ１００が表示するＧＵＩの一例であり、本発明が適用されるＧＵＩがこれらの態様に限定されるものではない。例えば、操作対象物の視認性が高まるような、或いは操作対象物に注目させるような態様のＧＵＩを表示できる。具体的には、対象推定部１６７により推定された操作対象物である物体に対応する位置、或いは物体に対応する領域に、色付けをする、枠で囲う、認識した旨を表す文字を追加する等の態様とすることができる。また、ＧＵＩは単一の画像で構成されても、複数の画像で構成されてもよく、テキストを含んでもよく、音声等と組み合わされてもよく、ＧＵＩに対する操作をＨＭＤ１００が受け付け可能な構成であってもよい。

図１０は、図７のステップＳ１４に示した操作検出処理を詳細に示すフローチャートである。図１１は、操作検出処理の様子を示す説明図であり、カメラ６１の撮像画像と、操作検出部１６５が実行する処理内容とを示す。

ＨＭＤ１００は、カメラ６１の撮像画像から操作を検出するためのデータである操作検出用データ１２５を、予め記憶する。操作検出処理で、操作検出部１６５は、記憶部１２０から操作検出用データ１２５を取得する（ステップＳ３１）。

操作検出部１６５は、ステップＳ３１で取得した検出条件に従って、ステップＳ１３で対象推定部１６７が撮像画像から検出した対象物の中から、人間の手及び／又は手指の画像を抽出する（ステップＳ３２）。なお、本実施形態では、頭部（顔面）に画像表示部２０を装着する使用者が手で行う操作を検出し、操作に関与する人体の一部が手に限られる場合を想定する。仮に、足による操作を検出することも可能であり、この場合、ステップＳ３２では、足の画像を抽出する処理を行えばよい。検出する対象となる身体の部位等を指定する情報は、例えば、操作検出用データ１２５に含めてもよい。

操作検出部１６５は、ステップＳ３２で抽出した画像の属性を判定する（ステップＳ３３）。画像の属性を以下に例示する。
（１）カメラ６１から抽出した画像の手までの距離。
（２）抽出した画像が、カメラ６１からの距離が異なる複数の画像を含むか否か。
（３）抽出した画像の手の左右の種別と、画像を抽出した位置との対応関係。
（４）抽出した画像と、撮像画像の縁との対応関係。

画像の属性について詳細に説明する。
（１）及び（２）の例では、操作検出部１６５は、抽出した画像のサイズに基づいて、カメラ６１から手までの距離を算出する。距離を算出するための情報は、例えば操作検出用データ１２５に含まれる。カメラ６１から手までの距離を算出する機能に関し、操作検出部１６５は距離検出部に相当する。

操作検出部１６５は、撮像画像から検出した対象物ＯＢについて、画像表示部２０からの距離を算出する機能を有する。ここで操作検出部１６５が算出する距離は、使用者の身体である手と、使用者の身体以外のオブジェクトである対象物との間の距離である。
操作検出部１６５は、撮像画像における対象物ＯＢの画像のサイズと、カメラ６１の撮像条件とに基づいて、カメラ６１の撮像面からの距離を求める。この処理で、操作検出部１６５は、距離検出用データ１２７を参照する。距離検出用データ１２７は、例えば、撮像画像における対象物ＯＢの画像のサイズと、カメラ６１の撮像条件と、カメラ６１の距離とを対応付けるデータ、或いは演算式等を含む構成とすることができる。カメラ６１の撮像条件は、例えばズーム倍率である。

（１）、（２）の属性を判定する場合、操作検出部１６５は、ステップＳ３２で抽出した手の画像に対応する手からカメラ６１までの距離が、予め設定された基準値以内であるか否かを判定する。基準値は、例えば操作検出用データ１２５に含まれる。
図１１（Ａ）は、撮像画像Ｐにおいて対象推定部１６７が対象物ＯＢ１１、ＯＢ１２を検出し、このうち手である対象物ＯＢ１１の画像を操作検出部１６５が抽出した例を示す。対象物ＯＢ１１は、使用者の右手の画像である。操作検出部１６５は、対象物ＯＢ１１のうち中心（重心でもよい）に相当する位置ＯＢ１１Ａからカメラ６１までの距離を求める。ＯＢ１１ＡはＯＢ１１（手）の中心あるいは重心であり、腕の位置に相当する。また、操作検出部１６５は、対象物ＯＢ１１の画像において指先を検出し、指先に相当する位置ＯＢ１１Ｂからカメラ６１までの距離を求めてもよい。

（１）の属性を判定する場合、操作検出部１６５は、例えば中心（重心でもよい）に相当する位置ＯＢ１１Ａからカメラ６１までの距離が、基準値以内であるか、基準値を超えるかを判定する。また、抽出した画像において撮像画像Ｐの下縁（底辺）から最も遠い位置からカメラ６１までの距離を、基準値と比較してもよい。
カメラ６１から手までの距離が基準値を超える場合、使用者の手でない可能性が高い。従って、カメラ６１から手までの距離が基準値以内か否かに基づき、抽出した手の画像が、ＨＭＤ１００を装着する使用者の手の画像か、他者の手の画像かを判定できる。つまり、操作検出部１６５が抽出した手の画像が、使用者による操作に関係する画像か否かを判定できる。
なお、操作検出部１６５は、撮像制御部１６１が出力する撮像画像における底辺を検出し、或いは特定する処理を行ってもよい。すなわち、撮像画像Ｐにおける底辺が撮像画像Ｐの下縁とは異なる場合に、抽出した画像において撮像画像Ｐの底辺から最も遠い位置からカメラ６１までの距離を、基準値と比較できる。例えば、操作検出部１６５が取得する撮像画像の向きが反時計回りに９０度回転した状態であっても、実際にカメラ６１が撮像した際の底辺側を基準として処理できる。

（２）の属性を判定する場合、操作検出部１６５は、抽出した画像における複数の位置について、カメラ６１からの距離を求める。例えば、図１１（Ａ）において、抽出した画像に対応する対象物の中心あるいは重心の位置ＯＢ１１Ａと、抽出した画像の上端に位置する位置ＯＢ１１Ｂとについてカメラ６１からの距離を求める。操作検出部１６５は、求めた距離の差が、予め設定された閾値以内（所定の距離以下）であるか、閾値を超えるかを判定する。ＨＭＤ１００を装着する使用者の手がカメラ６１で撮像された場合、使用者の手は、カメラ６１から離れた一つの場所にのみ位置することは考えにくく、殆どの場合、カメラ６１の近くに腕（ＯＢ１１Ａ）が位置し、指先（ＯＢ１１Ｂ）はカメラ６１から離れた位置にある。従って、抽出した画像が、カメラ６１からの距離が異なる複数の点を含む場合、使用者の手の画像である可能性が高いといえる。このため、操作検出部１６５が抽出した手の画像に含まれる複数の位置におけるカメラ６１からの距離が、閾値を超える差を有するか否かに基づき、使用者による操作に関係する画像か否かを判定できる。

（３）の属性について、操作検出部１６５は、ステップＳ３２で抽出した手の画像が右手の画像か左手の画像かを判定する。操作検出部１６５は、抽出した手の画像の形状を解析する。或いは、人間の右手及び左手の画像のパターンを示す情報が操作検出用データ１２５に含まれる場合、操作検出部１６５はパターンマッチングにより、右手の画像か左手の画像かを判定する。

ここで、操作検出部１６５がカメラ６１の撮像画像から使用者の身体の画像を検出する処理、及び、後述するように対象推定部１６７が撮像画像から対象物を検出する処理では、予め記憶部１２０が記憶する画像のデータ、または画像の特徴量のデータを使用する。
操作検出部１６５は、使用者の手指、手、腕、足等の画像またはこれらの画像の特徴量を用いて撮像画像を解析し、撮像画像から使用者の身体の画像を検出する。これらの画像または画像の特徴量を含むデータは、操作検出用データ１２５として記憶部１２０が記憶する。操作検出用データ１２５は、人間の手指、手、腕、足等の画像またはこれらの画像の特徴量を含み、汎用的なデータであってもよいし、特定の人物の身体的特徴に適合するデータであってもよい。

使用者自身の手が撮像画像Ｐに含まれる場合、右手は撮像画像Ｐの右側に写り、左手は撮像画像Ｐの左側に写る。従って、ステップＳ３２で抽出した手の画像の左右を判定し、手の画像の位置が、例えば撮像画像Ｐの幅方向の中心よりも右側か左側かを判定し、これらの判定結果が一致しない場合は、使用者自身の手の画像でないと判定できる。

（４）の属性について、操作検出部１６５は、ステップＳ３２で抽出した手の画像の境界を抽出し、この境界が撮像画像Ｐの縁と重なるか否かを判定する。ＨＭＤ１００を装着する使用者の手がカメラ６１で撮像された場合、使用者の手は、カメラ６１から離れた一つの場所にのみ位置することは考えにくく、カメラ６１の撮像範囲の外から撮像範囲内に跨がる。従って、抽出した画像は撮像画像Ｐの縁にまで達する場合、すなわち縁に重なる場合、使用者の手の画像である可能性が高いといえる。このため、操作検出部１６５が抽出した手の画像が撮像画像Ｐの縁に重なるか否かに基づき、使用者による操作に関係する画像か否かを判定できる。ここで、判定を行う対象は、撮像画像Ｐの上下左右の縁のうち、左右及び下の縁に限定してもよい。使用者の手が撮像画像Ｐの上縁（上辺）のみに重なることは極めて希であるためである。

ステップＳ３２で抽出した手の画像が使用者の手であるか否かの判定を、（１）〜（４）の属性のうち、どの属性を基準として行うかは、操作検出用データ１２５により指定される。例えば（１）〜（４）の全ての属性について判定をしてもよいし、一部の属性のみを判定に用いてもよい。

操作検出部１６５は、ステップＳ３３の判定の結果、使用者による操作に関係する画像の条件に該当する手の画像があるか否かを判定する（ステップＳ３４）。該当する手の画像がない場合（ステップＳ３４；Ｎｏ）、操作に関与する画像がないため、操作検出部１６５は本処理を終了する。

また、使用者による操作に関係する画像の条件に該当する手の画像がある場合（ステップＳ３４；Ｙｅｓ）、操作検出部１６５は、該当する手の画像が複数であるか否かを判定する（ステップＳ３５）。
該当する手の画像が複数ある場合（ステップＳ３５；Ｙｅｓ）、操作検出部１６５は、撮像画像Ｐにおいて、該当すると判定された画像が含まれる領域を特定し、領域ごとに設定された優先度に基づき、操作に関与する画像を特定する（ステップＳ３６）。

例えば、図１１（Ｂ）に示すように、撮像画像Ｐに手の画像である複数の対象物ＯＢ２１、ＯＢ２２が含まれる場合、いずれかは使用者の手の画像であり、いずれかは他者の手の画像である可能性がある。また、対象物ＯＢ２１、ＯＢ２２の両方とも使用者の手の画像であったとしても、両方の手が、使用者による操作に関与する手とは限らない。
操作検出部１６５は、撮像画像Ｐに含まれる手の画像のうち、操作に関与する手の画像を少数にしぼりこみ、好ましくは一つに特定する。

図１２は、撮像画像Ｐに設定される優先度の例を示す。
図１２に示す画像領域ＰＡは、撮像画像Ｐの全体に相当する。画像領域ＰＡには、領域Ａ１１〜Ａ１６、Ａ２１〜Ａ２６が設定される。それぞれの領域は、画像領域ＰＡにおける位置を基準として設定される。

領域Ａ１１〜Ａ１６は、画像領域ＰＡの幅方向の中央ＨＣに対し左側に設定され、領域Ａ２１〜Ａ２６は、幅方向の中央ＨＣに対し右側に設定される。一部の領域は幅方向の中央ＨＣに跨がる。
領域Ａ１１，Ａ２１は画像領域ＰＡの下縁に重なる。領域Ａ１２は画像領域ＰＡの左下隅を含み、領域Ａ２２は画像領域ＰＡの右下隅を含む。領域Ａ１５は画像領域ＰＡの左上隅を含み、領域Ａ２５は画像領域ＰＡの右上隅を含む。領域Ａ１３は画像領域ＰＡの左縁を含み、上下方向の中央ＶＣよりも概ね下方を含み、領域Ａ１４は画像領域ＰＡの左縁を含み、上下方向の中央ＶＣよりも概ね上方を含む。領域Ａ２３は画像領域ＰＡの右縁を含み、上下方向の中央ＶＣよりも概ね下方を含み、領域Ａ２４は画像領域ＰＡの右縁を含み、上下方向の中央ＶＣよりも概ね上方を含む。領域Ａ１６，Ａ２６は画像領域ＰＡの上縁に重なる。

各領域の重心の位置に基づいて各領域の位置を比較すると、画像領域ＰＡの左側においては下から、領域Ａ１１、Ａ１２、Ａ１３、Ａ１４、Ａ１５、Ａ１６の順に並ぶ。また、画像領域ＰＡの右側においては下から、領域Ａ２１、Ａ２２、Ａ２３、Ａ２４、Ａ２５、Ａ２６の順に並ぶ。
操作検出用データ１２５は、使用者の操作に関与する画像として特定する優先度を、画像領域ＰＡの左側においては領域Ａ１１＞Ａ１２＞Ａ１３＞Ａ１４＞Ａ１５＞Ａ１６の順に指定する。また、画像領域ＰＡの右側においては領域Ａ２１＞Ａ２２＞Ａ２３＞Ａ２４＞Ａ２５＞Ａ２６の順に優先度を指定する。

また、左右方向を考慮して、領域Ａ２１＞Ａ１１＞Ａ２２＞Ａ１２＞Ａ２３＞Ａ１３＞Ａ２４＞Ａ１４＞Ａ２５＞Ａ１５＞Ａ２６＞Ａ１６の順に指定してもよい。これは、使用者が右利きの場合に有用である。使用者が左利きの場合、領域Ａ１１＞Ａ２１＞Ａ１２＞Ａ２２＞Ａ１３＞Ａ２３＞Ａ１４＞Ａ２４＞Ａ１５＞Ａ２５＞Ａ１６＞Ａ２６の順に指定してもよい。ＨＭＤ１００において、使用者が右利きか左利きかを事前に設定し、或いは自動的に設定する場合、操作検出部１６５は、この設定に従って優先度を切り替えてもよい。

操作検出部１６５は、ステップＳ３３で属性が条件に該当すると判定された画像について、その画像に対応する領域を特定し、各画像の領域の優先度を比較する。抽出された画像が複数の領域に跨がる場合、例えば、画像の重心または中心が位置する領域を、対応する領域とすればよい。また、画像に重なる領域のうち最も優先度が高い領域を、対応する領域としてもよい。

これにより、操作検出部１６５は、撮像画像Ｐに複数の手の画像が含まれる場合であっても、使用者の操作に係る手の画像を適切に特定できる。

また、条件に該当する手の画像が一つの場合（ステップＳ３５；Ｎｏ）、操作検出部１６５は、該当する手の画像を、操作に関与する手の画像として特定する（ステップＳ３７）。

図１０〜図１２の例では、使用者が、使用者自身の身体（手）を用いて行う操作を検出する例を示したが、操作検出部１６５は、使用者が手に持つ物体である操作体を用いる操作、或いは、使用者の身体または衣服等に装着される操作体を用いる操作を検出してもよい。ここで、操作体は、例えば、ドライバー等の工具や指示棒等が挙げられる。
使用者が手に持つ操作体を検出する場合、この操作体は、操作検出部１６５が撮像画像から、使用者の手以外の物体として検出される。操作検出部１６５は、使用者の身体の画像を、撮像画像から検出し、検出した使用者の身体に対して所定の位置関係にある物体を操作体として検出する。この場合、操作検出部１６５は、検出した操作体を使用者の身体の一部と同様に見なして、操作体による操作を検出できる。使用者の身体と所定の位置関係にある物体は、条件に基づき特定できる。例えば、（条件１）使用者の身体（例えば、手）と操作体との距離が所定の距離以内である、（条件２）撮像画像中に使用者の身体（例えば、手）の画像と連続する状態で操作体の画像が含まれる、との２つの条件が予め設定される。この場合、操作検出部１６５は、（条件１）及び（条件２）の両方を満たす操作体を検出、或いは推定できる。（条件１）に関して撮像画像に写る物体と使用者の身体との距離を求める方法は、例えば、操作検出部１６５が画像の属性（１）を判定する処理に関して説明した手法を適用できる。ここで、撮像画像における使用者の身体の画像と操作体の画像とが連続する状態には、使用者の衣服等の画像と操作体の画像とが連続する場合を含んでもよい。

図１０に示した動作において、ステップＳ３２で操作検出部１６５が手の画像を抽出する処理を、ステップＳ１３（図７）で実行してもよい。また、ステップＳ３１〜Ｓ３７の処理を、ステップＳ１３に先だって行ってもよい。
ステップＳ１３において、対象推定部１６７は、撮像画像から輪郭を抽出可能な全ての物体を、対象物として検出してもよいが、撮像画像から対象物として抽出する物体を限定してもよい。この場合、撮像画像に多数の物体の画像が含まれる場合に、対象推定部１６７の処理負荷を軽減できるという利点がある。この場合、例えば、操作検出部１６５が撮像画像から使用者の手の画像を検出し、操作検出部１６５が検出した手の画像に近い物体を、対象推定部１６７が対象物として検出してもよい。
或いは、ステップＳ１３において、対象推定部１６７は、使用者の現在の音声に含まれるキーワードや過去に対象物として検出した物体の履歴等に基づいて、処理の対象とする物体を絞り、対象物として撮像画像から検出してもよい。

図１３は、図７のステップＳ１５に示した推定処理を詳細に示すフローチャートである。図１４は、推定処理の様子を示す説明図であり、カメラ６１の撮像画像Ｐと、撮像画像Ｐで検出された対象物ＯＢとを示す。

図１３に示す推定処理に先立ち、対象推定部１６７は、操作検出処理（図１０）で操作検出部１６５が特定した画像を取得する。この画像は、操作検出部１６５が、使用者による操作に関与する手の画像として特定した画像である。
対象推定部１６７は、ステップＳ１３（図７）で検出した対象物ＯＢと、操作検出部１６５が特定した手との距離を、撮像画像に基づき算出する（ステップＳ４１）。ステップＳ４１で、対象推定部１６７は距離検出用データ１２７を参照し、カメラ６１の撮像条件を加味して、距離を算出する。また、撮像画像から、手の画像の他に複数の対象物ＯＢの画像が検出された場合、対象推定部１６７は、それぞれの対象物ＯＢと手との間の距離を算出する。

図１４（Ａ）の例では、撮像画像Ｐから対象物ＯＢ３１、ＯＢ３２、ＯＢ３３、ＯＢ３４の画像が検出される。対象物ＯＢ３４の画像は、操作検出部１６５により操作に関与する手の画像として特定された画像である。例えば、対象物ＯＢ３４の画像の形状、対象物ＯＢ３４が画像の縁を含む、対象物ＯＢ３４が画像の右下に位置する、等の属性により、対象物ＯＢ３４は使用者の手の画像として特定される。
対象推定部１６７は、ステップＳ４１で、対象物ＯＢ３１、ＯＢ３２、ＯＢ３３のそれぞれと、対象物ＯＢ３４との間の距離を算出する。

対象推定部１６７は、ステップＳ４１で算出した距離に基づき、操作に関与する手に最も近い対象物の画像を選択する（ステップＳ４２）。
対象推定部１６７は、選択した対象物と操作に関与する手との間の距離が、予め設定された接触基準値より近いか否かを判定する（ステップＳ４３）。接触基準値は、対象物が手に接触しているとみなすことが可能な距離の閾値となる値であり、例えば操作検出用データ１２５に含まれる。
ここで、対象推定部１６７が算出し、判定に用いる距離は、例えば、選択した対象物と操作に関与する手とが最も近い位置における距離とすることができる。図１４（Ａ）の例では、使用者の手である対象物ＯＢ３４の画像において最も対象物ＯＢ３２に近い第１の点と、対象物ＯＢの画像において最も対象物ＯＢ３４に近い第２の点とを特定し、第１の点と第２の点との間の距離を求めてもよい。また、例えば、対象推定部１６７は、選択した対象物の画像の中心または重心の位置と、操作に関与する手の画像の中心または重心の位置との間の距離を求め、この距離を判定してもよい。

図１４（Ｂ）の例では、操作に関与する手である対象物ＯＢ３４に最も近い対象物ＯＢ３２と、手とが接触している。対象物ＯＢ３２は手に最も近い対象物として選択される。

選択した対象物と操作に関与する手との間の距離すなわち相対位置の差が、予め設定された接触基準値より近い（所定距離以内）場合（ステップＳ４３；Ｙｅｓ）、対象推定部１６７は、対象物に手が接触したと判定する（ステップＳ４４）。対象推定部１６７は、手が接触したと判定した対象物を、操作対象の対象物として推定する（ステップＳ４５）。
図１４（Ｂ）の例では、対象物ＯＢ３２が、操作対象の対象物として推定され、対象物ＯＢ３２の表面に印刷された画像コードの読み取りなどが行われる。

また、選択した対象物と操作に関与する手との間の距離が接触基準値以上である場合（ステップＳ４３；Ｎｏ）、対象推定部１６７は、対象物に手が接触していないと判定する（ステップＳ４６）。対象推定部１６７は、ステップＳ４２で選択した対象物を、操作対象の対象物として推定する（ステップＳ４７）。

ステップＳ４３で、対象物と手との間の距離が接触基準値より近いと判定された場合、及び、近くないと判定された場合のいずれも、対象推定部１６７は操作対象の対象物を推定する。操作対象の対象物に手が接触したか否かは、例えばステップＳ１６（図７）で表示されるＧＵＩの内容に反映される。この場合、ＡＲ表示制御部１６４は、操作対象の対象物に手が接触したか否かに応じて、異なるＧＵＩを表示すればよい。
また、対象推定部１６７は、対象物と手との間の距離が接触基準値より近くないと判定した場合に（ステップＳ４３；Ｎｏ）、操作対象の対象物がないと判定してもよい。

また、対象推定部１６７が、操作対象の対象物に手が接触したか否かを判定する方法は、対象物と手との間の距離を判定する方法に限定されない。
例えば、対象推定部１６７は、操作に関与する手の画像として特定された画像の近傍に位置する影の画像を撮像画像から検出し、この影の画像と手の画像との位置関係に基づき、接触の有無を判定しても良い。

図１４（Ｃ）の例では、操作に関与する手として特定された対象物ＯＢ４３の画像の近傍に、影が対象物ＯＢ４４として検出される。対象物ＯＢ４４の画像は、対象物ＯＢ４１の画像に重なる位置で、対象物ＯＢ４３の画像に接する。つまり、手の画像と、手の影の画像とが、対象物ＯＢ４１の上で接しているので、手である対象物ＯＢ４３が対象物ＯＢ４１に接触していると判定できる。

また、使用者の腕の筋肉の筋電位を検出する筋電位センサーを搭載した身体装着型検出装置（図示略）を、使用者の腕に装着してもよい。この場合、身体装着型検出装置と画像表示部２０または制御装置１０とが、例えば近距離無線通信により接続して、身体装着型検出装置の検出状態を示す筋電位センサーの検出値を、制御部１４０が取得して判定できる構成としてもよい。この構成では、対象推定部１６７が、筋電位センサーの検出値に基づいて、使用者の手が操作対象の対象物を掴む、持ち上げる、押す等の操作を行ったことを検出できる。このため、使用者の手が操作対象の対象物に接触して動作を行ったことを検出できる。

以上説明したように、本発明を適用した実施形態に係るＨＭＤ１００は、ＨＭＤ１００は、使用者の視野の少なくとも一部を含む範囲を撮像するカメラ６１を備える。制御部１４０は、カメラ６１により撮像された撮像画像に基づき使用者の操作を検出し、検出した操作に従って、撮像画像に含まれる画像から操作対象物である対象物の画像を推定する。
この情報処理装置としてのＨＭＤ１００、及び、ＨＭＤ１００により実行される情報処理方法によれば、ため、使用者の視野を含む範囲を撮像した撮像画像に基づき使用者の操作を検出して、検出した操作に従って操作対象物である対象物の画像を推定できる。従って、撮像画像に対する処理を行うことで、操作対象物である対象物の画像を選択できるので、処理の負荷が軽い。また、この情報処理方法を実現するためのプログラムは、制御部１４０を構成するコンピューターが実行可能な形態で、記憶部１２０、或いは制御部１４０が内蔵する不揮発性記憶部等に記憶される。

また、制御部１４０は、撮像画像に含まれる使用者の身体の画像を検出することにより、使用者の操作を検出することができる。
また、撮像画像の一部を含む領域Ａ１１〜Ａ２６と、領域において使用者の身体の画像を検出する条件とが設定され、例えば操作検出用データ１２５に含まれて記憶される。制御部１４０は、撮像画像に含まれる画像について、当該画像を含む領域に設定された条件に従って、使用者の身体の画像か否かを判定し、使用者の身体を検出する。このため、撮像画像に基づき使用者の操作を検出する処理において、誤検出を減らすことができる。例えば、使用者でない者の身体の画像に基づき、操作が行われたと判定するような誤検出を防止できる。

撮像画像に設定される領域には、撮像画像における領域の位置に応じて、領域に含まれる画像を使用者の身体の画像と判定する優先度が設定される。制御部１４０は、画像を含む領域に設定された優先度に従って、画像が使用者の身体の画像か否かを判定する。操作検出用データ１２５に含まれる条件は、使用者が画像表示部２０を装着する位置と、使用者の手腕との位置関係に基づき、使用者の身体が撮像される位置の蓋然性に対応して設定される。従って、撮像画像に基づいて使用者の操作を検出する場合の誤検出を減らし、検出精度を高めることができ、検出精度の向上が期待できる。
また、撮像画像に複数の領域が設定され、それぞれの領域には撮像画像における領域の位置に応じた優先度が設定される場合、より一層の検出精度の向上が期待できる。また、操作を検出する処理に影響する優先度の設定、及び管理が容易になるという利点がある。

また、図１２に例示したように、撮像画像の底辺側に位置する領域には、当該領域よりも上辺側に位置する領域に比べて高い優先度が設定される構成とすることができる。この例では、使用者の操作に伴い使用者の身体が撮像されやすい、底辺側に位置する領域に対し、上辺側に位置する領域よりも高い優先度を設定する。これによって、使用者の操作を検出する場合の検出精度を高めることができる。ここで、撮像画像の底辺側とは、撮像時の上下方向に基づき底辺となる側を指すが、予め撮像画像に対して底辺側が定義されていてもよい。ここで、撮像制御部１６１が出力する撮像画像における底辺は、単に矩形の撮像画像の長辺のうち下方に位置する辺としてもよいが、底辺を特定する処理が行われてもよい。例えば、撮像画像の向きを示す付加データや撮像画像の底辺の位置を示す付加データが撮像画像に付加されている場合に、この付加データに従って、撮像画像の底辺を特定してもよい。

また、制御部１４０は、撮像画像の縁に重なる画像を使用者の身体の画像として検出してもよく、この場合、使用者の頭部に装着されるカメラ６１で撮像した撮像画像に基づき、使用者の手腕等による操作を検出するという特性を利用して、操作に関与する使用者の身体の画像を、高い精度で検出できる。

さらに、制御部１４０は、撮像画像に含まれる人間の手の画像を検出し、手の画像が右手か左手か、及び、手の画像の撮像画像における位置に基づき、検出した手の画像を使用者の身体の画像と判定する構成であってもよい。この場合、使用者の頭部に装着されるカメラ６１で撮像した撮像画像に基づき、使用者の手腕等による操作を検出するという特性を利用して、撮像画像に基づいて使用者の操作を検出する場合の誤検出を減らし、検出精度を高めることができる。

さらにまた、制御部１４０は、撮像画像において検出した人間の手の画像が撮像画像の縁を含む場合に、手の画像を使用者の身体の画像と判定する構成であってもよい。この場合、使用者の頭部に装着されるカメラ６１で撮像した撮像画像に基づき、使用者の手腕等による操作を検出するという特性を利用して、操作に関与する使用者の身体の画像を高い精度で検出できる。

上記実施形態において、ＨＭＤ１００は、操作対象物を推定してから速やかに、操作対象物に対応するＡＲ表示を行う構成として説明した。すなわち、ステップＳ１４（図７）で使用者の操作を検出し、ステップＳ１５で操作対象物を推定した後で、速やかにＧＵＩ等を表示する構成を説明した。本発明はこれに限定されず、例えば、使用者の操作を検出した後、または操作対象物を推定した後、所定時間が経過した後にＡＲ表示を行ってもよい。

この機能は、例えば、ＡＲ表示制御部１６４が、対象推定部１６７がＡＲ表示の対象となる操作対象物を推定した後、待機状態に移行することで実現できる。この場合、待機状態においても対象推定部１６７が使用者による操作の検出と操作対象物の推定を実行する。そして、予め設定された所定時間が経過する間、対象推定部１６７が推定する操作対象物が変化しない場合、例えば、いったん推定された操作対象物とは異なる操作対象物が推定されない場合に、ＡＲ表示制御部１６４がＡＲ表示を開始してもよい。

また、例えば、上記機能を、対象推定部１６７が操作対象物を推定する処理の間に待機時間を設けることで実現してもよい。この場合、対象推定部１６７は、例えばステップＳ４１（図１３）で、操作検出処理（図１０）で操作検出部１６５が特定した画像を取得する処理を所定時間継続し、所定時間内に取得する複数の画像の変化を検出する。ここで、対象推定部１６７は、取得した画像の変化が所定範囲内であった場合に、ステップＳ４２に移行してもよい。
また、例えば、対象推定部１６７は、ステップＳ４２で手に近い対象物を選択した後、ステップＳ４１〜Ｓ４２の処理を所定時間内に繰り返し実行して、選択する対象物が変化しない状態が継続した場合に、ステップＳ４３に移行してもよい。
また、例えば、対象推定部１６７は、ステップＳ４５またはステップＳ４７で対象物を推定した後、ステップＳ４１〜Ｓ４５またはＳ４７の処理を実行し、同じ対象物が複数回連続して推定された場合に、推定した対象物に関する情報をＡＲ表示制御部１６４に出力してもよい。

このように、使用者が操作を行ってからＡＲ表示を開始するまで時間的猶予を設けることにより、使用者が多くの物体に対し操作を行う場合であっても、ＡＲ表示を安定させることができる。例えば、使用者が物を探している最中に、探している対象物でない物体を手に持った場合、手に持った物体がＡＲ表示の対象と推定されてＡＲ表示が実行される可能性がある。このようにして数多くの物体を使用者が手に持った場合にはＡＲ表示が次々と開始され、終了されることとなり、使用者が煩わしく感じる可能性があり、ＨＭＤ１００の処理負荷の増大を招く可能性もある。上記のように、使用者が操作を行ってからＡＲ表示を開始するまで時間的猶予を設ける場合、使用者の操作が操作対象物以外の物体に及ぶ場合には、ＡＲ表示の頻繁な開始や変更を回避でき、安定した表示を行えるという利点がある。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右光学像表示部２６及び左光学像表示部２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０、２０Ｂ、２０Ｃに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０、２０Ｂ、２０Ｃと制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０、２０Ｂ、２０Ｃとが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２０Ｂ、２０Ｃと分離して構成され、制御装置１０と画像表示部２０、２０Ｂ、２０Ｃとの間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０、２０Ｂ、２０Ｃにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid Crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

本発明でいう「表示部」は、画像光を出射する構成に相当し、ＨＭＤ１００が画像光を出射することを「表示する」と説明した。すなわち、上記各実施形態では、左右の画像光生成部により画像光を生成し、右光学像表示部２６及び左光学像表示部２８によって、使用者の右眼と左眼のそれぞれに向けて画像光を照射し、使用者の右眼と左眼のそれぞれに画像光を入射させる構成を例示する。「表示部」の構成はこれに限定されない。すなわち、画像光を照射するものであればよい。例えば本実施形態の構成では、ハーフミラー２６１Ａ、２６２Ａを有する「右導光部」及び「左導光部」によって、使用者の眼に向けて画像光を出射する。また、画像光を生成する構成として、右バックライト２２１及び左バックライト２２２と、右ＬＣＤ２４１及び左ＬＣＤ２４２とを備える。「表示部」はこれらの構成を必須としない。

例えば、画像表示部２０、２０Ｂ、２０Ｃの右表示駆動部２２及び左表示駆動部２４のいずれか、又は両方に内蔵する機構によって生成される画像光を、画像表示部２０の使用者側すなわち使用者の眼を向く側に設けられる反射機構により反射して、使用者の眼に出射してもよい。ここで、反射機構は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いた走査光学系を採用することもできる。すなわち、画像光生成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系を備え、この走査光学系で走査される光が使用者の眼に直接入射する構成としてもよい。また、走査光学系により走査される光によって虚像が形成される光学部材を、画像表示部２０に設けてもよい。この光学部材はＭＥＭＳミラーが走査する走査光による虚像を形成する。この場合、ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が視認（認識）される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、走査光学系はＭＥＭＳミラーを備えた構成に限定されない。画像光を生成する機構も、レーザー光を発するレーザー光源であってもよい。例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／又は反射させて導く機能のみを有するものであってもよい。

ＭＥＭＳ等を有する走査光学系を備えた構成では、画像表示部２０、２０Ｂ、２０Ｃにおける走査光学系の取り付け角度を変更することで、使用者が画像を視認する位置、すなわち画像の表示位置を変更できる。従って、上記各実施形態で表示位置を変更する処理において、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置を変更する動作に代えて、走査光学系の角度を変更する動作を行ってもよい。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。

また、上記各実施形態では使用者の眼前に位置する右光学像表示部２６及び左光学像表示部２８の一部に、ハーフミラー２６１Ａ、２６２Ａにより虚像が形成される構成を例示した。本発明はこれに限定されず、右光学像表示部２６及び左光学像表示部２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図４等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の他の記憶装置（図示略）に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７、又はインターフェイス１１４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置、２０、２０Ｂ、２０Ｃ…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、１００…ＨＭＤ（表示装置、情報処理装置）、１１４…インターフェイス、１１７…通信部、１２０…記憶部、１２２…コンテンツデータ、１２３…表示設定データ、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…撮像制御部、１６４…ＡＲ表示制御部（表示制御部）、１６５…操作検出部（距離検出部）、１６７…対象推定部、１７０…通信制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＯＢ…対象物。

Claims (19)

1. 使用者の視野の少なくとも一部を含む範囲を撮像する撮像部と、
   前記撮像部により撮像された撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれるオブジェクトから対象オブジェクトを推定する制御部と、
   を備えることを特徴とする情報処理装置。
2. 前記制御部は、前記撮像画像に含まれる前記使用者の身体の画像を検出することにより、前記使用者の操作を検出すること、
   を特徴とする請求項１記載の情報処理装置。
3. 前記撮像画像の一部を含む領域と、前記領域において前記使用者の身体の画像を検出する条件とが設定され、
   前記制御部は、前記撮像画像に含まれるオブジェクトについて、当該オブジェクトを含む前記領域に設定された条件に従って、前記使用者の身体の画像か否かを判定し、前記使用者の身体を検出すること、
   を特徴とする請求項２記載の情報処理装置。
4. 前記領域には、前記撮像画像における前記領域の位置に応じて、前記領域に含まれる前記オブジェクトを前記使用者の身体の画像と判定する優先度が設定され、
   前記制御部は、前記オブジェクトを含む前記領域に設定された優先度に従って、前記オブジェクトが前記使用者の身体の画像か否かを判定すること、
   を特徴とする請求項３記載の情報処理装置。
5. 複数の前記領域が設定され、それぞれの前記領域には前記撮像画像における前記領域の位置に応じた優先度が設定されること、
   を特徴とする請求項４記載の情報処理装置。
6. 前記撮像画像の底辺側に位置する前記領域には、当該領域よりも上辺側に位置する前記領域に比べて高い優先度が設定されること、
   を特徴とする請求項４または５記載の情報処理装置。
7. 前記制御部は、前記撮像画像の縁に重なる前記オブジェクトを前記使用者の身体の画像として検出すること、
   を特徴とする請求項２から６のいずれかに記載の情報処理装置。
8. 前記制御部は、前記撮像画像に含まれる人間の手の画像を検出し、前記手の画像が右手か左手か、及び、前記手の画像の前記撮像画像における位置に基づき、検出した前記手の画像を前記使用者の身体の画像と判定すること、
   を特徴とする請求項２から７のいずれかに記載の情報処理装置。
9. 前記制御部は、前記撮像画像において検出した前記人間の手の画像が前記撮像画像の縁を含む場合に、前記手の画像を前記使用者の身体の画像と判定すること、
   を特徴とする請求項８記載の情報処理装置。
10. 対象物までの距離を検出する距離検出部を備え、
    前記制御部は、前記撮像画像に含まれる前記オブジェクトのうち、前記距離検出部により検出される距離が所定の距離以下の前記オブジェクトを前記使用者の身体の画像として検出すること、
    を特徴とする請求項２から９のいずれかに記載の情報処理装置。
11. 前記制御部は、前記撮像画像に含まれる人間の手の画像を検出し、前記手の画像に対応する前記対象物について前記距離検出部により検出された距離が、予め設定された複数の距離を含む場合に、前記手の画像を前記使用者の身体の画像と判定すること、
    を特徴とする請求項２から７のいずれかに記載の情報処理装置。
12. 前記制御部は、前記撮像画像に含まれる前記オブジェクトであって、前記使用者の身体との相対位置の差が所定距離以内の前記オブジェクトを、対象オブジェクトとして推定すること、
    を特徴とする請求項１から１１のいずれかに記載の情報処理装置。
13. 前記制御部は、前記撮像画像から前記使用者の身体の影の画像を検出し、
    前記撮像画像に含まれる前記オブジェクトであって、前記身体の影の画像との相対位置の差が所定距離以内の前記オブジェクトを、対象オブジェクトとして推定すること、
    を特徴とする請求項１２記載の情報処理装置。
14. 前記使用者の身体に装着される身体装着型検出装置の検出状態または検出結果を取得する取得部を備え、
    前記制御部は、前記取得部により取得される検出結果に基づいて、前記対象オブジェクトを推定すること、
    を特徴とする請求項１から１３のいずれかに記載の情報処理装置。
15. 使用者の頭部に装着される表示部と、
    前記使用者の視野の少なくとも一部を含む範囲を撮像する撮像部と、
    前記撮像部により撮像された撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれるオブジェクトから対象オブジェクトを推定する制御部と、
    を備えることを特徴とする表示装置。
16. 前記制御部は、前記撮像画像に含まれる前記オブジェクトと、前記撮像画像に含まれる前記使用者の身体の画像とを検出し、前記使用者の身体以外の前記オブジェクトの位置及び形状に合わせてＧＵＩ画像を前記表示部により表示させること、
    を特徴とする請求項１５記載の表示装置。
17. 対象物までの距離を検出する距離検出部を備え、
    前記制御部は、前記使用者の身体以外の前記オブジェクトに対応する前記対象物までの距離に基づき、前記ＧＵＩ画像を前記表示部により表示させること、
    を特徴とする請求項１６記載の表示装置。
18. 使用者の視野の少なくとも一部を含む範囲を撮像し、
    撮像画像に基づき前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれる複数のオブジェクトから、いずれかの前記オブジェクトを対象オブジェクトとして推定すること、
    を特徴とする情報処理方法。
19. 情報処理装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターにより、
    使用者の視野の少なくとも一部を含む範囲を撮像した撮像画像に基づき、前記使用者の操作を検出し、検出した操作に従って、前記撮像画像に含まれる複数のオブジェクトから、いずれかの前記オブジェクトを対象オブジェクトとして推定する処理を実行するためのプログラム。

Images