JP7724341B2 - ウェアラブル端末装置、プログラムおよび画像処理方法 - Google Patents

Description

本開示は、ウェアラブル端末装置、プログラムおよび画像処理方法に関する。

従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、特許文献１及び特許文献２）。

ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。

ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。

米国特許出願公開第２０１９／００８７０２１号明細書 米国特許出願公開第２０１９／０３４０８２２号明細書

本開示のウェアラブル端末装置は、ユーザの視認領域として空間を撮影するカメラと、前記ユーザが視認可能な表示部と、少なくとも一つのプロセッサと、を備える。前記少なくとも一つのプロセッサは、前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させ、前記ユーザの所定操作に基づいて、前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させ、前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させ、表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する。

また、本開示のプログラムは、ユーザの視認領域として空間を撮影するカメラと、前記ユーザが視認可能な表示部と、少なくとも一つのプロセッサと、を備えたウェアラブル端末装置を制御可能なコンピュータにより実行される。前記プログラムは、前記コンピュータに、前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させる処理と、前記ユーザの所定操作に基づいて、前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させる処理と、前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させる処理と、表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する処理と、を実行させる。

また、本開示の画像処理方法は、ユーザの視認領域として空間を撮影するカメラと、前記ユーザが視認可能な表示部と、少なくとも一つのプロセッサと、を備えたウェアラブル端末装置を制御可能なコンピュータが実行させる画像処理方法である。当該画像処理方法では、前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させ、前記ユーザの所定操作に基づいて、前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させ、前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させ、表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する。

ウェアラブル端末装置の構成を示す模式斜視図である。 ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。 空間における視認領域を説明する図である。 ウェアラブル端末装置の主要な機能構成を示すブロック図である。 キャプチャ領域を特定するための第１ジェスチャ操作の例を示す図である。 キャプチャ領域を特定するための第１ジェスチャ操作の例を示す図である。 カメラによる空間の全体の撮影画像を示す図である。 メニュー仮想画像を表示させるための第３ジェスチャ操作を説明する図である。 キャプチャ仮想画像が表示された状態の視認領域の例を示す図である。 キャプチャ仮想画像の表示方法の一例を示す図である。 キャプチャ仮想画像の表示方法の一例を示す図である。 外枠が強調表示されたキャプチャ仮想画像、およびキャプチャ仮想画像の移動方法を示す図である。 キャプチャ仮想画像の拡張方法を示す図である。 キャプチャ仮想画像から仮想画像領域を削除する動作を示す図である。 キャプチャ仮想画像から空間画像領域を削除する動作を示す図である。 キャプチャ仮想画像に含まれる仮想画像を複製する動作を示す図である。 キャプチャ仮想画像に含まれる仮想画像を複製する動作を示す図である。 キャプチャ仮想画像の移動方法を指定するための移動方法指定ボタンを示す図である。 キャプチャ仮想画像の枠内で仮想画像を移動させる動作を示す図である。 キャプチャ仮想画像の枠外に仮想画像を移動させる動作を示す図である。 キャプチャ仮想画像から人物の情報を抽出して表示する動作を示す図である。 抽出情報仮想画像の他の例を示す図である。 キャプチャ仮想画像から物品の情報を抽出して表示する動作を示す図である。 キャプチャ仮想画像から場所の情報を抽出して表示する動作を示す図である。 キャプチャ仮想画像から情報を抽出して表示する動作の他の例を示す図である。 キャプチャ仮想画像から文字の情報を抽出して表示する動作を示す図である。 抽出した文字の情報に対する各種処理を実行する場合の動作を示す図である。 キャプチャ仮想画像から二次元コードの情報を抽出して表示する動作を示す図である。 キャプチャ画像の生成時の位置情報を表示する動作を示す図である。 キャプチャ画像の生成時のユーザ情報を表示する動作を示す図である。 キャプチャが禁止されているときの表示動作を示す図である。 キャプチャ画像に音声を対応付けて記憶させる場合の表示動作を示す図である。 キャプチャ画像に音声が対応付けられている場合のキャプチャ仮想画像を示す図である。 他の物体の表面に表示されたキャプチャ仮想画像を示す図である。 表示対象とともに移動するキャプチャ仮想画像を示す図である。 表示対象とともに回転するキャプチャ仮想画像を示す図である。 キャプチャ仮想画像表示処理の制御手順を示すフローチャートである。 キャプチャ仮想画像表示処理の制御手順を示すフローチャートである。 第２の実施形態に係る表示システムの構成を示す模式図である。 外部機器の主要な機能構成を示すブロック図である。 画面共有中のウェアラブル端末装置の視認領域を示す図である。 画面共有中の外部機器の指示者用画面に表示されるダイアログ画像を示す図である。 画面共有中のウェアラブル端末装置の視認領域に表示されるダイアログ仮想画像を示す図である。 第３の実施形態に係る表示システムの構成を示す模式図である。 情報処理装置の主要な機能構成を示すブロック図である。

以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０、外部機器２０および情報処理装置８０は、参照する各図に示されていない任意の構成部材を備え得る。

〔第１の実施形態〕
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。

本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。

バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図４参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。

図２に示すように、仮想画像３０（第１の仮想画像）が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図２では、仮想画像３０として平面状のウィンドウ画面を例示しているが、これに限られず、仮想画像３０は、例えば矢印等のオブジェクトであってもよいし、各種の立体画像（立体の仮想オブジェクト）であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。

ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図３に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＵの前方に位置する領域である。例えば、視認領域４１は、ユーザＵの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＵの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。

ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。

また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。

なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。

仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図２においては、視認領域４１が鎖線で示されている。

バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。

図２に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線４１１と、ポインタ４１２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ４１２は、仮想線４１１と仮想画像３０との交点に表示される。仮想線４１１が仮想画像３０と交差しない場合には、仮想線４１１と空間４０の壁面等との交点にポインタ４１２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線４１１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ４１２を直接表示させてもよい。

ユーザが手を伸ばす方向を変えることで、仮想線４１１の方向およびポインタ４１２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３１、ウィンドウ形状変更ボタン３２、およびクローズボタン３３等）にポインタ４１２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ４１２をクローズボタン３３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ４１２を機能バー３１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。

このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。

次に、図４を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６と、マイク１７と、スピーカー１８などを備え、これらの各部はバス１９により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。

ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。

なお、図４では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。

記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。

表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。

センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図４に示されていないセンサーをさらに有していてもよい。

加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。

角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。

深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。

カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１として空間４０を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４により撮影された空間４０の画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器において表示するためにも用いられる。また、カメラ１５４により撮影された空間４０の画像は、後述するように視認領域４１をキャプチャ画像として記憶させる場合に、視認領域４１の画像として用いられる。

アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。

通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器との間で無線通信によるデータの送受信を行う。また、通信部１６は、外部機器との間で音声データ通信を行うことができる。すなわち、通信部１６は、マイク１７により収集された音声データを外部機器に送信し、スピーカー１８から音声を出力させるために外部機器から送信された音声データを受信する。

マイク１７は、ユーザの声などの音を電気信号に変換してＣＰＵ１１に出力する。

スピーカー１８は、入力された音声データを機械的な振動に変換して音として出力する。

このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。

ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。

ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。

ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。

ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて仮想画像３０を特定し、その時点における視認領域４１と、仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、仮想画像を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に仮想画像３０があれば表示部１４に表示される。

なお、通信部１６を介して外部機器から取得した指示データに基づいて仮想画像データ１３２を生成し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。あるいは、通信部１６を介して外部機器から仮想画像データ１３２そのものを取得し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。例えば、遠隔指示者が操作する外部機器にウェアラブル端末装置１０のカメラ１５４の映像を表示させるとともに、外部機器から仮想画像３０を表示する指示を受け付け、指示された仮想画像３０をウェアラブル端末装置１０の表示部１４に表示させてもよい。これにより、例えば、作業対象物の近傍に作業内容を示す仮想画像３０を表示させて、遠隔指示者からウェアラブル端末装置１０のユーザに対して作業を指示するといった動作が可能となる。

ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線４１１と、ポインタ４１２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ４１２の位置とに応じた処理を実行する。

次に、ウェアラブル端末装置１０の動作について、視認領域４１のキャプチャ動作を中心に説明する。

ウェアラブル端末装置１０は、カメラ１５４を備えているため、ユーザの操作に応じたタイミングでカメラ１５４に空間４０を撮影させて撮影画像を記憶させることで、その時点におけるユーザの視認領域４１をキャプチャすることができる。しかしながら、単にカメラ１５４により撮影された視認領域４１の全体の画像を記憶させる単純な方法では、キャプチャされた画像を必ずしもユーザが所望の用途で活用することができず、利便性が低い。このため、従来、ウェアラブル端末装置１０における視認領域４１のキャプチャ機能について、ユーザの利便性を考慮したユーザインターフェースの改良が求められていた。

これに対し、本開示のウェアラブル端末装置１０は、視認領域４１のキャプチャに関する種々の機能を搭載している。以下、これらの機能に係る動作、および当該動作を実現するためにＣＰＵ１１が実行する処理について説明する。

図５および図６に示すように、本開示のウェアラブル端末装置１０のＣＰＵ１１は、ユーザの第１ジェスチャ操作に基づいて、カメラ１５４により撮影された空間４０における視認領域４１の一部をキャプチャ領域Ｒ（図６および図７参照）として特定し、特定したキャプチャ領域Ｒに対応するキャプチャ画像Ｃを記憶部１３に記憶させる。これにより、視認領域４１のうちユーザが所望する一部をキャプチャ画像Ｃとして記憶部１３に記憶させることができるため、ユーザ利便性を高めることができる。キャプチャ画像Ｃは、視認領域４１のうちキャプチャ領域Ｒに相当する部分の画像を含む。また、視認領域４１に仮想画像３０が表示されており、キャプチャ領域Ｒにこの仮想画像３０が含まれている場合には、キャプチャ画像Ｃには、当該仮想画像３０も反映される。よって、キャプチャ画像Ｃは、キャプチャ領域Ｒが特定されたときにユーザがバイザー１４１越しに視認している視界の一部をそのまま切り取った画像である。

キャプチャ領域Ｒを特定するための第１ジェスチャ操作は、図５に示すように、ユーザの手のうち所定の部分の軌跡が視認領域４１の一部を囲むように手を動かすジェスチャ操作であってもよい。この場合において、ユーザの手のうち所定の部分の軌跡が囲む領域を、キャプチャ領域Ｒとして特定することができる。第１ジェスチャ操作は、例えば、少なくとも一つの指を立てて、その指先の軌跡によりキャプチャ領域Ｒを囲むジェスチャ操作であってもよい。指を立てることで、他のジェスチャ操作と区別して誤検出を低減することができる。また、第１ジェスチャ操作は、両手を使った操作であってもよい。また、ユーザの手又は指に代えて、ポインタ４１２の軌跡が囲む領域をキャプチャ領域Ｒとして特定してもよい。図５では、視認領域４１のうち、人物４４と、仮想画像３０の一部とを含む範囲がキャプチャ領域Ｒとして特定されている。

キャプチャ領域Ｒを特定するための第１ジェスチャ操作は、図６に示すように、予め設定された大きさのキャプチャ枠ｒを、視認領域４１における所望の位置に移動させて位置を確定させるジェスチャ操作であってもよい。キャプチャ枠ｒを動かす操作は、ユーザの指（またはポインタ４１２）の位置をキャプチャ枠ｒに合わせた状態で手（またはポインタ）を動かす操作であってもよい。また、キャプチャ枠ｒの位置を確定させる操作は、ユーザの手（指）で空間を叩く操作であってもよい。ここで、空間を叩く操作は、手（指）を自身から遠ざけたのちに近付ける操作を２回繰り返す操作などであってもよい。また、キャプチャ枠ｒの一部を指でつまんだ状態で（またはポインタ４１２により選択した状態で）手を動かすジェスチャ操作などによって、キャプチャ枠ｒの大きさを変更できるようになっていてもよい。あるいは、異なる大きさの２以上のキャプチャ枠ｒを表示させて、いずれかのキャプチャ枠ｒをユーザが選択できるようになっていてもよい。キャプチャ枠ｒの位置が確定すると、キャプチャ枠ｒにより囲まれた領域がキャプチャ領域Ｒとして特定される。

キャプチャ領域Ｒが特定されると、ＣＰＵ１１は、その時点におけるカメラ１５４による空間４０の全体の撮影画像Ｄ（図７参照）を記憶部１３に記憶させる。また、ＣＰＵ１１は、撮影画像Ｄに、表示部１４に表示させている仮想画像３０を合成した合成画像Ｅ（図５の上図、および図６の上図に示されている視認領域４１に相当）を記憶部１３に記憶させる。また、ＣＰＵ１１は、この合成画像Ｅからキャプチャ領域Ｒに対応する部分画像を抽出してキャプチャ画像Ｃとして記憶部１３に記憶させる。このように、ＣＰＵ１１は、キャプチャ領域に第１の仮想画像としての仮想画像３０の少なくとも一部が含まれる場合に、仮想画像３０の少なくとも一部が含まれるキャプチャ画像Ｃを記憶部１３に記憶させる。これにより、仮想画像３０を含むユーザの視界をそのままキャプチャ画像Ｃとして記憶させることができる。

ユーザは、上記の第１ジェスチャ操作を行う場合には、まず所定の操作を行って、ウェアラブル端末装置１０を、第１ジェスチャ操作を受け付け可能な状態に移行させる。例えば、図８に示すように、ユーザは、所定の第３ジェスチャ操作を行ってメニュー仮想画像６１（第３の仮想画像）を表示部１４に表示させる。そして、メニュー仮想画像６１において、第１ジェスチャ操作の受け付けを開始させるためのキャプチャ操作開始ボタン６１１または６１２を選択する。メニュー仮想画像６１を表示させるための第３ジェスチャ操作は、両手を所定の位置関係となるように動かすものであってもよい。例えば、図８の左上に示すように、左手の手首を右手の指で指し示すジェスチャ操作であってもよい。ＣＰＵ１１は、この第３ジェスチャ操作を検出すると、表示部１４にメニュー仮想画像６１を表示させる。また、第３ジェスチャ操作は、図８の右上に示すように、視認領域４１の外側から視認領域４１内に、所定の方向で手（またはポインタ４１２）を動かすジェスチャ操作であってもよい。ＣＰＵ１１は、この第３ジェスチャ操作を検出すると、手の動きに追従するように（図８の例では左側から）メニュー仮想画像６１をスライドインさせて表示部１４に表示させる。このように、ＣＰＵ１１は、ユーザの第３ジェスチャ操作に応じて、第１ジェスチャ操作の受け付けを開始するための第３の仮想画像としてのメニュー仮想画像６１を表示部１４に表示させる。これにより、簡易にキャプチャ動作を開始させることができる。

メニュー仮想画像６１のキャプチャ操作開始ボタン６１１を選択するジェスチャ操作が行われると、ＣＰＵ１１は、図５に示したように、指先等によりキャプチャ領域Ｒを囲む第１ジェスチャ操作を受け付ける。また、キャプチャ操作開始ボタン６１２を選択するジェスチャ操作が行われると、ＣＰＵ１１は、図６に示したように、キャプチャ枠ｒによりキャプチャ領域Ｒを特定する第１ジェスチャ操作を受け付ける。このように、ＣＰＵ１１は、第１ジェスチャ操作の種別に応じて互いに異なる方法でキャプチャ領域Ｒを特定し、第３の仮想画像としてのメニュー仮想画像６１に対する操作に応じて、受け付ける第１ジェスチャ操作の種別を特定する。これにより、ユーザは、キャプチャ領域Ｒを特定するための所望の第１ジェスチャ操作を選択することができる。

なお、メニュー仮想画像６１を経由せずに第１ジェスチャ操作を受け付ける状態に移行可能とされていてもよい。例えば、上記のようにユーザの手（指）で空間を叩く操作に応じて、第１ジェスチャ操作を受け付ける状態に移行してもよい。また、仮想画像３０の機能バー３１などに、キャプチャを開始するためのアイコンを設け、当該アイコンを選択する操作に応じて、第１ジェスチャ操作を受け付ける状態に移行してもよい。

図９に示すように、記憶部１３に記憶されたキャプチャ画像Ｃは、キャプチャ仮想画像５０（第２の仮想画像）として表示部１４に表示させることができる。ＣＰＵ１１は、キャプチャ画像Ｃを記憶部１３に記憶すると、当該キャプチャ画像Ｃをキャプチャ仮想画像５０（第２の仮想画像）として表示部１４に表示させてもよい。これによれば、ユーザが特段のジェスチャ操作を行わなくても、自動的にキャプチャ仮想画像５０を表示させることができる。また、ＣＰＵ１１は、ユーザの第２ジェスチャ操作に応じて、キャプチャ画像Ｃをキャプチャ仮想画像５０（第２の仮想画像）として表示部１４に表示させてもよい。これによれば、ユーザは、意図したタイミングで所望の位置にキャプチャ仮想画像５０を表示させることができる。

図９に示すように、第２の仮想画像としてのキャプチャ仮想画像５０を表示する前に、第１の仮想画像としての仮想画像３０が表示されていた場合には、ＣＰＵ１１は、空間４０において、キャプチャ仮想画像５０を仮想画像３０よりユーザに近い位置に表示させてもよい。これにより、キャプチャ仮想画像５０の全体を視認可能な態様でキャプチャ仮想画像５０を表示させることができる。

第２ジェスチャ操作に応じてキャプチャ仮想画像５０を表示させる場合における第２ジェスチャ操作は、手または指の動作に応じたものであれば、特には限られない。第２ジェスチャ操作は、例えば、手（左手および／または右手）の特定の動き、指の特定の動き、手指の開閉、またはこれらの組み合わせなどとすることができる。また、第２ジェスチャ操作は、ポインタ４１２を動かすものであってもよい。また、異なる複数の種別の第２ジェスチャ操作に応じてそれぞれキャプチャ仮想画像５０が表示されてもよい。第２ジェスチャ操作が行われると、ＣＰＵ１１は、第２ジェスチャ操作の種別に応じて予め定められているユーザとの相対位置に、キャプチャ仮想画像５０を表示させる。この相対位置は、例えば、掌もしくは指の近傍、またはユーザの目線上などとすることができる。図１０には、左手の手首を右手の指で指し示す第２ジェスチャ操作に応じて、左手の指先の近傍にキャプチャ仮想画像５０が表示される例が示されている。このように、ＣＰＵ１１は、第２ジェスチャ操作に応じて、ユーザとの所定の相対位置に第２の仮想画像としてのキャプチャ仮想画像５０を表示させ、相対位置は、第２ジェスチャ操作の種別ごとに予め設定されている。これにより、簡易な操作で所望の位置にキャプチャ仮想画像５０を表示させることができる。

キャプチャ仮想画像５０を表示させる方法は、上記に限られず、例えば図１１に示すように、記憶部１３に記憶されている一または二以上のキャプチャ画像Ｃから、キャプチャ仮想画像５０として表示させる１つを選択する方法であってもよい。図１１の例では、上図に示すように、視認領域４１の外側（右側）から視認領域４１内に手（または、ポインタ４１２）を移動させるジェスチャ操作により、手の動きに追従するように、視認領域４１の右端からキャプチャ画像Ｃのリスト領域Ｌがスライドインして表示される。次に、図１１の下図に示すように、リスト領域Ｌの１つのキャプチャ画像Ｃに指を当てて（またはポインタ４１２により選択した状態で）視認領域４１内にドラッグするジェスチャ操作により、キャプチャ画像Ｃをキャプチャ仮想画像５０として表示部１４に表示させることができる。リスト領域Ｌに含まれるキャプチャ画像Ｃが１つである場合には、上記のドラッグ操作に応じてリスト領域Ｌを消去させてもよい。リスト領域Ｌに含まれるキャプチャ画像Ｃが２つ以上である場合には、上記のドラッグ操作後もリスト領域Ｌを表示させて、引き続き他のキャプチャ画像Ｃに対するドラッグ操作を行えるようにしてもよい。また、リスト領域Ｌを示す画像は、所定の条件に基づき決定されてもよい。例えば、ＣＰＵ１１は、ウェアラブル端末装置１０にログインした際のユーザＩＤに基づいて、当該ユーザＩＤに紐づく特定の画像を、リスト領域Ｌを示す画像として表示させてもよい。

図１２に示すように、ＣＰＵ１１は、第２の仮想画像としてのキャプチャ仮想画像５０の外枠を所定の強調態様で表示させてもよい。これにより、キャプチャ仮想画像５０を視認しやすくすることができる。強調態様の一例は、図１２に示すように、キャプチャ仮想画像５０の外枠を仮想画像３０の外枠よりも太くすることであるが、これに限られない。

また、図１２に示すように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第４ジェスチャ操作に応じてキャプチャ仮想画像５０を移動させる。これにより、ユーザは、キャプチャ仮想画像５０の表示位置を任意に変更することができる。第４ジェスチャ操作は、特には限られないが、キャプチャ仮想画像５０の所定の部分（例えば、上部の機能バー）、または任意の一部を選択した状態で手を動かす操作であってもよい。

図１３に示すように、ユーザは、所定の第５ジェスチャ操作を行うことで、キャプチャ仮想画像５０の表示領域を拡張することができる。第５ジェスチャ操作は、例えば、キャプチャ仮想画像５０の外枠の一部を指でつまんだ状態で（または、ポインタ４１２により選択した状態で）手を動かす操作であってもよい。キャプチャ仮想画像５０の拡張に応じて、キャプチャ仮想画像５０に反映させるキャプチャ領域Ｒの範囲が拡張される。拡張後のキャプチャ仮想画像５０は、拡張前の初期表示領域５０ａと、拡張された拡張領域５０ｂとを含む。拡張領域５０ｂの画像は、キャプチャ画像Ｃを生成したときに記憶させておいた視認領域４１の全体の合成画像Ｅから抽出すればよい。言い換えると、合成画像Ｅのうち拡張後のキャプチャ領域Ｒに相当する部分が抽出されて新たなキャプチャ画像Ｃが生成され、当該新たなキャプチャ画像Ｃに基づいて拡張後のキャプチャ仮想画像５０が表示される。なお、第５ジェスチャ操作に応じて、キャプチャ仮想画像５０を縮小することもできる。このように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第５ジェスチャ操作に応じてキャプチャ仮想画像５０を拡張または縮小させ、当該拡張または縮小に応じて、キャプチャ仮想画像５０に反映させるキャプチャ領域Ｒの範囲を拡張または縮小させる。これにより、キャプチャ仮想画像５０を表示させた後であっても、キャプチャ範囲を変更することができる。

図１４の上図に示すように、キャプチャ仮想画像５０に、仮想画像３０に相当する仮想画像領域５１と、背景の空間４０に相当する空間画像領域５２とが含まれている場合において、下図に示すように、仮想画像領域５１を選択的に削除することができる。以下では便宜上、キャプチャ仮想画像５０のうちの仮想画像領域５１を、「キャプチャ仮想画像５０に含まれる仮想画像３０」と記す場合がある。仮想画像領域５１の削除は、ユーザの第６ジェスチャ操作に応じて行われる。第６ジェスチャ操作は、特には限られないが、例えば仮想画像領域５１をダブルタップする操作、または長押しする操作などであってもよい。仮想画像領域５１が削除された後のキャプチャ仮想画像５０のうち、削除前に仮想画像領域５１が表示されていた範囲には、背景の空間４０が表示される。この空間４０の画像は、キャプチャ画像Ｃを生成したときに記憶させておいた空間４０の撮影画像Ｄ（図７参照）から抽出される。このように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第６ジェスチャ操作に応じて、キャプチャ仮想画像５０に含まれる第１の仮想画像としての仮想画像３０を削除し、当該削除した領域に、当該領域に相当する空間４０の画像を表示させる。これにより、キャプチャ仮想画像５０を表示させた後であっても、キャプチャ仮想画像５０から仮想画像３０を削除することができる。この場合において、ＣＰＵ１１は、キャプチャ仮想画像５０に含まれる仮想画像３０を所定の強調態様で表示させてもよい。これにより、削除対象の仮想画像領域５１を視認しやすくすることができる。強調態様の一例は、図１４の上図に示すように、仮想画像領域５１の外枠を太くすることであるが、これに限られない。

図１５の上図に示すように、キャプチャ仮想画像５０に仮想画像領域５１と空間画像領域５２とが含まれている場合において、下図に示すように、キャプチャ仮想画像５０のうち空間画像領域５２を選択的に削除することができる。仮想画像領域５１の削除は、ユーザの第７ジェスチャ操作に応じて行われる。第７ジェスチャ操作は、特には限られないが、例えば空間画像領域５２をダブルタップする操作、または長押しする操作などであってもよい。空間画像領域５２が削除された後のキャプチャ仮想画像５０は、仮想画像領域５１のみを含んでいてもよい。仮想画像領域５１の画像は、削除前のキャプチャ画像Ｃから抽出してもよい。また、仮想画像領域５１の画像は、記憶部１３に記憶されている仮想画像データ１３２から抽出してもよい。すなわち、キャプチャ画像Ｃの記憶時に仮想画像３０を特定するためのＩＤを記憶しておき、当該ＩＤを参照して仮想画像データ１３２から仮想画像領域５１の画像データを特定して取得してもよい。このように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第７ジェスチャ操作に応じて、キャプチャ仮想画像５０のうち仮想画像３０以外の部分を削除する。これにより、キャプチャ仮想画像５０を表示させた後であっても、キャプチャ仮想画像５０から背景の空間４０を削除することができる。この場合において、ＣＰＵ１１は、キャプチャ仮想画像５０に含まれる仮想画像３０以外の部分（空間画像領域５２）を所定の強調態様で表示させてもよい。これにより、削除対象の空間画像領域５２を視認しやすくすることができる。強調態様の一例は、図１５の上図に示すように、空間画像領域５２の外枠を太くすることであるが、これに限られない。

図１６に示すように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第１０ジェスチャ操作に応じて、キャプチャ仮想画像５０の少なくとも一部を複製して第５の仮想画像としての仮想画像３４を表示させてもよい。これにより、キャプチャ仮想画像５０の一部を別個の仮想画像３４として取り扱うことが可能となるため、ユーザ利便性を高めることができる。

別の観点では、ＣＰＵ１１は、図１６の上図に示すように、第２の仮想画像としてのキャプチャ仮想画像５０に第１の仮想画像としての仮想画像３０の一部が含まれる場合に、表示させた仮想画像３０に対するユーザの第８ジェスチャ操作に応じて、仮想画像３０の上記一部を複製して第４の仮想画像としての仮想画像３４を表示させてもよい。これにより、キャプチャ仮想画像５０に含まれる仮想画像３０の一部を抽出して別個の仮想画像３４として取り扱うことが可能となるため、ユーザ利便性を高めることができる。ここで、複製元のキャプチャ仮想画像５０における仮想画像領域５１は、複製後に所定の抑制態様で表示させてもよい。これにより、複製された対象を分かりやすく示すことができる。抑制態様は、特には限られないが、例えば画像を半透明にする態様であってもよい。複製する仮想画像３４（仮想画像３０の一部）の画像は、記憶部１３に記憶されている仮想画像データ１３２から抽出してもよい。すなわち、キャプチャ画像Ｃの記憶時に仮想画像３０のＩＤを記憶しておき、当該ＩＤを参照して仮想画像データ１３２から仮想画像３０の画像データの一部を取得してもよい。上記の第１０ジェスチャ操作および第８ジェスチャ操作は、特には限られないが、例えば空間画像領域５２をダブルタップする操作、または長押しする操作などであってもよい。

図１７の上図に示すように、キャプチャ仮想画像５０のうち仮想画像３０の一部に相当する仮想画像領域５１に対して第８ジェスチャ操作が行われた場合に、図１７の下図に示すように、仮想画像３０の全体を復元して仮想画像３５として表示させてもよい。したがって、仮想画像３５の内容は、仮想画像３０の内容と同一となる。この場合には、複製する仮想画像３５の画像は、記憶部１３に記憶されている仮想画像データ１３２から抽出すればよい。すなわち、キャプチャ画像Ｃの記憶時に仮想画像３０のＩＤを記憶しておき、当該ＩＤを参照して仮想画像データ１３２から仮想画像３０の全体の画像データを取得すればよい。なお、複製した仮想画像３５を表示させるとともに、キャプチャ仮想画像５０の内部にあった仮想画像３０の一部（仮想画像領域５１）を削除してもよい。これによれば、キャプチャ仮想画像５０の枠内から枠外へ、仮想画像３０を移動させたような視覚効果が得られる。

なお、図１６および図１７に示すようにキャプチャ仮想画像５０に含まれる仮想画像３０の一部または全部を複製する場合において、複製を許可された仮想画像３０のみ複製可能とし、複製を許可されていない仮想画像３０については複製を行わないこととしてもよい。

図１８～図２０に示すように、キャプチャ仮想画像５０に仮想画像領域５１（仮想画像３０の少なくとも一部）が含まれる場合に、当該仮想画像領域５１をキャプチャ仮想画像５０の枠内で、および／または枠外に移動させることが可能であってもよい。このような移動を行う場合には、ユーザは、所定のジェスチャ操作（例えば、キャプチャ仮想画像５０内を長押しする操作）を行って、図１８に示すように、仮想画像領域５１の移動方法を指定するための移動方法指定ボタン９１～９３を表示させる。移動方法指定ボタン９１は、仮想画像領域５１をキャプチャ仮想画像５０の枠内で移動させるためのボタンであり、移動方法指定ボタン９２は、仮想画像領域５１をキャプチャ仮想画像５０の枠内で、および／または枠外に移動させるためのボタンであり、移動方法指定ボタン９３は、仮想画像領域５１をキャプチャ仮想画像５０の枠外に移動させるためのボタンである。

ユーザが移動方法指定ボタン９１を選択する第９ジェスチャ操作を行うと、ＣＰＵ１１は、キャプチャ仮想画像５０の枠内で仮想画像領域５１（仮想画像３０の少なくとも一部）を移動させる動作の開始を受け付ける。この状態で、図１９に示すように、ユーザがキャプチャ仮想画像５０の枠内の仮想画像領域５１をドラッグするジェスチャ操作を行うと、ドラッグに追従するように仮想画像領域５１がキャプチャ仮想画像５０の枠内で移動する。ここでは、キャプチャ仮想画像５０の外形は変わらないため、仮想画像領域５１の移動に伴って、キャプチャ仮想画像５０内に表示される仮想画像領域５１の大きさ（仮想画像３０の表示範囲）が拡張または縮小される。仮想画像領域５１の移動に応じて、移動前に仮想画像領域５１が位置していた領域に影５１ａを表示してもよい。

ユーザが移動方法指定ボタン９３を選択する第９ジェスチャ操作を行うと、ＣＰＵ１１は、キャプチャ仮想画像５０の枠外に仮想画像領域５１（仮想画像３０の一部）を移動させる動作の開始を受け付ける。この状態で、図２０に示すように、ユーザがキャプチャ仮想画像５０の枠外に仮想画像領域５１をドラッグするジェスチャ操作を行うと、キャプチャ仮想画像５０の枠外に、仮想画像３０の全体を複製した仮想画像３５が表示される。あるいは、図１６の仮想画像３４のように、キャプチャ仮想画像５０内の仮想画像領域５１と対応する部分をそのまま枠外に移動させてもよい。また、仮想画像３５（または仮想画像３４）の表示に応じて、キャプチャ仮想画像５０の枠内にあった仮想画像領域５１は削除されてもよい。

ユーザが移動方法指定ボタン９２を選択する第９ジェスチャ操作を行った場合には、ＣＰＵ１１は、キャプチャ仮想画像５０の枠内での仮想画像領域５１の移動、およびキャプチャ仮想画像５０の枠外への仮想画像領域５１の移動の双方の開始を受け付ける。すなわち、ＣＰＵ１１は、ユーザがキャプチャ仮想画像５０の枠内で仮想画像領域５１をドラッグするジェスチャ操作を行った場合には、図１９に示すようにキャプチャ仮想画像５０の枠内で仮想画像領域５１を移動させ、ユーザがキャプチャ仮想画像５０の枠外に仮想画像領域５１をドラッグするジェスチャ操作を行った場合には、図２０に示すようにキャプチャ仮想画像５０の枠外に仮想画像３５（または仮想画像３４）を表示させる。

このように、ＣＰＵ１１は、表示させた第２の仮想画像としてのキャプチャ仮想画像５０に対するユーザの第９ジェスチャ操作に応じて、キャプチャ仮想画像５０に含まれる第１の仮想画像としての仮想画像３０を複数の移動方法のいずれかにより移動させる動作の開始を受け付け、複数の移動方法は、キャプチャ仮想画像５０内で仮想画像３０の表示範囲を拡張または縮小させる方法と、キャプチャ仮想画像５０の外部に仮想画像３０を移動させて仮想画像３４として表示する方法と、を含む。これにより、キャプチャ仮想画像５０内の仮想画像３０を所望の態様で移動させることができる。

本開示のウェアラブル端末装置１０では、キャプチャ仮想画像５０から情報を抽出して表示することができる。すなわち、ＣＰＵ１１は、第２の仮想画像としてのキャプチャ仮想画像５０に、情報を抽出可能な抽出対象が含まれる場合に、当該抽出対象から情報を抽出して表示部１４に表示させる。また、情報の抽出対象は、人物、物品、場所、文字およびコード情報のうちの少なくとも一つであってもよい。これによれば、キャプチャ仮想画像５０に含まれる人物、物品、場所、文字およびコード情報などから抽出可能な情報に簡易にアクセスすることができる。以下、情報の抽出に係る種々の態様について、図２１～図３０を参照して説明する。

図２１に示すように、キャプチャ仮想画像５０に人物４４の画像が含まれており、当該人物４４の画像から情報を抽出することが可能である場合には、抽出した情報を含む抽出情報仮想画像６２（第６の仮想画像）が表示される。抽出情報仮想画像６２は、キャプチャ仮想画像５０が表示されている状態でユーザの所定の操作がなされた場合に表示されてもよいし、キャプチャ仮想画像５０の表示とともに自動的に表示されてもよい。抽出情報仮想画像６２には、人物４４の顔写真６２１、氏名、所属およびコンタクトＩＤなどの情報が表示されている。顔写真６２１が取得できない場合には、取得できない旨の表示がなされてもよい。顔写真６２１を選択するジェスチャ操作に応じて、人物４４にアクセスするための動作（例えば通話動作）が開始されてもよい。また、コンタクトＩＤは、人物４４にコンタクトを取るために用いられる符号または番号等であり、例えば電話番号であってもよい。キャプチャ仮想画像５０から人物４４の情報を抽出する方法は、特には限られないが、例えば、人物４４の画像の特徴解析を行い、予め複数の人物に係る情報が登録されているデータベースを参照して特徴解析の結果に一致する人物を特定し、当該人物の情報をデータベースから取得する方法を用いてもよい。

また、抽出情報仮想画像６２には、人物４４にコンタクトを取るために実行されるアプリケーションプログラム（以下、アプリと記す）のアイコン６２２（標識）が表示されていてもよい。当該アプリは、情報の抽出対象の種別（ここでは、人物）に応じて予め定められている。アイコン６２２を選択するジェスチャ操作がなされると、アイコン６２２に対応するアプリ（ここでは、電話帳アプリ）が実行される。このように、ＣＰＵ１１は、第２の仮想画像としてのキャプチャ仮想画像５０に、情報を抽出可能な抽出対象が含まれる場合に、当該抽出対象の種別に応じて予め定められたアプリケーションを起動するための標識としてのアイコン６２２を表示部１４に表示させてもよい。これにより、抽出対象の種別に応じた適切なアプリを簡易に起動させることができる。なお、アイコン６２２の表示を省略し、顔写真６２１またはコンタクトＩＤ（電話番号等）を選択するジェスチャ操作に応じて、人物４４にコンタクトを取るためのアプリが起動して通話動作などが開始されてもよい。

図２１では、抽出情報仮想画像６２の表面（第１面）に各種情報およびアイコン６２２が表示され、裏面（第２面）には情報が表示されていない。ただし、この態様に限られず、例えば図２２に示すように、抽出情報仮想画像６２の裏面にアイコン６２２が表示されていてもよい。すなわち、ＣＰＵ１１は、抽出対象から抽出した情報を含む第６の仮想画像としての抽出情報仮想画像６２を表示部１４に表示させ、抽出情報仮想画像６２の第１面、および当該第１面とは反対側の第２面の少なくとも一方に標識としてのアイコン６２２を表示させる。これにより、抽出情報仮想画像６２の表示位置や向きなどに応じて、アクセスしやすい位置にアイコン６２２を表示させることができる。

図２３に示すように、キャプチャ仮想画像５０に物品４５（ここでは、マスク）の画像が含まれており、当該物品４５の画像から情報を抽出することが可能である場合には、抽出した情報を含む抽出情報仮想画像６３（第６の仮想画像）が表示される。抽出情報仮想画像６３には、Ｗｅｂ上（例えばＥＣサイト）から取得された物品４５の画像６３１、物品４５の製品名、メーカー、コンタクトＩＤおよび価格などの情報が表示されている。画像６３１が取得できない場合には、取得できない旨の表示がなされてもよい。画像６３１を選択するジェスチャ操作に応じて、物品４５の情報にアクセス可能なＷｅｂサイト（例えばＥＣサイト）などが表示されてもよい。また、コンタクトＩＤは、物品４５の情報を取得したり購入したりするために用いられる符号または番号等であり、例えば電話番号やＵＲＬなどであってもよい。キャプチャ仮想画像５０から物品４５の情報を抽出する方法は、特には限られないが、例えば、上記の人物４４の特定方法と同様の方法で物品４５を特定し、当該物品４５の情報をデータベースから取得する方法を用いてもよい。

また、抽出情報仮想画像６３には、物品４５の情報にアクセスするために実行されるアプリのアイコン６３２（標識）が表示されていてもよい。当該アプリは、情報の抽出対象の種別（ここでは、物品）に応じて予め定められている。アイコン６３２を選択するジェスチャ操作がなされると、アイコン６３２に対応するアプリ（ここでは、ブラウザアプリ）が実行される。なお、アイコン６３２の表示を省略し、物品４５の画像６３１またはコンタクトＩＤ（ＵＲＬ等）を選択するジェスチャ操作に応じて、物品４５の情報にアクセスするためのアプリ（ブラウザアプリ等）が起動して、例えば物品４５を購入可能なＥＣサイトが表示されてもよい。

図２４に示すように、キャプチャ仮想画像５０の背景の空間４０の画像などから場所の情報を抽出することが可能である場合には、抽出した情報を含む抽出情報仮想画像６４（第６の仮想画像）が表示される。抽出情報仮想画像６４には、場所を表す画像６４１、場所の名称、場所が建物である場合の建物の情報、およびコンタクトＩＤなどの情報が表示されている。画像６４１は、例えば場所が建物である場合に、当該建物を所有する企業のロゴマークなどであってもよい。画像６４１が取得できない場合には、取得できない旨の表示がなされてもよい。画像６４１を選択するジェスチャ操作に応じて、その場所の地図などが表示されてもよい。表示される地図は、その場所が建物の外部である場合には標準的な地図であってもよく、その場所が建物の内部である場合には、屋内の地図であってもよい。また、コンタクトＩＤは、場所の情報にアクセスするために用いられる符号または番号等であり、例えば電話番号やＵＲＬなどであってもよい。キャプチャ仮想画像５０から場所の情報を抽出する方法は、特には限られないが、例えば、上記の人物４４の特定方法と同様の方法で場所を特定し、当該場所の情報をデータベースから取得する方法を用いてもよい。

また、抽出情報仮想画像６４には、場所の情報にアクセスするために実行されるアプリのアイコン６４２（標識）が表示されていてもよい。当該アプリは、情報の抽出対象の種別（ここでは、場所）に応じて予め定められている。アイコン６４２を選択するジェスチャ操作がなされると、アイコン６４２に対応するアプリ（ここでは、地図アプリ）が実行される。なお、アイコン６４２の表示を省略し、場所の画像６４１またはコンタクトＩＤ（ＵＲＬ等）を選択するジェスチャ操作に応じて、場所の情報にアクセスするためのアプリ（地図アプリ等）が起動して、例えば場所の位置を示す地図が表示されてもよい。

キャプチャ仮想画像５０から情報を抽出可能な場合の動作は、上記に限られない。例えば、図２５の左側に示すように、キャプチャ仮想画像５０から人物の情報を抽出可能である場合に、情報の抽出対象である「人物」に予め対応付けられているアプリ（例えば通話アプリ）のアイコン６２２が自動的に表示されてもよい。また、当該アイコン６２２を選択するジェスチャ操作に応じてアプリが実行されて、例えば抽出された人物との通話が開始された状態でアプリの仮想画像６２３が表示されてもよい。

また、図２５の中央に示すように、キャプチャ仮想画像５０から物品の情報を抽出可能である場合に、情報の抽出対象である「物品」に予め対応付けられているアプリ（例えばブラウザアプリ）のアイコン６３２が自動的に表示されてもよい。また、当該アイコン６３２を選択するジェスチャ操作に応じてアプリが実行されて、例えば抽出された物品の情報にアクセス可能なＷｅｂサイトを含むアプリの仮想画像６３３が表示されてもよい。

また、図２５の右側に示すように、キャプチャ仮想画像５０から場所の情報を抽出可能である場合に、情報の抽出対象である「場所」に予め対応付けられているアプリ（例えば地図アプリ）のアイコン６４２が自動的に表示されてもよい。また、当該アイコン６４２を選択するジェスチャ操作に応じてアプリが実行されて、例えば抽出された場所の位置を表す地図を含むアプリの仮想画像６４３が表示されてもよい。

なお、図２５において、アイコン６２２、６３２、６４２の表示をスキップして、直接アプリの仮想画像６２３、６３３、６４３を表示してもよい。

図２６に示すように、キャプチャ仮想画像５０に文字４６の画像が含まれており、当該文字４６の画像から情報を抽出することが可能である場合には、抽出した情報を含む抽出情報仮想画像６５（第６の仮想画像）が表示される。抽出情報仮想画像６５には、ＯＣＲ（Optical Character Recognition）などにより抽出した文字４６の内容と、抽出した文字に対して各種処理を実行するための操作ボタン６５１～６５３が表示されている。抽出情報仮想画像６５内に表示される文字４６のサイズは、キャプチャ仮想画像５０内の文字４６のサイズより大きくてもよい。また、抽出情報仮想画像６５内に表示される文字４６のサイズが予め設定されていてもよい。

図２７に示すように、操作ボタン６５１～６５３のいずれかを選択するジェスチャ操作が行われると、抽出した文字４６に関し、操作ボタン６５１～６５３に応じた処理が実行される。「コピー」と表示された操作ボタン６５１を選択するジェスチャ操作が行われると、図２７の左側に示すように、テキストデータの編集を行うアプリとして予め設定されているアプリ（例えば、エディターアプリ）のアイコン６６１が自動的に表示される。また、当該アイコン６６１を選択するジェスチャ操作に応じてアプリが実行され、文字４６を編集可能な状態でアプリの仮想画像６７が表示される。

また、「翻訳：自動→ＥＧ」と表示された操作ボタン６５２を選択するジェスチャ操作が行われると、図２７の中央に示すように、テキストデータの編集を行うアプリとして予め設定されているアプリ（例えば、エディターアプリ）のアイコン６６２が自動的に表示される。アイコン６６２は、アイコン６６１と同一であってもよい。また、当該アイコン６６２を選択するジェスチャ操作が行われると、抽出した文字４６が所定の翻訳設定に従って翻訳される。ここでは、抽出された文字４６の言語が自動的に判別された上で英語に翻訳される設定となっている。あるいは、図示しない設定ボタンに対するユーザの第１１ジェスチャ操作に応じて、翻訳先の言語等に係る翻訳設定を行うことが可能であってもよい。この場合には、ユーザによる翻訳設定に従って文字４６が翻訳される。そして、アイコン６６２に対応するアプリが実行され、翻訳語の文字を編集可能な状態でアプリの仮想画像６８が表示される。このように、ＣＰＵ１１は、文字４６から抽出した情報を、所定の翻訳設定に従って、またはユーザの第１１ジェスチャ操作に応じた翻訳設定に従って翻訳して表示部１４に表示させる。これにより抽出した文字４６を簡易に翻訳して表示させることができる。

また、「アプリ指定」と表示された操作ボタン６５３を選択するジェスチャ操作が行われると、図２７の右側に示すように、ユーザが指定したアプリ（ここでは、ブラウザアプリ）のアイコン６６３が自動的に表示される。ユーザによるアプリの指定は、予め行われて設定されていてもよいし、操作ボタン６５３の選択に応じて表示されるアプリの選択肢の中からユーザが都度選択してもよい。アイコン６６３を選択するジェスチャ操作に応じてアプリが実行され、抽出された文字４６の情報に係る処理を行うアプリの仮想画像６９が表示される。図２７の例では、抽出された文字４６の検索結果が表示された状態のブラウザアプリの仮想画像６９が表示されている。

なお、図２７において、アイコン６６１～６６３の表示をスキップして、直接アプリの仮想画像６７～６９を表示してもよい。

図２８に示すように、キャプチャ仮想画像５０に二次元コード４７（コード情報）の画像が含まれており、当該二次元コード４７の画像から情報を抽出することが可能である場合には、抽出した情報を含む抽出情報仮想画像７１（第６の仮想画像）が表示される。抽出情報仮想画像７１には、二次元コード４７をデコードして得られた情報、及び当該情報に関連する情報が表示されている。図７１の例では、二次元コード４７から「Ｋ株式会社」の情報が抽出されており、同社の住所、電話番号およびＵＲＬの情報が表示されている。電話番号またはＵＲＬを選択するジェスチャ操作に応じて、「Ｋ株式会社」にアクセスするためのアプリ（通話アプリやブラウザアプリ等）が起動してもよい。なお、情報を抽出可能なコード情報は、二次元コード４７に限られず、バーコードであってもよいし、文字および記号などからなる符号であってもよい。

キャプチャ仮想画像５０には、キャプチャ画像Ｃを生成したときのウェアラブル端末装置１０の位置情報が含まれていてもよい。この場合には、ＣＰＵ１１は、上述の第１ジェスチャ操作がなされたときの自装置（ウェアラブル端末装置１０）の位置情報を取得し、取得した位置情報をキャプチャ画像Ｃに対応付けて記憶部１３に記憶させる。これにより、キャプチャ画像Ｃを生成した位置を、キャプチャ後の任意のタイミングで容易に参照することができる。位置情報は、ＧＰＳ（Global Positioning System）などのＧＮＳＳ（Global Navigation Satellite System）の測位衛星から取得してもよいし、種々のローカル位置情報であってもよい。ローカル位置情報は、例えば無線ＬＡＮのアクセスポイント、ビーコン局、およびローカル５Ｇの基地局などから発信されている信号から取得されてもよい。また、キャプチャ画像Ｃに基づいてキャプチャ仮想画像５０を表示させる場合には、図２９に示すように、キャプチャ画像Ｃを生成したときの位置に係る情報を含む仮想画像７２が表示されてもよい。また、図２９に示すような文字情報に代えて（または文字情報に加えて）、キャプチャ位置を示す地図が表示されてもよい。なお、位置情報に加えて、キャプチャ画像Ｃを生成した日時の情報が取得されて仮想画像７２に表示されてもよい。

キャプチャ仮想画像５０には、キャプチャ画像Ｃを生成したときにウェアラブル端末装置１０を使用していたユーザを特定する情報が含まれていてもよい。この場合には、ＣＰＵ１１は、第１ジェスチャ操作がなされたときのユーザを特定し、特定したユーザに係るユーザ情報をキャプチャ画像Ｃに対応付けて記憶部１３に記憶させる。これにより、キャプチャ画像Ｃを生成したときの操作者を、キャプチャ後の任意のタイミングで容易に参照することができる。ユーザの特定方法は、特には限られないが、例えばキャプチャ画像Ｃを生成したときのユーザのログイン情報から取得してもよい。また、キャプチャ画像Ｃに基づいてキャプチャ仮想画像５０を表示させる場合には、図３０に示すように、キャプチャ画像Ｃを生成したときのユーザ、および日時に係る情報を含む仮想画像７３が表示されてもよい。なお、ユーザに係る情報として、ユーザの顔画像を表示可能なアイコンをキャプチャ仮想画像５０に重複させて、或いはキャプチャ仮想画像５０の近傍に表示させてもよい。

ウェアラブル端末装置１０は、種々の場所において種々の用途に用いられ得るため、キャプチャ動作を行うときの場所や、視認領域４１に含まれるキャプチャ対象などによっては、キャプチャ画像Ｃを生成して記憶することが適切でない場合がある。ウェアラブル端末装置１０は、このような場合にキャプチャ画像Ｃが記憶部１３に記憶されないようにする機能を備えていてもよい。以下では、キャプチャ画像Ｃの生成および記憶部１３への記憶を禁止することを、「キャプチャを禁止する」とも記し、キャプチャ画像Ｃの生成および記憶部１３への記憶を許可することを、「キャプチャを許可する」とも記す。

例えば、図３１に示すように、ＣＰＵ１１は、キャプチャ領域Ｒに所定のキャプチャ禁止対象が含まれるか否かを判別し、キャプチャ領域Ｒにキャプチャ禁止対象が含まれると判別した場合には、キャプチャ画像Ｃを記憶部１３に記憶させないこととしてもよい。これにより、キャプチャ禁止対象を含むキャプチャ画像Ｃの生成、および記憶部１３への記憶を制限することができる。図３１の例では、ユーザの第１ジェスチャ操作により特定されたキャプチャ領域Ｒに、予めキャプチャ禁止対象として設定されている人物４４が含まれている。この場合には、キャプチャ領域Ｒが特定されても、キャプチャ画像Ｃは記憶部１３に記憶されない。なお、キャプチャ禁止対象は人物に限られず、絵画などの美術品を始めとする物品、または建物などの不動産などであってもよい。キャプチャ禁止対象は、著作権により保護されている物であってもよい。キャプチャ禁止対象であるか否かの判別方法は、特には限られないが、例えばキャプチャ禁止対象の画像的特徴を記憶部１３または外部のサーバに記憶させておき、キャプチャ禁止対象の画像的特徴と、キャプチャ領域Ｒに含まれる画像とを比較する方法を用いてもよい。

キャプチャが禁止されている場合には、例えば、図８の下図に示すメニュー仮想画像６１において、キャプチャ操作開始ボタン６１１、６１２の表示態様を変更し、操作を無効としてもよい。あるいは、キャプチャ操作開始ボタン６１１、６１２を非表示としてもよい。

キャプチャ領域Ｒにキャプチャ禁止対象が含まれている場合において、キャプチャの禁止を解除する権限者がキャプチャを許可した場合には、禁止が解除されてキャプチャ画像Ｃが記憶部１３に記憶されてもよい。例えば図３１の下図に示すように、キャプチャ領域Ｒを特定する第１ジェスチャ操作に応じて、キャプチャの許可を求めるか否かをユーザに問い合わせるダイアログ仮想画像７４が表示される。ダイアログ仮想画像７４の決定ボタン７４１に対するジェスチャ操作が行われると、キャプチャ禁止の解除を要求する信号が、権限者の使用する外部機器に対して送信される。当該外部機器から、キャプチャ禁止の解除を許可する許可信号を受信すると、キャプチャ画像Ｃが記憶部１３に記憶される。以降のキャプチャ仮想画像５０の表示動作は、上述と同様である。

また、ウェアラブル端末装置１０にログインした際のユーザＩＤなどに基づいて、ウェアラブル端末装置１０を操作しているユーザの権限レベルを参照し、当該権限レベルに応じて、キャプチャを禁止するか否かを判別してもよい。権限レベルは、例えば、役職、部署または資格などに基づいて定められてもよい。

また、ウェアラブル端末装置１０の現在位置に基づいて、キャプチャが禁止されるか否かが判別されてもよい。この場合には、ＣＰＵ１１は、第１ジェスチャ操作がなされたときの自装置の位置情報を取得し、位置情報により示される位置が所定の禁止位置条件を満たす場合には、キャプチャ画像Ｃを記憶部１３に記憶させない。これにより、ウェアラブル端末装置１０が特定の場所に位置している場合にキャプチャを禁止することができる。位置情報は、ＧＰＳなどのＧＮＳＳの測位衛星から取得してもよいし、種々のローカル位置情報であってもよい。ローカル位置情報は、例えば無線ＬＡＮのアクセスポイント、ビーコン局、およびローカル５Ｇの基地局などから発信されている信号から取得されてもよい。取得した位置情報が所定の禁止エリアの範囲内にある場合に、禁止位置条件を満たすと判別される。

また、ＣＰＵ１１は、通信部１６が特定信号を受信している場合に、キャプチャ画像Ｃを記憶部１３に記憶させないこととしてもよい。これによれば、ウェアラブル端末装置１０に対して特定信号を送信することにより、任意のタイミングでキャプチャを禁止することができる。特定信号は、キャプチャを禁止させるための信号として予め設定されているものであれば、任意の信号であってよい。特定信号の受信後に所定時間が経過した場合に、キャプチャの禁止が解除されてもよい。また、特定信号を受信した場合においても、視認領域４１に仮想画像３０等の仮想オブジェクトが含まれず、背景の空間４０のみを含む場合には、キャプチャが許可されてもよい。

また、ＣＰＵ１１は、通信部１６による通信ネットワークへの接続状態に係る所定の接続条件を満たす場合には、キャプチャ画像Ｃを記憶部１３に記憶させないこととしてもよい。これにより、通信ネットワークへの接続状態に応じたキャプチャ禁止制御が可能となる。キャプチャ禁止制御に係る接続条件は、任意に定めることができる。一例を挙げると、パブリック通信網に接続している場合に、上記の接続条件を満たすと判定してキャプチャを禁止し、プライベート通信網（ローカル５Ｇ、無線ＬＡＮ等）に接続している場合に、上記の接続条件を満たさないと判定してキャプチャを許可してもよい。他の例としては、ウェアラブル端末装置１０がオンラインである場合に上記の接続条件を満たすと判定してキャプチャを禁止し、オフラインである場合に上記の接続条件を満たさないと判定してキャプチャを許可してもよい。

また、ＣＰＵ１１は、キャプチャ領域Ｒに仮想画像（第１の仮想画像）の少なくとも一部が含まれ、かつ、当該仮想画像が所定の禁止条件を満たす場合には、キャプチャ画像Ｃを記憶部１３に記憶させないこととしてもよい。これにより、キャプチャの対象とすることが適切でない仮想画像がキャプチャ画像Ｃとして記憶されないようにすることができる。例えば、仮想画像が特定のアプリの画面であり、かつアプリにおいて特定のキャプチャ禁止フラグが立てられている場合に、当該アプリの仮想画像がキャプチャ画像Ｃとして記憶されないようにすることができる。

上記のように、現在位置に基づいてキャプチャが禁止される場合、特定信号を受信していることに応じてキャプチャが禁止される場合、通信ネットワークへの接続状態に係る接続条件を満たしていることに応じてキャプチャが禁止される場合、およびキャプチャ領域Ｒに含まれる仮想画像が禁止条件を満たすことに応じてキャプチャが禁止されている場合の各々においても、権限者が許可した場合に、キャプチャの禁止を解除することとしてもよい。この場合には、図３１の下図に示したように、キャプチャの許可を求めるか否かをユーザに問い合わせるダイアログ仮想画像７４を表示させてもよい。また、ウェアラブル端末装置１０を操作しているユーザの権限レベルを参照し、当該権限レベルに応じて、キャプチャを禁止するか否かを判別してもよい。

キャプチャ画像Ｃには、音声データが対応付けられて記憶されてもよい。すなわち、ＣＰＵ１１は、キャプチャ画像Ｃを記憶部１３に記憶させる場合に、音声データを取得してキャプチャ画像Ｃに対応付けて記憶部１３に記憶させてもよい。これにより、キャプチャ画像Ｃに音声情報を付加することができる。例えば、図３２の上図に示すように第１ジェスチャ操作に応じてキャプチャ領域Ｒが特定された場合に、図３２の下図に示すように、音声を記録するか否かをユーザに問い合わせるダイアログ仮想画像７５を表示させてもよい。ダイアログ仮想画像７５の決定ボタン７５１を操作するジェスチャ操作が行われた場合には、マイク１７により音声データが取得（録音）されて、キャプチャ領域Ｒのキャプチャ画像Ｃに対応付けられて記憶部１３に記憶される。なお、録音のタイミングはこれに限られず、例えばキャプチャ仮想画像５０を表示させる際に録音が行われてもよい。音声データが対応付けられているキャプチャ画像Ｃを含むキャプチャ仮想画像５０が表示される場合には、図３３に示すように、音声データを再生するための再生ボタン５３を併せて表示してもよい。再生ボタン５３を選択するジェスチャ操作に応じて、キャプチャ画像Ｃに対応付けられている音声データの音声がスピーカー１８から出力される。なお、再生ボタン５３は、キャプチャ仮想画像５０の背面に表示されてもよい。

上記では、キャプチャ仮想画像５０を空間４０内に単独で表示させたが、これに限られず、他のオブジェクト（表示対象）との間で所定の位置関係を満たすようにキャプチャ仮想画像５０を表示させてもよい。すなわち、ＣＰＵ１１は、空間４０内に位置する所定の表示対象の表面、または当該表示対象との間で所定の位置関係を満たす位置に第２の仮想画像としてのキャプチャ仮想画像５０を表示させてもよい。また、表示対象は、空間４０にある物体、人物、またはキャプチャ仮想画像５０以外の任意の仮想画像であってもよい。これにより、キャプチャ仮想画像５０を、他の物体、人物、または仮想画像（仮想オブジェクト等）などと関連付けて表示させることができる。

例えば、図３４に示すように、空間４０内に位置する球形の物体４８の外面に相当する位置に、外面の形状に合わせてキャプチャ仮想画像５０を表示させてもよい。また、空間４０内に位置する物体または仮想画像の面の輪郭を特定して、当該輪郭に合わせた外形のキャプチャ仮想画像５０を、上記の物体または仮想画像の面に表示させてもよい。また、キャプチャ仮想画像５０の表示位置は物体等の表面に限られず、物体等の近傍の位置であってもよい。

また、ＣＰＵ１１は、空間４０内における表示対象の移動に応じて第２の仮想画像としてのキャプチャ仮想画像５０の表示位置を移動させてもよい。これにより、キャプチャ仮想画像５０と、他の物体、人物、または仮想画像などとの関連性を動的に表現することができる。例えば、図３５に示すように、表示対象としての人物４４の頭上の位置にキャプチャ仮想画像５０を表示させた場合において、人物４４の移動に応じてキャプチャ仮想画像５０を移動させてもよい。また、図３５に示すように、ＣＰＵ１１は、ユーザと表示対象との距離が減少するに従ってキャプチャ仮想画像５０が大きくなるように当該キャプチャ仮想画像５０を表示させてもよい。これによれば、キャプチャ仮想画像５０の大きさにより遠近感を表現できるため、より自然にキャプチャ仮想画像５０が空間４０内を移動しているように見せることができる。

また、ＣＰＵ１１は、表示対象の向きの変化に追従するように第２の仮想画像としてのキャプチャ仮想画像５０の向きを変更してもよい。例えば、図３６の上図では、表示対象としての矢印形状の立体の仮想オブジェクト５４（仮想画像）の直上の位置に、表面が矢印の方向を向くようにキャプチャ仮想画像５０が表示されている。ここで、下図に示す様に仮想オブジェクト５４の向きが変更された場合には、キャプチャ仮想画像５０の向きが、仮想オブジェクト５４の向きに合わせて変更される。ここでは、向きの変更前および変更後の状態のみが示されているが、キャプチャ仮想画像５０が図３６の上図の状態から下図の状態となるまで回転する場合には、当該回転に追従するようにキャプチャ仮想画像５０を回転させてもよい。

次に、上述したキャプチャ仮想画像５０の表示に係る各種動作を行うためのキャプチャ仮想画像表示処理について、図３７および図３８のフローチャートを参照して説明する。ここでは、代表的な動作を行うための代表的な処理を例示している。キャプチャ仮想画像５０の表示に係る動作および処理がこれらに限られないことは、上記の各動作における説明のとおりである。

図３７に示すように、キャプチャ仮想画像表示処理が開示されると、ＣＰＵ１１は、ユーザの第３ジェスチャ操作に応じて、メニュー仮想画像６１を表示部１４に表示させる（ステップＳ１０１）。ＣＰＵ１１は、キャプチャ領域Ｒの指定方法の指定がなされたか否かを判別する（ステップＳ１０２）。例えば、ＣＰＵ１１は、図８のメニュー仮想画像６１においてキャプチャ操作開始ボタン６１１または６１２を選択する操作がなされた場合に、キャプチャ領域Ｒの指定方法の指定がなされたと判別する。キャプチャ領域Ｒの指定方法の指定がなされていないと判別された場合には（ステップＳ１０２で“ＮＯ”）、ＣＰＵ１１は、再度ステップＳ１０２を実行する。キャプチャ領域Ｒの指定方法の指定がなされたと判別された場合には（ステップＳ１０２で“ＹＥＳ”）、ＣＰＵ１１は、指示された指定方法でキャプチャ領域Ｒの指定を受け付け（ステップＳ１０３）、キャプチャ領域Ｒが指定されたか否かを判別する（ステップＳ１０４）。キャプチャ領域Ｒが指定されていないと判別された場合には（ステップＳ１０４で“ＮＯ”）、ＣＰＵ１１は、再度ステップＳ１０４を実行する。

キャプチャ領域Ｒが指定されたと判別された場合には（ステップＳ１０４で“ＹＥＳ”）、ＣＰＵ１１は、キャプチャが禁止されている状況であるか否かを判別する（ステップＳ１０５）。キャプチャが禁止されている状況は、上述で例示したとおり、キャプチャ領域Ｒにキャプチャ禁止対象が含まれている場合、現在位置に基づいてキャプチャが禁止される場合、特定信号を受信していることに応じてキャプチャが禁止される場合、通信ネットワークへの接続状態に係る接続条件を満たしていることに応じてキャプチャが禁止される場合、およびキャプチャ領域Ｒに含まれる仮想画像が禁止条件を満たすことに応じてキャプチャが禁止されている場合などである。

キャプチャが禁止されている状況であると判別された場合には（ステップＳ１０５で“ＹＥＳ”）、ＣＰＵ１１は、ユーザの指示に応じて、キャプチャ禁止の解除を要求する信号を、権限者の操作する外部機器に送信し、当該外部機器から、キャプチャ禁止の解除を許可する許可信号を受信したか否かを判別する（ステップＳ１０６）。所定期間内に許可信号を受信しなかった場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１は、キャプチャ仮想画像表示処理を終了させる。所定期間内に許可信号を受信した場合（ステップＳ１０６で“ＹＥＳ”）、またはステップＳ１０５においてキャプチャが禁止されている状況ではないと判別された場合には（ステップＳ１０５で“ＮＯ”）、ＣＰＵ１１は、キャプチャ領域Ｒのキャプチャ画像Ｃを生成して記憶部１３に記憶させる（ステップＳ１０７）。

ＣＰＵ１１は、キャプチャ画像Ｃをキャプチャ仮想画像５０として表示させるための第２ジェスチャ操作がなされたか否かを判別し（ステップＳ１０８）、第２ジェスチャ操作がなされていないと判別された場合には（ステップＳ１０８で“ＮＯ”）、再度ステップＳ１０８を実行する。第２ジェスチャ操作がなされたと判別された場合には（ステップＳ１０８で“ＹＥＳ”）、ＣＰＵ１１は、キャプチャ画像Ｃを含むキャプチャ仮想画像５０を表示部１４に表示させる（ステップＳ１０９）。

ＣＰＵ１１は、キャプチャ仮想画像５０に情報の抽出対象が含まれるか否かを判別する（ステップＳ１１０）。情報の抽出対象が含まれると判別された場合には（ステップＳ１１０で“ＹＥＳ”）、ＣＰＵ１１は、抽出した情報、および所定のアプリのアイコン等を含む抽出情報仮想画像を表示部１４に表示させる（ステップＳ１１１）。ＣＰＵ１１は、アイコンを選択するジェスチャ操作がなされたか否かを判別し（ステップＳ１１２）、当該ジェスチャ操作がなされたと判別された場合には（ステップＳ１１２で“ＹＥＳ”）、アイコンに対応するアプリを実行して、当該アプリの仮想画像を表示部１４に表示させる（ステップＳ１１３）。ステップＳ１１３が終了した場合、ステップＳ１１０で情報の抽出対象が含まれないと判別された場合（ステップＳ１１０で“ＮＯ”）、またはステップＳ１１２でアイコンを選択するジェスチャ操作がなされていないと判別された場合には（ステップＳ１１２で“ＮＯ”）、ＣＰＵ１１は、キャプチャ仮想画像表示処理を終了させる。

〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態に係る表示システム１は、図３９に示すように、ウェアラブル端末装置１０と、複数の外部機器２０とを備える点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。

図３９に示すように、表示システム１が備えるウェアラブル端末装置１０および複数の外部機器２０は、ネットワークＮを介して通信接続されている。ネットワークＮは、例えばインターネットとすることができるが、これに限られない。なお、表示システム１は、複数のウェアラブル端末装置１０を備えていてもよい。また、表示システム１が備える外部機器２０は１つであってもよい。例えば、本実施形態では、所定の作業を行うユーザがウェアラブル端末装置１０を装着する。また、ウェアラブル端末装置１０を装着しているユーザに対し、ウェアラブル端末装置１０を介して遠隔地から指示を行う遠隔指示者が外部機器２０を操作する。

図４０に示すように、外部機器２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５と、マイク２６と、スピーカー２７などを備え、これらの各部はバス２８により接続されている。

ＣＰＵ２１は、各種演算処理を行い、外部機器２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。

操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。当該表示には、例えば、ウェアラブル端末装置１０のカメラ１５４により撮影された視認領域４１の画像を含む指示者用画面４２（図４２参照）が含まれる。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

通信部２５は、所定の通信プロトコルに従ってウェアラブル端末装置１０との間でデータの送受信を行う。また、通信部２５は、ウェアラブル端末装置１０との間で音声データ通信を行うことができる。すなわち、通信部２５は、マイク２６により収集された音声データをウェアラブル端末装置１０に送信し、スピーカー２７から音声を出力させるためにウェアラブル端末装置１０から送信された音声データを受信する。通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

マイク２６は、遠隔指示者の声などの音を電気信号に変換してＣＰＵ２１に出力する。

スピーカー２７は、入力される音声データを機械的な振動に変換して音として出力する。

本実施形態の表示システム１では、ウェアラブル端末装置１０と、一または二以上の外部機器２０との間で双方向のデータ通信を行うことで、種々のデータを共有して共同作業を行うことができる。例えば、ウェアラブル端末装置１０のカメラ１５４により撮影されている画像のデータ、および表示されている仮想画像３０のデータを外部機器２０に送信して操作表示部２４において指示者用画面４２として表示させることで、ウェアラブル端末装置１０のユーザがバイザー１４１越しに視認しているものを、遠隔指示者がリアルタイムで認識することができる。また、ウェアラブル端末装置１０のマイク１７、および外部機器２０のマイク２６によりそれぞれ収集された音声を双方向の音声データ通信で送信することで、音声通話を行うことができる。よって、ウェアラブル端末装置１０および外部機器２０により音声データ通信が実行されている期間は、ウェアラブル端末装置１０のユーザと遠隔指示者とが音声通話中である期間を含む。遠隔指示者は、指示者用画面４２におけるリアルタイムのカメラ画像を見ながら音声通話によってウェアラブル端末装置１０のユーザに対する指示および支援を行う、といったことが可能である。

ウェアラブル端末装置１０の表示部１４に上述したキャプチャ仮想画像５０が表示された場合には、外部機器２０の指示者用画面４２においてキャプチャ仮想画像５０の表示をそのまま反映させることができる。しかしながら、キャプチャ仮想画像５０に機密情報が含まれている場合など、外部機器２０の指示者用画面４２にキャプチャ仮想画像５０を表示させないことが望ましい場合もある。そこで、本開示の表示システム１では、指示者用画面４２においてキャプチャ仮想画像５０の表示をそのまま反映させるか否かを、予め設定しておくことができる。当該設定に係るデータは、ウェアラブル端末装置１０の記憶部１３に記憶されていてもよいし、外部機器２０の記憶部２３に記憶されていてもよい。また、外部機器２０の指示者用画面４２においてキャプチャ仮想画像５０を反映させない設定となっている場合であっても、ウェアラブル端末装置１０のユーザが許可した場合に、指示者用画面４２においてキャプチャ仮想画像５０の表示が反映されることとしてもよい。

例えば、ウェアラブル端末装置１０にユーザＡがログインしており、外部機器２０にユーザＢがログインしており、ウェアラブル端末装置１０および外部機器２０との間で画面共有が行われているものとする。また、ウェアラブル端末装置１０の視認領域４１におけるキャプチャ仮想画像５０の表示を、外部機器２０の指示者用画面４２には反映させない設定となっているものとする。この状態で、図４１に示すように、ウェアラブル端末装置１０においてキャプチャ仮想画像５０が表示されると、図４２に示すように、外部機器２０の指示者用画面４２では、キャプチャ仮想画像５０に相当する領域が示されるものの、その内容は表示されない。

この場合に、図４２に示すように、キャプチャ仮想画像５０の表示許可を求めるか否かを遠隔指示者に問い合わせるダイアログ画像７６が、指示者用画面４２に表示されてもよい。ダイアログ画像７６の決定ボタン７６１を選択する操作が行われると、キャプチャ仮想画像５０の表示許可を要求する要求信号がウェアラブル端末装置１０に対して送信される。

図４３に示すように、ウェアラブル端末装置１０では、当該要求信号の受信に応じて、キャプチャ画像の表示を許可するか否かを問い合わせるダイアログ仮想画像７７が表示部１４に表示される。ダイアログ仮想画像７７の決定ボタン７７１を選択するジェスチャ操作が行われると、キャプチャ仮想画像５０の表示を許可する許可信号が外部機器２０に対して送信される。外部機器２０の指示者用画面４２では、当該許可信号を受信すると、キャプチャ仮想画像５０の内容が表示される。

〔第３の実施形態〕
次に、第３の実施形態に係る表示システム１の構成について説明する。第３の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置８０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。第３の実施形態は、第２の実施形態と組み合わせてもよい。

図４４に示すように、表示システム１は、ウェアラブル端末装置１０と、当該ウェアラブル端末装置１０に通信接続された情報処理装置８０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置８０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置８０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。また、本実施形態を第２の実施形態と組み合わせる場合には、情報処理装置８０はネットワークＮに接続されていてもよい。

図４５に示すように、情報処理装置８０は、ＣＰＵ８１と、ＲＡＭ８２と、記憶部８３と、操作表示部８４と、通信部８５などを備え、これらの各部はバス８６により接続されている。

ＣＰＵ８１は、各種演算処理を行い、情報処理装置８０の各部の動作を統括制御するプロセッサである。ＣＰＵ８１は、記憶部８３に記憶されたプログラム８３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ８２は、ＣＰＵ８１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部８３は、コンピュータとしてのＣＰＵ８１により読み取り可能な非一時的な記録媒体である。記憶部８３は、ＣＰＵ８１により実行されるプログラム８３１、および各種設定データなどを記憶する。プログラム８３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部８３に格納されている。記憶部８３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤなどの不揮発性の記憶装置が用いられる。

操作表示部８４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部８４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部８４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

通信部８５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部８５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部８５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

このような構成の表示システム１において、情報処理装置８０のＣＰＵ８１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ８１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ８１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ８１は、ウェアラブル端末装置１０のユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ８１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。また、ＣＰＵ８１は、キャプチャ画像Ｃの生成およびキャプチャ仮想画像５０の表示に係る処理を実行してもよい。

ＣＰＵ８１による上記の処理結果は、通信部８５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ８１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御を行ってもよい。

このように、情報処理装置８０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置８０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。

〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。

例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。

また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、この場合のキャプチャ画像Ｃの背景は、仮想空間となる。

ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。

各種の仮想画像は、必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。

ユーザのジェスチャを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。

ウェアラブル端末装置１０および外部機器２０の間で音声通話を行う例を用いて説明したが、これに限られず、ビデオ通話が可能であってもよい。この場合には、遠隔操作者を撮影するウェブカメラを外部機器２０に設け、当該ウェブカメラで撮影している画像データをウェアラブル端末装置１０に送信して表示部１４にて表示させればよい。

その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。

本開示は、ウェアラブル端末装置、プログラムおよび画像処理方法に利用することができる。

１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ マイク
１８ スピーカー
１９ バス
２０ 外部機器
２１ ＣＰＵ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
３０ 仮想画像（第１の仮想画像）
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
３４、３５ 仮想画像（第４の仮想画像、第５の仮想画像）
４０ 空間
４１ 視認領域
４１１ 仮想線
４１２ ポインタ
４２ 指示者用画面
４４ 人物
４５ 物品
４６ 文字
４７ 二次元コード（コード情報）
４８ 物体
５０ キャプチャ仮想画像（第２の仮想画像）
５０ａ 初期表示領域
５０ｂ 拡張領域
５１ 仮想画像領域
５２ 空間画像領域
５３ 再生ボタン
５４ 仮想オブジェクト
６１ メニュー仮想画像（第３の仮想画像）
６２～６５、７１ 抽出情報仮想画像（第６の仮想画像）
６２２、６３２、６４２、６６１～６６３ アイコン（標識）
６７～６９、７２、７３、６２３、６３３、６４３ 仮想画像
７４、７５、７７ ダイアログ仮想画像
７６ ダイアログ画像
８０ 情報処理装置
８１ ＣＰＵ
８３ 記憶部
８３１ プログラム
８４ 操作表示部
Ｃ キャプチャ画像
Ｄ 撮影画像
Ｅ 合成画像
Ｌ リスト領域
Ｎ ネットワーク
Ｒ キャプチャ領域
ｒ キャプチャ枠
Ｕ ユーザ

Claims (14)

1. ユーザの視認領域として空間を撮影するカメラと、
   前記ユーザが視認可能な表示部と、
   少なくとも一つのプロセッサと、を備え、
   前記少なくとも一つのプロセッサは、
   前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させ、
   前記ユーザの所定操作に基づいて、
   前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させ、
   前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させ、
   表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する、
   ウェアラブル端末装置。
2. 前記ユーザの所定操作は、第１ジェスチャ操作を含む、請求項１に記載のウェアラブル端末装置。
3. 前記少なくとも一つのプロセッサは、前記キャプチャ画像を前記記憶部に記憶すると、前記キャプチャ仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
4. 前記少なくとも一つのプロセッサは、ユーザの第２ジェスチャ操作に応じて、前記キャプチャ仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
5. 前記少なくとも一つのプロセッサは、前記第２ジェスチャ操作に応じて、前記ユーザとの所定の相対位置に前記キャプチャ仮想画像を表示させ、
   前記相対位置は、前記第２ジェスチャ操作の種別ごとに予め設定されている、請求項４に記載のウェアラブル端末装置。
6. 前記少なくとも一つのプロセッサは、前記空間において、前記キャプチャ仮想画像を前記仮想画像より前記ユーザに近い位置に表示させる、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
7. 前記少なくとも一つのプロセッサは、ユーザの第３ジェスチャ操作に応じて、前記所定操作の受け付けを開始するためのメニュー仮想画像を前記表示部に表示させる、請求項２に記載のウェアラブル端末装置。
8. 前記少なくとも一つのプロセッサは、
   前記第１ジェスチャ操作の種別に応じて互いに異なる方法で前記キャプチャ画像に対応するキャプチャ領域を特定し、
   前記メニュー仮想画像に対する操作に応じて、受け付ける前記第１ジェスチャ操作の種別を特定する、請求項７に記載のウェアラブル端末装置。
9. 前記少なくとも一つのプロセッサは、前記キャプチャ仮想画像の外枠を所定の強調態様で表示させる、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
10. 前記少なくとも一つのプロセッサは、表示させた前記キャプチャ仮想画像に対するユーザの第４ジェスチャ操作に応じて当該キャプチャ仮想画像を移動させる、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
11. 前記少なくとも一つのプロセッサは、表示させた前記キャプチャ仮想画像に対するユーザの第６ジェスチャ操作に応じて、当該キャプチャ仮想画像に含まれる前記仮想画像を削除し、当該削除した領域に、当該領域に相当する前記空間の画像を表示させる、請求項１～１０のいずれか一項に記載のウェアラブル端末装置。
12. 前記少なくとも一つのプロセッサは、前記キャプチャ仮想画像に含まれる前記仮想画像を所定の強調態様で表示させる、請求項１１に記載のウェアラブル端末装置。
13. ユーザの視認領域として空間を撮影するカメラと、前記ユーザが視認可能な表示部と、少なくとも一つのプロセッサと、を備えたウェアラブル端末装置を制御可能なコンピュータに、
    前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させる処理と、
    前記ユーザの所定操作に基づいて、
    前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させる処理と、
    前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させる処理と、
    表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する処理と、
    を実行させるプログラム。
14. ユーザの視認領域として空間を撮影するカメラと、前記ユーザが視認可能な表示部と、少なくとも一つのプロセッサと、を備えたウェアラブル端末装置を制御可能なコンピュータが実行させる画像処理方法であって、
    前記空間に仮想画像が視認されるように前記仮想画像を前記表示部に表示させ、
    前記ユーザの所定操作に基づいて、
    前記カメラによる前記空間の撮影画像と前記仮想画像とが合成された合成画像から、前記空間における前記視認領域の一部と、前記仮想画像の少なくとも一部と、を含むキャプチャ画像を抽出して記憶部に記憶させ、
    前記キャプチャ画像を、前記空間の所定位置に配置されているように視認され、前記仮想画像と異なるキャプチャ仮想画像として前記表示部に表示させ、
    表示させた前記キャプチャ仮想画像に対するユーザの所定のジェスチャ操作に応じて当該キャプチャ仮想画像を拡張または縮小させ、前記キャプチャ仮想画像を拡張させる場合には、当該拡張させる部分の画像を前記合成画像から抽出する、
    画像処理方法。