JP6567324B2 - 画像表示装置、およびヘッドマウントディスプレイ - Google Patents

Description

本発明は、画像を表示する画像表示装置等に関する。

ウェアラブルコンピュータの一つとして、ユーザの頭部に装着されるディスプレイ装置であるＨＭＤ（Head Mounted Display）が従来から知られている。ＨＭＤは、ユーザに外界を視認させつつユーザの視界に重ねて画像を表示する透過型ＨＭＤと、ユーザに画像のみを表示する非透過型ＨＭＤとに分類される。例えば、特許文献１には、透過型ＨＭＤとして、入力デバイスから出力される受信部と、ユーザに提示される画像を提示する画像表示素子と、操作信号に基づいた操作画像を画像表示素子に表示させる表示処理部と、を具備するヘッドマウントディスプレイが開示されている。

特開２０１３−１３４５３２号公報（２０１３年７月８日公開）

しかしながら、特許文献１の技術では、ユーザの入力操作を受け付ける装置として、ヘッドマウントディスプレイ以外に入力デバイスを用意する必要があるという問題がある。本発明は、上記の問題点に鑑みてなされたものであって、その目的は、外部装置の入力デバイスを必要とせずに、自装置への入力操作を可能とする画像表示装置等を実現することにある。

上記の課題を解決するために、本発明の一態様に係る画像表示装置は、片面が表示面である画像表示素子と、上記画像表示素子の上記表示面とは反対側の面に重畳されたセンサパネルとを備え、上記センサパネルは、上記画像表示素子の上記表示面側とは反対側の空間におけるユーザによる指示体の動きを検知することを特徴としている。

本発明の一態様によれば、ユーザは、別途、入力デバイスを用いることなく、画像表示装置に対する操作を行うことが可能となる。

本発明の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の要図構成である。 （ａ）は画像表示装置を備えた上記ＨＭＤの斜視図であり、（ｂ）は上記ＨＭＤの上面図であり、（ｃ）は上記ＨＭＤの使用例を示す図であり、（ｄ）は上記ＨＭＤを装着しているユーザの視界の一例を示す図である。 （ａ）は上記画像表示装置が検知する検知空間を説明するための図であり、（ｂ）および（ｃ）は上記画像表示装置の検知分解能を説明するための図である。 （ａ）〜（ｄ）は上記画像表示装置が実行する処理内容と所定のジェスチャとの対応付けを示す図である。 実施形態１に係る画像表示装置における処理の一例を示すフローチャートである。 上記画像表示装置における位置特定処理の一例を示すフローチャートである。 （ａ）は実施形態２に係る画像表示装置における処理の一例を示すフローチャートであり、（ｂ）は実施形態３に係る画像表示装置における処理の一例を示すフローチャートである。

〔実施形態１〕
本発明の一実施形態について、図１〜図６に基づいて説明すれば以下のとおりである。まず、本発明の一実施形態に係る画像表示装置１の概要について図２に基づいて説明する。図２の（ａ）は画像表示装置１を備えたヘッドマウントディスプレイ（Head Mounted Display、以下ＨＭＤとする）１０の斜視図であり、図２の（ｂ）はＨＭＤ１０の上面図である。ＨＭＤ１０はユーザの頭部に装着されるものである。

本実施形態におけるＨＭＤ１０は、ユーザに外界を視認させつつユーザの視界に重ねて画像を表示する透過型ＨＭＤである。例えば、ＨＭＤ１０は、図示の様にフレーム１１を備えている眼鏡型であってもよいし、帽子の鍔部分から画像表示装置１が垂れ下がる形状（不図示）であってもよい。なお、ＨＭＤ１０は上述した例に限定されるものではない。

図２の（ｂ）に示すように、眼鏡のレンズに相当する部位において、ユーザがＨＭＤ１０を装着した場合にユーザの眼に対向する面には、画像表示素子５が備えられている。本実施形態では画像表示素子５は、片面が表示面であり、ユーザに外界を視認させつつユーザの視界に重ねて画像をユーザに提示する透過型である画像表示素子として説明するが、これに限定されるものではない。また、画像表示素子５は板状のものであってもよい。

図２の（ａ）に示すように、画像表示素子５において画像を表示する面（表示面）と反対側の面に、画像表示素子５に重畳してセンサパネル２が備えられている。例えば、センサパネル２は、静電容量型のセンサであり、近接検知型のセンサとして機能するものである。なお、センサパネル２は、画像表示素子５の表示面側とは反対側の空間におけるユーザによる指示体（指）の動き（位置を含む）を検知するものであれば、静電容量型センサに限定されない。また、センサパネル２の検知面は、センサパネル２に重畳している画像表示素子５の面と反対側にある、センサパネル２の面である。また、センサパネル２は、少なくとも、検知面から画像表示素子５の表示面へ光を透過するものである。

図２の（ｃ）は、ＨＭＤ１０の使用例を示す図である。ＨＭＤ１０を装着したユーザ１００は、ＨＭＤ１０に対して指ｈを指し、指した指ｈを動かすことにより、ＨＭＤ１０への入力操作を行うことが可能となっている。ユーザ１００の指ｈは、センサパネル２により検知され、ユーザ１００は、センサパネル２の検知面に対向する空間における指ｈの動きに応じてＨＭＤ１０への入力操作を行うことができる。

図２の（ｄ）は、ＨＭＤ１０を装着しているユーザ１００の視界の一例を示す図である。ユーザは、画像表示素子５を介して周囲の背景などの実際の像ｒを視認しつつ、画像表示素子５に表示されている画像５４を視認することが可能となっている。ユーザの指ｈは、実際の像ｒとしてユーザに視認されるとともに、画像５４に対して入力操作を行うことができる。入力操作の詳細については、後述するが、例えば、画像５４が表示される領域である画面５３の大きさを拡大・縮小することができる。

このため、別途、入力デバイスを用いることなく、画像表示装置１に対する操作を行うことが可能となる。例えば、ＨＭＤ１０を装着したユーザは、画像５４を視認しつつ、画像５４の裏面側の空間において入力操作を行うことができる。それゆえ、入力デバイス等を用いる場合と比較して、よりユーザフレンドリーな操作感を提供することができる。なお、ＨＭＤ１０に備えられる画像表示装置１は、１つであってもよいし、図２の（ａ）および（ｂ）に示すように右目用および左目用として２つであってもよい。

（センサパネル２の検知空間）
次に、センサパネル２の検知分解能について説明する。図３の（ａ）は画像表示装置１が検知する検知空間を説明するための図である。センサパネル２の検知分解能は、センサパネル２の検知面と検知対象（ユーザによる指示体、ユーザの指ｈ）との距離ｚに応じて変更される。図３の（ａ）に示すように、センサパネル２の検知面に対して垂直方向にある空間（センサパネル２の検知面上の空間）は、センサパネル２の検知面からの距離ｚに応じて、検知空間Ｉ、ＩＩ、ＩＩＩおよび非検知空間（不感帯）に分けられる。非検知空間（不感帯）と検知空間Ｉとは基準値ａにより分けられ、検知空間Ｉと検知空間ＩＩは基準値ｂにより分けられる。検知空間ＩＩＩはセンサパネル２の検知面上を表す。

例えば、基準値ａ＝１５ｃｍ、基準値ｂ＝１０ｃｍと設定する場合、センサパネルの検知可能な空間は、検知面からの距離ｚが１５ｃｍ以下となる空間である。この場合、検知空間Ｉは、検知面からの距離ｚが１０ｃｍ以上１５ｃｍ以下となる空間であり、検知空間ＩＩは、検知面からの距離ｚが１０ｃｍ未満となる空間であり、非検知空間は、検知面からの距離ｚが１５ｃｍを超える空間である。

なお、本実施形態では、センサパネル２の検知面に接触している検知対象（指）を検知することを想定していないが、センサパネル２の検知面を検知空間ＩＩＩとして、センサパネル２の検知面に接触している検知対象を検知することも可能である。

図３の（ｂ）〜（ｄ）は、センサパネル２の検知分解能を説明するための図である。図３の（ｂ）〜（ｄ）に示すように、センサパネル２は、検知面の一辺に沿う方向（上下方向と呼ぶ）に所定の間隔を保持して多数配列された複数の縦電極（ワイヤ電極）と、上下方向と直交する方向（左右方向と呼ぶ）に所定の間隔を保持して多数配列された複数の横電極（ワイヤ電極）とを備え、これらが交差するようにマトリックス状に配列された二次元電極構造を有している。なお、本実施形態におけるセンサパネル２は、複数のワイヤ電極が配置された二次元電極構造を有しているものとして説明するが、センサパネル２の構造はこれに限定されない。例えば、センサパネル２は、複数の電極が二次元的に配列された二次元電極構造を有していてもよい。

センサパネル２の検知分解能は、検知電極の間隔によって決まり、検知電極の間隔が細かくなるにつれて高くなる。また、検知空間は、検知電極の間隔によって相違する。検知電極として実際に寄与する電極間隔が広いとそれだけ広い検知空間を検知できる。センサパネル２を構成する横電極および縦電極の数を電気的な処理により間引くことで、検知分解能を切り替えるようになっている。

例えば、検知空間ＩＩＩの場合には図３の（ｂ）に示すように上述した全ての電極が使用され、検知空間ＩＩＩにて検知対象を検知するセンサパネル２が構成される（パターン＜３＞）。この場合には、最小検知エリアが検知電極の電極間隔となり、図３の（ｂ）に示すように検知すべき座標点（黒丸印で表示）が最も密な状態となっている。

また、検知空間ＩＩの場合、図３の（ｃ）に示すように、図３の（ｂ）の状態から縦電極と横電極とを１本おきに間引くことにより、検知空間ＩＩにて検知対象を検知するセンサパネル２が構成される（パターン＜２＞）。この場合の最小検知エリアは、検知空間ＩＩＩの場合の最小検知エリアに比べ、４倍に拡張される。また、検知分解能は検知空間ＩＩＩに比べ低くなっている。

また、検知空間Ｉの場合、図３の（ｄ）に示すように、図３（ｂ）の状態から縦電極と横電極とを３本おきに間引くことにより、検知空間Ｉにて検知対象を検知するセンサパネル２が構成される（パターン＜１＞）。パターン＜１＞の場合、パターン＜２＞の場合と比較して、最小検知エリアは４倍に拡張され、検知分解能は低くなっている。

（画像表示装置１の要部構成）
図１は、ＨＭＤ１０の要図構成である。ＨＭＤ１０に備えられている画像表示装置１は、センサパネル２、制御部３、記憶部４、画像表示素子５を含む。センサパネル２は、センサパネル２の検知面上にある空間に生じる静電容量値の変化を検知し、変化した静電容量値を示す情報を制御部３に送信する。

制御部３は、画像表示装置１における各種処理を実行する他、ジェスチャに対応する処理の実行等を行うものであり、位置特定部３１、ジェスチャ判定部３２、決定部３３、および表示制御部３６を備えている。

位置特定部３１は、センサパネル２による検知データから、センサパネル２の検知面に対峙する（対向する）検知対象の位置（ｘ座標、ｙ座標、ｚ座標）を特定するものである。なお、センサパネル２の検知面上に設定した２次元座標をｘ、ｙ座標とし、センサパネル２の検知面に直交する方向をｚ軸方向としている。

位置特定部３１は、特定したｚ座標（以下、距離ｚ）に応じて、センサパネル２の検知分解能を切り替える。例えば、位置特定部３１が特定した検知対象の位置（距離ｚ）が、図３の（ａ）に示す基準値ａと基準値ｂとの間にある場合、位置特定部３１は、センサパネル２の電極構成を図３の（ｃ）に示すパターン＜１＞とし、センサパネル２の検知可能な空間は検知空間Ｉであることを示す検知空間情報を決定部３３に送信する。

また、実施形態１における位置特定部３１は、特定した検知対象のｘ座標およびｙ座標を示す位置情報をジェスチャ判定部３２に送信する。なお、位置特定部３１の位置特定処理については図６にて後述する。

ジェスチャ判定部３２は、位置特定部３１から受信した位置情報から、検知対象の軌跡（入力操作）を特定し、特定した軌跡が所定のジェスチャであるか否かを判定する。所定のジェスチャは、記憶部４に格納されている処理内容情報４１にて定義されているジェスチャであり、例えば、「円を描く」、「水平方向に移動する」である。検知対象の軌跡が所定のジェスチャである場合、ジェスチャ判定部３２は、判定したジェスチャを示すジェスチャ情報を決定部３３に送信する。

決定部３３は、アプリ決定部３４および機能決定部３５を備え、記憶部４に格納されている処理内容情報４１を参照して画像表示装置１の処理内容を決定する。アプリ決定部３４は、位置特定部３１から検知空間情報を受信すると、処理内容情報４１を参照して起動させるアプリケーションを決定し、決定したアプリケーションを示す情報を機能決定部３５に送信する。

機能決定部３５は、ジェスチャ判定部３２からジェスチャ情報を受信すると処理内容情報４１を参照し、アプリ決定部３４から受信した情報が示すアプリケーションにおいてジェスチャ情報が示すジェスチャに対応付けられた機能（所定の機能）を実行することを決定する。そして、機能決定部３５は、決定した機能を表示制御部３６に実行させる。

表示制御部（処理実行部）３６は、機能決定部３５からの指示に従い、画像表示素子５に表示する画像を制御する。画像表示素子５は、ＬＣＤおよび光学系を有し、ＬＣＤによって形成された画像を光学系を介してユーザに提示するものである。光学系は、ＬＣＤから出射された光を偏光し、ユーザの目に導くことが可能に構成されるものである。光学系は、例えば、全反射による導光が可能な透明基板からなる導光板と、回折反射が可能な反射型体積ホログラム回折格子等とで構成される。なお、画像表示素子５は、上記構成に限定されるものではなく、ＬＣＤ自体をユーザの目の前方に配置してもよいし、その他ＨＭＤとして使用可能なものであれば本発明に適用される。

記憶部４は、情報を記憶するものであり、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成される。不揮発性の記憶装置に記憶される内容としては、各種プログラム、各種動作設定値、各種データなどが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。本実施の形態では、記憶部４は、処理内容情報４１を含む。

（画像表示装置の処理内容）
画像表示装置１が参照する処理内容情報について説明する。図４の（ａ）〜（ｄ）は画像表示装置１の制御部３が参照する処理内容情報４１の一例を示す図であり、制御部３の処理内容（所定の機能）と、ジェスチャとが対応付けられたテーブルである。制御部３の処理とは、画像表示素子５により表示される画像に対する処理である。例えば、当該画像に対して編集を行う処理（画像の縮尺変更を含む）であってもよいし、表示されているフォルダの画像をダブルクリックするようなユーザ操作が実行されると当該フォルダが開くという処理であってもよい。

実施形態１における画像表示装置１が参照するテーブルは、図４の（ａ）に示す処理内容情報であり、各検知空間に割り当てられたアプリケーションの機能と、機能を実行させるトリガとなるユーザのジェスチャとが対応付けられている。なお、実施形態１におけるＨＭＤ１０には、１つの画像表示装置１が備えられている構成とする。

例えば、検知空間Ｉにはアプリケーション「画面の拡大・縮小」および機能「画面の縮小」が割り当てられ、当該機能には「円を描く」というジェスチャが対応付けられている。このため、検知空間Ｉにおいて「円を描く」というジェスチャが検知されると、図２の（ｄ）に示す画面５３の大きさが縮小される。なお、検知空間Ｉにおいて「水平方向に移動する」というジェスチャをしても、「画面の縮小」という機能は実行されない。

また、例えば、検知空間ＩＩにはアプリケーション「画面の拡大・縮小」および機能「画面の拡大」が割り当てられ、当該機能には「水平方向に移動する」というジェスチャが対応付けられている。このため、検知空間ＩＩにおいて「水平方向に移動する」というジェスチャが検知されると、図２の（ｄ）に示す画面５３の大きさが拡大される。なお、検知空間ＩＩにおいて「円を描く」というジェスチャをしても、「画面の拡大」という機能は実行されない。なお、図４の（ｂ）は本実施形態の変形例にて後述し、図４の（ｃ）は実施形態２にて後述し、図４（ｄ）は実施形態３にて後述する。

（機能決定処理）
図５は、本発明の実施形態１に係る画像表示装置１における処理の一例を示すフローチャートである。図５に示すように、位置特定部３１は、センサパネル２から検知データを取得して、検知対象（ユーザの指など）の位置（ｘ座標、ｙ座標、ｚ座標）を特定する位置特定処理を行う（Ｓ１）。なお、位置特定処理の詳細については、図６にて後述する。

位置特定部３１は、Ｓ１にて特定した検知対象のｘ座標およびｙ座標を示す位置情報をジェスチャ判定部３２に送信する。また、実施形態１における位置特定部３１は、Ｓ１にて特定した検知対象のｚ座標に応じて設定されたセンサパネル２の検知可能な空間を示す検知空間情報をアプリ決定部３４に送信する。

アプリ決定部３４は、Ｓ１にて特定された検知対象の位置（ｚ座標）に応じた検知空間情報を受信すると、検知空間情報がどの検知空間を示すか（検知空間ＩまたはＩＩを示すか否か）を判定する（Ｓ２）。検知空間情報が検知空間ＩまたはＩＩであることを示す場合（Ｓ２でＹＥＳ）、アプリ決定部３４は、処理内容情報４１を参照して検知空間に割り当てられたアプリケーションを起動することを決定する（Ｓ３）。一方、Ｓ２にてＮＯの場合、Ｓ１の処理に戻る。

また、ジェスチャ判定部３２は、Ｓ１にて特定された検知対象の位置（ｘ座標およびｙ座標）を示す位置情報を受信すると、受信した位置情報から検知対象の軌跡を特定し、特定した軌跡が所定のジェスチャであるか否かを判定する（Ｓ４）。検知対象の軌跡が所定のジェスチャである場合（Ｓ４でＹＥＳ）、ジェスチャ判定部３２は、判定したジェスチャを示すジェスチャ情報を機能決定部３５に送信する。

そして、機能決定部３５は、Ｓ４にて判定されたジェスチャを示すジェスチャ情報を受信すると、アプリ決定部３４により決定されたアプリケーションにおいてジェスチャ情報が示すジェスチャに対応付けられた機能を実行することを決定し、決定した機能を表示制御部３６に実行させる（Ｓ５）。一方、Ｓ４にてＮＯの場合、Ｓ１の処理に戻る。

例えば、図４の（ａ）に示す処理内容情報では、Ｓ１にて特定された検知対象の位置（ｚ座標）が検知空間Ｉである場合、検知空間Ｉに割り当てられたアプリケーション「画面の拡大・縮小」が決定され（Ｓ３）、さらに、Ｓ４にて判定されたジェスチャが「円を描く」である場合、機能「画面の縮小」が決定される。そして、表示制御部３６は、機能決定部３５からの通知に従い、図２の（ｄ）に示す画面５３の大きさを縮小する。

上記の構成によれば、ユーザは、表示されている画像５４に対して、所定の機能を実行させるための入力操作を行うことができる。例えば、所定の機能をイメージするような入力操作を当該所定の機能と対応付けたジェスチャとすれば、ユーザは、直感に即した入力操作を行うことが可能となる。

（位置特定処理）
図６は、上記画像表示装置１における位置特定処理の一例を示すフローチャートである。まず、位置特定部３１は、センサパネル２の電極間隔がパターン＜１＞の電極間隔に設定されているか否かを確認し（Ｓ１０１）、電極間隔がパターン＜１＞の電極間隔に設定されている場合（Ｓ１０１でＹＥＳ）、Ｓ１０２に進む。一方、電極間隔がパターン＜１＞の電極間隔に設定されていない場合（Ｓ１０１でＮＯ）、Ｓ１０７に進む。Ｓ１０７では、位置特定部３１が、電極間隔をパターン＜１＞の電極間隔に設定して（切り替えて）Ｓ１０２に進む。なお、Ｓ１０７における電極間隔の設定は、暫定的な設定である。暫定的な設定とは、センサパネル２において検知電極として寄与する電極間隔が不定になることを防ぐための一時的な設定である。

次に、位置特定部３１は、検出レベル（検知対象のｚ座標）が基準値ａを超えたか否かを判定し（Ｓ１０２）、検出レベルが基準値ａを超えた場合（Ｓ１０２でＹＥＳ）、Ｓ１０３に進む。一方、検出レベルが基準値ａを超えていない場合（Ｓ１０２でＮＯ）、Ｓ１０２の動作を最初からやり直す。そして、位置特定部３１は、検出レベルが基準値ｂを超えたか否かを判定し（Ｓ１０３）、検出レベルが基準値ｂを超えた場合（Ｓ１０３でＹＥＳ）、Ｓ１０４に進む。一方、検出レベルが基準値ｂを超えていない場合（Ｓ１０３でＮＯ）、Ｓ１０８に進む。

Ｓ１０８では、位置特定部３１は、センサパネル２の電極間隔を最適な電極間隔としてパターン＜１＞に設定する。Ｓ１０８の後、位置特定部３１は、センサパネル２による検知データから、検知対象の位置（ｘ座標、ｙ座標およびｚ座標）を特定し（Ｓ１０９）、Ｓ１０１に戻る。

なお、実施形態１における位置特定処理において、位置特定部３１は、Ｓ１０９にて特定した検知対象のｘ座標およびｙ座標を示す位置情報をジェスチャ判定部３２に送信するとともに、Ｓ１０８にて設定したセンサパネル２の検知可能な空間（検知空間Ｉ）を示す検知空間情報をアプリ決定部３４に送信する。

次に、位置特定部３１は、パターン＜２＞の電極間隔に設定されているか否かを確認し（Ｓ１０４）、電極間隔がパターン＜２＞の電極間隔に設定されている場合（Ｓ１０４でＹＥＳ）、Ｓ１０５に進む。一方、電極間隔がパターン＜２＞の電極間隔に設定されていない場合（Ｓ１０４でＮＯ）、Ｓ１１０に進む。ステップＳ１１０では、位置特定部３１は、電極間隔をパターン＜２＞の電極間隔に設定して（切り替えて）Ｓ１０５に進む。なお、Ｓ１１０における電極間隔の設定は、暫定的な設定である。

Ｓ１０５では、位置特定部３１は、センサパネル２の電極間隔を最適な電極間隔としてパターン＜２＞に設定する。Ｓ１０５の後、位置特定部３１は、センサパネル２による検知データから、検知対象の位置（ｘ座標、ｙ座標およびｚ座標）を特定し（Ｓ１０６）、Ｓ１０３に戻る。

なお、実施形態１における位置特定処理において、位置特定部３１は、Ｓ１０６にて特定した検知対象のｘ座標およびｙ座標を示す位置情報をジェスチャ判定部３２に送信するとともに、Ｓ１０５にて設定したセンサパネル２の検知可能な空間（検知空間ＩＩ）を示す検知空間情報をアプリ決定部３４に送信する。なお、上述した位置特定処理は、任意の時間ごとに行われるものとする。

（変形例）
上記では１つの画像表示装置１が備えられているＨＭＤ１０について説明したが、ＨＭＤ１０は、右目用および左目用として２つの画像表示装置１を備える構成であってもよい。この構成の場合、センサパネル２が検知する検知空間ＩおよびＩＩを、右目側と左目側とにそれぞれ分割して、分割した検知空間に異なるアプリケーションを割り当ててもよい。ここで、右目用のセンサパネル２が検知する空間を操作エリアＡとし、左目用のセンサパネル２が検知する空間を操作エリアＢとする。

実施形態１の変形例における画像表示装置１が参照するテーブルは、図４の（ｂ）に示す処理内容情報であり、例えば、操作エリアＡおよび操作エリアＢに、異なるアプリケーションがそれぞれ割り当てられている。より具体的には、操作エリアＡにおける検知空間Ｉにて「円を描く」というジェスチャが検知されると、図２の（ｄ）に示す画面５３の大きさが縮小され、操作エリアＡにおける検知空間ＩＩにて「水平方向に移動する」というジェスチャが検知されると、図２の（ｄ）に示す画面５３の大きさが拡大される。また、操作エリアＢにおける検知空間Ｉにて「円を描く」というジェスチャが検知されると、図２の（ｄ）に示す画像５４が１つ前に表示していた画像５４に戻り、操作エリアＢにおける検知空間ＩＩにて「水平方向に移動する」というジェスチャが検知されると、図２の（ｄ）に示す画像５４が次に表示される画像５４に進む。

上記の構成によれば、ユーザは、右目用および左目用のそれぞれのセンサパネル２に対して入力操作を行い、異なる所定の機能を実行させることができる。なお、画像表示素子５は、右目用のセンサパネル２および左目用のセンサパネル２のうち少なくとも一方に備えられていればよく、図２の（ｄ）に示す画像５４は、任意の画像表示素子５に表示される構成である。

〔実施形態２〕
本発明の他の実施形態について、図４の（ｃ）および図７の（ａ）に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。実施形態２におけるＨＭＤ１０は、右目用および左目用として２つの画像表示装置１を備える構成である。実施形態２における画像表示装置１は、右目用のセンサパネル２が検知する空間である操作エリアＡ、および左目用のセンサパネル２が検知する空間である操作エリアＢにて、検知対象（ユーザの別の指）をそれぞれ検知する点で、実施形態１における画像表示装置１と異なる。

実施形態２における画像表示装置１が参照するテーブルは、図４の（ｃ）に示す処理内容情報であり、各検知空間にアプリケーション・機能・ジェスチャが対応付けられている。例えば、検知空間Ｉにおいて、操作エリアＡにはアプリケーションが割り当てられ、操作エリアＢでは機能とジェスチャとが対応付けられている。

より具体的には、ユーザが、右手の指を検知空間Ｉにおける操作エリアＡにて立てると、アプリ決定部３４は、検知空間Ｉにおける操作エリアＡに割り当てられたアプリケーション「画面の拡大・縮小」を決定する。そしてさらに、ユーザが、左手の指で検知空間Ｉにおける操作エリアＢにて所定のジェスチャ「円を描く」を行うと、機能決定部３５は、当該ジェスチャに対応付けられた機能「縮小」を決定し、表示制御部３６は、図２の（ｄ）に示す画面５３の大きさを縮小する。なお、本実施形態では、操作エリアＡにて検知される検知対象と、操作エリアＢにて検知される検知対象とが、同一の検知空間にある場合に、表示制御部３６が実行する機能が決定される。

（機能決定処理の別の例）
図７の（ａ）は、本発明の実施形態２に係る画像表示装置１における処理の一例を示すフローチャートである。図７の（ａ）に示すように、位置特定部３１は、右目用のセンサパネル２から検知データを取得して、操作エリアＡにおける検知対象（ユーザの指など）の位置（ｘ座標、ｙ座標、ｚ座標）を特定する位置特定処理を行う（Ｓ２１）。そして、位置特定部３１は、Ｓ２１にて特定した検知対象のｚ座標に応じて設定されたセンサパネル２の検知可能な空間を示す検知空間情報をアプリ決定部３４に送信する。なお、Ｓ２１の具体的な処理は、図６の位置特定処理と同様であるが、検知対象のｚ座標のみを特定する処理であってもよい。

次に、アプリ決定部３４は、Ｓ２１にて特定された検知対象の位置（ｚ座標）に応じた検知空間情報を受信すると、図４の（ｃ）に示す処理内容情報４１を参照して検知空間に割り当てられたアプリケーションを起動することを決定する（Ｓ２２）。

また、位置特定部３１は、左目用のセンサパネル２から検知データを取得して、操作エリアＢにおける検知対象（ユーザの指など）の位置（ｘ座標、ｙ座標、ｚ座標）を特定する位置特定処理を行う（Ｓ２３）。そして、位置特定部３１は、Ｓ２３にて特定した検知対象のｘ座標およびｙ座標を示す位置情報をジェスチャ判定部３２に送信する。なお、Ｓ２３の具体的な処理は、図６の位置特定処理と同様であるが、検知対象のｘ座標およびｙ座標を特定する処理であってもよい。

そして、ジェスチャ判定部３２は、Ｓ２３にて特定された検知対象の位置を示す位置情報を受信すると、受信した位置情報から検知対象の軌跡を特定し、特定した軌跡が所定のジェスチャであるか否かを図４の（ｃ）に示す処理内容情報４１を参照して判定する（Ｓ２４）。検知対象の軌跡が所定のジェスチャである場合（Ｓ２４でＹＥＳ）、ジェスチャ判定部３２は、判定したジェスチャを示すジェスチャ情報を機能決定部３５に送信する。

そして、機能決定部３５は、Ｓ２４にて判定されたジェスチャを示すジェスチャ情報を受信すると、アプリ決定部３４により決定されたアプリケーションにおいてジェスチャ情報が示すジェスチャに対応付けられた機能を実行することを決定し、決定した機能を表示制御部３６に実行させる（Ｓ２５）。一方、Ｓ２４でＮＯの場合、Ｓ２１の処理に戻る。

上記の構成によれば、右目用のセンサパネル２にて検出したユーザの指の位置（ｚ座標）から起動するアプリケーションを決定し、左目用のセンサパネル２にて検出したユーザの指の動き（ジェスチャ）から実行する機能を決定することが可能となる。それゆえ、実行する機能のバリエーションを増やしつつ、ユーザの直感に即した入力操作を行うことが可能となる。

〔実施形態３〕
本発明の他の実施形態について、図４の（ｄ）および図７の（ｂ）に基づいて説明すれば、以下のとおりである。実施形態３におけるＨＭＤ１０は、１つの画像表示装置１を備える構成である。実施形態３では、所定のジェスチャが検知されることによってアプリケーションが決定され、決定されたアプリケーションに対応付けられた所定の機能を実行するためのパラメータを、検知される検知対象とセンサパネル２の検知面との距離ｚに連動させて変更する点で、実施形態１と異なる。

実施形態３における画像表示装置１が参照するテーブルは、図４の（ｄ）に示す処理内容情報である。当該処理内容情報では、所定のジェスチャごとにアプリケーションが割り当てられており、検知空間ごとに所定の機能が調整項目として対応付けられている。

例えば、ユーザが、検知空間ＩまたはＩＩにおいて指で「円を描く」ジェスチャを行うとアプリケーション「画面の拡大・縮小」が決定される。そして、検知された指の位置が「検知空間Ｉ」にある場合、調整項目「画面の縮小」が決定され、図２の（ｄ）に示す画面５３の大きさが、センサパネル２の検出面と検出対象である指との距離ｚの変化に追従して縮小されていく。また、検知された指の位置が「検知空間ＩＩ」にある場合、調整項目「画面の拡大」が決定され、図２の（ｄ）に示す画面５３の大きさが、センサパネル２の検出面と検出対象である指との距離ｚの変化に追従して拡大されていく。

（機能決定処理の別の例）
図７の（ｂ）は、本発明の実施形態３に係る画像表示装置１における処理の一例を示すフローチャートである。図７の（ｂ）に示すように、位置特定部３１は、センサパネル２から検知データを取得して、検知対象（ユーザの指など）の位置（ｘ座標、ｙ座標、ｚ座標）を特定する位置特定処理を行う（Ｓ１）。なお、実施形態３における位置特定部３１は、Ｓ１にて特定した検知対象のｚ座標に応じて設定されたセンサパネル２の検知可能な空間を示す検知空間情報を機能決定部３５に送信する。

そして、ジェスチャ判定部３２は、Ｓ１にて特定された検知対象の位置（ｘ座標およびｙ座標）を示す位置情報を受信すると、受信した位置情報から検知対象の軌跡を特定し、特定した軌跡が所定のジェスチャであるか否かを、図４の（ｄ）に示す処理内容情報４１を参照して判定する（Ｓ３１）。

検知対象の軌跡が所定のジェスチャである場合（Ｓ３１でＹＥＳ）、ジェスチャ判定部３２は、判定したジェスチャを示すジェスチャ情報をアプリ決定部３４に送信する。アプリ決定部３４は、Ｓ３１にて判定されたジェスチャを示すジェスチャ情報を受信すると、図４の（ｄ）に示す処理内容情報を参照して検知空間に割り当てられたアプリケーションを起動することを決定する（Ｓ３２）。一方、Ｓ３１でＮＯの場合、Ｓ１の処理に戻る。

また、機能決定部３５は、Ｓ１にて特定された検知対象の位置（ｚ座標）に応じた検知空間情報を受信すると、検知空間情報が検知空間ＩまたはＩＩを示すか否かを判定する（Ｓ３３）。検知空間情報が検知空間ＩまたはＩＩであることを示す場合（Ｓ３３でＹＥＳ）、機能決定部３５は、図４の（ｄ）に示す処理内容情報を参照して検知空間に割り当てられた調整項目を実行することを決定し、決定した調整項目を、検知対象の位置（ｚ座標）に連動させて表示制御部３６に実行させる（Ｓ３４）。一方、Ｓ３３でＮＯの場合、Ｓ１の処理に戻る。上記の構成によれば、ユーザは、直感に即した入力操作を行うことが可能となる。

〔ソフトウェアによる実現例〕
画像表示装置１の制御ブロック（特に位置特定部３１、ジェスチャ判定部３２、アプリ決定部３４、機能決定部３５および表示制御部３６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像表示装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記各実施形態における説明では、各検知空間に応じてジェスチャとアプリケーションの機能との対応付けが異なる様に設定しているが、本発明はこれに限定されるものではなく、各検知空間においてジェスチャとアプリケーションの機能とが同じ対応付けであってもよい。

〔まとめ〕
本発明の態様１に係る画像表示装置（１）は、片面が表示面である画像表示素子（５）と、上記画像表示素子の上記表示面とは反対側の面に重畳されたセンサパネル（２）とを備え、上記センサパネルは上記画像表示素子の上記表示面側とは反対側の空間（検知空間Ｉおよび検知空間ＩＩ）におけるユーザによる指示体の動きを検知する。

上記の構成によれば、画像表示装置は、画像表示素子と、画像表示素子に重畳されたセンサパネルとを備え、センサパネルは、画像表示素子の表示面側とは反対側の空間におけるユーザによる指示体の動きを検知する。このため、画像表示装置は、ユーザに画像を提示するとともに、画像表示素子の表示面とは反対側の空間においてユーザの入力操作を検知することが可能となる。それゆえ、ユーザは、別途、入力デバイスを用いることなく、画像表示装置に対する操作を行うことが可能となる。

例えば、画像表示装置をヘッドマウントディスプレイに適用した場合、ユーザは、画像表示素子に表示された画像を視認しつつ、画像表示素子の表示面とは反対側の空間においてユーザ操作を検知することができる。このため、外部装置の入力デバイス等を用いる場合と比較して、よりユーザフレンドリーな操作感を提供することができる。

本発明の態様２に係る画像表示装置は、上記態様１において、上記センサパネルにて検知される上記指示体の動きが所定のジェスチャであるか否かを判定するジェスチャ判定部（３２）と、上記指示体の動きが上記所定のジェスチャであると判定された場合、上記所定のジェスチャに対応付けられた所定の機能を実行する処理実行部（表示制御部３６）と、を備えていてもよい。

上記の構成によれば、画像表示装置は、ユーザの入力操作が所定のジェスチャである場合に、所定のジェスチャに対応付けられた機能を実行する。このため、ユーザは、所定のジェスチャによる入力操作を行うことにより、表示される画像に対し所定の機能を実行させることができる。それゆえ、例えば、所定の機能をイメージするようなジェスチャを当該所定の機能と対応付けたジェスチャとすれば、ユーザは、直感に即した入力操作を行うことが可能となる。

本発明の態様３に係る画像表示装置は、上記態様２において、上記所定の機能は、上記画像表示素子により表示される画像に対する処理を実行する機能であってもよい。上記の構成によれば、ユーザは、画像表示素子に表示される画像を処理するための入力操作を行うことが可能となる。

本発明の態様４に係る画像表示装置は、上記態様２または３において、上記処理実行部は、一つの上記ジェスチャについて、上記センサパネルの検知面と上記指示体（指ｈ）との距離（ｚ）に応じて異なる上記所定の機能を実行してもよい。上記の構成によれば、画像表示装置は、センサパネルの検知面と入力操作を行う指示体との距離に応じて異なる機能を実行する。このため、センサパネルの検知面と入力操作を行う指示体との距離に応じて、実行する機能のバリエーションを増やすことができる。

本発明の態様５に係る画像表示装置は、上記態様２から４の何れか一態様において、上記センサパネルを複数備え、上記所定の機能は、上記センサパネルごとに、上記所定のジェスチャに対応付けられてもよい。上記の構成によれば、センサパネルごとに、所定の機能が所定のジェスチャに対応付けられていることとなる。それゆえ、ユーザは、それぞれのセンサパネルに対して入力操作を行い、異なる機能を実行させることができる。

本発明の態様６に係る画像表示装置は、上記態様２から５の何れか一態様において、上記ジェスチャ判定部にて判定された上記ジェスチャに対応付けられた上記所定の機能を実行するためのパラメータを、上記指示体と上記センサパネルの検知面との距離に連動させて変更してもよい。

上記の構成によれば、画像表示装置は、ユーザによる指示体の動きが所定のジェスチャであるか否かを判定し、所定のジェスチャであると判定されたジェスチャに対応付けられた機能を指示体とパネルの検知面との距離に連動して実行する。例えば、パネルの検知面からの距離が１０ｃｍ未満となる空間において、ユーザの指がパネルの検知面に近づく場合、画像の表示領域が拡大される。また、パネルの検知面からの距離が１０ｃｍ以上１５ｃｍ以下となる空間において、ユーザの指がセンサパネルの検知面から遠ざかる場合、画像の表示領域が縮小される。このため、ユーザは、表示されている画像に対して、自身の入力操作の動きに合わせた調節を行うことが可能となる。それゆえ、ユーザは、直感に即した入力操作を行うことが可能となる。

本発明の態様７に係るヘッドマウントディスプレイは、上記態様１から６の何れか一態様における画像表示装置を、装着時にユーザの目の前方となる位置に備えていてもよい。上記の構成によれば、上記態様１から６の何れか１態様と同様の効果を奏する。

本発明の各態様に係る画像表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像表示装置が備える各部（ソフトウェア要素）として動作させることにより上記画像表示装置をコンピュータにて実現させる画像表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、ユーザの頭部に装着されるヘッドマウントディスプレイに利用することができる。

１ 画像表示装置、１０ ＨＭＤ（ヘッドマウントディスプレイ）
２ センサパネル、３ 制御部、４ 記憶部、５ 画像表示素子
３１ 位置特定部、３２ ジェスチャ判定部、３３ 決定部、３４ アプリ決定部
３５ 機能決定部、３６ 表示制御部（処理実行部）、 ４１ 処理内容情報
Ｉ・ＩＩ 検知空間（空間）、ｚ 距離、ｈ 指（検知対象）

Claims (5)

1. 片面が表示面である画像表示素子と、
   上記画像表示素子の上記表示面とは反対側の面に重畳されたセンサパネルとを備え、
   上記画像表示素子と上記センサパネルとは光を透過する透過型の素子であり、
   上記センサパネルは、上記画像表示素子の上記表示面側とは反対側の空間におけるユーザによる指示体の動きを検知することを特徴とする画像表示装置。
2. 上記センサパネルにて検知される上記指示体の動きが所定のジェスチャであるか否かを判定するジェスチャ判定部と、
   上記指示体の動きが上記所定のジェスチャであると判定された場合、上記所定のジェスチャに対応付けられた所定の機能を実行する処理実行部と、を備えることを特徴とする請求項１に記載の画像表示装置。
3. 上記所定の機能は、上記画像表示素子により表示される画像に対する処理を実行する機能であることを特徴とする請求項２に記載の画像表示装置。
4. 片面が表示面である画像表示素子と、
   上記画像表示素子の上記表示面とは反対側の面に重畳されたセンサパネルとを複数備え、
   上記複数のセンサパネルのそれぞれは、上記画像表示素子の上記表示面側とは反対側の空間におけるユーザによる指示体の動きを検知する、画像表示装置であって、
   上記画像表示装置は、さらに、上記複数のセンサパネルのそれぞれにて検知される上記指示体の動きが所定のジェスチャであるか否かを判定するジェスチャ判定部と、
   上記指示体の動きが上記所定のジェスチャであると判定された場合、上記所定のジェスチャに対応付けられた所定の機能を実行する処理実行部と、を備え、
   上記所定の機能は、上記センサパネルごとに、上記所定のジェスチャに対応付けられていることを特徴とする画像表示装置。
5. 請求項１から４の何れか１項に記載の画像表示装置を、装着時にユーザの目の前方となる位置に備えていることを特徴とするヘッドマウントディスプレイ。

Images