JP2017146647A - 表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム - Google Patents

表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム Download PDF

Info

Publication number
JP2017146647A
JP2017146647A JP2016025670A JP2016025670A JP2017146647A JP 2017146647 A JP2017146647 A JP 2017146647A JP 2016025670 A JP2016025670 A JP 2016025670A JP 2016025670 A JP2016025670 A JP 2016025670A JP 2017146647 A JP2017146647 A JP 2017146647A
Authority
JP
Japan
Prior art keywords
display
control unit
detected
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016025670A
Other languages
English (en)
Other versions
JP6631299B2 (ja
Inventor
和夫 西沢
Kazuo Nishizawa
和夫 西沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016025670A priority Critical patent/JP6631299B2/ja
Publication of JP2017146647A publication Critical patent/JP2017146647A/ja
Application granted granted Critical
Publication of JP6631299B2 publication Critical patent/JP6631299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】操作面に対するタッチ操作が可能な構成において、簡単に操作のバリエーションを増やし、操作性の向上を図る。
【解決手段】表示領域を有する画像表示部20を備えるHMD100は、画像表示部20により所定画像を表示し、接触操作を受け付けるトラックパッド14における操作位置を検出し、所定画像の表示位置を、トラックパッド14で検出される操作位置に応じて移動させ、トラックパッド14で1つの操作位置を検出した場合と、トラックパッド14における複数の操作位置を検出した場合とで、操作位置と所定画像の表示位置との対応付けを変更する。
【選択図】図1

Description

本発明は、表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラムに関する。
従来、タッチ操作を受け付ける装置が知られている(例えば、特許文献1参照)。特許文献1記載の情報処理装置は、操作者の指やタッチペン等による入力を受け付ける接触指手段を備え、ジェスチャ情報を入力可能な構成である。この情報処理装置は、ジェスチャを読み取ってコマンドを発生し、このコマンドに対応する動作を実行できる。例えば、情報処理装置は、接触指手段に接触する指の数に応じて、電源をONする動作と、電源をOFFする動作とを実行できる。
特開平9−231004号公報
特許文献1記載の装置のように、タッチ操作を利用することによって、各種装置を指等により容易に操作できるという利点がある。その一方で、操作の種類を増やすためには、指の動きが複雑化する傾向があった。
本発明は上記事情に鑑みてなされたものであり、操作面に対するタッチ操作が可能な構成において、簡単に操作のバリエーションを増やし、操作性の向上を図ることを目的とする。
上記目的を達成するために、本発明の表示装置は、接触操作を受け付ける操作面と、画像を表示する表示領域を有する表示部と、前記操作面における操作位置を検出し、検出した操作に応じて前記表示部の表示を制御する制御部と、を備え、前記制御部は、前記表示部により所定画像を表示し、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させ、前記操作面で1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更すること、を特徴とする。
本発明によれば、操作面に対して接触操作を行う操作位置の数によって、操作に対応する所定画像の表示位置の移動の態様が変化する。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させる際に前記操作面で2つの操作位置を検出した場合、検出した2つの操作位置とは異なる操作位置に対応する表示位置に、前記所定画像の表示位置を移動させること、を特徴とする。
本発明によれば、2つの操作位置で接触操作を行うことにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する表示位置に前記所定画像の表示位置を移動させた後、前記操作面で新たに1つの操作位置を検出した場合に、当該新たな1つの操作位置に対応する表示位置に前記所定画像の表示位置を移動させること、を特徴とする。
本発明によれば、2つの操作位置に加えて新たな位置で操作が行われた場合に、この新たな操作位置に対応して所定画像の表示位置を制御できる。これにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出した1つの操作位置に基づいて前記所定画像を表示した後に、前記操作面で2つの操作位置の操作を検出した場合、前記所定画像の表示を停止させること、を特徴とする。
本発明によれば、所定画像の表示状態を変更することにより、検出される操作位置の数が変化したことを使用者に通知できる。
また、本発明は、上記表示装置において、前記制御部は、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させる移動表示を実行し、移動表示の態様を、前記操作面で検出する操作位置の数に応じて切り替えること、を特徴とする。
本発明によれば、所定画像の移動表示の態様を切り替えることで、より一層の操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出する操作位置の数に応じて前記所定画像の表示態様を切り替えること、を特徴とする。
本発明によれば、所定画像の表示態様を変更することにより、操作に適した所定画像の視認性を確保し、操作性のより一層の向上を図ることができる。
また、上記目的を達成するために、本発明の表示装置は、接触操作を受け付ける操作面と、画像を表示する表示領域を有する表示部と、前記操作面における操作位置を検出し、検出した操作位置に基づき表示制御用の位置を出力し、この表示制御用の位置に基づき画像を前記表示部に表示させる制御部と、を備え、前記制御部は、1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、検出した操作位置と前記表示制御用の位置との対応付けを変更すること、を特徴とする。
本発明によれば、操作面に対して接触操作を行う操作位置の数によって、操作に対応する所定画像の表示位置の制御の態様が変化する。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で複数の操作位置を検出した場合に、検出した複数の操作位置とは異なる操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする。
本発明によれば、複数の操作位置で接触操作を行うことにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出した複数の操作位置から仮想の操作位置を求め、前記仮想の操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする。
本発明によれば、複数の操作位置における接触操作に対応して、表示位置を適切に移動させることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する前記表示制御用の位置を出力し、その後、前記操作面で新たに1つの操作位置を検出した場合に、当該新たな1つの操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする。
本発明によれば、複数の操作位置の接触操作に対応して、所定画像の表示位置を移動させる操作のバリエーションを増やすことができる。
また、本発明は、上記表示装置において、前記制御部は、前記表示制御用の位置を、出力済みの表示位置からの移動方向と移動量との少なくともいずれかにより指定する情報を出力すること、を特徴とする。
本発明によれば、表示領域と操作面とのサイズや形状を厳密に対応付ける必要がなく、多様な形状の操作面に対して適用できる。
また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着され、前記制御部は、前記表示部とは別体として構成される前記操作面における操作位置を検出すること、を特徴とする。
本発明によれば、頭部に表示装置を装着する使用者が操作面に対する操作を行う場合に、操作位置の数によって、所定画像の表示位置の移動の態様を変化させることができる。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。例えば、操作面を視認しにくい状態であっても、表示位置の移動状態を任意に操作できる。
また、上記目的を達成するために、本発明の入力装置は、操作面に対する接触操作を受け付けて、前記操作面における操作位置を検出し、検出した操作位置に基づき、前記操作位置に対応する処理位置の情報を生成する操作情報生成部を備え、前記操作情報生成部は、前記操作面で1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、前記操作位置と前記処理位置との対応付けを変更すること、を特徴とする。
本発明によれば、操作面に対して接触操作を行う操作位置の数によって、操作に対応して実行する処理の内容を変化させることができる。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、上記目的を達成するために、本発明は、外光を透過する表示部を備える頭部装着型表示装置であって、接触操作を受け付ける操作面と、前記操作面における操作位置を検出し、検出した操作に応じて前記表示部の表示を制御する制御部と、を備え、前記制御部は、前記表示部により所定画像を表示し、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させ、前記操作面で検出する操作位置に応じて、前記所定画像に対する前記外光の透過率を制御すること、を特徴とする。
本発明によれば、操作面に対して接触操作を行う操作位置に対応して画像を表示し、この画像の透過率を変化させることができる。このため、頭部装着型表示装置が表示する画像の外光に対する見え方を、操作に対応して変化させることができ、操作性の向上を図ることができる。
また、本発明は、上記表示装置において、前記制御部は、前記操作面で検出する操作位置に対応して前記所定画像の表示態様を変更すること、を特徴とする。
本発明によれば、外光に対する表示画像の見え方に加え、表示する画像の形状等の表示態様を変化させることができ、操作性のより一層の向上を図ることができる。
また、上記目的を達成するために、本発明の表示装置の制御方法は、画像を表示する表示領域を有する表示部を備える表示装置を制御して、前記表示部により所定画像を表示し、接触操作を受け付ける操作面における操作位置を検出し、前記所定画像の表示位置を、前記操作面で検出される操作位置に応じて移動させ、前記操作面で1つの操作位置を検出した場合と、前記操作面における複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更すること、を特徴とする。
本発明によれば、操作面に対して接触操作を行う操作位置の数によって、操作に対応する所定画像の表示位置の移動の態様が変化する。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
また、上記目的を達成するために、本発明は、画像を表示する表示領域を有する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記表示部により所定画像を表示し、接触操作を受け付ける操作面における操作位置を検出し、前記所定画像の表示位置を、前記操作面で検出される操作位置に応じて移動させ、前記操作面で1つの操作位置を検出した場合と、前記操作面における複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更するためのプログラムである。
本発明によれば、操作面に対して接触操作を行う操作位置の数によって、操作に対応する所定画像の表示位置の移動の態様が変化する。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
本発明は、上述した表示装置、表示装置の制御方法、及びプログラム以外の種々の形態で実現することも可能である。例えば、上記のプログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
HMDの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部と撮像範囲の対応を示す説明図。 HMDを構成する各部のブロック図。 制御部および記憶部のブロック図。 HMDの動作を示すフローチャート。 HMDの動作を示すフローチャート。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。 HMDの操作に対応する表示の変化を示す説明図。
図1は、本発明を適用した実施形態に係るHMD(Head Mounted Display:頭部装着型表示装置)100の外観構成を示す説明図である。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。また、制御装置10(入力装置)は、使用者の操作を受け付ける各種のボタン、スイッチやトラックパッド14(操作面)を備え、使用者がHMD100を操作するコントローラーとして機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26、及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を総称して単に「表示駆動部」とも呼ぶ。
本実施形態の右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。
また、右導光板26及び左導光板28の表面に、調光板(図示略)を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側とは反対の側である前部フレーム27の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26及び左導光板28に入射し、右導光板26及び左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板26及び左導光板28を保護し、右導光板26及び左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、或いは、右導光板26及び左導光板28のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配設される。カメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61が前部フレーム27の端部ER側に配置される。カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ61の撮像範囲が設定される。
カメラ61は、制御部150(図5)が備える撮像制御部149の制御に従って撮像を実行し、撮像画像データを撮像制御部149に出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー(図示略)を備えてもよい。距離センサーは、例えば、前部フレーム27において右導光板26と左導光板28との連結部分に配置できる。この場合、画像表示部20の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればカメラ61の撮像方向と重複する方向である。距離センサーは、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部150の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部150の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー217が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150(図5)の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
図1に戻り、制御装置10と画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す構成例では、ステレオヘッドホンを構成する右イヤホン32と左イヤホン34、及び、マイク63を有するヘッドセット30が、コネクター46に接続される。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス182(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
制御装置10は、使用者により操作される被操作部として、ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16、及び電源スイッチ18を備える。
ボタン11は、制御装置10が実行するオペレーティングシステム143(図5)の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。LEDインジケーター12は、HMD100の動作状態に対応して点灯し、或いは点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。
また、制御装置10は、図示はしないが、タッチ操作を検出するタッチ操作部を備える。タッチ操作部は操作により変位するスイッチ等を持たず、例えば操作位置と操作内容を示すアイコン等が画面による表示や印刷で配置される。このタッチ操作部への接触(タッチ操作)は、後述するタッチセンサー13(図4)により検出される。
図3は、画像表示部20の要部構成を示す図であり、図3(A)は画像表示部20を使用者の頭部側から見た要部斜視図、図3(B)はカメラ61の画角の説明図である。なお、図3(A)では接続ケーブル40の図示を省略する。
図3(A)は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3(A)では、使用者の右眼REに画像光を照射するハーフミラー261、及び、左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
カメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図3(B)は、カメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。カメラ61の画角(撮像範囲)をCで示す。なお、図3(B)には水平方向の画角Cを示すが、カメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図3(B)に示すように、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中符号RD、LDに示すように対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることが、より多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ61の光軸、及び画角は、通常使用時における対象物OBまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物OBが画角に含まれるように、設定されることが好ましい。
また、一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が、図3(B)の対象物OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
カメラ61の画角Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Cが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Cが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Cが、使用者の安定注視野よりも広く、最も好ましくは、画角Cが使用者の両眼の視野角よりも広い。
カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
図4は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。また、メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS115が接続される。また、メインプロセッサー140には、通信部117、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、及び、FPGA194が接続される。これらは外部とのインターフェイスとして機能する。
メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー118、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS115、通信部117、メモリー118、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。また、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194、及びインターフェイス196をコントローラー基板120に実装した構成であってもよい。
メモリー118は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(Embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。
メインプロセッサー140は、トラックパッド14から入力される操作信号に基づいて、トラックパッド14の操作面に対する接触操作を検出し、操作位置を取得する。
操作部110は、ボタン11、タッチセンサー13、およびLED表示部17を含む。タッチセンサー13は、制御装置10が有するタッチ操作部へのタッチ操作を検出する。ボタン11の操作が行われた場合、及び、タッチセンサー13がタッチ操作を検出した場合、操作部110からメインプロセッサー140に対し、操作信号が出力される。
LED表示部17は、LEDインジケーター12(図1)が備えるLED、及び、このLEDを点灯させる駆動回路を含む。LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。また、LED表示部17は、LEDが発光する輝度を制御してもよい。また、LED表示部17は、赤、青、緑の3色のLEDを備える構成であってもよく、この場合、各色のLEDの輝度を調整することによって任意の色でLEDインジケーター12を発光させてもよい。
6軸センサー111は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。或いは、6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
通信部117は、外部の機器との間で無線通信を実行する。通信部117は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部117は、例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格に準拠した無線通信を行う。
音声インターフェイス182は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス182は、接続ケーブル40に設けられたコネクター46(図1)を含む。音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。また、音声コーデック180はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及び、その逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備え、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、モーター(図示略)、偏心した回転子(図示略)等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合等に、所定の振動パターンでバイブレーター19により振動を発生する。
センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して、画像表示部20を接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及び、インターフェイス196を介した伝送を実行する。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図1に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデータを受信する受信部(Rx)213、及び、EEPROM215(記憶部)が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65、及びLEDインジケーター67を、制御装置10に接続する。
EEPROM(Electrically Erasable Programmable Read-Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデータを利用して処理を行える。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225(図2)に出力する。
左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235、及び、磁気センサー237が実装される。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、及び温度センサー239を、制御装置10に接続する。
6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー237は、例えば、3軸の地磁気センサーである。
温度センサー239は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
また、温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
右表示ユニット22が備えるカメラ61、照度センサー65、温度センサー217、及び、左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯または点滅させる。
制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は充電可能なバッテリー132、及び、バッテリー132の残容量の検出およびバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、或いは電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
図5は、制御装置10の制御系を構成する記憶部122、及び制御部150の機能ブロック図である。図5に示す記憶部122は、不揮発性記憶部121(図4)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、制御部150、及び、制御部150が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部150、及び制御部150を構成する各機能部は、例えば、メインプロセッサー140、メモリー118、及び不揮発性記憶部121により構成される。
制御部150は、記憶部122が記憶するデータを利用して各種処理を実行し、HMD100を制御する。
記憶部122は、制御部150が処理する各種のデータを記憶する。記憶部122は、設定データ123、コンテンツデータ124、及び操作設定データ127を記憶する。設定データ123は、HMD100の動作に係る各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等を用いる場合、これらを設定データ123に含めてもよい。
コンテンツデータ124は、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ124は、音声データを含んでもよい。また、コンテンツデータ124は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部20に表示される画像に限定されない。
また、コンテンツデータ124は、コンテンツを画像表示部20により表示する際に、制御装置10によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部150が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ124は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
操作設定データ127は、制御部150が、トラックパッド14や操作部110の操作に対応して実行する制御に関する各種設定データを含む。具体的には、制御部150がトラックパッド14における操作を検出した場合の検出精度(検出解像度)、制御部150がトラックパッド14の操作に対応して出力する、表示位置に関するデータの精度(解像度)等のデータが含まれる。
制御部150は、オペレーティングシステム(OS)143、画像処理部145、表示制御部147、撮像制御部149、及び、操作検出制御部152の機能を有する。オペレーティングシステム143の機能は、記憶部122が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム143上で実行されるアプリケーションプログラムの機能である。
画像処理部145は、画像表示部20により表示する画像または映像の画像データに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部145は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部145は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
表示制御部147は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶部122に一時的に記憶する。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は撮像画像データをカメラ61から取得して、記憶部122に一時的に記憶する。
操作検出制御部152(操作情報生成部)は、トラックパッド14及び操作部110における操作を検出し、操作に対応するデータを出力する。操作検出制御部152は、例えば、操作部110のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部147に出力する。表示制御部147は、操作検出制御部152から入力される操作データに従って表示状態を変更する。
また、操作検出制御部152は、トラックパッド14における操作を検出した場合に、トラックパッド14における操作位置の変化に対応して、相対位置の変化を示す移動データを生成し、出力する。詳細には、操作検出制御部152は、トラックパッド14における操作を検出した場合に、トラックパッド14の操作検出領域(検出領域)における操作位置の座標を取得する。本実施形態ではトラックパッド14の全面が検出領域である場合を想定する。操作検出制御部152は、トラックパッド14における操作を、予め設定された検出周期(サンプリング周期)で繰り返し検出する動作を継続する。操作検出制御部152は、検出した操作位置の座標ではなく、検出した操作位置の変化量を示す移動データを出力する。
移動データは、基点位置の移動方向と移動量とを示すベクトル量のデータ、或いは、基点位置の座標の変化を示すデータである。
ここで、基点とは、操作検出制御部152が生成する仮想の操作位置であり、基点がトラックパッド14における操作位置と一致することもある。基点の位置は、表示制御用の位置、及び、処理位置に相当する。また、操作検出制御部152が、操作位置に基づき、操作位置とは異なる位置の基点の座標を算出する処理を行うこともある。移動データは、基点位置の座標の変化を示すデータとして、基点位置のX座標とY座標の変化量のデータを含むことができる。
移動データが含むベクトル量または座標は、操作検出制御部152が検出するトラックパッド14の検出領域における座標を基準とする。
表示制御部147は、例えば、ポインティングデバイスの操作に対応して移動するポインターを表示する。ポインターの形状やサイズは任意であり、表示する数も任意であるが、本実施形態では、トラックパッド14における操作に応じて移動する1個のポインターを表示する例を説明する。
表示制御部147は、操作検出制御部152が出力する移動データに基づき、ポインターの表示位置を移動させる。移動データはトラックパッド14の検出領域における座標を基準とするデータであるから、表示制御部147は、移動データが含む座標または量を、画像表示部20の表示領域における座標または量に変換する。表示制御部147が変換を行う場合のパラメーターや演算式等は、例えば操作設定データ127に含まれる。
また、HMD100は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス(図示略)を備えてもよい。例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、HMD100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、HMD100は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
図6及び図7は、HMD100の動作を示すフローチャートであり、詳細には、ポインターを表示し、トラックパッド14に対する操作に対応してポインターの表示位置を移動させる動作を示す。
また、図8、図9、及び図10は、HMD100の操作に対応する表示の変化を示す説明図である。図8は1点操作モードにおける表示変化の態様を示し、図9は多点操作モードにおける表示変化の態様を示し、図10は3点操作モードにおける表示変化の態様を示す。
制御部150が動作を開始すると、操作検出制御部152がトラックパッド14における操作の検出を開始し(ステップS11)、表示制御部147が、ポインターを表示する(ステップS12)。その後、操作検出制御部152はトラックパッド14における操作があるまで待機する(ステップS13)。
トラックパッド14が操作され、操作検出の割り込みが発生すると(ステップS152)、操作検出制御部152は、トラックパッド14の検出領域における操作位置を取得する(ステップS15)。
操作検出制御部152は、トラックパッド14の操作位置が1箇所であるか否かを判定する(ステップS16)。操作位置が1箇所である場合(ステップS16;Yes)、操作検出制御部152は1点操作モードを開始する(ステップS17)。1点操作モードは、制御部150の動作モード、特に操作検出制御部152の動作モードの1つである。1点操作モードは、トラックパッド14における1箇所の操作位置の変化に応じて移動データを生成し、この移動データに基づきポインターの表示位置を変化させる動作モードである。この他、操作検出制御部152の動作モードとしては、2点以上の操作位置に対応する多点操作モードと、2点の操作がされた後に操作位置が3点に増えた場合に実行される3点操作モードとがある。操作検出制御部152は、これら3つの動作モードを切り替えて実行できる。
1点操作モードを開始した後、操作検出制御部152は、トラックパッド14において検出した操作位置を、基点位置に対応づける(ステップS18)。操作検出制御部152は、トラックパッド14の操作位置の座標を基点位置の座標とする。
操作検出制御部152は、トラックパッド14の操作位置を取得する(ステップS19)。ここで、操作検出制御部152は、操作位置の数が1箇所であるか否かを判定する(ステップS20)。操作位置が1箇所である場合(ステップS20;Yes)、操作検出制御部152は1点操作モードを継続し、基点位置の移動データを出力する(ステップS21)。ステップS21で、操作検出制御部152は、トラックパッド14の検出領域における操作位置の座標を基点の座標として、移動データを生成して出力する。
表示制御部147は、操作検出制御部152が出力する移動データに基づき、ポインターの表示位置を移動させる(ステップS22)。このステップS21〜S22の処理は、ポインターの「移動表示」に相当する。
図8(A)は、表示領域Vにおいて表示制御部147が表示するポインターの表示例を示す。図8(A)の例では矢印形状のポインターPが表示され、このポインターPの表示位置が、トラックパッド14の操作に応じて移動される。
図8(B)はトラックパッド14における操作例を示す。この例では、トラックパッド14の位置A1で接触操作が検出され、その後、検出された位置が位置A2に移動する。操作検出制御部152は、1点操作モードを実行し、基点位置の座標として位置A1の座標(Xa1,Ya1)及び位置A2の座標(Xa2,Ya2)を取得する。操作検出制御部152は、位置A1(Xa1,Ya1)から位置A2(Xa2,Ya2)への移動を示す移動データを生成して出力する。表示制御部147は、この移動データに対応して、図8(A)に示すように、ポインターPの表示位置を、位置P1(Xp1,Yp1)から位置P2(Xp2,Yp2)に移動する。
ここで、ポインターPの表示位置の移動量は、移動データに基づき算出される。ポインターPの表示位置のX方向の移動量(Xp2―Xp1)及びY方向の移動量(Yp2−Yp1)と、基点位置のX方向の移動量(Xa2−Xa1)及びY方向の移動量(Ya2−Ya1)とは、所定のパラメーター、関数、行列等により対応付けられる。この対応付けに関するデータは、例えば操作設定データ127に含まれる。
図6に戻り、操作検出制御部152は、トラックパッド14における操作が解除されたか否かを判定する(ステップS23)。操作の解除とは、トラックパッド14に対する接触操作がなくなったことを指す。
操作が解除されていない場合(ステップS23;No)、操作検出制御部152はステップS19に戻って1点操作モードを継続する。また、操作が解除された場合(ステップS23;Yes)、制御部150は、トラックパッド14の操作の検出を終了するか否かを判定する(ステップS24)。HMD100の電源がオフされる場合、トラックパッド14の操作終了が指示された場合、トラックパッド14の操作に対応する表示の終了が指示された場合等、制御部150は、検出を終了すると判定し(ステップS24;Yes)、本処理を終了する。また、検出を終了しないと判定した場合(ステップS24;No)、制御部150は、ステップS13に戻ってトラックパッド14の操作を待機する。
また、操作検出制御部152は、トラックパッド14における操作位置を取得して、操作位置が1箇所でないと判定した場合(ステップS16;No、ステップS20;No)、多点操作モードを開始する(図7のステップS31)。
操作検出制御部152は、既に取得したトラックパッド14における複数の操作位置の座標から、基点位置を算出する(ステップS32)。例えば、操作検出制御部152は、トラックパッド14における全ての操作位置の座標に対し所定の演算処理を実行し、基点位置の座標を算出する。基点位置を求めるための演算式、関数、パラメーター等は、例えば、操作設定データ127に含まれる。
操作検出制御部152は、トラックパッド14の操作位置を取得する(ステップS33)。ここで、操作検出制御部152は、操作位置の数が、2箇所から3箇所に増加したか否かを判定する(ステップS34)。すなわち、操作検出制御部152は、3点操作モードを開始する条件の正否を判定する。3点操作モードは、トラックパッド14で2つの位置で接触操作がされた状態で、3つめの接触操作を検出した場合に実行される。例えば、トラックパッド14の接触操作の位置が1箇所から3箇所に増えた場合や、接触操作が無い状態から3箇所の接触操作が行われた場合、3点操作モードを実行しない。操作検出制御部152は、過去に検出したトラックパッド14における操作位置の数とステップS33で取得した操作位置の数とを比較してステップS34の判定を行う。
操作位置の数が2箇所から3箇所に増加した場合に該当しないと判定した場合(ステップS34;No)、操作検出制御部152は、操作位置が1箇所に減少したか否かを判定する(ステップS35)。ここで、操作位置が1箇所に減少したと判定した場合(ステップS35;Yes)、操作検出制御部152はステップS17(図6)に移行して1点操作モードを開始する。
操作位置が1箇所に減少していないと判定した場合(ステップS35;No)、操作検出制御部152は、例えばステップS32と同様の処理を行うことで、トラックパッド14の複数の操作位置から基点位置を算出する(ステップS36)。操作検出制御部152は、基点位置の移動量と移動方向とを示す移動データを生成して出力する(ステップS37)。表示制御部147は、操作検出制御部152が出力する移動データに基づいて、ポインターの表示位置を移動させ、表示を更新する(ステップS38)。このステップS37〜S38の処理は、ポインターの「移動表示」に相当する。
図9(A)はトラックパッド14における操作の例を示し、図9(B)はトラックパッド14の操作位置の変化の例を示す。図9(C)は操作位置の移動に対応する表示の変化を示す。
図9(A)は、トラックパッド14の複数の位置で接触操作が検出された例を示す。図9(A)では2つの位置A1(Xa1,Ya1)と位置B1(Xb1,Yb1)で操作が検出される。操作検出制御部152は、位置A1及び位置B1の座標に基づき、基点S1の座標(Xs1,Ys1)を算出する。例えば、基点S1は、位置A1と位置B1の中点とすることができる。また、トラックパッド14で3以上の位置で操作された場合、最も単純な例では、全ての操作位置の座標の平均を算出して、基点S1の座標とすることができる。また、多点操作モードにおいて、基点S1は、操作位置(ここではA1、B1)とは異なる位置に設定される。
図9(B)はトラックパッド14の複数の位置で接触操作が検出され、これら複数の操作位置が移動した例を示す。図9(B)の例では、操作位置A1が位置A2(Xa2,Ya2)に移動し、操作位置B1がB2(Xb2,Yb2)に移動している。この場合、基点S1は、位置S2(Xs2,Ys2)に移動する。この場合、操作検出制御部152は、基点の位置S1(Xs1,Ys1)から位置S2(Xs2,Ys2)への移動を示す移動データを生成して出力する。すなわち、基点の座標のX方向の移動量(Xs2−Xs1)及びY方向の移動量(Ys2−Ys1)を示す移動データを出力する。表示制御部147は、この移動データに対応して、図9(C)に示すように、ポインターPの表示位置を、位置P1(Xp1,Yp1)から位置P2(Xp2,Yp2)に移動する。
ポインターPの表示位置の移動量は、移動データに基づき算出される。上述したように、ポインターPの表示位置のX方向の移動量(Xp1―Xp2)及びY方向の移動量(Yp2−Yp1)と、基点位置のX方向の移動量及びY方向の移動量との対応は、所定のパラメーター、関数、或いは行列等により対応付けられる。この対応付けに関するデータは、例えば操作設定データ127に含まれる。
図7に戻り、操作検出制御部152は、トラックパッド14における操作が解除されたか否かを判定する(ステップS39)。操作が解除されていない場合(ステップS39;No)、操作検出制御部152はステップS33に戻って多点操作モードを継続する。操作が解除された場合(ステップS39;Yes)、制御部150は、ステップS24(図6)に移行する。
また、3点操作モードを開始する条件が成立したと判定した場合(ステップS34;Yes)、操作検出制御部152は、3点操作モードを開始する(ステップS41)。3点操作モードでは、3番目の操作位置、すなわち、2つの操作位置が検出された状態において新たに(最後に)検出された操作位置を、基点に対応付ける(ステップS42)。
操作検出制御部152は、トラックパッド14の操作位置を取得する(ステップS43)。ここで、操作検出制御部152は、操作位置の数が3箇所であるか否かを判定する(ステップS44)。操作位置が3箇所でない場合(ステップS44;No)、操作位置の増減があったことになるので、操作検出制御部152は、ステップS16(図6)に移行する。また、操作位置が3箇所である場合(ステップS44;Yes)、操作検出制御部152は3点操作モードを継続し、基点位置の移動データを出力する(ステップS45)。ステップS45で、操作検出制御部152は、トラックパッド14の検出領域における3番目の操作位置の座標を基点の座標として、移動データを生成して出力する。
表示制御部147は、操作検出制御部152が出力する移動データに基づき、ポインターの表示位置を移動させる(ステップS46)。このステップS45〜S46の処理は、ポインターの「移動表示」に相当する。
図10(A)はトラックパッド14における操作の例を示し、図10(B)はトラックパッド14の操作位置の変化の例を示す。図10(C)は操作位置の移動の例を示し、図10(D)は操作位置の移動に対応する表示の変化を示す。
図10(A)は、トラックパッド14の複数の位置で接触操作が検出された例として、2つの位置A1(Xa1,Ya1)と位置B1(Xb1,Yb1)で操作が検出された例を示す。図10(A)の状態で、操作検出制御部152は、多点操作モードを実行し、位置A1及び位置B1の座標に基づき、基点S1の座標(Xs1,Ys1)を算出する。
図10(B)に示すように、図10(A)の状態から3番目の操作位置C1(Xc1,Yc1)の操作が検出された場合、操作検出制御部152は3点操作モードを開始する。この場合、位置C1の座標(Xc1,Yc1)が基点の座標とされる。
図10(C)に示すように、位置C1が位置C2(Xc2,Yc2)に移動した場合、操作検出制御部152は、X方向の移動量(Xc2−Xc1)及びY方向の移動量(Yc2−Yc1)に対応する移動データを出力する。図10(C)の例では先に検出された操作位置A1、A2は移動していないが、これらの操作位置は、基点の位置を求める処理に関与しない。
表示制御部147は、移動データに対応して、図10(D)に示すように、ポインターPの表示位置を、位置P1(Xp1,Yp1)から位置P2(Xp2,Yp2)に移動する。
図10(B)及び(C)の操作は、例えば、使用者が片手の3本の指を使って行うことができる。使用者が2本の指でトラックパッド14にタッチした状態で、3本目の指をタッチした場合、この3本目の指の位置が基点の位置とされ、3本目の指の移動に応じてポインターPが移動される。つまり、使用者は、2本の指のタッチ操作によりポインターPの表示位置を移動させ、さらに、これら2本の指を動かさなくても、3本目の指でタッチ操作を行うことで、ポインターPを移動させることができる。例えば、2本の指のタッチ操作中に、これら2本の指が検出領域の端に達したり、使用者の姿勢の都合で2本の指を動かしにくくなったりした場合、3本目の指でタッチ操作を行うことで、ポインターPを移動させることができる。
このように、3点操作モードを利用することで、特有の操作性を実現できる。また、操作検出制御部152は、上述したステップS34の条件を満たした場合にのみ3点操作モードを開始するので、誤って3点操作モードを開始してしまう可能性は極めて低く、誤操作を防止できる。
図7に戻り、操作検出制御部152は、トラックパッド14における操作が解除されたか否かを判定する(ステップS47)。操作が解除されていない場合(ステップS47;No)、操作検出制御部152はステップS43に戻って3点操作モードを継続する。操作が解除された場合(ステップS47;Yes)、制御部150は、ステップS24(図6)に移行する。
図6〜図10を参照して説明した例では、表示制御部147がポインターPを表示し、このポインターPの表示位置を変更する動作を説明した。操作検出制御部152及び表示制御部147の機能はこれに限定されない。例えば、表示制御部147は、操作検出制御部152が出力する移動データに基づき、画像表示部20の表示領域に表示する画面の一部または全体をスクロールさせる動作を行ってもよい。この場合、表示制御部147は、移動データに含まれる基点の移動方向に対応してスクロール方向を決定し、基点の移動量に対応してスクロール量を決定すればよい。また、例えば、表示制御部147は、操作検出制御部152が出力する移動データに基づき、画像表示部20の表示領域に表示する画面の一部または全体を拡大/縮小させるズーム動作を行ってもよい。この場合、表示制御部147は、移動データに含まれる基点の移動方向に対応してズームの方向すなわち拡大か縮小かを決定し、基点の移動量に対応してズーム量を決定すればよい。この場合の拡大/縮小の中心は、例えば、基点位置に対応する表示位置としてもよい。
また、表示制御部147は、図7の多点操作モードにおいて、操作位置と操作位置との間隔が大きくなる操作、或いは、間隔が小さくなる操作を検出した場合、ポインターPを中心とした拡大、縮小を行ってもよい。この動作は、いわゆるピンチ操作(ピンチイン、ピンチアウト)に相当する。この場合、ポインターPの表示位置の移動を停止してもよいし、ポインターPの表示を停止してもよい。
また、表示制御部147は、ポインターPの形状等を変更してもよい。
図11は、HMD100における表示の別の例を示す図である。図11(A)はトラックパッド14において複数の操作位置における操作を検出した場合の表示例を示す。また、図11(B)、図11(C)は複数の操作位置の移動の様子を示し、図11(D)は操作位置の移動に対応する表示の変化を示す。
図11(A)の例で、ポインターPを表示した状態で操作検出制御部152により複数の操作位置が検出されると、表示制御部147はポインターPの表示を停止し、代わりに2つの操作位置に対応するマーカーQ1、Q2を表示する。
さらに、操作検出制御部152は、図11(B)に示すように、2つの操作位置A1(Xa1,Ya1)、位置B1(Xb1,Yb1)に基づき、基点S1の座標(Xs1,Ys1)を算出する。
その後、操作位置が移動すると、操作検出制御部152は、図11(C)に示すように、2つの操作位置A1、B1が移動した移動後の位置A2、B2の座標に基づき、移動後の基点S2の座標(Xs2,Ys2)を算出する。そして、操作検出制御部152は、基点S1からS2への移動に対応する移動データを出力する。
表示制御部147は、図11(D)に示すように、操作検出制御部152が出力する移動データに対応して、マーカーQ1、Q2の表示位置を移動する。この場合、マーカーQ1、Q2の移動方向及び移動量は、基点S1−S2の移動量に対応する。より詳細には、マーカーQ1が位置PA1から位置PA2に移動するX方向の移動量(XPa2−XPa1)及びY方向の移動量(YPa2−YPa1)は、基点のX方向の移動量(Xs2−Xs1)及びY方向の移動量(Ys2−Ys1)に対応する。マーカーQ2の位置PB1から位置PB2への移動も同様である。
このように、ポインターPの表示を、トラックパッド14へのタッチ操作の数に応じてマーカーQ1、Q2に変更することにより、トラックパッド14で検出したタッチ操作の数を使用者に知らせることができる。このため、使用者は、トラックパッド14を視認しなくても、トラックパッド14に対する操作の状態を知ることができる。
本実施形態では、制御部150の制御により、HMD100は、所定画像としてポインターP、及びマーカーQ1、Q2を表示する。所定画像はポインターP、及びマーカーQ1、Q2に限定されず、表示領域に描かれる円形で構成されるサークルポインターまたは「○」形状のポインターであってもよい。また、十字形状のポインターとしてもよい。
また、上記実施形態では、トラックパッド14における2つの操作位置に対応してマーカーQ1、Q2を表示する例、3つの操作位置に対応してポインターPを表示する例を説明した。ここで、2以上の操作位置に対応して所定画像としてマーカーQ1、Q2或いはポインターPを表示する場合に、所定画像の表示態様を変化させてもよい。例えば、トラックパッド14で検出する複数の検出位置間の距離に対応して、所定画像の透過率(明るさ)を変化させることが考えられる。画像表示部20では、右表示ユニット22及び左表示ユニット24が画像を表示する輝度を高くするほど、外光OL(図2)に対する画像光Lの相対的な光量が高くなるため、表示画像の視認性が高まる。つまり、画像表示部20の表示画像の透過率が低くなる。これに対し、右表示ユニット22及び左表示ユニット24が画像を表示する輝度を低くするほど、外光OLに対する画像光Lの相対的な光量が低くなるので、表示画像の視認性が低くなる。つまり、画像表示部20の表示画像の透過率が高くなる。例えば、制御部150の制御によって、トラックパッド14で検出される複数の検出位置の間の距離が小さいほど、画像表示部20が表示する所定画像の明るさを高くすることが考えられる。別の表現では、制御部150は、操作位置の間隔が狭いほど所定画像の輝度を高くし、これにより透過率が低くなる。これにより、位置を細かく調整する操作が行われる場合にポインターPやマーカーQ1、Q2の視認性を高めることで、操作性の向上を図ることができる。反対に、トラックパッド14で検出される複数の検出位置の間の距離が大きいほど、画像表示部20が表示する所定画像の明るさを低くすることが考えられる。別の表現では、制御部150は、操作位置の間隔が大きいほど所定画像の輝度を低くし、これにより透過率が高くなる。外景を透過して視認可能に画像を表示する画像表示部20では、表示画像の透過率は視認性および操作性への影響が強く、見やすさの指標として考えることができる。このため、操作の細かさに対応して表示画像であるポインターやマーカーの透過率を変更することにより、操作性を大きく向上させることができる。また、制御部150は、トラックパッド14で検出する操作位置の数が1の場合、操作位置が2の場合、3以上の場合について、ポインターPやマーカーQ1、Q2を変更してもよい。この場合、使用者は、ポインターPやマーカーQ1、Q2の透過率によって、トラックパッド14で検出された操作位置の数を知ることができる。また、使用者がトラックパッド14に対して行う操作の態様に対応して、ポインターPやマーカーQ1、Q2の表示態様としての透過率を変化させることで、操作性のより一層の向上を図ることができる。
また、例えば、制御部150の制御によって、トラックパッド14で検出される複数の検出位置の間の距離に対応して、所定画像の形状を変化させてもよい。この場合について図12及び図13に例を示す。
図12は、HMD100の操作に対応する表示の変化を示す説明図である。図12(A)はトラックパッド14における操作位置の例を示し、図12(B)は画像表示部20が表示するポインターP11を示す。図12(C)はトラックパッド14における操作位置の例を示し、図12(B)は画像表示部20が表示するポインターP12を示す。
図12(A)は制御部150が、トラックパッド14で2つの操作位置A1(Xa1,Ya1)とB1(Xb1,Yb1)を検出した例を示す。図12(B)は、図12(A)の操作位置に対応して、例えば2点の中央の操作位置に対応する表示位置に、円形のポインターP11を表示する例を示す。
制御部150が、トラックパッド14における操作位置の間隔が大きくなるほど、ポインターの形状を細長くする制御を行う場合、図12(D)に示すように、楕円形のポインターP12を表示する。つまり、図12(C)に示すように、制御部150が、トラックパッド14で2つの操作位置A1(Xa1,Ya1)とB3(Xb3,Yb3)を検出し、位置A1−B3間の距離Dis2が、位置A1−B1間の距離Dis1より長い場合を想定する。この場合、制御部150は、距離Dis3に対応する楕円率の楕円形であるポインターP12を、操作位置A1(Xa1,Ya1)とB3(Xb3,Yb3)との中点に対応する表示位置に表示する。
図13は、HMD100の操作に対応する表示の変化を示す説明図である。図13(A)はトラックパッド14における操作位置の例を示し、図13(B)は画像表示部20が表示するポインターP21を示す。図13(C)はトラックパッド14における操作位置の例を示し、図13(B)は画像表示部20が表示するポインターP22を示す。
図13の例では十字形状のポインターP21、P22を表示する例を示す。
図13(A)は制御部150が、トラックパッド14で2つの操作位置A1(Xa1,Ya1)とB1(Xb1,Yb1)を検出した例を示す。図13(B)は、図13(A)の操作位置に対応して、例えば2点の中央の操作位置に対応する表示位置に、十字形状のポインターP21を表示する例を示す。
制御部150が、トラックパッド14における操作位置の間隔が大きくなるほど、ポインターの形状を細長くする制御を行う場合、図13(D)に示すように、十字形状を細長く延長したポインターP22を表示する。図13(C)に示すように、制御部150が、トラックパッド14で2つの操作位置A1(Xa1,Ya1)とB3(Xb3,Yb3)を検出し、位置A1−B3間の距離Dis2が、位置A1−B1間の距離Dis1より長い場合を想定する。この場合、制御部150は、距離Dis2に対応して、横方向の直線が延長されたポインターP22を、操作位置A1(Xa1,Ya1)とB3(Xb3,Yb3)との中点に対応する表示位置に表示する。
このように、制御部150は、図12(D)及び図13(D)に示すように、ポインターのサイズを変更してもよい。使用者の視野に影響する頭部装着型の画像表示部20では、表示画像のサイズは視認性および操作性への影響が強く、見やすさの指標として考えることができる。このため、操作の細かさに対応して表示画像であるポインターやマーカーのサイズや形状を変更することにより、操作性を大きく向上させることができる。
図14は、HMD100の操作に対応する表示の変化を示す説明図である。
図14(A)は、制御部150が、トラックパッド14で2つの操作位置A1(Xa1,Ya1)とB1(Xb1,Yb1)を検出した例を示す。この例では、操作位置A1が位置A2(Xa2,Ya2)に移動し、操作位置B1がB2(Xb2,Yb2)に移動する。この場合、制御部150は、上述したように、基点S1を位置A1、B1の中点に設定するので、基点S1が基点S2に移動した軌跡に対応してポインターやマーカーが表示される。
図14(B)では、円形のポインターP31の表示位置を、基点の移動に対応して移動させる場合の表示態様の一例を示す。図14(B)に示すように、円形のポインターP31を移動させる場合、ポインターP31の移動方向や移動の軌跡が分かりやすくなるように、ポインターP31の残像を模した画像を表示してもよい。つまり、ポインターP31は、移動の軌跡を表す残像部分を含む形状となる。いわば彗星の尾のような形状となり、ポインターP31の移動の様子を使用者が明確に知ることができる。この種のポインターの形状を、軌跡または残像を有する形状に変更する処理は、ポインターの形状が矢印形状、十字形状、円形等、様々な形状である場合に適用できる。
また、制御部150は、トラックパッド14において2つの検出位置を検出した場合、すなわち使用者が2つの位置で接触する操作を行った場合、これら2つの検出位置間の距離に応じて、ユーザーインターフェイスを変更してもよい。例えば、制御部150は、2つの検出位置間の距離を、予め設定された閾値に基づき、2段階に区別する。一例として、2つの検出位置間の距離が通常の範囲である“通常選択状態”と、2つの検出位置間の距離が小さい“精密選択状態”とに区別する。この場合、制御部150は、トラックパッド14における位置検出の解像度を、“精密選択状態”では、“通常選択状態”よりも高解像度に切り替えてもよい。
また、制御部150は、トラックパッド14における3つの操作位置を検出した場合に、これら3つの操作位置に基づき1つの基点の座標を求め、基点の座標に対応する表示位置に所定画像を表示してもよい。この場合、2つの操作位置の中央を求めて基点とし、求めた基点を、3つ目の操作位置に合わせて偏った位置にしてもよい。或いは、3つの操作位置の中心または重心に相当する位置を、基点としてもよい。
以上説明したように、使用者が装着して使用するHMD100は、接触操作を受け付けるトラックパッド14と、画像を表示する表示領域を有する画像表示部20とを備える。また、トラックパッド14における操作位置を検出し、検出した操作に応じて画像表示部20の表示を制御する制御部150を備える。制御部150は、画像表示部20により所定画像としてのポインターやマーカーを表示し、所定画像の表示位置をトラックパッド14の操作位置に応じて移動させる。制御部150は、所定画像としてのポインターやマーカーの表示位置を移動させる際に、トラックパッド14で1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、操作位置と所定画像の表示位置との対応付けを変更する。
例えば、操作検出制御部152は、トラックパッド14において検出した操作位置の座標と基点との対応付けを、操作位置の数により変更する。1点操作モードでは操作位置を基点の位置とし、多点操作モードでは操作位置から算出される操作位置以外の位置を基点の位置とする。また、3点操作モードでは3番目の操作位置を基点の位置とする。
また、HMD100は、接触操作を受け付けるトラックパッド14と、画像を表示する表示領域を有する画像表示部20とを備える。また、トラックパッド14における操作位置を検出し、検出した操作位置に基づき表示制御用の位置を出力し、この表示制御用の位置に基づき画像を画像表示部20に表示させる制御部150を備える。制御部150は、1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、検出した操作位置と表示制御用の位置との対応付けを変更する。
この入力装置としての制御装置10、表示装置としてのHMD100、及び、HMD100が実行する表示装置の制御方法によれば、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
例えば、トラックパッド14に対して接触操作を行う操作位置の数によって、操作に対応するポインターの表示位置の制御の態様を変化させることができる。
制御部150は、所定画像としてのポインターやマーカーの表示位置を移動させる際にトラックパッド14で2つの操作位置を検出した場合、検出した2つの操作位置とは異なる操作位置に対応する表示位置に、所定画像の表示位置を移動させる。これにより、2つの操作位置で接触操作を行うことにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
制御部150は、トラックパッド14で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する表示位置に所定画像の表示位置を移動させる。さらにその後、トラックパッド14で新たに1つの操作位置を検出した場合、制御部150は、当該新たな1つの操作位置に対応する表示位置に所定画像の表示位置を移動させる。これにより、2つの操作位置に加えて新たな位置で操作が行われた場合に、この新たな操作位置に対応して所定画像の表示位置を制御できる。これにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
制御部150は、トラックパッド14で検出した1つの操作位置に基づいて所定画像を表示した後に、トラックパッド14で2つの操作位置の操作を検出した場合、所定画像の表示を停止させてもよい。この場合、所定画像の表示状態を変更することで、検出される操作位置の数が変化したことを使用者に通知できる。
制御部150は、所定画像としてのポインターやマーカーの表示位置を移動させる移動表示を実行し、この移動表示における移動の態様を、トラックパッド14で検出する操作位置の数に応じて切り替える。例えば、トラックパッド14で1つの操作位置を検出した場合、制御部150は、ステップS21〜S22で、検出した操作位置に対応する表示位置に所定画像の表示位置を移動させる。また、トラックパッド14で2つの操作位置を検出した場合、制御部150は、ステップS37〜S38で、検出した2つの操作位置とは異なる操作位置に対応する表示位置に所定画像の表示位置を移動させる。また、制御部150は、トラックパッド14で2つの操作位置を検出した後、トラックパッド14で新たに1つの操作位置を検出した場合、当該新たな1つの操作位置に対応する表示位置に所定画像の表示位置を移動させる。このように、トラックパッド14の操作位置の数に応じて所定画像の移動表示の態様を切り替えることで、使用者は、簡単な操作によってポインターやマーカーの移動態様を変更できる。これにより、操作性の向上を図ることができる。例えば、使用者の操作の内容に合わせてポインターやマーカーを移動させる態様を変更できる。
制御部150は、トラックパッド14で検出する操作位置の数に応じて、所定画像としてのポインターやマーカーの表示態様を切り替える。例えば、制御部150は、ポインターP1をマーカーQ1、Q2に変更する。また、例えば、制御部150は、円形のポインターP11の形状をポインターP12のように楕円形に変更し、十字形状のポインターP21の形状をポインターP22のように変更する。或いは、制御部150は、円形のポインターを、尾を引く形状のポインターP31に変更する。或いは、制御部150は、所定画像の表示の輝度(明るさ)を変更し、所定画像の透過率を変更する。これにより、操作に適した所定画像の視認性を確保し、操作性のより一層の向上を図ることができる。
制御部150は、トラックパッド14で複数の操作位置を検出した場合に、検出した複数の操作位置とは異なる操作位置に対応する基点の位置を、表示制御用の位置とし、移動データを出力する。これにより、複数の操作位置で接触操作を行うことにより、所定画像の表示位置を移動させる操作のバリエーションを増やすことができ、操作性の向上を図ることができる。
制御部150は、トラックパッド14で検出した複数の操作位置から仮想の操作位置を求め、仮想の操作位置に対応する表示制御用の位置を出力する。これにより、複数の操作位置における接触操作に対応して、表示位置を適切に移動させることができる。
制御部150は、トラックパッド14で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する表示制御用の位置を出力する。その後、トラックパッド14で新たに1つの操作位置を検出した場合、制御部150は、当該新たな1つの操作位置に対応する表示制御用の位置を出力する。これにより、複数の操作位置の接触操作に対応して、所定画像の表示位置を移動させる操作のバリエーションを増やすことができる。
制御部150は、表示制御用の位置を、出力済みの表示位置からの移動方向と移動量との少なくともいずれかにより指定する情報を出力する。これにより、表示領域とトラックパッド14とのサイズや形状を厳密に対応付ける必要がなく、多様な形状のトラックパッド14に対して適用できる。
画像表示部20は、使用者の頭部に装着され、制御部150は、画像表示部20とは別体として構成されるトラックパッド14における操作位置を検出する。これにより、頭部にHMD100を装着する使用者がトラックパッド14に対する操作を行う場合に、操作位置の数によって、所定画像の表示位置の移動の態様を変化させることができる。このため、操作位置の数を変化させることで操作のバリエーションを増やすことができ、操作性の向上を図ることができる。例えば、トラックパッド14を視認しにくい状態であっても、表示位置の移動状態を任意に操作できる。
また、HMD100は、外光を透過する画像表示部20を備える頭部装着型表示装置であって、接触操作を受け付けるトラックパッド14を有する。HMD100は、制御部150により、トラックパッド14における操作位置を検出し、検出した操作に応じて画像表示部20の表示を制御する。制御部150は、画像表示部20により所定画像を表示し、所定画像の表示位置をトラックパッド14の操作位置に応じて移動させる。制御部150は、トラックパッド14で検出する操作位置に応じて、所定画像に対する外光の透過率を制御する。これにより、トラックパッド14に対して接触操作を行う操作位置に対応してポインターやマーカーの画像を表示し、これらの画像の透過率を変化させることができる。このため、頭部装着型表示装置が表示する画像の外光に対する見え方を、操作に対応して変化させることができ、操作性の向上を図ることができる。
また、制御部150は、トラックパッド14で検出する操作位置に対応して所定画像の表示態様を変更する。このため、外光に対するポインターやマーカーの見え方に加え、表示する画像の形状等の表示態様を変化させることができ、操作性のより一層の向上を図ることができる。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮像した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示、或いは仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、上記実施形態では、画像表示部20においてポインターPやマーカーQを表示する場合の表示位置の制御を例示して説明した。本発明はこれに限定されるものではなく、画像表示部20において表示可能な画像等は任意である。例えば、画像表示部20を透過して使用者が視認する外景(実空間)の実物体に、画像を重ねるAR表示を行う場合に、トラックパッド14の操作に応じてAR表示の表示位置を調整してもよい。この場合において、トラックパッド14の操作位置の数に対応して、1点操作モード、多点操作モード、及び、3点操作モードを適宜切り替えて、上述した動作を行ってもよい。この場合、制御部150は、移動データに基づいてAR表示の表示位置や表示サイズ等を調整すればよい。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20と分離して構成され、制御装置10と画像表示部20との間で無線通信により各種信号を送受信する構成としてもよい。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図4等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部121または制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部117や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、メインプロセッサー140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御装置10が備えるメインプロセッサー140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
10…制御装置(入力装置)、14…トラックパッド(操作面)、20…画像表示部(表示部)、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、40…接続ケーブル、61…カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、100…HMD(表示装置、頭部装着型表示装置)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPS、117…通信部、118…メモリー、119…バイブレーター、120…コントローラー基板、121…不揮発性記憶部、122…記憶部、123…設定データ、124…コンテンツデータ、127…操作設定データ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、143…オペレーティングシステム、145…画像処理部、149…撮像制御部、150…制御部、152…操作検出制御部(操作情報生成部)、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196…インターフェイス、211、231…インターフェイス、213、233…受信部、215…EEPROM、217、239…温度センサー、221、241…OLEDユニット、235…6軸センサー、237…磁気センサー。

Claims (17)

  1. 接触操作を受け付ける操作面と、
    画像を表示する表示領域を有する表示部と、
    前記操作面における操作位置を検出し、検出した操作に応じて前記表示部の表示を制御する制御部と、を備え、
    前記制御部は、前記表示部により所定画像を表示し、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させ、前記操作面で1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更すること、
    を特徴とする表示装置。
  2. 前記制御部は、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させる際に前記操作面で2つの操作位置を検出した場合、検出した2つの操作位置とは異なる操作位置に対応する表示位置に、前記所定画像の表示位置を移動させること、を特徴とする請求項1記載の表示装置。
  3. 前記制御部は、前記操作面で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する表示位置に前記所定画像の表示位置を移動させた後、前記操作面で新たに1つの操作位置を検出した場合に、当該新たな1つの操作位置に対応する表示位置に前記所定画像の表示位置を移動させること、を特徴とする請求項2記載の表示装置。
  4. 前記制御部は、前記操作面で検出した1つの操作位置に基づいて前記所定画像を表示した後に、前記操作面で2つの操作位置の操作を検出した場合、前記所定画像の表示を停止させること、を特徴とする請求項1から3のいずれかに記載の表示装置。
  5. 前記制御部は、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させる移動表示を実行し、移動表示の態様を、前記操作面で検出する操作位置の数に応じて切り替えること、を特徴とする請求項1記載の表示装置。
  6. 前記制御部は、前記操作面で検出する操作位置の数に応じて前記所定画像の表示態様を切り替えること、を特徴とする請求項1から5のいずれかに記載の表示装置。
  7. 接触操作を受け付ける操作面と、
    画像を表示する表示領域を有する表示部と、
    前記操作面における操作位置を検出し、検出した操作位置に基づき表示制御用の位置を出力し、この表示制御用の位置に基づき画像を前記表示部に表示させる制御部と、を備え、
    前記制御部は、1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、検出した操作位置と前記表示制御用の位置との対応付けを変更すること、
    を特徴とする表示装置。
  8. 前記制御部は、前記操作面で複数の操作位置を検出した場合に、検出した複数の操作位置とは異なる操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする請求項7記載の表示位置。
  9. 前記制御部は、前記操作面で検出した複数の操作位置から仮想の操作位置を求め、前記仮想の操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする請求項8記載の表示位置。
  10. 前記制御部は、前記操作面で検出した2つの操作位置に基づいて、検出した2つの操作位置とは異なる操作位置に対応する前記表示制御用の位置を出力し、
    その後、前記操作面で新たに1つの操作位置を検出した場合に、当該新たな1つの操作位置に対応する前記表示制御用の位置を出力すること、を特徴とする請求項8または9記載の表示装置。
  11. 前記制御部は、前記表示制御用の位置を、出力済みの表示位置からの移動方向と移動量との少なくともいずれかにより指定する情報を出力すること、を特徴とする請求項9記載の表示装置。
  12. 前記表示部は、使用者の頭部に装着され、
    前記制御部は、前記表示部とは別体として構成される前記操作面における操作位置を検出すること、
    を特徴とする請求項1から11のいずれかに記載の表示装置。
  13. 外光を透過する表示部を備える頭部装着型表示装置であって、
    接触操作を受け付ける操作面と、
    前記操作面における操作位置を検出し、検出した操作に応じて前記表示部の表示を制御する制御部と、を備え、
    前記制御部は、前記表示部により所定画像を表示し、前記所定画像の表示位置を前記操作面の操作位置に応じて移動させ、前記操作面で検出する操作位置に応じて、前記所定画像に対する前記外光の透過率を制御すること、
    を特徴とする頭部装着型表示装置。
  14. 前記制御部は、前記操作面で検出する操作位置に対応して前記所定画像の表示態様を変更すること、
    を特徴とする請求項13記載の頭部装着型表示装置。
  15. 操作面に対する接触操作を受け付けて、前記操作面における操作位置を検出し、検出した操作位置に基づき、前記操作位置に対応する処理位置の情報を生成する操作情報生成部を備え、
    前記操作情報生成部は、前記操作面で1つの操作位置を検出した場合と、複数の操作位置を検出した場合とで、前記操作位置と前記処理位置との対応付けを変更すること、
    を特徴とする入力装置。
  16. 画像を表示する表示領域を有する表示部を備える表示装置を制御して、
    前記表示部により所定画像を表示し、
    接触操作を受け付ける操作面における操作位置を検出し、
    前記所定画像の表示位置を、前記操作面で検出される操作位置に応じて移動させ、
    前記操作面で1つの操作位置を検出した場合と、前記操作面における複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更すること、
    を特徴とする表示装置の制御方法。
  17. 画像を表示する表示領域を有する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記表示部により所定画像を表示し、
    接触操作を受け付ける操作面における操作位置を検出し、
    前記所定画像の表示位置を、前記操作面で検出される操作位置に応じて移動させ、
    前記操作面で1つの操作位置を検出した場合と、前記操作面における複数の操作位置を検出した場合とで、前記操作位置と前記所定画像の表示位置との対応付けを変更するためのプログラム。
JP2016025670A 2016-02-15 2016-02-15 表示装置、表示装置の制御方法、及び、プログラム Active JP6631299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016025670A JP6631299B2 (ja) 2016-02-15 2016-02-15 表示装置、表示装置の制御方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016025670A JP6631299B2 (ja) 2016-02-15 2016-02-15 表示装置、表示装置の制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2017146647A true JP2017146647A (ja) 2017-08-24
JP6631299B2 JP6631299B2 (ja) 2020-01-15

Family

ID=59682274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016025670A Active JP6631299B2 (ja) 2016-02-15 2016-02-15 表示装置、表示装置の制御方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6631299B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299384A (ja) * 2006-05-03 2007-11-15 Mitsubishi Electric Research Laboratories Inc コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム
JP2012008666A (ja) * 2010-06-23 2012-01-12 Jvc Kenwood Corp 情報処理装置および操作入力方法
JP2012027957A (ja) * 2011-11-08 2012-02-09 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法
JP2013089037A (ja) * 2011-10-18 2013-05-13 Sony Computer Entertainment Inc 描画装置、描画制御方法、及び描画制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299384A (ja) * 2006-05-03 2007-11-15 Mitsubishi Electric Research Laboratories Inc コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム
JP2012008666A (ja) * 2010-06-23 2012-01-12 Jvc Kenwood Corp 情報処理装置および操作入力方法
JP2013089037A (ja) * 2011-10-18 2013-05-13 Sony Computer Entertainment Inc 描画装置、描画制御方法、及び描画制御プログラム
JP2012027957A (ja) * 2011-11-08 2012-02-09 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法

Also Published As

Publication number Publication date
JP6631299B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US10635182B2 (en) Head mounted display device and control method for head mounted display device
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US10474226B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
US10884498B2 (en) Display device and method for controlling display device
US10261327B2 (en) Head mounted display and control method for head mounted display
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2018084886A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018124651A (ja) 表示システム
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018022426A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
US20180260068A1 (en) Input device, input control method, and computer program
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2019053714A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6631299B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R150 Certificate of patent or registration of utility model

Ref document number: 6631299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150